# Pozyskiwanie danych z sieci (crawling)

EN: **Web crawling for training data** · id `webcrawl` · aliases: web scraping, Common Crawl, crawl

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Pozyskiwanie i pochodzenie](https://aiatlasgraph.com/t/sourcing.md) › Pozyskiwanie danych z sieci (crawling)

## Description

- PL: Zbieranie stron internetowych na dużą skalę jako surowca do treningu: korzystanie z gotowych zrzutów sieci albo własny crawler respektujący reguły witryn.
- EN: Collecting web pages at scale as raw training material: using existing web snapshots or running your own crawler that respects site rules.

## In one sentence

- PL: To automatyczne zbieranie stron internetowych lub ich zapisanych kopii jako materiału do nauki modelu.
- EN: This automatically collects web pages or saved copies as material for model training.

## Problem it solves

- PL: Ręczne pobieranie wielu stron zajmuje czas i utrudnia zachowanie kompletnego, uporządkowanego zbioru.
- EN: Downloading many pages by hand takes time and makes a complete, organised collection hard to maintain.

## What it does

- PL: Program odwiedza odsyłacze według ustalonych reguł dostępu lub korzysta z gotowego archiwum, zachowując treść i adresy źródeł.
- EN: Software follows links under chosen access rules or uses an existing archive, keeping page content and source addresses.

## Everyday example

- PL: Zbierasz publiczne instrukcje obsługi: program pobiera wskazane strony, zapisuje ich adresy i przekazuje treść do dalszego sprawdzenia.
- EN: You collect public manuals; software downloads selected pages, records their addresses and passes their content on for further checks.

## This concerns you if you…

- PL: potrzebujesz treści z wielu stron internetowych
- PL: chcesz zachować adresy pobranych materiałów
- EN: need content from many web pages
- EN: want to keep the addresses of downloaded material

## Keywords

Common Crawl · WARC · robots.txt · sitemaps · crawl frontier · RefinedWeb · FineWeb

## How it works

- PL: Kolejka adresów steruje pobieraniem stron i odkrywaniem kolejnych odnośników. Reguły robotów, limity zapytań i harmonogram ponownych wizyt kontrolują dostęp, a pobrane odpowiedzi zapisuje się do dalszej ekstrakcji.
- EN: A URL frontier controls fetching pages and discovering further links. Crawler rules, request limits and revisit schedules govern access, while fetched responses are stored for later extraction.

## Limits

- PL: Treści dynamiczne, blokady i zmiany adresów ograniczają pokrycie. Crawl nie tworzy reprezentatywnej próbki automatycznie i wymaga osobnej oceny warunków użycia zebranych materiałów.
- EN: Dynamic content, blocking and changing URLs limit coverage. Crawling does not automatically create a representative sample and requires separate review of collected material's usage conditions.

## Key terms

- PL: **frontier**: Kolejka adresów oczekujących na pobranie przez robota.
- PL: **WARC**: Format archiwum przechowujący pobrane odpowiedzi sieciowe i ich metadane.
- EN: **frontier**: A queue of URLs waiting to be fetched by a crawler.
- EN: **WARC**: An archive format storing fetched network responses and their metadata.

## Know first

- [Licencje i zgody na użycie danych (Data licensing and consent)](https://aiatlasgraph.com/t/datalicensing.md)
- [Wersjonowanie zbiorów danych (Dataset versioning)](https://aiatlasgraph.com/t/dataversioning.md)

## Examples

- PL: Zrzuty Common Crawl · robots.txt · mapy witryn · RefinedWeb, FineWeb
- EN: Common Crawl snapshots · robots.txt · sitemaps · RefinedWeb, FineWeb

## Related topics

Untyped, symmetric "see also" links.

- [Ekstrakcja tekstu ze stron i PDF (Text extraction from HTML and PDFs)](https://aiatlasgraph.com/t/textextraction.md)
- [Licencje i zgody na użycie danych (Data licensing and consent)](https://aiatlasgraph.com/t/datalicensing.md)

## Sources

- [Common Crawl — Open Repository of Web Crawl Data (home page)](<https://commoncrawl.org/>) `commoncrawl-site` · by Common Crawl Foundation
- [The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale](<https://arxiv.org/abs/2406.17557>) `fineweb-2024` · by Guilherme Penedo, Hynek Kydlíček, Loubna Ben allal, Anton Lozhkov, Margaret Mitchell, Colin Raffel, Leandro Von Werra, Thomas Wolf
- [The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only](<https://arxiv.org/abs/2306.01116>) `refinedweb-2023` · by Guilherme Penedo, Quentin Malartic, Daniel Hesslow, Ruxandra Cojocaru, Alessandro Cappelli, Hamza Alobeidli, Baptiste Pannier, Ebtesam Almazrouei, Julien Launay
- [Consent in Crisis: The Rapid Decline of the AI Data Commons](<https://arxiv.org/abs/2407.14933>) `consent-in-crisis-2024` · by Shayne Longpre, Robert Mahari, Ariel Lee, Campbell Lund, Hamidah Oderinwale, William Brannon, Nayan Saxena, Naana Obeng-Marnu, Tobin South, Cole Hunter i in. (44 autorów)
- [A Survey of LLM × DATA](<https://arxiv.org/abs/2505.18458>) `llm-x-data-survey-2025` · by Xuanhe Zhou, Junxuan He, Wei Zhou, Haodong Chen, Zirui Tang, Haoyu Zhao, Xin Tong, Guoliang Li i in. (17 autorów)
- [RFC 9309 — Robots Exclusion Protocol](<https://www.rfc-editor.org/rfc/rfc9309.html>) `rfc9309-robots` · by Martin Koster, Gary Illyes, Henner Zeller, Lizzi Sassman (IETF)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/webcrawl · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30