Web crawling for training data · id webcrawl · aliases: web scraping, Common Crawl, crawl
Zbieranie stron internetowych na dużą skalę jako surowca do treningu: korzystanie z gotowych zrzutów sieci albo własny crawler respektujący reguły witryn.
Collecting web pages at scale as raw training material: using existing web snapshots or running your own crawler that respects site rules.
In one sentence
To automatyczne zbieranie stron internetowych lub ich zapisanych kopii jako materiału do nauki modelu.
This automatically collects web pages or saved copies as material for model training.
Problem it solves
Ręczne pobieranie wielu stron zajmuje czas i utrudnia zachowanie kompletnego, uporządkowanego zbioru.
Downloading many pages by hand takes time and makes a complete, organised collection hard to maintain.
What it does
Program odwiedza odsyłacze według ustalonych reguł dostępu lub korzysta z gotowego archiwum, zachowując treść i adresy źródeł.
Software follows links under chosen access rules or uses an existing archive, keeping page content and source addresses.
Everyday example
Zbierasz publiczne instrukcje obsługi: program pobiera wskazane strony, zapisuje ich adresy i przekazuje treść do dalszego sprawdzenia.
You collect public manuals; software downloads selected pages, records their addresses and passes their content on for further checks.