Wydobywanie danych matematycznych z sieci

Mathematical web data extraction · id mathwebdata · aliases: math pretraining data, math corpus curation

Selekcja stron matematycznych z crawli i ekstrakcja tekstu z zachowaniem notacji LaTeX, z filtrami jakości i deduplikacją.

Selecting maths pages from web crawls and extracting text while preserving LaTeX notation, followed by quality filtering and deduplication.

In one sentence

Wyszukiwanie w internecie stron z matematyką i zapisywanie ich tak, żeby wzory przetrwały, a model mógł się na nich uczyć.

Finding maths pages on the web and saving them so the formulas survive and a model can learn from them.

Problem it solves

Zwykłe narzędzia do pobierania stron gubią albo psują wzory, przez co modele słabiej uczą się rachunków i dowodów.

Ordinary page-scraping tools drop or garble formulas, so models learn calculations and proofs less well.

What it does

Rozpoznaje strony z matematyką i przepisuje wzory do jednolitego zapisu tekstowego, zamiast wyrzucać je razem z grafiką i menu.

It spots maths pages and rewrites formulas into one consistent text notation instead of discarding them with images and menus.

Everyday example

Pomocnik do nauki, który rozpisuje zadanie z całkami krok po kroku i poprawnie zapisuje każdy wzór.

A study helper that works through an integral problem step by step and writes every formula correctly.

This concerns you if you…

Sources