# Wydobywanie danych matematycznych z sieci

EN: **Mathematical web data extraction** · id `mathwebdata` · aliases: math pretraining data, math corpus curation

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Korpusy domenowe dla modeli językowych](https://aiatlasgraph.com/t/domaincorpora.md) › Wydobywanie danych matematycznych z sieci

## Description

- PL: Selekcja stron matematycznych z crawli i ekstrakcja tekstu z zachowaniem notacji LaTeX, z filtrami jakości i deduplikacją.
- EN: Selecting maths pages from web crawls and extracting text while preserving LaTeX notation, followed by quality filtering and deduplication.

## In one sentence

- PL: Wyszukiwanie w internecie stron z matematyką i zapisywanie ich tak, żeby wzory przetrwały, a model mógł się na nich uczyć.
- EN: Finding maths pages on the web and saving them so the formulas survive and a model can learn from them.

## Problem it solves

- PL: Zwykłe narzędzia do pobierania stron gubią albo psują wzory, przez co modele słabiej uczą się rachunków i dowodów.
- EN: Ordinary page-scraping tools drop or garble formulas, so models learn calculations and proofs less well.

## What it does

- PL: Rozpoznaje strony z matematyką i przepisuje wzory do jednolitego zapisu tekstowego, zamiast wyrzucać je razem z grafiką i menu.
- EN: It spots maths pages and rewrites formulas into one consistent text notation instead of discarding them with images and menus.

## Everyday example

- PL: Pomocnik do nauki, który rozpisuje zadanie z całkami krok po kroku i poprawnie zapisuje każdy wzór.
- EN: A study helper that works through an integral problem step by step and writes every formula correctly.

## This concerns you if you…

- PL: uczysz się lub uczysz innych matematyki z pomocą AI
- PL: model psuje wzory w odpowiedziach
- EN: learn or teach maths with AI
- EN: see a model garble formulas in answers

## Keywords

OpenWebMath · MathJax · LaTeX extraction · math classifier · perplexity filtering · DeepSeekMath corpus · Common Crawl

## How it works

- PL: Reguły lub klasyfikator wskazują w crawlu strony z treścią matematyczną. Specjalny ekstraktor HTML zamienia wzory z różnych formatów zapisu na jednolity LaTeX i usuwa elementy strony, a dokument przechodzi filtry jakości i deduplikację.
- EN: Rules or a classifier flag pages with maths content in a crawl. A dedicated HTML extractor converts formulas from various markup formats into uniform LaTeX and strips page boilerplate, then the document goes through quality filtering and deduplication.

## Limits

- PL: Klasyfikatory przepuszczają strony tylko powierzchownie podobne do matematyki, a zbiory z sieci zawierają błędne rozwiązania. Pretrening na matematyce nie zastępuje późniejszego uczenia rozumowania.
- EN: Classifiers let through pages that only look mathematical, and web data contains wrong solutions. Maths pretraining does not replace later reasoning training.

## Key terms

- PL: **LaTeX**: Tekstowy zapis wzorów matematycznych używany w nauce.
- PL: **boilerplate**: Menu, stopki i reklamy otaczające właściwą treść strony.
- PL: **crawl**: Masowo pobrana kopia wielu stron internetowych.
- EN: **LaTeX**: A text notation for mathematical formulas used in science.
- EN: **boilerplate**: Menus, footers and ads surrounding a page's real content.
- EN: **crawl**: A bulk-downloaded copy of many web pages.

## Know first

- [Ekstrakcja tekstu ze stron i PDF (Text extraction from HTML and PDFs)](https://aiatlasgraph.com/t/textextraction.md)
- [Filtrowanie jakości (heurystyki i klasyfikatory) (Quality filtering with heuristics and classifiers)](https://aiatlasgraph.com/t/qualityfiltering.md)

## Sources

- [OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text](<https://arxiv.org/abs/2310.06786>) `paster-openwebmath-2023` · by Keiran Paster, Marco Dos Santos, Zhangir Azerbayev, Jimmy Ba

---

AI Atlas revision 127 (2026-11-03) · HTML: https://aiatlasgraph.com/t/mathwebdata · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-03