# Rozpoznawanie języka i równoważenie danych wielojęzycznych

EN: **Language identification and multilingual data balancing** · id `languageid` · aliases: language identification, LID, multilingual data curation

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Korpusy domenowe dla modeli językowych](https://aiatlasgraph.com/t/domaincorpora.md) › Rozpoznawanie języka i równoważenie danych wielojęzycznych

## Description

- PL: Klasyfikacja języka i pisma dokumentów korpusu oraz dobór progów, filtrów i proporcji osobno dla każdego języka.
- EN: Classifying each document's language and script, then setting thresholds, filters and proportions separately for every language.

## In one sentence

- PL: Automatyczne sprawdzanie, w jakim języku jest każdy tekst, żeby zbudować zbiory danych dla wielu języków, także tych rzadkich.
- EN: Automatically checking which language each text is in, to build datasets for many languages, including rare ones.

## Problem it solves

- PL: Teksty w rzadkich językach giną wśród angielskich albo są źle oznaczone, więc model słabo mówi w językach mniejszych społeczności.
- EN: Texts in rare languages get lost among English ones or are mislabelled, so models speak smaller communities' languages poorly.

## What it does

- PL: Jak sortownia listów: każdy dokument trafia do przegródki swojego języka, a każda przegródka ma własne progi pewności i jakości.
- EN: Like a mail sorting room: each document goes to its language's pigeonhole, and every pigeonhole has its own confidence and quality bars.

## Everyday example

- PL: Asystent, który rozumie pytanie w języku regionalnym, zamiast odpowiadać tak, jakby był to język sąsiedniego kraju.
- EN: An assistant that understands a question in a regional language instead of treating it as a neighbouring country's language.

## This concerns you if you…

- PL: tworzysz dane w języku innym niż angielski
- PL: model myli podobne do siebie języki
- PL: budujesz usługę dla wielu krajów
- EN: create data in a language other than English
- EN: see a model confuse similar languages
- EN: build a service for many countries

## Keywords

GlotLID · fastText lid.176 · OpenLID · CLD3 · FineWeb2 · per-language thresholds · script detection · per-language MinHash · stopword filters

## How it works

- PL: Lekki klasyfikator tekstu, zwykle oparty na n-gramach znaków, przypisuje dokumentowi język i pismo z miarą pewności. Progi pewności, listy słów funkcyjnych i filtry jakości ustala się z rozkładów statystyk danego języka, a deduplikację prowadzi się osobno w każdym języku.
- EN: A lightweight text classifier, usually built on character n-grams, assigns each document a language and script with a confidence score. Confidence thresholds, stopword lists and quality filters are set from each language's own statistics, and deduplication runs per language.

## Limits

- PL: Klasyfikatory mylą blisko spokrewnione języki i odmiany makrojęzyków, a w rzadkich językach dają wiele fałszywych trafień. Metadane źródeł bywają błędne. Ewaluacja wymaga zadań w każdym języku, których często brakuje.
- EN: Classifiers confuse closely related languages and macrolanguage varieties and produce many false positives for rare languages. Source metadata is often wrong. Evaluation needs tasks in every language, which are often missing.

## Key terms

- PL: **LID**: Rozpoznawanie języka tekstu przez model.
- PL: **makrojęzyk**: Grupa blisko spokrewnionych odmian traktowanych czasem jako jeden język.
- PL: **fałszywe trafienie**: Tekst błędnie przypisany do rzadkiego języka.
- EN: **LID**: A model recognising which language a text is in.
- EN: **macrolanguage**: A group of closely related varieties sometimes treated as one language.
- EN: **false positive**: Text wrongly assigned to a rare language.

## Know first

- [Uczenie nadzorowane (Supervised learning)](https://aiatlasgraph.com/t/supervised.md)
- [Metryki klasyfikacji i regresji (Classification and regression metrics)](https://aiatlasgraph.com/t/classmetrics.md)

## Related topics

Untyped, symmetric "see also" links.

- [Wielojęzyczność i języki o małych zasobach (Multilingual and low-resource language processing)](https://aiatlasgraph.com/t/multilingualnlp.md)

## Sources

- [FineWeb2: One Pipeline to Scale Them All — Adapting Pre-Training Data Processing to Every Language](<https://arxiv.org/abs/2506.20920>) `penedo-fineweb2-2025` · by Guilherme Penedo i in. (Hugging Face)
- [GlotLID: Language Identification for Low-Resource Languages](<https://arxiv.org/abs/2310.16248>) `kargaran-glotlid-2023` · by Amir Hossein Kargaran, Ayyoob Imani, François Yvon, Hinrich Schütze

---

AI Atlas revision 127 (2026-11-03) · HTML: https://aiatlasgraph.com/t/languageid · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-03