# Filtrowanie szkodliwych treści tekstowych w danych treningowych

EN: **Harmful text filtering in training data** · id `contentsafetyfiltering` · aliases: toxicity filtering, text safety filtering, filtrowanie toksyczności, pretraining text safety filtering

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Czyszczenie i jakość](https://aiatlasgraph.com/t/cleaning.md) › Filtrowanie szkodliwych treści tekstowych w danych treningowych

## Description

- PL: Klasyfikatorowe i regułowe usuwanie toksycznych, nienawistnych i seksualnych treści z tekstowych korpusów pretrainingowych.
- EN: Classifier- and rule-based removal of toxic, hateful and sexual content from text pretraining corpora.

## In one sentence

- PL: Usuwanie z tekstowego materiału do nauki treści nienawistnych, obraźliwych lub seksualnych, zanim model je przyswoi.
- EN: Removing hateful, abusive or sexual content from text training material before a model absorbs it.

## Problem it solves

- PL: Model uczony na surowym internecie powtarza obelgi i niechciane treści, a później trudno to z niego wyplenić.
- EN: A model trained on the raw internet repeats insults and unwanted content, which is hard to remove later.

## What it does

- PL: Jak sito o regulowanych oczkach: klasyfikator ocenia zdania lub dokumenty, a próg decyduje, ile tekstu odrzucić.
- EN: Like a sieve with adjustable mesh: a classifier scores sentences or documents, and a threshold decides how much text to drop.

## Everyday example

- PL: Asystent do pisania nie podpowiada wulgaryzmów w mailu do klienta, bo takie teksty odsiano przed treningiem.
- EN: A writing assistant does not suggest slurs in an email to a client, because such text was sifted out before training.

## This concerns you if you…

- PL: przygotowujesz dane z internetu do trenowania
- PL: zastanawiasz się, czemu modele unikają pewnych tematów
- EN: prepare web data for training
- EN: wonder why models avoid certain topics

## Keywords

fastText toxicity classifier · Jigsaw Toxic Comments · URL blocklists · Dolma toolkit · toxicity thresholding

## How it works

- PL: Lekkie klasyfikatory, np. fastText trenowany na oznaczonych komentarzach, oceniają tekst na poziomie zdań lub dokumentów; treść powyżej progu jest usuwana. Uzupełniają je listy blokowanych domen i reguły. Próg ustala kompromis między ograniczeniem szkodliwych treści a ilością i różnorodnością danych.
- EN: Lightweight classifiers, such as fastText trained on labelled comments, score text at sentence or document level; content above a threshold is removed. Domain blocklists and rules complement them. The threshold trades less harmful content against data volume and diversity.

## Limits

- PL: Definicja toksyczności zależy od kontekstu i anotatorów, a klasyfikatory bywają stronnicze wobec dialektów i mniejszości. Zbyt ostry filtr usuwa też dane potrzebne do rozpoznawania i moderowania szkodliwych treści.
- EN: What counts as toxic depends on context and annotators, and classifiers can be biased against dialects and minorities. Overly strict filters also remove data needed to recognise and moderate harmful content.

## Key terms

- PL: **próg odcięcia**: Wynik klasyfikatora, powyżej którego treść jest usuwana.
- PL: **lista blokująca**: Spis domen lub słów, których obecność wyklucza dokument.
- EN: **cutoff threshold**: Classifier score above which content is removed.
- EN: **blocklist**: List of domains or words whose presence excludes a document.

## Know first

- [Klasyfikacja tekstu i analiza sentymentu (Text classification and sentiment analysis)](https://aiatlasgraph.com/t/textclassification.md)

## Related topics

Untyped, symmetric "see also" links.

- [Guardrails (Guardrails and output control)](https://aiatlasgraph.com/t/guardrails.md)

## Sources

- [Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research](<https://arxiv.org/abs/2402.00159>) `soldaini-2024-dolma` · by Luca Soldaini, Rodney Kinney, Akshita Bhagia, Dustin Schwenk, David Atkinson, Russell Authur, Ben Bogin, Khyathi Chandu, Jennifer Dumas, Yanai Elazar, Valentin Hofmann, Ananya Harsh Jha, Sachin Kumar, Li Lucy, Xinxi Lyu, Nathan Lambert, Ian Magnusson, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Abhilasha Ravichander, Kyle Richardson, Zejiang Shen, Emma Strubell, Nishant Subramani, Oyvind Tafjord, Pete Walsh, Luke Zettlemoyer, Noah A. Smith, Hannaneh Hajishirzi, Iz Beltagy, Dirk Groeneveld, Jesse Dodge, Kyle Lo

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/contentsafetyfiltering · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30