Zamiana tekstu na ciąg tokenów — kawałków słów z ustalonego słownika — zanim model go zobaczy. Dominują metody podsłowowe: BPE (także w wersji na bajtach, jak w GPT), WordPiece (BERT) i Unigram w bibliotece SentencePiece (T5). Tokenizacja wpływa na koszt, długość kontekstu i to, jak model radzi sobie z językami innymi niż angielski.
Turning text into a sequence of tokens — sub-word pieces from a fixed vocabulary — before the model sees it. Sub-word methods dominate: BPE (also byte-level, as in GPT), WordPiece (BERT) and Unigram via SentencePiece (T5). Tokenisation affects cost, context length and how well a model handles non-English languages.
To dzielenie tekstu na kawałki, które model potrafi odczytać jako liczby.
This splits text into pieces that a model can read as numbers.
Dwa równie długie teksty mogą kosztować inaczej i zajmować różną część pamięci rozmowy.
Two texts of similar length can cost differently and occupy different amounts of conversation space.
Słownik przypisuje numery fragmentom słów; rzadki wyraz może wymagać więcej kawałków niż często spotykany.
A vocabulary assigns numbers to word fragments; a rare word may need more pieces than a common one.
Przed wysłaniem długiego polskiego dokumentu sprawdzasz liczbę kawałków tekstu, żeby zmieścić się w limicie modelu.
Before sending a long document, you check its piece count to stay within the model's input limit.