Pakowanie sekwencji w treningu (sequence packing)

Sequence packing for training · id seqpacking · aliases: sequence packing, example packing, pakowanie sekwencji, pakowanie przykładów

Łączenie wielu krótkich przykładów w jedną sekwencję o długości kontekstu, aby ograniczyć padding w batchu.

Concatenating several short examples into one context-length sequence to reduce padding in a batch.

In one sentence

Sposób upychania wielu krótkich przykładów w jednym wierszu danych, żeby trening nie marnował pracy na puste wypełnienie.

A way of fitting several short examples into one row of training data so the computer doesn't waste work on empty filler.

Problem it solves

Krótkie i długie przykłady w jednej paczce trzeba dopełniać pustymi znakami, a komputer je przetwarza, niczego się z nich nie ucząc.

Mixing short and long examples forces padding with empty tokens, which the computer processes without learning anything from them.

What it does

Jak pakowanie walizki: zamiast jednej koszuli na walizkę układasz kilka rzeczy obok siebie, z przegródkami, żeby się nie pomieszały.

Like packing a suitcase: instead of one shirt per case, you fit several items side by side, with dividers so they don't mix.

Everyday example

Dostrajasz model na tysiącach krótkich pytań i odpowiedzi z działu obsługi, a trening na tym samym sprzęcie kończy się szybciej.

You fine-tune a model on thousands of short support questions and answers, and training finishes sooner on the same hardware.

This concerns you if you…

Sources