Wydłużanie okna kontekstu

Context window extension · id contextextension · aliases: context extension, long-context training, RoPE scaling, YaRN, długi kontekst

Dalszy trening modelu, który ma poprawić działanie na sekwencjach dłuższych niż używane wcześniej — często przez modyfikację kodowania pozycji i trening na długich przykładach.

Further training intended to improve performance on sequences longer than those used previously — often by modifying positional encoding and training on long examples.

In one sentence

To dalsze uczenie modelu, żeby lepiej pracował z tekstami dłuższymi niż te używane wcześniej.

This further trains a model to work better with texts longer than those used previously.

Problem it solves

Długi dokument mieści się w zmienionym limicie, ale model nadal gubi zależności między odległymi fragmentami.

A long document fits an expanded limit, but the model still loses relationships between distant passages.

What it does

Modyfikacje informacji o pozycji i trening na dłuższych przykładach pomagają dostosować sieć; samo zwiększenie limitu nie wystarcza.

Position-information changes and training on longer examples help adapt the network; increasing the input limit alone is insufficient.

Everyday example

Po rozszerzeniu kontekstu testujesz, czy model poprawnie łączy warunek z początku umowy z wyjątkiem na końcu.

After extending context, you test whether a model connects a condition near a contract's beginning with an exception at the end.

This concerns you if you…

Examples

Related topics

Sources