Zarządzanie oknem kontekstu

Context window management: placement, compaction and context rot · id contextmanagement · aliases: context management, context compaction, context rot, lost in the middle, long-context prompting, kompakcja kontekstu, zarządzanie kontekstem

Decydowanie, które tokeny i w jakiej kolejności trafiają do ograniczonego kontekstu: rozmieszczenie, przycinanie, streszczanie i notatki zewnętrzne.

Deciding which tokens enter a limited context and in what order: placement, trimming, summarisation and external notes.

In one sentence

Model widzi naraz tylko ograniczoną ilość tekstu, więc trzeba wybierać, co mu podać, gdzie to umieścić i co skrócić.

A model sees only a limited amount of text at once, so you choose what to give it, where to place it and what to shorten.

Problem it solves

W długiej rozmowie lub dużym dokumencie model zaczyna gubić ważne szczegóły, mylić fakty i zapominać wcześniejsze ustalenia.

In a long conversation or large document the model starts losing key details, mixing up facts and forgetting earlier decisions.

What it does

Jak notatki na biurku przy dużym projekcie: trzymasz pod ręką tylko to, co teraz potrzebne, a resztę streszczasz i odkładasz do teczki.

Like the notes on your desk during a big project: you keep only what you need now within reach and summarise and file the rest.

Everyday example

Po godzinie wspólnej pracy nad raportem asystent streszcza dotychczasowe ustalenia i zaczyna z czystym kontekstem, nie tracąc ważnych decyzji.

After an hour working on a report together, the assistant summarises what was decided and continues with a clean context, keeping key decisions.

This concerns you if you…

Related topics

Sources