Syntetyczne i realistyczne testy efektywnej długości kontekstu: wyszukiwanie ukrytych faktów, śledzenie wieloetapowe i agregacja.
Synthetic and realistic tests of effective context length: retrieving planted facts, multi-hop tracing and aggregation.
Testy sprawdzają, czy model naprawdę korzysta z bardzo długiego tekstu, który dostaje, czy gubi informacje ze środka.
Tests that check whether a model really uses the very long text it is given, or loses information from the middle.
Deklarowana długość tekstu, który model może przyjąć, często jest większa niż ta, z którą faktycznie dobrze pracuje.
The advertised amount of text a model can take in is often larger than the amount it actually handles well.
Ukrywa w długim tekście fakty do znalezienia, połączenia albo zliczenia, jak zagadki w grubej książce, i patrzy, kiedy wyniki zaczynają spadać.
It hides facts to find, link or count inside long text, like puzzles in a thick book, and watches when scores start to drop.
Wrzucasz do asystenta całą umowę z załącznikami i pytasz o karę umowną z pięćdziesiątej strony; test pokazuje, czy taka odpowiedź jest wiarygodna.
You give an assistant a whole contract with appendices and ask about a penalty on page fifty; the test shows whether such an answer is trustworthy.