Dekodowanie ukrytych stanów warstw pośrednich transformera na rozkład słownika, bezpośrednio (logit lens) lub przez wyuczony translator na warstwę (tuned lens).
Decoding a transformer's intermediate hidden states into vocabulary distributions, directly (logit lens) or via a learned per-layer translator (tuned lens).
Zaglądanie, jakie słowo model „miał na myśli” w połowie obliczeń, zanim doszedł do ostatecznej odpowiedzi.
Peeking at which word a model “had in mind” halfway through its computation, before reaching its final answer.
Widzimy tylko ostatnie słowo modelu, więc nie wiemy, kiedy w trakcie obliczeń zdecydował albo zmienił zdanie.
We only see the model's final word, so we cannot tell when during its computation it decided or changed its mind.
Jak klatki z filmu o rzeźbiarzu: oglądasz rzeźbę na kolejnych etapach, a nie tylko gotowe dzieło.
Like stills from a film about a sculptor: you see the statue at successive stages, not only the finished work.
Badaczka sprawdza pytanie o stolicę kraju i widzi, że poprawna nazwa pojawia się już w połowie modelu, a później tylko się umacnia.
A researcher tests a capital-city question and sees the correct name appear halfway through the model, then just grow stronger.