Transformery w pętli

Looped transformers · id loopedtf · aliases: Universal Transformer, weight-tied transformer

Współdzielony blok transformera stosowany rekurencyjnie do reprezentacji sekwencji, czasem z osobnym zatrzymaniem pozycji.

A shared transformer block applied recurrently to sequence representations, sometimes with per-position halting.

In one sentence

Te same warstwy uwagi liczą się wielokrotnie, zamiast dokładać nową warstwę na każdy krok.

The same attention layers run many times, instead of adding a new layer for each step.

Problem it solves

Głębsza sieć kosztuje osobne wagi, a zadanie wymaga różnej liczby powtórzeń.

A deeper network costs separate weights, and the task needs a varying number of repeats.

What it does

Jeden blok poprawia reprezentację całej sekwencji w kolejnych obrotach, czasem kończąc pozycje wcześniej.

One block revises the whole sequence over successive passes, sometimes finishing positions early.

Everyday example

Przy poprawianiu tabeli model kilkukrotnie przelicza te same warstwy, za każdym razem aktualizując reprezentację układu.

When fixing a table, the model reruns the same layers several times, updating the layout representation on each pass.

This concerns you if you…

Related topics

Sources