# Transformery w pętli

EN: **Looped transformers** · id `loopedtf` · aliases: Universal Transformer, weight-tied transformer

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Rozumowanie w modelach językowych](https://aiatlasgraph.com/t/reasoningmodels.md) › [Pętle głębokości i myśli ukryte](https://aiatlasgraph.com/t/latentloops.md) › Transformery w pętli

## Description

- PL: Współdzielony blok transformera stosowany rekurencyjnie do reprezentacji sekwencji, czasem z osobnym zatrzymaniem pozycji.
- EN: A shared transformer block applied recurrently to sequence representations, sometimes with per-position halting.

## In one sentence

- PL: Te same warstwy uwagi liczą się wielokrotnie, zamiast dokładać nową warstwę na każdy krok.
- EN: The same attention layers run many times, instead of adding a new layer for each step.

## Problem it solves

- PL: Głębsza sieć kosztuje osobne wagi, a zadanie wymaga różnej liczby powtórzeń.
- EN: A deeper network costs separate weights, and the task needs a varying number of repeats.

## What it does

- PL: Jeden blok poprawia reprezentację całej sekwencji w kolejnych obrotach, czasem kończąc pozycje wcześniej.
- EN: One block revises the whole sequence over successive passes, sometimes finishing positions early.

## Everyday example

- PL: Przy poprawianiu tabeli model kilkukrotnie przelicza te same warstwy, za każdym razem aktualizując reprezentację układu.
- EN: When fixing a table, the model reruns the same layers several times, updating the layout representation on each pass.

## This concerns you if you…

- PL: chcesz głębokość bez nowych wag
- PL: zadanie ma kroki o różnej trudności
- PL: ten sam blok ma liczyć iteracyjnie
- EN: want depth without new weights
- EN: a task has steps of varying difficulty
- EN: the same block should run iteratively

## Keywords

Universal Transformer · weight tying · adaptive computation time · recurrent self-attention · looped transformer · Turing completeness · instruction-set emulation

## How it works

- PL: W każdym obrocie uwaga łączy pozycje, a wspólne wagi poprawiają ich stany. Mechanizm zatrzymania może skończyć pracę pozycji wcześniej. Osobna linia prac pokazuje, że zapętlony płytki transformer z ustalonymi wagami może wykonywać programy zapisane na wejściu.
- EN: Each pass uses attention to mix positions, and shared weights revise their states. A halting mechanism can stop a position early. A separate line of work shows a looped shallow transformer with fixed weights can run programs written in the input.

## Limits

- PL: Za mało obrotów może zostawić błąd, a za dużo marnuje obliczenia. Mechanizm zatrzymania trzeba wyuczyć lub skonfigurować. Programowalność modelu ze stałymi wagami nie jest tym samym co uczenie modelu językowego od zera.
- EN: Too few passes can leave errors, while too many waste compute. The halting mechanism must be trained or configured. Programmability with fixed weights is not the same as training a language model from scratch.

## Key terms

- PL: **wiązanie wag**: Użycie tych samych wag w kolejnych powtórzeniach bloku.
- PL: **zatrzymanie pozycji**: Osobna decyzja, czy dana pozycja sekwencji kończy liczenie.
- EN: **weight tying**: Using the same weights on successive repeats of a block.
- EN: **position halting**: A separate decision on whether a sequence position stops computing.

## Know first

- [Transformery i attention (Transformers and attention)](https://aiatlasgraph.com/t/transformers.md)

## Related topics

Untyped, symmetric "see also" links.

- [Transformery i attention (Transformers and attention)](https://aiatlasgraph.com/t/transformers.md)

## Sources

- [Universal Transformers](<https://arxiv.org/abs/1807.03819>) `dehghani-ut-2018` · by Mostafa Dehghani, Stephan Gouws, Oriol Vinyals, Jakob Uszkoreit, Łukasz Kaiser
- [Looped Transformers as Programmable Computers](<https://arxiv.org/abs/2301.13196>) `giannou-looped-2023` · by Angeliki Giannou, Shashank Rajput, Jy-yong Sohn, Kangwook Lee, Jason D. Lee, Dimitris Papailiopoulos
- [Decoding Looped Transformers Better for (Almost) Free](<https://arxiv.org/abs/2610.02185>) `liu-loopcd-2026` · by Weihao Liu, Huangjie Zheng, Tianrong Chen, Rohit Dilip, Richard He Bai, Yizhu Jiao, Yuyang Wang, Ruixiang Zhang

---

AI Atlas revision 124 (2026-10-31) · HTML: https://aiatlasgraph.com/t/loopedtf · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30