# RWKV — sieć rekurencyjna trenowana jak transformer

EN: **RWKV (Receptance Weighted Key Value)** · id `rwkv` · aliases: RWKV, Receptance Weighted Key Value

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Architektury efektywne](https://aiatlasgraph.com/t/efficientarch.md) › RWKV — sieć rekurencyjna trenowana jak transformer

## Description

- PL: Architektura łącząca równoległy trening w stylu transformera z inferencją rekurencyjną o stałym koszcie na token; zbudowana z bloków time-mixing i channel-mixing.
- EN: An architecture combining transformer-style parallel training with recurrent inference at constant cost per token; built from time-mixing and channel-mixing blocks.

## In one sentence

- PL: Model językowy, który uczy się równolegle jak nowoczesne modele, a odpowiada jak dawna sieć z pamięcią w postaci krótkiego podsumowania.
- EN: A language model that trains in parallel like modern models but answers like an older network with a short running summary as memory.

## Problem it solves

- PL: Zwykłe modele językowe przy długich rozmowach potrzebują coraz więcej pamięci na każde kolejne słowo.
- EN: Ordinary language models need ever more memory for each new word in long conversations.

## What it does

- PL: Jak kronikarz z jednym zeszytem: po każdym zdaniu poprawia zapiski, zamiast trzymać stos wszystkich poprzednich kartek.
- EN: Like a chronicler with a single notebook: after each sentence he updates his notes instead of keeping a pile of all past pages.

## Everyday example

- PL: Zwykły komputer bez mocnej karty graficznej prowadzi długą rozmowę, a zużycie pamięci nie rośnie z każdą wymianą.
- EN: An ordinary computer without a strong graphics card holds a long conversation, and memory use does not grow with each exchange.

## This concerns you if you…

- PL: chcesz uruchamiać model językowy na słabszym sprzęcie
- PL: interesują cię otwarte alternatywy dla transformerów
- EN: want to run a language model on modest hardware
- EN: are interested in open alternatives to transformers

## Keywords

WKV operator · time-mixing · channel-mixing · token shift · RWKV-7 Goose · linear RNN · EleutherAI

## How it works

- PL: Blok time-mixing liczy operator WKV: średnią ważoną przeszłych wartości z wykładniczym zanikiem zależnym od odległości i osobnym bonusem dla bieżącego tokenu, bramkowaną sigmoidą receptance. Channel-mixing to bramkowana warstwa feed-forward. Ponieważ WKV ma postać rekurencyjną, inferencja potrzebuje tylko stałego stanu.
- EN: The time-mixing block computes the WKV operator: a weighted average of past values with distance-dependent exponential decay and a separate bonus for the current token, gated by a receptance sigmoid. Channel-mixing is a gated feed-forward layer. Because WKV can be written recurrently, inference needs only a constant state.

## Limits

- PL: Stały stan ogranicza dokładne przywoływanie dawnych szczegółów, a model jest wrażliwszy na kolejność i sformułowanie promptu. Ekosystem narzędzi i liczba dużych wytrenowanych modeli są mniejsze niż dla transformerów.
- EN: The constant state limits precise recall of old details, and the model is more sensitive to prompt order and wording. Tooling and the number of large trained models are smaller than for transformers.

## Key terms

- PL: **time-mixing**: Część bloku mieszająca informację między kolejnymi tokenami.
- PL: **channel-mixing**: Część bloku przetwarzająca cechy jednego tokenu, jak warstwa MLP.
- PL: **token shift**: Mieszanie wejścia z wejściem z poprzedniego kroku przed rzutowaniem.
- EN: **time-mixing**: The block part mixing information across successive tokens.
- EN: **channel-mixing**: The block part processing one token's features, like an MLP.
- EN: **token shift**: Blending the input with the previous step's input before projection.

## Know first

- [Sieci rekurencyjne (RNN) (Recurrent neural networks (RNN))](https://aiatlasgraph.com/t/rnn.md)
- [Mechanizm self-attention (zapytania, klucze, wartości) (Self-attention (queries, keys, values))](https://aiatlasgraph.com/t/selfattention.md)

## Related topics

Untyped, symmetric "see also" links.

- [Uwaga liniowa (Linear attention)](https://aiatlasgraph.com/t/linearattention.md)

## Sources

- [RWKV: Reinventing RNNs for the Transformer Era](<https://arxiv.org/abs/2305.13048>) `peng-rwkv-2023` · by Bo Peng, Eric Alcaide, Quentin Anthony i in.

---

AI Atlas revision 130 (2026-11-06) · HTML: https://aiatlasgraph.com/t/rwkv · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-05