Enkoder, dekoder i enkoder–dekoder (BERT, GPT, T5)

Encoder-only, decoder-only and encoder–decoder models · id transformerfamilies · aliases: encoder-only, decoder-only, encoder-decoder, BERT, GPT, T5, masked language model, seq2seq transformer

Trzy układy transformera. Enkodery (BERT) widzą tekst w obie strony i służą do klasyfikacji, wyszukiwania i ekstrakcji; dekodery (GPT, Llama) przewidują następny token i stanowią większość współczesnych LLM; enkoder–dekoder (T5, BART) tłumaczy jeden tekst na drugi, np. w tłumaczeniu i streszczaniu.

The three transformer layouts. Encoders (BERT) read text bidirectionally and serve classification, search and extraction; decoders (GPT, Llama) predict the next token and make up most modern LLMs; encoder–decoders (T5, BART) map one text to another, e.g. translation and summarisation.

In one sentence

To różne układy modeli uwagi przeznaczone do odczytywania danych, tworzenia tekstu lub przekształcania jednego tekstu w drugi.

These attention-model layouts are designed to read data, generate text or transform one text into another.

Problem it solves

Model dobry do porównywania tekstów nie musi być najlepszym wyborem do pisania odpowiedzi.

A model suited to comparing texts may not be the best choice for writing responses.

What it does

Część odczytująca analizuje wejście, część generująca dopisuje kolejne fragmenty, a połączony układ oddziela te dwa zadania.

An encoder analyses input, a decoder generates successive elements, and a combined layout separates those two jobs.

Everyday example

Do sortowania opinii wybierasz model odczytujący tekst, a do tworzenia odpowiedzi model generujący kolejne słowa.

You choose a text-reading model to sort reviews and a model that generates successive words to write replies.

This concerns you if you…

Examples

Related topics

Sources