Adaptery (małe warstwy wstawiane do modelu)

Adapter modules · id adapters · aliases: adapters, adapter modules, bottleneck adapters

Do zamrożonego modelu dokłada się małe trenowalne warstwy i uczy tylko je. Jeden model bazowy może obsługiwać wiele zadań z osobnymi, wymiennymi adapterami.

Small trainable layers are inserted into a frozen model and only they are trained. One base model can serve many tasks with separate, swappable adapters.

In one sentence

To małe uczone warstwy dodawane do modelu, którego dotychczasowe ustawienia pozostają stałe.

These small trainable layers are added to a model whose existing parameters stay fixed.

Problem it solves

Potrzebujesz wariantu dla nowego zadania, ale nie chcesz przechowywać i uczyć kolejnej pełnej kopii modelu.

You need a variant for a new task but do not want to store and train another full model copy.

What it does

Dodane warstwy przekształcają sygnały w wybranych miejscach sieci, a trening zmienia tylko ich ustawienia.

Added layers transform signals at selected network locations, while training updates only their parameters.

Everyday example

Do jednego modelu dodajesz wymienne moduły dla opisów produktów i notatek ze zgłoszeń.

You add replaceable modules for product descriptions and support notes to one model.

This concerns you if you…

Examples

Sources