Dostrajanie przez interwencje w reprezentacje

Fine-tuning through representation interventions · id reft · aliases: representation fine-tuning, representation intervention fine-tuning, dostrajanie reprezentacji

Zamiast zmieniać wagi, uczy się małych interwencji na ukrytych reprezentacjach wybranych warstw i pozycji zamrożonego modelu.

Instead of changing weights, it learns small interventions on hidden representations at chosen layers and positions of a frozen model.

In one sentence

Sposób dostrajania, który nie rusza samego modelu, tylko uczy się delikatnie poprawiać jego wewnętrzny tok „myślenia” w trakcie odpowiedzi.

A fine-tuning approach that leaves the model itself alone and learns to gently nudge its internal 'thinking' while it answers.

Problem it solves

Nawet oszczędne metody dostrajania zmieniają wagi, choć do nowego zadania często wystarczy lekko przesunąć to, co model już wie.

Even lean fine-tuning methods change weights, although a new task often needs only a slight shift in what the model already knows.

What it does

Jak suflerka w teatrze: aktor zna rolę, a ona w kilku kluczowych momentach podpowiada, w którą stronę poprowadzić scenę.

Like a prompter in a theatre: the actor knows the part, and she whispers direction at a few key moments.

Everyday example

Model dostaje drobną, wymienną poprawkę, dzięki której zawsze odpowiada zgodnie z firmowym formatem raportu.

A model gets a tiny swappable tweak that makes it always answer in the company's report format.

This concerns you if you…

Related topics

Sources