Trzyetapowa receptura RLHF spopularyzowana przez InstructGPT: dostrajanie na demonstracjach, uczenie modelu nagrody z rankingów ludzi, a następnie optymalizacja polityki przez PPO z ograniczeniem odchylenia od modelu referencyjnego.
The three-stage RLHF recipe popularised by InstructGPT: supervised fine-tuning on demonstrations, training a reward model from human rankings, then policy optimisation with PPO while constraining divergence from a reference model.
To trening modelu łączący wzorcowe odpowiedzi, oceny ludzi i dalszą naukę z wyuczoną nagrodą.
This trains a model through reference responses, human evaluations and further learning with a learned reward.
Model umie odpowiadać, ale potrzebujesz systematycznie zbliżyć jego zachowanie do preferencji ludzi.
A model can answer, but you need to systematically align its behaviour with human preferences.
Najpierw model ćwiczy demonstracje, osobny model uczy się ocen, a trening z nagrodą poprawia odpowiedzi z kontrolą odchylenia od bazy.
First a model learns demonstrations, a separate evaluator learns preferences, then reward-based training improves responses while limiting deviation from the base.
Ludzie porównują odpowiedzi asystenta, model oceny uczy się tych wyborów, a kolejny trening korzysta z jego ocen.
People compare assistant responses, an evaluator learns their choices, and further training uses its scores.