Uczenie modelu nieszkodliwości na podstawie spisanej listy zasad („konstytucji”): model krytykuje i poprawia własne odpowiedzi, a oceny preferencji wydaje AI zamiast ludzi (RLAIF).
Training a model to be harmless from a written list of principles (a “constitution”): the model critiques and revises its own answers, and preference labels come from an AI instead of humans (RLAIF).
To uczenie modelu za pomocą spisanych zasad i ocen odpowiedzi przygotowywanych przez modele.
This trains a model using written principles and model-generated evaluations of responses.
Ręczne ocenianie każdej odpowiedzi jest kosztowne, a model potrzebuje spójnych wskazówek dotyczących dopuszczalnego zachowania.
Manually judging every response is costly, while a model needs consistent guidance about acceptable behaviour.
Model krytykuje i poprawia odpowiedzi według zasad, a wybrane oceny pomagają w treningu; dobór zasad i błędy oceny mają znaczenie.
A model critiques and revises responses against principles, and selected evaluations guide training; the principles and evaluation errors matter.
Przy treningu asystenta lista zasad pomaga wskazać odpowiedź ujawniającą prywatne dane i przygotować bezpieczniejszy wariant.
While training an assistant, written principles help identify a response exposing private information and prepare a safer alternative.