# Trening według zasad (Constitutional AI, RLAIF)

EN: **Constitutional AI and RL from AI feedback** · id `constitutionalai`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Bezpieczeństwo i governance](https://aiatlasgraph.com/t/safety.md) › [Alignment i safety](https://aiatlasgraph.com/t/alignment.md) › Trening według zasad (Constitutional AI, RLAIF)

## Description

- PL: Uczenie modelu nieszkodliwości na podstawie spisanej listy zasad („konstytucji”): model krytykuje i poprawia własne odpowiedzi, a oceny preferencji wydaje AI zamiast ludzi (RLAIF).
- EN: Training a model to be harmless from a written list of principles (a “constitution”): the model critiques and revises its own answers, and preference labels come from an AI instead of humans (RLAIF).

## In one sentence

- PL: To uczenie modelu za pomocą spisanych zasad i ocen odpowiedzi przygotowywanych przez modele.
- EN: This trains a model using written principles and model-generated evaluations of responses.

## Problem it solves

- PL: Ręczne ocenianie każdej odpowiedzi jest kosztowne, a model potrzebuje spójnych wskazówek dotyczących dopuszczalnego zachowania.
- EN: Manually judging every response is costly, while a model needs consistent guidance about acceptable behaviour.

## What it does

- PL: Model krytykuje i poprawia odpowiedzi według zasad, a wybrane oceny pomagają w treningu; dobór zasad i błędy oceny mają znaczenie.
- EN: A model critiques and revises responses against principles, and selected evaluations guide training; the principles and evaluation errors matter.

## Everyday example

- PL: Przy treningu asystenta lista zasad pomaga wskazać odpowiedź ujawniającą prywatne dane i przygotować bezpieczniejszy wariant.
- EN: While training an assistant, written principles help identify a response exposing private information and prepare a safer alternative.

## This concerns you if you…

- PL: chcesz stosować spójne zasady podczas treningu
- PL: korzystasz z modeli do oceniania odpowiedzi
- EN: want consistent principles during training
- EN: use models to evaluate responses

## Keywords

RLAIF · model constitution · self-critique · response revision · AI preference labels · harmlessness training

## How it works

- PL: Model krytykuje i poprawia odpowiedzi względem spisanych zasad, tworząc dane do uczenia nadzorowanego. Porównania odpowiedzi oceniane według tych zasad dostarczają preferencji do dalszej optymalizacji zachowania.
- EN: A model critiques and revises responses against written principles, creating supervised training data. Principle-based response comparisons provide preferences for further behavioural optimisation.

## Limits

- PL: Niejasne lub sprzeczne zasady tworzą niespójny nadzór. Oceniający model może powielać własne uprzedzenia i błędy; zgodność z jego oceną nie dowodzi nieszkodliwości we wszystkich sytuacjach.
- EN: Unclear or conflicting principles create inconsistent supervision. Evaluator models can reproduce their own biases and errors; matching their judgments does not establish universal harmlessness.

## Key terms

- PL: **konstytucja modelu**: Zestaw zasad kierujących krytyką odpowiedzi i sygnałem preferencji.
- PL: **RLAIF**: Uczenie ze wzmocnieniem korzystające z informacji zwrotnej generowanej przez AI.
- EN: **model constitution**: Principles guiding response critique and preference signals.
- EN: **RLAIF**: Reinforcement learning using AI-generated feedback.

## Know first

- [SFT / instruction tuning (Supervised fine-tuning)](https://aiatlasgraph.com/t/sft.md)
- [Ocena ludzi i modeli (Human evaluation and model judges)](https://aiatlasgraph.com/t/judges.md)

## Examples

- PL: samokrytyka i poprawa · RLAIF · konstytucja modelu
- EN: self-critique and revision · RLAIF · model constitution

## Related topics

Untyped, symmetric "see also" links.

- [Klasyfikatory bezpieczeństwa wejścia i wyjścia (Input and output safety classifiers)](https://aiatlasgraph.com/t/safetyclassifiers.md)
- [Preferencje i RL dla LLM (Preference optimization and RL for LLMs)](https://aiatlasgraph.com/t/preferences.md)

## Sources

- [Constitutional AI: Harmlessness from AI Feedback](<https://arxiv.org/abs/2212.08073>) `constitutional-ai-2022` · by Y. Bai, S. Kadavath, S. Kundu, A. Askell i in. (51 autorów; Anthropic)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/constitutionalai · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30