Ewaluacje bezpieczeństwa modeli

AI safety evaluations · id safetyevals

Celowe szukanie szkodliwych zachowań i groźnych zdolności modelu przed wdrożeniem i po nim — przez ludzi, inne modele i ustandaryzowane testy.

Deliberately probing a model for harmful behaviour and dangerous capabilities before and after deployment — by people, other models and standardised tests.

In one sentence

To testy szukające szkodliwych zachowań i niebezpiecznych możliwości modelu przed udostępnieniem oraz podczas używania.

These tests look for harmful behaviour and dangerous model capabilities before release and during use.

Problem it solves

Dobre wyniki zwykłych zadań nie pokazują, czy model ujawni dane albo pomoże w niebezpiecznym działaniu.

Good performance on ordinary tasks does not reveal whether a model will expose data or assist dangerous activity.

What it does

Ludzie, modele i przygotowane scenariusze sprawdzają trudne przypadki, a wyniki pomagają dobrać zabezpieczenia oraz warunki udostępnienia.

People, models and prepared scenarios test difficult cases, helping determine safeguards and release conditions.

Everyday example

Przed uruchomieniem asystenta sprawdzasz, jak reaguje na prośby o prywatne dane i próby wykonania niedozwolonych działań.

Before launching an assistant, you test its response to requests for private information and attempts at prohibited actions.

This concerns you if you…

udostępniasz nowy model lub jego wersję
chcesz sprawdzać zabezpieczenia w trakcie używania
release a new model or version
want to test safeguards during operation

Examples

red teaming · ewaluacje niebezpiecznych zdolności · testy przed wdrożeniem
red teaming · dangerous capability evaluations · pre-deployment testing

Subtopics

Ewaluacje niebezpiecznych zdolności (cyber, bio, autonomia) (Dangerous capability evaluations): Tests of whether a model can meaningfully help with dangerous activities — cyberattacks, biological or chemical weapons, persuasion, self-proliferation or automating AI research. Results trigger thresholds in companies' safety policies.
Red teaming modeli (ręczny i automatyczny) (Red teaming language models): Attacking your own model to find harmful outputs before users do: manually by tester teams, or automatically with one model generating attacks against another.
Samocena rozmowy pod kątem nadużyć (Conversation self-assessment for misuse detection): After responding, the model generates a short safety assessment of its own conversation, reusing the already computed context.
Sondy aktywacji do wykrywania niepokojących wzorców (Activation probes for detecting concerning model behavior): Lightweight classifiers analysing the model's internal activations for patterns associated with undesirable behaviour.
Wielowarstwowe monitorowanie agentów (Multi-layer monitoring for agent misalignment): A cascade of monitors from cheap activation probes, through model reviewers, to investigative agents analysing full transcripts and logs.

Sources

International AI Safety Report 2026 · Panel ponad 100 ekspertów pod przewodnictwem Yoshuy Bengio; Expert Advisory Panel z przedstawicielami 30+ państw i organizacji
Technical AI Safety — BlueDot Impact course · BlueDot Impact
Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned · D. Ganguli, L. Lovitt, J. Kernion, A. Askell i in. (36 autorów; Anthropic)
Evaluating Frontier Models for Dangerous Capabilities · M. Phuong, M. Aitchison, E. Catt, S. Cogan i in. (27 autorów; Google DeepMind), T. Shevlane