Red teaming modeli (ręczny i automatyczny)

Red teaming language models · id redteaming · aliases: red teaming, AI red teaming, LLM red teaming, automated red teaming, red teaming modeli językowych

Atakowanie własnego modelu, by znaleźć szkodliwe odpowiedzi zanim zrobią to użytkownicy: ręcznie przez zespoły testerów albo automatycznie, gdy jeden model generuje ataki na drugi.

Attacking your own model to find harmful outputs before users do: manually by tester teams, or automatically with one model generating attacks against another.

In one sentence

To celowe próbowanie, jak wywołać niepożądane zachowanie własnego systemu, zanim zrobią to inni.

This deliberately tries to provoke unwanted behaviour in your own system before others do.

Problem it solves

Zwykłe testy sprawdzają poprawne użycie, lecz nie pokazują, co się stanie przy celowej próbie nadużycia.

Ordinary tests cover intended use but do not show what happens during deliberate misuse attempts.

What it does

Testerzy lub modele tworzą trudne scenariusze i próby ataku, a znalezione luki służą do poprawienia zabezpieczeń.

Testers or models create challenging scenarios and attack attempts, using discovered weaknesses to improve safeguards.

Everyday example

W kontrolowanym środowisku zespół próbuje nakłonić asystenta do pokazania danych innego konta i zapisuje znalezione luki.

In a controlled environment, a team tries to make an assistant reveal another account's data and records discovered weaknesses.

This concerns you if you…

• chcesz sprawdzić system pod kątem nadużyć
• szukasz luk pomijanych przez zwykłe testy
• want to test a system for misuse
• look for weaknesses ordinary tests miss

Examples

• zbiory ataków red-teamingowych · red teaming modelem językowym · wieloturowe ataki
• red-team attack datasets · LM-based red teaming · multi-turn attacks

Related topics

• Ataki przez prompt (Prompt attacks)
• Jailbreaki — obchodzenie zabezpieczeń modelu (Jailbreaking)

Sources

• Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned · D. Ganguli, L. Lovitt, J. Kernion, A. Askell i in. (36 autorów; Anthropic)
• Red Teaming Language Models with Language Models · E. Perez, S. Huang, F. Song, T. Cai, R. Ring, J. Aslanides, A. Glaese, N. McAleese, G. Irving (DeepMind)