# Red teaming jako wyszukiwanie quality-diversity

EN: **Quality-diversity red teaming** · id `qdredteaming` · aliases: quality-diversity red teaming, QD red teaming, Rainbow Teaming, red teaming quality-diversity, różnorodny red teaming

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Obliczenia ewolucyjne i inteligencja roju](https://aiatlasgraph.com/t/evolutionary.md) › [Różnorodność i ewolucja otwarta](https://aiatlasgraph.com/t/qualitydiversity.md) › Red teaming jako wyszukiwanie quality-diversity

## Description

- PL: Generowanie zróżnicowanych promptów adwersarialnych jako problem quality-diversity: archiwum MAP-Elites indeksowane kategorią ryzyka i stylem ataku.
- EN: Generating diverse adversarial prompts as a quality-diversity problem: a MAP-Elites archive indexed by risk category and attack style.

## In one sentence

- PL: Program buduje tabelę podstępnych pytań do modelu, osobno dla każdego rodzaju ryzyka i stylu ataku, i stale je ulepsza.
- EN: Software builds a table of tricky prompts for a model, one per risk type and attack style, and keeps improving them.

## Problem it solves

- PL: Automatyczne szukanie słabości modelu często znajduje w kółko ten sam typ ataku, a reszta luk zostaje nieodkryta.
- EN: Automated searches for model weaknesses often keep finding the same attack type, leaving other gaps undiscovered.

## What it does

- PL: Jak plansza bingo: każda kratka to inne połączenie tematu i sztuczki, a w każdej trzyma się dotąd najskuteczniejsze pytanie.
- EN: Like a bingo card: each square is a different topic-and-trick combination, and each holds the most effective prompt so far.

## Everyday example

- PL: Przed udostępnieniem czatbota zespół dostaje setki różnych prób oszukania go, pogrupowanych tematami, i douczanie na nich poprawia bezpieczeństwo.
- EN: Before launching a chatbot a team gets hundreds of varied attempts to trick it, grouped by topic, and further training on them improves safety.

## This concerns you if you…

- PL: testujesz bezpieczeństwo własnego asystenta AI
- PL: potrzebujesz zróżnicowanych danych do douczania odmowy
- EN: test the safety of your own AI assistant
- EN: need varied data to train safe refusals

## Keywords

Rainbow Teaming · MAP-Elites · adversarial prompts · attack success rate · judge LLM · Llama Guard · safety fine-tuning

## How it works

- PL: Archiwum to siatka z osiami kategorii ryzyka i stylu ataku. W każdej iteracji losuje się prompt-rodzica i docelową komórkę; model-mutator przerabia go pod jej cechy, filtr podobieństwa odrzuca kopie, a model-sędzia porównuje odpowiedzi atakowanego modelu na kandydata i obecnego mistrza komórki. Zwycięzca zajmuje komórkę.
- EN: The archive is a grid with risk category and attack style axes. Each iteration samples a parent prompt and a target cell; a mutator model rewrites it for that cell's features, a similarity filter drops near-copies, and a judge model compares the target model's responses to the candidate and the cell's current elite. The winner takes the cell.

## Limits

- PL: Jakość zależy od modelu-sędziego, który sam może się mylić. Osie archiwum projektuje człowiek, więc ataki spoza nich zostają pominięte, a każda iteracja kosztuje kilka wywołań dużych modeli.
- EN: Quality depends on the judge model, which can itself be wrong. People design the archive axes, so attacks outside them are missed, and each iteration costs several large-model calls.

## Key terms

- PL: **archiwum**: Siatka przechowująca najlepszy przykład dla każdej kombinacji cech.
- PL: **deskryptor**: Cecha opisująca rodzaj rozwiązania, np. styl ataku.
- PL: **model-sędzia**: Model oceniający, która odpowiedź jest bardziej szkodliwa.
- EN: **archive**: A grid holding the best example for each feature combination.
- EN: **descriptor**: A feature describing the kind of solution, e.g. attack style.
- EN: **judge model**: A model rating which response is more harmful.

## Know first

- [Red teaming modeli (ręczny i automatyczny) (Red teaming language models)](https://aiatlasgraph.com/t/redteaming.md)
- [Jailbreaki — obchodzenie zabezpieczeń modelu (Jailbreaking)](https://aiatlasgraph.com/t/jailbreaks.md)

## Sources

- [Rainbow Teaming: Open-Ended Generation of Diverse Adversarial Prompts](<https://arxiv.org/abs/2402.16822>) `rainbow-teaming-2024` · by Mikayel Samvelyan, Sharath Chandra Raparthy, Andrei Lupu, Eric Hambro, Aram H. Markosyan, Manish Bhatt, Yuning Mao, Minqi Jiang, Jack Parker-Holder, Jakob Foerster, Tim Rocktäschel, Roberta Raileanu

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/qdredteaming · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30