Generowanie zróżnicowanych promptów adwersarialnych jako problem quality-diversity: archiwum MAP-Elites indeksowane kategorią ryzyka i stylem ataku.
Generating diverse adversarial prompts as a quality-diversity problem: a MAP-Elites archive indexed by risk category and attack style.
Program buduje tabelę podstępnych pytań do modelu, osobno dla każdego rodzaju ryzyka i stylu ataku, i stale je ulepsza.
Software builds a table of tricky prompts for a model, one per risk type and attack style, and keeps improving them.
Automatyczne szukanie słabości modelu często znajduje w kółko ten sam typ ataku, a reszta luk zostaje nieodkryta.
Automated searches for model weaknesses often keep finding the same attack type, leaving other gaps undiscovered.
Jak plansza bingo: każda kratka to inne połączenie tematu i sztuczki, a w każdej trzyma się dotąd najskuteczniejsze pytanie.
Like a bingo card: each square is a different topic-and-trick combination, and each holds the most effective prompt so far.
Przed udostępnieniem czatbota zespół dostaje setki różnych prób oszukania go, pogrupowanych tematami, i douczanie na nich poprawia bezpieczeństwo.
Before launching a chatbot a team gets hundreds of varied attempts to trick it, grouped by topic, and further training on them improves safety.