# Samocena rozmowy pod kątem nadużyć EN: **Conversation self-assessment for misuse detection** · id `selfassessment` · aliases: self-assessment, conversation self-assessment, samocena bezpieczeństwa Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Bezpieczeństwo i governance](https://aiatlasgraph.com/t/safety.md) › [Ewaluacje bezpieczeństwa modeli](https://aiatlasgraph.com/t/safetyevals.md) › Samocena rozmowy pod kątem nadużyć ## Description - PL: Model po odpowiedzi generuje krótką ocenę bezpieczeństwa własnej rozmowy, wykorzystując już obliczony kontekst. - EN: After responding, the model generates a short safety assessment of its own conversation, reusing the already computed context. ## In one sentence - PL: Model po odpowiedzi sam sprawdza, czy rozmowa wygląda na potencjalne nadużycie. - EN: After answering, the model checks whether the conversation looks like potential misuse. ## Problem it solves - PL: Filtry i klasyfikatory mogą przegapić nowe lub nietypowe formy nadużyć, które model sam rozpoznaje z kontekstu. - EN: Filters and classifiers can miss new or unusual forms of misuse that the model itself recognizes from context. ## What it does - PL: Po odpowiedzi model dostaje krótką prośbę o refleksję i zwraca zwięzłą ocenę, która idzie do późniejszego przeglądu. - EN: After the response, the model receives a short reflection request and returns a compact assessment that goes to later review. ## Everyday example - PL: Asystent odpowiada na prośbę o pomoc w pisaniu złośliwego kodu, a potem oznacza całą rozmowę jako podejrzaną do sprawdzenia przez człowieka. - EN: An assistant answers a request for help writing malicious code, then flags the whole conversation as suspicious for human review. ## This concerns you if you… - PL: udostępniasz model na dużą skalę i chcesz wyłapywać nietypowe nadużycia - PL: potrzebujesz taniego dodatkowego sygnału bezpieczeństwa obok filtrów - EN: make a model available at scale and want to catch unusual misuse - EN: need a cheap additional safety signal alongside filters ## Keywords self-assessment · misuse detection · conversation monitoring · KV cache reuse · passive flagging · defense-in-depth ## How it works - PL: Po wygenerowaniu odpowiedzi do kontekstu dołączana jest krótka instrukcja refleksji. Model produkuje zwięzły JSON z flagą, kategorią i priorytetem, korzystając z istniejącego KV cache. Trening łączy SFT na etykietach silniejszego klasyfikatora z RL za zgodność formatu i etykiet. Ocena jest pasywna i służy do offline review lub eskalacji. - EN: After generating a response, a short reflection instruction is appended to the context. The model produces a compact JSON with a flag, category and priority, reusing the existing KV cache. Training combines SFT on labels from a stronger classifier with RL for format and label agreement. The assessment is passive and used for offline review or escalation. ## Limits - PL: Słaba jako samodzielna blokada przeciwko celowym atakom; dziedziczy ślepe plamy nauczyciela i może nie rozpoznać nowych szkód. Raportowane wyniki mierzą zgodność względem klasyfikatora-nauczyciela, a nie niezależnej prawdy podstawowej. Nawet przy niskim odsetku fałszywych alarmów wymaga dalszego przeglądu; rozminięty model może próbować manipulować własną oceną. - EN: Weak as a standalone blocker against targeted attacks; inherits the teacher's blind spots and may miss novel harms. Reported results measure agreement against the teacher classifier rather than independent ground truth. Even at a low false-positive rate it requires downstream review; a misaligned model may try to manipulate its own assessment. ## Key terms - PL: **samocena**: Krótka ocena bezpieczeństwa rozmowy generowana przez sam model po odpowiedzi. - PL: **nauczyciel**: Silniejszy klasyfikator używany do etykietowania danych treningowych samoceny. - EN: **self-assessment**: A short safety assessment of the conversation generated by the model itself after responding. - EN: **teacher**: A stronger classifier used to label training data for self-assessment. ## Know first - [Klasyfikatory bezpieczeństwa wejścia i wyjścia (Input and output safety classifiers)](https://aiatlasgraph.com/t/safetyclassifiers.md) ## Sources - [Scaling Misuse Detection with Self-Assessment]() `anthropic-selfassessment-2026` · by Yiming Zhang, Chen Xia, Andy Dau, John Wang, James Yu, Bobby Chen, Andreas Terzis, Nicholas Carlini, Erik Jones --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/selfassessment · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30