Ataki przez prompt

Prompt attacks · id promptattacks

Przejęcie zachowania modelu treścią wejścia: wstrzyknięte polecenia, wyciąganie promptu lub danych, obchodzenie zabezpieczeń.

Hijacking model behaviour through input content: injected instructions, leaking the prompt or data, bypassing safeguards.

In one sentence

To próby zmiany zachowania modelu przez treść, która nakłania go do złamania zasad lub ujawnienia danych.

These attempts use content to make a model break rules or reveal data.

Aplikacja może potraktować złośliwe słowa jako ważniejsze polecenie niż ustalone zasady i intencja użytkownika.

An application may treat malicious text as an instruction overriding its rules and the user's intent.

Atak wykorzystuje trudność oddzielania instrukcji od danych lub słabość zabezpieczeń modelu, wpływając na odpowiedzi i wybór działań.

An attack exploits difficulty separating instructions from data or weaknesses in model safeguards, influencing responses and action choices.

W teście złośliwa wiadomość próbuje nakłonić asystenta do ujawnienia prywatnego fragmentu rozmowy.

In a test, a malicious message tries to make an assistant reveal a private conversation fragment.

Jailbreaki — obchodzenie zabezpieczeń modelu (Jailbreaking): Prompts that get a model to break its own safety rules: role-play, obfuscated requests, low-resource languages, automatically searched adversarial suffixes. They work because the goals “be helpful” and “be safe” compete.
Pośrednie wstrzykiwanie promptu (przez dokumenty i narzędzia) (Indirect prompt injection): The attacker never talks to the model — they hide instructions in a web page, email, file or tool result that the LLM application will fetch itself. Especially dangerous for RAG and agents, as it can lead to data theft or unwanted actions.