Bezpieczeństwo aplikacji AI

AI application security · id security

Ochrona danych, narzędzi i wykonania.

Protecting data, tools and execution.

In one sentence

To ochrona danych, narzędzi i wykonywanych działań przed atakami na aplikacje korzystające z modeli.

This protects data, tools and actions against attacks on applications that use models.

Problem it solves

Złośliwa treść, plik lub komponent może skłonić aplikację do ujawnienia danych albo wykonania niechcianego działania.

Malicious content, files or components can make an application expose data or perform unwanted actions.

What it does

Ogranicza uprawnienia, rozdziela zaufane polecenia od danych, sprawdza pochodzenie komponentów i izoluje wykonanie, żeby zmniejszyć skutki przejęcia.

It limits permissions, separates trusted instructions from data, verifies component origins and isolates execution to reduce the impact of compromise.

Everyday example

Asystent czytający dokumenty nie ma uprawnienia do wysyłania plików na zewnątrz, nawet gdy dokument tego żąda.

An assistant reading documents lacks permission to send files externally, even when a document requests it.

This concerns you if you…

model ma dostęp do danych lub narzędzi
aplikacja przetwarza treści od obcych osób
give a model access to data or tools
process content supplied by other people

Examples

Prompt injection · eksfiltracja · sandboxing · łańcuch dostaw modeli
Prompt injection · exfiltration · sandboxing · model supply chain

Subtopics

Ataki przez prompt (Prompt attacks): Hijacking model behaviour through input content: injected instructions, leaking the prompt or data, bypassing safeguards.
- Jailbreaki — obchodzenie zabezpieczeń modelu (Jailbreaking): Prompts that get a model to break its own safety rules: role-play, obfuscated requests, low-resource languages, automatically searched adversarial suffixes. They work because the goals “be helpful” and “be safe” compete.
- Pośrednie wstrzykiwanie promptu (przez dokumenty i narzędzia) (Indirect prompt injection): The attacker never talks to the model — they hide instructions in a web page, email, file or tool result that the LLM application will fetch itself. Especially dangerous for RAG and agents, as it can lead to data theft or unwanted actions.
Bezpieczeństwo agentów: uprawnienia i izolacja (AI agent security): Designing agents so that a compromised model cannot cause harm: least privilege, sandboxed code execution, separating trusted instructions from untrusted data, confirmations before risky actions.
- Mechanistyczne sterowanie bezpieczeństwem agentów CLI (Mechanistic subspace safety steering for multi-turn agents): An experimental white-box method detects harmful execution states of multi-turn CLI agents from hidden representations and intervenes in ten selected dimensions of a single layer.
- Monitor interwencji krokowej dla agentów (Step-level timely intervention monitors for agents): A step-level reasoning guardrail that chooses CONTINUE, ASK or STOP before each agent action and is trained with Adaptive Stage-Aligned Policy Optimization (ASPO).
Bezpieczeństwo łańcucha dostaw modeli (AI model supply chain security): Risks of pulling in third-party weights, adapters, datasets and libraries: malicious code in model files, hidden backdoors, unknown provenance. Practice: safe weight formats, source verification, scanning.
Zatruwanie danych i backdoory (Data poisoning and backdoors): Attacking the training data: false information or a hidden trigger that changes the model's behaviour.
- Podgląd aktualizacji dla bezpiecznego dostrajania (Update-preview defense for safe fine-tuning): Previews and penalizes fine-tuning updates that weaken safe behaviour from a buffer.

Sources

NIST · AI Risk Management Framework · reference: Uzupełnienie kursów o ryzyko i zarządzanie AI; nie porada prawna.
Full Stack Deep Learning (2022, archiwum) · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
How to build your first team of agents · X article · sponsored (Raft) · Machina (X): Original link not found; file saved by the user. Structure only — no statistics, no product claims.
LLM Course (Maxime Labonne) · Maxime Labonne
OWASP Top 10 for LLM Applications 2025 · OWASP Gen AI Security Project