# Bezpieczeństwo aplikacji AI EN: **AI application security** · id `security` Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Bezpieczeństwo i governance](https://aiatlasgraph.com/t/safety.md) › Bezpieczeństwo aplikacji AI ## Description - PL: Ochrona danych, narzędzi i wykonania. - EN: Protecting data, tools and execution. ## In one sentence - PL: To ochrona danych, narzędzi i wykonywanych działań przed atakami na aplikacje korzystające z modeli. - EN: This protects data, tools and actions against attacks on applications that use models. ## Problem it solves - PL: Złośliwa treść, plik lub komponent może skłonić aplikację do ujawnienia danych albo wykonania niechcianego działania. - EN: Malicious content, files or components can make an application expose data or perform unwanted actions. ## What it does - PL: Ogranicza uprawnienia, rozdziela zaufane polecenia od danych, sprawdza pochodzenie komponentów i izoluje wykonanie, żeby zmniejszyć skutki przejęcia. - EN: It limits permissions, separates trusted instructions from data, verifies component origins and isolates execution to reduce the impact of compromise. ## Everyday example - PL: Asystent czytający dokumenty nie ma uprawnienia do wysyłania plików na zewnątrz, nawet gdy dokument tego żąda. - EN: An assistant reading documents lacks permission to send files externally, even when a document requests it. ## This concerns you if you… - PL: model ma dostęp do danych lub narzędzi - PL: aplikacja przetwarza treści od obcych osób - EN: give a model access to data or tools - EN: process content supplied by other people ## Keywords OWASP LLM Top 10 · trust boundaries · least privilege · threat modeling · sandboxing · data exfiltration · artifact integrity · instruction hierarchy ## How it works - PL: Dane i polecenia przechodzą przez granice zaufania, za którymi narzędzia mają niezależnie egzekwowane uprawnienia. Izolacja, walidacja argumentów i kontrola dostępu ograniczają skutki przejętego modelu, a logi umożliwiają analizę przebiegu. - EN: Data and instructions cross trust boundaries behind which tools independently enforce permissions. Isolation, argument validation and access controls limit compromised-model effects, while logs enable execution analysis. ## Limits - PL: Model nie jest wiarygodnym mechanizmem autoryzacji. Nadmierne uprawnienia, niezabezpieczone ścieżki i błędna obsługa wyników mogą ominąć ochronę; logowanie samo nie zatrzymuje działania. - EN: Models are not reliable authorisation mechanisms. Excessive permissions, unprotected paths and mishandled outputs can bypass controls; logging alone cannot stop actions. ## Key terms - PL: **granica zaufania**: Miejsce oddzielające dane i działania o różnych uprawnieniach. - PL: **zasada najmniejszych uprawnień**: Przydzielenie tylko dostępu niezbędnego do wykonania konkretnego zadania. - EN: **trust boundary**: A boundary separating data and actions with different permissions. - EN: **least privilege**: Granting only access required for a specific task. ## Know first - [Structured outputs i walidacja (Structured outputs and validation)](https://aiatlasgraph.com/t/structured.md) - [Workflow i udział człowieka (Workflows and human-in-the-loop)](https://aiatlasgraph.com/t/workflows.md) ## Examples - PL: Prompt injection · eksfiltracja · sandboxing · łańcuch dostaw modeli - EN: Prompt injection · exfiltration · sandboxing · model supply chain ## Subtopics (4 direct, 9 in total) - [Ataki przez prompt (Prompt attacks)](https://aiatlasgraph.com/t/promptattacks.md): Hijacking model behaviour through input content: injected instructions, leaking the prompt or data, bypassing safeguards. - [Jailbreaki — obchodzenie zabezpieczeń modelu (Jailbreaking)](https://aiatlasgraph.com/t/jailbreaks.md): Prompts that get a model to break its own safety rules: role-play, obfuscated requests, low-resource languages, automatically searched adversarial suffixes. They work because the goals “be helpful” and “be safe” compete. - [Pośrednie wstrzykiwanie promptu (przez dokumenty i narzędzia) (Indirect prompt injection)](https://aiatlasgraph.com/t/indirectinjection.md): The attacker never talks to the model — they hide instructions in a web page, email, file or tool result that the LLM application will fetch itself. Especially dangerous for RAG and agents, as it can lead to data theft or unwanted actions. - [Bezpieczeństwo agentów: uprawnienia i izolacja (AI agent security)](https://aiatlasgraph.com/t/agentsecurity.md): Designing agents so that a compromised model cannot cause harm: least privilege, sandboxed code execution, separating trusted instructions from untrusted data, confirmations before risky actions. - [Mechanistyczne sterowanie bezpieczeństwem agentów CLI (Mechanistic subspace safety steering for multi-turn agents)](https://aiatlasgraph.com/t/mechsuits.md): An experimental white-box method detects harmful execution states of multi-turn CLI agents from hidden representations and intervenes in ten selected dimensions of a single layer. - [Monitor interwencji krokowej dla agentów (Step-level timely intervention monitors for agents)](https://aiatlasgraph.com/t/stepsafe.md): A step-level reasoning guardrail that chooses CONTINUE, ASK or STOP before each agent action and is trained with Adaptive Stage-Aligned Policy Optimization (ASPO). - [Bezpieczeństwo łańcucha dostaw modeli (AI model supply chain security)](https://aiatlasgraph.com/t/supplychain.md): Risks of pulling in third-party weights, adapters, datasets and libraries: malicious code in model files, hidden backdoors, unknown provenance. Practice: safe weight formats, source verification, scanning. - [Zatruwanie danych i backdoory (Data poisoning and backdoors)](https://aiatlasgraph.com/t/poisoning.md): Attacking the training data: false information or a hidden trigger that changes the model's behaviour. - [Podgląd aktualizacji dla bezpiecznego dostrajania (Update-preview defense for safe fine-tuning)](https://aiatlasgraph.com/t/lookaheaddefense.md): Previews and penalizes fine-tuning updates that weaken safe behaviour from a buffer. ## Related topics Untyped, symmetric "see also" links. - [Guardrails (Guardrails and output control)](https://aiatlasgraph.com/t/guardrails.md) ## Sources - [NIST · AI Risk Management Framework]() `nist` · reference: Uzupełnienie kursów o ryzyko i zarządzanie AI; nie porada prawna. - [Full Stack Deep Learning (2022, archiwum)]() `fsdl` · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka. - How to build your first team of agents `machina-x-agents` · X article · sponsored (Raft) · by Machina (X): Original link not found; file saved by the user. Structure only — no statistics, no product claims. - [LLM Course (Maxime Labonne)]() `mlabonne-llm-course` · by Maxime Labonne - [OWASP Top 10 for LLM Applications 2025]() `owasp-llm-top10-2025` · by OWASP Gen AI Security Project --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/security · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30