# Ewaluacja RAG i agentów EN: **RAG and agent evaluation** · id `agenteval` Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › Ewaluacja RAG i agentów ## Description - PL: Sprawdzanie źródeł, trajektorii i końcowego wyniku. - EN: Checking sources, trajectories and the final result. ## In one sentence - PL: To sprawdzanie systemów, które szukają informacji lub wykonują zadanie przez kilka kolejnych działań. - EN: This checks systems that retrieve information or complete tasks through several successive actions. ## Problem it solves - PL: Końcowa odpowiedź może wyglądać dobrze, choć system znalazł złe źródło, użył niewłaściwego narzędzia lub nie wykonał zadania. - EN: A final answer may look good even when the system found a poor source, used the wrong tool or failed to complete the task. ## What it does - PL: Ocenia znalezione informacje, zgodność odpowiedzi ze źródłami, przebieg działań i rzeczywisty końcowy stan zadania. - EN: It assesses retrieved information, agreement with sources, the action sequence and the actual final task state. ## Everyday example - PL: Asystent ma zmienić termin spotkania; sprawdzasz znalezione ustalenia, wykonane kroki i to, czy kalendarz naprawdę zawiera nowy termin. - EN: An assistant must reschedule a meeting; you check retrieved agreements, performed steps and whether the calendar actually contains the new time. ## This concerns you if you… - PL: system korzysta ze źródeł lub wykonuje kilka kroków - PL: chcesz sprawdzić efekt działania, nie tylko tekst odpowiedzi - EN: use systems that retrieve sources or act in several steps - EN: want to check actual effects beyond the answer text ## Keywords RAGAS · faithfulness · context precision · context recall · task success rate · trajectory evaluation · retrieval relevance ## How it works - PL: Testy oddzielnie oceniają dobór źródeł, zgodność odpowiedzi z dowodami i wynik całej trajektorii. Kontrolowane scenariusze oraz zapisy wywołań narzędzi pozwalają wskazać etap, na którym system utracił poprawność. - EN: Tests separately assess retrieval, evidence support and whole-trajectory outcomes. Controlled scenarios and recorded tool calls identify the stage where the system lost correctness. ## Limits - PL: Poprawna odpowiedź końcowa może ukrywać przypadkowy sukces lub błędne działania pośrednie. Oceny wymagają wiarygodnych źródeł, jasnego kryterium sukcesu i powtarzania prób przy losowości. - EN: A correct final answer can hide accidental success or faulty intermediate actions. Evaluation needs reliable sources, clear success criteria and repeated trials under randomness. ## Key terms - PL: **trafność źródeł**: Dopasowanie odnalezionego materiału do pytania i potrzeb odpowiedzi. - PL: **ocena trajektorii**: Sprawdzanie kolejnych działań agenta, obok jego końcowego wyniku. - EN: **source relevance**: How well retrieved material fits the question and answer requirements. - EN: **trajectory evaluation**: Assessing successive agent actions alongside their final outcome. ## Know first - [Wyszukiwanie i RAG (Retrieval-augmented generation)](https://aiatlasgraph.com/t/retrieval.md) - [Workflow i udział człowieka (Workflows and human-in-the-loop)](https://aiatlasgraph.com/t/workflows.md) ## Examples - PL: Retrieval quality · task completion · macierz przejść błędów · faithfulness · context precision/recall - EN: Retrieval quality · task completion · transition failure matrix · faithfulness · context precision/recall ## Subtopics (5 direct, 5 in total) - [Miary jakości wyszukiwania (recall@k, MRR, nDCG) (Retrieval quality metrics (recall@k, MRR, nDCG))](https://aiatlasgraph.com/t/retrievalmetrics.md): Ranking metrics that grade the retrieval stage against labelled relevant documents. - [Ocena po stanie końcowym zamiast po przebiegu (Outcome-based vs transcript-based grading of agents)](https://aiatlasgraph.com/t/outcomegrading.md): Grading agents by verifying environment state after a trial, complemented by checks on the transcript. - [Powtarzalność agenta: pass@k i pass^k (Agent reliability metrics: pass@k and pass^k)](https://aiatlasgraph.com/t/passk.md): Metrics from repeated trials: pass@k (at least one success in k) and pass^k (all k succeed). - [Symulowany użytkownik w testach rozmów wieloetapowych (Simulated users for multi-turn agent evaluation)](https://aiatlasgraph.com/t/usersimulation.md): Evaluating conversational agents with an LLM that role-plays the user from a hidden task instruction. - [Wierność odpowiedzi wobec znalezionych źródeł (RAG) (RAG faithfulness and answer relevance metrics)](https://aiatlasgraph.com/t/ragfaithfulness.md): RAG metrics scoring how grounded an answer is in its context, how relevant it is to the question and how relevant the context is. ## Related topics Untyped, symmetric "see also" links. - [Agenci i orkiestracja (Agents and orchestration)](https://aiatlasgraph.com/t/agentsnode.md) - [Benchmarki agentowe (Agent benchmarks)](https://aiatlasgraph.com/t/agentbench.md) - [Ewaluacja agentów głosowych (Voice agent evaluation)](https://aiatlasgraph.com/t/voiceevals.md) - [Zmyślone orzeczenia i weryfikacja cytowań (Legal hallucinations and citation verification)](https://aiatlasgraph.com/t/citationcheck.md) ## Courses - [Evaluating AI Agents]() ## Sources - [Full Stack Deep Learning (2022, archiwum)]() `fsdl` · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka. - [Hugging Face · Agents Course]() `agents` · reference: Agenci, narzędzia, frameworki, agentic RAG i ewaluacja. - [Stanford CS229 · Machine Learning (2018, archiwum)]() `cs229` · reference: Klasyczne ML, statystyka i podstawy uczenia. Użyte jako stabilny szkielet, nie przegląd nowości. - [DeepLearning.AI — course catalogue]() `dlai` · course catalogue: 42 topic labels with counts, about 130 courses. - [AI Evals: Everything You Need to Know]() `hamel-evals-faq` · by Hamel Husain, Shreya Shankar - [LLM Course (Maxime Labonne)]() `mlabonne-llm-course` · by Maxime Labonne --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/agenteval · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30