Ewaluacja RAG i agentów

RAG and agent evaluation · id agenteval

Sprawdzanie źródeł, trajektorii i końcowego wyniku.

Checking sources, trajectories and the final result.

In one sentence

To sprawdzanie systemów, które szukają informacji lub wykonują zadanie przez kilka kolejnych działań.

This checks systems that retrieve information or complete tasks through several successive actions.

Problem it solves

Końcowa odpowiedź może wyglądać dobrze, choć system znalazł złe źródło, użył niewłaściwego narzędzia lub nie wykonał zadania.

A final answer may look good even when the system found a poor source, used the wrong tool or failed to complete the task.

What it does

Ocenia znalezione informacje, zgodność odpowiedzi ze źródłami, przebieg działań i rzeczywisty końcowy stan zadania.

It assesses retrieved information, agreement with sources, the action sequence and the actual final task state.

Everyday example

Asystent ma zmienić termin spotkania; sprawdzasz znalezione ustalenia, wykonane kroki i to, czy kalendarz naprawdę zawiera nowy termin.

An assistant must reschedule a meeting; you check retrieved agreements, performed steps and whether the calendar actually contains the new time.

This concerns you if you…

• system korzysta ze źródeł lub wykonuje kilka kroków
• chcesz sprawdzić efekt działania, nie tylko tekst odpowiedzi
• use systems that retrieve sources or act in several steps
• want to check actual effects beyond the answer text

Examples

• Retrieval quality · task completion · macierz przejść błędów · faithfulness · context precision/recall
• Retrieval quality · task completion · transition failure matrix · faithfulness · context precision/recall

Subtopics

• Miary jakości wyszukiwania (recall@k, MRR, nDCG) (Retrieval quality metrics (recall@k, MRR, nDCG)): Ranking metrics that grade the retrieval stage against labelled relevant documents.
• Ocena po stanie końcowym zamiast po przebiegu (Outcome-based vs transcript-based grading of agents): Grading agents by verifying environment state after a trial, complemented by checks on the transcript.
• Powtarzalność agenta: pass@k i pass^k (Agent reliability metrics: pass@k and pass^k): Metrics from repeated trials: pass@k (at least one success in k) and pass^k (all k succeed).
• Symulowany użytkownik w testach rozmów wieloetapowych (Simulated users for multi-turn agent evaluation): Evaluating conversational agents with an LLM that role-plays the user from a hidden task instruction.
• Wierność odpowiedzi wobec znalezionych źródeł (RAG) (RAG faithfulness and answer relevance metrics): RAG metrics scoring how grounded an answer is in its context, how relevant it is to the question and how relevant the context is.

Related topics

• Agenci i orkiestracja (Agents and orchestration)
• Benchmarki agentowe (Agent benchmarks)
• Ewaluacja agentów głosowych (Voice agent evaluation)
• Zmyślone orzeczenia i weryfikacja cytowań (Legal hallucinations and citation verification)

Courses

• Evaluating AI Agents

Sources

• Full Stack Deep Learning (2022, archiwum) · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
• Hugging Face · Agents Course · reference: Agenci, narzędzia, frameworki, agentic RAG i ewaluacja.
• Stanford CS229 · Machine Learning (2018, archiwum) · reference: Klasyczne ML, statystyka i podstawy uczenia. Użyte jako stabilny szkielet, nie przegląd nowości.
• DeepLearning.AI — course catalogue · course catalogue: 42 topic labels with counts, about 130 courses.
• AI Evals: Everything You Need to Know · Hamel Husain, Shreya Shankar
• LLM Course (Maxime Labonne) · Maxime Labonne