# Zmyślone orzeczenia i weryfikacja cytowań EN: **Legal hallucinations and citation verification** · id `citationcheck` · aliases: legal hallucinations, fake case citations, citation verification, hallucinated case law, fabricated citations, zmyślone wyroki, halucynacje prawne Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [AI w prawie](https://aiatlasgraph.com/t/legalai.md) › [Wyszukiwanie informacji prawnej](https://aiatlasgraph.com/t/legalsearch.md) › Zmyślone orzeczenia i weryfikacja cytowań ## Description - PL: Badanie i wykrywanie zmyślonych lub błędnie przytoczonych źródeł prawa w odpowiedziach modeli oraz automatyczna weryfikacja cytowań w pismach. - EN: Studying and detecting invented or misquoted legal authorities in model outputs, and automated verification of citations in filings. ## In one sentence - PL: Modele potrafią wymyślić nieistniejący wyrok z sygnaturą i cytatem; weryfikacja cytowań sprawdza, czy każde powołane źródło istnieje i mówi to, co twierdzi pismo. - EN: Models can invent a ruling, complete with case number and quotation; citation checking confirms each cited source exists and says what the filing claims. ## Problem it solves - PL: Pismo z fałszywym orzeczeniem może skończyć się karą dla prawnika i przegraną sprawą, a fałszywki wyglądają zupełnie wiarygodnie. - EN: A filing with a fake ruling can bring sanctions on the lawyer and a lost case, and the fakes look entirely convincing. ## What it does - PL: Jak korektor, który przy każdym przypisie idzie do archiwum, wyciąga dokument i porównuje cytat słowo w słowo. - EN: Like a proofreader who goes to the archive for every footnote, pulls the document and compares the quotation word for word. ## Everyday example - PL: Sąd otrzymuje pismo z kilkoma orzeczeniami, których nikt nie umie znaleźć; okazuje się, że wymyślił je czatbot użyty do napisania pisma. - EN: A court receives a filing citing several rulings nobody can find; it turns out a chatbot used to write it made them up. ## This concerns you if you… - PL: piszesz pismo do sądu z pomocą AI - PL: sprawdzasz pracę prawników lub studentów - PL: prowadzisz sprawę sam, bez adwokata - EN: write a court filing with AI help - EN: review the work of lawyers or students - EN: represent yourself without a lawyer ## Keywords Mata v. Avianca · citation checking · Shepardizing · KeyCite · RAG faithfulness · hallucination typology · AI hallucination cases database ## How it works - PL: Ocena rozdziela dwa wymiary: poprawność odpowiedzi oraz ugruntowanie kluczowych tez w przywołanych źródłach. Odpowiedź może być błędna, poprawna lecz źle ugruntowana (źródło nie wspiera tezy) albo poprawna, ale bez cytowania. Weryfikacja sprawdza więc zarówno istnienie i aktualność źródła, jak i to, czy wspiera ono konkretną tezę; RAG zmniejsza, lecz nie usuwa problemu. - EN: Evaluation separates two dimensions: answer correctness and whether key claims are grounded in the cited sources. An answer may be incorrect, correct but misgrounded (the source does not support the claim), or correct but uncited. Verification therefore checks both whether a source exists and remains valid, and whether it supports the specific proposition; RAG reduces but does not eliminate the problem. ## Limits - PL: Sprawdzenie, że wyrok istnieje, jest łatwe; trudniej ocenić, czy faktycznie wspiera argument i nadal obowiązuje w danej jurysdykcji. Modele często przyjmują błędne założenie z pytania i nie wiedzą, kiedy się mylą. Osoba składająca pismo musi więc samodzielnie zweryfikować przywołane źródła. - EN: Checking that a case exists is relatively easy; determining whether it actually supports an argument and remains good law in the relevant jurisdiction is harder. Models often accept a question's false premise and do not know when they are wrong. The person filing a document must therefore independently verify every cited authority. ## Key terms - PL: **sygnatura**: Unikalny numer sprawy sądowej, po którym można ją odnaleźć. - PL: **ugruntowanie**: Oparcie odpowiedzi na konkretnych, sprawdzalnych źródłach. - PL: **contra-factual bias**: Skłonność modelu do zgadzania się z błędnym założeniem pytania. - EN: **docket number**: A court case's unique number used to look it up. - EN: **grounding**: Basing an answer on specific, verifiable sources. - EN: **contra-factual bias**: A model's tendency to go along with a false premise in the question. ## Know first - [Wykrywanie halucynacji (Hallucination detection)](https://aiatlasgraph.com/t/hallucinationdetect.md) - [Wyszukiwanie i RAG (Retrieval-augmented generation)](https://aiatlasgraph.com/t/retrieval.md) ## Related topics Untyped, symmetric "see also" links. - [Agenci badań prawnych (Agentic legal research)](https://aiatlasgraph.com/t/legalresearchagents.md) - [Ewaluacja RAG i agentów (RAG and agent evaluation)](https://aiatlasgraph.com/t/agenteval.md) ## Sources - [Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools]() `magesh-legal-rag-hallucination-2024` · by Varun Magesh, Faiz Surani, Matthew Dahl, Mirac Suzgun, Christopher D. Manning, Daniel E. Ho - [Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models]() `dahl-legal-fictions-2024` · by Matthew Dahl, Varun Magesh, Mirac Suzgun, Daniel E. Ho - [Handling Hallucinations: A Reflection on the Last Three Years]() `unc-handling-hallucinations-2026` · by Aaron Kirschenfeld (Kathrine R. Everett Law Library, UNC) --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/citationcheck · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30