# Benchmarki wiedzy i rozumowania

EN: **Knowledge and reasoning benchmarks** · id `knowledgebench` · aliases: MMLU, Humanity's Last Exam, HLE, reasoning benchmarks

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Metryki i benchmarki](https://aiatlasgraph.com/t/metrics.md) › [Benchmarki modeli językowych](https://aiatlasgraph.com/t/llmbenchmarks.md) › Benchmarki wiedzy i rozumowania

## Description

- PL: Pytania zamknięte z wielu dziedzin, od szkolnych po eksperckie, sprawdzane automatycznie. Starsze zestawy szybko się nasycają, więc powstają coraz trudniejsze.
- EN: Closed-ended questions across many fields, from school level to expert level, graded automatically. Older sets saturate quickly, so ever harder ones are created.

## In one sentence

- PL: To zestawy pytań z różnych dziedzin sprawdzające wiedzę i rozumowanie modelu według ustalonych odpowiedzi.
- EN: These question sets test model knowledge and reasoning across fields using predefined answers.

## Problem it solves

- PL: Model może dobrze odpowiadać w znanym temacie, ale mieć luki w innych dziedzinach lub przy trudniejszym rozumowaniu.
- EN: A model may answer familiar topics well while having gaps in other fields or harder reasoning tasks.

## What it does

- PL: Zadaje wspólny zestaw pytań i porównuje odpowiedzi z kluczem, pokazując trafność dla wybranego zakresu i poziomu trudności.
- EN: It asks a shared question set and compares answers with a key, showing accuracy for a selected scope and difficulty.

## Everyday example

- PL: Porównujesz modele na pytaniach o naukę i codzienne rozumowanie, sprawdzając osobno tematy, które będą potrzebne w twoim zadaniu.
- EN: You compare models on science and everyday reasoning questions, separately checking topics needed for your task.

## This concerns you if you…

- PL: chcesz porównać wiedzę i rozumowanie modeli
- PL: potrzebujesz sprawdzić zakres tematów i trudność pytań
- EN: want to compare model knowledge and reasoning
- EN: need to examine question scope and difficulty

## Keywords

MMLU · MMLU-Pro · Humanity's Last Exam · GSM8K · MATH · GPQA · exact match

## How it works

- PL: Pytania wiedzy i rozumowania otrzymują zdefiniowane odpowiedzi lub kryteria weryfikacji. Model odpowiada przy ustalonym dostępie do kontekstu i narzędzi, a wynik agreguje się według dziedzin oraz trudności.
- EN: Knowledge and reasoning questions have specified answers or verification criteria. Models respond under fixed context and tool access, with scores aggregated by domain and difficulty.

## Limits

- PL: Wynik może mierzyć zapamiętanie, format odpowiedzi i znajomość testu obok rozumowania. Niejednoznaczne pytania i trudny dobór reprezentatywnych zadań ograniczają interpretację.
- EN: Scores can reflect memorisation, answer formatting and test familiarity alongside reasoning. Ambiguous questions and difficult representative-task selection limit interpretation.

## Key terms

- PL: **exact match**: Punktacja wymagająca zgodności odpowiedzi z wzorcem według reguł normalizacji.
- PL: **zadanie zamknięte**: Pytanie z określonym zestawem odpowiedzi lub sprawdzalnym wynikiem.
- EN: **exact match**: Scoring requiring an answer to match a reference under normalisation rules.
- EN: **closed-ended task**: A question with specified answer choices or a verifiable result.

## Know first

- [Ewaluatory kodowe (Code-based evaluators)](https://aiatlasgraph.com/t/codeevals.md)
- [Niepewność statystyczna wyników ewaluacji (Statistical uncertainty in evaluations)](https://aiatlasgraph.com/t/evalstats.md)

## Examples

- PL: MMLU · Humanity's Last Exam · pytania z wielu dziedzin · zadania sprawdzane automatycznie
- EN: MMLU · Humanity's Last Exam · questions across many fields · automatically graded tasks

## Related topics

Untyped, symmetric "see also" links.

- [Benchmarki modeli prawniczych (Legal AI benchmarks)](https://aiatlasgraph.com/t/legalbenchmarks.md)
- [Rozumowanie zdroworozsądkowe (Commonsense reasoning)](https://aiatlasgraph.com/t/commonsense.md)

## Sources

- [From LLM Reasoning to Autonomous AI Agents: A Comprehensive Review](<https://arxiv.org/abs/2504.19678>) `ferrag-llm-agents-review-2025` · by Mohamed Amine Ferrag, Norbert Tihanyi, Merouane Debbah
- [Humanity's Last Exam](<https://arxiv.org/abs/2501.14249>) `hle-2025` · by Long Phan, Alice Gatti, Ziwen Han, Nathaniel Li, Josephina Hu, Hugh Zhang i wielu in. (afiliacja w metadanych nieustalona; wg wiedzy modelu CAIS i Scale AI)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/knowledgebench · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30