Benchmarki wiedzy i rozumowania

Knowledge and reasoning benchmarks · id knowledgebench · aliases: MMLU, Humanity's Last Exam, HLE, reasoning benchmarks

Pytania zamknięte z wielu dziedzin, od szkolnych po eksperckie, sprawdzane automatycznie. Starsze zestawy szybko się nasycają, więc powstają coraz trudniejsze.

Closed-ended questions across many fields, from school level to expert level, graded automatically. Older sets saturate quickly, so ever harder ones are created.

In one sentence

To zestawy pytań z różnych dziedzin sprawdzające wiedzę i rozumowanie modelu według ustalonych odpowiedzi.

These question sets test model knowledge and reasoning across fields using predefined answers.

Problem it solves

Model może dobrze odpowiadać w znanym temacie, ale mieć luki w innych dziedzinach lub przy trudniejszym rozumowaniu.

A model may answer familiar topics well while having gaps in other fields or harder reasoning tasks.

What it does

Zadaje wspólny zestaw pytań i porównuje odpowiedzi z kluczem, pokazując trafność dla wybranego zakresu i poziomu trudności.

It asks a shared question set and compares answers with a key, showing accuracy for a selected scope and difficulty.

Everyday example

Porównujesz modele na pytaniach o naukę i codzienne rozumowanie, sprawdzając osobno tematy, które będą potrzebne w twoim zadaniu.

You compare models on science and everyday reasoning questions, separately checking topics needed for your task.

This concerns you if you…

Examples

Related topics

Sources