# Syntetyczne przypadki testowe z wymiarów zapytań

EN: **Synthetic test case generation for evals** · id `synthevalcases` · aliases: synthetic eval data, synthetic test cases, dimension tuples, test case generation, syntetyczne dane testowe

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Zbiory testowe i regresje](https://aiatlasgraph.com/t/evalsets.md) › Syntetyczne przypadki testowe z wymiarów zapytań

## Description

- PL: Generowanie zbiorów ewaluacyjnych z wymiarów zmienności zapytań, krotek wartości i osobnej konwersji na język naturalny.
- EN: Building eval sets from query variation dimensions, value tuples and a separate conversion step into natural language.

## In one sentence

- PL: Gdy brakuje prawdziwych pytań od użytkowników, model pomaga ułożyć różnorodne pytania testowe według zaplanowanych cech.
- EN: When real user questions are scarce, a model helps write varied test questions according to planned traits.

## Problem it solves

- PL: Przed startem produktu nie ma jeszcze prawdziwych rozmów, a pytania wymyślone na szybko są do siebie podobne i omijają trudne przypadki.
- EN: Before launch there are no real conversations yet, and questions made up in a hurry look alike and skip the hard cases.

## What it does

- PL: Jak układanie zestawu zadań na egzamin z tabeli zagadnień: najpierw wybierasz kombinacje cech, potem każdą zamieniasz na naturalnie brzmiące pytanie.
- EN: Like building an exam from a topic grid: first pick combinations of traits, then turn each into a natural-sounding question.

## Everyday example

- PL: Dla asystenta przepisów łączysz dietę, kuchnię i trudność, np. wegąską, włoską, wieloetapową, i dostajesz pytanie o lazanię bez nabiału na jutro.
- EN: For a recipe assistant you combine diet, cuisine and difficulty, such as vegan, Italian, multi-step, and get a question about dairy-free lasagne for tomorrow.

## This concerns you if you…

- PL: nie masz jeszcze prawdziwych pytań od użytkowników
- PL: twoje testy pokrywają tylko łatwe przypadki
- EN: you have no real user questions yet
- EN: your tests cover only easy cases

## Keywords

synthetic test data · dimension tuples · persona generation · edge cases · golden dataset · test case generation · data augmentation

## How it works

- PL: Definiuje się wymiary zmienności zapytań (np. typ użytkownika, temat, złożoność) i ręcznie pisze kilkanaście krotek po jednej wartości na wymiar. LLM generuje kolejne krotki, a w osobnym kroku zamienia każdą w realistyczne zapytanie, co ogranicza powtarzalność sformułowań. Wyniki się przegląda i filtruje.
- EN: You define query variation dimensions (e.g. user type, topic, complexity) and hand-write a dozen or so tuples with one value per dimension. An LLM generates more tuples and, in a separate step, turns each into a realistic query, which reduces repetitive phrasing. Outputs are reviewed and filtered.

## Limits

- PL: Syntetyczne dane nie powiedzą, jak często dany błąd zdarza się u prawdziwych użytkowników. Model generujący przenosi własne nawyki językowe i luki. Najlepiej służą do startu i uzupełniania prawdziwych śladów, nie zamiast nich.
- EN: Synthetic data cannot tell you how often a failure occurs with real users. The generating model carries over its own phrasing habits and blind spots. It works best to get started and to supplement real traces, not replace them.

## Key terms

- PL: **wymiar**: Cecha, w której zapytania mogą się różnić, np. temat.
- PL: **krotka**: Kombinacja po jednej wartości z każdego wymiaru.
- PL: **pokrycie przypadków**: Na ile zbiór testowy obejmuje różne realne sytuacje.
- EN: **dimension**: A trait along which queries can vary, e.g. topic.
- EN: **tuple**: A combination of one value from each dimension.
- EN: **case coverage**: How well a test set spans different real situations.

## Know first

- [Generowanie danych instrukcyjnych przez LLM (LLM-generated instruction data)](https://aiatlasgraph.com/t/instructiongen.md)
- [Kodowanie otwarte i taksonomia błędów (Open and axial coding to build a failure taxonomy)](https://aiatlasgraph.com/t/failuretaxonomy.md)

## Sources

- [What is the best approach for generating synthetic data? (AI Evals FAQ)](<https://hamel.dev/blog/posts/evals-faq/what-is-the-best-approach-for-generating-synthetic-data.html>) `hamel-faq-syntheticdata` · by Hamel Husain, Shreya Shankar

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/synthevalcases · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30