Syntetyczne przypadki testowe z wymiarów zapytań

Synthetic test case generation for evals · id synthevalcases · aliases: synthetic eval data, synthetic test cases, dimension tuples, test case generation, syntetyczne dane testowe

Generowanie zbiorów ewaluacyjnych z wymiarów zmienności zapytań, krotek wartości i osobnej konwersji na język naturalny.

Building eval sets from query variation dimensions, value tuples and a separate conversion step into natural language.

In one sentence

Gdy brakuje prawdziwych pytań od użytkowników, model pomaga ułożyć różnorodne pytania testowe według zaplanowanych cech.

When real user questions are scarce, a model helps write varied test questions according to planned traits.

Problem it solves

Przed startem produktu nie ma jeszcze prawdziwych rozmów, a pytania wymyślone na szybko są do siebie podobne i omijają trudne przypadki.

Before launch there are no real conversations yet, and questions made up in a hurry look alike and skip the hard cases.

What it does

Jak układanie zestawu zadań na egzamin z tabeli zagadnień: najpierw wybierasz kombinacje cech, potem każdą zamieniasz na naturalnie brzmiące pytanie.

Like building an exam from a topic grid: first pick combinations of traits, then turn each into a natural-sounding question.

Everyday example

Dla asystenta przepisów łączysz dietę, kuchnię i trudność, np. wegąską, włoską, wieloetapową, i dostajesz pytanie o lazanię bez nabiału na jutro.

For a recipe assistant you combine diet, cuisine and difficulty, such as vegan, Italian, multi-step, and get a question about dairy-free lasagne for tomorrow.

This concerns you if you…

Sources