Kaskady modeli: najpierw tańszy model

LLM cascades · id modelcascades

Wysyłanie zapytania najpierw do tańszego modelu i przekazywanie go droższemu tylko wtedy, gdy odpowiedź wygląda na niepewną lub złą — dla oszczędności przy zachowaniu jakości.

Sending a query to a cheaper model first and escalating to a more expensive one only when the answer looks uncertain or wrong — saving cost while keeping quality.

In one sentence

To próbowanie tańszego modelu najpierw i przekazywanie zadania dalej, gdy jego odpowiedź nie wystarcza.

This tries a cheaper model first and passes the task onwards when its answer is insufficient.

Problem it solves

Używanie drogiego modelu do wszystkich zapytań kosztuje dużo, choć część zadań jest prosta.

Using an expensive model for every request costs a lot, even though some tasks are simple.

What it does

Ocenia wynik tańszego modelu według ustalonych kryteriów i kieruje niedostateczne odpowiedzi do kolejnego; skuteczność zależy też od tej oceny.

It assesses a cheaper model's output against defined criteria and escalates inadequate answers; effectiveness also depends on that assessment.

Everyday example

Proste zgłoszenie porządkuje tańszy model, a przypadek z odpowiedzią ocenioną jako niepewna trafia do bardziej zaawansowanego modelu.

A cheaper model sorts a simple case, while a case with an answer assessed as uncertain goes to a more capable model.

This concerns you if you…

Examples

Related topics

Sources