Routing między modelami

Model and harness routing · id routing

Dobór modelu i środowiska do rodzaju zadania i jego kosztu.

Matching the model and runtime to the kind of task and its cost.

In one sentence

To dobieranie modelu i miejsca jego pracy do konkretnego zadania.

This matches each task to a model and the environment where it will run.

Problem it solves

Proste prośby kosztują zbyt dużo, a trudne trafiają do modelu lub narzędzi, które sobie z nimi nie radzą.

Simple requests cost too much, while difficult ones reach a model or tools that cannot handle them well.

What it does

Według ustalonych reguł kieruje rutynowe zadania do tańszego modelu, a trudniejsze do mocniejszego modelu z odpowiednimi narzędziami.

Chosen rules send routine work to a cheaper model and harder tasks to a stronger model with suitable tools.

Everyday example

Asystent do korespondencji używa prostszego modelu do sortowania wiadomości, a mocniejszego do przygotowania trudnej odpowiedzi.

An email assistant uses a simpler model to sort messages and a stronger one to draft a difficult reply.

This concerns you if you…

Examples

Related topics

Sources