Konserwatywne offline RL (CQL, IQL)

Conservative offline RL · id conservativeoffline

Uczenie polityki z gotowego zbioru danych bez nowych interakcji; kara za przeszacowanie akcji, których nie ma w danych, chroni przed błędami przesunięcia rozkładu.

Learning a policy from a fixed dataset without new interaction; penalising overestimated out-of-dataset actions guards against distribution-shift errors.

In one sentence

To uczenie wyborów z gotowych doświadczeń z ostrożnością wobec działań słabo opisanych w danych.

This learns choices from recorded experience while treating actions poorly represented in the data cautiously.

Problem it solves

Model może uznać niewidziane działanie za świetne, choć brakuje doświadczeń potwierdzających tę ocenę.

A model may rate an unseen action highly despite lacking experience that supports that assessment.

What it does

Ogranicza nadmiernie optymistyczne oceny nieznanych działań lub uczy się bez ich bezpośredniego oceniania, korzystając z zapisanych przebiegów.

It limits overly optimistic assessments of unfamiliar actions or learns without directly evaluating them, using recorded sequences.

Everyday example

Z zapisanych przejazdów uczysz wybór trasy, powstrzymując model przed polecaniem nieznanych skrótów wyłącznie na podstawie wysokiej przewidywanej oceny.

Recorded journeys teach route choices while discouraging recommendations of unfamiliar shortcuts based solely on high predicted scores.

This concerns you if you…

Examples

Related topics

Sources