Odmiana PPO bez osobnego modelu wartości: model generuje grupę odpowiedzi na to samo pytanie, a przewagę szacuje się względnie na podstawie nagród w tej grupie. Zmniejsza to zapotrzebowanie na pamięć i jest wykorzystywane w kilku nowszych recepturach treningu rozumowania.
A PPO variant without a separate value model: the model samples a group of answers to the same prompt and estimates advantage relative to rewards within that group. This reduces memory requirements and is used in several newer reasoning-training recipes.
To trening porównujący nagrody kilku odpowiedzi modelu na to samo pytanie.
This training method compares rewards across several model responses to the same question.
Osobny model szacujący wartość prób zwiększa pamięć i złożoność treningu.
A separate model estimating attempt values increases training memory and complexity.
Model tworzy grupę prób, a ich względne nagrody wskazują, które odpowiedzi wzmacniać, bez osobnej sieci przewidującej wartość.
A model produces a group of attempts, whose relative rewards guide which responses to reinforce without a separate value-prediction network.
Model próbuje kilku rozwiązań zadania rachunkowego, a poprawniejsze próby otrzymują lepszy sygnał względem pozostałych w grupie.
A model attempts several arithmetic solutions, with better answers receiving stronger feedback relative to others in the group.