Skalowalne strategie ewolucyjne szacujące kierunek poprawy z wyników losowo zaburzonych kopii parametrów, stosowane w RL i dostrajaniu dużych modeli językowych.
Scalable evolution strategies estimating an improvement direction from scores of randomly perturbed parameter copies, used in RL and in fine-tuning large language models.
Sposób trenowania dużych sieci, także modeli językowych, przez losowe zaburzanie wszystkich wag i uśrednianie, co pomogło.
A way to train large networks, including language models, by randomly nudging all weights and averaging what helped.
Uczenie przez nagrody bywa niestabilne, gdy nagroda przychodzi późno, a model uczy się oszukiwać ocenę.
Reward-based learning can be unstable when rewards arrive late and models learn to game the score.
Tysiące kopii modelu dostają drobne losowe zmiany, każda zgłasza tylko jedną liczbę wyniku, a model przesuwa się w stronę zmian z lepszymi ocenami.
Thousands of model copies get small random changes, each reports a single score, and the model moves towards changes that scored better.
Zespół dostraja model językowy do rozwiązywania łamigłówek, oceniając tylko poprawność końcowej odpowiedzi, bez liczenia poprawek dla każdego słowa.
A team tunes a language model to solve puzzles, scoring only final-answer correctness, without computing corrections for each word.