# Strategie ewolucyjne w trenowaniu sieci i LLM

EN: **Evolution strategies as an alternative to RL** · id `esscale` · aliases: evolution strategies for RL, OpenAI-ES, ES fine-tuning, backprop-free fine-tuning, ES dla LLM, strategie ewolucyjne w RL

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Obliczenia ewolucyjne i inteligencja roju](https://aiatlasgraph.com/t/evolutionary.md) › [Neuroewolucja](https://aiatlasgraph.com/t/neuroevolution.md) › Strategie ewolucyjne w trenowaniu sieci i LLM

## Description

- PL: Skalowalne strategie ewolucyjne szacujące kierunek poprawy z wyników losowo zaburzonych kopii parametrów, stosowane w RL i dostrajaniu dużych modeli językowych.
- EN: Scalable evolution strategies estimating an improvement direction from scores of randomly perturbed parameter copies, used in RL and in fine-tuning large language models.

## In one sentence

- PL: Sposób trenowania dużych sieci, także modeli językowych, przez losowe zaburzanie wszystkich wag i uśrednianie, co pomogło.
- EN: A way to train large networks, including language models, by randomly nudging all weights and averaging what helped.

## Problem it solves

- PL: Uczenie przez nagrody bywa niestabilne, gdy nagroda przychodzi późno, a model uczy się oszukiwać ocenę.
- EN: Reward-based learning can be unstable when rewards arrive late and models learn to game the score.

## What it does

- PL: Tysiące kopii modelu dostają drobne losowe zmiany, każda zgłasza tylko jedną liczbę wyniku, a model przesuwa się w stronę zmian z lepszymi ocenami.
- EN: Thousands of model copies get small random changes, each reports a single score, and the model moves towards changes that scored better.

## Everyday example

- PL: Zespół dostraja model językowy do rozwiązywania łamigłówek, oceniając tylko poprawność końcowej odpowiedzi, bez liczenia poprawek dla każdego słowa.
- EN: A team tunes a language model to solve puzzles, scoring only final-answer correctness, without computing corrections for each word.

## This concerns you if you…

- PL: nagroda w twoim zadaniu pojawia się dopiero na końcu
- PL: masz dużo maszyn, ale mało pamięci na każdej
- EN: get rewards in your task only at the very end
- EN: have many machines but little memory on each

## Keywords

OpenAI-ES · natural evolution strategies · antithetic sampling · EvoJAX · evosax · ES fine-tuning LLM · reward hacking

## How it works

- PL: Każdy pracownik dodaje do wag szum gaussowski z ziarna znanego wszystkim, ocenia zaburzoną kopię i przesyła tylko wynik. Ważona suma szumów daje estymatę gradientu wygładzonego celu. Ponieważ ocena dotyczy całego epizodu, nie trzeba dyskontowania ani funkcji wartości.
- EN: Each worker adds Gaussian noise to the weights from a seed everyone knows, scores the perturbed copy and sends back just the score. A weighted sum of noise estimates the gradient of a smoothed objective. Because scores cover whole episodes, no discounting or value function is needed.

## Limits

- PL: Wymaga wielu ocen na krok, więc jest mniej wydajne próbkowo niż metody gradientowe, gdy te działają. Wyniki dla dużych modeli językowych są nowe i potwierdzone przez niewiele niezależnych zespołów.
- EN: It needs many evaluations per step, so it is less sample-efficient than gradient methods where those work. Results on large language models are recent and confirmed by few independent teams.

## Key terms

- PL: **wspólne ziarno losowe**: Ten sam generator szumu u wszystkich, więc wystarczy przesłać wynik.
- PL: **wygładzony cel**: Średni wynik w pobliżu parametrów, który ES faktycznie optymalizuje.
- EN: **shared random seeds**: Everyone uses the same noise generator, so only scores travel.
- EN: **smoothed objective**: The average score near the parameters, what ES actually optimises.

## Know first

- [Gradient polityki (REINFORCE) (Policy gradient methods (REINFORCE))](https://aiatlasgraph.com/t/policygradient.md)
- [Strategie ewolucyjne i CMA-ES (Evolution strategies and CMA-ES)](https://aiatlasgraph.com/t/evostrategies.md)

## Related topics

Untyped, symmetric "see also" links.

- [GRPO i warianty bez krytyka (GRPO and critic-free policy optimization)](https://aiatlasgraph.com/t/grpo.md)
- [Naturalne strategie ewolucyjne (NES) (Natural evolution strategies (NES))](https://aiatlasgraph.com/t/naturalES.md)

## Sources

- [Evolution Strategies as a Scalable Alternative to Reinforcement Learning](<https://arxiv.org/abs/1703.03864>) `es-rl-2017` · by Tim Salimans, Jonathan Ho, Xi Chen, Szymon Sidor, Ilya Sutskever
- [Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning](<https://arxiv.org/abs/2509.24372>) `es-llm-2025` · by Xin Qiu, Yulu Gan, Conor F. Hayes, Qiyao Liang, Yinggan Xu, Roberto Dailey, Elliot Meyerson, Babak Hodjat, Risto Miikkulainen

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/esscale · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30