# Uśrednianie i interpolacja wag (model soups, SLERP)

EN: **Weight averaging and interpolation** · id `weightaveraging` · aliases: model soups, weight averaging, SLERP, linear merge

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Łączenie modeli](https://aiatlasgraph.com/t/merging.md) › Uśrednianie i interpolacja wag (model soups, SLERP)

## Description

- PL: Łączenie kilku wersji dostrojonych z tego samego modelu bazowego przez uśrednienie lub płynną interpolację ich wag. Często poprawia jakość i odporność bez dodatkowego kosztu przy uruchamianiu.
- EN: Combining several fine-tunes of the same base model by averaging or smoothly interpolating their weights. Often improves quality and robustness at no extra inference cost.

## In one sentence

- PL: To mieszanie ustawień kilku zgodnych wersji modelu przez uśrednianie lub wybór wartości pomiędzy nimi.
- EN: This mixes parameters from compatible model versions through averaging or interpolation between them.

## Problem it solves

- PL: Kilka wersji ma dobre wyniki, a wybór jednej może odrzucić przydatne cechy pozostałych.
- EN: Several versions perform well, and selecting only one may discard useful qualities of the others.

## What it does

- PL: Odpowiadające sobie ustawienia są łączone w jedną wersję; zgodność modeli i dobór proporcji wpływają na jakość, którą trzeba sprawdzić.
- EN: Corresponding parameters are combined into one version; compatibility and mixing proportions affect quality, which must be checked.

## Everyday example

- PL: Po kilku dostrojeniach tego samego modelu próbujesz uśrednić wybrane wersje i porównujesz wynik na nowych zgłoszeniach.
- EN: After several adaptations of the same model, you try averaging selected versions and compare results on new requests.

## This concerns you if you…

- PL: masz kilka wersji z tej samej bazy
- PL: chcesz połączyć wyniki bez obsługi kilku modeli naraz
- EN: have several versions from the same base
- EN: want one combined model instead of serving several

## Keywords

model soups · SLERP · linear weight interpolation · checkpoint averaging · stochastic weight averaging · mergekit

## How it works

- PL: Parametry zgodnych checkpointów uśrednia się lub interpoluje, tworząc pojedynczy model zamiast zespołu predykcji. Metody liniowe i sferyczne wybierają różne ścieżki między wagami, a walidacja sprawdza zachowanie połączonego punktu.
- EN: Compatible checkpoint parameters are averaged or interpolated into one model rather than a prediction ensemble. Linear and spherical methods choose different paths between weights, while validation assesses the resulting point's behaviour.

## Limits

- PL: Niezgodne reprezentacje lub odległe minima mogą dać słaby wynik mimo dobrych składowych. Wspólna inicjalizacja pomaga, ale nie gwarantuje sukcesu; współczynniki wymagają oceny na niezależnych danych.
- EN: Incompatible representations or distant minima can produce poor results despite good components. Shared initialisation helps but cannot guarantee success; coefficients need evaluation on independent data.

## Key terms

- PL: **model soup**: Pojedynczy model uzyskany przez uśrednienie wag kilku dostrojonych checkpointów.
- PL: **interpolacja sferyczna**: Łączenie kierunków wektorów wag po ścieżce na sferze.
- EN: **model soup**: A single model obtained by averaging several fine-tuned checkpoints' weights.
- EN: **spherical interpolation**: Combining weight-vector directions along a spherical path.

## Know first

- [Spadek gradientu i optymalizacja ciągła (Gradient descent and continuous optimisation)](https://aiatlasgraph.com/t/mathoptimization.md)
- [Przeuczenie, niedouczenie i regularyzacja (Overfitting, underfitting and regularisation)](https://aiatlasgraph.com/t/biasvariance.md)

## Examples

- PL: model soups · średnia z checkpointów · SLERP
- EN: model soups · checkpoint averaging · SLERP

## Related topics

Untyped, symmetric "see also" links.

- [Drzewa i metody zespołowe (Tree ensembles)](https://aiatlasgraph.com/t/ensembles.md)

## Sources

- [Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time](<https://arxiv.org/abs/2203.05482>) `model-soups-2022` · by Mitchell Wortsman, Gabriel Ilharco, Samir Yitzhak Gadre i in.
- [Arcee’s MergeKit: A Toolkit for Merging Large Language Models](<https://arxiv.org/abs/2403.13257>) `mergekit-paper-2024` · by Charles Goddard, Shamane Siriwardhana, Malikeh Ehghaghi, Luke Meyers i in.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/weightaveraging · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30