Modele oparte na energii

Energy-based models (EBM) · id ebm · aliases: EBM, energy-based models, modele energetyczne, Boltzmann machines, contrastive divergence, Langevin dynamics

Modele definiujące nieznormalizowaną gęstość przez funkcję energii; trenowane MCMC, dopasowaniem score lub estymacją kontrastu z szumem.

Models defining an unnormalised density through an energy function, trained via MCMC maximum likelihood, score matching or noise-contrastive estimation.

In one sentence

Model, który nie tworzy danych wprost, tylko ocenia każdy przykład liczbą: im niższa „energia”, tym przykład bardziej pasuje do świata.

A model that does not create data directly but scores each example: the lower its ‘energy’, the better it fits the world.

Problem it solves

Modele, które muszą podać dokładne prawdopodobieństwo, są bardzo ograniczone w budowie, więc trudno w nich uchwycić złożone zależności.

Models that must output exact probabilities are tightly constrained in design, so complex dependencies are hard to capture.

What it does

Jak mapa terenu: prawdziwe przykłady leżą w dolinach, a nowe próbki powstają przez staczanie się z losowego miejsca w dół.

Like a landscape map: real examples sit in valleys, and new samples are made by rolling downhill from a random spot.

Everyday example

System sprawdza, czy podana odpowiedź pasuje do pytania, i wybiera tę z najlepszą oceną spośród wielu kandydatów.

A system checks whether a given answer fits a question and picks the best-scoring one among many candidates.

This concerns you if you…

Related topics

Sources