Sieci Hopfielda i pamięć asocjacyjna

Hopfield networks and associative memory · id hopfield · aliases: Hopfield network, modern Hopfield networks, dense associative memory, sieć Hopfielda, pamięć skojarzeniowa, Hopfield layers

Rekurencyjne sieci energetyczne przechowujące wzorce jako minima energii; nowoczesne ciągłe sieci Hopfielda mają bardzo dużą pojemność, a ich reguła aktualizacji odpowiada uwadze w transformerze.

Recurrent energy-based networks storing patterns as energy minima; modern continuous Hopfield networks have very large capacity, and their update rule matches transformer attention.

In one sentence

Sieć pamięci, która z niepełnego albo zamazanego fragmentu odtwarza cały zapamiętany wzorzec.

A memory network that rebuilds a whole stored pattern from an incomplete or blurred fragment.

Problem it solves

Chcemy odnaleźć właściwe wspomnienie, mając tylko jego urywek, a przeglądanie wszystkiego po kolei trwa za długo.

We want to find the right memory from just a scrap of it, and checking everything one by one takes too long.

What it does

Jak kulka tocząca się do najbliższego dołka: każdy zapamiętany wzorzec to dołek, a zniekształcone wejście stacza się do najbliższego.

Like a marble rolling into the nearest hollow: each stored pattern is a hollow, and a distorted input rolls into the closest one.

Everyday example

Z kilku zanuconych taktów przypominasz sobie całą piosenkę.

From a few hummed bars you recall the whole song.

This concerns you if you…

Related topics

Sources