Trenowanie sieci impulsowych gradientem zastępczym

Surrogate-gradient training of spiking networks · id surrogategrad · aliases: surrogate gradients, surrogate gradient learning, gradient zastępczy, BPTT for SNN

Trenowanie SNN propagacją wsteczną w czasie, w którym nieróżniczkowalną funkcję progową zastępuje się w przejściu wstecz gładką pochodną zastępczą.

Training SNNs with backpropagation through time, replacing the non-differentiable threshold with a smooth surrogate derivative in the backward pass.

In one sentence

Sposób uczenia sieci impulsowych zwykłą metodą poprawiania błędów, choć ich neurony działają skokowo: włączone albo wyłączone.

A way to train spiking networks with ordinary error correction, even though their neurons switch abruptly between on and off.

Problem it solves

Sieci impulsowe trudno było wytrenować, bo nagły skok sygnału nie mówi, w którą stronę poprawić ustawienia.

Spiking networks were hard to train because an abrupt jump in the signal gives no hint which way to adjust the settings.

What it does

Jak równia pochyła zamiast schodów: przy liczeniu poprawek udajemy, że skok jest łagodnym zboczem, więc wiadomo, gdzie jest „w dół”.

Like a ramp instead of stairs: when computing corrections we pretend the jump is a gentle slope, so “downhill” becomes visible.

Everyday example

Badaczka trenuje na laptopie małą sieć impulsową rozpoznającą wypowiadane cyfry, zanim wgra ją do oszczędnego układu.

A researcher trains a small spiking network to recognise spoken digits on her laptop before loading it onto a low-power chip.

This concerns you if you…

Sources