Alternatywne architektury sieci

Alternative neural network architectures · id altarchs · aliases: non-standard neural architectures, alternative network architectures, nietypowe architektury sieci, alternatywne architektury sieci

Rodziny sieci odchodzące od wzorca warstw liniowych ze stałą aktywacją: sieci impulsowe, KAN, neuronowe ODE, nowoczesne sieci Hopfielda i hipersieci.

Network families departing from the linear-layer-plus-fixed-activation pattern: spiking networks, KANs, neural ODEs, modern Hopfield networks and hypernetworks.

In one sentence

Sieci zbudowane inaczej niż typowe warstwy: naśladują impulsy mózgu, uczą się kształtu funkcji albo płyną w czasie ciągłym.

Networks built differently from the usual stacked layers: they mimic brain spikes, learn function shapes or flow in continuous time.

Problem it solves

Zwykłe sieci zużywają dużo prądu, trudno je wytłumaczyć i źle znoszą pomiary robione w nierównych odstępach czasu.

Standard networks use a lot of power, are hard to explain and cope poorly with measurements taken at uneven intervals.

What it does

Jak różne narzędzia w skrzynce: każda z tych konstrukcji zmienia jeden element sieci, żeby zyskać oszczędność, przejrzystość albo pamięć.

Like different tools in a toolbox: each design changes one part of the network to gain efficiency, clarity or memory.

Everyday example

Czujnik w zegarku rozpoznaje gest ręki, zużywając tak mało energii, że może nasłuchiwać bez przerwy.

A sensor in a watch recognises a hand gesture using so little energy that it can listen all the time.

This concerns you if you…

• budujesz AI dla urządzeń na baterię
• chcesz rozumieć, co sieć faktycznie wyliczyła
• modelujesz zjawiska zmieniające się w czasie
• build AI for battery-powered devices
• want to understand what a network actually computed
• model phenomena that change over time

Subtopics

• Hipersieci (sieci generujące wagi) (Hypernetworks): An architecture where one network (the hypernetwork) generates the weights of another (the target network) from a layer, task or context embedding; trained end to end.
• Neuronowe równania różniczkowe (neural ODE) (Neural ordinary differential equations (neural ODE)): Models where a neural network parameterises the derivative of a hidden state and an ODE solver computes the output; a continuous generalisation of residual networks.
  • Sieci o płynnych stałych czasowych (liquid networks) (Liquid time-constant networks (liquid neural networks)): Continuous-time recurrent networks whose neuron time constants depend on input and state; dynamics are computed by an ODE solver or a closed-form approximation (CfC).
• Sieci Hopfielda i pamięć asocjacyjna (Hopfield networks and associative memory): Recurrent energy-based networks storing patterns as energy minima; modern continuous Hopfield networks have very large capacity, and their update rule matches transformer attention.
• Sieci impulsowe (SNN) (Spiking neural networks (SNN)): Networks whose neurons integrate input into a membrane potential and emit binary spikes at a threshold, processing information as events over time.
  • Trenowanie sieci impulsowych gradientem zastępczym (Surrogate-gradient training of spiking networks): Training SNNs with backpropagation through time, replacing the non-differentiable threshold with a smooth surrogate derivative in the backward pass.
• Sieci Kołmogorowa–Arnolda (KAN) (Kolmogorov–Arnold networks (KAN)): An architecture inspired by the Kolmogorov–Arnold theorem: learned one-dimensional functions (splines) on edges instead of linear weights and fixed node activations.

Sources

• Surrogate Gradient Learning in Spiking Neural Networks · Emre O. Neftci, Hesham Mostafa, Friedemann Zenke
• KAN: Kolmogorov-Arnold Networks · Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark
• Neural Ordinary Differential Equations · Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud
• Hopfield Networks is All You Need · Hubert Ramsauer, Bernhard Schäfl, Johannes Lehner i in. (Sepp Hochreiter)
• HyperNetworks · David Ha, Andrew Dai, Quoc V. Le