Hipersieci (sieci generujące wagi)

Hypernetworks · id hypernetworks · aliases: hypernetwork, HyperNetworks, weight-generating networks, hipersieć, sieci generujące wagi

Architektura, w której jedna sieć (hipersieć) generuje wagi drugiej (sieci docelowej) na podstawie osadzenia warstwy, zadania lub kontekstu; trenowana end-to-end.

An architecture where one network (the hypernetwork) generates the weights of another (the target network) from a layer, task or context embedding; trained end to end.

In one sentence

Sieć, której zadaniem nie jest odpowiedź na pytanie, tylko wytworzenie ustawień dla innej sieci.

A network whose job is not to answer a question but to produce the settings for another network.

Problem it solves

Trenowanie osobnego modelu dla każdego zadania, użytkownika czy stylu jest drogie i zajmuje dużo miejsca.

Training a separate model for every task, user or style is expensive and takes a lot of storage.

What it does

Jak dorabianie kluczy: zamiast nosić tysiąc kluczy, masz maszynę, która na podstawie opisu zamka wycina właściwy.

Like a key-cutting machine: instead of carrying a thousand keys, you have a device that cuts the right one from a description of the lock.

Everyday example

Aplikacja do zdjęć dopasowuje filtr do stylu opisanego słowami, nie przechowując osobnego modelu dla każdego stylu.

A photo app adapts its filter to a style described in words without storing a separate model for each style.

This concerns you if you…

Sources