Uczenie z ograniczonym lub automatycznym nadzorem

Learning with limited or automatically derived supervision · id learningparadigms · aliases: limited-supervision learning, automatic supervision, uczenie z ograniczonym nadzorem

Paradygmaty, w których sygnał nadzorujący jest częściowy, powstaje automatycznie z danych albo dotyczy całych grup zamiast pojedynczych przykładów.

Learning paradigms where supervision is partial, generated automatically from data, or attached to groups rather than individual examples.

In one sentence

Sposoby uczenia modelu, gdy pełne odpowiedzi są dostępne tylko dla części danych albo można je wydobyć z samych danych.

Ways to train a model when complete answers exist for only some data or can be derived from the data itself.

Problem it solves

Pełne etykiety dla każdego przykładu są zbyt drogie, zbyt ogólne albo po prostu nie istnieją.

Complete labels for every example are too expensive, too coarse, or simply unavailable.

What it does

Wykorzystuje nieopisane dane, automatycznie tworzone cele albo etykiety nadane całym grupom przykładów.

It uses unlabelled data, automatically generated targets, or labels attached to whole groups of examples.

Everyday example

Z kilku opisanych zdjęć i tysięcy nieopisanych model uczy się rozpoznawać obiekty, a inne archiwum wykorzystuje przez odgadywanie zasłoniętych fragmentów.

From a few labelled images and thousands of unlabelled ones, a model learns to recognise objects; another archive is used by predicting hidden pieces.

This concerns you if you…

• masz dużo danych, ale mało dokładnych etykiet
• możesz zbudować cel treningowy bez ręcznego opisywania każdego przykładu
• dostajesz etykietę dla całej grupy, nie dla jej elementów
• have lots of data but few precise labels
• can create a training target without labelling every example by hand
• receive a label for a whole group rather than its individual items

Subtopics

• Uczenie pół-nadzorowane (Semi-supervised learning): Combining a small labelled set with a large unlabelled one through pseudo-labels, consistency regularisation or label propagation over a similarity graph.
  • Samouczenie i pseudoetykiety (Self-training and pseudo-labelling): Iteratively adding the model's above-threshold predictions to training as labels; modern variants combine it with augmentation and consistency.
• Uczenie samonadzorowane (Self-supervised learning): Learning representations from a signal generated by the data itself (pretext tasks, contrast, masking), later transferred to downstream tasks.
• Uczenie wieloinstancyjne (MIL) (Multiple instance learning (MIL)): Learning from labels attached to bags of instances; the model aggregates instance representations, e.g. with attention, into a bag-level prediction.

Sources

• A Cookbook of Self-Supervised Learning · Randall Balestriero, Mark Ibrahim, Vlad Sobal, Ari Morcos, Shashank Shekhar, Tom Goldstein, Florian Bordes, Adrien Bardes, Gregoire Mialon, Yuandong Tian, Avi Schwarzschild, Andrew Gordon Wilson, Jonas Geiping, Quentin Garrido, Pierre Fernandez, Amir Bar, Hamed Pirsiavash, Yann LeCun, Micah Goldblum
• Attention-based Deep Multiple Instance Learning · Maximilian Ilse, Jakub M. Tomczak, Max Welling
• scikit-learn — Semi-supervised learning (User Guide) · scikit-learn developers