Uczenie reprezentacji z sygnału wytworzonego z samych danych (zadania pretekstowe, kontrast, maskowanie), które potem przenosi się do zadań docelowych.
Learning representations from a signal generated by the data itself (pretext tasks, contrast, masking), later transferred to downstream tasks.
Model uczy się z samych danych, układając sobie zagadki, np. zgadując zasłonięty fragment tekstu albo obrazu.
A model learns from raw data by setting itself puzzles, such as guessing a hidden piece of text or an image.
Do nauki ogólnej wiedzy o języku czy obrazach potrzeba ogromnych zbiorów, których nikt nie jest w stanie ręcznie opisać.
Learning general knowledge of language or images needs huge collections that no one could ever label by hand.
Jak nauka języka przez uzupełnianie luk w zdaniach: odpowiedź już jest w tekście, więc nauczyciel nie jest potrzebny.
Like learning a language by filling gaps in sentences: the answer is already in the text, so no teacher is needed.
Model czyta miliony zdań z zakrytymi słowami i odgaduje je, a potem z kilkuset przykładów szybko uczy się rozpoznawać nastrój recenzji.
A model reads millions of sentences with hidden words and guesses them, then quickly learns to spot the mood of reviews from a few hundred examples.