Maskowanie obrazu w czasie testu

Masked autoencoder test-time training · id tttmae · aliases: TTT-MAE

Jednopróbkowe uczenie w czasie testu, w którym celem pomocniczym jest odtworzenie zamaskowanego obrazu.

One-sample test-time training whose auxiliary objective is reconstructing a masked image.

In one sentence

Model zasłania kawałki bieżącego obrazu, uczy się je odtwarzać i dopiero potem rozpoznaje treść.

A model hides pieces of the current image, learns to restore them, and only then names the content.

Problem it solves

Jedno zdjęcie z nowego oświetlenia albo szumu nie ma etykiety, a stary model się myli.

One photo in new light or noise has no label, and the old model gets it wrong.

What it does

Zasłonięte fragmenty trzeba odtworzyć z reszty kadru, a ta naprawa przesuwa wagi przed klasyfikacją.

Hidden fragments must be restored from the rest of the frame, and that repair shifts weights before classification.

Everyday example

Zdjęcie produktu w złym świetle model najpierw uzupełnia w zasłoniętych miejscach, a potem podaje kategorię.

For a product photo in poor light, the model first fills hidden patches, then gives the category.

This concerns you if you…

Sources