Jeden z częstych sposobów budowy VLM: wytrenowany enkoder obrazu tworzy cechy wizualne, a projektor, adapter lub warstwy uwagi krzyżowej udostępniają je modelowi językowemu. System dostraja się następnie na danych łączących obrazy z instrukcjami; zakres trenowanych modułów i liczba etapów zależą od architektury.
A common way to build a VLM: a pretrained image encoder produces visual features, while a projector, adapter or cross-attention layers expose them to a language model. The system is then tuned on image-instruction data; the modules trained and number of stages depend on the architecture.
To sposób, by gotowy model tekstowy „zobaczył” obraz: dokleja się do niego część, która tłumaczy zdjęcie na jego język.
This lets an existing text model “see”: you attach a part that translates pictures into its language.
Trenowanie od zera modelu, który widzi i mówi, jest bardzo drogie, a osobno istnieją już dobre modele do obrazu i do tekstu.
Training a model that both sees and talks from scratch is very costly, while good separate image and text models already exist.
Łącznik przekształca liczbowy zapis cech obrazu w postać dostępną dla modelu językowego, który może uwzględnić go w odpowiedzi.
A connector transforms numerical image features into a form the language model can access and use in its response.
Mała firma dokleja do darmowego modelu tekstowego moduł widzenia i uczy go odpowiadać na pytania o zdjęcia swoich produktów.
A small company adds a vision module to a free text model and teaches it to answer questions about photos of its products.