Agenci ogólni grający w wiele gier

Generalist game agents · id generalistgameagents · aliases: generalist game agents, instructable game agents, agenci wielogrowi, agenci sterowani poleceniami w grach, SIMA, multi-game agents, gaming companions

Agenci przyjmujący obraz ekranu i polecenia językowe, a działający klawiaturą i myszą w wielu grach 3D, często z modelem językowo-wizyjnym jako rdzeniem.

Agents that take screen images and language instructions and act via keyboard and mouse across many 3D games, often built around a vision-language model.

In one sentence

Jeden program, który patrzy na ekran jak człowiek, steruje klawiaturą i myszką i wykonuje słowne polecenia w wielu różnych grach.

One program that watches the screen like a person, uses keyboard and mouse, and follows spoken instructions across many different games.

Problem it solves

Każdy dotychczasowy agent umiał tylko jedną grę i wymagał dostępu do jej wnętrza, więc do nowej gry trzeba było zaczynać od zera.

Earlier agents mastered only one game and needed access to its internals, so every new game meant starting from scratch.

What it does

Jak kolega, któremu podajesz pada i mówisz „zbierz drewno i zbuduj szałas”: rozgląda się, rozumie polecenie i sam kombinuje.

Like a friend you hand the controller to and say 'gather wood and build a shelter': they look around, get it and figure it out.

Everyday example

Mówisz towarzyszowi w grze survivalowej, żeby poszedł do czerwonego domu i przyniósł drewno, a on to robi, choć nigdy wcześniej nie widział tej gry.

You tell a companion in a survival game to go to the red house and fetch wood, and it does, though it has never seen that game before.

This concerns you if you…

Related topics

Sources