# Agenci przy komputerze

EN: **Computer and browser use** · id `computeruse`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Aplikacje LLM i agenci](https://aiatlasgraph.com/t/applications.md) › [Agenci i orkiestracja](https://aiatlasgraph.com/t/agentsnode.md) › Agenci przy komputerze

## Description

- PL: Agent klikający w przeglądarce i w systemie.
- EN: An agent clicking in a browser and on a desktop.

## In one sentence

- PL: To asystent, który obsługuje stronę lub program przez klikanie, pisanie i odczytywanie ekranu.
- EN: This assistant operates a website or program by reading the screen, clicking and typing.

## Problem it solves

- PL: Musisz powtarzać wiele kliknięć, bo program nie daje innego sposobu wykonania potrzebnej czynności.
- EN: You have to repeat many clicks because a program offers no other way to perform the action you need.

## What it does

- PL: Ogląda ekran, wybiera następny ruch i po jego wykonaniu sprawdza, co się zmieniło.
- EN: It looks at the screen, chooses the next action and checks what changed before deciding what to do next.

## Everyday example

- PL: Asystent przepisuje adresy ze wskazanego arkusza do formularza w firmowym portalu.
- EN: An assistant copies addresses from a spreadsheet into a form on your workplace portal.

## This concerns you if you…

- PL: wykonujesz powtarzalne czynności w przeglądarce
- PL: potrzebujesz pomocy z programem obsługiwanym głównie przez klikanie
- EN: repeat the same actions in a browser
- EN: need help with software mainly operated through clicks

## Keywords

GUI grounding · accessibility tree · DOM · Playwright · WebArena · OSWorld

## How it works

- PL: Model interpretuje zrzut ekranu lub strukturę interfejsu i wybiera akcję, na przykład kliknięcie lub wpisanie tekstu. Kontroler wykonuje akcję, odczytuje nowy stan i przekazuje go do następnego kroku pętli.
- EN: The model interprets a screenshot or interface structure and selects an action, such as clicking or typing. A controller executes the action, reads the new state and supplies it to the next loop step.

## Limits

- PL: Zmiany układu, opóźnienia i niejednoznaczne elementy utrudniają poprawne trafienie w cel. Dostęp do interfejsu nie potwierdza uprawnienia do działania; operacje wymagają kontroli skutków i izolacji środowiska.
- EN: Layout changes, delays and ambiguous elements make accurate targeting harder. Interface access does not establish authorization to act; operations require effect checks and environment isolation.

## Key terms

- PL: **grounding interfejsu**: Powiązanie polecenia z konkretnym elementem widocznego interfejsu.
- PL: **akcja**: Operacja wejścia, taka jak kliknięcie, przewinięcie lub wpisanie tekstu.
- PL: **stan interfejsu**: Aktualne elementy i wartości dostępne po wykonaniu akcji.
- EN: **interface grounding**: Linking an instruction to a specific visible interface element.
- EN: **action**: An input operation such as clicking, scrolling or typing.
- EN: **interface state**: Current elements and values available after an action.

## Know first

- [Bezpieczeństwo agentów: uprawnienia i izolacja (AI agent security)](https://aiatlasgraph.com/t/agentsecurity.md)
- [Rozumienie dokumentów, wykresów i zrzutów ekranu (Document, chart and screenshot understanding)](https://aiatlasgraph.com/t/docvision.md)

## Subtopics (2 direct, 2 in total)

- [Granica zaufania SA-CUA dla agentów komputerowych (SA-CUA trust boundary for computer-use agents)](https://aiatlasgraph.com/t/sacua.md): A dual-model architecture that masks the screen by default, reveals trusted regions using accessibility-tree rules, and separately endorses values from untrusted content.
- [Syntetyczne środowiska komputerowe do treningu (Synthetic computer-use environments for agent training)](https://aiatlasgraph.com/t/softwaregym.md): Pipelines that automate synthesis, resetting and verification of executable training environments for computer-use agents.

## Related topics

Untyped, symmetric "see also" links.

- [Bezpieczeństwo agentów: uprawnienia i izolacja (AI agent security)](https://aiatlasgraph.com/t/agentsecurity.md)
- [Rozumienie dokumentów, wykresów i zrzutów ekranu (Document, chart and screenshot understanding)](https://aiatlasgraph.com/t/docvision.md)
- [Syntetyczne trajektorie i dane wywołań narzędzi dla agentów (Synthetic agent trajectories and tool-use data)](https://aiatlasgraph.com/t/agenttrajectories.md)

## Courses

- [Building toward Computer Use with Anthropic](<https://www.deeplearning.ai/courses/building-toward-computer-use-with-anthropic>)
- [Building AI Browser Agents](<https://www.deeplearning.ai/courses/building-ai-browser-agents>)

## Sources

- [DeepLearning.AI — course catalogue](<https://www.deeplearning.ai/courses>) `dlai` · course catalogue: 42 topic labels with counts, about 130 courses.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/computeruse · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30