# GPU i obliczenia rozproszone

EN: **GPU and distributed computing** · id `compute`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Inferencja i infrastruktura](https://aiatlasgraph.com/t/systems.md) › GPU i obliczenia rozproszone

## Description

- PL: Wykorzystanie akceleratorów i wielu urządzeń.
- EN: Using accelerators and many devices.

## In one sentence

- PL: To wykonywanie obliczeń modelu na akceleratorach i dzielenie pracy między wiele urządzeń.
- EN: This runs model calculations on accelerators and distributes work across multiple devices.

## Problem it solves

- PL: Uczenie lub obsługa modelu trwa zbyt długo, żeby wystarczył zwykły sposób wykonywania obliczeń.
- EN: Training or serving a model takes too long for a basic computation approach to suffice.

## What it does

- PL: Pracę dzieli się na równoległe zadania, dopasowuje obliczenia do pamięci i koordynuje wymianę wyników, mierząc rzeczywiste wąskie gardła.
- EN: Work is split into parallel tasks, computations are aligned with memory, and results are exchanged while actual bottlenecks are measured.

## Everyday example

- PL: Duży trening rozdzielasz między karty, a pomiary pokazują, ile czasu zajmują obliczenia i komunikacja.
- EN: You distribute a large training run across cards, and measurements show time spent computing and communicating.

## This concerns you if you…

- PL: potrzebujesz przyspieszyć trening lub odpowiedzi
- PL: korzystasz z wielu urządzeń obliczeniowych
- EN: need faster training or responses
- EN: use multiple computation devices

## Keywords

CUDA · NCCL · GEMM · tensor parallelism · pipeline parallelism · data parallelism · shared memory · memory coalescing · kernel fusion · GPU profiling

## How it works

- PL: Operacje tensorowe dzieli się na równoległe kernele, dobierając rozmieszczenie danych do pamięci i jednostek obliczeniowych. Wiele urządzeń współpracuje przez podział danych lub modelu oraz synchronizację wyników, gradientów i stanów pośrednich.
- EN: Tensor operations are divided into parallel kernels with data placement matched to memory and compute units. Multiple devices cooperate through data or model partitioning and synchronisation of outputs, gradients and intermediate states.

## Limits

- PL: Narzut uruchamiania, transfery i komunikacja ograniczają skalowanie. Małe lub nieregularne operacje słabo wykorzystują sprzęt; więcej urządzeń może zwiększać koszt bez proporcjonalnego przyspieszenia.
- EN: Launch overhead, transfers and communication limit scaling. Small or irregular operations underutilise hardware; more devices can raise costs without proportional speed gains.

## Key terms

- PL: **równoległość**: Jednoczesne wykonanie niezależnych części obliczenia.
- PL: **synchronizacja**: Uzgodnienie kolejności lub wyników między współpracującymi wykonawcami.
- EN: **parallelism**: Simultaneous execution of independent computation portions.
- EN: **synchronisation**: Coordinating order or results among cooperating execution units.

## Know first

- [Algebra liniowa: wektory i macierze (Linear algebra: vectors and matrices)](https://aiatlasgraph.com/t/linearalgebra.md)
- [Propagacja wsteczna (backpropagation) (Backpropagation)](https://aiatlasgraph.com/t/backprop.md)

## Examples

- PL: Pamięć · kernels · parallelism
- EN: Memory · kernels · parallelism

## Subtopics (7 direct, 7 in total)

- [Języki i kompilatory kerneli (Kernel languages and compilers)](https://aiatlasgraph.com/t/kerneldsl.md): Writing kernels one level above raw CUDA: tiles, templates, compilers.
- [Kernele mnożenia macierzy (GEMM) (Matrix multiplication kernels (GEMM))](https://aiatlasgraph.com/t/gemm.md): The heart of AI compute: squeezing near-peak hardware throughput out of matrix multiplication.
- [Komunikacja między GPU (Multi-GPU communication)](https://aiatlasgraph.com/t/collectives.md): Moving data between many GPUs: collective operations and topology.
- [Profilowanie i optymalizacja kerneli (Kernel profiling and optimisation)](https://aiatlasgraph.com/t/profiling.md): Measuring where time goes, and ways to win it back.
- [Programowanie GPU (CUDA) (GPU programming (CUDA))](https://aiatlasgraph.com/t/gpuprog.md): The GPU execution model: threads, blocks, the memory hierarchy.
- [Rdzenie tensorowe i niska precyzja (Tensor cores and low precision)](https://aiatlasgraph.com/t/tensorcores.md): Matrix-multiply units and the number formats that feed them.
- [Strategie zrównoleglania treningu (Training parallelism strategies)](https://aiatlasgraph.com/t/parallelism.md): How to split a model and its data across devices.

## Sources

- [Stanford CS336 · Language Modeling from Scratch (2025)](<https://cs336.stanford.edu/spring2025/>) `cs336` · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training.
- [Full Stack Deep Learning (2022, archiwum)](<https://fullstackdeeplearning.com/course/2022/>) `fsdl` · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
- [FSDL · LLM Bootcamp (2023, archiwum)](<https://fullstackdeeplearning.com/llm-bootcamp/spring-2023/>) `bootcamp` · reference: Aplikacje LLM, prompting, retrieval, UX i LLMOps.
- [Performance Engineering for AI Infra — learning guide](<https://github.com/wafer-ai/gpu-perf-engineering-resources>) `wafer-gpu` · GitHub repository · tiered curriculum (Tier 1–3) · MIT licence · by Wafer (wafer-ai): Company material with a hiring note, but the evidence is mostly primary sources. Table of contents sieved: only topics became nodes; tiers kept as link labels.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/compute · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30