GPU i obliczenia rozproszone

GPU and distributed computing · id compute

Wykorzystanie akceleratorów i wielu urządzeń.

Using accelerators and many devices.

In one sentence

To wykonywanie obliczeń modelu na akceleratorach i dzielenie pracy między wiele urządzeń.

This runs model calculations on accelerators and distributes work across multiple devices.

Problem it solves

Uczenie lub obsługa modelu trwa zbyt długo, żeby wystarczył zwykły sposób wykonywania obliczeń.

Training or serving a model takes too long for a basic computation approach to suffice.

What it does

Pracę dzieli się na równoległe zadania, dopasowuje obliczenia do pamięci i koordynuje wymianę wyników, mierząc rzeczywiste wąskie gardła.

Work is split into parallel tasks, computations are aligned with memory, and results are exchanged while actual bottlenecks are measured.

Everyday example

Duży trening rozdzielasz między karty, a pomiary pokazują, ile czasu zajmują obliczenia i komunikacja.

You distribute a large training run across cards, and measurements show time spent computing and communicating.

This concerns you if you…

• potrzebujesz przyspieszyć trening lub odpowiedzi
• korzystasz z wielu urządzeń obliczeniowych
• need faster training or responses
• use multiple computation devices

Examples

• Pamięć · kernels · parallelism
• Memory · kernels · parallelism

Subtopics

• Języki i kompilatory kerneli (Kernel languages and compilers): Writing kernels one level above raw CUDA: tiles, templates, compilers.
• Kernele mnożenia macierzy (GEMM) (Matrix multiplication kernels (GEMM)): The heart of AI compute: squeezing near-peak hardware throughput out of matrix multiplication.
• Komunikacja między GPU (Multi-GPU communication): Moving data between many GPUs: collective operations and topology.
• Profilowanie i optymalizacja kerneli (Kernel profiling and optimisation): Measuring where time goes, and ways to win it back.
• Programowanie GPU (CUDA) (GPU programming (CUDA)): The GPU execution model: threads, blocks, the memory hierarchy.
• Rdzenie tensorowe i niska precyzja (Tensor cores and low precision): Matrix-multiply units and the number formats that feed them.
• Strategie zrównoleglania treningu (Training parallelism strategies): How to split a model and its data across devices.

Sources

• Stanford CS336 · Language Modeling from Scratch (2025) · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training.
• Full Stack Deep Learning (2022, archiwum) · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
• FSDL · LLM Bootcamp (2023, archiwum) · reference: Aplikacje LLM, prompting, retrieval, UX i LLMOps.
• Performance Engineering for AI Infra — learning guide · GitHub repository · tiered curriculum (Tier 1–3) · MIT licence · Wafer (wafer-ai): Company material with a hiring note, but the evidence is mostly primary sources. Table of contents sieved: only topics became nodes; tiers kept as link labels.