# Akceleratory

EN: **AI hardware** · id `hardware`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Inferencja i infrastruktura](https://aiatlasgraph.com/t/systems.md) › Akceleratory

## Description

- PL: Sprzęt pod inferencję i trening.
- EN: Hardware for inference and training.

## In one sentence

- PL: To sprzęt przyspieszający uczenie modeli i przygotowanie ich odpowiedzi.
- EN: This hardware accelerates model training and response generation.

## Problem it solves

- PL: Zwykły procesor może wykonywać obliczenia modelu zbyt wolno, a sam wzrost mocy nie rozwiązuje ograniczeń pamięci.
- EN: A general processor may run model calculations too slowly, while more computing power alone cannot resolve memory limits.

## What it does

- PL: Specjalizowane układy wykonują wiele obliczeń naraz, a pamięć i połączenia dostarczają im dane; wszystkie te elementy wpływają na wydajność.
- EN: Specialised chips perform many calculations at once, while memory and connections supply data; all these components affect performance.

## Everyday example

- PL: Porównując sprzęt do asystenta, sprawdzasz nie tylko szybkość obliczeń, ale też pamięć potrzebną na model i rozmowy.
- EN: When comparing hardware for an assistant, you check computing speed and the memory needed for the model and conversations.

## This concerns you if you…

- PL: wybierasz sprzęt do modelu
- PL: chcesz rozumieć ograniczenia pamięci i obliczeń
- EN: choose hardware for a model
- EN: want to understand memory and computing limits

## Keywords

GPU · TPU · NPU · HBM · SRAM · systolic arrays · NVLink · InfiniBand · tensor cores · memory hierarchy

## How it works

- PL: Akcelerator organizuje równoległe jednostki obliczeniowe wokół hierarchii pamięci i wyspecjalizowanych operacji. Rozmieszczenie danych, precyzja oraz sposób podziału grafu modelu decydują, które zasoby są wykorzystywane i gdzie powstają przestoje.
- EN: An accelerator organises parallel compute units around memory hierarchies and specialised operations. Data placement, precision and model-graph partitioning determine resource utilisation and where stalls arise.

## Limits

- PL: Szczytowa moc nie uwzględnia transferów, nieregularnych operacji i kolejek. Model musi mieścić się w dostępnej pamięci lub ponosić koszt przenoszenia danych; obsługiwane formaty wpływają na jakość.
- EN: Peak compute excludes transfers, irregular operations and queues. Models must fit available memory or incur transfer costs; supported formats affect quality.

## Key terms

- PL: **hierarchia pamięci**: Poziomy przechowywania o różnej pojemności, szybkości i zakresie dostępu.
- PL: **akcelerator**: Układ przyspieszający wybrane klasy operacji obliczeniowych.
- EN: **memory hierarchy**: Storage levels differing in capacity, speed and access scope.
- EN: **accelerator**: Hardware accelerating selected classes of computation.

## Know first

- [Algebra liniowa: wektory i macierze (Linear algebra: vectors and matrices)](https://aiatlasgraph.com/t/linearalgebra.md)
- [Perceptron wielowarstwowy (MLP) (Multilayer perceptron (MLP))](https://aiatlasgraph.com/t/mlp.md)

## Examples

- PL: GPU · układy dedykowane
- EN: GPU · dedicated chips

## Subtopics (4 direct, 4 in total)

- [Model roofline: obliczenia czy przepustowość pamięci (Roofline model and arithmetic intensity)](https://aiatlasgraph.com/t/roofline.md): A simple performance model: attainable throughput is bounded by the minimum of peak compute and memory bandwidth multiplied by arithmetic intensity (operations per byte). Within the model's assumptions, it helps determine whether an operation is compute-bound or memory-bandwidth-bound.
- [Pamięć HBM i ściana pamięci (High-bandwidth memory and the memory wall)](https://aiatlasgraph.com/t/memorywall.md): Accelerator compute grows faster than memory bandwidth, so moving weights and KV cache from HBM can become a bottleneck. This is especially important during LLM token generation, particularly at small batch sizes.
- [Połączenia między układami i sieć klastra (Accelerator interconnects and cluster networking)](https://aiatlasgraph.com/t/interconnects.md): Ways accelerators exchange data: fast links within a server or pod (scale-up) and networking between servers (scale-out), using topologies such as torus or fat-tree. Their bandwidth and latency strongly affect how training and inference scale across many chips.
- [Wyspecjalizowane akceleratory AI (TPU, NPU) (Specialised AI accelerators (ASICs and NPUs))](https://aiatlasgraph.com/t/customaccelerators.md): Specialised chips or compute blocks optimised for neural-network operations, often using multiply-accumulate arrays and low-precision arithmetic. They include datacenter accelerators such as TPUs and NPUs integrated into phones and laptops.

## Courses

- [Fast LLM Inference with Cerebras](<https://www.deeplearning.ai/courses/fast-llm-inference-with-cerebras>)

## Sources

- [DeepLearning.AI — course catalogue](<https://www.deeplearning.ai/courses>) `dlai` · course catalogue: 42 topic labels with counts, about 130 courses.
- [Performance Engineering for AI Infra — learning guide](<https://github.com/wafer-ai/gpu-perf-engineering-resources>) `wafer-gpu` · GitHub repository · tiered curriculum (Tier 1–3) · MIT licence · by Wafer (wafer-ai): Company material with a hiring note, but the evidence is mostly primary sources. Table of contents sieved: only topics became nodes; tiers kept as link labels.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/hardware · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30