Profilowanie i optymalizacja kerneli

Kernel profiling and optimisation · id profiling

Pomiar, gdzie ucieka czas, i sposoby, żeby go odzyskać.

Measuring where time goes, and ways to win it back.

In one sentence

To mierzenie, które części obliczeń modelu zabierają czas i zasoby, żeby poprawiać konkretne wąskie gardła.

This measures which model computations consume time and resources so specific bottlenecks can be improved.

Problem it solves

Model jest wolny, ale bez pomiarów nie wiesz, która zmiana rzeczywiście pomoże.

A model is slow, but without measurements you do not know which change will help.

What it does

Ślady wykonania pokazują obliczenia, przesyłanie danych i oczekiwanie; porównanie przed i po zmianie sprawdza jej efekt.

Execution traces reveal computation, transfers and waiting; comparing before and after a change checks its effect.

Everyday example

Pomiar pokazuje, że model czeka na kopiowanie danych, więc zmieniasz ten etap i ponownie mierzysz czas.

Measurement shows a model waits for data copying, so you change that stage and measure runtime again.

This concerns you if you…

• chcesz znaleźć przyczynę powolnej pracy
• sprawdzasz rzeczywisty efekt optymalizacji
• want to find the cause of slow execution
• check the actual effect of an optimisation

Examples

• roofline · occupancy · fuzja kerneli · CUDA Graphs
• roofline · occupancy · kernel fusion · CUDA Graphs

Related topics

• Model roofline: obliczenia czy przepustowość pamięci (Roofline model and arithmetic intensity)

Sources

• Performance Engineering for AI Infra — learning guide · GitHub repository · tiered curriculum (Tier 1–3) · MIT licence · Wafer (wafer-ai): Company material with a hiring note, but the evidence is mostly primary sources. Table of contents sieved: only topics became nodes; tiers kept as link labels.