Rdzenie tensorowe i niska precyzja

Tensor cores and low precision · id tensorcores

Jednostki do mnożenia macierzy i formaty liczb, które je karmią.

Matrix-multiply units and the number formats that feed them.

In one sentence

To wyspecjalizowane jednostki szybko wykonujące działania na blokach liczb, często zapisanych z mniejszą dokładnością.

These specialised units rapidly operate on number blocks, often stored at lower precision.

Problem it solves

Zwykłe jednostki obliczeniowe wykonują powtarzalne mnożenia modelu wolniej, niż pozwala wyspecjalizowany sprzęt.

General computation units perform repeated model multiplications more slowly than specialised hardware can.

What it does

Łączą mnożenie i sumowanie całych bloków; odpowiedni układ danych i obsługiwany format liczb pomagają wykorzystać ich szybkość.

They combine multiplication and accumulation across blocks; suitable data layouts and supported number formats help exploit their speed.

Everyday example

W treningu dobierasz obsługiwany format liczb i sprawdzasz, czy mnożenia korzystają z szybkich jednostek karty.

During training, you select a supported numerical format and check whether multiplications use the card's fast units.

This concerns you if you…

Examples

Related topics

Sources