Atencja liczona z myślą o pamięci: mniej przepychania danych, ten sam wynik.
Attention computed with memory in mind: less data movement, the same result.
To liczenie uwagi z mniejszą ilością przenoszenia danych między częściami pamięci komputera.
This computes attention while moving less data between parts of computer memory.
Obliczenia uwagi czekają na odczyty i zapisy dużych zestawów danych, spowalniając pracę z długim tekstem.
Attention calculations wait for large data reads and writes, slowing work with long text.
Obliczenia są wykonywane w blokach bliżej procesora, zamiast zapisywać całą wielką tabelę powiązań w wolniejszej pamięci.
Calculations run in blocks close to the processor instead of storing the entire large relationship matrix in slower memory.
Przy treningu na długich dokumentach włączasz wydajniejszą implementację uwagi i mierzysz zużycie pamięci oraz czas.
When training on long documents, you enable a more efficient attention implementation and measure memory use and runtime.