К содержанию
Quantoros

Почему слияние последовательных tensor-операций ускоряет код даже без сокращения арифметики?

GPU / CUDAУровень: ПрактикаKernel fusion and memory traffic

Почему слияние последовательных tensor-операций ускоряет код даже без сокращения арифметики?

Подсказки
  • Посчитайте записи и чтения промежуточных значений.
  • Какое новое ограничение может создать большое слитое ядро?

Ответ

Fusion позволяет не записывать промежуточные значения в память устройства и не читать их снова, а также уменьшает число запусков ядер. Выигрыш зависит от трафика памяти, регистров, occupancy и размеров, не только FLOP. Inductor может генерировать Triton-ядра; этот язык отличен от NVIDIA Triton Inference Server. Ускорение нужно измерить, оно не гарантировано.

Источник и лицензия: PyTorch contributors — torch.compile FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы