Почему слияние последовательных tensor-операций ускоряет код даже без сокращения арифметики?
GPU / CUDAУровень: ПрактикаKernel fusion and memory traffic
Почему слияние последовательных tensor-операций ускоряет код даже без сокращения арифметики?
Подсказки
- Посчитайте записи и чтения промежуточных значений.
- Какое новое ограничение может создать большое слитое ядро?
Ответ
Fusion позволяет не записывать промежуточные значения в память устройства и не читать их снова, а также уменьшает число запусков ядер. Выигрыш зависит от трафика памяти, регистров, occupancy и размеров, не только FLOP. Inductor может генерировать Triton-ядра; этот язык отличен от NVIDIA Triton Inference Server. Ускорение нужно измерить, оно не гарантировано.
Источник и лицензия: PyTorch contributors — torch.compile FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros