Что такое пропускная способность памяти и почему она важна для инференса LLM?
ML System DesignУровень: ПрактикаGPU Fundamentals
Что такое пропускная способность памяти и почему она важна для инференса LLM?
Подсказки
- Кто владеет ресурсом и когда заканчивается его время жизни?
- Проверьте копирование, перемещение, исключение и обращение после освобождения.
Ответ
При декодировании с небольшим batch вычислительные блоки часто ждут чтения весов и KV-кэша: арифметическая интенсивность низкая. Нижнюю оценку времени передачи можно получить как объём читаемых данных, делённый на эффективную пропускную способность памяти. Например, 70 млрд параметров по два байта — около 140 GB только весов, без служебных данных. Это не полный прогноз задержки: модель может быть распределённой или квантованной, а реальная эффективность ниже пика. При prefill и больших batch возрастает роль вычислений; также важны межускорительная связь и длина контекста.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros