Когда выбрать один процесс Triton на несколько GPU, а когда — отдельный на каждый GPU?
GPU / CUDAУровень: ПродвинутыйMulti-GPU serving placement
Когда выбрать один процесс Triton на несколько GPU, а когда — отдельный на каждый GPU?
Подсказки
- Сравните границы оркестрации и размещение экземпляров.
- Не путайте реплики запросов и разбиение одной модели.
Ответ
Этот ответ — часть менторства
К продвинутым вопросам есть полный разбор и тренировочное собеседование с практикующим квант-ресерчером. Первый созвон бесплатный.
Источник и лицензия: NVIDIA — Triton Inference Server FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros