К содержанию
Quantoros

Чем tensor parallelism отличается от pipeline parallelism?

ML System DesignУровень: ПрактикаParallelism Strategies

Чем tensor parallelism отличается от pipeline parallelism?

Подсказки
  • Начните с требований к качеству, нагрузке и задержке.
  • Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.

Ответ

Tensor parallelism делит операции и матрицы одного слоя между ускорителями; устройства работают совместно и обмениваются промежуточными результатами, поэтому важна быстрая связь. Pipeline parallelism распределяет группы слоёв по стадиям: активации переходят между ними, а микропакеты позволяют перекрывать работу. Недостаток pipeline — простои при заполнении и опустошении и дисбаланс стадий. Часто TP применяют внутри узла, PP между узлами, но это не обязательное правило. Выбор зависит от размеров модели, batch, топологии, коммуникаций и требований к задержке.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы