Чем tensor parallelism отличается от pipeline parallelism?
ML System DesignУровень: ПрактикаParallelism Strategies
Чем tensor parallelism отличается от pipeline parallelism?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
Tensor parallelism делит операции и матрицы одного слоя между ускорителями; устройства работают совместно и обмениваются промежуточными результатами, поэтому важна быстрая связь. Pipeline parallelism распределяет группы слоёв по стадиям: активации переходят между ними, а микропакеты позволяют перекрывать работу. Недостаток pipeline — простои при заполнении и опустошении и дисбаланс стадий. Часто TP применяют внутри узла, PP между узлами, но это не обязательное правило. Выбор зависит от размеров модели, batch, топологии, коммуникаций и требований к задержке.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros