К содержанию
Quantoros

Что такое параллелизм по данным при обучении?

ML System DesignУровень: ПрактикаParallelism Strategies

Что такое параллелизм по данным при обучении?

Подсказки
  • Начните с требований к качеству, нагрузке и задержке.
  • Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.

Ответ

В обычном data parallelism каждая реплика хранит модель, обрабатывает свой фрагмент данных, затем градиенты агрегируются перед согласованным шагом оптимизации. В FSDP и ZeRO состояние распределяют: ZeRO-1 разделяет состояния оптимизатора, ZeRO-2 также градиенты, ZeRO-3 также параметры; нужные параметры временно собирают для вычислений. Это уменьшает память на устройство ценой коммуникаций и временных буферов. Фиксированные коэффициенты экономии некорректны без числа устройств и состава состояний. Выбирают подход по памяти, сети, checkpointing, offload и поддержке конкретной архитектуры.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы