Что такое параллелизм по данным при обучении?
ML System DesignУровень: ПрактикаParallelism Strategies
Что такое параллелизм по данным при обучении?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
В обычном data parallelism каждая реплика хранит модель, обрабатывает свой фрагмент данных, затем градиенты агрегируются перед согласованным шагом оптимизации. В FSDP и ZeRO состояние распределяют: ZeRO-1 разделяет состояния оптимизатора, ZeRO-2 также градиенты, ZeRO-3 также параметры; нужные параметры временно собирают для вычислений. Это уменьшает память на устройство ценой коммуникаций и временных буферов. Фиксированные коэффициенты экономии некорректны без числа устройств и состава состояний. Выбирают подход по памяти, сети, checkpointing, offload и поддержке конкретной архитектуры.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros