К содержанию
Quantoros

Какую GPU-память экономит activation checkpointing и какой ценой?

GPU / CUDAУровень: ПродвинутыйActivation recomputation trade-off

Какую GPU-память экономит activation checkpointing и какой ценой?

Подсказки
  • Отделите сохранённые активации от весов и оптимизатора.
  • Какие вычисления придётся повторить на backward?

Ответ

Этот ответ — часть менторства

К продвинутым вопросам есть полный разбор и тренировочное собеседование с практикующим квант-ресерчером. Первый созвон бесплатный.

Источник и лицензия: PyTorch contributors — FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы