К содержанию
Quantoros

Почему накопление loss-тензоров для логирования может увеличивать расход GPU-памяти?

GPU / CUDAУровень: ПрактикаAutograd history retention

Почему накопление loss-тензоров для логирования может увеличивать расход GPU-памяти?

Подсказки
  • Остаётся ли у аккумулятора метрики связь с градиентами?
  • Какие ссылки продолжают удерживать историю вычислений?

Ответ

Добавление тензора с градиентами в долгоживущий аккумулятор может сохранять autograd-историю и ссылки. Для метрик храните detached-значения или извлекайте скаляр, а дифференцируемый loss оставляйте для оптимизации. Частый item() может синхронизировать CPU и GPU: проверяйте и корректность, и overhead логирования. empty_cache() не освобождает живые тензоры.

Источник и лицензия: PyTorch contributors — FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы