Почему накопление loss-тензоров для логирования может увеличивать расход GPU-памяти?
GPU / CUDAУровень: ПрактикаAutograd history retention
Почему накопление loss-тензоров для логирования может увеличивать расход GPU-памяти?
Подсказки
- Остаётся ли у аккумулятора метрики связь с градиентами?
- Какие ссылки продолжают удерживать историю вычислений?
Ответ
Добавление тензора с градиентами в долгоживущий аккумулятор может сохранять autograd-историю и ссылки. Для метрик храните detached-значения или извлекайте скаляр, а дифференцируемый loss оставляйте для оптимизации. Частый item() может синхронизировать CPU и GPU: проверяйте и корректность, и overhead логирования. empty_cache() не освобождает живые тензоры.
Источник и лицензия: PyTorch contributors — FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros