К содержанию
Quantoros

Почему nvidia-smi показывает занятую память после удаления тензоров PyTorch?

GPU / CUDAУровень: ПрактикаAllocated versus reserved GPU memory

Почему nvidia-smi показывает занятую память после удаления тензоров PyTorch?

Подсказки
  • Разделите живые выделения и резерв повторного использования.
  • Какую память можно отдать, не потеряв живые тензоры?

Ответ

PyTorch сохраняет освобождённые блоки для повторного использования. nvidia-smi показывает память процесса с резервом и контекстом, а не только живые тензоры. Сравните allocated и reserved, проверьте оставшиеся ссылки и процессы. empty_cache() может отдать неиспользуемый резерв другим приложениям, но не удаляет живые тензоры и не лечит удержание вычислительного графа.

Источник и лицензия: PyTorch contributors — FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы