К содержанию
Quantoros

Как оценить вклад полносвязного слоя с m входами и n выходами в память обучения?

GPU / CUDAУровень: БазаDense-layer memory budgeting

Как оценить вклад полносвязного слоя с m входами и n выходами в память обучения?

Подсказки
  • Начните с формы матрицы, а не с количества слоёв.
  • Какие дополнительные тензоры возникают при обучении?

Ответ

Матрица весов содержит m × n элементов плюс возможный bias из n элементов. Умножьте на размер типа, затем добавьте градиенты, состояния оптимизатора, активации и возможную master-копию весов. Квадратичный рост возникает, когда одновременно растут обе ширины. Поэтому модель, помещающаяся для инференса, может не помещаться для обучения; mixed precision не делает все состояния одним типом.

Источник и лицензия: PyTorch contributors — FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы