Как оценить вклад полносвязного слоя с m входами и n выходами в память обучения?
GPU / CUDAУровень: БазаDense-layer memory budgeting
Как оценить вклад полносвязного слоя с m входами и n выходами в память обучения?
Подсказки
- Начните с формы матрицы, а не с количества слоёв.
- Какие дополнительные тензоры возникают при обучении?
Ответ
Матрица весов содержит m × n элементов плюс возможный bias из n элементов. Умножьте на размер типа, затем добавьте градиенты, состояния оптимизатора, активации и возможную master-копию весов. Квадратичный рост возникает, когда одновременно растут обе ширины. Поэтому модель, помещающаяся для инференса, может не помещаться для обучения; mixed precision не делает все состояния одним типом.
Источник и лицензия: PyTorch contributors — FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros