Можно ли сочетать torch.func grad и vmap с torch.compile?
GPU / CUDAУровень: ПродвинутыйComposing gradient and vectorization transforms
Можно ли сочетать torch.func grad и vmap с torch.compile?
Подсказки
- Порядок трансформаций и компиляции может иметь значение.
- Как проверить полученные градиенты или отображение батча?
Ответ
Этот ответ — часть менторства
К продвинутым вопросам есть полный разбор и тренировочное собеседование с практикующим квант-ресерчером. Первый созвон бесплатный.
Источник и лицензия: PyTorch contributors — torch.compile FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros