К содержанию
Quantoros

Почему выходы RNN с packed sequences могут не собираться через DataParallel?

GPU / CUDAУровень: ПродвинутыйGathering variable-length sequences

Почему выходы RNN с packed sequences могут не собираться через DataParallel?

Подсказки
  • Каждая реплика видит длины только собственного подбатча.
  • Какая общая форма выхода нужна операции gather?

Ответ

Этот ответ — часть менторства

К продвинутым вопросам есть полный разбор и тренировочное собеседование с практикующим квант-ресерчером. Первый созвон бесплатный.

Источник и лицензия: PyTorch contributors — FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы