Почему NumPy-вычисление через torch.compile на CUDA может упираться в передачи данных?
GPU / CUDAУровень: ПродвинутыйCPU-GPU copies in compiled NumPy
Почему NumPy-вычисление через torch.compile на CUDA может упираться в передачи данных?
Подсказки
- Где физически лежат входы и результаты?
- Можно ли между вызовами оставить промежуточные данные на GPU?
Ответ
Этот ответ — часть менторства
К продвинутым вопросам есть полный разбор и тренировочное собеседование с практикующим квант-ресерчером. Первый созвон бесплатный.
Источник и лицензия: PyTorch contributors — torch.compile FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros