К содержанию
Quantoros

Менторство · GPU & ML Performance

Менторство по GPU-программированию и производительности ML

Пишешь и профилируешь собственные GPU-ядра и ускоряешь модели: от первого ядра сложения векторов до своего оператора PyTorch на C++/CUDA с autograd и тестами.

Кому подойдёт

  • ML-инженерам, которые хотят понимать и убирать узкие места производительности.
  • C++ и системным разработчикам, которые переходят в ML-инфраструктуру и инференс.
  • Квант-разработчикам, которым нужен быстрый численный код на GPU.

Что построим

Трек GPU & ML Performance — 8 спринтов. Он открывается после Deep Learning в ML-траектории или после Quant Development.

  • Первое GPU-ядро: сложение векторов.
  • Слияние операций: ядро softmax.
  • Softmax: occupancy и пропускная способность.
  • Блочное умножение матриц.
  • Порядок блоков и автоподбор matmul.
  • Нормализация слоя: проход вперёд.
  • Оператор PyTorch на C++ и CUDA.
  • Проверка и autograd собственного оператора.

Как проходит менторство

  • Бесплатный созвон: смотрим на базу по C++, Python и deep learning.
  • Еженедельные созвоны 1:1 и ревью ядер, бенчмарков и профилей.
  • Портфолио-проекты для собеседований в ML-инфраструктуру.

Вопросы

Нужна своя видеокарта?

Нет. Для трека достаточно бесплатных GPU в Colab и Kaggle.

CUDA или Triton?

Оба: Triton для быстрой разработки ядер, C++/CUDA для собственных операторов PyTorch.

Какая нужна база?

Python, базовый C++ и понимание того, как обучаются нейросети.

Читать дальше

Направления менторства