Гайды
GPU-программирование для машинного обучения: роадмап
Скорость и стоимость моделей решаются на GPU. Инженеры по производительности ML понимают, куда уходит время, пишут ядра там, где библиотек не хватает, и аккуратно встраивают их в PyTorch. Роадмап — от первого ядра до протестированного собственного оператора.
Зачем ML-инженеру GPU
Обучение и инференс — основная статья расходов во многих ML-командах. Инженеры, которые умеют профилировать модель, находить узкое место и устранять его — слиянием операций, изменением раскладки памяти или своим ядром, — редкие и ценные в ML-инфраструктуре, инференсе и research engineering.
Как устроен GPU
- Потоковые мультипроцессоры запускают тысячи потоков, сгруппированных в варпы по 32, которые выполняются вместе.
- Иерархия памяти: регистры и shared memory быстрые и маленькие, глобальная память большая и медленная.
- Большинство ML-ядер упираются в память: перемещать данные дороже, чем считать.
- Модель roofline показывает, чем ограничено ядро — пропускной способностью памяти или вычислениями.
Первые шаги в CUDA
- Сетки, блоки и потоки; вычисление глобального индекса.
- Ядро сложения векторов и проверка по эталону.
- Коалесцированный доступ к памяти и почему важен шаг обращения.
- Правильный замер времени: прогрев, синхронизация, повторы.
Ядра, которые стоит написать самому
- Fused softmax: один проход по памяти вместо нескольких и численно устойчивый максимум.
- Настройка occupancy и пропускной способности этого ядра.
- Блочное умножение матриц через shared memory.
- Порядок блоков и автоподбор размеров тайлов.
- Прямой проход layer norm с параллельной редукцией.
Triton: продуктивный путь
Triton позволяет писать GPU-ядра на Python с блочными примитивами, а многие низкоуровневые детали берёт на себя компилятор. Его широко используют для собственных fused-операций в моделях PyTorch — это самый быстрый путь от идеи к быстрому ядру. Понятия CUDA нужны для ментальной модели, Triton — для ежедневной работы.
Интеграция с PyTorch
- Свой оператор на C++/CUDA и его регистрация в PyTorch.
- Поддержка autograd через backward.
- Проверка корректности через gradcheck и проверки операторов, включая граничные случаи и типы данных.
- Бенчмарк против базового PyTorch и описание, когда твой оператор выигрывает.
Профилирование и оптимизация инференса
- PyTorch profiler, Nsight Systems для таймлайна и Nsight Compute для ядер.
- Смешанная точность и её численные ловушки.
- Батчинг, KV-кэш и квантизация для инференса LLM.
- Идея FlashAttention: тайлинг внимания без материализации полной матрицы.
Проекты для портфолио
- Ядро fused softmax или layer norm с отчётом о бенчмарке.
- Блочный matmul с автотюнингом и анализом roofline.
- Свой оператор PyTorch с autograd и тестами.
- Кейс профилирования: модель, ускоренная с замерами до и после.
Учиться с ментором
Трек GPU & ML Performance в Quantoros — 8 спринтов: первое ядро сложения векторов, fused softmax, occupancy и пропускная способность softmax, блочный matmul, порядок блоков и автоподбор, прямой проход layer norm, оператор PyTorch на C++/CUDA, тесты и autograd. Достаточно бесплатных GPU в Colab и Kaggle. Менторство 1:1 с ревью ядер, бенчмарков и профилей.
Материалы
- CUDA C++ Programming Guide — NVIDIA ↗Справочник по модели программирования CUDA.
- GPU MODE ↗Лекции и материалы сообщества по GPU-программированию для ML.
- Документация и туториалы Triton ↗Туториалы по fused softmax, matmul и layer norm.
- How to Optimize a CUDA Matmul Kernel — Simon Boehm ↗Пошаговая оптимизация matmul.
- Свои операторы PyTorch на C++ и CUDA ↗Официальный туториал.
Вопросы
Нужна своя видеокарта, чтобы учить CUDA?
Нет. Бесплатных GPU в Google Colab и Kaggle хватает для обучения и большинства проектов.
Что учить первым — CUDA или Triton?
Сначала понятия CUDA для ментальной модели, затем Triton для продуктивной работы с ядрами.
Сколько нужно C++?
Для старта хватит базы; для собственных операторов PyTorch понадобится больше.
Пригодится ли это вне ML?
Да. Те же навыки нужны в научных вычислениях и квант-разработке, где важен быстрый численный код.