Статья
Training is sexy, inference pays the bills
Почему в ближайшие годы много интересной инженерии в AI будет вокруг инференса: пропускная способность памяти, KV-cache, батчинг, квантование и цена обслуживания моделей.
Последние несколько лет AI-индустрия сосредоточена на обучении всё более крупных моделей. Больше параметров, видеокарт, больше вычислений в принципе. Но, судя по тому, куда всё движется, в ближайшие годы значительная часть интересной инженерии будет происходить именно вокруг оптимизации инференса.
Инференс съедает всё больше вычислений
Недавно McKinsey опубликовали исследование, исходя из которого к 2030 году около 60% всей потребности AI в вычислительных мощностях будет приходиться на инференс, а оставшиеся 40% — на обучение.
Вполне ожидаемо. Если раньше взаимодействие с LLM ограничивалось несколькими запросами в ChatGPT, то сейчас у нас агенты, рассуждающие модели, мультимодальные системы и прочее и прочее. Одна задача пользователя может запускать десятки обращений к моделям, обрабатывать огромные контексты и генерировать тысячи промежуточных токенов. И количество пользователей может особо не меняться, но потребление вычислений расти в разы.
Обучение и инференс упираются в разное
Теперь к технической части. При обучении и инференсе мы зачастую упираемся в совершенно разные ограничения. При обучении большие матричные операции позволяют хорошо загружать вычислительные блоки GPU. А при авторегрессионной генерации, особенно на небольших батчах, узким местом часто становится пропускная способность памяти. На каждом шаге приходится читать веса модели и работать с KV-cache, чтобы получить один следующий токен. В итоге у нас может быть видеокарта с сотнями TFLOPS, которая большую часть времени ждёт данные из HBM.
Можно купить GPU вдвое мощнее, но не получить даже близкого прироста скорости, потому что проблема вообще не в вычислениях. А можно увеличить батч, сократить объём данных или правильно организовать работу с памятью и получить гораздо более ощутимый результат на том же железе.
Отсюда и вся история с continuous batching, PagedAttention, квантованием, speculative decoding, CUDA-ядрами, распределённым инференсом. Причём далеко не всегда для ускорения нужно лезть в низкоуровневый код. Авторы vLLM показывали прирост пропускной способности в 2–4 раза во многом просто за счёт того, что перестали настолько неэффективно расходовать память под KV-cache. Сама модель от этого умнее не стала, видеокарт больше не появилось, но запросов обслуживать можно значительно больше.
Ускорить ядро и ускорить сервис — разные задачи
И тут есть ещё одна проблема. Ускорить отдельный CUDA kernel и ускорить реальный сервис — это вообще две разные задачи. Можно неделю оптимизировать матричное умножение, радоваться ускорению в два раза на тестах, а потом выяснить, что в проде прирост составил 3%. Потому что половина времени уходит на ожидание запросов, формирование батчей, передачу данных или коммуникацию между GPU. При этом изменение планировщика запросов иногда даёт больше, чем вся эта возня с ядрами.
С квантованием примерно та же история. В теории INT4 позволяет хранить веса в несколько раз компактнее FP16, но это не означает автоматического ускорения в четыре раза. Добавляются расходы на распаковку, не все операции эффективно выполняются в низкой точности, да и сама система может упираться совершенно не туда. Поэтому смотреть исключительно на размер модели или количество токенов в секунду на одном запросе бессмысленно.
Дешевле токен — больше счёт
Кстати, есть ещё момент. Чем дешевле становится инференс, тем больше вычислений мы в итоге начинаем потреблять. Удешевили генерацию в два раза? Теперь можно позволить агенту делать не пять обращений к модели, а двадцать. Или запускать несколько моделей параллельно, увеличивать контекст, добавлять дополнительные проверки. В итоге один токен стоит дешевле, а общий счёт за GPU почему-то только растёт.
И вообще, вся эта гонка за количеством параметров постепенно начинает выглядеть немного однобоко. Допустим, есть две модели. Одна немного лучше на бенчмарках, но обслуживать её стоит в три раза дороже, а под нагрузкой задержки становятся неприличными. Вторая чуть слабее, зато стабильно обрабатывает запросы и укладывается в требования продукта. Какая из них лучше? Для исследовательской статьи, возможно, первая. Для бизнеса далеко не факт.
Так что за всей гонкой за новыми архитектурами и рекордами на бенчмарках легко пропустить довольно простую вещь: сделать модель умнее — это одна задача, а сделать так, чтобы её использование не обходилось в целое состояние, — совершенно другая. И вторую пока явно рано считать решённой.