К содержанию
Quantoros

Статья

Training is sexy, inference pays the bills

Почему в ближайшие годы много интересной инженерии в AI будет вокруг инференса: пропускная способность памяти, KV-cache, батчинг, квантование и цена обслуживания моделей.

Последние несколько лет AI-индустрия сосредоточена на обучении всё более крупных моделей. Больше параметров, видеокарт, больше вычислений в принципе. Но, судя по тому, куда всё движется, в ближайшие годы значительная часть интересной инженерии будет происходить именно вокруг оптимизации инференса.

Инференс съедает всё больше вычислений

Недавно McKinsey опубликовали исследование, исходя из которого к 2030 году около 60% всей потребности AI в вычислительных мощностях будет приходиться на инференс, а оставшиеся 40% — на обучение.

Вполне ожидаемо. Если раньше взаимодействие с LLM ограничивалось несколькими запросами в ChatGPT, то сейчас у нас агенты, рассуждающие модели, мультимодальные системы и прочее и прочее. Одна задача пользователя может запускать десятки обращений к моделям, обрабатывать огромные контексты и генерировать тысячи промежуточных токенов. И количество пользователей может особо не меняться, но потребление вычислений расти в разы.

Обучение и инференс упираются в разное

Теперь к технической части. При обучении и инференсе мы зачастую упираемся в совершенно разные ограничения. При обучении большие матричные операции позволяют хорошо загружать вычислительные блоки GPU. А при авторегрессионной генерации, особенно на небольших батчах, узким местом часто становится пропускная способность памяти. На каждом шаге приходится читать веса модели и работать с KV-cache, чтобы получить один следующий токен. В итоге у нас может быть видеокарта с сотнями TFLOPS, которая большую часть времени ждёт данные из HBM.

Можно купить GPU вдвое мощнее, но не получить даже близкого прироста скорости, потому что проблема вообще не в вычислениях. А можно увеличить батч, сократить объём данных или правильно организовать работу с памятью и получить гораздо более ощутимый результат на том же железе.

Отсюда и вся история с continuous batching, PagedAttention, квантованием, speculative decoding, CUDA-ядрами, распределённым инференсом. Причём далеко не всегда для ускорения нужно лезть в низкоуровневый код. Авторы vLLM показывали прирост пропускной способности в 2–4 раза во многом просто за счёт того, что перестали настолько неэффективно расходовать память под KV-cache. Сама модель от этого умнее не стала, видеокарт больше не появилось, но запросов обслуживать можно значительно больше.

Ускорить ядро и ускорить сервис — разные задачи

И тут есть ещё одна проблема. Ускорить отдельный CUDA kernel и ускорить реальный сервис — это вообще две разные задачи. Можно неделю оптимизировать матричное умножение, радоваться ускорению в два раза на тестах, а потом выяснить, что в проде прирост составил 3%. Потому что половина времени уходит на ожидание запросов, формирование батчей, передачу данных или коммуникацию между GPU. При этом изменение планировщика запросов иногда даёт больше, чем вся эта возня с ядрами.

С квантованием примерно та же история. В теории INT4 позволяет хранить веса в несколько раз компактнее FP16, но это не означает автоматического ускорения в четыре раза. Добавляются расходы на распаковку, не все операции эффективно выполняются в низкой точности, да и сама система может упираться совершенно не туда. Поэтому смотреть исключительно на размер модели или количество токенов в секунду на одном запросе бессмысленно.

Дешевле токен — больше счёт

Кстати, есть ещё момент. Чем дешевле становится инференс, тем больше вычислений мы в итоге начинаем потреблять. Удешевили генерацию в два раза? Теперь можно позволить агенту делать не пять обращений к модели, а двадцать. Или запускать несколько моделей параллельно, увеличивать контекст, добавлять дополнительные проверки. В итоге один токен стоит дешевле, а общий счёт за GPU почему-то только растёт.

И вообще, вся эта гонка за количеством параметров постепенно начинает выглядеть немного однобоко. Допустим, есть две модели. Одна немного лучше на бенчмарках, но обслуживать её стоит в три раза дороже, а под нагрузкой задержки становятся неприличными. Вторая чуть слабее, зато стабильно обрабатывает запросы и укладывается в требования продукта. Какая из них лучше? Для исследовательской статьи, возможно, первая. Для бизнеса далеко не факт.

Так что за всей гонкой за новыми архитектурами и рекордами на бенчмарках легко пропустить довольно простую вещь: сделать модель умнее — это одна задача, а сделать так, чтобы её использование не обходилось в целое состояние, — совершенно другая. И вторую пока явно рано считать решённой.

Источники

Новые статьи на почту