Гайды
Как стать LLM-инженером: роадмап AI-инженера
LLM engineering — это умение сделать языковую модель полезной и надёжной внутри продукта. Промпты — самая простая часть; настоящая работа — поиск по данным, оценка качества, дообучение, сервинг и понимание, когда модель ошибается. Разбираем, что учить и в каком порядке.
Чем занимается LLM-инженер
LLM- или AI-инженер проектирует систему вокруг языковой модели: выбирает модель, подключает её к данным через retrieval, ограничивает формат ответа, добавляет инструменты, измеряет качество и стоимость и безопасно выпускает. Хорошие инженеры считают модель ненадёжным компонентом и строят вокруг неё оценку и защиту.
Что нужно знать заранее
- Уверенный Python, API, асинхронный код, тесты и простые веб-сервисы.
- Основы ML: train/validation/test, метрики, переобучение.
- Основы deep learning на PyTorch; в идеале ты сам обучал маленький трансформер.
Понять трансформер
Предобучать большие модели не нужно, но нужно понимать токенизацию, эмбеддинги, внимание, decoder-only архитектуру, контекстное окно, семплирование (temperature, top-p) и почему модели галлюцинируют. Один раз реализованный маленький GPT делает понятными все дальнейшие решения.
RAG: генерация с поиском
- Стратегии нарезки документов и метаданные.
- Эмбеддинги, векторные индексы и гибридный поиск (dense плюс ключевые слова).
- Реранкинг кросс-энкодерами.
- Цитирование: ответы со ссылками на проверяемые источники.
- Отдельная оценка поиска (recall@k) и качества ответа.
Структурированный вывод, инструменты и агенты
- JSON-схемы и проверяемый структурированный ответ.
- Function calling и проектирование инструментов с понятными контрактами.
- Агентный цикл с лимитом шагов, таймаутами и безопасными инструментами с правами.
- Prompt injection и утечки данных — и как их сдерживать.
Дообучение
Дообучай, когда промптов и поиска не хватает: для стабильного формата, доменного стиля или меньшей и более дешёвой модели. Нужно знать supervised fine-tuning (SFT), параметро-эффективные методы вроде LoRA и QLoRA, подготовку датасета и то, как доказать, что адаптер улучшил качество и ничего не сломал.
Оценка качества и регрессионные тесты
- Эталонные наборы из реальных вопросов пользователей.
- Автоматические метрики, где возможно; LLM-as-judge с калибровкой по разметке людей.
- Регрессионные тесты перед каждым изменением промпта или модели.
- Стоимость и задержка рядом с качеством.
Сервинг и эксплуатация
- Квантизация (например, GGUF или 4 бита) и её влияние на качество.
- Серверы инференса вроде vLLM, батчинг и KV-кэш.
- Наблюдаемость: трейсы, сбои, обратная связь пользователей и воспроизводимые релизы.
Проекты для портфолио
- RAG-ассистент по реальному набору документов с оценкой поиска и ответов.
- Дообучение с LoRA и отчёт «до и после».
- Агент с инструментами, явными ограничениями и набором тестов на сбои.
- Локально развёрнутая модель с замером задержки и стоимости.
Учиться с ментором
В Quantoros есть трек LLM & AI Engineering из 8 спринтов: от трансформера к управляемой генерации, SFT и LoRA, структурированный ответ и вызов функций, RAG с проверяемыми источниками, оценка перед выпуском, локальный сервинг на GGUF и vLLM, безопасные агенты и наблюдаемость. Он опирается на этап Deep Learning, где ты сам пишешь маленький GPT. Менторство 1:1 с ревью кода и mock-интервью.
Материалы
- Neural Networks: Zero to Hero — Андрей Карпаты ↗GPT с нуля, чтобы понять устройство моделей.
- Hugging Face LLM Course ↗Трансформеры, дообучение и экосистема открытых моделей.
- Stanford CS336: Language Modeling from Scratch ↗Как строить и обучать языковые модели.
- Документация vLLM ↗Высокопроизводительный сервинг LLM.
- OWASP Top 10 for LLM Applications ↗Риски безопасности, включая prompt injection.
Вопросы
Нужно ли сначала стать ML-инженером?
Не обязательно, но основы ML и deep learning делают тебя заметно сильнее — особенно в оценке качества и дообучении.
Промпт-инжиниринг — это профессия?
Сам по себе слишком узкий навык. Нанимают инженеров, которые строят вокруг модели поиск, оценку, инструменты и сервинг.
Закрытые API или открытые модели?
Учи оба варианта. Открытые модели учат сервингу, квантизации и дообучению; API часто используются в продуктах.
Какой навык самый важный?
Оценка качества: умение измерить, стала ли система лучше после изменения.