Когда использовать обучение в контексте, RAG и дообучение?
ML System DesignУровень: ПрактикаSystem Design Framework
Когда использовать обучение в контексте, RAG и дообучение?
Подсказки
- Разложите запрос на поиск кандидатов, отбор контекста и генерацию.
- Как определить, на каком этапе потерян нужный факт, не оценивая всё одной итоговой метрикой?
Ответ
In-context learning передаёт инструкции и примеры в запросе без изменения весов и удобно для быстрой адаптации. RAG выбирает внешние сведения из большого или обновляемого корпуса. Дообучение меняет устойчивое поведение модели по тренировочным примерам. Методы сочетаются: контекст тоже может содержать свежие факты, а RAG не обязан быть медленнее любого длинного промпта. Выбирайте по причине ошибок, доступным данным, стоимости и требованиям к источникам.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros