Что такое in-context learning и чем оно отличается от fine-tuning?
LLM & AIУровень: БазаPrompting & In-Context Learning
Что такое in-context learning и чем оно отличается от fine-tuning?
Подсказки
- Какие параметры изменяются и какие остаются замороженными?
- Разделите память весов, градиентов, состояний оптимизатора и активаций.
Ответ
При in-context learning модель адаптирует ответ к инструкциям и примерам в текущем контексте без изменения весов. Примеры помогают задать формат, соответствие меток или способ решения, но занимают контекст и влияют на каждый соответствующий запрос. Fine-tuning изменяет обучаемые параметры — все веса либо адаптеры — по обучающим данным, и эффект сохраняется при последующих запусках с этими параметрами. Это не обязательно навсегда: можно сменить checkpoint или адаптер. Хорошее выполнение по примерам не гарантирует устойчивого обобщения на другие формулировки.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros