К содержанию
Quantoros

Что такое in-context learning и чем оно отличается от fine-tuning?

LLM & AIУровень: БазаPrompting & In-Context Learning

Что такое in-context learning и чем оно отличается от fine-tuning?

Подсказки
  • Какие параметры изменяются и какие остаются замороженными?
  • Разделите память весов, градиентов, состояний оптимизатора и активаций.

Ответ

При in-context learning модель адаптирует ответ к инструкциям и примерам в текущем контексте без изменения весов. Примеры помогают задать формат, соответствие меток или способ решения, но занимают контекст и влияют на каждый соответствующий запрос. Fine-tuning изменяет обучаемые параметры — все веса либо адаптеры — по обучающим данным, и эффект сохраняется при последующих запусках с этими параметрами. Это не обязательно навсегда: можно сменить checkpoint или адаптер. Хорошее выполнение по примерам не гарантирует устойчивого обобщения на другие формулировки.

Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros

Похожие вопросы