К содержанию
Quantoros

Чем fine-tuning LLM отличается от prompting и in-context learning?

Deep LearningУровень: БазаNeural networks

Чем fine-tuning LLM отличается от prompting и in-context learning?

Подсказки
  • Какие параметры изменяются и какие остаются замороженными?
  • Разделите память весов, градиентов, состояний оптимизатора и активаций.

Ответ

Fine-tuning изменяет веса на целевых данных, полностью или через адаптеры вроде LoRA. Это требует данных и обучения, но позволяет устойчиво специализировать поведение. In-context learning задаёт инструкцию и примеры во входе при инференсе, не меняя весов. Он гибче и дешевле в запуске, но чувствителен к формулировке и выбору примеров.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы