К содержанию
Quantoros

Что такое fine-tuning и когда он нужен?

LLM & AIУровень: БазаFundamentals

Что такое fine-tuning и когда он нужен?

Подсказки
  • Какие параметры изменяются и какие остаются замороженными?
  • Разделите память весов, градиентов, состояний оптимизатора и активаций.

Ответ

Дообучение обновляет параметры предобученной модели на данных целевой задачи. Оно полезно для устойчивого формата, стиля или специализированного поведения, когда инструкции и примеры недостаточны. Часто меняющиеся факты удобнее передавать через поиск, а не пытаться запомнить в весах. Решение зависит от качества данных, базовой модели, стоимости и требований; универсального минимального числа примеров и гарантированного выигрыша нет. Всегда сравнивайте с простым базовым решением.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы