К содержанию
Quantoros

Какова цель дистилляции с учителем и учеником?

LLM & AIУровень: ПрактикаFine-tuning & Alignment

Какова цель дистилляции с учителем и учеником?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Более сильная модель-учитель создаёт обучающий сигнал, чтобы компактный ученик перенял полезное поведение при меньших затратах. Сигналом могут быть ответы или распределения вероятностей, а иногда промежуточные представления. Ученика проверяют на независимых задачах: воспроизведение учителя не означает сохранение всех его возможностей и может переносить его ошибки.

Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros

Похожие вопросы