Как применяется дистилляция при дообучении LLM?
LLM & AIУровень: ПрактикаAdvanced Topics
Как применяется дистилляция при дообучении LLM?
Подсказки
- Какие параметры изменяются и какие остаются замороженными?
- Разделите память весов, градиентов, состояний оптимизатора и активаций.
Ответ
Учитель создаёт ответы, распределения токенов или качественные примеры решения, а ученик учится их воспроизводить. При доступе к вероятностям используют, например, KL-дивергенцию; при обучении на готовых последовательностях — обычную потерю предсказания токенов. Ученик может перенять полезные навыки, но также ошибки и смещения учителя. Нужны фильтрация, реальная независимая оценка и проверка прав на использование сгенерированных данных.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros