К содержанию
Quantoros

Что такое дистилляция модели?

LLM & AIУровень: ПрактикаAdvanced Architectures

Что такое дистилляция модели?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

При дистилляции компактный ученик учится воспроизводить поведение более сильного учителя. Целями могут быть распределения вероятностей, промежуточные представления или сгенерированные учителем примеры решений. Мягкие вероятности передают отношения между альтернативами, которых нет в одной жёсткой метке. Цель — уменьшить стоимость и задержку при приемлемом качестве; универсальной доли сохраняемого качества или ускорения не существует.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы