К содержанию
Quantoros

Что такое кросс-энтропия и как её используют при обучении LLM?

LLM & AIУровень: БазаTraining & Alignment

Что такое кросс-энтропия и как её используют при обучении LLM?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Для авторегрессионной модели функция потерь — средняя отрицательная логарифмическая вероятность правильных следующих токенов: L=−(1/N)Σₜ log p(xₜ|x<ₜ). Чем меньше вероятность наблюдаемого токена, тем больше штраф. Градиенты обновляют параметры так, чтобы лучше моделировать распределение обучающих данных. Маскирование определяет, какие позиции участвуют в потере, например только ответы ассистента при настройке на диалоги.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы