Что такое кросс-энтропия и как её используют при обучении LLM?
LLM & AIУровень: БазаTraining & Alignment
Что такое кросс-энтропия и как её используют при обучении LLM?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Для авторегрессионной модели функция потерь — средняя отрицательная логарифмическая вероятность правильных следующих токенов: L=−(1/N)Σₜ log p(xₜ|x<ₜ). Чем меньше вероятность наблюдаемого токена, тем больше штраф. Градиенты обновляют параметры так, чтобы лучше моделировать распределение обучающих данных. Маскирование определяет, какие позиции участвуют в потере, например только ответы ассистента при настройке на диалоги.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros