К содержанию
Quantoros

Что такое логиты и чем они отличаются от вероятностей?

LLM & AIУровень: БазаLLM Foundations

Что такое логиты и чем они отличаются от вероятностей?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Логиты — произвольные вещественные оценки до нормализации. Softmax преобразует их в pᵢ=exp(zᵢ)/Σⱼexp(zⱼ), неотрицательные вероятности с суммой один. Важны различия: pᵢ/pⱼ=exp(zᵢ−zⱼ). Поэтому [1,2] и [1,10] имеют одинаковый порядок, но разную концентрацию вероятностей. Прибавление общей константы softmax не меняет; масштабирование обычно меняет. Для численной устойчивости вычитают максимальный логит. Вероятность токена не является автоматически калиброванной уверенностью в истинности всего ответа.

Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы