Что такое логиты и чем они отличаются от вероятностей?
LLM & AIУровень: БазаLLM Foundations
Что такое логиты и чем они отличаются от вероятностей?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Логиты — произвольные вещественные оценки до нормализации. Softmax преобразует их в pᵢ=exp(zᵢ)/Σⱼexp(zⱼ), неотрицательные вероятности с суммой один. Важны различия: pᵢ/pⱼ=exp(zᵢ−zⱼ). Поэтому [1,2] и [1,10] имеют одинаковый порядок, но разную концентрацию вероятностей. Прибавление общей константы softmax не меняет; масштабирование обычно меняет. Для численной устойчивости вычитают максимальный логит. Вероятность токена не является автоматически калиброванной уверенностью в истинности всего ответа.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · ответ: редакция Quantoros · перевод: Quantoros