Среди случаев с вероятностью 0.8 положительных только половина. Какую проблему калибровки это показывает?
Classic MLУровень: БазаProbability meaning
Среди случаев с вероятностью 0.8 положительных только половина. Какую проблему калибровки это показывает?
Подсказки
- Сравните вероятность с эмпирической частотой.
- Малые бины шумны.
Ответ
В этой области модель переуверена: оценённый риск выше наблюдаемой частоты. Нужны достаточное число отложенных примеров и оценка неопределённости, прежде чем делать вывод по малому бину.
Источник и лицензия: scikit-learn 1.7.2 — calibration · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros