Почему калибратор не стоит обучать по предсказаниям базовой модели на её train?
Classic MLУровень: ПрактикаIndependent calibration data
Почему калибратор не стоит обучать по предсказаниям базовой модели на её train?
Подсказки
- Базовая модель уже видела эти метки.
- Калибровка обучается на ошибках и уверенности.
Ответ
In-sample-предсказания обычно слишком благоприятны и дают смещённое отображение уверенности. Нужны независимые калибровочные данные либо корректные out-of-fold-предсказания.
Источник и лицензия: scikit-learn 1.7.2 — calibration · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros