Можно ли при TunedThresholdClassifierCV(cv='prefit') настраивать порог по тем же строкам, где обучался классификатор?
Classic MLУровень: ПрактикаPrefit threshold data
Можно ли при TunedThresholdClassifierCV(cv='prefit') настраивать порог по тем же строкам, где обучался классификатор?
Подсказки
- Prefit отменяет переобучение модели, но не требования к валидации.
- Порог тоже обучаемый параметр.
Ответ
Это грозит подгонкой правила решения под оптимистичные обучающие scores. Настраивайте порог на отдельной валидации, оставляя нетронутый test для итоговой оценки.
Источник и лицензия: scikit-learn 1.7.2 — classification threshold · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros