Зачем нужны отдельные обучающая, валидационная и тестовая выборки?
Classic MLУровень: БазаValidation
Зачем нужны отдельные обучающая, валидационная и тестовая выборки?
Подсказки
- Определите, какие наблюдения должны оставаться независимыми при проверке.
- Сравните случайное, групповое и временное разбиения. Где подбираются гиперпараметры?
Ответ
Обучающая выборка нужна для подгонки параметров, валидационная — для выбора гиперпараметров и вариантов модели. Тестовая остаётся независимой до окончательной оценки качества. Если оценивать обобщение на тех же примерах, по которым обучали модель, результат будет чрезмерно оптимистичным.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros