Как проверять качество модели?
Classic MLУровень: БазаValidation
Как проверять качество модели?
Подсказки
- Сформулируйте задачу, входные данные и то, что модель должна предсказывать.
- Сравните метод с простым baseline: допущения, функция потерь и независимая проверка.
Ответ
Разделите данные на train, validation и test: на первой части обучайте параметры, по второй выбирайте гиперпараметры и момент остановки, на третьей один раз оценивайте итог. Другой вариант — кросс-валидация с несколькими разбиениями. Подходы можно совместить: оставить независимый тест, а кросс-валидацию проводить на остальных данных.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros