В чём состоит компромисс между смещением и разбросом?
Classic MLУровень: БазаLinear regression
В чём состоит компромисс между смещением и разбросом?
Подсказки
- Сравните ошибки на обучающей и независимой выборках.
- Представьте, что повторяете обучение на другой выборке. Что меняется в предсказаниях и почему?
Ответ
Смещение (bias) связано с тем, насколько средняя модель отличается от истинной зависимости; разброс (variance) — с чувствительностью к обучающей выборке. Для квадратичной ошибки используют разложение: ошибка = bias² + variance + неустранимый шум. Слишком простая модель склонна недообучаться, слишком гибкая — переобучаться. Сложность подбирают так, чтобы хорошо обобщать на новые данные.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros