Зачем случайному лесу рандомизация?
Classic MLУровень: ПрактикаRandom forest
Зачем случайному лесу рандомизация?
Подсказки
- Как формируются обучающие выборки и чем отличаются деревья ансамбля?
- Рассмотрите корреляцию ошибок отдельных моделей, а не только их качество.
Ответ
Каждое дерево обучают на случайной bootstrap-выборке объектов с возвращением, а для каждого разбиения рассматривают случайное подмножество признаков. Например, из n признаков можно брать около √n. Усреднение деревьев уменьшает разброс, а случайный выбор признаков снижает корреляцию между деревьями.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros