Почему преобразование разреженной матрицы в плотную может изменить прогноз XGBoost?
Classic MLУровень: ПрактикаSparse zeros versus missing values
Почему преобразование разреженной матрицы в плотную может изменить прогноз XGBoost?
Подсказки
- Что предсказывает очередная модель относительно уже построенного ансамбля?
- Сопоставьте последовательное добавление моделей с оптимизацией функции потерь.
Ответ
Для бустинга на деревьях отсутствующий элемент разреженной матрицы считается пропуском, а явно записанный ноль плотной матрицы обычно является обычным значением. При densify отсутствующие элементы часто заполняются нулями: смысл данных и путь по дереву меняются. Линейный booster трактует такие элементы как нули. Нужна явная политика пропусков и проверка одинаковых прогнозов, а не предположение, что форматы хранения всегда семантически эквивалентны.
Источник и лицензия: XGBoost contributors — Official FAQ · Apache-2.0 · ответ: редакция Quantoros · перевод: Quantoros