К содержанию
Quantoros

Почему преобразование разреженной матрицы в плотную может изменить прогноз XGBoost?

Classic MLУровень: ПрактикаSparse zeros versus missing values

Почему преобразование разреженной матрицы в плотную может изменить прогноз XGBoost?

Подсказки
  • Что предсказывает очередная модель относительно уже построенного ансамбля?
  • Сопоставьте последовательное добавление моделей с оптимизацией функции потерь.

Ответ

Для бустинга на деревьях отсутствующий элемент разреженной матрицы считается пропуском, а явно записанный ноль плотной матрицы обычно является обычным значением. При densify отсутствующие элементы часто заполняются нулями: смысл данных и путь по дереву меняются. Линейный booster трактует такие элементы как нули. Нужна явная политика пропусков и проверка одинаковых прогнозов, а не предположение, что форматы хранения всегда семантически эквивалентны.

Источник и лицензия: XGBoost contributors — Official FAQ · Apache-2.0 · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы