Как предотвращать утечки информации в количественном машинном обучении?
Quant ResearchУровень: ПрактикаУтечки информации
Как предотвращать утечки информации в количественном машинном обучении?
Подсказки
- В какой момент прогнозирования становится доступен каждый признак?
- Проверьте разбиение данных, обучение преобразований и повторное использование тестовой выборки.
Ответ
Для цен, отчётности и пересмотров фиксируют время доступности; данные соединяют так, как они были известны в момент прогноза. Предобработку, отбор признаков и настройку выполняют внутри обучающих фолдов, защищая финальный хронологический тест. Перекрывающиеся интервалы формирования меток требуют очистки или корректного временного разделения. Признак по интервалу t−20…t сам по себе не является утечкой при прогнозе t…t+5: важны доступность, выравнивание и перекрытие обучающих и тестовых меток. Отдельно проверяют соединения таблиц, время исполнения и обработку пересмотров.
Источник и лицензия: Quant Research Interview Notes — SoYuCry; English translation by photon2563 · MIT · ответ: редакция Quantoros · перевод: Quantoros