Какие стратегии подбора гиперпараметров существуют?
Classic MLУровень: ПрактикаParameter tuning
Какие стратегии подбора гиперпараметров существуют?
Подсказки
- Сформулируйте задачу, входные данные и то, что модель должна предсказывать.
- Сравните метод с простым baseline: допущения, функция потерь и независимая проверка.
Ответ
Grid search перебирает все сочетания значений заранее заданной сетки и может быть дорогим. Random search случайно выбирает комбинации из заданных диапазонов или распределений, позволяя исследовать больше вариантов при фиксированном бюджете. Байесовская оптимизация строит приближённую модель качества и с помощью функции приобретения выбирает следующий перспективный эксперимент, учитывая результаты предыдущих запусков. Она полезна при дорогой оценке одного варианта.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros