Есть ли у логистической регрессии аналитическое решение вроде нормального уравнения?
Classic MLУровень: ПрактикаML concepts — Sebastian Raschka FAQ
Есть ли у логистической регрессии аналитическое решение вроде нормального уравнения?
Подсказки
- Запишите модель через матрицу признаков, параметры и остаток.
- Разделите условия вычисления оценки и условия статистических выводов о ней.
Ответ
Для общей задачи максимизации логистического правдоподобия нет аналогичной универсальной явной формулы для коэффициентов. Уравнения градиента содержат сигмоиду от неизвестных весов, поэтому используют численные методы: Newton/IRLS, L-BFGS или градиентные алгоритмы. У специальных случаев возможны отдельные решения. Кроме того, при полной разделимости без регуляризации конечная оценка максимального правдоподобия может вообще не существовать.
Источник и лицензия: Sebastian Raschka — Python Machine Learning FAQ · MIT · перевод: Quantoros