Что такое SVD и как его применяют в машинном обучении?
МатематикаУровень: ПрактикаDimensionality reduction
Что такое SVD и как его применяют в машинном обучении?
Подсказки
- Переведите условие в обозначения и проверьте область определения.
- Начните с простого частного случая, затем проверьте условия применяемой теоремы.
Ответ
SVD представляет вещественную матрицу как X = UΣVᵀ. Столбцы U и V — ортонормированные сингулярные векторы, диагональ Σ — неотрицательные сингулярные числа; их квадраты являются собственными значениями XᵀX или XXᵀ. Для центрированных данных из n строк направления PCA заданы V, а дисперсии — σᵢ²/(n−1). Усечение до k компонент даёт низкоранговое приближение для сжатия, удаления шума и снижения размерности. SVD также применяют для псевдообратной матрицы и устойчивого МНК.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · ответ: редакция Quantoros · перевод: Quantoros