Машинное обучение. Многомерная линейная регрессия. А.Ю. Фонарев, Школа анализа данных, Яндекс.
Классический способ обучения линейной модели регрессии - это метод наименьших квадратов. Сингулярное разложение матрицы признаковых описаний объектов позволяет изящно записать классическое решение МНК. Мультиколлинеарность или скрытые линейные зависимости между признаками приводит к неустойчивости решения и переобучению. Гребневая регрессия с помощью L2-регуляризации делает решение немного смещённым, но намного более устойчивым. Сингулярное разложение и в этом случае позволяет записать решение. Более того, оно позволяет эффективно оптимизировать параметр регуляризации. Метод LASSO или L1-регуляризация решает проблему мультиколлинеарности по-другому - отбрасывая лишние признаки. Третье решение - линейный переход от большого числа исходных признаков к малому числу новых признаков, но так, чтобы исходные по новым можно было восстановить как можно точнее. Это приводит к методу главных компонент, который оказывается обобщением всё того же сингулярного разложения.
Исправьте ФИО лектора, К. В. Воронцов.
Как бы там ни было, замечательный курс)
начал смотреть
Подскажите, как определяется ортогональная прямоугольная матрица? На 8 слайде вводится матрица V (l*n), в большинстве источников ортогональную матрицу определяют из квадратной
Она отличается от обычной тем, что достаточно выполнения только одного условия: A * A^T = E или A^T * A = E, в зависимости от того, чего больше столбцов или строк.