Регуляризованный метод наименьших квадратов

Эта статья должна быть кратко изложена в разделе "Наименьшие квадраты # Регуляризация" и предоставленной оттуда ссылке с использованием шаблона. См. Руководство в Википедии: Стиль резюме . ( Ноябрь 2020 г. ){{Main}}

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовская многомерная
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброта подгонки Студентизированный остаток Теорема Гаусса – Маркова
Математический портал
v т е

Регуляризованный метод наименьших квадратов ( RLS ) - это семейство методов для решения задачи наименьших квадратов с использованием регуляризации для дальнейшего ограничения полученного решения.

RLS используется по двум основным причинам. Первый возникает, когда количество переменных в линейной системе превышает количество наблюдений. В таких условиях обычная задача наименьших квадратов некорректно поставлена и, следовательно, не может соответствовать, потому что связанная проблема оптимизации имеет бесконечно много решений. RLS позволяет вводить дополнительные ограничения, которые однозначно определяют решение.

Вторая причина использования RLS возникает, когда количество переменных не превышает количества наблюдений, но изученная модель страдает плохим обобщением . В таких случаях RLS можно использовать для улучшения обобщаемости модели, ограничивая ее во время обучения. Это ограничение может либо заставить решение быть «разреженным» каким-то образом, либо отражать другие предшествующие знания о проблеме, такие как информация о корреляциях между функциями. Байесовский понимание этого может быть достигнуто, показывая , что методы RLS часто эквивалентны априориями на решение задачи наименьших квадратов.

Общая формулировка [ править ]

Рассмотрим настройку обучения заданное вероятностным пространством , . Пусть обозначают обучающий набор пар IID относительно . Позвольте быть функцией потерь. Определите как пространство функций, предполагающих риск: ${\ Displaystyle (Х \ раз Y, \ rho (X, Y))}$${\ displaystyle Y \ in R}$${\ Displaystyle S = \ {x_ {i}, y_ {i} \} _ {i = 1} ^ {n}}$${\ displaystyle n}$${\ displaystyle \ rho}$${\ displaystyle V: Y \ times R \ rightarrow [0; \ infty)}$${\ displaystyle F}$

${\ Displaystyle \ varepsilon (е) = \ int V (y, f (x)) \, d \ rho (x, y)}$

хорошо определено. Основная цель - минимизировать ожидаемый риск:

${\ Displaystyle \ Inf _ {е \ в F} \ varepsilon (е)}$

Поскольку проблема не может быть решена точно, необходимо указать, как измерить качество решения. Хороший алгоритм обучения должен обеспечивать оценку с небольшим риском.

Поскольку совместное распределение обычно неизвестно, принимается эмпирический риск. Для регуляризованных наименьших квадратов вводится квадратичная функция потерь:${\ displaystyle \ rho}$

${\ displaystyle \ varepsilon (f) = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} V (y_ {i}, f (x_ {i})) = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} (y_ {i} -f (x_ {i})) ^ {2}}$

Однако, если функции взяты из относительно неограниченного пространства, такого как набор функций, интегрируемых с квадратом , этот подход может чрезмерно соответствовать обучающим данным и привести к плохому обобщению. Таким образом, он должен каким-то образом ограничивать или наказывать сложность функции . В RLS это достигается путем выбора функций из гильбертова пространства воспроизводящего ядра (RKHS) и добавления члена регуляризации к целевой функции, пропорционального норме функции в :${\ displaystyle X}$${\ displaystyle f}$${\displaystyle {\mathcal {H}}}$${\displaystyle {\mathcal {H}}}$

${\displaystyle \inf _{f\in F}\varepsilon (f)+\lambda R(f),\lambda >0}$

Формулировка ядра [ править ]

Определение РКХС [ править ]

RKHS может быть определен симметричной положительно определенной ядерной функцией с воспроизводящим свойством:${\displaystyle K(x,z)}$

${\displaystyle \langle K_{x},f\rangle _{\mathcal {H}}=f(x),}$

где . RKHS для ядра состоит из пополнения пространства функций, охватываемого :, где все - действительные числа. Некоторые часто используемые ядра включают линейное ядро, порождающее пространство линейных функций:${\displaystyle K_{x}(z)=K(x,z)}$${\displaystyle K}$${\displaystyle \left\{K_{x}\mid x\in X\right\}}$${\displaystyle f(x)=\sum _{i=1}^{n}\alpha _{i}K_{x_{i}}(x),\,f\in {\mathcal {H}}}$${\displaystyle \alpha _{i}}$

${\displaystyle K(x,z)=x^{T}z,}$

полиномиальное ядро, индуцирующее пространство полиномиальных функций порядка :${\displaystyle d}$

${\displaystyle K(x,z)=(x^{T}z+1)^{d},}$

и гауссово ядро:

${\displaystyle K(x,z)=e^{-{\frac {\|x-z\|^{2}}{\sigma ^{2}}}}.}$

Обратите внимание, что для произвольной функции потерь этот подход определяет общий класс алгоритмов, называемый регуляризацией Тихонова. Так , например, с помощью потери шарнира приводит к опорным векторам алгоритму, и использование эпсилона-нечувствительной потеря приводит к поддержки вектора регрессии .${\displaystyle V}$

Произвольное ядро [ править ]

Теорема о представителе гарантирует, что решение можно записать как:

${\displaystyle f(x)=\sum _{i=1}^{n}c_{i}K(x_{i},x)}$для некоторых .${\displaystyle c\in \mathbb {R} ^{n}}$

Проблема минимизации может быть выражена как:

${\displaystyle \min _{c\in R^{n}}{\frac {1}{n}}\|Y-Kc\|_{R^{n}}^{2}+\lambda \|f\|_{H}^{2}}$,

где, с некоторым злоупотреблением обозначениями, вход матрицы ядра (в отличие от функции ядра ) равен .${\displaystyle i,j}$${\displaystyle K}$${\displaystyle K(\cdot ,\cdot )}$${\displaystyle K(x_{i},x_{j})}$

Для такой функции

${\displaystyle {\begin{aligned}&\|f\|_{H}^{2}=\langle f,f\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K(x_{i},\cdot ),\sum _{j=1}^{n}c_{j}K(x_{j},\cdot )\right\rangle _{H}\\={}&\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}\langle K(x_{i},\cdot ),K(x_{j},\cdot )\rangle _{H}=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=c^{T}Kc,\end{aligned}}}$

Можно получить следующую задачу минимизации:

${\displaystyle \min _{c\in R^{n}}{\frac {1}{n}}\|Y-Kc\|_{R^{n}}^{2}+\lambda c^{T}Kc}$.

Поскольку сумма выпуклых функций является выпуклой, решение уникально, и его минимум можно найти, задав градиент относительно :${\displaystyle c}$${\displaystyle 0}$

${\displaystyle -{\frac {1}{n}}K(Y-Kc)+\lambda Kc=0\Rightarrow K(K+\lambda nI)c=KY\Rightarrow c=(K+\lambda nI)^{-1}Y}$,

где .${\displaystyle c\in R^{n}}$

Сложность [ править ]

Сложность обучения - это в основном стоимость вычисления матрицы ядра плюс стоимость решения линейной системы, которая составляет примерно . Вычисление матрицы ядра для линейного или гауссовского ядра равно . Сложность тестирования есть .${\displaystyle O(n^{3})}$${\displaystyle O(n^{2}D)}$${\displaystyle O(n)}$

Прогноз [ править ]

Прогноз на новой контрольной точке :${\displaystyle x_{*}}$

${\displaystyle f(x_{*})=\sum _{i=1}^{n}c_{i}K(x_{i},x_{*})=K(X,X_{*})^{T}c}$

Линейное ядро [ править ]

Для удобства введены векторные обозначения. Пусть представлять собой матрицу, в которой строки являются входными векторами, и в вектор , где записи соответствующие выходы. В терминах векторов матрицу ядра можно записать как . Функцию обучения можно записать как:${\displaystyle X}$${\displaystyle n\times d}$${\displaystyle Y}$${\displaystyle n\times 1}$${\displaystyle \operatorname {K} =\operatorname {X} \operatorname {X} ^{T}}$

${\displaystyle f(x_{*})=\operatorname {K} _{x_{*}}c=x_{*}^{T}\operatorname {X} ^{T}c=x_{*}^{T}w}$

Здесь мы определяем . Целевая функция может быть переписана как:${\displaystyle w=X^{T}c,w\in R^{d}}$

${\displaystyle {\begin{aligned}&{\frac {1}{n}}\|Y-\operatorname {K} c\|_{R^{n}}^{2}+\lambda c^{T}\operatorname {K} c\\[4pt]={}&{\frac {1}{n}}\|y-\operatorname {X} \operatorname {X} ^{T}c\|_{R^{n}}^{2}+\lambda c^{T}\operatorname {X} \operatorname {X} ^{T}c={\frac {1}{n}}\|y-\operatorname {X} w\|_{R^{n}}^{2}+\lambda \|w\|_{R^{d}}^{2}\end{aligned}}}$

Первый член - это целевая функция обычной регрессии методом наименьших квадратов (МНК), соответствующая остаточной сумме квадратов . Второй член - это член регуляризации, которого нет в OLS, который штрафует большие значения. Как гладкая конечномерная задача рассматривается и возможно применение стандартных инструментов исчисления. Чтобы минимизировать целевую функцию, градиент вычисляется относительно и устанавливается равным нулю:${\displaystyle w}$${\displaystyle w}$

${\displaystyle \operatorname {X} ^{T}\operatorname {X} w-\operatorname {X} ^{T}y+\lambda nw=0}$

${\displaystyle w=(\operatorname {X} ^{T}\operatorname {X} +\lambda n\operatorname {I} )^{-1}\operatorname {X} ^{T}y}$

Это решение очень похоже на решение стандартной линейной регрессии с дополнительным членом . Если предположения регрессии МНК выполняются, решение с , является несмещенной оценкой и линейной несмещенной оценкой с минимальной дисперсией согласно теореме Гаусса – Маркова . Таким образом, этот термин приводит к необъективному решению; однако это также имеет тенденцию к уменьшению дисперсии. Это легко увидеть, поскольку ковариационная матрица значений -значений пропорциональна , и, следовательно, большие значения приведут к более низкой дисперсии. Следовательно, манипулирование соответствует компромиссу смещения и дисперсии. Для проблем с оценками высокой дисперсии , таких как случаи с относительно небольшими${\displaystyle \lambda \operatorname {I} }$${\displaystyle w=(\operatorname {X} ^{T}\operatorname {X} )^{-1}\operatorname {X} ^{T}y}$${\displaystyle \lambda =0}$${\displaystyle \lambda n\operatorname {I} }$${\displaystyle w}$${\displaystyle (\operatorname {X} ^{T}\operatorname {X} +\lambda n\operatorname {I} )^{-1}}$${\displaystyle \lambda }$${\displaystyle \lambda }$${\displaystyle w}$${\displaystyle n}$или с коррелированными регрессорами оптимальная точность прогнозирования может быть получена путем использования ненулевого значения и, таким образом, введения некоторого смещения для уменьшения дисперсии. Кроме того, это не редкость в машинном обучении , чтобы иметь случаи , когда , в этом случае является ранг дефицитных, и отличный от нуля необходимо вычислить .${\displaystyle \lambda }$${\displaystyle n<d}$${\displaystyle X^{T}X}$${\displaystyle \lambda }$${\displaystyle (\operatorname {X} ^{T}\operatorname {X} +\lambda n\operatorname {I} )^{-1}}$

Сложность [ править ]

Параметр управляет обратимостью матрицы . Для решения указанной выше линейной системы можно использовать несколько методов, причем разложение Холецкого , вероятно, является методом выбора, поскольку матрица является симметричной и положительно определенной . Сложность этого метода заключается в обучении и тестировании. Стоимость по существу равна стоимости вычислений , в то время как обратное вычисление (или, скорее, решение линейной системы) является приблизительным .${\displaystyle \lambda }$${\displaystyle X^{T}X+\lambda nI}$${\displaystyle X^{T}X+\lambda nI}$${\displaystyle O(nD^{2})}$${\displaystyle O(D)}$${\displaystyle O(nD^{2})}$${\displaystyle X^{T}X}$${\displaystyle O(D^{3})}$

Карты характеристик и теорема Мерсера [ править ]

В этом разделе будет показано, как расширить RLS до любого типа воспроизводящего ядра K. Вместо линейного ядра рассматривается карта признаков для некоторого гильбертова пространства , называемого пространством признаков. В этом случае ядро ​​определяется как: матрица теперь заменена новой матрицей данных , где , или -й компонент .${\displaystyle \Phi :X\rightarrow F}$${\displaystyle F}$${\displaystyle X}$${\displaystyle \Phi }$${\displaystyle \Phi _{ij}=\phi _{j}(x_{i})}$${\displaystyle j}$${\displaystyle \phi (x_{i})}$

${\displaystyle K(x,x')=\langle \Phi (x),\Phi (x')\rangle _{F}.}$

Это означает, что для данного обучающего набора . Таким образом, целевую функцию можно записать как:${\displaystyle K=\Phi \Phi ^{T}}$

${\displaystyle \min _{c\in \mathbb {R} ^{n}}\|Y-\Phi \Phi ^{T}c\|_{R^{n}}^{2}+\lambda c^{T}\Phi \Phi ^{T}c}$

Этот подход известен как трюк с ядром . Этот метод позволяет значительно упростить вычислительные операции. Если размерность большая, вычисления могут быть довольно интенсивными. Если известен явный вид функции ядра, нам просто нужно вычислить и сохранить матрицу ядра .${\displaystyle F}$${\displaystyle \phi (x_{i})}$${\displaystyle n\times n}$${\displaystyle \operatorname {K} }$

Фактически, гильбертово пространство не обязательно должно быть изоморфным , и может быть бесконечномерным. Это следует из теоремы Мерсера , которая гласит, что непрерывная, симметричная, положительно определенная ядерная функция может быть выражена как:${\displaystyle F}$${\displaystyle \mathbb {R} ^{m}}$

${\displaystyle K(x,z)=\sum _{i=1}^{\infty }\sigma _{i}e_{i}(x)e_{i}(z)}$

где образуют ортонормированный базис для , и . Если карты функций определены с компонентами , это следует из этого . Это демонстрирует, что любое ядро ​​может быть связано с картой признаков, и что RLS обычно состоит из линейного RLS, выполняемого в некотором, возможно, многомерном пространстве признаков. Хотя теорема Мерсера показывает, как одна карта характеристик может быть связана с ядром, на самом деле несколько карт функций могут быть связаны с данным воспроизводящим ядром. Например, карта удовлетворяет свойству для произвольного воспроизводящего ядра.${\displaystyle e_{i}(x)}$${\displaystyle \ell ^{2}(X)}$${\displaystyle \sigma _{i}\in \mathbb {R} }$${\displaystyle \phi (x)}$${\displaystyle \phi _{i}(x)={\sqrt {\sigma _{i}}}e_{i}(x)}$${\displaystyle K(x,z)=\langle \phi (x),\phi (z)\rangle }$${\displaystyle \phi (x)=K_{x}}$${\displaystyle K(x,z)=\langle \phi (x),\phi (z)\rangle }$

Байесовская интерпретация [ править ]

Метод наименьших квадратов можно рассматривать как максимизацию правдоподобия в предположении нормально распределенных остатков. Это связано с тем, что показатель степени распределения Гаусса является квадратичным по данным, как и целевая функция наименьших квадратов. В рамках этой регуляризации условие RLS может быть понято , чтобы кодировать априорные на . Например, регуляризация Тихонова соответствует нормально распределенному априорному значению с центром в 0. Чтобы увидеть это, сначала обратите внимание, что цель OLS пропорциональна логарифмической функции правдоподобия, когда каждая выборка распределена нормально . Затем заметьте, что нормальный априор с центром в 0 имеет логарифмическую вероятность вида${\displaystyle w}$${\displaystyle w}$${\displaystyle y^{i}}$${\displaystyle w^{T}\cdot x^{i}}$${\displaystyle w}$

${\displaystyle \log P(w)=q-\alpha \sum _{j=1}^{d}w_{j}^{2}}$

где и - константы, зависящие от дисперсии априорной и не зависящие от . Таким образом, минимизация логарифма вероятности, умноженной на априор, эквивалентна минимизации суммы функции потерь OLS и члена регуляризации гребневой регрессии.${\displaystyle q}$${\displaystyle \alpha }$${\displaystyle w}$

Это дает более интуитивную интерпретацию того, почему регуляризация Тихонова приводит к уникальному решению проблемы наименьших квадратов: существует бесконечно много векторов, удовлетворяющих ограничениям, полученным из данных, но поскольку мы приходим к проблеме с априорным убеждением, что распределение нормально вокруг начала координат, мы в конечном итоге выберем решение с учетом этого ограничения.${\displaystyle w}$${\displaystyle w}$

Другие методы регуляризации соответствуют другим априорным значениям. См. Список ниже для получения более подробной информации.

Конкретные примеры [ править ]

Регрессия хребта (или регуляризация Тихонова)[ редактировать ]

Одним из наиболее распространенных вариантов штрафной функции является квадрат нормы , т. Е.${\displaystyle R}$ ℓ 2 {\displaystyle \ell _{2}}

${\displaystyle R(w)=\sum _{j=1}^{d}w_{j}^{2}}$

${\displaystyle {\frac {1}{n}}\|Y-\operatorname {X} w\|_{2}^{2}+\lambda \sum _{j=1}^{d}|w_{j}|^{2}\rightarrow \min _{w\in \mathbf {R^{d}} }}$

Наиболее распространенные названия для этого - регуляризация Тихонова и гребневая регрессия . Он допускает решение закрытой формы для :${\displaystyle w}$

${\displaystyle w=(X^{T}X+\alpha I)^{-1}X^{T}Y}$

Регрессия гребня имен намекает на тот факт, что термин добавляет положительные элементы вдоль диагонального гребня матрицы ковариаций выборки .${\displaystyle \alpha I}$ ${\displaystyle X^{T}X}$

Когда , то есть в случае обычных наименьших квадратов , условие, которое приводит к тому, что выборочная ковариационная матрица не имеет полного ранга и поэтому ее нельзя инвертировать для получения уникального решения. Вот почему может быть бесконечное множество решений обычной задачи наименьших квадратов, когда . Однако, когда , например, когда используется гребневая регрессия, добавление к выборочной ковариационной матрице гарантирует, что все ее собственные значения будут строго больше нуля. Другими словами, она становится обратимой, и решение становится уникальным.${\displaystyle \alpha =0}$${\displaystyle d>n}$ ${\displaystyle X^{T}X}$${\displaystyle d>n}$${\displaystyle \alpha >0}$${\displaystyle \alpha I}$

По сравнению с обычным методом наименьших квадратов регрессия гребня не является беспристрастной. Он допускает небольшое смещение, чтобы уменьшить дисперсию и среднеквадратичную ошибку , а также помогает повысить точность прогноза. Таким образом, оценка гребня дает более стабильные решения за счет сокращения коэффициентов, но страдает отсутствием чувствительности к данным.

Регрессия лассо [ править ]

Другой популярный выбор - метод наименьшего абсолютного отбора и усадки (LASSO). В регрессии лассо функция штрафа лассо является нормой , т. Е.${\displaystyle R}$ ℓ 1 {\displaystyle \ell _{1}}

${\displaystyle R(w)=\sum _{j=1}^{d}\left|w_{j}\right|}$

${\displaystyle {\frac {1}{n}}\|Y-\operatorname {X} w\|_{2}^{2}+\lambda \sum _{j=1}^{d}|w_{j}|\rightarrow \min _{w\in \mathbf {R^{d}} }}$

Обратите внимание, что функция штрафа лассо является выпуклой, но не строго выпуклой. В отличие от регуляризации Тихонова , эта схема не имеет удобного решения в замкнутой форме: вместо этого решение обычно находится с использованием квадратичного программирования или более общих методов выпуклой оптимизации , а также с помощью конкретных алгоритмов, таких как алгоритм регрессии наименьшего угла .

Важное различие между регрессией лассо и регуляризацией Тихонова состоит в том, что регрессия лассо заставляет большее количество записей фактически равняться 0, чем было бы в противном случае. Напротив, в то время как регуляризация Тихонова заставляет элементы быть маленькими, она не заставляет большее их количество равняться 0, чем было бы в противном случае. Таким образом, регуляризация LASSO более уместна, чем регуляризация Тихонова, в тех случаях, когда мы ожидаем, что количество ненулевых элементов будет небольшим, и регуляризация Тихонова более уместна, когда мы ожидаем, что элементы , как правило, будут небольшими, но не обязательно нулевыми. Какой из этих режимов более актуален, зависит от конкретного набора данных.${\displaystyle w}$${\displaystyle w}$${\displaystyle w}$${\displaystyle w}$

Помимо выбора функций, описанного выше, LASSO имеет некоторые ограничения. Регрессия гребня обеспечивает лучшую точность в случае сильно коррелированных переменных. ^[1] В другом случае , LASSO выбирает не больше переменных. Более того, LASSO имеет тенденцию выбирать некоторые произвольные переменные из группы сильно коррелированных выборок, поэтому эффект группировки отсутствует.${\displaystyle n>d}$${\displaystyle n<d}$${\displaystyle n}$

ℓ ₀ Наказание [ править ]

${\displaystyle {\frac {1}{n}}\|Y-\operatorname {X} w\|_{2}^{2}+\lambda \|w_{j}\|_{0}\rightarrow \min _{w\in \mathbf {R^{d}} }}$

Самый крайний способ усилить разреженность - сказать, что действительная величина коэффициентов не имеет значения; скорее, единственное, что определяет сложность, - это количество ненулевых записей. Это соответствует обстановке , чтобы быть нормой в . Эта функция регуляризации, хотя и привлекательна своей разреженностью, которую она гарантирует, очень трудно решить, поскольку для этого требуется оптимизация функции, которая даже не является слабо выпуклой . Регрессия лассо - это минимально возможное ослабление штрафов, которое приводит к слабовыпуклой задаче оптимизации.${\displaystyle w}$${\displaystyle w}$${\displaystyle R(w)}$ ℓ 0 {\displaystyle \ell _{0}} ${\displaystyle w}$${\displaystyle \ell _{0}}$

Эластичная сетка [ править ]

Для любого неотрицательного и объективного имеет следующий вид:${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$

${\displaystyle {\frac {1}{n}}\|Y-\operatorname {X} w\|_{2}^{2}+\lambda _{1}\sum _{j=1}^{d}|w_{j}|+\lambda _{2}\sum _{j=1}^{d}|w_{j}|^{2}\rightarrow \min _{w\in \mathbf {R^{d}} }}$

Пусть , тогда решение задачи минимизации описывается как:${\displaystyle \alpha ={\frac {\lambda _{1}}{\lambda _{1}+\lambda _{2}}}}$

${\displaystyle {\frac {1}{n}}\|Y-\operatorname {X} w\|_{2}^{2}\rightarrow \min _{w\in \mathbf {R^{d}} }{\text{s.t.}}(1-\alpha )\|w\|_{1}+\alpha \|w\|_{2}\leq t}$для некоторых .${\displaystyle t}$

Рассматривается как функция штрафа Elastic Net.${\displaystyle (1-\alpha )\|w\|_{1}+\alpha \|w\|_{2}\leq t}$

Когда эластичная сетка становится регрессией гребня, тогда как она становится лассо. Функция штрафа Elastic Net не имеет первой производной в 0 и является строго выпуклой, принимая свойства как лассо-регрессии, так и гребневой регрессии .${\displaystyle \alpha =1}$${\displaystyle \alpha =0}$${\displaystyle \forall \alpha \in (0,1]}$${\displaystyle \forall \alpha >0}$

Одним из основных свойств Elastic Net является то, что он может выбирать группы коррелированных переменных. Разница между весовыми векторами выборок и определяется как:${\displaystyle x_{i}}$${\displaystyle x_{j}}$

${\displaystyle |w_{i}^{*}(\lambda _{1},\lambda _{2})-w_{j}^{*}(\lambda _{1},\lambda _{2})|\leq {\frac {\sum _{i=1}^{n}|y_{i}|}{\lambda _{2}}}{\sqrt {2(1-\rho _{ij})}}}$, где . ^[2]${\displaystyle \rho _{ij}=x_{i}^{T}x_{j}}$

Если и сильно коррелированы ( ), весовые векторы очень близки. В случае отрицательно коррелированных выборок ( ) образцы могут быть взяты. Подводя итог, для сильно коррелированных переменных весовые векторы имеют тенденцию быть равными с точностью до знака в случае отрицательно коррелированных переменных.${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle \rho _{ij}\rightarrow 1}$${\displaystyle \rho _{ij}\rightarrow -1}$${\displaystyle -x_{j}}$

Неполный список методов СБН [ править ]

Ниже приведен список возможных вариантов функции регуляризации , а также имя для каждой из них, соответствующий предыдущий вариант, если есть простой, и способы вычисления решения результирующей задачи оптимизации.${\displaystyle R(\cdot )}$

Имя	Функция регуляризации	Соответствующий предыдущий	Методы решения
Тихоновская регуляризация	${\displaystyle \|w\|_{2}^{2}}$	Нормальный	Закрытая форма
Регрессия лассо	${\displaystyle \|w\|_{1}}$	Лаплас	Проксимальный градиентный спуск , регрессия по наименьшему углу
${\displaystyle \ell _{0}}$ наказание	${\displaystyle \|w\|_{0}}$	-	Прямой выбор , обратное исключение , использование априорных элементов, таких как шип и плита
Эластичные сетки	${\displaystyle \beta \|w\|_{1}+(1-\beta )\|w\|_{2}^{2}}$	Смесь нормалей и Лапласа	Проксимальный градиентный спуск
Полная регуляризация вариаций	${\displaystyle \sum _{j=1}^{d-1}|w_{j+1}-w_{j}|}$	-	Метод Сплита – Брегмана и др.

См. Также [ править ]

• Наименьших квадратов
• Регуляризация в математике.
• Ошибка обобщения , одна из причин использования регуляризации.
• Тихоновская регуляризация
• Регрессия лассо
• Упругая сетевая регуляризация
• Регрессия наименьшего угла

Ссылки [ править ]

Внешние ссылки [ править ]

• http://www.stanford.edu/~hastie/TALKS/enet_talk.pdf Регуляризация и выбор переменных через эластичную сеть (презентация)
• Регуляризованные наименьшие квадраты и машины опорных векторов (презентация)
• Регулярные наименьшие квадраты (презентация)