Наименьших квадратов

Регрессивный анализ
Часть серии по

Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал
v т е

Результат подгонки набора точек данных квадратичной функцией

Коническая подгонка набора точек с использованием приближения наименьших квадратов

Метод наименьших квадратов - стандартный подход в регрессионном анализе для аппроксимации решения переопределенных систем (наборов уравнений, в которых уравнений больше, чем неизвестных) путем минимизации суммы квадратов остатков, полученных в результате каждого отдельного уравнения. .

Наиболее важное приложение - подгонка данных . Наилучшее соответствие в смысле наименьших квадратов минимизирует сумму квадратов остатков (остаток - это разница между наблюдаемым значением и подобранным значением, предоставленным моделью). Когда проблема имеет существенные неопределенности в независимой переменной ( переменной x ), тогда возникают проблемы с простыми методами регрессии и наименьших квадратов; в таких случаях вместо метода наименьших квадратов можно использовать методологию, необходимую для подбора моделей ошибок в переменных .

Задачи наименьших квадратов делятся на две категории: линейные или обычные наименьшие квадраты и нелинейные наименьшие квадраты , в зависимости от того, являются ли невязки линейными по всем неизвестным. Проблема линейных наименьших квадратов возникает в статистическом регрессионном анализе ; это решение в закрытой форме . Нелинейная задача обычно решается итеративным уточнением; на каждой итерации система аппроксимируется линейной, поэтому расчет керна в обоих случаях одинаков.

Полиномиальный метод наименьших квадратов описывает дисперсию прогноза зависимой переменной как функцию независимой переменной и отклонения от подобранной кривой.

Когда наблюдения происходят из экспоненциального семейства и выполняются мягкие условия, оценки методом наименьших квадратов и оценки максимального правдоподобия идентичны. ^[1] Метод наименьших квадратов также может быть получен как метод оценки моментов .

Следующее обсуждение в основном представлено в терминах линейных функций, но использование наименьших квадратов действительно и практично для более общих семейств функций. Кроме того, итеративно применяя локальную квадратичную аппроксимацию к вероятности (через информацию Фишера ), можно использовать метод наименьших квадратов для подбора обобщенной линейной модели .

Метод наименьших квадратов был официально открыт и опубликован Адрианом-Мари Лежандром (1805 г.) ^[2], хотя обычно его приписывают Карлу Фридриху Гауссу (1795 г.) ^[3]^[4], который внес значительный теоретический прогресс в разработку метод и, возможно, ранее использовал его в своей работе. ^[5]^[6]

История [ править ]

Основание [ править ]

Метод наименьших квадратов вырос из астрономии и геодезии , поскольку ученые и математики пытались найти решения проблем навигации по океанам Земли в эпоху исследований . Точное описание поведения небесных тел было ключом к тому, чтобы корабли могли плавать в открытом море, где моряки больше не могли полагаться на наземные наблюдения для навигации.

Этот метод стал кульминацией нескольких достижений, имевших место в течение восемнадцатого века: ^[7]

Комбинация различных наблюдений как лучшая оценка истинного значения; количество ошибок уменьшается с агрегированием, а не увеличивается, возможно, впервые высказанное Роджером Котсом в 1722 году.
Комбинация различных наблюдений, сделанных в одних и тех же условиях, в отличие от простого стремления изо всех сил наблюдать и точно записывать одно наблюдение. Этот подход был известен как метод средних значений. Этот подход особенно использовался Тобиасом Майером при изучении либраций Луны в 1750 году и Пьером-Симоном Лапласом в его работе по объяснению различий в движении Юпитера и Сатурна в 1788 году.
Комбинация разных наблюдений, сделанных в разных условиях. Этот метод стал известен как метод наименьшего абсолютного отклонения. Примечательно, что это было выполнено Роджером Джозефом Босковичем в его работе о форме Земли в 1757 году и Пьером-Симоном Лапласом для той же задачи в 1799 году.
Разработка критерия, который может быть оценен, чтобы определить, когда было достигнуто решение с минимальной ошибкой. Лаплас попытался определить математическую форму плотности вероятности ошибок и определить метод оценки, который минимизирует ошибку оценки. Для этой цели Лаплас использовал симметричное двустороннее экспоненциальное распределение, которое мы теперь называем распределением Лапласа для моделирования распределения ошибок, и использовал сумму абсолютных отклонений как ошибку оценки. Он чувствовал, что это самые простые предположения, которые он мог сделать, и надеялся получить среднее арифметическое как наилучшую оценку. Вместо этого его оценкой была апостериорная медиана.

Метод [ править ]

Карл Фридрих Гаусс

Первое четкое и краткое изложение метода наименьших квадратов было опубликовано Лежандром в 1805 году. ^[8] Метод описывается как алгебраическая процедура для подгонки линейных уравнений к данным, и Лежандр демонстрирует новый метод, анализируя те же данные, что и Лаплас для форма земли. Ценность метода наименьших квадратов Лежандра была немедленно признана ведущими астрономами и геодезистами того времени. ^{[ необходима цитата ]}

В 1809 году Карл Фридрих Гаусс опубликовал свой метод расчета орбит небесных тел. В этой работе он утверждал, что владеет методом наименьших квадратов с 1795 года. Это, естественно, привело к спору о приоритете с Лежандром. Однако, к чести Гаусса, он пошел дальше Лежандра и сумел соединить метод наименьших квадратов с принципами вероятности и нормального распределения . Ему удалось завершить программу Лапласа по определению математической формы плотности вероятности для наблюдений, зависящей от конечного числа неизвестных параметров, и определить метод оценки, который минимизирует ошибку оценки. Гаусс показал, что среднее арифметическоедействительно является наилучшей оценкой параметра местоположения путем изменения как плотности вероятности, так и метода оценки. Затем он решил проблему, задав вопрос, какую форму должна иметь плотность и какой метод оценки следует использовать для получения среднего арифметического в качестве оценки параметра местоположения. В этой попытке он изобрел нормальное распределение.

Ранняя демонстрация силы метода Гаусса произошла, когда он использовался для предсказания будущего местоположения недавно открытого астероида Церера . 1 января 1801 года итальянский астроном Джузеппе Пиацци открыл Цереру и смог проследить ее путь в течение 40 дней, прежде чем она затерялась в ярком солнечном свете. Основываясь на этих данных, астрономы хотели определить местоположение Цереры после того, как она появилась из-за Солнца, не решая сложных нелинейных уравнений движения планет Кеплера. Единственные предсказания, которые позволили венгерскому астроному Францу Ксаверу фон Заку переместить Цереру, были сделаны 24-летним Гауссом с использованием анализа наименьших квадратов.

В 1810 году, после прочтения работы Гаусса, Лаплас, после доказательства центральной предельной теоремы , использовал ее для обоснования большой выборки метода наименьших квадратов и нормального распределения. В 1822 году Гаусс смог заявить, что подход наименьших квадратов к регрессионному анализу является оптимальным в том смысле, что в линейной модели, где ошибки имеют нулевое среднее значение, некоррелированы и имеют равные дисперсии, наилучшая линейная несмещенная оценка коэффициенты - это оценка методом наименьших квадратов. Этот результат известен как теорема Гаусса – Маркова .

Идея анализа методом наименьших квадратов была также независимо сформулирована американцем Робертом Адрейном в 1808 году. В следующие два столетия исследователи теории ошибок и статистики нашли много различных способов применения метода наименьших квадратов. ^[9]

Описание проблемы [ править ]

Цель состоит в том, чтобы настроить параметры модельной функции для наилучшего соответствия набору данных. Простой набор данных состоит из n точек (пар данных) , i = 1, ..., n , где - независимая переменная, а - зависимая переменная , значение которой определяется путем наблюдения. Модельная функция имеет вид , где в векторе хранятся m настраиваемых параметров . Цель состоит в том, чтобы найти значения параметров для модели, которые "наилучшим образом" соответствуют данным. Подгонка модели к точке данных измеряется ее невязкой. ${\ Displaystyle (х_ {я}, у_ {я}) \!}$ ${\ displaystyle x_ {i} \!}$ ${\ displaystyle y_ {i} \!}$ ${\ Displaystyle е (х, \ бета)}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ , определяемый как разница между фактическим значением зависимой переменной и значением, предсказанным моделью:

{\ displaystyle r_ {i} = y_ {i} -f (x_ {i}, {\ boldsymbol {\ beta}}).}

Остатки нанесены на график против соответствующих значений. Случайные колебания около указывают на то, что линейная модель подходит.

{\ displaystyle x}

{\ displaystyle r_ {i} = 0}

Метод наименьших квадратов находит оптимальные значения параметров путем минимизации суммы квадратов остатков: ${\ displaystyle S}$

${\ displaystyle S = \ sum _ {i = 1} ^ {n} r_ {i} ^ {2}.}$ ^[10]

Примером модели в двух измерениях является прямая линия. Обозначив точку пересечения по оси Y как и наклон как , модельная функция будет равна . См. Линейный метод наименьших квадратов для получения полностью разработанного примера этой модели. ${\ displaystyle \ beta _ {0}}$ ${\ displaystyle \ beta _ {1}}$ ${\ displaystyle f (x, {\ boldsymbol {\ beta}}) = \ beta _ {0} + \ beta _ {1} x}$

Точка данных может состоять из более чем одной независимой переменной. Например, при подгонке плоскости к набору измерений высоты плоскость является функцией двух независимых переменных , скажем , x и z . В наиболее общем случае в каждой точке данных может быть одна или несколько независимых переменных и одна или несколько зависимых переменных.

Справа - остаточный график, иллюстрирующий случайные колебания , что указывает на то, что линейная модель подходит. является независимой случайной величиной. ^[10] ${\ displaystyle r_ {i} = 0}$ ${\ displaystyle (Y_ {i} = \ alpha + \ beta x_ {i} + U_ {i})}$ ${\ displaystyle U_ {i}}$

Остатки нанесены на график против соответствующих значений. Параболическая форма колебаний около указывает, что параболическая модель подходит.

{\ displaystyle x}

{\ displaystyle r_ {i} = 0}

Если бы остаточные точки имели некоторую форму и не колебались случайным образом, линейная модель не была бы подходящей. Например, если график остатков имел параболическую форму, если смотреть справа, параболическая модель будет подходящей для данных. Остатки для параболической модели могут быть рассчитаны с помощью . ^[10] ${\ Displaystyle (Y_ {i} = \ альфа + \ бета x_ {i} + \ gamma x_ {i} ^ {2} + U_ {i})}$ ${\ displaystyle r_ {i} = y_ {i} - {\ hat {\ alpha}} - {\ hat {\ beta}} x_ {i} - {\ widehat {\ gamma}} x_ {i} ^ {2 }}$

Ограничения [ править ]

Эта формулировка регрессии учитывает только ошибки наблюдений в зависимой переменной (но альтернативная регрессия методом наименьших квадратов может учитывать ошибки в обеих переменных). Есть два довольно разных контекста с разными значениями:

Регрессия для предсказания. Здесь модель подбирается, чтобы предоставить правило прогнозирования для применения в аналогичной ситуации, к которой применяются данные, используемые для подгонки. Здесь зависимые переменные, соответствующие такому будущему применению, будут подвержены тем же типам ошибок наблюдения, что и в данных, используемых для подгонки. Следовательно, для таких данных логически целесообразно использовать правило прогнозирования методом наименьших квадратов.
Регрессия для подбора «истинных отношений». В стандартном регрессионном анализе, который приводит к подгонке по методу наименьших квадратов, подразумевается, что ошибки в независимой переменной равны нулю или строго контролируются, чтобы ими можно было пренебречь. Когда ошибками в независимой переменной нельзя пренебречь, можно использовать модели ошибки измерения ; такие методы могут привести к оценкам параметров , проверке гипотез и доверительным интервалам, которые учитывают наличие ошибок наблюдения в независимых переменных. ^[11] Альтернативный подход - подобрать модель методом наименьших квадратов.; это можно рассматривать как прагматический подход к уравновешиванию эффектов различных источников ошибок при формулировании целевой функции для использования при подгонке модели.

Решение задачи наименьших квадратов [ править ]

Минимальный из суммы квадратов определяются путем установки градиента к нулю. Поскольку модель содержит m параметров, имеется m градиентных уравнений:

{\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m,

и поскольку градиентные уравнения принимают вид $r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})$

-2\sum _{i}r_{i}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m.

Уравнения градиента применимы ко всем задачам наименьших квадратов. Каждая конкретная проблема требует определенных выражений для модели и ее частных производных. ^[12]

Линейный метод наименьших квадратов [ править ]

Регрессионная модель является линейной, когда модель содержит линейную комбинацию параметров, т. Е.

f(x,\beta )=\sum _{j=1}^{m}\beta _{j}\phi _{j}(x),

где функция является функцией от . ^[12] $\phi _{j}$ $x$

Сдача и ввод независимые и зависимые переменные в матрицах и мы можем вычислить методом наименьших квадратов следующим образом, к сведению , что это совокупность всех данных. ^[12]^[13] $X_{ij}=\phi _{j}(x_{i})$ $X$ $Y$ $D$

L(D,{\vec {\beta }})=||X{\vec {\beta }}-Y||^{2}=(X{\vec {\beta }}-Y)^{T}(X{\vec {\beta }}-Y)=Y^{T}Y-Y^{T}X{\vec {\beta }}-{\vec {\beta }}^{T}X^{T}Y+{\vec {\beta }}^{T}X^{T}X{\vec {\beta }}

Нахождение минимума может быть достигнуто путем установки градиента потерь на ноль и решения для ${\vec {\beta }}$

{\frac {\partial L(D,{\vec {\beta }})}{\partial {\vec {\beta }}}}={\frac {\partial \left(Y^{T}Y-Y^{T}X{\vec {\beta }}-{\vec {\beta }}^{T}X^{T}Y+{\vec {\beta }}^{T}X^{T}X{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}=-2X^{T}Y+2X^{T}X{\vec {\beta }}

Наконец, установив градиент потерь равным нулю и решив для, мы получим: ^[13]^[12] ${\vec {\beta }}$

-2X^{T}Y+2X^{T}X{\vec {\beta }}=0\Rightarrow X^{T}Y=X^{T}X{\vec {\beta }}\Rightarrow {\vec {\hat {\beta }}}=(X^{T}X)^{-1}X^{T}Y

Нелинейный метод наименьших квадратов [ править ]

В некоторых случаях существует решение в замкнутой форме нелинейной задачи наименьших квадратов, но в целом его нет. В случае отсутствия решения в закрытой форме используются численные алгоритмы для нахождения значения параметров, которое минимизирует цель. Большинство алгоритмов включают выбор начальных значений параметров. Затем параметры уточняются итеративно, то есть значения получаются методом последовательного приближения: $\beta$

{\beta _{j}}^{k+1}={\beta _{j}}^{k}+\Delta \beta _{j},

где верхний индекс k - номер итерации, а вектор приращений называется вектором сдвига. В некоторых обычно используемых алгоритмах на каждой итерации модель может быть линеаризована путем приближения к разложению в ряд Тейлора первого порядка примерно : $\Delta \beta _{j}$ ${\boldsymbol {\beta }}^{k}$

{\begin{aligned}f(x_{i},{\boldsymbol {\beta }})&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}\left(\beta _{j}-{\beta _{j}}^{k}\right)\\&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}J_{ij}\,\Delta \beta _{j}.\end{aligned}}

Якобиан J является функцией констант, независимой переменной и параметрами, поэтому он изменяется от одной итерации к следующей. Остатки даются как

r_{i}=y_{i}-f^{k}(x_{i},{\boldsymbol {\beta }})-\sum _{k=1}^{m}J_{ik}\,\Delta \beta _{k}=\Delta y_{i}-\sum _{j=1}^{m}J_{ij}\,\Delta \beta _{j}.

Чтобы минимизировать сумму квадратов , уравнение градиента устанавливается равным нулю и решается для : $r_{i}$ $\Delta \beta _{j}$

-2\sum _{i=1}^{n}J_{ij}\left(\Delta y_{i}-\sum _{k=1}^{m}J_{ik}\,\Delta \beta _{k}\right)=0,

которые при перестановке превращаются в m одновременных линейных уравнений, нормальных уравнений :

\sum _{i=1}^{n}\sum _{k=1}^{m}J_{ij}J_{ik}\,\Delta \beta _{k}=\sum _{i=1}^{n}J_{ij}\,\Delta y_{i}\qquad (j=1,\ldots ,m).

Нормальные уравнения записываются в матричных обозначениях как

\mathbf {(J^{T}J)\,\Delta {\boldsymbol {\beta }}=J^{T}\,\Delta y} .\,

Это определяющие уравнения алгоритма Гаусса – Ньютона .

Различия между линейным и нелинейным методом наименьших квадратов [ править ]

Модельная функция f в LLSQ (линейный метод наименьших квадратов) представляет собой линейную комбинацию параметров формы . Модель может представлять прямую линию, параболу или любую другую линейную комбинацию функций. В NLLSQ (нелинейный метод наименьших квадратов) параметры отображаются как функции, например, и т. Д. Если производные либо постоянны, либо зависят только от значений независимой переменной, модель линейна по параметрам. В противном случае модель будет нелинейной. $f=X_{i1}\beta _{1}+X_{i2}\beta _{2}+\cdots$ $\beta ^{2},e^{\beta x}$ $\partial f/\partial \beta _{j}$
Требуются начальные значения для параметров, чтобы найти решение проблемы NLLSQ; LLSQ не требует их.
Алгоритмы решения для NLLSQ часто требуют, чтобы якобиан мог быть вычислен аналогично LLSQ. Аналитические выражения для частных производных могут быть сложными. Если невозможно получить аналитические выражения, либо частные производные должны быть вычислены с помощью численного приближения, либо должна быть сделана оценка якобиана, часто с помощью конечных разностей .
Несходимость (неспособность алгоритма найти минимум) - обычное явление в NLLSQ.
LLSQ является глобально вогнутым, поэтому несходимость не является проблемой.
Решение NLLSQ обычно является итеративным процессом, который должен быть прекращен, когда выполняется критерий сходимости. Решения LLSQ могут быть вычислены с использованием прямых методов, хотя проблемы с большим количеством параметров обычно решаются с помощью итерационных методов, таких как метод Гаусса – Зейделя .
В LLSQ решение уникально, но в NLLSQ может быть несколько минимумов в сумме квадратов.
При условии, что ошибки не коррелируют с переменными-предикторами, LLSQ дает несмещенные оценки, но даже при этом условии оценки NLLSQ обычно смещены.

Эти различия необходимо учитывать всякий раз, когда ищется решение нелинейной задачи наименьших квадратов. ^[12]

Регрессионный анализ и статистика [ править ]

Метод наименьших квадратов часто используется для создания оценок и другой статистики в регрессионном анализе.

Рассмотрим простой пример из физики. Пружина должна подчиняться закону Гука, который гласит, что растяжение пружины $y$ пропорционально приложенной к ней силе F.

y=f(F,k)=kF\!

составляет модель, где F - независимая переменная. Для того , чтобы оценить постоянную силу , K , мы проводим серию п измерений с различными силами , чтобы произвести набор данных, где у _я есть измеренное расширение пружины. ^[14] Каждое экспериментальное наблюдение будет содержать некоторую ошибку, и поэтому мы можем указать эмпирическую модель для наших наблюдений, $(F_{i},y_{i}),\ i=1,\dots ,n\!$ $\varepsilon$

y_{i}=kF_{i}+\varepsilon _{i}.\,

Есть много методов, которые мы можем использовать для оценки неизвестного параметра k . Поскольку n уравнений от m переменных в наших данных представляют собой переопределенную систему с одним неизвестным и n уравнениями, мы оцениваем k, используя метод наименьших квадратов. Минимизируемая сумма квадратов равна

S=\sum _{i=1}^{n}(y_{i}-kF_{i})^{2}.

^[12]

Оценка силовой постоянной k методом наименьших квадратов определяется выражением

{\hat {k}}={\frac {\sum _{i}F_{i}y_{i}}{\sum _{i}F_{i}^{2}}}.

Мы предполагаем, что приложение силы заставляет пружину расширяться. После получения силовой постоянной методом наименьших квадратов мы прогнозируем расширение по закону Гука.

Исследователь определяет эмпирическую модель в регрессионном анализе. Очень распространенной моделью является прямолинейная модель, которая используется для проверки наличия линейной зависимости между независимыми и зависимыми переменными. Говорят, что переменные коррелированы, если существует линейная связь. Однако корреляция не доказывает причинно-следственную связь., поскольку обе переменные могут быть коррелированы с другими, скрытыми переменными, или зависимая переменная может «обратить» причину независимых переменных, или переменные могут быть иным образом ложно коррелированы. Например, предположим, что существует корреляция между смертностью от утопления и объемом продаж мороженого на определенном пляже. Тем не менее, как количество людей, идущих купаться, так и объем продаж мороженого увеличиваются по мере того, как становится жарче, и, по-видимому, количество смертей от утопления коррелирует с количеством людей, идущих купаться. Возможно, что увеличение числа пловцов приводит к увеличению обеих других переменных.

Для статистической проверки результатов необходимо сделать предположения о природе экспериментальных ошибок. Распространенным предположением является то, что ошибки принадлежат нормальному распределению. Центральная предельная теорема поддерживает идею о том , что это хорошее приближение во многих случаях.

Теорема Гаусса – Маркова . В линейной модели, в которой ошибки имеют нулевое ожидание, обусловленное независимыми переменными, некоррелированы и имеют равные дисперсии , наилучшей линейной несмещенной оценкой любой линейной комбинации наблюдений является ее оценка методом наименьших квадратов. «Наилучший» означает, что оценки параметров методом наименьших квадратов имеют минимальную дисперсию. Предположение о равной дисперсии действительно, когда все ошибки принадлежат одному и тому же распределению.
В линейной модели, если ошибки принадлежат нормальному распределению, оценки наименьших квадратов также являются оценками максимального правдоподобия .

Однако, если ошибки не имеют нормального распределения, центральная предельная теорема тем не менее часто подразумевает, что оценки параметров будут приблизительно нормально распределены, если выборка достаточно велика. По этой причине, учитывая важное свойство, заключающееся в том, что среднее значение ошибки не зависит от независимых переменных, распределение члена ошибки не является важным вопросом в регрессионном анализе. В частности, обычно не важно, следует ли член ошибки нормальному распределению.

При вычислении методом наименьших квадратов с единичными весами или при линейной регрессии дисперсия j- го параметра, обозначенного , обычно оценивается с помощью $\operatorname {var} ({\hat {\beta }}_{j})$

\operatorname {var} ({\hat {\beta }}_{j})=\sigma ^{2}([X^{T}X]^{-1})_{jj}\approx {\frac {S}{n-m}}([X^{T}X]^{-1})_{jj},

где истинная дисперсия ошибки σ ² заменяется оценкой , основанной на свернутом значении суммы квадратов целевой функции S . Знаменатель n - m представляет собой статистические степени свободы ; см. эффективные степени свободы для обобщений. ^[12]

Если распределение вероятностей параметров известно или выполнено асимптотическое приближение, можно найти пределы достоверности . Точно так же можно провести статистические тесты остатков, если распределение вероятностей остатков известно или предполагается. Мы можем получить распределение вероятностей любой линейной комбинации зависимых переменных, если распределение вероятностей экспериментальных ошибок известно или предполагается. Сделать вывод легко, если предположить, что ошибки следуют нормальному распределению, следовательно, подразумевая, что оценки параметров и остатки также будут нормально распределены в зависимости от значений независимых переменных. ^[12]

Взвешенный метод наименьших квадратов [ править ]

Эффект "разветвления" гетероскедастичности

Частный случай обобщенных наименьших квадратов, называемый взвешенными наименьшими квадратами, возникает, когда все недиагональные элементы Ω (корреляционная матрица остатков) равны нулю; отклонениях наблюдений (по ковариационная матрица по диагонали) по- прежнему может быть неодинаковой ( гетероскедастичность ). Проще говоря, гетероскедастичность - это когда дисперсия зависит от значения, которое заставляет остаточный график создавать эффект «разветвления» в сторону больших значений, как видно на остаточном графике справа. С другой стороны, гомоскедастичность предполагает, что дисперсия и равна. $Y_{i}$ $x_{i}$ $Y_{i}$ $Y_{i}$ $U_{i}$ ^[10]

Отношение к основным компонентам [ править ]

Первый главный компонент о среднем значении набора точек может быть представлен той линией, которая наиболее близко подходит к точкам данных (измеряется квадратом расстояния наибольшего сближения, т. Е. Перпендикулярно линии). Напротив, линейный метод наименьших квадратов пытается минимизировать расстояние только в направлении. Таким образом, хотя оба этих метода используют схожую метрику ошибки, линейный метод наименьших квадратов - это метод, который предпочтительно обрабатывает одно измерение данных, тогда как PCA обрабатывает все измерения одинаково. $y$

Регуляризация [ править ]

Этот раздел может быть слишком техническим для понимания большинством читателей . Пожалуйста, помогите улучшить его, чтобы он был понятен неспециалистам , не удаляя технических деталей. ( Февраль 2016 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Тихоновская регуляризация [ править ]

В некоторых контекстах может быть предпочтительнее регуляризованная версия решения методом наименьших квадратов. Регуляризация Тихонова (или регрессия гребня ) добавляет ограничение, которое , L 2 -норма вектора параметров, не превышает заданного значения. ^[^{необходима цитата}^] Аналогично, ^[^{сомнительно}^-^{обсудить}^] он может решить неограниченную минимизацию штрафа методом наименьших квадратов с добавлением, где - константа (это лагранжева форма задачи с ограничениями). В байесовском $\|\beta \|^{2}$ $\alpha \|\beta \|^{2}$ $\alpha$ В контексте, это эквивалентно помещению перед вектором параметров нормально распределенного априорного значения с нулевым средним .

Метод лассо [ править ]

Альтернатива регуляризованное версия наименьших квадратов Лассо ( не менее абсолютное сжатие и выбор оператора), который использует ограничение , что , то L 1 -норма вектора параметров, не больше , чем заданное значение. ^[15]^[16]^[17] (Как и выше, это эквивалентно ^[^{сомнительно}^-^{обсудить}^] безусловной минимизации штрафа методом наименьших квадратов с добавлением.) В байесовском контексте это эквивалентно помещению Лапласа с нулевым средним априорное распределение по вектору параметров. ^[18] $\|\beta \|$ $\alpha \|\beta \|$ Задача оптимизации может быть решена с использованием квадратичного программирования или более общих методов выпуклой оптимизации , а также с помощью конкретных алгоритмов, таких как алгоритм регрессии по наименьшему углу .

Одно из основных различий между лассо и регрессией гребня заключается в том, что в регрессии гребня при увеличении штрафа все параметры уменьшаются, но все еще остаются ненулевыми, в то время как в лассо увеличение штрафа приведет к тому, что все больше и больше параметров будут загнал в ноль. Это преимущество лассо перед регрессией гребня, так как приведение параметров к нулю отменяет выбор объектов из регрессии. Таким образом, Lasso автоматически выбирает более релевантные функции и отбрасывает другие, тогда как регрессия Ridge никогда полностью не отбрасывает какие-либо функции. Некоторые методы выбора характеристик разработаны на основе LASSO, в том числе Bolasso, который загружает образцы ^[19], и FeaLect, который анализирует коэффициенты регрессии, соответствующие различным значениям $\alpha$ чтобы оценить все особенности. ^[20]

L ¹ -регуляризованная формулировка полезна в некоторых контекстах из-за ее тенденции отдавать предпочтение решениям, в которых большее количество параметров равно нулю, что дает решения, которые зависят от меньшего числа переменных. ^[15] По этой причине лассо и его варианты являются фундаментальными для области сжатого зондирования . Расширением этого подхода является эластичная чистая регуляризация .

См. Также [ править ]

Корректировка наблюдений
Байесовская оценка MMSE
Лучшая линейная несмещенная оценка (СИНИЙ)
Лучший линейный несмещенный прогноз (BLUP)
Теорема Гаусса – Маркова
L 2 норма
Наименьшее абсолютное отклонение
Спектральный анализ методом наименьших квадратов
Погрешность измерения
Ортогональная проекция
Методы проксимального градиента для обучения
Квадратичная функция потерь
Среднеквадратичное значение
Квадратные отклонения

Ссылки [ править ]

^ Charnes, A .; Frome, EL; Ю. П.Л. (1976). «Эквивалентность обобщенных наименьших квадратов и оценок максимального правдоподобия в экспоненциальной семье». Журнал Американской статистической ассоциации . 71 (353): 169–171. DOI : 10.1080 / 01621459.1976.10481508 .
^ Мэнсфилд Мерриман, «Список работ, относящихся к методу наименьших квадратов»
^ Bretscher, Отто (1995). Линейная алгебра с приложениями (3-е изд.). Река Аппер Сэдл, Нью-Джерси: Prentice Hall.
^ Стиглер, Стивен М. (1981). «Гаусс и изобретение наименьших квадратов» . Анна. Стат . 9 (3): 465–474. DOI : 10.1214 / AOS / 1176345451 .
^ Britannica, "Метод наименьших квадратов"
^ Исследования по истории вероятности и статистики. XXIX: Открытие метода наименьших квадратов Р.Л. Планкетт
^ Стиглер, Стивен М. (1986). История статистики: измерение неопределенности до 1900 года . Кембридж, Массачусетс: Belknap Press издательства Гарвардского университета. ISBN 978-0-674-40340-6.
↑ Legendre, Adrien-Marie (1805), Nouvelles méthodes pour la détermination des orbites des comètes [ Новые методы определения орбит комет ] (на французском), Париж: F. Didot, hdl : 2027 / nyp.33433069112559
Перейти ↑ Aldrich, J. (1998). «Делая наименьшие квадраты: перспективы Гаусса и Йоля». Международное статистическое обозрение . 66 (1): 61–81. DOI : 10.1111 / j.1751-5823.1998.tb00406.x .
^ a b c d Современное введение в вероятность и статистику: понимание, почему и как . Деккинг, Мишель, 1946-. Лондон: Спрингер. 2005. ISBN 978-1-85233-896-1. OCLC 262680588 .CS1 maint: others (link)
^ Хорошее введение в ошибки в переменных см. В Fuller, WA (1987). Модели ошибок измерения . Джон Вили и сыновья. ISBN 978-0-471-86187-4.
^ a b c d e f g h Уильямс, Джеффри Х. (Джеффри Хью), 1956- (ноябрь 2016 г.). Количественное измерение: тирания чисел . Издательство Morgan & Claypool Publishers, Институт физики (Великобритания). Сан-Рафаэль [Калифорния] (40 Оук Драйв, Сан-Рафаэль, Калифорния, 94903, США). ISBN 978-1-68174-433-9. OCLC 962422324 .CS1 maint: multiple names: authors list (link) CS1 maint: location (link)
^ a b Rencher, Alvin C .; Кристенсен, Уильям Ф. (2012-08-15). Методы многомерного анализа . Джон Вили и сыновья. п. 155. ISBN 978-1-118-39167-9.
^ Гир, Джеймс М. (2013). Механика материалов . Гудно, Барри Дж. (8-е изд.). Стэмфорд, штат Коннектикут: Cengage Learning. ISBN 978-1-111-57773-5. OCLC 741541348 .
^ a b Тибширани, Р. (1996). «Регрессионное сжатие и отбор с помощью лассо». Журнал Королевского статистического общества, Series B . 58 (1): 267–288. JSTOR 2346178 .
^ Хасти, Тревор ; Тибширани, Роберт; Фридман, Джером Х. (2009). Элементы статистического обучения (второе изд.). Springer-Verlag. ISBN 978-0-387-84858-7. Архивировано из оригинала на 2009-11-10.
^ Бюльманн, Питер; ван де Гир, Сара (2011). Статистика для данных большой размерности: методы, теория и приложения . Springer. ISBN 9783642201929.
^ Парк, Тревор; Казелла, Джордж (2008). «Байесовское лассо». Журнал Американской статистической ассоциации . 103 (482): 681–686. DOI : 10.1198 / 016214508000000337 . S2CID 11797924 .
^ Бах, Фрэнсис R (2008). «Болассо: модель согласованной оценки лассо через бутстрап» . Материалы 25-й Международной конференции по машинному обучению : 33–40. arXiv : 0804.1302 . Bibcode : 2008arXiv0804.1302B . DOI : 10.1145 / 1390156.1390161 . ISBN 9781605582054. S2CID 609778 .
^ Зара Habil (2013). «Оценка релевантности функций на основе комбинаторного анализа Лассо с приложением к диагностике лимфомы» . BMC Genomics . 14 : S14. DOI : 10.1186 / 1471-2164-14-S1-S14 . PMC 3549810 . PMID 23369194 .

Дальнейшее чтение [ править ]

Бьорк, Å. (1996). Численные методы решения задач наименьших квадратов . СИАМ. ISBN 978-0-89871-360-2.
Кария, Т .; Курата, Х. (2004). Обобщенные наименьшие квадраты . Хобокен: Вайли. ISBN 978-0-470-86697-9.
Люенбергер, Д.Г. (1997) [1969]. «Оценка методом наименьших квадратов» . Оптимизация методами векторного пространства . Нью-Йорк: Джон Вили и сыновья. С. 78–102. ISBN 978-0-471-18117-0.
Рао, CR ; Тутенбург, Х .; и другие. (2008). Линейные модели: наименьшие квадраты и альтернативы . Серия Спрингера в статистике (3-е изд.). Берлин: Springer. ISBN 978-3-540-74226-5.
Вольберг, Дж. (2005). Анализ данных с использованием метода наименьших квадратов: извлечение максимальной информации из экспериментов . Берлин: Springer. ISBN 978-3-540-25674-8.

Внешние ссылки [ править ]

СМИ, связанные с методом наименьших квадратов на Викискладе?

[1] Charnes, A .; Frome, EL; Ю. П.Л. (1976). «Эквивалентность обобщенных наименьших квадратов и оценок максимального правдоподобия в экспоненциальной семье». Журнал Американской статистической ассоциации . 71 (353): 169–171. DOI : 10.1080 / 01621459.1976.10481508 .

[2] Мэнсфилд Мерриман, «Список работ, относящихся к методу наименьших квадратов»

[brertscher-3] Bretscher, Отто (1995). Линейная алгебра с приложениями (3-е изд.). Река Аппер Сэдл, Нью-Джерси: Prentice Hall.

[4] Стиглер, Стивен М. (1981). «Гаусс и изобретение наименьших квадратов» . Анна. Стат . 9 (3): 465–474. DOI : 10.1214 / AOS / 1176345451 .

[5] Britannica, "Метод наименьших квадратов"

[6] Исследования по истории вероятности и статистики. XXIX: Открытие метода наименьших квадратов Р.Л. Планкетт

[stigler-7] Стиглер, Стивен М. (1986). История статистики: измерение неопределенности до 1900 года . Кембридж, Массачусетс: Belknap Press издательства Гарвардского университета. ISBN 978-0-674-40340-6.

[8] Legendre, Adrien-Marie (1805), Nouvelles méthodes pour la détermination des orbites des comètes [ Новые методы определения орбит комет ] (на французском), Париж: F. Didot, hdl : 2027 / nyp.33433069112559

[9] Перейти ↑ Aldrich, J. (1998). «Делая наименьшие квадраты: перспективы Гаусса и Йоля». Международное статистическое обозрение . 66 (1): 61–81. DOI : 10.1111 / j.1751-5823.1998.tb00406.x .

[:0-10] Современное введение в вероятность и статистику: понимание, почему и как . Деккинг, Мишель, 1946-. Лондон: Спрингер. 2005. ISBN 978-1-85233-896-1. OCLC 262680588 .CS1 maint: others (link)

[11] Хорошее введение в ошибки в переменных см. В Fuller, WA (1987). Модели ошибок измерения . Джон Вили и сыновья. ISBN 978-0-471-86187-4.

[:1-12] Уильямс, Джеффри Х. (Джеффри Хью), 1956- (ноябрь 2016 г.). Количественное измерение: тирания чисел . Издательство Morgan & Claypool Publishers, Институт физики (Великобритания). Сан-Рафаэль [Калифорния] (40 Оук Драйв, Сан-Рафаэль, Калифорния, 94903, США). ISBN 978-1-68174-433-9. OCLC 962422324 .CS1 maint: multiple names: authors list (link) CS1 maint: location (link)

[:2-13] Rencher, Alvin C .; Кристенсен, Уильям Ф. (2012-08-15). Методы многомерного анализа . Джон Вили и сыновья. п. 155. ISBN 978-1-118-39167-9.

[14] Гир, Джеймс М. (2013). Механика материалов . Гудно, Барри Дж. (8-е изд.). Стэмфорд, штат Коннектикут: Cengage Learning. ISBN 978-1-111-57773-5. OCLC 741541348 .

[tibsh-15] Тибширани, Р. (1996). «Регрессионное сжатие и отбор с помощью лассо». Журнал Королевского статистического общества, Series B . 58 (1): 267–288. JSTOR 2346178 .

[ElementsStatLearn-16] Хасти, Тревор ; Тибширани, Роберт; Фридман, Джером Х. (2009). Элементы статистического обучения (второе изд.). Springer-Verlag. ISBN 978-0-387-84858-7. Архивировано из оригинала на 2009-11-10.

[17] Бюльманн, Питер; ван де Гир, Сара (2011). Статистика для данных большой размерности: методы, теория и приложения . Springer. ISBN 9783642201929.

[18] Парк, Тревор; Казелла, Джордж (2008). «Байесовское лассо». Журнал Американской статистической ассоциации . 103 (482): 681–686. DOI : 10.1198 / 016214508000000337 . S2CID 11797924 .

[Bolasso-19] Бах, Фрэнсис R (2008). «Болассо: модель согласованной оценки лассо через бутстрап» . Материалы 25-й Международной конференции по машинному обучению : 33–40. arXiv : 0804.1302 . Bibcode : 2008arXiv0804.1302B . DOI : 10.1145 / 1390156.1390161 . ISBN 9781605582054. S2CID 609778 .

[FeaLect-20] Зара Habil (2013). «Оценка релевантности функций на основе комбинаторного анализа Лассо с приложением к диагностике лимфомы» . BMC Genomics . 14 : S14. DOI : 10.1186 / 1471-2164-14-S1-S14 . PMC 3549810 . PMID 23369194 .