Всего наименьших квадратов

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовская многомерная
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброта подгонки Студентизированный остаток Теорема Гаусса – Маркова
Математический портал
v т е

В прикладной статистике , всего наименьших квадратов представляет собой тип ошибки-в-переменных регрессии , в наименьших квадратов данных моделирования методом , в котором ошибки наблюдений на обеих зависимых и независимых переменных принимаются во внимание. Это обобщение регрессии Деминга, а также ортогональной регрессии , и может применяться как к линейным, так и к нелинейным моделям.

Общее приближение наименьших квадратов данных является обобщенно эквивалент к лучшему, в норме Фробениуса , низкоразрядный приближение матрицы данных. ^[1]

Линейная модель [ править ]

Фон [ править ]

В наименьших квадратов метода моделирования данных, целевая функция , S ,

${\ Displaystyle S = \ mathbf {r ^ {T} Wr},}$

минимизируется, где r - вектор остатков, а W - весовая матрица. В линейных методах наименьших квадратов модель содержит уравнения, которые являются линейными по параметрам, появляющимся в векторе параметров , поэтому невязки задаются выражением${\ displaystyle {\ boldsymbol {\ beta}}}$

${\displaystyle \mathbf {r=y-X{\boldsymbol {\beta }}} .}$

Имеется m наблюдений в параметрах y и n в параметрах β с m > n . X - это матрица размера m × n , элементы которой являются либо константами, либо функциями независимых переменных x . В идеале весовая матрица W является обратной матрицей дисперсии-ковариации наблюдений y . Предполагается, что независимые переменные не содержат ошибок. Оценки параметров находятся путем приведения градиентных уравнений к нулю, что приводит к нормальным уравнениям ^{[примечание 1]}${\displaystyle \mathbf {M} _{y}}$

${\displaystyle \mathbf {X^{T}WX{\boldsymbol {\beta }}=X^{T}Wy} .}$

Разрешение ошибок наблюдения во всех переменных [ править ]

Теперь предположим, что и x, и y наблюдаются с ошибкой, с матрицами ковариации и соответственно. В этом случае целевую функцию можно записать как${\displaystyle \mathbf {M} _{x}}$${\displaystyle \mathbf {M} _{y}}$

${\displaystyle S=\mathbf {r_{x}^{T}M_{x}^{-1}r_{x}+r_{y}^{T}M_{y}^{-1}r_{y}} ,}$

где и - остатки по x и y соответственно. Очевидно ^{[ требуется дальнейшее объяснение ]} эти остатки не могут быть независимыми друг от друга, но они должны быть ограничены каким-то соотношением. Записывая модельную функцию как , ограничения выражаются m условными уравнениями . ^[2]${\displaystyle \mathbf {r} _{x}}$${\displaystyle \mathbf {r} _{y}}$${\displaystyle \mathbf {f(r_{x},r_{y},{\boldsymbol {\beta }})} }$

${\displaystyle \mathbf {F=\Delta y-{\frac {\partial f}{\partial r_{x}}}r_{x}-{\frac {\partial f}{\partial r_{y}}}r_{y}-X\Delta {\boldsymbol {\beta }}=0} .}$

Таким образом, проблема состоит в том, чтобы минимизировать целевую функцию с учетом ограничений m . Решается с помощью множителей Лагранжа . После некоторых алгебраических манипуляций ^[3] результат получен.

${\displaystyle \mathbf {X^{T}M^{-1}X\Delta {\boldsymbol {\beta }}=X^{T}M^{-1}\Delta y} ,}$

или, в качестве альтернативы, где M - матрица вариации-ковариации относительно как независимых, так и зависимых переменных.${\displaystyle \mathbf {X^{T}M^{-1}X{\boldsymbol {\beta }}=X^{T}M^{-1}y} ,}$

${\displaystyle \mathbf {M=K_{x}M_{x}K_{x}^{T}+K_{y}M_{y}K_{y}^{T};\ K_{x}=-{\frac {\partial f}{\partial r_{x}}},\ K_{y}=-{\frac {\partial f}{\partial r_{y}}}} .}$

Пример [ править ]

Когда ошибки данных некоррелированы, все матрицы M и W диагональны. Затем возьмем пример прямой подгонки.

${\displaystyle f(x_{i},\beta )=\alpha +\beta x_{i}}$

в этом случае

${\displaystyle M_{ii}=\sigma _{y,i}^{2}+\beta ^{2}\sigma _{x,i}^{2}}$

показывающий, как дисперсия в i- й точке определяется дисперсиями как независимых, так и зависимых переменных, а также моделью, используемой для подбора данных. Выражение можно обобщить, отметив, что параметр - это наклон линии.${\displaystyle \beta }$

${\displaystyle M_{ii}=\sigma _{y,i}^{2}+\left({\frac {dy}{dx}}\right)_{i}^{2}\sigma _{x,i}^{2}}$

Выражение этого типа используется при подборе данных титрования pH, где небольшая ошибка по x переводится в большую ошибку по y, когда наклон большой.

Алгебраическая точка зрения [ править ]

Как показали Голуб и Ван Лоан в 1980 году, проблема TLS в целом не имеет решения. ^[4] Ниже рассматривается простой случай, когда единственное решение существует без каких-либо конкретных предположений.

Вычисление TLS с использованием разложения по сингулярным числам описано в стандартных текстах. ^[5] Мы можем решить уравнение

${\displaystyle XB\approx Y}$

для B, где X - m -by- n, а Y - m -by- k . ^{[заметка 2]}

То есть мы стремимся найти B, который минимизирует матрицы ошибок E и F для X и Y соответственно. То есть,

${\displaystyle \mathrm {argmin} _{E,F}\|[E\;F]\|_{F},\qquad (X+E)B=Y+F}$

где - расширенная матрица с E и F рядом, и - норма Фробениуса , квадратный корень из суммы квадратов всех элементов в матрице и, что эквивалентно, квадратный корень из суммы квадратов длин строк или столбцы матрицы.${\displaystyle [E\;F]}$${\displaystyle \|\cdot \|_{F}}$

Это можно переписать как

${\displaystyle [(X+E)\;(Y+F)]{\begin{bmatrix}B\\-I_{k}\end{bmatrix}}=0.}$

где - единичная матрица. Затем цель состоит в том , чтобы найти, что понижает ранг на k . Определите как сингулярное разложение расширенной матрицы .${\displaystyle I_{k}}$${\displaystyle k\times k}$${\displaystyle [E\;F]}$${\displaystyle [X\;Y]}$${\displaystyle [U][\Sigma ][V]^{*}}$${\displaystyle [X\;Y]}$

${\displaystyle [X\;Y]=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&\Sigma _{Y}\end{bmatrix}}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&\Sigma _{Y}\end{bmatrix}}{\begin{bmatrix}V_{XX}^{*}&V_{YX}^{*}\\V_{XY}^{*}&V_{YY}^{*}\end{bmatrix}}}$

где V разбивается на блоки , соответствующие форме X и Y .

Используя теорему Эккарта – Юнга , приближение, минимизирующее норму ошибки, таково, что матрицы и остаются неизменными, а наименьшие особые значения заменяются нулями. То есть мы хотим${\displaystyle U}$${\displaystyle V}$${\displaystyle k}$

${\displaystyle [(X+E)\;(Y+F)]=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&0_{k\times k}\end{bmatrix}}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}}$

так по линейности,

${\displaystyle [E\;F]=-[U_{X}\;U_{Y}]{\begin{bmatrix}0_{n\times n}&0\\0&\Sigma _{Y}\end{bmatrix}}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}.}$

Затем мы можем удалить блоки из матриц U и Σ, упростив до

${\displaystyle [E\;F]=-U_{Y}\Sigma _{Y}{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}^{*}=-[X\;Y]{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}^{*}.}$

Это обеспечивает E и F, так что

${\displaystyle [(X+E)\;(Y+F)]{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}=0.}$

Теперь, если является невырожденной, что не всегда так (обратите внимание, что поведение TLS, когда она сингулярна, еще не очень хорошо изучена), мы можем затем умножить обе стороны справа, чтобы привести нижний блок правой матрицы к отрицательной единице, дающий ^[6]${\displaystyle V_{YY}}$${\displaystyle V_{YY}}$${\displaystyle -V_{YY}^{-1}}$

${\displaystyle [(X+E)\;(Y+F)]{\begin{bmatrix}-V_{XY}V_{YY}^{-1}\\-V_{YY}V_{YY}^{-1}\end{bmatrix}}=[(X+E)\;(Y+F)]{\begin{bmatrix}B\\-I_{k}\end{bmatrix}}=0,}$

и так

${\displaystyle B=-V_{XY}V_{YY}^{-1}.}$

Наивная реализация этого процесса в GNU Octave :

функция  B = tls ( X, Y )  [ m n ] = размер ( X ); % n - ширина X (X - это m на n)    Z = [ X Y ]; % Z - это X, дополненный Y.    [ U S V ] = svd ( Z , 0 ); % найти СВД З.     VXY = V ( 1 : n , 1 + n : конец ); % Возьмите блок из V, состоящий из первых n строк и n + 1 до последнего столбца   VYY = V ( 1 + n : конец , 1 + n : конец ); % Возьмите нижний правый блок V.   B = - VXY / VYY ;  конец

Описанный выше способ решения задачи, требующий, чтобы матрица была невырожденной, может быть немного расширен так называемым классическим алгоритмом TLS . ^[7]${\displaystyle V_{YY}}$

Вычисление [ править ]

Стандартная реализация классического алгоритма TLS доступна через Netlib , см. Также. ^{[8] [9]} Все современные реализации, основанные, например, на решении последовательности обычных задач наименьших квадратов, аппроксимируют матрицу (обозначенную в литературе), как это было введено Ван Хаффелем и Вандеваллем. Стоит отметить, что это , однако, не решение TLS во многих случаях. ^{[10] [11]}${\displaystyle B}$${\displaystyle X}$${\displaystyle B}$

Нелинейная модель [ править ]

Для нелинейных систем аналогичные рассуждения показывают, что нормальные уравнения для итерационного цикла можно записать как

${\displaystyle \mathbf {J^{T}M^{-1}J\Delta {\boldsymbol {\beta }}=J^{T}M^{-1}\Delta y} ,}$

где - матрица Якоби .${\displaystyle \mathbf {J} }$

Геометрическая интерпретация [ править ]

Если независимая переменная не содержит ошибок, остаток представляет собой «вертикальное» расстояние между наблюдаемой точкой данных и подобранной кривой (или поверхностью). Итого по методу наименьших квадратов остаток представляет собой расстояние между точкой данных и подобранной кривой, измеренное вдоль некоторого направления. Фактически, если обе переменные измеряются в одних и тех же единицах и ошибки для обеих переменных одинаковы, то невязка представляет собой кратчайшее расстояние между точкой данных и подобранной кривой , то есть вектор невязки перпендикулярен касательной к кривой. Кривая. По этой причине этот тип регрессии иногда называют двумерной евклидовой регрессией (Stein, 1983) ^[12] или ортогональной регрессией .

Масштабно-инвариантные методы [ править ]

Серьезная трудность возникает, если переменные не измеряются в одних и тех же единицах. Сначала подумайте об измерении расстояния между точкой данных и линией: каковы единицы измерения этого расстояния? Если мы рассмотрим измерение расстояния на основе теоремы Пифагора, то станет ясно, что мы будем добавлять величины, измеренные в разных единицах, что бессмысленно. Во-вторых, если мы изменим масштаб одной из переменных, например, измерим в граммах, а не в килограммах, мы получим другие результаты (другая строка). Чтобы избежать этих проблем, иногда предлагается преобразовать в безразмерные переменные - это можно назвать нормализацией или стандартизацией. Однако существуют различные способы сделать это, и они приводят к созданию подогнанных моделей, которые не эквивалентны друг другу.Один из подходов состоит в нормализации на известную (или предполагаемую) точность измерения, тем самым минимизируяРасстояние Махаланобиса от точек до линии, обеспечивающее решение с максимальной вероятностью ; ^{[ необходима цитата ]} неизвестные точности могут быть найдены с помощью дисперсионного анализа .

Короче говоря, метод наименьших квадратов не обладает свойством инвариантности к единицам, то есть не инвариантен к масштабу . Для содержательной модели мы требуем, чтобы это свойство соблюдалось. Путь вперед состоит в том, чтобы понять, что остатки (расстояния), измеренные в разных единицах, можно комбинировать, если вместо сложения использовать умножение. Рассмотрите возможность подгонки линии: для каждой точки данных произведение вертикальных и горизонтальных остатков равно удвоенной площади треугольника, образованного остаточными линиями и подогнанной линией. Мы выбираем линию, которая минимизирует сумму этих площадей. Нобелевский лауреат Пол Самуэльсонв 1942 году доказал, что в двух измерениях это единственная линия, выражаемая исключительно в терминах отношений стандартных отклонений и коэффициента корреляции, которая (1) соответствует правильному уравнению, когда наблюдения попадают на прямую линию, (2) показывает масштаб инвариантность и (3) инвариантность относительно замены переменных. ^[13] Это решение было вновь в различных дисциплинах и по - разному известный как стандартизированная основная ось (Рикер 1975, Warton и др., 2006), ^{[14] [15]} уменьшено главная ось , то средняя геометрическая функциональная зависимость (Дрейпер и Smith, 1998), ^[16] регрессия наименьших произведений , диагональная регрессия ,линия органической корреляции и линия наименьших площадей (Tofallis, 2002). ^[17] Тофаллис (2015) ^[18] расширил этот подход для работы с несколькими переменными.

См. Также [ править ]

• Регрессия Деминга , частный случай с двумя предикторами и независимыми ошибками.
• Модель ошибок в переменных
• Линейная регрессия
• Наименьших квадратов

Заметки [ править ]

Ссылки [ править ]

Другое [ править ]

• I. Hnětynková, M. Plešinger, DM Sima, Z. Strakoš, и S. Van Huffel , Полная задача наименьших квадратов в AX ≈ B. Новая классификация, связанная с классическими произведениями. SIMAX vol. 32, выпуск 3 (2011), стр. 748–770. Доступен в виде препринта .
• М. Плешингер, Проблема тотальных наименьших квадратов и сокращение данных в AX ≈ B. Докторская диссертация, Либерецкий технический университет и Институт компьютерных наук, AS CR Прага, 2008. Ph.D. Тезис
• CC Paige, Z. Strakoš, Основные проблемы линейных алгебраических систем. SIAM J. Matrix Anal. Прил. 27, 2006, стр. 861–875. DOI : 10,1137 / 040616991
• С. Ван Хаффель и П. Леммерлинг, Моделирование методом наименьших квадратов и ошибок в переменных: анализ, алгоритмы и приложения . Дордрехт, Нидерланды: Kluwer Academic Publishers, 2002.
• С. Джо и С. В. Ким, Последовательная нормализованная фильтрация методом наименьших квадратов с зашумленной матрицей данных. IEEE Trans. Сигнальный процесс., Т. 53, нет. 6. С. 2112–2123, июнь 2005 г.
• RD DeGroat и EM Dowling, Проблема наименьших квадратов данных и выравнивание каналов. IEEE Trans. Сигнальный процесс., Т. 41, нет. 1. С. 407–411, январь 1993 г.
• С. Ван Хаффель, Дж. Вандевалле, Задачи методом наименьших квадратов: вычислительные аспекты и анализ. SIAM Publications, Philadelphia PA, 1991. DOI : 10,1137 / +1,9781611971002
• T. Abatzoglou и J. Mendel, Метод наименьших квадратов с ограничениями , в Proc. IEEE Int. Конф. Акуст., Речь, сигнальный процесс. (ICASSP'87), апрель 1987 г., т. 12. С. 1485–1488.
• П. де Гроен . Введение в метод наименьших квадратов , в Nieuw Archief voor Wiskunde, Vierde serie, deel 14, 1996, стр. 237–253 arxiv.org .
• GH Голуб и CF Van Loan, Анализ общей задачи наименьших квадратов. SIAM J. on Numer. Анализ., 17, 1980, с. 883–893. DOI : 10,1137 / 0717073
• Перпендикулярная регрессия линии на MathPages
• AR Amiri-Simkooei и S. Jazaeri Взвешенные общие наименьшие квадраты, сформулированные с помощью стандартной теории наименьших квадратов , в Journal of Geodetic Science, 2 (2): 113–124, 2012 [1] .