В прикладной статистике , всего наименьших квадратов представляет собой тип ошибки-в-переменных регрессии , в наименьших квадратов данных моделирования методом , в котором ошибки наблюдений на обеих зависимых и независимых переменных принимаются во внимание. Это обобщение регрессии Деминга, а также ортогональной регрессии , и может применяться как к линейным, так и к нелинейным моделям.
Общее приближение наименьших квадратов данных является обобщенно эквивалент к лучшему, в норме Фробениуса , низкоразрядный приближение матрицы данных. [1]
Линейная модель
Задний план
В наименьших квадратов метода моделирования данных, целевая функция , S ,
минимизируется, где r - вектор остатков, а W - весовая матрица. В линейных методах наименьших квадратов модель содержит уравнения, линейные относительно параметров, входящих в вектор параметров., поэтому остатки имеют вид
Имеется m наблюдений в параметрах y и n в параметрах β с m > n . X - это матрица размера m × n , элементы которой являются либо константами, либо функциями независимых переменных x . Матрица весов W , в идеале, является обратной матрицей дисперсии-ковариации наблюдений y . Предполагается, что независимые переменные не содержат ошибок. Оценки параметров находятся путем приведения градиентных уравнений к нулю, что приводит к нормальным уравнениям [примечание 1]
Разрешение ошибок наблюдения по всем переменным
Теперь предположим, что и x, и y наблюдаются с ошибкой, с матрицами вариации-ковариации а также соответственно. В этом случае целевую функцию можно записать как
где а также - остатки по x и y соответственно. Очевидно [ требуется дальнейшее объяснение ] эти остатки не могут быть независимыми друг от друга, но они должны быть ограничены каким-то соотношением. Написание функции модели как, ограничения выражаются m условными уравнениями . [2]
Таким образом, проблема состоит в том, чтобы минимизировать целевую функцию с учетом ограничений m . Решается с помощью множителей Лагранжа . После некоторых алгебраических манипуляций [3] результат получен.
или альтернативно где M - ковариационная матрица дисперсии относительно независимых и зависимых переменных.
Пример
Когда ошибки данных некоррелированы, все матрицы M и W диагональны. Затем возьмем пример прямой подгонки.
в таком случае
показывающий, как дисперсия в i- й точке определяется дисперсиями как независимых, так и зависимых переменных, а также моделью, используемой для подбора данных. Выражение можно обобщить, отметив, что параметр наклон линии.
Выражение этого типа используется при подборе данных титрования pH, где небольшая ошибка по x переводится в большую ошибку по y, когда наклон большой.
Алгебраическая точка зрения
Как показали Голуб и Ван Лоан в 1980 году, проблема TLS в целом не имеет решения. [4] Ниже рассматривается простой случай, когда единственное решение существует без каких-либо конкретных предположений.
Вычисление TLS с использованием разложения по сингулярным числам описано в стандартных текстах. [5] Мы можем решить уравнение
для B, где X - m -by- n, а Y - m -by- k . [заметка 2]
То есть мы стремимся найти B, который минимизирует матрицы ошибок E и F для X и Y соответственно. Это,
где - это расширенная матрица с E и F бок о бок и- норма Фробениуса , квадратный корень из суммы квадратов всех элементов матрицы и, что эквивалентно, квадратный корень из суммы квадратов длин строк или столбцов матрицы.
Это можно переписать как
где это единичная матрица. Затем цель состоит в том, чтобы найти что снижает ранг пользователя k . Определять быть сингулярным разложением расширенной матрицы .
где V разбивается на блоки , соответствующие форме X и Y .
Используя теорему Эккарта – Юнга , приближение, минимизирующее норму ошибки, таково, что матрицы а также неизменны, а самые маленькие сингулярные значения заменяются нулями. То есть мы хотим
так по линейности,
Затем мы можем удалить блоки из матриц U и Σ, упростив до
Это обеспечивает E и F, так что
Сейчас если неособен, что не всегда так (обратите внимание, что поведение TLS при сингулярна, еще не совсем понятна), тогда мы можем умножить обе части справа на чтобы привести нижний блок правой матрицы к отрицательной единице, давая [6]
и другие
Наивная реализация этого процесса в GNU Octave :
функция B = tls ( X, Y ) [ m n ] = размер ( X ); % n - ширина X (X - это m на n) Z = [ X Y ]; % Z - это X, дополненный Y. [ U S V ] = svd ( Z , 0 ); % найти СВД З. VXY = V ( 1 : n , 1 + n : конец ); % Возьмите блок из V, состоящий из первых n строк и n + 1 до последнего столбца VYY = V ( 1 + n : конец , 1 + n : конец ); % Возьмите нижний правый блок V. B = - VXY / VYY ; конец
Описанный выше способ решения задачи, требующий, чтобы матрица неособен, может быть немного расширен так называемым классическим алгоритмом TLS . [7]
Вычисление
Стандартная реализация классического алгоритма TLS доступна через Netlib , см. Также. [8] [9] Все современные реализации, основанные, например, на решении последовательности обычных задач наименьших квадратов, аппроксимируют матрицу (обозначается в литературе), как это было введено Ван Хаффелем и Вандеваллем. Стоит отметить, что этоОднако во многих случаях это не решение TLS . [10] [11]
Нелинейная модель
Для нелинейных систем аналогичные рассуждения показывают, что нормальные уравнения для итерационного цикла можно записать как
где является матрицей Якоби .
Геометрическая интерпретация
Если независимая переменная не содержит ошибок, остаток представляет собой «вертикальное» расстояние между наблюдаемой точкой данных и подобранной кривой (или поверхностью). В сумме наименьших квадратов остаток представляет собой расстояние между точкой данных и подобранной кривой, измеренное в некотором направлении. Фактически, если обе переменные измеряются в одних и тех же единицах и ошибки для обеих переменных одинаковы, то невязка представляет собой кратчайшее расстояние между точкой данных и подобранной кривой , то есть вектор невязки перпендикулярен касательной к Кривая. По этой причине этот тип регрессии иногда называют двумерной евклидовой регрессией (Stein, 1983) [12] или ортогональной регрессией .
Масштабно-инвариантные методы
Серьезная трудность возникает, если переменные не измеряются в одних и тех же единицах. Сначала подумайте об измерении расстояния между точкой данных и линией: каковы единицы измерения этого расстояния? Если мы рассмотрим измерение расстояния на основе теоремы Пифагора, то станет ясно, что мы будем добавлять величины, измеренные в разных единицах, что бессмысленно. Во-вторых, если мы изменим масштаб одной из переменных, например, измерим в граммах, а не в килограммах, мы получим другие результаты (другая строка). Чтобы избежать этих проблем, иногда предлагается преобразовать в безразмерные переменные - это можно назвать нормализацией или стандартизацией. Однако существуют различные способы сделать это, и они приводят к созданию подогнанных моделей, которые не эквивалентны друг другу. Один из подходов состоит в нормализации по известной (или предполагаемой) точности измерения, тем самым минимизируя расстояние Махаланобиса от точек до линии, обеспечивая решение с максимальной вероятностью ; [ необходима цитата ] неизвестные точности могут быть найдены с помощью дисперсионного анализа .
Короче говоря, метод наименьших квадратов не обладает свойством инвариантности к единицам, т.е. не инвариантен к масштабу . Для содержательной модели мы требуем, чтобы это свойство соблюдалось. Путь вперед состоит в том, чтобы понять, что остатки (расстояния), измеренные в разных единицах, можно комбинировать, если вместо сложения использовать умножение. Рассмотрите возможность подгонки линии: для каждой точки данных произведение вертикальных и горизонтальных остатков равно удвоенной площади треугольника, образованного остаточными линиями и подогнанной линией. Мы выбираем линию, которая минимизирует сумму этих областей. Нобелевский лауреат Пол Самуэльсон доказал в 1942 году, что в двух измерениях это единственная линия, выражаемая исключительно в терминах отношений стандартных отклонений и коэффициента корреляции, которая (1) соответствует правильному уравнению, когда наблюдения попадают на прямую линию, ( 2) демонстрирует масштабную инвариантность, а (3) демонстрирует инвариантность при замене переменных. [13] Это решение было вновь в различных дисциплинах и по - разному известный как стандартизированная основная ось (Рикер 1975, Warton и др., 2006), [14] [15] уменьшено главная ось , то средняя геометрическая функциональная зависимость (Дрейпер и Smith, 1998), [16] регрессия наименьшего произведения , диагональная регрессия , линия органической корреляции и линия наименьшей площади (Tofallis, 2002). [17] Тофаллис (2015) [18] расширил этот подход для работы с несколькими переменными.
Смотрите также
- Регрессия Деминга , частный случай с двумя предикторами и независимыми ошибками.
- Модель ошибок в переменных
- Линейная регрессия
- Наименьших квадратов
Заметки
- ^ Альтернативная форма, где - сдвиг параметра от некоторой начальной оценки а также это разница между y и значением, вычисленным с использованием начального значения
- ^ Обозначение XB ≈ Y используется здесь, чтобы отразить обозначение, используемое в более ранней части статьи. В вычислительной литературе проблема чаще представлена как AX ≈ B , то есть с буквой X, используемой для n -by- k матрицы неизвестных коэффициентов регрессии.
Рекомендации
- ^ I. Марковский и С. Ван Хаффель , Обзор методов полного наименьших квадратов. Обработка сигналов, т. 87, стр. 2283–2302, 2007. препринт.
- ^ WE Деминг, Статистическая корректировка данных, Wiley, 1943
- ^ Ганс, Питер (1992). Подгонка данных в химических науках . Вайли. ISBN 9780471934127. Проверено 4 декабря 2012 года .
- ^ GH Голуб и CF Van Loan, Анализ общей проблемы наименьших квадратов. Нумер. Анализ., 17, 1980, с. 883–893.
- ^ Голуб, Джин Х .; Ван Лоан, Чарльз Ф. (1996). Матричные вычисления (3-е изд.). Издательство Университета Джона Хопкинса . стр 596.
- ^ Bjõrck, Ake (1996) Численные методы для задач наименьших квадратов , Общество промышленной и прикладной математики. ISBN 978-0898713602 [ необходима страница ]
- ^ С. Ван Хаффель и Дж. Вандевалль (1991) Общие задачи наименьших квадратов: вычислительные аспекты и анализ . SIAM Publications, Филадельфия, Пенсильвания.
- ^ С. Ван Хаффель , Документированные программы Fortran 77 расширенного классического алгоритма наименьших квадратов, алгоритма частичного разложения по сингулярным числам и алгоритма частичного полного наименьших квадратов, Внутренний отчет ESAT-KUL 88/1, ESAT Lab., Dept. of Electrical Инженерное дело, Католический университет Лёвена, 1988.
- ^ С. Ван Хаффель , Расширенный классический алгоритм полного наименьших квадратов, J. Comput. Прил. Математика, 25, с. 111–119, 1989.
- ^ М. Плешингер, Проблема тотальных наименьших квадратов и сокращение данных в AX ≈ B. Докторская диссертация, Либерецкий технический университет и Институт компьютерных наук, AS CR Прага, 2008. Ph.D. Тезис
- ^ I. Hnětynková, M. Plešinger, DM Sima, Z. Strakoš, и S. Van Huffel , Полная проблема наименьших квадратов в AX ≈ B. Новая классификация с отношением к классическим работам. SIMAX vol. 32, выпуск 3 (2011), стр. 748–770.
- ^ Штейн, Яаков Дж. «Двумерная евклидова регрессия» (PDF) . Цитировать журнал требует
|journal=
( помощь ) - ^ Самуэльсон, Пол А. (1942). «Примечание об альтернативных регрессиях». Econometrica . 10 (1): 80–83. DOI : 10.2307 / 1907024 . JSTOR 1907024 .
- ^ Рикер, WE (1975). «Заметка о комментариях профессора Жоликера». Журнал Совета по исследованиям рыболовства Канады . 32 (8): 1494–1498. DOI : 10.1139 / f75-172 .
- ^ Warton, Дэвид I .; Райт, Ян Дж .; Falster, Daniel S .; Вестоби, Марк (2006). «Двумерные методы аппроксимации линий для аллометрии». Биологические обзоры . 81 (2): 259–291. CiteSeerX 10.1.1.461.9154 . DOI : 10.1017 / S1464793106007007 . PMID 16573844 . S2CID 16462731 .
- ^ Дрейпер, Н.Р. и Смит, Х. Прикладной регрессионный анализ , 3-е издание, стр. 92–96. 1998 г.
- ^ Тофаллис, Крис (2002). «Подгонка модели для нескольких переменных путем минимизации среднего геометрического отклонения». В Ван Huffel, Sabine ; Леммерлинг, П. (ред.). Моделирование методом наименьших квадратов и ошибок в переменных: анализ, алгоритмы и приложения . Дордрехт: Kluwer Academic Publ. ISBN 978-1402004766. SSRN 1077322 .
- ^ Тофаллис, Крис (2015). «Подгонка уравнений к данным с помощью идеальной корреляционной связи». SSRN 2707593 . Цитировать журнал требует
|journal=
( помощь )
Другие
- I. Hnětynková, M. Plešinger, DM Sima, Z. Strakoš, и S. Van Huffel , Полная задача наименьших квадратов в AX ≈ B. Новая классификация, связанная с классическими произведениями. SIMAX vol. 32, выпуск 3 (2011), стр. 748–770. Доступен в виде препринта .
- М. Плешингер, Проблема тотальных наименьших квадратов и сокращение данных в AX ≈ B. Докторская диссертация, Либерецкий технический университет и Институт компьютерных наук, AS CR Прага, 2008. Ph.D. Тезис
- CC Paige, Z. Strakoš, Основные проблемы линейных алгебраических систем. SIAM J. Matrix Anal. Прил. 27, 2006, стр. 861–875. DOI : 10,1137 / 040616991
- С. Ван Хаффель и П. Леммерлинг, Моделирование методом наименьших квадратов и ошибок в переменных: анализ, алгоритмы и приложения . Дордрехт, Нидерланды: Kluwer Academic Publishers, 2002.
- С. Джо и С. В. Ким, Последовательная нормализованная фильтрация методом наименьших квадратов с зашумленной матрицей данных. IEEE Trans. Сигнальный процесс., Т. 53, нет. 6. С. 2112–2123, июнь 2005 г.
- RD DeGroat и EM Dowling, Проблема наименьших квадратов данных и выравнивание каналов. IEEE Trans. Сигнальный процесс., Т. 41, нет. 1. С. 407–411, январь 1993 г.
- С. Ван Хаффель и Дж. Вандевалле, Задачи методом наименьших квадратов: вычислительные аспекты и анализ. SIAM Publications, Philadelphia PA, 1991. DOI : 10,1137 / +1,9781611971002
- T. Abatzoglou и J. Mendel, Метод наименьших квадратов с ограничениями , в Proc. IEEE Int. Конф. Акуст., Речь, сигнальный процесс. (ICASSP'87), апрель 1987 г., т. 12. С. 1485–1488.
- П. де Гроен Введение в метод наименьших квадратов , в Nieuw Archief voor Wiskunde, Vierde serie, deel 14, 1996, стр. 237–253 arxiv.org .
- GH Голуб и CF Van Loan, Анализ общей задачи наименьших квадратов. SIAM J. on Numer. Анализ., 17, 1980, с. 883–893. DOI : 10,1137 / 0717073
- Перпендикулярная регрессия линии на MathPages
- AR Amiri-Simkooei и S. Jazaeri Взвешенные общие наименьшие квадраты, сформулированные с помощью стандартной теории наименьших квадратов , в Journal of Geodetic Science, 2 (2): 113–124, 2012 [1] .