Метод наименьших квадратов

---

Метод наименьших квадратов (МНК) — математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от экспериментальных входных данных. Он может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функции. МНК является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным.

До начала XIX в. учёные не имели определённых правил для решения системы уравнений, в которой число неизвестных меньше, чем число уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Гауссу (1795) принадлежит первое применение метода, а Лежандр (1805) независимо открыл и опубликовал его под современным названием (фр. Méthode des moindres quarrés)^[1]. Лаплас связал метод с теорией вероятностей, а американский математик Эдрейн^ru_en (1808) рассмотрел его теоретико-вероятностные приложения^[2]. Метод распространён и усовершенствован дальнейшими изысканиями Энке, Бесселя, Ганзена и других.

Работы А. А. Маркова в начале XX века позволили включить метод наименьших квадратов в теорию оценивания математической статистики, в которой он является важной и естественной частью. Усилиями Ю. Неймана, Ф. Дэвида, А. Эйткена, С. Рао было получено множество немаловажных результатов в этой области^[3].

Пусть ${\displaystyle y_{i}}$, ${\displaystyle i=1,...n}$ набор скалярных экспериментальных данных, ${\displaystyle x_{i}}$, ${\displaystyle i=1,...n}$ набор векторных экспериментальных данных и предполагается, что ${\displaystyle y}$ зависит от ${\displaystyle x}$.

Вводится некоторая (в простейшем случае линейная) скалярная функция ${\displaystyle f(x,{\boldsymbol {\beta }})}$, которая определяется вектором неизвестных параметров ${\displaystyle \beta }$.

---