Приближение функции наименьших квадратов

В математике , метод наименьших квадратов аппроксимации функции применяет принцип наименьших квадратов для аппроксимации функций , с помощью взвешенной суммы других функций. Наилучшее приближение можно определить как то, которое минимизирует разницу между исходной функцией и приближением; для метода наименьших квадратов качество приближения измеряется квадратом разностей между ними.

Функциональный анализ [ править ]

Обобщением аппроксимации набора данных является приближение функции суммой других функций, обычно ортогональным набором : ^[1]

${\ Displaystyle е (х) \ приблизительно е_ {п} (х) = а_ {1} \ фи _ {1} (х) + а_ {2} \ фи _ {2} (х) + \ cdots + а_ { n} \ phi _ {n} (x), \}$

с набором функций { } ортонормированным набором на интересующем интервале, скажем [a, b] : см. также теорему Фейера . Коэффициенты { } выбираются так, чтобы величина разницы || f - f _n || ² как можно меньше. Например, величина или норма функции g ( x ) на интервале [a, b] может быть определена следующим образом: ^[2]${\ Displaystyle \ \ phi _ {j} (х)}$${\ displaystyle \ a_ {j}}$

${\ displaystyle \ | g \ | = \ left (\ int _ {a} ^ {b} g ^ {*} (x) g (x) \, dx \ right) ^ {1/2}}$

где '*' обозначает комплексное сопряжение в случае сложных функций. Расширение теоремы Пифагора таким образом приводит к функциональным пространствам и понятию меры Лебега , идее «пространства» более общей, чем исходный базис евклидовой геометрии. В { }${\ Displaystyle \ phi _ {j} (х) \}$ удовлетворяет ортонормированность отношение : ^[3]

${\ displaystyle \ int _ {a} ^ {b} \ phi _ {i} ^ {*} (x) \ phi _ {j} (x) \, dx = \ delta _ {ij},}$

где δ _ij - символ Кронекера . Подстановка функции f _n в эти уравнения затем приводит к n -мерной теореме Пифагора : ^[4]

${\ Displaystyle \ | е_ {п} \ | ^ {2} = | а_ {1} | ^ {2} + | а_ {2} | ^ {2} + \ cdots + | а_ {п} | ^ {2 }. \,}$

Коэффициенты { a _j }, составляющие || f - f _n || ² как можно меньшего размера оказались: ^[1]

${\ displaystyle a_ {j} = \ int _ {a} ^ {b} \ phi _ {j} ^ {*} (x) f (x) \, dx.}$

Обобщение n- мерной теоремы Пифагора на бесконечномерные  вещественные внутренние пространства продукта известно как тождество Парсеваля или уравнение Парсеваля. ^[5] Конкретными примерами такого представления функции являются ряды Фурье и обобщенные ряды Фурье .

Дальнейшее обсуждение [ править ]

Использование линейной алгебры [ править ]

Отсюда следует, что можно найти «наилучшее» приближение другой функции, минимизируя область между двумя функциями, непрерывной функцией on и функцией, где - подпространство :${\ displaystyle f}$${\ Displaystyle [а, б]}$${\ displaystyle g \ in W}$${\displaystyle W}$${\displaystyle C[a,b]}$

${\displaystyle {\text{Area}}=\int _{a}^{b}\left\vert f(x)-g(x)\right\vert \,dx,}$

все в подпространстве . Из-за частой трудности вычисления подынтегральных выражений, включающих абсолютное значение, вместо этого можно определить${\displaystyle W}$

${\displaystyle \int _{a}^{b}[f(x)-g(x)]^{2}\,dx}$

в качестве адекватного критерия для получения аппроксимации методом наименьших квадратов функции по отношению к внутреннему пространству продукта .${\displaystyle g}$${\displaystyle f}$${\displaystyle W}$

Таким образом, или, что то же самое, можно записать в векторной форме:${\displaystyle \lVert f-g\rVert ^{2}}$${\displaystyle \lVert f-g\rVert }$

${\displaystyle \int _{a}^{b}[f(x)-g(x)]^{2}\,dx=\left\langle f-g,f-g\right\rangle =\lVert f-g\rVert ^{2}.}$

Другими словами, аппроксимация методом наименьших квадратов является функцией, наиболее близкой к внутреннему произведению . Кроме того, это можно применить с помощью теоремы:${\displaystyle f}$${\displaystyle g\in {\text{ subspace }}W}$${\displaystyle f}$${\displaystyle \left\langle f,g\right\rangle }$

Позвольте быть непрерывным на , и пусть быть конечномерным подпространством . Аппроксимирующая функция наименьших квадратов относительно определяется выражением${\displaystyle f}$${\displaystyle [a,b]}$${\displaystyle W}$${\displaystyle C[a,b]}$${\displaystyle f}$${\displaystyle W}$

${\displaystyle g=\left\langle f,{\vec {w}}_{1}\right\rangle {\vec {w}}_{1}+\left\langle f,{\vec {w}}_{2}\right\rangle {\vec {w}}_{2}+\cdots +\left\langle f,{\vec {w}}_{n}\right\rangle {\vec {w}}_{n},}$

где - ортонормированный базис для .${\displaystyle B=\{{\vec {w}}_{1},{\vec {w}}_{2},\dots ,{\vec {w}}_{n}\}}$${\displaystyle W}$

Ссылки [ править ]