Сглаживающий сплайн

Сглаживание шлицев являются оценки функции, , полученными из множества зашумленных наблюдений мишени для того, чтобы сбалансировать меру добра прилегания к с производной на основе измерения гладкости . Они предоставляют средства для сглаживания зашумленных данных. Самый известный пример - это кубический сглаживающий сплайн, но есть много других возможностей, в том числе для случая, когда - векторная величина.${\ Displaystyle {\ шляпа {f}} (х)}$${\ displaystyle y_ {i}}$${\ displaystyle f (x_ {i})}$${\ displaystyle {\ hat {f}} (x_ {i})}$${\ displaystyle y_ {i}}$${\ Displaystyle {\ шляпа {f}} (х)}$${\ displaystyle x_ {i}, y_ {i}}$${\ displaystyle x}$

Определение кубического сплайна [ править ]

Позвольте быть набором наблюдений, смоделированных соотношением, где являются независимыми случайными величинами с нулевым средним (обычно предполагается, что они имеют постоянную дисперсию). Кубический сплайн оценка сглаживания функции определяются как минимизатор (по классу дважды дифференцируемых функций) из ^{[1] [2]}${\ displaystyle \ {x_ {i}, Y_ {i}: i = 1, \ dots, n \}}$${\ Displaystyle Y_ {я} = е (х_ {я}) + \ эпсилон _ {я}}$${\ displaystyle \ epsilon _ {я}}$${\ displaystyle {\ hat {f}}}$${\ displaystyle f}$

${\ displaystyle \ sum _ {i = 1} ^ {n} \ {Y_ {i} - {\ hat {f}} (x_ {i}) \} ^ {2} + \ lambda \ int {\ hat { f}} '' (x) ^ {2} \, dx.}$

Примечания:

• ${\ displaystyle \ lambda \ geq 0}$- параметр сглаживания, контролирующий компромисс между точностью данных и грубостью оценки функции. Это часто оценивается с помощью обобщенной перекрестной проверки ^[3] или с помощью метода ограниченного предельного правдоподобия (REML), который использует связь между сплайн-сглаживанием и байесовской оценкой (штраф за сглаживание можно рассматривать как вызванный априорной функцией ). ^[4]${\ displaystyle f}$
• Интеграл часто оценивается по всей действительной линии, хотя также можно ограничить диапазон диапазоном .${\ displaystyle x_ {i}}$
• As (без сглаживания) сглаживающий сплайн сходится к интерполирующему сплайну .${\displaystyle \lambda \to 0}$
• При (бесконечное сглаживание) штраф за шероховатость становится первостепенным, и оценка сходится к линейной оценке наименьших квадратов .${\displaystyle \lambda \to \infty }$
• Штраф за грубость, основанный на второй производной, является наиболее распространенным в современной статистической литературе, хотя этот метод можно легко адаптировать к штрафам, основанным на других производных.
• В ранней литературе для штрафа использовались разности второго или третьего порядка с одинаковым интервалом , а не производные. ^[5]${\displaystyle x_{i}}$
• Штрафная цель сглаживания суммы квадратов может быть заменена штрафной целью вероятности, в которой сумма квадратов заменяется другой мерой точности данных, основанной на логарифмическом правдоподобии. ^[1] Член суммы квадратов соответствует штрафной вероятности с предположением Гаусса для .${\displaystyle \epsilon _{i}}$

Вывод кубического сглаживающего сплайна [ править ]

Полезно подумать о настройке сглаживающего сплайна в два этапа:

1. Во-первых, получите значения .${\displaystyle {\hat {f}}(x_{i});i=1,\ldots ,n}$
2. Из этих значений извлеките для всех x .${\displaystyle {\hat {f}}(x)}$

Теперь сначала обработайте второй шаг.

Учитывая вектор подобранных значений, часть критерия сплайна, относящаяся к сумме квадратов, является фиксированной. Осталось только минимизировать , и минимизатор представляет собой естественный кубический сплайн , интерполирующий точки . Этот интерполирующий сплайн является линейным оператором и может быть записан в виде${\displaystyle {\hat {m}}=({\hat {f}}(x_{1}),\ldots ,{\hat {f}}(x_{n}))^{T}}$${\displaystyle \int {\hat {f}}''(x)^{2}\,dx}$${\displaystyle (x_{i},{\hat {f}}(x_{i}))}$

${\displaystyle {\hat {f}}(x)=\sum _{i=1}^{n}{\hat {f}}(x_{i})f_{i}(x)}$

где - набор базисных функций сплайна. В результате штраф за шероховатость имеет вид${\displaystyle f_{i}(x)}$

${\displaystyle \int {\hat {f}}''(x)^{2}dx={\hat {m}}^{T}A{\hat {m}}.}$

где элементы А являются . Базисные функции и, следовательно, матрица A зависят от конфигурации переменных-предикторов , но не от ответов или .${\displaystyle \int f_{i}''(x)f_{j}''(x)dx}$${\displaystyle x_{i}}$${\displaystyle Y_{i}}$${\displaystyle {\hat {m}}}$

A - это матрица размера n × n, заданная формулой .${\displaystyle A=\Delta ^{T}W^{-1}\Delta }$

Δ представляет собой (n-2) × n матрицу вторых разностей с элементами:

${\displaystyle \Delta _{ii}=1/h_{i}}$, ,${\displaystyle \Delta _{i,i+1}=-1/h_{i}-1/h_{i+1}}$${\displaystyle \Delta _{i,i+2}=1/h_{i+1}}$

W - (n-2) × (n-2) симметричная трехдиагональная матрица с элементами:

${\displaystyle W_{i-1,i}=W_{i,i-1}=h_{i}/6}$, и расстояния между последовательными узлами (или значения x).${\displaystyle W_{ii}=(h_{i}+h_{i+1})/3}$${\displaystyle h_{i}=\xi _{i+1}-\xi _{i}}$

А теперь вернемся к первому шагу. Штрафная сумма квадратов может быть записана как

${\displaystyle \{Y-{\hat {m}}\}^{T}\{Y-{\hat {m}}\}+\lambda {\hat {m}}^{T}A{\hat {m}},}$

где .${\displaystyle Y=(Y_{1},\ldots ,Y_{n})^{T}}$

Сведение к минимуму , дифференцируя против . Это приводит к: ^[6] и${\displaystyle {\hat {m}}}$${\displaystyle {\hat {m}}}$${\displaystyle -2\{Y-{\hat {m}}\}+2\lambda A{\hat {m}}=0}$ ${\displaystyle {\hat {m}}=(I+\lambda A)^{-1}Y.}$

Подход Де Бура [ править ]

Подход Де Бура использует ту же идею поиска баланса между плавной кривой и близостью к заданным данным. ^[7]

${\displaystyle p\sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}+\left(1-p\right)\int \left({\hat {f}}^{\left(m\right)}\left(x\right)\right)^{2}\,dx}$

где параметр, называемый коэффициентом сглаживания, принадлежит интервалу , а - величины, контролирующие степень сглаживания (они представляют собой вес каждой точки ). На практике, поскольку в основном используются кубические шлицы , обычно . Решение для было предложено Райншем в 1967 году. ^[8] For , когда приближается , сходится к «естественному» сплайну, интерполянту к заданным данным. ^[7] В подходах , сходится к прямой линии (гладкая кривая). Поскольку поиск подходящего значения - это задача проб и ошибок, избыточная константа${\displaystyle p}$${\displaystyle [0,1]}$${\displaystyle \delta _{i};i=1,\dots ,n}$${\displaystyle \delta _{i}^{-2}}$${\displaystyle Y_{i}}$${\displaystyle m}$${\displaystyle 2}$${\displaystyle m=2}$${\displaystyle m=2}$${\displaystyle p}$${\displaystyle 1}$${\displaystyle {\hat {f}}}$${\displaystyle p}$${\displaystyle 0}$${\displaystyle {\hat {f}}}$${\displaystyle p}$${\displaystyle S}$был введен для удобства. ^[8] используется для численного определения значения, чтобы функция удовлетворяла следующему условию:${\displaystyle S}$${\displaystyle p}$${\displaystyle {\hat {f}}}$

${\displaystyle \sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}\leq S}$

Алгоритм, описанный де Боором, начинается с и увеличивается до тех пор, пока не будет выполнено условие. ^[7] Если это оценка стандартного отклонения для , рекомендуется выбирать константу в интервале . Имея средства, решение - "естественный" сплайн-интерполянт. ^[8] Увеличение означает, что мы получаем более плавную кривую, удаляясь от заданных данных.${\displaystyle p=0}$${\displaystyle p}$${\displaystyle \delta _{i}}$${\displaystyle Y_{i}}$${\displaystyle S}$${\displaystyle \left[n-{\sqrt {2n}},n+{\sqrt {2n}}\right]}$${\displaystyle S=0}$${\displaystyle S}$

Многомерные сплайны [ править ]

Существует два основных класса методов обобщения - от сглаживания по скаляру до сглаживания по вектору . Первый подход просто обобщает штраф за сглаживание сплайна на многомерную настройку. Например, при попытке оценить, мы могли бы использовать штраф сплайна тонкой пластины и найти минимизирующий${\displaystyle x}$${\displaystyle x}$${\displaystyle f(x,z)}$${\displaystyle {\hat {f}}(x,z)}$

${\displaystyle \sum _{i=1}^{n}\{y_{i}-f(x_{i},z_{i})\}^{2}+\lambda \int \left[\left({\frac {\partial ^{2}f}{\partial x^{2}}}\right)^{2}+2\left({\frac {\partial ^{2}f}{\partial x\partial z}}\right)^{2}+\left({\frac {\partial ^{2}f}{\partial z^{2}}}\right)^{2}\right]{\textrm {d}}x\,{\textrm {d}}z.}$

Подход тонких пластинчатых сплайнов можно обобщить на сглаживание по более чем двум измерениям и на другие порядки дифференцирования штрафа. ^[1] По мере увеличения размерности существуют некоторые ограничения на наименьший порядок дифференциала, который можно использовать, ^[1] но на самом деле в оригинальной статье Дюшона ^[9] даются несколько более сложные штрафы, позволяющие избежать этого ограничения.

Тонкие пластинчатые шлицы изотропны, что означает, что если мы повернем систему координат, оценка не изменится, но мы также предполагаем, что одинаковый уровень сглаживания подходит для всех направлений. Это часто считается разумным при сглаживании относительно пространственного положения, но во многих других случаях изотропия не является подходящим допущением и может привести к чувствительности к явно произвольному выбору единиц измерения. Например, при сглаживании по расстоянию и времени изотропный сглаживатель даст разные результаты, если расстояние измеряется в метрах, а время в секундах, от того, что произойдет, если мы изменим единицы измерения на сантиметры и часы.${\displaystyle x,z}$

Второй класс обобщений для многомерного сглаживания напрямую связан с этой проблемой масштабной инвариантности с использованием построений сплайнов тензорного произведения. ^{[10] [11] [12]} Такие сплайны имеют недостатки сглаживания с несколькими параметрами сглаживания, что является ценой, которую нужно заплатить за то, что не предполагается, что одинаковая степень сглаживания подходит для всех направлений.

Связанные методы [ править ]

Сглаживающие сплайны связаны с:

• Сплайны регрессии. В этом методе данные подгоняются к набору базисных функций сплайна с сокращенным набором узлов, обычно методом наименьших квадратов. Штраф за шероховатость не применяется. (См. Также многомерные сплайны адаптивной регрессии .)
• Штрафные сплайны. Это объединяет уменьшенные узлы регрессионных шлицев со снижением шероховатости сглаживающих шлицев. ^{[13] [14]}
• Метод упругих карт для обучения многообразию . Этот метод сочетает штраф по методу наименьших квадратов за ошибку аппроксимации со штрафом за изгиб и растяжение аппроксимирующего многообразия и использует грубую дискретизацию задачи оптимизации; см. шлицы тонкой пластины .

Исходный код [ править ]

Исходный код для сглаживания сплайнов можно найти в примерах из книги Карла де Бура Практическое руководство по сплайнам . Примеры приведены на языке программирования Fortran . Обновленные источники доступны также на официальном сайте Карла де Бура [1] .

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Вахба, Г. (1990). Сплайновые модели для данных наблюдений . СИАМ, Филадельфия.
• Грин, П.Дж. и Сильверман, Б.В. (1994). Непараметрическая регрессия и обобщенные линейные модели . CRC Press.
• Де Бур, К. (2001). Практическое руководство по сплайнам (исправленное издание) . Springer.