Полиномиальная регрессия

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовская многомерная
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброта подгонки Студентизированный остаток Теорема Гаусса – Маркова
Математический портал
v т е

В статистике , полиномиальной регрессии является одной из форм регрессионного анализа , в котором зависимость между независимой переменной х и зависимой переменной у моделируется как п - й степени многочлена в х . Полиномиальная регрессия подходит нелинейную зависимость между величиной х и соответствующим условным средним от у , обозначаются Е ( у  | х ). Хотя полиномиальная регрессия подходит для нелинейной модели данных, в качестве статистической оценкиЗадача является линейной в том смысле, что функция регрессии E ( y  |  x ) линейна по неизвестным параметрам , которые оцениваются по данным . По этой причине полиномиальная регрессия считается частным случаем множественной линейной регрессии .

Объясняющие (независимые) переменные, полученные в результате полиномиального разложения «базовых» переменных, известны как члены более высокой степени. Такие переменные также используются в настройках классификации . ^[1]

История [ править ]

Модели полиномиальной регрессии обычно подбираются с использованием метода наименьших квадратов . Метод наименьших квадратов минимизирует дисперсию из несмещенных оценок коэффициентов при условиях теоремы Гаусса-Маркова . Метод наименьших квадратов был опубликован в 1805 году Лежандром и в 1809 году Гауссом . Первый дизайн из эксперимента для полиномиальной регрессии появился в 1815 году бумаг Gergonne . ^{[2] [3]} В двадцатом веке полиномиальная регрессия сыграла важную роль в развитии регрессионного анализа., с большим упором на вопросы дизайна и вывода . ^{[4] В} последнее время использование полиномиальных моделей было дополнено другими методами, при этом неполиномиальные модели имеют преимущества для некоторых классов задач. ^{[ необходима цитата ]}

Определение и пример [ править ]

Целью регрессионного анализа является моделирование ожидаемого значения зависимой переменной y в терминах значения независимой переменной (или вектора независимых переменных) x . В простой линейной регрессии модель

${\ Displaystyle у = \ бета _ {0} + \ бета _ {1} х + \ varepsilon, \,}$

где ε - ненаблюдаемая случайная ошибка со средним нулем, обусловленная скалярной переменной x . В этой модели для каждой единицы увеличения значения x условное ожидание y увеличивается на β ₁ единиц.

Во многих случаях такая линейная зависимость может не соблюдаться. Например, если мы моделируем выход химического синтеза с точки зрения температуры, при которой происходит синтез, мы можем обнаружить, что выход увеличивается за счет увеличения количества на каждую единицу увеличения температуры. В этом случае мы могли бы предложить квадратичную модель вида

${\ displaystyle y = \ beta _ {0} + \ beta _ {1} x + \ beta _ {2} x ^ {2} + \ varepsilon. \,}$

В этой модели, когда температура увеличивается с x до x  + 1 единиц, ожидаемый урожай изменяется на (Это можно увидеть, заменив x в этом уравнении на x +1 и вычтя уравнение для x из уравнения для x +1 .) Для бесконечно малых изменений x , влияние на y определяется полной производной по x : тот факт, что изменение доходности зависит от x, является тем, что делает отношения между x и y${\ displaystyle \ beta _ {1} + \ beta _ {2} (2x + 1).}$${\ displaystyle \ beta _ {1} +2 \ beta _ {2} x.}$ нелинейная, даже если модель линейна по параметрам, которые необходимо оценить.

В общем, мы можем смоделировать ожидаемое значение y как полином n- й степени, получив общую модель полиномиальной регрессии

${\ displaystyle y = \ beta _ {0} + \ beta _ {1} x + \ beta _ {2} x ^ {2} + \ beta _ {3} x ^ {3} + \ cdots + \ beta _ { n} x ^ {n} + \ varepsilon. \,}$

Удобно, что все эти модели являются линейными с точки зрения оценки , поскольку функция регрессии линейна в терминах неизвестных параметров β ₀ , β ₁ , .... Следовательно, для анализа наименьших квадратов вычислительные и логические задачи Полиномиальная регрессия может быть полностью решена с использованием методов множественной регрессии . Для этого x ,  x ² , ... рассматриваются как отдельные независимые переменные в модели множественной регрессии.

Форма матрицы и расчет сметы [ править ]

Модель полиномиальной регрессии

${\ displaystyle y_ {i} \, = \, \ beta _ {0} + \ beta _ {1} x_ {i} + \ beta _ {2} x_ {i} ^ {2} + \ cdots + \ beta _ {m} x_ {i} ^ {m} + \ varepsilon _ {i} \ (i = 1,2, \ точки, n)}$

может быть выражено в матричной форме в терминах матрицы проекта , вектора отклика, вектора параметров и вектора случайных ошибок. Я -й строка и будет содержать й и у значения для я -й выборки данных. Тогда модель можно записать в виде системы линейных уравнений:${\ displaystyle \ mathbf {X}}$${\ displaystyle {\ vec {y}}}$${\ displaystyle {\ vec {\ beta}}}$${\ displaystyle {\ vec {\ varepsilon}}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle {\ vec {y}}}$

${\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{1}&x_{1}^{2}&\dots &x_{1}^{m}\\1&x_{2}&x_{2}^{2}&\dots &x_{2}^{m}\\1&x_{3}&x_{3}^{2}&\dots &x_{3}^{m}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n}&x_{n}^{2}&\dots &x_{n}^{m}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{m}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\vdots \\\varepsilon _{n}\end{bmatrix}},}$

который при использовании чисто матричных обозначений записывается как

${\displaystyle {\vec {y}}=\mathbf {X} {\vec {\beta }}+{\vec {\varepsilon }}.\,}$

Вектор оцененных коэффициентов полиномиальной регрессии (с использованием обычной оценки наименьших квадратов ) равен

${\displaystyle {\widehat {\vec {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\;\mathbf {X} ^{\mathsf {T}}{\vec {y}},\,}$

предполагая, что m < n, что требуется для того, чтобы матрица была обратимой; тогда, поскольку является матрицей Вандермонда , условие обратимости гарантированно выполняется, если все значения различны. Это уникальное решение методом наименьших квадратов.${\displaystyle \mathbf {X} }$${\displaystyle x_{i}}$

Интерпретация [ править ]

Хотя полиномиальная регрессия технически является частным случаем множественной линейной регрессии, интерпретация подобранной модели полиномиальной регрессии требует несколько иной точки зрения. Часто бывает трудно интерпретировать отдельные коэффициенты при подборе полиномиальной регрессии, поскольку лежащие в основе мономы могут быть сильно коррелированы. Например, x и x ² имеют корреляцию около 0,97, когда x равномерно распределен в интервале (0, 1). Хотя корреляцию можно уменьшить, используя ортогональные полиномы , обычно более информативно рассматривать подобранную функцию регрессии в целом. Точечные или одновременные доверительные интервалы затем можно использовать для определения неопределенности оценки функции регрессии.

Альтернативные подходы [ править ]

Полиномиальная регрессия - это один из примеров регрессионного анализа с использованием базисных функций для моделирования функциональной взаимосвязи между двумя величинами. В частности, он заменяет линейную регрессию полиномиальным базисом , например . Недостатком полиномиальных базисов является то, что базисные функции являются «нелокальными», что означает, что подогнанное значение y при заданном значении x  =  x ₀ сильно зависит от значений данных с x далеко от x ₀ . ^[5] В современной статистике полиномиальные базисные функции используются вместе с новыми базисными функциями , такими как сплайны ,${\displaystyle x\in \mathbb {R} ^{d_{x}}}$${\displaystyle \varphi (x)\in \mathbb {R} ^{d_{\varphi }}}$${\displaystyle [1,x]{\mathbin {\stackrel {\varphi }{\rightarrow }}}[1,x,x^{2},\ldots ,x^{d}]}$радиальные базисные функции и вейвлеты . Эти семейства базисных функций подходят для многих типов данных более экономно.

Цель полиномиальной регрессии - моделировать нелинейную связь между независимыми и зависимыми переменными (технически, между независимой переменной и условным средним зависимой переменной). Это похоже на цель непараметрической регрессии , которая направлена ​​на определение отношений нелинейной регрессии. Следовательно, подходы непараметрической регрессии, такие как сглаживание, могут быть полезными альтернативами полиномиальной регрессии. Некоторые из этих методов используют локализованную форму классической полиномиальной регрессии. ^[6] Преимущество традиционной полиномиальной регрессии состоит в том, что можно использовать логическую структуру множественной регрессии (это также справедливо при использовании других семейств базисных функций, таких как сплайны).

Последняя альтернатива - использовать модели с ядром, такие как поддержка векторной регрессии с полиномиальным ядром .

Если остатки имеют неравную дисперсию , для учета этого может использоваться оценщик взвешенных наименьших квадратов . ^[7]

См. Также [ править ]

• Подгонка кривой
• Линейная регрессия
• Локальная полиномиальная регрессия
• Моделирование полиномиальных и рациональных функций
• Полиномиальная интерполяция
• Методология поверхности отклика
• Сглаживающий сплайн

Заметки [ править ]

• Microsoft Excel использует полиномиальную регрессию при подгонке линии тренда к точкам данных на графике рассеяния XY. ^[8]

Ссылки [ править ]

Внешние ссылки [ править ]

• Подгонка кривой , интерактивное моделирование PhET , Университет Колорадо в Боулдере