Функция дисперсии

Эта статья требует дополнительных ссылок для проверки . Пожалуйста, помогите улучшить эту статью , добавив цитаты из надежных источников . Материал, не полученный от источника, может быть оспорен и удален. Поиск источников:  «Функция дисперсии»  -  новости  · газеты  · книги  · ученый  · JSTOR ( март 2014 г. ) ( Узнайте, как и когда удалить это сообщение-шаблон )

Часть серии по
Регрессионный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Предварительный расчет
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общее Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовская многомерная
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброта подгонки Студентизированный остаток Теорема Гаусса – Маркова
Математический портал
v т е

В статистике , то функция дисперсии является гладкой функцией , которая изображает дисперсию в виде случайной величины в зависимости от его среднего . Функция дисперсии является мерой гетероскедастичности и играет большую роль во многих параметрах статистического моделирования. Это является основным ингредиентом в обобщенной линейной модели структуры и инструмент , используемый в непараметрической регрессии , ^[1] полупараметрическая регрессии ^[1] и функциональный анализ данных . ^[2]В параметрическом моделировании функции дисперсии принимают параметрическую форму и явно описывают взаимосвязь между дисперсией и средним значением случайной величины. В непараметрической настройке предполагается, что функция дисперсии является гладкой функцией .

Интуиция [ править ]

В настройке регрессионной модели цель состоит в том, чтобы установить, существует ли связь между переменной ответа и набором переменных-предикторов. Кроме того, если связь действительно существует, цель состоит в том, чтобы как можно лучше описать эту связь. Основное предположение линейной регрессии - постоянная дисперсия или (гомоскедастичность), что означает, что разные переменные отклика имеют одинаковую дисперсию своих ошибок на каждом уровне предикторов. Это предположение хорошо работает, когда переменная ответа и переменная предиктора вместе являются нормальными, см. Нормальное распределение . Как мы увидим позже, функция дисперсии в настройке Normal является постоянной, однако мы должны найти способ количественной оценки гетероскедастичности (непостоянной дисперсии) при отсутствии совместной нормальности.

Когда существует вероятность того, что ответ соответствует распределению, которое является членом экспоненциального семейства, обобщенная линейная модель может быть более подходящей для использования, и, более того, когда мы не хотим навязывать параметрическую модель нашим данным, непараметрическая может быть полезен регрессионный подход. Важность возможности моделировать дисперсию как функцию среднего значения заключается в улучшенном выводе (в параметрической настройке) и оценке функции регрессии в целом для любой настройки.

Функции дисперсии играют очень важную роль в оценке и выводе параметров. В общем, оценка максимального правдоподобия требует определения функции правдоподобия. Это требование подразумевает, что сначала необходимо указать распределение наблюдаемых переменных отклика. Однако для определения квази-правдоподобия нужно только указать взаимосвязь между средним значением и дисперсией наблюдений, чтобы затем иметь возможность использовать функцию квази-правдоподобия для оценки. ^[3] Оценка квази-правдоподобия особенно полезна при чрезмерном разбросе . Чрезмерная дисперсия возникает, когда данные более изменчивы, чем следовало бы ожидать в противном случае в соответствии с предполагаемым распределением данных.

Таким образом, для обеспечения эффективного вывода параметров регрессии и функции регрессии необходимо учитывать гетероскедастичность. Функции дисперсии количественно определяют взаимосвязь между дисперсией и средним значением наблюдаемых данных и, следовательно, играют важную роль в оценке и выводе регрессии.

Типы [ править ]

Функция дисперсии и ее приложения используются во многих областях статистического анализа. Очень важно использовать эту функцию в рамках обобщенных линейных моделей и непараметрической регрессии .

Обобщенная линейная модель [ править ]

Если указан член экспоненциального семейства , функция дисперсии может быть легко выведена. ^{[4] : 29} Общая форма функции дисперсии представлена ​​в контексте экспоненциального семейства, а также конкретные формы для нормального, Бернулли, Пуассона и гаммы. Кроме того, мы описываем приложения и использование функций дисперсии в оценке максимального правдоподобия и оценки квази правдоподобия.

Вывод [ править ]

Обобщенная линейная модель (GLM) , является обобщением обычного регрессионного анализа , который простирается до любого члена экспоненциального семейства . Это особенно полезно, когда переменная ответа является категориальной, двоичной или имеет ограничение (например, только положительные ответы имеют смысл). Краткое описание компонентов GLM приведено на этой странице, но для получения дополнительных сведений и информации см. Страницу, посвященную обобщенным линейным моделям .

GLM состоит из трех основных компонентов:

1. Случайная компонента: распределение y из экспоненциального семейства,${\ displaystyle E [y \ mid X] = \ mu}$

2. Линейный предсказатель: ${\ displaystyle \ eta = XB = \ sum _ {j = 1} ^ {p} X_ {ij} ^ {T} B_ {j}}$

3. Функция ссылки: ${\ Displaystyle \ эта = г (\ му), \ му = г ^ {- 1} (\ эта)}$

Сначала важно вывести пару ключевых свойств экспоненциального семейства.

Любая случайная величина в экспоненциальном семействе имеет функцию плотности вероятности вида${\ displaystyle {\ textit {y}}}$

${\ Displaystyle е (у, \ тета, \ фи) = \ ехр \ влево ({\ гидроразрыва {у \ тета -b (\ тета)} {\ фи}} - с (у, \ фи) \ вправо)}$

с логической вероятностью,

${\ displaystyle \ ell (\ theta, y, \ phi) = \ log (е (y, \ theta, \ phi)) = {\ frac {y \ theta -b (\ theta)} {\ phi}} - c (y, \ phi)}$

Здесь - канонический параметр и интересующий параметр, а также мешающий параметр, который играет роль в дисперсии. Мы используем тождества Бартлетта, чтобы получить общее выражение для функции дисперсии . Первый и второй результаты Бартлетта гарантируют, что при подходящих условиях (см. Правило интеграла Лейбница ) для функции плотности, зависящей от ,${\ displaystyle \ theta}$${\ displaystyle \ phi}$${\ Displaystyle \ тета, е _ {\ тета} ()}$

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log(f_{\theta }(y))\right]=0}$

Эти тождества приводят к простым вычислениям ожидаемого значения и дисперсии любой случайной величины в экспоненциальном семействе .${\displaystyle {\textit {y}}}$${\displaystyle E_{\theta }[y],Var_{\theta }[y]}$

Ожидаемое значение Y : взяв первую производную по логарифму плотности в форме экспоненциального семейства, описанной выше, мы имеем${\displaystyle \theta }$

${\displaystyle {\frac {\partial }{\partial \theta }}\log(f(y,\theta ,\phi ))={\frac {\partial }{\partial \theta }}\left[{\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right]={\frac {y-b'(\theta )}{\phi }}}$

Затем, взяв ожидаемое значение и установив его равным нулю, мы получим

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]={\frac {\operatorname {E} _{\theta }[y]-b'(\theta )}{\phi }}=0}$

${\displaystyle \operatorname {E} _{\theta }[y]=b'(\theta )}$

Дисперсия Y: для вычисления дисперсии мы используем второе тождество Бартлетта,

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]+\operatorname {E} _{\theta }\left[{\frac {-b''(\theta )}{\phi }}\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[y\right]=b''(\theta )\phi }$

Теперь у нас есть связь между и , а именно${\displaystyle \mu }$${\displaystyle \theta }$

${\displaystyle \mu =b'(\theta )}$и , что позволяет установить связь между и дисперсией,${\displaystyle \theta =b'^{-1}(\mu )}$${\displaystyle \mu }$

${\displaystyle V(\theta )=b''(\theta )={\text{the part of the variance that depends on }}\theta }$

${\displaystyle \operatorname {V} (\mu )=b''(b'^{-1}(\mu )).\,}$

Обратите внимание, что, поскольку , then обратимо. Мы выводим функцию дисперсии для нескольких распространенных распределений.${\displaystyle \operatorname {Var} _{\theta }\left[y\right]>0,b''(\theta )>0}$${\displaystyle b':\theta \rightarrow \mu }$

Пример - нормальный [ править ]

Нормальное распределение является частным случаем , когда функция дисперсии является константой. Пусть тогда мы представим функцию плотности y в форме экспоненциального семейства, описанного выше:${\displaystyle y\sim N(\mu ,\sigma ^{2})}$

${\displaystyle f(y)=\exp \left({\frac {y\mu -{\frac {\mu ^{2}}{2}}}{\sigma ^{2}}}-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}\right)}$

где

${\displaystyle \theta =\mu ,}$

${\displaystyle b(\theta )={\frac {\mu ^{2}}{2}},}$

${\displaystyle \phi =\sigma ^{2},}$

${\displaystyle c(y,\phi )=-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}}$

Чтобы вычислить функцию дисперсии , сначала выразим как функцию от . Затем преобразуем в функцию от${\displaystyle V(\mu )}$${\displaystyle \theta }$${\displaystyle \mu }$${\displaystyle V(\theta )}$${\displaystyle \mu }$

${\displaystyle \theta =\mu }$

${\displaystyle b'(\theta )=\theta =\operatorname {E} [y]=\mu }$

${\displaystyle V(\theta )=b''(\theta )=1}$

Следовательно, функция дисперсии постоянна.

Пример - Бернулли [ править ]

Пусть тогда мы выразим плотность распределения Бернулли в форме экспоненциального семейства: ${\displaystyle y\sim {\text{Bernoulli}}(p)}$

${\displaystyle f(y)=\exp \left(y\ln {\frac {p}{1-p}}+\ln(1-p)\right)}$

${\displaystyle \theta =\ln {\frac {p}{1-p}}=}$ logit (p), что дает нам expit${\displaystyle p={\frac {e^{\theta }}{1+e^{\theta }}}=}$ ${\displaystyle (\theta )}$

${\displaystyle b(\theta )=\ln(1+e^{\theta })}$ и

${\displaystyle b'(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}=}$ истекать${\displaystyle (\theta )=p=\mu }$

${\displaystyle b''(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}-\left({\frac {e^{\theta }}{1+e^{\theta }}}\right)^{2}}$

Это дает нам

${\displaystyle V(\mu )=\mu (1-\mu )}$

Пример - Пуассон [ править ]

Пусть тогда мы выразим плотность распределения Пуассона в экспоненциальной форме семейства: ${\displaystyle y\sim {\text{Poisson}}(\lambda )}$

${\displaystyle f(y)=\exp(y\ln \lambda -\ln \lambda )}$

${\displaystyle \theta =\ln \lambda =}$ что дает нам ${\displaystyle \lambda =e^{\theta }}$

${\displaystyle b(\theta )=e^{\theta }}$ и

${\displaystyle b'(\theta )=e^{\theta }=\lambda =\mu }$

${\displaystyle b''(\theta )=e^{\theta }=\mu }$

Это дает нам

${\displaystyle V(\mu )=\mu }$

Здесь мы видим центральное свойство пуассоновских данных - дисперсия равна среднему значению.

Пример - Гамма [ править ]

Гамма - распределение и функция плотности могут быть выражены в различных параметризациях. Воспользуемся формой гаммы с параметрами${\displaystyle (\mu ,\nu )}$

${\displaystyle f_{\mu ,\nu }(y)={\frac {1}{\Gamma (\nu )y}}\left({\frac {\nu y}{\mu }}\right)^{\nu }e^{\frac {\nu y}{\mu }}}$

Тогда в форме экспоненциальной семьи мы имеем

${\displaystyle f_{\mu ,\nu }(y)=\exp \left({\frac {-{\frac {1}{\mu }}y+\ln({\frac {1}{\mu }})}{\frac {1}{\nu }}}+\ln \left({\frac {\nu ^{\nu }y^{\nu -1}}{\Gamma (\nu )}}\right)\right)}$

${\displaystyle \theta ={\frac {-1}{\mu }}\rightarrow \mu ={\frac {-1}{\theta }}}$

${\displaystyle \phi ={\frac {1}{\nu }}}$

${\displaystyle b(\theta )=-ln(-\theta )}$

${\displaystyle b'(\theta )={\frac {-1}{\theta }}={\frac {-1}{\frac {-1}{\mu }}}=\mu }$

${\displaystyle b''(\theta )={\frac {1}{\theta ^{2}}}=\mu ^{2}}$

И у нас есть ${\displaystyle V(\mu )=\mu ^{2}}$

Приложение - взвешенный метод наименьших квадратов [ править ]

Очень важным применением функции дисперсии является ее использование для оценки параметров и вывода, когда переменная отклика имеет требуемую форму экспоненциального семейства, а также в некоторых случаях, когда это не так (что мы обсудим в квази-правдоподобии ). Метод взвешенных наименьших квадратов (WLS) - это частный случай обобщенного метода наименьших квадратов. Каждый член критерия WLS включает вес, который определяет влияние каждого наблюдения на окончательные оценки параметров. Как и в обычном методе наименьших квадратов, цель состоит в том, чтобы оценить неизвестные параметры в функции регрессии путем нахождения значений для оценок параметров, которые минимизируют сумму квадратов отклонений между наблюдаемыми ответами и функциональной частью модели.

Хотя WLS предполагает независимость наблюдений, он не предполагает равной дисперсии и, следовательно, является решением для оценки параметров при наличии гетероскедастичности. Теорема Гаусса – Маркова и Эйткен демонстрируют, что лучшая линейная несмещенная оценка (BLUE), несмещенная оценка с минимальной дисперсией, имеет каждый вес, равный обратной величине дисперсии измерения.

В рамках GLM наша цель - оценить параметры , где . Поэтому мы хотели бы минимизировать, и если мы определим весовую матрицу W как${\displaystyle \beta }$${\displaystyle Z=g(E[y\mid X])=X\beta }$${\displaystyle (Z-XB)^{T}W(Z-XB)}$

${\displaystyle \underbrace {W} _{n\times n}={\begin{bmatrix}{\frac {1}{\phi V(\mu _{1})g'(\mu _{1})^{2}}}&0&\cdots &0&0\\0&{\frac {1}{\phi V(\mu _{2})g'(\mu _{2})^{2}}}&0&\cdots &0\\\vdots &\vdots &\vdots &\vdots &0\\\vdots &\vdots &\vdots &\vdots &0\\0&\cdots &\cdots &0&{\frac {1}{\phi V(\mu _{n})g'(\mu _{n})^{2}}}\end{bmatrix}},}$

где определены в предыдущем разделе, это позволяет проводить оценку параметров методом наименьших квадратов (IRLS) с повторным взвешиванием. См. Раздел о методах наименьших квадратов с повторным взвешиванием для получения дополнительной информации.${\displaystyle \phi ,V(\mu ),g(\mu )}$

Также важно отметить, что когда весовая матрица имеет форму, описанную здесь, минимизация выражения также минимизирует расстояние Пирсона. См. Раздел Корреляция расстояний для получения дополнительной информации.${\displaystyle (Z-XB)^{T}W(Z-XB)}$

Матрица W выпадает сразу из оценочных уравнений для оценки . Оценка максимального правдоподобия для каждого параметра , требует${\displaystyle \beta }$${\displaystyle \beta _{r},1\leq r\leq p}$

${\displaystyle \sum _{i=1}^{n}{\frac {\partial l_{i}}{\partial \beta _{r}}}=0}$, где - логарифм правдоподобия.${\displaystyle \operatorname {l} (\theta ,y,\phi )=\log(\operatorname {f} (y,\theta ,\phi ))={\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )}$

Глядя на одно наблюдение, мы имеем

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {\partial l}{\partial \theta }}{\frac {\partial \theta }{\partial \mu }}{\frac {\partial \mu }{\partial \eta }}{\frac {\partial \eta }{\partial \beta _{r}}}}$

${\displaystyle {\frac {\partial \eta }{\partial \beta _{r}}}=x_{r}}$

${\displaystyle {\frac {\partial l}{\partial \theta }}={\frac {y-b'(\theta )}{\phi }}={\frac {y-\mu }{\phi }}}$

${\displaystyle {\frac {\partial \theta }{\partial \mu }}={\frac {\partial b'^{-1}(\mu )}{\mu }}={\frac {1}{b''(b'(\mu ))}}={\frac {1}{V(\mu )}}}$

Это дает нам

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {y-\mu }{\phi V(\mu )}}{\frac {\partial \mu }{\partial \eta }}x_{r}}$и отмечая, что

${\displaystyle {\frac {\partial \eta }{\partial \mu }}=g'(\mu )}$ у нас есть это

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {y-\mu }{\phi V(\mu )}}W{\frac {\partial \eta }{\partial \mu }}x_{r}}$

Матрица Гессе определяется аналогичным образом и может быть показана как

${\displaystyle H=X^{T}(y-\mu )\left[{\frac {\partial }{\beta _{s}}}W{\frac {\partial }{\beta _{r}}}\right]-X^{T}WX}$

Заметив, что Fisher Information (FI),

${\displaystyle {\text{FI}}=-E[H]=X^{T}WX}$, позволяет асимптотически аппроксимировать ${\displaystyle {\hat {\beta }}}$

${\displaystyle {\hat {\beta }}\sim N_{p}(\beta ,(X^{T}WX)^{-1})}$, и, следовательно, может быть выполнен вывод.

Применение - квазивероятность [ править ]

Поскольку большинство характеристик GLM зависят только от первых двух моментов распределения, а не от всего распределения, квази-правдоподобие можно получить, просто указав функцию связи и функцию дисперсии. То есть нам нужно указать

- Функция ссылки: ${\displaystyle E[y]=\mu =g^{-1}(\eta )}$

- Функция отклонения: ${\displaystyle V(\mu ){\text{, where the }}\operatorname {Var} _{\theta }(y)=\sigma ^{2}V(\mu )}$

При заданной функции дисперсии и связи функции мы можем разработать, в качестве альтернативы логарифмически функции правдоподобия , в функции партитуры , и информации Фишера , в квази-вероятности , в квази-счет , и квази-информации . Это позволяет сделать полный вывод о .${\displaystyle \beta }$

Квази-правдоподобие (QL)

Хотя называют квази-вероятность , что это на самом деле квази- журнал -likelihood. QL для одного наблюдения составляет

${\displaystyle Q_{i}(\mu _{i},y_{i})=\int _{y_{i}}^{\mu _{i}}{\frac {y_{i}-t}{\sigma ^{2}V(t)}}\,dt}$

Следовательно, QL для всех n наблюдений будет

${\displaystyle Q(\mu ,y)=\sum _{i=1}^{n}Q_{i}(\mu _{i},y_{i})=\sum _{i=1}^{n}\int _{y_{i}}^{\mu _{i}}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}$

Из QL у нас есть квази-оценка

Квази-оценка (QS)

Напомним функцию оценка , U , для данных с лог-правдоподобия является${\displaystyle \operatorname {l} (\mu \mid y)}$

${\displaystyle U={\frac {\partial l}{d\mu }}.}$

Точно так же мы получаем квази-оценку:

${\displaystyle U={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}$

Отметив, что для одного наблюдения оценка

${\displaystyle {\frac {\partial Q}{\partial \mu }}={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}$

Первые два уравнения Бартлетта удовлетворяются для квази-оценки, а именно

${\displaystyle E[U]=0}$

и

${\displaystyle \operatorname {Cov} (U)+E\left[{\frac {\partial U}{\partial \mu }}\right]=0.}$

Кроме того, квази-оценка линейна по y .

В конечном итоге цель - найти информацию об интересующих параметрах . И QS, и QL на самом деле являются функциями . Напомним, и , следовательно,${\displaystyle \beta }$${\displaystyle \beta }$${\displaystyle \mu =g^{-1}(\eta )}$${\displaystyle \eta =X\beta }$

${\displaystyle \mu =g^{-1}(X\beta ).}$

Квазиинформация (QI)

Квази-информация , аналогична информации Фишера ,

${\displaystyle i_{b}=-\operatorname {E} \left[{\frac {\partial U}{\partial \beta }}\right]}$

QL, QS, QI как функции ${\displaystyle \beta }$

QL, QS и QI - все представляют собой строительные блоки для вывода об интересующих параметрах, и поэтому важно выразить QL, QS и QI как функции .${\displaystyle \beta }$

Напоминая еще раз, что мы выводим выражения для QL, QS и QI, параметризованные ниже .${\displaystyle \mu =g^{-1}(X\beta )}$${\displaystyle \beta }$

Квазивероятность в , ${\displaystyle \beta }$

${\displaystyle Q(\beta ,y)=\int _{y}^{\mu (\beta )}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}$

QS как функция , следовательно ,${\displaystyle \beta }$

${\displaystyle U_{j}(\beta _{j})={\frac {\partial }{\partial \beta _{j}}}Q(\beta ,y)=\sum _{i=1}^{n}{\frac {\partial \mu _{i}}{\partial \beta _{j}}}{\frac {y_{i}-\mu _{i}(\beta _{j})}{\sigma ^{2}V(\mu _{i})}}}$

${\displaystyle U(\beta )={\begin{bmatrix}U_{1}(\beta )\\U_{2}(\beta )\\\vdots \\\vdots \\U_{p}(\beta )\end{bmatrix}}=D^{T}V^{-1}{\frac {(y-\mu )}{\sigma ^{2}}}}$

Где,

${\displaystyle \underbrace {D} _{n\times p}={\begin{bmatrix}{\frac {\partial \mu _{1}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{1}}{\partial \beta _{p}}}\\{\frac {\partial \mu _{2}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{2}}{\partial \beta _{p}}}\\\vdots \\\vdots \\{\frac {\partial \mu _{m}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{m}}{\partial \beta _{p}}}\end{bmatrix}}\underbrace {V} _{n\times n}=\operatorname {diag} (V(\mu _{1}),V(\mu _{2}),\ldots ,\ldots ,V(\mu _{n}))}$

Квазиинформационная матрица в :${\displaystyle \beta }$

${\displaystyle i_{b}=-{\frac {\partial U}{\partial \beta }}=\operatorname {Cov} (U(\beta ))={\frac {D^{T}V^{-1}D}{\sigma ^{2}}}}$

Получение функции оценки и информации о параметрах позволяет оценивать и делать выводы аналогично тому, как описано в разделе Метод наименьших квадратов с взвешиванием по приложению .${\displaystyle \beta }$

Непараметрический регрессионный анализ [ править ]

Сглаженная условная дисперсия против сглаженного условного среднего. Квадратичная форма указывает на гамма-распределение. Функция дисперсии гаммы V ( ) =${\displaystyle \mu }$${\displaystyle \mu ^{2}}$

Непараметрическая оценка функции дисперсии и ее важность широко обсуждалась в литературе ^{[5] [6] [7]} В непараметрическом регрессионном анализе цель состоит в том, чтобы выразить ожидаемое значение вашей переменной ответа ( y ) в зависимости от ваших предикторов ( X ). То есть мы стремимся оценить функцию среднего , не принимая параметрическую форму. Есть много форм непараметрических методов сглаживания, помогающих оценить функцию . Интересный подход - также посмотреть на непараметрическую функцию дисперсии ,${\displaystyle g(x)=\operatorname {E} [y\mid X=x]}$${\displaystyle g(x)}$${\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)}$. Непараметрическая функция дисперсии позволяет взглянуть на функцию среднего значения, поскольку она связана с функцией дисперсии, и замечать закономерности в данных.

${\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x]\right]^{2}}$

Пример подробно описан на рисунках справа. Целью проекта было определить (среди прочего), влияет ли предсказатель, количество лет в высшей лиге (бейсбол) на реакцию, зарплату , сделанный игроком. Начальная диаграмма разброса данных указывает на гетероскедастичность данных, поскольку дисперсия не является постоянной на каждом уровне предсказателя. Поскольку мы можем визуально обнаружить непостоянную дисперсию, теперь полезно построить график и посмотреть, указывает ли форма на какое-либо известное распределение. Можно оценить и с помощью общего сглаживания${\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x]\right]^{2}}$${\displaystyle \operatorname {E} [y^{2}\mid X=x]}$${\displaystyle \left[\operatorname {E} [y\mid X=x]\right]^{2}}$метод. График непараметрической сглаженной функции дисперсии может дать исследователю представление о взаимосвязи между дисперсией и средним значением. Изображение справа указывает на квадратичную зависимость между средним значением и дисперсией. Как мы видели выше, функция гамма-дисперсии в среднем квадратична.

Заметки [ править ]

Ссылки [ править ]

• Маккаллах, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели (второе изд.). Лондон: Чепмен и Холл. ISBN 0-412-31760-5.
• Хенрик Мэдсен и Пол Тайрегод (2011). Введение в общие и обобщенные линейные модели . Чепмен и Холл / CRC. ISBN 978-1-4200-9155-7.

Внешние ссылки [ править ]

• СМИ, связанные с функцией дисперсии на Викискладе?