Полупараметрическая регрессия

Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Август 2015 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал
v т е

В статистике , полупараметрическая регрессии включает регрессии модели , которые сочетают в себе параметрические и непараметрические модели. Они часто используются в ситуациях, когда полностью непараметрическая модель может не работать, или когда исследователь хочет использовать параметрическую модель, но функциональная форма по отношению к подмножеству регрессоров или плотность ошибок неизвестны. Полупараметрические регрессионные модели представляют собой особый тип полупараметрического моделирования, и, поскольку полупараметрические модели содержат параметрический компонент, они полагаются на параметрические допущения и могут быть неправильно указаны и непоследовательны , как и полностью параметрическая модель.

Методы [ править ]

Было предложено и разработано множество различных методов полупараметрической регрессии. Наиболее популярными методами являются частично линейные, индексные и вариативные модели коэффициентов.

Частично линейные модели [ править ]

Частично линейная модель задается

${\ displaystyle Y_ {i} = X '_ {i} \ beta + g \ left (Z_ {i} \ right) + u_ {i}, \, \ quad i = 1, \ ldots, n, \,}$

где - зависимая переменная, - вектор независимых переменных, - вектор неизвестных параметров и . Параметрическая часть частично линейной модели задается вектором параметров, а непараметрическая часть - неизвестной функцией . Предполагается, что данные совпадают, а модель допускает процесс условно гетероскедастической ошибки неизвестной формы. Этот тип модели был предложен Робинсоном (1988) и расширен для обработки категориальных ковариат Расином и Ли (2007).${\ displaystyle Y_ {i}}$${\ displaystyle X_ {i}}$${\ displaystyle p \ times 1}$${\ displaystyle \ beta}$${\ displaystyle p \ times 1}$${\ displaystyle Z_ {i} \ in \ operatorname {R} ^ {q}}$${\ displaystyle \ beta}$${\ displaystyle g \ left (Z_ {i} \ right)}$${\displaystyle E\left(u_{i}|X_{i},Z_{i}\right)=0}$${\displaystyle E\left(u_{i}^{2}|x,z\right)=\sigma ^{2}\left(x,z\right)}$

Этот способ реализуется путем получения состоятельной оценки , а затем выводе оценки из непараметрической регрессии в по с использованием соответствующего метода непараметрической регрессии. ^[1]${\displaystyle {\sqrt {n}}}$${\displaystyle \beta }$${\displaystyle g\left(Z_{i}\right)}$${\displaystyle Y_{i}-X'_{i}{\hat {\beta }}}$${\displaystyle z}$

Индексные модели [ править ]

Единая индексная модель принимает вид

${\displaystyle Y=g\left(X'\beta _{0}\right)+u,\,}$

где , и определены как ранее, и условие ошибки удовлетворяет . Модель с одним индексом получила свое название от параметрической части модели, которая представляет собой единый скалярный индекс. Непараметрическая часть - это неизвестная функция .${\displaystyle Y}$${\displaystyle X}$${\displaystyle \beta _{0}}$${\displaystyle u}$${\displaystyle E\left(u|X\right)=0}$${\displaystyle x'\beta }$${\displaystyle g\left(\cdot \right)}$

Метод Ичимуры [ править ]

Метод единой индексной модели, разработанный Ичимурой (1993), заключается в следующем. Рассмотрим ситуацию, в которой непрерывно. Учитывая известную форму функции , можно оценить с помощью нелинейного метода наименьших квадратов, чтобы минимизировать функцию${\displaystyle y}$${\displaystyle g\left(\cdot \right)}$${\displaystyle \beta _{0}}$

${\displaystyle \sum _{i=1}\left(Y_{i}-g\left(X'_{i}\beta \right)\right)^{2}.}$

Поскольку функциональная форма неизвестна, нам необходимо ее оценить. По заданному значению для оценки функции${\displaystyle g\left(\cdot \right)}$${\displaystyle \beta }$

${\displaystyle G\left(X'_{i}\beta \right)=E\left(Y_{i}|X'_{i}\beta \right)=E\left[g\left(X'_{i}\beta _{o}\right)|X'_{i}\beta \right]}$

используя метод ядра . Ичимура (1993) предлагает оценивать с помощью${\displaystyle g\left(X'_{i}\beta \right)}$

${\displaystyle {\hat {G}}_{-i}\left(X'_{i}\beta \right),\,}$

несмываемые один выход непараметрического ядра оценки .${\displaystyle G\left(X'_{i}\beta \right)}$

Оценка Кляйна и Спади [ править ]

Если в качестве зависимой переменной является двоичным и и предполагаются независимыми , Клейн и Spady (1993) предлагают методику оценки с использованием максимального правдоподобия методов. Функция логарифмического правдоподобия определяется выражением${\displaystyle y}$${\displaystyle X_{i}}$${\displaystyle u_{i}}$${\displaystyle \beta }$

${\displaystyle L\left(\beta \right)=\sum _{i}\left(1-Y_{i}\right)\ln \left(1-{\hat {g}}_{-i}\left(X'_{i}\beta \right)\right)+\sum _{i}Y_{i}\ln \left({\hat {g}}_{-i}\left(X'_{i}\beta \right)\right),}$

где - оценка исключения одного исключения .${\displaystyle {\hat {g}}_{-i}\left(X'_{i}\beta \right)}$

Модели сглаживаемых коэффициентов / переменных коэффициентов [ править ]

Хасти и Тибширани (1993) предлагают модель с гладкими коэффициентами

${\displaystyle Y_{i}=\alpha \left(Z_{i}\right)+X'_{i}\beta \left(Z_{i}\right)+u_{i}=\left(1+X'_{i}\right)\left({\begin{array}{c}\alpha \left(Z_{i}\right)\\\beta \left(Z_{i}\right)\end{array}}\right)+u_{i}=W'_{i}\gamma \left(Z_{i}\right)+u_{i},}$

где - вектор, а - вектор неопределенных гладких функций от .${\displaystyle X_{i}}$${\displaystyle k\times 1}$${\displaystyle \beta \left(z\right)}$${\displaystyle z}$

${\displaystyle \gamma \left(\cdot \right)}$ может быть выражено как

${\displaystyle \gamma \left(Z_{i}\right)=\left(E\left[W_{i}W'_{i}|Z_{i}\right]\right)^{-1}E\left[W_{i}Y_{i}|Z_{i}\right].}$

См. Также [ править ]

• Непараметрическая регрессия
• Эффективная степень свободы

Примечания [ править ]

Ссылки [ править ]

• Робинсон, PM (1988). «Root- п Последовательная Полупараметрическая регрессия». Econometrica . Эконометрическое общество. 56 (4): 931–954. DOI : 10.2307 / 1912705 . JSTOR  1912705 .
• Ли, Ци; Расин, Джеффри С. (2007). Непараметрическая эконометрика: теория и практика . Издательство Принстонского университета. ISBN 978-0-691-12161-1.
• Расин, Дж. С.; Куи, Л. (2007). «Частично линейный оценщик ядра для категориальных данных». Неопубликованная рукопись, Университет Макмастера .
• Ичимура, Х. (1993). «Полупараметрический метод наименьших квадратов (SLS) и взвешенная оценка SLS для моделей с одним индексом» . Журнал эконометрики . 58 (1–2): 71–120. DOI : 10.1016 / 0304-4076 (93) 90114-K .
• Кляйн, RW; RH Spady (1993). «Эффективный полупараметрический оценщик для моделей двоичного ответа». Econometrica . Эконометрическое общество. 61 (2): 387–421. CiteSeerX  10.1.1.318.4925 . DOI : 10.2307 / 2951556 . JSTOR  2951556 .
• Hastie, T .; Р. Тибширани (1993). «Модели с переменным коэффициентом». Журнал Королевского статистического общества, Series B . 55 : 757–796.