Смешанная модель

Регрессивный анализ
Часть серии по

Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал
v т е

Смешанная модель , смешанные эффекты модели или смешанные ошибок модели компонентных представляет собой статистическую модель , содержащая как фиксированные эффекты и случайные эффекты . ^[1] Эти модели полезны в широком спектре дисциплин физических, биологических и социальных наук. Они особенно полезны в условиях, когда повторные измерения проводятся на одних и тех же статистических единицах ( продольное исследование), или когда измерения производятся по кластерам связанных статистических единиц. Из-за их преимущества в работе с пропущенными значениями модели со смешанными эффектами часто предпочтительнее более традиционных подходов, таких как ANOVA с повторными измерениями .

История и текущий статус [ править ]

Рональд Фишер представил модели со случайными эффектами для изучения корреляции значений черт между родственниками. ^[2] В 1950-х годах Чарльз Рой Хендерсон предоставил наилучшие линейные несмещенные оценки (BLUE) фиксированных эффектов и лучшие линейные несмещенные прогнозы (BLUP) случайных эффектов. ^[3]^[4]^[5]^[6] Впоследствии смешанное моделирование стало основной областью статистических исследований, включая работу по вычислению оценок максимального правдоподобия, нелинейные модели смешанных эффектов, отсутствующие данные в моделях смешанных эффектов и байесовские модели.оценка моделей смешанных эффектов. Смешанные модели применяются во многих дисциплинах, где выполняется множество коррелированных измерений для каждой интересующей единицы. Они широко используются в исследованиях с участием людей и животных в самых разных областях, от генетики до маркетинга, а также в бейсболе ^[7] и промышленной статистике. ^[8]

Определение [ править ]

В матричных обозначениях линейная смешанная модель может быть представлена как

{\ displaystyle {\ boldsymbol {y}} = X {\ boldsymbol {\ beta}} + Z {\ boldsymbol {u}} + {\ boldsymbol {\ epsilon}}}

куда

${\ displaystyle {\ boldsymbol {y}}}$ - известный вектор наблюдений со средним значением ; $E({\boldsymbol {y}})=X{\boldsymbol {\beta }}$
${\boldsymbol {\beta }}$ - неизвестный вектор фиксированных эффектов;
${\boldsymbol {u}}$ - неизвестный вектор случайных эффектов со средним значением и матрицей дисперсии-ковариации ; $E({\boldsymbol {u}})={\boldsymbol {0}}$ $\operatorname {var} ({\boldsymbol {u}})=G$
${\boldsymbol {\epsilon }}$ - неизвестный вектор случайных ошибок со средним значением и дисперсией ; $E({\boldsymbol {\epsilon }})={\boldsymbol {0}}$ $\operatorname {var} ({\boldsymbol {\epsilon }})=R$
$X$ и известны конструкции матрица , касающиеся наблюдения в и , соответственно. $Z$ ${\boldsymbol {y}}$ ${\boldsymbol {\beta }}$ ${\boldsymbol {u}}$

Оценка [ править ]

Совместная плотность и может быть записана в виде: . Предполагая нормальность , и , и максимизации совместной плотности над и дает «смешанные модели уравнений» Хендерсона , (MME) для линейных смешанных моделей: ^[3]^[5]^[9] ${\boldsymbol {y}}$ ${\boldsymbol {u}}$ $f({\boldsymbol {y}},{\boldsymbol {u}})=f({\boldsymbol {y}}|{\boldsymbol {u}})\,f({\boldsymbol {u}})$ ${\boldsymbol {u}}\sim {\mathcal {N}}({\boldsymbol {0}},G)$ ${\boldsymbol {\epsilon }}\sim {\mathcal {N}}({\boldsymbol {0}},R)$ $\mathrm {Cov} ({\boldsymbol {u}},{\boldsymbol {\epsilon }})={\boldsymbol {0}}$ ${\boldsymbol {\beta }}$ ${\boldsymbol {u}}$

{\begin{pmatrix}X'R^{-1}X&X'R^{-1}Z\\Z'R^{-1}X&Z'R^{-1}Z+G^{-1}\end{pmatrix}}{\begin{pmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {u}}}\end{pmatrix}}={\begin{pmatrix}X'R^{-1}{\boldsymbol {y}}\\Z'R^{-1}{\boldsymbol {y}}\end{pmatrix}}

Решения MME и являются наилучшими линейными несмещенными оценками (BLUE) и предикторами (BLUP) для и , соответственно. Это следствие теоремы Гаусса – Маркова, когда условная дисперсия результата не масштабируется до единичной матрицы. Если условная дисперсия известна, то оценка методом наименьших квадратов, взвешенная с обратной дисперсией, будет СИНИМ. Однако условное отклонение редко, если вообще известно. Поэтому желательно совместно оценивать дисперсию и оценки взвешенных параметров при решении MME. $\textstyle {\hat {\boldsymbol {\beta }}}$ $\textstyle {\hat {\boldsymbol {u}}}$ ${\boldsymbol {\beta }}$ ${\boldsymbol {u}}$

Одним из методов, используемых для подбора таких смешанных моделей, является метод EM-алгоритма, в котором компоненты дисперсии обрабатываются как ненаблюдаемые мешающие параметры в совместной вероятности. ^[10] В настоящее время это реализованный метод для основных пакетов статистического программного обеспечения R (lme в пакете nlme или lmer в пакете lme4), Python ( пакет statsmodels ), Julia (пакет MixedModels.jl) и SAS (proc смешанный). Решение уравнений смешанной модели является оценкой максимального правдоподобия, когда распределение ошибок является нормальным. ^[11]^[12]

См. Также [ править ]

Нелинейная модель смешанных эффектов
Модель с фиксированными эффектами
Обобщенная линейная смешанная модель
Линейная регрессия
Смешанный дизайн дисперсионного анализа
Многоуровневая модель
Модель случайных эффектов
Дизайн повторных мероприятий

Ссылки [ править ]

^ Baltagi, Бади H. (2008). Эконометрический анализ панельных данных (Четвертое изд.). Нью-Йорк: Вили. С. 54–55. ISBN 978-0-470-51886-1.
Перейти ↑ Fisher, RA (1918). «Соотношение родственников на основе менделевской наследственности» . Труды Королевского общества Эдинбурга . 52 (2): 399–433. DOI : 10.1017 / S0080456800012163 .
^ a b Робинсон, GK (1991). «Этот BLUP - хорошая вещь: оценка случайных эффектов» . Статистическая наука . 6 (1): 15–32. DOI : 10,1214 / сс / 1177011926 . JSTOR 2245695 .
^ CR Хендерсон; Оскар Кемпторн; SR Searle; CM фон Крозигк (1959). «Оценка экологических и генетических тенденций по записям, подлежащим уничтожению». Биометрия . Международное биометрическое общество. 15 (2): 192–218. DOI : 10.2307 / 2527669 . JSTOR 2527669 .
^ а б Л. Дейл Ван Флек. «Чарльз Рой Хендерсон, 1 апреля 1911 - 14 марта 1989» (PDF) . Национальная академия наук США .
^ Маклин, Роберт А .; Сандерс, Уильям Л .; Строуп, Уолтер В. (1991). «Единый подход к смешанным линейным моделям». Американский статистик . Американская статистическая ассоциация. 45 (1): 54–64. DOI : 10.2307 / 2685241 . JSTOR 2685241 .
^ гуру аналитики и смешанная модель
^ Смешанные модели в промышленности
^ Хендерсон, CR (1973). "Оценка производителей и генетические тенденции" (PDF) . Журнал зоотехники . Американское общество зоотехники. 1973 : 10–41. DOI : 10.1093 / ansci / 1973.Symposium.10 . Проверено 17 августа 2014 года .
^ Линдстром, ML; Бейтс, Д.М. (1988). «Алгоритмы Ньютона – Рафсона и EM для линейных моделей смешанных эффектов для данных с повторными измерениями». ДЖАСА . 83 (404): 1014–1021. DOI : 10.1080 / 01621459.1988.10478693 .
^ Laird, Nan M .; Уэр, Джеймс Х. (1982). «Модели случайных эффектов для продольных данных». Биометрия . Международное биометрическое общество. 38 (4): 963–974. DOI : 10.2307 / 2529876 . JSTOR 2529876 . PMID 7168798 .
^ Фитцморис, Гаррет М .; Laird, Nan M .; Уэр, Джеймс Х. (2004). Прикладной лонгитюдный анализ . Джон Вили и сыновья. С. 326–328.

Дальнейшее чтение [ править ]

Галецкий, Анджей; Буржиковски, Томаш (2013). Линейные модели со смешанными эффектами с использованием R: пошаговый подход . Нью-Йорк: Спрингер. ISBN 978-1-4614-3900-4.
Милликен, Джорджия; Джонсон, DE (1992). Анализ беспорядочных данных: Vol. I. Спланированные эксперименты . Нью-Йорк: Чепмен и Холл.
Запад, БТ; Уэлч, КБ; Галецкий А.Т. (2007). Линейные смешанные модели: Практическое руководство с использованием статистического программного обеспечения . Нью-Йорк: Chapman & Hall / CRC.

[1] Baltagi, Бади H. (2008). Эконометрический анализ панельных данных (Четвертое изд.). Нью-Йорк: Вили. С. 54–55. ISBN 978-0-470-51886-1.

[2] Перейти ↑ Fisher, RA (1918). «Соотношение родственников на основе менделевской наследственности» . Труды Королевского общества Эдинбурга . 52 (2): 399–433. DOI : 10.1017 / S0080456800012163 .

[GKR1991-3] Робинсон, GK (1991). «Этот BLUP - хорошая вещь: оценка случайных эффектов» . Статистическая наука . 6 (1): 15–32. DOI : 10,1214 / сс / 1177011926 . JSTOR 2245695 .

[4] CR Хендерсон; Оскар Кемпторн; SR Searle; CM фон Крозигк (1959). «Оценка экологических и генетических тенденций по записям, подлежащим уничтожению». Биометрия . Международное биометрическое общество. 15 (2): 192–218. DOI : 10.2307 / 2527669 . JSTOR 2527669 .

[LDVV1989-5] а б Л. Дейл Ван Флек. «Чарльз Рой Хендерсон, 1 апреля 1911 - 14 марта 1989» (PDF) . Национальная академия наук США .

[6] Маклин, Роберт А .; Сандерс, Уильям Л .; Строуп, Уолтер В. (1991). «Единый подход к смешанным линейным моделям». Американский статистик . Американская статистическая ассоциация. 45 (1): 54–64. DOI : 10.2307 / 2685241 . JSTOR 2685241 .

[7] гуру аналитики и смешанная модель

[8] Смешанные модели в промышленности

[9] Хендерсон, CR (1973). "Оценка производителей и генетические тенденции" (PDF) . Журнал зоотехники . Американское общество зоотехники. 1973 : 10–41. DOI : 10.1093 / ansci / 1973.Symposium.10 . Проверено 17 августа 2014 года .

[10] Линдстром, ML; Бейтс, Д.М. (1988). «Алгоритмы Ньютона – Рафсона и EM для линейных моделей смешанных эффектов для данных с повторными измерениями». ДЖАСА . 83 (404): 1014–1021. DOI : 10.1080 / 01621459.1988.10478693 .

[11] Laird, Nan M .; Уэр, Джеймс Х. (1982). «Модели случайных эффектов для продольных данных». Биометрия . Международное биометрическое общество. 38 (4): 963–974. DOI : 10.2307 / 2529876 . JSTOR 2529876 . PMID 7168798 .

[12] Фитцморис, Гаррет М .; Laird, Nan M .; Уэр, Джеймс Х. (2004). Прикладной лонгитюдный анализ . Джон Вили и сыновья. С. 326–328.