Общая линейная модель

Регрессивный анализ
Часть серии по

Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал
v т е

Линейная модель или общая многомерная модель регрессии просто компактный способ одновременной записи нескольких множественной линейной регрессии моделей. В этом смысле это не отдельная статистическая линейная модель . Различные модели множественной линейной регрессии можно компактно записать как ^[1]

{\ Displaystyle \ mathbf {Y} = \ mathbf {X} \ mathbf {B} + \ mathbf {U},}

где Y - матрица с серией многомерных измерений (каждый столбец представляет собой набор измерений одной из зависимых переменных ), X - матрица наблюдений по независимым переменным, которая может быть матрицей плана (каждый столбец представляет собой набор наблюдений по одна из независимых переменных), B - матрица, содержащая параметры, которые обычно подлежат оценке, а U - матрица, содержащая ошибки (шум). Ошибки обычно считаются некоррелированными между измерениями и следуют многомерному нормальному распределению.. Если ошибки не следует многомерному нормальному распределению, обобщенные линейные модели могут быть использованы для отдыха предположения относительно Y и U .

Общая линейная модель включает в себя ряд различных статистических моделей: ANOVA , ANCOVA , MANOVA , MANCOVA , обычную линейную регрессию , t- критерий и F- критерий . Общая линейная модель - это обобщение множественной линейной регрессии на случай более чем одной зависимой переменной. Если бы Y , B и U были векторами-столбцами , приведенное выше матричное уравнение представляло бы множественную линейную регрессию.

Проверка гипотез с помощью общей линейной модели может проводиться двумя способами: многомерным или в виде нескольких независимых одномерных тестов. В многомерных тестах столбцы Y тестируются вместе, тогда как в одномерных тестах столбцы Y тестируются независимо, т. Е. Как несколько одномерных тестов с одной и той же матрицей дизайна.

Сравнение с множественной линейной регрессией [ править ]

Множественная линейная регрессия - это обобщение простой линейной регрессии на случай более чем одной независимой переменной и частный случай общих линейных моделей, ограниченных одной зависимой переменной. Базовая модель множественной линейной регрессии:

{\ displaystyle Y_ {i} = \ beta _ {0} + \ beta _ {1} X_ {i1} + \ beta _ {2} X_ {i2} + \ ldots + \ beta _ {p} X_ {ip} + \ epsilon _ {i}}

для каждого наблюдения i = 1, ..., n .

В приведенной выше формуле мы рассматриваем n наблюдений одной зависимой переменной и p независимых переменных. Таким образом, Y _i - i- ^е наблюдение зависимой переменной, X _ij - i- ^е наблюдение j- ^й независимой переменной, j = 1, 2, ..., p . Значения β _j представляют параметры, которые необходимо оценить, а ε _i - i- ^я независимая одинаково распределенная нормальная ошибка.

В более общей многомерной линейной регрессии существует одно уравнение указанной выше формы для каждой из m > 1 зависимых переменных, которые имеют один и тот же набор независимых переменных и, следовательно, оцениваются одновременно друг с другом:

Y_{ij}=\beta _{0j}+\beta _{1j}X_{i1}+\beta _{2j}X_{i2}+\ldots +\beta _{pj}X_{ip}+\epsilon _{ij}

для всех наблюдений, индексированных как i = 1, ..., n, и для всех зависимых переменных, индексированных как j = 1, ..., m .

Обратите внимание, что, поскольку каждая зависимая переменная имеет свой собственный набор параметров регрессии, которые необходимо подогнать, с вычислительной точки зрения общая многомерная регрессия представляет собой просто последовательность стандартных множественных линейных регрессий с использованием одних и тех же независимых переменных.

Сравнение с обобщенной линейной моделью [ править ]

Общая линейная модель (GLM) ^[2]^[3] и обобщенная линейная модель (GLiM) ^[4]^[5] - это два широко используемых семейства статистических методов, чтобы связать некоторое количество непрерывных и / или категориальных предикторов с одним исходом. переменная .

Основное различие между этими двумя подходами в том , что GLM строго предполагает , что остатки будут следовать условно нормальному распределению , ^[3] , а Глит разрыхляет это предположение и позволяет ряд других распределений из экспоненциального семейства для невязок. ^[4] Следует отметить, что GLM является частным случаем GLiM, в котором распределение остатков следует условно нормальному распределению.

Распределение остатков в значительной степени зависит от типа и распределения переменной результата; различные типы переменных результата приводят к разнообразию моделей в семействе GLiM. Обычно используемые модели в семействе GLiM включают бинарную логистическую регрессию ^[6] для бинарных или дихотомических результатов, регрессию Пуассона ^[7] для подсчета результатов и линейную регрессию для непрерывных, нормально распределенных результатов. Это означает, что о GLiM можно говорить как об общем семействе статистических моделей или как о конкретных моделях для конкретных типов результатов.

	Общая линейная модель	Обобщенная линейная модель
Типичный метод оценки	Наименьшие квадраты , лучший линейный несмещенный прогноз	Максимальное правдоподобие или байесовское
Примеры	ANOVA , ANCOVA , линейная регрессия	линейная регрессия , логистическая регрессия , регрессия Пуассона , гамма-регрессия, ^[8] общая линейная модель
Расширения и связанные методы	MANOVA , MANCOVA , линейная смешанная модель	обобщенная линейная смешанная модель (GLMM), обобщенные оценочные уравнения (GEE)
Пакет и функции R	lm () в пакете статистики (базовый R)	glm () в пакете статистики (базовый R)
Функция Matlab	mvregress ()	glmfit ()
SAS процедуры	PROC GLM , PROC REG	PROC GENMOD , PROC LOGISTIC (для двоичных, упорядоченных или неупорядоченных категориальных результатов)
Команда Stata	регресс	glm
Команда SPSS	регрессия , глм	Генлин, логистика
Язык Wolfram Language и функция Mathematica	LinearModelFit [] ^[9]	GeneralizedLinearModelFit [] ^[10]
EViews команда	ls ^[11]	glm ^[12]

Приложения [ править ]

Применение общей линейной модели появляется при анализе множественных сканирований мозга в научных экспериментах, где Y содержит данные со сканеров мозга, X содержит переменные плана эксперимента и искажения. Обычно он тестируется одномерным способом (обычно в данном случае называется массовым одномерным ) и часто называется статистическим параметрическим отображением . ^[13]

См. Также [ править ]

Байесовская многомерная линейная регрессия

Примечания [ править ]

^ К. Mardia , JT Кент и JM Бибби (1979). Многомерный анализ . Академическая пресса . ISBN 0-12-471252-5.
^ Нетер J., Катнер, MH, Nachtsheim, CJ, и Вассерман, В. (1996). Прикладные линейные статистические модели (т. 4, с. 318). Чикаго: Ирвин.
^ a b Коэн, Дж., Коэн, П., Уэст, С.Г., & Эйкен, Л.С. (2003). Применял множественный регрессионный / корреляционный анализ для поведенческих наук.
^ a b McCullagh, P .; Нелдер, Дж. А. (1989), "Схема обобщенных линейных моделей", Обобщенные линейные модели , Springer, США, стр. 21–47, DOI : 10.1007 / 978-1-4899-3242-6_2 , ISBN 9780412317606
Перейти ↑ Fox, J. (2015). Прикладной регрессионный анализ и обобщенные линейные модели . Публикации Sage.
^ Хосмер Jr, DW, Lemeshow, S., & Sturdivant, RX (2013). Прикладная логистическая регрессия (Том 398). Джон Вили и сыновья.
^ Gardner, W .; Mulvey, EP; Шоу, EC (1995). «Регрессионный анализ количества и скорости: Пуассон, сверхдисперсный Пуассон и отрицательные биномиальные модели». Психологический бюллетень . 118 (3): 392–404. DOI : 10.1037 / 0033-2909.118.3.392 .
^ МакКаллаг, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели, второе издание . Бока-Ратон: Чепмен и Холл / CRC. ISBN 978-0-412-31760-6.
^ LinearModelFit , Центр документации языка Wolfram.
^ GeneralizedLinearModelFit , Центр документации языка Wolfram.
^ ls , Справка EViews.
^ glm , Справка EViews.
^ KJ Friston; А. П. Холмс; KJ Worsley; Ж.-Б. Полина; CD Frith; RSJ Frackowiak (1995). «Статистические параметрические карты в функциональной визуализации: общий линейный подход». Картирование человеческого мозга . 2 (4): 189–210. DOI : 10.1002 / hbm.460020402 .

Ссылки [ править ]

Кристенсен, Рональд (2002). Плоские ответы на сложные вопросы: теория линейных моделей (Третье изд.). Нью-Йорк: Спрингер. ISBN 0-387-95361-2.
Вичура, Майкл Дж. (2006). Бескординатный подход к линейным моделям . Кембриджская серия по статистической и вероятностной математике. Кембридж: Издательство Кембриджского университета. С. xiv + 199. ISBN 978-0-521-86842-6. Руководство по ремонту 2283455 .
Роулингс, Джон О.; Pantula, Sastry G .; Дики, Дэвид А., ред. (1998). «Прикладной регрессионный анализ». Тексты Springer в статистике. DOI : 10.1007 / b98890 . ISBN 0-387-98454-2. Cite journal requires |journal= (help)

[MardiaK1979Multivariate-1] К. Mardia , JT Кент и JM Бибби (1979). Многомерный анализ . Академическая пресса . ISBN 0-12-471252-5.

[2] Нетер J., Катнер, MH, Nachtsheim, CJ, и Вассерман, В. (1996). Прикладные линейные статистические модели (т. 4, с. 318). Чикаго: Ирвин.

[:1-3] Коэн, Дж., Коэн, П., Уэст, С.Г., & Эйкен, Л.С. (2003). Применял множественный регрессионный / корреляционный анализ для поведенческих наук.

[:0-4] McCullagh, P .; Нелдер, Дж. А. (1989), "Схема обобщенных линейных моделей", Обобщенные линейные модели , Springer, США, стр. 21–47, DOI : 10.1007 / 978-1-4899-3242-6_2 , ISBN 9780412317606

[5] Перейти ↑ Fox, J. (2015). Прикладной регрессионный анализ и обобщенные линейные модели . Публикации Sage.

[6] Хосмер Jr, DW, Lemeshow, S., & Sturdivant, RX (2013). Прикладная логистическая регрессия (Том 398). Джон Вили и сыновья.

[7] Gardner, W .; Mulvey, EP; Шоу, EC (1995). «Регрессионный анализ количества и скорости: Пуассон, сверхдисперсный Пуассон и отрицательные биномиальные модели». Психологический бюллетень . 118 (3): 392–404. DOI : 10.1037 / 0033-2909.118.3.392 .

[:02-8] МакКаллаг, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели, второе издание . Бока-Ратон: Чепмен и Холл / CRC. ISBN 978-0-412-31760-6.

[9] LinearModelFit , Центр документации языка Wolfram.

[10] GeneralizedLinearModelFit , Центр документации языка Wolfram.

[11] s , Справка EViews.

[12] , Справка EViews.

[13] KJ Friston; А. П. Холмс; KJ Worsley; Ж.-Б. Полина; CD Frith; RSJ Frackowiak (1995). «Статистические параметрические карты в функциональной визуализации: общий линейный подход». Картирование человеческого мозга . 2 (4): 189–210. DOI : 10.1002 / hbm.460020402 .