Линейная модель или общая многомерная модель регрессии представляет собой компактный способ одновременной записи нескольких множественной линейной регрессии моделей. В этом смысле это не отдельная статистическая линейная модель . Различные модели множественной линейной регрессии можно компактно записать как [1]
где Y - матрица с серией многомерных измерений (каждый столбец представляет собой набор измерений одной из зависимых переменных ), X - матрица наблюдений по независимым переменным, которая может быть матрицей плана (каждый столбец представляет собой набор наблюдений по одна из независимых переменных), B - матрица, содержащая параметры, которые обычно подлежат оценке, а U - матрица, содержащая ошибки (шум). Ошибки обычно считаются некоррелированными между измерениями и подчиняются многомерному нормальному распределению . Если ошибки не следует многомерному нормальному распределению, обобщенные линейные модели могут быть использованы для отдыха предположения относительно Y и U .
Общая линейная модель включает в себя ряд различных статистических моделей: ANOVA , ANCOVA , MANOVA , MANCOVA , обычную линейную регрессию , t- критерий и F- критерий . Общая линейная модель является обобщением множественной линейной регрессии на случай более чем одной зависимой переменной. Если бы Y , B и U были векторами-столбцами , приведенное выше матричное уравнение представляло бы множественную линейную регрессию.
Проверка гипотез с помощью общей линейной модели может проводиться двумя способами: многомерным или в виде нескольких независимых одномерных тестов. В многомерных тестах столбцы Y тестируются вместе, тогда как в одномерных тестах столбцы Y тестируются независимо, т. Е. Как несколько одномерных тестов с одной и той же матрицей дизайна.
Сравнение с множественной линейной регрессией
Множественная линейная регрессия - это обобщение простой линейной регрессии на случай более чем одной независимой переменной и частный случай общих линейных моделей, ограниченных одной зависимой переменной. Базовая модель множественной линейной регрессии:
для каждого наблюдения i = 1, ..., n .
В приведенной выше формуле мы рассматриваем n наблюдений одной зависимой переменной и p независимых переменных. Таким образом, Y i - i- е наблюдение зависимой переменной, X ij - i- е наблюдение j- й независимой переменной, j = 1, 2, ..., p . Значения β j представляют параметры, которые необходимо оценить, а ε i - i- я независимая одинаково распределенная нормальная ошибка.
В более общей многомерной линейной регрессии существует одно уравнение приведенной выше формы для каждой из m > 1 зависимых переменных, которые имеют один и тот же набор независимых переменных и, следовательно, оцениваются одновременно друг с другом:
для всех наблюдений, индексированных как i = 1, ..., n, и для всех зависимых переменных, индексированных как j = 1, ..., m .
Обратите внимание: поскольку каждая зависимая переменная имеет свой собственный набор параметров регрессии, которые необходимо подобрать, с вычислительной точки зрения общая многомерная регрессия представляет собой просто последовательность стандартных множественных линейных регрессий с использованием одних и тех же независимых переменных.
Сравнение с обобщенной линейной моделью
Общая линейная модель и обобщенная линейная модель (GLM) [2] [3] - это два обычно используемых семейства статистических методов для связи некоторого количества непрерывных и / или категориальных предикторов с одной переменной результата .
Основное различие между этими двумя подходами в том , что общая линейная модели строго предполагает , что остатки будут следовать условно нормальному распределению , [4] в то время как GLM ослабнет это предположение и позволяет для множества других распределений из экспоненциального семейства для остатков. [2] Следует отметить, что общая линейная модель является частным случаем GLM, в котором распределение остатков следует условно нормальному распределению.
Распределение остатков во многом зависит от типа и распределения переменной результата; различные типы переменных результата приводят к разнообразию моделей в семействе GLM. Обычно используемые модели в семействе GLM включают бинарную логистическую регрессию [5] для бинарных или дихотомических результатов, регрессию Пуассона [6] для подсчета результатов и линейную регрессию для непрерывных, нормально распределенных результатов. Это означает, что о GLM можно говорить как об общем семействе статистических моделей или как о конкретных моделях для конкретных типов результатов.
Общая линейная модель | Обобщенная линейная модель | |
---|---|---|
Типовой метод оценки | Метод наименьших квадратов , лучший линейный несмещенный прогноз | Максимальное правдоподобие или байесовское |
Примеры | ANOVA , ANCOVA , линейная регрессия | линейная регрессия , логистическая регрессия , регрессия Пуассона , гамма-регрессия, [7] общая линейная модель |
Расширения и связанные методы | MANOVA , MANCOVA , линейная смешанная модель | обобщенная линейная смешанная модель (GLMM), обобщенные оценочные уравнения (GEE) |
Пакет и функции R | lm () в пакете статистики (базовый R) | glm () в пакете статистики (базовый R) |
Функция Matlab | mvregress () | glmfit () |
SAS процедуры | PROC GLM , PROC REG | PROC GENMOD , PROC LOGISTIC (для двоичных и упорядоченных или неупорядоченных категориальных результатов) |
Команда Stata | регресс | glm |
Команда SPSS | регрессия , глм | Генлин, логистика |
Язык Wolfram Language и функция Mathematica | LinearModelFit [] [8] | GeneralizedLinearModelFit [] [9] |
EViews команда | ls [10] | glm [11] |
Приложения
Применение общей линейной модели появляется при анализе нескольких сканирований мозга в научных экспериментах, где Y содержит данные со сканеров мозга, X содержит переменные плана эксперимента и искажения. Обычно он тестируется одномерным способом (обычно в данном случае называется массово-одномерным ) и часто называется статистическим параметрическим отображением . [12]
Смотрите также
- Байесовская многомерная линейная регрессия
Заметки
- ^ К. Mardia , JT Кент и JM Бибби (1979). Многомерный анализ . Академическая пресса . ISBN 0-12-471252-5.
- ^ а б McCullagh, P .; Нелдер, Дж. А. (1989), "Схема обобщенных линейных моделей", Обобщенные линейные модели , Springer, США, стр. 21–47, DOI : 10.1007 / 978-1-4899-3242-6_2 , ISBN 9780412317606
- Перейти ↑ Fox, J. (2015). Прикладной регрессионный анализ и обобщенные линейные модели . Публикации Sage.
- Перейти ↑ Cohen, J., Cohen, P., West, SG, & Aiken, LS (2003). Применял множественный регрессионный / корреляционный анализ для поведенческих наук.
- ^ Хосмер Jr, DW, Lemeshow, S., & Sturdivant, RX (2013). Прикладная логистическая регрессия (Том 398). Джон Вили и сыновья.
- ^ Gardner, W .; Mulvey, EP; Шоу, EC (1995). «Регрессионный анализ количества и скорости: Пуассон, сверхдисперсный Пуассон и отрицательные биномиальные модели». Психологический бюллетень . 118 (3): 392–404. DOI : 10.1037 / 0033-2909.118.3.392 .
- ^ Маккаллах, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели, второе издание . Бока-Ратон: Чепмен и Холл / CRC. ISBN 978-0-412-31760-6.
- ^ LinearModelFit , Центр документации языка Wolfram.
- ^ GeneralizedLinearModelFit , Центр документации языка Wolfram.
- ^ ls , Справка EViews.
- ^ glm , Справка EViews.
- ^ KJ Friston; А. П. Холмс; KJ Worsley; Ж.-Б. Полина; CD Frith; RSJ Frackowiak (1995). «Статистические параметрические карты в функциональной визуализации: общий линейный подход». Картирование человеческого мозга . 2 (4): 189–210. DOI : 10.1002 / hbm.460020402 .
Рекомендации
- Кристенсен, Рональд (2002). Плоские ответы на сложные вопросы: теория линейных моделей (Третье изд.). Нью-Йорк: Спрингер. ISBN 0-387-95361-2.
- Вичура, Майкл Дж. (2006). Бескординатный подход к линейным моделям . Кембриджская серия по статистической и вероятностной математике. Кембридж: Издательство Кембриджского университета. С. xiv + 199. ISBN 978-0-521-86842-6. Руководство по ремонту 2283455 .
- Роулингс, Джон О.; Pantula, Sastry G .; Дики, Дэвид А., ред. (1998). «Прикладной регрессионный анализ». Тексты Springer в статистике. DOI : 10.1007 / b98890 . ISBN 0-387-98454-2. Цитировать журнал требует
|journal=
( помощь )