Линейная модель

В статистике термин линейная модель используется по-разному в зависимости от контекста. Чаще всего это происходит в связи с моделями регрессии, и этот термин часто используется как синоним модели линейной регрессии . Однако этот термин также используется в анализе временных рядов в другом значении. В каждом случае обозначение «линейный» используется для обозначения подкласса моделей, для которых возможно существенное снижение сложности соответствующей статистической теории .

Модели линейной регрессии [ править ]

Для случая регрессии статистическая модель выглядит следующим образом. Учитывая (случайную) выборку, связь между наблюдениями и независимыми переменными формулируется как${\ displaystyle (Y_ {i}, X_ {i1}, \ ldots, X_ {ip}), \, i = 1, \ ldots, n}$${\ displaystyle Y_ {i}}$ ${\ displaystyle X_ {ij}}$

${\ displaystyle Y_ {i} = \ beta _ {0} + \ beta _ {1} \ phi _ {1} (X_ {i1}) + \ cdots + \ beta _ {p} \ phi _ {p} ( X_ {ip}) + \ varepsilon _ {i} \ qquad i = 1, \ ldots, n}$

где могут быть нелинейные функции. Вышеупомянутые величины являются случайными величинами, представляющими ошибки во взаимосвязи. «Линейная» часть обозначения относится к появлению коэффициентов регрессии , линейным образом в приведенных выше отношениях. В качестве альтернативы можно сказать, что прогнозируемые значения, соответствующие приведенной выше модели, а именно${\ Displaystyle \ phi _ {1}, \ ldots, \ phi _ {p}}$${\ Displaystyle \ varepsilon _ {я}}$${\ displaystyle \ beta _ {j}}$

${\displaystyle {\hat {Y}}_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})\qquad (i=1,\ldots ,n),}$

являются линейными функциями от .${\displaystyle \beta _{j}}$

Учитывая, что оценка проводится на основе анализа наименьших квадратов , оценки неизвестных параметров определяются путем минимизации функции суммы квадратов.${\displaystyle \beta _{j}}$

${\displaystyle S=\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-\beta _{1}\phi _{1}(X_{i1})-\cdots -\beta _{p}\phi _{p}(X_{ip})\right)^{2}.}$

Из этого легко понять, что «линейный» аспект модели означает следующее:

• минимизируемая функция является квадратичной функцией, для которой минимизация является относительно простой задачей;${\displaystyle \beta _{j}}$
• производные функции являются линейными функциями, что упрощает поиск минимизирующих значений;${\displaystyle \beta _{j}}$
• минимизирующие значения являются линейными функциями наблюдений ;${\displaystyle \beta _{j}}$${\displaystyle Y_{i}}$
• минимизирующие значения являются линейными функциями случайных ошибок, что позволяет относительно легко определить статистические свойства оцененных значений .${\displaystyle \beta _{j}}$${\displaystyle \varepsilon _{i}}$${\displaystyle \beta _{j}}$

Модели временных рядов [ править ]

Примером модели линейного временного ряда является модель авторегрессионного скользящего среднего . Здесь модель значений { } временного ряда может быть записана в виде${\displaystyle X_{t}}$

${\displaystyle X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\phi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,}$

где снова величины являются случайными величинами, представляющими инновации, которые представляют собой новые случайные эффекты, которые появляются в определенное время, но также влияют на значения в более позднее время. В этом случае использование термина «линейная модель» относится к структуре вышеуказанной взаимосвязи при представлении в виде линейной функции прошлых значений того же временного ряда, а также текущих и прошлых значений инноваций. ^[1] Этот конкретный аспект структуры означает, что вывести отношения для среднего значения и ковариационных свойств временного ряда относительно просто . Обратите внимание, что здесь «линейная» часть термина «линейная модель» не относится к коэффициентам и${\displaystyle \varepsilon _{i}}$${\displaystyle X}$${\displaystyle X_{t}}$${\displaystyle \phi _{i}}$${\displaystyle \theta _{i}}$, как это было бы в случае регрессионной модели, которая внешне похожа по структуре.

Другое использование в статистике [ править ]

Есть и другие случаи, когда «нелинейная модель» используется для контраста с линейно структурированной моделью, хотя термин «линейная модель» обычно не применяется. Одним из примеров этого является нелинейное уменьшение размерности .

См. Также [ править ]

• Общая линейная модель
• Обобщенная линейная модель
• Линейная функция предиктора
• Линейная система
• Линейная регрессия
• Статистическая модель

Ссылки [ править ]