Байесовская многомерная линейная регрессия

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовская многомерная
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброта подгонки Студентизированный остаток Теорема Гаусса – Маркова
Математический портал
v т е

В статистике , байесовский многомерный линейной регрессии является байесовский подход к многомерной линейной регрессии , т.е. линейной регрессии , где прогнозируемый результат является вектором коррелированных случайных величин , а не одной скалярной случайной величины. Более общую трактовку этого подхода можно найти в статье « Оценка MMSE» .

Подробности [ править ]

Рассмотрим задачу регрессии, в которой предсказываемая зависимая переменная является не одним вещественным скаляром, а вектором коррелированных действительных чисел длиной m . Как и в стандартной настройке регрессии, есть n наблюдений, где каждое наблюдение i состоит из k -1 независимых переменных , сгруппированных в вектор длины k (где фиктивная переменная со значением 1 была добавлена, чтобы учесть коэффициент пересечения ). Это можно рассматривать как набор из m задач регрессии для каждого наблюдения i :${\ Displaystyle \ mathbf {х} _ {я}}$

${\ displaystyle y_ {i, 1} = \ mathbf {x} _ {i} ^ {\ rm {T}} {\ boldsymbol {\ beta}} _ {1} + \ epsilon _ {i, 1}}$

${\ displaystyle \ cdots}$

${\ displaystyle y_ {i, m} = \ mathbf {x} _ {i} ^ {\ rm {T}} {\ boldsymbol {\ beta}} _ {m} + \ epsilon _ {i, m}}$

где набор ошибок все коррелирован. Эквивалентно, это можно рассматривать как единую проблему регрессии, где результатом является вектор-строка, а векторы коэффициентов регрессии уложены друг за другом, как показано ниже:${\ Displaystyle \ {\ epsilon _ {я, 1}, \ ldots, \ epsilon _ {я, м} \}}$ ${\displaystyle \mathbf {y} _{i}^{\rm {T}}}$

${\displaystyle \mathbf {y} _{i}^{\rm {T}}=\mathbf {x} _{i}^{\rm {T}}\mathbf {B} +{\boldsymbol {\epsilon }}_{i}^{\rm {T}}.}$

Матрица коэффициентов B - это матрица, в которой векторы коэффициентов для каждой задачи регрессии расположены горизонтально:${\displaystyle k\times m}$${\displaystyle {\boldsymbol {\beta }}_{1},\ldots ,{\boldsymbol {\beta }}_{m}}$

${\displaystyle \mathbf {B} ={\begin{bmatrix}{\begin{pmatrix}\\{\boldsymbol {\beta }}_{1}\\\\\end{pmatrix}}\cdots {\begin{pmatrix}\\{\boldsymbol {\beta }}_{m}\\\\\end{pmatrix}}\end{bmatrix}}={\begin{bmatrix}{\begin{pmatrix}\beta _{1,1}\\\vdots \\\beta _{k,1}\\\end{pmatrix}}\cdots {\begin{pmatrix}\beta _{1,m}\\\vdots \\\beta _{k,m}\\\end{pmatrix}}\end{bmatrix}}.}$

Вектор шума для каждого наблюдения i является нормальным в совокупности, так что результаты для данного наблюдения коррелированы:${\displaystyle {\boldsymbol {\epsilon }}_{i}}$

${\displaystyle {\boldsymbol {\epsilon }}_{i}\sim N(0,{\boldsymbol {\Sigma }}_{\epsilon }).}$

Мы можем записать всю проблему регрессии в матричной форме как:

${\displaystyle \mathbf {Y} =\mathbf {X} \mathbf {B} +\mathbf {E} ,}$

где Y и E - матрицы. Конструкции матрица X представляет собой матрицу с наблюдениями уложенных вертикально, как и в стандартной линейной регрессии установки:${\displaystyle n\times m}$ ${\displaystyle n\times k}$

${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\rm {T}}\\\mathbf {x} _{2}^{\rm {T}}\\\vdots \\\mathbf {x} _{n}^{\rm {T}}\end{bmatrix}}={\begin{bmatrix}x_{1,1}&\cdots &x_{1,k}\\x_{2,1}&\cdots &x_{2,k}\\\vdots &\ddots &\vdots \\x_{n,1}&\cdots &x_{n,k}\end{bmatrix}}.}$

Классическое решение частотного линейного метода наименьших квадратов состоит в простой оценке матрицы коэффициентов регрессии с использованием псевдообратной матрицы Мура-Пенроуза :${\displaystyle {\hat {\mathbf {B} }}}$

${\displaystyle {\hat {\mathbf {B} }}=(\mathbf {X} ^{\rm {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\rm {T}}\mathbf {Y} }$.

Чтобы получить байесовское решение, нам нужно указать условное правдоподобие, а затем найти подходящее сопряженное априорное значение. Как и в одномерном случае линейной байесовской регрессии , мы обнаружим, что можем указать естественный условный сопряженный априор (который зависит от масштаба).

Запишем нашу условную вероятность в виде ^[1]

${\displaystyle \rho (\mathbf {E} |{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp(-{\frac {1}{2}}{\rm {tr}}(\mathbf {E} ^{\rm {T}}\mathbf {E} {\boldsymbol {\Sigma }}_{\epsilon }^{-1})),}$

писать ошибки в терминах и урожайности${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {Y} ,\mathbf {X} ,}$${\displaystyle \mathbf {B} }$

${\displaystyle \rho (\mathbf {Y} |\mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp(-{\frac {1}{2}}{\rm {tr}}((\mathbf {Y} -\mathbf {X} \mathbf {\mathbf {B} } )^{\rm {T}}(\mathbf {Y} -\mathbf {X} \mathbf {\mathbf {B} } ){\boldsymbol {\Sigma }}_{\epsilon }^{-1})),}$

Мы ищем естественный сопряженный априор - совместную плотность, которая имеет ту же функциональную форму, что и вероятность. Поскольку вероятность квадратична по , мы переписываем правдоподобие, чтобы оно было нормальным (отклонение от классической выборочной оценки).${\displaystyle \rho (\mathbf {B} ,\Sigma _{\epsilon })}$${\displaystyle \mathbf {B} }$${\displaystyle (\mathbf {B} -{\hat {\mathbf {B} }})}$

Используя ту же технику, что и в случае с байесовской линейной регрессией , мы разлагаем экспоненциальный член, используя матричную форму метода суммы квадратов. Однако здесь нам также потребуется использовать матричное дифференциальное исчисление ( произведение Кронекера и преобразования векторизации ).

Во-первых, давайте применим сумму квадратов, чтобы получить новое выражение для вероятности:

${\displaystyle \rho (\mathbf {Y} |\mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-(n-k)/2}\exp(-{\rm {tr}}({\frac {1}{2}}\mathbf {S} ^{\rm {T}}\mathbf {S} {\boldsymbol {\Sigma }}_{\epsilon }^{-1}))|{\boldsymbol {\Sigma }}_{\epsilon }|^{-k/2}\exp(-{\frac {1}{2}}{\rm {tr}}((\mathbf {B} -{\hat {\mathbf {B} }})^{\rm {T}}\mathbf {X} ^{\rm {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})),}$

${\displaystyle \mathbf {S} =\mathbf {Y} -\mathbf {X} {\hat {\mathbf {B} }}}$

Мы хотели бы разработать условную форму для априорных точек:

${\displaystyle \rho (\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })=\rho ({\boldsymbol {\Sigma }}_{\epsilon })\rho (\mathbf {B} |{\boldsymbol {\Sigma }}_{\epsilon }),}$

где - обратное распределение Уишарта и - некоторая форма нормального распределения в матрице . Это достигается с помощью преобразования векторизации , которое преобразует вероятность из функции матриц в функцию векторов .${\displaystyle \rho ({\boldsymbol {\Sigma }}_{\epsilon })}$${\displaystyle \rho (\mathbf {B} |{\boldsymbol {\Sigma }}_{\epsilon })}$${\displaystyle \mathbf {B} }$${\displaystyle \mathbf {B} ,{\hat {\mathbf {B} }}}$${\displaystyle {\boldsymbol {\beta }}={\rm {vec}}(\mathbf {B} ),{\hat {\boldsymbol {\beta }}}={\rm {vec}}({\hat {\mathbf {B} }})}$

Написать

${\displaystyle {\rm {tr}}((\mathbf {B} -{\hat {\mathbf {B} }})^{\rm {T}}\mathbf {X} ^{\rm {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})={\rm {vec}}(\mathbf {B} -{\hat {\mathbf {B} }})^{\rm {T}}{\rm {vec}}(\mathbf {X} ^{\rm {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})}$

Позволять

${\displaystyle {\rm {vec}}(\mathbf {X} ^{\rm {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})=({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\rm {T}}\mathbf {X} ){\rm {vec}}(\mathbf {B} -{\hat {\mathbf {B} }}),}$

где обозначает произведение Кронекера матриц A и B , обобщение внешнего произведения, которое умножает матрицу на матрицу для создания матрицы, состоящей из каждой комбинации произведений элементов из двух матриц.${\displaystyle \mathbf {A} \otimes \mathbf {B} }$${\displaystyle m\times n}$${\displaystyle p\times q}$${\displaystyle mp\times nq}$

потом

${\displaystyle {\rm {vec}}(\mathbf {B} -{\hat {\mathbf {B} }})^{\rm {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\rm {T}}\mathbf {X} ){\rm {vec}}(\mathbf {B} -{\hat {\mathbf {B} }})}$

${\displaystyle =({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\rm {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\rm {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})}$

что приведет к нормальной вероятности в .${\displaystyle ({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})}$

С вероятностью в более понятной форме, теперь мы можем найти естественное (условное) сопряжение априорной точки.

Сопряженное предшествующее распределение [ править ]

Естественное сопряжение до использования векторизованной переменной имеет вид: ^[1]${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle \rho ({\boldsymbol {\beta }},{\boldsymbol {\Sigma }}_{\epsilon })=\rho ({\boldsymbol {\Sigma }}_{\epsilon })\rho ({\boldsymbol {\beta }}|{\boldsymbol {\Sigma }}_{\epsilon })}$,

куда

${\displaystyle \rho ({\boldsymbol {\Sigma }}_{\epsilon })\sim {\mathcal {W}}^{-1}(\mathbf {V_{0}} ,{\boldsymbol {\nu }}_{0})}$

и

${\displaystyle \rho ({\boldsymbol {\beta }}|{\boldsymbol {\Sigma }}_{\epsilon })\sim N({\boldsymbol {\beta }}_{0},{\boldsymbol {\Sigma }}_{\epsilon }\otimes {\boldsymbol {\Lambda }}_{0}^{-1}).}$

Апостериорное распространение [ править ]

Используя вышеуказанные априорное значение и вероятность, апостериорное распределение можно выразить как: ^[1]

${\displaystyle \rho ({\boldsymbol {\beta }},{\boldsymbol {\Sigma }}_{\epsilon }|\mathbf {Y} ,\mathbf {X} )\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-({\boldsymbol {\nu }}_{0}+m+1)/2}\exp {(-{\frac {1}{2}}{\rm {tr}}(\mathbf {V_{0}} {\boldsymbol {\Sigma }}_{\epsilon }^{-1}))}}$

${\displaystyle \times |{\boldsymbol {\Sigma }}_{\epsilon }|^{-k/2}\exp {(-{\frac {1}{2}}{\rm {tr}}((\mathbf {B} -\mathbf {B_{0}} )^{\rm {T}}{\boldsymbol {\Lambda }}_{0}(\mathbf {B} -\mathbf {B_{0}} ){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))}}$

${\displaystyle \times |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp {(-{\frac {1}{2}}{\rm {tr}}((\mathbf {Y} -\mathbf {XB} )^{\rm {T}}(\mathbf {Y} -\mathbf {XB} ){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))},}$

где . Термины, в которых участвуют, могут быть сгруппированы (с ) с использованием:${\displaystyle {\rm {vec}}(\mathbf {B_{0}} )={\boldsymbol {\beta }}_{0}}$${\displaystyle \mathbf {B} }$${\displaystyle {\boldsymbol {\Lambda }}_{0}=\mathbf {U} ^{\rm {T}}\mathbf {U} }$

${\displaystyle (\mathbf {B} -\mathbf {B_{0}} )^{\rm {T}}{\boldsymbol {\Lambda }}_{0}(\mathbf {B} -\mathbf {B_{0}} )+(\mathbf {Y} -\mathbf {XB} )^{\rm {T}}(\mathbf {Y} -\mathbf {XB} )}$

${\displaystyle =\left({\begin{bmatrix}\mathbf {Y} \\\mathbf {UB_{0}} \end{bmatrix}}-{\begin{bmatrix}\mathbf {X} \\\mathbf {U} \end{bmatrix}}\mathbf {B} \right)^{\rm {T}}\left({\begin{bmatrix}\mathbf {Y} \\\mathbf {UB_{0}} \end{bmatrix}}-{\begin{bmatrix}\mathbf {X} \\\mathbf {U} \end{bmatrix}}\mathbf {B} \right)}$

${\displaystyle =\left({\begin{bmatrix}\mathbf {Y} \\\mathbf {UB_{0}} \end{bmatrix}}-{\begin{bmatrix}\mathbf {X} \\\mathbf {U} \end{bmatrix}}\mathbf {B_{n}} \right)^{\rm {T}}\left({\begin{bmatrix}\mathbf {Y} \\\mathbf {UB_{0}} \end{bmatrix}}-{\begin{bmatrix}\mathbf {X} \\\mathbf {U} \end{bmatrix}}\mathbf {B_{n}} \right)+(\mathbf {B} -\mathbf {B_{n}} )^{\rm {T}}(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})(\mathbf {B} -\mathbf {B_{n}} )}$

${\displaystyle =(\mathbf {Y} -\mathbf {XB_{n}} )^{\rm {T}}(\mathbf {Y} -\mathbf {XB_{n}} )+(\mathbf {B_{0}} -\mathbf {B_{n}} )^{\rm {T}}{\boldsymbol {\Lambda }}_{0}(\mathbf {B_{0}} -\mathbf {B_{n}} )+(\mathbf {B} -\mathbf {B_{n}} )^{\rm {T}}(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})(\mathbf {B} -\mathbf {B_{n}} )}$,

с

${\displaystyle \mathbf {B_{n}} =(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}(\mathbf {X} ^{\rm {T}}\mathbf {X} {\hat {\mathbf {B} }}+{\boldsymbol {\Lambda }}_{0}\mathbf {B_{0}} )=(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}(\mathbf {X} ^{\rm {T}}\mathbf {Y} +{\boldsymbol {\Lambda }}_{0}\mathbf {B_{0}} )}$.

Теперь это позволяет нам записать апостериор в более удобной форме:

${\displaystyle \rho ({\boldsymbol {\beta }},{\boldsymbol {\Sigma }}_{\epsilon }|\mathbf {Y} ,\mathbf {X} )\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-({\boldsymbol {\nu }}_{0}+m+n+1)/2}\exp {(-{\frac {1}{2}}{\rm {tr}}((\mathbf {V_{0}} +(\mathbf {Y} -\mathbf {XB_{n}} )^{\rm {T}}(\mathbf {Y} -\mathbf {XB_{n}} )+(\mathbf {B_{n}} -\mathbf {B_{0}} )^{\rm {T}}{\boldsymbol {\Lambda }}_{0}(\mathbf {B_{n}} -\mathbf {B_{0}} )){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))}}$

${\displaystyle \times |{\boldsymbol {\Sigma }}_{\epsilon }|^{-k/2}\exp {(-{\frac {1}{2}}{\rm {tr}}((\mathbf {B} -\mathbf {B_{n}} )^{\rm {T}}(\mathbf {X} ^{T}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})(\mathbf {B} -\mathbf {B_{n}} ){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))}}$.

Это принимает форму обратного распределения Уишарта, умноженного на матричное нормальное распределение :

${\displaystyle \rho ({\boldsymbol {\Sigma }}_{\epsilon }|\mathbf {Y} ,\mathbf {X} )\sim {\mathcal {W}}^{-1}(\mathbf {V_{n}} ,{\boldsymbol {\nu }}_{n})}$

и

${\displaystyle \rho (\mathbf {B} |\mathbf {Y} ,\mathbf {X} ,{\boldsymbol {\Sigma }}_{\epsilon })\sim {\mathcal {MN}}_{k,m}(\mathbf {B_{n}} ,{\boldsymbol {\Lambda }}_{n}^{-1},{\boldsymbol {\Sigma }}_{\epsilon })}$.

Параметры этого апостериорного отдела определяются как:

${\displaystyle \mathbf {V_{n}} =\mathbf {V_{0}} +(\mathbf {Y} -\mathbf {XB_{n}} )^{\rm {T}}(\mathbf {Y} -\mathbf {XB_{n}} )+(\mathbf {B_{n}} -\mathbf {B_{0}} )^{\rm {T}}{\boldsymbol {\Lambda }}_{0}(\mathbf {B_{n}} -\mathbf {B_{0}} )}$

${\displaystyle {\boldsymbol {\nu }}_{n}={\boldsymbol {\nu }}_{0}+n}$

${\displaystyle \mathbf {B_{n}} =(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}(\mathbf {X} ^{\rm {T}}\mathbf {Y} +{\boldsymbol {\Lambda }}_{0}\mathbf {B_{0}} )}$

${\displaystyle {\boldsymbol {\Lambda }}_{n}=\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}}$

См. Также [ править ]

• Байесовская линейная регрессия
• Матричное нормальное распределение

Ссылки [ править ]

Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Ноябрь 2010 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

• Коробка, ГЭП ; Тяо, GC (1973). «8». Байесовский вывод в статистическом анализе . Вайли. ISBN 0-471-57428-7.
• Гейссер, С. (1965). «Байесовское оценивание в многомерном анализе». Летопись математической статистики . 36 (1): 150–159. JSTOR  2238083 .
• Тяо, GC; Зелльнер, А. (1964). «О байесовской оценке многомерной регрессии». Журнал Королевского статистического общества. Серия Б (Методическая) . 26 (2): 277–285. JSTOR  2984424 .