Частичная корреляция

В теории вероятностей и статистике , частичная корреляция измеряет степень ассоциации между двумя случайными величинами , с эффектом набора управления случайными величинами удалены. Если мы заинтересованы в поиске , в какой степени есть численное соотношение между двумя переменными , представляющих интерес, используя их коэффициент корреляции будет давать ошибочные результаты , если есть другой, путая, переменная, которая численно связана с обеими интересующими переменными. Этой вводящей в заблуждение информации можно избежать, контролируя смешивающую переменную, которая выполняется путем вычисления частного коэффициента корреляции. Это и есть мотивация для включения других правых переменных в множественную регрессию ; но хотя множественная регрессия дает несмещенные результаты для величины эффекта , она не дает числового значения меры силы взаимосвязи между двумя интересующими переменными.

Например, если у нас есть экономические данные о потреблении, доходе и богатстве различных людей, и мы хотим увидеть, существует ли связь между потреблением и доходом, неспособность контролировать богатство при вычислении коэффициента корреляции между потреблением и доходом даст вводящий в заблуждение результат, поскольку доход может быть численно связан с богатством, которое, в свою очередь, может быть численно связано с потреблением; измеренная корреляция между потреблением и доходом может быть искажена этими другими корреляциями. Использование частичной корреляции позволяет избежать этой проблемы.

Как и коэффициент корреляции, частный коэффициент корреляции принимает значение в диапазоне от –1 до 1. Значение –1 передает идеальную отрицательную корреляцию, контролирующую некоторые переменные (то есть точную линейную зависимость, в которой более высокие значения одной переменной связаны с более низкими значениями другого); значение 1 передает идеальную положительную линейную зависимость, а значение 0 означает отсутствие линейной зависимости.

Частичная корреляция совпадает с условной корреляцией, если случайные величины совместно распределены как многомерное нормальное , другое эллиптическое , многомерное гипергеометрическое , многомерное отрицательное гипергеометрическое , полиномиальное или распределение Дирихле , но не в целом иначе. ^[1]

Формальное определение [ править ]

Формально частичная корреляция между X и Y с учетом набора из n управляющих переменных Z = { Z ₁ , Z ₂ , ..., Z _n }, записываемого как ρ _{XY · Z} , является корреляцией между остатками e _X и e _Y в результате линейной регрессии из X с Z и Y с Z , соответственно. Частичная корреляция первого порядка (т. Е. Когдаn = 1) - разница между корреляцией и произведением устранимых корреляций, деленная на произведение коэффициентов отчуждения устранимых корреляций. Коэффициент отчуждения , и его связь с совместной дисперсией через корреляцию доступны в Гилфорде (1973, стр. 344-345). ^[2]

Вычисление [ править ]

Использование линейной регрессии [ править ]

Простой способ вычислить частичную корреляцию выборки для некоторых данных - решить две связанные задачи линейной регрессии , получить остатки и вычислить корреляцию между остатками. Пусть X и Y будут, как указано выше, случайными величинами, принимающими действительные значения, и пусть Z будет n- мерной векторной случайной величиной. Мы пишем x _i , y _i и z _i для обозначения i- го из N i.id наблюдений из некоторого совместного распределения вероятностей по реальным случайным величинам X, Y и Z , причем z _i был увеличен на 1, чтобы учесть постоянный член в регрессии. Решение задачи линейной регрессии сводится к нахождению ( n +1) -мерных векторов коэффициентов регрессии и таких, что${\ displaystyle \ mathbf {w} _ {X} ^ {*}}$${\ displaystyle \ mathbf {w} _ {Y} ^ {*}}$

${\ displaystyle \ mathbf {w} _ {X} ^ {*} = \ arg \ min _ {\ mathbf {w}} \ left \ {\ sum _ {i = 1} ^ {N} (x_ {i} - \ langle \ mathbf {w}, \ mathbf {z} _ {i} \ rangle) ^ {2} \ right \}}$

${\ displaystyle \ mathbf {w} _ {Y} ^ {*} = \ arg \ min _ {\ mathbf {w}} \ left \ {\ sum _ {i = 1} ^ {N} (y_ {i} - \ langle \ mathbf {w}, \ mathbf {z} _ {i} \ rangle) ^ {2} \ right \}}$

с N -число наблюдений и скалярное произведение между векторами ш и V . ${\ Displaystyle \ langle \ mathbf {ш}, \ mathbf {v} \ rangle}$

Остатки тогда

${\ displaystyle e_ {X, i} = x_ {i} - \ langle \ mathbf {w} _ {X} ^ {*}, \ mathbf {z} _ {i} \ rangle}$

${\ displaystyle e_ {Y, i} = y_ {i} - \ langle \ mathbf {w} _ {Y} ^ {*}, \ mathbf {z} _ {i} \ rangle}$

и частичная корреляция выборки затем задается обычной формулой для выборочной корреляции , но между этими новыми производными значениями:

${\displaystyle {\hat {\rho }}_{XY\cdot \mathbf {Z} }={\frac {N\sum _{i=1}^{N}e_{X,i}e_{Y,i}-\sum _{i=1}^{N}e_{X,i}\sum _{i=1}^{N}e_{Y,i}}{{\sqrt {N\sum _{i=1}^{N}e_{X,i}^{2}-\left(\sum _{i=1}^{N}e_{X,i}\right)^{2}}}~{\sqrt {N\sum _{i=1}^{N}e_{Y,i}^{2}-\left(\sum _{i=1}^{N}e_{Y,i}\right)^{2}}}}}}$

${\displaystyle ={\frac {N\sum _{i=1}^{N}e_{X,i}e_{Y,i}}{{\sqrt {N\sum _{i=1}^{N}e_{X,i}^{2}}}~{\sqrt {N\sum _{i=1}^{N}e_{Y,i}^{2}}}}}.}$

В первом выражении три члена после знаков минус все равны 0, поскольку каждый содержит сумму остатков от обычной регрессии наименьших квадратов .

Пример [ править ]

Предположим, у нас есть следующие данные о трех переменных, X , Y и Z :

Если мы вычислим коэффициент корреляции Пирсона между переменными X и Y , результат будет примерно 0,970, а если мы вычислим частичную корреляцию между X и Y , используя формулу, приведенную выше, мы найдем частичную корреляцию 0,919. Вычисления были выполнены с использованием R со следующим кодом.

> X  =  c ( 2 , 4 , 15 , 20 ) > Y  =  c ( 1 , 2 , 3 , 4 ) > Z  =  c ( 0 , 0 , 1 , 1 ) > mm1  =  lm ( X ~ Z ) > res1  =  mm1 $ невязки > mm2  =  лм (Y ~ Z ) > res2  =  mm2 $ остатки > cor ( res1 , res2 ) [1] 0.919145 > cor ( X , Y ) [1] 0.9695016 > generalCorr :: parcorMany ( cbind ( X , Y , Z ))  nami namj partij partji rijMrji [1,] "X" "Y" "0,8844" "1" "-0,1156" [2,] "X" "Z" "0,1581" "1" "-0,8419" 

Нижняя часть приведенного выше кода сообщает обобщенный нелинейный частный коэффициент корреляции между X и Y после удаления нелинейного эффекта Z, равный 0,8844. Также обобщенный частный коэффициент корреляции между X и Z после устранения нелинейного эффекта Y составляет 0,1581. Подробности смотрите в пакете R `generalCorr 'и его виньетках. Моделирование и другие подробности см. В Vinod (2017) «Обобщенная корреляция и причинная связь ядра с приложениями в экономике развития», Communications in Statistics - Simulation and Computing, vol. 46, [4513, 4534], доступно онлайн: 29 декабря 2015 г., URL https://doi.org/10.1080/03610918.2015.1122048 .

Использование рекурсивной формулы [ править ]

Решение задач линейной регрессии может быть дорогостоящим в вычислительном отношении. Фактически, частичная корреляция n- го порядка (то есть с | Z | = n ) может быть легко вычислена из трех частичных корреляций ( n - 1) -го порядка. Частичная корреляция нулевого порядка ρ _{XY · Ø} определяется как регулярный коэффициент корреляции ρ _XY .

Это справедливо для любого, что ^{[ необходима цитата ]}${\displaystyle Z_{0}\in \mathbf {Z} ,}$

${\displaystyle \rho _{XY\cdot \mathbf {Z} }={\frac {\rho _{XY\cdot \mathbf {Z} \setminus \{Z_{0}\}}-\rho _{XZ_{0}\cdot \mathbf {Z} \setminus \{Z_{0}\}}\rho _{Z_{0}Y\cdot \mathbf {Z} \setminus \{Z_{0}\}}}{{\sqrt {1-\rho _{XZ_{0}\cdot \mathbf {Z} \setminus \{Z_{0}\}}^{2}}}{\sqrt {1-\rho _{Z_{0}Y\cdot \mathbf {Z} \setminus \{Z_{0}\}}^{2}}}}}.}$

Наивная реализация этого вычисления в виде рекурсивного алгоритма дает экспоненциальную временную сложность . Однако это вычисление имеет свойство перекрывающихся подзадач , так что использование динамического программирования или простое кэширование результатов рекурсивных вызовов дает сложность .${\displaystyle {\mathcal {O}}(n^{3})}$

Обратите внимание, что в случае, когда Z - единственная переменная, это сокращается до: ^{[ необходима ссылка ]}

${\displaystyle \rho _{XY\cdot Z}={\frac {\rho _{XY}-\rho _{XZ}\rho _{ZY}}{{\sqrt {1-\rho _{XZ}^{2}}}{\sqrt {1-\rho _{ZY}^{2}}}}}}$

Использование инверсии матрицы [ править ]

Со временем другой подход позволяет вычислить все частичные корреляции между любыми двумя переменными X _i и X _j из множества V мощности n , учитывая все остальные, т. Е. Если ковариационная матрица Ω = ( ρ _{X i X j} ), является положительно определенной и , следовательно , обратим . Если мы определим матрицу точности P = (p _ij ) = Ω ⁻¹ , то получим:${\displaystyle {\mathcal {O}}(n^{3})}$${\displaystyle \mathbf {V} \setminus \{X_{i},X_{j}\}}$

${\displaystyle \rho _{X_{i}X_{j}\cdot \mathbf {V} \setminus \{X_{i},X_{j}\}}=-{\frac {p_{ij}}{\sqrt {p_{ii}p_{jj}}}}.}$

Интерпретация [ править ]

Геометрический [ править ]

Пусть три переменных X , Y , Z (где Z представляет собой «контроль» или «дополнительные переменные») можно выбрать из совместного распределения вероятностей по п переменных V . Далее , пусть v _я , 1 ≤ я ≤ N , то N п - мерные IID наблюдения , взятые из совместного распределения вероятностей по V . Затем мы рассматриваем N -мерные векторы x (образованные последовательными значениями X по наблюдениям), y (образованные значениямиY ) и z (образованный значениями Z ).

Можно показать, что невязки e _{X, i,} возникающие из линейной регрессии X на Z , если их также рассматривать как N -мерный вектор e _X (обозначенный r _X в сопроводительном графике), имеют нулевое скалярное произведение с вектором г , порожденный Z . Это означает , что вектор остатков лежит на ( N -1) n - мерного гиперплоского S _г , которая является перпендикулярной к г .

То же самое относится и к невязки е _{Y, я} генерация вектора х _Y . Желательно частичная корреляция , то косинус угла ф между выступами е _X и е _Y из х и у , соответственно, на гиперплоскость перпендикулярно г . ^{[3] : гл. 7}

Как проверка условной независимости [ править ]

В предположении , что все задействованные переменные многомерные гауссы , частичная корреляция ρ _{XY · Z} равен нуль тогда и только тогда , когда X является условно независимым от Y данного Z . ^[1] В общем случае это свойство не выполняется.

Чтобы проверить, подразумевает ли выборочная частичная корреляция истинная частичная корреляция популяции, равная 0, можно использовать z-преобразование Фишера частичной корреляции :${\displaystyle {\hat {\rho }}_{XY\cdot \mathbf {Z} }}$

${\displaystyle z({\hat {\rho }}_{XY\cdot \mathbf {Z} })={\frac {1}{2}}\ln \left({\frac {1+{\hat {\rho }}_{XY\cdot \mathbf {Z} }}{1-{\hat {\rho }}_{XY\cdot \mathbf {Z} }}}\right).}$

Нулевая гипотеза является , быть испытанным против два хвоста альтернативы . Мы отклоняем H ₀ с уровнем значимости α, если:${\displaystyle H_{0}:\rho _{XY\cdot \mathbf {Z} }=0}$${\displaystyle H_{A}:\rho _{XY\cdot \mathbf {Z} }\neq 0}$

${\displaystyle {\sqrt {N-|\mathbf {Z} |-3}}\cdot |z({\hat {\rho }}_{XY\cdot \mathbf {Z} })|>\Phi ^{-1}(1-\alpha /2),}$

где Φ (·) является функцией распределения из гауссового распределения с нулевым средним и единичным стандартным отклонением , и N является размером выборки . Это z -преобразование является приблизительным, и фактическое распределение выборочного (частичного) коэффициента корреляции не является прямым. Однако доступен точный t-критерий, основанный на комбинации коэффициента частичной регрессии, частичного коэффициента корреляции и частичных дисперсий. ^[4]

Распределение выборочной частичной корреляции было описано Фишером. ^[5]

Частичная корреляция (частичная корреляция) [ править ]

Статистика частичной (или частичной) корреляции аналогична статистике частичной корреляции. Оба сравнивают вариации двух переменных после того, как контролируются определенные факторы, но для расчета полупчастичной корреляции один сохраняет третью переменную константу либо для X, либо для Y, но не для обоих, тогда как для частичной корреляции одна сохраняет третью переменную константу для обоих. ^[6] Полупарциальная корреляция сравнивает уникальную вариацию одной переменной (без удаления вариации, связанной с переменной (ами) Z ) с нефильтрованной вариацией другой, в то время как частичная корреляция сравнивает уникальную вариацию одной переменной с уникальной вариацией. другого.

Частичная (или частичная) корреляция может рассматриваться как более актуальная с практической точки зрения, «потому что она масштабируется (т. Е. Относительно) общей изменчивости в зависимой (ответной) переменной». ^[7] И наоборот, он менее полезен с теоретической точки зрения, поскольку менее точен в отношении роли уникального вклада независимой переменной.

Абсолютное значение корреляции semipartial X с Y всегда меньше или равно , что частичной корреляции X с Y . Причина в следующем: предположим, что корреляция X с Z была удалена из X , давая остаточный вектор e _x . При вычислении semipartial корреляции, Y все еще содержит как уникальную дисперсию и дисперсию из - за его ассоциации с Z . Но e _x , будучи некоррелированным с Z , может объяснить только некоторую уникальную часть дисперсии Yа не часть связана с Z . Напротив, с частичной корреляцией нужно объяснять только e _y (часть дисперсии Y, которая не связана с Z ), поэтому меньше дисперсия того типа, который e _x не может объяснить.

Использование в анализе временных рядов [ править ]

В анализе временных рядов , то частичная функция автокорреляции (иногда «частичная корреляционная функция») из временных рядов определена, для задержки ч , а

${\displaystyle \varphi (h)=\rho _{X_{0}X_{h}\,\cdot \,\{X_{1},\,\dots \,,X_{h-1}\}}.}$

Эта функция используется для определения соответствующей длины лага для авторегрессии .

См. Также [ править ]

• Линейная регрессия
• Условная независимость
• Множественная корреляция

Ссылки [ править ]

Внешние ссылки [ править ]

В Викиверситете есть учебные ресурсы о частичной корреляции

• Прохоров, А.В. (2001) [1994], "Частичный коэффициент корреляции" , Энциклопедия математики , EMS Press
• Математические формулы в разделе «Описание» подпрограммы IMSL Numerical Library PCORR
• Пример с тремя переменными