Корреляция расстояний

В статистике и теории вероятностей , расстояние корреляция или расстояние ковариация является мерой зависимости между двумя парными случайными векторами произвольным, не обязательно равно, измерение . Коэффициент корреляции расстояния между популяциями равен нулю тогда и только тогда, когда случайные векторы независимы . Таким образом, корреляция расстояния измеряет как линейную, так и нелинейную связь между двумя случайными величинами или случайными векторами. Это контрастирует с корреляцией Пирсона , которая может обнаруживать только линейную связь между двумя случайными величинами .

Корреляция расстояния может использоваться для выполнения статистического теста зависимости с тестом перестановки . Сначала вычисляется корреляция расстояний (включая повторное центрирование матриц евклидовых расстояний) между двумя случайными векторами, а затем это значение сравнивается с корреляциями расстояний многих перетасовок данных.

Несколько наборов точек ( x ,  y ) с коэффициентами корреляции расстояний x и y для каждого набора. Сравните с графиком корреляции

Фон [ править ]

Классическая мера зависимости, коэффициент корреляции Пирсона , ^[1] , в основном чувствителен к линейной зависимости между двумя переменными. Корреляция расстояния была введена в 2005 году Габором Дж. Секели в нескольких лекциях для устранения этого недостатка корреляции Пирсона , а именно того, что она легко может быть равна нулю для зависимых переменных. Корреляция = 0 (некоррелированность) не подразумевает независимости, а корреляция расстояния = 0 подразумевает независимость. Первые результаты по дистанционной корреляции были опубликованы в 2007 и 2009 годах. ^{[2] [3]} Было доказано, что дистанционная ковариация такая же, как броуновская ковариация. ^[3] Эти меры являются примерамиэнергетические расстояния .

Расстояние корреляция является производным от ряда других величин, которые используются в описании, а именно: расстояние дисперсии , расстояние стандартного отклонения , и расстояние ковариации . Эти величины играют ту же роль, что и обычные моменты с соответствующими названиями в спецификации коэффициента корреляции момента произведения Пирсона .

Определения [ править ]

Ковариация расстояния [ править ]

Начнем с определения ковариации выборочного расстояния . Пусть ( X _k ,  Y _k ), k  = 1, 2, ..., n будет статистической выборкой из пары действительных или векторных случайных величин ( X ,  Y ). Сначала вычислите матрицы расстояний n на n ( a _{j , k} ) и ( b _{j , k} ), содержащие все попарные расстояния

${\ displaystyle {\ begin {align} a_ {j, k} & = \ | X_ {j} -X_ {k} \ |, \ qquad j, k = 1,2, \ ldots, n, \\ b_ { j, k} & = \ | Y_ {j} -Y_ {k} \ |, \ qquad j, k = 1,2, \ ldots, n, \ end {выровнено}}}$

где || ⋅ || обозначает евклидову норму . Затем возьмите все дважды центрированные расстояния

${\displaystyle A_{j,k}:=a_{j,k}-{\overline {a}}_{j\cdot }-{\overline {a}}_{\cdot k}+{\overline {a}}_{\cdot \cdot },\qquad B_{j,k}:=b_{j,k}-{\overline {b}}_{j\cdot }-{\overline {b}}_{\cdot k}+{\overline {b}}_{\cdot \cdot },}$

где - среднее значение j-й строки, - среднее значение k-го столбца и - общее среднее значение матрицы расстояний выборки X. Обозначения аналогичны для значений b . (В матрицах центрированных расстояний ( A _{j , k} ) и ( B _{j , k} ) сумма всех строк и всех столбцов равна нулю.) Ковариация квадрата выборочного расстояния (скаляр) - это просто среднее арифметическое произведений A _{j , k} B _{j , k} :${\displaystyle \textstyle {\overline {a}}_{j\cdot }}$${\displaystyle \textstyle {\overline {a}}_{\cdot k}}$${\displaystyle \textstyle {\overline {a}}_{\cdot \cdot }}$

${\displaystyle \operatorname {dCov} _{n}^{2}(X,Y):={\frac {1}{n^{2}}}\sum _{j=1}^{n}\sum _{k=1}^{n}A_{j,k}\,B_{j,k}.}$

Статистика T _n = n dCov ² _n ( X , Y ) определяет непротиворечивый многомерный тест на независимость случайных векторов в произвольных измерениях. Для реализации см dcov.test функции в энергетическом пакете для R . ^[4]

Таким же образом можно определить популяционное значение ковариации расстояния . Пусть X - случайная величина, которая принимает значения в p -мерном евклидовом пространстве с распределением вероятностей μ, и пусть Y - случайная величина, которая принимает значения в q -мерном евклидовом пространстве с распределением вероятностей ν , и предположим, что X и Y имеют конечное ожидания. Писать

${\displaystyle a_{\mu }(x):=\operatorname {E} [\|X-x\|],\quad D(\mu ):=\operatorname {E} [a_{\mu }(X)],\quad d_{\mu }(x,x'):=\|x-x'\|-a_{\mu }(x)-a_{\mu }(x')+D(\mu ).}$

Наконец, определите значение популяции ковариации квадрата расстояния X и Y как

${\displaystyle \operatorname {dCov} ^{2}(X,Y):=\operatorname {E} {\big [}d_{\mu }(X,X')d_{\nu }(Y,Y'){\big ]}.}$

Можно показать, что это эквивалентно следующему определению:

${\displaystyle {\begin{aligned}\operatorname {dCov} ^{2}(X,Y):={}&\operatorname {E} [\|X-X'\|\,\|Y-Y'\|]+\operatorname {E} [\|X-X'\|]\,\operatorname {E} [\|Y-Y'\|]\\&\qquad {}-\operatorname {E} [\|X-X'\|\,\|Y-Y''\|]-\operatorname {E} [\|X-X''\|\,\|Y-Y'\|]\\={}&\operatorname {E} [\|X-X'\|\,\|Y-Y'\|]+\operatorname {E} [\|X-X'\|]\,\operatorname {E} [\|Y-Y'\|]\\&\qquad {}-2\operatorname {E} [\|X-X'\|\,\|Y-Y''\|],\end{aligned}}}$

где E обозначает ожидаемое значение, и являются независимыми и одинаково распределенными. Штрихованные случайные величины и обозначают независимые и одинаково распределенные (iid) копии переменных и и аналогичным образом iid. ^[5] Ковариация расстояния может быть выражена в терминах классической ковариации Пирсона , cov , следующим образом:${\displaystyle \textstyle (X,Y),}$ ${\displaystyle \textstyle (X',Y'),}$${\displaystyle \textstyle (X'',Y'')}$${\displaystyle \textstyle (X',Y')}$${\displaystyle \textstyle (X'',Y'')}$${\displaystyle X}$${\displaystyle Y}$

${\displaystyle \operatorname {dCov} ^{2}(X,Y)=\operatorname {cov} (\|X-X'\|,\|Y-Y'\|)-2\operatorname {cov} (\|X-X'\|,\|Y-Y''\|).}$

Это тождество показывает, что ковариация расстояний - это не то же самое, что ковариация расстояний, cov (|| X - X ' ||, || Y - Y' || ). Он может быть равен нулю, даже если X и Y не независимы.

В качестве альтернативы ковариация расстояния может быть определена как взвешенная норма L 2 расстояния между совместной характеристической функцией случайных величин и произведением их маргинальных характеристических функций: ^[6]

${\displaystyle \operatorname {dCov} ^{2}(X,Y)={\frac {1}{c_{p}c_{q}}}\int _{\mathbb {R} ^{p+q}}{\frac {\left|\varphi _{X,Y}(s,t)-\varphi _{X}(s)\varphi _{Y}(t)\right|^{2}}{|s|_{p}^{1+p}|t|_{q}^{1+q}}}\,dt\,ds}$

где , и являются характеристическими функциями из ( X , Y ), Х и Y , соответственно, р , д обозначают евклидово размерность X и Y , и , следовательно, с и т и гр _р , с _д константы. Весовая функция выбрана для получения меры, эквивариантной по масштабу и инвариантной к вращению, которая не стремится к нулю для зависимых переменных. ^{[6] [7]}${\displaystyle \varphi _{X,Y}(s,t)}$${\displaystyle \varphi _{X}(s)}$${\displaystyle \varphi _{Y}(t)}$ ${\displaystyle ({c_{p}c_{q}}{|s|_{p}^{1+p}|t|_{q}^{1+q}})^{-1}}$ Одна интерпретация определения характеристической функции состоит в том, что переменные e ^isX и e ^itY являются циклическими представлениями X и Y с разными периодами, заданными s и t , и выражением ϕ _{X , Y} ( s , t ) - ϕ _X ( s ) ϕ _Y ( t ) в числителе определения характеристической функции ковариации расстояния - это просто классическая ковариация e ^isX иe ^itY . Определение характеристической функции ясно показывает, что dCov ² ( X , Y ) = 0 тогда и только тогда, когда X и Y независимы.

Дисперсия расстояния и стандартное отклонение расстояния [ править ]

Расстояние дисперсия является частным случаем расстояния ковариации , когда эти две переменные идентичны. Значение дисперсии расстояния для населения - это квадратный корень из

${\displaystyle \operatorname {dVar} ^{2}(X):=\operatorname {E} [\|X-X'\|^{2}]+\operatorname {E} ^{2}[\|X-X'\|]-2\operatorname {E} [\|X-X'\|\,\|X-X''\|],}$

где , и являются независимыми и одинаково распределенными случайными величинами , обозначает ожидаемую величину , и для функции , например, .${\displaystyle X}$${\displaystyle X'}$${\displaystyle X''}$${\displaystyle \operatorname {E} }$${\displaystyle f^{2}(\cdot )=(f(\cdot ))^{2}}$${\displaystyle f(\cdot )}$${\displaystyle \operatorname {E} ^{2}[\cdot ]=(\operatorname {E} [\cdot ])^{2}}$

Вариация выборочного расстояния - это квадратный корень из

${\displaystyle \operatorname {dVar} _{n}^{2}(X):=\operatorname {dCov} _{n}^{2}(X,X)={\tfrac {1}{n^{2}}}\sum _{k,\ell }A_{k,\ell }^{2},}$

который является родственником Коррадо Джини «s средняя разница введена в 1912 году (но Джини не работа с сосредоточенными расстояния). ^[8]

Расстояние стандартное отклонение представляет собой квадратный корень из расстояния дисперсии .

Корреляция расстояний [ править ]

Расстояние корреляция ^{[2] [3]} из двух случайных величин получаются путем деления их расстояние ковариации по произведению их расстояния стандартных отклонений . Корреляция расстояний равна

${\displaystyle \operatorname {dCor} (X,Y)={\frac {\operatorname {dCov} (X,Y)}{\sqrt {\operatorname {dVar} (X)\,\operatorname {dVar} (Y)}}},}$

и корреляция выборочного расстояния определяется путем замены ковариации выборочного расстояния и дисперсии расстояния для коэффициентов совокупности выше.

Для простоты расчета образца расстояния корреляции см Dcor функция в энергетическом пакете для R . ^[4]

Свойства [ править ]

Корреляция расстояний [ править ]

Ковариация расстояния [ править ]

Последнее свойство является наиболее важным эффектом при работе с центрированными расстояниями.

Статистика является предвзятой оценкой . При независимости от X и Y ^[9]${\displaystyle \operatorname {dCov} _{n}^{2}(X,Y)}$${\displaystyle \operatorname {dCov} ^{2}(X,Y)}$

${\displaystyle {\begin{aligned}\operatorname {E} [\operatorname {dCov} _{n}^{2}(X,Y)]&={\frac {n-1}{n^{2}}}\left\{(n-2)\operatorname {dCov} ^{2}(X,Y)+\operatorname {E} [\|X-X'\|]\,\operatorname {E} [\|Y-Y'\|]\right\}\\[6pt]&={\frac {n-1}{n^{2}}}\operatorname {E} [\|X-X'\|]\,\operatorname {E} [\|Y-Y'\|].\end{aligned}}}$

Беспристрастная оценка дается Секели и Риццо. ^[10]${\displaystyle \operatorname {dCov} ^{2}(X,Y)}$

Дисперсия расстояния [ править ]

Равенство в (iv) выполняется тогда и только тогда, когда одна из случайных величин X или Y является константой.

Обобщение [ править ]

Ковариация расстояния может быть обобщена, чтобы включать степени евклидова расстояния. Определять

${\displaystyle {\begin{aligned}\operatorname {dCov} ^{2}(X,Y;\alpha ):={}&\operatorname {E} [\|X-X'\|^{\alpha }\,\|Y-Y'\|^{\alpha }]+\operatorname {E} [\|X-X'\|^{\alpha }]\,\operatorname {E} [\|Y-Y'\|^{\alpha }]\\&\qquad {}-2\operatorname {E} [\|X-X'\|^{\alpha }\,\|Y-Y''\|^{\alpha }].\end{aligned}}}$

Тогда для каждого , и независимы тогда и только тогда, когда . Важно отметить, что эта характеристика не верна для экспоненты ; в этом случае для двумерных , является детерминированной функцией корреляции Пирсона. ^[2] Если и являются степенями соответствующих расстояний, то ковариацию выборочного расстояния можно определить как неотрицательное число, для которого${\displaystyle 0<\alpha <2}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle \operatorname {dCov} ^{2}(X,Y;\alpha )=0}$${\displaystyle \alpha =2}$${\displaystyle (X,Y)}$${\displaystyle \operatorname {dCor} (X,Y;\alpha =2)}$${\displaystyle a_{k,\ell }}$${\displaystyle b_{k,\ell }}$${\displaystyle \alpha }$${\displaystyle 0<\alpha \leq 2}$${\displaystyle \alpha }$

${\displaystyle \operatorname {dCov} _{n}^{2}(X,Y;\alpha ):={\frac {1}{n^{2}}}\sum _{k,\ell }A_{k,\ell }\,B_{k,\ell }.}$

Можно распространить на метрическое пространство -значного случайные величин и : Если есть закон , в метрическом пространстве с метрикой , то определить , и ( при условии , конечно, то есть, имеет конечный первый момент), . Тогда, если имеет закон (возможно, в другом метрическом пространстве с конечным первым моментом), определим${\displaystyle \operatorname {dCov} }$ ${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle \mu }$${\displaystyle d}$${\displaystyle a_{\mu }(x):=\operatorname {E} [d(X,x)]}$${\displaystyle D(\mu ):=\operatorname {E} [a_{\mu }(X)]}$${\displaystyle a_{\mu }}$${\displaystyle X}$${\displaystyle d_{\mu }(x,x'):=d(x,x')-a_{\mu }(x)-a_{\mu }(x')+D(\mu )}$${\displaystyle Y}$${\displaystyle \nu }$

${\displaystyle \operatorname {dCov} ^{2}(X,Y):=\operatorname {E} {\big [}d_{\mu }(X,X')d_{\nu }(Y,Y'){\big ]}.}$

Это неотрицательно для всех таких, если оба метрических пространства имеют отрицательный тип. ^[11] Здесь метрическое пространство имеет отрицательный тип, если оно изометрично подмножеству гильбертова пространства . ^[12] Если оба метрических пространства имеют строго отрицательный тип, то независимы тогда и только тогда . ^[11]${\displaystyle X,Y}$${\displaystyle (M,d)}$${\displaystyle (M,d^{1/2})}$${\displaystyle \operatorname {dCov} ^{2}(X,Y)=0}$${\displaystyle X,Y}$

Альтернативное определение ковариации расстояния [ править ]

Исходная ковариация расстояния была определена как квадратный корень , а не как возведенный в квадрат коэффициент. обладает тем свойством, что это энергетическое расстояние между совместным распределением и произведением его маргиналов. Однако согласно этому определению дисперсия расстояния, а не стандартное отклонение расстояния, измеряется в тех же единицах, что и расстояния.${\displaystyle \operatorname {dCov} ^{2}(X,Y)}$${\displaystyle \operatorname {dCov} (X,Y)}$${\displaystyle \operatorname {X} ,Y}$${\displaystyle \operatorname {X} }$

В качестве альтернативы можно определить ковариацию расстояния как квадрат энергетического расстояния: в этом случае стандартное отклонение расстояния измеряется в тех же единицах, что и расстояние, и существует несмещенная оценка ковариации расстояния между популяциями. ^[10]${\displaystyle \operatorname {dCov} ^{2}(X,Y).}$${\displaystyle X}$${\displaystyle X}$

Согласно этим альтернативным определениям корреляция расстояния также определяется как квадрат , а не как квадратный корень.${\displaystyle \operatorname {dCor} ^{2}(X,Y)}$

Альтернативная формулировка: броуновская ковариация [ править ]

Броуновская ковариация мотивирована обобщением понятия ковариантности на случайные процессы. Квадрат ковариации случайных величин X и Y можно записать в следующем виде:

${\displaystyle \operatorname {cov} (X,Y)^{2}=\operatorname {E} \left[{\big (}X-\operatorname {E} (X){\big )}{\big (}X^{\mathrm {'} }-\operatorname {E} (X^{\mathrm {'} }){\big )}{\big (}Y-\operatorname {E} (Y){\big )}{\big (}Y^{\mathrm {'} }-\operatorname {E} (Y^{\mathrm {'} }){\big )}\right]}$

где E обозначает ожидаемое значение, а штрих обозначает независимые и одинаково распределенные копии. Нам понадобится следующее обобщение этой формулы. Если U (s), V (t) - произвольные случайные процессы, определенные для всех действительных s и t, то определите U-центрированную версию X следующим образом:

${\displaystyle X_{U}:=U(X)-\operatorname {E} _{X}\left[U(X)\mid \left\{U(t)\right\}\right]}$

всякий раз, когда существует вычитаемое условное математическое ожидание, обозначим через Y _V V-центрированную версию Y. ^{[3] [13] [14]} Ковариация (U, V) числа (X, Y) определяется как неотрицательное число, квадрат которого является

${\displaystyle \operatorname {cov} _{U,V}^{2}(X,Y):=\operatorname {E} \left[X_{U}X_{U}^{\mathrm {'} }Y_{V}Y_{V}^{\mathrm {'} }\right]}$

всякий раз, когда правая часть неотрицательна и конечна. Наиболее важный пример - когда U и V - двусторонние независимые броуновские движения / винеровские процессы с нулевым математическим ожиданием и ковариацией | s | + | т | - | с - т | = 2 мин ( s , t ) (только для неотрицательных s, t). (Это в два раза больше ковариации стандартного винеровского процесса; здесь множитель 2 упрощает вычисления.) В этом случае ковариация ( U , V ) называется броуновской ковариацией и обозначается

${\displaystyle \operatorname {cov} _{W}(X,Y).}$

Удивительное совпадение: броуновская ковариация - это то же самое, что и ковариация расстояния:

${\displaystyle \operatorname {cov} _{\mathrm {W} }(X,Y)=\operatorname {dCov} (X,Y),}$

и поэтому броуновская корреляция - это то же самое, что и дистанционная корреляция.

С другой стороны, если мы заменим броуновское движение детерминированной функцией тождества id, тогда Cov _id ( X , Y ) будет просто абсолютным значением классической ковариации Пирсона ,

${\displaystyle \operatorname {cov} _{\mathrm {id} }(X,Y)=\left\vert \operatorname {cov} (X,Y)\right\vert .}$

Связанные показатели [ править ]

Другие корреляционные метрики, включая корреляционные метрики на основе ядра (такие как критерий независимости Гильберта-Шмидта или HSIC), также могут обнаруживать линейные и нелинейные взаимодействия. Как дистанционная корреляция, так и показатели на основе ядра могут использоваться в таких методах, как канонический корреляционный анализ и анализ независимых компонентов, чтобы обеспечить более высокую статистическую мощность .

См. Также [ править ]

• Коэффициент RV
• Для связанной статистики третьего порядка см. Асимметрия расстояния .

Заметки [ править ]

Ссылки [ править ]

• Бикель, Питер Дж .; Сюй, Ин (2009). «Обсуждение: Ковариация броуновского расстояния» . Летопись прикладной статистики . 3 (4): 1266–1269. DOI : 10.1214 / 09-AOAS312A .CS1 maint: ref=harv (link)
• Джини, К. (1912). Variabilità e Mutabilità . Болонья: Типография Паоло Куппини.CS1 maint: ref=harv (link)
• Косорок, Майкл Р. (2009). «Обсуждение: Ковариация броуновского расстояния». Летопись прикладной статистики . 3 (4): 1270–1278. arXiv : 1010.0822 . DOI : 10.1214 / 09-AOAS312B . S2CID  88518490 .CS1 maint: ref=harv (link)
• Пирсон, К. (1895). «Примечание о регрессе и наследовании в случае двух родителей». Труды Королевского общества . 58 : 240–242. Bibcode : 1895RSPS ... 58..240P .CS1 maint: ref=harv (link)
• Пирсон, К. (1895). «Заметки по истории корреляции» . Биометрика . 13 : 25–45. DOI : 10.1093 / Biomet / 13.1.25 .CS1 maint: ref=harv (link)
• Székely, Gábor J .; Риццо, Мария Л. (2009a). «Ковариация броуновского расстояния» . Летопись прикладной статистики . 3 (4): 1236–1265. DOI : 10.1214 / 09-AOAS312 . PMC  2889501 . PMID  20574547 .CS1 maint: ref=harv (link)
• Székely, Gábor J .; Риццо, Мария Л. (2009b). «Реплика: ковариация броуновского расстояния» . Летопись прикладной статистики . 3 (4): 1303–1308. DOI : 10.1214 / 09-AOAS312REJ .CS1 maint: ref=harv (link)
• Székely, Gabor J .; Риццо, Мария Л. (2014). «Частичная корреляция расстояний с методами различий». Летопись статистики . 42 (6): 2382–2412. arXiv : 1310.2926 . Bibcode : 2014arXiv1310.2926S . DOI : 10.1214 / 14-AOS1255 . S2CID  55801702 .CS1 maint: ref=harv (link)

Внешние ссылки [ править ]

• Электронная статистика (статистика энергетики)