Коэффициент корреляции Пирсона

В статистике , то коэффициент корреляции Пирсона ( PCC , выраженный / р ɪər с ən / ), также упоминаются как Пирсон г , на коэффициент продукта момента корреляции Пирсона ( PPMCC ), или корреляции двумерный , ^[1] является мерой линейная корреляция между двумя наборами данных. Это ковариация двух переменных, деленная на произведение их стандартных отклонений.; таким образом, это, по сути, нормализованное измерение ковариации, так что результат всегда имеет значение от -1 до 1. Как и сама ковариация, мера может отражать только линейную корреляцию переменных и игнорировать многие другие типы взаимосвязей или корреляции. . В качестве простого примера можно ожидать, что возраст и рост выборки подростков из старшей школы будут иметь коэффициент корреляции Пирсона значительно больше 0, но меньше 1 (поскольку 1 будет представлять нереально идеальную корреляцию).

Примеры диаграмм рассеяния с разными значениями коэффициента корреляции ( ρ )

Несколько наборов ( x ,  y ) точек с коэффициентами корреляции x и y для каждого набора. Обратите внимание, что корреляция отражает силу и направление линейной связи (верхняя строка), но не наклон этой связи (в середине) и не многие аспекты нелинейных отношений (внизу). NB: фигура в центре имеет наклон 0, но в этом случае коэффициент корреляции не определен, потому что дисперсия Y равна нулю.

Именование и история [ править ]

Он был разработан Карлом Пирсоном на основе связанной идеи, предложенной Фрэнсисом Гальтоном в 1880-х годах, математическая формула для которой была выведена и опубликована Огюстом Браве в 1844 году. ^[ A ^{] [5] [6] [7] [8]} Таким образом, название коэффициента является примером закона Стиглера .

Определение [ править ]

Коэффициент корреляции Пирсона - это ковариация двух переменных, деленная на произведение их стандартных отклонений . Форма определения включает «момент продукта», то есть среднее значение (первый момент о происхождении) произведения случайных величин, скорректированных на среднее значение; отсюда и модификатор product-moment в названии.

Для населения [ править ]

Коэффициент корреляции Пирсона, когда он применяется к совокупности , обычно обозначается греческой буквой ρ (ро) и может называться коэффициентом корреляции совокупности или коэффициентом корреляции Пирсона совокупности . ^[9] Для пары случайных величин формула для ρ ^[10] такова: ^[11]${\ displaystyle (X, Y)}$

${\ displaystyle \ rho _ {X, Y} = {\ frac {\ operatorname {cov} (X, Y)} {\ sigma _ {X} \ sigma _ {Y}}}}$

( Уравнение 1 )

куда:

${\ displaystyle \ operatorname {cov}}$является ковариация

${\ displaystyle \ sigma _ {X}}$это стандартное отклонение от ${\displaystyle X}$

${\displaystyle \sigma _{Y}}$ стандартное отклонение ${\displaystyle Y}$

Формула для может быть выражена через среднее значение и ожидание. С${\displaystyle \rho }$

${\displaystyle \operatorname {cov} (X,Y)=\operatorname {\mathbb {E} } [(X-\mu _{X})(Y-\mu _{Y})],}$^[10]

формулу для также можно записать как${\displaystyle \rho }$

${\displaystyle \rho _{X,Y}={\frac {\operatorname {\mathbb {E} } [(X-\mu _{X})(Y-\mu _{Y})]}{\sigma _{X}\sigma _{Y}}}}$

( Уравнение 2 )

куда:

${\displaystyle {\sigma _{Y}}}$и определены, как указано выше${\displaystyle \sigma _{X}}$

${\displaystyle \mu _{X}}$это среднее из${\displaystyle X}$

${\displaystyle \mu _{Y}}$это среднее из${\displaystyle Y}$

${\displaystyle \operatorname {\mathbb {E} } }$это ожидание .

Формулу для можно выразить через нецентрированные моменты. С${\displaystyle \rho }$

${\displaystyle \mu _{X}=\operatorname {\mathbb {E} } [\,X\,]}$

${\displaystyle \mu _{Y}=\operatorname {\mathbb {E} } [\,Y\,]}$

${\displaystyle \sigma _{X}^{2}=\operatorname {\mathbb {E} } [\,\left(X-\operatorname {\mathbb {E} } [X]\right)^{2}\,]=\operatorname {\mathbb {E} } [\,X^{2}\,]-\left(\operatorname {\mathbb {E} } [\,X\,]\right)^{2}}$

${\displaystyle \sigma _{Y}^{2}=\operatorname {\mathbb {E} } [\,\left(Y-\operatorname {\mathbb {E} } [Y]\right)^{2}\,]=\operatorname {\mathbb {E} } [\,Y^{2}\,]-\left(\,\operatorname {\mathbb {E} } [\,Y\,]\right)^{2}}$

${\displaystyle \operatorname {\mathbb {E} } [\,\left(X-\mu _{X}\right)\left(Y-\mu _{Y}\right)\,]=\operatorname {\mathbb {E} } [\,\left(X-\operatorname {\mathbb {E} } [\,X\,]\right)\left(Y-\operatorname {\mathbb {E} } [\,Y\,]\right)\,]=\operatorname {\mathbb {E} } [\,X\,Y\,]-\operatorname {\mathbb {E} } [\,X\,]\operatorname {\mathbb {E} } [\,Y\,]\,,}$

формулу для также можно записать как${\displaystyle \rho }$

${\displaystyle \rho _{X,Y}={\frac {\operatorname {\mathbb {E} } [\,X\,Y\,]-\operatorname {\mathbb {E} } [\,X\,]\operatorname {\mathbb {E} } [\,Y\,]}{{\sqrt {\operatorname {\mathbb {E} } [\,X^{2}\,]-\left(\operatorname {\mathbb {E} } [\,X\,]\right)^{2}}}~{\sqrt {\operatorname {\mathbb {E} } [\,Y^{2}\,]-\left(\operatorname {\mathbb {E} } [\,Y\,]\right)^{2}}}}}.}$

Для образца [ править ]

Коэффициент корреляции Пирсона, когда он применяется к выборке , обычно представлен и может называться коэффициентом корреляции выборки или коэффициентом корреляции Пирсона выборки . ^[9] Мы можем получить формулу , подставив оценки ковариаций и дисперсий, основанные на выборке, в формулу выше. Учитывая парные данные, состоящие из пар, определяется как:${\displaystyle r_{xy}}$${\displaystyle r_{xy}}$${\displaystyle \left\{(x_{1},y_{1}),\ldots ,(x_{n},y_{n})\right\}}$${\displaystyle n}$${\displaystyle r_{xy}}$

${\displaystyle r_{xy}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{{\sqrt {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}{\sqrt {\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}}}}$

( Уравнение 3 )

куда:

${\displaystyle n}$ размер выборки

${\displaystyle x_{i},y_{i}}$индивидуальные точки выборки, индексированные с помощью i

${\displaystyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$(выборочное среднее ); и аналогично для${\displaystyle {\bar {y}}}$

Перестановка дает нам следующую формулу :${\displaystyle r_{xy}}$

${\displaystyle r_{xy}={\frac {n\sum x_{i}y_{i}-\sum x_{i}\sum y_{i}}{{\sqrt {n\sum x_{i}^{2}-(\sum x_{i})^{2}}}~{\sqrt {n\sum y_{i}^{2}-(\sum y_{i})^{2}}}}}.}$

где определены, как указано выше.${\displaystyle n,x_{i},y_{i}}$

Эта формула предлагает удобный однопроходный алгоритм для расчета выборочных корреляций, хотя в зависимости от задействованных чисел он иногда может быть численно нестабильным .

Повторная перестановка дает нам формулу ^[10] для :${\displaystyle r_{xy}}$

${\displaystyle r_{xy}={\frac {\sum x_{i}y_{i}-n{\bar {x}}{\bar {y}}}{{\sqrt {(\sum x_{i}^{2}-n{\bar {x}}^{2})}}~{\sqrt {(\sum y_{i}^{2}-n{\bar {y}}^{2})}}}}.}$

где определены, как указано выше.${\displaystyle n,x_{i},y_{i},{\bar {x}},{\bar {y}}}$

Эквивалентное выражение дает формулу для среднего произведения стандартных оценок следующим образом:${\displaystyle r_{xy}}$

${\displaystyle r_{xy}={\frac {1}{n-1}}\sum _{i=1}^{n}\left({\frac {x_{i}-{\bar {x}}}{s_{x}}}\right)\left({\frac {y_{i}-{\bar {y}}}{s_{y}}}\right)}$

куда

${\displaystyle n,x_{i},y_{i},{\bar {x}},{\bar {y}}}$определены, как указано выше, и определены ниже${\displaystyle s_{x},s_{y}}$

${\displaystyle \left({\frac {x_{i}-{\bar {x}}}{s_{x}}}\right)}$это стандартный счет (и аналогично для стандартного балла )${\displaystyle y}$

Также доступны альтернативные формулы для . Например. можно использовать следующую формулу для :${\displaystyle r_{xy}}$${\displaystyle r_{xy}}$

${\displaystyle r_{xy}={\frac {\sum x_{i}y_{i}-n{\bar {x}}{\bar {y}}}{(n-1)s_{x}s_{y}}}}$

куда:

${\displaystyle n,x_{i},y_{i},{\bar {x}},{\bar {y}}}$ определены, как указано выше, и:

${\displaystyle s_{x}={\sqrt {{\frac {1}{n-1}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}$( стандартное отклонение выборки ); и аналогично для${\displaystyle s_{y}}$

Практические вопросы [ править ]

В условиях сильного шума извлечение коэффициента корреляции между двумя наборами стохастических переменных нетривиально, в частности, когда канонический корреляционный анализ сообщает о ухудшенных значениях корреляции из-за сильного влияния шума. Обобщение подхода дано в другом месте. ^[12]

В случае отсутствия данных Гаррен получил оценку максимального правдоподобия . ^[13]

Математические свойства [ править ]

Абсолютные значения коэффициентов корреляции Пирсона выборки и генеральной совокупности находятся в диапазоне от 0 до 1. Корреляции, равные +1 или -1, соответствуют точкам данных, лежащим точно на линии (в случае выборочной корреляции), или двумерное распределение полностью поддерживается на линии (в случае корреляции населения). Коэффициент корреляции Пирсона симметричен: corr ( X , Y ) = corr ( Y , X ).

Ключевым математическим свойством коэффициента корреляции Пирсона является то, что он инвариантен при отдельных изменениях местоположения и масштаба двух переменных. То есть мы можем преобразовать X в a  +  bX и преобразовать Y в c  +  dY , где a , b , c и d - константы с b , d > 0 , без изменения коэффициента корреляции. (Это справедливо как для генеральных, так и для выборочных коэффициентов корреляции Пирсона.) Обратите внимание, что более общие линейные преобразования действительно изменяют корреляцию: см.§ Декорреляция n случайных величин для применения.

Интерпретация [ править ]

Диапазоны коэффициент корреляции от -1 до 1. значения A 1 означает , что линейное уравнение описывает взаимосвязь между X и Y отлично, причем все точки данных , лежащих на линии , для которых Y возрастает по мере X возрастает. Значение -1 означает, что все точки данных лежат на линии, для которой Y уменьшается с увеличением X. Значение 0 означает, что между переменными нет линейной корреляции. ^[14]

В более общем плане отметим, что ( X _i  -  X ) ( Y _i  -  Y ) положительно тогда и только тогда, когда X _i и Y _i лежат на одной стороне от своих соответствующих средних. Таким образом, коэффициент корреляции является положительным, если X _i и Y _i имеют тенденцию одновременно быть больше или одновременно меньше, чем их соответствующие средние значения. Коэффициент корреляции отрицательный ( антикорреляция ), если X _i и Y _iимеют тенденцию лежать по разные стороны от своих средств. Причем, чем сильнее тенденция, тем больше абсолютное значение коэффициента корреляции.

Роджерс и Найсвандер ^[15] каталогизировали тринадцать способов интерпретации корреляции:

• Функция исходных оценок и средних значений
• Стандартизированная ковариация
• Стандартизированный наклон линии регрессии
• Среднее геометрическое двух наклонов регрессии
• Корень квадратный из отношения двух дисперсий
• Среднее перекрестное произведение стандартизованных переменных
• Функция угла между двумя стандартизованными линиями регрессии
• Функция угла между двумя переменными векторами
• Измененная дисперсия разницы между стандартизованными баллами
• Оценка по правилу балуна
• Связанные с двумерными эллипсами изоконцентрации
• Функция тестовой статистики из запланированных экспериментов
• Соотношение двух средних

Геометрическая интерпретация [ править ]

Для нецентрированных данных существует связь между коэффициентом корреляции и углом φ между двумя линиями регрессии, y = g _X ( x ) и x = g _Y ( y ) , полученными путем регрессии y по x и x по y соответственно. (Здесь φ измеряется против часовой стрелки в первом квадранте, образованном вокруг точки пересечения линий, если r > 0 , или против часовой стрелки от четвертого во второй квадрант, если r <0.) Можно показать ^[16], что если стандартные отклонения равны, то r = sec φ - tan φ , где sec и tan - тригонометрические функции .

Для центрированных данных (то есть, данные , которые были сдвинуты на выборки посредством их соответствующих переменных так, чтобы иметь в среднем от нуля для каждого переменного), коэффициента корреляции можно также рассматривать как косинус этого угла & thetas между двумя Наблюдаемыми векторы в N -мерном пространстве (для N наблюдений каждой переменной) ^[17]

Для набора данных можно определить как нецентрированные (несовместимые с Пирсоном), так и центрированные коэффициенты корреляции. В качестве примера предположим, что в пяти странах валовой национальный продукт составляет 1, 2, 3, 5 и 8 миллиардов долларов соответственно. Предположим, что в этих пяти странах (в том же порядке) бедность составляет 11%, 12%, 13%, 15% и 18%. Затем пусть x и y будут упорядоченными 5-элементными векторами, содержащими указанные выше данные: x = (1, 2, 3, 5, 8) и y = (0.11, 0.12, 0.13, 0.15, 0.18) .

При обычной процедуре нахождения угла θ между двумя векторами (см. Скалярное произведение ) нецентрированный коэффициент корреляции равен:

${\displaystyle \cos \theta ={\frac {\mathbf {x} \cdot \mathbf {y} }{\left\|\mathbf {x} \right\|\left\|\mathbf {y} \right\|}}={\frac {2.93}{{\sqrt {103}}{\sqrt {0.0983}}}}=0.920814711.}$

Этот нецентрированный коэффициент корреляции идентичен косинусному подобию . Обратите внимание, что приведенные выше данные были намеренно выбраны так, чтобы они идеально коррелировали: y = 0,10 + 0,01 x . Следовательно, коэффициент корреляции Пирсона должен быть равен единице. Центрирование данных (сдвиг x на ℰ ( x ) = 3,8 и y на ℰ ( y ) = 0,138 ) дает x = (−2,8, −1,8, −0,8, 1,2, 4,2) и y = (−0,028, −0,018, -0,008, 0,012, 0,042) , из которых

${\displaystyle \cos \theta ={\frac {\mathbf {x} \cdot \mathbf {y} }{\left\|\mathbf {x} \right\|\left\|\mathbf {y} \right\|}}={\frac {0.308}{{\sqrt {30.8}}{\sqrt {0.00308}}}}=1=\rho _{xy},}$

как и ожидалось.

Интерпретация размера корреляции [ править ]

Этот рисунок дает представление о том, как полезность корреляции Пирсона для прогнозирования значений зависит от ее величины. Учитывая , совместно нормальным X , Y с корреляции р , (построенной здесь как функция от р ) является фактором , с помощью которого данный интервал предсказания для Y может быть уменьшена , учитывая соответствующее значение X . Например, если ρ = 0,5, то 95% интервал прогнозирования Y | Х будет составлять около 13% меньше , чем интервал предсказания в 95% от Y .${\displaystyle 1-{\sqrt {1-\rho ^{2}}}}$

Несколько авторов предложили рекомендации по интерпретации коэффициента корреляции. ^{[18] [19]} Однако все такие критерии в некотором смысле произвольны. ^[19] Интерпретация коэффициента корреляции зависит от контекста и целей. Корреляция 0,8 может быть очень низкой, если кто-то проверяет физический закон с использованием высококачественных инструментов, но может считаться очень высокой в ​​социальных науках, где может быть больший вклад усложняющих факторов.

Вывод [ править ]

Статистический вывод, основанный на коэффициенте корреляции Пирсона, часто фокусируется на одной из следующих двух целей:

• Одна из целей состоит в том, чтобы проверить нулевую гипотезу о том, что истинный коэффициент корреляции ρ равен 0, на основе значения выборочного коэффициента корреляции r .
• Другая цель - получить доверительный интервал, который при повторной выборке имеет заданную вероятность содержания ρ .

Ниже мы обсудим методы достижения одной или обеих этих целей.

Использование теста перестановки [ править ]

Перестановочные тесты обеспечивают прямой подход к выполнению проверки гипотез и построению доверительных интервалов. Проверка перестановки коэффициента корреляции Пирсона включает следующие два этапа:

1. Используя исходные парные данные ( x _i ,  y _i ), случайным образом переопределите пары, чтобы создать новый набор данных ( x _i ,  y _{i '} ), где i' - это перестановка набора {1, ..., n }. Перестановка i ' выбирается случайным образом с равными вероятностями для всех n ! возможные перестановки. Это эквивалентно отрисовке i ' случайным образом без замены из набора {1, ..., n }. В бутстрэппинге , тесно связанном подходе, i и i ′равны и тянутся с заменой из {1, ..., n };
2. Постройте коэффициент корреляции r из рандомизированных данных.

Чтобы выполнить проверку перестановки, повторите шаги (1) и (2) большое количество раз. Значение p для теста перестановки - это доля значений r, сгенерированных на этапе (2), которые больше, чем коэффициент корреляции Пирсона, рассчитанный на основе исходных данных. Здесь «больше» может означать, что значение больше по величине или больше по значению со знаком, в зависимости от того, требуется ли двусторонний или односторонний тест.

Использование бутстрапа [ править ]

Самозагрузки могут быть использованы для построения доверительных интервалов для коэффициента корреляции Пирсона. В «непараметрическом» бутстрапе n пар ( x _i ,  y _i ) повторно дискретизируются «с заменой» из наблюдаемого набора из n пар, и коэффициент корреляции r вычисляется на основе данных повторной дискретизации. Этот процесс повторяется большое количество раз, и эмпирическое распределение повторно выбранных значений r используется для аппроксимации выборочного распределения статистики. 95% доверительный интервал для ρможет быть определен как интервал от 2,5 до 97,5 процентиля повторно выбранных значений r .

Тестирование с использованием t- распределения Стьюдента [ править ]

Для пар из нескоррелированого двухмерного нормального распределения , то распределение выборки определенной функции коэффициента корреляции Пирсона следующим образом Стьюдента т -распределение с степенями свободы п  - 2. В частности, если базовые переменные являются белыми и имеют двумерный нормальное распределение, то переменные

${\displaystyle t=r{\sqrt {\frac {n-2}{1-r^{2}}}}}$

имеет t -распределение Стьюдента в нулевом случае (нулевая корреляция). ^[20] Это примерно справедливо в случае ненормальных наблюдаемых значений, если размеры выборки достаточно велики. ^[21] Для определения критических значений r необходима обратная функция:

${\displaystyle r={\frac {t}{\sqrt {n-2+t^{2}}}}.}$

В качестве альтернативы можно использовать асимптотические подходы с большой выборкой.

В другой ранней статье ^[22] представлены графики и таблицы для общих значений ρ для малых размеров выборки, а также обсуждаются вычислительные подходы.

В случае, когда базовые переменные не белые, выборочное распределение коэффициента корреляции Пирсона следует t- распределению Стьюдента, но степени свободы уменьшаются. ^[23]

Использование точного распределения [ править ]

Для данных, которые подчиняются двумерному нормальному распределению , точная функция плотности f ( r ) для выборочного коэффициента корреляции r нормального двумерного параметра равна ^{[24] [25] [26]}

${\displaystyle f(r)={\frac {(n-2)\,\mathrm {\Gamma } (n-1)(1-\rho ^{2})^{\frac {n-1}{2}}(1-r^{2})^{\frac {n-4}{2}}}{{\sqrt {2\pi }}\,\mathrm {\Gamma } (n-{\tfrac {1}{2}})(1-\rho r)^{n-{\frac {3}{2}}}}}{}_{2}\mathrm {F} _{1}{\bigl (}{\tfrac {1}{2}},{\tfrac {1}{2}};{\tfrac {1}{2}}(2n-1);{\tfrac {1}{2}}(\rho r+1){\bigr )}}$

где это гамма - функция и является гауссовой гипергеометрической функцией .${\displaystyle \mathrm {\Gamma } }$${\displaystyle {}_{2}\mathrm {F} _{1}(a,b;c;z)}$

В частном случае, когда точная функция плотности f ( r ) может быть записана как:${\displaystyle \,\rho =0}$

${\displaystyle f(r)={\frac {(1-r^{2})^{\frac {n-4}{2}}}{\mathrm {B} {\bigl (}{\tfrac {1}{2}},{\tfrac {1}{2}}(n-2){\bigr )}}},}$

где - бета-функция , которая является одним из способов записи плотности t-распределения Стьюдента, как указано выше.${\displaystyle \mathrm {B} }$

Использование преобразования Фишера [ править ]

На практике, доверительные интервалы и проверки гипотез , относящихся к р, как правило , осуществляется с помощью преобразования Фишера , :${\displaystyle F}$

${\displaystyle F(r)\equiv {\tfrac {1}{2}}\,\ln \left({\frac {1+r}{1-r}}\right)=\operatorname {arctanh} (r)}$

F ( r ) приблизительно следует нормальному распределению с

${\displaystyle {\text{mean}}=F(\rho )=\operatorname {arctanh} (\rho )}$    и стандартная ошибка ${\displaystyle ={\text{SE}}={\frac {1}{\sqrt {n-3}}},}$

где n - размер выборки. Ошибка аппроксимации является самой низкой для большого размера выборки и малой и и увеличивается в противном случае.${\displaystyle n}$${\displaystyle r}$${\displaystyle \rho _{0}}$

Используя приближение, z-показатель равен

${\displaystyle z={\frac {x-{\text{mean}}}{\text{SE}}}=[F(r)-F(\rho _{0})]{\sqrt {n-3}}}$

при нулевой гипотезе , что , учитывая предположение , что выборочные пары независимы и одинаково распределены и следовать двумерное нормальное распределение . Таким образом, приблизительное p-значение может быть получено из нормальной таблицы вероятностей. Например, если  наблюдается z = 2,2 и требуется двустороннее значение p для проверки нулевой гипотезы, что значение p равно 2 · Φ (−2,2) = 0,028, где Φ - стандартная нормальная кумулятивная функция распределения. .${\displaystyle \rho =\rho _{0}}$${\displaystyle \rho =0}$

Чтобы получить доверительный интервал для ρ, мы сначала вычисляем доверительный интервал для F ( ):${\displaystyle \rho }$

${\displaystyle 100(1-\alpha )\%{\text{CI}}:\operatorname {arctanh} (\rho )\in [\operatorname {arctanh} (r)\pm z_{\alpha /2}{\text{SE}}]}$

Обратное преобразование Фишера возвращает интервал к шкале корреляции.

${\displaystyle 100(1-\alpha )\%{\text{CI}}:\rho \in [\operatorname {tanh} (\operatorname {arctanh} (r)-z_{\alpha /2}{\text{SE}}),\operatorname {tanh} (\operatorname {arctanh} (r)+z_{\alpha /2}{\text{SE}})]}$

Например, предположим, что мы наблюдаем r  = 0,3 с размером выборки n = 50, и мы хотим получить 95% доверительный интервал для ρ. Преобразованное значение составляет arctanh ( r ) = 0,30952, поэтому доверительный интервал на преобразованной шкале составляет 0,30952 ± 1,96 / √ 47 или (0,023624, 0,595415). Возврат к шкале корреляции дает (0,024, 0,534).

Регрессионный анализ методом наименьших квадратов [ править ]

Квадрат выборочного коэффициента корреляции обычно обозначается r ² и является частным случаем коэффициента детерминации . В этом случае он оценивает долю дисперсии Y, которая объясняется X в простой линейной регрессии . Итак, если у нас есть наблюдаемый набор данных и подобранный набор данных, тогда в качестве отправной точки общее изменение Y _i вокруг их среднего значения может быть разложено следующим образом${\displaystyle Y_{1},\dots ,Y_{n}}$${\displaystyle {\hat {Y}}_{1},\dots ,{\hat {Y}}_{n}}$

${\displaystyle \sum _{i}(Y_{i}-{\bar {Y}})^{2}=\sum _{i}(Y_{i}-{\hat {Y}}_{i})^{2}+\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2},}$

где - подогнанные значения из регрессионного анализа. Это можно изменить, чтобы получить${\displaystyle {\hat {Y}}_{i}}$

${\displaystyle 1={\frac {\sum _{i}(Y_{i}-{\hat {Y}}_{i})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}+{\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}.}$

Два слагаемых выше представляют собой долю дисперсии в Y, которая объясняется X (справа) и не объясняется X (слева).

Затем мы применяем свойство моделей регрессии по методу наименьших квадратов, согласно которому ковариация выборки между и равна нулю. Таким образом, можно записать выборочный коэффициент корреляции между наблюдаемыми и подобранными значениями отклика в регрессии (расчет не соответствует ожиданиям, предполагает гауссову статистику)${\displaystyle {\hat {Y}}_{i}}$${\displaystyle Y_{i}-{\hat {Y}}_{i}}$

${\displaystyle {\begin{aligned}r(Y,{\hat {Y}})&={\frac {\sum _{i}(Y_{i}-{\bar {Y}})({\hat {Y}}_{i}-{\bar {Y}})}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\[6pt]&={\frac {\sum _{i}(Y_{i}-{\hat {Y}}_{i}+{\hat {Y}}_{i}-{\bar {Y}})({\hat {Y}}_{i}-{\bar {Y}})}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\[6pt]&={\frac {\sum _{i}[(Y_{i}-{\hat {Y}}_{i})({\hat {Y}}_{i}-{\bar {Y}})+({\hat {Y}}_{i}-{\bar {Y}})^{2}]}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\[6pt]&={\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\[6pt]&={\sqrt {\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}}.\end{aligned}}}$

Таким образом

${\displaystyle r(Y,{\hat {Y}})^{2}={\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}}$

куда

${\displaystyle r(Y,{\hat {Y}})^{2}}$это доля дисперсии Y объясняется линейной функцией от X .

В приведенном выше выводе тот факт, что

${\displaystyle \sum _{i}(Y_{i}-{\hat {Y}}_{i})({\hat {Y}}_{i}-{\bar {Y}})=0}$

можно доказать, заметив, что частные производные остаточной суммы квадратов ( RSS ) по β ₀ и β ₁ равны 0 в модели наименьших квадратов, где

${\displaystyle {\text{RSS}}=\sum _{i}(Y_{i}-{\hat {Y}}_{i})^{2}}$.

В конце концов, уравнение можно записать как:

${\displaystyle r(Y,{\hat {Y}})^{2}={\frac {{\text{SS}}_{\text{reg}}}{{\text{SS}}_{\text{tot}}}}}$

куда

${\displaystyle {\text{SS}}_{\text{reg}}=\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}$

${\displaystyle {\text{SS}}_{\text{tot}}=\sum _{i}(Y_{i}-{\bar {Y}})^{2}}$

Символ называется суммой квадратов регрессии, также называемой объясненной суммой квадратов , и представляет собой общую сумму квадратов (пропорциональную дисперсии данных).${\displaystyle {\text{SS}}_{\text{reg}}}$${\displaystyle {\text{SS}}_{\text{tot}}}$

Чувствительность к распределению данных [ править ]

Существование [ править ]

Коэффициент корреляции Пирсона совокупности определяется в терминах моментов и, следовательно, существует для любого двумерного распределения вероятностей, для которого определена ковариация совокупности и определены маргинальные дисперсии совокупности , которые не равны нулю. Некоторые распределения вероятностей, такие как распределение Коши, имеют неопределенную дисперсию, и, следовательно, ρ не определено, если X или Y следуют такому распределению. В некоторых практических приложениях, например, с данными, предположительно подчиняющимися распределению с тяжелым хвостом. , это важное соображение. Однако наличие коэффициента корреляции обычно не вызывает беспокойства; например, если диапазон распределения ограничен, всегда определяется ρ.

Размер выборки [ править ]

• Если размер выборки средний или большой, а совокупность нормальная, то в случае двумерного нормального распределения коэффициент корреляции выборки является оценкой максимального правдоподобия коэффициента корреляции совокупности, асимптотически несмещенной и эффективной , что примерно означает что невозможно построить более точную оценку, чем выборочный коэффициент корреляции.
• Если размер выборки велик, а совокупность ненормальна, то коэффициент корреляции выборки остается приблизительно несмещенным, но может быть неэффективным.
• Если размер выборки большой, то коэффициент корреляции выборки является непротиворечивой оценкой коэффициента корреляции совокупности до тех пор, пока средние выборки, дисперсии и ковариация согласованы (что гарантируется, когда может применяться закон больших чисел ).
• Если размер выборки невелик, то коэффициент корреляции выборки r не является несмещенной оценкой ρ . ^[10] Вместо этого следует использовать скорректированный коэффициент корреляции: см. Определение в другом месте этой статьи.
• Корреляции могут быть разными для несбалансированных дихотомических данных, когда в выборке есть ошибка дисперсии. ^[27]

Надежность [ править ]

Как и во многих широко используемых статистических данных, выборка статистики г не надежный , ^[28] , поэтому его значение может ввести в заблуждение , если выбросы присутствуют. ^{[29] [30] В} частности, PMCC не является ни устойчивым с точки зрения распределения, ^{[ необходима ссылка ],} ни устойчивостью к выбросам ^[28] (см. « Надежная статистика # Определение» ). Проверка диаграммы рассеяния между X и Yобычно выявляет ситуацию, когда отсутствие устойчивости может быть проблемой, и в таких случаях может быть целесообразно использовать надежную меру ассоциации. Однако обратите внимание, что, хотя большинство надежных оценок ассоциации каким-то образом измеряют статистическую зависимость , они, как правило, не интерпретируются в той же шкале, что и коэффициент корреляции Пирсона.

Статистический вывод для коэффициента корреляции Пирсона чувствителен к распределению данных. Точные тесты и асимптотические тесты, основанные на преобразовании Фишера, могут применяться, если данные приблизительно нормально распределены, но в противном случае могут вводить в заблуждение. В некоторых ситуациях бутстрап может применяться для построения доверительных интервалов, а тесты перестановки могут применяться для выполнения тестов гипотез. Эти непараметрические подходы могут дать более значимые результаты в некоторых ситуациях, когда двумерная нормальность не выполняется. Однако стандартные версии этих подходов полагаются на возможность замены. данных, что означает отсутствие упорядочения или группировки анализируемых пар данных, которые могли бы повлиять на поведение оценки корреляции.

Стратифицированный анализ - это один из способов либо учесть отсутствие двумерной нормальности, либо изолировать корреляцию, возникающую в результате одного фактора, при одновременном контроле другого. Если W представляет принадлежность к кластеру или другой фактор, который желательно контролировать, мы можем стратифицировать данные на основе значения W , а затем рассчитать коэффициент корреляции в пределах каждой страты. Оценки прослойки уровня могут затем быть объединены , чтобы оценить общую корреляцию, контролируя при этом для W . ^[31]

Варианты [ править ]

Вариации коэффициента корреляции можно рассчитывать для разных целей. Вот несколько примеров.

Скорректированный коэффициент корреляции [ править ]

Коэффициент корреляции выборки r не является объективной оценкой ρ . Для данных, которые подчиняются двумерному нормальному распределению , математическое ожидание E [ r ] для выборочного коэффициента корреляции r нормального двумерного показателя составляет ^[32]

${\displaystyle \operatorname {\mathbb {E} } \left[r\right]=\rho -{\frac {\rho \left(1-\rho ^{2}\right)}{2n}}+\cdots ,\quad }$поэтому r - смещенная оценка${\displaystyle \,\rho .}$

Уникальная несмещенная оценка минимальной дисперсии r _adj дается формулой ^[33]

${\displaystyle (1)\qquad r_{\text{adj}}=r\,\mathbf {_{2}F_{1}} \left({\frac {1}{2}},{\frac {1}{2}};{\frac {n-1}{2}};1-r^{2}\right),}$

куда:

${\displaystyle r,n}$ определены, как указано выше,

${\displaystyle \,\mathbf {_{2}F_{1}} (a,b;c;z)}$- гипергеометрическая функция Гаусса .

Приблизительно несмещенная оценка r _adj может быть получена ^{[ необходима цитата ]} путем усечения E [ r ] и решения этого усеченного уравнения:

${\displaystyle (2)\qquad r=\operatorname {\mathbb {E} } [r]\approx r_{\text{adj}}-{\frac {r_{\text{adj}}(1-r_{\text{adj}}^{2})}{2n}}.}$

Приближенное решение ^{[ необходимая цитата ]} уравнения (2):

${\displaystyle (3)\qquad r_{\text{adj}}\approx r\left[1+{\frac {1-r^{2}}{2n}}\right],}$

где в (3):

${\displaystyle r,n}$ определены, как указано выше,

r _adj - неоптимальная оценка, ^{[ необходима цитата ] [ требуется пояснение ]}

r _adj также можно получить, максимизируя log ( f ( r )),

r _adj имеет минимальную дисперсию для больших значений n ,

г _прил имеет уклон порядка ¹ / _{( п  - 1)} .

Другой предлагаемый ^[10] скорректированный коэффициент корреляции: ^{[ необходима цитата ]}

${\displaystyle r_{\text{adj}}={\sqrt {1-{\frac {(1-r^{2})(n-1)}{(n-2)}}}}.}$

Обратите внимание, что r _adj ≈ r для больших значений  n .

Взвешенный коэффициент корреляции [ править ]

Предположим, что коррелируемые наблюдения имеют разную степень важности, которая может быть выражена весовым вектором w . Чтобы вычислить корреляцию между векторами x и y с вектором весов w (все длины  n ), ^{[34] [35]}

• Средневзвешенное значение:

${\displaystyle \operatorname {m} (x;w)={\frac {\sum _{i}w_{i}x_{i}}{\sum _{i}w_{i}}}.}$

• Взвешенная ковариация

${\displaystyle \operatorname {cov} (x,y;w)={\frac {\sum _{i}w_{i}\cdot (x_{i}-\operatorname {m} (x;w))(y_{i}-\operatorname {m} (y;w))}{\sum _{i}w_{i}}}.}$

• Взвешенная корреляция

${\displaystyle \operatorname {corr} (x,y;w)={\frac {\operatorname {cov} (x,y;w)}{\sqrt {\operatorname {cov} (x,x;w)\operatorname {cov} (y,y;w)}}}.}$

Коэффициент корреляции отражения [ править ]

Отражательная корреляция - это вариант корреляции Пирсона, в которой данные не сосредоточены вокруг своих средних значений. ^{[ необходима цитата ]} Корреляция отражения населения

${\displaystyle \operatorname {corr} _{r}(X,Y)={\frac {\operatorname {\mathbb {E} } [\,X\,Y\,]}{\sqrt {\operatorname {\mathbb {E} } [\,X^{2}\,]\cdot \operatorname {\mathbb {E} } [\,Y^{2}\,]}}}.}$

Отражательная корреляция симметрична, но не инвариантна при переводе:

${\displaystyle \operatorname {corr} _{r}(X,Y)=\operatorname {corr} _{r}(Y,X)=\operatorname {corr} _{r}(X,bY)\neq \operatorname {corr} _{r}(X,a+bY),\quad a\neq 0,b>0.}$

Отражательная корреляция выборки эквивалентна косинусному подобию :

${\displaystyle rr_{xy}={\frac {\sum x_{i}y_{i}}{\sqrt {(\sum x_{i}^{2})(\sum y_{i}^{2})}}}.}$

Взвешенная версия выборочной корреляции отражательной способности:

${\displaystyle rr_{xy,w}={\frac {\sum w_{i}x_{i}y_{i}}{\sqrt {(\sum w_{i}x_{i}^{2})(\sum w_{i}y_{i}^{2})}}}.}$

Масштабированный коэффициент корреляции [ править ]

Масштабированная корреляция - это вариант корреляции Пирсона, в котором диапазон данных ограничен намеренно и контролируемым образом, чтобы выявить корреляции между быстрыми компонентами во временных рядах. ^[36] Масштабная корреляция определяется как средняя корреляция между короткими сегментами данных.

Позвольте быть количеством сегментов, которые могут поместиться в общую длину сигнала для данного масштаба :${\displaystyle K}$${\displaystyle T}$${\displaystyle s}$

${\displaystyle K=\operatorname {round} \left({\frac {T}{s}}\right).}$

Масштабированная корреляция по всем сигналам затем вычисляется как${\displaystyle {\bar {r}}_{s}}$

${\displaystyle {\bar {r}}_{s}={\frac {1}{K}}\sum \limits _{k=1}^{K}r_{k},}$

где - коэффициент корреляции Пирсона для сегмента .${\displaystyle r_{k}}$${\displaystyle k}$

При выборе параметра диапазон значений уменьшается, и корреляции на большом временном масштабе отфильтровываются, выявляются только корреляции на коротком временном масштабе. Таким образом, вклад медленных компонентов удаляется, а вклад быстрых компонентов сохраняется.${\displaystyle s}$

Расстояние Пирсона [ править ]

Метрика расстояния для двух переменных X и Y, известная как расстояние Пирсона, может быть определена по их коэффициенту корреляции как ^[37]

${\displaystyle d_{X,Y}=1-\rho _{X,Y}.}$

Учитывая, что коэффициент корреляции Пирсона находится между [-1, +1], расстояние Пирсона лежит в [0, 2]. Расстояние Пирсона использовалось в кластерном анализе и обнаружении данных для связи и хранения с неизвестным усилением и смещением ^[38]

Коэффициент круговой корреляции [ править ]

Для переменных X = { x ₁ , ..., x _n } и Y = { y ₁ , ..., y _n }, которые определены на единичной окружности [0, 2 π ), можно определить круговую аналог коэффициента Пирсона. ^[39] Это делается путем преобразования точек данных в X и Y с помощью синусоидальной функции, так что коэффициент корреляции задается как:

${\displaystyle r_{\text{circular}}={\frac {\sum _{i=1}^{n}\sin(x_{i}-{\bar {x}})\sin(y_{i}-{\bar {y}})}{{\sqrt {\sum _{i=1}^{n}\sin(x_{i}-{\bar {x}})^{2}}}{\sqrt {\sum _{i=1}^{n}\sin(y_{i}-{\bar {y}})^{2}}}}}}$

где и являются круговыми средствами из X и  Y . Эта мера может быть полезна в таких областях, как метеорология, где важно угловое направление данных.${\displaystyle {\bar {x}}}$${\displaystyle {\bar {y}}}$

Частичная корреляция [ править ]

Если совокупность или набор данных характеризуется более чем двумя переменными, частичный коэффициент корреляции измеряет силу зависимости между парой переменных, которая не учитывается тем, как они обе изменяются в ответ на вариации в выбранном подмножестве. других переменных.

Декорреляция n случайных величин [ править ]

Всегда можно удалить корреляции между всеми парами произвольного числа случайных величин с помощью преобразования данных, даже если связь между переменными является нелинейной. Представление этого результата для распределения населения дано Cox & Hinkley. ^[40]

Соответствующий результат существует для уменьшения выборочных корреляций до нуля. Предположим, что вектор из n случайных величин наблюдается m раз. Пусть X - матрица, где - j- я переменная наблюдения i . Пусть будет квадратная матрица размером m на m с каждым элементом 1. Тогда D - это данные, преобразованные таким образом, чтобы каждая случайная переменная имела нулевое среднее, а T - это данные, преобразованные таким образом, чтобы все переменные имели нулевое среднее значение и нулевую корреляцию со всеми другими переменными - выборочная корреляция. матрица из Т${\displaystyle X_{i,j}}$${\displaystyle Z_{m,m}}$будет единичной матрицей. Это должно быть дополнительно разделено на стандартное отклонение, чтобы получить единичную дисперсию. Преобразованные переменные не будут коррелированы, даже если они не могут быть независимыми .

${\displaystyle D=X-{\frac {1}{m}}Z_{m,m}X}$

${\displaystyle T=D(D^{\mathsf {T}}D)^{-{\frac {1}{2}}},}$

где показатель - ¹ ⁄ ₂ представляет матричный квадратный корень из обратной матрицы. Корреляционная матрица T будет единичной матрицей. Если новое наблюдение данных x представляет собой вектор-строку из n элементов, то такое же преобразование может быть применено к x, чтобы получить преобразованные векторы d и t :

${\displaystyle d=x-{\frac {1}{m}}Z_{1,m}X,}$

${\displaystyle t=d(D^{\mathsf {T}}D)^{-{\frac {1}{2}}}.}$

Эта декорреляция связана с анализом главных компонентов для многомерных данных.

Программные реализации [ править ]

• Базовый пакет статистики R реализует тест cor.test(x, y, method = "pearson")в своем пакете "stats" (также cor(x, y, method = "pearson")будет работать, но без возврата p-значения). Поскольку по умолчанию используется pearson, аргумент метода также можно не указывать.
• Модуль статистических функций Python реализует тест pearsonr(x, y)в своем модуле scipy.stats и возвращает коэффициент корреляции r и p-значение как (r, p-value).
  • Библиотека Python Pandas реализует расчет коэффициента корреляции Пирсона как параметр по умолчанию для метода.pandas.DataFrame.corr

См. Также [ править ]

• Квартет анскомба
• Ассоциация (статистика)
• Коэффициент коллигации
  • Q Yule's
  • Yule's Y
• Коэффициент корреляции согласованности
• Корреляция и зависимость
• Коэффициент корреляции
• Ослабление
• Корреляция расстояний
• Максимальный информационный коэффициент
• Множественная корреляция
• Нормально распределенный и некоррелированный не подразумевает независимого
• Соотношение шансов
• Частичная корреляция
• Полихорическая корреляция
• Соотношение числа квадрантов
• Коэффициент RV
• Коэффициент ранговой корреляции Спирмена

Сноски [ править ]

Ссылки [ править ]

Внешние ссылки [ править ]

В Викиверситете есть учебные ресурсы о линейной корреляции

• "кокор" . comparingcorrelations.org . - Бесплатный веб-интерфейс и пакет R для статистического сравнения двух зависимых или независимых корреляций с перекрывающимися или неперекрывающимися переменными.
• «Корреляция» . nagysandor.eu . - интерактивное Flash-моделирование корреляции двух нормально распределенных переменных.
• «Калькулятор коэффициента корреляции» . hackmath.net . Линейная регрессия. -
• «Критические значения коэффициента корреляции Пирсона» (PDF) . frank.mtsu.edu/~dkfuller . - большой стол.
• «Угадай соотношение» . - Игра, в которой игроки угадывают, насколько коррелированы две переменные на диаграмме рассеяния, чтобы лучше понять концепцию корреляции.