В статистике , то коэффициент ранговой корреляции Кендалла , обычно называют т коэффициента Кендалла (после греческой буквы т , тау), является статистика используется для измерения порядковой связи между двумя измеряемыми величинами. Тест τ - это непараметрический тест гипотезы для статистической зависимости, основанный на коэффициенте τ.
Это мера ранговой корреляции : сходство порядка данных при ранжировании по каждой из величин. Он назван в честь Мориса Кендалла , который разработал его в 1938 году [1], хотя Густав Фехнер предложил аналогичную меру в контексте временных рядов в 1897 году [2].
Интуитивно корреляция Кендалла между двумя переменными будет высокой, когда наблюдения имеют одинаковый (или идентичный для корреляции 1) ранг (т. Е. Метку относительного положения наблюдений внутри переменной: 1-й, 2-й, 3-й и т. Д.) Между двумя. переменные и низкий, когда наблюдения имеют разный (или полностью различающийся при корреляции -1) ранг между двумя переменными.
Оба Кендалла и Спирменаможно сформулировать как частные случаи более общего коэффициента корреляции .
Определение
Позволять - набор наблюдений совместных случайных величин X и Y , таких, что все значения () а также () уникальны (связями для простоты пренебрегаем). Любая пара наблюдений а также , где , называются согласованными, если порядок сортировки а также соглашается: то есть, если оба а также держит или оба а также ; в противном случае они называются дискордантными .
Коэффициент Кендалла τ определяется как:
Где - биномиальный коэффициент для количества способов выбрать два элемента из n элементов.
Характеристики
Знаменатель представляет общее количество комбинаций пара, так что коэффициент должен находиться в диапазоне от -1 & le ; т & le ; 1.
- Если соответствие между двумя рейтингами идеальное (т. Е. Два рейтинга совпадают), коэффициент имеет значение 1.
- Если несоответствие между двумя рейтингами полное (т. Е. Одно ранжирование противоположно другому), коэффициент имеет значение -1.
- Если X и Y являются независимыми , то мы ожидаем , что коэффициент будет приблизительно равен нулю.
- Явное выражение для коэффициента ранга Кендалла: .
Проверка гипотез
Ранговый коэффициент Кендалла часто используется в качестве тестовой статистики в тесте статистической гипотезы, чтобы установить, могут ли две переменные считаться статистически зависимыми. Этот тест является непараметрическим , так как он не полагается на какие-либо предположения о распределениях X или Y или распределении ( X , Y ).
В соответствии с нулевой гипотезы о независимости X и Y , то распределение выборки из т имеет ожидаемое значение , равное нулю. Точное распределение не может быть охарактеризовано в терминах общих распределений, но может быть рассчитано точно для небольших выборок; для больших выборок обычно используется приближение к нормальному распределению с нулевым средним и дисперсией
- . [4]
Учет галстуков
Пара считается связанным, если или же ; связанная пара не является ни согласованной, ни противоречащей друг другу. Когда в данных возникают связанные пары, коэффициент может быть изменен несколькими способами, чтобы он оставался в диапазоне [-1, 1]:
Тау-а
Tau-статистика проверяет прочность ассоциации из перекрестных таблиц . Обе переменные должны быть порядковыми . Тау-а не будет делать никаких поправок на завязки. Это определяется как:
где n c , n d и n 0 определены, как в следующем разделе.
Тау-б
Статистика Tau-b, в отличие от Tau-a, делает поправки на связи. [5] Значения Tau-b варьируются от -1 (100% отрицательная ассоциация или идеальная инверсия) до +1 (100% положительная ассоциация или полное совпадение). Нулевое значение указывает на отсутствие ассоциации.
Коэффициент Кендалла Тау-b определяется как:
где
Имейте в виду, что некоторые статистические пакеты, например SPSS, используют альтернативные формулы для вычисления эффективности вычислений с удвоенным «обычным» количеством согласованных и несогласованных пар. [6]
Тау-с
Tau-c (также называемый Stuart-Kendall Tau-c) [7] более подходит, чем Tau-b для анализа данных, основанных на неквадратных (т.е. прямоугольных) таблицах непредвиденных обстоятельств . [7] [8] Поэтому используйте Tau-b, если базовая шкала обеих переменных имеет одинаковое количество возможных значений (до ранжирования), и Tau-c, если они различаются. Например, одна переменная может быть оценена по 5-балльной шкале (очень хорошо, хорошо, средне, плохо, очень плохо), а другая может быть основана на более тонкой 10-балльной шкале.
Коэффициент Кендалла Тау-c определяется как: [8]
где
Тесты значимости
Когда две величины статистически независимы, распределение трудно охарактеризовать в терминах известных распределений. Однако для следующая статистика, , приблизительно распределяется как стандартное нормальное, когда переменные статистически независимы:
Таким образом, чтобы проверить, являются ли две переменные статистически зависимыми, вычисляется , и находит кумулятивную вероятность для стандартного нормального распределения при . Для двустороннего теста умножьте это число на два, чтобы получить значение p . Если p -значение ниже заданного уровня значимости, отвергают нулевую гипотезу (на этом уровне значимости) о том, что величины статистически независимы.
Многочисленные корректировки следует добавить в при учете галстуков. Следующая статистика,, имеет то же распределение, что и распределение, и снова приблизительно равно стандартному нормальному распределению, когда величины статистически независимы:
где
Иногда это называют тестом Манна-Кендалла. [9]
Алгоритмы
Прямое вычисление числителя , включает две вложенные итерации, которые характеризуются следующим псевдокодом:
numer: = 0 для i: = 2..N do для j: = 1 .. (i - 1) do число: = число + знак (x [i] - x [j]) × знак (y [i] - y [j])возвращение Numer
Хотя этот алгоритм быстро реализуется, он по сложности и становится очень медленным на больших выборках. Более сложный алгоритм [10], основанный на алгоритме сортировки слиянием , может использоваться для вычисления числителя в время.
Начните с сортировки точек данных по первому количеству, , и во вторую очередь (среди связей в ) по второй величине, . При таком первоначальном заказене сортируется, и ядро алгоритма состоит в вычислении того, сколько шагов нужно выполнить пузырьковой сортировке для сортировки этого начального. Улучшенный алгоритм сортировки слиянием с сложность, может применяться для вычисления количества свопов, , который потребуется пузырьковой сортировке для сортировки. Тогда числитель для вычисляется как:
где вычисляется как а также , но что касается совместных связей в а также .
A Merge Сортировка разделов данных , которые будут отсортированы, на две примерно равные половины, а также , затем сортирует каждую половину рекурсивно, а затем объединяет две отсортированные половины в полностью отсортированный вектор. Количество свопов пузырьковой сортировки равно:
где а также отсортированные версии а также , а также характеризует замену, эквивалентную пузырьковой сортировке для операции слияния. вычисляется, как показано в следующем псевдокоде:
функция M (L [1..n], R [1..m]) является я: = 1 j: = 1 nSwaps: = 0 в то время как i ≤ n и j ≤ m , если R [j]то nSwaps: = nSwaps + n - i + 1 j: = j + 1 еще я: = я + 1 вернуть nSwaps
Побочным эффектом вышеупомянутых шагов является то, что вы получаете как отсортированную версию и отсортированная версия . Таким образом, факторы а также используется для вычисления легко получить за один проход линейного времени через отсортированные массивы.
Программные реализации
- Базовый пакет статистики R реализует тест cor.test(x, y, method = "kendall")в своем пакете "stats" (также
cor(x, y, method = "kendall")
будет работать, но без возврата p-значения). - Для Python , то SciPy библиотека реализует вычисление в scipy.stats.kendalltau
Смотрите также
- Корреляция
- Кендалл тау расстояние
- Кендаллс W
- Коэффициент ранговой корреляции Спирмена
- Гамма Гудмана и Крускала
- Оценщик Тейла – Сена
- U-критерий Манна – Уитни - он эквивалентен коэффициенту корреляции тау Кендалла, если одна из переменных является бинарной.
Рекомендации
- ^ Кендалл, М. (1938). «Новая мера ранговой корреляции». Биометрика . 30 (1–2): 81–89. DOI : 10.1093 / Biomet / 30.1-2.81 . JSTOR 2332226 .
- ^ Крускал, WH (1958). «Порядковые меры объединения». Журнал Американской статистической ассоциации . 53 (284): 814–861. DOI : 10.2307 / 2281954 . JSTOR 2281954 . Руководство по ремонту 0100941 .
- ^ Нельсен, РБ (2001) [1994], «Кендалловская тау-метрика» , Энциклопедия математики , EMS Press
- ^ Прохоров, А.В. (2001) [1994], "Коэффициент Кендалла ранговой корреляции" , Энциклопедия математики , EMS Press
- ^ Агрести, А. (2010). Анализ порядковых категориальных данных (второе изд.). Нью-Йорк: Джон Вили и сыновья. ISBN 978-0-470-08289-8.
- ^ IBM (2016). IBM SPSS Statistics 24 алгоритма . IBM. п. 168 . Проверено 31 августа 2017 года .
- ^ а б Берри, КДж; Johnston, JE; Zahran, S .; Mielke, PW (2009). «Тау-мера Стюарта величины эффекта для порядковых переменных: некоторые методологические соображения» . Методы исследования поведения . 41 (4): 1144–1148. DOI : 10,3758 / brm.41.4.1144 . PMID 19897822 .
- ^ а б Стюарт, А. (1953). «Оценка и сравнение сильных сторон ассоциации в таблицах непредвиденных обстоятельств». Биометрика . 40 (1–2): 105–110. DOI : 10.2307 / 2333101 . JSTOR 2333101 .
- ^ Glen_b. «Отношения между Манн-Кендаллом и Кендаллом Тау-б» .
- ^ Найт, У. (1966). «Компьютерный метод для расчета Тау Кендалла с разгруппированными данными». Журнал Американской статистической ассоциации . 61 (314): 436–439. DOI : 10.2307 / 2282833 . JSTOR 2282833 .
дальнейшее чтение
- Абди, Х. (2007). «Ранговая корреляция Кендалла» (PDF) . В Салкинд, штат Нью-Джерси (ред.). Энциклопедия измерения и статистики . Таузенд-Оукс (Калифорния): Шалфей.
- Дэниел, Уэйн В. (1990). «Тау Кендалла» . Прикладная непараметрическая статистика (2-е изд.). Бостон: PWS-Kent. С. 365–377. ISBN 978-0-534-91976-4.
- Кендалл, Морис; Гиббонс, Джин Дикинсон (1990) [Впервые опубликовано в 1948 году]. Методы ранговой корреляции . Серия книг Чарльза Гриффина (5-е изд.). Оксфорд: Издательство Оксфордского университета. ISBN 978-0195208375.
- Bonett, Douglas G .; Райт, Томас А. (2000). «Требования к размеру выборки для оценки корреляций Пирсона, Кендалла и Спирмена». Психометрика . 65 (1): 23–28. DOI : 10.1007 / BF02294183 .
Внешние ссылки
- Расчет привязанного ранга
- Программное обеспечение для вычисления тау Кендалла на очень больших наборах данных
- Онлайн-программное обеспечение: вычисляет ранговую корреляцию тау Кендалла
- Процедура CORR: статистические вычисления - Школа бизнеса Макдоно