Критерий хи-квадрат Пирсона () - это статистический тест, применяемый к наборам категориальных данных для оценки вероятности того, что любое наблюдаемое различие между наборами возникло случайно. Это наиболее широко используемый из многих тестов хи-квадрат (например, Йейтса , отношения правдоподобия , теста Портманто во временных рядах и т. Д.) - статистических процедур, результаты которых оцениваются по распределению хи-квадрат . Его свойства были впервые исследованы Карлом Пирсоном в 1900 году. [1] В контекстах, где важно улучшить различие между тестовой статистикой и ее распределением, имена, похожие наИспользуются критерий χ-квадрат Пирсона или статистика.
Он проверяет нулевую гипотезу о том, что частотное распределение определенных событий, наблюдаемых в выборке , согласуется с конкретным теоретическим распределением. Рассматриваемые события должны быть взаимоисключающими и иметь общую вероятность 1. Обычно это происходит, когда каждое событие охватывает результат категориальной переменной . Простым примером является гипотеза о том, что обычная шестигранная игральная кость «справедлива» (то есть все шесть исходов имеют одинаковую вероятность).
Определение
Критерий хи-квадрат Пирсона используется для оценки трех типов сравнения: степень соответствия , однородность и независимость .
- Проверка согласия устанавливает, отличается ли наблюдаемое частотное распределение от теоретического.
- Тест на однородность сравнивает распределение подсчетов для двух или более групп с использованием одной и той же категориальной переменной (например, выбор вида деятельности - колледж, армия, работа, путешествия - выпускников средней школы, сообщенных через год после выпуска, с сортировкой по году выпуска, чтобы узнать, изменилось ли количество выпускников, выбирающих данный вид деятельности, от класса к классу или от десятилетия к десятилетию). [2]
- Тест на независимость оценивает, являются ли наблюдения, состоящие из мер по двум переменным, выраженным в таблице непредвиденных обстоятельств , независимыми друг от друга (например, опрос ответов людей разных национальностей, чтобы увидеть, связана ли их национальность с ответом).
Для всех трех тестов вычислительная процедура включает следующие шаги:
- Рассчитайте статистику критерия хи-квадрат ,, который напоминает нормированную сумму квадратов отклонений между наблюдаемой и теоретической частотами (см. ниже).
- Определение степени свободы , ЦФ , из этой статистики.
- Для теста согласия df = Cats - Parms , где Cats - это количество категорий наблюдений, распознаваемых моделью, а Parms - это количество параметров в модели, скорректированных таким образом, чтобы модель наилучшим образом соответствовала наблюдениям: количество категорий уменьшено на количество подобранных параметров в распределении.
- Для проверки однородности df = (Rows - 1) × (Cols - 1) , где Rows соответствует количеству категорий (т. Е. Строк в связанной таблице непредвиденных обстоятельств), а Cols соответствует количеству независимых групп (т. Е. Столбцов в соответствующая таблица непредвиденных обстоятельств). [2]
- Для проверки независимости df = (Rows - 1) × (Cols - 1) , где в этом случае Rows соответствует количеству категорий в одной переменной, а Cols соответствует количеству категорий во второй переменной. [2]
- Выберите желаемый уровень достоверности ( уровень значимости , p-значение или соответствующий альфа-уровень ) для результата теста.
- Сравнивать к критическому значению из распределения хи-квадрат со степенями свободы df и выбранным уровнем достоверности (односторонний, поскольку тест является только одним направлением, т.е. больше ли тестовое значение, чем критическое значение?), что во многих случаях дает хорошее приближение распределения.
- Подтвердите или отвергните нулевую гипотезу о том, что наблюдаемое частотное распределение совпадает с теоретическим распределением на основе того, превышает ли тестовая статистика критическое значение . Если статистика теста превышает критическое значение, нулевая гипотеза (= нет разницы между распределениями) можно отклонить, а альтернативную гипотезу (= Есть это разница между распределениями) может быть принято, как с выбранным уровнем доверия. Если статистика теста опускается ниже порога значение, то нельзя сделать однозначный вывод, и нулевая гипотеза поддерживается (мы не смогли отвергнуть нулевую гипотезу), но не обязательно принимается.
Тест на соответствие дистрибутива
Дискретное равномерное распределение
В таком случае наблюдения делятся между клетки. Простое приложение - проверить гипотезу о том, что в генеральной совокупности значения будут встречаться в каждой ячейке с одинаковой частотой. Таким образом, «теоретическая частота» для любой ячейки (при нулевой гипотезе дискретного равномерного распределения ) рассчитывается как
а уменьшение степеней свободы равно , теоретически потому, что наблюдаемые частоты вынуждены суммировать .
Одним из конкретных примеров его применения может быть его приложение для теста ранжирования журнала.
Другие дистрибутивы
При проверке того, являются ли наблюдения случайными величинами, распределение которых принадлежит данному семейству распределений, «теоретические частоты» вычисляются с использованием распределения из этого семейства, подобранного некоторым стандартным способом. Уменьшение степеней свободы рассчитывается как, где - количество параметров, используемых при подборе распределения. Например, при проверке трехпараметрического Обобщенного гамма-распределения ,, и при проверке нормального распределения (где параметрами являются среднее значение и стандартное отклонение), , и при проверке распределения Пуассона (где параметр - ожидаемое значение), . Таким образом, будет степени свободы, где количество категорий.
Степени свободы не основаны на количестве наблюдений, как в случае t- или F-распределения Стьюдента . Например, при проверке правильной шестигранной кости будет пять степеней свободы, потому что есть шесть категорий / параметров (каждое число). Количество бросков кубика не влияет на количество степеней свободы.
Расчет тестовой статистики
Критические значения верхнего хвоста распределения хи-квадрат [3] | |||||
---|---|---|---|---|---|
Градусы на свободу | Вероятность меньше критического значения | ||||
0,90 | 0,95 | 0,975 | 0,99 | 0,999 | |
1 | 2,706 | 3,841 | 5,024 | 6,635 | 10,828 |
2 | 4,605 | 5,991 | 7,378 | 9,210 | 13,816 |
3 | 6,251 | 7,815 | 9,348 | 11,345 | 16,266 |
4 | 7,779 | 9,488 | 11,143 | 13 277 | 18,467 |
5 | 9 236 | 11,070 | 12,833 | 15,086 | 20,515 |
6 | 10,645 | 12,592 | 14,449 | 16,812 | 22 458 |
7 | 12,017 | 14,067 | 16,013 | 18,475 | 24,322 |
8 | 13,362 | 15,507 | 17,535 | 20.090 | 26,125 |
9 | 14,684 | 16,919 | 19,023 | 21,666 | 27 877 |
10 | 15,987 | 18.307 | 20 483 | 23.209 | 29 588 |
11 | 17 275 | 19,675 | 21,920 | 24,725 | 31,264 |
12 | 18 549 | 21,026 | 23,337 | 26,217 | 32,910 |
13 | 19,812 | 22,362 | 24,736 | 27,688 | 34,528 |
14 | 21,064 | 23,685 | 26,119 | 29,141 | 36,123 |
15 | 22.307 | 24,996 | 27 488 | 30 578 | 37,697 |
16 | 23 542 | 26,296 | 28,845 | 32,000 | 39,252 |
17 | 24,769 | 27 587 | 30,191 | 33,409 | 40,790 |
18 | 25,989 | 28,869 | 31,526 | 34,805 | 42,312 |
19 | 27,204 | 30,144 | 32,852 | 36,191 | 43,820 |
20 | 28 412 | 31,410 | 34,170 | 37,566 | 45,315 |
21 год | 29,615 | 32,671 | 35 479 | 38,932 | 46,797 |
22 | 30,813 | 33,924 | 36,781 | 40 289 | 48,268 |
23 | 32,007 | 35,172 | 38,076 | 41,638 | 49,728 |
24 | 33,196 | 36,415 | 39,364 | 42,980 | 51,179 |
25 | 34,382 | 37,652 | 40,646 | 44,314 | 52,620 |
26 год | 35 563 | 38,885 | 41,923 | 45 642 | 54,052 |
27 | 36,741 | 40,113 | 43,195 | 46,963 | 55 476 |
28 год | 37,916 | 41,337 | 44,461 | 48 278 | 56,892 |
29 | 39,087 | 42,557 | 45,722 | 49 588 | 58,301 |
30 | 40,256 | 43,773 | 46,979 | 50,892 | 59,703 |
31 год | 41,422 | 44,985 | 48,232 | 52,191 | 61,098 |
32 | 42,585 | 46,194 | 49 480 | 53,486 | 62 487 |
33 | 43,745 | 47 400 | 50,725 | 54,776 | 63 870 |
34 | 44,903 | 48,602 | 51,966 | 56,061 | 65,247 |
35 год | 46,059 | 49,802 | 53,203 | 57,342 | 66,619 |
36 | 47,212 | 50,998 | 54 437 | 58,619 | 67,985 |
37 | 48,363 | 52,192 | 55,668 | 59,893 | 69,347 |
38 | 49,513 | 53,384 | 56,896 | 61,162 | 70,703 |
39 | 50,660 | 54 572 | 58,120 | 62,428 | 72,055 |
40 | 51,805 | 55,758 | 59,342 | 63,691 | 73,402 |
41 год | 52,949 | 56,942 | 60,561 | 64,950 | 74,745 |
42 | 54,090 | 58,124 | 61,777 | 66,206 | 76,084 |
43 год | 55,230 | 59,304 | 62,990 | 67,459 | 77,419 |
44 год | 56,369 | 60,481 | 64.201 | 68,710 | 78,750 |
45 | 57,505 | 61,656 | 65,410 | 69,957 | 80,077 |
46 | 58,641 | 62,830 | 66,617 | 71.201 | 81 400 |
47 | 59,774 | 64,001 | 67 821 | 72,443 | 82,720 |
48 | 60,907 | 65,171 | 69,023 | 73,683 | 84,037 |
49 | 62,038 | 66,339 | 70,222 | 74,919 | 85,351 |
50 | 63,167 | 67,505 | 71,420 | 76,154 | 86,661 |
51 | 64,295 | 68,669 | 72,616 | 77,386 | 87,968 |
52 | 65,422 | 69,832 | 73,810 | 78,616 | 89 272 |
53 | 66,548 | 70,993 | 75,002 | 79 843 | 90,573 |
54 | 67 673 | 72,153 | 76,192 | 81,069 | 91,872 |
55 | 68,796 | 73,311 | 77,380 | 82,292 | 93,168 |
56 | 69,919 | 74,468 | 78,567 | 83,513 | 94,461 |
57 год | 71,040 | 75,624 | 79,752 | 84,733 | 95,751 |
58 | 72,160 | 76,778 | 80,936 | 85,950 | 97,039 |
59 | 73 279 | 77,931 | 82,117 | 87,166 | 98,324 |
60 | 74,397 | 79,082 | 83,298 | 88 379 | 99,607 |
61 | 75,514 | 80,232 | 84 476 | 89,591 | 100,888 |
62 | 76 630 | 81,381 | 85,654 | 90,802 | 102,166 |
63 | 77,745 | 82,529 | 86 830 | 92,010 | 103,442 |
64 | 78 860 | 83,675 | 88,004 | 93,217 | 104,716 |
65 | 79,973 | 84 821 | 89,177 | 94,422 | 105,988 |
66 | 81,085 | 85,965 | 90,349 | 95,626 | 107,258 |
67 | 82,197 | 87,108 | 91 519 | 96 828 | 108 526 |
68 | 83,308 | 88,250 | 92,689 | 98,028 | 109,791 |
69 | 84,418 | 89,391 | 93,856 | 99,228 | 111,055 |
70 | 85 527 | 90,531 | 95,023 | 100,425 | 112,317 |
71 | 86,635 | 91,670 | 96 189 | 101,621 | 113 577 |
72 | 87,743 | 92,808 | 97,353 | 102,816 | 114 835 |
73 | 88,850 | 93,945 | 98,516 | 104,010 | 116,092 |
74 | 89,956 | 95,081 | 99,678 | 105,202 | 117,346 |
75 | 91,061 | 96,217 | 100,839 | 106,393 | 118 599 |
76 | 92,166 | 97,351 | 101,999 | 107 583 | 119,850 |
77 | 93,270 | 98,484 | 103,158 | 108,771 | 121,100 |
78 | 94 374 | 99,617 | 104,316 | 109,958 | 122,348 |
79 | 95 476 | 100,749 | 105,473 | 111,144 | 123,594 |
80 | 96 578 | 101 879 | 106,629 | 112,329 | 124,839 |
81 год | 97,680 | 103,010 | 107,783 | 113,512 | 126,083 |
82 | 98,780 | 104,139 | 108,937 | 114,695 | 127,324 |
83 | 99,880 | 105,267 | 110.090 | 115 876 | 128,565 |
84 | 100.980 | 106,395 | 111,242 | 117,057 | 129,804 |
85 | 102,079 | 107,522 | 112,393 | 118 236 | 131,041 |
86 | 103,177 | 108,648 | 113 544 | 119,414 | 132 277 |
87 | 104 275 | 109,773 | 114,693 | 120,591 | 133,512 |
88 | 105,372 | 110,898 | 115,841 | 121,767 | 134,746 |
89 | 106,469 | 112,022 | 116,989 | 122,942 | 135 978 |
90 | 107,565 | 113,145 | 118,136 | 124,116 | 137,208 |
91 | 108,661 | 114,268 | 119 282 | 125 289 | 138 438 |
92 | 109,756 | 115,390 | 120,427 | 126,462 | 139,666 |
93 | 110,850 | 116,511 | 121 571 | 127,633 | 140,893 |
94 | 111,944 | 117,632 | 122,715 | 128,803 | 142,119 |
95 | 113,038 | 118,752 | 123,858 | 129,973 | 143,344 |
96 | 114,131 | 119 871 | 125 000 | 131,141 | 144,567 |
97 | 115,223 | 120,990 | 126,141 | 132,309 | 145,789 |
98 | 116,315 | 122,108 | 127 282 | 133,476 | 147,010 |
99 | 117,407 | 123,225 | 128,422 | 134,642 | 148,230 |
100 | 118 498 | 124,342 | 129,561 | 135,807 | 149,449 |
Значение тестовой статистики равно
где
- = Совокупная статистика теста Пирсона, которая асимптотически приближается к распространение .
- = количество наблюдений типа i .
- = общее количество наблюдений
- = ожидаемое (теоретическое) количество типа i , утвержденное нулевой гипотезой о том, что доля типа i в генеральной совокупности равна
- = количество ячеек в таблице.
Затем статистику хи-квадрат можно использовать для вычисления p-значения путем сравнения значения статистики с распределением хи-квадрат . Количество степеней свободы равно количеству ячеек., за вычетом уменьшения степеней свободы, .
Результат о количестве степеней свободы действителен, когда исходные данные являются полиномиальными, и, следовательно, оцененные параметры эффективны для минимизации статистики хи-квадрат. Однако в более общем плане, когда оценка максимального правдоподобия не совпадает с минимальной оценкой хи-квадрат, распределение будет находиться где-то между распределением хи-квадрат с а также степени свободы (см., например, Chernoff and Lehmann, 1954).
Байесовский метод
В байесовской статистике вместо этого можно было бы использовать распределение Дирихле как сопряженное априорное . Если взять единообразную априорную оценку , то оценка максимального правдоподобия для вероятности популяции является наблюдаемой вероятностью, и можно вычислить вероятную область вокруг этой или другой оценки.
Проверка на статистическую независимость
В этом случае «наблюдение» состоит из значений двух исходов, а нулевая гипотеза состоит в том, что возникновение этих результатов статистически не зависит . Каждое наблюдение назначается одной ячейке двумерного массива ячеек (называемой таблицей непредвиденных обстоятельств ) в соответствии со значениями двух результатов. Если в таблице имеется r строк и c столбцов, «теоретическая частота» для ячейки с учетом гипотезы независимости равна
где - общий размер выборки (сумма всех ячеек в таблице), и
- доля наблюдений типа i, игнорирующих атрибут столбца (доля итоговых значений строк), и
- это доля наблюдений типа j, игнорирующих атрибут строки (доля от итоговых значений столбца). Термин « частоты » относится к абсолютным числам, а не к уже нормализованным значениям.
Значение тестовой статистики равно
Обратите внимание, что равно 0 тогда и только тогда, когда , т.е. только если ожидаемое и истинное количество наблюдений одинаково во всех ячейках.
Подгонка модели «независимости» уменьшает количество степеней свободы на p = r + c - 1. Количество степеней свободы равно количеству ячеек rc за вычетом уменьшения степеней свободы p , что уменьшает к ( r - 1) ( c - 1).
Для теста на независимость, также известного как тест на однородность, вероятность хи-квадрат меньше или равна 0,05 (или статистика хи-квадрат, равная или превышающая критическую точку 0,05) обычно интерпретируется прикладными работниками как обоснование отклонения нулевой гипотезы о том, что переменная строки не зависит от переменной столбца. [4] В альтернативной гипотезе соответствует переменным , имеющей связь или связь , где структура этих отношений не указана.
Предположения
Критерий хи-квадрат при использовании со стандартным приближением применимости распределения хи-квадрат имеет следующие допущения: [ необходима цитата ]
- Простая случайная выборка
- Данные выборки представляют собой случайную выборку из фиксированного распределения или совокупности, где каждая совокупность членов совокупности данного размера выборки имеет равную вероятность выбора. Варианты теста были разработаны для сложных выборок, например, где данные взвешиваются. Могут использоваться и другие формы, например, целенаправленная выборка . [5]
- Размер выборки (вся таблица)
- Предполагается выборка достаточно большого размера. Если критерий хи-квадрат проводится на выборке меньшего размера, тогда критерий хи-квадрат даст неточный вывод. Исследователь, используя критерий хи-квадрат на небольших выборках, может в конечном итоге совершить ошибку типа II .
- Ожидаемое количество клеток
- Адекватное ожидаемое количество клеток. Некоторым требуется 5 или больше, а другим - 10 или больше. Общее правило - 5 или более во всех ячейках таблицы 2 на 2 и 5 или более в 80% ячеек в более крупных таблицах, но без ячеек с нулевым ожидаемым счетчиком. Когда это предположение не выполняется, применяется поправка Йейтса .
- Независимость
- Всегда предполагается, что наблюдения независимы друг от друга. Это означает, что критерий хи-квадрат нельзя использовать для проверки коррелированных данных (например, сопоставленных пар или панельных данных). В таких случаях более подходящим может быть тест Макнемара .
Тест, основанный на различных предположениях, - это точный тест Фишера ; если его предположение о фиксированных маржинальных распределениях выполняется, то получение уровня значимости значительно точнее, особенно при небольшом количестве наблюдений. В подавляющем большинстве приложений это предположение не выполняется, и точный тест Фишера будет чрезмерно консервативным и не будет иметь правильного покрытия. [6]
Вывод
Нулевое распределение статистики Пирсона с j строками и k столбцами аппроксимируется распределением хи-квадрат с ( k - 1) ( j - 1) степенями свободы. [7]
Это приближение возникает как истинное распределение при нулевой гипотезе, если ожидаемое значение задается полиномиальным распределением . Центральная предельная теорема гласит, что для больших размеров выборки это распределение стремится к некоторому многомерному нормальному распределению .
Две клетки
В особом случае, когда в таблице всего две ячейки, ожидаемые значения подчиняются биномиальному распределению ,
где
- p = вероятность, при нулевой гипотезе,
- n = количество наблюдений в выборке.
В приведенном выше примере предполагаемая вероятность наблюдения мужчины составляет 0,5 при 100 выборках. Таким образом, мы ожидаем увидеть 50 мужчин.
Если n достаточно велико, указанное выше биномиальное распределение может быть аппроксимировано гауссовым (нормальным) распределением, и, таким образом, статистика критерия Пирсона аппроксимирует распределение хи-квадрат,
Пусть O 1 будет количеством наблюдений из выборки, которые находятся в первой ячейке. Статистику теста Пирсона можно выразить как
что, в свою очередь, может быть выражено как
При нормальном приближении к биному это квадрат одной стандартной нормальной переменной и, следовательно, распределяется как хи-квадрат с 1 степенью свободы. Обратите внимание, что знаменатель - это одно стандартное отклонение гауссовского приближения, поэтому можно записать
Таким образом, чтобы соответствовать смыслу распределения хи-квадрат, мы измеряем, насколько вероятно наблюдаемое количество стандартных отклонений от среднего в гауссовском приближении (что является хорошим приближением для больших n ).
Затем распределение хи-квадрат интегрируется справа от статистического значения, чтобы получить P-значение , которое равно вероятности получения статистики, равной или большей, чем наблюдаемая, при условии нулевой гипотезы.
Таблицы непредвиденных обстоятельств два на два
Когда тест применяется к таблице непредвиденных обстоятельств, содержащей две строки и два столбца, тест эквивалентен Z-тесту пропорций. [ необходима цитата ]
Многие клетки
В целом аргументы, аналогичные приведенным выше, приводят к желаемому результату, хотя детали более сложны. Можно применить ортогональную замену переменных, чтобы превратить ограничивающие слагаемые в тестовой статистике на один квадрат меньше стандартных нормальных случайных величин iid. [8]
Докажем теперь, что распределение действительно асимптотически приближается к распределение по мере приближения числа наблюдений к бесконечности.
Позволять быть количеством наблюдений, количество ячеек и вероятность попадания наблюдения в i-ю ячейку, для . Обозначим через конфигурация, в которой для каждого i есть наблюдения в i-й ячейке. Обратите внимание, что
Позволять - совокупная статистика теста Пирсона для такой конфигурации, и пусть быть распределением этой статистики. Мы покажем, что последняя вероятность приближается к распространение с степени свободы, как
Для любого произвольного значения T:
Мы будем использовать процедуру, аналогичную приближению в теореме де Муавра – Лапласа . Взносы малых имеют субаренду в и, таким образом, для больших мы можем использовать формулу Стирлинга как для а также получить следующее:
Заменив на
мы можем приблизиться к большому сумма сверх интегралом по . Отмечая, что:
мы приходим к
Путем расширения логарифм и принимая главные члены в, мы получили
Ци Пирсона, , является в точности аргументом экспоненты (за исключением -1/2; обратите внимание, что последний член в аргументе экспоненты равен ).
Этот аргумент можно записать как:
является регулярной симметричной матрица и, следовательно, диагонализуемая . Следовательно, можно сделать линейную замену переменных в чтобы получить новые переменные чтобы:
Эта линейная замена переменных просто умножает интеграл на постоянный якобиан , поэтому мы получаем:
Где C - константа.
Это вероятность того, что возведенная в квадрат сумма независимые нормально распределенные переменные с нулевым средним и единичной дисперсией будут больше, чем T, а именно: с участием степеней свободы больше T.
Таким образом, мы показали, что в пределе, когда распределение ци Пирсона приближается к распределению ци с степени свободы.
Примеры
Справедливость игры в кости
6-гранный кубик бросается 60 раз. Количество раз, когда он выпадает с 1, 2, 3, 4, 5 и 6 лицевой стороной вверх, составляет 5, 8, 9, 8, 10 и 20 соответственно. Является ли игра на кубике смещенной согласно критерию хи-квадрат Пирсона на уровне значимости 95% и / или 99%?
n = 6, поскольку существует 6 возможных исходов, от 1 до 6. Нулевая гипотеза состоит в том, что игральная кость несмещена, поэтому ожидается, что каждое число будет встречаться одинаковое количество раз, в данном случае60/п = 10. Результаты можно свести в таблицу следующим образом:
1 | 5 | 10 | −5 | 25 | 2,5 |
2 | 8 | 10 | −2 | 4 | 0,4 |
3 | 9 | 10 | −1 | 1 | 0,1 |
4 | 8 | 10 | −2 | 4 | 0,4 |
5 | 10 | 10 | 0 | 0 | 0 |
6 | 20 | 10 | 10 | 100 | 10 |
Сумма | 13,4 |
Число степеней свободы n - 1 = 5. Критические значения верхнего хвоста таблицы распределения хи-квадрат дают критическое значение 11,070 при уровне значимости 95%:
Градусы на свободу | Вероятность меньше критического значения | ||||
---|---|---|---|---|---|
0,90 | 0,95 | 0,975 | 0,99 | 0,999 | |
5 | 9 236 | 11,070 | 12,833 | 15,086 | 20,515 |
Поскольку статистика хи-квадрат 13,4 превышает это критическое значение, мы отвергаем нулевую гипотезу и заключаем, что игра на кубике смещена на уровне значимости 95%.
При уровне значимости 99% критическое значение составляет 15,086. Поскольку статистика хи-квадрат не превышает его, мы не можем отвергнуть нулевую гипотезу и, таким образом, делаем вывод, что нет достаточных доказательств, чтобы показать, что кубик смещен на уровне значимости 99%.
Доброта подгонки
В этом контексте частоты как теоретических, так и эмпирических распределений являются ненормированными числами, а для теста хи-квадрат общие размеры выборкиобоих этих распределений (суммы всех ячеек соответствующих таблиц непредвиденных обстоятельств ) должны быть одинаковыми.
Например, чтобы проверить гипотезу о том, что случайная выборка из 100 человек была взята из популяции, в которой мужчины и женщины равны по частоте, наблюдаемое количество мужчин и женщин будет сравниваться с теоретической частотой 50 мужчин и 50 женщин. . Если в выборке было 44 мужчины и 56 женщин, то
Если нулевая гипотеза верна (т. Е. Мужчины и женщины выбраны с равной вероятностью), статистика теста будет получена из распределения хи-квадрат с одной степенью свободы (потому что, если известна мужская частота, то женская частота равна определенный).
Консультация распределения х-квадрата для 1 степени свободы показывает , что вероятность наблюдения этой разницы (или больше разницы экстремальной , чем это) , если мужчины и женщины в равной степени многочисленны в популяции составляет около 0,23. Эта вероятность выше, чем обычные критерии статистической значимости (0,01 или 0,05), поэтому обычно мы не отвергаем нулевую гипотезу о том, что количество мужчин в популяции равно количеству женщин (т. Е. Мы будем рассматривать нашу выборку в пределах диапазон того, что мы ожидаем от соотношения мужчин и женщин 50/50.)
Проблемы
Приближение к распределению хи-квадрат не работает, если ожидаемые частоты слишком низкие. Обычно это приемлемо при условии, что не более 20% событий имеют ожидаемую частоту ниже 5. Если имеется только 1 степень свободы, аппроксимация ненадежна, если ожидаемые частоты ниже 10. В этом случае лучшее приближение может быть получен путем уменьшения абсолютного значения каждой разницы между наблюдаемой и ожидаемой частотами на 0,5 перед возведением в квадрат; это называется поправкой Йетса на непрерывность .
В случаях, когда ожидаемое значение E оказывается малым (что указывает на небольшую базовую вероятность популяции и / или небольшое количество наблюдений), нормальное приближение полиномиального распределения может не сработать, и в таких случаях оказывается, что Более целесообразно использовать G-тест , статистический критерий, основанный на отношении правдоподобия . Когда общий размер выборки невелик, необходимо использовать соответствующий точный тест, обычно либо биномиальный тест, либо (для таблиц сопряженности) точный тест Фишера . Этот тест использует условное распределение статистики теста с учетом предельных итогов и, таким образом, предполагает, что границы были определены до исследования; альтернативы , такие как тест Boschloo в которые не делают это предположения являются равномерно более мощными .
Можно показать, что тест - это приближение низкого порядка контрольная работа. [9] Вышеупомянутые причины вышеупомянутых проблем становятся очевидными, когда исследуются члены более высокого порядка.
Смотрите также
- Номограмма хи-квадрат
- V Крамера - мера корреляции для теста хи-квадрат
- Степени свободы (статистика)
- Отклонение (статистика) , еще один показатель качества соответствия
- Точный тест Фишера
- G-тест , тест, приближенным к которому тест хи-квадрат является
- Коэффициент лексики , более ранняя статистика, заменена хи-квадрат
- U-критерий Манна – Уитни
- Медианный тест
- Минимальная оценка хи-квадрат
Заметки
- ^ Пирсон, Карл (1900). «По критерию, согласно которому данная система отклонений от вероятного в случае коррелированной системы переменных такова, что можно разумно предположить, что она возникла в результате случайной выборки» (PDF) . Философский журнал . Серия 5. 50 (302): 157–175. DOI : 10.1080 / 14786440009463897 .
- ^ a b c Дэвид Э. Бок, Пол Ф. Веллеман, Ричард Д. Де Во (2007). «Статистика, моделирование мира», стр. 606-627, Pearson Addison Wesley, Boston, ISBN 0-13-187621-X
- ^ «1.3.6.7.4. Критические значения распределения хи-квадрат» . Проверено 14 октября 2014 года .
- ^ «Критические значения распределения хи-квадрат» . Электронный справочник статистических методов NIST / SEMATECH . Национальный институт стандартов и технологий.
- ^ См. Филд, Энди. Обнаружение статистики с помощью SPSS . для предположений на Хи-квадрат.
- ^ «Байесовская формулировка для исследовательского анализа данных и проверки согласия» (PDF) . Международное статистическое обозрение. п. 375.
- ^ Статистика для приложений. MIT OpenCourseWare . Лекция 23 . Теорема Пирсона. Проверено 21 марта 2007 года.
- ^ «Семь доказательств теста независимости Пирсона хи-квадрат и его графическая интерпретация» . ССРН (препринт). п. 5-6.
- ^ Джейнс, ET (2003). Теория вероятностей: логика науки . C. University Press. п. 298. ISBN 978-0-521-59271-0.( Ссылка на отрывочное издание от марта 1996 г. )
Рекомендации
- Чернов, Х .; Леманн, Э.Л. (1954). "Использование оценок максимального правдоподобия в χ 2 {\ displaystyle \ chi ^ {2}} Тесты на благостыне Fit» . The Annals математической статистики . 25 (3):. 579-586 DOI : 10,1214 / АОМ / 1177728726 .
- Плакетт Р.Л. (1983). «Карл Пирсон и критерий хи-квадрат». Международное статистическое обозрение . Международный статистический институт (ISI). 51 (1): 59–72. DOI : 10.2307 / 1402731 . JSTOR 1402731 .
- Гринвуд, ЧП ; Никулин, М.С. (1996). Руководство по тестированию хи-квадрат . Нью-Йорк: Вили. ISBN 0-471-55779-X.