Парадокс Симпсона — это явление в теории вероятности и статистике , при котором тенденция появляется в нескольких группах данных, но исчезает или меняется на противоположную при объединении групп. Этот результат часто встречается в статистике социальных и медицинских наук [1] [2] [3] и является особенно проблематичным, когда данным о частоте необоснованно дается причинно-следственная интерпретация. [4] Парадокс может быть решен, если смешивающие переменные и причинно-следственные связи соответствующим образом учитываются в статистическом моделировании [4] [5] (например, посредством кластерного анализа [6] ).
Парадокс Симпсона использовался для иллюстрации того, какие вводящие в заблуждение результаты может привести к неправильному использованию статистики . [7] [8]
Эдвард Х. Симпсон впервые описал это явление в технической статье в 1951 году [9] , но статистики Карл Пирсон (в 1899 году [10] ) и Удни Юл (в 1903 году [11] ) упоминали подобные эффекты ранее. Название « парадокс Симпсона» было введено Колином Р. Блитом в 1972 году. [12] Его также называют разворотом Симпсона , эффектом Юла-Симпсона , парадоксом слияния или парадоксом разворота . [13]
Математик Джордан Элленберг утверждает, что парадокс Симпсона ошибочно назван тем, что «здесь нет никакого противоречия, есть только два разных способа думать об одних и тех же данных», и предполагает, что его урок «на самом деле не в том, чтобы сказать нам, какую точку зрения принять, а в том, чтобы настаивать на том, чтобы мы придерживались и части, и целое в уме одновременно». [14]
Один из самых известных примеров парадокса Симпсона связан с исследованием гендерных предубеждений среди поступающих в аспирантуру Калифорнийского университета в Беркли . Данные о приеме осенью 1973 года показали, что мужчины, подавшие заявления, были приняты с большей вероятностью, чем женщины, и разница была настолько велика, что вряд ли она была случайной. [15] [16]
Однако при учете информации о факультетах, на которые подаются заявления, разный процент отказов свидетельствует о разной сложности поступления на факультет, и в то же время это показало, что женщины, как правило, обращались на более конкурентоспособные факультеты с более низкими показателями приема. даже среди квалифицированных абитуриентов (например, на факультете английского языка), тогда как мужчины, как правило, подавались на менее конкурентоспособные факультеты с более высокими показателями поступления (например, на инженерный факультет). Объединенные и скорректированные данные показали «небольшую, но статистически значимую предвзятость в пользу женщин». [16]