Парадокс Симпсона , который также известен под несколькими другими названиями, представляет собой феномен вероятности и статистики , в котором тренд появляется в нескольких различных группах данных, но исчезает или обращается вспять при объединении этих групп. Этот результат часто встречается в статистике социальных и медицинских наук [1] [2] [3] и особенно проблематичен, когда частотным данным неправомерно дается причинная интерпретация. [4] Парадокс может быть разрешен, если причинно-следственные связи соответствующим образом рассматриваются в статистическом моделировании. [4] [5] Он также упоминается как разворот Симпсона , эффект Юла-Симпсон, парадокс слияния или парадокс обращения . [6]
Эдвард Х. Симпсон впервые описал это явление в своей технической статье в 1951 г. [7], но статистики Карл Пирсон и др. В 1899 г. [8] и Удни Юл в 1903 г. [9] упоминали аналогичные эффекты ранее. Название «парадокс Симпсона» было введено Колином Р. Блитом в 1972 году. [10] Парадокс Симпсона использовался в качестве примера, чтобы проиллюстрировать неспециалистам или публике, какие вводящие в заблуждение результаты могут генерировать неверные статистические данные. [11] [12]
Примеры
Гендерная предвзятость Калифорнийского университета в Беркли
Один из самых известных примеров парадокса Симпсона - исследование гендерных предубеждений при поступлении в аспирантуру Калифорнийского университета в Беркли . Данные о приеме на осень 1973 года показали, что мужчины, подавшие заявления, были более склонны к поступлению, чем женщины, и разница была настолько большой, что вряд ли она была вызвана случайностью. [13] [14]
Все | Мужчины | Женщины | ||||
---|---|---|---|---|---|---|
Претенденты | Допущенный | Претенденты | Допущенный | Претенденты | Допущенный | |
Общее | 12 763 | 41% | 8442 | 44% | 4321 | 35% |
Однако при изучении отдельных отделов выяснилось, что шесть из 85 отделов были предвзято относились к мужчинам, а четыре - к женщинам. В целом, объединенные и скорректированные данные показали «небольшое, но статистически значимое смещение в пользу женщин». [14] Данные шести крупнейших департаментов перечислены ниже, два ведущих департамента по количеству кандидатов для каждого пола выделены курсивом.
отделение | Все | Мужчины | Женщины | |||
---|---|---|---|---|---|---|
Претенденты | Допущенный | Претенденты | Допущенный | Претенденты | Допущенный | |
А | 933 | 64% | 825 | 62% | 108 | 82% |
B | 585 | 63% | 560 | 63% | 25 | 68% |
C | 918 | 35% | 325 | 37% | 593 | 34% |
D | 792 | 34% | 417 | 33% | 375 | 35% |
E | 584 | 25% | 191 | 28% | 393 | 24% |
F | 714 | 6% | 373 | 6% | 341 | 7% |
В исследовательской работе Bickel et al. пришли к выводу, что женщины, как правило, подавали заявления на более конкурентоспособные факультеты с низкими показателями приема, даже среди квалифицированных кандидатов (например, на факультет английского языка), тогда как мужчины, как правило, подавали заявления на менее конкурентоспособные факультеты с высокими показателями приема (например, на инженерный факультет). ). [14]
Лечение камней в почках
Другой пример - из реального медицинского исследования [15], в котором сравнивалась эффективность двух методов лечения камней в почках . [16] В таблице ниже показаны показатели успешности и количество процедур лечения как малых, так и крупных камней в почках, где Лечение A включает открытые хирургические процедуры, а Лечение B включает закрытые хирургические процедуры. Цифры в скобках указывают количество успешных случаев по сравнению с общим размером группы.
Уход Размер камня | Лечение А | Лечение B |
---|---|---|
Маленькие камни | Группа 1 93% (81/87) | Группа 2 87% (234/270) |
Большие камни | Группа 3 73% (192/263) | Группа 4 69% (55/80) |
Оба | 78% (273/350) | 83% (289/350) |
Парадоксальный вывод состоит в том, что лечение A более эффективно при использовании на небольших камнях, а также при использовании на больших камнях, но лечение B оказывается более эффективным, если рассматривать оба размера одновременно. В этом примере «скрывающаяся» переменная (или смешивающая переменная ), вызывающая парадокс, - это размер камней, который ранее не был известен исследователям как важный, пока не были включены его эффекты.
Какое лечение считается лучшим, зависит от того, какое соотношение успехов (успехов / всего) больше. Изменение неравенства между двумя отношениями при рассмотрении объединенных данных, что создает парадокс Симпсона, происходит потому, что два эффекта происходят вместе:
- Размеры групп, которые объединяются при игнорировании скрытой переменной, сильно различаются. Врачи склонны назначать пациентам с большими камнями лучшее лечение А, а пациентам с маленькими камнями - худшее лечение Б. Таким образом, в общем случае преобладают группы 3 и 2, а не две гораздо меньшие группы 1 и 4.
- Скрытая переменная, размер камня, имеет большое влияние на соотношения; т.е. степень успеха в большей степени зависит от тяжести случая, чем от выбора лечения. Следовательно, группа пациентов с большими камнями, использующая лечение A (группа 3), работает хуже, чем группа с небольшими камнями, даже если последняя использовала худшее лечение B (группа 2).
Основываясь на этих эффектах, можно увидеть парадоксальный результат за счет подавления причинного влияния размера камней на шансы на успешное лечение. Короче говоря, менее эффективное лечение B оказалось более эффективным, потому что его чаще применяли в случаях небольших камней, которые было легче лечить. [16]
Средние показатели
Типичный пример парадокса Симпсона связан со средними показателями игроков в профессиональном бейсболе . Один игрок может иметь более высокий средний уровень в год, чем другой игрок, каждый год в течение ряда лет, но иметь более низкий средний уровень за все эти годы. Это явление может происходить, когда количество летучих мышей сильно различается по годам. Математик Кен Росс продемонстрировал это, используя среднее значение ударов двух бейсболистов, Дерека Джетера и Дэвида Джастиса , в 1995 и 1996 годах: [17] [18]
Год Тесто | 1995 г. | 1996 г. | Комбинированный | |||
---|---|---|---|---|---|---|
Дерек Джетер | 12/48 | 0,250 | 183/582 | .314 | 195/630 | 0,310 |
Дэвид Джастис | 104/411 | 0,253 | 45/140 | .321 | 149/551 | .270 |
И в 1995, и в 1996 году у Джастиса был более высокий средний результат (жирным шрифтом), чем у Джетера. Однако, когда два бейсбольных сезона объединены, Джетер показывает более высокий средний уровень, чем Джастис. По словам Росса, это явление будет наблюдаться примерно раз в год среди возможных пар игроков. [17]
Векторная интерпретация
Парадокс Симпсона также можно проиллюстрировать с помощью двумерного векторного пространства . [19] Уровень успеха(т.е. успехи / попытки ) могут быть представлены вектором , С наклоном от. Чем круче вектор, тем выше вероятность успеха. Если две ставки а также объединены, как в примерах, приведенных выше, результат может быть представлен суммой векторов а также , который согласно правилу параллелограмма является вектором, с уклоном .
Парадокс Симпсона гласит, что даже если вектор (на рисунке оранжевым) имеет меньший наклон, чем другой вектор (синим цветом) и имеет меньший наклон, чем , сумма двух векторов потенциально может иметь больший наклон, чем сумма двух векторов , как показано в примере. Чтобы это произошло, один из оранжевых векторов должен иметь больший наклон, чем один из синих векторов (здесь а также ), и они, как правило, будут длиннее, чем векторы с альтернативными индексами, что будет доминировать в общем сравнении.
Корреляция между переменными
Парадокс Симпсона также может возникать в корреляциях , в которых две переменные, по-видимому, имеют (скажем) положительную корреляцию друг с другом, тогда как на самом деле они имеют отрицательную корреляцию, причем разворот вызван «скрывающимся» смешивающим фактором. Берман и др. [20] приводят пример из экономики, где набор данных предполагает, что общий спрос положительно коррелирует с ценой (то есть более высокие цены приводят к большему спросу), что противоречит ожиданиям. Анализ показывает, что время является смешивающей переменной: построение графика цены и спроса в зависимости от времени показывает ожидаемую отрицательную корреляцию за различные периоды, которая затем меняется на положительную, если влияние времени игнорируется путем простого построения графика зависимости спроса от цены.
Последствия для принятия решений
Практическое значение парадокса Симпсона проявляется в ситуациях принятия решений, где он ставит следующую дилемму: с какими данными мы должны обращаться при выборе действия, агрегированных или разделенных? В примере с камнями в почках, приведенном выше, ясно, что если кому-то поставлен диагноз «маленькие камни» или «большие камни», следует обращаться к данным для соответствующей субпопуляции, и лечение А будет предпочтительнее лечения Б. Но что, если пациент не диагностирован, и размер камня не известен; Было бы целесообразно ознакомиться с агрегированными данными и назначить лечение B? Это противоречило бы здравому смыслу; лечение, которое предпочтительнее как при одном условии, так и при его отрицании, также должно быть предпочтительным, когда состояние неизвестно.
С другой стороны, если разделенные данные предпочтительнее априори , что мешает разделить данные на произвольные подкатегории (скажем, на основе цвета глаз или боли после лечения), искусственно созданных, чтобы дать неправильный выбор лечения? Перл [4] показывает, что, действительно, во многих случаях именно агрегированные, а не секционированные данные дают правильный выбор действия. Что еще хуже, учитывая одну и ту же таблицу, иногда следует следить за секционированными, а иногда и за агрегированными данными, в зависимости от истории, лежащей в основе данных, причем каждая история диктует свой собственный выбор. Перл [4] считает, что это реальный парадокс переворота Симпсона.
Что касается того, почему и как история, а не данные, должна диктовать выбор, ответ заключается в том, что именно история кодирует причинно-следственные связи между переменными. Как только мы объясним эти отношения и представим их формально, мы сможем проверить, какой раздел дает правильное предпочтение лечения. Например, если мы представляем причинно-следственные связи в графе, называемом «причинно-следственная диаграмма» (см. Байесовские сети ), мы можем проверить, перехватывают ли узлы, представляющие предлагаемое разделение, ложные пути на диаграмме. Этот тест, называемый «критерием черного хода», сводит парадокс Симпсона к упражнению в теории графов. [21]
Психология
Психологический интерес к парадоксу Симпсона пытается объяснить, почему люди поначалу считают изменение знака невозможным, оскорбленные идеей о том, что действие, предпочтительное как при одном условии, так и при его отрицании, должно быть отклонено, когда условие неизвестно. Вопрос в том, откуда у людей эта сильная интуиция и как она закодирована в уме .
Парадокс Симпсона демонстрирует, что эта интуиция не может быть получена ни из классической логики, ни только из вероятностного исчисления , и, таким образом, привел философов к предположению, что она поддерживается врожденной причинной логикой, которая направляет людей в рассуждениях о действиях и их последствиях. [ необходимая цитата ] Принцип уверенности Сэвиджа [10] является примером того, что может повлечь за собой такая логика. Квалифицированная версия принципа уверенности Сэвиджа действительно может быть получена из do -calculus Перла [4] и гласит: «Действие A, которое увеличивает вероятность события B в каждой субпопуляции C i из C, должно также увеличивать вероятность B в население в целом при условии, что действие не изменит распределение субпопуляций ». Это говорит о том, что знания о действиях и последствиях хранятся в форме, напоминающей причинно- байесовские сети .
Вероятность
В статье Павлидеса и Перлмана представлено доказательство, принадлежащее Хаджикостасу, что в случайной таблице 2 × 2 × 2 с равномерным распределением парадокс Симпсона будет иметь место с вероятностью ровно 1 ⁄ 60 . [22] Исследование Кока предполагает, что вероятность того, что парадокс Симпсона возникнет случайным образом в моделях траекторий (т. Е. В моделях, созданных путем анализа путей ) с двумя предикторами и одной критериальной переменной, составляет примерно 12,8%; немного выше, чем 1 вхождение на 8 моделей путей. [23]
Второй парадокс Симпсона
«Второй», менее известный парадокс Симпсона обсуждался в его статье 1951 года. Это может произойти, когда рациональную интерпретацию не нужно искать в отдельной таблице, а вместо этого можно найти в объединенной таблице. Какую форму данных следует использовать, зависит от фона и процесса, в результате которого эти данные возникли.
Нортон и Дивайн приводят гипотетический пример второго парадокса. [24]
Смотрите также
- Квартет Анскомба - четыре набора данных с одинаковой описательной статистикой, но очень разными распределениями.
- Парадокс Кондорсе - Ситуация в теории социального выбора, где коллективные предпочтения цикличны
- Экологическая ошибка - логическая ошибка
- Экологическая корреляция
- Парадокс низкой массы тела при рождении
- Модифицируемая проблема площадных единиц
- Ошибка прокурора - ошибка статистической аргументации, обычно используемая прокурором для преувеличения вероятности вины обвиняемого по уголовному делу.
- Парадокс Берксона - тенденция неверно истолковывать статистические эксперименты с использованием условных вероятностей
- Правило Вайоминга
Рекомендации
- ↑ Клиффорд Х. Вагнер (февраль 1982 г.). «Парадокс Симпсона в реальной жизни». Американский статистик . 36 (1): 46–48. DOI : 10.2307 / 2684093 . JSTOR 2684093 .
- Перейти ↑ Holt, GB (2016). Возможный парадокс Симпсона в многоцентровом исследовании внутрибрюшинной химиотерапии рака яичников. Журнал клинической онкологии, 34 (9), 1016–1016.
- ^ Франк, Александр; Аирольди, Эдоардо ; Славов, Николай (2017). «Посттранскрипционная регуляция в тканях человека» . PLOS Вычислительная биология . 13 (5): e1005535. arXiv : 1506.00219 . DOI : 10.1371 / journal.pcbi.1005535 . ISSN 1553-7358 . PMC 5440056 . PMID 28481885 .
- ^ a b c d e Жемчужина Иудеи . Причинность: модели, рассуждения и выводы , Cambridge University Press (2000, 2-е издание, 2009 г.). ISBN 0-521-77362-8 .
- ^ Кок, Н., & Гаскинс, Л. (2016). Парадокс Симпсона, умеренность и появление квадратичных отношений в моделях путей: иллюстрация информационных систем. Международный журнал прикладной нелинейной науки, 2 (3), 200–234.
- ^ И. Дж. Гуд , Ю. Миттал (июнь 1987 г.). «Объединение и геометрия двух таблиц непредвиденных обстоятельств» . Летопись статистики . 15 (2): 694–711. DOI : 10.1214 / AOS / 1176350369 . ISSN 0090-5364 . JSTOR 2241334 .
- ^ Симпсон, Эдвард Х. (1951). «Интерпретация взаимодействия в таблицах непредвиденных обстоятельств». Журнал Королевского статистического общества, Series B . 13 : 238–241.
- ^ Пирсон, Карл ; Ли, Алиса; Брэмли-Мур, Лесли (1899). «Генетический (репродуктивный) отбор: наследование плодовитости у человека и плодовитости чистокровных скаковых лошадей» . Философские труды Королевского общества А . 192 : 257–330. DOI : 10,1098 / rsta.1899.0006 .
- ^ ГУ Юля (1903). «Заметки по теории ассоциации атрибутов в статистике» . Биометрика . 2 (2): 121–134. DOI : 10.1093 / Biomet / 2.2.121 .
- ^ а б Колин Р. Блит (июнь 1972 г.). «О парадоксе Симпсона и принципе уверенности». Журнал Американской статистической ассоциации . 67 (338): 364–366. DOI : 10.2307 / 2284382 . JSTOR 2284382 .
- ^ Роберт Л. Уордроп (февраль 1995). «Парадокс Симпсона и горячая рука в баскетболе». Американский статистик , 49 (1) : стр. 24–28.
- ^ Алан Агрести (2002). «Категориальный анализ данных» (второе издание). Джон Уайли и сыновьяISBN 0-471-36093-7
- ↑ Дэвид Фридман , Роберт Пизани и Роджер Первес (2007), Статистика (4-е издание), WW Norton . ISBN 0-393-92972-8 .
- ^ а б в П. Дж. Бикель , Е. А. Хаммел и Дж. У. О'Коннелл (1975). «Сексуальные предубеждения при поступлении в аспирантуру: данные из Беркли» (PDF) . Наука . 187 (4175): 398–404. DOI : 10.1126 / science.187.4175.398 . PMID 17835295 .
- ^ CR Charig; DR Webb; SR Payne; Дж. Э. Уикхэм (29 марта 1986 г.). «Сравнение лечения почечных камней с помощью открытой хирургии, чрескожной нефролитотомии и экстракорпоральной ударно-волновой литотрипсии» . Br Med J (Clin Res Ed) . 292 (6524): 879–882. DOI : 10.1136 / bmj.292.6524.879 . PMC 1339981 . PMID 3083922 .
- ^ а б Стивен А. Джулиус; Марк А. Малли (3 декабря 1994 г.). «Заблуждение и парадокс Симпсона» . BMJ . 309 (6967): 1480–1481. DOI : 10.1136 / bmj.309.6967.1480 . PMC 2541623 . PMID 7804052 .
- ^ а б Кен Росс. « Математик на футбольном поле: шансы и вероятность для фанатов бейсбола (в мягкой обложке) » Pi Press, 2004. ISBN 0-13-147990-3 . 12–13
- ^ Статистические данные доступны с Baseball-Reference.com : Данные для Дерека Джетера ; Данные для Дэвида Джастиса .
- ^ Коцик Ежи (2001). «Доказательства без слов: парадокс Симпсона» (PDF) . Математический журнал . 74 (5): 399. DOI : 10,2307 / 2691038 . JSTOR 2691038 .
- ^ Берман, С. ДаллМул, Л. Грин, М., Лакер, Дж. (2012), « Парадокс Симпсона: предостерегающий рассказ в продвинутой аналитике », Значение .
- ^ Перл, Иудея (декабрь 2013 г.). «Понимание парадокса Симпсона» (PDF) . Лаборатория когнитивных систем Калифорнийского университета в Лос-Анджелесе, технический отчет R-414 .
- ^ Мариос Г. Павлидес и Майкл Д. Перлман (август 2009 г.). "Насколько вероятен парадокс Симпсона?" . Американский статистик . 63 (3): 226–233. DOI : 10.1198 / tast.2009.09007 .
- ^ Кок, Н. (2015). Насколько вероятен парадокс Симпсона в моделях путей? Международный журнал электронного сотрудничества, 11 (1), 1–7.
- ^ Нортон, Х. Джеймс; Божественное, Джордж (август 2015). «Парадокс Симпсона ... и как его избежать» . Значение . 12 (4): 40–43. DOI : 10.1111 / j.1740-9713.2015.00844.x .
Библиография
- Лейла Шнепс и Корали Колмез , математика под следствием. Как числа используются и злоупотребляют в зале суда , Basic Books, 2013. ISBN 978-0-465-03292-1 . (Шестая глава: «Математическая ошибка номер 6: парадокс Симпсона. Случай предубеждения по признаку пола в Беркли: обнаружение дискриминации»).
Внешние ссылки
- Были ли более богатые избиратели более склонны голосовать за Трампа? (Парадокс Симпсона) - видео на YouTube, объясняющее парадокс Симпсона.
- Как статистика может вводить в заблуждение - Марк Лидделл - Видео и урок TED-Ed.
- Стэнфордская энциклопедия философии : « Парадокс Симпсона » - Гэри Малинас.
- Самые ранние известные варианты использования некоторых слов математики: S
- Краткую историю происхождения парадокса см. В статьях «Парадокс Симпсона» и «Ложная корреляция».
- Перл, Иудея , « Искусство и наука причины и следствия ». Слайд-шоу и учебная лекция.
- Перл, Иудея , «Парадокс Симпсона: анатомия» ( PDF )
- Перл, Иудея , "Принцип верности" ( PDF )
- Короткие статьи Александра Богомольного на Cut-the knot:
- « Средние фракции ».
- « Парадокс Симпсона. »
- Колонка Wall Street Journal "The Numbers Guy" от 2 декабря 2009 года была посвящена недавним случаям парадокса Симпсона в новостях. Примечательно парадокс Симпсона в сравнении уровней безработицы во время рецессии 2009 года с рецессией 1983 года.
- Как разрешить парадокс Симпсона? вопрос по статистике Q&A сайт CrossValidated
- На тарелке, статистическая головоломка: понимание парадокса Симпсона, Артур Смит, 20 августа 2010 г.
- Райх, Генри . «Парадокс Симпсона» (видео) . YouTube . MinutePhysics . Проверено 24 октября 2017 года .