Парадокс Берксон в , также известном как смещение Берксон в , коллайдере смещение или ошибочность Берксон в , является результатом в условной вероятности и статистике , которая часто оказываются парадоксальными , и , следовательно, правдивым парадоксом . Это усложняющий фактор, возникающий при статистических проверках пропорций. В частности, это возникает, когда есть предвзятость установления, присущая дизайну исследования. Эффект связан с феноменом объяснения в байесовских сетях и условием работы коллайдера в графических моделях .
Его часто описывают в области медицинской статистики или биостатистики , как в оригинальном описании проблемы Джозефом Берксоном .
Примеры
Обзор
Наиболее распространенный пример парадокса Берксона - это ложное наблюдение отрицательной корреляции между двумя положительными чертами, т. Е. Того , что члены популяции, у которых есть какая-то положительная черта, как правило, не имеют второй. Парадокс Берксона возникает, когда это наблюдение кажется верным, когда на самом деле эти два свойства не связаны - или даже положительно коррелируют, - потому что члены популяции, в которых оба отсутствуют, наблюдаются неодинаково. Например, человек может на собственном опыте заметить, что рестораны быстрого питания в их районе, где подают хорошие гамбургеры, как правило, подают плохой картофель фри и наоборот; но поскольку они, вероятно, не будут есть там, где оба были плохими, они не учитывают большое количество ресторанов в этой категории, что ослабит или даже изменит корреляцию.
Оригинальная иллюстрация
Оригинальная иллюстрация Берксона включает ретроспективное исследование, изучающее фактор риска заболевания в статистической выборке из популяции стационарных пациентов в больнице . Поскольку образцы берутся у пациентов, находящихся в стационаре, а не у населения в целом, это может привести к ложной отрицательной связи между заболеванием и фактором риска. Например, если фактором риска является диабет, а заболевание - холецистит , больной пациент без диабета с большей вероятностью болеет холециститом, чем член общей популяции, поскольку у пациента, должно быть, не было диабета (возможно, вызывающего холецистит). причина попасть в больницу в первую очередь. Этот результат будет получен независимо от того, существует ли какая-либо связь между диабетом и холециститом в общей популяции.
Пример Элленберга
Пример, представленный Джорданом Элленбергом : предположим, что Алекс будет встречаться с мужчиной только в том случае, если его любезность плюс его красота превышают некоторый порог. Тогда более приятным мужчинам не обязательно быть такими красивыми, чтобы попасть в пул знакомств Алекса. Таким образом, среди мужчин, с которыми встречается Алекс , Алекс может заметить, что более хорошие в среднем менее красивы (и наоборот), даже если эти черты не коррелируют в общей популяции. Обратите внимание, что это не означает, что мужчины в пуле знакомств проигрывают мужчинам в популяции. Напротив, критерий отбора Алекса означает, что у Алекса высокие стандарты. Средний симпатичный мужчина, с которым встречается Алекс, на самом деле более красив, чем средний мужчина в населении (поскольку даже среди хороших мужчин самая уродливая часть населения пропускается). Отрицательная корреляция Берксона - это эффект, который возникает в пуле знакомств: грубые мужчины, с которыми встречается Алекс, должно быть, были даже более красивыми, чтобы соответствовать критериям.
Количественный пример
В качестве количественного примера предположим, что у коллекционера есть 1000 почтовых марок , из которых 300 красивых и 100 редких, а 30 одновременно красивых и редких. 10% всех его марок - редкие, а 10% его красивых марок - редкие, поэтому красота ничего не говорит о редкости. Он выставляет на обозрение 370 красивых или редких марок. Чуть более 27% выставленных марок являются редкими (100/370), но все же только 10% красивых марок являются редкими (и 100% из 70 выставленных некрасивых марок редки). Если наблюдатель рассматривает только выставленные марки, он увидит ложную отрицательную связь между красивостью и редкостью в результате систематической ошибки выбора (то есть непривлекательность явно указывает на редкость на выставке, но не в общей коллекции).
Заявление
Два независимых события становятся условно зависимыми (отрицательно зависимыми) при условии, что хотя бы одно из них происходит. Символически:
- Если , , а также , тогда .
- Мероприятие и событие может или не может произойти
- , условная вероятность , это вероятность наблюдения события учитывая, что правда.
- Пояснение: Событие а также независимы друг от друга
- вероятность наблюдения события учитывая, что и ( или же ) имеет место. Это также можно записать как
- Пояснение: Вероятность учитывая оба и ( или же ) меньше вероятности дано ( или же )
Другими словами, учитывая два независимых события, если вы рассматриваете только те результаты, в которых происходит хотя бы одно, тогда они становятся отрицательно зависимыми, как показано выше.
Объяснение
Причина в том, что условная вероятность событияпроисходящие, учитывая, что это илипроисходит, завышено: оно выше безусловной вероятности, потому что мы исключили случаи, когда ни то, ни другое не происходит.
- условная вероятность завышена относительно безусловной
В табличной форме это можно увидеть следующим образом: желтые области - это результаты, в которых происходит хотя бы одно событие (а ~ A означает «не A »).
А | ~ А | |
---|---|---|
B | А и Б | ~ А и Б |
~ B | A и ~ B | ~ A и ~ B |
Например, если у вас есть образец , и оба а также происходят независимо друг от друга в половине случаев ( ), получаем:
А | ~ А | |
---|---|---|
B | 25 | 25 |
~ B | 25 | 25 |
Так что в результаты, либо или же происходит, из которых имеют происходит. Путем сравнения условной вероятности к безусловной вероятности :
Мы видим, что вероятность выше () в подмножестве результатов, где ( или же ) встречается, чем в общей популяции (). С другой стороны, вероятность учитывая оба а также ( или же ) - это просто безусловная вероятность , , поскольку не зависит от . В числовом примере мы условились находимся в верхнем ряду:
А | ~ А | |
---|---|---|
B | 25 | 25 |
~ B | 25 | 25 |
Здесь вероятность является .
Парадокс Берксона возникает из-за того, что условная вероятность дано внутри подмножества из трех ячеек равна условной вероятности в общей популяции, но безусловная вероятность внутри подмножества завышена по сравнению с безусловной вероятностью в общей популяции, следовательно, внутри подмножества наличие уменьшает условную вероятность (вернемся к его общей безусловной вероятности):
Смотрите также
Рекомендации
- Берксон, Джозеф (июнь 1946 г.). «Ограничения применения анализа четырехчастных таблиц к данным больниц». Бюллетень биометрии . 2 (3): 47–53. DOI : 10.2307 / 3002000 . JSTOR 3002000 .(Эта статья часто ошибочно цитируется как Berkson, J. (194 9 ) Biological Bulletin 2, 47–53.)
- Джордан Элленберг: " Почему красивые мужчины такие придурки? "
Внешние ссылки
- Numberphile: Голливуд портит книги? - Образовательный видеоролик о парадоксе Берксона в популярной культуре.