Ошибка базовой ставки

Заблуждение базовой ставки , которая также называется игнорированием базовой ставки или смещение базовой ставки , представляет собой тип заблуждения . Если им представлена ​​соответствующая информация о базовой ставке (т. Е. Общая информация о распространенности) и конкретная информация (т. Е. Информация, относящаяся только к конкретному случаю), люди склонны игнорировать базовую ставку в пользу индивидуальной информации, вместо того, чтобы правильно интегрировать эти две . ^[1]

Пренебрежение базовой ставкой - это особая форма более общего пренебрежения расширением .

Ложноположительный парадокс [ править ]

Примером ошибки базовой ставки является парадокс ложноположительных результатов . Этот парадокс описывает ситуации, когда ложноположительных результатов больше, чем истинно положительных. Например, 50 из 1000 человек дали положительный результат на инфекцию, но только у 10 была инфекция, то есть 40 тестов были ложноположительными. Вероятность положительного результата теста определяется не только точностью теста, но и характеристиками выборки. ^[2] Когда распространенность, доля тех, у кого есть данное заболевание, ниже, чем уровень ложноположительных результатов теста , даже тесты, которые имеют очень низкий шанс дать ложноположительный результат в отдельном случае , дадут больше ложных, чем истинных положительных результатов.в целом . ^[3] Парадокс удивляет большинство людей. ^[4]

Это особенно противоречит интуиции при интерпретации положительного результата теста на популяции с низкой распространенностью после рассмотрения положительных результатов, полученных от популяции с высокой распространенностью. ^[3] Если процент ложных срабатываний теста выше, чем доля новой популяции с этим заболеванием, то администратор теста, чей опыт был получен в результате тестирования в популяции с высокой распространенностью, может на основании своего опыта сделать вывод, что положительный результат теста обычно указывает на положительный результат, тогда как на самом деле ложноположительный результат гораздо более вероятен.

Примеры [ править ]

Пример 1: болезнь [ править ]

Население с высокой заболеваемостью [ править ]

Представьте, что вы проводите тест на инфекционное заболевание на популяции A из 1000 человек, 40% из которых инфицированы. Показатель ложноположительных результатов теста составляет 5% (0,05), а количество ложноотрицательных результатов отсутствует. Ожидаемый результат из 1000 испытаний на популяции А будет:

Заражены, и тест указывает на болезнь ( истинно положительный )

1000 × 40/100 = 400 человек получат истинный позитив

Незараженный и тест указывает на болезнь (ложноположительный)

1000 × 100–40/100 × 0,05 = 30 человек получат ложное срабатывание

Остальные 570 тестов правильно отрицательны.

Таким образом, в популяции A человек, получивший положительный результат теста, может быть уверен более чем на 93% (400/30 + 400), что это правильно указывает на инфекцию.

Население с низкой заболеваемостью [ править ]

Теперь рассмотрим тот же тест, примененный к популяции B , в которой инфицировано только 2%. Ожидаемый результат 1000 тестов на популяции B будет:

Заражены, и тест указывает на болезнь ( истинно положительный )

1000 × 2/100 = 20 человек получат настоящий позитив

Незараженный и тест указывает на болезнь (ложноположительный)

1000 × 100 - 2/100 × 0,05 = 49 человек получат ложное срабатывание

Остальные 931 (= 1000 - (49 + 20)) тест положительно отрицательны.

В популяции B только 20 из 69 человек с положительным результатом теста действительно инфицированы. Таким образом, вероятность действительно заразиться после того, как человеку сказали, что он инфицирован, составляет всего 29% (20/20 + 49) для теста, который в противном случае кажется «точным на 95%».

Тестировщик, имеющий опыт работы с группой А, может найти парадокс в том, что в группе В результат, который обычно правильно указывал на инфекцию, теперь обычно является ложноположительным . Смешение апостериорной вероятности заражения с априорной вероятностью получения ложноположительного результата является естественной ошибкой после получения опасного для здоровья результата теста.

Пример 2: Пьяные водители [ править ]

У группы сотрудников милиции есть алкотестеры, показывающие ложное опьянение в 5% случаев, когда водитель находится в трезвом состоянии. Однако алкотестеры никогда не перестают обнаруживать по-настоящему пьяного человека. Один из тысячи водителей водит машину в нетрезвом виде. Предположим, что полицейские наугад останавливают водителя, чтобы провести тест алкотестера. Это указывает на то, что водитель пьян. Мы предполагаем, что вы ничего о них не знаете. Насколько высока вероятность, что они действительно пьяны?

Многие ответят на 95%, но правильная вероятность составляет около 2%.

Объяснение этому следующее: в среднем на каждую 1000 протестированных водителей

• 1 водитель в состоянии алкогольного опьянения, и 100% уверенность в том, что для этого водителя существует истинно положительный результат теста, поэтому имеется 1 истинно положительный результат теста.
• 999 водителей не пьяны, и среди них 5% ложноположительных результатов тестов, то есть 49,95 ложноположительных результатов тестов.

Следовательно, вероятность того, что один из водителей среди положительных результатов теста 1 + 49,95 = 50,95 действительно находится в состоянии алкогольного опьянения, равна .${\ displaystyle 1 / 50,95 \ приблизительно 0,019627}$

Однако достоверность этого результата зависит от правильности первоначального предположения, что полицейский остановил водителя действительно случайно, а не из-за плохого вождения. Если присутствовала та или иная непроизвольная причина остановки водителя, то в расчет также включается вероятность того, что водитель в состоянии алкогольного опьянения будет управлять автомобилем грамотно, а водитель в нетрезвом виде водит (не) компетентно.

Более формально такая же вероятность примерно 0,02 может быть установлена ​​с помощью теоремы Байеса . Цель состоит в том, чтобы найти вероятность того, что водитель пьян, учитывая, что алкотестер показал, что он пьян, что можно представить как

${\ Displaystyle p (\ mathrm {пьяный} \ mid D)}$

где D означает, что алкотестер указывает на то, что водитель пьян. Теорема Байеса говорит нам, что

${\ displaystyle p (\ mathrm {drunk} \ mid D) = {\ frac {p (D \ mid \ mathrm {drunk}) \, p (\ mathrm {drunk})} {p (D)}}.}.$

В первом абзаце нам сказали следующее:

${\ displaystyle p (\ mathrm {drunk}) = 0,001,}$

${\ Displaystyle р (\ mathrm {трезвый}) = 0,999,}$

${\displaystyle p(D\mid \mathrm {drunk} )=1.00,}$ а также

${\displaystyle p(D\mid \mathrm {sober} )=0.05.}$

Как видно из формулы, для теоремы Байеса требуется p ( D ), которую можно вычислить из предыдущих значений, используя закон полной вероятности :

${\displaystyle p(D)=p(D\mid \mathrm {drunk} )\,p(\mathrm {drunk} )+p(D\mid \mathrm {sober} )\,p(\mathrm {sober} )}$

который дает

${\displaystyle p(D)=(1.00\times 0.001)+(0.05\times 0.999)=0.05095.}$

Подставляя эти числа в теорему Байеса, мы обнаруживаем, что

${\displaystyle p(\mathrm {drunk} \mid D)={\frac {1.00\times 0.001}{0.05095}}=0.019627.}$

Пример 3: идентификация террориста [ править ]

В 1-миллионном городе пусть будет 100 террористов и 999 900 нетеррористов. Чтобы упростить пример, предполагается, что все люди, присутствующие в городе, являются его жителями. Таким образом, базовая вероятность того, что случайно выбранный житель города является террористом, равна 0,0001, а базовая вероятность того, что этот же житель не является террористом, равна 0,9999. В попытке поймать террористов в городе устанавливают сигнализацию с камерой наблюдения и программой автоматического распознавания лиц .

Программное обеспечение имеет два уровня отказов по 1%:

• Уровень ложноотрицательных результатов: если камера сканирует террориста, звонок будет звонить в 99% случаев, а в 1% случаев он не будет звонить.
• Частота ложных срабатываний: если камера сканирует человека, не являющегося террористом, звонок не будет звонить в 99% случаев, но будет звонить в 1% случаев.

Предположим теперь, что житель вызывает тревогу. Какова вероятность того, что человек террорист? Другими словами, что такое P (T | B), вероятность того, что террорист был обнаружен при звонке в колокол? Кто-то, делающий «ошибку базовой ставки», сделает вывод, что существует 99% -ная вероятность того, что обнаруженный человек является террористом. Хотя такой вывод кажется разумным, на самом деле это неверное рассуждение, и приведенный ниже расчет покажет, что вероятность того, что они являются террористами, на самом деле составляет около 1%, а не около 99%.

Заблуждение возникает из-за смешения природы двух разных коэффициентов отказов. «Количество не-колоколов на 100 террористов» и «количество нетеррористов на 100 колоколов» не связаны между собой. Один не обязательно равен другому, и они даже не обязательно должны быть почти равными. Чтобы продемонстрировать это, представьте, что произойдет, если во втором городе, где террористов вообще нет, была бы установлена ​​идентичная система сигнализации. Как и в первом городе, тревога звучит для 1 из каждых 100 обнаруженных жителей, не являющихся террористами, но, в отличие от первого города, тревога никогда не срабатывает для террористов. Таким образом, 100% всех случаев срабатывания сигнализации относятся к нетеррористам, но ложноотрицательный показатель даже не может быть подсчитан. «Число нетеррористов на 100 колоколов» в этом городе равно 100, но P (T | B) = 0%.При звонке в колокол вероятность обнаружения террориста равна нулю.

Представьте, что перед камерой проходит весь миллион жителей первого города. Около 99 из 100 террористов вызовут тревогу, равно как и около 9 999 из 999 900 нетеррористов. Таким образом, тревогу сработают около 10 098 человек, среди которых около 99 - террористы. Таким образом, вероятность того, что человек, вызвавший тревогу, на самом деле является террористом, составляет всего около 99 из 10 098, что меньше 1% и очень, очень ниже нашего первоначального предположения в 99%.

Ошибка базовой ставки в этом примере вводит в заблуждение, потому что нетеррористов намного больше, чем террористов, а количество ложных срабатываний (нетеррористов, считающихся террористами) намного больше, чем истинных срабатываний (реальное количество террористов) .

Выводы в психологии [ править ]

В ходе экспериментов было обнаружено, что люди предпочитают индивидуальную информацию общей информации, когда первая доступна. ^{[5] [6] [7]}

В некоторых экспериментах учащихся просили оценить средние баллы (GPA) гипотетических учащихся. Получая соответствующие статистические данные о распределении среднего балла, учащиеся, как правило, игнорировали их, если им давали описательную информацию о конкретном учащемся, даже если новая описательная информация явно не имела большого значения или не имела никакого отношения к успеваемости в школе. ^[6] Этот вывод был использован, чтобы доказать, что собеседования являются ненужной частью процесса приема в колледж, потому что интервьюеры не могут выбрать успешных кандидатов лучше, чем базовая статистика.

Психологи Дэниел Канеман и Амос Тверски попытались объяснить это открытие с помощью простого правила или «эвристики», называемого репрезентативностью . Они утверждали, что многие суждения, касающиеся вероятности или причинно-следственных связей, основаны на том, насколько одна вещь репрезентативна для другой или категории. ^[6] Канеман считает пренебрежение базовой ставкой особой формой пренебрежения расширением . ^[8] Ричард Нисбетт утверждал, что некоторые предубеждения атрибуции, такие как фундаментальная ошибка атрибуцииявляются примерами ошибки базовой ставки: люди не используют «консенсусную информацию» («базовую оценку») о том, как другие вели себя в аналогичных ситуациях, а вместо этого предпочитают более простые диспозиционные атрибуции . ^[9]

В психологии ведутся серьезные споры по поводу условий, при которых люди ценят или не ценят базовую информацию. ^{[10] [11]} Исследователи программы эвристики и систематических ошибок подчеркнули эмпирические результаты, показывающие, что люди склонны игнорировать базовые ставки и делать выводы, нарушающие определенные нормы вероятностного рассуждения, такие как теорема Байеса . Вывод, сделанный из этого направления исследований, заключался в том, что вероятностное мышление человека в корне ошибочно и подвержено ошибкам. ^[12] Другие исследователи подчеркивали связь между когнитивными процессами и информационными форматами, утверждая, что такие выводы в целом необоснованны. ^{[13] [14]}

Снова рассмотрим пример 2 сверху. Требуемый вывод состоит в оценке (апостериорной) вероятности того, что (случайно выбранный) водитель находится в состоянии алкогольного опьянения, при условии, что тест алкотестера положительный. Формально эту вероятность можно вычислить с помощью теоремы Байеса , как показано выше. Однако существуют разные способы представления соответствующей информации. Рассмотрим следующий формально эквивалентный вариант задачи:

 1 из 1000 водителей водит машину в нетрезвом виде. Алкотестеры никогда не перестают определять по-настоящему пьяного человека. Для 50 из 999 водителей, не находящихся в состоянии алкогольного опьянения, алкотестер ложно указывает на состояние опьянения. Предположим, полицейские затем наугад останавливают водителя и заставляют его пройти тест алкотестера. Это указывает на то, что они пьяны. Мы предполагаем, что вы ничего о них не знаете. Насколько высока вероятность, что они действительно пьяны?

В этом случае соответствующая числовая информация - p (drunk), p ( D | drunk), p ( D | sober) - представлена ​​в терминах собственных частот по отношению к определенному эталонному классу (см. Задачу эталонного класса ). Эмпирические исследования показывают, что выводы людей более точно соответствуют правилу Байеса, когда информация представлена ​​таким образом, что помогает преодолеть пренебрежение по базовой ставке со стороны непрофессионалов ^[14] и экспертов. ^[15] Как следствие, такие организации, как Cochrane Collaboration, рекомендуют использовать такой формат для передачи статистики здравоохранения. ^[16]Учить людей переводить подобные байесовские задачи рассуждений в форматы собственных частот более эффективно, чем просто учить их подставлять вероятности (или проценты) в теорему Байеса. ^[17] Также было показано, что графическое представление собственных частот (например, массив значков) помогает людям делать более точные выводы. ^{[17] [18] [19]}

Чем полезны форматы собственных частот? Одна из важных причин заключается в том, что этот формат информации облегчает требуемый вывод, поскольку упрощает необходимые вычисления. Это можно увидеть, используя альтернативный способ вычисления требуемой вероятности p (drunk | D ):

${\displaystyle p(\mathrm {drunk} \mid D)={\frac {N(\mathrm {drunk} \cap D)}{N(D)}}={\frac {1}{51}}=0.0196}$

где N (пьяный ∩ D ) обозначает количество пьяных водителей, получивших положительный результат алкотестера, а N ( D ) обозначает общее количество случаев с положительным результатом алкотестера. Эквивалентность этого уравнения предыдущему следует из аксиом теории вероятностей, согласно которой N (drunk ∩ D ) = N × p ( D | drunk) × p(пьяный). Важно отметить, что хотя это уравнение формально эквивалентно правилу Байеса, психологически оно не эквивалентно. Использование собственных частот упрощает вывод, поскольку требуемая математическая операция может выполняться с натуральными числами, а не с нормализованными дробями (то есть вероятностями), потому что это делает большое количество ложных срабатываний более прозрачным, и поскольку собственные частоты демонстрируют «вложенный набор» состав". ^{[20] [21]}

Не каждый частотный формат облегчает байесовские рассуждения. ^{[21] [22]} Собственные частоты относятся к информации о частоте, которая получается в результате естественной выборки , ^[23] которая сохраняет информацию о базовой скорости (например, количество пьяных водителей при выборке случайной выборки водителей). Это отличается от систематической выборки , в которой базовые ставки фиксируются априори (например, в научных экспериментах). В последнем случае невозможно вывести апостериорную вероятность p (пьяный | положительный тест) из сравнения количества пьяных водителей с положительным результатом теста по сравнению с общим количеством людей, получивших положительный результат алкотестера, потому что информация о базовой скорости не сохраняется и должна быть явно повторно введена с использованием теоремы Байеса. .

См. Также [ править ]

Ссылки [ править ]

Внешние ссылки [ править ]

• Ошибка базовой ставки Файлы ошибок