Эффект поиска в другом месте - это явление в статистическом анализе научных экспериментов, когда очевидно статистически значимое наблюдение могло фактически возникнуть случайно из-за огромного размера пространства параметров, в котором должен быть произведен поиск. [1] [2] [3] [4] [5]
Как только возможность ошибки поиска в другом месте признана, она может быть компенсирована тщательным применением стандартных математических методов. [6] [7]
Этот термин, более известный в статистике как проблема множественных сравнений , привлек внимание средств массовой информации в 2011 году в контексте поиска бозона Хиггса на Большом адронном коллайдере . [8]
Использовать
Многие статистические тесты предоставляют p-значение , вероятность того, что данный результат может быть получен, при условии случайного совпадения. Спрашивая «делает X влияет на Y ?», Он является общим для изменения X и посмотреть , если есть существенные различия в Y в качестве результата. Если это значение p меньше некоторого заранее определенного порога статистической значимости α , результат считается «значимым».
Однако, если выполняется несколько тестов («поиск в другом месте», если первый тест терпит неудачу), то ожидается, что значение p, равное 1 / n , будет происходить один раз за n тестов. Например, при отсутствии реального эффекта событие с p <0,05 все равно произойдет в среднем один раз на каждые 20 выполненных тестов. Чтобы компенсировать это, вы можете разделить свой порог α на количество тестов n , так что результат будет значительным, когда p < α / n . Или, что то же самое, умножьте наблюдаемое значение p на количество тестов (значимо, когда np < α ).
Это упрощенный случай; число n - это фактически количество степеней свободы в тестах или количество фактически независимых тестов. Если они не полностью независимы, их количество может быть меньше количества тестов.
Эффект поиска в другом месте является частой причиной «инфляции значимости», когда число независимых тестов n недооценивается, поскольку неудавшиеся тесты не публикуются. В одной статье могут не упоминаться рассмотренные альтернативные гипотезы, или же статья, не дающая результата, может просто не быть опубликована, в результате чего в журналах преобладают статистические выбросы.
Примеры
- Шведское исследование, проведенное в 1992 году, попыталось определить, вызывают ли линии электропередач какие-либо негативные последствия для здоровья. Исследователи опросили всех, кто проживает в пределах 300 м от высоковольтных линий электропередач в течение 25 лет, и искали статистически значимое увеличение частоты более 800 заболеваний. Исследование показало, что заболеваемость детской лейкемией была в четыре раза выше среди тех, кто жил ближе всего к линиям электропередач, и это побудило шведское правительство к действиям. Проблема с выводом, однако, заключалась в том, что они не смогли компенсировать эффект поиска в другом месте; в любой коллекции из 800 случайных выборок вполне вероятно, что хотя бы одна из них будет как минимум на 3 стандартных отклонения выше ожидаемого значения, только случайно. Последующие исследования не выявили каких-либо связей между линиями электропередач и детской лейкемией ни по причине, ни даже по корреляции. [9]
- В Библии Кодовые явление смыслов найти атипичный значительные группировки слов , предсказывающие будущие события , скрытые в тексте еврейской Библии , взятые в сырой последовательности unspaced букв и расположенная в различные сети различных пропорций. Однако, как продемонстрировала статья в Skeptical Inquirer [10], это равносильно созданию огромного количества сеток для исследования шаблонов или группировок путем деления полной текстовой строки на ширину от нескольких до сотен тысяч букв, повторяя ширину для последующих рядов. Затем в каждой из этих многочисленных сеток можно, в свою очередь, продолжить поиск широкого диапазона интересующих слов, пропуская через интервалы, вперед или назад, произвольные буквы x в тексте (или x + 1, x + 2 и т. Д.) ), в массивном поперечном продукте из параметризованных возможностей, и связанного с совпадающим словом интереса может быть любой строка рядом в произвольном пропускоме х + к или у + к буквам, вперед или назад, таким образом, что пермутационные объемы становятся огромными. Таким образом, оставив в стороне связанные вопросы, такие как предвзятость подтверждения , даже если в первой сетке не было обнаружено групп, представляющих интерес или значимость, компьютер может опробовать следующую итерацию и так далее в массовом порядке, пока, наконец, не будут получены «чудесные» или «невероятные» группировки в. По сути, это равносильно тому, что после раздачи неинтересной покерной руки продолжать делать это в любых необходимых количествах до тех пор, пока не будет получен стрит-флеш , рояль-флеш или даже множество подобных событий подряд , и назвать колоду, вдохновленную для включения таких результат. Таким образом, автор Skeptical Inquirer смог добиться идентичных эффектов, просто применив одни и те же алгоритмы поиска как к тексту Библии короля Иакова на английском языке вместо якобы вдохновленной Богом версии на иврите, так и к обычному и произвольному образцу текста. решение Верховного суда США 1987 года « Эдвардс против Агийярда» .
- XKCD комиксы «Существенный» обеспечивает хороший вымышленный пример этой проблемы.
Смотрите также
- Коррекция Бонферрони
- Дноуглубительные работы
- Закон действительно больших чисел : при достаточно большом размере выборки возможны любые возмутительные вещи
- Закон Литтлвуда : любой человек может ожидать, что с ним произойдет «чудо» примерно раз в месяц.
- Заблуждение техасского снайпера
- Проблема множественных сравнений
Рекомендации
- Перейти ↑ Lyons, L. (2008). «Открытые статистические вопросы в физике элементарных частиц». Летопись прикладной статистики . 2 (3): 887. arXiv : 0811.1663 . DOI : 10.1214 / 08-AOAS163 .
- ^ «Синопсис: Контроль за« эффектом поиска в другом месте » » . Американское физическое общество. 2011 г.
- ^ Лори Энн Уайт (12 августа 2011 г.). «Слово недели: эффект« Посмотрите в другом месте »» . Стэнфордская национальная ускорительная лаборатория. Архивировано из оригинального 19 апреля 2012 года.
- ^ Дориго, Томмазо (16 октября 2009 г.). «Сверхъестественные совпадения и эффект взгляда в другом месте» . Проверено 17 октября 2012 .
- ^ Дориго, Томмазо (19.08.2011). «Стоит ли вам волноваться от ваших данных? Пусть решит эффект« Посмотрите в другом месте » . CMS Collaboration.
- ^ Gross, E .; Вителлс, О. (2010). «Пробные факторы для эффекта взгляда в другом месте в физике высоких энергий». Европейский физический журнал C . 70 : 525. arXiv : 1005.1891 . Bibcode : 2010EPJC ... 70..525G . DOI : 10.1140 / epjc / s10052-010-1470-8 .
- ^ Байер, Адриан Э .; Селяк, Урош (2020). «Эффект поиска в другом месте с объединенной байесовской и частотной точки зрения» . Журнал космологии и физики астрономических частиц . 2020 (10): 009–009. arXiv : 2007.13821 . DOI : 10.1088 / 1475-7516 / 2020/10/009 .
- ^ Том Чиверс (13 декабря 2011). «Неподтвержденное наблюдение неуловимого бозона Хиггса» . Daily Telegraph.
- ^ Палфреман, Джон (13.06.1995), "Currents of fear" , Frontline , PBS , получено 01.07.2012.
- ^ Томас, Дэйв (1 ноября 1997 г.), «Скрытые сообщения и библейский код» , Skeptical Inquirer , CSICOP , получено 19 апреля 2015 г.
Внешние ссылки
- Комикс XKCD, иллюстрирующий эффект Look-Elsewhere