Уровень ложного обнаружения

В статистике , то вероятность ложного открытия ( FDR ) представляет собой метод концептуализации скорости ошибок типа I в гипотезе нулевого тестирования при проведении нескольких сравнений . Процедуры контроля FDR предназначены для контроля ожидаемой доли «открытий» (отклоненных нулевых гипотез ), которые являются ложными (неправильные отклонения нулевых гипотез ). ^[1] Процедуры контроля FDR обеспечивают менее строгий контроль ошибок типа I по сравнению с процедурами контроля уровня семейных ошибок (FWER) (такими как поправка Бонферрони ), которые контролируют вероятностьпо крайней мере, одна ошибка типа I. Таким образом, процедуры управления FDR обладают большей мощностью за счет увеличения числа ошибок типа I. ^[2]

История [ править ]

Технологические мотивы [ править ]

Считается, что современное широко распространенное использование FDR является результатом и мотивируется развитием технологий, которые позволили собирать и анализировать большое количество различных переменных у нескольких людей (например, уровень экспрессии каждого из 10 000 различных генов). в 100 разных лицах). ^[3] К концу 1980-х и 1990-х гг. Развитие «высокопроизводительных» наук, таких как геномика , позволило быстро получить данные. Это, в сочетании с ростом вычислительной мощности, позволило беспрепятственно выполнять сотни и тысячи статистических тестов на заданном наборе данных. Технология микроматрицбыл прототипическим примером, поскольку он позволял одновременно тестировать тысячи генов на предмет дифференциальной экспрессии в двух биологических условиях. ^[4]

Поскольку высокопроизводительные технологии стали обычным явлением, технологические и / или финансовые ограничения вынудили исследователей собирать наборы данных с относительно небольшими размерами выборки (например, несколько человек, проходящих тестирование) и большим количеством переменных, измеряемых на выборку (например, тысячи уровней экспрессии генов). В этих наборах данных слишком мало измеренных переменных показали статистическую значимость после классической поправки для нескольких тестов с помощью стандартных процедур множественного сравнения . Это создало потребность во многих научных сообществах отказаться от FWER.и нескорректированное тестирование множественных гипотез для других способов выделения и ранжирования в публикациях тех переменных, которые демонстрируют заметные эффекты для отдельных лиц или методов лечения, которые в противном случае были бы отклонены как несущественные после стандартной поправки для множественных тестов. В ответ на это были предложены - и стали широко использоваться в публикациях - различные коэффициенты ошибок, которые менее консервативны, чем FWER, при пометке возможно заслуживающих внимания наблюдений.

Литература [ править ]

Концепция FDR была официально описана Йоавом Бенджамини и Йосефом Хохбергом в 1995 г. ^[1] ( процедура BH ) как менее консервативный и, возможно, более подходящий подход для выявления немногих важных из множества проверенных тривиальных эффектов. FDR оказал особое влияние, поскольку он был первой альтернативой FWER, получившей широкое признание во многих научных областях (особенно в науках о жизни, от генетики до биохимии, онкологии и наук о растениях). ^[3] В 2005 году статья Бенджамини и Хохберга 1995 года была названа одной из 25 наиболее цитируемых статистических статей. ^[5]

До введения в 1995 г. концепции FDR в статистической литературе рассматривались различные предшественники. В 1979 году , Холм предложил Holm процедуру , ^[6] ступенчатый алгоритм для управления FWER, которое , по крайней мере , как мощный , как хорошо известной регулировки Бонферрони . Этот алгоритм ступенчато сортирует р -значение и последовательно отвергает гипотезы , начиная от самого маленького р -значения.

Бенджамини (2010) ^[3] сказал, что частота ложных открытий и статья Бенджамини и Хохберг (1995) произошли из двух статей, посвященных множественному тестированию:

Первый документ является Schweder и Spjotvoll (1982) ^[7] , который предложил построение ранжированного р -значения и оценку числа верных гипотез нуля ( ) через глаз подогнанных линий , начиная с наибольшим р -значения. Значения p, которые отклоняются от этой прямой, должны соответствовать ложным нулевым гипотезам. Эта идея позже была преобразована в алгоритм и включила оценку в такие процедуры, как Бонферрони, Холм или Хохберг. ^[8] Эта идея тесно связана с графической интерпретацией процедуры BH. ${\ displaystyle m_ {0}}$ ${\ displaystyle m_ {0}}$
Вторая статья - Бранко Сорич (1989) ^{[9], в} которой вводится терминология «открытие» в контексте проверки множественных гипотез. Сорик использовал ожидаемое количество ложных открытий, разделенное на количество открытий, как предупреждение о том, что «большая часть статистических открытий может быть ошибочной». Это привело Бенджамини и Хохберга к мысли, что подобная частота ошибок, а не просто предупреждение, может служить достойной целью для контроля. ${\ Displaystyle \ влево (Е [V] / R \ вправо)}$

Бенджамини и Хохберг доказали, что процедура BH позволяет контролировать FDR в ходе независимых испытаний в 1995 году. ^[1] В 1986 году Р. Дж. Саймс предложил ту же процедуру, что и « процедура Саймса », для управления FWER в слабом смысле (согласно нулевой гипотезе пересечения), когда статистические данные независимы. ^[10]

Определения [ править ]

Основываясь на определениях, приведенных ниже, мы можем определить $Q$ как долю ложных открытий среди открытий (отклонений нулевой гипотезы):

{\ Displaystyle Q = V / R = V / (V + S)}

.

где - количество ложных открытий, а - количество истинных открытий. ${\ displaystyle V}$ ${\ displaystyle S}$

Тогда коэффициент ложного обнаружения ( FDR ) будет просто: ^[1]

{\ Displaystyle \ mathrm {FDR} = Q_ {e} = \ mathrm {E} \! \ left [Q \ right],}

где это ожидаемое значение из . Цель состоит в том, чтобы удерживать FDR ниже заданного порога q . Чтобы избежать деления на ноль , определяется равным 0, когда . Формально . ^[1] ${\ displaystyle \ mathrm {E} \! \ left [Q \ right]}$ ${\ displaystyle Q}$ ${\ displaystyle Q}$ ${\ displaystyle R = 0}$ ${\ Displaystyle \ mathrm {FDR} = \ mathrm {E} \! \ left [V / R | R> 0 \ right] \ cdot \ mathrm {P} \! \ left (R> 0 \ right)}$

Классификация множественных проверок гипотез [ править ]

В следующей таблице определены возможные результаты при проверке нескольких нулевых гипотез. Предположим, у нас есть число m нулевых гипотез, обозначенных как $H 1, H 2, ..., H m .$ Используя статистический тест , мы отклоняем нулевую гипотезу, если тест объявлен значимым. Мы не отвергаем нулевую гипотезу, если тест несущественен. Суммирование каждого типа результата по всем H _i дает следующие случайные величины:

	Нулевая гипотеза верна (H ₀ )	Альтернативная гипотеза верна (H _A )	Общий
Тест объявлен значимым	$V$	$S$	$р$
Тест объявлен несущественным	$U$	$Т$	${\ displaystyle mR}$
Общий	${\ displaystyle m_ {0}}$	${\ Displaystyle м-м_ {0}}$	$м$

$m$ - общее количество проверенных гипотез
${\ displaystyle m_ {0}}$ это количество истинных нулевых гипотез , неизвестный параметр
${\ Displaystyle м-м_ {0}}$ количество истинных альтернативных гипотез
$V$ - количество ложных срабатываний (ошибка типа I) (также называемых «ложными открытиями»)
$S$ - количество истинных положительных результатов (также называемых «истинными открытиями»)
$T$ - количество ложноотрицательных результатов (ошибка типа II)
$U$ - количество истинных негативов
${\ Displaystyle R = V + S}$ это количество отклоненных нулевых гипотез (также называемых «открытиями», истинными или ложными)

В $m$ проверках гипотез, которые являются истинными нулевыми гипотезами, $R$ - наблюдаемая случайная величина, а $S$ , $T$ , $U$ и $V$ - ненаблюдаемые случайные величины . ${\ displaystyle m_ {0}}$

Контрольные процедуры [ править ]

Настройки для многих процедур таковы , что мы имеем нулевую гипотезу проверена и их соответствующие р -значения . Перечислим эти p-значения в порядке возрастания и обозначим их через . Процедура, которая переходит от маленького p- значения к большому, будет называться пошаговой процедурой. Аналогичным образом, в «понижающей» процедуре мы переходим от большой соответствующей тестовой статистики к меньшей. ${\ displaystyle H_ {1} \ ldots H_ {m}}$ ${\ Displaystyle P_ {1} \ ldots P_ {m}}$ ${\ Displaystyle P _ {(1)} \ ldots P _ {(м)}}$

Процедура Бенджамини – Хохберга[ редактировать ]

Процедура Бенджамини – Хохберга ( процедура повышения BH) контролирует FDR на уровне . ^[1] Это работает следующим образом: ${\ displaystyle \ alpha}$

Для данного найдите наибольшее $k$ такое, что ${\ displaystyle \ alpha}$ ${\ Displaystyle P _ {(k)} \ leq {\ frac {k} {m}} \ alpha.}$

(то есть: )

k={\underset {j\in (i,...,n)}{\operatorname {arg\,max} }}\,\left(I_{P_{(j)}\leq {\frac {j}{m}}\alpha }\right)

Отклонение нулевой гипотезы (то есть, объявите открытия) для всех для . $H_{(i)}$ $i=1,\ldots ,k$

Геометрически это соответствует построению графика зависимости от $k$ (по осям $y$ и $x$ соответственно), рисованию линии через начало координат с наклоном и объявлению открытий для всех точек слева вплоть до последней точки, которая находится ниже линии. $P_{(k)}$ ${\frac {\alpha }{m}}$

Процедура BH действительна, когда $m$ тестов являются независимыми , а также в различных сценариях зависимости, но не является универсальной. ^[11] Он также удовлетворяет неравенству:

E(Q)\leq {\frac {m_{0}}{m}}\alpha \leq \alpha

Если в процедуру BH вставлен оценщик , больше не гарантируется достижение управления FDR на желаемом уровне. ^{[3] В} оценщике могут потребоваться корректировки, и было предложено несколько модификаций. ^[12]^[13]^[14]^[15] $m_{0}$

Обратите внимание, что среднее значение для этих $m$ тестов - это Среднее (FDR ) или MFDR, скорректированное на $m$ независимых или положительно коррелированных тестов (см. AFDR ниже). Выражение MFDR здесь для одного пересчитанного значения и не является частью метода Бенджамини и Хохберга. $\alpha$ ${\frac {\alpha (m+1)}{2m}}$ $\alpha$ $\alpha$ $\alpha$

Процедура Бенджамини – Йекутиели [ править ]

Процедура Бенджамини – Йекутиели контролирует частоту ложного обнаружения при произвольных предположениях о зависимости. ^[11] Это уточнение изменяет порог и находит наибольшее $k$ такое, что:

P_{(k)}\leq {\frac {k}{m\cdot c(m)}}\alpha

Если тесты независимы или положительно коррелированы (как в процедуре Бенджамини-Хохберга): $c(m)=1$
Под произвольной зависимостью (включая случай отрицательной корреляции), с (м) представляет собой номер гармоники : . $c(m)=\sum _{i=1}^{m}{\frac {1}{i}}$

Обратите внимание, что это можно аппроксимировать, используя разложение в ряд Тейлора и постоянную Эйлера – Маскерони ( ):

c(m)

\gamma =0.57721...

\sum _{i=1}^{m}{\frac {1}{i}}\approx \ln(m)+\gamma +{\frac {1}{2m}}.

Используя MFDR и приведенные выше формулы, скорректированный MFDR или AFDR является минимальным (средним ) для $m$ зависимых тестов . Еще один способ решения проблемы зависимости - это самозагрузка и повторная рандомизация. ^[4]^[16]^[17] $\alpha$ $={\frac {\mathrm {MFDR} }{c(m)}}$

Свойства [ править ]

Адаптивный и масштабируемый [ править ]

Процедура множественности, которая контролирует критерий FDR, является адаптивной и масштабируемой . Это означает, что управление FDR может быть очень разрешительным (если данные подтверждают это) или консервативным (действуя близко к контролю FWER для разреженных проблем) - все в зависимости от количества проверенных гипотез и уровня значимости. ^[3]

Критерий FDR адаптируется таким образом, что одно и то же количество ложных открытий (V) будет иметь разные последствия в зависимости от общего количества открытий (R). Это контрастирует с семейным критерием частоты ошибок . Например, при проверке 100 гипотез (скажем, 100 генетических мутаций или SNP для ассоциации с некоторым фенотипом в некоторой популяции):

Если мы сделаем 4 открытия (R), то наличие 2 из них ложных открытий (V) часто очень дорого обходится. В то время как,
Если мы сделаем 50 открытий (R), то наличие 2 из них ложных открытий (V) часто не очень дорого обходится.

Критерий FDR масштабируется тем, что одна и та же доля ложных открытий от общего числа открытий (Q) остается приемлемой для разного числа общих открытий (R). Например:

Если мы сделаем 100 открытий (R), то наличие 5 из них ложных открытий ( ) может оказаться не очень затратным. $q=5\%$
Точно так же, если мы сделаем 1000 открытий (R), 50 из них будут ложными открытиями (как и раньше ), возможно, это будет не очень дорого. $q=5\%$

Зависимость между тестовой статистикой [ править ]

Управление FDR с использованием процедуры линейного повышения BH на уровне q имеет несколько свойств, связанных со структурой зависимости между тестовой статистикой $m$ нулевых гипотез, которые корректируются. Если статистика теста:

Независимый: ^[11] $\mathrm {FDR} \leq {\frac {m_{0}}{m}}q$
Независимые и непрерывные: ^[1] $\mathrm {FDR} ={\frac {m_{0}}{m}}q$
Положительный иждивенец: ^[11] $\mathrm {FDR} \leq {\frac {m_{0}}{m}}q$
В общем случае: ^[11] , где - постоянная Эйлера – Маскерони . $\mathrm {FDR} \leq {\frac {m_{0}}{m}}q/\left(1+{\frac {1}{2}}+{\frac {1}{3}}+\cdots +{\frac {1}{m}}\right)\approx {\frac {m_{0}}{m}}q/(\ln(m)+\gamma +{\frac {1}{2m}})$ $\gamma$

Доля верных гипотез [ править ]

Если все нулевые гипотезы верны ( ), то управление FDR на уровне $q$ гарантирует контроль над FWER (это также называется «слабым контролем FWER» ): просто потому, что событие отклонения хотя бы одной истинной нулевой гипотезы именно это событие , и событие это именно событие (когда , по определению). ^[1] Но если нужно сделать несколько истинных открытий ( ), то $FWER \geq FDR$ . В этом случае будет возможность улучшить обнаружительную способность. Это также означает, что любая процедура, которая управляет FWER, также будет управлять FDR. $m_{0}=m$ $\mathrm {FWER} =P\left(V\geq 1\right)=E\left({\frac {V}{R}}\right)=\mathrm {FDR} \leq q$ $\{V\geq 1\}$ $\{V/R=1\}$ $\{V=0\}$ $\{V/R=0\}$ $V=R=0$ $V/R=0$ $m_{0}<m$

Понятия, связанные с данным [ править ]

Открытию FDR предшествовали и последовали многие другие типы ошибок. К ним относятся:

$PCER$ ( за сравнение частоты ошибок ) определяются следующим образом: . Индивидуальная проверка каждой гипотезы на уровне $α$ гарантирует, что (это проверка без какой-либо поправки на множественность) $\mathrm {PCER} =E\left[{\frac {V}{m}}\right]$ $\mathrm {PCER} \leq \alpha$
$FWER$ ( семьи мудрый уровень ошибок ) определяется следующим образом: . Существует множество процедур, управляющих FWER . $\mathrm {FWER} =P(V\geq 1)$
$k{\text{-FWER}}$ (Хвост вероятность ложного Discovery Доля), предложенный Lehmann и Романо, ван - дер - Лан на аль, ^{[ править ]} определяется следующим образом: . $k{\text{-FWER}}=P(V\geq k)\leq q$
$k{\text{-FDR}}$ (также называемый обобщенный ФРГ по Саркару в 2007 году ^[18]^[19] ) определяются следующим образом: . $k{\text{-FDR}}=E\left({\frac {V}{R}}I_{(V>k)}\right)\leq q$
$Q'$ - это доля ложных открытий среди открытий », предложенная Сориком в 1989 г. ^[9], и определяется как:. Это смесь ожиданий и реализаций, и есть проблема контроля над . ^[1] $Q'={\frac {E[V]}{R}}$ $m_{0}=m$
$\mathrm {FDR} _{-1}$ (или Fdr) использовался Бенджамини и Хохбергом ^[3] и позже назван «Fdr» Эфроном (2008) и ранее. ^[20] Она определяется как: . Эту частоту ошибок нельзя строго контролировать, потому что она равна 1, когда . $\mathrm {FDR} _{-1}=Fdr={\frac {E[V]}{E[R]}}$ $m=m_{0}$
$\mathrm {FDR} _{+1}$ был использован Бенджамини и Хохбергом ^[3] и позже назван «pFDR» Стори (2002). ^[21] Она определяется как: . Эту частоту ошибок нельзя строго контролировать, потому что она равна 1, когда . $\mathrm {FDR} _{+1}=pFDR=E\left[\left.{\frac {V}{R}}\right|R>0\right]$ $m=m_{0}$
Коэффициент ложного превышения (хвостовая вероятность FDP), определяемый как: ^[22] $\mathrm {P} \left({\frac {V}{R}}>q\right)$
$W{\text{-FDR}}$ (Взвешенный FDR). С каждой гипотезой i связан вес , веса отражают важность / цену. W-ПБ определяется следующим образом: . $w_{i}\geq 0$ $W{\text{-FDR}}=E\left({\frac {\sum w_{i}V_{i}}{\sum w_{i}R_{i}}}\right)$
$FDCR$ (ставка стоимости ложного обнаружения). На основе статистического управления процессом : с каждой гипотезой i связана стоимость, а с гипотезой пересечения - стоимость . Мотивация заключается в том, что остановка производственного процесса может повлечь за собой фиксированные затраты. Это определяется как: $\mathrm {c} _{i}$ $H_{00}$ $c_{0}$ $\mathrm {FDCR} =E\left(c_{0}V_{0}+{\frac {\sum c_{i}V_{i}}{c_{0}R_{0}+\sum c_{i}R_{i}}}\right)$
$PFER$ (частота появления ошибок в семье) определяются как: . $\mathrm {PFER} =E(V)$
$FNR$ (False non-discovery rate) от Саркара; Дженовезе и Вассерман ^{[ необходима цитата ]} определяется как: $\mathrm {FNR} =E\left({\frac {T}{m-R}}\right)=E\left({\frac {m-m_{0}-(R-V)}{m-R}}\right)$
$\mathrm {FDR} (z)$ определяется как: $\mathrm {FDR} (z)={\frac {p_{0}F_{0}(z)}{F(z)}}$
$\mathrm {FDR}$ Локальный fdr определяется как: $\mathrm {FDR} ={\frac {p_{0}f_{0}(z)}{f(z)}}$

Уровень ложного охвата [ править ]

Коэффициент ложного охвата (FCR) в некотором смысле является аналогом FDR доверительного интервала . FCR указывает среднюю частоту ложного покрытия, а именно непокрытия истинных параметров, среди выбранных интервалов. FCR обеспечивает одновременный охват на уровне всех параметров, рассматриваемых в задаче. Интервалы с вероятностью одновременного охвата 1 − q могут управлять FCR, чтобы он был ограничен q . Существует множество процедур FCR, таких как: Выборка Бонферрони - Скорректированная по Бонферрони, ^[^цитата^] Скорректированные КИ, выбранные BH (Бенджамини и Йекутиели (2005)), ^[23] FCR Байеса (Yekutieli (2008)), ^[^{необходима цитата}^] $1-\alpha$ и другие байесовские методы. ^[24]

Байесовские подходы [ править ]

Были установлены связи между FDR и байесовским подходами (включая эмпирические байесовские методы), ^[20]^[25]^[26] пороговыми вейвлет-коэффициентами и выбором модели , ^[27]^[28]^[29]^[30] и обобщением доверительного интервала в процент ложных заявлений о покрытии (FCR). ^[23]

См. Также [ править ]

Положительная прогностическая ценность

Ссылки [ править ]

^ a b c d e f g h я Бенджамини, Йоав; Хохберг, Йосеф (1995). «Контроль ложного обнаружения: практичный и эффективный подход к множественному тестированию» (PDF) . Журнал Королевского статистического общества, Series B . 57 (1): 289–300. Руководство по ремонту 1325392 .
^ Shaffer JP (1995) Проверка множественных гипотез, Annual Review of Psychology 46: 561-584, Annual Reviews.
^ Б с д е е г Benjamini, Y. (2010). «Обнаружение ложного уровня обнаружения» . Журнал Королевского статистического общества, Series B . 72 (4): 405–416. DOI : 10.1111 / j.1467-9868.2010.00746.x .
^ a b Стори, Джон Д .; Тибширани, Роберт (2003). «Статистическая значимость для полногеномных исследований» . Труды Национальной академии наук . 100 (16): 9440–9445. Bibcode : 2003PNAS..100.9440S . DOI : 10.1073 / pnas.1530509100 . PMC 170937 . PMID 12883005 .
^ Райан, TP; Вудалл, WH (2005). «Наиболее цитируемые статистические статьи». Журнал прикладной статистики . 32 (5): 461. DOI : 10,1080 / 02664760500079373 . S2CID 109615204 .
Перейти ↑ Holm, S. (1979). «Простая процедура последовательного множественного отбора». Скандинавский статистический журнал . 6 (2): 65–70. JSTOR 4615733 . Руководство по ремонту 0538597 .
^ Schweder, T .; Spjøtvoll, E. (1982). «Графики P-значений для одновременной оценки множества тестов». Биометрика . 69 (3): 493. DOI : 10,1093 / Biomet / 69.3.493 .
^ Hochberg, Y .; Бенджамини, Ю. (1990). «Более мощные процедуры для тестирования множественной значимости». Статистика в медицине . 9 (7): 811–818. DOI : 10.1002 / sim.4780090710 . PMID 2218183 .
^ a b Сорич, Бранко (июнь 1989 г.). «Статистические« открытия »и оценка размера эффекта». Журнал Американской статистической ассоциации . 84 (406): 608–610. DOI : 10.1080 / 01621459.1989.10478811 . JSTOR 2289950 .
^ Саймс, RJ (1986). «Улучшенная процедура Бонферрони для множественных тестов значимости». Биометрика . 73 (3): 751–754. DOI : 10.1093 / Biomet / 73.3.751 .
^ a b c d e Бенджамини, Йоав; Екутиели, Даниэль (2001). «Контроль ложного обнаружения при множественном тестировании в зависимости» (PDF) . Анналы статистики . 29 (4): 1165–1188. DOI : 10.1214 / AOS / 1013699998 . Руководство по ремонту 1869245 .
^ Стори, JD; Тейлор, Дж. Э .; Зигмунд, Д. (2004). «Сильный контроль, консервативная оценка баллов и одновременная консервативная устойчивость ложных показателей обнаружения: единый подход». Журнал Королевского статистического общества, Series B . 66 : 187–205. DOI : 10.1111 / j.1467-9868.2004.00439.x .
^ Benjamini, Y .; Кригер, AM; Екутиели Д. (2006). «Адаптивные линейные повышающие процедуры, контролирующие частоту ложного обнаружения». Биометрика . 93 (3): 491. DOI : 10,1093 / Biomet / 93.3.491 .
^ Гаврилов, Ю .; Benjamini, Y .; Саркар, СК (2009). «Адаптивная процедура понижения с проверенным контролем FDR при независимости». Летопись статистики . 37 (2): 619. arXiv : 0903.5373 . DOI : 10.1214 / 07-AOS586 . S2CID 16913244 .
^ Blanchard, G .; Рокейн, Э. (2008). «Два простых достаточных условия для управления FDR». Электронный статистический журнал . 2 : 963–992. arXiv : 0802.1406 . DOI : 10.1214 / 08-EJS180 . S2CID 16662020 .
^ Yekutieli D, Benjamini Y (1999). «Процедура управления частотой ложного обнаружения на основе повторной выборки для зависимой тестовой статистики». J. Statist. Planng Inf . 82 (1–2): 171–196. DOI : 10.1016 / S0378-3758 (99) 00041-5 .
^ ван дер Лаан, MJ; Дудуа, С. (2007). Множественные процедуры тестирования с приложениями к геномике . Нью-Йорк: Спрингер.
^ Саркар, Санат К. «Процедуры Stepup, управляющие обобщенным FWER и обобщенным FDR». Анналы статистики (2007): 2405-2420.
↑ Саркар, Санат К. и Венге Го. «Об общем уровне ложных открытий». Анналы статистики (2009): 1545-1565.
^ а б Эфрон Б (2008). «Микроматрицы, эмпирический Байес и модель двух групп». Статистическая наука . 23 : 1–22. arXiv : 0808.0603 . DOI : 10.1214 / 07-STS236 . S2CID 8417479 .
^ Стори, Джон Д. (2002). «Прямой подход к показателям ложных открытий» (PDF) . Журнал Королевского статистического общества, Series B . 64 (3): 479–498. CiteSeerX 10.1.1.320.7131 . DOI : 10.1111 / 1467-9868.00346 .
Перейти ↑ Benjamini, Y. (2010). «Одновременный и выборочный вывод: текущие успехи и будущие проблемы». Биометрический журнал . 52 (6): 708–721. DOI : 10.1002 / bimj.200900299 . PMID 21154895 .
^ a b Бенджамини Y, Yekutieli Y (2005). «Уровень ложного обнаружения, контролирующий доверительные интервалы для выбранных параметров». Журнал Американской статистической ассоциации . 100 (469): 71–80. DOI : 10.1198 / 016214504000001907 . S2CID 23202143 .
^ Чжао, З .; Джин Хван, JT (2012). «Эмпирический байесовский уровень ложного охвата, контролирующий доверительные интервалы». Журнал Королевского статистического общества, Series B . 74 (5): 871–891. DOI : 10.1111 / j.1467-9868.2012.01033.x .
^ Стори, Джон Д. (2003). «Положительный уровень ложных открытий: байесовская интерпретация и q-значение» (PDF) . Анналы статистики . 31 (6): 2013–2035. DOI : 10.1214 / AOS / 1074290335 .
^ Эфрон, Брэдли (2010). Крупномасштабный вывод . Издательство Кембриджского университета . ISBN 978-0-521-19249-1.
^ Абрамович F, Benjamini Y, Donoho D, Джонстон IM (2006). «Адаптация к неизвестной разреженности путем контроля ложного обнаружения». Анналы статистики . 34 (2): 584–653. arXiv : math / 0505374 . Bibcode : 2005math ...... 5374A . DOI : 10.1214 / 009053606000000074 . S2CID 7581060 .
^ Donoho D, Jin J (2006). «Асимптотическая минимаксность порога ложного обнаружения для разреженных экспоненциальных данных». Анналы статистики . 34 (6): 2980–3018. arXiv : math / 0602311 . Bibcode : 2006math ...... 2311D . DOI : 10.1214 / 009053606000000920 . S2CID 9080115 .
Перейти ↑ Benjamini Y, Gavrilov Y (2009). «Простая процедура прямого выбора, основанная на контроле скорости ложного обнаружения». Анналы прикладной статистики . 3 (1): 179–198. arXiv : 0905.2819 . Bibcode : 2009arXiv0905.2819B . DOI : 10.1214 / 08-AOAS194 . S2CID 15719154 .
^ Donoho D, Джин JS (2004). «Повышенная критика за обнаружение разреженных гетерогенных смесей». Анналы статистики . 32 (3): 962–994. arXiv : math / 0410072 . Bibcode : 2004math ..... 10072D . DOI : 10.1214 / 009053604000000265 . S2CID 912325 .

Внешние ссылки [ править ]

Анализ уровня ложного обнаружения в R - список ссылок на популярные пакеты R
Анализ вероятности ложного обнаружения в Python - реализации в Python процедур определения частоты ложных обнаружений
Частота ложного обнаружения: исправленные и скорректированные P-значения - реализация MATLAB / GNU Octave и обсуждение разницы между скорректированными и скорректированными p-значениями FDR.
Понимание уровня ложного обнаружения - сообщение в блоге
StatQuest: FDR и метод Бенджамини-Хохберга четко объяснены на YouTube
Понимание уровня ложного обнаружения - включает код Excel VBA для его реализации и пример разработки клеточной линии

[BenjaminiHochberg1995-1] я Бенджамини, Йоав; Хохберг, Йосеф (1995). «Контроль ложного обнаружения: практичный и эффективный подход к множественному тестированию» (PDF) . Журнал Королевского статистического общества, Series B . 57 (1): 289–300. Руководство по ремонту 1325392 .

[2] Shaffer JP (1995) Проверка множественных гипотез, Annual Review of Psychology 46: 561-584, Annual Reviews.

[Benjamini2010-3] Б с д е е г Benjamini, Y. (2010). «Обнаружение ложного уровня обнаружения» . Журнал Королевского статистического общества, Series B . 72 (4): 405–416. DOI : 10.1111 / j.1467-9868.2010.00746.x .

[StoreyTibs2003-4] Стори, Джон Д .; Тибширани, Роберт (2003). «Статистическая значимость для полногеномных исследований» . Труды Национальной академии наук . 100 (16): 9440–9445. Bibcode : 2003PNAS..100.9440S . DOI : 10.1073 / pnas.1530509100 . PMC 170937 . PMID 12883005 .

[RYANA2005-5] Райан, TP; Вудалл, WH (2005). «Наиболее цитируемые статистические статьи». Журнал прикладной статистики . 32 (5): 461. DOI : 10,1080 / 02664760500079373 . S2CID 109615204 .

[6] Перейти ↑ Holm, S. (1979). «Простая процедура последовательного множественного отбора». Скандинавский статистический журнал . 6 (2): 65–70. JSTOR 4615733 . Руководство по ремонту 0538597 .

[SCHWEDER1982-7] Schweder, T .; Spjøtvoll, E. (1982). «Графики P-значений для одновременной оценки множества тестов». Биометрика . 69 (3): 493. DOI : 10,1093 / Biomet / 69.3.493 .

[Hochberg1990-8] Hochberg, Y .; Бенджамини, Ю. (1990). «Более мощные процедуры для тестирования множественной значимости». Статистика в медицине . 9 (7): 811–818. DOI : 10.1002 / sim.4780090710 . PMID 2218183 .

[Soric1989-9] Сорич, Бранко (июнь 1989 г.). «Статистические« открытия »и оценка размера эффекта». Журнал Американской статистической ассоциации . 84 (406): 608–610. DOI : 10.1080 / 01621459.1989.10478811 . JSTOR 2289950 .

[Simes1986-10] Саймс, RJ (1986). «Улучшенная процедура Бонферрони для множественных тестов значимости». Биометрика . 73 (3): 751–754. DOI : 10.1093 / Biomet / 73.3.751 .

[BenjaminiYekutieli2001-11] Бенджамини, Йоав; Екутиели, Даниэль (2001). «Контроль ложного обнаружения при множественном тестировании в зависимости» (PDF) . Анналы статистики . 29 (4): 1165–1188. DOI : 10.1214 / AOS / 1013699998 . Руководство по ремонту 1869245 .

[Storey2004-12] Стори, JD; Тейлор, Дж. Э .; Зигмунд, Д. (2004). «Сильный контроль, консервативная оценка баллов и одновременная консервативная устойчивость ложных показателей обнаружения: единый подход». Журнал Королевского статистического общества, Series B . 66 : 187–205. DOI : 10.1111 / j.1467-9868.2004.00439.x .

[Benjamini2006-13] Benjamini, Y .; Кригер, AM; Екутиели Д. (2006). «Адаптивные линейные повышающие процедуры, контролирующие частоту ложного обнаружения». Биометрика . 93 (3): 491. DOI : 10,1093 / Biomet / 93.3.491 .

[Gavrilov2009-14] Гаврилов, Ю .; Benjamini, Y .; Саркар, СК (2009). «Адаптивная процедура понижения с проверенным контролем FDR при независимости». Летопись статистики . 37 (2): 619. arXiv : 0903.5373 . DOI : 10.1214 / 07-AOS586 . S2CID 16913244 .

[Blanchard2009-15] Blanchard, G .; Рокейн, Э. (2008). «Два простых достаточных условия для управления FDR». Электронный статистический журнал . 2 : 963–992. arXiv : 0802.1406 . DOI : 10.1214 / 08-EJS180 . S2CID 16662020 .

[YekutieliBenjamini1999-16] Yekutieli D, Benjamini Y (1999). «Процедура управления частотой ложного обнаружения на основе повторной выборки для зависимой тестовой статистики». J. Statist. Planng Inf . 82 (1–2): 171–196. DOI : 10.1016 / S0378-3758 (99) 00041-5 .

[VanDudoit2007-17] ван дер Лаан, MJ; Дудуа, С. (2007). Множественные процедуры тестирования с приложениями к геномике . Нью-Йорк: Спрингер.

[18] Саркар, Санат К. «Процедуры Stepup, управляющие обобщенным FWER и обобщенным FDR». Анналы статистики (2007): 2405-2420.

[19] Саркар, Санат К. и Венге Го. «Об общем уровне ложных открытий». Анналы статистики (2009): 1545-1565.

[Efron2008-20] а б Эфрон Б (2008). «Микроматрицы, эмпирический Байес и модель двух групп». Статистическая наука . 23 : 1–22. arXiv : 0808.0603 . DOI : 10.1214 / 07-STS236 . S2CID 8417479 .

[Storey2002-21] Стори, Джон Д. (2002). «Прямой подход к показателям ложных открытий» (PDF) . Журнал Королевского статистического общества, Series B . 64 (3): 479–498. CiteSeerX 10.1.1.320.7131 . DOI : 10.1111 / 1467-9868.00346 .

[Benj2010second-22] Перейти ↑ Benjamini, Y. (2010). «Одновременный и выборочный вывод: текущие успехи и будущие проблемы». Биометрический журнал . 52 (6): 708–721. DOI : 10.1002 / bimj.200900299 . PMID 21154895 .

[BenjYekut2005-23] Бенджамини Y, Yekutieli Y (2005). «Уровень ложного обнаружения, контролирующий доверительные интервалы для выбранных параметров». Журнал Американской статистической ассоциации . 100 (469): 71–80. DOI : 10.1198 / 016214504000001907 . S2CID 23202143 .

[Zhao2012-24] Чжао, З .; Джин Хван, JT (2012). «Эмпирический байесовский уровень ложного охвата, контролирующий доверительные интервалы». Журнал Королевского статистического общества, Series B . 74 (5): 871–891. DOI : 10.1111 / j.1467-9868.2012.01033.x .

[Storey2003-25] Стори, Джон Д. (2003). «Положительный уровень ложных открытий: байесовская интерпретация и q-значение» (PDF) . Анналы статистики . 31 (6): 2013–2035. DOI : 10.1214 / AOS / 1074290335 .

[Efron2010-26] Эфрон, Брэдли (2010). Крупномасштабный вывод . Издательство Кембриджского университета . ISBN 978-0-521-19249-1.

[Abramovichetel2006-27] Абрамович F, Benjamini Y, Donoho D, Джонстон IM (2006). «Адаптация к неизвестной разреженности путем контроля ложного обнаружения». Анналы статистики . 34 (2): 584–653. arXiv : math / 0505374 . Bibcode : 2005math ...... 5374A . DOI : 10.1214 / 009053606000000074 . S2CID 7581060 .

[DonohoJin2006-28] Donoho D, Jin J (2006). «Асимптотическая минимаксность порога ложного обнаружения для разреженных экспоненциальных данных». Анналы статистики . 34 (6): 2980–3018. arXiv : math / 0602311 . Bibcode : 2006math ...... 2311D . DOI : 10.1214 / 009053606000000920 . S2CID 9080115 .

[BenjaminiGavrilov2009-29] Перейти ↑ Benjamini Y, Gavrilov Y (2009). «Простая процедура прямого выбора, основанная на контроле скорости ложного обнаружения». Анналы прикладной статистики . 3 (1): 179–198. arXiv : 0905.2819 . Bibcode : 2009arXiv0905.2819B . DOI : 10.1214 / 08-AOAS194 . S2CID 15719154 .

[DonohoJin2004-30] Donoho D, Джин JS (2004). «Повышенная критика за обнаружение разреженных гетерогенных смесей». Анналы статистики . 32 (3): 962–994. arXiv : math / 0410072 . Bibcode : 2004math ..... 10072D . DOI : 10.1214 / 009053604000000265 . S2CID 912325 .

[1]