Чувствительность и специфичность

Эта статья может быть слишком технической для понимания большинства читателей . Пожалуйста, помогите улучшить его, чтобы он был понятен неспециалистам , не удаляя технических деталей. ( Июль 2020 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Чувствительность и специфичность - это статистические показатели эффективности бинарного классификационного теста , которые широко используются в медицине:

Чувствительность (показатель истинно положительных результатов) измеряет долю правильно идентифицированных положительных результатов (т. Е. Долю тех, у кого есть какое-либо заболевание (затронуто), которые правильно идентифицированы как имеющие заболевание).
Специфичность (показатель истинно отрицательных результатов) измеряет долю правильно идентифицированных отрицательных результатов (т. Е. Долю тех, у кого нет заболевания (незатронутых), которые правильно идентифицированы как не страдающие этим заболеванием).

Термины «истинно положительный», «ложноположительный», «истинно отрицательный» и «ложноотрицательный» относятся к результату теста и правильности классификации. Например, если заболевание является заболеванием, «истинно положительный результат» означает «правильно диагностирован как заболевание», «ложный положительный результат» означает «неправильно диагностирован как заболевание», «истинно отрицательный» означает «правильно диагностирован как не заболевание» и «ложно. отрицательный »означает« неправильно диагностирован как здоровый ». Таким образом, если чувствительность теста составляет 98%, а его специфичность - 92%, уровень ложноотрицательных результатов составляет 2%, а уровень ложных срабатываний - 8%.

В диагностическом тесте чувствительность - это мера того, насколько хорошо тест может определять истинные положительные результаты. Чувствительность также может называться отзывом , частотой попаданий или истинно положительной частотой. Это процент или пропорция истинных положительных результатов из всех образцов, удовлетворяющих условию (истинно положительные и ложно отрицательные). Чувствительность теста может помочь показать, насколько хорошо он может классифицировать образцы с этим заболеванием.

В диагностическом тесте специфичность - это мера того, насколько хорошо тест может идентифицировать истинно отрицательные результаты. Специфичность также называется избирательностью или истинно отрицательным показателем, и это процент или пропорция истинных отрицательных результатов из всех образцов, не соответствующих условию (истинные отрицательные и ложноположительные).

В «хорошем» диагностическом тесте (который пытается точно идентифицировать людей с этим заболеванием) количество ложных срабатываний должно быть очень низким. То есть люди, которые определены как страдающие заболеванием, с высокой вероятностью действительно имеют это состояние. Это связано с тем, что люди, которые определены как имеющие заболевание (но на самом деле не имеют его), могут быть подвергнуты: дополнительному тестированию (которое может быть дорогостоящим); стигма (например, положительный результат теста на ВИЧ); тревога (например, я болею ... я могу умереть).

Для всех тестов, как диагностических, так и скрининговых , существует компромисс между чувствительностью и специфичностью. Более высокая чувствительность будет означать более низкую специфичность и наоборот.

Чувствительность и специфичность

Термины «чувствительность» и «специфичность» были введены американским биостатистом Джейкобом Йерушалми в 1947 году ^[1].

Терминология и выводы
из матрицы неточностей
положительное состояние (P) количество реальных положительных случаев в данных условие отрицательное (N) количество реальных отрицательных случаев в данных истинно положительный (TP) экв. с хитом истинно отрицательный (TN) экв. с правильным отклонением ложное срабатывание (FP) экв. с ложной тревогой , ошибка типа I ложноотрицательный (FN) экв. с промахом, ошибка II типа чувствительность , отзыв , частота совпадений или истинно положительный показатель (TPR) ${\ displaystyle \ mathrm {TPR} = {\ frac {\ mathrm {TP}} {\ mathrm {P}}} = {\ frac {\ mathrm {TP}} {\ mathrm {TP} + \ mathrm {FN} }} = 1- \ mathrm {FNR}}$ специфичность , селективность или истинно отрицательный показатель (TNR) $\mathrm {TNR} ={\frac {\mathrm {TN} }{\mathrm {N} }}={\frac {\mathrm {TN} }{\mathrm {TN} +\mathrm {FP} }}=1-\mathrm {FPR}$ точность или положительная прогностическая ценность (PPV) $\mathrm {PPV} ={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FP} }}=1-\mathrm {FDR}$ отрицательная прогностическая ценность (NPV) $\mathrm {NPV} ={\frac {\mathrm {TN} }{\mathrm {TN} +\mathrm {FN} }}=1-\mathrm {FOR}$ коэффициент пропусков или ложноотрицательных результатов (FNR) $\mathrm {FNR} ={\frac {\mathrm {FN} }{\mathrm {P} }}={\frac {\mathrm {FN} }{\mathrm {FN} +\mathrm {TP} }}=1-\mathrm {TPR}$ частота выпадений или ложных срабатываний (FPR) $\mathrm {FPR} ={\frac {\mathrm {FP} }{\mathrm {N} }}={\frac {\mathrm {FP} }{\mathrm {FP} +\mathrm {TN} }}=1-\mathrm {TNR}$ коэффициент ложного обнаружения (FDR) $\mathrm {FDR} ={\frac {\mathrm {FP} }{\mathrm {FP} +\mathrm {TP} }}=1-\mathrm {PPV}$ коэффициент ложных пропусков (FOR) $\mathrm {FOR} ={\frac {\mathrm {FN} }{\mathrm {FN} +\mathrm {TN} }}=1-\mathrm {NPV}$ порог распространенности (ПП) $PT={\frac {{\sqrt {TPR(-TNR+1)}}+TNR-1}{(TPR+TNR-1)}}$ оценка угрозы (TS) или индекс критического успеха (CSI) $\mathrm {TS} ={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FN} +\mathrm {FP} }}$ точность (ACC) $\mathrm {ACC} ={\frac {\mathrm {TP} +\mathrm {TN} }{\mathrm {P} +\mathrm {N} }}={\frac {\mathrm {TP} +\mathrm {TN} }{\mathrm {TP} +\mathrm {TN} +\mathrm {FP} +\mathrm {FN} }}$ сбалансированная точность (BA) $\mathrm {BA} ={\frac {TPR+TNR}{2}}$ Оценка F1 является средним гармоническим из точности и чувствительности $\mathrm {F} _{1}=2\cdot {\frac {\mathrm {PPV} \cdot \mathrm {TPR} }{\mathrm {PPV} +\mathrm {TPR} }}={\frac {2\mathrm {TP} }{2\mathrm {TP} +\mathrm {FP} +\mathrm {FN} }}$ Коэффициент корреляции Мэтьюза (MCC) $\mathrm {MCC} ={\frac {\mathrm {TP} \times \mathrm {TN} -\mathrm {FP} \times \mathrm {FN} }{\sqrt {(\mathrm {TP} +\mathrm {FP} )(\mathrm {TP} +\mathrm {FN} )(\mathrm {TN} +\mathrm {FP} )(\mathrm {TN} +\mathrm {FN} )}}}$ Индекс Фаулкса – Маллоуса (FM) $\mathrm {FM} ={\sqrt {{\frac {TP}{TP+FP}}\cdot {\frac {TP}{TP+FN}}}}={\sqrt {PPV\cdot TPR}}$ информированность или информированность букмекеров (BM) $\mathrm {BM} =\mathrm {TPR} +\mathrm {TNR} -1$ маркированность (МК) или дельтаП $\mathrm {MK} =\mathrm {PPV} +\mathrm {NPV} -1$ Источники: Fawcett (2006), ^[2] Powers (2011), ^[3] Ting (2011), ^[4] CAWCR, ^[5] D. Chicco & G. Jurman (2020, 2021) , ^[6]^[7] Тарват (2018). ^[8]

Заявка на отборочное исследование [ править ]

Представьте себе исследование, оценивающее тест, который проверяет людей на наличие болезни. Каждый человек, проходящий тест, болеет или не болеет. Результат теста может быть положительным (классифицируя человека как больного) или отрицательным (классифицируя человека как не болеющего). Результаты теста по каждому предмету могут совпадать, а могут и не совпадать с его фактическим статусом. В этой обстановке:

Истинно положительный результат: больные люди правильно определены как больные
Ложноположительный результат: здоровые люди неправильно определены как больные
Истинно отрицательный: здоровые люди правильно определены как здоровые
Ложноотрицательный: больные люди, ошибочно идентифицированные как здоровые

После получения количества истинно-положительных, ложноположительных, истинно-отрицательных и ложноотрицательных результатов можно рассчитать чувствительность и специфичность теста. Если окажется, что специфичность высока, то любой человек, которого тест классифицирует как положительный, скорее всего, будет истинно положительным. С другой стороны, если чувствительность высока, то любой человек, которого тест классифицирует как отрицательный, скорее всего, будет истинно отрицательным. На веб-сайте NIH есть обсуждение того, как рассчитываются эти отношения. ^[9]

Матрица путаницы [ править ]

Рассмотрим группу с P положительными экземплярами и N отрицательными экземплярами некоторого условия. Четыре результата могут быть сформулированы в виде таблицы непредвиденных обстоятельств 2 × 2 или матрицы неточностей , а также выводов нескольких показателей с использованием четырех результатов следующим образом:

		Истинное состояние
	Всего населения	Состояние положительное	Состояние отрицательное	Распространенность =Σ Условие положительное/Σ Всего населения	Точность (ACC) =Σ Истинно положительный + Σ Истинно отрицательный/Σ Всего населения
Прогнозируемое состояние	Прогнозируемое состояние положительное	Истинно положительный	Ложноположительный результат , ошибка типа I	Положительная прогностическая ценность (PPV), точность =Σ Истинно положительный/Σ Прогнозируемое состояние положительное	Коэффициент ложного обнаружения (FDR) =Σ Ложноположительный/Σ Прогнозируемое состояние положительное
	Прогнозируемое состояние отрицательное	Ложноотрицательный результат , ошибка типа II	Правда отрицательный	Коэффициент ложных пропусков (FOR) =Σ Ложноотрицательный/Σ Прогнозируемое состояние отрицательное	Отрицательная прогностическая ценность (NPV) =Σ Истинно отрицательный/Σ Прогнозируемое состояние отрицательное
		Истинно положительный коэффициент (TPR), отзыв , чувствительность , вероятность обнаружения, мощность =Σ Истинно положительный/Σ Условие положительное	Частота ложных срабатываний (FPR), выпадение , вероятность ложной тревоги =Σ Ложноположительный/Σ Условие отрицательное	Отношение положительного правдоподобия (LR +) =TPR/FPR	Отношение шансов диагностики (DOR) =LR +/LR−	F 1 балл = 2 ·Точность · Отзыв/Точность + отзыв
		Ложноотрицательный показатель (FNR), процент промахов =Σ Ложноотрицательный/Σ Условие положительное	Специфичность (SPC), избирательность, истинно отрицательная скорость (TNR) =Σ Истинно отрицательный/Σ Условие отрицательное	Отрицательное отношение правдоподобия (LR−) =FNR/TNR

Чувствительность [ править ]

Рассмотрим пример медицинского теста для диагностики состояния. Чувствительность относится к способности теста правильно определять больных, у которых действительно есть данное состояние. ^[10] В примере медицинского теста, используемого для определения состояния, чувствительность (иногда также называемая степенью выявления в клинических условиях) теста - это доля людей, у которых положительный результат теста на заболевание, среди тех, у кого есть заболевание. . Математически это можно выразить как:

{\begin{aligned}{\text{sensitivity}}&={\frac {\text{number of true positives}}{{\text{number of true positives}}+{\text{number of false negatives}}}}\\[8pt]&={\frac {\text{number of true positives}}{\text{total number of sick individuals in population}}}\\[8pt]&={\text{probability of a positive test given that the patient has the disease}}\end{aligned}}

Отрицательный результат теста с высокой чувствительностью полезен для исключения болезни. ^[10] Тест с высокой чувствительностью является надежным, если его результат отрицательный, поскольку он редко ставит неправильный диагноз тем, у кого есть болезнь. Тест со 100% чувствительностью распознает всех пациентов с заболеванием по положительному результату. Отрицательный результат теста окончательно исключитналичие заболевания у пациента. Тем не менее, положительный результат теста с высокой чувствительностью не обязательно полезен для определения болезни. Предположим, что «поддельный» тестовый набор всегда дает положительный результат. При использовании на больных пациентах все пациенты дают положительный результат, что дает 100% чувствительность теста. Однако чувствительность не учитывает ложные срабатывания. Фальшивый тест также дает положительный результат у всех здоровых пациентов, что дает ему 100% ложноположительный результат, что делает его бесполезным для обнаружения или «управления» заболеванием.

При расчете чувствительности не учитываются неопределенные результаты испытаний. Если тест не может быть повторен, неопределенные образцы либо должны быть исключены из анализа (число исключений должно быть указано при цитировании чувствительности), либо их можно рассматривать как ложноотрицательные (что дает наихудшее значение чувствительности и, следовательно, может занижать его. ).

Специфика [ править ]

Рассмотрим на примере медицинского теста для диагностики заболевания. Специфика относится к способности теста правильно отклонять здоровых пациентов без каких-либо заболеваний. Специфичность теста - это доля тех, у кого действительно нет заболевания, у которых тест на это состояние отрицательный. Математически это также можно записать как:

{\begin{aligned}{\text{specificity}}&={\frac {\text{number of true negatives}}{{\text{number of true negatives}}+{\text{number of false positives}}}}\\[8pt]&={\frac {\text{number of true negatives}}{\text{total number of well individuals in population}}}\\[8pt]&={\text{probability of a negative test given that the patient is well}}\end{aligned}}

Положительный результат теста с высокой специфичностью полезен для определения болезни. У здоровых пациентов тест редко дает положительные результаты. Положительный результат говорит о высокой вероятности наличия заболевания. ^[11] Тест со 100% специфичностью распознает всех пациентов без заболевания по отрицательному результату, поэтому положительный результат теста определенно будет иметь значение при наличии заболевания. Однако отрицательный результат теста с высокой специфичностью не обязательно полезен для исключения заболевания. Например, тест, который всегда возвращает отрицательный результат, будет иметь специфичность 100%, поскольку специфичность не учитывает ложноотрицательные результаты. Подобный тест дал бы отрицательный результат для пациентов с этим заболеванием, что сделало бы его бесполезным для лечения болезни.

Тест с более высокой специфичностью имеет более низкую частоту ошибок типа I.

Графическая иллюстрация [ править ]

Высокая чувствительность и низкая специфичность
Низкая чувствительность и высокая специфичность
Графическая иллюстрация чувствительности и специфичности

Приведенная выше графическая иллюстрация предназначена для демонстрации взаимосвязи между чувствительностью и специфичностью. Черная пунктирная линия в центре графика - это место, где чувствительность и специфичность совпадают. При перемещении влево от черной пунктирной линии чувствительность увеличивается, достигая максимального значения 100% на линии А, а специфичность уменьшается. Чувствительность на линии A составляет 100%, поскольку в этой точке нет ложноотрицательных результатов, что означает, что все положительные результаты теста являются истинно положительными. При движении вправо происходит обратное, специфичность увеличивается, пока не достигает линии B и становится 100%, а чувствительность уменьшается. Специфичность в строке B составляет 100%, поскольку количество ложноположительных результатов в этой строке равно нулю, что означает, что все отрицательные результаты теста являются истинно отрицательными.

Средняя сплошная линия на обоих рисунках, показывающая уровень чувствительности и специфичности, является точкой отсечения теста. Перемещение этой линии приводит к компромиссу между уровнем чувствительности и специфичности, как описано ранее. Левая часть этой строки содержит точки данных, для которых выполнено условие (синие точки указывают на ложноотрицательные результаты). В правой части линии показаны точки данных, для которых условие не выполнено (красная точка указывает на ложные срабатывания). Общее количество точек данных - 80. 40 из них имеют медицинское состояние и находятся слева. Остальные находятся на правой стороне и не имеют медицинского состояния.

Для рисунка, показывающего высокую чувствительность и низкую специфичность, количество ложноотрицательных результатов равно 3, а количество точек данных, имеющих медицинское состояние, равно 40, поэтому чувствительность составляет (40-3) / (37 + 3) = 92,5. %. Количество ложных срабатываний - 9, поэтому специфичность составляет (40-9) / 40 = 77,5%. Точно так же количество ложноотрицательных результатов на другом рисунке равно 8, а количество точек данных, которые имеют медицинское состояние, равно 40, поэтому чувствительность составляет (40-8) / (37 + 3) = 80%. Количество ложных срабатываний равно 3, поэтому специфичность составляет (40-3) / 40 = 92,5%.

Результат теста со 100-процентной чувствительностью.
Результат теста со 100-процентной специфичностью.

Красная точка указывает на пациента с заболеванием. Красный фон указывает на область, где тест предсказывает положительную точку данных. Истинный положительный результат на этом рисунке равен 6, а ложноотрицательный - 0 (потому что все положительные условия правильно предсказываются как положительные). Следовательно, чувствительность составляет 100% (форма 6 / (6 + 0)). Эта ситуация также проиллюстрирована на предыдущем рисунке, где пунктирная линия находится в позиции A (левая часть прогнозируется моделью как отрицательная, правая сторона прогнозируется моделью как положительная). Когда пунктирная линия, разделительная линия теста, находится в положении A, тест правильно предсказывает всю совокупность истинно положительного класса, но не сможет правильно идентифицировать точку данных из истинно отрицательного класса.

Как и на ранее объясненном рисунке, красная точка указывает пациента с заболеванием. Однако в этом случае зеленый фон указывает на то, что тест показывает, что все пациенты свободны от заболевания. Тогда количество точек данных, которые являются истинно отрицательными, равно 26, а количество ложных срабатываний равно 0. Это приводит к 100% специфичности (от 26 / (26 + 0)). Следовательно, только чувствительность или специфичность нельзя использовать для измерения эффективности теста.

Медицинские примеры [ править ]

В медицинской диагностике чувствительность теста - это способность теста правильно идентифицировать людей с заболеванием (истинно положительный показатель), тогда как специфичность теста - это способность теста правильно идентифицировать тех, у кого нет заболевания (истинно отрицательный показатель). Если 100 пациентов, о которых известно, что у них есть заболевание, были протестированы, а 43 - положительными, то чувствительность теста составляет 43%. Если 100 тестируются без заболевания, а 96 дают полностью отрицательный результат, то специфичность теста 96%. Чувствительность и специфичность являются независимыми от распространенности характеристиками теста, поскольку их значения присущи самому тесту и не зависят от распространенности заболевания в интересующей популяции. ^[12] Положительные и отрицательные прогнозные значения., но не чувствительность или специфичность, это значения, на которые влияет распространенность заболевания в тестируемой популяции. Эти концепции графически проиллюстрированы в этой Байесовской клинической диагностической модели апплета, которая показывает положительные и отрицательные прогностические значения как функцию распространенности, чувствительности и специфичности.

Порог распространенности [ править ]

Взаимосвязь между прогностической ценностью положительного скринингового теста и его целевой распространенностью пропорциональна - хотя и не линейна во всех случаях, кроме одного особого случая. Следовательно, существует точка локальных экстремумов и максимальной кривизны, определяемая только как функция чувствительности и специфичности, за пределами которой скорость изменения прогностической ценности положительного теста падает с разной скоростью относительно распространенности заболевания. Эта точка была впервые определена с помощью дифференциальных уравнений Balayla et al. ^[13] и называется порогом распространенности ( ). Уравнение для порога распространенности дается следующей формулой, где a = чувствительность и b = специфичность: $\phi _{e}$

\phi _{e}={\frac {{\sqrt {a(-b+1)}}+b-1}{(a+b-1)}}

знак равно

{\frac {{\sqrt {TPR(-TNR+1)}}+TNR-1}{(TPR+TNR-1)}}

Расположение этой точки на кривой скрининга имеет решающее значение для клиницистов и интерпретации положительных результатов скрининговых тестов в режиме реального времени. ^{[ какой? ]}

Заблуждения [ править ]

Часто утверждают, что высокоспецифичный тест эффективен для определения заболевания, если он положительный, в то время как высокочувствительный тест считается эффективным для исключения болезни, если он отрицательный. ^[14]^[15] Это привело к широко используемым мнемоклависайте SPPIN и SNNOUT, в соответствии с которым в высшей степени зра ecific теста, когда р ositive, правила в болезни (СП-П-В), и в высшей степени ' ы е п sitive 'испытаний, когда п egative правила из болезни (SN-N-OUT). Однако оба практических правила вводят в заблуждение, поскольку диагностическая сила любого теста определяется как его чувствительностью, так и его специфичностью. ^[16]^[17]^[18]

Компромисс между специфичностью и чувствительностью исследуется в анализе ROC как компромисс между TPR и FPR (то есть отзывами и последствиями ). ^[19] Придание им равного веса оптимизирует информированность = специфичность + чувствительность - 1 = TPR - FPR, величина которого дает вероятность принятия обоснованного решения между двумя классами (> 0 представляет надлежащее использование информации, 0 представляет эффективность на уровне вероятности , <0 означает неправильное использование информации). ^[20]

Индекс чувствительности [ править ]

Индекс чувствительности или d ' (произносится как «ди-прайм») - это статистика, используемая в теории обнаружения сигналов . Он обеспечивает разделение между средними значениями распределения сигнала и шума по сравнению со стандартным отклонением распределения шума. Для нормально распределенного сигнала и шума со средним и стандартным отклонениями и , и и , соответственно, d ' определяется как: $\mu _{S}$ $\sigma _{S}$ $\mu _{N}$ $\sigma _{N}$

d'={\frac {\mu _{S}-\mu _{N}}{\sqrt {{\frac {1}{2}}(\sigma _{S}^{2}+\sigma _{N}^{2})}}}

^[21]

Оценка d 'также может быть получена из измерений частоты совпадений и частоты ложных тревог . Он рассчитывается как:

d ' = Z (частота совпадений) - Z (частота ложных тревог), ^[22]

где функция Z ( p ), p ∈ [0,1], является обратной к кумулятивному распределению Гаусса .

d ' - безразмерная статистика. Более высокий d ' указывает на то, что сигнал может быть легче обнаружен.

Пример работы [ править ]

Рабочий пример: Диагностический тест с чувствительностью 67% и специфичностью 91% применяется к 2030 человек для поиска заболевания с распространенностью в популяции 1,48%.

		Пациенты с раком кишечника (подтверждено эндоскопией )
		Состояние положительное	Состояние отрицательное	Распространенность = (TP + FN) / Total_Population = (20 + 10) / 2030 ≈ 1,48%	Точность (ACC) = (TP + TN) / Total_Population = (20 + 1820) / 2030 ≈ 90,64%
Фекальные оккультные крови экрана теста исход	Результат теста положительный	Истинно положительный результат (TP) = 20 (2030 × 1,48% × 67%)	Ложноположительный результат (FP) = 180 (2030 × (100 - 1,48%) × (100 - 91%))	Положительная прогностическая ценность (PPV), точность = TP / (TP + FP) = 20 / (20 + 180) = 10%	Коэффициент ложного обнаружения (FDR) = FP / (TP + FP) = 180 / (20 + 180) = 90,0%
	Результат теста отрицательный	Ложноотрицательный результат (FN) = 10 (2030 × 1,48% × (100-67%))	Истинно отрицательный (TN) = 1820 (2030 × (100 - 1,48%) × 91%)	Уровень ложных пропусков (FOR) = FN / (FN + TN) = 10 / (10 + 1820) ≈ 0,55%	Отрицательная прогностическая ценность (NPV) = TN / (FN + TN) = 1820 / (10 + 1820) ≈ 99,45%
		TPR , отзыв , чувствительность = TP / (TP + FN) = 20 / (20 + 10) ≈ 66,7%	Частота ложных срабатываний (FPR), выпадение , вероятность ложной тревоги = FP / (FP + TN) = 180 / (180 + 1820) = 9,0%	Отношение положительного правдоподобия (LR +) знак равно TPR/FPR = (20/30) / (180/2000) ≈ 7,41	Отношение шансов диагностики (DOR) =LR +/LR− ≈ 20,2	Оценка F 1 = 2 ×Точность × отзыв/Точность + отзыв ≈ 0,174
		Ложноотрицательная ставка (FNR), промах = FN / (TP + FN) = 10 / (20 + 10) ≈ 33,3%	Специфичность , избирательность, истинно отрицательный коэффициент (TNR) = TN / (FP + TN) = 1820 / (180 + 1820) = 91%	Отрицательное отношение правдоподобия (LR-) знак равно FNR/TNR = (10/30) / (1820/2000) ≈ 0,366

Связанные расчеты

Частота ложноположительных результатов (α) = ошибка I типа = 1 - специфичность = FP / (FP + TN) = 180 / (180 + 1820) = 9%
Уровень ложноотрицательных результатов (β) = ошибка типа II = 1 - чувствительность = FN / (TP + FN) = 10 / (20 + 10) = 33%
Мощность = чувствительность = 1 - β
Отношение положительного правдоподобия = чувствительность / (1 - специфичность) = 0,67 / (1 - 0,91) = 7,4
Отношение отрицательного правдоподобия = (1 - чувствительность) / специфичность = (1 - 0,67) / 0,91 = 0,37
Порог распространенности = ≈ 0,2686 => 26,9% $PT={\frac {{\sqrt {TPR(-TNR+1)}}+TNR-1}{(TPR+TNR-1)}}$

Этот гипотетический скрининговый тест (анализ кала на скрытую кровь) правильно идентифицировал две трети (66,7%) пациентов с колоректальным раком. ^[a] К сожалению, факторный анализ показателей распространенности показывает, что этот гипотетический тест имеет высокий уровень ложноположительных результатов и не позволяет надежно идентифицировать колоректальный рак в общей популяции бессимптомных людей (PPV = 10%).

С другой стороны, этот гипотетический тест демонстрирует очень точное определение людей, свободных от рака (NPV = 99,5%). Таким образом, при использовании для рутинного скрининга колоректального рака у бессимптомных взрослых отрицательный результат дает важные данные для пациента и врача, такие как исключение рака как причины желудочно-кишечных симптомов или успокаивание пациентов, обеспокоенных развитием колоректального рака.

Оценка ошибок в указанной чувствительности или специфичности [ править ]

Сами по себе значения чувствительности и специфичности могут вводить в заблуждение. Необходимо рассчитать чувствительность или специфичность «наихудшего случая», чтобы не полагаться на эксперименты с небольшим количеством результатов. Например, конкретный тест может легко показать 100% чувствительность, если тестируется по золотому стандарту четыре раза, но один дополнительный тест по золотому стандарту, который дал плохой результат, будет означать чувствительность только 80%. Обычный способ сделать это - указать доверительный интервал биномиальной пропорции , который часто рассчитывается с использованием интервала оценок Вильсона.

Можно рассчитать доверительные интервалы для чувствительности и специфичности, дав диапазон значений, в котором правильное значение находится на заданном уровне достоверности (например, 95%). ^[25]

Терминология в поиске информации [ править ]

При поиске информации положительная прогностическая ценность называется точностью , а чувствительность - отзывом . В отличие от компромисса между специфичностью и чувствительностью, эти меры не зависят от количества истинных негативов, которое обычно неизвестно и намного превышает фактическое количество релевантных и извлеченных документов. Это предположение об очень большом количестве истинно отрицательных по сравнению с положительными редко встречается в других приложениях. ^[20]

F-оценка может быть использована в качестве единственного показателя выполнения теста для положительного класса. Оценка F - это среднее гармоническое значение точности и запоминания:

F=2\times {\frac {{\text{precision}}\times {\text{recall}}}{{\text{precision}}+{\text{recall}}}}

На традиционном языке статистической проверки гипотез чувствительность теста называется статистической мощностью теста, хотя слово « мощность» в этом контексте имеет более общее значение, которое не применимо в данном контексте. Чувствительный тест будет иметь меньше ошибок типа II .

См. Также [ править ]

Оценка Бриера
Кумулятивный профиль точности
Ложноположительный парадокс
Дискриминация
Точность и отзыв
Статистическая значимость
Коэффициент неопределенности , также называемый квалификацией
Статистика Юдена J

Примечания [ править ]

^ У всех медицинских скрининговых тестов есть свои преимущества и недостатки. Эти риски и преимущества описаны в руководствах по клинической практике , например, для скрининга колоректального рака. ^[23]^[24]

Ссылки [ править ]

Перейти ↑ Yerushalmy J (1947). «Статистические проблемы оценки методов медицинской диагностики с особым упором на рентгенологические методы». Отчеты об общественном здравоохранении . 62 (2): 1432–39. DOI : 10.2307 / 4586294 . JSTOR 4586294 . PMID 20340527 .
^ Фосетт, Том (2006). «Введение в анализ ROC» (PDF) . Письма с распознаванием образов . 27 (8): 861–874. DOI : 10.1016 / j.patrec.2005.10.010 .
^ Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции» . Журнал технологий машинного обучения . 2 (1): 37–63.
^ Тинг, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Springer. DOI : 10.1007 / 978-0-387-30164-8 . ISBN 978-0-387-30164-8.
^ Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Йонг; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ / РГЧЭ по исследованиям для проверки прогнозов» . Сотрудничество в области исследований погоды и климата Австралии . Всемирная метеорологическая организация . Проверено 17 июля 2019 .
^ Chicco Д., Jurman Г. (январь 2020). «Преимущества коэффициента корреляции Мэтьюса (MCC) над оценкой F1 и точность оценки бинарной классификации» . BMC Genomics . 21 (1): 6-1–6-13. DOI : 10,1186 / s12864-019-6413-7 . PMC 6941312 . PMID 31898477 . CS1 maint: uses authors parameter (link)
^ Chicco Д., Toetsch Н., Jurman Г. (февраль 2021). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и заметность при оценке двухклассной матрицы путаницы». BioData Mining . 14 (13): 1-22. DOI : 10.1186 / s13040-021-00244-Z . PMID 33541410 . CS1 maint: uses authors parameter (link)
^ Tharwat А. (август 2018). «Классификационные методы оценки» . Прикладные вычисления и информатика . DOI : 10.1016 / j.aci.2018.08.003 .
^ Парикх, Раджул; Матай, Энни; Парих, Шефали; Чандра Сехар, G; Томас, Рави (2008). «Понимание и использование чувствительности, специфичности и прогностических значений» . Индийский журнал офтальмологии . 56 (1): 45–50. DOI : 10.4103 / 0301-4738.37595 . PMC 2636062 . PMID 18158403 .
^ a b Альтман Д.Г., Бланд Дж. М. (июнь 1994 г.). «Диагностические тесты. 1: Чувствительность и специфичность» . BMJ . 308 (6943): 1552. DOI : 10.1136 / bmj.308.6943.1552 . PMC 2540489 . PMID 8019315 .
^ «SpPins и SnNouts» . Центр доказательной медицины (CEBM) . Проверено 26 декабря 2013 года .
^ Мангрулкар Р. "Диагностическое обоснование I и II" . Проверено 24 января 2012 года .
^ Балайла, Жак (2020). «Порог распространенности и геометрия экранирующих кривых». arXiv : 2006.00398 [ stat.ME ].
^ «Доказательная диагностика» . Университет штата Мичиган. Архивировано из оригинала на 2013-07-06 . Проверено 23 августа 2013 .
^ «Чувствительность и специфичность» . Курс доказательной медицины медицинского факультета Университета Эмори.
↑ Baron JA (апрель – июнь 1994 г.). «Жаль, что это неправда». Принятие медицинских решений . 14 (2): 107. DOI : 10,1177 / 0272989X9401400202 . PMID 8028462 . S2CID 44505648 .
↑ Boyko EJ (апрель – июнь 1994 г.). «Исключение или устранение болезни с помощью наиболее чувствительного или специфического диагностического теста: короткий путь или неверный поворот?». Принятие медицинских решений . 14 (2): 175–9. DOI : 10.1177 / 0272989X9401400210 . PMID 8028470 . S2CID 31400167 .
^ Pewsner Д, Батталия М, моторист С, Маркса А, Bucher НС, Еггер М (июль 2004 г.). «Постановка диагноза с помощью« SpPIn »и« SnNOut »: предупреждение» . BMJ . 329 (7459): 209–13. DOI : 10.1136 / bmj.329.7459.209 . PMC 487735 . PMID 15271832 .
^ Фосетт, Том (2006). «Введение в ROC-анализ». Письма с распознаванием образов . 27 (8): 861–874. DOI : 10.1016 / j.patrec.2005.10.010 .
^ a b Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63. hdl : 2328/27165 .
^ Gale SD, Perkel DJ (январь 2010). «Путь базальных ганглиев управляет избирательными слуховыми реакциями в дофаминергических нейронах певчих птиц посредством растормаживания» . Журнал неврологии . 30 (3): 1027–37. DOI : 10.1523 / JNEUROSCI.3585-09.2010 . PMC 2824341 . PMID 20089911 .
↑ Macmillan NA, Creelman CD (15 сентября 2004 г.). Теория обнаружения: Руководство пользователя . Психология Press. п. 7. ISBN 978-1-4106-1114-7.
^ Лин, Дженнифер С .; Пайпер, Маргарет А .; Perdue, Лесли А .; Раттер, Кэролайн М .; Уэббер, Элизабет М .; О'Коннор, Элизабет; Смит, Нин; Уитлок, Эвелин П. (21 июня 2016 г.). «Скрининг колоректального рака» . JAMA . 315 (23): 2576–2594. DOI : 10,1001 / jama.2016.3332 . ISSN 0098-7484 .
^ Бенар, Флоренция; Баркун, Алан Н .; Мартель, Мириам; Рентельн, Даниэль фон (7 января 2018 г.). «Систематический обзор рекомендаций по скринингу на рак прямой кишки для взрослых со средним риском: Обобщение текущих глобальных рекомендаций» . Всемирный журнал гастроэнтерологии . 24 (1): 124–138. DOI : 10,3748 / wjg.v24.i1.124 . PMC 5757117 . PMID 29358889 .
^ «Онлайн-калькулятор диагностического теста вычисляет чувствительность, специфичность, отношения правдоподобия и прогнозные значения из таблицы 2x2 - калькулятора доверительных интервалов для прогнозных параметров» . medcalc.org .

Дальнейшее чтение [ править ]

Альтман Д.Г., Бланд Дж. М. (июнь 1994 г.). «Диагностические тесты. 1: Чувствительность и специфичность» . BMJ . 308 (6943): 1552. DOI : 10.1136 / bmj.308.6943.1552 . PMC 2540489 . PMID 8019315 .
Loong TW (сентябрь 2003 г.). «Понимание чувствительности и специфичности правого полушария мозга» . BMJ . 327 (7417): 716–9. DOI : 10.1136 / bmj.327.7417.716 . PMC 200804 . PMID 14512479 .

Внешние ссылки [ править ]

Калькулятор UIC
Калькулятор чувствительности / специфичности Vassar College
Бесплатный онлайн-калькулятор MedCalc
Апплет байесовской модели клинической диагностики

[25] У всех медицинских скрининговых тестов есть свои преимущества и недостатки. Эти риски и преимущества описаны в руководствах по клинической практике , например, для скрининга колоректального рака. ^[23]^[24]

[1] Перейти ↑ Yerushalmy J (1947). «Статистические проблемы оценки методов медицинской диагностики с особым упором на рентгенологические методы». Отчеты об общественном здравоохранении . 62 (2): 1432–39. DOI : 10.2307 / 4586294 . JSTOR 4586294 . PMID 20340527 .

[2] Фосетт, Том (2006). «Введение в анализ ROC» (PDF) . Письма с распознаванием образов . 27 (8): 861–874. DOI : 10.1016 / j.patrec.2005.10.010 .

[3] Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции» . Журнал технологий машинного обучения . 2 (1): 37–63.

[4] Тинг, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Springer. DOI : 10.1007 / 978-0-387-30164-8 . ISBN 978-0-387-30164-8.

[5] Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Йонг; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ / РГЧЭ по исследованиям для проверки прогнозов» . Сотрудничество в области исследований погоды и климата Австралии . Всемирная метеорологическая организация . Проверено 17 июля 2019 .

[6] Chicco Д., Jurman Г. (январь 2020). «Преимущества коэффициента корреляции Мэтьюса (MCC) над оценкой F1 и точность оценки бинарной классификации» . BMC Genomics . 21 (1): 6-1–6-13. DOI : 10,1186 / s12864-019-6413-7 . PMC 6941312 . PMID 31898477 . CS1 maint: uses authors parameter (link)

[7] Chicco Д., Toetsch Н., Jurman Г. (февраль 2021). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и заметность при оценке двухклассной матрицы путаницы». BioData Mining . 14 (13): 1-22. DOI : 10.1186 / s13040-021-00244-Z . PMID 33541410 . CS1 maint: uses authors parameter (link)

[8] Tharwat А. (август 2018). «Классификационные методы оценки» . Прикладные вычисления и информатика . DOI : 10.1016 / j.aci.2018.08.003 .

[9] Парикх, Раджул; Матай, Энни; Парих, Шефали; Чандра Сехар, G; Томас, Рави (2008). «Понимание и использование чувствительности, специфичности и прогностических значений» . Индийский журнал офтальмологии . 56 (1): 45–50. DOI : 10.4103 / 0301-4738.37595 . PMC 2636062 . PMID 18158403 .

[BMJ-10] Альтман Д.Г., Бланд Дж. М. (июнь 1994 г.). «Диагностические тесты. 1: Чувствительность и специфичность» . BMJ . 308 (6943): 1552. DOI : 10.1136 / bmj.308.6943.1552 . PMC 2540489 . PMID 8019315 .

[cebm-11] «SpPins и SnNouts» . Центр доказательной медицины (CEBM) . Проверено 26 декабря 2013 года .

[12] Мангрулкар Р. "Диагностическое обоснование I и II" . Проверено 24 января 2012 года .

[13] Балайла, Жак (2020). «Порог распространенности и геометрия экранирующих кривых». arXiv : 2006.00398 [ stat.ME ].

[14] «Доказательная диагностика» . Университет штата Мичиган. Архивировано из оригинала на 2013-07-06 . Проверено 23 августа 2013 .

[15] «Чувствительность и специфичность» . Курс доказательной медицины медицинского факультета Университета Эмори.

[pmid8028462-16] Baron JA (апрель – июнь 1994 г.). «Жаль, что это неправда». Принятие медицинских решений . 14 (2): 107. DOI : 10,1177 / 0272989X9401400202 . PMID 8028462 . S2CID 44505648 .

[pmid8028470-17] Boyko EJ (апрель – июнь 1994 г.). «Исключение или устранение болезни с помощью наиболее чувствительного или специфического диагностического теста: короткий путь или неверный поворот?». Принятие медицинских решений . 14 (2): 175–9. DOI : 10.1177 / 0272989X9401400210 . PMID 8028470 . S2CID 31400167 .

[pmid15271832-18] Pewsner Д, Батталия М, моторист С, Маркса А, Bucher НС, Еггер М (июль 2004 г.). «Постановка диагноза с помощью« SpPIn »и« SnNOut »: предупреждение» . BMJ . 329 (7459): 209–13. DOI : 10.1136 / bmj.329.7459.209 . PMC 487735 . PMID 15271832 .

[Fawcett2006-19] Фосетт, Том (2006). «Введение в ROC-анализ». Письма с распознаванием образов . 27 (8): 861–874. DOI : 10.1016 / j.patrec.2005.10.010 .

[Powers2011-20] Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63. hdl : 2328/27165 .

[pmid20089911-21] Gale SD, Perkel DJ (январь 2010). «Путь базальных ганглиев управляет избирательными слуховыми реакциями в дофаминергических нейронах певчих птиц посредством растормаживания» . Журнал неврологии . 30 (3): 1027–37. DOI : 10.1523 / JNEUROSCI.3585-09.2010 . PMC 2824341 . PMID 20089911 .

[MacmillanCreelman2004-22] Macmillan NA, Creelman CD (15 сентября 2004 г.). Теория обнаружения: Руководство пользователя . Психология Press. п. 7. ISBN 978-1-4106-1114-7.

[23] Лин, Дженнифер С .; Пайпер, Маргарет А .; Perdue, Лесли А .; Раттер, Кэролайн М .; Уэббер, Элизабет М .; О'Коннор, Элизабет; Смит, Нин; Уитлок, Эвелин П. (21 июня 2016 г.). «Скрининг колоректального рака» . JAMA . 315 (23): 2576–2594. DOI : 10,1001 / jama.2016.3332 . ISSN 0098-7484 .

[24] Бенар, Флоренция; Баркун, Алан Н .; Мартель, Мириам; Рентельн, Даниэль фон (7 января 2018 г.). «Систематический обзор рекомендаций по скринингу на рак прямой кишки для взрослых со средним риском: Обобщение текущих глобальных рекомендаций» . Всемирный журнал гастроэнтерологии . 24 (1): 124–138. DOI : 10,3748 / wjg.v24.i1.124 . PMC 5757117 . PMID 29358889 .

[26] «Онлайн-калькулятор диагностического теста вычисляет чувствительность, специфичность, отношения правдоподобия и прогнозные значения из таблицы 2x2 - калькулятора доверительных интервалов для прогнозных параметров» . medcalc.org .

[1].