Точность и отзыв

В распознавания образов , поиск информации и классификациях (машинное обучение) , точность (также называемые положительной прогностическая ценность ) представляет собой доля соответствующих экземпляров среди найденных экземпляров, в то время напомнит (также известный как чувствительность ) представляет собой фракция соответствующих экземпляров , которые были получены. Следовательно, и точность, и отзыв основаны на релевантности .

Предположим, что компьютерная программа для распознавания собак ( соответствующий элемент) на фотографиях идентифицирует восемь собак на изображении, содержащем десять кошек и двенадцать собак, и из восьми, которые она определяет как собак, пять на самом деле собаки (истинно положительные результаты), а остальные три - собаки. кошки (ложные срабатывания). Семь собак были пропущены (ложноотрицательные результаты), а семь кошек были исключены правильно (истинно негативные результаты). Тогда точность программы составляет 5/8 (истинные положительные результаты / все положительные результаты), а ее отзыв - 5/12 (истинные положительные результаты / соответствующие элементы).

Когда поисковая система возвращает 30 страниц, только 20 из которых являются релевантными, и не возвращает 40 дополнительных релевантных страниц, ее точность составляет 20/30 = 2/3, что говорит нам, насколько достоверны результаты, в то время как ее отзыв составляет 20 / 60 = 1/3, что говорит нам о полноте результатов.

Принятие подхода к проверке гипотез на основе статистики , в котором в данном случае нулевая гипотеза состоит в том, что данный элемент не имеет отношения к делу , т. Е. Не собака, отсутствие ошибок типа I и типа II (т. Е. Совершенная специфичность и чувствительность 100%) каждый) соответствует идеальной точности (без ложных срабатываний) и идеальному отзыву (без ложных отрицательных результатов).

В более общем смысле, отзыв - это просто дополнение к частоте ошибок типа II, т. Е. Единица минус частота ошибок типа II. Точность связана с частотой ошибок типа I, но несколько более сложным образом, поскольку она также зависит от предварительного распределения видения релевантного элемента по сравнению с нерелевантным.

Приведенный выше пример с кошками и собаками содержал 8-5 = 3 ошибки типа I для коэффициента ошибок типа I 3/10 и 12-5 = 7 ошибок типа II для коэффициента ошибок типа II 7/12. Точность можно рассматривать как меру качества, а отзыв как меру количества. Более высокая точность означает, что алгоритм возвращает больше релевантных результатов, чем нерелевантных, а высокий уровень отзыва означает, что алгоритм возвращает большинство релевантных результатов (независимо от того, возвращаются ли также нерелевантные результаты).

Введение [ править ]

При поиске информации экземплярами являются документы, и задача состоит в том, чтобы вернуть набор релевантных документов по запросу. Напоминание - это количество релевантных документов, найденных в результате поиска, деленное на общее количество существующих релевантных документов , а точность - это количество релевантных документов, найденных в результате поиска, деленное на общее количество документов, найденных в результате этого поиска.

В задаче классификации точность для класса - это количество истинных положительных результатов (т. Е. Количество элементов, правильно помеченных как принадлежащие к положительному классу), деленное на общее количество элементов, помеченных как принадлежащие к положительному классу (т. Е. Сумма истинные срабатывания и ложные срабатывания , которые представляют собой элементы, неправильно помеченные как принадлежащие к классу). Напоминание в этом контексте определяется как количество истинно положительных результатов, деленное на общее количество элементов, которые фактически принадлежат к положительному классу (т. Е. Сумма истинно положительных и ложно отрицательных результатов , которые являются элементами, которые не были помечены как принадлежащие к положительному классу. но должно было быть).

При поиске информации оценка идеальной точности 1,0 означает, что каждый результат, полученный в результате поиска, был релевантным (но ничего не говорит о том, были ли получены все соответствующие документы), тогда как оценка идеальной точности 1,0 означает, что все соответствующие документы были извлечены в результате поиска ( но ничего не говорит о том, сколько нерелевантных документов было также найдено).

В задаче классификации оценка точности 1,0 для класса C означает, что каждый элемент, помеченный как принадлежащий классу C, действительно принадлежит классу C (но ничего не говорит о количестве элементов из класса C, которые были неправильно помечены), тогда как a отзыв 1.0 означает, что каждый элемент из класса C был помечен как принадлежащий классу C (но ничего не говорит о том, сколько элементов из других классов были также неправильно помечены как принадлежащие классу C).

Часто существует обратная зависимость между точностью и отзывом, когда одно можно увеличить за счет уменьшения другого. Хирургия головного мозга является наглядным примером компромисса. Представьте себе, что хирург удаляет раковую опухоль из мозга пациента. Хирургу необходимо удалить все опухолевые клетки, поскольку оставшиеся раковые клетки регенерируют опухоль. И наоборот, хирург не должен удалять здоровые клетки мозга, так как это приведет к нарушению функции мозга пациента. Хирург может более либерально подходить к области мозга, которую он удаляет, чтобы убедиться, что он удалил все раковые клетки. Это решение увеличивает отзыв, но снижает точность. С другой стороны, хирург может быть более консервативным в отношении удаляемого мозга, чтобы гарантировать, что он извлекает только раковые клетки.Это решение увеличивает точность, но уменьшает отзыв. Другими словами, более высокий уровень отзыва увеличивает шансы на удаление здоровых клеток (отрицательный результат) и увеличивает шансы на удаление всех раковых клеток (положительный результат). Повышенная точность снижает вероятность удаления здоровых клеток (положительный результат), но также снижает вероятность удаления всех раковых клеток (отрицательный результат).

Обычно оценки точности и запоминания не обсуждаются изолированно. Вместо этого либо значения для одного показателя сравниваются с фиксированным уровнем для другого показателя (например, точность на уровне отзыва 0,75 ), либо оба значения объединяются в один показатель. Примерами мер, которые представляют собой комбинацию точности и отзыва, являются F-мера (взвешенное гармоническое среднее значение точности и отзыва) или коэффициент корреляции Мэтьюза , который представляет собой среднее геометрическое значений вариантов со случайной коррекцией: коэффициенты регрессии Информированность ( DeltaP ') и маркированностью (DeltaP). ^[1]^[2] Точностьпредставляет собой средневзвешенное арифметическое значение точности и обратной точности (взвешенное по смещению), а также средневзвешенное арифметическое значение отзыва и обратного отзыва (взвешенное по распространенности). ^[1] Обратная точность и обратный вызов - это просто точность и отзыв обратной задачи, в которой обмениваются положительные и отрицательные метки (как для реальных классов, так и для меток прогноза). Отзыв и обратный отзыв, или, что то же самое, частота истинных положительных и ложноположительных результатов часто сопоставляются друг с другом как ROC.кривые и обеспечивают принципиальный механизм для изучения компромиссов рабочих точек. Помимо поиска информации, применение методов отзыва, точности и F-меры считается ошибочным, поскольку они игнорируют истинно отрицательную ячейку таблицы непредвиденных обстоятельств, и ими легко манипулировать, искажая прогнозы. ^[1] Первая проблема «решается» с использованием точности, а вторая проблема «решается» путем дисконтирования случайной составляющей и перенормировки на каппу Коэна , но это больше не дает возможности графически исследовать компромиссы. Однако информированность и отмеченность являются каппа-подобными перенормировками памяти и точности ^[3] и их среднего геометрического.Таким образом, коэффициент корреляции Мэтьюза действует как F-мера с искажениями.

Определение (контекст поиска информации) [ править ]

В контексте поиска информации точность и отзыв определяются в терминах набора извлеченных документов (например, списка документов, созданных поисковой системой в Интернете для запроса) и набора соответствующих документов (например, списка всех документов в Интернете. актуальные для определенной темы), ср. актуальность . ^[4]

Точность [ править ]

В области поиска информации точность - это доля извлеченных документов, имеющих отношение к запросу:

{\ displaystyle {\ text {precision}} = {\ frac {| \ {{\ text {соответствующие документы}} \} \ cap \ {{\ text {извлеченные документы}} \} |} {| \ {{\ текст {полученные документы}} \} |}}}

Например, для текстового поиска по набору документов точность - это количество правильных результатов, деленное на количество всех возвращенных результатов.

Точность учитывает все извлеченные документы, но ее также можно оценить по заданному пороговому значению, учитывая только самые верхние результаты, возвращаемые системой. Эта мера называется точностью при n или P @ n .

Точность используется с отзывом, процентом всех релевантных документов, возвращаемых поиском. Эти две меры иногда используются вместе в F 1 Score (или f-measure), чтобы обеспечить единое измерение для системы.

Обратите внимание, что значение и использование термина «точность» в области поиска информации отличается от определения точности и точности в других областях науки и техники.

Напомним [ править ]

При поиске информации отзыв - это часть успешно извлеченных релевантных документов.

{\text{recall}}={\frac {|\{{\text{relevant documents}}\}\cap \{{\text{retrieved documents}}\}|}{|\{{\text{relevant documents}}\}|}}

Например, для текстового поиска по набору документов отзыв - это количество правильных результатов, разделенное на количество результатов, которые должны были быть возвращены.

В бинарной классификации отзыв называется чувствительностью . Его можно рассматривать как вероятность того, что соответствующий документ будет получен запросом.

Добиться 100% отзыва, вернув все документы в ответ на любой запрос, - тривиальная задача. Таким образом, одного отзыва недостаточно, необходимо также измерить количество нерелевантных документов, например, путем вычисления точности.

Определение (контекст классификации) [ править ]

Для задач классификации термины « истинно положительные» , « истинно отрицательные» , « ложные положительные» и « ложно отрицательные» (определения см. В разделе « Ошибки типа I» и «Тип II» ) сравнивают результаты тестируемого классификатора с надежными внешними суждениями. Термины положительный и отрицательный относятся к предсказанию классификатора (иногда называемому ожиданием ), а термины истинное и ложное относятся к тому, соответствует ли этот прогноз внешнему суждению (иногда известному как наблюдение ).

Определим эксперимент из P положительных примеров и N отрицательных случаев для некоторого условия. Четыре результата можно сформулировать в виде таблицы непредвиденных обстоятельств 2 × 2 или матрицы неточностей следующим образом:

		Истинное состояние
	Всего населения	Состояние положительное	Состояние отрицательное	Распространенность =Σ Условие положительное/Σ Общая численность населения	Точность (ACC) =Σ Истинно положительный + Σ Истинно отрицательный/Σ Общая численность населения
Прогнозируемое состояние	Прогнозируемое состояние положительное	Истинно положительный	Ложноположительный результат , ошибка типа I	Положительная прогностическая ценность (PPV), точность =Σ Истинно положительный/Σ Прогнозируемое состояние положительное	Коэффициент ложного обнаружения (FDR) =Σ Ложноположительный/Σ Прогнозируемое состояние положительное
	Прогнозируемое состояние отрицательное	Ложноотрицательный результат , ошибка типа II	Истинно отрицательный	Уровень ложных пропусков (FOR) =Σ Ложноотрицательный/Σ Прогнозируемое состояние отрицательное	Отрицательная прогностическая ценность (NPV) =Σ Истинно отрицательный/Σ Прогнозируемое состояние отрицательное
		Истинно положительный коэффициент (TPR), отзыв , чувствительность , вероятность обнаружения, мощность =Σ Истинно положительный/Σ Условие положительное	Частота ложных срабатываний (FPR), выпадение , вероятность ложной тревоги =Σ Ложноположительный/Σ Условие отрицательное	Отношение положительного правдоподобия (LR +) =TPR/FPR	Отношение диагностических шансов (DOR) =LR +/LR−	F 1 балл = 2 ·Точность · Отзыв/Точность + отзыв
		Уровень ложноотрицательных результатов (FNR), коэффициент промахов =Σ Ложноотрицательный/Σ Условие положительное	Специфичность (SPC), избирательность, истинно отрицательная скорость (TNR) =Σ Истинно отрицательный/Σ Условие отрицательное	Отрицательное отношение правдоподобия (LR−) =FNR/TNR

Терминология и выводы
из матрицы неточностей
положительное состояние (P) количество реальных положительных случаев в данных условие отрицательное (N) количество реальных отрицательных случаев в данных истинно положительный (TP) экв. с хитом истинно отрицательный (TN) экв. с правильным отклонением ложное срабатывание (FP) экв. с ложной тревогой , ошибкой типа I или недооценкой ложноотрицательный (FN) экв. с промахом, ошибкой типа II или переоценкой чувствительность , отзыв , частота совпадений или истинно положительный показатель (TPR) $\mathrm {TPR} ={\frac {\mathrm {TP} }{\mathrm {P} }}={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FN} }}=1-\mathrm {FNR}$ специфичность , селективность или истинно отрицательный показатель (TNR) $\mathrm {TNR} ={\frac {\mathrm {TN} }{\mathrm {N} }}={\frac {\mathrm {TN} }{\mathrm {TN} +\mathrm {FP} }}=1-\mathrm {FPR}$ точность или положительная прогностическая ценность (PPV) $\mathrm {PPV} ={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FP} }}=1-\mathrm {FDR}$ отрицательная прогностическая ценность (NPV) $\mathrm {NPV} ={\frac {\mathrm {TN} }{\mathrm {TN} +\mathrm {FN} }}=1-\mathrm {FOR}$ коэффициент пропусков или ложноотрицательных результатов (FNR) $\mathrm {FNR} ={\frac {\mathrm {FN} }{\mathrm {P} }}={\frac {\mathrm {FN} }{\mathrm {FN} +\mathrm {TP} }}=1-\mathrm {TPR}$ частота выпадений или ложных срабатываний (FPR) $\mathrm {FPR} ={\frac {\mathrm {FP} }{\mathrm {N} }}={\frac {\mathrm {FP} }{\mathrm {FP} +\mathrm {TN} }}=1-\mathrm {TNR}$ коэффициент ложного обнаружения (FDR) $\mathrm {FDR} ={\frac {\mathrm {FP} }{\mathrm {FP} +\mathrm {TP} }}=1-\mathrm {PPV}$ коэффициент ложных пропусков (FOR) $\mathrm {FOR} ={\frac {\mathrm {FN} }{\mathrm {FN} +\mathrm {TN} }}=1-\mathrm {NPV}$ порог распространенности (ПП) $PT={\frac {{\sqrt {TPR(-TNR+1)}}+TNR-1}{(TPR+TNR-1)}}$ оценка угрозы (TS) или индекс критического успеха (CSI) $\mathrm {TS} ={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FN} +\mathrm {FP} }}$ точность (ACC) $\mathrm {ACC} ={\frac {\mathrm {TP} +\mathrm {TN} }{\mathrm {P} +\mathrm {N} }}={\frac {\mathrm {TP} +\mathrm {TN} }{\mathrm {TP} +\mathrm {TN} +\mathrm {FP} +\mathrm {FN} }}$ сбалансированная точность (BA) $\mathrm {BA} ={\frac {TPR+TNR}{2}}$ Оценка F1 является средним гармоническим из точности и чувствительности $\mathrm {F} _{1}=2\times {\frac {\mathrm {PPV} \times \mathrm {TPR} }{\mathrm {PPV} +\mathrm {TPR} }}={\frac {2\mathrm {TP} }{2\mathrm {TP} +\mathrm {FP} +\mathrm {FN} }}$ Коэффициент корреляции Мэтьюза (MCC) $\mathrm {MCC} ={\frac {\mathrm {TP} \times \mathrm {TN} -\mathrm {FP} \times \mathrm {FN} }{\sqrt {(\mathrm {TP} +\mathrm {FP} )(\mathrm {TP} +\mathrm {FN} )(\mathrm {TN} +\mathrm {FP} )(\mathrm {TN} +\mathrm {FN} )}}}$ Индекс Фаулкса – Маллоуса (FM) $\mathrm {FM} ={\sqrt {{\frac {TP}{TP+FP}}\times {\frac {TP}{TP+FN}}}}={\sqrt {PPV\times TPR}}$ информированность или информированность букмекеров (BM) $\mathrm {BM} =\mathrm {TPR} +\mathrm {TNR} -1$ маркировка (МК) или дельтаП (Δp) $\mathrm {MK} =\mathrm {PPV} +\mathrm {NPV} -1$ Источники: Fawcett (2006), ^[5] Piryonesi and El-Diraby (2020), ^[6] Powers (2011), ^[7] Ting (2011), ^[8] CAWCR, ^[9] D. Chicco & G. Jurman (2020, 2021) , ^[10]^[11] Тарват (2018). ^[12]

Тогда точность и отзыв определяются как: ^[13]

{\begin{aligned}{\text{Precision}}&={\frac {tp}{tp+fp}}\\{\text{Recall}}&={\frac {tp}{tp+fn}}\,\end{aligned}}

Напоминание в этом контексте также называется истинно положительной скоростью или чувствительностью , а точность также называется положительной прогностической ценностью (PPV); другие связанные меры, используемые при классификации, включают истинно отрицательный коэффициент и точность . ^[13] Истинно отрицательная оценка также называется специфичностью .

{\text{True negative rate}}={\frac {tn}{tn+fp}}\,

Несбалансированные данные [ править ]

{\text{Accuracy}}={\frac {tp+tn}{tp+tn+fp+fn}}\,

Точность может быть неверным показателем для несбалансированных наборов данных. Рассмотрим образец с 95 отрицательными и 5 положительными значениями. Отнесение всех значений к отрицательным в этом случае дает оценку точности 0,95. Есть много показателей, которые не страдают от этой проблемы. Например, функция сбалансированной точности ^[14] (bACC) нормализует истинно положительные и истинно отрицательные предсказания на количество положительных и отрицательных выборок соответственно и делит их сумму на два:

{\text{Balanced accuracy}}={\frac {TPR+TNR}{2}}\,

Для предыдущего примера (95 отрицательных и 5 положительных выборок) отнесение всех к отрицательным дает 0,5 балла сбалансированной точности (максимальный балл bACC равен единице), что эквивалентно ожидаемому значению случайного предположения в сбалансированном наборе данных. Сбалансированная точность может служить показателем общей производительности для модели, независимо от того, несбалансированы ли истинные метки в данных, при условии, что стоимость FN такая же, как и FP.

Другой показатель - это прогнозируемая частота положительных результатов (PPCR), которая определяет процент от общей популяции, отмеченной флажком. Например, для поисковой системы, которая возвращает 30 результатов (извлеченных документов) из 1 000 000 документов, PPCR составляет 0,003%.

{\text{Predicted positive condition rate}}={\frac {tp+fp}{tp+fp+tn+fn}}\,

Согласно Сайто и Ремсмайеру, графики точного отзыва более информативны, чем графики ROC, при оценке двоичных классификаторов на несбалансированных данных. В таких сценариях графики ROC могут быть визуально обманчивыми в отношении выводов о надежности характеристик классификации. ^[15]

Вероятностная интерпретация [ править ]

Можно также интерпретировать точность и вспоминание не как отношения, а как оценки вероятностей: ^[16]

Точность - это оценочная вероятность того, что документ, случайно выбранный из пула извлеченных документов, является релевантным.
Отзыв - это оценочная вероятность того, что будет извлечен документ, случайно выбранный из пула релевантных документов.

Другая интерпретация заключается в том, что точность - это средняя вероятность релевантного извлечения, а отзыв - это средняя вероятность полного извлечения, усредненная по нескольким запросам извлечения.

F-такта [ править ]

Мера, сочетающая точность и отзывчивость, представляет собой гармоническое среднее значение точности и полноты, традиционное F-измерение или сбалансированное F-значение:

F=2\cdot {\frac {\mathrm {precision} \cdot \mathrm {recall} }{\mathrm {precision} +\mathrm {recall} }}

Эта мера является приблизительно средним из двух, когда они близки, и в более общем плане является гармоническим средним , которое в случае двух чисел совпадает с квадратом среднего геометрического, деленного на среднее арифметическое . Есть несколько причин, по которым F-балл может подвергаться критике в определенных обстоятельствах из-за его предвзятости как метрики оценки. ^[1] Это также известно как мера, потому что отзывчивость и точность имеют равный вес. $F_{1}$

Это частный случай общей меры (для неотрицательных действительных значений ): $F_{\beta }$ $\beta$

F_{\beta }=(1+\beta ^{2})\cdot {\frac {\mathrm {precision} \cdot \mathrm {recall} }{\beta ^{2}\cdot \mathrm {precision} +\mathrm {recall} }}

Двумя другими часто используемыми показателями являются мера, которая оценивает отзыв выше точности, и меру, которая уделяет больше внимания точности, чем отзыву. $F$ $F_{2}$ $F_{0.5}$

F-мера была получена ван Рийсбергеном (1979) таким образом, чтобы «измерять эффективность поиска по отношению к пользователю, который придает временам такое же значение, как и точность». Он основан на показателе эффективности ван Райсбергена , второй член представляет собой взвешенное гармоническое среднее значение точности и отзыва с весами . Их отношения там где . $F_{\beta }$ $\beta$ $E_{\alpha }=1-{\frac {1}{{\frac {\alpha }{P}}+{\frac {1-\alpha }{R}}}}$ $(\alpha ,1-\alpha )$ $F_{\beta }=1-E_{\alpha }$ $\alpha ={\frac {1}{1+\beta ^{2}}}$

Ограничения как цели [ править ]

Существуют и другие параметры и стратегии для метрики производительности информационно-поисковой системы, например площадь под кривой ROC (AUC). ^[17]

См. Также [ править ]

Коэффициент неопределенности , также называемый квалификацией
Чувствительность и специфичность

Ссылки [ править ]

^ a b c d Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции» (PDF) . Журнал технологий машинного обучения . 2 (1): 37–63. Архивировано из оригинального (PDF) на 2019-11-14.
^ Perruchet, P .; Переман, Р. (2004). «Использование распределительной информации при обработке слогов». J. Нейролингвистика . 17 (2–3): 97–119. DOI : 10.1016 / s0911-6044 (03) 00059-9 . S2CID 17104364 .
^ Пауэрс, Дэвид МВ (2012). «Проблема с каппой» . Конференция Европейского отделения Ассоциации компьютерной лингвистики (EACL2012) Совместный семинар ROBUS-UNSUP .
^ * Кент, Аллен; Берри, Мэдлин М .; Luehrs, Jr., Fred U .; Перри, JW (1955). «Машинный поиск литературы VIII. Эксплуатационные критерии проектирования информационно-поисковых систем». Американская документация . 6 (2): 93. DOI : 10.1002 / asi.5090060209 .
^ Фосетт, Том (2006). «Введение в анализ ROC» (PDF) . Письма о распознавании образов . 27 (8): 861–874. DOI : 10.1016 / j.patrec.2005.10.010 .
^ Пирьонеси С. Мадех; Эль-Дираби Тамер Э. (01.03.2020). «Аналитика данных в управлении активами: рентабельное прогнозирование индекса состояния дорожного покрытия». Журнал инфраструктурных систем . 26 (1): 04019036. doi : 10.1061 / (ASCE) IS.1943-555X.0000512 .
^ Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции» . Журнал технологий машинного обучения . 2 (1): 37–63.
Перейти ↑ Ting, Kai Ming (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Springer. DOI : 10.1007 / 978-0-387-30164-8 . ISBN 978-0-387-30164-8.
^ Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Йонг; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ / РГЧЭ по исследованиям для проверки прогнозов» . Сотрудничество в области исследований погоды и климата Австралии . Всемирная метеорологическая организация . Проверено 17 июля 2019 .
^ Chicco Д., Jurman Г. (январь 2020). «Преимущества коэффициента корреляции Мэтьюза (MCC) над оценкой F1 и точность оценки бинарной классификации» . BMC Genomics . 21 (1): 6-1–6-13. DOI : 10,1186 / s12864-019-6413-7 . PMC 6941312 . PMID 31898477 . CS1 maint: uses authors parameter (link)
^ Chicco Д., Toetsch Н., Jurman Г. (февраль 2021). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и заметность при оценке двухклассовой матрицы путаницы». BioData Mining . 14 (13): 1-22. DOI : 10.1186 / s13040-021-00244-Z . PMID 33541410 . CS1 maint: uses authors parameter (link)
^ Tharwat А. (август 2018). «Классификационные методы оценки» . Прикладные вычисления и информатика . DOI : 10.1016 / j.aci.2018.08.003 .
^ a b Олсон, Дэвид Л .; и Делен, Дурсун (2008); Расширенные методы интеллектуального анализа данных , Springer, 1-е издание (1 февраля 2008 г.), стр. 138, ISBN 3-540-76916-1
^ Косилка, Джеффри П. (2005-04-12). «PREP-Mt: предсказательный редактор РНК для митохондриальных генов растений» . BMC Bioinformatics . 6 : 96. DOI : 10,1186 / 1471-2105-6-96 . ISSN 1471-2105 . PMC 1087475 . PMID 15826309 .
^ Сайто, Такая; Ремсмайер, Марк (4 марта 2015 г.). Брок, Гай (ред.). «График точности-отзыва более информативен, чем график ROC при оценке двоичных классификаторов на несбалансированных наборах данных» . PLOS ONE . 10 (3): e0118432. Bibcode : 2015PLoSO..1018432S . DOI : 10.1371 / journal.pone.0118432 . ISSN 1932-6203 . PMC 4349800 . PMID 25738806 . Краткое содержание (март 2017 г.).
^ Fatih Cakir, Kun He, Xide Xia, Brian Kulis, Stan Sclaroff, Deep Metric Learning to Rank , In Proc. Конференция IEEE по компьютерному зрению и распознаванию образов (CVPR), 2019 г.
^ Зигмунт Zając. Что вы хотели знать о AUC. http://fastml.com/what-you-wanted-to-know-about-auc/

Баеза-Йейтс, Рикардо; Рибейро-Нето, Бертье (1999). Современный информационный поиск . Нью-Йорк, штат Нью-Йорк: ACM Press, Addison-Wesley, Seiten 75 ff. ISBN 0-201-39829-X
Хьёрланд, Биргер (2010); Основа концепции актуальности , Журнал Американского общества информационных наук и технологий, 61 (2), 217-237.
Махоул, Джон ; Кубала, Франциск; Шварц, Ричард; и Вайшедель, Ральф (1999); Показатели эффективности для извлечения информации , в Proceedings of DARPA Broadcast News Workshop, Херндон, Вирджиния, февраль 1999 г.
ван Рейсберген, Корнелис Йост «Кейт» (1979); Информационный поиск , Лондон, Великобритания; Бостон, Массачусетс: Баттерворт, 2-е издание, ISBN 0-408-70929-4

Внешние ссылки [ править ]

Поиск информации - CJ van Rijsbergen 1979
Вычисление точности и отзыва для задачи классификации нескольких классов

[Powers2011-1] Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции» (PDF) . Журнал технологий машинного обучения . 2 (1): 37–63. Архивировано из оригинального (PDF) на 2019-11-14.

[2] Perruchet, P .; Переман, Р. (2004). «Использование распределительной информации при обработке слогов». J. Нейролингвистика . 17 (2–3): 97–119. DOI : 10.1016 / s0911-6044 (03) 00059-9 . S2CID 17104364 .

[3] Пауэрс, Дэвид МВ (2012). «Проблема с каппой» . Конференция Европейского отделения Ассоциации компьютерной лингвистики (EACL2012) Совместный семинар ROBUS-UNSUP .

[4] * Кент, Аллен; Берри, Мэдлин М .; Luehrs, Jr., Fred U .; Перри, JW (1955). «Машинный поиск литературы VIII. Эксплуатационные критерии проектирования информационно-поисковых систем». Американская документация . 6 (2): 93. DOI : 10.1002 / asi.5090060209 .

[5] Фосетт, Том (2006). «Введение в анализ ROC» (PDF) . Письма о распознавании образов . 27 (8): 861–874. DOI : 10.1016 / j.patrec.2005.10.010 .

[6] Пирьонеси С. Мадех; Эль-Дираби Тамер Э. (01.03.2020). «Аналитика данных в управлении активами: рентабельное прогнозирование индекса состояния дорожного покрытия». Журнал инфраструктурных систем . 26 (1): 04019036. doi : 10.1061 / (ASCE) IS.1943-555X.0000512 .

[7] Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции» . Журнал технологий машинного обучения . 2 (1): 37–63.

[8] Перейти ↑ Ting, Kai Ming (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Springer. DOI : 10.1007 / 978-0-387-30164-8 . ISBN 978-0-387-30164-8.

[9] Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Йонг; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ / РГЧЭ по исследованиям для проверки прогнозов» . Сотрудничество в области исследований погоды и климата Австралии . Всемирная метеорологическая организация . Проверено 17 июля 2019 .

[10] Chicco Д., Jurman Г. (январь 2020). «Преимущества коэффициента корреляции Мэтьюза (MCC) над оценкой F1 и точность оценки бинарной классификации» . BMC Genomics . 21 (1): 6-1–6-13. DOI : 10,1186 / s12864-019-6413-7 . PMC 6941312 . PMID 31898477 . CS1 maint: uses authors parameter (link)

[11] Chicco Д., Toetsch Н., Jurman Г. (февраль 2021). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и заметность при оценке двухклассовой матрицы путаницы». BioData Mining . 14 (13): 1-22. DOI : 10.1186 / s13040-021-00244-Z . PMID 33541410 . CS1 maint: uses authors parameter (link)

[12] Tharwat А. (август 2018). «Классификационные методы оценки» . Прикладные вычисления и информатика . DOI : 10.1016 / j.aci.2018.08.003 .

[OlsonDelen-13] Олсон, Дэвид Л .; и Делен, Дурсун (2008); Расширенные методы интеллектуального анализа данных , Springer, 1-е издание (1 февраля 2008 г.), стр. 138, ISBN 3-540-76916-1

[14] Косилка, Джеффри П. (2005-04-12). «PREP-Mt: предсказательный редактор РНК для митохондриальных генов растений» . BMC Bioinformatics . 6 : 96. DOI : 10,1186 / 1471-2105-6-96 . ISSN 1471-2105 . PMC 1087475 . PMID 15826309 .

[15] Сайто, Такая; Ремсмайер, Марк (4 марта 2015 г.). Брок, Гай (ред.). «График точности-отзыва более информативен, чем график ROC при оценке двоичных классификаторов на несбалансированных наборах данных» . PLOS ONE . 10 (3): e0118432. Bibcode : 2015PLoSO..1018432S . DOI : 10.1371 / journal.pone.0118432 . ISSN 1932-6203 . PMC 4349800 . PMID 25738806 . Краткое содержание (март 2017 г.).

[16] Fatih Cakir, Kun He, Xide Xia, Brian Kulis, Stan Sclaroff, Deep Metric Learning to Rank , In Proc. Конференция IEEE по компьютерному зрению и распознаванию образов (CVPR), 2019 г.

[17] Зигмунт Zając. Что вы хотели знать о AUC. http://fastml.com/what-you-wanted-to-know-about-auc/

[1]