Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Терминология и выводы
из матрицы неточностей
положительное состояние (P)
количество реальных положительных случаев в данных
условие отрицательное (N)
количество реальных отрицательных случаев в данных
истинно положительный (TP)
экв. с хитом
истинно отрицательный (TN)
экв. с правильным отклонением
ложное срабатывание (FP)
экв. с ложной тревогой , ошибкой типа I или недооценкой
ложноотрицательный (FN)
экв. с промахом, ошибкой типа II или переоценкой
чувствительность , отзыв , частота совпадений или истинно положительный показатель (TPR)
специфичность , селективность или истинно отрицательный показатель (TNR)
точность или положительная прогностическая ценность (PPV)
отрицательная прогностическая ценность (NPV)
коэффициент пропусков или ложноотрицательных результатов (FNR)
частота выпадений или ложных срабатываний (FPR)
коэффициент ложного обнаружения (FDR)
коэффициент ложных пропусков (FOR)
порог распространенности (ПП)
оценка угрозы (TS) или индекс критического успеха (CSI)
точность (ACC)
сбалансированная точность (BA)
Оценка F1
является средним гармоническим из точности и чувствительности
Коэффициент корреляции Мэтьюза (MCC)
Индекс Фаулкса – Маллоуса (FM)
информированность или информированность букмекеров (BM)
маркировка (МК) или дельтаП (Δp)

Источники: Fawcett (2006), [1] Piryonesi and El-Diraby (2020), [2] Powers (2011), [3] Ting (2011), [4] CAWCR, [5] D. Chicco & G. Jurman (2020, 2021) , [6] [7] Тарват (2018). [8]

ROC-кривая трех предикторов расщепления пептидов в протеасоме .

Операционной приемник характеристической кривой или кривой ОКР , является графиком , который иллюстрирует диагностическую способность в двоичном классификатор системы , как ее порог дискриминации разнообразны. Изначально метод был разработан для операторов военных радиолокационных приемников, поэтому получил такое название.

Кривая ROC создается путем построения графика зависимости истинно положительной скорости (TPR) от ложноположительной скорости (FPR) при различных настройках пороговых значений. Уровень истинно положительных результатов в машинном обучении также известен как чувствительность , отзыв или вероятность обнаружения [9] . Частота ложных срабатываний также известна как вероятность ложной тревоги [9] и может быть рассчитана как (1 - специфичность ). Его также можно рассматривать как график зависимости мощности от ошибки типа I.правила принятия решения (когда производительность рассчитывается только на основе выборки из совокупности, ее можно рассматривать как средства оценки этих величин). Кривая ROC, таким образом, представляет собой чувствительность или отзыв как функцию выпадения . В общем, если известны распределения вероятностей как для обнаружения, так и для ложной тревоги, кривую ROC можно построить, построив кумулятивную функцию распределения (площадь под распределением вероятности от до порога дискриминации) вероятности обнаружения по оси y в зависимости от кумулятивная функция распределения вероятности ложной тревоги по оси абсцисс.

ROC-анализ предоставляет инструменты для выбора возможных оптимальных моделей и исключения неоптимальных моделей независимо от (и до определения) контекста затрат или распределения классов. Анализ ROC напрямую и естественным образом связан с анализом затрат и выгод при принятии диагностических решений .

Кривая ROC была впервые разработана инженерами-электриками и радиолокационными инженерами во время Второй мировой войны для обнаружения вражеских объектов на полях сражений и вскоре была введена в психологию для учета перцептивного обнаружения стимулов. Анализ ROC с тех пор используется в медицине , рентгенология , биометрия , прогнозирование из стихийных бедствий , [10] метеорологии , [11] оценка эффективности модели, [12] и в других областях в течение многих десятилетий , и все чаще используется в машинном обучении и интеллектуальном анализе данных исследование.

ROC также известен как кривая относительной рабочей характеристики, потому что это сравнение двух рабочих характеристик (TPR и FPR) при изменении критерия. [13]

Основная концепция [ править ]

См. Также: Ошибки типа I и типа II и Чувствительность и специфичность.

Модель классификации ( классификатор или диагноз ) - это отображение экземпляров между определенными классами / группами. Поскольку классификатор или результат диагностики может быть произвольным действительным значением (непрерывный вывод), граница классификатора между классами должна определяться пороговым значением (например, для определения наличия у человека гипертонии на основе измерения артериального давления ). Или это может быть метка дискретного класса, указывающая на один из классов.

Рассмотрим задачу прогнозирования с двумя классами ( бинарная классификация ), в которой результаты помечаются как положительные ( p ) или отрицательные ( n ). Есть четыре возможных результата от бинарного классификатора. Если результатом прогноза является p, а фактическое значение также равно p , то это называется истинно положительным (TP); однако, если фактическое значение равно n, это считается ложным срабатыванием (FP). И наоборот, истинно отрицательный результат (TN) имел место, когда и результат прогнозирования, и фактическое значение равны n , а ложноотрицательный результат (FN) - когда результат прогнозирования был равен n.n, а фактическое значение p .

Чтобы получить соответствующий пример из реальной проблемы, рассмотрите диагностический тест, который пытается определить, есть ли у человека определенное заболевание. Ложноположительный результат в этом случае возникает, когда человек дает положительный результат, но на самом деле не болен. Ложноотрицательный результат, с другой стороны, возникает, когда тест человека отрицательный, что свидетельствует о его здоровье, хотя на самом деле он действительно болен.

Определим эксперимент из P положительных примеров и N отрицательных случаев для некоторого условия. Четыре результата можно сформулировать в виде таблицы непредвиденных обстоятельств 2 × 2 или матрицы неточностей следующим образом:

Истинное состояние
Всего населенияСостояние положительноеСостояние отрицательноеРаспространенность =Σ Условие положительное/Σ Общая численность населенияТочность (ACC) =Σ Истинно положительный + Σ Истинно отрицательный/Σ Общая численность населения
Прогнозируемое состояние
Прогнозируемое состояние
положительное		Истинно положительныйЛожноположительный результат ,
ошибка типа I		Положительная прогностическая ценность (PPV), точность =Σ Истинно положительный/Σ Прогнозируемое состояние положительноеКоэффициент ложного обнаружения (FDR) =Σ Ложноположительный/Σ Прогнозируемое состояние положительное
Прогнозируемое состояние
отрицательное		Ложноотрицательный результат ,
ошибка типа II		Истинно отрицательныйУровень ложных пропусков (FOR) =Σ Ложноотрицательный/Σ Прогнозируемое состояние отрицательноеОтрицательная прогностическая ценность (NPV) =Σ Истинно отрицательный/Σ Прогнозируемое состояние отрицательное
Истинно положительный коэффициент (TPR), отзыв , чувствительность , вероятность обнаружения, мощность =Σ Истинно положительный/Σ Условие положительноеЧастота ложных срабатываний (FPR), выпадение , вероятность ложной тревоги =Σ Ложноположительный/Σ Условие отрицательноеОтношение положительного правдоподобия (LR +) =TPR/FPRОтношение диагностических шансов (DOR) =LR +/LR−F 1 балл = 2 ·Точность · Отзыв/Точность + отзыв
Уровень ложноотрицательных результатов (FNR), коэффициент промахов =Σ Ложноотрицательный/Σ Условие положительноеСпецифичность (SPC), избирательность, истинно отрицательная скорость (TNR) =Σ Истинно отрицательный/Σ Условие отрицательноеОтрицательное отношение правдоподобия (LR−) =FNR/TNR

ROC space [ править ]

Пространство ROC и графики четырех примеров предсказаний.
Пространство ОКР для класса «лучше» и «хуже».

Таблица непредвиденных обстоятельств может выводить несколько оценочных «показателей» (см. Информационное окно). Чтобы нарисовать кривую ROC, необходимы только истинные положительные результаты (TPR) и ложные положительные результаты (FPR) (как функции какого-либо параметра классификатора). TPR определяет, сколько правильных положительных результатов получено среди всех положительных образцов, доступных во время теста. FPR, с другой стороны, определяет, сколько неверных положительных результатов происходит среди всех отрицательных образцов, доступных во время теста.

Пространство ROC определяется FPR и TPR как оси x и y , соответственно, что отображает относительные компромиссы между истинным положительным результатом (преимущества) и ложным положительным результатом (затраты). Поскольку TPR эквивалентен чувствительности, а FPR равен 1 - специфичности, график ROC иногда называют графиком зависимости чувствительности от (1 - специфичности). Каждый результат прогнозирования или экземпляр матрицы неточностей представляет одну точку в пространстве ROC.

Наилучший из возможных методов прогнозирования даст точку в верхнем левом углу или координату (0,1) пространства ROC, представляющую 100% чувствительность (без ложноотрицательных результатов) и 100% специфичность (без ложных срабатываний). Точку (0,1) также называют идеальной классификацией . Случайное предположение дало бы точку вдоль диагональной линии (так называемой линии отсутствия дискриминации ) от левого нижнего до верхнего правого углов (независимо от положительной и отрицательной базовых ставок ). [14] Интуитивный пример случайного угадывания - это решение, подбрасывающее монеты. По мере увеличения размера выборки ROC-точка случайного классификатора стремится к диагональной линии. В случае сбалансированной монеты она будет стремиться к точке (0,5, 0,5).

Диагональ делит пространство ОКР. Точки над диагональю представляют хорошие результаты классификации (лучше, чем случайная); точки под линией представляют плохие результаты (хуже случайных). Обратите внимание, что выходные данные постоянно плохого предсказателя можно просто инвертировать, чтобы получить хороший предсказатель.

Давайте рассмотрим четыре результата прогноза из 100 положительных и 100 отрицательных случаев:

АBCC ′
TP = 63FP = 2891
FN = 37TN = 72109
100100200
TP = 77FP = 77154
FN = 23TN = 2346
100100200
TP = 24FP = 88112
FN = 76TN = 1288
100100200
TP = 76FP = 1288
FN = 24TN = 88112
100100200
TPR = 0,63TPR = 0,77TPR = 0,24TPR = 0,76
FPR = 0,28FPR = 0,77FPR = 0,88FPR = 0,12
PPV = 0,69PPV = 0,50PPV = 0,21PPV = 0,86
F1 = 0,66F1 = 0,61F1 = 0,23F1 = 0,81
АКК = 0,68АКК = 0,50АКК = 0,18АКК = 0,82

Графики четырех результатов выше в пространстве ROC приведены на рисунке. Результат метода А ясно показывает лучшую предсказательную способность среди A , B , и C . Результат B лежит на линии случайного предположения (диагональная линия), и из таблицы видно, что точность B составляет 50%. Однако, когда С зеркально по центральной точке (0.5,0.5), полученный методом C ' , даже лучше , чем А . Этот зеркальный метод просто меняет предсказания любого метода или теста, созданного для таблицы сопряженности C. Хотя оригинальный CМетод имеет отрицательную прогнозирующую способность, простое изменение его решений приводит к новому способу прогнозирования C ', который имеет положительную прогнозирующую способность. Когда метод C предсказывает p или n , метод C ' предсказывает n или p соответственно. Таким образом, C ′тест будет работать лучше всего. Чем ближе результат из таблицы непредвиденных обстоятельств к верхнему левому углу, тем лучше он предсказывает, но расстояние от линии случайного предположения в любом направлении является лучшим индикатором того, какой прогностической силой обладает метод. Если результат ниже линии (т. Е. Метод хуже, чем случайное предположение), все прогнозы метода должны быть отменены, чтобы использовать его мощность, тем самым перемещая результат выше линии случайного предположения.

Кривые в пространстве ROC [ править ]

В бинарной классификации предсказание класса для каждого экземпляра часто делается на основе непрерывной случайной переменной , которая представляет собой «оценку», вычисленную для данного экземпляра (например, оцененную вероятность в логистической регрессии). При заданном пороговом параметре экземпляр классифицируется как «положительный», если и как «отрицательный» в противном случае. следует за плотностью вероятности, если экземпляр действительно принадлежит к классу «положительный», и если нет. Таким образом, истинно положительный результат равен, а ложный положительный результат равен . Кривая ROC представляет собой параметрический график зависимости TPR (T) от FPR (T) с T в качестве изменяющегося параметра.

Например, представьте, что уровни белка в крови у больных и здоровых людей обычно распределяются со средними значениями 2 г / дл и 1 г / дл соответственно. Медицинский тест может измерить уровень определенного белка в образце крови и классифицировать любое число выше определенного порога как указывающее на заболевание. Экспериментатор может настроить порог (черная вертикальная линия на рисунке), что, в свою очередь, изменит частоту ложных срабатываний. Увеличение порога приведет к меньшему количеству ложных срабатываний (и большему количеству ложноотрицательных результатов), что соответствует смещению кривой влево. Фактическая форма кривой определяется степенью перекрытия двух распределений.

Дальнейшие интерпретации [ править ]

Иногда ROC используется для генерации сводной статистики. Общие версии:

  • пересечение кривой ROC с линией под углом 45 градусов, ортогональной к линии отсутствия дискриминации - точка баланса, где Чувствительность = 1 - Специфичность
  • пересечение кривой ROC с касательной под углом 45 градусов, параллельной линии отсутствия дискриминации, которая является ближайшей к безошибочной точке (0,1) - также называемая статистикой J Юдена и обобщенная как информированность [ необходима ссылка ]
  • площадь между кривой ROC и линией отсутствия дискриминации, умноженная на два, называется коэффициентом Джини . Его не следует путать с мерой статистической дисперсии, также называемой коэффициентом Джини .
  • область между полной кривой ROC и треугольной кривой ROC, включая только (0,0), (1,1) и одну выбранную рабочую точку (tpr, fpr) - Согласованность [15]
  • площадь под кривой ROC, или «AUC» («Area Under Curve»), или A '(произносится «a-prime»), [16] или «c-statistic» («статистика соответствия»). [17]
  • индекс чувствительности d» (произносится как „d-простой“), расстояние между средним значением распределения активности в системе в соответствии с шумом в одиночку условиями и его распределением по сигнальным-одиночку условиям, деленные на их стандартном отклонении , в предположении , что оба эти распределения являются нормальными с одинаковым стандартным отклонением. При этих предположениях форма ROC полностью определяется d ' .

Однако любая попытка суммировать кривую ROC в одно число теряет информацию о структуре компромиссов конкретного алгоритма дискриминатора.

Площадь под кривой [ править ]

При использовании нормализованных единиц площадь под кривой (часто называемая просто AUC) равна вероятности того, что классификатор оценит случайно выбранный положительный экземпляр выше, чем случайно выбранный отрицательный (при условии, что `` положительные '' ранги выше, чем отрицательный '). [18] Это можно увидеть следующим образом: площадь под кривой определяется как (интегральные границы меняются местами, поскольку большой порог имеет более низкое значение на оси x)

где - оценка положительного экземпляра, а - оценка отрицательного экземпляра, и - плотности вероятности, как определено в предыдущем разделе.

Далее можно показать, что AUC тесно связана с U Манна – Уитни , [19] [20], который проверяет, оцениваются ли положительные результаты выше, чем отрицательные. Он также эквивалентен ранговому тесту Вилкоксона . [20] Для предсказателя несмещенная оценка его AUC может быть выражена следующей статистикой Вилкоксона-Манна-Уитни : [21]

где, обозначает индикаторную функцию, которая возвращает 1, если и только если иначе возвращает 0; это набор отрицательных примеров, и это набор положительных примеров.

AUC связана с * коэффициентом Джини * ( ) по формуле , где:

[22]

Таким образом, можно рассчитать AUC, используя среднее значение ряда трапецеидальных приближений. не следует путать с мерой статистической дисперсии, которая также называется коэффициентом Джини .

Также обычно рассчитывают площадь под выпуклой оболочкой ROC (ROC AUCH = ROCH AUC), поскольку любая точка на отрезке линии между двумя результатами прогноза может быть достигнута путем случайного использования той или иной системы с вероятностями, пропорциональными относительной длине противоположный компонент сегмента. [23] Также возможно инвертировать вогнутости - так же, как на рисунке худшее решение может быть отражено, чтобы стать лучшим решением; вогнутости могут быть отражены в любом отрезке линии, но эта более экстремальная форма слияния с гораздо большей вероятностью приведет к излишнему соответствию данных. [24]

Машинное обучение сообщество чаще всего использует статистику ROC AUC для сравнения модели. [25] Эта практика была подвергнута сомнению, потому что оценки AUC довольно зашумлены и страдают другими проблемами. [26] [27] [28] Тем не менее, согласованность AUC как меры агрегированной производительности классификации была подтверждена с точки зрения равномерного распределения скорости, [29] и AUC была связана с рядом других показателей производительности, таких как как оценка Брайера . [30]

Другая проблема с ROC AUC заключается в том, что при уменьшении кривой ROC до одного числа игнорируется тот факт, что речь идет о компромиссах между различными системами или нанесенными точками производительности, а не о производительности отдельной системы, а также игнорируется возможность устранения вогнутости. , так что рекомендуются соответствующие альтернативные меры, такие как информированность [ необходима цитата ] или DeltaP. [15] [31] Эти меры по существу эквивалентны Джини для одной точки прогноза с DeltaP '= Informedness = 2AUC-1, в то время как DeltaP = Markedness представляет двойственную (а именно, прогнозирование прогноза из реального класса) и их геометрическую среднее - коэффициент корреляции Мэтьюза . [цитата необходима ]

Принимая во внимание, что ROC AUC варьируется от 0 до 1 - с неинформативным классификатором, дающим 0,5 - альтернативные меры, известные как Информированность , [ необходима ссылка ] Определенность [15] и коэффициент Джини (в случае единой параметризации или единственной системы) [ необходима ссылка ], все имеют преимущество в том, что 0 представляет собой случайную производительность, в то время как 1 представляет идеальную производительность, а -1 представляет «извращенный» случай полной информированности, всегда дающей неправильный ответ. [32]Приведение случайной производительности к 0 позволяет интерпретировать эти альтернативные шкалы как статистику Каппа. Было показано, что информированность имеет желаемые характеристики для машинного обучения по сравнению с другими распространенными определениями каппы, такими как Коэн Каппа и Флейсс Каппа . [ необходима цитата ] [33]

Иногда может быть более полезным посмотреть на конкретную область кривой ROC, а не на всю кривую. Можно вычислить частичную AUC. [34] Например, можно сосредоточиться на участке кривой с низким уровнем ложноположительных результатов, который часто представляет первостепенный интерес для скрининговых тестов населения. [35] Другой распространенный подход к задачам классификации, в которых P ≪ N (распространенный в приложениях биоинформатики), заключается в использовании логарифмической шкалы для оси x. [36]

Площадь ROC под кривой также называется c-статистикой или c-статистикой . [37]

Другие меры [ править ]

Кривая ТОС

Общая эксплуатационная характеристика (TOC) также характеризует диагностические возможности при выявлении больше информации , чем РПЦ. Для каждого порога ROC показывает два отношения: TP / (TP + FN) и FP / (FP + TN). Другими словами, ROC выявляет совпадения / (попадания + промахи) и ложные срабатывания / (ложные срабатывания + правильные отклонения). С другой стороны, TOC показывает общую информацию в таблице непредвиденных обстоятельств для каждого порога. [38] Метод TOC раскрывает всю информацию, которую предоставляет метод ROC, плюс дополнительную важную информацию, которую не раскрывает ROC, то есть размер каждой записи в таблице непредвиденных обстоятельств для каждого порога. TOC также предоставляет популярные AUC Китайской республики. [39]

Кривая ROC

Эти цифры представляют собой кривые TOC и ROC с использованием тех же данных и пороговых значений. Рассмотрим точку, которая соответствует порогу 74. Кривая TOC показывает количество совпадений, равное 3, и, следовательно, количество промахов, равное 7. Кроме того, кривая TOC показывает, что количество ложных срабатываний равно 4 и количество правильных отклонений равно 16. В любой заданной точке кривой ROC можно получить значения для соотношений ложных тревог / (ложные тревоги + правильные отклонения) и совпадений / (совпадения + промахи). Например, на пороге 74 очевидно, что координата x равна 0,2, а координата y равна 0,3. Однако этих двух значений недостаточно для построения всех записей базовой таблицы непредвиденных обстоятельств два на два.

График компромисса ошибок обнаружения [ править ]

Пример графика DET

Альтернативой кривой ROC является компромисс с ошибкой обнаружения.(DET) график, который отображает частоту ложных отрицательных результатов (пропущенные обнаружения) по сравнению с частотой ложных срабатываний (ложные тревоги) на нелинейно преобразованных осях x и y. Функция преобразования - это функция квантиля нормального распределения, т. Е. Обратная к кумулятивному нормальному распределению. Фактически, это то же преобразование, что и zROC, приведенное ниже, за исключением того, что используется дополнение к частоте совпадений, коэффициент промахов или ложноотрицательный коэффициент. Эта альтернатива тратит больше графической области на интересующую область. Большая часть территории Китайской Республики малоинтересна; в первую очередь важна область, плотно прилегающая к оси Y и верхнему левому углу, который из-за использования частоты промахов вместо дополнения, частоты попаданий, является нижним левым углом на графике DET. Более того,Графики DET обладают полезным свойством линейности и линейным пороговым поведением для нормальных распределений.[40] График DET широко используется всообществе автоматического распознавания говорящего , где впервые было использовано название DET. Анализ производительности ROC на графиках с этим перекосом осей использовался психологами в исследованиях восприятия в середине 20-го века, [ цитата необходима ], где это было названо «бумагой двойной вероятности». [41]

Z-оценка [ править ]

Если к кривой ROC применяется стандартная оценка , кривая будет преобразована в прямую линию. [42] Этот z-показатель основан на нормальном распределении со средним значением, равным нулю, и стандартным отклонением, равным единице. В теории силы памяти следует предположить, что zROC не только линейный, но и имеет наклон 1,0. Нормальное распределение целей (изучаемые объекты, которые субъекты должны вспомнить) и приманок (неизученные объекты, которые субъекты пытаются вспомнить) является фактором, заставляющим zROC быть линейным.

Линейность кривой zROC зависит от стандартных отклонений распределения силы цели и приманки. Если стандартные отклонения равны, наклон будет 1,0. Если стандартное отклонение распределения силы цели больше, чем стандартное отклонение распределения силы приманки, то наклон будет меньше 1,0. В большинстве исследований было обнаружено, что наклон кривой zROC постоянно падает ниже 1, обычно между 0,5 и 0,9. [43] Многие эксперименты дали наклон zROC 0,8. Наклон 0,8 означает, что изменчивость распределения силы цели на 25% больше, чем изменчивость распределения силы приманки. [44]

Другая используемая переменная -  d ' (d prime) (обсуждаемая выше в разделе «Другие меры»), которую легко выразить через z-значения. Хотя d 'является широко используемым параметром, следует признать, что он уместен только при строгом соблюдении очень сильных предположений теории прочности, сделанных выше. [45]

Предполагается, что z-оценка кривой ROC всегда линейна, за исключением особых ситуаций. Модель знакомого-вспоминания Йонелина - это двумерное описание памяти узнавания. Вместо того, чтобы испытуемый просто отвечал «да» или «нет» на конкретный ввод, он придает вводным данным ощущение знакомства, которое действует как исходная кривая ROC. Однако что меняется, так это параметр для Воспоминания (R). Воспоминания предполагаются по принципу «все или ничего», и это важнее привычки. Если бы не было компонента воспоминания, zROC имел бы прогнозируемый наклон, равный 1. Однако при добавлении компонента воспоминания кривая zROC будет вогнутой вверх с уменьшенным наклоном. Эта разница в форме и наклоне является результатом дополнительного элемента изменчивости из-за того, что некоторые элементы вспоминаются. Пациенты с антероградной амнезией не могут вспомнить,поэтому их кривая zROC Yonelinas будет иметь наклон, близкий к 1,0.[46]

История [ править ]

Кривая ROC была впервые использована во время Второй мировой войны для анализа радиолокационных сигналов, прежде чем она была использована в теории обнаружения сигналов . [47] После нападения на Перл-Харбор в 1941 году армия Соединенных Штатов начала новое исследование, направленное на повышение предсказуемости правильно обнаруженных японских самолетов по сигналам их радаров. Для этих целей они измерили способность оператора радиолокационного приемника проводить эти важные различия, что было названо Рабочей характеристикой приемника. [48]

В 1950-х годах кривые ROC использовались в психофизике для оценки обнаружения слабых сигналов людьми (а иногда и животными). [47] В медицине ROC-анализ широко используется при оценке диагностических тестов . [49] [50] Кривые ROC также широко используются в эпидемиологии и медицинских исследованиях и часто упоминаются в связи с доказательной медициной . В радиологии ROC-анализ - распространенный метод оценки новых радиологических методов. [51]В социальных науках ROC-анализ часто называют коэффициентом точности ROC - распространенным методом оценки точности вероятностных моделей дефолта. Кривые ROC широко используются в лабораторной медицине для оценки диагностической точности теста, выбора оптимального порогового значения теста и сравнения диагностической точности нескольких тестов.

Кривые ROC также оказались полезными для оценки методов машинного обучения . Первое применение ROC в машинном обучении было сделано Спакманом, который продемонстрировал ценность кривых ROC при сравнении и оценке различных алгоритмов классификации . [52]

Кривые ROC также используются для проверки прогнозов в метеорологии. [53]

Кривые ROC за пределами бинарной классификации [ править ]

Расширение кривых ROC для задач классификации с более чем двумя классами всегда было громоздким, поскольку степени свободы увеличиваются квадратично с количеством классов, а пространство ROC имеет размеры, где - количество классов. [54] Некоторые подходы были сделаны для частного случая с тремя классами (трехсторонний ROC). [55] Расчет объема под поверхностью ROC (VUS) был проанализирован и изучен как показатель производительности для мультиклассовых задач. [56] Однако из-за сложности аппроксимации истинной VUS некоторые другие подходы [57], основанные на расширении AUC, более популярны в качестве метрики оценки.

Учитывая успех кривых ROC для оценки моделей классификации, также было исследовано расширение кривых ROC для других контролируемых задач. Известные предложения для проблем регрессии - это так называемые кривые характеристики ошибки регрессии (REC) [58] и кривые ROC (RROC) регрессии. [59] В последнем случае кривые RROC становятся чрезвычайно похожими на кривые ROC для классификации с понятиями асимметрии, доминирования и выпуклой оболочки. Кроме того, площадь под кривыми RROC пропорциональна дисперсии ошибок регрессионной модели.

См. Также [ править ]

  • Оценка Бриера
  • Коэффициент детерминации
  • Постоянный уровень ложных тревог
  • Компромисс ошибки обнаружения
  • Теория обнаружения
  • Оценка F1
  • Ложная тревога
  • Точность и отзыв
  • ROCCET
  • Общая рабочая характеристика

Ссылки [ править ]

  1. ^ Фосетт, Том (2006). «Введение в анализ ROC» (PDF) . Письма о распознавании образов . 27 (8): 861–874. DOI : 10.1016 / j.patrec.2005.10.010 .
  2. ^ Пирьонеси С. Мадех; Эль-Дираби Тамер Э. (01.03.2020). «Аналитика данных в управлении активами: рентабельное прогнозирование индекса состояния дорожного покрытия». Журнал инфраструктурных систем . 26 (1): 04019036. doi : 10.1061 / (ASCE) IS.1943-555X.0000512 .
  3. ^ Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции» . Журнал технологий машинного обучения . 2 (1): 37–63.
  4. Перейти ↑ Ting, Kai Ming (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Springer. DOI : 10.1007 / 978-0-387-30164-8 . ISBN 978-0-387-30164-8.
  5. ^ Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Йонг; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ / РГЧЭ по исследованиям для проверки прогнозов» . Сотрудничество в области исследований погоды и климата Австралии . Всемирная метеорологическая организация . Проверено 17 июля 2019 .
  6. ^ Chicco Д., Jurman Г. (январь 2020). «Преимущества коэффициента корреляции Мэтьюза (MCC) над оценкой F1 и точность оценки бинарной классификации» . BMC Genomics . 21 (1): 6-1–6-13. DOI : 10,1186 / s12864-019-6413-7 . PMC 6941312 . PMID 31898477 .  CS1 maint: uses authors parameter (link)
  7. ^ Chicco Д., Toetsch Н., Jurman Г. (февраль 2021). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и заметность при оценке двухклассовой матрицы путаницы». BioData Mining . 14 (13): 1-22. DOI : 10.1186 / s13040-021-00244-Z . PMID 33541410 . CS1 maint: uses authors parameter (link)
  8. ^ Tharwat А. (август 2018). «Классификационные методы оценки» . Прикладные вычисления и информатика . DOI : 10.1016 / j.aci.2018.08.003 .
  9. ^ a b «Анализ производительности детектора с использованием кривых ROC - пример MATLAB и Simulink» . www.mathworks.com . Проверено 11 августа +2016 .
  10. ^ Перес, DJ; Канчелье, А. (2014-12-08). «Вывод и оценка пороговых значений, вызывающих оползни, методом Монте-Карло» . Hydrol. Earth Syst. Sci . 18 (12): 4913–4931. Bibcode : 2014HESS ... 18.4913P . DOI : 10.5194 / Hess-18-4913-2014 . ISSN 1607-7938 . 
  11. ^ Мерфи, Аллан Х. (1996-03-01). «Дело Финли: важное событие в истории проверки прогнозов» . Погода и прогнозирование . 11 (1): 3–20. Bibcode : 1996WtFor..11 .... 3M . DOI : 10.1175 / 1520-0434 (1996) 011 <0003: tfaase> 2.0.co; 2 . ISSN 0882-8156 . 
  12. ^ Перес, DJ; Iuppa, C .; Cavallaro, L .; Cancelliere, A .; Фоти, Э. (01.10.2015). «Значительное расширение рекордов высоты волны с помощью нейронных сетей и данных повторного анализа ветра». Моделирование океана . 94 : 128–140. Bibcode : 2015OcMod..94..128P . DOI : 10.1016 / j.ocemod.2015.08.002 .
  13. ^ Swets, Джон A .; Теория обнаружения сигналов и ROC-анализ в психологии и диагностике: сборник статей , Lawrence Erlbaum Associates, Mahwah, NJ, 1996.
  14. ^ "классификация - AUC-ROC случайного классификатора" . Обмен стеком Data Science . Проверено 30 ноября 2020 .
  15. ^ a b c Пауэрс, Дэвид М.В. (2012). «ROC-ConCert: измерение согласованности и достоверности на основе ROC» (PDF) . Весенний конгресс по технике и технологиям (SCET) . 2 . IEEE. С. 238–241.
  16. ^ Фогарти, Джеймс; Бейкер, Райан С .; Хадсон, Скотт Э. (2005). «Тематические исследования в использовании анализа кривой ROC для сенсорных оценок при взаимодействии человека с компьютером» . ACM International Conference Proceeding Series, Proceedings of Graphics Interface 2005 . Ватерлоо, Онтарио: Канадское общество связи человека и компьютера.
  17. ^ Хасти, Тревор ; Тибширани, Роберт ; Фридман, Джером Х. (2009). Элементы статистического обучения: интеллектуальный анализ данных, вывод и прогнозирование (2-е изд.).
  18. ^ Фосетт, Том (2006); Введение в анализ ROC , Письма о распознавании образов, 27, 861–874.
  19. ^ Хэнли, Джеймс А .; Макнил, Барбара Дж. (1982). «Значение и использование площади под кривой рабочих характеристик приемника (ROC)». Радиология . 143 (1): 29–36. DOI : 10,1148 / radiology.143.1.7063747 . PMID 7063747 . S2CID 10511727 .  
  20. ^ a b Мейсон, Саймон Дж .; Грэм, Николас Э. (2002). «Области ниже кривых относительных рабочих характеристик (ROC) и относительных рабочих уровней (ROL): статистическая значимость и интерпретация» (PDF) . Ежеквартальный журнал Королевского метеорологического общества . 128 (584): 2145–2166. Bibcode : 2002QJRMS.128.2145M . CiteSeerX 10.1.1.458.8392 . DOI : 10.1256 / 003590002320603584 . Архивировано из оригинального (PDF) 20 ноября 2008 года.  
  21. ^ Колдерс, Мультяшный; Ярошевич, Шимон (2007). Kok, Joost N .; Коронаки, Яцек; Лопес де Мантарас, Рамон; Матвин, Стэн; Младенич, Дуня; Сковрон, Анджей (ред.). «Эффективная оптимизация AUC для классификации» . Обнаружение знаний в базах данных: PKDD 2007 . Конспект лекций по информатике. Берлин, Гейдельберг: Springer. 4702 : 42–53. DOI : 10.1007 / 978-3-540-74976-9_8 . ISBN 978-3-540-74976-9.
  22. ^ Рука, Дэвид Дж .; и Тилль, Роберт Дж. (2001); Простое обобщение области под кривой ROC для задач классификации нескольких классов , Машинное обучение, 45, 171–186.
  23. ^ Провост, Ф .; Фосетт, Т. (2001). «Надежная классификация для неточных сред». Машинное обучение . 42 (3): 203–231. arXiv : cs / 0009007 . DOI : 10.1023 / а: 1007601015854 . S2CID 5415722 . 
  24. ^ Flach, PA; Ву, С. (2005). «Устранение вогнутостей на кривых ROC». (PDF) . 19-я Международная совместная конференция по искусственному интеллекту (IJCAI'05) . С. 702–707.
  25. ^ Хэнли, Джеймс А .; Макнил, Барбара Дж. (1 сентября 1983 г.). «Метод сравнения площадей под кривыми рабочих характеристик приемника, полученными из одних и тех же случаев» . Радиология . 148 (3): 839–843. DOI : 10,1148 / radiology.148.3.6878708 . PMID 6878708 . 
  26. ^ Hanczar Блез; Хуа, Цзяньпин; Сыма, Чао; Вайнштейн, Джон; Биттнер, Майкл; Догерти, Эдвард Р. (2010). «Точность малых выборок оценок, связанных с ROC» . Биоинформатика . 26 (6): 822–830. DOI : 10.1093 / биоинформатики / btq037 . PMID 20130029 . 
  27. ^ Лобо, Хорхе М .; Хименес-Вальверде, Альберто; Реал, Раймундо (2008). «AUC: вводящая в заблуждение мера эффективности моделей прогнозирующего распределения». Глобальная экология и биогеография . 17 (2): 145–151. DOI : 10.1111 / j.1466-8238.2007.00358.x . S2CID 15206363 . 
  28. ^ Рука, Дэвид J (2009). «Измерение производительности классификатора: последовательная альтернатива площади под кривой ROC» . Машинное обучение . 77 : 103–123. DOI : 10.1007 / s10994-009-5119-5 .
  29. ^ Flach, PA; Hernandez-Orallo, J .; Ферри, К. (2011). «Последовательная интерпретация AUC как меры совокупной эффективности классификации». (PDF) . Материалы 28-й Международной конференции по машинному обучению (ICML-11) . С. 657–664.
  30. ^ Эрнандес-Оралло, Дж .; Flach, PA; Ферри, К. (2012). «Единое представление метрик производительности: перевод выбора порога в ожидаемую потерю классификации» (PDF) . Журнал исследований в области машинного обучения . 13 : 2813–2869.
  31. ^ Пауэрс, Дэвид МВ (2012). «Проблема площади под кривой». Международная конференция по информатике и технологиям .
  32. ^ Пауэрс, Дэвид МВ (2003). «Отзыв и точность против букмекера» (PDF) . Труды Международной конференции по когнитивной науке (ICSC-2003), Сидней, Австралия, 2003 г., стр. 529–534 .
  33. ^ Пауэрс, Дэвид МВ (2012). «Проблема с каппой» (PDF) . Конференция Европейского отделения Ассоциации компьютерной лингвистики (EACL2012) Совместный семинар ROBUS-UNSUP . Архивировано из оригинального (PDF) 18 мая 2016 года . Проверено 20 июля 2012 .
  34. ^ Макклиш, Донна Кацман (1989-08-01). «Анализ части кривой ROC». Принятие медицинских решений . 9 (3): 190–195. DOI : 10.1177 / 0272989X8900900307 . PMID 2668680 . S2CID 24442201 .  
  35. ^ Додд, Лори Э .; Пепе, Маргарет С. (2003). «Частичная оценка AUC и регрессия» . Биометрия . 59 (3): 614–623. DOI : 10.1111 / 1541-0420.00071 . PMID 14601762 . 
  36. ^ Karplus, Кевин (2011); Лучше, чем шанс: важность нулевых моделей , Калифорнийский университет, Санта-Крус, в материалах Первого международного семинара по распознаванию образов в протеомике, структурной биологии и биоинформатике (PR PS BB 2011)
  37. ^ «C-статистика: определение, примеры, вес и значение» . Статистика Как . 28 августа 2016 г.
  38. ↑ Понтиус, Роберт Гилмор; Парментье, Бенуа (2014). «Рекомендации по использованию относительной рабочей характеристики (ROC)». Ландшафтная экология . 29 (3): 367–382. DOI : 10.1007 / s10980-013-9984-8 . S2CID 15924380 . 
  39. ↑ Понтиус, Роберт Гилмор; Си, Канпин (2014). «Общая рабочая характеристика для измерения диагностической способности для нескольких пороговых значений». Международный журнал географической информатики . 28 (3): 570–583. DOI : 10.1080 / 13658816.2013.862623 . S2CID 29204880 . 
  40. ^ Navratil, J .; Клусачек, Д. (2007-04-01). О линейных ДЭТ . 2007 Международная конференция IEEE по акустике, обработке речи и сигналов - ICASSP '07 . 4 . С. IV – 229 – IV – 232. DOI : 10.1109 / ICASSP.2007.367205 . ISBN 978-1-4244-0727-9. S2CID  18173315 .
  41. ↑ Дев П. Чакраборти (14 декабря 2017 г.). «двойная вероятность + бумага» & рд = PT214 наблюдатель Метода производительности для диагностической визуализации: основы, моделирование и приложения с помощью R-основанных примеров . CRC Press. п. 214. ISBN 9781351230711. Проверено 11 июля 2019 года .
  42. ^ MacMillan, Neil A .; Крилман, К. Дуглас (2005). Теория обнаружения: Руководство пользователя (2-е изд.). Махва, Нью-Джерси: Лоуренс Эрлбаум Ассошиэйтс. ISBN 978-1-4106-1114-7.
  43. ^ Гланзер, Мюррей; Кисок, Ким; Хилфорд, Энди; Адамс, Джон К. (1999). «Крутизна характеристики приемника в памяти распознавания». Журнал экспериментальной психологии: обучение, память и познание . 25 (2): 500–513. DOI : 10.1037 / 0278-7393.25.2.500 .
  44. ^ Рэтклифф, Роджер; Маккун, Гейл; Тиндалл, Майкл (1994). «Эмпирическая общность данных из функций распознавания памяти ROC и значение для GMM». Журнал экспериментальной психологии: обучение, память и познание . 20 (4): 763–785. CiteSeerX 10.1.1.410.2114 . DOI : 10.1037 / 0278-7393.20.4.763 . 
  45. ^ Чжан, Цзюнь; Мюллер, Шейн Т. (2005). «Примечание по ROC-анализу и непараметрической оценке чувствительности». Психометрика . 70 : 203–212. CiteSeerX 10.1.1.162.1515 . DOI : 10.1007 / s11336-003-1119-8 . S2CID 122355230 .  
  46. ^ Йонелинас, Эндрю П .; Кролл, Нил Э.А.; Доббинс, Ян Дж .; Лаззара, Микеле; Найт, Роберт Т. (1998). «Дефицит воспоминаний и знакомств при амнезии: конвергенция« помню-знаю », процесс диссоциации и данные о рабочих характеристиках приемника». Нейропсихология . 12 (3): 323–339. DOI : 10.1037 / 0894-4105.12.3.323 . PMID 9673991 . 
  47. ^ а б Грин, Дэвид М .; Свитс, Джон А. (1966). Теория обнаружения сигналов и психофизика . Нью-Йорк, Нью-Йорк: ISBN John Wiley and Sons Inc. 978-0-471-32420-1.
  48. ^ «Использование кривой рабочих характеристик приемника (ROC) для анализа модели классификации: последнее примечание, представляющее исторический интерес» (PDF) . Департамент математики Университета Юты . Департамент математики Университета Юты . Проверено 25 мая 2017 года .
  49. ^ Цвейг, Марк Х .; Кэмпбелл, Грегори (1993). «Графики рабочих характеристик приемника (ROC): фундаментальный инструмент оценки в клинической медицине» (PDF) . Клиническая химия . 39 (8): 561–577. DOI : 10.1093 / clinchem / 39.4.561 . PMID 8472349 .  
  50. ^ Пепе, Маргарет С. (2003). Статистическая оценка медицинских тестов для классификации и прогнозирования . Нью-Йорк, Нью-Йорк: Оксфорд. ISBN 978-0-19-856582-6.
  51. ^ Обуховски, Nancy A. (2003). «Кривые рабочих характеристик приемника и их использование в радиологии». Радиология . 229 (1): 3–8. DOI : 10,1148 / radiol.2291010898 . PMID 14519861 . 
  52. ^ Spackman, Кент А. (1989). «Теория обнаружения сигналов: ценные инструменты для оценки индуктивного обучения». Материалы Шестого международного семинара по машинному обучению . Сан-Матео, Калифорния: Морган Кауфманн . С. 160–163.
  53. ↑ Харин, Вячеслав (2003). «О рейтинге вероятности прогнозов ОКР» . Журнал климата . 16 (24): 4145–4150. Bibcode : 2003JCli ... 16.4145K . DOI : 10.1175 / 1520-0442 (2003) 016 <4145: OTRSOP> 2.0.CO; 2 .
  54. Перейти ↑ Srinivasan, A. (1999). «Заметка о расположении оптимальных классификаторов в N-мерном пространстве ROC». Технический отчет PRG-TR-2-99, вычислительная лаборатория Оксфордского университета, Вольфсон-билдинг, Паркс-роуд, Оксфорд . CiteSeerX 10.1.1.35.703 . 
  55. ^ Моссман, D. (1999). «Трехсторонние РПЦ». Принятие медицинских решений . 19 (1): 78–89. DOI : 10.1177 / 0272989x9901900110 . PMID 9917023 . S2CID 24623127 .  
  56. ^ Ферри, C .; Hernandez-Orallo, J .; Салидо, Массачусетс (2003). «Объем под поверхностью ROC для мультиклассовых задач». Машинное обучение: ECML 2003 . С. 108–120.
  57. ^ Тилль, DJ; Рука, RJ (2001). «Простое обобщение площади под кривой ROC для задач классификации нескольких классов» . Машинное обучение . 45 (2): 171–186. DOI : 10,1023 / A: 1010920819831 .
  58. ^ Bi, J .; Беннетт, КП (2003). «Характеристические кривые ошибки регрессии» (PDF) . Двадцатая международная конференция по машинному обучению (ICML-2003). Вашингтон, округ Колумбия .
  59. ^ Hernandez-Orallo, J. (2013). «Кривые ROC для регрессии». Распознавание образов . 46 (12): 3395–3411. DOI : 10.1016 / j.patcog.2013.06.014 . ЛВП : 10251/40252 .

Внешние ссылки [ править ]

  • Демо ROC
  • еще одна демонстрация ROC
  • Видео-объяснение ROC
  • Введение в общую операционную характеристику: полезность при оценке модели изменения земель
  • Как запустить пакет TOC в R
  • Пакет TOC R на Github
  • Книга Excel для создания кривых оглавления

Дальнейшее чтение [ править ]

  • Балакришнан, Нараянасвами (1991); Справочник по логистике , Marcel Dekker, Inc., ISBN 978-0-8247-8587-1 
  • Браун, Кристофер Д.; Дэвис, Герберт Т. (2006). «Кривые рабочих характеристик приемника и соответствующие меры по принятию решений: учебное пособие». Хемометрика и интеллектуальные лабораторные системы . 80 : 24–38. DOI : 10.1016 / j.chemolab.2005.05.004 .
  • Ротелло, Карен М .; Хейт, Эван; Дубе, Чад (2014). «Когда больше данных вводит нас в заблуждение: репликации с неправильной зависимой мерой увековечивают ошибочные выводы» (PDF) . Психономический бюллетень и обзор . 22 (4): 944–954. DOI : 10,3758 / s13423-014-0759-2 . PMID  25384892 . S2CID  6046065 .
  • Фосетт, Том (2004). «Графики ROC: заметки и практические соображения для исследователей» (PDF) . Письма о распознавании образов . 27 (8): 882–891. CiteSeerX  10.1.1.145.4649 . DOI : 10.1016 / j.patrec.2005.10.012 .
  • Гонен, Митхат (2007); Анализ кривых рабочих характеристик приемника с помощью SAS , SAS Press, ISBN 978-1-59994-298-8 
  • Грин, Уильям Х., (2003) эконометрический анализ , пятое издание, Prentice Hall , ISBN 0-13-066189-9 
  • Хегерти, Патрик Дж .; Ламли, Томас; Пепе, Маргарет С. (2000). «Зависящие от времени кривые ROC для цензурированных данных о выживании и диагностический маркер». Биометрия . 56 (2): 337–344. DOI : 10.1111 / j.0006-341x.2000.00337.x . PMID  10877287 . S2CID  8822160 .
  • Хосмер, Дэвид В .; и Лемешоу, Стэнли (2000); Прикладная логистическая регрессия , 2-е изд., Нью-Йорк, Нью-Йорк: Wiley , ISBN 0-471-35632-8 
  • Lasko, Thomas A .; Bhagwat, Jui G .; Zou, Kelly H .; Оно-Мачадо, Люсила (2005). «Использование кривых рабочих характеристик приемника в биомедицинской информатике». Журнал биомедицинской информатики . 38 (5): 404–415. CiteSeerX  10.1.1.97.9674 . DOI : 10.1016 / j.jbi.2005.02.008 . PMID  16198999 .
  • Мас, Жан-Франсуа; Филхо, Бритальдо Соареш; Понтиус-младший, Роберт Гилмор; Гутьеррес, Мишель Фарфан; Родригес, Герман (2013). «Набор инструментов для ROC-анализа пространственных моделей» . Международный журнал геоинформации ISPRS . 2 (3): 869–887. Bibcode : 2013IJGI .... 2..869M . DOI : 10.3390 / ijgi2030869 .
  • Понтиус-младший, Роберт Гилмор; Парментье, Бенуа (2014). «Рекомендации по использованию относительной рабочей характеристики (ROC)» . Ландшафтная экология . 29 (3): 367–382. DOI : 10.1007 / s10980-013-9984-8 . S2CID  15924380 .
  • Понтиус-младший, Роберт Гилмор; Пачеко, Пабло (2004). «Калибровка и проверка модели нарушения лесов в Западных Гатах, Индия, 1920–1990 годы» . GeoJournal . 61 (4): 325–334. DOI : 10.1007 / s10708-004-5049-5 . S2CID  155073463 .
  • Понтиус-младший, Роберт Гилмор; Батчу, Киран (2003). «Использование относительной операционной характеристики для количественной оценки уверенности в прогнозировании изменения местоположения земного покрова в Индии». Транзакции в ГИС . 7 (4): 467–484. DOI : 10.1111 / 1467-9671.00159 . S2CID  14452746 .
  • Понтиус-младший, Роберт Гилмор; Шнайдер, Лаура (2001). «Валидация модели изменения землепользования методом ROC для водосбора Ипсвича, Массачусетс, США» . Сельское хозяйство, экосистемы и окружающая среда . 85 (1–3): 239–248. DOI : 10.1016 / S0167-8809 (01) 00187-6 .
  • Стефан, Карстен; Весселинг, Себастьян; Шинк, Таня; Юнг, Клаус (2003). «Сравнение восьми компьютерных программ для анализа рабочих характеристик приемника» . Клиническая химия . 49 (3): 433–439. DOI : 10.1373 / 49.3.433 . PMID  12600955 .
  • Swets, John A .; Dawes, Robyn M .; и Монахан, Джон (2000); Лучшие решения через науку , Scientific American , октябрь, стр. 82–87.
  • Zou, Kelly H .; О'Мэлли, А. Джеймс; Маури, Лаура (2007). «Анализ рабочих характеристик приемника для оценки диагностических тестов и прогнозных моделей» . Тираж . 115 (5): 654–7. DOI : 10.1161 / cycleaha.105.594929 . PMID  17283280 .
  • Чжоу, Сяо-Хуа; Обуховски, Нэнси А .; Макклиш, Донна К. (2002). Статистические методы в диагностической медицине . Нью-Йорк, Нью-Йорк: Wiley & Sons. ISBN 978-0-471-34772-9.