Правило классификации

Эта статья требует дополнительных ссылок для проверки . Пожалуйста, помогите улучшить эту статью , добавив цитаты из надежных источников . Материал, не полученный от источника, может быть оспорен и удален Найти источники:  «Правило классификации»  -  новости  · газеты  · книги  · ученый  · JSTOR ( май 2011 г. ) ( Узнайте, как и когда удалить это сообщение-шаблон )

Эта статья требует внимания эксперта по данной теме . Пожалуйста , добавьте причину в или разговоре параметр для этого шаблона , чтобы объяснить проблему с статьей. При размещении этого тега рассмотрите возможность связывания этого запроса с WikiProject . ( Май 2011 г. )

Для популяции, каждый член которой принадлежит к одному из множества различных наборов или классов , правило классификации или классификатор - это процедура, с помощью которой каждый элемент совокупности предсказывается как принадлежащий к одному из классов. ^[1] Идеальная классификация - это такая, при которой каждый элемент совокупности отнесен к тому классу, к которому он действительно принадлежит. Несовершенная классификация - это та, в которой появляются некоторые ошибки, и затем для анализа классификации должен применяться статистический анализ .

Особый вид правил классификации - это бинарная классификация задач, в которых есть только два класса.

Правила классификации тестирования [ править ]

Учитывая набор данных , состоящий из пар х и у , где х обозначает элемент населения и у класса он принадлежит, правило классификации ч ( х ) представляет собой функцию , которая присваивает каждый элемент х к предсказанному класса Двоичный классификации является так что метка y может принимать только одно из двух значений.${\ displaystyle {\ hat {y}} = h (x).}$

Истинные метки y _i могут быть известны, но не обязательно будут соответствовать их приближениям . В бинарной классификации элементы, которые неправильно классифицированы, называются ложноположительными и ложноотрицательными.${\ displaystyle {\ hat {y_ {i}}} = h (x_ {i})}$

Некоторые правила классификации являются статическими функциями. Другие могут быть компьютерными программами. Компьютер классификатор может быть в состоянии узнать или может реализовать статические правила классификации. Для обучающего набора данных истинные метки y _j неизвестны, но основная цель процедуры классификации состоит в том, чтобы приближение как можно лучше, когда качество этого приближения должно оцениваться на основе статистических или вероятностные свойства генеральной совокупности, на основе которых будут проводиться наблюдения в будущем.${\ displaystyle {\ hat {y_ {j}}} = h (x_ {j}) \ приблизительно y_ {j}}$

При заданном правиле классификации тест классификации является результатом применения правила к конечной выборке исходного набора данных.

Бинарная и мультиклассовая классификация [ править ]

Классификацию можно рассматривать как две отдельные проблемы - бинарную классификацию и многоклассовую классификацию . В бинарной классификации, более понятной задаче, участвуют только два класса, тогда как мультиклассовая классификация включает отнесение объекта к одному из нескольких классов. ^[2]Поскольку многие методы классификации были разработаны специально для двоичной классификации, многоклассовая классификация часто требует комбинированного использования нескольких двоичных классификаторов. Важным моментом является то, что во многих практических задачах бинарной классификации эти две группы не являются симметричными - интерес представляет не общая точность, а относительная доля различных типов ошибок. Например, при медицинском тестировании ложноположительный результат (обнаружение болезни, когда ее нет) рассматривается иначе, чем ложноотрицательный (не обнаружение болезни, когда она присутствует). В мультиклассовых классификациях классы могут рассматриваться симметрично (все ошибки эквивалентны) или асимметрично, что значительно сложнее.

Методы бинарной классификации включают пробит-регрессию и логистическую регрессию . Методы многоклассовой классификации включают полиномиальный пробит и полиномиальный логит .

Таблица путаницы [ править ]

Левая и правая половины соответственно содержат экземпляры, которые на самом деле имеют или не имеют условия. Овал содержит экземпляры, которые классифицируются (прогнозируются) как положительные (имеющие условие). Зеленый и красный соответственно содержат экземпляры, которые классифицированы правильно (истинно) и неправильно (ложно).
TP = истинно положительный; TN = истинно отрицательный; FP = ложноположительный результат (ошибка типа I); FN = ложноотрицательный (ошибка типа II); TPR = истинно положительная ставка; FPR = ложноположительный показатель; PPV = положительная прогностическая ценность; NPV = отрицательная прогностическая ценность.

Если функция классификации не идеальна, появятся ложные результаты. В приведенном ниже примере матрицы путаницы для 8 настоящих кошек функция предсказала, что три были собаками, а из шести собак она предсказала, что одна была кроликом, а две - кошками. Из матрицы видно, что рассматриваемая система не умеет различать кошек и собак, но может довольно хорошо отличить кроликов от других типов животных.

Ложные срабатывания [ править ]

Ложноположительные результаты возникают, когда тест ложно (неверно) сообщает о положительном результате. Например, медицинский тест на заболевание может дать положительный результат, указывающий на то, что у пациента есть болезнь, даже если у пациента нет болезни. Ложноположительный результат обычно обозначается как верхняя правая единица (Условие отрицательное, результат теста X положительный) в матрице путаницы . Мы можем использовать теорему Байеса, чтобы определить вероятность того, что положительный результат на самом деле является ложноположительным. Мы обнаружили, что если заболевание встречается редко, то большинство положительных результатов могут быть ложноположительными, даже если тест относительно точен.

Предположим, что тест на болезнь дает следующие результаты:

• Если тестируемый пациент болен заболеванием, тест дает положительный результат в 99% случаев или с вероятностью 0,99.
• Если у проверяемого пациента нет заболевания, тест дает положительный результат в 5% случаев или с вероятностью 0,05.

Наивно можно подумать, что только 5% положительных результатов тестов ложны, но, как мы увидим, это совершенно неверно.

Предположим, что только 0,1% населения страдает этим заболеванием, так что случайным образом выбранный пациент имеет априорную вероятность заболевания 0,001.

Мы можем использовать теорему Байеса для вычисления вероятности того, что положительный результат теста является ложноположительным.

Пусть A представляет состояние, в котором пациент болен, а B представляет свидетельство положительного результата теста. Тогда вероятность того, что пациент действительно болен, при положительном результате теста равна

${\ Displaystyle {\ begin {align} P (A | B) & = {\ frac {P (B | A) P (A)} {P (B | A) P (A) + P (B | \ neg A) P (\ neg A)}} \\\\ & = {\ frac {0,99 \ times 0,001} {0,99 \ times 0,001 + 0,05 \ times 0,999}} \\ ~ \\ & \ приблизительно 0,019. \ End { выровнено}}}$

и, следовательно, вероятность того, что положительный результат будет ложноположительным, составляет примерно 1 - 0,019 = 0,98, или 98%.

Несмотря на кажущуюся высокую точность теста, заболеваемость настолько низка, что подавляющее большинство пациентов с положительным результатом теста не болеют. Тем не менее, доля пациентов с положительным результатом теста, у которых действительно есть заболевание (0,019), в 19 раз превышает долю людей, которые еще не прошли тест и у которых есть заболевание (0,001). Таким образом, тест не бесполезен, а повторное тестирование может повысить надежность результата.

Чтобы уменьшить проблему ложных срабатываний, тест должен очень точно сообщать об отрицательном результате, когда у пациента нет заболевания. Если тест показал отрицательный результат у пациентов без заболевания с вероятностью 0,999, то

${\ displaystyle P (A | B) = {\ frac {0,99 \ times 0,001} {0,99 \ times 0,001 + 0,001 \ times 0,999}} \ приблизительно 0,5,}$

так что теперь 1 - 0,5 = 0,5 - это вероятность ложного срабатывания.

Ложноотрицательные [ править ]

С другой стороны, ложноотрицательные результаты возникают, когда тест ложно или неправильно сообщает об отрицательном результате. Например, медицинский тест на заболевание может дать отрицательный результат, указывающий на то, что у пациента нет болезни, даже если у пациента действительно есть болезнь. Ложноотрицательный результат обычно обозначается как нижняя левая единица (Условие положительное результат теста X отрицательный) в матрице путаницы . Мы также можем использовать теорему Байеса для вычисления вероятности ложноотрицательного результата. В первом примере выше

${\ Displaystyle {\ begin {выровнен} P (A | \ neg B) & = {\ frac {P (\ neg B | A) P (A)} {P (\ neg B | A) P (A) + P (\ neg B | \ neg A) P (\ neg A)}} \\\\ & = {\ frac {0,01 \ times 0,001} {0,01 \ times 0,001 + 0,95 \ times 0,999}} \\ ~ \\ & \ приблизительно 0,0000105. \ end {align}}}$

Вероятность того, что отрицательный результат является ложноотрицательным, составляет около 0,0000105 или 0,00105%. Если заболевание встречается редко, ложноотрицательные результаты не будут большой проблемой.

Но если бы заболевание было у 60% населения, то вероятность ложноотрицательного результата была бы выше. С помощью вышеуказанного теста вероятность ложноотрицательного результата будет равна

${\displaystyle {\begin{aligned}P(A|\neg B)&={\frac {P(\neg B|A)P(A)}{P(\neg B|A)P(A)+P(\neg B|\neg A)P(\neg A)}}\\\\&={\frac {0.01\times 0.6}{0.01\times 0.6+0.95\times 0.4}}\\~\\&\approx 0.0155.\end{aligned}}}$

Вероятность того, что отрицательный результат является ложноотрицательным, возрастает до 0,0155 или 1,55%.

Истинные положительные стороны [ править ]

Истинно положительный результат получается, когда проверенный верно (правильно) сообщает о положительном результате. Например, медицинский тест на заболевание может дать положительный результат, указывающий на то, что у пациента есть заболевание. Доказано, что это правда, когда пациент болен. Истинно положительный результат обычно обозначается как верхняя левая единица (Условие положительный результат теста X положительный результат) в матрице замещения . Мы можем использовать теорему Байеса, чтобы определить вероятность того, что положительный результат на самом деле является истинно положительным, используя приведенный выше пример:

• Если тестируемый пациент болен заболеванием, тест дает положительный результат в 99% случаев или с вероятностью 0,99.
• Если у проверяемого пациента нет заболевания, тест дает положительный результат в 5% случаев или с вероятностью 0,05.
• Предположим, что только 0,1% населения страдает этим заболеванием, так что случайным образом выбранный пациент имеет априорную вероятность заболевания 0,001.

Пусть A представляет состояние, в котором пациент болен, а B представляет свидетельство положительного результата теста. Тогда вероятность того, что у пациента действительно есть заболевание, при положительном результате теста:

${\displaystyle {\begin{aligned}P(A|B)&={\frac {P(B|A)P(A)}{P(B|A)P(A)+P(B|\neg A)P(\neg A)}}\\\\&={\frac {0.99\times 0.001}{0.99\times 0.001+0.05\times 0.999}}\\~\\&\approx 0.019.\end{aligned}}}$

Вероятность того, что положительный результат будет истинно положительным, составляет около 0,019%.

Истинные негативы [ править ]

Истинно отрицательный результат, когда тестируемый верно (правильно) сообщает об отрицательном результате. Например, медицинский тест на заболевание может дать положительный результат, указывающий на то, что у пациента нет болезни. Доказано, что это правда, когда пациент не болен. Истинно отрицательный результат обычно обозначается как нижняя правая единица (Условие отрицательное, результат теста X отрицательный) в матрице путаницы .

Мы также можем использовать теорему Байеса для вычисления вероятности истинно отрицательного результата. Используя приведенные выше примеры:

• Если тестируемый пациент болен заболеванием, тест дает положительный результат в 99% случаев или с вероятностью 0,99.
• Если у проверяемого пациента нет заболевания, тест дает положительный результат в 5% случаев или с вероятностью 0,05.
• Предположим, что только 0,1% населения страдает этим заболеванием, так что случайным образом выбранный пациент имеет априорную вероятность заболевания 0,001.

Пусть A представляет состояние, в котором пациент болен, а B представляет свидетельство положительного результата теста. Тогда вероятность того, что у пациента действительно есть заболевание, при положительном результате теста:

${\displaystyle {\begin{aligned}P(A|\neg B)&={\frac {P(\neg B|A)P(A)}{P(\neg B|A)P(A)+P(\neg B|\neg A)P(\neg A)}}\\\\&={\frac {0.01\times 0.001}{0.01\times 0.001+0.95\times 0.999}}\\~\\&\approx 0.0000105.\end{aligned}}}$

Вероятность того, что отрицательный результат будет истинно отрицательным, составляет 1 - 0,0000105 = 0,9999895 или 99,99%. Поскольку заболевание встречается редко, а соотношение положительных к положительным и высокое соотношение отрицательных к отрицательным, это приведет к большим истинно отрицательным показателям.

Пример работы [ править ]

Рабочий пример

Диагностический тест с чувствительностью 67% и специфичностью 91% применяется к 2030 людям для поиска заболевания с распространенностью в популяции 1,48%.

Связанные расчеты

• Частота ложноположительных результатов (α) = ошибка типа I = 1 - специфичность = FP / (FP + TN) = 180 / (180 + 1820) = 9%
• Частота ложных отрицательных результатов (β) = ошибка типа II = 1 - чувствительность = FN / (TP + FN) = 10 / (20 + 10) ≈ 33%
• Мощность = чувствительность = 1 - β
• Положительное отношение правдоподобия = чувствительность / (1 - специфичность) ≈ 0,67 / (1 - 0,91) ≈ 7,4
• Отношение отрицательного правдоподобия = (1 - чувствительность) / специфичность ≈ (1 - 0,67) / 0,91 ≈ 0,37
• Порог распространенности = ≈ 0,2686 ≈ 26,9%${\displaystyle PT={\frac {{\sqrt {TPR(-TNR+1)}}+TNR-1}{(TPR+TNR-1)}}}$

Этот гипотетический скрининговый тест (анализ кала на скрытую кровь) правильно идентифицировал две трети (66,7%) пациентов с колоректальным раком. ^[a] К сожалению, факторный анализ показателей распространенности показывает, что этот гипотетический тест имеет высокий уровень ложноположительных результатов и не позволяет надежно идентифицировать колоректальный рак в общей популяции бессимптомных людей (PPV = 10%).

С другой стороны, этот гипотетический тест демонстрирует очень точное определение людей, свободных от рака (NPV ≈ 99,5%). Следовательно, при использовании для рутинного скрининга на колоректальный рак у бессимптомных взрослых отрицательный результат дает важные данные для пациента и врача, например, исключение рака как причины желудочно-кишечных симптомов или обнадеживает пациентов, обеспокоенных развитием колоректального рака.

Измерение чувствительности и специфичности классификатора [ править ]

При обучении классификатора можно захотеть измерить его производительность, используя общепринятые показатели чувствительности и специфичности. Может быть поучительно сравнить классификатор со случайным классификатором, который подбрасывает монетку в зависимости от распространенности заболевания. Предположим, что вероятность того, что у человека есть болезнь, равна, а вероятность того, что у него нет . Предположим, что у нас есть случайный классификатор, который догадывается, что пациент болен с такой же вероятностью, и предполагает, что он не болен с такой же вероятностью .${\displaystyle p}$${\displaystyle q=1-p}$${\displaystyle p}$${\displaystyle q}$

Вероятность истинно положительного результата - это вероятность того, что у пациента есть заболевание, умноженная на вероятность того, что случайный классификатор угадает это правильно, или . При аналогичных рассуждениях вероятность ложноотрицательного результата равна . Из приведенных выше определений чувствительность этого классификатора составляет . Используя аналогичные рассуждения, мы можем вычислить специфичность как .${\displaystyle p^{2}}$${\displaystyle pq}$${\displaystyle p^{2}/(p^{2}+pq)=p}$${\displaystyle q^{2}/(q^{2}+pq)=q}$

Таким образом, хотя сам показатель не зависит от распространенности заболевания, эффективность этого случайного классификатора зависит от распространенности заболевания. Классификатор может иметь производительность, аналогичную этому случайному классификатору, но с более взвешенной монетой (более высокая чувствительность и специфичность). Таким образом, на эти показатели может влиять распространенность заболевания. Альтернативным показателем эффективности является коэффициент корреляции Мэтьюза , для которого любой случайный классификатор получит средний балл 0.

Распространение этой концепции на небинарные классификации дает матрицу путаницы .

См. Также [ править ]

• Байесовский классификатор
• Байесовский вывод
• Бинарная классификация
• Правило принятия решения
• Диагностический тест
• Золотой стандарт (тест)
• Функции потерь для классификации
• Медицинский тест
• Чувствительность и специфичность
• Статистическая классификация

Заметки [ править ]

Ссылки [ править ]