Одноклассовая классификация

В машинном обучении , один класс классификация ( OCC ), также известные как одноместный классификация или класс-моделирование , пытается идентифицировать объекты определенного класса среди всех объектов, по прежде все обучения из обучающего набора , содержащей только объекты этого класса, ^{[ 1],} хотя существуют варианты одноклассных классификаторов, в которых контрпримеры используются для дальнейшего уточнения границ классификации. Это отличается от традиционной задачи классификации , которая пытается различатьдва и более класса с обучающей выборкой, содержащей объекты из всех классов. Примеры включают мониторинг коробок передач вертолетов, ^[2]^[3]^[4] прогноз отказа двигателя, ^[5] или рабочее состояние атомной станции как «нормальное»: ^[6] В этом сценарии их мало, если таковые имеются. , примеры катастрофических состояний системы; известна только статистика нормальной работы.

Хотя многие из вышеперечисленных подходов сосредоточены на случае удаления небольшого количества выбросов или аномалий, можно также изучить другую крайность, когда один класс охватывает небольшое согласованное подмножество данных, используя подход информационного узкого места . ^[7]

Обзор [ править ]

Термин один класс классификация (ОКК) была придумана Moya & Hush (1996) ^[8] и многие приложения можно найти в научной литературе, например , обнаружение выбросов , обнаружение аномалий , новизна обнаружение . Особенностью OCC является то, что он использует только точки выборки из назначенного класса, так что репрезентативная выборка строго не требуется для нецелевых классов. ^[9]

Введение [ править ]

Гиперсфера, содержащая целевые данные, имеет центр a и радиус R. Объекты на границе являются опорными векторами, а два объекта лежат за пределами границы с зазором больше 0.

Одноклассовая классификация (OCC) на основе SVM основана на идентификации самой маленькой гиперсферы (с радиусом r и центром c), состоящей из всех точек данных. ^[10] Этот метод называется описанием опорных векторных данных (SVDD). Формально проблема может быть определена в следующей форме ограниченной оптимизации:

{\ displaystyle \ min _ {r, c} r ^ {2} {\ text {при условии,}} || \ Phi (x_ {i}) - c || ^ {2} \ leq r ^ {2} \; \; \ forall i = 1,2, ..., n}

Однако приведенная выше формулировка очень ограничительна и чувствительна к наличию выбросов. Поэтому гибкая формулировка, учитывающая наличие выбросов, сформулирована, как показано ниже.

${\ displaystyle \ min _ {r, c, \ zeta} r ^ {2} + {\ frac {1} {\ nu n}} \ sum _ {i = 1} ^ {n} \ zeta _ {i} }$

${\text{subject to, }}||\Phi (x_{i})-c||^{2}\leq r^{2}+\zeta _{i}\;\;\forall i=1,2,...,n$

Из условий оптимальности Каруша-Куна-Таккера (ККТ) получаем

$c=\sum _{i=1}^{n}\alpha _{i}\Phi (x_{i}),$

где - решение следующей задачи оптимизации: $\alpha _{i}$

$\max _{\alpha }\sum _{i=1}^{n}\alpha _{i}\kappa (x_{i},x_{i})-\sum _{i,j=1}^{n}\alpha _{i}\alpha _{j}\kappa (x_{i},x_{j})$

при условии, $\sum _{i=1}^{n}\alpha _{i}=1{\text{ and }}0\leq \alpha _{i}\leq {\frac {1}{\nu n}}{\text{for all }}i=1,2,...,n.$

Введение функции ядра обеспечивает дополнительную гибкость алгоритму One-class SVM (OSVM). ^[11]

Обучение PU [ править ]

Похожая проблема - это обучение PU , при котором двоичный классификатор обучается полу-контролируемым способом только из положительных и немаркированных точек выборки. ^[12]

При обучении PU предполагается, что для обучения доступны два набора примеров: положительный набор и смешанный набор , который, как предполагается, содержит как положительные, так и отрицательные образцы, но без их маркировки. Это контрастирует с другими формами полууправляемого обучения, где предполагается, что в дополнение к немаркированным образцам доступен помеченный набор, содержащий примеры обоих классов. Существует множество методов адаптации контролируемых классификаторов к настройке обучения PU, включая варианты алгоритма EM . Обучение PU было успешно применено к тексту , ^[13]^[14]^[15] временным рядам, ^[16] задачам биоинформатики , $P$ $U$ ^[17]^[18] и данные дистанционного зондирования. ^[19]

Подходы [ править ]

Было предложено несколько подходов к решению одноклассовой классификации (ОКК). Подходы можно разделить на три основные категории: оценка плотности , граничные методы и методы реконструкции . ^[6]

Методы оценки плотности [ править ]

Методы оценки плотности основаны на оценке плотности точек данных и установке порога. Эти методы основаны на предположении распределений, таких как распределение Гаусса или Пуассона . После чего тесты на несогласованность могут быть использованы для тестирования новых объектов. Эти методы устойчивы к масштабной дисперсии.

Гауссовская модель ^[20] - один из самых простых способов создания одноклассных классификаторов. В соответствии с центральной предельной теоремой (CLT), ^[21] эти методы работают лучше всего, когда присутствует большое количество выборок, и они нарушаются небольшими независимыми значениями ошибок. Распределение вероятностей для d-мерного объекта определяется выражением:

$p_{\mathcal {N}}(x;\mu ;\Sigma )={\frac {1}{(2\pi )^{\frac {d}{2}}|\Sigma |^{\frac {1}{2}}}}\exp\{-{\frac {1}{2}}(z-\mu )^{T}\Sigma ^{-1}(z-\mu )\}$

Где, - среднее значение, а - ковариационная матрица. Вычисление инверсии ковариационной матрицы ( ) является самой затратной операцией, и в случаях, когда данные не масштабируются должным образом или данные имеют сингулярные направления, псевдообратное направление используется для аппроксимации инверсии и вычисляется как . ^[22] $\mu$ $\Sigma$ $\Sigma ^{-1}$ $\Sigma ^{+}$ $\Sigma ^{T}(\Sigma \Sigma ^{T})^{-1}$

Граничные методы [ править ]

Методы определения границ фокусируются на установке границ вокруг нескольких наборов точек, называемых целевыми точками. Эти методы пытаются оптимизировать громкость. Граничные методы зависят от расстояний и, следовательно, не устойчивы к масштабной дисперсии. Ключевыми примерами являются метод K-центров, NN-d и SVDD.

K-центры

В алгоритме K-center ^[23] маленькие шары с одинаковым радиусом размещаются, чтобы минимизировать максимальное из всех минимальных расстояний между обучающими объектами и центрами. Формально минимизируется следующая ошибка: $k$

$\varepsilon _{k-center}=\max _{i}(\min _{k}||x_{i}-\mu _{k}||^{2})$

Алгоритм использует метод прямого поиска со случайной инициализацией, где радиус определяется максимальным расстоянием до объекта, который должен захватить любой заданный мяч. После определения центров для любого заданного тестового объекта расстояние можно рассчитать как $z$

$d_{k-centr}(z)=\min _{k}||z-\mu _{k}||^{2}$

Методы реконструкции [ править ]

Методы реконструкции используют предшествующие знания и процесс генерации для построения генерирующей модели, которая наилучшим образом соответствует данным. Новые объекты можно описать в терминах состояния генерирующей модели. Некоторые примеры методов реконструкции для OCC: кластеризация k-средних, квантование вектора обучения, самоорганизующиеся карты и т. Д.

Приложения [ править ]

Классификация документов [ править ]

Базовая парадигма машины опорных векторов (SVM) обучается как на положительных, так и на отрицательных примерах, однако исследования показали, что есть много веских причин для использования только положительных примеров. Когда алгоритм SVM изменен для использования только положительных примеров, процесс считается одноклассной классификацией. Одна из ситуаций, когда этот тип классификации может оказаться полезным для парадигмы SVM, - это попытка идентифицировать интересующие сайты веб-браузера только на основе истории просмотров пользователя.

Биомедицинские исследования [ править ]

Одноклассовая классификация может быть особенно полезна в биомедицинских исследованиях, где часто бывает трудно или невозможно получить данные из других классов. При изучении биомедицинских данных может быть сложно и / или дорого получить набор помеченных данных из второго класса, который был бы необходим для выполнения двухклассовой классификации. Исследование The Scientific World Journal показало, что подход типичности является наиболее полезным при анализе биомедицинских данных, поскольку его можно применять к любому типу набора данных (непрерывному, дискретному или номинальному). ^[24] Подход типичности основан на кластеризации данных путем изучения данных и помещения их в новые или существующие кластеры. ^[25] Чтобы применить типичность к одноклассной классификации для биомедицинских исследований, каждое новое наблюдение, $y_{0}$ , сравнивается с целевым классом и идентифицируется как выброс или член целевого класса. ^[24] $C$

Неконтролируемое обнаружение дрейфа концептов [ править ]

Одноклассовая классификация имеет сходство с неконтролируемым обнаружением дрейфа концепций, где обе цели направлены на определение того, имеют ли невидимые данные общие характеристики с исходными данными. Концепция называется фиксированным распределением вероятностей, из которого берутся данные. При неконтролируемом обнаружении дрейфа концепций цель состоит в том, чтобы определить, изменяется ли распределение данных без использования меток классов. В одноклассной классификации поток данных не важен. Невидимые данные классифицируются как типичные или выпадающие в зависимости от их характеристик, независимо от того, взяты они из первоначальной концепции или нет. Однако неконтролируемое обнаружение дрейфа отслеживает поток данных и сигнализирует о дрейфе, если есть значительное количество изменений или аномалий. Неконтролируемое обнаружение дрейфа концепций можно определить как непрерывную форму одноклассной классификации.^[26] Одноклассовые классификаторы используются для обнаружения смещения концепций. ^[27]

См. Также [ править ]

Мультиклассовая классификация
Обнаружение аномалий
Контролируемое обучение

Ссылки [ править ]

Перейти ↑ Oliveri P (август 2017). «Класс-моделирование в пищевой аналитической химии: вопросы разработки, отбора проб, оптимизации и проверки - Учебное пособие». Analytica Chimica Acta . 982 : 9–19. DOI : 10.1016 / j.aca.2017.05.013 . PMID 28734370 .
^ Japkowicz Н, Майерс С, Глюк М (1995). «Подход обнаружения новизны к классификации». IJCAI-95. CiteSeerX 10.1.1.40.3663 . Cite journal requires |journal= (help)
^ Japkowicz N (1999). Концептуальное обучение в отсутствие контрпримеров: подход к классификации на основе автоассоциации (тезис). Университет Рутгерса.
^ Japkowicz N (2001). «Контролируемое и неконтролируемое двоичное обучение с помощью нейронных сетей с прямой связью» (PDF) . Машинное обучение . 42 : 97–122. DOI : 10,1023 / A: 1007660820062 . S2CID 7298189 .
^ Petsche Т, Маркантонио А, Темнее С, Hanson S, G Куна, Santoso I (1996). "Автоассоциатор нейронной сети для прогнозирования отказа асинхронного двигателя" (PDF) . НИПС.
^ а б Налог D (2001). Одноклассовая классификация: концептуальное обучение без контрпримеров (PDF) (кандидатская диссертация). Нидерланды: Делфтский университет.
^ Crammer, Коби (2004). «Иголка в стоге сена: локальная одноклассная оптимизация» . ICML Труды двадцать первой Международной конференции по вопросам машинного обучения : 26. DOI : 10,1145 / 1015330.1015399 . S2CID 8736254 .
^ Моя, М .; Тишина, Д. (1996). «Сетевые ограничения и многокритериальная оптимизация для одноклассной классификации». Нейронные сети . 9 (3): 463–474. DOI : 10.1016 / 0893-6080 (95) 00120-4 .
^ Родионова OY, Oliveri P, Померанцев А.Л. (2016-12-15). «Строгие и последовательные подходы к одноклассной классификации». Хемометрика и интеллектуальные лабораторные системы . 159 : 89–96. DOI : 10.1016 / j.chemolab.2016.10.002 .
^ Зинеб, Нумир; Honeine, Пол; Ричард, Седью (2012). «О простых одноклассных методах классификации». IEEE International Symposium on Information Theory Proceedings . IEEE, 2012.
^ Хан, Shehroz S .; Мэдден, Майкл Г. (2010). Койл, Лоркан; Фрейн, Джилл (ред.). «Обзор последних тенденций в классификации одного класса». Искусственный интеллект и когнитивная наука . Конспект лекций по информатике. Springer Berlin Heidelberg. 6206 : 188–197. DOI : 10.1007 / 978-3-642-17080-5_21 . hdl : 10379/1472 . ISBN 9783642170805.
^ Лю, Бинг (2007). Веб-интеллектуальный анализ данных . Springer. С. 165–178.
^ Бин Лю; Ви Сун Ли; Филип С. Ю и Сяо-Ли Ли (2002). Частично контролируемая классификация текстовых документов . ICML. С. 8–12.
^ Хванджо Ю; Цзявэй Хан; Кевин Чен-Чуан Чанг (2002). PEBL: обучение на основе положительных примеров для классификации веб-страниц с использованием SVM . ACM SIGKDD.
↑ Сяо-Ли Ли и Бинг Лю (2003). Учимся классифицировать текст, используя положительные и немаркированные данные . IJCAI.
^ Минь Нхут Нгуен; Сяо-Ли Ли и Си-Кюн Нг (2011). Позитивное немаркированное обучение для классификации временных рядов . IJCAI.
^ Пэн Ян; Сяо-Ли Ли; Цзянь-Пин Мэй; Chee-Keong Kwoh и See-Kiong Ng (2012). Позитивно-немаркированное обучение для идентификации генов болезни . Биоинформатика, Том 28 (20).
^ Багнон, Лос-Анджелес; Yones, C .; Милон Д.Х. и Стегмайер Г. (2020). «Общегеномное открытие пре-миРНК: сравнение последних подходов, основанных на машинном обучении». Оксфордская биоинформатика . DOI : 10.1093 / нагрудник / bbaa184 . PMID 32814347 .
^ Li, W .; Guo, Q .; Элкан, К. (февраль 2011 г.). «Позитивный и немаркированный алгоритм обучения для одноклассной классификации данных дистанционного зондирования». IEEE Transactions по наукам о Земле и дистанционному зондированию . 49 (2): 717–725. Bibcode : 2011ITGRS..49..717L . DOI : 10,1109 / TGRS.2010.2058578 . ISSN 0196-2892 . S2CID 267120 .
^ Епископ, Кристофер М .; Бишоп, профессор нейронных вычислений Кристофер М. (1995-11-23). Нейронные сети для распознавания образов . Кларендон Пресс. ISBN 9780198538646.
^ R, Ульман Нил (2017-01-01). «Элементарная статистика» . Cite journal requires |journal= (help)
^ «Введение в прикладную математику» . Книжный магазин СИАМ . Проверено 29 апреля 2019 .
^ Ипма, Александр; Duin, Роберт PW (1998). Никлассон, Ларс; Боден, Микаэль; Зиемке, Том (ред.). «Опорные объекты для аппроксимации предметной области». Icann 98 . Перспективы нейронных вычислений. Springer London: 719–724. DOI : 10.1007 / 978-1-4471-1599-1_110 . ISBN 9781447115991.
^ a b Irigoien I, Sierra B, Arenas C (2014). «К применению методов одноклассной классификации медицинских данных» . Журнал "Научный мир" . 2014 : 730712. дои : 10,1155 / 2014/730712 . PMC 3980920 . PMID 24778600 .
^ Irigoien I, Аренас C (июль 2008). «INCA: новая статистика для оценки количества кластеров и выявления атипичных единиц». Статистика в медицине . 27 (15): 2948–73. DOI : 10.1002 / sim.3143 . PMID 18050154 .
^ Gözüaçık Омер; Кан, Фазли (ноябрь 2020 г.). «Изучение концепции с использованием одноклассников для неявного обнаружения дрейфа в развивающихся потоках данных» . Обзор искусственного интеллекта . DOI : 10.1007 / s10462-020-09939-х . Проверено 8 декабря 2020 .
^ Кравчик, Бартош; Возняк, Михал (2015). «Универсальные классификаторы с постепенным обучением и забыванием для потоков данных с изменением концепций» . Мягкие вычисления . 19 (12): 3387–3400. DOI : 10.1007 / s00500-014-1492-5 . S2CID 207011971 . Проверено 8 декабря 2020 .

[1] Перейти ↑ Oliveri P (август 2017). «Класс-моделирование в пищевой аналитической химии: вопросы разработки, отбора проб, оптимизации и проверки - Учебное пособие». Analytica Chimica Acta . 982 : 9–19. DOI : 10.1016 / j.aca.2017.05.013 . PMID 28734370 .

[2] Japkowicz Н, Майерс С, Глюк М (1995). «Подход обнаружения новизны к классификации». IJCAI-95. CiteSeerX 10.1.1.40.3663 . Cite journal requires |journal= (help)

[3] Japkowicz N (1999). Концептуальное обучение в отсутствие контрпримеров: подход к классификации на основе автоассоциации (тезис). Университет Рутгерса.

[4] Japkowicz N (2001). «Контролируемое и неконтролируемое двоичное обучение с помощью нейронных сетей с прямой связью» (PDF) . Машинное обучение . 42 : 97–122. DOI : 10,1023 / A: 1007660820062 . S2CID 7298189 .

[5] Petsche Т, Маркантонио А, Темнее С, Hanson S, G Куна, Santoso I (1996). "Автоассоциатор нейронной сети для прогнозирования отказа асинхронного двигателя" (PDF) . НИПС.

[:1-6] а б Налог D (2001). Одноклассовая классификация: концептуальное обучение без контрпримеров (PDF) (кандидатская диссертация). Нидерланды: Делфтский университет.

[7] Crammer, Коби (2004). «Иголка в стоге сена: локальная одноклассная оптимизация» . ICML Труды двадцать первой Международной конференции по вопросам машинного обучения : 26. DOI : 10,1145 / 1015330.1015399 . S2CID 8736254 .

[8] Моя, М .; Тишина, Д. (1996). «Сетевые ограничения и многокритериальная оптимизация для одноклассной классификации». Нейронные сети . 9 (3): 463–474. DOI : 10.1016 / 0893-6080 (95) 00120-4 .

[9] Родионова OY, Oliveri P, Померанцев А.Л. (2016-12-15). «Строгие и последовательные подходы к одноклассной классификации». Хемометрика и интеллектуальные лабораторные системы . 159 : 89–96. DOI : 10.1016 / j.chemolab.2016.10.002 .

[10] Зинеб, Нумир; Honeine, Пол; Ричард, Седью (2012). «О простых одноклассных методах классификации». IEEE International Symposium on Information Theory Proceedings . IEEE, 2012.

[11] Хан, Shehroz S .; Мэдден, Майкл Г. (2010). Койл, Лоркан; Фрейн, Джилл (ред.). «Обзор последних тенденций в классификации одного класса». Искусственный интеллект и когнитивная наука . Конспект лекций по информатике. Springer Berlin Heidelberg. 6206 : 188–197. DOI : 10.1007 / 978-3-642-17080-5_21 . hdl : 10379/1472 . ISBN 9783642170805.

[12] Лю, Бинг (2007). Веб-интеллектуальный анализ данных . Springer. С. 165–178.

[13] Бин Лю; Ви Сун Ли; Филип С. Ю и Сяо-Ли Ли (2002). Частично контролируемая классификация текстовых документов . ICML. С. 8–12.

[14] Хванджо Ю; Цзявэй Хан; Кевин Чен-Чуан Чанг (2002). PEBL: обучение на основе положительных примеров для классификации веб-страниц с использованием SVM . ACM SIGKDD.

[15] Сяо-Ли Ли и Бинг Лю (2003). Учимся классифицировать текст, используя положительные и немаркированные данные . IJCAI.

[16] Минь Нхут Нгуен; Сяо-Ли Ли и Си-Кюн Нг (2011). Позитивное немаркированное обучение для классификации временных рядов . IJCAI.

[17] Пэн Ян; Сяо-Ли Ли; Цзянь-Пин Мэй; Chee-Keong Kwoh и See-Kiong Ng (2012). Позитивно-немаркированное обучение для идентификации генов болезни . Биоинформатика, Том 28 (20).

[18] Багнон, Лос-Анджелес; Yones, C .; Милон Д.Х. и Стегмайер Г. (2020). «Общегеномное открытие пре-миРНК: сравнение последних подходов, основанных на машинном обучении». Оксфордская биоинформатика . DOI : 10.1093 / нагрудник / bbaa184 . PMID 32814347 .

[19] Li, W .; Guo, Q .; Элкан, К. (февраль 2011 г.). «Позитивный и немаркированный алгоритм обучения для одноклассной классификации данных дистанционного зондирования». IEEE Transactions по наукам о Земле и дистанционному зондированию . 49 (2): 717–725. Bibcode : 2011ITGRS..49..717L . DOI : 10,1109 / TGRS.2010.2058578 . ISSN 0196-2892 . S2CID 267120 .

[20] Епископ, Кристофер М .; Бишоп, профессор нейронных вычислений Кристофер М. (1995-11-23). Нейронные сети для распознавания образов . Кларендон Пресс. ISBN 9780198538646.

[21] R, Ульман Нил (2017-01-01). «Элементарная статистика» . Cite journal requires |journal= (help)

[22] «Введение в прикладную математику» . Книжный магазин СИАМ . Проверено 29 апреля 2019 .

[23] Ипма, Александр; Duin, Роберт PW (1998). Никлассон, Ларс; Боден, Микаэль; Зиемке, Том (ред.). «Опорные объекты для аппроксимации предметной области». Icann 98 . Перспективы нейронных вычислений. Springer London: 719–724. DOI : 10.1007 / 978-1-4471-1599-1_110 . ISBN 9781447115991.

[:0-24] Irigoien I, Sierra B, Arenas C (2014). «К применению методов одноклассной классификации медицинских данных» . Журнал "Научный мир" . 2014 : 730712. дои : 10,1155 / 2014/730712 . PMC 3980920 . PMID 24778600 .

[25] Irigoien I, Аренас C (июль 2008). «INCA: новая статистика для оценки количества кластеров и выявления атипичных единиц». Статистика в медицине . 27 (15): 2948–73. DOI : 10.1002 / sim.3143 . PMID 18050154 .

[26] Gözüaçık Омер; Кан, Фазли (ноябрь 2020 г.). «Изучение концепции с использованием одноклассников для неявного обнаружения дрейфа в развивающихся потоках данных» . Обзор искусственного интеллекта . DOI : 10.1007 / s10462-020-09939-х . Проверено 8 декабря 2020 .

[27] Кравчик, Бартош; Возняк, Михал (2015). «Универсальные классификаторы с постепенным обучением и забыванием для потоков данных с изменением концепций» . Мягкие вычисления . 19 (12): 3387–3400. DOI : 10.1007 / s00500-014-1492-5 . S2CID 207011971 . Проверено 8 декабря 2020 .

[ 1],