Квадратичный классификатор

Эта статья требует дополнительных ссылок для проверки . Пожалуйста, помогите улучшить эту статью , добавив цитаты из надежных источников . Материал, не полученный от источника, может быть оспорен и удален.
Найти источники: «Квадратный классификатор» - новости · газеты · книги · ученый · JSTOR ( декабрь 2009 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

В статистике , квадратичная классификатор представляет собой статистический классификатор , который использует квадратичное решение поверхность для отдельных измерений двух или более классов объектов или событий. Это более общая версия линейного классификатора .

Проблема классификации [ править ]

Статистическая классификация рассматривает набор векторов наблюдений x объекта или события, каждый из которых имеет известный тип y . Этот набор называется обучающим набором . Тогда проблема состоит в том, чтобы определить для данного нового вектора наблюдения, каким должен быть лучший класс. Для квадратичного классификатора предполагается, что правильное решение квадратично по измерениям, поэтому y будет определяться на основе

{\ displaystyle \ mathbf {x ^ {T} Ax} + \ mathbf {b ^ {T} x} + c}

В частном случае , когда каждое наблюдение состоит из двух измерений, это означает , что поверхности , разделяющие классы будут конические сечения ( т.е. либо с линией , А круг или эллипс , А парабола или гипербола ). В этом смысле мы можем утверждать, что квадратичная модель является обобщением линейной модели, и ее использование оправдано желанием расширить возможности классификатора для представления более сложных разделяющих поверхностей.

Квадратичный дискриминантный анализ [ править ]

Квадратичный дискриминантный анализ (QDA) тесно связан с линейным дискриминантным анализом (LDA), где предполагается, что измерения каждого класса имеют нормальное распределение . ^[1] Однако, в отличие от LDA, в QDA нет предположения, что ковариация каждого из классов идентична. ^[2] Когда предположение нормальности верно, наилучшим возможным тестом для гипотезы о том, что данное измерение принадлежит данному классу, является тест отношения правдоподобия . Предположим, что есть только две группы, (так ), и средние значения каждого класса определены как равные, а ковариации определены как . Тогда отношение правдоподобия будет равно ${\ Displaystyle у \ в \ {0,1 \}}$ ${\ displaystyle \ mu _ {y = 0}, \ mu _ {y = 1}}$ ${\ Displaystyle \ Sigma _ {y = 0}, \ Sigma _ {y = 1}}$

Отношение правдоподобия =

{\ displaystyle {\ frac {{\ sqrt {| 2 \ pi \ Sigma _ {y = 1} |}} ^ {- 1} \ exp \ left (- {\ frac {1} {2}} (x- \ mu _ {y = 1}) ^ {T} \ Sigma _ {y = 1} ^ {- 1} (x- \ mu _ {y = 1}) \ right)} {{\ sqrt {| 2 \ pi \ Sigma _ {y = 0} |}} ^ {- 1} \ exp \ left (- {\ frac {1} {2}} (x- \ mu _ {y = 0}) ^ {T} \ Сигма _ {y = 0} ^ {- 1} (x- \ mu _ {y = 0}) \ right)}} <t}

за какой-то порог . После некоторой перестановки можно показать, что результирующая разделяющая поверхность между классами является квадратичной. Выборочные оценки среднего вектора и матриц ковариации и дисперсии заменят величины генеральной совокупности в этой формуле. $t$

Другое [ править ]

Хотя QDA является наиболее часто используемым методом получения классификатора, возможны и другие методы. Одним из таких методов является создание более длинного вектора измерений из старого путем добавления всех попарных произведений отдельных измерений. Например, вектор

[x_{1},\;x_{2},\;x_{3}]

станет

[x_{1},\;x_{2},\;x_{3},\;x_{1}^{2},\;x_{1}x_{2},\;x_{1}x_{3},\;x_{2}^{2},\;x_{2}x_{3},\;x_{3}^{2}]

.

Тогда поиск квадратичного классификатора для исходных измерений стал бы таким же, как поиск линейного классификатора, основанного на расширенном векторе измерений. Это наблюдение было использовано при расширении моделей нейронных сетей; ^[3] «круговой» случай, который соответствует введению только суммы чистых квадратичных членов без смешанных произведений ( ), оказался оптимальным компромиссом между расширением возможностей представления классификатора и контролем риска переобучения ( Vapnik- Измерение Червоненкиса ). ^[4] $\;x_{1}^{2}+x_{2}^{2}+x_{3}^{2}\;\ldots \;$ $\;x_{1}x_{2},\;x_{1}x_{3}\;\ldots \;$

Для линейных классификаторов, основанных только на скалярных произведениях , эти расширенные измерения не нужно фактически вычислять, поскольку скалярное произведение в многомерном пространстве просто связано с таковым в исходном пространстве. Это пример так называемого трюка с ядром , который можно применить как к линейному дискриминантному анализу, так и к машине опорных векторов .

Ссылки [ править ]

^ Tharwat, Аля (2016). «Классификатор линейного и квадратичного дискриминантного анализа: учебное пособие» . Международный журнал прикладного распознавания образов . 3 (2): 145. DOI : 10,1504 / IJAPR.2016.079050 . ISSN 2049-887X .
^ "Линейный и квадратичный дискриминантный анализ · Руководство по программированию UC Business Analytics R" . uc-r.github.io . Проверено 29 марта 2020 .
^ Обложка TM (1965). «Геометрические и статистические свойства систем линейных неравенств с приложениями в распознавании образов». Транзакции IEEE на электронных компьютерах . ИС-14 (3): 326–334. DOI : 10,1109 / pgec.1965.264137 .
^ Ridella S, S Rovetta, Дзунино R (1997). «Круговые сети обратного распространения для классификации». IEEE-транзакции в нейронных сетях . 8 (1): 84–97. DOI : 10.1109 / 72.554194 . PMID 18255613 . href IEEE: [1] .

Источники:

Сатьянараяна, Шаши (2010). «Праймер для распознавания образов II» . Демонстрационный проект Вольфрама .

[1] Tharwat, Аля (2016). «Классификатор линейного и квадратичного дискриминантного анализа: учебное пособие» . Международный журнал прикладного распознавания образов . 3 (2): 145. DOI : 10,1504 / IJAPR.2016.079050 . ISSN 2049-887X .

[2] "Линейный и квадратичный дискриминантный анализ · Руководство по программированию UC Business Analytics R" . uc-r.github.io . Проверено 29 марта 2020 .

[3] Обложка TM (1965). «Геометрические и статистические свойства систем линейных неравенств с приложениями в распознавании образов». Транзакции IEEE на электронных компьютерах . ИС-14 (3): 326–334. DOI : 10,1109 / pgec.1965.264137 .

[4] Ridella S, S Rovetta, Дзунино R (1997). «Круговые сети обратного распространения для классификации». IEEE-транзакции в нейронных сетях . 8 (1): 84–97. DOI : 10.1109 / 72.554194 . PMID 18255613 . href IEEE: [1] .

[1]