Усредненные оценки с одной зависимостью

Усредненные оценки с одной зависимостью ( AODE ) - это метод обучения вероятностной классификации . Он был разработан для решения проблемы независимости атрибутов популярного наивного байесовского классификатора . Он часто разрабатывает существенно более точные классификаторы, чем наивный байесовский классификатор, за счет небольшого увеличения объема вычислений. ^[1]

Классификатор AODE [ править ]

AODE пытается оценить вероятность каждого класса y при заданном наборе характеристик x ₁ , ... x _n , P ( y | x ₁ , ... x _n ). Для этого используется формула

${\ displaystyle {\ hat {P}} (y ​​\ mid x_ {1}, \ ldots x_ {n}) = {\ frac {\ sum _ {i: 1 \ leq i \ leq n \ wedge F (x_ { i}) \ geq m} {\ hat {P}} (y, x_ {i}) \ prod _ {j = 1} ^ {n} {\ hat {P}} (x_ {j} \ mid y, x_ {i})} {\ sum _ {y ^ {\ prime} \ in Y} \ sum _ {i: 1 \ leq i \ leq n \ wedge F (x_ {i}) \ geq m} {\ hat {P}} (y ​​^ {\ prime}, x_ {i}) \ prod _ {j = 1} ^ {n} {\ hat {P}} (x_ {j} \ mid y ^ {\ prime}, x_ {i})}}}$

где обозначает оценку , - частота, с которой аргумент появляется в выборочных данных, а m - заданная пользователем минимальная частота, с которой должен появляться термин, чтобы его можно было использовать во внешнем суммировании. В последнее время m обычно устанавливается равным 1.${\ Displaystyle {\ шляпа {P}} (\ cdot)}$${\ Displaystyle Р (\ cdot)}$${\ Displaystyle F (\ cdot)}$

Вывод классификатора AODE [ править ]

Мы стремимся оценить P ( y | x ₁ , ... x _n ). По определению условной вероятности

${\ Displaystyle P (y \ mid x_ {1}, \ ldots x_ {n}) = {\ frac {P (y, x_ {1}, \ ldots x_ {n})} {P (x_ {1}, \ ldots x_ {n})}}.}$

Для любого ,${\ Displaystyle 1 \ Leq я \ Leq п}$

${\ Displaystyle P (y, x_ {1}, \ ldots x_ {n}) = P (y, x_ {i}) P (x_ {1}, \ ldots x_ {n} \ mid y, x_ {i} ).}$

В предположении, что x ₁ , ... x _n независимы при заданных y и x _i , отсюда следует, что

${\displaystyle P(y,x_{1},\ldots x_{n})=P(y,x_{i})\prod _{j=1}^{n}P(x_{j}\mid y,x_{i}).}$

Эта формула определяет специальную форму Одной оценки зависимости (ODE), вариант наивного байесовского классификатора, который делает вышеупомянутое предположение независимости, которое является более слабым (и, следовательно, потенциально менее вредным), чем наивное предположение независимости Байеса. Как следствие, каждое ОДУ должно создавать менее предвзятую оценку, чем наивный байесовский метод. Однако, поскольку каждая базовая оценка вероятности обусловлена ​​двумя переменными, а не одной, они формируются из меньшего количества данных (обучающие примеры, удовлетворяющие обеим переменным) и, следовательно, вероятно, будут иметь большую дисперсию. AODE уменьшает эту дисперсию путем усреднения оценок всех таких ODE.

Особенности классификатора AODE [ править ]

Как и наивный байесовский метод, AODE не выполняет выбор модели и не использует настраиваемые параметры. В результате он имеет низкую дисперсию. Он поддерживает инкрементное обучение, благодаря которому классификатор может эффективно обновляться информацией из новых примеров по мере их появления. Он предсказывает вероятности классов, а не просто предсказывает один класс, позволяя пользователю определить уверенность, с которой может быть произведена каждая классификация. Его вероятностная модель может напрямую обрабатывать ситуации, когда некоторые данные отсутствуют.

AODE имеет вычислительную сложность во время обучения и во время классификации, где n - количество функций, l - количество обучающих примеров, а k - количество классов. Это делает его неприменимым к многомерным данным. Однако в рамках этого ограничения он линейен по отношению к количеству обучающих примеров и, следовательно, может эффективно обрабатывать большое количество обучающих примеров.${\displaystyle O(ln^{2})}$${\displaystyle O(kn^{2})}$

Реализации [ править ]

Бесплатный набор машинного обучения Weka включает реализацию AODE.

См. Также [ править ]

• Кластерно-взвешенное моделирование

Эта статья требует дополнительных ссылок для проверки . Пожалуйста, помогите улучшить эту статью , добавив цитаты из надежных источников . Материал, не полученный от источника, может быть оспорен и удален. Найти источники:  «Усредненные оценки одной зависимости»  -  новости  · газеты  · книги  · ученый  · JSTOR ( март 2011 г. ) ( Узнайте, как и когда удалить это сообщение-шаблон )

Ссылки [ править ]