Вектор релевантности

Машинное обучение и интеллектуальный анализ данных
Часть серии по

Проблемы Классификация Кластеризация Регресс Обнаружение аномалий AutoML Правила ассоциации Обучение с подкреплением Структурированный прогноз Функциональная инженерия Особенности обучения Онлайн обучение Полу-контролируемое обучение Обучение без учителя Учимся ранжировать Введение в грамматику
Обучение с учителем ( классификация • регрессия ) Деревья решений Ансамбли Упаковка Повышение Случайный лес k -NN Линейная регрессия Наивный байесовский Искусственные нейронные сети Логистическая регрессия Перцептрон Вектор релевантности (RVM) Машина опорных векторов (SVM)
Кластеризация БЕРЕЗА ИЗЛЕЧИВАТЬ Иерархический k -средство Ожидание – максимизация (EM) DBSCAN ОПТИКА Средний сдвиг
Снижение размерности Факторный анализ CCA ICA LDA NMF PCA PGD t-SNE
Структурированный прогноз Графические модели Сеть Байеса Условное случайное поле Скрытый Марков
Обнаружение аномалий k -NN Фактор местного выброса
Искусственная нейронная сеть Автоэнкодер Когнитивные вычисления Глубокое обучение DeepDream Многослойный перцептрон RNN LSTM ГРУ ESN Ограниченная машина Больцмана GAN SOM Сверточная нейронная сеть U-Net Трансформатор Пиковая нейронная сеть Мемтранзистор Электрохимическая RAM (ECRAM)
Обучение с подкреплением Q-обучение SARSA Временная разница (TD)
Теория Компромисс смещения и дисперсии Теория вычислительного обучения Минимизация эмпирического риска Обучение Оккама PAC обучение Статистическое обучение Теория ВК
Площадки для машинного обучения NeurIPS ICML ML JMLR ArXiv: cs.LG
Статьи по Теме Глоссарий искусственного интеллекта Список наборов данных для исследований в области машинного обучения Краткое описание машинного обучения
v т е

В математике , Релевантность Vector Machine (РВМ) является машинным обучением метод , который использует байесовский вывод для получения экономных решений для регрессии и вероятностной классификации . ^[1] RVM имеет идентичную функциональную форму с машиной опорных векторов , но обеспечивает вероятностную классификацию.

Фактически это эквивалентно модели гауссовского процесса с функцией ковариации :

k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})

где - функция ядра (обычно гауссова), - дисперсии априорного вектора весового коэффициента и - входные векторы обучающего набора . ^[2] $\varphi$ $\alpha _{j}$ $w\sim N(0,\alpha ^{-1}I)$ $\mathbf {x} _{1},\ldots ,\mathbf {x} _{N}$

По сравнению с машинами опорных векторов (SVM), байесовская формулировка RVM избегает набора свободных параметров SVM (которые обычно требуют пост-оптимизаций на основе перекрестной проверки). Однако RVM используют метод обучения, подобный максимизации ожидания (EM), и поэтому подвержены риску достижения локальных минимумов. Это отличается от стандартных алгоритмов на основе последовательной минимальной оптимизации (SMO), используемых SVM , которые гарантированно находят глобальный оптимум (выпуклой задачи).

Вектор релевантности запатентован в США компанией Microsoft (срок действия патента истек 4 сентября 2019 г.). ^[3]

См. Также [ править ]

Уловка ядра
Масштабирование Платта : превращает SVM в вероятностную модель

Ссылки [ править ]

^ Типпинг, Майкл Э. (2001). «Редкое байесовское обучение и вектор релевантности» . Журнал исследований в области машинного обучения . 1 : 211–244.
^ Кандела, Хоакин Киньонеро (2004). «Разреженные вероятностные линейные модели и RVM». Обучение с неопределенностью - гауссовские процессы и векторные машины релевантности (PDF) (доктор философии). Технический университет Дании . Проверено 22 апреля 2016 года .
^ США 6633857 , Michael E. Чаевые, "Актуальность вектор машина"

Программное обеспечение [ править ]

dlib Библиотека C ++
Ядро-машинная библиотека
rvmbinary : пакет R для двоичной классификации
scikit-rvm
fast-scikit-rvm , руководство по rvm

Внешние ссылки [ править ]

Веб-страница Типпинга о разреженных байесовских моделях и RVM
Учебник по RVM от Тристана Флетчера
Прикладной учебник по RVM
Сравнение RVM и SVM

[1] Типпинг, Майкл Э. (2001). «Редкое байесовское обучение и вектор релевантности» . Журнал исследований в области машинного обучения . 1 : 211–244.

[2] Кандела, Хоакин Киньонеро (2004). «Разреженные вероятностные линейные модели и RVM». Обучение с неопределенностью - гауссовские процессы и векторные машины релевантности (PDF) (доктор философии). Технический университет Дании . Проверено 22 апреля 2016 года .

[3] США 6633857 , Michael E. Чаевые, "Актуальность вектор машина"