Графическая модель

Машинное обучение и интеллектуальный анализ данных
Часть серии по

Проблемы Классификация Кластеризация Регресс Обнаружение аномалий AutoML Правила ассоциации Обучение с подкреплением Структурированный прогноз Разработка функций Особенности обучения Онлайн обучение Полу-контролируемое обучение Обучение без учителя Учимся ранжировать Введение в грамматику
Обучение с учителем ( классификация • регрессия ) Деревья решений Ансамбли Упаковка Повышение Случайный лес k -NN Линейная регрессия Наивный байесовский Искусственные нейронные сети Логистическая регрессия Перцептрон Вектор релевантности (RVM) Машина опорных векторов (SVM)
Кластеризация БЕРЕЗА ИЗЛЕЧИВАТЬ Иерархический k- означает Ожидание – максимизация (EM) DBSCAN ОПТИКА Средний сдвиг
Снижение размерности Факторный анализ CCA ICA LDA NMF PCA PGD t-SNE
Структурированный прогноз Графические модели Сеть Байеса Условное случайное поле Скрытый Марков
Обнаружение аномалий k -NN Фактор локального выброса
Искусственная нейронная сеть Автоэнкодер Когнитивные вычисления Глубокое обучение DeepDream Многослойный перцептрон RNN LSTM ГРУ ESN Ограниченная машина Больцмана GAN SOM Сверточная нейронная сеть U-Net Трансформатор Пиковая нейронная сеть Мемтранзистор Электрохимическая RAM (ECRAM)
Обучение с подкреплением Q-обучение SARSA Временная разница (TD)
Теория Компромисс смещения и дисперсии Теория вычислительного обучения Минимизация эмпирического риска Обучение Оккама PAC обучение Статистическое обучение Теория ВК
Площадки для машинного обучения NeurIPS ICML ML JMLR ArXiv: cs.LG
Глоссарий искусственного интеллекта Глоссарий искусственного интеллекта
Статьи по Теме Список наборов данных для исследований в области машинного обучения Схема машинного обучения
v т е

Эта статья включает в себя список общих ссылок , но он остается в основном непроверенным, поскольку в нем отсутствуют соответствующие встроенные ссылки . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Май 2017 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Графическая модель или вероятностная графическая модель ( PGM ) или структурированная вероятностная модель является вероятностной моделью , для которой график выражает условную зависимость структуру между случайными величинами . Они обычно используются в теории вероятностей , статистике, особенно байесовской статистике, и машинном обучении .

Пример графической модели. Каждая стрелка указывает на зависимость. В этом примере: D зависит от A, B и C; и C зависит от B и D; тогда как A и B независимы.

Типы графических моделей [ править ]

Как правило, вероятностные графические модели используют представление на основе графа в качестве основы для кодирования распределения в многомерном пространстве и графа, который представляет собой компактное или факторизованное представление набора независимых зависимостей, которые сохраняются в конкретном распределении. Обычно используются две ветви графического представления распределений: байесовские сети и марковские случайные поля . Оба семейства включают в себя свойства факторизации и независимости, но они различаются набором независимости, которую они могут кодировать, и факторизацией распределения, которую они вызывают. ^[1]

Байесовская сеть [ править ]

Если сетевая структура модели представляет собой ориентированный ациклический граф , модель представляет собой факторизацию совместной вероятности всех случайных величин. Точнее, если события являются, то совместная вероятность удовлетворяет ${\ Displaystyle X_ {1}, \ ldots, X_ {n}}$

{\ displaystyle P [X_ {1}, \ ldots, X_ {n}] = \ prod _ {i = 1} ^ {n} P [X_ {i} | {\ text {pa}} (X_ {i} )]}

где - множество родителей узла (узлов с ребрами, направленными навстречу ). Другими словами, совместное распределение превращается в продукт условных распределений. Например, графическая модель на рисунке, показанном выше (который на самом деле не является ориентированным ациклическим графом, а является наследственным графом ), состоит из случайных величин с совместной плотностью вероятности, которая учитывается как ${\ displaystyle {\ text {pa}} (X_ {i})}$ ${\ displaystyle X_ {i}}$ ${\ displaystyle X_ {i}}$ ${\ displaystyle A, B, C, D}$

{\ Displaystyle P [A, B, C, D] = P [A] \ cdot P [B] \ cdot P [C, D | A, B]}

Любые два узла условно независимы, учитывая значения их родителей. В общем, любые два набора узлов являются условно независимыми с учетом третьего набора, если в графе выполняется критерий, называемый d- разделением . Локальная независимость и глобальная независимость эквивалентны в байесовских сетях.

Этот тип графической модели известен как ориентированная графическая модель, байесовская сеть или сеть убеждений. Классические модели машинного обучения, такие как скрытые модели Маркова , нейронные сети и более новые модели, такие как модели Маркова переменного порядка, могут рассматриваться как частные случаи байесовских сетей.

Другие типы [ править ]

Наивный байесовский классификатор, в котором мы используем дерево с одним корнем
Сеть зависимостей, где разрешены циклы
Древовидный классификатор или модель TAN
Фактор - граф неориентированный двудольный граф подключения переменных и факторов. Каждый фактор представляет собой функцию от переменных, с которыми он связан. Это полезное представление для понимания и реализации распространения убеждений .
Клика дерево или спай дерево представляет собой дерево из клик , используемое в алгоритме перехода дерева .
Цепь график представляет собой график , который может иметь оба направленные и ненаправленные края, но без каких - либо направленных циклов (то есть , если мы начинаем с любой вершиной и двигаться вдоль графа , соблюдая направления любых стрел, мы не можем вернуться к вершине мы исходили из если мы прошли стрелку). И ориентированные ациклические графы, и неориентированные графы являются частными случаями цепных графов, которые, таким образом, могут обеспечить способ объединения и обобщения байесовских и марковских сетей. ^[2]
Родовой график является дальнейшим расширением, направив, двунаправленный и неориентированное ребро. ^[3]
Техника случайного поля
- Случайное поле Маркова , также известное как сеть Маркова, является моделью над неориентированным графом . Графическая модель с множеством повторяющихся субъединиц может быть представлена в виде пластин .
- Условное случайное поле является дискриминационной моделью указаны над неориентированным графом.
Ограничено машина Больцмана является двудольной порождающей моделью указаны над неориентированным графом.

Приложения [ править ]

Структура моделей, которая обеспечивает алгоритмы обнаружения и анализа структуры в сложных распределениях для их краткого описания и извлечения неструктурированной информации, позволяет создавать и эффективно использовать их. ^[1] Приложения графических моделей включают причинный вывод , извлечение информации , распознавание речи , компьютерное зрение , декодирование кодов проверки на четность с низкой плотностью , моделирование сетей регуляции генов, поиск генов и диагностику заболеваний, а также графические модели структуры белка .

См. Также [ править ]

Распространение веры
Модель структурного уравнения

Примечания [ править ]

^ а б Коллер, Д .; Фридман, Н. (2009). Вероятностные графические модели . Массачусетс: MIT Press. п. 1208. ISBN 978-0-262-01319-2. Архивировано из оригинала на 2014-04-27.
^ Frydenberg, Morten (1990). «Марковское свойство цепного графа». Скандинавский статистический журнал . 17 (4): 333–353. JSTOR 4616181 . Руководство по ремонту 1096723 .
^ Ричардсон, Томас; Спиртес, Питер (2002). «Марковские модели графа предков». Анналы статистики . 30 (4): 962–1030. CiteSeerX 10.1.1.33.4906 . DOI : 10.1214 / AOS / 1031689015 . MR 1926166 . Zbl 1033.60008 .

Дальнейшее чтение [ править ]

Книги и главы книг [ править ]

Барбер, Дэвид (2012). Байесовское мышление и машинное обучение . Издательство Кембриджского университета. ISBN 978-0-521-51814-7.

Епископ, Кристофер М. (2006). «Глава 8. Графические модели» (PDF) . Распознавание образов и машинное обучение . Springer. С. 359–422. ISBN 978-0-387-31073-2. Руководство по ремонту 2247587 .
Коуэлл, Роберт Дж .; Давид, А. Филип ; Lauritzen, Steffen L .; Шпигельхальтер, Дэвид Дж. (1999). Вероятностные сети и экспертные системы . Берлин: Springer. ISBN 978-0-387-98767-5. Руководство по ремонту 1697175 . Более продвинутая и статистически ориентированная книга
Дженсен, Финн (1996). Введение в байесовские сети . Берлин: Springer. ISBN 978-0-387-91502-9.
Перл, Иудея (1988). Вероятностное мышление в интеллектуальных системах (2-е изд.). Сан-Матео, Калифорния: Морган Кауфманн . ISBN 978-1-55860-479-7. Руководство по ремонту 0965765 . Вычислительный подход к рассуждению, при котором формально вводятся отношения между графами и вероятностями.

Статьи журнала [ править ]

Эдоардо М. Аирольди (2007). «Начало работы с вероятностными графическими моделями» . PLOS Вычислительная биология . 3 (12): e252. DOI : 10.1371 / journal.pcbi.0030252 . PMC 2134967 . PMID 18069887 .
Иордания, Мичиган (2004). «Графические модели» . Статистическая наука . 19 : 140–155. DOI : 10.1214 / 088342304000000026 .
Гахрамани, Зубин (май 2015 г.). «Вероятностное машинное обучение и искусственный интеллект» . Природа . 521 (7553): 452–459. DOI : 10,1038 / природа14541 . PMID 26017444 . S2CID 216356 .

Другое [ править ]

Учебное пособие по Байесовской сети Хекермана
Краткое введение в графические модели и байесовские сети
Слайды лекции Саргура Шрихари о вероятностных графических моделях

Внешние ссылки [ править ]

Графические модели и условные случайные поля
Вероятностные графические модели, преподаваемые Эриком Сином в CMU

[koller09-1] а б Коллер, Д .; Фридман, Н. (2009). Вероятностные графические модели . Массачусетс: MIT Press. п. 1208. ISBN 978-0-262-01319-2. Архивировано из оригинала на 2014-04-27.

[2] Frydenberg, Morten (1990). «Марковское свойство цепного графа». Скандинавский статистический журнал . 17 (4): 333–353. JSTOR 4616181 . Руководство по ремонту 1096723 .

[3] Ричардсон, Томас; Спиртес, Питер (2002). «Марковские модели графа предков». Анналы статистики . 30 (4): 962–1030. CiteSeerX 10.1.1.33.4906 . DOI : 10.1214 / AOS / 1031689015 . MR 1926166 . Zbl 1033.60008 .