Графическая модель или вероятностная графическая модель ( PGM ) или структурированная вероятностная модель является вероятностной моделью , для которой график выражает условную зависимость структуру между случайными величинами . Они обычно используются в теории вероятностей , статистике, особенно байесовской статистике, и машинном обучении .
Типы графических моделей
Как правило, вероятностные графические модели используют представление на основе графа в качестве основы для кодирования распределения в многомерном пространстве и графа, который является компактным или факторизованным представлением набора независимых зависимостей, которые сохраняются в конкретном распределении. Обычно используются две ветви графических представлений распределений: байесовские сети и марковские случайные поля . Оба семейства включают в себя свойства факторизации и независимости, но они различаются набором независимости, которую они могут кодировать, и факторизацией распределения, которую они вызывают. [1]
Ненаправленная графическая модель
Показанный неориентированный граф может иметь одну из нескольких интерпретаций; общей чертой является то, что наличие ребра подразумевает некую зависимость между соответствующими случайными величинами. Из этого графика мы можем вывести, что все взаимно независимы, когда-то известно, или (эквивалентно в этом случае), что
для некоторых неотрицательных функций .
Байесовская сеть
Если сетевая структура модели представляет собой ориентированный ациклический граф , модель представляет собой факторизацию совместной вероятности всех случайных величин. Точнее, если события тогда совместная вероятность удовлетворяет
где это набор родителей узла (узлы с ребрами, направленными в сторону ). Другими словами, совместное распределение превращается в продукт условных распределений. Например, для ориентированного ациклического графа, показанного на рисунке, эта факторизация будет иметь вид
- .
Любые два узла условно независимы, учитывая значения их родителей. В общем, любые два набора узлов являются условно независимыми для третьего набора, если в графе выполняется критерий, называемый d- разделением . Локальная независимость и глобальная независимость эквивалентны в байесовских сетях.
Этот тип графической модели известен как ориентированная графическая модель, байесовская сеть или сеть убеждений. Классические модели машинного обучения, такие как скрытые модели Маркова , нейронные сети и более новые модели, такие как модели Маркова переменного порядка, можно рассматривать как частные случаи байесовских сетей.
Циклические ориентированные графические модели
На следующем рисунке изображена графическая модель с циклом. Это можно интерпретировать в терминах каждой переменной, «зависящей» от значений ее родителей. Конкретный показанный график предлагает совместную плотность вероятности, которая учитывается как
- ,
но возможны и другие интерпретации. [2]
Другие типы
- Наивный байесовский классификатор, в котором мы используем дерево с одним корнем
- Сеть зависимостей, где разрешены циклы
- Древовидный классификатор или модель TAN
- Фактор - граф неориентированный двудольный граф подключения переменных и факторов. Каждый фактор представляет собой функцию от переменных, с которыми он связан. Это полезное представление для понимания и реализации распространения убеждений .
- Клика дерево или спай дерево представляет собой дерево из клик , используемое в алгоритме перехода дерева .
- Цепь график представляет собой график , который может иметь оба направленные и ненаправленные края, но без каких - либо направленных циклов (то есть , если мы начинаем с любой вершиной и двигаться вдоль графа , соблюдая направления любых стрел, мы не можем вернуться к вершине мы исходили из если мы прошли стрелку). И ориентированные ациклические графы, и неориентированные графы являются частными случаями цепных графов, которые, следовательно, могут обеспечить способ объединения и обобщения байесовских и марковских сетей. [3]
- Родовой график является дальнейшим расширением, направив, двунаправленный и неориентированное ребро. [4]
- Техника случайного поля
- Случайное поле Маркова , также известное как сеть Маркова, является моделью над неориентированным графом . Графическая модель с множеством повторяющихся субъединиц может быть представлена в виде пластин .
- Условное случайное поле является дискриминационной моделью указаны над неориентированным графом.
- Ограничено машина Больцмана является двудольной порождающей моделью указаны над неориентированным графом.
Приложения
Структура моделей, которая предоставляет алгоритмы для обнаружения и анализа структуры в сложных распределениях для их краткого описания и извлечения неструктурированной информации, позволяет их создавать и эффективно использовать. [1] Приложения графических моделей включают причинный вывод , извлечение информации , распознавание речи , компьютерное зрение , декодирование кодов проверки на четность с низкой плотностью , моделирование сетей регуляции генов, поиск генов и диагностику заболеваний, а также графические модели структуры белков .
Смотрите также
- Распространение веры
- Модель структурного уравнения
Заметки
- ^ а б Коллер, Д .; Фридман, Н. (2009). Вероятностные графические модели . Массачусетс: MIT Press. п. 1208. ISBN 978-0-262-01319-2. Архивировано из оригинала на 2014-04-27.
- ^ Ричардсон, Томас (1996). «Алгоритм открытия ориентированных циклических графов». Неизвестный параметр
|book-title=
игнорируется ( справка );Цитировать журнал требует|journal=
( помощь ) - ^ Фриденберг, Мортен (1990). «Марковское свойство цепного графа». Скандинавский статистический журнал . 17 (4): 333–353. JSTOR 4616181 . Руководство по ремонту 1096723 .
- ^ Ричардсон, Томас; Спиртес, Питер (2002). «Марковские модели графа предков». Анналы статистики . 30 (4): 962–1030. CiteSeerX 10.1.1.33.4906 . DOI : 10.1214 / AOS / 1031689015 . MR 1926166 . Zbl 1033.60008 .
дальнейшее чтение
Книги и главы книг
- Парикмахер, Дэвид (2012). Байесовское мышление и машинное обучение . Издательство Кембриджского университета. ISBN 978-0-521-51814-7.
- Епископ, Кристофер М. (2006). «Глава 8. Графические модели» (PDF) . Распознавание образов и машинное обучение . Springer. С. 359–422. ISBN 978-0-387-31073-2. Руководство по ремонту 2247587 .
- Коуэлл, Роберт Дж .; Давид, А. Филип ; Lauritzen, Steffen L .; Шпигельхальтер, Дэвид Дж. (1999). Вероятностные сети и экспертные системы . Берлин: Springer. ISBN 978-0-387-98767-5. Руководство по ремонту 1697175 . Более продвинутая и статистически ориентированная книга
- Дженсен, Финн (1996). Введение в байесовские сети . Берлин: Springer. ISBN 978-0-387-91502-9.
- Жемчуг, Иудея (1988). Вероятностное мышление в интеллектуальных системах (2-е изд.). Сан-Матео, Калифорния: Морган Кауфманн . ISBN 978-1-55860-479-7. Руководство по ремонту 0965765 . Вычислительный подход к рассуждению, при котором формально вводятся отношения между графами и вероятностями.
Журнальная статья
- Эдоардо М. Аирольди (2007). «Начало работы с вероятностными графическими моделями» . PLOS Вычислительная биология . 3 (12): e252. DOI : 10.1371 / journal.pcbi.0030252 . PMC 2134967 . PMID 18069887 .
- Иордания, Мичиган (2004). «Графические модели» . Статистическая наука . 19 : 140–155. DOI : 10.1214 / 088342304000000026 .
- Гахрамани, Зубин (май 2015 г.). «Вероятностное машинное обучение и искусственный интеллект» . Природа . 521 (7553): 452–459. DOI : 10,1038 / природа14541 . PMID 26017444 . S2CID 216356 .
Другой
- Учебное пособие по Байесовской сети Хекермана
- Краткое введение в графические модели и байесовские сети
- Слайды лекции Саргура Шрихари о вероятностных графических моделях
Внешние ссылки
- Графические модели и условные случайные поля
- Вероятностные графические модели, преподаваемые Эриком Сином в CMU