В теории вероятностей и статистике , то Йенсен - Шеннона расхождение является способом измерения подобия между двумя вероятностными распределениями . Он также известен как информационный радиус ( IRad ) [1] или полное отклонение от среднего . [2] Он основан на расхождении Кульбака – Лейблера с некоторыми заметными (и полезными) различиями, в том числе тем, что он симметричен и всегда имеет конечное значение. Квадратный корень из расходимости Дженсена – Шеннона - это метрика, которую часто называют расстоянием Дженсена-Шеннона. [3][4] [5]
Определение
Рассмотрим множество распределений вероятностей, где A - множество, снабженное некоторой σ-алгеброй измеримых подмножеств. В частности, мы можем взять A как конечное или счетное множество, все подмножества которого измеримы.
Расхождение Дженсена – Шеннона (JSD) является симметризованной и сглаженной версией расходимости Кульбака – Лейблера . Это определяется
где
Геометрическая дивергенция Дженсена – Шеннона (или дивергенция Дженсена – Шеннона) дает формулу в замкнутой форме для расхождения между двумя гауссовскими распределениями, взяв среднее геометрическое.
Более общее определение, позволяющее сравнивать более двух распределений вероятностей, выглядит следующим образом:
где - веса, выбранные для распределений вероятностей а также является энтропия Шеннона для распределения. Для случая с двумя распределениями, описанного выше,
Следовательно, для этих распределений
Границы
Дивергенция Дженсена – Шеннона ограничена 1 для двух распределений вероятностей, при условии, что в одном используется логарифм с основанием 2. [6]
С этой нормализацией это нижняя граница общего расстояния вариации между P и Q:
Для логарифма с основанием e или ln, который обычно используется в статистической термодинамике, верхняя граница равна ln (2):
Более общая оценка, расходимость Дженсена – Шеннона ограничена для более чем двух распределений вероятностей, при условии, что в одном используется логарифм по основанию 2. [6]
Отношение к взаимной информации
Дивергенция Дженсена – Шеннона - это взаимная информация между случайной величинойсвязано с распределением смеси между а также и бинарная индикаторная переменная который используется для переключения между а также для производства смеси. Позволять быть некоторой абстрактной функцией на базовом наборе событий, которая хорошо различает события, и выбирает значение в соответствии с если и согласно если , где равновероятно. То есть мы выбираем согласно вероятностной мере , а его распределение - распределение смеси. Мы вычисляем
Из приведенного выше результата следует, что расходимость Дженсена – Шеннона ограничена 0 и 1, поскольку взаимная информация неотрицательна и ограничена .
Тот же принцип можно применить к совместному распределению и произведению его двух предельных распределений (по аналогии с расхождением Кульбака – Лейблера и взаимной информацией) и измерить, насколько надежно можно решить, исходит ли данный ответ из совместного распределения или продукта распределение - при условии, что это единственные две возможности. [7]
Квантовая расходимость Дженсена – Шеннона.
Обобщение вероятностных распределений на матрицах плотности позволяет определить квантовую дивергенцию Дженсена – Шеннона (QJSD). [8] [9] Он определен для набора матриц плотности и распределение вероятностей в виде
где это фон Неймана энтропии из. Эта величина была введена в квантовой теории информации , где она называется информацией Холево: она дает верхнюю границу количества классической информации, закодированной квантовыми состояниями. при предварительном распределении (см . теорему Холево ). [10] Квантовая расходимость Дженсена – Шеннона дляа две матрицы плотности - симметричная функция, всюду определенная, ограниченная и равная нулю только в том случае, если две матрицы плотности одинаковы. Это квадрат метрики для чистых состояний , [11] и недавно было показано , что эта метрика свойство имеет место для смешанных состояний , а также. [12] [13] В Бурес метрика тесно связана с квантовой JS дивергенции; это квантовый аналог информационной метрики Фишера .
Обобщение
Нильсен ввел косую K-расходимость: [14] Он следует за однопараметрическим семейством расходимостей Дженсена – Шеннона, называемым -Дивергенции Дженсена – Шеннона: которая включает расхождение Дженсена – Шеннона (для ) и половина дивергенции Джеффриса (для ).
Другое обобщение дивергенции Дженсена-Шеннона состоит в рассмотрении смесей относительно среднего M [15] (как среднее геометрическое вместо среднего арифметического). Статистическая M-смесь где нормализующий коэффициент: Тогда обобщенная дивергенция Дженсена-Шеннона равна
где . Затем геометрическое расхождение Дженсена-Шеннона между плотностями экспоненциального семейства получается в формуле замкнутой формы.
Приложения
Дивергенция Дженсена-Шеннона применялась в биоинформатике и сравнении геномов , [16] [17] при сравнении поверхности белков, [18] в социальных науках, [19] при количественном изучении истории, [20] , огненных экспериментах [ 21] и в машинном обучении. [22]
Заметки
- ^ Хинрих Шютце; Кристофер Д. Мэннинг (1999). Основы статистической обработки естественного языка . Кембридж, Массачусетс: MIT Press. п. 304. ISBN 978-0-262-13360-9.
- ^ Даган, Идо; Лилиан Ли ; Фернандо Перейра (1997). «Основанные на подобии методы устранения неоднозначности слов» . Труды тридцать пятого ежегодного собрания ассоциации компьютерной лингвистики и восьмой конференции европейского отделения ассоциации компьютерной лингвистики : 56–63. arXiv : cmp-lg / 9708010 . Bibcode : 1997cmp.lg .... 8010D . DOI : 10.3115 / 979617.979625 . Проверено 9 марта 2008 .
- ^ Эндрес, DM; JE Schindelin (2003). «Новая метрика для вероятностных распределений» (PDF) . IEEE Trans. Инф. Теория . 49 (7): 1858–1860. DOI : 10.1109 / TIT.2003.813506 . ЛВП : 10023/1591 .
- ^ Ôsterreicher, F .; И. Вайда (2003). «Новый класс метрических расходимостей на вероятностных пространствах и его статистические приложения». Аня. Inst. Статист. Математика . 55 (3): 639–653. DOI : 10.1007 / BF02517812 .
- ^ Fuglede, B .; Топсе Ф. (2004). «Дивергенция Дженсена-Шеннона и вложение в гильбертово пространство» (PDF) . Материалы Международного симпозиума по теории информации, 2004 . IEEE. п. 30. DOI : 10.1109 / ISIT.2004.1365067 . ISBN 978-0-7803-8280-0.
- ^ а б Лин, Дж. (1991). «Меры дивергенции на основе энтропии Шеннона» (PDF) . IEEE Transactions по теории информации . 37 (1): 145–151. CiteSeerX 10.1.1.127.9167 . DOI : 10.1109 / 18.61115 .
- ^ Шнайдман, Элад; Bialek, W; Берри, MJ 2-й (2003). «Синергия, избыточность и независимость в кодах населения» . Журнал неврологии . 23 (37): 11539–11553. DOI : 10.1523 / JNEUROSCI.23-37-11539.2003 . PMID 14684857 .
- ^ Majtey, A .; Lamberti, P .; Прато, Д. (2005). «Расхождение Дженсена-Шеннона как мера различимости между смешанными квантовыми состояниями». Physical Review . 72 (5): 052310. Arxiv : колич-фот / 0508138 . Bibcode : 2005PhRvA..72e2310M . DOI : 10.1103 / PhysRevA.72.052310 .
- ^ Бриет, Джоп; Харремоэс, Питер (2009). «Свойства классической и квантовой дивергенции Дженсена-Шеннона». Physical Review . 79 (5): 052311. arXiv : 0806.4472 . Bibcode : 2009PhRvA..79e2311B . DOI : 10.1103 / PhysRevA.79.052311 .
- ^ Холево А.С. (1973), "Границы количества информации, передаваемой по квантовому каналу связи", Проблемы передачи информации , 9 : 3–11.. Английский перевод: Пробл. Инф. Трансм ., 9 : 177–183 (1975) MR.456936
- ^ Браунштейн, Самуэль; Пещеры, Карлтон (1994). «Статистическое расстояние и геометрия квантовых состояний». Письма с физическим обзором . 72 (22): 3439–3443. Bibcode : 1994PhRvL..72.3439B . DOI : 10.1103 / PhysRevLett.72.3439 . PMID 10056200 .
- ^ Вироштек, Даниэль (2019). «Метрическое свойство квантовой расходимости Дженсена-Шеннона». arXiv : 1910.10447 .
- ^ Шри, Суврит (2019). «Метрики, вызванные квантовыми расхождениями Дженсена-Шеннона-Реньи и родственными расхождениями». arXiv : 1911.02643 .
- ^ Нильсен, Франк (2010). «Семейство статистических симметричных расхождений, основанных на неравенстве Дженсена». arXiv : 1009.4004 [ cs.CV ].
- ^ Нильсен, Франк (2019). «О симметризации расстояний Йенсена – Шеннона с использованием абстрактных средств» . Энтропия . 21 . DOI : 10.3390 / e21050485 .
- ^ Sims, GE; Jun, SR; Wu, GA; Ким, SH (2009). «Сравнение генома без выравнивания с характеристическими частотными профилями (FFP) и оптимальным разрешением» . Труды Национальной академии наук Соединенных Штатов Америки . 106 (8): 2677–82. Bibcode : 2009PNAS..106.2677S . DOI : 10.1073 / pnas.0813249106 . PMC 2634796 . PMID 19188606 .
- ^ Ицковиц, S; Hodis, E; Сегал, Э (2010). «Перекрывающиеся коды в последовательностях, кодирующих белок» . Геномные исследования . 20 (11): 1582–9. DOI : 10.1101 / gr.105072.110 . PMC 2963821 . PMID 20841429 .
- ^ Офран, Y; Рост, Б (2003). «Анализ шести типов межбелковых интерфейсов». Журнал молекулярной биологии . 325 (2): 377–87. CiteSeerX 10.1.1.6.9207 . DOI : 10.1016 / s0022-2836 (02) 01223-8 . PMID 12488102 .
- ^ ДеДео, Саймон; Хокинс, Роберт XD; Клингенштейн, Сара; Хичкок, Тим (2013). «Методы начальной загрузки для эмпирического исследования принятия решений и информационных потоков в социальных системах». Энтропия . 15 (6): 2246–2276. arXiv : 1302.0907 . Bibcode : 2013Entrp..15.2246D . DOI : 10.3390 / e15062246 .
- ^ Клингенштейн, Сара; Хичкок, Тим; ДеДео, Саймон (2014). «Цивилизационный процесс в лондонском Олд Бейли» . Труды Национальной академии наук . 111 (26): 9419–9424. Bibcode : 2014PNAS..111.9419K . DOI : 10.1073 / pnas.1405984111 . PMC 4084475 . PMID 24979792 .
- ^ Флавия-Корина Митрои-Симеонидис; Ион Ангел; Никушор Минкулет (2020). «Параметрическая статистическая сложность Дженсена-Шеннона и ее приложения к натурным данным о пожаре в отсеке» . Симметрия (12 (1)): 22. doi : 10.3390 / sym12010022 .
- ^ Гудфеллоу, Ян Дж .; Пуже-Абади, Жан; Мирза, Мехди; Сюй, Бинг; Вард-Фарли, Дэвид; Озаир, Шерджил; Курвиль, Аарон; Бенжио, Йошуа (2014). Генеративные состязательные сети . НИПС . arXiv : 1406.2661 . Bibcode : 2014arXiv1406.2661G .
дальнейшее чтение
- Фрэнк Нильсен (2010). «Семейство статистических симметричных расхождений, основанных на неравенстве Дженсена». arXiv : 1009.4004 [ cs.CV ].
Внешние ссылки
- Ruby gem для расчета дивергенции JS
- Код Python для расчета расхождения JS
- THOTH: пакет Python для эффективной оценки теоретико-информационных величин на основе эмпирических данных.
- Библиотека statcomp R для расчета показателей сложности, включая расхождение Дженсена-Шеннона