f -расхождение

Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Сентябрь 2015 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

В теории вероятностей , ƒ -расходимость является функция Д _е ( Р || Q ) , что измеряет разность между двумя распределениями вероятностей P и Q . Это помогает интуиции думать о расхождении как о среднем, взвешенном по функции f , отношения шансов, заданном P и Q ^{[ необходима цитата ]} .

Эти расходимости были введены Альфредом Реньи ^[1] в той же статье, где он ввел хорошо известную энтропию Реньи . Он доказал, что эти расходимости уменьшаются в марковских процессах . F были изучены -divergences далее независимо друг от друга Csiszár (1963) , Моримото (1963) и Ali & Силвей (1966) , и иногда известны как Csiszár ƒ -divergences, Csiszár-Моримото дивергенции или Али-Силвей расстояния.

Определение [ править ]

Пусть P и Q две вероятностные распределения над пространством Q , такой , что P является абсолютно непрерывна относительно Q . Тогда для выпуклой функции f такой, что f (1) = 0, f -расходимость P от Q определяется как

{\ displaystyle D_ {f} (P \ parallel Q) \ Equiv \ int _ {\ Omega} f \ left ({\ frac {dP} {dQ}} \ right) \, dQ.}

Если P и Q абсолютно непрерывны относительно эталонного распределения μ на Ω, то их плотности вероятности p и q удовлетворяют условиям dP = p dμ и dQ = q dμ . В этом случае f -расходимость можно записать как

{\ Displaystyle D_ {F} (P \ parallel Q) = \ int _ {\ Omega} f \ left ({\ frac {p (x)} {q (x)}} \ right) q (x) \, d \ mu (x).}

F-расходимости можно выразить с помощью ряда Тейлора и переписать с использованием взвешенной суммы расстояний типа хи ( Nielsen & Nock (2013) ).

Примеры f -расходов [ править ]

Многие обычные расходимости, такие как KL-дивергенция , Hellinger расстояние , и общее расстояние вариации , являются частными случаями ф -дивергенции, совпадающие с конкретным выбором е . В следующей таблице перечислены многие общие расхождения между распределениями вероятностей и функцией f, которой они соответствуют (см. Liese & Vajda (2006) ).

Расхождение	Соответствующая f (t)
KL-дивергенция	${\ Displaystyle т \ журнал т}$
обратная KL-дивергенция	${\ displaystyle - \ log t}$
квадрат расстояния Хеллингера	${\ displaystyle ({\ sqrt {t}} - 1) ^ {2}, \, 2 (1 - {\ sqrt {t}})}$
Общее расстояние вариации	${\ displaystyle {\ frac {1} {2}} \| т-1 \| \,}$
Пирсона - расхождение ${\ displaystyle \ chi ^ {2}}$	${\ Displaystyle (т-1) ^ {2}, \, т ^ {2} -1, \, т ^ {2} -t}$
Дивергенция Неймана (обратная Пирсона) ${\ displaystyle \ chi ^ {2}}$	${\frac {1}{t}}-1,\,{\frac {1}{t}}-t$
α-расходимость	${\begin{cases}{\frac {4}{1-\alpha ^{2}}}{\big (}1-t^{(1+\alpha )/2}{\big )},&{\text{if}}\ \alpha \neq \pm 1,\\t\ln t,&{\text{if}}\ \alpha =1,\\-\ln t,&{\text{if}}\ \alpha =-1\end{cases}}$
Дивергенция Дженсена-Шеннона	$(t+1)\log {\big (}{\frac {2}{t+1}}{\big )}+t\log t$
α-расходимость (другое обозначение)	${\begin{cases}{\frac {t^{\alpha }-t}{\alpha (\alpha -1)}},&{\text{if}}\ \alpha \neq 0,\,\alpha \neq 1,\\t\ln t,&{\text{if}}\ \alpha =1,\\-\ln t,&{\text{if}}\ \alpha =0\end{cases}}$

Функция определена с точностью до слагаемого , где - любая постоянная. $f(t)$ $c(t-1)$ $c$

Свойства [ править ]

Неотрицательность : ƒ -расхождение всегда положительно; он равен нулю тогда и только тогда, когда меры P и Q совпадают. Это сразу следует из неравенства Дженсена :
$D_{f}(P\!\parallel \!Q)=\int \!f{\bigg (}{\frac {dP}{dQ}}{\bigg )}dQ\geq f{\bigg (}\int {\frac {dP}{dQ}}dQ{\bigg )}=f(1)=0.$
Монотонность : если κ - произвольная вероятность перехода, которая преобразует меры P и Q в P _κ и Q _κ соответственно, то
$D_{f}(P\!\parallel \!Q)\geq D_{f}(P_{\kappa }\!\parallel \!Q_{\kappa }).$
Равенство здесь выполняется тогда и только тогда, когда переход индуцируется достаточной статистикой относительно { P , Q }.
Совместная выпуклость : для любого 0 ≤ λ ≤ 1
$D_{f}{\Big (}\lambda P_{1}+(1-\lambda )P_{2}\parallel \lambda Q_{1}+(1-\lambda )Q_{2}{\Big )}\leq \lambda D_{f}(P_{1}\!\parallel \!Q_{1})+(1-\lambda )D_{f}(P_{2}\!\parallel \!Q_{2}).$
Это следует из выпуклости отображения на . $(p,q)\mapsto qf(p/q)$ $\mathbb {R} _{+}^{2}$

В частности, монотонность означает, что если марковский процесс имеет положительное равновесное распределение вероятностей, то это монотонная (невозрастающая) функция времени, где распределение вероятностей является решением прямых уравнений Колмогорова (или главного уравнения ), используемых для описывают временную эволюцию распределения вероятностей в марковском процессе. Это означает, что все f- расходимости являются функциями Ляпунова прямых уравнений Колмогорова. Верно и обратное утверждение: если - функция Ляпунова для всех цепей Маркова с положительным равновесием и имеет форму следа ( ), то $P^{*}$ $D_{f}(P(t)\parallel P^{*})$ $P(t)$ $D_{f}(P(t)\parallel P^{*})$ $H(P)$ $P^{*}$ $H(P)=\sum _{i}f(P_{i},P_{i}^{*})$ $H(P)=D_{f}(P(t)\parallel P^{*})$ , для некоторой выпуклой функции f . ^[2]^[3] Например, расходимости Брегмана вообще не обладают таким свойством и могут увеличиваться в марковских процессах. ^[4]

См. Также [ править ]

Дивергенция Кульбака – Лейблера.
Дивергенция Брегмана

Ссылки [ править ]

^ Рение, Alfréd (1961). О мерах энтропии и информации (PDF) . 4-й симпозиум по математике, статистике и теории вероятностей в Беркли, 1960. Беркли, Калифорния: Калифорнийский университет Press. С. 547–561.Уравнение (4.20)
↑ Горбань, Павел А. (15 октября 2003 г.). «Монотонно эквивалентные энтропии и решение уравнения аддитивности». Physica . 328 (3–4): 380–390. arXiv : cond-mat / 0304131 . DOI : 10.1016 / S0378-4371 (03) 00578-8 .
^ Amari, Shun'ichi (2009). Люнг, CS; Ли, М .; Чан, JH (ред.). Дивергенция, Оптимизация, Геометрия . 16-я Международная конференция по обработке нейронной информации (ICONIP 20009), Бангкок, Таиланд, 1-5 декабря 2009 г. Конспект лекций по информатике, том 5863. Берлин, Гейдельберг: Springer. С. 185–193. DOI : 10.1007 / 978-3-642-10677-4_21 .
↑ Горбань, Александр Н. (29 апреля 2014 г.). «Общая H-теорема и энтропии, нарушающие второй закон». Энтропия . 16 (5): 2408–2432. arXiv : 1212,6767 . DOI : 10.3390 / e16052408 .

Цисар, И. (1963). "Eine informationstheoretische Ungleichung und ihre Anwendung auf den Beweis der Ergodizitat von Markoffschen Ketten". Мадьяр. Туд. Акад. Мат. Kutato Int. Козл . 8 : 85–108.
Моримото, Т. (1963). «Марковские процессы и H-теорема». J. Phys. Soc. Jpn . 18 (3): 328–331. Bibcode : 1963JPSJ ... 18..328M . DOI : 10,1143 / JPSJ.18.328 .
Али, С.М.; Сильви, SD (1966). «Общий класс коэффициентов отклонения одного распределения от другого». Журнал Королевского статистического общества , Series B . 28 (1): 131–142. JSTOR 2984279 . MR 0196777 .
Цисар, И. (1967). «Информационные меры различия распределений вероятностей и косвенного наблюдения». Studia Scientiarum Mathematicarum Hungarica . 2 : 229–318.
Csiszár, I .; Шилдс, П. (2004). «Теория информации и статистика: Учебное пособие» (PDF) . Основы и тенденции в теории коммуникации и информации . 1 (4): 417–528. DOI : 10.1561 / 0100000004 . Проверено 8 апреля 2009 .
Liese, F .; Вайда, И. (2006). «О расхождениях и сведениях в статистике и теории информации». IEEE Transactions по теории информации . 52 (10): 4394–4412. DOI : 10.1109 / TIT.2006.881731 .
Nielsen, F .; Нок, Р. (2013). «О хи-квадрате и расстояниях Хи более высокого порядка для аппроксимации f-расходимостей». Письма об обработке сигналов IEEE . 21 : 10–13. arXiv : 1309.3029 . Bibcode : 2014ISPL ... 21 ... 10N . DOI : 10,1109 / LSP.2013.2288355 .
Coeurjolly, JF .; Друйе, Р. (2006). «Нормализованные информационные расхождения». arXiv : math / 0604246 .

[1] Рение, Alfréd (1961). О мерах энтропии и информации (PDF) . 4-й симпозиум по математике, статистике и теории вероятностей в Беркли, 1960. Беркли, Калифорния: Калифорнийский университет Press. С. 547–561.Уравнение (4.20)

[2] Горбань, Павел А. (15 октября 2003 г.). «Монотонно эквивалентные энтропии и решение уравнения аддитивности». Physica . 328 (3–4): 380–390. arXiv : cond-mat / 0304131 . DOI : 10.1016 / S0378-4371 (03) 00578-8 .

[3] Amari, Shun'ichi (2009). Люнг, CS; Ли, М .; Чан, JH (ред.). Дивергенция, Оптимизация, Геометрия . 16-я Международная конференция по обработке нейронной информации (ICONIP 20009), Бангкок, Таиланд, 1-5 декабря 2009 г. Конспект лекций по информатике, том 5863. Берлин, Гейдельберг: Springer. С. 185–193. DOI : 10.1007 / 978-3-642-10677-4_21 .

[4] Горбань, Александр Н. (29 апреля 2014 г.). «Общая H-теорема и энтропии, нарушающие второй закон». Энтропия . 16 (5): 2408–2432. arXiv : 1212,6767 . DOI : 10.3390 / e16052408 .

[1]