Информационная проекция

В теории информации , то информация проекция или I-проекция из распределения вероятностей ц на множество распределений Р является

${\displaystyle p^{*}={\underset {p\in P}{\arg \min }}\operatorname {D} _{\mathrm {KL} }(p||q)}$

где - расходимость Кульбака – Лейблера от q до p . Просмотр дивергенцию Кульбака-Либлер в качестве меры расстояния, I-проекция является «ближе» распределение к ц всех распределений в P .${\displaystyle D_{\mathrm {KL} }}$${\displaystyle p^{*}}$

I-проекция полезна при настройке информационной геометрии , в частности, из-за следующего неравенства, справедливого, когда P является выпуклой: ^[1]

${\displaystyle \operatorname {D} _{\mathrm {KL} }(p||q)\geq \operatorname {D} _{\mathrm {KL} }(p||p^{*})+\operatorname {D} _{\mathrm {KL} }(p^{*}||q)}$

Это неравенство можно интерпретировать как информационно-геометрическую версию теоремы Пифагора о неравенстве треугольника, где расхождение KL рассматривается как квадрат расстояния в евклидовом пространстве.

Стоит отметить, что поскольку и непрерывно в p, если P замкнуто и непусто, то существует по крайней мере один минимизатор для задачи оптимизации, сформулированной выше. Кроме того, если P выпуклый, то оптимальное распределение уникально.${\displaystyle \operatorname {D} _{\mathrm {KL} }(p||q)\geq 0}$

Обратная I-проекция, также известная как проекция момента или M-проекция, называется

${\displaystyle p^{*}={\underset {p\in P}{\arg \min }}\operatorname {D} _{\mathrm {KL} }(q||p)}$

Поскольку KL-дивергенция несимметрична по своим аргументам, I-проекция и M-проекция будут вести себя по-разному. Для I-проекции обычно недооценивает поддержку одного из своих режимов и фиксируется на нем. Это связано с тем , чтобы убедиться, что расхождение KL остается конечным. Для M-проекции, как правило , будет завышена поддержка . Это связанно , когда , чтобы убедиться KL дивергенции пребывания конечно.${\displaystyle p(x)}$${\displaystyle q(x)}$${\displaystyle p(x)=0}$${\displaystyle q(x)=0}$${\displaystyle p(x)}$${\displaystyle q(x)}$${\displaystyle p(x)>0}$${\displaystyle q(x)>0}$

Концепция информационной проекции может быть распространена на произвольные статистические f-расхождения и другие расхождения. ^[2]

См. Также [ править ]

• Теорема Санова

Ссылки [ править ]

• К. Мерфи, "Машинное обучение: вероятностная перспектива", MIT Press, 2012.
• Ф. Нильсен, "Что такое ... информационная проекция?" , Уведомления AMS, (65) 3, стр. 321–324, 2018 г.

Эта статья о вероятности незавершена . Вы можете помочь Википедии, расширив ее .

• v
• t
• e