Взаимная информация

Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Скорость энтропии Предельная плотность дискретных точек
Асимптотическое свойство равнораспределения Теория скорости – искажения
Теорема Шеннона о кодировании источника Емкость канала Теорема кодирования с шумом Теорема Шеннона – Хартли.
v т е

Диаграмма Венна, показывающая аддитивные и вычитающие отношения различных информационных показателей, связанных с коррелированными переменными и . Площадь, содержащаяся в обоих кругах, является совместной энтропией . Круг слева (красный и фиолетовый) - это индивидуальная энтропия , а красный - условная энтропия . Круг справа (синий и фиолетовый) - это синее существо . Фиолетовый - взаимная информация .${\ displaystyle X}$${\ displaystyle Y}$ ${\ Displaystyle \ mathrm {H} (X, Y)}$ ${\ Displaystyle \ mathrm {H} (X)}$ ${\ Displaystyle \ mathrm {H} (X \ середина Y)}$${\ Displaystyle \ mathrm {H} (Y)}$${\ displaystyle \ mathrm {H} (Y \ mid X)}$${\ displaystyle \ operatorname {I} (X; Y)}$

В теории вероятностей и теории информации , то взаимная информация ( MI ) два случайных величин является мерой взаимной зависимости между двумя переменными. Более конкретно, он количественно определяет «количество информации» (в таких единицах , как шенноны , обычно называемые битами), полученное об одной случайной величине посредством наблюдения за другой случайной величиной. Концепция взаимной информации тесно связана с концепцией энтропии случайной величины, фундаментальным понятием в теории информации, которое количественно определяет ожидаемое « количество информации », содержащееся в случайной величине.

Не ограничиваясь действительными случайными величинами и линейной зависимостью, такой как коэффициент корреляции , MI является более общим и определяет, насколько совместное распределение пары отличается от произведения предельных распределений и . MI является ожидаемым значением в точечно взаимной информации (PMI).${\ displaystyle (X, Y)}$${\ displaystyle X}$${\ displaystyle Y}$

Величина была определена и проанализирована Клодом Шенноном в его знаменательной статье «Математическая теория коммуникации» , хотя он не называл это «взаимной информацией». Этот термин был введен позже Робертом Фано . ^[1] Взаимная информация также известна как получение информации .

Определение [ править ]

Позвольте быть пара случайных величин со значениями в пространстве . Если их совместное распределение равно и маргинальные распределения равны и , взаимная информация определяется как${\ displaystyle (X, Y)}$${\ Displaystyle {\ mathcal {X}} \ times {\ mathcal {Y}}}$${\displaystyle P_{(X,Y)}}$${\displaystyle P_{X}}$${\displaystyle P_{Y}}$

где - расходимость Кульбака – Лейблера . Обратите внимание, что в собственности дивергенции Кульбака-Лейблера , что равно нулю именно тогда , когда совместное распределение совпадает с произведением маргиналов, т.е. когда и являются независимыми (и , следовательно , наблюдения ничего не говорит вам о ). В общем случае неотрицательно, это мера стоимости кодирования как пары независимых случайных величин, хотя на самом деле это не так.${\displaystyle D_{\mathrm {KL} }}$${\displaystyle I(X;Y)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle I(X;Y)}$${\displaystyle (X,Y)}$

Что касается PMF для дискретных распределений [ править ]

Взаимная информация два совместно дискретных случайных величин и рассчитываются как двойная сумма: ^{[2] : 20}${\displaystyle X}$${\displaystyle Y}$

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p_{(X,Y)}(x,y)\log {\left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}},}$

( Уравнение 1 )

где есть совместная вероятность массовый функция из и , и , и являются предельными вероятностями массовых функций и соответственно.${\displaystyle p_{(X,Y)}}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle p_{X}}$${\displaystyle p_{Y}}$${\displaystyle X}$${\displaystyle Y}$

Что касается PDF-файлов для непрерывного распространения [ править ]

В случае совместно непрерывных случайных величин двойная сумма заменяется двойным интегралом : ^{[2] : 251}

${\displaystyle \operatorname {I} (X;Y)=\int _{\mathcal {Y}}\int _{\mathcal {X}}{p_{(X,Y)}(x,y)\log {\left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}}\;dx\,dy,}$

( Уравнение 2 )

где теперь совместная вероятность плотность функция и , и , и являются функциями маргинальных плотностей вероятности и соответственно.${\displaystyle p_{(X,Y)}}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle p_{X}}$${\displaystyle p_{Y}}$${\displaystyle X}$${\displaystyle Y}$

Если используется логическая база 2, единицами взаимной информации являются биты .

Мотивация [ править ]

Наглядно, взаимной информации измеряет информацию, и доля: Он измеряет , сколько зная одну из этих переменных уменьшает неопределенность относительно другой. Например, если и независимы, то знание не дает никакой информации о и наоборот, поэтому их взаимная информация равна нулю. С другой стороны, if является детерминированной функцией и является детерминированной функцией, тогда вся информация, передаваемая посредством, используется совместно с : знание определяет ценность и наоборот. В результате в этом случае взаимная информация такая же, как неопределенность, содержащаяся в (или ) отдельно, а именно:${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$энтропии из (или ). Более того, эта взаимная информация совпадает с энтропией и энтропией . (Очень частный случай, когда и являются одной и той же случайной величиной.)${\displaystyle Y}$${\displaystyle X}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$

Взаимная информация является мерой присущей зависимости , выраженной в совместном распределении по и по отношению к предельному распределению и при предположении о независимости. Таким образом, взаимная информация измеряет зависимость в следующем смысле: тогда и только тогда, когда и являются независимыми случайными величинами. Это легко увидеть в одном направлении: если и независимы, то , следовательно:${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle \operatorname {I} (X;Y)=0}$ ${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle p_{(X,Y)}(x,y)=p_{X}(x)\cdot p_{Y}(y)}$

${\displaystyle \log {\left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}=\log 1=0.}$

Более того, взаимная информация неотрицательна (т.е. см. Ниже) и симметрична (т.е. см. Ниже).${\displaystyle \operatorname {I} (X;Y)\geq 0}$${\displaystyle \operatorname {I} (X;Y)=\operatorname {I} (Y;X)}$

Отношение к другим величинам [ править ]

Неотрицательность [ править ]

Используя неравенство Дженсена об определении взаимной информации, мы можем показать, что она неотрицательна, то есть ^{[2] : 28}${\displaystyle \operatorname {I} (X;Y)}$

${\displaystyle \operatorname {I} (X;Y)\geq 0}$

Симметрия [ править ]

${\displaystyle \operatorname {I} (X;Y)=\operatorname {I} (Y;X)}$

Связь с условной и совместной энтропией [ править ]

Взаимная информация может быть эквивалентно выражена как:

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X\mid Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y\mid X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X\mid Y)-\mathrm {H} (Y\mid X)\end{aligned}}}$

где и являются предельные энтропии , и являются условные энтропии , и является совместной энтропии из и .${\displaystyle \mathrm {H} (X)}$${\displaystyle \mathrm {H} (Y)}$${\displaystyle \mathrm {H} (X\mid Y)}$${\displaystyle \mathrm {H} (Y\mid X)}$${\displaystyle \mathrm {H} (X,Y)}$${\displaystyle X}$${\displaystyle Y}$

Обратите внимание на аналогию с объединением, различием и пересечением двух множеств: в этом отношении все приведенные выше формулы очевидны из диаграммы Венна, приведенной в начале статьи.

С точки зрения канала связи, в котором выход представляет собой зашумленную версию входа , эти отношения суммированы на рисунке:${\displaystyle Y}$${\displaystyle X}$

Поскольку не отрицательно, следовательно, . Здесь мы даем подробный вывод для случая совместно дискретных случайных величин:${\displaystyle \operatorname {I} (X;Y)}$${\displaystyle \mathrm {H} (X)\geq \mathrm {H} (X\mid Y)}$${\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (Y)-\mathrm {H} (Y\mid X)}$

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)p_{Y}(y)}}\\&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)}}-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{X}(x)p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}}}p_{X}(x)\left(\sum _{y\in {\mathcal {Y}}}p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)\right)-\sum _{y\in {\mathcal {Y}}}\left(\sum _{x}p_{(X,Y)}(x,y)\right)\log p_{Y}(y)\\&{}=-\sum _{x\in {\mathcal {X}}}p(x)\mathrm {H} (Y\mid X=x)-\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\log p_{Y}(y)\\&{}=-\mathrm {H} (Y\mid X)+\mathrm {H} (Y)\\&{}=\mathrm {H} (Y)-\mathrm {H} (Y\mid X).\\\end{aligned}}}$

Доказательства других тождеств, приведенных выше, аналогичны. Доказательство общего случая (не только дискретного) аналогично, с интегралами вместо сумм.

Наглядно, если энтропия рассматривается как мера неопределенности относительно случайной величины, то есть мера того , что вовсе не говорит о . Это «величина неопределенности, остающаяся примерно после того, как известна», и, таким образом, правая часть второго из этих равенств может быть прочитана как «величина неопределенности , минус величина неопределенности, которая остается после того, как известно», что эквивалентно «степени неопределенности , устраняемой знанием ». Это подтверждает интуитивное значение взаимной информации как количества информации (то есть уменьшения неопределенности), которую знание одной переменной дает о другой.${\displaystyle \mathrm {H} (Y)}$${\displaystyle \mathrm {H} (Y\mid X)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$

Обратите внимание, что в дискретном случае и поэтому . Таким образом , можно сформулировать основной принцип, согласно которому переменная содержит, по крайней мере, столько же информации о себе, сколько может предоставить любая другая переменная.${\displaystyle \mathrm {H} (Y\mid Y)=0}$${\displaystyle \mathrm {H} (Y)=\operatorname {I} (Y;Y)}$${\displaystyle \operatorname {I} (Y;Y)\geq \operatorname {I} (X;Y)}$

Связь с расхождением Кульбака – Лейблера [ править ]

Для совместного дискретного или непрерывного совместно пара , взаимная информация является Кульбак-Либлер дивергенция продукта из маргинальных распределений , , от совместного распределения , то есть,${\displaystyle (X,Y)}$${\displaystyle p_{X}\cdot p_{Y}}$ ${\displaystyle p_{(X,Y)}}$

Кроме того, пусть будет условной функцией массы или плотности. Тогда у нас есть тождество${\displaystyle p_{X\mid Y=y}(x)=p_{(X,Y)}(x,y)/p_{Y}(y)}$

Доказательство для совместно дискретных случайных величин выглядит следующим образом:

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\sum _{x\in {\mathcal {X}}}p_{X\mid Y=y}(x)\log {\frac {p_{X\mid Y=y}(x)}{p_{X}(x)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\;D_{\text{KL}}\!\left(p_{X\mid Y=y}\parallel p_{X}\right)\\&=\mathbb {E} _{Y}\left[D_{\text{KL}}\!\left(p_{X\mid Y}\parallel p_{X}\right)\right].\end{aligned}}}$

Аналогичным образом это тождество может быть установлено для совместно непрерывных случайных величин.

Обратите внимание, что здесь дивергенция Кульбака – Лейблера включает интегрирование только по значениям случайной величины , а выражение по- прежнему обозначает случайную величину, поскольку оно является случайным. Таким образом , взаимная информация также может быть понята как ожидание в Кульбаке-Лейблере расходимости однофакторного распределения из от условного распределения в дали : чем больше разные распределения и в среднем, тем больше информации усиление .${\displaystyle X}$${\displaystyle D_{\text{KL}}(p_{X\mid Y}\parallel p_{X})}$${\displaystyle Y}$ ${\displaystyle p_{X}}$${\displaystyle X}$ ${\displaystyle p_{X\mid Y}}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle p_{X\mid Y}}$${\displaystyle p_{X}}$

Байесовская оценка взаимной информации [ править ]

Если доступны выборки из совместного распределения, можно использовать байесовский подход для оценки взаимной информации этого распределения. Первой такой работой, которая также показала, как делать байесовское оценивание многих других теоретико-информационных свойств, помимо взаимной информации, была. ^[3] Последующие исследователи переработали ^[4] и расширили ^[5] этот анализ. См. Недавнюю статью в ^[6], основанную на априорной оценке, специально предназначенной для оценки взаимной информации как таковой. Кроме того, недавно в. ^[7]${\displaystyle Y}$

Предположения о независимости [ править ]

Формулировка взаимной информации о расхождении Кульбака-Лейблера основана на том, что каждый заинтересован в сравнении с полностью факторизованным внешним продуктом . Во многих задачах, таких как факторизация неотрицательной матрицы , интересуют менее экстремальные факторизации; в частности, кто-то желает сравнить с приближением матрицы низкого ранга по некоторой неизвестной переменной ; то есть, в какой степени можно было${\displaystyle p(x,y)}$ ${\displaystyle p(x)\cdot p(y)}$${\displaystyle p(x,y)}$${\displaystyle w}$

${\displaystyle p(x,y)\approx \sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)}$

С другой стороны, может быть интересно узнать, сколько еще информации переносит его факторизация. В таком случае избыточная информация, которую полное распределение переносит через матричную факторизацию, дается дивергенцией Кульбака-Лейблера${\displaystyle p(x,y)}$${\displaystyle p(x,y)}$

${\displaystyle \operatorname {I} _{LRMA}=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p(x,y)\log {\left({\frac {p(x,y)}{\sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)}}\right)}},}$

Традиционное определение взаимной информации восстанавливается в крайнем случае, когда процесс имеет только одно значение .${\displaystyle W}$${\displaystyle w}$

Варианты [ править ]

Было предложено несколько вариантов взаимной информации для удовлетворения различных потребностей. Среди них - нормализованные варианты и обобщения для более чем двух переменных.

Метрика [ править ]

Многие приложения требуют метрики , то есть меры расстояния между парами точек. Количество

${\displaystyle {\begin{aligned}d(X,Y)&=\mathrm {H} (X,Y)-\operatorname {I} (X;Y)\\&=\mathrm {H} (X)+\mathrm {H} (Y)-2\operatorname {I} (X;Y)\\&=\mathrm {H} (X\mid Y)+\mathrm {H} (Y\mid X)\end{aligned}}}$

удовлетворяет свойствам метрики ( неравенство треугольника , неотрицательность , неразличимость и симметрия). Этот показатель расстояния также известен как изменение информации .

Если являются дискретными случайными величинами, тогда все члены энтропии неотрицательны, поэтому можно определить нормализованное расстояние${\displaystyle X,Y}$${\displaystyle 0\leq d(X,Y)\leq \mathrm {H} (X,Y)}$

${\displaystyle D(X,Y)={\frac {d(X,Y)}{\mathrm {H} (X,Y)}}\leq 1.}$

Метрика - универсальная метрика в том смысле, что если какое-либо другое расстояние измеряет места и близко, то они также будут судить о них близко. ^{[8] [ сомнительно - обсудить ]}${\displaystyle D}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle D}$

Добавление определений показывает, что

${\displaystyle D(X,Y)=1-{\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}.}$

В теоретико-множественной интерпретации информации (см. Рисунок для условной энтропии ) это фактически расстояние Жаккара между и .${\displaystyle X}$${\displaystyle Y}$

Ну наконец то,

${\displaystyle D^{\prime }(X,Y)=1-{\frac {\operatorname {I} (X;Y)}{\max \left\{\mathrm {H} (X),\mathrm {H} (Y)\right\}}}}$

также является метрикой.

Условная взаимная информация [ править ]

Иногда полезно выразить взаимную информацию двух случайных величин, обусловленную третьей.

Для совместно дискретных случайных величин это принимает вид

${\displaystyle \operatorname {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]},}$

который можно упростить как

${\displaystyle \operatorname {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.}$

Для совместно непрерывных случайных величин это принимает вид

${\displaystyle \operatorname {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]}dxdydz,}$

который можно упростить как

${\displaystyle \operatorname {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}dxdydz.}$

Использование третьей случайной величины может увеличивать или уменьшать взаимную информацию, но всегда верно, что

${\displaystyle \operatorname {I} (X;Y|Z)\geq 0}$

для дискретных, совместно распределенных случайных величин . Этот результат был использован в качестве основного строительного блока для доказательства других неравенств в теории информации .${\displaystyle X,Y,Z}$

Многовариантная взаимная информация [ править ]

Было предложено несколько обобщений взаимной информации для более чем двух случайных величин, таких как полная корреляция (или мультиинформация) и информация о взаимодействии . Выражение и изучение многомерной взаимной информации более высокой степени было достигнуто в двух, казалось бы, независимых работах: McGill (1954) ^[9], который назвал эти функции «информацией взаимодействия», и Hu Kuo Ting (1962) ^[10], который также первым доказал возможная отрицательность взаимной информации для степеней выше 2 и алгебраически оправдывала интуитивное соответствие диаграмм Венна ^[11]

${\displaystyle \operatorname {I} (X_{1};X_{1})=\mathrm {H} (X_{1})}$

и для ${\displaystyle n>1,}$

${\displaystyle \operatorname {I} (X_{1};\,...\,;X_{n})=\operatorname {I} (X_{1};\,...\,;X_{n-1})-\operatorname {I} (X_{1};\,...\,;X_{n-1}\mid X_{n}),}$

где (как и выше) мы определяем

${\displaystyle I(X_{1};\ldots ;X_{n-1}\mid X_{n})=\mathbb {E} _{X_{n}}[D_{\mathrm {KL} }(P_{(X_{1},\ldots ,X_{n-1})\mid X_{n}}\|P_{X_{1}\mid X_{n}}\otimes \cdots \otimes P_{X_{n-1}\mid X_{n}})].}$

(Это определение многомерной взаимной информации идентично определению информации о взаимодействии, за исключением изменения знака, когда количество случайных величин нечетное.)

Многомерная статистическая независимость [ править ]

Многомерные функции взаимной информации обобщают случай парной независимости, который утверждает, что если и только если , на произвольные многочисленные переменные. n переменных взаимно независимы тогда и только тогда, когда функции взаимной информации обращаются в нуль при (теорема 2 ^[11] ). В этом смысле можно использовать как уточненный критерий статистической независимости.${\displaystyle X_{1},X_{2}}$${\displaystyle I(X_{1};X_{2})=0}$${\displaystyle 2^{n}-n-1}$${\displaystyle I(X_{1};...;X_{k})=0}$${\displaystyle n\geq k\geq 2}$${\displaystyle I(X_{1};...;X_{k})=0}$

Приложения [ править ]

Для 3 переменных Brenner et al. применили многомерную взаимную информацию к нейронному кодированию и назвали его негативность «синергизмом» ^[12], а Watkinson et al. применил его к генетической экспрессии. ^[13] Для произвольных k переменных Tapia et al. применили многомерную взаимную информацию к экспрессии генов ^{[14] [11]} ). Может быть нулевым, положительным или отрицательным. ^[10] Позитивность соответствует отношениям, обобщающим попарные корреляции, нулевое значение соответствует уточненному понятию независимости, а отрицательность обнаруживает многомерные «возникающие» отношения и кластеризованные точки данных ^[14] ).

Одна многомерная схема обобщения, которая максимизирует взаимную информацию между совместным распределением и другими целевыми переменными, оказывается полезной при выборе признаков . ^[15]

Взаимная информация также используется в области обработки сигналов как мера сходства между двумя сигналами. Например, показатель FMI ^[16] - это показатель эффективности объединения изображений, который использует взаимную информацию для измерения количества информации, которую объединенное изображение содержит об исходных изображениях. Код Matlab для этой метрики можно найти по адресу. ^[17] Доступен пакет Python для вычисления всей многомерной взаимной информации, условной взаимной информации, совместных энтропий, общих корреляций, информационного расстояния в наборе данных из n переменных. ^[18]

Направленная информация [ править ]

Направленная информация , , измеряет количество информации , которое вытекает из процесса к , где обозначает вектор и обозначает . Термин направленная информация был введен Джеймсом Мэсси и определяется как${\displaystyle \operatorname {I} \left(X^{n}\to Y^{n}\right)}$${\displaystyle X^{n}}$${\displaystyle Y^{n}}$${\displaystyle X^{n}}$${\displaystyle X_{1},X_{2},...,X_{n}}$${\displaystyle Y^{n}}$${\displaystyle Y_{1},Y_{2},...,Y_{n}}$

${\displaystyle \operatorname {I} \left(X^{n}\to Y^{n}\right)=\sum _{i=1}^{n}\operatorname {I} \left(X^{i};Y_{i}\mid Y^{i-1}\right)}$.

Обратите внимание, что если , направленная информация становится взаимной информацией. Направленная информация имеет множество применений в задачах, где причинно-следственная связь играет важную роль, таких как пропускная способность канала с обратной связью. ^{[19] [20]}${\displaystyle n=1}$

Нормализованные варианты [ править ]

Нормализованные варианты взаимной информации обеспечиваются коэффициентами ограничения , ^[21] коэффициент неопределенности ^[22] или владение: ^[23]

${\displaystyle C_{XY}={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (Y)}}~~~~{\mbox{and}}~~~~C_{YX}={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)}}.}$

Два коэффициента имеют значение в диапазоне [0, 1], но не обязательно равны. В некоторых случаях может потребоваться симметричная мера, такая как следующая мера избыточности ^{[ необходима ссылка ]} :

${\displaystyle R={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

который достигает минимум нуля, когда переменные независимы, и максимальное значение

${\displaystyle R_{\max }={\frac {\min \left\{\mathrm {H} (X),\mathrm {H} (Y)\right\}}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

когда одна переменная становится полностью избыточной при знании другой. См. Также Резервирование (теория информации) .

Другой симметричной мерой является симметричная неопределенность ( Witten & Frank 2005 ), определяемая формулой

${\displaystyle U(X,Y)=2R=2{\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

который представляет собой гармоническое среднее двух коэффициентов неопределенности . ^[22]${\displaystyle C_{XY},C_{YX}}$

Если мы рассматриваем взаимную информацию как частный случай полной корреляции или двойной полной корреляции , нормализованная версия, соответственно,

${\displaystyle {\frac {\operatorname {I} (X;Y)}{\min \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}}}$ и ${\displaystyle {\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}\;.}$

Эта нормализованная версия, также известная как Коэффициент качества информации (IQR), которая определяет количество информации переменной на основе другой переменной в сравнении с общей неопределенностью: ^[24]

${\displaystyle IQR(X,Y)=\operatorname {E} [\operatorname {I} (X;Y)]={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}={\frac {\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x)p(y)}}{\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x,y)}}}-1}$

Существует нормализация ^[25], которая происходит от первого представления о взаимной информации как о аналоге ковариации (таким образом, энтропия Шеннона аналогична дисперсии ). Затем вычисляется нормализованная взаимная информация по аналогии с коэффициентом корреляции Пирсона ,

${\displaystyle {\frac {\operatorname {I} (X;Y)}{\sqrt {\mathrm {H} (X)\mathrm {H} (Y)}}}\;.}$

Взвешенные варианты [ править ]

В традиционной формулировке взаимной информации

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}$

каждое событие или объект, указанные в, взвешиваются по соответствующей вероятности . Это предполагает, что все объекты или события эквивалентны, за исключением вероятности их возникновения. Однако в некоторых приложениях может случиться так, что одни объекты или события более значимы, чем другие, или что определенные шаблоны ассоциации более семантически важны, чем другие.${\displaystyle (x,y)}$${\displaystyle p(x,y)}$

Например, детерминированное отображение можно рассматривать как более сильное, чем детерминированное отображение , хотя эти отношения дадут ту же взаимную информацию. Это связано с тем, что взаимная информация вообще не чувствительна к какому-либо внутреннему порядку в значениях переменных ( Cronbach 1954 , Coombs, Dawes & Tversky 1970 , Lockhead 1970 ) и, следовательно, не чувствительна вообще к форме реляционного отображения между связанные переменные. Если желательно, чтобы первое отношение, показывающее согласие по всем значениям переменных, было более сильным, чем более позднее, можно использовать следующую взвешенную взаимную информацию ( Guiasu 1977 ).${\displaystyle \{(1,1),(2,2),(3,3)\}}$${\displaystyle \{(1,3),(2,1),(3,2)\}}$

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}$

который придает вес вероятности одновременного появления каждого значения переменной . Это допускает, что определенные вероятности могут иметь большее или меньшее значение, чем другие, тем самым позволяя количественную оценку соответствующих холистических факторов или факторов Прэгнанца . В приведенном выше примере использование больших относительных весов для , и будет иметь эффект оценки большей информативности отношения, чем отношения , что может быть желательно в некоторых случаях распознавания образов и т.п. Эта взвешенная взаимная информация является формой взвешенной KL-дивергенции, которая, как известно, принимает отрицательные значения для некоторых входных данных, ^[26]${\displaystyle w(x,y)}$${\displaystyle p(x,y)}$${\displaystyle w(1,1)}$${\displaystyle w(2,2)}$${\displaystyle w(3,3)}$${\displaystyle \{(1,1),(2,2),(3,3)\}}$${\displaystyle \{(1,3),(2,1),(3,2)\}}$и есть примеры, когда взвешенная взаимная информация также принимает отрицательные значения. ^[27]

Скорректированная взаимная информация [ править ]

Распределение вероятностей можно рассматривать как разбиение множества . Тогда можно спросить: если бы множество было разбито случайным образом, каким было бы распределение вероятностей? Какова ожидаемая ценность взаимной информации? Регулируется взаимной информации или AMI вычитает среднее значение МИ, так что АМИ равен нулю , когда два различных распределения являются случайными, и один , когда два распределения одинаковы. AMI определяется аналогично скорректированному индексу Rand двух разных разделов набора.

Абсолютная взаимная информация [ править ]

Используя идеи колмогоровской сложности , можно рассматривать взаимную информацию двух последовательностей независимо от какого-либо распределения вероятностей:

${\displaystyle \operatorname {I} _{K}(X;Y)=K(X)-K(X\mid Y).}$

Чтобы установить, что эта величина симметрична с точностью до логарифмического множителя ( ), требуется цепное правило для сложности Колмогорова ( Li & Vitányi 1997 ). Аппроксимация этой величины посредством сжатия может использоваться для определения меры расстояния для выполнения иерархической кластеризации последовательностей без знания какой-либо предметной области последовательностей ( Cilibrasi & Vitányi 2005 ).${\displaystyle \operatorname {I} _{K}(X;Y)\approx \operatorname {I} _{K}(Y;X)}$

Линейная корреляция [ править ]

В отличие от коэффициентов корреляции, таких как коэффициент корреляции момента продукта , взаимная информация содержит информацию обо всех зависимостях - линейных и нелинейных, - а не только о линейных зависимостях, как измеряет коэффициент корреляции. Однако в узком случае, когда совместное распределение для и является двумерным нормальным распределением (подразумевая, в частности, что оба предельных распределения нормально распределены), существует точная связь между коэффициентом корреляции и ( Гельфанд и Яглом, 1957 ).${\displaystyle X}$${\displaystyle Y}$${\displaystyle \operatorname {I} }$${\displaystyle \rho }$

${\displaystyle \operatorname {I} =-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)}$

Приведенное выше уравнение может быть получено следующим образом для двумерной гауссианы:

${\displaystyle {\begin{aligned}{\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}&\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},\Sigma \right),\qquad \Sigma ={\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\\\mathrm {H} (X_{i})&={\frac {1}{2}}\log \left(2\pi e\sigma _{i}^{2}\right)={\frac {1}{2}}+{\frac {1}{2}}\log(2\pi )+\log \left(\sigma _{i}\right),\quad i\in \{1,2\}\\\mathrm {H} (X_{1},X_{2})&={\frac {1}{2}}\log \left[(2\pi e)^{2}|\Sigma |\right]=1+\log(2\pi )+\log \left(\sigma _{1}\sigma _{2}\right)+{\frac {1}{2}}\log \left(1-\rho ^{2}\right)\\\end{aligned}}}$

Следовательно,

${\displaystyle \operatorname {I} \left(X_{1};X_{2}\right)=\mathrm {H} \left(X_{1}\right)+\mathrm {H} \left(X_{2}\right)-\mathrm {H} \left(X_{1},X_{2}\right)=-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)}$

Для дискретных данных [ править ]

Когда и ограничены дискретным числом состояний, данные наблюдений суммируются в таблице непредвиденных обстоятельств с переменной строки (или ) и переменной столбца (или ). Взаимная информация - это одна из мер связи или корреляции между переменными строки и столбца. Другие меры ассоциации включают статистику критерия хи-квадрат Пирсона, статистику G-критерия и т. Д. Фактически, взаимная информация равна статистике G-критерия, деленной на , где - размер выборки.${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle i}$${\displaystyle Y}$${\displaystyle j}$${\displaystyle 2N}$${\displaystyle N}$

Приложения [ править ]

Во многих приложениях требуется максимизировать взаимную информацию (таким образом, увеличивая зависимости), что часто эквивалентно минимизации условной энтропии . Примеры включают:

• В технологии поисковых машин взаимная информация между фразами и контекстами используется в качестве функции кластеризации k-средних для обнаружения семантических кластеров (концептов). ^[28] Например, взаимная информация биграммы может быть вычислена как:

где - количество раз, когда биграмма xy появляется в корпусе, - это количество раз, когда униграмма x встречается в корпусе, B - общее количество биграмм, а U - общее количество униграмм. ^[28]${\displaystyle f_{XY}}$${\displaystyle f_{X}}$

• В области телекоммуникаций , то пропускная способность канала равна взаимной информацию, развернутой по всем распределениям ввода.
• Предложены процедуры дискриминирующего обучения скрытых марковских моделей на основе критерия максимальной взаимной информации (MMI).
• Предсказание вторичной структуры РНК на основе множественного выравнивания последовательностей .
• Прогноз филогенетического профилирования на основании попарного присутствия и исчезновения функционально связанных генов .
• Взаимная информация использовалась в качестве критерия для выбора функций и преобразования функций в машинном обучении . Его можно использовать для характеристики как релевантности, так и избыточности переменных, например выбора функции минимальной избыточности .
• Взаимная информация используется для определения сходства двух разных кластеров набора данных. Таким образом, он дает некоторые преимущества по сравнению с традиционным индексом Rand .
• Взаимная информация слов часто используется как функция значимости для вычисления словосочетаний в лингвистике корпуса . Это имеет дополнительную сложность, заключающуюся в том, что ни один экземпляр слова не является экземпляром двух разных слов; скорее, учитываются случаи, когда 2 слова встречаются рядом или в непосредственной близости; это немного усложняет расчет, поскольку ожидаемая вероятность того, что одно слово встретится в словах другого, возрастает .${\displaystyle N}$${\displaystyle N}$
• Взаимная информация используется в медицинской визуализации для регистрации изображений . Учитывая эталонное изображение (например, сканирование мозга) и второе изображение, которое необходимо поместить в ту же систему координат, что и эталонное изображение, это изображение деформируется до тех пор, пока взаимная информация между ним и эталонным изображением не будет максимальной.
• Обнаружение фазовой синхронизации при анализе временных рядов
• В INFOMAX метода нейронной сети, и другого машинное обучение, в том числе INFOMAX на основе независимого компонентов анализа алгоритма
• Средняя взаимная информация в теореме внедрения задержки используется для определения параметра задержки внедрения .
• Взаимная информация между генами в данных экспрессии микрочипов используется алгоритмом ARACNE для реконструкции генных сетей .
• В статистической механике , парадокс Лошмидта может быть выражено в терминах взаимной информации. ^{[29] [30]} Лошмидт отметил, что невозможно определить физический закон, в котором отсутствует симметрия обращения времени (например, второй закон термодинамики ), только из физических законов, обладающих этой симметрией. Он отметил, что Н-теорема о Больцмане сделал предположение , что скорости частиц в газе были постоянно коррелированны, которые удаляют временную симметрию , присущую H-теорема. Можно показать, что если система описывается плотностью вероятности в фазовом пространстве , то теорема Лиувилляозначает, что совместная информация (отрицательная от совместной энтропии) распределения остается постоянной во времени. Совместная информация равна взаимной информации плюс сумма всей маргинальной информации (отрицательной из предельных энтропий) для каждой координаты частицы. Предположение Больцмана сводится к игнорированию взаимной информации при вычислении энтропии, которая дает термодинамическую энтропию (деленную на постоянную Больцмана).
• Взаимная информация используется для изучения структуры байесовских сетей / динамических байесовских сетей , которая, как считается, объясняет причинно-следственную связь между случайными величинами, как показано на примере инструментария GlobalMIT: ^[31] изучение глобально оптимальной динамической байесовской сети с помощью взаимной информации Критерий испытания.
• Популярная функция стоимости в изучении дерева решений .
• Взаимная информация используется в космологии для проверки влияния крупномасштабной окружающей среды на свойства галактик в Галактическом зоопарке .
• Взаимная информация использовалась в солнечной физике для получения профиля солнечного дифференциального вращения , карты отклонения времени прохождения для солнечных пятен и диаграммы время-расстояние по измерениям спокойного Солнца ^[32]
• Используется в инвариантной кластеризации информации для автоматического обучения классификаторов нейронных сетей и сегментеров изображений без помеченных данных. ^[33]

См. Также [ править ]

• Точечная взаимная информация
• Квантовая взаимная информация

Заметки [ править ]

Ссылки [ править ]

• Baudot, P .; Tapia, M .; Bennequin, D .; Гоайярд, Дж. М. (2019). «Анализ топологической информации». Энтропия . 21 (9). 869. arXiv : 1907.04242 . Bibcode : 2019Entrp..21..869B . DOI : 10.3390 / e21090869 . S2CID  195848308 .
• Cilibrasi, R .; Витани, Пол (2005). «Кластеризация сжатием» (PDF) . IEEE Transactions по теории информации . 51 (4): 1523–1545. arXiv : cs / 0312044 . DOI : 10.1109 / TIT.2005.844059 . Кирилл  911 .
• Кронбах, LJ (1954). «О нерациональном применении информационных мер в психологии». В Quastler, Генри (ред.). Теория информации в психологии: проблемы и методы . Гленко, Иллинойс: Свободная пресса. С. 14–30.
• Кумбс, Швейцария; Dawes, RM; Тверски, А. (1970). Математическая психология: элементарное введение . Энглвуд Клиффс, Нью-Джерси: Прентис-Холл.
• Церковь, Кеннет Уорд; Хэнкс, Патрик (1989). «Нормы словесных ассоциаций, взаимная информация и лексикография» . Труды 27-го ежегодного собрания Ассоциации компьютерной лингвистики : 76–83. DOI : 10.3115 / 981623.981633 .
• Гельфанд И.М.; Яглом AM (1957). «Вычисление количества информации о случайной функции, содержащейся в другой такой функции». Переводы Американского математического общества . Серия 2. 12 : 199–246. DOI : 10.1090 / trans2 / 012/09 . ISBN 9780821817124.Английский перевод оригинала в Успехах математических наук 12  (1): 3-52.
• Гиасу, Сильвиу (1977). Теория информации с приложениями . Макгроу-Хилл, Нью-Йорк. ISBN 978-0-07-025109-0.
• Ли, Мин; Витани, Пол (февраль 1997 г.). Введение в колмогоровскую сложность и ее приложения . Нью-Йорк: Springer-Verlag . ISBN 978-0-387-94868-3.
• Локхед, GR (1970). «Идентификация и форма многомерного дискриминирующего пространства». Журнал экспериментальной психологии . 85 (1): 1–10. DOI : 10.1037 / h0029508 . PMID  5458322 .
• Дэвид Дж. К. Маккей. Теория информации, логический вывод и алгоритмы обучения Кембридж: Cambridge University Press, 2003. ISBN 0-521-64298-1 (доступно бесплатно в Интернете) 
• Хагигхат, MBA; Агаголзаде, А .; Сейедараби, Х. (2011). «Неопорный показатель слияния изображений, основанный на взаимной информации о характеристиках изображения». Компьютеры и электротехника . 37 (5): 744–756. DOI : 10.1016 / j.compeleceng.2011.07.012 .
• Афанасиос Папулис . Вероятность, случайные величины и случайные процессы , второе издание. Нью-Йорк: Макгроу-Хилл, 1984. (см. Главу 15.)
• Виттен, Ян Х. и Франк, Эйбе (2005). Data Mining: практические инструменты и методы машинного обучения . Морган Кауфманн, Амстердам. ISBN 978-0-12-374856-0.
• Пэн, HC; Лонг, Ф. и Динг, К. (2005). «Выбор функций на основе взаимной информации: критерии максимальной зависимости, максимальной релевантности и минимальной избыточности» . IEEE Transactions по анализу шаблонов и машинному анализу . 27 (8): 1226–1238. CiteSeerX  10.1.1.63.5765 . DOI : 10.1109 / tpami.2005.159 . PMID  16119262 . S2CID  206764015 .
• Андре С. Рибейро; Стюарт А. Кауфман; Джейсон Ллойд-Прайс; Бьорн Самуэльссон и Джошуа Соолар (2008). «Взаимная информация в случайных булевых моделях регуляторных сетей». Physical Review E . 77 (1): 011901. arXiv : 0707.3642 . Bibcode : 2008PhRvE..77a1901R . DOI : 10.1103 / physreve.77.011901 . PMID  18351870 . S2CID  15232112 .
• Уэллс, WM III; Альт, P .; Atsumi, H .; Nakajima, S .; Кикинис, Р. (1996). «Мультимодальная регистрация объема путем максимизации взаимной информации» (PDF) . Анализ медицинских изображений . 1 (1): 35–51. DOI : 10.1016 / S1361-8415 (01) 80004-9 . PMID  9873920 . Архивировано из оригинального (PDF) 06.09.2008 . Проверено 5 августа 2010 .
• Панди, Бисваджит; Саркар, Суман (2017). «Насколько галактика знает о своем крупномасштабном окружении ?: Теоретическая перспектива». Ежемесячные уведомления о письмах Королевского астрономического общества . 467 (1): L6. arXiv : 1611.00283 . Bibcode : 2017MNRAS.467L ... 6P . DOI : 10.1093 / mnrasl / slw250 . S2CID  119095496 .