Диаграмма Венна теоретико-информационных мер для трех переменных , , а также , представленные нижним левым, нижним правым и верхним кругами соответственно. Условные взаимные сведения , а также представлены желтой, голубой и пурпурной областями соответственно.
Определение
Для случайных величин , , а также с наборами опор, а также , условную взаимную информацию определим как
Это можно записать в терминах оператора ожидания: .
Таким образом является ожидаемым (относительно ) Расхождение Кульбака – Лейблера от условного совместного распределения к произведению условных маргиналов а также . Сравните с определением взаимной информации .
В терминах PMF для дискретных распределений
Для дискретных случайных величин , , а также с наборами опор, а также , условная взаимная информация составляет
где маргинальные, совместные и / или условные массовые функции вероятностей обозначаются какс соответствующим индексом. Это можно упростить как
С точки зрения pdf для непрерывных распределений
Для (абсолютно) непрерывных случайных величин , , а также с наборами опор, а также , условная взаимная информация составляет
где маргинальные, совместные и / или условные функции плотности вероятности обозначаются какс соответствующим индексом. Это можно упростить как
Некоторые личности
В качестве альтернативы мы можем записать в терминах совместной и условной энтропий как [3]
Его можно переписать, чтобы показать его отношение к взаимной информации.
обычно перестраивается как цепное правило для взаимной информации
Другой эквивалентной формой вышеизложенного является
Или как математическое ожидание более простых расхождений Кульбака – Лейблера:
,
.
Более общее определение
Более общее определение условной взаимной информации, применимое к случайным величинам с непрерывным или другим произвольным распределением, будет зависеть от концепции регулярной условной вероятности . (См. Также. [4] [5] )
Позволять - вероятностное пространство , и пусть случайные величины, , а также каждый может быть определен как измеримая по Борелю функцию из в некоторое пространство состояний, наделенное топологической структурой.
Рассмотрим борелевскую меру (на σ-алгебре, порожденной открытыми множествами) в пространстве состояний каждой случайной величины, определенной путем присвоения каждому борелевскому множеству значения -меры его прообраза в . Это называется продвижением вперед.Поддержка случайной величины определяется , чтобы быть топологической поддержкой этой меры, т.е.
Теперь мы можем формально определить меру условной вероятности с учетом значения одной (или, через топологию продукта , нескольких) случайных величин. Позволять быть измеримым подмножеством (т.е. ) и разреши Затем, используя теорему о распаде :
где предел берется по открытым окрестностям из , поскольку они могут становиться сколь угодно меньшими по отношению к включению множества .
Наконец, мы можем определить условную взаимную информацию с помощью интеграции Лебега :
где подынтегральное выражение - это логарифм производной Радона – Никодима, включающей некоторые из условно-вероятностных мер, которые мы только что определили.
Примечание к обозначениям
В таком выражении, как а также не обязательно ограничиваться представлением отдельных случайных величин, но может также представлять совместное распределение любого набора случайных величин, определенных в одном и том же вероятностном пространстве . Как это принято в теории вероятностей , мы можем использовать запятую для обозначения такого совместного распределения, например Следовательно, использование точки с запятой (или иногда двоеточия или даже клина ) для разделения основных аргументов символа взаимной информации. (В символе совместной энтропии такое различие не требуется , поскольку совместная энтропия любого числа случайных величин совпадает с энтропией их совместного распределения.)
Характеристики
Неотрицательность
Это всегда правда, что
,
для дискретных, совместно распределенных случайных величин , а также . Этот результат был использован в качестве основного строительного блока для доказательства других неравенств в теории информации , в частности, тех, которые известны как неравенства типа Шеннона. Условная взаимная информация также неотрицательна для непрерывных случайных величин при определенных условиях регулярности. [6]
Информация о взаимодействии
Использование третьей случайной величины может либо увеличить, либо уменьшить взаимную информацию: то есть разницу , называемая информацией о взаимодействии , может быть положительной, отрицательной или нулевой. Это так даже тогда, когда случайные величины попарно независимы. Так бывает, когда:
в таком случае , а также попарно независимы и, в частности, , но
Цепное правило для взаимной информации
Информация о взаимодействии
Условная взаимная информация используется для индуктивного определения информации о взаимодействии , обобщения взаимной информации следующим образом:
где
Поскольку условная взаимная информация может быть больше или меньше ее безусловного аналога, информация о взаимодействии может быть положительной, отрицательной или нулевой, что затрудняет ее интерпретацию.
^ D. Leao, Jr. et al. Регулярная условная вероятность, распад вероятности и радоновые пространства. Proyecciones. Vol. 23, No. 1, pp. 15–29, май 2004 г., Католический университет дель Норте, Антофагаста, Чили PDF
^Полянский, Юрий; Ву, Ихонг (2017). Конспект лекций по теории информации (PDF) . п. 30.