Многие концепции теории информации имеют отдельные определения и формулы для непрерывных и дискретных случаев. Например, энтропияобычно определяется для дискретных случайных величин, тогда как для непрерывных случайных величин родственное понятие дифференциальной энтропии записывается, используется (см. Обложка и Томас, 2006, глава 8). Обе эти концепции являются математическими ожиданиями , но математическое ожидание определяется с помощью интеграла для непрерывного случая и суммы для дискретного случая.
Эти отдельные определения могут быть более тесно связаны с точки зрения теории меры . Для дискретных случайных величин вероятностные массовые функции могут рассматриваться как функции плотности относительно счетной меры. Думая об интеграле и сумме как об интегрировании в пространстве мер, можно использовать единый подход.
Если вместо этого дискретный, с диапазоном конечное множество, - функция массы вероятности на , а также это счетная мера на, мы можем написать:
Интегральное выражение и общая концепция в непрерывном случае идентичны; единственная разница - это используемая мера. В обоих случаях функция плотности вероятностиэто производная Радона-Никодима от вероятностной меры в отношении меры , против которой берется интеграл.
Если - вероятностная мера, индуцированная , то интеграл можно взять и непосредственно по :
Если вместо основной меры μ мы возьмем другую вероятностную меру , мы приходим к расхождению Кульбака – Лейблера : пусть а также - вероятностные меры в одном и том же пространстве. Тогда еслиявляется абсолютно непрерывна относительно, написано производная Радона – Никодима существует и расхождение Кульбака – Лейблера может быть выражено в его полной общности:
где интеграл берется за поддержку вОбратите внимание, что мы опустили знак минус: дивергенция Кульбака – Лейблера всегда неотрицательна из-за неравенства Гиббса .
Энтропия как «мера»
Диаграмма Венна для различных информационных мер , связанных с коррелированными переменными X и Y . Площадь, содержащаяся в обоих кругах, является совместной энтропией H ( X , Y ). Круг слева (красный и голубой) - это индивидуальная энтропия H ( X ), а красный - условная энтропия H ( X | Y ). Круг справа (синий и голубой) - это H ( Y ), а синий - H ( Y | X ). Голубой - это взаимная информация I ( X ; Y ).
Диаграмма Венна теоретико-информационных мер для трех переменных x , y и z . Каждый кружок представляет индивидуальную энтропию : H ( x ) - нижний левый кружок, H ( y ) - нижний правый, а H ( z ) - верхний кружок. Пересечения любых двух кружков представляют собой взаимную информацию для двух связанных переменных (например, I ( x ; z ) - желтый и серый). Объединение любых двух окружностей является совместной энтропией для двух связанных переменных (например, H ( x , y ) - все, кроме зеленого). Совместная энтропия H ( x , y , z ) всех трех переменных - это объединение всех трех окружностей. Он разделен на 7 частей, красный, синий и зеленый - условные энтропии H ( x | y , z ), H ( y | x , z ), H ( z | x , y ) соответственно, желтый, пурпурный и голубой. - условная взаимная информация I ( x ; z | y ), I ( y ; z | x ) и I ( x ; y | z ) соответственно, а серый - многомерная взаимная информация I ( x ; y ; z ). Многовариантная взаимная информация - единственное, что может быть отрицательным.
Если связать существование абстрактных множеств а также к произвольным дискретным случайным величинам X и Y , каким-то образом представляющим информацию, переносимую X и Y , соответственно, так что
всякий раз, когда X и Y безусловно независимы , и
всякий раз, когда X и Y таковы, что один полностью определяется другим (т. е. биекцией);
где является мерой со знаком над этими наборами, и мы устанавливаем:
мы обнаруживаем, что «мера» информационного содержания Шеннона удовлетворяет всем постулатам и основным свойствам формальной подписанной меры по множествам, как обычно показано на информационной диаграмме . Это позволяет записать сумму двух измерений:
и аналог теоремы Байеса () позволяет записать разность двух тактов:
Это может быть удобным мнемоническим приемом в некоторых ситуациях, например
Обратите внимание , что размеры ( средние значения логарифма) истинные вероятностей называются «энтропия» и , как правило , представленной буква H , в то время как другие меры , часто упоминаются как «информация» или «корреляция» и в целом обозначена буквой I . Для простоты обозначений буква I иногда используется для обозначения всех мер.
Многомерная взаимная информация
Определенные расширения определений основных мер информации Шеннона необходимы для работы с σ-алгеброй, порожденной наборами, которые были бы связаны с тремя или более произвольными случайными величинами. (См. Реза, стр. 106–108 для неформального, но достаточно полного обсуждения.) А именно.должна быть определена очевидным образом как энтропия совместного распределения, а многомерная взаимная информация определены подходящим образом, чтобы мы могли установить:
чтобы определить (знаковую) меру по всей σ-алгебре. Не существует единого общепринятого определения многовариантной взаимной информации, но то, которое здесь соответствует мере пересечения множеств, принадлежит Фано (1966: стр. 57-59). Определение рекурсивное. В качестве базового случая взаимная информация одной случайной величины определяется как ее энтропия:. Тогда для мы установили
где условная взаимная информация определяется как
Первый шаг в рекурсии дает определение Шеннона Многомерная взаимная информация ( такая же, как информация о взаимодействии, но для изменения знака) трех или более случайных величин может быть как отрицательной, так и положительной: пусть X и Y - два независимых подбрасывания справедливой монеты, а Z - их исключающее или . потом немного.
Для трех и более случайных величин возможны многие другие варианты: например, представляет собой взаимную информацию о совместном распределении X и Y относительно Z и может быть интерпретировано как Таким образом можно построить множество более сложных выражений, которые все еще имеют значение, например или же
Рекомендации
Томас М. Кавер и Джой А. Томас. Элементы теории информации , второе издание, 2006 г. Нью-Джерси: Wiley and Sons. ISBN 978-0-471-24195-9 .
Фазлолла М. Реза. Введение в теорию информации . Нью-Йорк: Макгроу-Хилл 1961. Нью-Йорк: Довер 1994. ISBN 0-486-68210-2
Фано, RM (1966), Передача информации: статистическая теория коммуникации , MIT Press , ISBN 978-0-262-56169-3, OCLC 804123877
RW Yeung, "Об энтропии, информационных неравенствах и группах". PS