Неравенство энтропийной мощности

В теории информации , то энтропия неравенство сила является результатом , который относится к так называемым «энтропии сила» случайных величин . Это показывает, что энтропийная мощность случайных величин с подходящим поведением является супераддитивной функцией . Неравенство мощности энтропии было доказано в 1948 году Клодом Шенноном в его основополагающей статье « Математическая теория коммуникации ». Шеннон также предоставил достаточное условие для выполнения равенства; Stam (1959) показал, что это условие действительно необходимо.

Формулировка неравенства [ править ]

Для случайной величины X : Q → R ^п с функцией плотности вероятности F : R ^п → R , то дифференциальная энтропия из X , обозначат ч ( Х ), определяются как

{\ displaystyle h (X) = - \ int _ {\ mathbb {R} ^ {n}} f (x) \ log f (x) \, dx}

а энтропийная степень X , обозначаемая N ( X ), определяется как

{\ displaystyle N (X) = {\ frac {1} {2 \ pi e}} e ^ {{\ frac {2} {n}} h (X)}.}

В частности, N ( X ) = | K | ^{1 / п} , когда Х является нормальным распределением с ковариационной матрицей K .

Пусть Х и Y быть независимыми случайными величинами с функциями плотности вероятности в л ^р пространство L ^р ( R ^п ) при некотором р > 1. Тогда

{\ Displaystyle N (X + Y) \ geq N (X) + N (Y). \,}

Более того, равенство выполняется тогда и только тогда, когда X и Y - многомерные нормальные случайные величины с пропорциональными ковариационными матрицами .

См. Также [ править ]

Ссылки [ править ]

Дембо, Амир; Обложка, Томас М .; Томас, Джой А. (1991). «Теоретико-информационные неравенства». IEEE Trans. Инф. Теория . 37 (6): 1501–1518. DOI : 10.1109 / 18.104312 . Руководство по ремонту 1134291 . S2CID 845669 .
Гарднер, Ричард Дж. (2002). «Неравенство Брунна – Минковского» . Бык. Амер. Математика. Soc. (NS) . 39 (3): 355–405 (электронный). DOI : 10.1090 / S0273-0979-02-00941-2 .
Шеннон, Клод Э. (1948). «Математическая теория коммуникации». Bell System Tech. J. 27 (3): 379–423, 623–656. DOI : 10.1002 / j.1538-7305.1948.tb01338.x . hdl : 10338.dmlcz / 101429 .
Стам, AJ (1959). «Некоторым неравенствам удовлетворяет количество информации Фишера и Шеннона» . Информация и контроль . 2 (2): 101–112. DOI : 10.1016 / S0019-9958 (59) 90348-1 .