Совместная энтропия

Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Скорость энтропии Предельная плотность дискретных точек
Асимптотическое свойство равнораспределения Теория скорости – искажения
Теорема Шеннона о кодировании источника Емкость канала Теорема кодирования с шумом Теорема Шеннона – Хартли.
v т е

Вводящая в заблуждение ^[1] диаграмма Венна, показывающая аддитивные и вычитающие отношения между различными информационными мерами, связанными с коррелированными переменными X и Y. Область, содержащаяся в обоих кругах, является совместной энтропией H (X, Y). Круг слева (красный и фиолетовый) - это индивидуальная энтропия H (X), а красный - условная энтропия H (X | Y). Круг справа (синий и фиолетовый) - это H (Y), а синий - H (Y | X). Фиолетовый - это взаимная информация I (X; Y).

В теории информации , совместная энтропия является мерой неопределенности , связанной с набором переменных . ^[2]

Определение [ править ]

Совместная энтропия Шеннона (в битах ) два дискретных случайных величин и с изображениями и определяются как ^{[3] : 16}${\ displaystyle X}$${\ displaystyle Y}$${\ Displaystyle {\ mathcal {X}}}$${\ displaystyle {\ mathcal {Y}}}$

${\ displaystyle \ mathrm {H} (X, Y) = - \ sum _ {x \ in {\ mathcal {X}}} \ sum _ {y \ in {\ mathcal {Y}}} P (x, y ) \ log _ {2} [P (x, y)]}$

( Уравнение 1 )

где и - конкретные значения и , соответственно, - совместная вероятность того, что эти значения встречаются вместе, и определяется как 0, если .${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle X}$${\ displaystyle Y}$${\ Displaystyle Р (х, у)}$${\ Displaystyle P (x, y) \ log _ {2} [P (x, y)]}$${\ Displaystyle P (х, y) = 0}$

Для более чем двух случайных величин это расширяется до${\ displaystyle X_ {1}, ..., X_ {n}}$

${\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}\in {\mathcal {X}}_{1}}...\sum _{x_{n}\in {\mathcal {X}}_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$

( Уравнение 2 )

где - конкретные значения , соответственно, - вероятность того, что эти значения встречаются вместе, и определяется как 0, если .${\displaystyle x_{1},...,x_{n}}$${\displaystyle X_{1},...,X_{n}}$${\displaystyle P(x_{1},...,x_{n})}$${\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$${\displaystyle P(x_{1},...,x_{n})=0}$

Свойства [ править ]

Неотрицательность [ править ]

Совместная энтропия набора случайных величин - неотрицательное число.

${\displaystyle \mathrm {H} (X,Y)\geq 0}$

${\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\geq 0}$

Больше, чем индивидуальные энтропии [ править ]

Совместная энтропия набора переменных больше или равна максимуму всех индивидуальных энтропий переменных в наборе.

${\displaystyle \mathrm {H} (X,Y)\geq \max \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}$

${\displaystyle \mathrm {H} {\bigl (}X_{1},\ldots ,X_{n}{\bigr )}\geq \max _{1\leq i\leq n}{\Bigl \{}\mathrm {H} {\bigl (}X_{i}{\bigr )}{\Bigr \}}}$

Меньше или равно сумме индивидуальных энтропий [ править ]

Совместная энтропия набора переменных меньше или равна сумме индивидуальных энтропий переменных в наборе. Это пример субаддитивности . Это неравенство имеет место равенство тогда и только тогда , когда и являются статистически независимыми . ^{[3] : 30}${\displaystyle X}$${\displaystyle Y}$

${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$

${\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\leq \mathrm {H} (X_{1})+\ldots +\mathrm {H} (X_{n})}$

Связь с другими мерами энтропии [ править ]

Совместная энтропия используется в определении условной энтропии ^{[3] : 22}

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,}$,

а также

$${\displaystyle \mathrm {H} (X_{1},\dots ,X_{n})=\sum _{k=1}^{n}\mathrm {H} (X_{k}|X_{k-1},\dots ,X_{1})}$$

${\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}$

В квантовой теории информации совместная энтропия обобщается до совместной квантовой энтропии .

Совместная дифференциальная энтропия [ править ]

Определение [ править ]

Приведенное выше определение относится к дискретным случайным величинам и так же верно в случае непрерывных случайных величин. Непрерывная версия дискретной совместной энтропии называется совместной дифференциальной (или непрерывной) энтропией . Позвольте и быть непрерывными случайными величинами с совместной функцией плотности вероятности . Дифференциальная совместная энтропия определяется как ^{[3] : 249}${\displaystyle X}$${\displaystyle Y}$ ${\displaystyle f(x,y)}$${\displaystyle h(X,Y)}$

${\displaystyle h(X,Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x,y)\,dxdy}$

( Уравнение 3 )

Для более чем двух непрерывных случайных величин определение обобщается на:${\displaystyle X_{1},...,X_{n}}$

${\displaystyle h(X_{1},\ldots ,X_{n})=-\int f(x_{1},\ldots ,x_{n})\log f(x_{1},\ldots ,x_{n})\,dx_{1}\ldots dx_{n}}$

( Уравнение 4 )

Интеграл берется по поддержке . Возможно, что интеграла не существует, и в этом случае мы говорим, что дифференциальная энтропия не определена.${\displaystyle f}$

Свойства [ править ]

Как и в дискретном случае, совместная дифференциальная энтропия набора случайных величин меньше или равна сумме энтропий отдельных случайных величин:

${\displaystyle h(X_{1},X_{2},\ldots ,X_{n})\leq \sum _{i=1}^{n}h(X_{i})}$^{[3] : 253}

Следующее цепное правило выполняется для двух случайных величин:

${\displaystyle h(X,Y)=h(X|Y)+h(Y)}$

В случае более чем двух случайных величин это обобщается следующим образом: ^{[3] : 253}

${\displaystyle h(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},X_{2},\ldots ,X_{i-1})}$

Совместная дифференциальная энтропия также используется в определении взаимной информации между непрерывными случайными величинами:

${\displaystyle \operatorname {I} (X,Y)=h(X)+h(Y)-h(X,Y)}$

Ссылки [ править ]