Дифференциальная энтропия

Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Скорость энтропии Предельная плотность дискретных точек
Асимптотическое свойство равнораспределения Теория скорости – искажения
Теорема Шеннона о кодировании источника Емкость канала Теорема кодирования с шумом Теорема Шеннона – Хартли.
v т е

Дифференциальная энтропия (также называется непрерывной энтропией ) является понятием в теории информации , которая началась как попытка Шеннона , чтобы расширить идею (Shannon) энтропии , мера средней surprisal в виде случайной величины , для непрерывных вероятностных распределений . К сожалению, Шеннон не вывел эту формулу, а просто предположил, что это правильный непрерывный аналог дискретной энтропии, но это не так. ^{[1] : 181–218} Фактическая непрерывная версия дискретной энтропии - это предельная плотность дискретных точек.(LDDP). Дифференциальная энтропия (описанная здесь) часто встречается в литературе, но это предельный случай LDDP, который теряет свою фундаментальную связь с дискретной энтропией .

Определение [ править ]

Позвольте быть случайной величиной с функцией плотности вероятности , поддержкой которой является множество . Дифференциальная энтропия или определяются как ^{[2] : 243}${\ displaystyle X}$ ${\ displaystyle f}$${\displaystyle {\mathcal {X}}}$ ${\displaystyle h(X)}$${\displaystyle h(f)}$

Для вероятностных распределений, которые не имеют явного выражения функции плотности, но имеют явное выражение функции квантили , то может быть определено в терминах производной, то есть функции плотности квантиля, как ^{[3] : 54–59}${\displaystyle Q(p)}$${\displaystyle h(Q)}$${\displaystyle Q(p)}$${\displaystyle Q'(p)}$

${\displaystyle h(Q)=\int _{0}^{1}\log Q'(p)\,dp}$.

Как и в случае с его дискретным аналогом, единицы дифференциальной энтропии зависят от основания логарифма , которое обычно равно 2 (т. Е. Единицы измерения - биты ). См. Логарифмические единицы для логарифмов, взятых по разным основаниям. Связанные понятия, такие как совместная , условная дифференциальная энтропия и относительная энтропия , определяются аналогичным образом. В отличие от дискретного аналога, дифференциальная энтропия имеет смещение, которое зависит от единиц измерения . ^{[4] : 183–184}${\displaystyle X}$Например, дифференциальная энтропия величины, измеренной в миллиметрах, будет на log (1000) больше, чем такая же величина, измеренная в метрах; безразмерная величина будет иметь дифференциальную энтропию на log (1000) больше, чем такая же величина, деленная на 1000.

Следует проявлять осторожность, пытаясь применить свойства дискретной энтропии к дифференциальной энтропии, поскольку функции плотности вероятности могут быть больше 1. Например, равномерное распределение имеет отрицательную дифференциальную энтропию${\displaystyle {\mathcal {U}}(0,1/2)}$

${\displaystyle \int _{0}^{\frac {1}{2}}-2\log(2)\,dx=-\log(2)\,}$.

Таким образом, дифференциальная энтропия не обладает всеми свойствами дискретной энтропии.

Следует отметить , что непрерывная взаимная информация имеет различие сохраняет свою фундаментальную значимость в качестве меры дискретной информации , так как это фактически предел дискретной взаимной информации разделов на и как эти перегородки становятся тоньше и тоньше. Таким образом, он инвариантен относительно нелинейных гомеоморфизмов (непрерывных и однозначно обратимых отображений), ^[5] включая линейные ^[6] преобразования и , и по-прежнему представляет количество дискретной информации, которая может быть передана по каналу, допускающему непрерывное пространство значения.${\displaystyle I(X;Y)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$

Для прямого аналога дискретной энтропии, распространенной на непрерывное пространство, см. Предельную плотность дискретных точек .

Свойства дифференциальной энтропии [ править ]

• Для плотностей вероятности и , то дивергенция Кульбака-Лейблер больше или равен 0 , с равенством только тогда , когда почти везде . Аналогично для двух случайных величин и , и с равенством тогда и только тогда , когда и являются независимыми .${\displaystyle f}$${\displaystyle g}$ ${\displaystyle D_{KL}(f||g)}$${\displaystyle f=g}$ ${\displaystyle X}$${\displaystyle Y}$${\displaystyle I(X;Y)\geq 0}$${\displaystyle h(X|Y)\leq h(X)}$ ${\displaystyle X}$${\displaystyle Y}$
• Цепное правило для дифференциальной энтропии выполняется, как и в дискретном случае ^{[2] : 253}

${\displaystyle h(X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},\ldots ,X_{i-1})\leq \sum _{i=1}^{n}h(X_{i})}$.

• Дифференциальная энтропия инвариантна относительно трансляции, т. Е. Для постоянной . ^{[2] : 253}${\displaystyle c}$

${\displaystyle h(X+c)=h(X)}$

• Дифференциальная энтропия, вообще говоря, не инвариантна относительно произвольных обратимых отображений.

В частности, для постоянного ${\displaystyle a}$

${\displaystyle h(aX)=h(X)+\log |a|}$

Для векторной случайной величины и обратимой (квадратной) матрицы${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {A} }$

${\displaystyle h(\mathbf {A} \mathbf {X} )=h(\mathbf {X} )+\log \left(|\det \mathbf {A} |\right)}$^{[2] : 253}

• В общем, для преобразования случайного вектора в другой случайный вектор той же размерности соответствующие энтропии связаны соотношением${\displaystyle \mathbf {Y} =m\left(\mathbf {X} \right)}$

${\displaystyle h(\mathbf {Y} )\leq h(\mathbf {X} )+\int f(x)\log \left\vert {\frac {\partial m}{\partial x}}\right\vert dx}$

где - якобиан преобразования . ^[7] Вышеупомянутое неравенство становится равенством, если преобразование является биекцией. Кроме того, когда это жесткое вращение, перенос или их комбинация, определитель Якоби всегда равен 1, и .${\displaystyle \left\vert {\frac {\partial m}{\partial x}}\right\vert }$${\displaystyle m}$${\displaystyle m}$${\displaystyle h(Y)=h(X)}$

• Если случайный вектор имеет нулевое среднее значение и матрицу ковариации , с равенством тогда и только тогда, когда он совместно гауссовский (см. Ниже ). ^{[2] : 254}${\displaystyle X\in \mathbb {R} ^{n}}$${\displaystyle K}$${\displaystyle h(\mathbf {X} )\leq {\frac {1}{2}}\log(\det {2\pi eK})={\frac {1}{2}}\log[(2\pi e)^{n}\det {K}]}$${\displaystyle X}$

Однако у дифференциальной энтропии нет других желаемых свойств:

• Он не инвариантен при замене переменных и поэтому наиболее полезен с безразмерными переменными.
• Может быть отрицательным.

Модификация дифференциальной энтропии, которая устраняет эти недостатки, представляет собой относительную информационную энтропию , также известную как дивергенция Кульбака – Лейблера, которая включает инвариантный фактор меры (см. Ограничение плотности дискретных точек ).

Максимизация в нормальном распределении [ править ]

Теорема [ править ]

При нормальном распределении дифференциальная энтропия максимизируется для данной дисперсии. Гауссовская случайная величина имеет наибольшую энтропию среди всех случайных величин с равной дисперсией, или, альтернативно, максимальное распределение энтропии при ограничениях среднего и дисперсии является гауссовым. ^{[2] : 255}

Доказательство [ править ]

Пусть будет гауссовской PDF со средним μ и дисперсией и произвольной PDF с той же дисперсией. Поскольку дифференциальная энтропия инвариантна относительно сдвига, мы можем предположить, что она имеет то же среднее значение, что и .${\displaystyle g(x)}$ ${\displaystyle \sigma ^{2}}$${\displaystyle f(x)}$${\displaystyle f(x)}$${\displaystyle \mu }$${\displaystyle g(x)}$

Рассмотрим расхождение Кульбака – Лейблера между двумя распределениями.

${\displaystyle 0\leq D_{KL}(f||g)=\int _{-\infty }^{\infty }f(x)\log \left({\frac {f(x)}{g(x)}}\right)dx=-h(f)-\int _{-\infty }^{\infty }f(x)\log(g(x))dx.}$

Теперь обратите внимание, что

${\displaystyle {\begin{aligned}\int _{-\infty }^{\infty }f(x)\log(g(x))dx&=\int _{-\infty }^{\infty }f(x)\log \left({\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}\right)dx\\&=\int _{-\infty }^{\infty }f(x)\log {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}dx+\log(e)\int _{-\infty }^{\infty }f(x)\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)dx\\&=-{\tfrac {1}{2}}\log(2\pi \sigma ^{2})-\log(e){\frac {\sigma ^{2}}{2\sigma ^{2}}}\\&=-{\tfrac {1}{2}}\left(\log(2\pi \sigma ^{2})+\log(e)\right)\\&=-{\tfrac {1}{2}}\log(2\pi e\sigma ^{2})\\&=-h(g)\end{aligned}}}$

потому что результат зависит только от дисперсии. Объединение двух результатов дает${\displaystyle f(x)}$

${\displaystyle h(g)-h(f)\geq 0\!}$

с равенством при следовании из свойств расходимости Кульбака – Лейблера.${\displaystyle f(x)=g(x)}$

Альтернативное доказательство [ править ]

Этот результат можно также продемонстрировать с помощью вариационного исчисления . Функция Лагранжа с двумя множителями Лагранжа может быть определена как:

${\displaystyle L=\int _{-\infty }^{\infty }g(x)\ln(g(x))\,dx-\lambda _{0}\left(1-\int _{-\infty }^{\infty }g(x)\,dx\right)-\lambda \left(\sigma ^{2}-\int _{-\infty }^{\infty }g(x)(x-\mu )^{2}\,dx\right)}$

где g (x) - некоторая функция со средним μ. Когда энтропия g (x) максимальна и уравнения связи, которые состоят из условия нормализации и требования фиксированной дисперсии , удовлетворены, тогда небольшое изменение δ g ( x ) относительно g (x) приведет к вариация δ L относительно L, равная нулю:${\displaystyle \left(1=\int _{-\infty }^{\infty }g(x)\,dx\right)}$${\displaystyle \left(\sigma ^{2}=\int _{-\infty }^{\infty }g(x)(x-\mu )^{2}\,dx\right)}$

${\displaystyle 0=\delta L=\int _{-\infty }^{\infty }\delta g(x)\left(\ln(g(x))+1+\lambda _{0}+\lambda (x-\mu )^{2}\right)\,dx}$

Поскольку это должно выполняться для любого малого δ g ( x ), член в скобках должен быть равен нулю, и решение относительно g (x) дает:

${\displaystyle g(x)=e^{-\lambda _{0}-1-\lambda (x-\mu )^{2}}}$

Использование уравнений связи для решения относительно λ ₀ и λ дает нормальное распределение:

${\displaystyle g(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}}$

Пример: экспоненциальное распределение [ править ]

Пусть - экспоненциально распределенная случайная величина с параметром , то есть с функцией плотности вероятности${\displaystyle X}$${\displaystyle \lambda }$

${\displaystyle f(x)=\lambda e^{-\lambda x}{\mbox{ for }}x\geq 0.}$

Тогда его дифференциальная энтропия равна

${\displaystyle h_{e}(X)\,}$	${\displaystyle =-\int _{0}^{\infty }\lambda e^{-\lambda x}\log(\lambda e^{-\lambda x})\,dx}$
	${\displaystyle =-\left(\int _{0}^{\infty }(\log \lambda )\lambda e^{-\lambda x}\,dx+\int _{0}^{\infty }(-\lambda x)\lambda e^{-\lambda x}\,dx\right)}$
	${\displaystyle =-\log \lambda \int _{0}^{\infty }f(x)\,dx+\lambda E[X]}$
	${\displaystyle =-\log \lambda +1\,.}$

Здесь использовалось, а не для того, чтобы явно указать, что логарифм взят по основанию e , чтобы упростить вычисление.${\displaystyle h_{e}(X)}$${\displaystyle h(X)}$

Связь с ошибкой оценщика [ править ]

Дифференциальная энтропия дает нижнюю границу ожидаемой квадратичной ошибки оценки . Для любой случайной величины и оценки выполняется следующее: ^[2]${\displaystyle X}$${\displaystyle {\widehat {X}}}$

${\displaystyle \operatorname {E} [(X-{\widehat {X}})^{2}]\geq {\frac {1}{2\pi e}}e^{2h(X)}}$

с равенством тогда и только тогда, когда является гауссовой случайной величиной и является средним значением .${\displaystyle X}$${\displaystyle {\widehat {X}}}$${\displaystyle X}$

Дифференциальные энтропии для различных распределений [ править ]

В приведенной ниже таблице является гамма - функция , является функцией дигамма , является бета - функция , и γ _E является постоянная Эйлера . ^{[8] : 219–230}${\displaystyle \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt}$${\displaystyle \psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$${\displaystyle B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}}$

Таблица дифференциальных энтропий

Название дистрибутива	Функция плотности вероятности (pdf)	Энтропия в нац	Поддерживать
Униформа	${\displaystyle f(x)={\frac {1}{b-a}}}$	${\displaystyle \ln(b-a)\,}$	${\displaystyle [a,b]\,}$
Нормальный	${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \ln \left(\sigma {\sqrt {2\,\pi \,e}}\right)}$	${\displaystyle (-\infty ,\infty )\,}$
Экспоненциальный	${\displaystyle f(x)=\lambda \exp \left(-\lambda x\right)}$	${\displaystyle 1-\ln \lambda \,}$	${\displaystyle [0,\infty )\,}$
Рэлей	${\displaystyle f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle 1+\ln {\frac {\sigma }{\sqrt {2}}}+{\frac {\gamma _{E}}{2}}}$	${\displaystyle [0,\infty )\,}$
Бета	${\displaystyle f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}}$ за ${\displaystyle 0\leq x\leq 1}$	${\displaystyle \ln B(\alpha ,\beta )-(\alpha -1)[\psi (\alpha )-\psi (\alpha +\beta )]\,}$ ${\displaystyle -(\beta -1)[\psi (\beta )-\psi (\alpha +\beta )]\,}$	${\displaystyle [0,1]\,}$
Коши	${\displaystyle f(x)={\frac {\gamma }{\pi }}{\frac {1}{\gamma ^{2}+x^{2}}}}$	${\displaystyle \ln(4\pi \gamma )\,}$	${\displaystyle (-\infty ,\infty )\,}$
Чи	${\displaystyle f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)}$	${\displaystyle \ln {\frac {\Gamma (k/2)}{\sqrt {2}}}-{\frac {k-1}{2}}\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}}$	${\displaystyle [0,\infty )\,}$
Хи-квадрат	${\displaystyle f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)}$	${\displaystyle \ln 2\Gamma \left({\frac {k}{2}}\right)-\left(1-{\frac {k}{2}}\right)\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}}$	${\displaystyle [0,\infty )\,}$
Erlang	${\displaystyle f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)}$	${\displaystyle (1-k)\psi (k)+\ln {\frac {\Gamma (k)}{\lambda }}+k}$	${\displaystyle [0,\infty )\,}$
F	${\displaystyle f(x)={\frac {n_{1}^{\frac {n_{1}}{2}}n_{2}^{\frac {n_{2}}{2}}}{B({\frac {n_{1}}{2}},{\frac {n_{2}}{2}})}}{\frac {x^{{\frac {n_{1}}{2}}-1}}{(n_{2}+n_{1}x)^{\frac {n_{1}+n2}{2}}}}}$	${\displaystyle \ln {\frac {n_{1}}{n_{2}}}B\left({\frac {n_{1}}{2}},{\frac {n_{2}}{2}}\right)+\left(1-{\frac {n_{1}}{2}}\right)\psi \left({\frac {n_{1}}{2}}\right)-}$ ${\displaystyle \left(1+{\frac {n_{2}}{2}}\right)\psi \left({\frac {n_{2}}{2}}\right)+{\frac {n_{1}+n_{2}}{2}}\psi \left({\frac {n_{1}\!+\!n_{2}}{2}}\right)}$	${\displaystyle [0,\infty )\,}$
Гамма	${\displaystyle f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)}}}$	${\displaystyle \ln(\theta \Gamma (k))+(1-k)\psi (k)+k\,}$	${\displaystyle [0,\infty )\,}$
Лаплас	${\displaystyle f(x)={\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right)}$	${\displaystyle 1+\ln(2b)\,}$	${\displaystyle (-\infty ,\infty )\,}$
Логистика	${\displaystyle f(x)={\frac {e^{-x}}{(1+e^{-x})^{2}}}}$	${\displaystyle 2\,}$	${\displaystyle (-\infty ,\infty )\,}$
Логнормальный	${\displaystyle f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {(\ln x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \mu +{\frac {1}{2}}\ln(2\pi e\sigma ^{2})}$	${\displaystyle [0,\infty )\,}$
Максвелл – Больцманн	${\displaystyle f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)}$	${\displaystyle \ln(a{\sqrt {2\pi }})+\gamma _{E}-{\frac {1}{2}}}$	${\displaystyle [0,\infty )\,}$
Обобщенный нормальный	${\displaystyle f(x)={\frac {2\beta ^{\frac {\alpha }{2}}}{\Gamma ({\frac {\alpha }{2}})}}x^{\alpha -1}\exp(-\beta x^{2})}$	${\displaystyle \ln {\frac {\Gamma (\alpha /2)}{2\beta ^{\frac {1}{2}}}}-{\frac {\alpha -1}{2}}\psi \left({\frac {\alpha }{2}}\right)+{\frac {\alpha }{2}}}$	${\displaystyle (-\infty ,\infty )\,}$
Парето	${\displaystyle f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}}$	${\displaystyle \ln {\frac {x_{m}}{\alpha }}+1+{\frac {1}{\alpha }}}$	${\displaystyle [x_{m},\infty )\,}$
Студенческий т	${\displaystyle f(x)={\frac {(1+x^{2}/\nu )^{-{\frac {\nu +1}{2}}}}{{\sqrt {\nu }}B({\frac {1}{2}},{\frac {\nu }{2}})}}}$	${\displaystyle {\frac {\nu \!+\!1}{2}}\left(\psi \left({\frac {\nu \!+\!1}{2}}\right)\!-\!\psi \left({\frac {\nu }{2}}\right)\right)\!+\!\ln {\sqrt {\nu }}B\left({\frac {1}{2}},{\frac {\nu }{2}}\right)}$	${\displaystyle (-\infty ,\infty )\,}$
Треугольный	${\displaystyle f(x)={\begin{cases}{\frac {2(x-a)}{(b-a)(c-a)}}&\mathrm {for\ } a\leq x\leq c,\\[4pt]{\frac {2(b-x)}{(b-a)(b-c)}}&\mathrm {for\ } c<x\leq b,\\[4pt]\end{cases}}}$	${\displaystyle {\frac {1}{2}}+\ln {\frac {b-a}{2}}}$	${\displaystyle [a,b]\,}$
Weibull	${\displaystyle f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)}$	${\displaystyle {\frac {(k-1)\gamma _{E}}{k}}+\ln {\frac {\lambda }{k}}+1}$	${\displaystyle [0,\infty )\,}$
Многомерный нормальный	${\displaystyle f_{X}({\vec {x}})=}$ ${\displaystyle {\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{-1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}}$	${\displaystyle {\frac {1}{2}}\ln\{(2\pi e)^{N}\det(\Sigma )\}}$	${\displaystyle \mathbb {R} ^{N}}$

Многие из дифференциальных энтропий происходят от. ^{[9] : 120–122}

Варианты [ править ]

Как описано выше, дифференциальная энтропия не обладает всеми свойствами дискретной энтропии. Например, дифференциальная энтропия может быть отрицательной; также он не инвариантен относительно непрерывных преобразований координат. Эдвин Томпсон Джейнс фактически показал, что приведенное выше выражение не является правильным пределом выражения для конечного набора вероятностей. ^{[10] : 181–218}

Модификация дифференциальной энтропии добавляет инвариантный фактор меры, чтобы исправить это (см. Ограничение плотности дискретных точек ). Если дополнительно ограничивается плотностью вероятности, результирующее понятие в теории информации называется относительной энтропией :${\displaystyle m(x)}$

${\displaystyle D(p||m)=\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

Приведенное выше определение дифференциальной энтропии может быть получено путем разделения диапазона на ячейки длины с соответствующими точками выборки в ячейках для интегрируемости по Риману. Это дает квантованную версию , определяемую if . Тогда энтропия равна ^[2]${\displaystyle X}$${\displaystyle h}$${\displaystyle ih}$${\displaystyle X}$${\displaystyle X}$${\displaystyle X_{h}=ih}$${\displaystyle ih\leq X\leq (i+1)h}$${\displaystyle X_{h}=ih}$

${\displaystyle H_{h}=-\sum _{i}hf(ih)\log(f(ih))-\sum hf(ih)\log(h).}$

Первый член справа аппроксимирует дифференциальную энтропию, а второй член - приблизительно . Обратите внимание, что эта процедура предполагает, что энтропия в дискретном смысле непрерывной случайной величины должна быть .${\displaystyle -\log(h)}$${\displaystyle \infty }$

См. Также [ править ]

• Информационная энтропия
• Самоинформация
• Оценка энтропии

Ссылки [ править ]

Внешние ссылки [ править ]

• "Дифференциальная энтропия" , Математическая энциклопедия , EMS Press , 2001 [1994]
• «Дифференциальная энтропия» . PlanetMath .