Дивергенция Кульбака – Лейблера.

В математической статистике , то дивергенция Кульбака-Либлер, (также называемая относительная энтропией ), является мерой того , как один распределение вероятностей отличаются от второго, распределения вероятностей ссылки. ^{[1] [2]} Приложения включают определение относительной энтропии (Шеннона) в информационных системах, случайности в непрерывных временных рядах и получения информации при сравнении статистических моделей вывода . В отличие от вариации информации , это асимметричная мера распределения и поэтому не может считаться статистической метрикой.${\displaystyle D_{\text{KL}}}$спреда - он также не удовлетворяет неравенству треугольника . В простом случае относительная энтропия, равная 0, указывает на то, что два рассматриваемых распределения идентичны. Говоря упрощенно, это мера неожиданности с разнообразными приложениями, такими как прикладная статистика, механика жидкости , нейробиология и биоинформатика .

Введение и контекст [ править ]

Рассмотрим два распределения вероятностей и . Обычно представляет собой точно измеренные данные, наблюдения или распределение вероятностей. Распределение вместо этого представляет собой теорию, модель, описание или приближение . Расхождение Кульбака-Лейблера затем интерпретируется как средняя разность количества битов, необходимых для кодирования выборок с использованием кода, оптимизированного, а не оптимизированного для .${\displaystyle P}$${\displaystyle Q}$${\displaystyle P}$${\displaystyle Q}$${\displaystyle P}$${\displaystyle P}$${\displaystyle Q}$${\displaystyle P}$

Этимология [ править ]

Относительная энтропия была введена Соломоном Кульбаком и Ричардом Лейблером в 1951 году как направленное расхождение между двумя распределениями; Кульбак предпочел термин « дискриминационная информация» . ^[3] Расхождение обсуждается в книге Кульбака 1959 года « Теория информации и статистика» . ^[2]

Определение [ править ]

Для дискретных вероятностных распределений, определенных в одном и том же вероятностном пространстве , относительная энтропия от до определяется ^[4] как${\displaystyle P}$${\displaystyle Q}$${\displaystyle {\mathcal {X}}}$${\displaystyle Q}$${\displaystyle P}$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\log \left({\frac {P(x)}{Q(x)}}\right).}$

что эквивалентно

${\displaystyle D_{\text{KL}}(P\parallel Q)=-\sum _{x\in {\mathcal {X}}}P(x)\log \left({\frac {Q(x)}{P(x)}}\right)}$

Другими словами, это математическое ожидание логарифмической разности между вероятностями и , где математическое ожидание берется с использованием вероятностей . Относительная энтропия определяется только тогда , когда для всех , подразумевает ( абсолютная непрерывность ). Всякий раз, когда равен нулю, вклад соответствующего члена интерпретируется как ноль, потому что${\displaystyle P}$${\displaystyle Q}$${\displaystyle P}$${\displaystyle x}$${\displaystyle Q(x)=0}$${\displaystyle P(x)=0}$${\displaystyle P(x)}$

${\displaystyle \lim _{x\to 0^{+}}x\log(x)=0.}$

Для распределений и из непрерывной случайной величины , относительная энтропия определяется как интеграл: ^{[5] : р. 55}${\displaystyle P}$${\displaystyle Q}$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{-\infty }^{\infty }p(x)\log \left({\frac {p(x)}{q(x)}}\right)\,dx}$

где и обозначают плотность вероятности от и .${\displaystyle p}$${\displaystyle q}$${\displaystyle P}$${\displaystyle Q}$

В более общем плане , если и вероятностные меры по набору , и является абсолютно непрерывна относительно , то относительная энтропия от до определяется как${\displaystyle P}$${\displaystyle Q}$${\displaystyle {\mathcal {X}}}$${\displaystyle P}$${\displaystyle Q}$${\displaystyle Q}$${\displaystyle P}$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{\mathcal {X}}\log \left({\frac {dP}{dQ}}\right)\,dP,}$

где это производная Радона-Никодима по отношению к , и при условии , что выражение на правой стороне существует. Эквивалентно (по цепному правилу ) это можно записать как${\displaystyle {\frac {dP}{dQ}}}$${\displaystyle P}$${\displaystyle Q}$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{\mathcal {X}}\log \left({\frac {dP}{dQ}}\right){\frac {dP}{dQ}}\,dQ,}$

который является энтропия по отношению к . Продолжая в этом случае, если есть какая-либо мера, для которой и существует (что означает, что и являются абсолютно непрерывными по отношению к ), то относительная энтропия от до задается как${\displaystyle Q}$${\displaystyle P}$${\displaystyle \mu }$${\displaystyle {\mathcal {X}}}$${\displaystyle p={\frac {dP}{d\mu }}}$${\displaystyle q={\frac {dQ}{d\mu }}}$${\displaystyle p}$${\displaystyle q}$${\displaystyle \mu }$${\displaystyle Q}$${\displaystyle P}$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{\mathcal {X}}p\log \left({\frac {p}{q}}\right)\,d\mu .}$

Логарифмы в этих формулах берутся по основанию 2, если информация измеряется в битах , или по основанию, если информация измеряется в натсах . Большинство формул относительной энтропии верны независимо от основания логарифма.${\displaystyle e}$

Существуют различные соглашения для словесной ссылки . Часто это называют расхождением между и , но это не может передать фундаментальную асимметрию отношения. Иногда, как в этой статье, это может быть описано как расхождение от или как расхождение от до . Это отражает асимметрию в умозаключениях байесовских , которая начинается от до и обновлений к в заднем . Другой распространенный способ обозначения - это относительная энтропия по отношению к .${\displaystyle D_{\text{KL}}(P\parallel Q)}$ ${\displaystyle P}$${\displaystyle Q}$${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle P}$${\displaystyle D_{\text{KL}}(P\parallel Q)}$${\displaystyle P}$ ${\displaystyle Q}$

Базовый пример [ править ]

Кульбак ^[2] приводит следующий пример (таблица 2.1, пример 2.1). Позвольте и быть распределениями, показанными в таблице и на рисунке. - это распределение в левой части рисунка, биномиальное распределение с и . является распределение на правой стороне фигуры, дискретное равномерное распределение с тремя возможными исходами , или (е ), каждое с вероятностью .${\displaystyle P}$${\displaystyle Q}$${\displaystyle P}$${\displaystyle N=2}$${\displaystyle p=0.4}$${\displaystyle Q}$${\displaystyle x=0}$${\displaystyle 1}$${\displaystyle 2}$${\displaystyle {\mathcal {X}}=\{0,1,2\}}$${\displaystyle p=1/3}$

Икс	0	1	2
Распределение P (x)	${\displaystyle 9/25}$	${\displaystyle 12/25}$	${\displaystyle 4/25}$
Распределение Q (x)	${\displaystyle 1/3}$	${\displaystyle 1/3}$	${\displaystyle 1/3}$

Относительные энтропии и рассчитываются следующим образом. В этом примере используется натуральный логарифм с основанием e , предназначенный для получения результатов в nats (см. Единицы информации ).${\displaystyle D_{\text{KL}}(P\parallel Q)}$${\displaystyle D_{\text{KL}}(Q\parallel P)}$${\displaystyle \operatorname {ln} }$

${\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{x\in {\mathcal {X}}}P(x)\ln \left({\frac {P(x)}{Q(x)}}\right)\\&={\frac {9}{25}}\ln \left({\frac {9/25}{1/3}}\right)+{\frac {12}{25}}\ln \left({\frac {12/25}{1/3}}\right)+{\frac {4}{25}}\ln \left({\frac {4/25}{1/3}}\right)\\&={\frac {1}{25}}\left(32\ln(2)+55\ln(3)-50\ln(5)\right)\approx 0.0852996\end{aligned}}}$

${\displaystyle {\begin{aligned}D_{\text{KL}}(Q\parallel P)&=\sum _{x\in {\mathcal {X}}}Q(x)\ln \left({\frac {Q(x)}{P(x)}}\right)\\&={\frac {1}{3}}\ln \left({\frac {1/3}{9/25}}\right)+{\frac {1}{3}}\ln \left({\frac {1/3}{12/25}}\right)+{\frac {1}{3}}\ln \left({\frac {1/3}{4/25}}\right)\\&={\frac {1}{3}}\left(-4\ln(2)-6\ln(3)+6\ln(5)\right)\approx 0.097455\end{aligned}}}$

Интерпретации [ править ]

Относительная энтропия от до часто обозначается .${\displaystyle Q}$${\displaystyle P}$${\displaystyle D_{\text{KL}}(P\parallel Q)}$

В контексте машинного обучения , часто называют получить информацию , достигнутый , если будет использоваться вместо которых в настоящее время используется. По аналогии с теорией информации, она называется относительной энтропией по отношению к . В контексте теории кодирования , можно построить путем измерения ожидаемого количества дополнительных битов, необходимых для кодирования выборок, от использования кода, оптимизированного для, а не кода, оптимизированного для .${\displaystyle D_{\text{KL}}(P\parallel Q)}$${\displaystyle P}$${\displaystyle Q}$${\displaystyle P}$${\displaystyle Q}$${\displaystyle D_{\text{KL}}(P\parallel Q)}$${\displaystyle P}$${\displaystyle Q}$${\displaystyle P}$

Выражаясь на языке байесовского вывода , это мера информации, полученной путем пересмотра убеждений от априорного распределения вероятностей к апостериорному распределению вероятностей . Другими словами, это количество потерянной информации, когда используется для приблизительной оценки . ^[6] В приложениях, как правило , представляет собой «истинное» распределение данных, наблюдений, или точно вычисленной теоретического распределения, в то время , как правило , представляет собой теорию, модель, описание, или приближение из . Чтобы найти наиболее близкое к распределению , мы можем минимизировать расхождение KL и вычислить${\displaystyle D_{\text{KL}}(P\parallel Q)}$ ${\displaystyle Q}$ ${\displaystyle P}$${\displaystyle Q}$${\displaystyle P}$${\displaystyle P}$${\displaystyle Q}$${\displaystyle P}$${\displaystyle Q}$${\displaystyle P}$информационная проекция .

Относительная энтропия - это частный случай более широкого класса статистических расхождений, называемых f- расходимостями, а также класса расходимостей Брегмана . Это единственное такое расхождение по вероятностям, которое принадлежит обоим классам. Хотя это часто интуитивно воспринимается как способ измерения расстояния между распределениями вероятностей , расхождение Кульбака – Лейблера не является истинным показателем . Он не подчиняется неравенству треугольника и вообще не равен . Однако его бесконечно малая форма, в частности его гессиан , дает метрический тензор, известный как${\displaystyle D_{\text{KL}}(P\parallel Q)}$${\displaystyle D_{\text{KL}}(Q\parallel P)}$Информационная метрика Фишера .

Артур Хобсон доказал, что относительная энтропия - это единственная мера разницы между распределениями вероятностей, которая удовлетворяет некоторым желаемым свойствам, которые являются каноническим расширением тех, которые появляются в обычно используемой характеристике энтропии . ^[7] Следовательно, взаимная информация является единственной мерой взаимной зависимости, которая подчиняется определенным связанным условиям, поскольку ее можно определить в терминах расхождения Кульбака – Лейблера .

Мотивация [ править ]

В теории информации крафт-McMillan теорема устанавливает , что любые непосредственно декодируемые схемы кодирования для кодирования сообщения , чтобы определить одно значение из множества возможностей можно рассматривать как представляющие неявное распределение вероятностей над , где длиной коды для в биты. Следовательно, относительную энтропию можно интерпретировать как ожидаемую дополнительную длину сообщения на данные, которые должны быть переданы, если используется код, оптимальный для данного (неправильного) распределения , по сравнению с использованием кода, основанного на истинном распределении .${\displaystyle x_{i}}$${\displaystyle X}$${\displaystyle q(x_{i})=2^{-\ell _{i}}}$${\displaystyle X}$${\displaystyle \ell _{i}}$${\displaystyle x_{i}}$${\displaystyle Q}$${\displaystyle P}$

${\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=-\sum _{x\in {\mathcal {X}}}p(x)\log q(x)+\sum _{x\in {\mathcal {X}}}p(x)\log p(x)\\&=\mathrm {H} (P,Q)-\mathrm {H} (P)\end{aligned}}}$

где это кросс энтропии из и , и это энтропии из (который является таким же , как кросс-энтропии P с самим собой). ${\displaystyle \mathrm {H} (P,Q)}$${\displaystyle P}$${\displaystyle Q}$${\displaystyle \mathrm {H} (P)}$${\displaystyle P}$

Относительную энтропию можно рассматривать как что-то вроде измерения того, насколько далеко распределение Q от распределения P. Кросс-энтропия сама по себе является таким измерением, но у него есть дефект, который не равен нулю, поэтому мы вычитаем, чтобы согласовать точнее с нашим понятием расстояния. (К сожалению, это все еще несимметрично.) Относительная энтропия относится к « функции скорости » в теории больших отклонений . ^{[8] [9]}${\displaystyle D_{\text{KL}}(P\parallel Q)}$${\displaystyle H(P,Q)}$${\displaystyle H(P,P)=:H(P)}$${\displaystyle H(P)}$${\displaystyle D_{\text{KL}}(P\parallel Q)}$

Свойства [ править ]

• Относительная энтропия всегда неотрицательна ,

${\displaystyle D_{\text{KL}}(P\parallel Q)\geq 0,}$

результат, известный как неравенство Гиббса , с равным нулю тогда и только тогда, когда почти всюду . Таким образом, энтропия устанавливает минимальное значение перекрестной энтропии , ожидаемое количество битов, требуемых при использовании кода, основанного на, а не ; и дивергенция Кульбака – Лейблера, следовательно, представляет собой ожидаемое количество дополнительных битов, которые должны быть переданы для идентификации извлеченного значения , если используется код, соответствующий распределению вероятностей , а не «истинному» распределению .${\displaystyle D_{\text{KL}}(P\parallel Q)}$ ${\displaystyle P=Q}$ ${\displaystyle \mathrm {H} (P)}$${\displaystyle \mathrm {H} (P,Q)}$${\displaystyle Q}$${\displaystyle P}$${\displaystyle x}$${\displaystyle X}$${\displaystyle Q}$${\displaystyle P}$

• Относительная энтропия остается четко определенной для непрерывных распределений и, кроме того, инвариантна относительно преобразований параметров . Например, если выполняется преобразование переменной в переменную , то, поскольку и относительная энтропия может быть переписана:${\displaystyle x}$${\displaystyle y(x)}$${\displaystyle P(x)dx=P(y)dy}$${\displaystyle Q(x)dx=Q(y)dy}$

${\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\int _{x_{a}}^{x_{b}}P(x)\log \left({\frac {P(x)}{Q(x)}}\right)\,dx\\[6pt]&=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P(y)\,{\frac {dy}{dx}}}{Q(y)\,{\frac {dy}{dx}}}}\right)\,dy=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P(y)}{Q(y)}}\right)\,dy\end{aligned}}}$

где и . Хотя предполагалось, что преобразование было непрерывным, это не обязательно. Это также показывает, что относительная энтропия дает размерно согласованную величину, поскольку if - это размерная переменная, а также размерность, поскольку, например , безразмерна. Аргумент логарифмического члена был и остается безразмерным, как и должно быть. Поэтому его можно рассматривать как в некотором смысле более фундаментальную величину, чем некоторые другие свойства в теории информации ^[10] (такие как самоинформация или энтропия Шеннона ), которая может стать неопределенной или отрицательной для недискретных вероятностей.${\displaystyle y_{a}=y(x_{a})}$${\displaystyle y_{b}=y(x_{b})}$${\displaystyle x}$${\displaystyle P(x)}$${\displaystyle Q(x)}$${\displaystyle P(x)dx}$

• Относительная энтропия аддитивна для независимых распределений во многом так же, как энтропия Шеннона. Если - независимые распределения, с совместным распределением и аналогично, то${\displaystyle P_{1},P_{2}}$${\displaystyle P(x,y)=P_{1}(x)P_{2}(y)}$${\displaystyle Q,Q_{1},Q_{2}}$

${\displaystyle D_{\text{KL}}(P\parallel Q)=D_{\text{KL}}(P_{1}\parallel Q_{1})+D_{\text{KL}}(P_{2}\parallel Q_{2}).}$

• Относительная энтропия является выпуклой в паре массовых функций вероятности , то есть , если и две пары вероятности массовых функций, то${\displaystyle D_{\text{KL}}(P\parallel Q)}$ ${\displaystyle (p,q)}$${\displaystyle (p_{1},q_{1})}$${\displaystyle (p_{2},q_{2})}$

  ${\displaystyle D_{\text{KL}}(\lambda p_{1}+(1-\lambda )p_{2}\parallel \lambda q_{1}+(1-\lambda )q_{2})\leq \lambda D_{\text{KL}}(p_{1}\parallel q_{1})+(1-\lambda )D_{\text{KL}}(p_{2}\parallel q_{2}){\text{ for }}0\leq \lambda \leq 1.}$

Примеры [ править ]

Многомерные нормальные распределения [ править ]

Предположим, что у нас есть два многомерных нормальных распределения со средними значениями и с (невырожденными) ковариационными матрицами. Если два распределения имеют одинаковую размерность , то относительная энтропия между распределениями будет следующей: ^{[11] : p. 13}${\displaystyle \mu _{0},\mu _{1}}$ ${\displaystyle \Sigma _{0},\Sigma _{1}.}$${\displaystyle k}$

${\displaystyle D_{\text{KL}}\left({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1}\right)={\frac {1}{2}}\left(\operatorname {tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)+\left(\mu _{1}-\mu _{0}\right)^{\mathsf {T}}\Sigma _{1}^{-1}\left(\mu _{1}-\mu _{0}\right)-k+\ln \left({\frac {\det \Sigma _{1}}{\det \Sigma _{0}}}\right)\right).}$

Логарифм в последнем члене должен быть принят к базовым е , так как все члены кроме последнего являются BASE - е логарифмами выражений , которые являются либо факторами функции плотности или иначе возникают естественным образом . Таким образом, уравнение дает результат, измеренный в нац . Разделение всего выражения выше на дает расхождение в битах .${\displaystyle \ln(2)}$

Частным случаем и общей величиной в вариационном выводе является относительная энтропия между диагональным многомерным нормальным и стандартным нормальным распределением (с нулевым средним и единичной дисперсией):

${\displaystyle D_{\text{KL}}\left({\mathcal {N}}\left(\left(\mu _{1},\ldots ,\mu _{k}\right)^{\mathsf {T}},\operatorname {diag} \left(\sigma _{1}^{2},\ldots ,\sigma _{k}^{2}\right)\right)\parallel {\mathcal {N}}\left(\mathbf {0} ,\mathbf {I} \right)\right)={1 \over 2}\sum _{i=1}^{k}\left(\sigma _{i}^{2}+\mu _{i}^{2}-1-\ln \left(\sigma _{i}^{2}\right)\right).}$

Отношение к метрикам [ править ]

У кого-то может возникнуть соблазн назвать относительную энтропию « метрикой расстояния » в пространстве вероятностных распределений, но это было бы неверно, поскольку оно не симметрично, то есть, и не удовлетворяет неравенству треугольника . Он генерирует топологию на пространстве вероятностных распределений . Более конкретно, если - последовательность распределений такая, что${\displaystyle D_{\text{KL}}(P\parallel Q)\neq D_{\text{KL}}(Q\parallel P)}$${\displaystyle \{P_{1},P_{2},\ldots \}}$

${\displaystyle \lim _{n\to \infty }D_{\text{KL}}(P_{n}\parallel Q)=0}$

тогда говорят, что

${\displaystyle P_{n}{\xrightarrow {D}}Q.}$

Неравенство Пинскера влечет за собой, что

${\displaystyle P_{n}{\xrightarrow {D}}P\Rightarrow P_{n}{\xrightarrow {TV}}P,}$

где последний означает обычную сходимость в полной вариации .

Информационная метрика Fisher [ править ]

Относительная энтропия напрямую связана с информационной метрикой Фишера . Это можно пояснить следующим образом. Предположим, что распределения вероятностей и оба параметризованы некоторым (возможно, многомерным) параметром . Рассмотрим тогда два близких по значению и так, чтобы параметр лишь незначительно отличался от значения параметра . В частности, до первого порядка (с использованием соглашения о суммировании Эйнштейна )${\displaystyle P}$${\displaystyle Q}$${\displaystyle \theta }$${\displaystyle P=P(\theta )}$${\displaystyle Q=P(\theta _{0})}$${\displaystyle \theta }$${\displaystyle \theta _{0}}$

${\displaystyle P(\theta )=P(\theta _{0})+\Delta \theta _{j}P_{j}(\theta _{0})+\cdots }$

с небольшим изменением в направлении, и соответствующей скоростью изменения в распределении вероятностей. Поскольку относительная энтропия имеет абсолютный минимум 0 при , т. Е. Изменяется только до второго порядка по малым параметрам . Более формально, как и для любого минимума, первые производные расходимости обращаются в нуль${\displaystyle \Delta \theta _{j}=(\theta -\theta _{0})_{j}}$${\displaystyle \theta }$${\displaystyle j}$${\displaystyle P_{j}\left(\theta _{0}\right)={\frac {\partial P}{\partial \theta _{j}}}(\theta _{0})}$${\displaystyle P=Q}$${\displaystyle \theta =\theta _{0}}$${\displaystyle \Delta \theta _{j}}$

${\displaystyle \left.{\frac {\partial }{\partial \theta _{j}}}\right|_{\theta =\theta _{0}}D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))=0,}$

а по разложению Тейлора до второго порядка

${\displaystyle D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))={\frac {1}{2}}\Delta \theta _{j}\Delta \theta _{k}g_{jk}(\theta _{0})+\cdots }$

где матрица Гессе дивергенции

${\displaystyle g_{jk}(\theta _{0})=\left.{\frac {\partial ^{2}}{\partial \theta _{j}\,\partial \theta _{k}}}\right|_{\theta =\theta _{0}}D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))}$

должно быть положительно полуопределенным . Изменяя (и отбрасывая субиндекс 0), гессиан определяет (возможно, вырожденную) риманову метрику на пространстве параметров θ , называемую информационной метрикой Фишера.${\displaystyle \theta _{0}}$${\displaystyle g_{jk}(\theta )}$

Информационная метрическая теорема Фишера [ править ]

Когда удовлетворяет следующим условиям регулярности:${\displaystyle p_{(x,\rho )}}$

${\displaystyle {\frac {\partial \log(p)}{\partial \rho }},{\frac {\partial ^{2}\log(p)}{\partial \rho ^{2}}},{\frac {\partial ^{3}\log(p)}{\partial \rho ^{3}}}}$ существовать,

${\displaystyle {\begin{aligned}\left|{\frac {\partial p}{\partial \rho }}\right|&<F(x):\int _{x=0}^{\infty }F(x)\,dx<\infty ,\\\left|{\frac {\partial ^{2}p}{\partial \rho ^{2}}}\right|&<G(x):\int _{x=0}^{\infty }G(x)\,dx<\infty \\\left|{\frac {\partial ^{3}\log(p)}{\partial \rho ^{3}}}\right|&<H(x):\int _{x=0}^{\infty }p(x,0)H(x)\,dx<\xi <\infty \end{aligned}}}$

где ξ не зависит от ρ

${\displaystyle \left.\int _{x=0}^{\infty }{\frac {\partial p(x,\rho )}{\partial \rho }}\right|_{\rho =0}\,dx=\left.\int _{x=0}^{\infty }{\frac {\partial ^{2}p(x,\rho )}{\partial \rho ^{2}}}\right|_{\rho =0}\,dx=0}$

тогда:

${\displaystyle {\mathcal {D}}(p(x,0)\parallel p(x,\rho ))={\frac {c\rho ^{2}}{2}}+{\mathcal {O}}\left(\rho ^{3}\right){\text{ as }}\rho \to 0.}$

Вариация информации [ править ]

Другой теоретико-информационной метрикой является вариация информации , которая представляет собой примерно симметризацию условной энтропии . Это метрика на множестве разбиений дискретного вероятностного пространства .

Отношение к другим количествам теории информации [ править ]

Многие другие величины теории информации можно интерпретировать как приложения относительной энтропии к конкретным случаям.

Самоинформация [ править ]

Себя информацию , также известная как информационное содержание сигнала, случайной величины, или события определяются как отрицательный логарифм вероятности данного результата происходящего.

Применительно к дискретной случайной величине самоинформация может быть представлена ​​как ^{[ цитата необходима ]}

${\displaystyle \operatorname {\operatorname {I} } (m)=D_{\text{KL}}\left(\delta _{\text{im}}\parallel \{p_{i}\}\right),}$

- относительная энтропия распределения вероятностей из дельты Кронекера, представляющая уверенность в том, что - то есть количество дополнительных битов, которые должны быть переданы для идентификации, если получателю доступно только распределение вероятностей , а не факт, что .${\displaystyle P(i)}$${\displaystyle i=m}$${\displaystyle i}$${\displaystyle P(i)}$${\displaystyle i=m}$

Взаимная информация [ править ]

Взаимный обмен информацией ,

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&=D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))\\&=\operatorname {E} _{X}\{D_{\text{KL}}(P(Y\mid X)\parallel P(Y))\}\\&=\operatorname {E} _{Y}\{D_{\text{KL}}(P(X\mid Y)\parallel P(X))\}\end{aligned}}}$

представляет собой относительную энтропию произведения двух маргинальных распределений вероятностей из совместного распределения вероятностей, т. е. ожидаемого числа дополнительных битов, которые должны быть переданы для идентификации, и если они кодируются с использованием только их предельных распределений вместо совместного распределения. Эквивалентно, если совместная вероятность будет известно, что ожидаемое количество дополнительных битов , которые должны быть в среднем послан , чтобы определить , если значение не известно уже к приемнику.${\displaystyle P(X)P(Y)}$ ${\displaystyle P(X,Y)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle P(X,Y)}$ ${\displaystyle Y}$${\displaystyle X}$

Энтропия Шеннона [ править ]

Энтропия Шеннона ,

${\displaystyle {\begin{aligned}\mathrm {H} (X)&=\operatorname {E} \left[\operatorname {I} _{X}(x)\right]\\&=\log(N)-D_{\text{KL}}\left(p_{X}(x)\parallel P_{U}(X)\right)\end{aligned}}}$

это число битов , которые должны были бы быть переданы для идентификации из равновероятных возможностей, меньше относительная энтропия равномерного распределения на случайных случайных величин из , от истинного распределения - то есть меньше , ожидаемое число битов сохраненным, который будет иметь должен быть отправлен, если значение было закодировано в соответствии с равномерным распределением, а не истинным распределением .${\displaystyle X}$${\displaystyle N}$${\displaystyle X}$${\displaystyle P_{U}(X)}$${\displaystyle P(X)}$${\displaystyle X}$${\displaystyle P_{U}(X)}$${\displaystyle P(X)}$

Условная энтропия [ править ]

Условная энтропия ^[12] ,

${\displaystyle {\begin{aligned}\mathrm {H} (X\mid Y)&=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P_{U}(X)P(Y))\\&=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))-D_{\text{KL}}(P(X)\parallel P_{U}(X))\\&=\mathrm {H} (X)-\operatorname {I} (X;Y)\\&=\log(N)-\operatorname {E} _{Y}\left[D_{\text{KL}}\left(P\left(X\mid Y\right)\parallel P_{U}(X)\right)\right]\end{aligned}}}$

- это количество битов, которое должно быть передано для идентификации из равновероятных возможностей, за вычетом относительной энтропии распределения продукта от истинного совместного распределения, то есть за вычетом ожидаемого количества сохраненных битов, которые должны были быть отправлены, если бы значение из кодировались в соответствии с равномерным распределением , а не условного распределения в дали .${\displaystyle X}$${\displaystyle N}$${\displaystyle P_{U}(X)P(Y)}$${\displaystyle P(X,Y)}$${\displaystyle X}$${\displaystyle P_{U}(X)}$${\displaystyle P(X|Y)}$${\displaystyle X}$${\displaystyle Y}$

Перекрестная энтропия [ править ]

Когда у нас есть набор возможных событий, поступающих из распределения p , мы можем кодировать их (со сжатием данных без потерь ), используя энтропийное кодирование . Это сжимает данные, заменяя каждый входной символ фиксированной длины соответствующим уникальным кодом переменной длины и без префиксов (например: события (A, B, C) с вероятностями p = (1/2, 1/4, 1/4) можно закодировать как биты (0, 10, 11)). Если мы заранее знаем распределение p , мы можем разработать оптимальное кодирование (например, с использованием кодирования Хаффмана ). Это означает, что сообщения, которые мы кодируем, будут иметь в среднем самую короткую длину (при условии, что закодированные события выбираются из p ), которая будет равнаШеннон Энтропия из р (обозначаются как ). Однако, если мы используем другое распределение вероятностей ( q ) при создании схемы энтропийного кодирования, то большее количество битов будет использоваться (в среднем) для идентификации события из набора возможностей. Это новое (большее) число измеряется перекрестной энтропией между p и q .${\displaystyle \mathrm {H} (p)}$

Кросс энтропия между двумя вероятностными распределениями ( р и д ) измеряет среднее число бит , необходимых для идентификации события из набора возможностей, если схема кодирования используется на основе заданного распределения вероятностей ц , а не «истинные» распределений стр . Крест энтропия для двух распределений р и ц над одной и тем же вероятностным пространством , таким образом , определяется следующим образом : ^{[ править ]}

${\displaystyle \mathrm {H} (p,q)=\operatorname {E} _{p}[-\log(q)]=\mathrm {H} (p)+D_{\text{KL}}(p\parallel q).}$

В этом сценарии относительные энтропии можно интерпретировать как в среднем дополнительное количество битов, которые необходимы (сверх ) для кодирования событий из-за использования q для построения схемы кодирования вместо p .${\displaystyle \mathrm {H} (p)}$

Байесовское обновление [ править ]

В статистике Байесовской , относительная энтропия может быть использована в качестве меры усиления информации в переходе от априорного распределения к заднему распределению : . Если обнаружен какой-либо новый факт , его можно использовать для обновления апостериорного распределения для от до нового апостериорного распределения, используя теорему Байеса :${\displaystyle p(x)\to p(x\mid I)}$${\displaystyle Y=y}$${\displaystyle X}$${\displaystyle p(x\mid I)}$${\displaystyle p(x\mid y,I)}$

${\displaystyle p(x\mid y,I)={\frac {p(y\mid x,I)p(x\mid I)}{p(y\mid I)}}}$

Это распределение имеет новую энтропию :

${\displaystyle \mathrm {H} {\big (}p(x\mid y,I){\big )}=-\sum _{x}p(x\mid y,I)\log p(x\mid y,I),}$

которая может быть меньше или больше исходной энтропии . Однако с точки зрения нового распределения вероятностей можно оценить, что для использования исходного кода на основе вместо нового кода на основе было бы добавлено ожидаемое количество битов:${\displaystyle \mathrm {H} (p(x\mid I))}$${\displaystyle p(x\mid I)}$${\displaystyle p(x\mid y,I)}$

${\displaystyle D_{\text{KL}}{\big (}p(x\mid y,I)\parallel p(x\mid I){\big )}=\sum _{x}p(x\mid y,I)\log \left({\frac {p(x\mid y,I)}{p(x\mid I)}}\right)}$

к длине сообщения. Таким образом, это представляет собой количество полезной информации или получение информации о том , что было изучено путем открытия .${\displaystyle X}$${\displaystyle Y=y}$

Если впоследствии поступает следующий фрагмент данных, распределение вероятностей для может быть обновлено дополнительно, чтобы дать новое наилучшее предположение . Если повторно исследовать получение информации для использования, а не , то окажется, что она может быть больше или меньше, чем предполагалось ранее:${\displaystyle Y_{2}=y_{2}}$${\displaystyle x}$${\displaystyle p(x\mid y_{1},y_{2},I)}$${\displaystyle p(x\mid y_{1},I)}$${\displaystyle p(x\mid I)}$

${\displaystyle \sum _{x}p(x\mid y_{1},y_{2},I)\log \left({\frac {p(x\mid y_{1},y_{2},I)}{p(x\mid I)}}\right)}$ может быть ≤ или> чем ${\displaystyle \displaystyle \sum _{x}p(x\mid y_{1},I)\log \left({\frac {p(x\mid y_{1},I)}{p(x\mid I)}}\right)}$

Таким образом, совокупный информационный выигрыш не подчиняется неравенству треугольника:

${\displaystyle D_{\text{KL}}{\big (}p(x\mid y_{1},y_{2},I)\parallel p(x\mid I){\big )}}$ может быть <, = или>, чем ${\displaystyle D_{\text{KL}}{\big (}p(x\mid y_{1},y_{2},I)\parallel p(x\mid y_{1},I){\big )}+D_{\text{KL}}{\big (}p(x\mid y_{1},I)\parallel p(x\mid I){\big )}}$

Все, что можно сказать, это то, что в среднем , используя усреднение , две стороны будут усредняться.${\displaystyle p(y_{2}\mid y_{1},x,I)}$

Байесовский экспериментальный план [ править ]

Общая цель байесовского дизайна экспериментов - максимизировать ожидаемую относительную энтропию между априорной и апостериорной. ^[13] Когда апостериорные распределения аппроксимируются как гауссовские распределения, план, максимизирующий ожидаемую относительную энтропию, называется d-оптимальным Байесом .

Информация о дискриминации [ править ]

Относительную энтропию также можно интерпретировать как ожидаемую информацию различения для более : средней информации на выборку для различения в пользу гипотезы против гипотезы , когда гипотеза верна. ^[14] Другое название этого количества, предоставленного ему IJ Good , является ожидаемый вес доказательств для более следует ожидать от каждого образца.${\textstyle D_{\text{KL}}{\bigl (}p(x\mid H_{1})\parallel p(x\mid H_{0}){\bigr )}}$${\displaystyle H_{1}}$${\displaystyle H_{0}}$${\displaystyle H_{1}}$${\displaystyle H_{0}}$${\displaystyle H_{1}}$${\displaystyle H_{1}}$${\displaystyle H_{0}}$

Ожидаемый вес доказательств для более это не то же самое , как получить информацию ожидаемых на образец о распределении вероятностей гипотез,${\displaystyle H_{1}}$${\displaystyle H_{0}}$${\displaystyle p(H)}$

${\displaystyle D_{\text{KL}}(p(x\mid H_{1})\parallel p(x\mid H_{0}))\neq IG=D_{\text{KL}}(p(H\mid x)\parallel p(H\mid I)).}$

Любую из этих двух величин можно использовать в качестве функции полезности в байесовском дизайне экспериментов, чтобы выбрать оптимальный следующий вопрос для исследования: но в целом они приводят к довольно разным экспериментальным стратегиям.

На шкале энтропии прироста информации разница между почти достоверностью и абсолютной достоверностью очень мала - кодирование в соответствии с почти достоверностью едва ли требует больше битов, чем кодирование в соответствии с абсолютной достоверностью. С другой стороны, в логит- шкале, подразумеваемой весом доказательств, разница между ними огромна - возможно, бесконечна; это может отражать разницу между почти уверенностью (на вероятностном уровне) в том, что, скажем, гипотеза Римана верна, и уверенностью в ее правильности, поскольку имеется математическое доказательство. Эти две различные шкалы функции потерь для неопределенности являются как полезны в зависимости от того, насколько хорошо каждый из них отражает конкретные обстоятельства рассматриваемой проблемы.

Принцип минимальной дискриминационной информации [ править ]

Идея относительной энтропии как информации о различении привела Кулбака к предложению принципа минимальной информации о различении (MDI): учитывая новые факты, следует выбрать новое распределение , которое как можно труднее отличить от исходного распределения ; так что новые данные дают как можно меньший выигрыш в информации .${\displaystyle f}$${\displaystyle f_{0}}$${\displaystyle D_{\text{KL}}(f\parallel f_{0})}$

Например, если один имел априорное распределение над и , и впоследствии узнал истинное распределение была , то относительная энтропия между новым совместным распределением для и , , и ранее априорным распределением будет:${\displaystyle p(x,a)}$${\displaystyle x}$${\displaystyle a}$${\displaystyle a}$${\displaystyle u(a)}$${\displaystyle x}$${\displaystyle a}$${\displaystyle q(x\mid a)u(a)}$

${\displaystyle D_{\text{KL}}(q(x\mid a)u(a)\parallel p(x,a))=\operatorname {E} _{u(a)}\left\{D_{\text{KL}}(q(x\mid a)\parallel p(x\mid a))\right\}+D_{\text{KL}}(u(a)\parallel p(a)),}$

то есть сумма относительной энтропии предшествующего распределения для обновленного распределения плюс ожидаемое значение (с использованием распределения вероятностей ) относительной энтропии предыдущего условного распределения из нового условного распределения . (Обратите внимание, что часто более позднее ожидаемое значение называется условной относительной энтропией (или условной дивергенцией Кульбака-Лейблера ) и обозначается ^{[2] [12] : стр. 22} ) Это минимизируется, если на всей основе ; и отметим, что этот результат включает теорему Байеса, если новое распределение на самом деле является δ-функцией, представляющей уверенность в том, что${\displaystyle p(a)}$${\displaystyle a}$${\displaystyle u(a)}$${\displaystyle u(a)}$${\displaystyle p(x\mid a)}$${\displaystyle q(x\mid a)}$${\displaystyle D_{\text{KL}}(q(x\mid a)\parallel p(x\mid a))}$${\displaystyle q(x\mid a)=p(x\mid a)}$${\displaystyle u(a)}$${\displaystyle u(a)}$${\displaystyle a}$ имеет одно особое значение.

MDI можно рассматривать как продолжение Лапласа «s принцип недостаточной причины , и принцип максимума энтропии от ET Джейнесом . В частности, это естественное расширение принципа максимальной энтропии от дискретного к непрерывному распределению, для которого энтропия Шеннона перестает быть столь полезной (см. Дифференциальную энтропию ), но относительная энтропия продолжает оставаться столь же актуальной.

В технической литературе MDI иногда называют принципом минимальной кросс-энтропии (MCE) или для краткости Minxent . Минимизация относительной энтропии от до по отношению к эквивалентна минимизации перекрестной энтропии и , поскольку${\displaystyle m}$${\displaystyle p}$${\displaystyle m}$${\displaystyle p}$${\displaystyle m}$

${\displaystyle \mathrm {H} (p,m)=\mathrm {H} (p)+D_{\text{KL}}(p\parallel m),}$

что уместно, если кто-то пытается выбрать адекватное приближение к . Однако зачастую это не та задача, которую пытаются решить. Вместо этого так же часто бывает, что это некоторая фиксированная априорная эталонная мера, которую пытаются оптимизировать, минимизируя с учетом некоторого ограничения. Это привело к некоторой двусмысленности в литературе, причем некоторые авторы пытались разрешить несогласованность путем переопределения кросс-энтропии как «быть , а не» .${\displaystyle p}$${\displaystyle m}$${\displaystyle p}$${\displaystyle D_{\text{KL}}(p\parallel m)}$${\displaystyle D_{\text{KL}}(p\parallel m)}$${\displaystyle \mathrm {H} (p,m)}$

Связь с доступной работой [ править ]

График зависимости давления от объема доступной работы моля газообразного аргона по отношению к окружающей среде, рассчитанный как время расхождения Кульбака – Лейблера.${\displaystyle T_{o}}$

Сюрприз ^[15] добавляет, где вероятности умножаются. Неожиданность для вероятностного события определяется как . Если это, то сюрприз выражается в натсах, битах или около того, что, например, есть кусочки неожиданности, когда все «орлы» падают на подбрасывание монет.${\displaystyle p}$${\displaystyle s=k\ln(1/p)}$${\displaystyle k}$${\displaystyle \left\{1,1/\ln 2,1.38\times 10^{-23}\right\}}$${\displaystyle \{}$${\displaystyle J/K\}}$${\displaystyle N}$${\displaystyle N}$

Наиболее вероятные состояния (например, для атомов в газе) выводятся путем максимизации среднего сюрприза ( энтропии ) для данного набора управляющих параметров (например, давления или объема ). Эта ограниченная максимизация энтропии , как классически ^{[16], так} и квантово-механически, ^[17] минимизирует доступность Гиббса в единицах энтропии ^[18], где - ограниченная множественность или статистическая сумма .${\displaystyle S}$${\displaystyle P}$${\displaystyle V}$ ${\displaystyle A\equiv -k\ln(Z)}$${\displaystyle Z}$

При фиксированной температуре свободная энергия ( ) также минимизируется. Таким образом, если и число молекул постоянны, свободная энергия Гельмгольца (где - энергия) минимизируется по мере того, как система «уравновешивается». Если и поддерживаются постоянными (скажем, во время процессов в вашем теле), вместо этого минимизируется свободная энергия Гиббса . Изменение свободной энергии в этих условиях является мерой доступной работы, которая может быть проделана в процессе. Таким образом, доступная работа для идеального газа при постоянной температуре и давлении - это где и (см. Также неравенство Гиббса ).${\displaystyle T}$${\displaystyle T\times A}$${\displaystyle T,V}$${\displaystyle N}$ ${\displaystyle F\equiv U-TS}$${\displaystyle U}$${\displaystyle T}$${\displaystyle P}$ ${\displaystyle G=U+PV-TS}$${\displaystyle T_{o}}$${\displaystyle P_{o}}$${\displaystyle W=\Delta G=NkT_{o}\Theta (V/V_{o})}$${\displaystyle V_{o}=NkT_{o}/P_{o}}$${\displaystyle \Theta (x)=x-1-\ln x\geq 0}$

В более общем смысле ^[19] работа доступные относительно некоторой температуры окружающей среды получает путь умножения температуры окружающей среды от относительной энтропии или чистой surprisal определяется как среднее значение , где есть вероятность данного состояния в условиях окружающей среды. Например, работа, доступная для уравновешивания одноатомного идеального газа с окружающими значениями и , таким образом , где относительная энтропия${\displaystyle T_{o}}$ ${\displaystyle \Delta I\geq 0,}$${\displaystyle k\ln(p/p_{o})}$${\displaystyle p_{o}}$${\displaystyle V_{o}}$${\displaystyle T_{o}}$${\displaystyle W=T_{o}\Delta I}$

${\displaystyle \Delta I=Nk\left[\Theta \left({\frac {V}{V_{o}}}\right)+{\frac {3}{2}}\Theta \left({\frac {T}{T_{o}}}\right)\right].}$

Результирующие контуры постоянной относительной энтропии, показанные справа для моля аргона при стандартной температуре и давлении, например, накладывают ограничения на преобразование горячего в холодное, как в пламенном кондиционировании воздуха или в автономном устройстве для преобразования кипящего - вода в ледяную воду обсуждается здесь. ^[20] Таким образом, относительная энтропия измеряет термодинамическую доступность в битах.

Квантовая теория информации [ править ]

Для получения матриц плотности и на гильбертовом пространстве , то квантовая относительная энтропия от до определяется как${\displaystyle P}$${\displaystyle Q}$${\displaystyle Q}$${\displaystyle P}$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\operatorname {Tr} (P(\log(P)-\log(Q))).}$

В квантовой информатике минимум из всех разделимых состояний также может использоваться как мера запутанности в состоянии .${\displaystyle D_{\text{KL}}(P\parallel Q)}$${\displaystyle Q}$${\displaystyle P}$

Связь между моделями и реальностью [ править ]

Точно так же, как относительная энтропия «реального из окружающей среды» измеряет термодинамическую доступность, относительная энтропия «реальности из модели» также полезна, даже если единственные ключи, которые у нас есть о реальности, - это некоторые экспериментальные измерения. В первом случае относительная энтропия описывает расстояние до равновесия или (при умножении на температуру окружающей среды) объем доступной работы , а во втором случае она сообщает вам о сюрпризах, которые реальность готовит, или, другими словами, насколько модель еще предстоит узнать .

Хотя этот инструмент для сравнения моделей с системами, доступными экспериментально, может применяться в любой области, его применение для выбора статистической модели с помощью информационного критерия Акаике особенно хорошо описано в статьях ^[21] и книге ^[22] Бернхэма и Андерсона. Короче говоря, относительная энтропия реальности модели может быть оценена с точностью до постоянного аддитивного члена как функция отклонений, наблюдаемых между данными и предсказаниями модели (например, среднеквадратичное отклонение ). Оценки такого расхождения для моделей, которые используют один и тот же аддитивный член, в свою очередь, могут использоваться для выбора моделей.

При попытке подогнать параметризованные модели к данным существуют различные оценщики, которые пытаются минимизировать относительную энтропию, такие как оценщики максимального правдоподобия и максимального интервала . ^{[ необходима цитата ]}

Симметричное расхождение [ править ]

Сами Кульбак и Лейблер фактически определили расхождение как:

${\displaystyle D_{\text{KL}}(P\parallel Q)+D_{\text{KL}}(Q\parallel P)}$

которая симметрична и неотрицательна. Это количество иногда использовалось для выбора признаков в задачах классификации , где и являются условными PDF-файлами объекта в двух разных классах. В банковской и финансовой отраслях эта величина называется индексом стабильности населения (PSI) и используется для оценки распределительных сдвигов в характеристиках модели во времени.${\displaystyle P}$${\displaystyle Q}$

Альтернатива дается через дивергенцию,${\displaystyle \lambda }$

${\displaystyle D_{\lambda }(P\parallel Q)=\lambda D_{\text{KL}}(P\parallel \lambda P+(1-\lambda )Q)+(1-\lambda )D_{\text{KL}}(Q\parallel \lambda P+(1-\lambda )Q),}$

что можно интерпретировать как ожидаемый выигрыш информации о том, из какого распределения берется вероятностное распределение , или , если они в настоящее время имеют вероятности и, соответственно. ^{[ требуется уточнение ] [ необходима цитата ]}${\displaystyle X}$${\displaystyle X}$${\displaystyle P}$${\displaystyle Q}$${\displaystyle \lambda }$${\displaystyle 1-\lambda }$

Значение дает расхождение Дженсена – Шеннона , определяемое формулой${\displaystyle \lambda =0.5}$

${\displaystyle D_{\text{JS}}={\frac {1}{2}}D_{\text{KL}}(P\parallel M)+{\frac {1}{2}}D_{\text{KL}}(Q\parallel M)}$

где - среднее из двух распределений,${\displaystyle M}$

${\displaystyle M={\frac {1}{2}}(P+Q).}$

${\displaystyle D_{JS}}$может также интерпретироваться как пропускная способность зашумленного информационного канала с двумя входами, дающими выходные распределения и . Дивергенция Дженсена – Шеннона, как и все f- расхождения, локально пропорциональна метрике информации Фишера . Она похожа на метрику Хеллингера (в том смысле, что индуцирует ту же аффинную связность на статистическом многообразии ).${\displaystyle P}$${\displaystyle Q}$

Кроме того, дивергенция Дженсена-Шеннона может быть обобщена с использованием абстрактных статистических M-смесей, основанных на абстрактном среднем M. ^{[23] [24]}

Связь с другими вероятностно-дистанционными мерами [ править ]

Есть много других важных мер вероятностного расстояния . Некоторые из них особенно связаны с относительной энтропией. Например:

• Общее расстояние вариации , . Это связано с расхождением через неравенство Пинскера :${\displaystyle \delta (p,q)}$${\displaystyle \delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\text{KL}}(P\parallel Q)}}}$
• Семейство расходимостей Реньи обобщает относительную энтропию. В зависимости от значения определенного параметра , могут быть выведены различные неравенства.${\displaystyle \alpha }$

Другие известные меры расстояния включают Хеллингера расстояние , гистограммы пересечения , хи-квадрат статистики , квадратичную форму расстояние , расстояние соответствия , Колмогорова-Смирнова расстояние и расстояние от Земли движителя в . ^[25]

Различие данных [ править ]

Так же, как абсолютная энтропия служит теоретической основой для сжатия данных , относительная энтропия служит теоретической основой для различения данных - абсолютная энтропия набора данных в этом смысле является данными, необходимыми для их восстановления (минимальный сжатый размер), в то время как относительная энтропия целевого набора данных, заданного источником набор данных, это данные , необходимые для восстановления целевого заданного источника (минимальный размер пластыря ).

См. Также [ править ]

Ссылки [ править ]