В теории информации , то предельная плотность дискретных точек является корректировка формулы Клода Шеннона для дифференциальной энтропии .
Он был сформулирован Эдвином Томпсоном Джейнсом для устранения недостатков в первоначальном определении дифференциальной энтропии.
Определение
Первоначально Шеннон написал следующую формулу для энтропии непрерывного распределения, известную как дифференциальная энтропия :
Однако, в отличие от формулы Шеннона для дискретной энтропии, это не результат какого-либо вывода (Шеннон просто заменил символ суммирования в дискретной версии на интеграл), но в нем отсутствуют многие свойства, которые делают дискретную энтропию полезной мерой неуверенность. В частности, он не инвариантен при замене переменных и может стать отрицательным. Кроме того, это даже неверно по размерам. С будет безразмерным, должны иметь единицы , что означает, что аргумент логарифма не является безразмерным, как требуется.
Джейнс утверждал, что формулу для непрерывной энтропии следует выводить, взяв предел все более плотных дискретных распределений. [1] [2] Предположим, что у нас есть набор дискретные точки , такое, что в пределе их плотность приближается к функции называется «инвариантной мерой».
Джейнс вывел из этого следующую формулу для непрерывной энтропии, которую, как он утверждал, следует рассматривать как правильную:
Обычно, когда это пишется, термин опускается, так как обычно он не является конечным. Итак, фактическое общее определение:
Где неясно, действительно ли термин следует опустить, можно написать
Обратите внимание, что в формуле Джейнса - плотность вероятности. Для любого конечного что [ требуется дальнейшее объяснение ] - это равномерная плотность по квантованию непрерывного пространства, которая используется в сумме Римана. В пределе - непрерывная предельная плотность точек при квантовании, используемая для представления непрерывной переменной .
Предположим, у кого-то есть числовой формат, который принимает возможные значения, распределенные согласно . потом (если достаточно велика, чтобы справедливо непрерывное приближение) - дискретная энтропия переменной в этой кодировке. Это равно среднему количеству битов, необходимых для передачи этой информации, и не превышает. Следовательно, можно рассматривать как количество информации, полученной, зная, что переменная следует за распределением , и не распределяется равномерно по возможным квантованным значениям, как было бы, если бы он следовал . на самом деле (отрицательное) расхождение Кульбака – Лейблера от к , который рассматривается как информация, полученная в результате изучения того, что переменная, которая ранее считалась распределенной как фактически распространяется как .
Формула непрерывной энтропии Джейнса обладает свойством быть инвариантной относительно замены переменных при условии, что а также преобразуются таким же образом. (Отсюда и название «инвариантная мера» для m .) Это решает многие трудности, возникающие при применении формулы Шеннона для непрерывной энтропии. Сам Джейнс уронилтермин, поскольку он не имел отношения к его работе (максимальное распределение энтропии), и несколько неудобно иметь бесконечный член в расчетах. К сожалению, с этим ничего не поделать, если квантование выполняется произвольно точно, как это было бы в случае непрерывного предела. Обратите внимание, что как определено здесь (без term) всегда будет неположительным, потому что расхождение KL всегда будет неотрицательным.
Если это так, постоянно на некотором интервале размера , а также по существу равна нулю вне этого интервала, то предельная плотность дискретных точек (LDDP) тесно связана с дифференциальной энтропией
Рекомендации
- Перейти ↑ Jaynes, ET (1963). «Теория информации и статистическая механика». В К. Форде (ред.). Статистическая физика (PDF) . Бенджамин, Нью-Йорк. п. 181. CS1 maint: обескураженный параметр ( ссылка )
- ^ Джейнс, ET (1968). «Априорные вероятности» (PDF) . IEEE Transactions по системной науке и кибернетике . ССК-4: 227.
дальнейшее чтение
- Джейнс, ET (2003). Теория вероятностей: логика науки . Издательство Кембриджского университета. ISBN 978-0521592710.