Скорость энтропии

Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Скорость энтропии Предельная плотность дискретных точек
Асимптотическое свойство равнораспределения Теория скорости – искажения
Теорема Шеннона о кодировании источника Емкость канала Теорема кодирования с шумом Теорема Шеннона – Хартли.
v т е

В математической теории вероятности , то энтропия скорости или скорость источника информации о стохастическом процессе является, неформальна, время плотность средней информации в стохастическом процессе. Для стохастических процессов с счетным индексом, энтропия скоростью является пределом совместной энтропии из членов процесса , разделенного на , так как имеет тенденцию к бесконечности :${\ Displaystyle H (X)}$${\ displaystyle n}$${\ displaystyle X_ {k}}$${\ displaystyle n}$${\ displaystyle n}$

${\ Displaystyle H (X) = \ lim _ {n \ to \ infty} {\ frac {1} {n}} H (X_ {1}, X_ {2}, \ dots X_ {n})}$

когда предел существует. Альтернативное связанное количество:

${\displaystyle H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

Для сильно стационарных случайных процессов . Скорость энтропии можно рассматривать как общее свойство стохастических источников; это свойство асимптотического равнораспределения . Скорость энтропии может использоваться для оценки сложности случайных процессов. Он используется в различных приложениях, от описания сложности языков, слепого разделения источников до оптимизации квантователей и алгоритмов сжатия данных. Например, критерий максимальной скорости энтропии может использоваться для выбора функции в машинном обучении . ^[1]${\displaystyle H(X)=H'(X)}$

Нормы энтропии для цепей Маркова [ править ]

Поскольку случайный процесс, определяемый цепью Маркова, которая является неприводимой , апериодической и положительно рекуррентной, имеет стационарное распределение , скорость энтропии не зависит от начального распределения.

Например, для такой цепи Маркова, определенной на счетном числе состояний, с учетом матрицы перехода , задается:${\displaystyle Y_{k}}$ ${\displaystyle P_{ij}}$${\displaystyle H(Y)}$

${\displaystyle \displaystyle H(Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}}$

где - асимптотическое распределение цепи.${\displaystyle \mu _{i}}$

Простым следствием этого определения является то, что случайный процесс iid имеет скорость энтропии, которая такая же, как энтропия любого отдельного члена процесса.

См. Также [ править ]

• Источник информации (математика)
• Марковский источник информации
• Асимптотическое свойство равнораспределения
• Максимальная энтропия Случайное блуждание - выбрано, чтобы максимизировать скорость энтропии

Ссылки [ править ]

• Обложка, Т. и Томас, Дж. (1991) Элементы теории информации, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1]