Энтропия Реньи

В теории информации энтропия Реньи обобщает энтропию Хартли , энтропию Шеннона , энтропию столкновений и минимальную энтропию . Энтропии количественно определяют разнообразие, неопределенность или случайность системы. Энтропия названа в честь Альфреда Реньи . ^[1] В контексте оценки фрактальной размерности энтропия Реньи составляет основу концепции обобщенных размерностей .

Энтропия Реньи важна в экологии и статистике как показатель разнообразия . Энтропия Реньи также важна в квантовой информации , где ее можно использовать как меру запутанности . В модели спиновой цепи Гейзенберга XY энтропия Реньи как функция $α$ может быть вычислена явно, поскольку она является автоморфной функцией по отношению к конкретной подгруппе модулярной группы . ^[2]^[3] В теоретической информатике минимальная энтропия используется в контексте экстракторов случайности .

Энтропия Реньи порядка , где и , определяется как ${\ Displaystyle \ альфа}$ ${\ Displaystyle \ альфа \ geq 0}$ ${\ Displaystyle \ альфа \ neq 1}$

Здесь – дискретная случайная величина с возможными исходами в наборе и соответствующими вероятностями для . Логарифм обычно принимается по основанию 2, особенно в контексте теории информации, где используются биты . Если вероятности для всех , то все энтропии Реньи распределения равны: . В общем, для всех дискретных случайных величин , является невозрастающей функцией в . ${\ Displaystyle Х}$ ${\ displaystyle {\ mathcal {A}} = \ {x_ {1}, x_ {2},..., x_ {n} \}}$ ${\ displaystyle p_ {i} \ doteq \ Pr (X = x_ {i})}$ ${\ Displaystyle я = 1, \ точки, п}$ ${\ displaystyle p_ {i} = 1 / n}$ ${\ Displaystyle я = 1, \ точки, п}$ ${\ displaystyle \ mathrm {H} _ {\ alpha} (X) = \ log n}$ ${\ Displaystyle Х}$ ${\ Displaystyle \ mathrm {Н} _ {\ альфа} (Х)}$ ${\ Displaystyle \ альфа}$