Двоичная энтропийная функция

В теории информации бинарная функция энтропии , обозначаемая или , определяется как энтропия процесса Бернулли с вероятностью одного из двух значений. Это частный случай функции энтропии . Математически испытание Бернулли моделируется как случайная величина , которая может принимать только два значения: 0 и 1, которые являются взаимоисключающими и исчерпывающими.${\ Displaystyle \ OperatorName {Н} (р)}$${\ displaystyle \ operatorname {H} _ {\ text {b}} (p)}$ ${\ Displaystyle р}$${\ Displaystyle \ mathrm {Н} (Х)}$ ${\ Displaystyle Х}$

Если , то и энтропия (в шеннонах ) определяется выражением${\ displaystyle \ operatorname {Pr} (X = 1) = p}$${\ displaystyle \ operatorname {Pr} (X = 0) = 1-p}$${\ Displaystyle Х}$

где принимается равным 0. Логарифмы в этой формуле обычно берутся (как показано на графике) по основанию 2. См. двоичный логарифм .${\ Displaystyle 0 \ журнал _ {2} 0}$

При бинарная функция энтропии достигает своего максимального значения. Это случай беспристрастного подбрасывания монеты .${\ Displaystyle р = {\ tfrac {1} {2}}}$

${\ Displaystyle \ OperatorName {Н} (р)}$отличается от функции энтропии тем, что первая принимает в качестве параметра единственное действительное число, тогда как вторая принимает в качестве параметра распределение или случайную величину. Иногда функция бинарной энтропии также записывается как . Однако она отличается от энтропии Реньи , которая обозначается как , и ее не следует путать .${\ Displaystyle \ mathrm {Н} (Х)}$${\ Displaystyle \ OperatorName {Н} _ {2} (р)}$${\ Displaystyle \ mathrm {Н} _ {2} (Х)}$

Энтропия испытания Бернулли как функция вероятности бинарного исхода, называемая функцией бинарной энтропии .