Количество информации

---

Количество информации в теории информации – это количество информации в одном случайном объекте относительно другого.

Пусть ${\displaystyle x}$ и ${\displaystyle y}$ – случайные величины, заданные на соответствующих множествах ${\displaystyle X}$ и ${\displaystyle Y}$. Тогда количество информации ${\displaystyle x}$ относительно ${\displaystyle y}$ есть разность априорной и апостериорной энтропий:

где ${\displaystyle m}$ количество элементов множества ${\displaystyle X}$.

${\displaystyle H(x)=0}$, если один из элементов множества реализуется с вероятностью 1, а остальные, соответственно, 0, в силу того, что ${\displaystyle 1\ln 1=0}$ и ${\displaystyle 0\ln 0=0}$.

Максимум значения энтропии ${\displaystyle H(x)=\ln(m)}$ достигается, когда все ${\displaystyle p(x)=1/m}$, т.е. все исходы равновероятны.

При этом, ${\displaystyle H(x|y)=0}$, если отображение ${\displaystyle Y}$ в ${\displaystyle X}$ однозначное, т.е. ${\displaystyle \forall y\exists x\colon p(x|y)=1}$.

---