Собственная информация
Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии.
Для случайной величины , имеющей конечное число значений:
Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли.
Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.