В теории информации , на информационном содержании , самостоятельной информации , surprisal или информации Шеннона является основным количеством производного от вероятности конкретного события , происходящего от случайной величины . Его можно рассматривать как альтернативный способ выражения вероятности, очень похожий на шансы или логарифмические шансы , но который имеет определенные математические преимущества в контексте теории информации.
Информацию Шеннона можно интерпретировать как количественную оценку уровня «неожиданности» конкретного результата. Поскольку это такая базовая величина, она также появляется в нескольких других параметрах, таких как длина сообщения, необходимого для передачи события, при оптимальном исходном коде случайной величины.
Информация Шеннона тесно связана с теоретической энтропией информации , которая представляет собой ожидаемое значение самоинформации случайной величины, количественно определяющее, насколько удивительной является случайная величина «в среднем». Это средний объем самоинформации, которую наблюдатель ожидал бы получить о случайной величине при ее измерении. [1]
Информационное содержание может быть выражено в различных единицах информации , наиболее распространенной из которых является «бит» (иногда также называемый «шенноном»), как поясняется ниже.
Событие с вероятностью 100% совершенно неудивительно и не дает никакой информации.
Чем менее вероятно событие, тем оно удивительнее и тем больше информации оно дает.
Если два независимых события измеряются отдельно, общий объем информации является суммой самоинформации отдельных событий.
Подробный вывод приведен ниже, но можно показать, что существует уникальная функция вероятности, которая соответствует этим трем аксиомам, с точностью до мультипликативного масштабного коэффициента. В широком смысле событиес вероятностью, информационное содержание определяется следующим образом:
База журнала остается неопределенной, что соответствует приведенному выше коэффициенту масштабирования. Различный выбор основания соответствует разным единицам информации: если логарифмическое основание равно 2, единица называется « бит » или «шеннон» ; если логарифм является натуральным логарифмом (соответствует основному числу Эйлера e ≈ 2,7182818284), единица измерения называется «нат» , сокращенно от «натуральный»; а если основание равно 10, единицы называются «хартли» , десятичные «цифры» или иногда «точками».
по определению равно ожидаемому информационному содержанию измерения. [3] : 11 [4] : 19–20
Использование обозначений для самооценки приведенная выше информация не универсальна. Поскольку обозначениетакже часто используется для обозначения связанного количества взаимной информации , многие авторы используют строчные буквы вместо самоэнтропии, отражая использование капитала для энтропии.
Характеристики
Монотонно убывающая функция вероятности
Для данного вероятностного пространства измерения более редких событий интуитивно более «удивительны» и дают больше информации, чем более общие значения. Таким образом, самоинформация - это строго убывающая монотонная функция вероятности или иногда называемая «антитонической» функцией.
Стандартные вероятности представлены действительными числами в интервале , самоинформация представлена расширенными действительными числами в интервале . В частности, для любого выбора логарифмического основания у нас есть следующее:
Если конкретное событие имеет 100% вероятность наступления, то его самоинформация : его появление «совершенно не удивительно» и не дает никакой информации.
Если конкретное событие имеет вероятность наступления 0%, то его самоинформация : его появление «бесконечно удивительно».
Отсюда мы можем получить несколько общих свойств:
Интуитивно больше информации можно получить, наблюдая за неожиданным событием - это «удивительно».
Например, если есть шанс один на миллион, что Алиса выиграет в лотерею , ее друг Боб получит значительно больше информации, узнав, что она выиграла, чем то, что она проиграла в данный день. (См. Также: Математика лотереи .)
Информация Шеннона тесно связана с логарифмическими шансами . В частности, учитывая какое-то событие, Предположим, что это вероятность происходит, и что это вероятность не происходит. Тогда у нас есть следующее определение логарифма шансов:
Это можно выразить как разность двух данных Шеннона:
Другими словами, логарифмические шансы можно интерпретировать как уровень неожиданности, если событие «не произойдет», минус уровень неожиданности, если событие «произойдет».
Соответствующее свойство правдоподобия состоит в том, что логарифмическая вероятность независимых событий является суммой логарифмических правдоподобий каждого события. Интерпретируя логарифмическую вероятность как «поддержку» или отрицательную неожиданность (степень, в которой событие поддерживает данную модель: модель поддерживается событием в той степени, в которой событие неудивительно для данной модели), это означает, что независимые события добавляют поддержка: информация, которую два события вместе предоставляют для статистического вывода, является суммой их независимой информации.
Заметки
Этот показатель также называют неожиданным , поскольку он представляет собой « сюрприз » от увиденного результата (крайне маловероятный результат очень удивителен). Этот термин (как мера логарифмической вероятности) был введен Майроном Трибусом в его книге « Термостатика и термодинамика» 1961 года . [5] [6]
Когда событие является случайной реализацией (переменной), самоинформация переменной определяется как ожидаемое значение самоинформации реализации.
Самоинформация - это пример правильного правила подсчета очков . [ требуется разъяснение ]
Примеры
Честный подбрасывание монеты
Рассмотрим процесс Бернулли по подбрасыванию справедливой монеты . В Вероятности этих событий в высадке монеты в качестве руководителей и хвосты (см справедливой монеты и лицевой и оборотной ) являются одна половина каждого,. При измерении переменной в виде голов, соответствующий выигрыш в информации составляет
Таким образом, выигрыш в информации при честном приземлении монеты в виде орла составляет 1 шеннон . [2] Аналогичным образом, получение информации при измерении хвосты
Справедливый бросок кубика
Предположим, у нас есть хороший шестигранный кубик . Значение броска костей - это дискретная однородная случайная величина. с функцией массы вероятности
Вероятность выпадения 4 равна , как и для любого другого действительного рулона. Таким образом, информационное содержание прокатки 4 составляет
информации.
Два независимых, одинаково распределенных кубика
Предположим, у нас есть две независимые, одинаково распределенные случайные величины каждая соответствует независимому справедливому броску 6-гранных игральных костей. Совместное распределение по а также является
Информационное наполнение случайной величины является
а также может быть вычислен с помощью § Аддитивности независимых событий
Информация из частоты бросков
Если мы получаем информацию о стоимости кубика, не зная, какой кубик какое значение имеет, мы можем формализовать подход с помощью так называемых подсчетных переменных.
для , тогда и счета имеют полиномиальное распределение
Чтобы проверить это, 6 результатов соответствуют событию и полная вероятность из1/6. Это единственные события, которые точно сохраняются с указанием того, какие кости выпали, какой результат, потому что результаты одинаковы. Не зная, как отличить кости, бросающие другие числа, другие комбинации соответствуют тому, что один кубик выбрасывает одно число, а другой - другое число, каждая из которых имеет вероятность 1/18. Действительно,, как требуется.
Неудивительно, что информационное содержание обучения тому, что обе кости были брошены как одно и то же конкретное число, больше, чем информационное содержание изучения того, что одна игральная кость была одним числом, а другая - другим числом. Возьмем для примера события а также для . Например, а также .
Информационное содержание
Позволять быть случаем, когда на обоих кубиках выпало одно и то же значение и быть случаем, когда игральные кости различались. потом а также . Информационное содержание событий
Информация из суммы костей
Вероятностная масса или функция плотности (вместе вероятностная мера ) суммы двух независимых случайных величин - это свертка каждой вероятностной меры . В случае независимых справедливых 6-сторонних бросков костей случайная величина имеет функцию массы вероятности , где представляет собой дискретную свертку . исход имеет вероятность . Следовательно, заявленная информация
Общее дискретное равномерное распределение
Обобщая приведенный выше пример § Справедливого броска костей , рассмотрим общую дискретную равномерную случайную величину (DURV) Для удобства определим . PMF является
В общем, значения DURV не обязательно должны быть целыми числами или, для целей теории информации, даже равномерно разнесенными; они должны быть только равновероятными . [2] Информационная ценность любого наблюдения является
Особый случай: постоянная случайная величина
Если выше, вырождается в постоянную случайную величину с распределением вероятностей, детерминированным следующим образом:и вероятностная мера - мера Дирака . Единственная ценностьможет принимать детерминированно , поэтому информативность любого измерения является
Как правило, измерение известного значения не дает никакой информации. [2]
Категориальное распределение
Обобщая все вышеперечисленные случаи, рассмотрим категориальную дискретную случайную величину с поддержкой и pmf, предоставленный
Для целей теории информации значения не обязательно должны быть числа ; они могут быть любыми взаимоисключающими событиями на пространстве с мерой в конечной мере , которая была нормированной на вероятностные меры . Без ограничения общности можно предположить, что категориальное распределение поддерживается на множестве; математическая структура изоморфна с точки зрения теории вероятностей и, следовательно, теории информации .
Информация об исходе дано
Из этих примеров можно вычислить информацию о любом наборе независимых DRV с известными распределениями по аддитивности .
Связь с энтропией
Энтропии являются ожидаемым значением информационного содержания дискретной случайной величины , с ожиданием берется по дискретным значениям она принимает . Иногда саму энтропию называют «самоинформацией» случайной величины, возможно потому, что энтропия удовлетворяет, где является взаимной информацией ос собой. [7]
Для непрерывных случайных величин соответствующее понятие - дифференциальная энтропия .
Вывод
По определению, информация передается от отправляющего объекта, владеющего информацией, к принимающему объекту только в том случае, если получатель не знал информацию априори . Если получающий объект заранее знал содержимое сообщения с уверенностью до получения сообщения, объем информации полученного сообщения равен нулю. Только когда получатель знает содержание сообщения менее чем на 100%, сообщение действительно передает информацию.
Например, процитировав персонажа (хиппи Диппи метеоролог) комика Джорджа Карлина , «Прогноз погоды на сегодня: темно. Ночью продолжала тьма, а к утру - широко рассеянный свет ». [8] Если предположить, что человек не проживает вблизи полюсов Земли или полярных кругов , количество информации, передаваемой в этом прогнозе, равно нулю, потому что до получения прогноза известно, что темнота всегда приходит с ночью.
Соответственно, количество самоинформации, содержащейся в сообщении, передающем контент, информирующий о наступлении события ,, зависит только от вероятности этого события.
для какой-то функции будет определено ниже. Если, тогда . Если, тогда .
Далее, по определению, мера самоинформации неотрицательна и аддитивна. Если сообщение, информирующее о событииявляется пересечением двух независимых событий а также , то информация о событии происходит это составное сообщение обоих независимых событий а также происходит. Количество информации составного сообщениякак ожидается, будет равняться сумме объемов информации отдельных компонентных сообщений. а также соответственно:
.
Из-за независимости событий а также , вероятность события является
.
Однако, применяя функцию приводит к
Класс функции обладающий такой собственностью, что
является функцией логарифма любого основания. Единственная операционная разница между логарифмами разных оснований - это разные константы масштабирования.
Поскольку вероятности событий всегда находятся в диапазоне от 0 до 1, а информация, связанная с этими событиями, должна быть неотрицательной, для этого требуется, чтобы .
С учетом этих свойств самоинформация связанный с исходом с вероятностью определяется как:
Чем меньше вероятность события , тем больше информации о себе связано с сообщением о том, что событие действительно произошло. Если логарифм выше по основанию 2, единица измеренияэто биты . Это самая распространенная практика. При использовании натурального логарифма основания, единицей будет нац . Для десятичного логарифма единицей информации является хартли .
В качестве быстрой иллюстрации, информационное содержание, связанное с исходом в 4 решки (или любым конкретным исходом) в 4 последовательных подбрасываниях монеты, будет 4 бита (вероятность 1/16), а информационное содержание, связанное с получением результата, отличного от один указанный будет ~ 0,09 бит (вероятность 15/16). См. Подробные примеры выше.
Смотрите также
Энтропия
Неожиданный анализ
Рекомендации
Перейти ↑ Jones, DS, Elementary Information Theory , Vol., Clarendon Press, Oxford, pp 11-15 1979
^ a b c d МакМахон, Дэвид М. (2008). Объяснение квантовых вычислений . Хобокен, Нью-Джерси: Wiley-Interscience. ISBN 9780470181386. OCLC 608622533 .
^Борда, Моника (2011). Основы теории информации и кодирования . Springer. ISBN 978-3-642-20346-6.
^Хан, Те Сун и Кобаяши, Кинго (2002). Математика информации и кодирования . Американское математическое общество. ISBN 978-0-8218-4256-0.CS1 maint: использует параметр авторов ( ссылка )
^ RB Bernstein и RD Levine (1972) "Энтропия и химические изменения. I. Характеристика энергетических распределений продукта (и реагента) в реактивных молекулярных столкновениях: информация и энтропийный дефицит", Журнал химической физики 57 , 434-449 ссылка .
^ Майрон Трибус (1961) Термодинамика и термостатика: Введение в энергию, информацию и состояния материи, с инженерными приложениями (Д. Ван Ностранд, 24 West 40 Street, New York 18, New York, USA) Tribus, Myron (1961) , стр. 64-66 заимствовать .
^ Томас М. Обложка, Джой А. Томас; Элементы теории информации; п. 20; 1991 г.