Теория информации является научным исследованием количественной оценки , хранения и передач в цифровой информации . [1] Эта область была основана на работах Гарри Найквиста и Ральфа Хартли в 1920-х годах и Клода Шеннона в 1940-х годах. Эта область находится на пересечении теории вероятностей , статистики , информатики, статистической механики , информационной инженерии и электротехники .
Ключевым показателем в теории информации является энтропия . Энтропия определяет количество неопределенности, связанной со значением случайной величины или результатом случайного процесса . Например, определение результата честного подбрасывания монеты (с двумя равновероятными исходами) дает меньше информации (более низкая энтропия), чем определение результата броска кубика (с шестью равновероятными исходами). Некоторыми другими важными показателями в теории информации являются взаимная информация , пропускная способность канала, показатели ошибки и относительная энтропия . Важный субполь теории информации включает в себя источник кодирования , алгоритмическую теорию сложности , алгоритмическую теорию информации и информационно-Теоретико безопасность .
Приложения фундаментальных тем теории информации включают сжатие данных без потерь (например, файлы ZIP ), сжатие данных с потерями (например, MP3 и JPEG ) и канальное кодирование (например, для DSL ). Его влияние было решающим для успеха миссий « Вояджер» в дальний космос, изобретения компакт-диска , возможности мобильных телефонов и развития Интернета. Теория также нашла применения в других областях, включая статистический вывод , [2] криптографию , нейробиологию , [3] восприятие , [4] лингвистику, эволюцию [5] и функции [6] молекулярных кодов ( биоинформатика ), теплофизика. , [7] квантовые вычисления , черные дыры , поиск информации , сбор разведданных , обнаружение плагиата , [8] распознавание образов , обнаружение аномалий [9] и даже создание произведений искусства.
Обзор
Теория информации изучает передачу, обработку, извлечение и использование информации. Абстрактно информацию можно рассматривать как разрешение неопределенности. В случае передачи информации по зашумленному каналу эта абстрактная концепция была формализована в 1948 году Клодом Шенноном в статье под названием «Математическая теория коммуникации» , в которой информация рассматривается как набор возможных сообщений, а цель состоит в том, чтобы отправлять эти сообщения по зашумленному каналу, чтобы получатель восстановил сообщение с низкой вероятностью ошибки, несмотря на шум канала. Главный результат Шеннона, теорема о кодировании каналов с шумом, показала, что в пределе множества использований каналов асимптотически достижимая скорость передачи информации равна пропускной способности канала, а величина зависит только от статистики канала, по которому поступают сообщения. посланы. [3]
Теория кодирования занимается поиском явных методов, называемых кодами , для повышения эффективности и уменьшения количества ошибок при передаче данных по зашумленным каналам почти до пропускной способности канала. Эти коды можно грубо разделить на методы сжатия данных (исходное кодирование) и исправления ошибок (канальное кодирование). В последнем случае потребовалось много лет, чтобы найти методы, которые, как доказала работа Шеннона, были возможны.
Третий класс кодов теории информации - это криптографические алгоритмы (как коды, так и шифры ). Концепции, методы и результаты теории кодирования и теории информации широко используются в криптографии и криптоанализе . См. Статью Ban (unit) для исторического применения.
Историческое прошлое
Знаковым событием, установившим дисциплину теории информации и привлекшим к ней немедленное внимание всего мира, стала публикация классической статьи Клода Э. Шеннона «Математическая теория коммуникации» в журнале Bell System Technical Journal в июле и октябре 1948 года.
До этой статьи в Bell Labs были разработаны ограниченные теоретико-информационные идеи , все из которых неявно предполагали равновероятные события. Статья Гарри Найквиста 1924 года « Определенные факторы, влияющие на скорость телеграфа» содержит теоретический раздел, в котором количественно определяется «интеллект» и «линейная скорость», с которой он может передаваться системой связи, что дает соотношение W = K log m (вспоминая постоянную Больцмана. ), где W - скорость передачи информации, m - количество различных уровней напряжения, которые можно выбрать на каждом временном шаге, а K - постоянная величина. В статье Ральфа Хартли 1928 года « Передача информации» слово « информация» используется как измеримая величина, отражающая способность получателя отличать одну последовательность символов от любой другой, таким образом количественно оценивая информацию как H = log S n = n log S , где S - количество возможных символов, а n - количество символов в передаче. Таким образом, единицей информации была десятичная цифра , которую с тех пор иногда называли хартли в его честь как единицей, шкалой или мерой информации. Алан Тьюринг в 1940 году использовал аналогичные идеи в рамках статистического анализа взлома немецких шифров Enigma времен Второй мировой войны .
Многое из математики за теории информации с событиями различных вероятностей были разработаны для области термодинамики по Людвига Больцмана и Гиббс . Связь между теоретико-информационной энтропией и термодинамической энтропией, включая важный вклад Рольфа Ландауэра в 1960-е годы, исследуется в энтропии в термодинамике и теории информации .
В революционной и новаторской статье Шеннона, работа над которой была практически завершена в Bell Labs к концу 1944 года, Шеннон впервые представил качественную и количественную модель коммуникации как статистический процесс, лежащий в основе теории информации, начиная с утверждения:
- «Фундаментальная проблема коммуникации состоит в том, чтобы воспроизвести в одной точке, точно или приблизительно, сообщение, выбранное в другой точке».
Вместе с ним пришли идеи
- информационная энтропия и избыточность источника, а также его релевантность через теорему кодирования источника ;
- взаимная информация и пропускная способность зашумленного канала, включая обещание идеальной связи без потерь, данное теоремой кодирования зашумленного канала;
- практический результат закона Шеннона – Хартли для пропускной способности гауссова канала ; также как и
- немного -новый способ увидеть самую фундаментальную единицу информации.
Количество информации
Теория информации основана на теории вероятностей и статистике. Теория информации часто занимается измерениями информации распределений, связанных со случайными величинами. Важными объемами информации являются энтропия, мера информации в одной случайной величине, и взаимная информация, мера информации, общей для двух случайных величин. Первая величина является свойством распределения вероятностей случайной величины и дает предел скорости, с которой данные, сгенерированные независимыми выборками с заданным распределением, могут быть надежно сжаты. Последнее является свойством совместного распределения двух случайных величин и представляет собой максимальную скорость надежной связи через шумный канал в пределах большой длины блока, когда статистика канала определяется совместным распределением.
Выбор логарифмического основания в следующих формулах определяет используемую единицу информационной энтропии. Распространенной единицей информации является бит, основанный на двоичном логарифме . Другие единицы включают в себя нат , основанный на натуральном логарифме , и десятичную цифру , основанную на десятичном логарифме .
В дальнейшем выражение вида p log p по соглашению считается равным нулю всякий раз, когда p = 0 . Это оправдано, потому что для любого логарифмического основания.
Энтропия источника информации
На основе функции массы вероятности каждого исходного символа, подлежащего передаче, энтропия Шеннона H в единицах битов (на символ) определяется выражением
где p i - вероятность появления i-го возможного значения исходного символа. Это уравнение дает энтропию в единицах «биты» (на символ), потому что в нем используется логарифм по основанию 2, и эту меру энтропии по основанию 2 иногда называли шенноном в его честь. Энтропия также обычно вычисляется с использованием натурального логарифма (основание e , где e - число Эйлера), который дает измерение энтропии в натсах на символ и иногда упрощает анализ, избегая необходимости включать в формулы дополнительные константы. Возможны и другие основания, но они используются реже. Например, логарифм по основанию 2 8 = 256 даст измерение в байтах на символ, а логарифм по основанию 10 даст измерение в десятичных цифрах (или хартли ) на символ.
Интуитивно энтропия H X дискретной случайной величины X является мерой неопределенности, связанной со значением X, когда известно только ее распределение.
Энтропия источника, который испускает последовательность из N символов, которые являются независимыми и одинаково распределенными (iid), составляет N ⋅ H бит (на сообщение из N символов). Если символы источника данных одинаково распределены , но не является независимым, энтропия сообщения длиной N будет меньше , чем N ⋅ H .
Если передается 1000 битов (0 и 1), и значение каждого из этих битов известно получателю (имеет определенное значение с уверенностью) до передачи, ясно, что никакая информация не передается. Если, однако, каждый бит независимо равновероятен равным 0 или 1, то было передано 1000 шаннонов информации (чаще называемых битами). Между этими двумя крайностями информацию можно количественно определить следующим образом. Если- это набор всех сообщений { x 1 , ..., x n }, которые может быть X , а p ( x ) - вероятность некоторых, то определяется энтропия H для X : [10]
(Здесь I ( x ) - это самоинформация , которая представляет собой энтропийный вклад отдельного сообщения, иявляется ожидаемым значением .) Свойство энтропии состоит в том, что она максимизируется, когда все сообщения в пространстве сообщений равновероятны p ( x ) = 1 / n ; т.е. наиболее непредсказуемо, и в этом случае H ( X ) = log n .
Частным случаем информационной энтропии для случайной величины с двумя исходами является функция бинарной энтропии, обычно принимаемая с логарифмическим основанием 2, поэтому в качестве единицы измерения используется шеннон (Sh):
Совместная энтропия
Совместная энтропия двух дискретных случайных величин X и Y является лишь энтропия их спаривания: ( X , Y ) . Это означает , что если X и Y являются независимыми , то их совместная энтропия равна сумме их индивидуальных энтропией.
Например, если ( X , Y ) представляет положение шахматной фигуры - X строка и Y столбец, тогда совместная энтропия строки фигуры и столбца фигуры будет энтропией положения фигуры кусок.
Несмотря на аналогичные обозначения, совместную энтропию не следует путать с перекрестной энтропией .
Условная энтропия (двусмысленность)
Условная энтропия или условная неопределенность из X дается случайная величина Y (также называется ненадежность из X о Y ) является средней условной энтропии над Y : [11]
Поскольку энтропия может быть обусловлена случайной величиной или той случайной величиной, которая является определенным значением, следует проявлять осторожность, чтобы не путать эти два определения условной энтропии, первое из которых используется более широко. Основное свойство этой формы условной энтропии:
Взаимная информация (трансинформация)
Взаимная информация измеряет количество информации, которую можно получить об одной случайной величине, наблюдая за другой. Это важно при обмене данными, где его можно использовать для максимального увеличения объема информации, совместно используемой между отправленными и полученными сигналами. Взаимная информация X относительно Y определяется следующим образом:
где SI ( S pecific взаимной I нформация) является точечно взаимной информации .
Основным свойством взаимной информации является то, что
То есть, зная , Y , мы можем сэкономить в среднем I ( X , Y ) биты при кодировании X по сравнению с не зная Y .
Взаимная информация симметрична :
Взаимная информация может быть выражена в виде средней дивергенции Кульбаки-Лейблере (информация усиления) между задним распределением вероятностей из X заданного значения Y и априорное распределение на X :
Другими словами, это мера того , сколько, в среднем, распределение вероятностей на X изменится , если заданы значения Y . Это часто пересчитывается как отклонение от произведения предельных распределений к фактическому совместному распределению:
Взаимная информация тесно связана с тестом логарифмического отношения правдоподобия в контексте таблиц сопряженности и полиномиального распределения, а также с критерием χ 2 Пирсона : взаимная информация может считаться статистикой для оценки независимости между парой переменных и имеет хорошо заданное асимптотическое распределение.
Дивергенция Кульбака – Лейблера (сбор информации)
Дивергенции Кульбаки-Лейблер (или информация дивергенция , усиление информации , или относительная энтропия ) представляет собой способ сравнения два распределений: «истинное» распределение вероятностей , и произвольное распределение вероятностей . Если мы сжимаем данные таким образом, чтобы это распределение, лежащее в основе некоторых данных, когда на самом деле - правильное распределение, расхождение Кульбака – Лейблера - это количество средних дополнительных битов на данные, необходимые для сжатия. Таким образом определяется
Хотя это иногда используется как «метрика расстояния», дивергенция KL не является истинной метрикой, поскольку она не симметрична и не удовлетворяет неравенству треугольника (что делает ее полуквазиметрической).
Другая интерпретация расхождения KL - это «ненужный сюрприз», внесенный априорном от истины: предположим, что число X вот-вот будет выбрано случайным образом из дискретного набора с распределением вероятностей. Если Алиса знает истинное распределение, в то время как Боб считает (имеет априорность ), что распределение, То Боб будет более удивлен , чем Элис, в среднем, увидев значение X . Дивергенция KL - это (объективное) ожидаемое значение (субъективной) неожиданности Боба за вычетом неожиданности Алисы, измеренное в битах, если лог ведется по основанию 2. Таким образом, степень, в которой априорное значение Боба «неверно», может быть количественно определено в терминах. о том, насколько "излишне удивленным" это его, как ожидается, сделает.
Другие количества
Другие важные информационные теоретические величины включают энтропию Реньи (обобщение энтропии), дифференциальную энтропию (обобщение количества информации до непрерывных распределений) и условную взаимную информацию .
Теория кодирования
Теория кодирования - одно из наиболее важных и прямых приложений теории информации. Его можно подразделить на теорию кодирования источника и теорию кодирования канала. Используя статистическое описание данных, теория информации определяет количество битов, необходимых для описания данных, то есть информационную энтропию источника.
- Сжатие данных (исходное кодирование): есть две постановки проблемы сжатия:
- сжатие данных без потерь : данные должны быть точно реконструированы;
- сжатие данных с потерями : выделяет биты, необходимые для восстановления данных, в пределах указанного уровня точности, измеренного функцией искажения. Это подмножество теории информации называется теорией скорости и искажения .
- Коды с исправлением ошибок (канальное кодирование): в то время как сжатие данных удаляет как можно большую избыточность, код с исправлением ошибок добавляет как раз правильный вид избыточности (то есть исправление ошибок), необходимый для эффективной и достоверной передачи данных по зашумленному каналу.
Такое разделение теории кодирования на сжатие и передачу оправдано теоремами о передаче информации или теоремами разделения источника и канала, которые оправдывают использование битов в качестве универсальной валюты для информации во многих контекстах. Однако эти теоремы справедливы только в ситуации, когда один передающий пользователь желает общаться с одним принимающим пользователем. В сценариях с более чем одним передатчиком (канал множественного доступа), более чем одним приемником ( широковещательный канал ) или промежуточными «помощниками» ( канал ретрансляции ) или в более общих сетях сжатие с последующей передачей больше не может быть оптимальным. Теория сетевой информации относится к этим моделям многоагентной коммуникации.
Теория источников
Источником информации можно считать любой процесс, генерирующий последовательные сообщения . Источник без памяти - это источник, в котором каждое сообщение является независимой одинаково распределенной случайной величиной , тогда как свойства эргодичности и стационарности налагают менее строгие ограничения. Все такие источники являются стохастическими . Эти термины хорошо изучены сами по себе за пределами теории информации.
Показатель
Скорость передачи информации - это средняя энтропия на символ. Для источников без памяти это просто энтропия каждого символа, тогда как в случае стационарного случайного процесса она равна
то есть условная энтропия символа с учетом всех предыдущих сгенерированных символов. Для более общего случая процесса, который не обязательно является стационарным, средняя скорость равна
то есть предел совместной энтропии на символ. Для стационарных источников эти два выражения дают одинаковый результат. [12]
Скорость передачи информации определяется как
В теории информации принято говорить о «скорости» или «энтропии» языка. Это уместно, например, когда источником информации является английская проза. Скорость источника информации зависит от его избыточности и того, насколько хорошо он может быть сжат, что является предметом кодирования источника .
Емкость канала
Коммуникация по каналу - основная мотивация теории информации. Однако каналы часто не могут произвести точную реконструкцию сигнала; шум, периоды молчания и другие формы искажения сигнала часто ухудшают качество.
Рассмотрим процесс коммуникации по дискретному каналу. Ниже представлена простая модель процесса:
Здесь X представляет собой пространство переданных сообщений, а Y пространство сообщений, полученных за единицу времени по нашему каналу. Пусть р ( у | х ) является условной вероятностью функция распределения Y данного X . Мы будем рассматривать p ( y | x ) как неотъемлемое фиксированное свойство нашего канала связи (представляющее природу шума нашего канала). Тогда совместное распределение X и Y полностью определяется нашим каналом и нашим выбором f ( x ) , предельным распределением сообщений, которые мы выбираем для отправки по каналу. При этих ограничениях мы хотели бы максимизировать скорость передачи информации или сигнала , который мы можем передавать по каналу. Подходящей мерой для этого является взаимная информация, и эта максимальная взаимная информация называется пропускной способностью канала и определяется как:
Эта емкость имеет следующее свойство, связанное с передачей информации на скорости передачи информации R (где R обычно бит на символ). Для любой скорости передачи информации R < C и ошибки кодирования ε > 0, для достаточно большого N существует код длины N и скорости ≥ R и алгоритм декодирования, такой, что максимальная вероятность ошибки блока составляет ≤ ε ; то есть всегда возможна передача с произвольно малой блочной ошибкой. Кроме того, при любой скорости R > C передача с произвольно малой блочной ошибкой невозможна.
Канальное кодирование связано с поиском таких почти оптимальных кодов, которые можно использовать для передачи данных по зашумленному каналу с небольшой ошибкой кодирования со скоростью, близкой к пропускной способности канала.
Емкость отдельных моделей каналов
- Аналоговый канал связи с непрерывным временем, подверженный гауссовскому шуму - см. Теорему Шеннона – Хартли .
- Двоичный симметричный канал (БСК) с вероятностью кроссовера р представляет собой дискретный вход, дискретный выходной канал , который переворачивает входной бит с вероятностью р . BSC имеет пропускную способность 1 - H b ( p ) бит на использование канала, где H b - двоичная функция энтропии до логарифма с основанием 2:
- Канал двоичного стирания (BEC) с вероятностью стирания p представляет собой двоичный входной и троичный выходной канал. Возможные выходы канала: 0, 1 и третий символ «e», называемый стиранием. Стирание представляет собой полную потерю информации о входном бите. Емкость BEC составляет 1 - p бит на использование канала.
Каналы с памятью и направленной информацией
На практике у многих каналов есть память. А именно во время канал задается условной вероятностью . Часто удобнее использовать обозначение и канал стал . В таком случае пропускная способность определяется скоростью взаимной информации, когда нет обратной связи, и скоростью направленной информации в случае, если есть обратная связь или нет [13] [14] (если нет обратной связи, направленная информация j равна взаимная информация).
Приложения к другим областям
Использование разведки и секретные приложения
Концепции теории информации применимы к криптографии и криптоанализу. Информационная единица Тьюринга, запрет , использовалась в проекте Ultra , взломав немецкий машинный код Enigma и ускорив конец Второй мировой войны в Европе . Сам Шеннон определил важное понятие, которое теперь называется расстоянием единственности . Основываясь на избыточности открытого текста , он пытается предоставить минимальный объем зашифрованного текста, необходимый для обеспечения уникальной дешифрируемости.
Теория информации заставляет нас думать, что хранить секреты намного сложнее, чем может показаться на первый взгляд. Грубая сила атака может привести к поломке системы на основе алгоритмов асимметричного ключа или наиболее часто используемых методы симметричных ключей алгоритмов (иногда называемые алгоритмы секретного ключа), такие как блочные шифры . Безопасность всех таких методов в настоящее время исходит из предположения, что никакая известная атака не сможет взломать их за практический промежуток времени.
Теоретическая информационная безопасность относится к таким методам, как одноразовый блокнот , которые не уязвимы для таких атак грубой силы. В таких случаях положительная условная взаимная информация между открытым текстом и зашифрованным текстом (обусловленная ключом ) может гарантировать правильную передачу, в то время как безусловная взаимная информация между открытым текстом и зашифрованным текстом остается нулевой, что приводит к абсолютно безопасному обмену данными. Другими словами, перехватчик не сможет улучшить свое предположение об открытом тексте, узнав зашифрованный текст, но не ключ. Однако, как и в любой другой криптографической системе, необходимо проявлять осторожность, чтобы правильно применять даже теоретически безопасные методы; Проект Venona смог взломать бывшие в употреблении колодки Советского Союза из-за неправильного повторного использования ключевого материала.
Генерация псевдослучайных чисел
Генераторы псевдослучайных чисел широко доступны в библиотеках компьютерных языков и прикладных программах. Они почти всегда не подходят для использования в криптографии, поскольку не уклоняются от детерминированной природы современного компьютерного оборудования и программного обеспечения. Класс улучшенных генераторов случайных чисел называется криптографически безопасными генераторами псевдослучайных чисел , но даже им для правильной работы требуются случайные начальные числа, внешние по отношению к программному обеспечению. Их можно получить с помощью экстракторов , если все будет сделано аккуратно. Мерой достаточной случайности в экстракторах является минимальная энтропия , величина, связанная с энтропией Шеннона через энтропию Реньи ; Энтропия Реньи также используется для оценки случайности в криптографических системах. Несмотря на взаимосвязь, различия между этими показателями означают, что случайная величина с высокой энтропией Шеннона не обязательно удовлетворительна для использования в экстракторе и, следовательно, для использования в криптографии.
Сейсморазведка
Одно из первых коммерческих приложений теории информации было в области сейсмической разведки нефти. Работа в этой области позволила отделить нежелательный шум от полезного сейсмического сигнала. Теория информации и цифровая обработка сигналов позволяют значительно улучшить разрешение и четкость изображения по сравнению с предыдущими аналоговыми методами. [15]
Семиотика
Семиотики Доде Наута и Винфрид Нёт считали, что Чарльз Сандерс Пирс создал теорию информации в своих работах по семиотике. [16] : 171 [17] : 137 Наута определил теорию семиотической информации как исследование «внутренних процессов кодирования, фильтрации и обработки информации». [16] : 91
Концепции теории информации, такие как избыточность и контроль кода, использовались семиотиками, такими как Умберто Эко и Ферруччо Росси-Ланди, для объяснения идеологии как формы передачи сообщений, посредством которой доминирующий социальный класс излучает свое сообщение, используя знаки, которые демонстрируют высокую степень достоверности. избыточность, при которой только одно сообщение декодируется из набора конкурирующих сообщений. [18]
Разные приложения
Теория информации также имеет приложения в азартных играх и теории информации , черных дырах и биоинформатике .
Смотрите также
- Алгоритмическая вероятность
- Байесовский вывод
- Теория коммуникации
- Теория конструкторов - обобщение теории информации, которая включает квантовую информацию.
- Индуктивная вероятность
- Инфо-метрики
- Минимальная длина сообщения
- Минимальная длина описания
- Список важных публикаций
- Философия информации
Приложения
- Активное нетворкинг
- Криптоанализ
- Криптография
- Кибернетика
- Энтропия в термодинамике и теории информации
- Играть в азартные игры
- Разведка (сбор информации)
- Сейсморазведка
История
- Хартли, RVL
- История теории информации
- Шеннон, CE
- Хронология теории информации
- Йоки, HP
Теория
- Теория кодирования
- Теория обнаружения
- Теория оценок
- Информация Fisher
- Информационная алгебра
- Информационная асимметрия
- Теория информационного поля
- Информационная геометрия
- Теория информации и теория меры
- Колмогоровская сложность
- Список нерешенных проблем теории информации
- Логика информации
- Сетевое кодирование
- Философия информации
- Квантовая информатика
- Исходное кодирование
Концепции
- Запрет (единица)
- Емкость канала
- Канал связи
- Источник связи
- Условная энтропия
- Скрытый канал
- Сжатие данных
- Декодер
- Дифференциальная энтропия
- Подходящая информация
- Сложность флуктуации информации
- Информационная энтропия
- Совместная энтропия
- Дивергенция Кульбака – Лейблера.
- Взаимная информация
- Точечная взаимная информация (PMI)
- Приемник (теория информации)
- Резервирование
- Энтропия Реньи
- Самоинформация
- Расстояние единственности
- Разнообразие
- Расстояние Хэмминга
Рекомендации
- ^ «Клод Шеннон, пионер теории цифровой информации» . FierceTelecom . Проверено 30 апреля 2021 .
- ^ Бернхэм, КП и Андерсон Д.Р. (2002) Выбор модели и многомодельный вывод: практический теоретико-информационный подход, второе издание (Springer Science, Нью-Йорк) ISBN 978-0-387-95364-9 .
- ^ а б Ф. Рике; Д. Варланд; Р. Рюйтер ван Стивенинк; В. Биалек (1997). Шипы: изучение нейронного кода . Пресса Массачусетского технологического института. ISBN 978-0262681087.
- ^ Дельгадо-Бонал, Альфонсо; Мартин-Торрес, Хавьер (03.11.2016). «Человеческое зрение определяется на основе теории информации» . Научные отчеты . 6 (1): 36038. Bibcode : 2016NatSR ... 636038D . DOI : 10.1038 / srep36038 . ISSN 2045-2322 . PMC 5093619 . PMID 27808236 .
- ^ cf; Huelsenbeck, JP; Ронквист, Ф .; Nielsen, R .; Боллбэк, JP (2001). «Байесовский вывод филогении и его влияние на эволюционную биологию». Наука . 294 (5550): 2310–2314. Bibcode : 2001Sci ... 294.2310H . DOI : 10.1126 / science.1065889 . PMID 11743192 . S2CID 2138288 .
- ^ Алликметс, Рандо; Вассерман, Wyeth W .; Хатчинсон, Эми; Смоллвуд, Филип; Натанс, Джереми; Роган, Питер К. (1998). "Томас Д. Шнайдер], Майкл Дин (1998) Организация гена ABCR: анализ последовательностей промотора и сплайсинга" . Джин . 215 (1): 111–122. DOI : 10.1016 / s0378-1119 (98) 00269-8 . PMID 9666097 .
- ^ Джейнс, ET (1957). «Теория информации и статистическая механика» . Phys. Ред . 106 (4): 620. Bibcode : 1957PhRv..106..620J . DOI : 10.1103 / Physrev.106.620 .
- ^ Беннет, Чарльз Х .; Ли, Мин; Ма, Бин (2003). «Письма счастья и эволюционные истории» . Scientific American . 288 (6): 76–81. Bibcode : 2003SciAm.288f..76B . DOI : 10.1038 / Scientificamerican0603-76 . PMID 12764940 . Архивировано из оригинала на 2007-10-07 . Проверено 11 марта 2008 .
- ^ Дэвид Р. Андерсон (1 ноября 2003 г.). «Некоторые сведения о том, почему люди, занимающиеся эмпирическими науками, могут захотеть лучше понять теоретико-информационные методы» (PDF) . Архивировано из оригинального (PDF) 23 июля 2011 года . Проверено 23 июня 2010 .
- ^ Фазлолла М. Реза (1994) [1961]. Введение в теорию информации . Dover Publications, Inc., Нью-Йорк. ISBN 0-486-68210-2.
- ^ Роберт Б. Эш (1990) [1965]. Теория информации . ISBN Dover Publications, Inc. 0-486-66521-6.
- ^ Джерри Д. Гибсон (1998). Цифровое сжатие для мультимедиа: принципы и стандарты . Морган Кауфманн. ISBN 1-55860-369-7.
- ^ Мэсси, Джеймс Л. (1990). «Причинно-следственная связь, обратная связь и направленная информация» . CiteSeerX 10.1.1.36.5688 . Цитировать журнал требует
|journal=
( помощь ) - ^ Пермутер, Хаим Генри; Вайсман, Цачи; Голдсмит, Андреа Дж. (Февраль 2009 г.). «Конечные каналы с инвариантной во времени детерминированной обратной связью». IEEE Transactions по теории информации . 55 (2): 644–662. arXiv : cs / 0608070 . DOI : 10.1109 / TIT.2008.2009849 . S2CID 13178 .
- ^ Хаггерти, Патрик Э. (1981). «Корпорация и инновации». Журнал стратегического управления . 2 (2): 97–118. DOI : 10.1002 / smj.4250020202 .
- ^ а б Наута, Доде (1972). Значение информации . Гаага: Мутон. ISBN 9789027919960.
- ^ Нёт, Винфрид (январь 2012 г.). "Теория информации Чарльза С. Пирса: теория роста символов и знания" . Кибернетика и человеческое познание . 19 (1–2): 137–161.
- ^ Нота, Винфрид (1981). « Семиотика идеологии ». Семиотика , Выпуск 148.
Классическая работа
- Шеннон, CE (1948), « Математическая теория коммуникации », Bell System Technical Journal , 27, стр. 379–423 и 623–656, июль и октябрь 1948 г. PDF.
Заметки и другие форматы. - Р.В.Л. Хартли, «Передача информации» , Bell System Technical Journal , июль 1928 г.
- Андрей Колмогоров (1968), « Три подхода к количественному определению информации » в International Journal of Computer Mathematics.
Другие журнальные статьи
- Дж. Л. Келли младший, Принстон , "Новая интерпретация скорости передачи информации" Технический журнал Bell System , Vol. 35, июль 1956 г., стр. 917–26.
- Р. Ландауэр, IEEE.org , "Информация физическая" Proc. Семинар по физике и вычислениям PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993), стр. 1–4.
- Ландауэр, Р. (1961). «Необратимость и тепловыделение в вычислительном процессе» (PDF) . IBM J. Res. Dev . 5 (3): 183–191. DOI : 10.1147 / rd.53.0183 .
- Тимм, Николас; Элфорд, Уэсли; Флекер, Бенджамин; Беггс, Джон М. (2012). «Многомерные информационные меры: точка зрения экспериментатора». arXiv : 1111.6857 [ cs.IT ].
Учебники по теории информации
- Арндт, К. Информационные меры, информация и ее описание в науке и технике (серия Springer: сигналы и коммуникационные технологии), 2004 г., ISBN 978-3-540-40855-0
- Ясень, РБ. Теория информации . Нью-Йорк: Interscience, 1965. ISBN 0-470-03445-9 . Нью-Йорк: Дувр 1990. ISBN 0-486-66521-6
- Галлагер, R . Теория информации и надежная коммуникация. Нью-Йорк: Джон Вили и сыновья, 1968. ISBN 0-471-29048-3
- Гольдман С. Теория информации . Нью-Йорк: Прентис-Холл, 1953. Нью-Йорк: Дувр, 1968. ISBN 0-486-62209-6 , 2005 г. ISBN 0-486-44271-3
- Обложка, Томас ; Томас, Джой А. (2006). Элементы теории информации (2-е изд.). Нью-Йорк: Wiley-Interscience . ISBN 0-471-24195-4.
- Цисар, И. , Корнер, Дж. Теория информации: теоремы кодирования для дискретных систем без памяти Akademiai Kiado: 2-е издание, 1997. ISBN 963-05-7440-3
- Маккей, Дэвид JC . Теория информации, логический вывод и алгоритмы обучения Кембридж: Издательство Кембриджского университета, 2003. ISBN 0-521-64298-1
- Мансурипур М. Введение в теорию информации . Нью-Йорк: Прентис-Холл, 1987. ISBN 0-13-484668-0
- Мак - Элиса, R . Теория информации и кодирования . Кембридж, 2002. ISBN 978-0521831857
- Пирс, младший. «Введение в теорию информации: символы, сигналы и шум». Дувр (2-е издание). 1961 г. (перепечатано Дувром в 1980 г.).
- Реза, F . Введение в теорию информации . Нью-Йорк: McGraw-Hill 1961. Нью-Йорк: Dover 1994. ISBN 0-486-68210-2
- Шеннон, Клод ; Уивер, Уоррен (1949). Математическая теория коммуникации (PDF) . Урбана, Иллинойс : Университет Иллинойса Press . ISBN 0-252-72548-4. LCCN 49-11922 .
- Стоун, СП. Глава 1 книги «Теория информации: Введение в учебное пособие» , Университет Шеффилда, Англия, 2014 г. ISBN 978-0956372857 .
- Юнг, RW. Первый курс теории информации Kluwer Academic / Plenum Publishers, 2002. ISBN 0-306-46791-7 .
- Юнг, RW. Теория информации и сетевое кодирование Springer 2008, 2002. ISBN 978-0-387-79233-0
Другие книги
- Леон Бриллюэн, Наука и теория информации , Минеола, Нью-Йорк: Довер, [1956, 1962] 2004. ISBN 0-486-43918-6
- Джеймс Глейк , Информация: история, теория, наводнение , Нью-Йорк: Пантеон, 2011. ISBN 978-0-375-42372-7
- А.И. Хинчин, Математические основы теории информации , Нью-Йорк: Довер, 1957. ISBN 0-486-60434-9
- Х.С. Лефф и А.Ф. Рекс, редакторы, «Демон Максвелла: энтропия, информация, вычисления» , издательство Princeton University Press, Принстон, Нью-Джерси (1990). ISBN 0-691-08727-X
- Роберт К. Логан . Что такое информация? - Организация распространения в биосфере, символосфере, техносфере и эконосфере , Торонто: DEMO Publishing.
- Том Зигфрид, Бит и маятник , Wiley, 2000. ISBN 0-471-32174-5
- Чарльз Сейф , Расшифровка Вселенной , Викинг, 2006. ISBN 0-670-03441-X
- Джереми Кэмпбелл, грамматический человек , Touchstone / Simon & Schuster, 1982, ISBN 0-671-44062-4
- Анри Тейл, Экономика и теория информации , Rand McNally & Company - Чикаго, 1967.
- Эсколано, Суау, Бонев, Теория информации в компьютерном зрении и распознавании образов , Springer, 2009. ISBN 978-1-84882-296-2
- Влатко Ведрал, Расшифровка реальности: Вселенная как квантовая информация , Oxford University Press, 2010. ISBN 0-19-923769-7
МООК по теории информации
- Раймонд В. Юнг, " Теория информации " ( Китайский университет Гонконга )
Внешние ссылки
- "Информация" , Энциклопедия математики , EMS Press , 2001 [1994]
- Ламберт Флорида (1999), « Перемешанные карточки, грязные парты и беспорядочные комнаты в общежитии - примеры увеличения энтропии? Ерунда! », Журнал химического образования
- Общество теории информации IEEE и монографии, обзоры и обзоры ITSOC