Теория информации – это научное исследование количественного определения , хранения и передачи цифровой информации . [1] Область была фундаментально установлена работами Гарри Найквиста и Ральфа Хартли в 1920-х годах и Клода Шеннона в 1940-х годах. [2] : vii Эта область находится на стыке теории вероятностей , статистики , информатики , статистической механики , информационной инженерии и электротехники ..
Ключевой мерой в теории информации является энтропия . Энтропия количественно определяет степень неопределенности, связанную со значением случайной величины или результатом случайного процесса . Например, определение исхода подбрасывания монеты (с двумя равновероятными исходами) дает меньше информации (более низкая энтропия), чем указание исхода броска игральной кости (с шестью равновероятными исходами). Некоторыми другими важными мерами в теории информации являются взаимная информация , пропускная способность канала, показатели ошибки и относительная энтропия . Важные подразделы теории информации включают исходное кодирование ,алгоритмическая теория сложности , алгоритмическая теория информации и теоретико-информационная безопасность .
Приложения фундаментальных тем теории информации включают исходное кодирование/ сжатие данных (например, для ZIP-файлов ) и канальное кодирование/ обнаружение и исправление ошибок (например, для DSL ). Его влияние имело решающее значение для успеха миссий « Вояджера » в дальнем космосе, изобретения компакт-диска , возможности мобильных телефонов и развития Интернета. Теория также нашла применение в других областях, включая статистический вывод , [3] криптографию , нейробиологию , [4] восприятие , [5] лингвистику, эволюцию[6] и функция [7] молекулярных кодов ( биоинформатика ), теплофизика , [8] молекулярная динамика , [9] квантовые вычисления , черные дыры , поиск информации , сбор информации , обнаружение плагиата , [10] распознавание образов , обнаружение аномалий [11] и даже художественное творчество.
Теория информации изучает передачу, обработку, извлечение и использование информации. Абстрактно информацию можно рассматривать как разрешение неопределенности. В случае передачи информации по зашумленному каналу это абстрактное понятие было формализовано в 1948 году Клодом Шенноном в статье, озаглавленной «Математическая теория коммуникации », в которой информация рассматривается как набор возможных сообщений, а цель состоит в том, чтобы отправлять эти сообщения по зашумленному каналу, а получатель реконструирует сообщение с низкой вероятностью ошибки, несмотря на шум в канале. Основной результат Шеннона, теорема кодирования канала с шумомпоказал, что в пределе многих применений канала скорость передачи информации, которая асимптотически достижима, равна пропускной способности канала, величина, зависящая только от статистики канала, по которому пересылаются сообщения. [4]
Теория кодирования занимается поиском явных методов, называемых кодами , для повышения эффективности и снижения частоты ошибок при передаче данных по зашумленным каналам почти до пропускной способности канала. Эти коды можно грубо разделить на методы сжатия данных (исходное кодирование) и исправления ошибок (канальное кодирование). В последнем случае потребовалось много лет, чтобы найти методы, которые доказала работа Шеннона.
Третий класс кодов теории информации — это криптографические алгоритмы (как коды, так и шифры ). Понятия, методы и результаты теории кодирования и теории информации широко используются в криптографии и криптоанализе . См. Бан статьи (юнит) для исторического приложения.