Теорема о кодировании зашумленного канала
В теории информации теорема кодирования шумового канала (иногда теорема Шеннона или предел Шеннона ) устанавливает, что для любой заданной степени шумового загрязнения канала связи можно передавать дискретные данные (цифровую информацию ) почти без ошибок до вычислимая максимальная скорость через канал. Этот результат был представлен Клодом Шенноном в 1948 году и частично основан на более ранних работах и идеях Гарри Найквиста и Ральфа Хартли .
Предел Шеннона или пропускная способность Шеннона канала связи относится к максимальной скорости безошибочных данных, которые теоретически могут передаваться по каналу, если канал подвержен случайным ошибкам передачи данных, для определенного уровня шума. Впервые он был описан Шенноном (1948) и вскоре после этого опубликован в книге Шеннона и Уоррена Уиверов под названием «Математическая теория коммуникации» (1949). Это положило начало современной дисциплине теории информации .
Теорема , сформулированная Клодом Шенноном в 1948 году, описывает максимально возможную эффективность методов исправления ошибок в зависимости от уровней шумовых помех и искажения данных. Теорема Шеннона имеет широкое применение как в области связи, так и в хранении данных . Эта теорема имеет основополагающее значение для современной области теории информации . Шеннон дал лишь схему доказательства. Первое строгое доказательство для дискретного случая дано в ( Файнштейн, 1954 ).
Теорема Шеннона утверждает, что при наличии зашумленного канала с пропускной способностью канала C и информации, передаваемой со скоростью R , тогда, если существуют коды , позволяющие сделать вероятность ошибки в приемнике сколь угодно малой. Это означает, что теоретически можно передавать информацию почти без ошибок при любой скорости ниже предельной скорости C .
Обратное также важно. Если , то сколь угодно малая вероятность ошибки недостижима. Все коды будут иметь вероятность ошибки, превышающую определенный положительный минимальный уровень, и этот уровень увеличивается с увеличением скорости. Таким образом, невозможно гарантировать надежную передачу информации по каналу со скоростью, превышающей пропускную способность канала. Теорема не рассматривает редкую ситуацию, когда скорость и емкость равны.
Пропускная способность канала может быть рассчитана на основе физических свойств канала; для канала с ограниченной полосой пропускания и гауссовским шумом с использованием теоремы Шеннона – Хартли .
