Емкость канала

Теория информации

Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Скорость энтропии Предельная плотность дискретных точек
Асимптотическое свойство равнораспределения Теория скорости-искажения
Теорема Шеннона о кодировании источника Емкость канала Теорема кодирования с шумом Теорема Шеннона – Хартли.
v т е

Пропускная способность канала в электротехнике , информатике и теории информации - это жесткая верхняя граница скорости, с которой информация может надежно передаваться по каналу связи .

Следуя условиям теоремы кодирования канала с шумом , пропускная способность данного канала является наивысшей скоростью передачи информации (в единицах информации в единицу времени), которая может быть достигнута с произвольно малой вероятностью ошибки. ^[1]^[2]

Теория информации , разработанная Клодом Э. Шенноном в 1948 году, определяет понятие пропускной способности канала и предоставляет математическую модель, с помощью которой можно ее вычислить. Ключевой результат гласит, что пропускная способность канала, как определено выше, задается максимумом взаимной информации между входом и выходом канала, где максимизация относится к входному распределению. ^[3]

Понятие пропускной способности канала было центральным при разработке современных систем проводной и беспроводной связи с появлением новых механизмов кодирования с исправлением ошибок, которые привели к достижению производительности, очень близкой к пределам, обещанным пропускной способностью канала.

Формальное определение [ править ]

Базовая математическая модель системы связи следующая:

{\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c|}\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c|}\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c|}\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}

куда:

$W$ сообщение для передачи;
$X$ - символ входа канала ( последовательность символов), взятый в алфавите ; $X^{n}$ $n$ ${\mathcal {X}}$
$Y$ - символ вывода канала ( представляет собой последовательность символов), взятый в алфавите ; $Y^{n}$ $n$ ${\mathcal {Y}}$
${\hat {W}}$ оценка переданного сообщения;
$f_{n}$ - функция кодирования для блока длины ; $n$
$p(y|x)=p_{Y|X}(y|x)$ - зашумленный канал, моделируемый условным распределением вероятностей ; и,
$g_{n}$ - функция декодирования для блока длины . $n$

Пусть и моделируются как случайные величины. Кроме того, пусть будет условное распределение вероятностей функция дано , которая является неотъемлемым свойством фиксированного канала связи. Тогда выбор предельного распределения полностью определяет совместное распределение в силу тождества $X$ $Y$ $p_{Y|X}(y|x)$ $Y$ $X$ $p_{X}(x)$ $p_{X,Y}(x,y)$

\ p_{X,Y}(x,y)=p_{Y|X}(y|x)\,p_{X}(x)

что, в свою очередь, порождает взаимную информацию . Пропускная способность канала определяется как $I(X;Y)$

\ C=\sup _{p_{X}(x)}I(X;Y)\,

где супремум берется по всем возможным вариантам . $p_{X}(x)$

Аддитивность пропускной способности канала [ править ]

Пропускная способность каналов складывается по сравнению с независимыми каналами. ^[4] Это означает, что использование двух независимых каналов в сочетании обеспечивает такую же теоретическую пропускную способность, как и их независимое использование. Более формально, пусть и будет двумя независимыми каналами, смоделированными, как указано выше; имеющий входной алфавит и выходной алфавит . То же самое для . Мы определяем канал продукта как $p_{1}$ $p_{2}$ $p_{1}$ ${\mathcal {X}}_{1}$ ${\mathcal {Y}}_{1}$ $p_{2}$ $p_{1}\times p_{2}$ $\forall (x_{1},x_{2})\in ({\mathcal {X}}_{1},{\mathcal {X}}_{2}),\;(y_{1},y_{2})\in ({\mathcal {Y}}_{1},{\mathcal {Y}}_{2}),\;(p_{1}\times p_{2})((y_{1},y_{2})|(x_{1},x_{2}))=p_{1}(y_{1}|x_{1})p_{2}(y_{2}|x_{2})$

Эта теорема гласит:

C(p_{1}\times p_{2})=C(p_{1})+C(p_{2})

Доказательство -

Сначала покажем это . $C(p_{1}\times p_{2})\geq C(p_{1})+C(p_{2})$

Позвольте и быть двумя независимыми случайными величинами. Позвольте быть случайной величиной, соответствующей выходу через канал и для сквозного . $X_{1}$ $X_{2}$ $Y_{1}$ $X_{1}$ $p_{1}$ $Y_{2}$ $X_{2}$ $p_{2}$

По определению . $C(p_{1}\times p_{2})=\sup _{p_{X_{1},X_{2}}}(I(X_{1},X_{2}:Y_{1},Y_{2}))$

Поскольку и независимы, так же как и , не зависят от . Мы можем применить следующее свойство взаимной информации : $X_{1}$ $X_{2}$ $p_{1}$ $p_{2}$ $(X_{1},Y_{1})$ $(X_{2},Y_{2})$ $I(X_{1},X_{2}:Y_{1},Y_{2})=I(X_{1}:Y_{1})+I(X_{2}:Y_{2})$

Пока нам нужно только найти такой дистрибутив , чтобы . На самом деле, и две вероятностные распределения для и достигающие и , хватай: $p_{X_{1},X_{2}}$ $I(X_{1},X_{2}:Y_{1},Y_{2})\geq I(X_{1}:Y_{1})+I(X_{2}:Y_{2})$ $\pi _{1}$ $\pi _{2}$ $X_{1}$ $X_{2}$ $C(p_{1})$ $C(p_{2})$

C(p_{1}\times p_{2})\geq I(X_{1},X_{2}:Y_{1},Y_{2})=I(X_{1}:Y_{1})+I(X_{2}:Y_{2})=C(p_{1})+C(p_{2})

т.е. $C(p_{1}\times p_{2})\geq C(p_{1})+C(p_{2})$

Теперь покажем это . $C(p_{1}\times p_{2})\leq C(p_{1})+C(p_{2})$

Пусть будет некоторое распределение для определения канала и соответствующего выхода . Пусть будет алфавит , для , и аналогично и . $\pi _{12}$ $p_{1}\times p_{2}$ $(X_{1},X_{2})$ $(Y_{1},Y_{2})$ ${\mathcal {X}}_{1}$ $X_{1}$ ${\mathcal {Y}}_{1}$ $Y_{1}$ ${\mathcal {X}}_{2}$ ${\mathcal {Y}}_{2}$

По определению взаимной информации мы имеем

${\begin{aligned}I(X_{1},X_{2}:Y_{1},Y_{2})&=H(Y_{1},Y_{2})-H(Y_{1},Y_{2}|X_{1},X_{2})\\&\leq H(Y_{1})+H(Y_{2})-H(Y_{1},Y_{2}|X_{1},X_{2})\end{aligned}}$

Перепишем последний член энтропии .

$H(Y_{1},Y_{2}|X_{1},X_{2})=\sum _{(x_{1},x_{2})\in {\mathcal {X}}_{1}\times {\mathcal {X}}_{2}}\mathbb {P} (X_{1},X_{2}=x_{1},x_{2})H(Y_{1},Y_{2}|X_{1},X_{2}=x_{1},x_{2})$

По определению канала продукта . Для данной пары мы можем переписать как: $\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2})=\mathbb {P} (Y_{1}=y_{1}|X_{1}=x_{1})\mathbb {P} (Y_{2}=y_{2}|X_{2}=x_{2})$ $(x_{1},x_{2})$ $H(Y_{1},Y_{2}|X_{1},X_{2}=x_{1},x_{2})$

${\begin{aligned}H(Y_{1},Y_{2}|X_{1},X_{2}=x_{1},x_{2})&=\sum _{(y_{1},y_{2})\in {\mathcal {Y}}_{1}\times {\mathcal {Y}}_{2}}\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2})\log(\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2}))\\&=\sum _{(y_{1},y_{2})\in {\mathcal {Y}}_{1}\times {\mathcal {Y}}_{2}}\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2})[\log(\mathbb {P} (Y_{1}=y_{1}|X_{1}=x_{1}))+\log(\mathbb {P} (Y_{2}=y_{2}|X_{2}=x_{2}))]\\&=H(Y_{1}|X_{1}=x_{1})+H(Y_{2}|X_{2}=x_{2})\end{aligned}}$

Суммируя это равенство по всем , получаем . $(x_{1},x_{2})$ $H(Y_{1},Y_{2}|X_{1},X_{2})=H(Y_{1}|X_{1})+H(Y_{2}|X_{2})$

Теперь мы можем дать верхнюю границу взаимной информации:

${\begin{aligned}I(X_{1},X_{2}:Y_{1},Y_{2})&\leq H(Y_{1})+H(Y_{2})-H(Y_{1}|X_{1})-H(Y_{2}|X_{2})\\&=I(X_{1}:Y_{1})+I(X_{2}:Y_{2})\end{aligned}}$

Это соотношение сохраняется на супремуме. Следовательно

C(p_{1}\times p_{2})\leq C(p_{1})+C(p_{2})

Комбинируя два доказанных неравенства, получаем результат теоремы:

C(p_{1}\times p_{2})=C(p_{1})+C(p_{2})

Шенноновская емкость графа [ править ]

Если G является неориентированным графом , его можно использовать для определения канала связи, в котором символы являются вершинами графа, и два кодовых слова могут быть перепутаны друг с другом, если их символы в каждой позиции равны или смежны. Вычислительная сложность нахождения пропускной способности Шеннона такого канала остается открытой, но она может быть ограничена сверху другим важным инвариантом графа - числом Ловаса . ^[5]

Теорема кодирования с шумом [ править ]

Шумная-канальное кодирование теоремы утверждает , что для любой вероятности ошибки ε> 0 и для любой передачи скорость R меньше пропускной способность канала C , есть кодирование и декодирование данные схемы передачи , по меньшей скорости R , чья вероятность ошибки меньше е, для достаточно большая длина блока. Кроме того, для любой скорости, превышающей пропускную способность канала, вероятность ошибки на приемнике достигает 0,5, поскольку длина блока стремится к бесконечности.

Пример приложения [ править ]

Применение концепции пропускной способности канала к каналу с аддитивным белым гауссовым шумом (AWGN) с полосой пропускания B Гц и отношением сигнал / шум S / N представляет собой теорему Шеннона – Хартли :

C=B\log _{2}\left(1+{\frac {S}{N}}\right)\

C измеряется в битах в секунду, если логарифм берется по основанию 2, или в натсах в секунду, если используется натуральный логарифм , предполагая, что B находится в герцах ; мощности сигнала и шума S и N выражаются в линейных единицах мощности (например, в ваттах или вольтах ² ). Поскольку значения отношения сигнал / шум часто приводятся в дБ , может потребоваться преобразование. Например, отношение сигнал / шум 30 дБ соответствует линейному отношению мощностей . $10^{30/10}=10^{3}=1000$

Пропускная способность канала беспроводной связи [ править ]

В этом разделе ^[6] основное внимание уделяется сценарию с одной антенной и двухточечным соединением. Информацию о пропускной способности канала в системах с несколькими антеннами см. В статье о MIMO .

Канал AWGN с неограниченным диапазоном [ править ]

Указана пропускная способность канала AWGN с режимом ограничения мощности и режимом ограничения полосы пропускания. Здесь ; B и C можно пропорционально масштабировать для других значений.

{\frac {\bar {P}}{N_{0}}}=1

Если средняя принимаемая мощность [Вт], общая пропускная способность в Герцах, и шум мощность спектральной плотности является [Вт / Гц], емкость АБГШ канала ${\bar {P}}$ $W$ $N_{0}$

C_{\text{AWGN}}=W\log _{2}\left(1+{\frac {\bar {P}}{N_{0}W}}\right)

[бит / с],

где - отношение принятого сигнала к шуму (SNR). Этот результат известен как теорема Шеннона – Хартли . ^[7] ${\frac {\bar {P}}{N_{0}W}}$

Когда SNR велик (SNR SN 0 дБ), пропускная способность является логарифмической по мощности и приблизительно линейной по ширине полосы. Это называется режимом с ограниченной полосой пропускания . $C\approx W\log _{2}{\frac {\bar {P}}{N_{0}W}}$

Когда SNR невелик (SNR ≪ 0 дБ), емкость линейна по мощности, но нечувствительна к полосе пропускания. Это называется режимом с ограничением мощности . $C\approx {\frac {\bar {P}}{N_{0}\ln 2}}$

Режим с ограничением полосы пропускания и режим с ограничением мощности показаны на рисунке.

Частотно-избирательный канал AWGN [ править ]

Пропускная способность частотно-избирательного канала определяется так называемым распределением мощности заполнения водой ,

C_{N_{c}}=\sum _{n=0}^{N_{c}-1}\log _{2}\left(1+{\frac {P_{n}^{*}|{\bar {h}}_{n}|^{2}}{N_{0}}}\right),

где и - коэффициент усиления подканала , выбранный для соответствия ограничению мощности. $P_{n}^{*}=\max \left\{\left({\frac {1}{\lambda }}-{\frac {N_{0}}{|{\bar {h}}_{n}|^{2}}}\right),0\right\}$ $|{\bar {h}}_{n}|^{2}$ $n$ $\lambda$

Медленно затухающий канал [ править ]

В канале с медленным замиранием , где время когерентности больше, чем требуемая задержка, нет определенной емкости, поскольку максимальная скорость надежной связи, поддерживаемая каналом , зависит от случайного усиления канала , которое неизвестно передатчику. Если передатчик кодирует данные со скоростью [бит / с / Гц], существует ненулевая вероятность того, что вероятность ошибки декодирования не может быть сделана сколь угодно малой, $\log _{2}(1+|h|^{2}SNR)$ $|h|^{2}$ $R$

p_{out}=\mathbb {P} (\log(1+|h|^{2}SNR)<R)

,

в этом случае считается, что система отключена. С ненулевой вероятностью того, что канал находится в состоянии глубокого замирания, пропускная способность канала с медленным замиранием в строгом смысле равна нулю. Однако можно определить наибольшее значение, при котором вероятность сбоя меньше . Это значение известно как мощность простоя. $R$ $p_{out}$ $\epsilon$ $\epsilon$

Канал с быстрым затуханием [ править ]

В канале с быстрым замиранием , где требование к задержке больше, чем время когерентности, а длина кодового слова охватывает множество периодов когерентности, можно усреднить замирание по множеству независимых каналов путем кодирования по большому количеству интервалов времени когерентности. Таким образом, можно достичь надежной скорости передачи [бит / с / Гц], и имеет смысл говорить об этом значении как о пропускной способности канала с быстрым замиранием. $\mathbb {E} (\log _{2}(1+|h|^{2}SNR))$

См. Также [ править ]

Пропускная способность (вычисления)
Полоса пропускания (обработка сигнала)
Битрейт
Скорость кода
Показатель ошибки
Курс Найквиста
Негэнтропия
Резервирование
Отправитель , Сжатие данных , Получатель
Теорема Шеннона – Хартли.
Спектральная эффективность
Пропускная способность

Расширенные темы общения [ править ]

MIMO
Совместное разнообразие

Внешние ссылки [ править ]

"Скорость передачи канала" , Математическая энциклопедия , EMS Press , 2001 [1994]
Пропускная способность канала AWGN с различными ограничениями на вход канала (интерактивная демонстрация)

Ссылки [ править ]

^ Салим Бхатти. «Емкость канала» . Конспект лекций для M.Sc. Сети передачи данных и распределенные системы D51 - Базовые коммуникации и сети . Архивировано от оригинала на 2007-08-21.
^ Джим Лесурф. "Сигналы похожи на шум!" . Информация и измерения, 2-е изд .
^ Томас М. Обложка, Джой А. Томас (2006). Элементы теории информации . John Wiley & Sons, Нью-Йорк. ISBN 9781118585771.
^ Обложка, Томас М .; Томас, Джой А. (2006). «Глава 7: Пропускная способность канала». Элементы теории информации (Второе изд.). Wiley-Interscience. С. 206–207. ISBN 978-0-471-24195-9.
^ Lovász, Ласло (1979), "О пропускной способности Шеннона в графике", IEEE Transactions по теории информации , IT-25 (1): 1-7, DOI : 10,1109 / tit.1979.1055985.
^ Дэвид Це, Прамод Вишванат (2005), Основы беспроводной связи , Cambridge University Press, Великобритания, ISBN 9780521845274
^ Справочник по электротехнике . Ассоциация исследований и образования. 1996. стр. Д-149. ISBN 9780878919819.

Эта статья требует дополнительных ссылок для проверки . Пожалуйста, помогите улучшить эту статью , добавив цитаты из надежных источников . Материал, не полученный от источника, может быть оспорен и удален.
Поиск источников: «Емкость канала» - новости · газеты · книги · ученый · JSTOR ( январь 2008 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

[1] Салим Бхатти. «Емкость канала» . Конспект лекций для M.Sc. Сети передачи данных и распределенные системы D51 - Базовые коммуникации и сети . Архивировано от оригинала на 2007-08-21.

[2] Джим Лесурф. "Сигналы похожи на шум!" . Информация и измерения, 2-е изд .

[3] Томас М. Обложка, Джой А. Томас (2006). Элементы теории информации . John Wiley & Sons, Нью-Йорк. ISBN 9781118585771.

[4] Обложка, Томас М .; Томас, Джой А. (2006). «Глава 7: Пропускная способность канала». Элементы теории информации (Второе изд.). Wiley-Interscience. С. 206–207. ISBN 978-0-471-24195-9.

[5] Lovász, Ласло (1979), "О пропускной способности Шеннона в графике", IEEE Transactions по теории информации , IT-25 (1): 1-7, DOI : 10,1109 / tit.1979.1055985.

[6] Дэвид Це, Прамод Вишванат (2005), Основы беспроводной связи , Cambridge University Press, Великобритания, ISBN 9780521845274

[7] Справочник по электротехнике . Ассоциация исследований и образования. 1996. стр. Д-149. ISBN 9780878919819.

[1]