Аддитивный белый гауссовский шум

Эта статья в значительной степени или полностью основана на одном источнике . Соответствующее обсуждение можно найти на странице обсуждения . Пожалуйста, помогите улучшить эту статью , добавив ссылки на дополнительные источники . Найти источники:  «Аддитивный белый гауссовский шум»  -  новости  · газеты  · книги  · ученый  · JSTOR ( февраль 2020 г. )

Аддитивный белый гауссовский шум ( AWGN ) - это базовая модель шума, используемая в теории информации для имитации эффекта многих случайных процессов, происходящих в природе. Модификаторы обозначают конкретные характеристики:

• Аддитивный, потому что он добавляется к любому шуму, который может быть присущ информационной системе.
• Уайт ссылается на идею, что он имеет равномерную мощность в полосе частот для информационной системы. Это аналогия белого цвета, который имеет однородное излучение на всех частотах видимого спектра .
• Гауссовский, потому что он имеет нормальное распределение во временной области со средним значением нуля во временной области.

Широкополосный шум возникает из многих естественных источников шума, таких как тепловые колебания атомов в проводниках (называемые тепловым шумом или шумом Джонсона – Найквиста ), дробовой шум , излучение черного тела от земли и других теплых объектов, а также от небесных источников. например, Солнце. Центральная предельная теорема о теории вероятности указывает на то, что суммирование многих случайных процессов будут иметь тенденцию к распределению называемый Gaussian или Normal.

АБГШ часто используется в качестве модели канала , в котором только нарушения в связи является линейным добавление широкополосном или белого шума с постоянной спектральной плотностью (выраженной в ватт на герц от пропускной способности ) и гауссовым распределением амплитуды. Модель не учитывает замирание , частотную избирательность, помехи , нелинейность или дисперсию.. Тем не менее, он создает простые и понятные математические модели, которые полезны для понимания основного поведения системы до рассмотрения этих других явлений.

Канал AWGN является хорошей моделью для многих каналов спутниковой связи и связи в дальнем космосе. Это не очень хорошая модель для большинства наземных линий связи из-за многолучевого распространения, блокировки местности, помех и т. Д. Однако для моделирования наземного тракта AWGN обычно используется для моделирования фонового шума исследуемого канала в дополнение к многолучевости, блокировке местности и т. Д. помехи, помехи от земли и собственные помехи, с которыми современные радиосистемы сталкиваются при наземной эксплуатации.

Емкость канала [ править ]

Канал AWGN представлен серией выходов в дискретном временном индексе события . представляет собой сумму входного сигнала и шума, где является независимым, одинаково распределенным и полученным из нормального распределения с нулевым средним и дисперсией (шумом). Далее предполагается , что не могут быть коррелированы с .${\ displaystyle Y_ {i}}$${\ displaystyle i}$${\ displaystyle Y_ {i}}$${\displaystyle X_{i}}$${\displaystyle Z_{i}}$${\displaystyle Z_{i}}$ ${\displaystyle N}$${\displaystyle Z_{i}}$${\displaystyle X_{i}}$

${\displaystyle Z_{i}\sim {\mathcal {N}}(0,N)\,\!}$

${\displaystyle Y_{i}=X_{i}+Z_{i}.\,\!}$

Пропускная способность канала бесконечна, если шум не равен нулю, и они не имеют достаточных ограничений. Наиболее распространенным ограничением на вход является так называемое ограничение «мощности», требующее, чтобы для кодового слова, передаваемого по каналу, мы имели:${\displaystyle N}$${\displaystyle X_{i}}$${\displaystyle (x_{1},x_{2},\dots ,x_{k})}$

${\displaystyle {\frac {1}{k}}\sum _{i=1}^{k}x_{i}^{2}\leq P,}$

где представляет собой максимальную мощность канала. Следовательно, пропускная способность канала с ограниченной мощностью определяется выражением:${\displaystyle P}$

${\displaystyle C=\max _{f(x){\text{ s.t. }}E\left(X^{2}\right)\leq P}I(X;Y)\,\!}$

Где раздача . Разложите , записав это через дифференциальную энтропию :${\displaystyle f(x)}$${\displaystyle X}$${\displaystyle I(X;Y)}$

${\displaystyle {\begin{aligned}I(X;Y)=h(Y)-h(Y|X)&=h(Y)-h(X+Z|X)&=h(Y)-h(Z|X)\end{aligned}}\,\!}$

Но и независимы, поэтому:${\displaystyle X}$${\displaystyle Z}$

${\displaystyle I(X;Y)=h(Y)-h(Z)\,\!}$

Оценка дифференциальной энтропии гауссиана дает:

${\displaystyle h(Z)={\frac {1}{2}}\log(2\pi eN)\,\!}$

Потому что и независимы и их сумма дает :${\displaystyle X}$${\displaystyle Z}$${\displaystyle Y}$

${\displaystyle E(Y^{2})=E((X+Z)^{2})=E(X^{2})+2E(X)E(Z)+E(Z^{2})\leq P+N\,\!}$

Из этой оценки мы выводим из свойства дифференциальной энтропии, что

${\displaystyle h(Y)\leq {\frac {1}{2}}\log(2\pi e(P+N))\,\!}$

Следовательно, пропускная способность канала определяется максимально достижимой границей взаимной информации :

${\displaystyle I(X;Y)\leq {\frac {1}{2}}\log(2\pi e(P+N))-{\frac {1}{2}}\log(2\pi eN)\,\!}$

Где максимально, когда:${\displaystyle I(X;Y)}$

${\displaystyle X\sim {\mathcal {N}}(0,P)\,\!}$

Таким образом, пропускная способность канала AWGN определяется как:${\displaystyle C}$

${\displaystyle C={\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)\,\!}$

Пропускная способность канала и упаковка сфер [ править ]

Предположим, что мы отправляем сообщения через канал с индексом от до , количество различных возможных сообщений. Если мы кодируем сообщения в биты, то мы определяем скорость как:${\displaystyle 1}$${\displaystyle M}$${\displaystyle M}$${\displaystyle n}$${\displaystyle R}$

${\displaystyle R={\frac {\log M}{n}}\,\!}$

Скорость называется достижимой, если существует последовательность кодов, так что максимальная вероятность ошибки стремится к нулю по мере приближения к бесконечности. Емкость - это наивысший достижимый показатель.${\displaystyle n}$${\displaystyle C}$

Рассмотрим кодовое слово длины, отправленное по каналу AWGN с уровнем шума . При получении теперь отклонение вектора кодового слова равно , а его среднее значение - это отправленное кодовое слово. С большой вероятностью вектор будет находиться в сфере радиуса вокруг отправленного кодового слова. Если мы декодируем, отображая каждое полученное сообщение на кодовое слово в центре этой сферы, то ошибка возникает только тогда, когда полученный вектор находится за пределами этой сферы, что очень маловероятно.${\displaystyle n}$${\displaystyle N}$${\displaystyle N}$${\displaystyle {\sqrt {n(N+\epsilon )}}}$

С каждым вектором кодового слова связана сфера принятых векторов кодовых слов, которые декодируются в него, и каждая такая сфера должна однозначно отображаться на кодовое слово. Поскольку эти сферы не должны пересекаться, мы сталкиваемся с проблемой упаковки сфер . Сколько различных кодовых слов мы можем упаковать в наш -битовый вектор кодовых слов? Полученные векторы имеют максимальную энергию и, следовательно, должны занимать сферу радиуса . Каждая сфера кодового слова имеет радиус . Объем n- мерной сферы прямо пропорционален , поэтому максимальное количество однозначно декодируемых сфер, которые могут быть упакованы в нашу сферу с мощностью передачи P, равно:${\displaystyle n}$${\displaystyle n(P+N)}$${\displaystyle {\sqrt {n(P+N)}}}$${\displaystyle {\sqrt {nN}}}$${\displaystyle r^{n}}$

${\displaystyle {\frac {(n(P+N))^{\frac {n}{2}}}{(nN)^{\frac {n}{2}}}}=2^{{\frac {n}{2}}\log(1+P/N)}\,\!}$

Согласно этому аргументу, коэффициент R не может быть больше чем .${\displaystyle {\frac {1}{2}}\log(1+P/N)}$

Достижимость [ править ]

В этом разделе мы показываем достижимость верхней границы ставки из последнего раздела.

Кодовая книга, известная как кодировщику, так и декодеру, генерируется путем выбора кодовых слов длины n, iid Gaussian с дисперсией и нулевым средним. Для большого n эмпирическая дисперсия кодовой книги будет очень близка к дисперсии ее распределения, тем самым избегая вероятностного нарушения ограничения мощности.${\displaystyle P-\epsilon }$

Принятые сообщения декодируются в сообщение в кодовой книге, которое является уникальным для всех типов. Если такого сообщения нет или если ограничение мощности нарушено, объявляется ошибка декодирования.

Пусть обозначает кодовое слово для сообщения , а есть, как и прежде, для полученного вектора. Определите следующие три события:${\displaystyle X^{n}(i)}$${\displaystyle i}$${\displaystyle Y^{n}}$

1. Событие : мощность полученного сообщения больше, чем .${\displaystyle U}$${\displaystyle P}$
2. Событие : переданные и полученные кодовые слова не являются типичными вместе.${\displaystyle V}$
3. Событие : в , в типичном наборе , где , который должен сказать , что неправильное кодовое слово является совместно типичным с полученным вектором.${\displaystyle E_{j}}$${\displaystyle (X^{n}(j),Y^{n})}$${\displaystyle A_{\epsilon }^{(n)}}$${\displaystyle i\neq j}$

Поэтому ошибка возникает , если , или какой - либо из произойти. По закону больших чисел стремится к нулю, когда n приближается к бесконечности, и по совместному свойству асимптотической равнораспределенности то же самое относится и к . Следовательно, для достаточно большого оба значения и меньше, чем . Поскольку и независимы для , у нас это есть, и мы также независимы. Поэтому совместный АЭП, . Это позволяет нам вычислить вероятность ошибки следующим образом:${\displaystyle U}$${\displaystyle V}$${\displaystyle E_{i}}$${\displaystyle P(U)}$${\displaystyle P(V)}$${\displaystyle n}$${\displaystyle P(U)}$${\displaystyle P(V)}$${\displaystyle \epsilon }$${\displaystyle X^{n}(i)}$${\displaystyle X^{n}(j)}$${\displaystyle i\neq j}$${\displaystyle X^{n}(i)}$${\displaystyle Y^{n}}$${\displaystyle P(E_{j})=2^{-n(I(X;Y)-3\epsilon )}}$${\displaystyle P_{e}^{(n)}}$

${\displaystyle {\begin{aligned}P_{e}^{(n)}&\leq P(U)+P(V)+\sum _{j\neq i}P(E_{j})\\&\leq \epsilon +\epsilon +\sum _{j\neq i}2^{-n(I(X;Y)-3\epsilon )}\\&\leq 2\epsilon +(2^{nR}-1)2^{-n(I(X;Y)-3\epsilon )}\\&\leq 2\epsilon +(2^{3n\epsilon })2^{-n(I(X;Y)-R)}\\&\leq 3\epsilon \end{aligned}}}$

Следовательно, когда n приближается к бесконечности, стремится к нулю и . Следовательно, существует код скорости R, произвольно близкий к полученной ранее пропускной способности.${\displaystyle P_{e}^{(n)}}$${\displaystyle R<I(X;Y)-3\epsilon }$

Теорема кодирования обратная [ править ]

Здесь мы показываем, что ставки выше мощности недостижимы.${\displaystyle C={\frac {1}{2}}\log(1+{\frac {P}{N}})}$

Предположим, что ограничение мощности удовлетворено для кодовой книги, и дополнительно предположим, что сообщения следуют равномерному распределению. Позвольте быть входными сообщениями и выходными сообщениями. Таким образом, информация течет как:${\displaystyle W}$${\displaystyle {\hat {W}}}$

${\displaystyle W\longrightarrow X^{(n)}(W)\longrightarrow Y^{(n)}\longrightarrow {\hat {W}}}$

Использование неравенства Фано дает:

${\displaystyle H(W|{\hat {W}})\leq 1+nRP_{e}^{(n)}=n\epsilon _{n}}$где как${\displaystyle \epsilon _{n}\rightarrow 0}$${\displaystyle P_{e}^{(n)}\rightarrow 0}$

Позвольте быть закодированным сообщением индекса кодового слова i. Потом:${\displaystyle X_{i}}$

${\displaystyle {\begin{aligned}nR&=H(W)\\&=I(W;{\hat {W}})+H(W|{\hat {W}})\\&\leq I(W;{\hat {W}})+n\epsilon _{n}\\&\leq I(X^{(n)};Y^{(n)})+n\epsilon _{n}\\&=h(Y^{(n)})-h(Y^{(n)}|X^{(n)})+n\epsilon _{n}\\&=h(Y^{(n)})-h(Z^{(n)})+n\epsilon _{n}\\&\leq \sum _{i=1}^{n}h(Y_{i})-h(Z^{(n)})+n\epsilon _{n}\\&\leq \sum _{i=1}^{n}I(X_{i};Y_{i})+n\epsilon _{n}\end{aligned}}}$

Пусть будет средняя мощность кодового слова индекса i:${\displaystyle P_{i}}$

${\displaystyle P_{i}={\frac {1}{2^{nR}}}\sum _{w}x_{i}^{2}(w)\,\!}$

Где сумма по всем входным сообщениям . и независимы, поэтому ожидаемая мощность составляет для уровня шума :${\displaystyle w}$${\displaystyle X_{i}}$${\displaystyle Z_{i}}$${\displaystyle Y_{i}}$${\displaystyle N}$

${\displaystyle E(Y_{i}^{2})=P_{i}+N\,\!}$

И, если нормально распределяется, у нас есть это${\displaystyle Y_{i}}$

${\displaystyle h(Y_{i})\leq {\frac {1}{2}}\log {2\pi e}(P_{i}+N)\,\!}$

Следовательно,

${\displaystyle {\begin{aligned}nR&\leq \sum (h(Y_{i})-h(Z_{i}))+n\epsilon _{n}\\&\leq \sum \left({\frac {1}{2}}\log(2\pi e(P_{i}+N))-{\frac {1}{2}}\log(2\pi eN)\right)+n\epsilon _{n}\\&=\sum {\frac {1}{2}}\log(1+{\frac {P_{i}}{N}})+n\epsilon _{n}\end{aligned}}}$

Мы можем применить равенство Дженсена к вогнутой (нисходящей) функции x , чтобы получить:${\displaystyle \log(1+x)}$

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}{\frac {1}{2}}\log \left(1+{\frac {P_{i}}{N}}\right)\leq {\frac {1}{2}}\log \left(1+{\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}}\right)\,\!}$

Поскольку каждое кодовое слово индивидуально удовлетворяет ограничению мощности, среднее значение также удовлетворяет ограничению мощности. Следовательно,

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}}\,\!}$

Мы можем применить это, чтобы упростить неравенство выше и получить:

${\displaystyle {\frac {1}{2}}\log \left(1+{\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}}\right)\leq {\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)\,\!}$

Следовательно, так и должно быть . Следовательно, R должно быть меньше значения, произвольно близкого к мощности, полученной ранее, как .${\displaystyle R\leq {\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)+\epsilon _{n}}$${\displaystyle \epsilon _{n}\rightarrow 0}$

Эффекты во временной области [ править ]

При последовательной передаче данных математическая модель AWGN используется для моделирования ошибки синхронизации, вызванной случайным джиттером (RJ).

На графике справа показан пример временных ошибок, связанных с AWGN. Переменная Δ t представляет собой неопределенность перехода через нуль. По мере увеличения амплитуды AWGN отношение сигнал / шум уменьшается. Это приводит к увеличению неопределенности Δ t . ^[1]

При воздействии AWGN среднее количество переходов через ноль в положительном или отрицательном направлении в секунду на выходе узкополосного фильтра, когда на входе является синусоидальная волна, составляет

${\displaystyle {\frac {\text{positive zero crossings}}{\text{second}}}={\frac {\text{negative zero crossings}}{\text{second}}}}$

${\displaystyle \quad =f_{0}{\sqrt {\frac {{\text{SNR}}+1+{\frac {B^{2}}{12f_{0}^{2}}}}{{\text{SNR}}+1}}},}$

куда

f ₀ = центральная частота фильтра,

B = ширина полосы фильтра,

SNR = отношение мощности сигнал / шум в линейном выражении.

Эффекты в векторной области [ править ]

В современных системах связи нельзя игнорировать AWGN с ограниченным диапазоном частот. При моделировании AWGN с ограниченной полосой пропускания в векторной области статистический анализ показывает, что амплитуды действительных и мнимых вкладов являются независимыми переменными, которые следуют модели распределения Гаусса . При объединении величина результирующего фазора является случайной величиной с распределением Рэлея , в то время как фаза равномерно распределена от 0 до 2π.

График справа показывает пример того, как AWGN с ограниченной полосой частот может повлиять на сигнал когерентной несущей. Мгновенный отклик вектора шума нельзя точно предсказать, однако его усредненный по времени отклик можно предсказать статистически. Как показано на графике, мы уверенно прогнозируем, что вектор шума будет находиться примерно 38% времени внутри круга 1σ, примерно 86% времени внутри круга 2σ и примерно 98% времени внутри круга 3σ. ^[1]

См. Также [ править ]

• Отскок от земли
• Теорема кодирования с шумом
• Гауссовский процесс

Ссылки [ править ]