Винеровский фильтр

В обработке сигналов , то фильтр Винер является фильтр используется для получения оценки желаемых или целевой случайный процесс с помощью линейного времени инварианта ( LTI ) фильтрации наблюдаемого шумного процесса, при условии , известный стационарного сигнала и спектров шума и аддитивный шума. Фильтр Винера минимизирует среднеквадратичную ошибку между оцененным случайным процессом и желаемым процессом.

Описание [ править ]

Цель фильтра Винера состоит в том, чтобы вычислить статистическую оценку неизвестного сигнала, используя связанный сигнал в качестве входа и фильтруя этот известный сигнал для получения оценки в качестве выхода. Например, известный сигнал может состоять из интересующего неизвестного сигнала, который был искажен аддитивным шумом . Фильтр Винера может использоваться для фильтрации шума из искаженного сигнала, чтобы обеспечить оценку основного сигнала, представляющего интерес. Фильтр Винера основан на статистическом подходе, и более статистическое изложение теории дается в статье об оценке минимальной среднеквадратичной ошибки (MMSE) .

Типичные детерминированные фильтры предназначены для получения желаемой частотной характеристики . Однако конструкция фильтра Винера использует другой подход. Предполагается, что кто-то знает спектральные свойства исходного сигнала и шума, и кто-то ищет линейный инвариантный во времени фильтр, выходной сигнал которого будет максимально приближен к исходному сигналу. Фильтры Винера характеризуются следующим: ^[1]

1. Предположение: сигнал и (аддитивный) шум - это стационарные линейные стохастические процессы с известными спектральными характеристиками или известными автокорреляциями и взаимными корреляциями.
2. Требование: фильтр должен быть физически реализуемым / причинным (это требование можно отбросить, что приведет к непричинному решению)
3. Критерий качества: минимальная среднеквадратичная ошибка (MMSE)

Этот фильтр часто используется в процессе деконволюции ; для этого приложения см. деконволюцию Винера .

Решения с фильтром Винера [ править ]

Пусть будет неизвестный сигнал, который необходимо оценить по сигналу измерения . Проблема фильтра Винера имеет решения для трех возможных случаев: один, когда непричинный фильтр приемлем (требует бесконечного количества как прошлых, так и будущих данных), случай, когда причинный фильтр желателен (с использованием бесконечного количества прошлых данных) и случай с конечной импульсной характеристикой (КИХ), когда используются только входные данные (т. е. результат или выход не передаются обратно в фильтр, как в случае БИХ). Первый случай легко решить, но он не подходит для приложений реального времени. Основным достижением Винера было решение случая, в котором действует требование причинности; Норман Левинсон дал решение FIR в приложении к книге Винера.${\ displaystyle s (t)}$${\displaystyle x(t)}$

Непричинное решение [ править ]

${\displaystyle G(s)={\frac {S_{x,s}(s)}{S_{x}(s)}}e^{\alpha s},}$

где - спектральные плотности . Если это оптимально, то уравнение минимальной среднеквадратичной ошибки сводится к ${\displaystyle S}$${\displaystyle g(t)}$

${\displaystyle E(e^{2})=R_{s}(0)-\int _{-\infty }^{\infty }g(\tau )R_{x,s}(\tau +\alpha )\,d\tau ,}$

и раствор является обратным Двустороннее преобразование Лапласа из .${\displaystyle g(t)}$${\displaystyle G(s)}$

Причинное решение [ править ]

${\displaystyle G(s)={\frac {H(s)}{S_{x}^{+}(s)}},}$

куда

• ${\displaystyle H(s)}$состоит из причинной части (то есть той части этой дроби, которая имеет положительное временное решение при обратном преобразовании Лапласа)${\displaystyle {\frac {S_{x,s}(s)}{S_{x}^{-}(s)}}e^{\alpha s}}$
• ${\displaystyle S_{x}^{+}(s)}$является причинным компонентом (т.е. обратное преобразование Лапласа отлично от нуля только для )${\displaystyle S_{x}(s)}$${\displaystyle S_{x}^{+}(s)}$${\displaystyle t\geq 0}$
• ${\displaystyle S_{x}^{-}(s)}$является антипричинным компонентом (т.е. обратное преобразование Лапласа отлично от нуля только для )${\displaystyle S_{x}(s)}$${\displaystyle S_{x}^{-}(s)}$${\displaystyle t<0}$

Эта общая формула сложна и заслуживает более подробного пояснения. Чтобы записать решение в конкретном случае, необходимо выполнить следующие действия: ^[2]${\displaystyle G(s)}$

1. Начните со спектра в рациональной форме и разложите его на причинные и антипричинные компоненты: где содержит все нули и полюсы в левой полуплоскости (LHP) и содержит нули и полюсы в правой полуплоскости (RHP). Это называется факторизацией Винера – Хопфа .${\displaystyle S_{x}(s)}$${\displaystyle S_{x}(s)=S_{x}^{+}(s)S_{x}^{-}(s)}$${\displaystyle S^{+}}$${\displaystyle S^{-}}$
2. Разделите на и запишите результат в виде дроби .${\displaystyle S_{x,s}(s)e^{\alpha s}}$${\displaystyle S_{x}^{-}(s)}$
3. Выбирайте только те термины в этом расширении, у которых есть полюсы в LHP. Назовите эти условия .${\displaystyle H(s)}$
4. Разделить на . Результатом является желаемая передаточная функция фильтра .${\displaystyle H(s)}$${\displaystyle S_{x}^{+}(s)}$${\displaystyle G(s)}$

Фильтр Винера с конечной импульсной характеристикой для дискретных серий [ править ]

Причинно-следственный фильтр Винера с конечной импульсной характеристикой (КИХ), вместо использования некоторой заданной матрицы данных X и выходного вектора Y, находит оптимальные веса ответвлений, используя статистику входных и выходных сигналов. Он заполняет входную матрицу X оценками автокорреляции входного сигнала (T) и заполняет выходной вектор Y оценками взаимной корреляции между выходным и входным сигналами (V).

Чтобы вывести коэффициенты фильтра Винера, рассмотрим сигнал w [ n ], подаваемый на фильтр Винера порядка (количества прошедших отводов) N и с коэффициентами . Выходной сигнал фильтра обозначается x [ n ], который задается выражением${\displaystyle \{a_{0},\cdots ,a_{N}\}}$

${\displaystyle x[n]=\sum _{i=0}^{N}a_{i}w[n-i].}$

Остаточная ошибка обозначается e [ n ] и определяется как e [ n ] = x [ n ] -  s [ n ] (см. Соответствующую блок-схему). Фильтр Винера разработан таким образом, чтобы минимизировать среднеквадратичную ошибку ( критерии MMSE ), которую можно кратко сформулировать следующим образом:

${\displaystyle a_{i}=\arg \min E\left[e^{2}[n]\right],}$

где обозначает оператор математического ожидания. В общем случае коэффициенты могут быть комплексными и могут быть получены для случая, когда w [ n ] и s [ n ] также являются комплексными. При комплексном сигнале решаемой матрицей является эрмитова матрица Теплица , а не симметричная матрица Теплица . Для простоты ниже рассматривается только случай, когда все эти величины действительны. Среднеквадратичная ошибка (MSE) может быть переписана как:${\displaystyle E[\cdot ]}$${\displaystyle a_{i}}$

${\displaystyle {\begin{aligned}E\left[e^{2}[n]\right]&=E\left[(x[n]-s[n])^{2}\right]\\&=E\left[x^{2}[n]\right]+E\left[s^{2}[n]\right]-2E[x[n]s[n]]\\&=E\left[\left(\sum _{i=0}^{N}a_{i}w[n-i]\right)^{2}\right]+E\left[s^{2}[n]\right]-2E\left[\sum _{i=0}^{N}a_{i}w[n-i]s[n]\right]\end{aligned}}}$

Чтобы найти вектор, который минимизирует указанное выше выражение, вычислите его производную по каждому${\displaystyle [a_{0},\,\ldots ,\,a_{N}]}$${\displaystyle a_{i}}$

${\displaystyle {\begin{aligned}{\frac {\partial }{\partial a_{i}}}E\left[e^{2}[n]\right]&={\frac {\partial }{\partial a_{i}}}\left\{E\left[\left(\sum _{i=0}^{N}a_{i}w[n-i]\right)^{2}\right]+E\left[s^{2}[n]\right]-2E\left[\sum _{i=0}^{N}a_{i}w[n-i]s[n]\right]\right\}\\&=2E\left[\left(\sum _{j=0}^{N}a_{j}w[n-j]\right)w[n-i]\right]-2E[w[n-i]s[n]]\\&=2\left(\sum _{j=0}^{N}E[w[n-j]w[n-i]]a_{j}\right)-2E[w[n-i]s[n]]\end{aligned}}}$

Предполагая, что каждая из w [ n ] и s [ n ] является стационарной и совместно стационарной, последовательности и, известные соответственно как автокорреляция w [ n ] и взаимная корреляция между w [ n ] и s [ n ], могут быть определены как следует:${\displaystyle R_{w}[m]}$${\displaystyle R_{ws}[m]}$

${\displaystyle {\begin{aligned}R_{w}[m]&=E\{w[n]w[n+m]\}\\R_{ws}[m]&=E\{w[n]s[n+m]\}\end{aligned}}}$

Следовательно, производная от MSE может быть переписана как:

${\displaystyle {\frac {\partial }{\partial a_{i}}}E\left[e^{2}[n]\right]=2\left(\sum _{j=0}^{N}R_{w}[j-i]a_{j}\right)-2R_{ws}[i]\qquad i=0,\cdots ,N.}$

Обратите внимание, что на самом деле автокорреляция симметрична:${\displaystyle w[n]}$

$${\displaystyle R_{w}[j-i]=R_{w}[i-j]}$$

${\displaystyle \sum _{j=0}^{N}R_{w}[j-i]a_{j}=R_{ws}[i]\qquad i=0,\cdots ,N.}$

который можно переписать (используя указанное выше свойство симметрии) в матричной форме

${\displaystyle \underbrace {\begin{bmatrix}R_{w}[0]&R_{w}[1]&\cdots &R_{w}[N]\\R_{w}[1]&R_{w}[0]&\cdots &R_{w}[N-1]\\\vdots &\vdots &\ddots &\vdots \\R_{w}[N]&R_{w}[N-1]&\cdots &R_{w}[0]\end{bmatrix}} _{\mathbf {T} }\underbrace {\begin{bmatrix}a_{0}\\a_{1}\\\vdots \\a_{N}\end{bmatrix}} _{\mathbf {a} }=\underbrace {\begin{bmatrix}R_{ws}[0]\\R_{ws}[1]\\\vdots \\R_{ws}[N]\end{bmatrix}} _{\mathbf {v} }}$

Эти уравнения известны как уравнения Винера – Хопфа . Матрица T, фигурирующая в уравнении, является симметричной матрицей Теплица . При подходящих условиях на эти матрицы , как известно, положительно определена и , следовательно , несингулярное что дает уникальное решение для определения вектора коэффициентов фильтра Винера, . Кроме того, существует эффективный алгоритм для решения таких уравнений Винера – Хопфа, известный как алгоритм Левинсона-Дурбина , поэтому явное обращение T не требуется.${\displaystyle R}$${\displaystyle \mathbf {a} =\mathbf {T} ^{-1}\mathbf {v} }$

В некоторых статьях функция взаимной корреляции определяется противоположным образом:

$${\displaystyle R_{sw}[m]=E\{w[n]s[n+m]\}}$$

${\displaystyle \mathbf {v} }$

${\displaystyle R_{sw}[0]\ldots R_{sw}[N]}$

Какое бы обозначение ни использовалось, обратите внимание, что на самом деле :${\displaystyle w[n],s[n]}$

$${\displaystyle R_{sw}[k]=R_{ws}[-k]}$$

Отношение к фильтру наименьших квадратов [ править ]

Реализация причинного фильтра Винера очень похожа на решение оценки методом наименьших квадратов , за исключением области обработки сигналов. Решение методом наименьших квадратов для входной матрицы и выходного вектора :${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {y} }$

${\displaystyle {\boldsymbol {\hat {\beta }}}=(\mathbf {X} ^{\mathbf {T} }\mathbf {X} )^{-1}\mathbf {X} ^{\mathbf {T} }{\boldsymbol {y}}.}$

КИХ-фильтр Винера относится к фильтру наименьших средних квадратов , но минимизация критерия ошибки последнего не зависит от взаимной корреляции или автокорреляции. Его решение сходится к решению фильтра Винера.

Сложные сигналы [ править ]

Для сложных сигналов вывод комплексного фильтра Винера выполняется путем минимизации = . Это включает в себя вычисление частных производных как по действительной, так и по мнимой частям и требование, чтобы они оба были равны нулю.${\displaystyle E\left[|e[n]|^{2}\right]}$${\displaystyle E\left[e[n]e^{*}[n]\right]}$${\displaystyle a_{i}}$

В результате получаются уравнения Винера-Хопфа:

${\displaystyle \sum _{j=0}^{N}R_{w}[j-i]a_{j}^{*}=R_{ws}[i]\qquad i=0,\cdots ,N.}$

который можно переписать в матричном виде:

${\displaystyle \underbrace {\begin{bmatrix}R_{w}[0]&R_{w}^{*}[1]&\cdots &R_{w}^{*}[N-1]&R_{w}^{*}[N]\\R_{w}[1]&R_{w}[0]&\cdots &R_{w}^{*}[N-2]&R_{w}^{*}[N-1]\\\vdots &\vdots &\ddots &\vdots &\vdots \\R_{w}[N-1]&R_{w}[N-2]&\cdots &R_{w}[0]&R_{w}^{*}[1]\\R_{w}[N]&R_{w}[N-1]&\cdots &R_{w}[1]&R_{w}[0]\end{bmatrix}} _{\mathbf {T} }\underbrace {\begin{bmatrix}a_{0}^{*}\\a_{1}^{*}\\\vdots \\a_{N-1}^{*}\\a_{N}^{*}\end{bmatrix}} _{\mathbf {a^{*}} }=\underbrace {\begin{bmatrix}R_{ws}[0]\\R_{ws}[1]\\\vdots \\R_{ws}[N-1]\\R_{ws}[N]\end{bmatrix}} _{\mathbf {v} }}$

Обратите внимание, что:

$${\displaystyle {\begin{aligned}R_{w}[-k]&=R_{w}^{*}[k]\\R_{sw}[k]&=R_{ws}^{*}[-k]\end{aligned}}}$$

Затем вектор коэффициентов Винера вычисляется как:

$${\displaystyle \mathbf {a} ={(\mathbf {T} ^{-1}\mathbf {v} )}^{*}}$$

Приложения [ править ]

Фильтр Винера находит множество применений в обработке сигналов, обработке изображений, системах управления и цифровой связи. Эти приложения обычно относятся к одной из четырех основных категорий:

• Идентификация системы
• Деконволюция ^[3]
• Подавление шума
• Обнаружение сигнала

Например, фильтр Винера можно использовать при обработке изображений для удаления шума с изображения. Например, с помощью функции Mathematica: WienerFilter[image,2]на первом изображении справа создает отфильтрованное изображение под ним.

Он обычно используется для шумоподавления аудиосигналов, особенно речи, в качестве препроцессора перед распознаванием речи .

История [ править ]

Фильтр был предложен Норбертом Винером в 1940-х годах и опубликован в 1949 году. ^[4] Дискретный эквивалент работы Винера был независимо выведен Андреем Колмогоровым и опубликован в 1941 году. Поэтому теорию часто называют теорией фильтрации Винера – Колмогорова ( ср. Кригинг ). Фильтр Винера был первым предложенным статистически разработанным фильтром, впоследствии породившим множество других, включая фильтр Калмана .

См. Также [ править ]

• Норберт Винер
• Эберхард Хопф
• Винеровская деконволюция
• фильтр наименьших средних квадратов
• сходство между Wiener и LMS
• линейное предсказание
• Оценщик MMSE
• Фильтр Калмана
• обобщенный фильтр Винера
• согласованный фильтр
• Теория информационного поля

Ссылки [ править ]

• Томас Кайлат , Али Х. Сайед и Бабак Хассиби , Линейная оценка, Прентис-Холл, Нью-Джерси, 2000, ISBN 978-0-13-022464-4 . 
• Винер Н.: Интерполяция, экстраполяция и сглаживание стационарных временных рядов », Отчет Службы 19, Исследовательский проект DIC-6037 MIT, февраль 1942 г.
• Колмогоров А.Н.: «Стационарные последовательности в гильбертовом пространстве», Бюл. Московский унив. 1941 том 2 номер 6 1-40. Английский перевод в Kailath T. (ред.) Линейная оценка методом наименьших квадратов Dowden, Hutchinson & Ross 1977

Внешние ссылки [ править ]

• Функция Mathematica WienerFilter