Теория оценок

Теория оценок - это раздел статистики, который занимается оценкой значений параметров на основе измеренных эмпирических данных, которые имеют случайную составляющую. Параметры описывают базовую физическую настройку таким образом, что их значение влияет на распределение измеренных данных. Оценка пытается аппроксимировать неизвестные параметры с помощью измерений.

В теории оценивания обычно рассматриваются два подхода. ^[1]

• Вероятностный подход (описанный в этой статье) предполагает, что измеренные данные являются случайными с распределением вероятностей, зависящим от интересующих параметров.
• Подход установки членства предполагает , что измеренный вектор данных принадлежит к набору , который зависит от вектора параметров.

Примеры [ править ]

Например, желательно оценить долю избирателей, которые проголосуют за конкретного кандидата. Эта пропорция является искомым параметром; оценка основана на небольшой случайной выборке избирателей. В качестве альтернативы желательно оценить вероятность того, что избиратель проголосует за конкретного кандидата, на основе некоторых демографических характеристик, таких как возраст.

Или, например, в радаре цель состоит в том, чтобы определить расстояние до объектов (самолетов, лодок и т. Д.) Путем анализа времени двусторонней передачи полученных эхо-сигналов переданных импульсов. Поскольку отраженные импульсы неизбежно включаются в электрический шум, их измеренные значения распределяются случайным образом, поэтому необходимо оценить время прохождения.

В качестве другого примера в теории электрической связи измерения, которые содержат информацию об интересующих параметрах, часто связаны с зашумленным сигналом .

Основы [ править ]

Для данной модели необходимы несколько статистических «ингредиентов», чтобы можно было реализовать оценщик. Первым из них является статистическая выборка - набор точек данных взяты из случайного вектора (RV) размера N . Поместите в вектор ,

${\ displaystyle \ mathbf {x} = {\ begin {bmatrix} x [0] \\ x [1] \\\ vdots \\ x [N-1] \ end {bmatrix}}.}$

Во-вторых, есть M параметров

${\ displaystyle \ mathbf {\ theta} = {\ begin {bmatrix} \ theta _ {1} \\\ theta _ {2} \\\ vdots \\\ theta _ {M} \ end {bmatrix}},}$

чьи значения подлежат оценке. В-третьих, непрерывная функция плотности вероятности (pdf) или ее дискретный аналог, функция массы вероятности (pmf) основного распределения, которое сгенерировало данные, должны быть указаны в зависимости от значений параметров:

${\ Displaystyle р (\ mathbf {x} | \ mathbf {\ theta}). \,}$

Также возможно, что сами параметры имеют распределение вероятностей (например, байесовскую статистику ). Затем необходимо определить байесовскую вероятность

${\ Displaystyle \ пи (\ mathbf {\ theta}). \,}$

После того, как модель сформирована, цель состоит в том, чтобы оценить параметры, обычно обозначаемые оценки , где «шляпа» указывает оценку.${\ Displaystyle {\ шляпа {\ mathbf {\ theta}}}}$

Одним из распространенных оценщиков является оценщик минимальной среднеквадратичной ошибки (MMSE), который использует ошибку между оцененными параметрами и фактическим значением параметров.

${\displaystyle \mathbf {e} ={\hat {\mathbf {\theta } }}-\mathbf {\theta } }$

как основа оптимальности. Затем этот член ошибки возводится в квадрат, и ожидаемое значение этого квадрата минимизируется для средства оценки MMSE.

Оценщики [ править ]

Обычно используемые оценщики (методы оценки) и связанные с ними темы включают:

• Максимум правдоподобия оценок
• Байесовские оценки
• Метод оценки моментов
• Граница Крамера – Рао
• Наименьших квадратов
• Минимальная среднеквадратичная ошибка (MMSE), также известная как ошибка наименьшего квадрата Байеса (BLSE)
• Максимальный апостериорный (MAP)
• Несмещенная оценка минимальной дисперсии (MVUE)
• Идентификация нелинейной системы
• Лучшая линейная несмещенная оценка (СИНИЙ)
• Беспристрастные оценки - см. Систематическая ошибка оценки .
• Фильтр твердых частиц
• Цепь Маркова Монте-Карло (MCMC)
• Фильтр Калмана и его различные производные
• Фильтр Винера

Примеры [ править ]

Неизвестная константа в аддитивном белом гауссовском шуме [ править ]

Рассмотрим принятый дискретный сигнал , , из независимых выборок , который состоит из неизвестной константы с аддитивным белым гауссовским шумом (AWGN) с нулевым средним и известной дисперсией ( т.е. , ). Поскольку дисперсия известна, единственным неизвестным параметром является .${\displaystyle x[n]}$${\displaystyle N}$ ${\displaystyle A}$${\displaystyle w[n]}$ ${\displaystyle \sigma ^{2}}$${\displaystyle {\mathcal {N}}(0,\sigma ^{2})}$${\displaystyle A}$

Тогда модель сигнала

${\displaystyle x[n]=A+w[n]\quad n=0,1,\dots ,N-1}$

Две возможные (из многих) оценки параметра :${\displaystyle A}$

• ${\displaystyle {\hat {A}}_{1}=x[0]}$
• ${\displaystyle {\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$что является выборочным средним

Оба этих оценок имеют среднее из , которые могут быть показаны через принимая ожидаемое значение каждого оценки${\displaystyle A}$

${\displaystyle \mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}$

а также

${\displaystyle \mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}$

На данный момент кажется, что эти два оценщика работают одинаково. Однако разница между ними становится очевидной при сравнении отклонений.

${\displaystyle \mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}}$

а также

${\displaystyle \mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {\text{independence}}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}}$

Казалось бы, выборочное среднее является лучшей оценкой, поскольку его дисперсия ниже для каждого  N  > 1.

Максимальная вероятность [ править ]

Продолжая пример с использованием оценщика максимального правдоподобия , функция плотности вероятности (pdf) шума для одной выборки имеет вид${\displaystyle w[n]}$

${\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}$

и вероятность становится ( можно думать о )${\displaystyle x[n]}$${\displaystyle x[n]}$${\displaystyle {\mathcal {N}}(A,\sigma ^{2})}$

${\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}$

По независимости вероятность становится${\displaystyle \mathbf {x} }$

${\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}$

Принимая натуральный логарифм PDF

${\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}$

и оценка максимального правдоподобия

${\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}$

Взяв первую производную от функции логарифмического правдоподобия

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$

и установив его на ноль

${\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}$

Это приводит к оценке максимального правдоподобия

${\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$

что является просто выборочным средним. Из этого примера было обнаружено, что выборочное среднее является оценкой максимального правдоподобия для выборок фиксированного неизвестного параметра, искаженного AWGN.${\displaystyle N}$

Нижняя граница Крамера – Рао [ править ]

Чтобы найти нижнюю границу Крамера – Рао (CRLB) оценки выборочного среднего, сначала необходимо найти информационное число Фишера.

${\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]}$

и копирование сверху

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$

Взяв вторую производную

${\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}$

и найти отрицательное ожидаемое значение тривиально, так как теперь это детерминированная константа${\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}$

Наконец, помещая информацию Фишера в

${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}$

приводит к

${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}$

Сравнение этого с дисперсией выборочного среднего (определенного ранее) показывает, что выборочное среднее равно нижней границе Крамера – Рао для всех значений и . Другими словами, выборочное среднее является (обязательно уникальным) эффективным оценщиком и, таким образом, также несмещенным оценщиком минимальной дисперсии (MVUE) в дополнение к оценщику максимального правдоподобия .${\displaystyle N}$${\displaystyle A}$

Максимум равномерного распределения [ править ]

Одним из простейших нетривиальных примеров оценивания является оценка максимума равномерного распределения. Он используется в качестве практического упражнения в классе и для иллюстрации основных принципов теории оценивания. Кроме того, в случае оценки, основанной на единственной выборке, это демонстрирует философские проблемы и возможные недоразумения при использовании оценок максимального правдоподобия и функций правдоподобия .

Учитывая дискретное равномерное распределение с неизвестным максимумом, оценка UMVU для максимума определяется как${\displaystyle 1,2,\dots ,N}$

${\displaystyle {\frac {k+1}{k}}m-1=m+{\frac {m}{k}}-1}$

где m - максимум выборки, а k - размер выборки, выборка без замены. ^{[2] [3]} Эта проблема широко известна как проблема немецких танков из-за применения максимальной оценки к оценке производства немецких танков во время Второй мировой войны .

Интуитивно формула может быть понята как;

«Максимум выборки плюс средний разрыв между наблюдениями в выборке»,

разрыв добавляется, чтобы компенсировать отрицательное смещение максимума выборки в качестве оценки максимума генеральной совокупности. ^{[примечание 1]}

Это имеет дисперсию ^[2]

${\displaystyle {\frac {1}{k}}{\frac {(N-k)(N+1)}{(k+2)}}\approx {\frac {N^{2}}{k^{2}}}{\text{ for small samples }}k\ll N}$

таким образом, стандартное отклонение приблизительно равно среднему размеру (генеральной совокупности) разрыва между выборками; сравните выше. Это можно рассматривать как очень простой случай оценки максимального интервала .${\displaystyle N/k}$${\displaystyle {\frac {m}{k}}}$

Максимум выборки является оценкой максимального правдоподобия для максимума генеральной совокупности, но, как обсуждалось выше, он смещен.

Приложения [ править ]

Многочисленные области требуют использования теории оценивания. Некоторые из этих полей включают:

• Интерпретация научных экспериментов
• Обработка сигналов
• Клинические испытания
• Опросы мнений
• Контроль качества
• Телекоммуникации
• Управление проектом
• Программная инженерия
• Теория управления (в частности, адаптивное управление )
• Система обнаружения сетевых вторжений
• Определение орбиты

Измеренные данные могут быть подвержен шуму или неопределенность , и именно через статистическую вероятность , что оптимальные решения ищутся экстракт как много информации из данных , насколько это возможно.

См. Также [ править ]

Заметки [ править ]

Ссылки [ править ]

Цитаты [ править ]

Источники [ править ]

Внешние ссылки [ править ]

• СМИ, связанные с теорией оценивания, на Викискладе?