Теория оценок - это раздел статистики, который занимается оценкой значений параметров на основе измеренных эмпирических данных, которые имеют случайную составляющую. Параметры описывают базовую физическую настройку таким образом, что их значение влияет на распределение измеренных данных. Оценка пытается аппроксимировать неизвестные параметры с помощью измерений.
В теории оценивания обычно рассматриваются два подхода. [1]
- Вероятностный подход (описанный в этой статье) предполагает, что измеренные данные являются случайными с распределением вероятностей, зависящим от интересующих параметров.
- Подход установки членства предполагает , что измеренный вектор данных принадлежит к набору , который зависит от вектора параметров.
Примеры
Например, желательно оценить долю избирателей, которые проголосуют за конкретного кандидата. Эта пропорция является искомым параметром; оценка основана на небольшой случайной выборке избирателей. В качестве альтернативы желательно оценить вероятность того, что избиратель проголосует за конкретного кандидата, на основе некоторых демографических характеристик, таких как возраст.
Или, например, в радаре цель состоит в том, чтобы определить расстояние до объектов (самолетов, лодок и т. Д.) Путем анализа времени двусторонней передачи полученных эхо-сигналов переданных импульсов. Поскольку отраженные импульсы неизбежно включаются в электрический шум, их измеренные значения распределяются случайным образом, поэтому необходимо оценить время прохождения.
В качестве другого примера в теории электрической связи измерения, которые содержат информацию об интересующих параметрах, часто связаны с зашумленным сигналом .
Основы
Для данной модели необходимы несколько статистических «ингредиентов», чтобы можно было реализовать оценщик. Первым из них является статистическая выборка - набор точек данных взяты из случайного вектора (RV) размера N . Поместите в вектор ,
Во-вторых, есть M параметров
чьи значения подлежат оценке. В-третьих, непрерывная функция плотности вероятности (pdf) или ее дискретный аналог, функция массы вероятности (pmf) основного распределения, которое сгенерировало данные, должны быть указаны в зависимости от значений параметров:
Также возможно, что сами параметры имеют распределение вероятностей (например, байесовскую статистику ). Затем необходимо определить байесовскую вероятность
После того, как модель сформирована, цель состоит в том, чтобы оценить параметры, причем оценки обычно обозначаются , где «шляпа» обозначает оценку.
Одним из распространенных оценщиков является оценщик минимальной среднеквадратичной ошибки (MMSE), который использует ошибку между оцененными параметрами и фактическим значением параметров.
как основа оптимальности. Затем этот член ошибки возводится в квадрат, и ожидаемое значение этого квадрата минимизируется для средства оценки MMSE.
Оценщики
Обычно используемые оценщики (методы оценки) и связанные с ними темы включают:
- Максимум правдоподобия оценок
- Байесовские оценки
- Метод оценки моментов
- Граница Крамера – Рао
- Наименьших квадратов
- Минимальная среднеквадратичная ошибка (MMSE), также известная как ошибка наименьшего квадрата Байеса (BLSE)
- Максимальный апостериорный (MAP)
- Несмещенная оценка минимальной дисперсии (MVUE)
- Идентификация нелинейной системы
- Лучшая линейная несмещенная оценка (СИНИЙ)
- Беспристрастные оценки - см. Систематическая ошибка оценки .
- Фильтр твердых частиц
- Цепь Маркова Монте-Карло (MCMC)
- Фильтр Калмана и его различные производные
- Фильтр Винера
Примеры
Неизвестная константа в аддитивном белом гауссовском шуме
Рассмотрим полученный дискретный сигнал ,, из независимые выборки , состоящие из неизвестной константыс аддитивным белым гауссовским шумом (AWGN)с нулевым средним и известной дисперсией ( То есть ,). Поскольку дисперсия известна, единственный неизвестный параметр - это.
Тогда модель сигнала
Две возможные (из многих) оценки параметра находятся:
- что является выборочным средним
Оба этих оценок имеют среднее из, который можно показать, взяв ожидаемое значение каждой оценки
а также
На данный момент кажется, что эти два оценщика работают одинаково. Однако разница между ними становится очевидной при сравнении отклонений.
а также
Казалось бы, выборочное среднее является лучшей оценкой, поскольку его дисперсия ниже для каждого N > 1.
Максимальная вероятность
Продолжая пример с использованием оценщика максимального правдоподобия , функция плотности вероятности (pdf) шума для одной выборки является
и вероятность становится ( можно думать о )
По независимости вероятность становится
Принимая натуральный логарифм PDF
и оценка максимального правдоподобия
Взяв первую производную от функции логарифмического правдоподобия
и установив его на ноль
Это приводит к оценке максимального правдоподобия
что является просто выборочным средним. В этом примере было обнаружено, что выборочное среднее является оценкой максимального правдоподобия для образцы фиксированного неизвестного параметра, поврежденного AWGN.
Нижняя граница Крамера – Рао
Чтобы найти нижнюю границу Крамера – Рао (CRLB) оценки выборочного среднего, сначала необходимо найти информационное число Фишера.
и копирование сверху
Взяв вторую производную
и найти отрицательное ожидаемое значение тривиально, так как теперь это детерминированная константа
Наконец, помещая информацию Фишера в
приводит к
Сравнение этого с дисперсией выборочного среднего (определенного ранее) показывает, что выборочное среднее равно нижней границе Крамера – Рао для всех значений а также . Другими словами, выборочное среднее является (обязательно уникальным) эффективным оценщиком и, следовательно, также несмещенным оценщиком минимальной дисперсии (MVUE) в дополнение к оценщику максимального правдоподобия .
Максимум равномерного распределения
Одним из простейших нетривиальных примеров оценивания является оценка максимума равномерного распределения. Он используется в качестве практического упражнения в классе и для иллюстрации основных принципов теории оценивания. Кроме того, в случае оценки, основанной на единственной выборке, это демонстрирует философские проблемы и возможные недоразумения при использовании оценок максимального правдоподобия и функций правдоподобия .
Учитывая дискретное равномерное распределение с неизвестным максимумом, оценка UMVU для максимума определяется как
где m - максимум выборки, а k - размер выборки, выборка без замены. [2] [3] Эта проблема широко известна как проблема немецких танков из-за применения максимальной оценки к оценке производства немецких танков во время Второй мировой войны .
Интуитивно формула может быть понята как;
- «Максимум выборки плюс средний разрыв между наблюдениями в выборке»,
разрыв добавляется, чтобы компенсировать отрицательное смещение максимума выборки в качестве оценки максимума генеральной совокупности. [примечание 1]
Это имеет дисперсию [2]
так что стандартное отклонение примерно , (совокупный) средний размер разрыва между выборками; сравниватьвыше. Это можно рассматривать как очень простой случай оценки максимального интервала .
Максимум выборки является оценкой максимального правдоподобия для максимума генеральной совокупности, но, как обсуждалось выше, он является необъективным.
Приложения
Многочисленные области требуют использования теории оценивания. Некоторые из этих полей включают:
- Интерпретация научных экспериментов
- Обработка сигналов
- Клинические испытания
- Опросы мнений
- Контроль качества
- Телекоммуникации
- Управление проектом
- Программная инженерия
- Теория управления (в частности, адаптивное управление )
- Система обнаружения сетевых вторжений
- Определение орбиты
Измеренные данные могут быть подвержен шуму или неопределенность , и именно через статистическую вероятность , что оптимальные решения ищутся экстракт как много информации из данных , насколько это возможно.
Смотрите также
- Лучшая линейная несмещенная оценка (СИНИЙ)
- Полнота (статистика)
- Теория обнаружения
- Эффективность (статистика)
- Алгоритм ожидания-максимизации (алгоритм EM)
- Проблема Ферми
- Модель серая коробка
- Теория информации
- Спектральный анализ методом наименьших квадратов
- Соответствующий фильтр
- Спектральная оценка максимальной энтропии
- Мешающий параметр
- Параметрическое уравнение
- Принцип Парето
- Правило трех (статистика)
- Оценщик состояния
- Статистическая обработка сигналов
- Достаточность (статистика)
Заметки
- ^ Максимум выборки никогда не превышает максимум генеральной совокупности, но может быть меньше, следовательно, это предвзятая оценка : она будет иметь тенденцию занижать максимум генеральной совокупности.
Рекомендации
Цитаты
- ^ Уолтер, E .; Пронзато, Л. (1997). Идентификация параметрических моделей по экспериментальным данным . Лондон, Англия: Springer-Verlag.
- ^ а б Джонсон, Роджер (1994), «Оценка численности населения», Статистика преподавания , 16 (2 (лето)): 50–52, DOI : 10.1111 / j.1467-9639.1994.tb00688.x
- ^ Джонсон, Роджер (2006), «Оценка численности населения» , Получение лучших результатов от педагогической статистики , архивировано из оригинала (PDF) 20 ноября 2008 г.
Источники
- Теория точечного оценивания Э. Л. Леманна и Г. Казеллы. ( ISBN 0387985026 )
- Разработка системной стоимости , Дейл Шермон. ( ISBN 978-0-566-08861-2 )
- Математическая статистика и анализ данных Джона Райса. ( ISBN 0-534-209343 )
- Основы статистической обработки сигналов: теория оценок Стивена М. Кея ( ISBN 0-13-345711-7 )
- Введение в обнаружение и оценку сигналов Х. Винсент Пур ( ISBN 0-387-94173-8 )
- Обнаружение, оценка и теория модуляции, часть 1 Гарри Л. Ван Треса ( ISBN 0-471-09517-6 ; сайт )
- Оптимальное оценивание состояния: Калман, H-бесконечность, и нелинейные подходы Дэн Саймон сайт
- Али Х. Сайед , Адаптивные фильтры, Уайли, Нью-Джерси, 2008 г., ISBN 978-0-470-25388-5 .
- Али Х. Сайед , Основы адаптивной фильтрации, Wiley, NJ, 2003, ISBN 0-471-46126-1 .
- Томас Кайлат , Али Х. Сайед и Бабак Хассиби , Линейная оценка, Прентис-Холл, Нью-Джерси, 2000, ISBN 978-0-13-022464-4 .
- Бабак Хассиби , Али Х. Сайед и Томас Кайлат , Неопределенное квадратичное оценивание и управление: единый подход к H 2 и H Теории, Общество промышленной и прикладной математики (SIAM), Пенсильвания, 1999 г., ISBN 978-0-89871-411-1 .
- В.Г. Войнов, М.С. Никулин, "Несмещенные оценки и их приложения. Том 1: Одномерный случай", Kluwer Academic Publishers, 1993, ISBN 0-7923-2382-3 .
- В.Г. Войнов, М.С. Никулин, "Несмещенные оценки и их приложения. Том 2: Многомерный случай", Kluwer Academic Publishers, 1996, ISBN 0-7923-3939-8 .
Внешние ссылки
- СМИ, связанные с теорией оценивания, на Викискладе?