Инвариантная оценка

Эта статья поднимает множество проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалить эти сообщения-шаблоны ) Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Июль 2010 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения ) Эта статья требует дополнительных ссылок для проверки . Пожалуйста, помогите улучшить эту статью , добавив цитаты из надежных источников . Материал, не полученный от источника, может быть оспорен и удален. Найти источники:  «Инвариантная оценка»  -  новости  · газеты  · книги  · ученый  · JSTOR ( июль 2010 г. ) ( Узнайте, как и когда удалить это сообщение-шаблон ) ( Узнайте, как и когда удалить этот шаблон сообщения )

В статистике понятие инвариантного оценщика - это критерий, который можно использовать для сравнения свойств разных оценщиков для одной и той же величины. Это способ формализации идеи о том, что оценщик должен обладать некоторыми интуитивно привлекательными качествами. Строго говоря, «инвариантный» будет означать, что сами оценки не изменяются, когда и измерения, и параметры преобразуются совместимым образом, но смысл был расширен, чтобы оценки могли изменяться соответствующим образом с такими преобразованиями. ^[1] Термин эквивариантная оценкаиспользуется в формальных математических контекстах, которые включают точное описание взаимосвязи того, как средство оценки изменяется в ответ на изменения в наборе данных и параметризации: это соответствует использованию « эквивариантности » в более общей математике.

Общие настройки [ править ]

Фон [ править ]

Что касается статистического вывода , существует несколько подходов к теории оценивания, которые можно использовать для немедленного решения, какие оценки следует использовать в соответствии с этими подходами. Например, идеи из байесовского вывода могут напрямую привести к байесовским оценкам . Точно так же теория классического статистического вывода может иногда приводить к четким выводам о том, какую оценку следует использовать. Однако полезность этих теорий зависит от наличия полностью предписанной статистической модели, а также может зависеть от наличия соответствующей функции потерь для определения оценщика. Таким образом, байесовский анализмогут быть предприняты, что приведет к апостериорному распределению соответствующих параметров, но использование конкретной функции полезности или потерь может быть неясным. Идеи инвариантности затем могут быть применены к задаче резюмирования апостериорного распределения. В других случаях статистический анализ проводится без полностью определенной статистической модели или классическая теория статистического вывода не может быть легко применена, потому что рассматриваемое семейство моделей не поддается такой обработке. В дополнение к этим случаям, когда общая теория не предписывает оценку, концепция инвариантности оценки может применяться при поиске оценок альтернативных форм либо для простоты применения оценки, либо для того, чтобы оценка была устойчивой .

Концепция инвариантности иногда используется сама по себе как способ выбора между оценками, но это не обязательно окончательно. Например, требование инвариантности может быть несовместимо с требованием, чтобы оценка была несмещенной по среднему ; с другой стороны, критерий медианной несмещенности определяется в терминах распределения выборки оценщика и поэтому инвариантен относительно многих преобразований.

Одно из применений концепции инвариантности - это когда предлагается класс или семейство оценок, и среди них должна быть выбрана конкретная формулировка. Одна из процедур состоит в том, чтобы наложить соответствующие свойства инвариантности, а затем найти формулировку в этом классе, которая имеет наилучшие свойства, что приводит к так называемой оптимальной инвариантной оценке.

Некоторые классы инвариантных оценок [ править ]

Есть несколько типов преобразований, которые полезно учитывать при работе с инвариантными оценками. Каждый порождает класс оценок, инвариантных к этим конкретным типам преобразований.

• Инвариантность сдвига: теоретически оценки параметра местоположения должны быть инвариантными к простым сдвигам значений данных. Если все значения данных увеличиваются на заданную величину, оценка должна измениться на такую ​​же величину. При рассмотрении оценки с использованием средневзвешенного значения это требование инвариантности сразу подразумевает, что суммы весов должны быть равны единице. Хотя тот же результат часто получается из требования объективности, использование «инвариантности» не требует наличия среднего значения и вообще не использует какое-либо распределение вероятностей.
• Масштабная инвариантность: обратите внимание, что этот раздел об инвариантности масштабного параметра оценки не следует путать с более общей масштабной инвариантностью поведения систем при совокупных свойствах (в физике).
• Инвариантность преобразования параметров: здесь преобразование применяется только к параметрам. Идея здесь заключается в том, что, по сути, из данных и модели, включающей параметр θ, следует сделать такой же вывод, который был бы сделан из тех же данных, если бы модель использовала параметр φ, где φ - взаимно однозначное преобразование θ, φ = h (θ). Согласно этому типу инвариантности, результаты инвариантных преобразований оценок также должны быть связаны соотношением φ = h (θ). Оценщики максимального правдоподобия обладают этим свойством, когда преобразование является монотонным . Хотя асимптотические свойства оценщика могут быть инвариантными, свойства небольшой выборки могут быть разными, и необходимо получить конкретное распределение. ^[2]
• Инвариантность перестановок: если набор значений данных может быть представлен статистической моделью, что они являются результатами независимых и одинаково распределенных случайных величин , разумно наложить требование, чтобы любая оценка любого свойства общего распределения была инвариантной к перестановкам. : в частности, оценщик, рассматриваемый как функция набора значений данных, не должен изменяться, если элементы данных меняются местами в наборе данных.

Комбинация инвариантности перестановок и инвариантности местоположения для оценки параметра местоположения из независимого и идентично распределенного набора данных с использованием средневзвешенного значения подразумевает, что веса должны быть идентичны и в сумме равны единице. Конечно, могут быть предпочтительнее оценки, отличные от средневзвешенного.

Оптимальные инвариантные оценки [ править ]

При этой настройке нам предоставляется набор измерений, который содержит информацию о неизвестном параметре . Измерения моделируются как векторная случайная величина, имеющая функцию плотности вероятности, которая зависит от вектора параметров .${\ displaystyle x}$${\ displaystyle \ theta}$${\ displaystyle x}$ ${\ Displaystyle е (х | \ тета)}$${\ displaystyle \ theta}$

Проблема в том, чтобы оценить данное . Оценка, обозначенная как , является функцией измерений и принадлежит набору . Качество результата определяется функцией потерь, которая определяет функцию риска . Наборы возможных значений , и обозначаются , и , соответственно.${\ displaystyle \ theta}$${\ displaystyle x}$${\displaystyle a}$${\displaystyle A}$ ${\displaystyle L=L(a,\theta )}$ ${\displaystyle R=R(a,\theta )=E[L(a,\theta )|\theta ]}$${\displaystyle x}$${\displaystyle \theta }$${\displaystyle a}$${\displaystyle X}$${\displaystyle \Theta }$${\displaystyle A}$

В классификации [ править ]

В статистической классификации правило, которое присваивает класс новому элементу данных, может считаться особым типом оценщика. При формулировании предварительных знаний для распознавания образов можно использовать ряд соображений типа инвариантности .

Математическая установка [ править ]

Определение [ править ]

Инвариантная оценка - это оценка, которая подчиняется следующим двум правилам: ^{[ необходима цитата ]}

1. Принцип рациональной инвариантности: действие, предпринимаемое при решении проблемы, не должно зависеть от преобразования в используемое измерение.
2. Инвариантность Принцип: Если две проблемы решения имеют одинаковую формальную структуру (в терминах , , и ), то же самое правило решение должно быть использовано в каждой задаче.${\displaystyle X}$${\displaystyle \Theta }$${\displaystyle f(x|\theta )}$${\displaystyle L}$

Для формального определения инвариантной или эквивариантной оценки сначала необходимы некоторые определения, относящиеся к группам преобразований. Обозначим через множество возможных выборок данных. Группа преобразований из того , чтобы обозначать , представляет собой набор (измеримого) 1: 1 и на преобразования в себя, которая удовлетворяет следующие условия:${\displaystyle X}$${\displaystyle X}$${\displaystyle G}$${\displaystyle X}$

1. Если и тогда${\displaystyle g_{1}\in G}$${\displaystyle g_{2}\in G}$${\displaystyle g_{1}g_{2}\in G\,}$
2. Если то , где (То есть каждое преобразование имеет инверсию внутри группы.)${\displaystyle g\in G}$${\displaystyle g^{-1}\in G}$${\displaystyle g^{-1}(g(x))=x\,.}$
3. ${\displaystyle e\in G}$(т.е. есть тождественное преобразование )${\displaystyle e(x)=x\,}$

Наборы данных и in эквивалентны, если для некоторых . Все эквивалентные точки образуют класс эквивалентности . Такой класс эквивалентности называется орбитой (in ). Орбита, это множество . Если состоит из одной орбиты, то называется транзитивным.${\displaystyle x_{1}}$${\displaystyle x_{2}}$${\displaystyle X}$${\displaystyle x_{1}=g(x_{2})}$${\displaystyle g\in G}$${\displaystyle X}$${\displaystyle x_{0}}$${\displaystyle X(x_{0})}$${\displaystyle X(x_{0})=\{g(x_{0}):g\in G\}}$${\displaystyle X}$${\displaystyle g}$

Семейство плотностей называется инвариантным относительно группы, если для каждого и существует единственный такой, который имеет плотность . будут обозначены .${\displaystyle F}$${\displaystyle G}$${\displaystyle g\in G}$${\displaystyle \theta \in \Theta }$${\displaystyle \theta ^{*}\in \Theta }$${\displaystyle Y=g(x)}$${\displaystyle f(y|\theta ^{*})}$${\displaystyle \theta ^{*}}$${\displaystyle {\bar {g}}(\theta )}$

Если инвариантна относительно группы, то функция потерь называется инвариантной относительно if для каждого, и существует такая, что для всех . Преобразованное значение будет обозначено .${\displaystyle F}$${\displaystyle G}$${\displaystyle L(\theta ,a)}$${\displaystyle G}$${\displaystyle g\in G}$${\displaystyle a\in A}$${\displaystyle a^{*}\in A}$${\displaystyle L(\theta ,a)=L({\bar {g}}(\theta ),a^{*})}$${\displaystyle \theta \in \Theta }$${\displaystyle a^{*}}$${\displaystyle {\tilde {g}}(a)}$

В приведенном выше примере это группа преобразований из в себя и группа преобразований из в себя.${\displaystyle {\bar {G}}=\{{\bar {g}}:g\in G\}}$${\displaystyle \Theta }$${\displaystyle {\tilde {G}}=\{{\tilde {g}}:g\in G\}}$${\displaystyle A}$

Задача оценивания является инвариантной (эквивариантной) относительно, если существуют три группы, как определено выше.${\displaystyle G}$${\displaystyle G,{\bar {G}},{\tilde {G}}}$

Для задачи оценивания, которая инвариантна относительно , оценка является инвариантной оценкой при if, для всех и ,${\displaystyle G}$${\displaystyle \delta (x)}$${\displaystyle G}$${\displaystyle x\in X}$${\displaystyle g\in G}$

${\displaystyle \delta (g(x))={\tilde {g}}(\delta (x)).}$

Свойства [ править ]

1. Функция риска инвариантной оценки постоянна на орбитах . Эквивалентное для всех и .${\displaystyle \delta }$${\displaystyle \Theta }$${\displaystyle R(\theta ,\delta )=R({\bar {g}}(\theta ),\delta )}$${\displaystyle \theta \in \Theta }$${\displaystyle {\bar {g}}\in {\bar {G}}}$
2. Функция риска инвариантной оценки с транзитивностью постоянна.${\displaystyle {\bar {g}}}$

Для данной проблемы инвариантная оценка с наименьшим риском называется «наилучшей инвариантной оценкой». Не всегда удается получить наилучшую инвариантную оценку. Особым случаем, для которого это может быть достигнуто, является случай, когда он транзитивен.${\displaystyle {\bar {g}}}$

Пример: параметр местоположения [ изменить ]

Предположим , это параметр местоположения, если плотность имеет форму . Для и задача инвариантна относительно . Инвариантная оценка в этом случае должна удовлетворять${\displaystyle \theta }$${\displaystyle X}$${\displaystyle f(x-\theta )}$${\displaystyle \Theta =A=\mathbb {R} ^{1}}$${\displaystyle L=L(a-\theta )}$${\displaystyle g={\bar {g}}={\tilde {g}}=\{g_{c}:g_{c}(x)=x+c,c\in \mathbb {R} \}}$

${\displaystyle \delta (x+c)=\delta (x)+c,{\text{ for all }}c\in \mathbb {R} ,}$

таким образом, он имеет форму ( ). транзитивен, поэтому риск не зависит от : то есть ,. Лучшая инвариантная оценка - это та, которая сводит риск к минимуму.${\displaystyle \delta (x)=x+K}$${\displaystyle K\in \mathbb {R} }$${\displaystyle {\bar {g}}}$${\displaystyle \Theta }$${\displaystyle \theta }$${\displaystyle R(\theta ,\delta )=R(0,\delta )=\operatorname {E} [L(X+K)|\theta =0]}$${\displaystyle R(\theta ,\delta )}$

В случае, если L - квадрат ошибки ${\displaystyle \delta (x)=x-\operatorname {E} [X|\theta =0].}$

Оценщик Питмана [ править ]

Задача оценивания является то , что имеет плотность , где θ представляет собой параметр , который можно оценить, и где функция потерь является . Эта задача инвариантна со следующими (аддитивными) группами преобразований:${\displaystyle X=(X_{1},\dots ,X_{n})}$${\displaystyle f(x_{1}-\theta ,\dots ,x_{n}-\theta )}$${\displaystyle L(|a-\theta |)}$

${\displaystyle G=\{g_{c}:g_{c}(x)=(x_{1}+c,\dots ,x_{n}+c),c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\bar {G}}=\{g_{c}:g_{c}(\theta )=\theta +c,c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\tilde {G}}=\{g_{c}:g_{c}(a)=a+c,c\in \mathbb {R} ^{1}\}.}$

Лучшая инвариантная оценка - та, которая минимизирует${\displaystyle \delta (x)}$

${\displaystyle {\frac {\int _{-\infty }^{\infty }L(\delta (x)-\theta )f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }},}$

и это оценка Питмана (1939).

Для случая квадратичной ошибки потери результат будет

${\displaystyle \delta (x)={\frac {\int _{-\infty }^{\infty }\theta f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }}.}$

Если (т. Е. Многомерное нормальное распределение с независимыми компонентами единичной дисперсии), то${\displaystyle x\sim N(\theta 1_{n},I)\,\!}$

${\displaystyle \delta _{pitman}=\delta _{ML}={\frac {\sum {x_{i}}}{n}}.}$

Если (независимые компоненты , имеющие распределение Коши с параметром масштаба сг ) , то ,. Однако результат${\displaystyle x\sim C(\theta 1_{n},I\sigma ^{2})\,\!}$${\displaystyle \delta _{pitman}\neq \delta _{ML}}$

${\displaystyle \delta _{pitman}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,}$

с участием

${\displaystyle w_{k}=\prod _{j\neq k}\left[{\frac {1}{(x_{k}-x_{j})^{2}+4\sigma ^{2}}}\right]\left[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\right].}$

Ссылки [ править ]

• Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN 0-387-96098-8. Руководство по ремонту  0804611 .^{[ требуется страница ]}
• Freue, Габриэла В. Коэн (2007). «Оценка Питмана параметра местоположения Коши». Журнал статистического планирования и вывода . 137 : 1900–1913. DOI : 10.1016 / j.jspi.2006.05.002 .
• Питман, EJG (1939). «Оценка местоположения и масштабных параметров сплошной популяции любой заданной формы». Биометрика . 30 (3/4): 391–421. DOI : 10.1093 / Biomet / 30.3-4.391 . JSTOR  2332656 .
• Питман, EJG (1939). «Проверка гипотез о параметрах расположения и масштаба». Биометрика . 31 (1/2): 200–215. DOI : 10.1093 / Biomet / 31.1-2.200 . JSTOR  2334983 .