Достаточная статистика

В статистике , А статистика является достаточной по отношению к статистической модели и связанному с ней неизвестным параметром , если «нет другого статистики , которые могут быть вычислены из того же образца , не обеспечивает какую - либо дополнительная информация , как к значению параметра». ^[1] В частности, статистика достаточна для семейства из распределений вероятности , если образец , из которого она рассчитана не дает никакой дополнительной информации , чем статистики, о том , какие из этих распределений вероятности является выборочным распределением .

Связанная концепция - это концепция линейной достаточности , которая слабее, чем достаточность, но может применяться в некоторых случаях, когда нет достаточной статистики, хотя она ограничивается линейными оценками. ^[2] Колмогоров функция структуры имеет дело с индивидуальными конечными данными; с этим связано понятие алгоритмической достаточной статистики.

Эта концепция принадлежит сэру Рональду Фишеру в 1920 году. Стивен Стиглер отметил в 1973 году, что концепция достаточности потеряла популярность в описательной статистике из-за сильной зависимости от предположения о форме распределения (см. Теорему Питмана – Купмана – Дармуа ниже. ), но оставался очень важным в теоретической работе. ^[3]

Фон [ править ]

Грубо говоря, учитывая набор из независимых одинаково распределенных данных условных на неизвестном параметре , достаточная статистикой является функцией , значение которого содержит всю информацию , необходимую для вычисления какой - либо оценки параметра (например, максимальное правдоподобие оценки). В соответствии с теоремой факторизации ( см. Ниже ) для достаточной статистики плотность вероятности может быть записана как . Из этой факторизации легко увидеть, что оценка максимального правдоподобия будет взаимодействовать только с сквозным . Как правило, достаточная статистика - это простая функция данных, например сумма всех точек данных.${\ displaystyle \ mathbf {X}}$${\ displaystyle \ theta}$${\ Displaystyle Т (\ mathbf {X})}$${\ Displaystyle Т (\ mathbf {X})}$${\ Displaystyle е _ {\ mathbf {X}} (х) = час (х) \, г (\ тета, Т (х))}$${\ displaystyle \ theta}$${\ displaystyle \ mathbf {X}}$${\ Displaystyle Т (\ mathbf {X})}$

В более общем смысле, «неизвестный параметр» может представлять вектор неизвестных величин или может представлять все в модели, что неизвестно или не полностью определено. В таком случае достаточной статистикой может быть набор функций, называемых совместно достаточной статистикой . Обычно функций столько, сколько параметров. Например, для гауссовского распределения с неизвестным средним значением и дисперсией совместно достаточная статистика, из которой могут быть оценены оценки максимального правдоподобия обоих параметров, состоит из двух функций, суммы всех точек данных и суммы всех квадратов точек данных ( или, что эквивалентно, выборочное среднее и выборочная дисперсия).

Эта концепция эквивалентна утверждению, что при условии наличия достаточной статистики для параметра совместное распределение вероятностей данных не зависит от этого параметра. И статистика, и базовый параметр могут быть векторами.

Математическое определение [ править ]

Статистики t  =  T ( X ) достаточно для базового параметра θ именно в том случае, если условное распределение вероятностей данных X , учитывая статистику t  =  T ( X ), не зависит от параметра θ . ^[4]

В качестве альтернативы можно сказать, что статистика  T ( X ) достаточна для θ, если ее взаимная информация с θ равна взаимной информации между X и θ . ^[5] Другими словами, неравенство обработки данных становится равенством:

${\ Displaystyle I {\ bigl (} \ theta; T (X) {\ bigr)} = I (\ theta; X)}$

Пример [ править ]

Например, выборочного среднего достаточно для среднего ( μ ) нормального распределения с известной дисперсией. Как только среднее значение образца известно, никакая дополнительная информация о μ не может быть получена из самого образца. С другой стороны, для произвольного распределения медианы недостаточны для среднего значения: даже если медиана выборки известна, знание самой выборки предоставит дополнительную информацию о среднем значении совокупности. Например, если наблюдения, которые меньше медианы, лишь немного меньше, но наблюдения, превышающие медиану, превышают ее на большую величину, то это будет иметь отношение к выводу о среднем населении.

Теорема факторизации Фишера – Неймана [ править ]

Теорема факторизации Фишера или критерий факторизации обеспечивает удобную характеристику достаточной статистики. Если функция плотности вероятности равна ƒ _θ ( x ), то T достаточно для θ тогда и только тогда, когда могут быть найдены такиенеотрицательные функции g и h , что

${\ Displaystyle е _ {\ тета} (х) = час (х) \, г _ {\ тета} (Т (х)),}$

т.е. плотность ƒ может быть факторизована в продукт таким образом, что один фактор, h , не зависит от θ, а другой фактор, который действительно зависит от θ , зависит от x только через T ( x ).

Легко видеть, что если F ( t ) - взаимно однозначная функция и T - достаточная статистика, то F ( T ) - достаточная статистика. В частности, мы можем умножить достаточную статистику на ненулевую константу и получить другую достаточную статистику.

Интерпретация принципа правдоподобия [ править ]

Смысл теоремы состоит в том, что при использовании вывода, основанного на правдоподобии, два набора данных, дающие одно и то же значение для достаточной статистики T ( X ), всегда будут давать одни и те же выводы о θ . По критерию факторизации зависимость правдоподобия от θ только в сочетании с T ( X ). Поскольку это одинаково в обоих случаях, зависимость от θ также будет одинаковой, что приведет к идентичным выводам.

Доказательство [ править ]

Из-за Хогга и Крейга. ^[6] Пусть , обозначает случайную выборку из распределения, имеющего pdf f ( x ,  θ ) для ι  <  θ  <  δ . Пусть Y ₁  =  u ₁ ( X ₁ ,  X ₂ , ...,  X _n ) - статистика, pdf которой равен g ₁ ( y ₁ ;  θ ). Мы хотим доказать, что Y ₁  =  u ₁ ( X ₁ ,${\ Displaystyle X_ {1}, X_ {2}, \ ldots, X_ {n}}$ Х ₂ , ...,  Х _п ) является достаточной статистикой для & thetas тогда и только тогда , когда для некоторой функции Н ,

${\displaystyle \prod _{i=1}^{n}f(x_{i};\theta )=g_{1}\left[u_{1}(x_{1},x_{2},\dots ,x_{n});\theta \right]H(x_{1},x_{2},\dots ,x_{n}).}$

Сначала предположим, что

${\displaystyle \prod _{i=1}^{n}f(x_{i};\theta )=g_{1}\left[u_{1}(x_{1},x_{2},\dots ,x_{n});\theta \right]H(x_{1},x_{2},\dots ,x_{n}).}$

Сделаем преобразование y _i  =  u _i ( x ₁ ,  x ₂ , ...,  x _n ), для i  = 1, ...,  n , имеющее обратные функции x _i  =  w _i ( y ₁ ,  y ₂ , ...,  y _n ) для i  = 1, ...,  n и якобиана . Таким образом,${\displaystyle J=\left[w_{i}/y_{j}\right]}$

${\displaystyle \prod _{i=1}^{n}f\left[w_{i}(y_{1},y_{2},\dots ,y_{n});\theta \right]=|J|g_{1}(y_{1};\theta )H\left[w_{1}(y_{1},y_{2},\dots ,y_{n}),\dots ,w_{n}(y_{1},y_{2},\dots ,y_{n})\right].}$

Левый член - это совместный pdf g ( y ₁ , y ₂ , ..., y _n ; θ) Y ₁ = u ₁ ( X ₁ , ..., X _n ), ..., Y _n = u _n ( X ₁ , ..., X _n ). В правом элементе - pdf-файл от , так что это частное от и ; то есть, это условное PDF из дается .${\displaystyle g_{1}(y_{1};\theta )}$${\displaystyle Y_{1}}$${\displaystyle H[w_{1},\dots ,w_{n}]|J|}$${\displaystyle g(y_{1},\dots ,y_{n};\theta )}$${\displaystyle g_{1}(y_{1};\theta )}$${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1};\theta )}$${\displaystyle Y_{2},\dots ,Y_{n}}$${\displaystyle Y_{1}=y_{1}}$

Но , таким образом , было дано не зависеть . Поскольку не было введено в преобразовании и, соответственно, не в якобиане , отсюда следует, что не зависит от и является достаточной статистикой для .${\displaystyle H(x_{1},x_{2},\dots ,x_{n})}$${\displaystyle H\left[w_{1}(y_{1},\dots ,y_{n}),\dots ,w_{n}(y_{1},\dots ,y_{n}))\right]}$${\displaystyle \theta }$${\displaystyle \theta }$${\displaystyle J}$${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1};\theta )}$${\displaystyle \theta }$${\displaystyle Y_{1}}$${\displaystyle \theta }$

Обратное доказывается следующим образом:

${\displaystyle g(y_{1},\dots ,y_{n};\theta )=g_{1}(y_{1};\theta )h(y_{2},\dots ,y_{n}\mid y_{1}),}$

где не зависит от, потому что зависит только от , которые не зависят от достаточной статистики гипотезой, когда обусловлены ею . Теперь разделите оба члена на абсолютное значение ненулевого якобиана и замените их функциями из . Это дает${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1})}$${\displaystyle \theta }$${\displaystyle Y_{2}...Y_{n}}$${\displaystyle X_{1}...X_{n}}$${\displaystyle \Theta }$${\displaystyle Y_{1}}$${\displaystyle J}$${\displaystyle y_{1},\dots ,y_{n}}$${\displaystyle u_{1}(x_{1},\dots ,x_{n}),\dots ,u_{n}(x_{1},\dots ,x_{n})}$${\displaystyle x_{1},\dots ,x_{n}}$

${\displaystyle {\frac {g\left[u_{1}(x_{1},\dots ,x_{n}),\dots ,u_{n}(x_{1},\dots ,x_{n});\theta \right]}{|J^{*}|}}=g_{1}\left[u_{1}(x_{1},\dots ,x_{n});\theta \right]{\frac {h(u_{2},\dots ,u_{n}\mid u_{1})}{|J^{*}|}}}$

где якобиан с заменен их значением в терминах . Член левосторонним обязательно совместный PDF из . Поскольку и, следовательно , не зависит от , то${\displaystyle J^{*}}$${\displaystyle y_{1},\dots ,y_{n}}$${\displaystyle x_{1},\dots ,x_{n}}$${\displaystyle f(x_{1};\theta )\cdots f(x_{n};\theta )}$${\displaystyle X_{1},\dots ,X_{n}}$${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1})}$${\displaystyle h(u_{2},\dots ,u_{n}\mid u_{1})}$${\displaystyle \theta }$

${\displaystyle H(x_{1},\dots ,x_{2})={\frac {h(u_{2},\dots ,u_{n}\mid u_{1})}{|J^{*}|}}}$

это функция, не зависящая от .${\displaystyle \theta }$

Еще одно доказательство [ править ]

Более простое и наглядное доказательство состоит в следующем, хотя оно применимо только в дискретном случае.

Мы используем сокращенные обозначения для обозначения совместной плотности вероятности by . Поскольку является функцией , мы имеем , пока и ноль в противном случае. Следовательно:${\displaystyle (X,T(X))}$${\displaystyle f_{\theta }(x,t)}$${\displaystyle T}$${\displaystyle X}$${\displaystyle f_{\theta }(x,t)=f_{\theta }(x)}$${\displaystyle t=T(x)}$

${\displaystyle {\begin{aligned}f_{\theta }(x)&=f_{\theta }(x,t)\\[5pt]&=f_{\theta }(x\mid t)f_{\theta }(t)\\[5pt]&=f(x\mid t)f_{\theta }(t)\end{aligned}}}$

причем последнее равенство верно по определению достаточной статистики. Таким образом, с и .${\displaystyle f_{\theta }(x)=a(x)b_{\theta }(t)}$${\displaystyle a(x)=f_{X\mid t}(x)}$${\displaystyle b_{\theta }(t)=f_{\theta }(t)}$

Наоборот, если мы имеем${\displaystyle f_{\theta }(x)=a(x)b_{\theta }(t)}$

${\displaystyle {\begin{aligned}f_{\theta }(t)&=\sum _{x:T(x)=t}f_{\theta }(x,t)\\[5pt]&=\sum _{x:T(x)=t}f_{\theta }(x)\\[5pt]&=\sum _{x:T(x)=t}a(x)b_{\theta }(t)\\[5pt]&=\left(\sum _{x:T(x)=t}a(x)\right)b_{\theta }(t).\end{aligned}}}$

С первым равенством по определению pdf для нескольких переменных , вторым по замечанию выше, третьим по гипотезе и четвертым, потому что суммирование не закончено .${\displaystyle t}$

Пусть обозначим условную плотность вероятности дается . Затем мы можем получить явное выражение для этого:${\displaystyle f_{X\mid t}(x)}$${\displaystyle X}$${\displaystyle T(X)}$

${\displaystyle {\begin{aligned}f_{X\mid t}(x)&={\frac {f_{\theta }(x,t)}{f_{\theta }(t)}}\\[5pt]&={\frac {f_{\theta }(x)}{f_{\theta }(t)}}\\[5pt]&={\frac {a(x)b_{\theta }(t)}{\left(\sum _{x:T(x)=t}a(x)\right)b_{\theta }(t)}}\\[5pt]&={\frac {a(x)}{\sum _{x:T(x)=t}a(x)}}.\end{aligned}}}$

Первое равенство по определению условной плотности вероятности, второе - по замечанию выше, третье - по доказанному выше равенству, а четвертое - по упрощению. Это выражение не зависит от статистики и поэтому является достаточной статистикой. ^[7]${\displaystyle \theta }$${\displaystyle T}$

Минимальная достаточность [ править ]

Достаточная статистика является минимально достаточной, если она может быть представлена ​​как функция любой другой достаточной статистики. Другими словами, S ( X ) достаточно минимально тогда и только тогда, когда ^[8]

1. S ( X ) достаточно, и
2. если T ( X ) достаточно, то существует функция f такая, что S ( X ) = f ( T ( X )).

Интуитивно понятно, что минимальная достаточная статистика наиболее эффективно фиксирует всю возможную информацию о параметре θ .

Полезная характеристика минимальной достаточности является то , что , когда плотность F & _thetas существует, S ( X ) является минимально достаточным , если и только если

${\displaystyle {\frac {f_{\theta }(x)}{f_{\theta }(y)}}}$не зависит от θ  : S ( x ) = S ( y )${\displaystyle \Longleftrightarrow }$

Это следует из сформулированной выше теоремы Фишера о факторизации .

Случай, в котором нет минимальной достаточной статистики, был показан Бахадуром, 1954. ^[9] Однако при мягких условиях минимальная достаточная статистика существует всегда. В частности, в евклидовом пространстве эти условия всегда выполняются, если все случайные величины (связанные с ) дискретны или непрерывны.${\displaystyle P_{\theta }}$

Если существует минимальная достаточная статистика, а это обычно так, то каждая полная достаточная статистика обязательно является минимально достаточной ^[10] (обратите внимание, что это утверждение не исключает вариант патологического случая, в котором существует полная достаточная статистика, в то время как существует нет минимально достаточной статистики). Хотя трудно найти случаи, в которых не существует минимально достаточной статистики, не так сложно найти случаи, в которых нет полной статистики.

Набор отношений правдоподобия является минимальной достаточной статистикой, если он дискретен или имеет функцию плотности.${\displaystyle \left\{{\frac {L(\theta _{1}\mid X)}{L(\theta _{2}\mid X)}}\right\}}$${\displaystyle P(X\mid \theta )}$

Примеры [ править ]

Распределение Бернулли [ править ]

Если X ₁ , ....,  X _n - независимые случайные величины с распределением Бернулли с ожидаемым значением p , то сумма T ( X ) =  X ₁  + ... +  X _n является достаточной статистикой для p (здесь 'успех 'соответствует X _i  = 1, а' неудача '- X _i  = 0; поэтому T - общее количество успехов)

Это видно при рассмотрении совместного распределения вероятностей:

${\displaystyle \Pr\{X=x\}=\Pr\{X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}\}.}$

Поскольку наблюдения независимы, это можно записать как

${\displaystyle p^{x_{1}}(1-p)^{1-x_{1}}p^{x_{2}}(1-p)^{1-x_{2}}\cdots p^{x_{n}}(1-p)^{1-x_{n}}}$

и, собирая степени p и 1 -  p , дает

${\displaystyle p^{\sum x_{i}}(1-p)^{n-\sum x_{i}}=p^{T(x)}(1-p)^{n-T(x)}}$

который удовлетворяет критерию факторизации, где h ( x ) = 1 является просто константой.

Обратите внимание на важную особенность: неизвестный параметр p взаимодействует с данными x только через статистику T ( x ) = Σ  x _i .

В качестве конкретного приложения это дает процедуру отличия честной монеты от смещенной монеты .

Равномерное распределение [ править ]

Если X ₁ , ...., X _n независимы и равномерно распределены на интервале [0, θ ], то T ( X ) = max ( X ₁ , ..., X _n ) достаточно для θ - выборки максимум - достаточная статистика для максимума популяции.

Чтобы убедиться в этом, рассмотрим совместную функцию плотности вероятности в X   ( X ₁ , ..., X _п ). Поскольку наблюдения независимы, pdf можно записать как произведение индивидуальных плотностей

${\displaystyle {\begin{aligned}f_{\theta }(x_{1},\ldots ,x_{n})&={\frac {1}{\theta }}\mathbf {1} _{\{0\leq x_{1}\leq \theta \}}\cdots {\frac {1}{\theta }}\mathbf {1} _{\{0\leq x_{n}\leq \theta \}}\\[5pt]&={\frac {1}{\theta ^{n}}}\mathbf {1} _{\{0\leq \min\{x_{i}\}\}}\mathbf {1} _{\{\max\{x_{i}\}\leq \theta \}}\end{aligned}}}$

где 1 _{{ ... }} - индикаторная функция . Таким образом, плотность принимает форму, требуемую теоремой Фишера – Неймана о факторизации, где h ( x ) =  1 _{{min { x i } ≥0}} , а остальная часть выражения является функцией только от θ и T ( x ) = max { x _i }.

Фактически, несмещенная оценка с минимальной дисперсией (MVUE) для θ равна

${\displaystyle {\frac {n+1}{n}}T(X).}$

Это максимум выборки, масштабированный для корректировки смещения , и он равен MVUE по теореме Лемана – Шеффе . Максимум непересчитанной выборки T ( X ) является оценкой максимального правдоподобия для θ .

Равномерное распределение (с двумя параметрами) [ править ]

Если независимы и равномерно распределены на интервале (где и - неизвестные параметры), то - двумерная достаточная статистика для .${\displaystyle X_{1},...,X_{n}}$${\displaystyle [\alpha ,\beta ]}$${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)}$${\displaystyle (\alpha \,,\,\beta )}$

Чтобы убедиться в этом, рассмотрят совместную функцию плотности вероятности в . Поскольку наблюдения независимы, pdf можно записать как произведение индивидуальных плотностей, т. Е.${\displaystyle X_{1}^{n}=(X_{1},\ldots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}\left({1 \over \beta -\alpha }\right)\mathbf {1} _{\{\alpha \leq x_{i}\leq \beta \}}=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \leq x_{i}\leq \beta ,\,\forall \,i=1,\ldots ,n\}}\\&=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,\beta \}}.\end{aligned}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\quad g_{(\alpha ,\beta )}(x_{1}^{n})=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,\beta \}}.\end{aligned}}}$

Поскольку не зависит от параметра, а зависит только от через функцию${\displaystyle h(x_{1}^{n})}$${\displaystyle (\alpha ,\beta )}$${\displaystyle g_{(\alpha \,,\,\beta )}(x_{1}^{n})}$${\displaystyle x_{1}^{n}}$${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right),}$

теорема факторизации Фишера – Неймана следует, что является достаточной статистикой для .${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)}$${\displaystyle (\alpha \,,\,\beta )}$

Распределение Пуассона [ править ]

Если X ₁ , ....,  X _n независимы и имеют распределение Пуассона с параметром λ , то сумма T ( X ) =  X ₁  + ... +  X _n является достаточной статистикой для  λ .

Чтобы убедиться в этом, рассмотрим совместное распределение вероятностей:

${\displaystyle \Pr(X=x)=P(X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}).}$

Поскольку наблюдения независимы, это можно записать как

${\displaystyle {e^{-\lambda }\lambda ^{x_{1}} \over x_{1}!}\cdot {e^{-\lambda }\lambda ^{x_{2}} \over x_{2}!}\cdots {e^{-\lambda }\lambda ^{x_{n}} \over x_{n}!}}$

который можно записать как

${\displaystyle e^{-n\lambda }\lambda ^{(x_{1}+x_{2}+\cdots +x_{n})}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}}$

который показывает, что критерий факторизации удовлетворяется, где h ( x ) - величина, обратная произведению факториалов. Обратите внимание, что параметр λ взаимодействует с данными только через свою сумму T ( X ).

Нормальное распределение [ править ]

Если независимы и нормально распределены с ожидаемым значением (параметром) и известной конечной дисперсией, то${\displaystyle X_{1},\ldots ,X_{n}}$${\displaystyle \theta }$${\displaystyle \sigma ^{2},}$

${\displaystyle T(X_{1}^{n})={\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

является достаточной статистикой для ${\displaystyle \theta .}$

Чтобы убедиться в этом, рассмотрят совместную функцию плотности вероятности в . Поскольку наблюдения независимы, pdf можно записать как произведение индивидуальных плотностей, т. Е.${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-\sum _{i=1}^{n}{\frac {\left(\left(x_{i}-{\overline {x}}\right)-\left(\theta -{\overline {x}}\right)\right)^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+\sum _{i=1}^{n}(\theta -{\overline {x}})^{2}-2\sum _{i=1}^{n}(x_{i}-{\overline {x}})(\theta -{\overline {x}})\right)\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+n(\theta -{\overline {x}})^{2}\right)\right)&&\sum _{i=1}^{n}(x_{i}-{\overline {x}})(\theta -{\overline {x}})=0\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right)\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right)\end{aligned}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\displaystyle {\begin{aligned}h(x_{1}^{n})&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right)\\[6pt]g_{\theta }(x_{1}^{n})&=\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right)\end{aligned}}}$

Поскольку не зависит от параметра, а зависит только от через функцию${\displaystyle h(x_{1}^{n})}$${\displaystyle \theta }$${\displaystyle g_{\theta }(x_{1}^{n})}$${\displaystyle x_{1}^{n}}$

${\displaystyle T(X_{1}^{n})={\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i},}$

теорема факторизации Фишера – Неймана следует, что является достаточной статистикой для .${\displaystyle T(X_{1}^{n})}$${\displaystyle \theta }$

Если неизвестно и поскольку , указанная выше вероятность может быть переписана как${\displaystyle \sigma ^{2}}$${\displaystyle s^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})=(2\pi \sigma ^{2})^{-n/2}\exp \left(-{\frac {n-1}{2\sigma ^{2}}}s^{2}\right)\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right).\end{aligned}}}$

Теорема факторизации Фишера – Неймана все еще верна и означает, что это совместная достаточная статистика для .${\displaystyle ({\overline {x}},s^{2})}$${\displaystyle (\theta ,\sigma ^{2})}$

Экспоненциальное распределение [ править ]

Если они независимы и экспоненциально распределены с математическим ожиданием θ (неизвестный действительный положительный параметр), то это достаточная статистика для θ.${\displaystyle X_{1},\dots ,X_{n}}$${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$

Чтобы убедиться в этом, рассмотрят совместную функцию плотности вероятности в . Поскольку наблюдения независимы, pdf можно записать как произведение индивидуальных плотностей, т. Е.${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}{1 \over \theta }\,e^{{-1 \over \theta }x_{i}}={1 \over \theta ^{n}}\,e^{{-1 \over \theta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\,\,\,g_{\theta }(x_{1}^{n})={1 \over \theta ^{n}}\,e^{{-1 \over \theta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

Поскольку не зависит от параметра, а зависит только от через функцию${\displaystyle h(x_{1}^{n})}$${\displaystyle \theta }$${\displaystyle g_{\theta }(x_{1}^{n})}$${\displaystyle x_{1}^{n}}$${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$

теорема факторизации Фишера – Неймана следует, что является достаточной статистикой для .${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$${\displaystyle \theta }$

Гамма-распределение [ править ]

Если независимы и распределены как a , где и - неизвестные параметры гамма-распределения , то является двумерной достаточной статистикой для .${\displaystyle X_{1},\dots ,X_{n}}$ Γ ( α , β ) {\displaystyle \Gamma (\alpha \,,\,\beta )} ${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle T(X_{1}^{n})=\left(\prod _{i=1}^{n}{X_{i}},\sum _{i=1}^{n}X_{i}\right)}$${\displaystyle (\alpha ,\beta )}$

Чтобы убедиться в этом, рассмотрят совместную функцию плотности вероятности в . Поскольку наблюдения независимы, pdf можно записать как произведение индивидуальных плотностей, т. Е.${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)x_{i}^{\alpha -1}e^{(-1/\beta )x_{i}}\\[5pt]&=\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)^{n}\left(\prod _{i=1}^{n}x_{i}\right)^{\alpha -1}e^{{-1 \over \beta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\,\,\,g_{(\alpha \,,\,\beta )}(x_{1}^{n})=\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)^{n}\left(\prod _{i=1}^{n}x_{i}\right)^{\alpha -1}e^{{-1 \over \beta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

Поскольку не зависит от параметра, а зависит только от через функцию${\displaystyle h(x_{1}^{n})}$${\displaystyle (\alpha \,,\,\beta )}$${\displaystyle g_{(\alpha \,,\,\beta )}(x_{1}^{n})}$${\displaystyle x_{1}^{n}}$${\displaystyle T(x_{1}^{n})=\left(\prod _{i=1}^{n}x_{i},\sum _{i=1}^{n}x_{i}\right),}$

из теоремы факторизации Фишера – Неймана следует, что это достаточная статистика для${\displaystyle T(X_{1}^{n})=\left(\prod _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}\right)}$${\displaystyle (\alpha \,,\,\beta ).}$

Теорема Рао – Блэквелла [ править ]

Достаточность находит полезное применение в теореме Рао – Блэквелла , которая гласит, что если g ( X ) является какой-либо оценкой θ , то обычно условное ожидание g ( X ) при достаточной статистике T ( X ) является лучшим ^{[ неопределенным ]} оценка θ , и никогда не бывает хуже. Иногда можно очень легко построить очень грубую оценку g ( X ), а затем оценить это условное ожидаемое значение, чтобы получить оценку, которая является оптимальной в различных смыслах.

Экспоненциальная семья [ править ]

Согласно теореме Питмана – Купмана – Дармуа, среди семейств вероятностных распределений, область определения которых не меняется в зависимости от оцениваемого параметра, только в экспоненциальных семействах имеется достаточная статистика, размерность которой остается ограниченной по мере увеличения размера выборки.

Менее кратко, предположим, что это независимые одинаково распределенные случайные величины, распределение которых, как известно, принадлежит некоторому семейству распределений вероятностей с фиксированной поддержкой. Только если это семейство является экспоненциальным, существует достаточная статистика (возможно, векторная) , число скалярных компонентов которой не увеличивается по мере увеличения размера выборки n .${\displaystyle X_{n},n=1,2,3,\dots }$${\displaystyle T(X_{1},\dots ,X_{n})}$

Эта теорема показывает, что достаточность (или, скорее, наличие скалярной или векторной достаточной статистики ограниченной размерности) резко ограничивает возможные формы распределения.

Другие виды достаточности [ править ]

Байесовская достаточность [ править ]

Альтернативная формулировка условия достаточности статистики, установленная в байесовском контексте, включает апостериорные распределения, полученные с использованием полного набора данных и с использованием только статистики. Таким образом, требование состоит в том, для почти всех х ,

${\displaystyle \Pr(\theta \mid X=x)=\Pr(\theta \mid T(X)=t(x)).}$

В более общем плане, не предполагая параметрическую модель, мы можем сказать, что статистика T является достаточной для прогнозирования, если

${\displaystyle \Pr(X'=x'\mid X=x)=\Pr(X'=x'\mid T(X)=t(x)).}$

Оказывается, эта «байесовская достаточность» является следствием сформулированной выше формулировки ^[11], однако они не эквивалентны напрямую в бесконечномерном случае. ^[12] Доступен ряд теоретических результатов о достаточности в байесовском контексте. ^[13]

Линейная достаточность [ править ]

Концепция, называемая «линейная достаточность», может быть сформулирована в байесовском контексте ^[14] и в более общем смысле. ^[15] Сначала определите лучший линейный предиктор вектора Y на основе X как . Тогда линейная статистика T ( x ) является достаточной линейной ^[16], если${\displaystyle {\hat {E}}[Y\mid X]}$

${\displaystyle {\hat {E}}[\theta \mid X]={\hat {E}}[\theta \mid T(X)].}$

См. Также [ править ]

• Полнота статистики
• Теорема Басу о независимости полной достаточной и вспомогательной статистики
• Теорема Лемана – Шеффе : полная достаточная оценка - это наилучшая оценка ее математического ожидания.
• Теорема Рао – Блэквелла.
• Достаточное уменьшение размеров
• Дополнительная статистика

Заметки [ править ]

Ссылки [ править ]

• Холево, А.С. (2001) [1994], "Достаточная статистика" , Энциклопедия математики , EMS Press
• Lehmann, EL; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer. Глава 4. ISBN 0-387-98502-6.
• Додж, Ю. (2003) Оксфордский словарь статистических терминов , OUP. ISBN 0-19-920613-9