Достаточная статистика

В статистике , А статистика является достаточной по отношению к статистической модели и связанному с ней неизвестным параметром , если «нет другого статистики , которые могут быть вычислены из того же образца , не обеспечивает какую - либо дополнительная информация , как к значению параметра». ^[1] В частности, статистика достаточна для семьи из распределений вероятности , если образец , из которого она рассчитана не дает никакой дополнительной информации , чем статистики, о том , какие из этих распределений вероятностей является распределением выборки .

Связанная концепция - это концепция линейной достаточности , которая слабее, чем достаточность, но может применяться в некоторых случаях, когда нет достаточной статистики, хотя она ограничена линейными оценками. ^[2] Колмогоров функция структуры имеет дело с индивидуальными конечными данными; с этим связано понятие алгоритмической достаточной статистики.

Эта концепция принадлежит сэру Рональду Фишеру в 1920 году. Стивен Стиглер отметил в 1973 году, что концепция достаточности потеряла популярность в описательной статистике из-за сильной зависимости от предположения о форме распределения (см. Теорему Питмана – Купмана – Дармуа ниже. ), но оставался очень важным в теоретической работе. ^[3]

Фон [ править ]

Грубо говоря, учитывая набор из независимых одинаково распределенных данных условных на неизвестном параметре , достаточная статистикой является функцией , значение которого содержит всю информацию , необходимую для вычисления какой - либо оценки параметра (например, максимальное правдоподобие оценки). В соответствии с теоремой факторизации ( см. Ниже ) для достаточной статистики плотность вероятности может быть записана как . Из этой факторизации легко увидеть, что оценка максимального правдоподобия будет взаимодействовать только с сквозным . Обычно достаточная статистика - это простая функция данных, например, сумма всех точек данных.${\ displaystyle \ mathbf {X}}$${\ displaystyle \ theta}$${\ Displaystyle Т (\ mathbf {X})}$${\ Displaystyle Т (\ mathbf {X})}$${\ Displaystyle е _ {\ mathbf {X}} (х) = час (х) \, г (\ тета, Т (х))}$${\ displaystyle \ theta}$${\ displaystyle \ mathbf {X}}$${\ Displaystyle Т (\ mathbf {X})}$

В более общем смысле «неизвестный параметр» может представлять вектор неизвестных величин или может представлять все, что неизвестно или не полностью определено в модели. В таком случае достаточной статистикой может быть набор функций, называемых совместно достаточной статистикой . Обычно функций столько, сколько параметров. Например, для гауссовского распределения с неизвестным средним значением и дисперсией совместно достаточная статистика, из которой могут быть оценены оценки максимального правдоподобия обоих параметров, состоит из двух функций, суммы всех точек данных и суммы всех квадратов точек данных ( или, что эквивалентно, выборочное среднее и выборочная дисперсия).

Эта концепция эквивалентна утверждению, что при условии наличия достаточной статистики для параметра совместное распределение вероятностей данных не зависит от этого параметра. И статистика, и базовый параметр могут быть векторами.

Математическое определение [ править ]

Статистики t  =  T ( X ) достаточно для базового параметра θ именно в том случае, если условное распределение вероятностей данных X , учитывая статистику t  =  T ( X ), не зависит от параметра θ . ^[4]

Пример [ править ]

Например, выборочного среднего достаточно для среднего ( μ ) нормального распределения с известной дисперсией. Как только среднее значение образца известно, никакая дополнительная информация о μ не может быть получена из самого образца. С другой стороны, для произвольного распределения медианы недостаточны для среднего значения: даже если медиана выборки известна, знание самой выборки предоставит дополнительную информацию о среднем значении совокупности. Например, если наблюдения, которые меньше медианы, лишь немного меньше, но наблюдения, превышающие медианное значение, намного превышают ее, то это будет иметь отношение к выводу о среднем населении.

Теорема факторизации Фишера – Неймана [ править ]

Теорема факторизации Фишера или критерий факторизации обеспечивает удобную характеристику достаточной статистики. Если функция плотности вероятности равна ƒ _θ ( x ), то T достаточно для θ тогда и только тогда, когда могут быть найдены такиенеотрицательные функции g и h , что

${\ Displaystyle е _ {\ тета} (х) = час (х) \, г _ {\ тета} (Т (х)),}$

т.е. плотность ƒ может быть факторизована в продукт, так что один фактор, h , не зависит от θ, а другой фактор, который действительно зависит от θ , зависит от x только через T ( x ).

Легко видеть, что если F ( t ) - взаимно однозначная функция и T - достаточная статистика, то F ( T ) - достаточная статистика. В частности, мы можем умножить достаточную статистику на ненулевую константу и получить другую достаточную статистику.

Интерпретация принципа правдоподобия [ править ]

Смысл теоремы состоит в том, что при использовании вывода, основанного на правдоподобии, два набора данных, дающие одно и то же значение для достаточной статистики T ( X ), всегда будут давать одни и те же выводы о θ . По критерию факторизации зависимость правдоподобия от θ только в сочетании с T ( X ). Поскольку это одинаково в обоих случаях, зависимость от θ также будет одинаковой, что приведет к идентичным выводам.

Доказательство [ править ]

Из-за Хогга и Крейга. ^[5] Пусть , обозначает случайную выборку из распределения, имеющего pdf f ( x ,  θ ) для ι  <  θ  <  δ . Пусть Y ₁  =  u ₁ ( X ₁ ,  X ₂ , ...,  X _n ) - статистика, pdf которой равен g ₁ ( y ₁ ;  θ ). Мы хотим доказать, что Y ₁  =  u ₁ ( X ₁ ,${\ Displaystyle X_ {1}, X_ {2}, \ ldots, X_ {n}}$ Х ₂ , ...,  Х _п ) является достаточной статистикой для & thetas тогда и только тогда , когда для некоторой функции Н ,

${\displaystyle \prod _{i=1}^{n}f(x_{i};\theta )=g_{1}\left[u_{1}(x_{1},x_{2},\dots ,x_{n});\theta \right]H(x_{1},x_{2},\dots ,x_{n}).}$

Сначала предположим, что

${\displaystyle \prod _{i=1}^{n}f(x_{i};\theta )=g_{1}\left[u_{1}(x_{1},x_{2},\dots ,x_{n});\theta \right]H(x_{1},x_{2},\dots ,x_{n}).}$

Сделаем преобразование y _i  =  u _i ( x ₁ ,  x ₂ , ...,  x _n ), для i  = 1, ...,  n , имеющее обратные функции x _i  =  w _i ( y ₁ ,  y ₂ , ...,  y _n ) для i  = 1, ...,  n и якобиана . Таким образом,${\displaystyle J=\left[w_{i}/y_{j}\right]}$

${\displaystyle \prod _{i=1}^{n}f\left[w_{i}(y_{1},y_{2},\dots ,y_{n});\theta \right]=|J|g_{1}(y_{1};\theta )H\left[w_{1}(y_{1},y_{2},\dots ,y_{n}),\dots ,w_{n}(y_{1},y_{2},\dots ,y_{n})\right].}$

Левый член - это совместный pdf g ( y ₁ , y ₂ , ..., y _n ; θ) Y ₁ = u ₁ ( X ₁ , ..., X _n ), ..., Y _n = u _n ( X ₁ , ..., X _n ). В правом элементе - это pdf-файл , поэтому он является частным от и ; то есть, это условное PDF из дается .${\displaystyle g_{1}(y_{1};\theta )}$${\displaystyle Y_{1}}$${\displaystyle H[w_{1},\dots ,w_{n}]|J|}$${\displaystyle g(y_{1},\dots ,y_{n};\theta )}$${\displaystyle g_{1}(y_{1};\theta )}$${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1};\theta )}$${\displaystyle Y_{2},\dots ,Y_{n}}$${\displaystyle Y_{1}=y_{1}}$

Но , таким образом , было дано не зависеть . Поскольку не было введено в преобразовании и, соответственно, не в якобиане , отсюда следует, что не зависит от и является достаточной статистикой для .${\displaystyle H(x_{1},x_{2},\dots ,x_{n})}$${\displaystyle H\left[w_{1}(y_{1},\dots ,y_{n}),\dots ,w_{n}(y_{1},\dots ,y_{n}))\right]}$${\displaystyle \theta }$${\displaystyle \theta }$${\displaystyle J}$${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1};\theta )}$${\displaystyle \theta }$${\displaystyle Y_{1}}$${\displaystyle \theta }$

Обратное доказывается следующим образом:

${\displaystyle g(y_{1},\dots ,y_{n};\theta )=g_{1}(y_{1};\theta )h(y_{2},\dots ,y_{n}\mid y_{1}),}$

где не зависит от, потому что зависит только от , которые не зависят от достаточной статистики гипотезой, когда обусловлены ею . Теперь разделите оба члена на абсолютное значение неисчезающего якобиана и замените их функциями из . Это дает${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1})}$${\displaystyle \theta }$${\displaystyle Y_{2}...Y_{n}}$${\displaystyle X_{1}...X_{n}}$${\displaystyle \Theta }$${\displaystyle Y_{1}}$${\displaystyle J}$${\displaystyle y_{1},\dots ,y_{n}}$${\displaystyle u_{1}(x_{1},\dots ,x_{n}),\dots ,u_{n}(x_{1},\dots ,x_{n})}$${\displaystyle x_{1},\dots ,x_{n}}$

${\displaystyle {\frac {g\left[u_{1}(x_{1},\dots ,x_{n}),\dots ,u_{n}(x_{1},\dots ,x_{n});\theta \right]}{|J^{*}|}}=g_{1}\left[u_{1}(x_{1},\dots ,x_{n});\theta \right]{\frac {h(u_{2},\dots ,u_{n}\mid u_{1})}{|J^{*}|}}}$

где якобиан с заменен их значением в терминах . Член левосторонним обязательно совместный PDF из . Поскольку и, следовательно , не зависит от , то${\displaystyle J^{*}}$${\displaystyle y_{1},\dots ,y_{n}}$${\displaystyle x_{1},\dots ,x_{n}}$${\displaystyle f(x_{1};\theta )\cdots f(x_{n};\theta )}$${\displaystyle X_{1},\dots ,X_{n}}$${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1})}$${\displaystyle h(u_{2},\dots ,u_{n}\mid u_{1})}$${\displaystyle \theta }$

${\displaystyle H(x_{1},\dots ,x_{2})={\frac {h(u_{2},\dots ,u_{n}\mid u_{1})}{|J^{*}|}}}$

это функция, которая не зависит от .${\displaystyle \theta }$

Еще одно доказательство [ править ]

Более простое и наглядное доказательство состоит в следующем, хотя оно применимо только в дискретном случае.

Мы используем сокращенные обозначения для обозначения совместной плотности вероятности by . Поскольку является функцией , мы имеем , пока и ноль в противном случае. Следовательно:${\displaystyle (X,T(X))}$${\displaystyle f_{\theta }(x,t)}$${\displaystyle T}$${\displaystyle X}$${\displaystyle f_{\theta }(x,t)=f_{\theta }(x)}$${\displaystyle t=T(x)}$

${\displaystyle {\begin{aligned}f_{\theta }(x)&=f_{\theta }(x,t)\\[5pt]&=f_{\theta }(x\mid t)f_{\theta }(t)\\[5pt]&=f(x\mid t)f_{\theta }(t)\end{aligned}}}$

причем последнее равенство верно по определению достаточной статистики. Таким образом с и .${\displaystyle f_{\theta }(x)=a(x)b_{\theta }(t)}$${\displaystyle a(x)=f_{X\mid t}(x)}$${\displaystyle b_{\theta }(t)=f_{\theta }(t)}$

Наоборот, если мы имеем${\displaystyle f_{\theta }(x)=a(x)b_{\theta }(t)}$

${\displaystyle {\begin{aligned}f_{\theta }(t)&=\sum _{x:T(x)=t}f_{\theta }(x,t)\\[5pt]&=\sum _{x:T(x)=t}f_{\theta }(x)\\[5pt]&=\sum _{x:T(x)=t}a(x)b_{\theta }(t)\\[5pt]&=\left(\sum _{x:T(x)=t}a(x)\right)b_{\theta }(t).\end{aligned}}}$

С первым равенством по определению pdf для нескольких переменных , вторым по замечанию выше, третьим по гипотезе и четвертым потому, что суммирование не закончено .${\displaystyle t}$

Пусть обозначим условную плотность вероятности дается . Тогда мы можем получить явное выражение для этого:${\displaystyle f_{X\mid t}(x)}$${\displaystyle X}$${\displaystyle T(X)}$

${\displaystyle {\begin{aligned}f_{X\mid t}(x)&={\frac {f_{\theta }(x,t)}{f_{\theta }(t)}}\\[5pt]&={\frac {f_{\theta }(x)}{f_{\theta }(t)}}\\[5pt]&={\frac {a(x)b_{\theta }(t)}{\left(\sum _{x:T(x)=t}a(x)\right)b_{\theta }(t)}}\\[5pt]&={\frac {a(x)}{\sum _{x:T(x)=t}a(x)}}.\end{aligned}}}$

Первое равенство по определению условной плотности вероятности, второе - по замечанию выше, третье - по доказанному выше равенству, а четвертое - по упрощению. Это выражение не зависит от статистики и поэтому является достаточной статистикой. ^[6]${\displaystyle \theta }$${\displaystyle T}$

Минимальная достаточность [ править ]

Достаточная статистика является минимально достаточной, если она может быть представлена ​​как функция любой другой достаточной статистики. Другими словами, S ( X ) достаточно минимально тогда и только тогда, когда ^[7]

1. S ( X ) достаточно, и
2. если T ( X ) достаточно, то существует функция f такая, что S ( X ) = f ( T ( X )).

Интуитивно понятно, что минимальная достаточная статистика наиболее эффективно фиксирует всю возможную информацию о параметре θ .

Полезная характеристика минимальной достаточности является то , что , когда плотность F & _thetas существует, S ( X ) является минимально достаточным , если и только если

${\displaystyle {\frac {f_{\theta }(x)}{f_{\theta }(y)}}}$не зависит от θ  : S ( x ) = S ( y )${\displaystyle \Longleftrightarrow }$

Это следует из сформулированной выше теоремы Фишера о факторизации .

Случай, когда нет минимальной достаточной статистики, был показан Бахадуром, 1954. ^[8] Однако при мягких условиях минимальная достаточная статистика существует всегда. В частности, в евклидовом пространстве эти условия всегда выполняются, если все случайные величины (связанные с ) дискретны или все непрерывны.${\displaystyle P_{\theta }}$

Если существует минимальная достаточная статистика, а это обычно так, то каждая полная достаточная статистика обязательно является минимально достаточной ^[9] (обратите внимание, что это утверждение не исключает вариант патологического случая, в котором существует полная достаточная статистика, в то время как существует нет минимально достаточной статистики). Хотя трудно найти случаи, когда отсутствует минимальная достаточная статистика, не так сложно найти случаи, в которых нет полной статистики.

Набор отношений правдоподобия является минимальной достаточной статистикой, если он дискретен или имеет функцию плотности.${\displaystyle \left\{{\frac {L(\theta _{1}\mid X)}{L(\theta _{2}\mid X)}}\right\}}$${\displaystyle P(X\mid \theta )}$

Примеры [ править ]

Распределение Бернулли [ править ]

Если X ₁ , ....,  X _n - независимые случайные величины, распределенные по Бернулли с ожидаемым значением p , то сумма T ( X ) =  X ₁  + ... +  X _n является достаточной статистикой для p (здесь 'успех 'соответствует X _i  = 1, а' неудача '- X _i  = 0; поэтому T - общее количество успехов)

Это видно при рассмотрении совместного распределения вероятностей:

${\displaystyle \Pr\{X=x\}=\Pr\{X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}\}.}$

Поскольку наблюдения независимы, это можно записать как

${\displaystyle p^{x_{1}}(1-p)^{1-x_{1}}p^{x_{2}}(1-p)^{1-x_{2}}\cdots p^{x_{n}}(1-p)^{1-x_{n}}}$

и, собирая степени p и 1 -  p , дает

${\displaystyle p^{\sum x_{i}}(1-p)^{n-\sum x_{i}}=p^{T(x)}(1-p)^{n-T(x)}}$

который удовлетворяет критерию факторизации, где h ( x ) = 1 является просто константой.

Обратите внимание на важную особенность: неизвестный параметр p взаимодействует с данными x только через статистику T ( x ) = Σ  x _i .

В качестве конкретного приложения это дает процедуру отличия честной монеты от искаженной монеты .

Равномерное распределение [ править ]

Если X ₁ , ...., X _n независимы и равномерно распределены на интервале [0, θ ], то T ( X ) = max ( X ₁ , ..., X _n ) достаточно для θ - выборки максимум - достаточная статистика для максимума популяции.

Чтобы убедиться в этом, рассмотрим совместную функцию плотности вероятности в X   ( X ₁ , ..., X _п ). Поскольку наблюдения независимы, pdf можно записать как произведение индивидуальных плотностей

${\displaystyle {\begin{aligned}f_{\theta }(x_{1},\ldots ,x_{n})&={\frac {1}{\theta }}\mathbf {1} _{\{0\leq x_{1}\leq \theta \}}\cdots {\frac {1}{\theta }}\mathbf {1} _{\{0\leq x_{n}\leq \theta \}}\\[5pt]&={\frac {1}{\theta ^{n}}}\mathbf {1} _{\{0\leq \min\{x_{i}\}\}}\mathbf {1} _{\{\max\{x_{i}\}\leq \theta \}}\end{aligned}}}$

где 1 _{{ ... }} - индикаторная функция . Таким образом, плотность принимает форму, требуемую теоремой Фишера – Неймана о факторизации, где h ( x ) =  1 _{{min { x i } ≥0}} , а остальная часть выражения является функцией только от θ и T ( x ) = max { x _i }.

Фактически, несмещенная оценка с минимальной дисперсией (MVUE) для θ равна

${\displaystyle {\frac {n+1}{n}}T(X).}$

Это максимум выборки, масштабированный для корректировки смещения , и он равен MVUE по теореме Лемана – Шеффе . Максимум непересчитанной выборки T ( X ) - это оценка максимального правдоподобия для θ .

Равномерное распределение (с двумя параметрами) [ править ]

Если независимы и равномерно распределены на интервале (где и - неизвестные параметры), то - двумерная достаточная статистика для .${\displaystyle X_{1},...,X_{n}}$${\displaystyle [\alpha ,\beta ]}$${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)}$${\displaystyle (\alpha \,,\,\beta )}$

Чтобы убедиться в этом, рассмотрят совместную функцию плотности вероятности в . Поскольку наблюдения независимы, PDF может быть записан как произведение индивидуальных плотностей, т. Е.${\displaystyle X_{1}^{n}=(X_{1},\ldots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}\left({1 \over \beta -\alpha }\right)\mathbf {1} _{\{\alpha \leq x_{i}\leq \beta \}}=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \leq x_{i}\leq \beta ,\,\forall \,i=1,\ldots ,n\}}\\&=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,\beta \}}.\end{aligned}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\quad g_{(\alpha ,\beta )}(x_{1}^{n})=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,\beta \}}.\end{aligned}}}$

Поскольку не зависит от параметра, а зависит только от через функцию${\displaystyle h(x_{1}^{n})}$${\displaystyle (\alpha ,\beta )}$${\displaystyle g_{(\alpha \,,\,\beta )}(x_{1}^{n})}$${\displaystyle x_{1}^{n}}$${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right),}$

из теоремы факторизации Фишера – Неймана следует, что это достаточная статистика для .${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)}$${\displaystyle (\alpha \,,\,\beta )}$

Распределение Пуассона [ править ]

Если X ₁ , ....,  X _n независимы и имеют распределение Пуассона с параметром λ , то сумма T ( X ) =  X ₁  + ... +  X _n является достаточной статистикой для  λ .

Чтобы увидеть это, рассмотрим совместное распределение вероятностей:

${\displaystyle \Pr(X=x)=P(X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}).}$

Поскольку наблюдения независимы, это можно записать как

${\displaystyle {e^{-\lambda }\lambda ^{x_{1}} \over x_{1}!}\cdot {e^{-\lambda }\lambda ^{x_{2}} \over x_{2}!}\cdots {e^{-\lambda }\lambda ^{x_{n}} \over x_{n}!}}$

который можно записать как

${\displaystyle e^{-n\lambda }\lambda ^{(x_{1}+x_{2}+\cdots +x_{n})}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}}$

который показывает, что критерий факторизации удовлетворяется, где h ( x ) - величина, обратная произведению факториалов. Обратите внимание, что параметр λ взаимодействует с данными только через свою сумму T ( X ).

Нормальное распределение [ править ]

Если независимы и нормально распределены с ожидаемым значением (параметром) и известной конечной дисперсией, то${\displaystyle X_{1},\ldots ,X_{n}}$${\displaystyle \theta }$${\displaystyle \sigma ^{2},}$

${\displaystyle T(X_{1}^{n})={\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

является достаточной статистикой для ${\displaystyle \theta .}$

Чтобы убедиться в этом, рассмотрят совместную функцию плотности вероятности в . Поскольку наблюдения независимы, PDF может быть записан как произведение индивидуальных плотностей, т. Е.${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-\sum _{i=1}^{n}{\frac {\left(\left(x_{i}-{\overline {x}}\right)-\left(\theta -{\overline {x}}\right)\right)^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+\sum _{i=1}^{n}(\theta -{\overline {x}})^{2}-2\sum _{i=1}^{n}(x_{i}-{\overline {x}})(\theta -{\overline {x}})\right)\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+n(\theta -{\overline {x}})^{2}\right)\right)&&\sum _{i=1}^{n}(x_{i}-{\overline {x}})(\theta -{\overline {x}})=0\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right)\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right)\end{aligned}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\displaystyle {\begin{aligned}h(x_{1}^{n})&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right)\\[6pt]g_{\theta }(x_{1}^{n})&=\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right)\end{aligned}}}$

Поскольку не зависит от параметра, а зависит только от через функцию${\displaystyle h(x_{1}^{n})}$${\displaystyle \theta }$${\displaystyle g_{\theta }(x_{1}^{n})}$${\displaystyle x_{1}^{n}}$

${\displaystyle T(X_{1}^{n})={\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i},}$

из теоремы факторизации Фишера – Неймана следует, что это достаточная статистика для .${\displaystyle T(X_{1}^{n})}$${\displaystyle \theta }$

Если неизвестно и поскольку , указанная выше вероятность может быть переписана как${\displaystyle \sigma ^{2}}$${\displaystyle s^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})=(2\pi \sigma ^{2})^{-n/2}\exp \left(-{\frac {n-1}{2\sigma ^{2}}}s^{2}\right)\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right).\end{aligned}}}$

Теорема факторизации Фишера – Неймана остается верной и означает, что это совместная достаточная статистика для .${\displaystyle ({\overline {x}},s^{2})}$${\displaystyle (\theta ,\sigma ^{2})}$

Экспоненциальное распределение [ править ]

Если они независимы и экспоненциально распределены с математическим ожиданием θ (неизвестный действительный положительный параметр), то это достаточная статистика для θ.${\displaystyle X_{1},\dots ,X_{n}}$${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$

Чтобы убедиться в этом, рассмотрят совместную функцию плотности вероятности в . Поскольку наблюдения независимы, PDF может быть записан как произведение индивидуальных плотностей, т. Е.${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}{1 \over \theta }\,e^{{-1 \over \theta }x_{i}}={1 \over \theta ^{n}}\,e^{{-1 \over \theta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\,\,\,g_{\theta }(x_{1}^{n})={1 \over \theta ^{n}}\,e^{{-1 \over \theta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

Поскольку не зависит от параметра, а зависит только от через функцию${\displaystyle h(x_{1}^{n})}$${\displaystyle \theta }$${\displaystyle g_{\theta }(x_{1}^{n})}$${\displaystyle x_{1}^{n}}$${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$

из теоремы факторизации Фишера – Неймана следует, что это достаточная статистика для .${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$${\displaystyle \theta }$

Гамма-распределение [ править ]

Если независимы и распределены как a , где и - неизвестные параметры гамма-распределения , то - двумерная достаточная статистика для .${\displaystyle X_{1},\dots ,X_{n}}$ Γ ( α , β ) {\displaystyle \Gamma (\alpha \,,\,\beta )} ${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle T(X_{1}^{n})=\left(\prod _{i=1}^{n}{X_{i}},\sum _{i=1}^{n}X_{i}\right)}$${\displaystyle (\alpha ,\beta )}$

Чтобы убедиться в этом, рассмотрят совместную функцию плотности вероятности в . Поскольку наблюдения независимы, PDF может быть записан как произведение индивидуальных плотностей, т. Е.${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)x_{i}^{\alpha -1}e^{(-1/\beta )x_{i}}\\[5pt]&=\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)^{n}\left(\prod _{i=1}^{n}x_{i}\right)^{\alpha -1}e^{{-1 \over \beta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\,\,\,g_{(\alpha \,,\,\beta )}(x_{1}^{n})=\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)^{n}\left(\prod _{i=1}^{n}x_{i}\right)^{\alpha -1}e^{{-1 \over \beta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

Поскольку не зависит от параметра, а зависит только от через функцию${\displaystyle h(x_{1}^{n})}$${\displaystyle (\alpha \,,\,\beta )}$${\displaystyle g_{(\alpha \,,\,\beta )}(x_{1}^{n})}$${\displaystyle x_{1}^{n}}$${\displaystyle T(x_{1}^{n})=\left(\prod _{i=1}^{n}x_{i},\sum _{i=1}^{n}x_{i}\right),}$

из теоремы факторизации Фишера – Неймана следует, что это достаточная статистика для${\displaystyle T(X_{1}^{n})=\left(\prod _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}\right)}$${\displaystyle (\alpha \,,\,\beta ).}$

Теорема Рао – Блэквелла [ править ]

Достаточность находит полезное применение в теореме Рао – Блэквелла , которая утверждает, что если g ( X ) является какой-либо оценкой θ , то, как правило, условное ожидание g ( X ) при достаточной статистике T ( X ) является лучшим ^{[ неопределенным ]} оценка θ , и никогда не бывает хуже. Иногда можно очень легко построить очень грубую оценку g ( X ), а затем оценить это условное математическое ожидание, чтобы получить оценку, которая является оптимальной в различных смыслах.

Экспоненциальная семья [ править ]

Согласно теореме Питмана – Купмана – Дармуа, среди семейств вероятностных распределений, область определения которых не меняется в зависимости от оцениваемого параметра, только в экспоненциальных семействах имеется достаточная статистика, размерность которой остается ограниченной по мере увеличения размера выборки.

Менее кратко, предположим, что это независимые одинаково распределенные случайные величины, распределение которых, как известно, находится в некотором семействе распределений вероятностей с фиксированной поддержкой. Только если это семейство является экспоненциальным, существует достаточная статистика (возможно, с векторным значением) , количество скалярных компонентов которой не увеличивается по мере увеличения размера выборки n .${\displaystyle X_{n},n=1,2,3,\dots }$${\displaystyle T(X_{1},\dots ,X_{n})}$

Эта теорема показывает, что достаточность (или, скорее, наличие скалярной или векторной достаточной статистики ограниченной размерности) резко ограничивает возможные формы распределения.

Другие виды достаточности [ править ]

Байесовская достаточность [ править ]

Альтернативная формулировка условия достаточности статистики, установленная в байесовском контексте, включает апостериорные распределения, полученные с использованием полного набора данных и с использованием только статистики. Таким образом, требование состоит в том, для почти всех х ,

${\displaystyle \Pr(\theta \mid X=x)=\Pr(\theta \mid T(X)=t(x)).}$

В более общем плане, не предполагая параметрическую модель, мы можем сказать, что статистика T является достаточной для прогнозирования, если

${\displaystyle \Pr(X'=x'\mid X=x)=\Pr(X'=x'\mid T(X)=t(x)).}$

Оказывается, эта «байесовская достаточность» является следствием сформулированной выше формулировки ^[10], однако они не эквивалентны напрямую в бесконечномерном случае. ^[11] Доступен ряд теоретических результатов о достаточности в байесовском контексте. ^[12]

Линейная достаточность [ править ]

Концепция, называемая «линейной достаточностью», может быть сформулирована в байесовском контексте ^[13] и в более общем смысле. ^[14] Сначала определите лучший линейный предиктор вектора Y на основе X как . Тогда линейная статистика T ( x ) является достаточной линейной ^[15], если${\displaystyle {\hat {E}}[Y\mid X]}$

${\displaystyle {\hat {E}}[\theta \mid X]={\hat {E}}[\theta \mid T(X)].}$

См. Также [ править ]

• Полнота статистики
• Теорема Басу о независимости полной достаточной и вспомогательной статистики
• Теорема Лемана – Шеффе : полная достаточная оценка - это наилучшая оценка ее математического ожидания.
• Теорема Рао – Блэквелла
• Достаточное уменьшение размеров
• Дополнительная статистика

Примечания [ править ]

Ссылки [ править ]

• Холево, А.С. (2001) [1994], "Достаточная статистика" , Энциклопедия математики , EMS Press
• Lehmann, EL; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer. Глава 4. ISBN 0-387-98502-6.
• Додж Ю. (2003) Оксфордский словарь статистических терминов , OUP. ISBN 0-19-920613-9