Большой O в вероятностной нотации

Порядок вероятности записи используется в теории вероятностей и статистической теории прямой , параллельной записи большой-O , которая является стандартом в области математики . Если нотация большого O имеет дело со сходимостью последовательностей или наборов обычных чисел, порядок в обозначении вероятности имеет дело с сходимостью наборов случайных величин , где сходимость означает сходимость по вероятности . ^[1]

Определения [ править ]

Строчный О: сходимость по вероятности [ править ]

Для набора случайных величин X _n и соответствующего набора констант a _n (оба индексированы n , которые не обязательно должны быть дискретными), обозначение

${\ displaystyle X_ {n} = o_ {p} (a_ {n})}$

означает, что набор значений X _n / a _n сходится к нулю по вероятности, когда n приближается к соответствующему пределу. Эквивалентно, X _n = o _p ( a _n ) может быть записано как X _n / a _n  = o _p (1), где X _n = o _p (1) определяется как,

${\displaystyle \lim _{n\to \infty }P(|X_{n}|\geq \varepsilon )=0,}$

для любого положительного ε. ^[2]

Big O: стохастическая ограниченность [ править ]

Обозначение,

${\displaystyle X_{n}=O_{p}(a_{n}),}$

означает, что множество значений X _n / a _n стохастически ограничено. То есть для любого ε> 0 существуют конечное M> 0 и конечное N> 0 такие, что

${\displaystyle P(|X_{n}/a_{n}|>M)<\varepsilon ,\;\forall \;n>N.}$

Сравнение двух определений [ править ]

Разница между определениями невелика. Если использовать определение предела, получится:

• Большой О _р (1):${\displaystyle \forall \varepsilon \quad \exists N_{\varepsilon },\delta _{\varepsilon }\quad {\text{ such that }}P(|X_{n}|\geq \delta _{\varepsilon })\leq \varepsilon \quad \forall n>N_{\varepsilon }}$
• Малый o _p (1):${\displaystyle \forall \varepsilon ,\delta \quad \exists N_{\varepsilon ,\delta }\quad {\text{ such that }}P(|X_{n}|\geq \delta )\leq \varepsilon \quad \forall n>N_{\varepsilon ,\delta }}$

Разница заключается в δ: для стохастической ограниченности достаточно, чтобы существует одно (произвольно большое) δ, удовлетворяющее неравенству, а δ может зависеть от ε (отсюда и δ _ε ). С другой стороны, для сходимости утверждение должно выполняться не только для одного, но и для любого (произвольного малого) δ. В некотором смысле это означает, что последовательность должна быть ограниченной, причем граница становится меньше по мере увеличения размера выборки.

Это говорит о том, что если последовательность равна o _p (1), то она равна O _p (1), т.е. сходимость по вероятности подразумевает стохастическую ограниченность. Но обратное не работает.

Пример [ править ]

Если - стохастическая последовательность такая, что каждый элемент имеет конечную дисперсию, то${\displaystyle (X_{n})}$

${\displaystyle X_{n}-E(X_{n})=O_{p}({\sqrt {\operatorname {var} (X_{n})}})}$

(см. теорему 14.4-1 в Бишопе и др.)

Если, кроме того, - нулевая последовательность для последовательности действительных чисел, то сходится к нулю по вероятности по неравенству Чебышева , поэтому${\displaystyle a_{n}^{-2}\operatorname {var} (X_{n})=\operatorname {var} (a_{n}^{-1}X_{n})}$${\displaystyle (a_{n})}$${\displaystyle a_{n}^{-1}(X_{n}-E(X_{n}))}$

${\displaystyle X_{n}-E(X_{n})=o_{p}(a_{n})}$.

Ссылки [ править ]