Теорема Санова

В теории информации , теорема Šanov в дает оценку на вероятности наблюдения нетипичной последовательности выборок из заданного распределения вероятностей . На языке теории больших уклонений теорема Санова определяет функцию скорости для больших отклонений эмпирической меры последовательности iid случайных величин.

Пусть A будет набором распределений вероятностей по алфавиту X , и пусть q будет произвольным распределением по X (где q может быть или не быть в A ). Предположим, мы берем n iid выборок из q , представленных вектором ${\ displaystyle x ^ {n} = x_ {1}, x_ {2}, \ ldots, x_ {n}}$ . Далее, позвольте нам спросить, что эмпирическая мера, ${\ displaystyle {\ hat {p}} _ {x ^ {n}}}$ , из выборок попадает в набор A - формально мы пишем ${\ displaystyle \ {x ^ {n}: {\ hat {p}} _ {x ^ {n}} \ in A \}}$ . Затем,

{\ displaystyle q ^ {n} (x ^ {n}) \ leq (n + 1) ^ {| X |} 2 ^ {- nD _ {\ mathrm {KL}} (p ^ {*} || q) }}

,

куда

${\ Displaystyle д ^ {п} (х ^ {п})}$ сокращение для ${\ displaystyle q (x_ {1}) q (x_ {2}) \ cdots q (x_ {n})}$ , и
${\ displaystyle p ^ {*}}$ это информация , проекция из д на А .

Другими словами, вероятность получения атипичного распределения является функцией отклонения KL от истинного распределения к атипичному; в случае, когда мы рассматриваем набор возможных нетипичных распределений, существует доминирующее нетипичное распределение, заданное информационной проекцией.

Кроме того, если A - закрытие своей внутренней части ,

{\ displaystyle \ lim _ {n \ to \ infty} {\ frac {1} {n}} \ log q ^ {n} (x ^ {n}) = - D _ {\ mathrm {KL}} (p ^ {*} || q).}

Ссылки

Обложка, Томас М .; Томас, Джой А. (2006). Элементы теории информации (2-е изд.). Хобокен, Нью-Джерси: Wiley Interscience. С. 362 .

Санов И. Н. О вероятности больших отклонений случайных величин. Мат. Сборник 42 (84), № 1, 11–44.
Санов, И. Н. (1957) «О вероятности больших отклонений случайных величин». МАТЕМАТИЧЕСКИЙ СБОРНИК '42 (84), № 1, 11–44.

Эта статья о вероятности - незавершенная . Вы можете помочь Википедии, расширив ее .