В теории вероятностей , то теорема Гливенко-Cantelli (иногда упоминаются как основная теорема статистики ), названной в честь Валерия Иванович Гливенко и Франческо Паоло Кантелл , определяет асимптотическое поведение эмпирической функции распределения , как число независимы и одинаково распределен наблюдения растет. [1]
Заявление
Равномерная сходимость более общих эмпирических мер становится важным свойством классов функций или множеств Гливенко – Кантелли . [2] Классы Гливенко – Кантелли возникают в теории Вапника – Червоненкиса с приложениями к машинному обучению . Можно найти приложения в эконометрике с использованием M-оценок .
Предположить, что являются независимыми и одинаково распределенными случайными величинами вс общей кумулятивной функцией распределения . Эмпирическая функция распределения для определяется
где - индикаторная функция множества. Для каждого (фиксированного), представляет собой последовательность случайных величин, которые сходятся к почти наверняка по усиленному закону больших чисел , т. е. сходится к точечно . Гливенко и Cantelli усилил этот результат, доказав , равномерная сходимость в к .
Теорема
- почти наверняка. [3]
Эта теорема берет свое начало с Валерием Гливенко , [4] и Франческо Cantelli , [5] в 1933 году.
Замечания
- Если - стационарный эргодический процесс , то почти наверняка сходится к . Теорема Гливенко – Кантелли дает более сильный способ сходимости, чем это в случае iid .
- Еще более сильный результат равномерной сходимости для эмпирической функции распределения доступен в форме расширенного типа закона повторного логарифма . [6] См. Асимптотические свойства эмпирической функции распределения для этого и связанных результатов.
Доказательство
Для простоты рассмотрим случай непрерывной случайной величины . Исправить такой, что для . Теперь для всех Существует такой, что . Обратите внимание, что
Следовательно,
С с помощью строгого закона больших чисел мы можем гарантировать, что для любого положительного и любое целое число такой, что , мы можем найти такое, что для всех , у нас есть . В сочетании с приведенным выше результатом это также означает, что, которое является определением почти наверное сходимости.
Эмпирические меры
Можно обобщить эмпирическую функцию распределения , заменив множествопроизвольным множеством C из класса множествдля получения эмпирической меры, индексированной множеством
Где это индикаторная функция каждого набора.
Дальнейшее обобщение - это отображение, индуцированное на измеримых действительных функциях f , который задается формулой
Тогда важным свойством этих классов становится то, что усиленный закон больших чисел выполняется равномерно на или же .
Класс Гливенко – Кантелли
Рассмотрим набор с сигма - алгебре борелевских подмножеств A и вероятностной меры P . Для класса подмножеств
и класс функций
определить случайные величины
где эмпирическая мера, - соответствующее отображение, а
- , предполагая, что он существует.
Определения
- Класс называется классом Гливенко – Кантелли (или классом GC ) относительно вероятностной меры P, если верно любое из следующих эквивалентных утверждений.
- 1. почти наверняка как .
- 2. по вероятности как .
- 3. , в виде (сходимость в среднем).
- Аналогично определяются классы функций Гливенко – Кантелли.
- Класс называется универсальным классом Гливенко – Кантелли, если он является классом GC относительно любой вероятностной меры P на ( S , A ).
- Класс называется равномерно Гливенко – Кантелли, если сходимость происходит равномерно по всем вероятностным мерам P на ( S , A ):
Теорема ( Вапник и Червоненкис , 1968) [7]
- Класс наборов равномерно GC тогда и только тогда, когда это класс Вапника – Червоненкиса .
Примеры
- Позволять а также . Из классической теоремы Гливенко – Кантелли следует, что этот класс является универсальным классом GC. Кроме того, по теореме Колмогорова ,
- , это является равномерным классом Гливенко – Кантелли.
- Пусть P - неатомная вероятностная мера на S ибыть класс всех конечных подмножеств в S . Так как, , у нас есть это и другие это не GC класса по отношению к P .
Смотрите также
- Теорема Донскера
- Неравенство Дворецкого – Кифера – Вулфовица - усиливает теорему Гливенко – Кантелли путем количественной оценки скорости сходимости.
Рекомендации
- ^ Ховард Дж. Такер (1959). «Обобщение теоремы Гливенко-Кантелли» . Летопись математической статистики . 30 (3): 828–830. DOI : 10.1214 / АОМ / 1177706212 . JSTOR 2237422 .
- ^ ван дер Ваарт, AW (1998). Асимптотическая статистика . Издательство Кембриджского университета. п. 279 . ISBN 978-0-521-78450-4.
- ^ ван дер Ваарт, AW (1998). Асимптотическая статистика . Издательство Кембриджского университета. п. 265 . ISBN 978-0-521-78450-4.
- ^ Гливенко, В. (1933). Sullaterminazione empirica delle leggi di probabilità. Giorn. Ist. Ital. Аттуари 4, 92-99.
- Перейти ↑ Cantelli, FP (1933). Sullaterminazione empirica delle leggi di probabilità. Giorn. Ist. Ital. Аттуари 4, 421-424.
- ^ ван дер Ваарт, AW (1998). Асимптотическая статистика . Издательство Кембриджского университета. п. 268 . ISBN 978-0-521-78450-4.
- ^ Вапник, ВН; Червоненкис, А. Я (1971). «О равномерной сходимости относительных частот событий к их вероятностям». Теория вероятностей и ее приложения . 16 (2): 264–280. DOI : 10.1137 / 1116025 .
дальнейшее чтение
- Дадли, Р.М. (1999). Равномерные центральные предельные теоремы . Издательство Кембриджского университета. ISBN 0-521-46102-2.
- Питман, EJG (1979). «Функция распределения выборки». Некоторая основная теория статистических выводов . Лондон: Чепмен и Холл. п. 79–97. ISBN 0-470-26554-X.
- Shorack, GR; Веллнер, Дж. А. (1986). Эмпирические процессы с приложениями к статистике . Вайли. ISBN 0-471-86725-X.
- ван дер Ваарт, AW ; Веллнер, Дж. А. (1996). Слабая конвергенция и эмпирические процессы . Springer. ISBN 0-387-94640-3.
- van der Vaart, Aad W .; Веллнер, Джон А. (1996). Теоремы Гливенко-Кантелли . Springer.
- van der Vaart, Aad W .; Веллнер, Джон А. (2000). Теоремы сохранения для классов Гливенко-Кантелли и равномерных классов Гливенко-Кантелли . Springer.