Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

В теории вероятностей , в условное математическое ожидание , условное ожидаемое значение , или условное среднее из более случайной величины является ее ожидаемое значение - значение, которое бы «в среднем» над сколь угодно большим числом вхождений - учитывая , что определенный набор «условий» известно, что происходит. Если случайная величина может принимать только конечное число значений, «условия» состоят в том, что переменная может принимать только подмножество этих значений. Более формально, в случае, когда случайная величина определяется в дискретном вероятностном пространстве , «условия» представляют собой разбиение этого вероятностного пространства.

В зависимости от контекста условное ожидание может быть случайной величиной или функцией. Случайная величина обозначается аналогично условной вероятности . Функциональная форма обозначается либо отдельным функциональным символом, который вводится вместе со значением .

Примеры [ править ]

Пример 1. Бросание костей [ править ]

Рассмотрим бросок правильного кубика и пусть A = 1, если число четное (например, 2, 4 или 6), и A = 0 в противном случае. Кроме того, пусть B = 1, если число простое (т. Е. 2, 3 или 5), и B = 0 в противном случае.

Безусловное ожидание А , но ожидание условно на В = 1 (то есть, обусловливающие броска будучи 2, 3 или 5) , и ожидание Условное на B = 0 (то есть, обусловливающие при броске кубика 1, 4 или 6) . Аналогично, ожидание B при A = 1 является условным , а ожидание B при A = 0 равно .

Пример 2: данные об осадках [ править ]

Предположим, у нас есть ежедневные данные об осадках (мм осадков каждый день), собранные метеостанцией каждый день десятилетнего (3652 дня) периода с 1 января 1990 г. по 31 декабря 1999 г. Безусловное ожидание количества осадков за Неуказанный день - это среднее количество осадков за эти 3652 дня. Условное математическое ожидание осадков в течение неопределенного иначе день известно, (условно на время) в марте месяце, средняя ежедневная осадков в течение всех 310 дней десять-летний период , который падает в марте. А условное ожидание количества осадков в дни, датированные 2 марта, - это среднее количество осадков, выпавших за десять дней с этой конкретной датой.

История [ править ]

Связанная с этим концепция условной вероятности восходит, по крайней мере, к Лапласу , который вычислял условные распределения. Именно Андрей Колмогоров в 1933 году формализовал ее с помощью теоремы Радона – Никодима . [1] В работах Пола Халмоса [2] и Джозефа Л. Дуба [3] от 1953 года условное математическое ожидание было обобщено до его современного определения с использованием суб-σ-алгебр . [4]

Определения [ править ]

Привязка к событию [ править ]

Если A - событие с ненулевой вероятностью, а X - дискретная случайная величина , условное ожидание X для данного A равно

где сумма берется по всем возможным результатам X .

Обратите внимание, что если , условное ожидание не определено из-за деления на ноль.

Дискретные случайные величины [ править ]

Если X и Y являются дискретными случайными величинами , условное ожидание X при заданном Y равно

где есть совместная вероятность того, функция масс из X и Y . Сумма берется по всем возможным результатам X .

Обратите внимание, что согласование с дискретной случайной величиной аналогично условию для соответствующего события:

где A - множество .

Непрерывные случайные величины [ править ]

Если X и Y являются непрерывными случайными величинами с совместной плотностью , условное ожидание X при заданном Y равно

Когда знаменатель равен нулю, выражение не определено.

Обратите внимание, что обусловливание непрерывной случайной величины - это не то же самое, что обусловливание события, как в дискретном случае. Для обсуждения см. Условие для события с нулевой вероятностью . Несоблюдение этого различия может привести к противоречивым выводам, что иллюстрируется парадоксом Бореля-Колмогорова .

L 2 случайные величины [ править ]

Предполагается , что все случайные величины в этом разделе принадлежат к , то есть интегрируемы с квадратом . В своей полной общности условное математическое ожидание разрабатывается без этого предположения, см. Ниже в разделе « Условное математическое ожидание по отношению к суб-σ-алгебре» . Однако эта теория считается более интуитивной [5] и допускает важные обобщения . В контексте случайных величин условное ожидание также называется регрессией .

Далее пусть будет вероятностным пространством, а в нем - средним и дисперсией . Математическое ожидание минимизирует среднеквадратичную ошибку :

.

Условное ожидание X определяется аналогично, за исключением того, что вместо одного числа результатом будет функция . Позвольте быть случайным вектором также в . Условное ожидание - это измеримая функция, такая что

.

Обратите внимание, что, в отличие от этого , условное ожидание обычно не уникально: может быть несколько минимизаторов среднеквадратичной ошибки.

Уникальность [ править ]

Пример 1. Рассмотрим случай, когда Y - постоянная случайная величина, которая всегда равна 1. Тогда среднеквадратичная ошибка минимизируется любой функцией вида

Пример 2 : Рассмотрим случай, когда Y - двумерный случайный вектор . Тогда ясно

но с точки зрения функций , которые он может быть выражен как или или бесконечно многими другими способами. В контексте линейной регрессии это отсутствие уникальности называется мультиколлинеарностью .

Условное ожидание уникально до набора нулевой меры . Мера используется это мера прямым образом , индуцированное Y .

В первом примере мерой продвижения вперед является распределение Дирака в 1. Во втором оно сосредоточено на «диагонали» , так что любое множество, не пересекающееся с ним, имеет меру 0.

Существование [ править ]

Существование минимизатора для нетривиально. Можно показать, что

- замкнутое подпространство гильбертова пространства . [6] По теореме Гильберта о проекции , необходимое и достаточное условие для того, чтобы быть минимизатором, состоит в том, что для всех в M мы имеем

.

На словах это уравнение говорит о том , что остаточный ортогональна пространству М всех функций Y . Это условие ортогональности, применяемое к индикаторным функциям , используется ниже для расширения условного ожидания на случай, когда X и Y не обязательно входят .

Связь с регрессом [ править ]

Условное ожидание часто аппроксимируется в прикладной математике и статистике из-за трудностей его аналитического вычисления и интерполяции. [7]

Гильбертово подпространство

определенное выше заменяется его подмножествами, ограничивая функциональную форму g , а не разрешая любую измеримую функцию. Примерами этого являются регрессия дерева решений, когда требуется, чтобы g была простой функцией , линейная регрессия, когда требуется, чтобы g была аффинной , и т. Д.

Эти обобщения условного ожидания происходят за счет того, что многие из его свойств больше не выполняются. Например, пусть M - пространство всех линейных функций от Y, и пусть обозначает это обобщенное условное ожидание / проекцию. Если не содержит постоянных функций , свойство башни не будет сохраняться.

Важный частный случай - это когда X и Y совместно нормально распределены. В этом случае можно показать, что условное ожидание эквивалентно линейной регрессии:

для коэффициентов, описанных в разделе Многомерное нормальное распределение # Условные распределения .

Условное ожидание относительно суб-σ-алгебры [ править ]

Условное математическое ожидание относительно σ-алгебры: в этом примере вероятностным пространством является интервал [0,1] с мерой Лебега . Определим следующие сг-алгебры: ; является σ-алгеброй, порожденной интервалами с концами 0, ¼, ½, ¾, 1; и является σ-алгеброй, порожденной интервалами с концевыми точками 0, ½, 1. Здесь условное ожидание фактически является средним по минимальным наборам σ-алгебры.

Учтите следующее:

  • - вероятностное пространство .
  • является случайной величиной на этом вероятностном пространстве с конечным математическим ожиданием.
  • является под- σ-алгеброй в .

Поскольку является подалгеброй в , функция обычно не является -измеримой, поэтому существование интегралов вида , где и является ограничением для , не может быть заявлено в общем случае. Однако местные средние значения могут быть восстановлены с помощью условного ожидания. Условное математическое ожидание из X дано , обозначается как , любая - измеримая функция , которая удовлетворяет условию:

для каждого . [8]

Как отмечалось в обсуждении, это условие эквивалентно утверждению, что остаток ортогонален индикаторным функциям :

Существование [ править ]

Существование можно установить, отметив, что for - конечная мера на , абсолютно непрерывная по отношению к . Если это естественное вложение от до , то есть ограничение на и есть ограничение на . Кроме того, абсолютно непрерывно относительно , поскольку условие

подразумевает

Таким образом, мы имеем

где производные - производные Радона – Никодима от мер.

Условное ожидание относительно случайной величины [ править ]

Рассмотрим, в дополнение к вышесказанному,

  • Измеримое пространство , и
  • Случайная величина .

Условное математическое ожидание X при заданном Y определяется применением вышеупомянутой конструкции к σ-алгебре, порожденной Y :

.

По лемме Дуба-Дынкина существует такая функция , что

.

Обсуждение [ править ]

  • Это неконструктивное определение; нам просто дается необходимое свойство, которому должно удовлетворять условное ожидание.
    • Определение может напоминать определение события, но это очень разные объекты. Первая является измеримой функцией , а вторая является элементом и для .
    • Можно почти наверняка показать уникальность : то есть версии одного и того же условного ожидания будут отличаться только на множестве с нулевой вероятностью .
  • Σ-алгебра контролирует «гранулярность» обусловливания. Условное ожидание более тонкой (большей) σ-алгебры сохраняет информацию о вероятностях более крупного класса событий. Условное ожидание более грубой (меньшей) σ-алгебры усредняет большее количество событий.

Условная вероятность [ править ]

Для борелевского подмножества B in можно рассматривать набор случайных величин

.

Можно показать , что они образуют марковское ядро , то есть, почти все , является вероятностной мерой. [9]

Закон бессознательного статистика тогда

.

Это показывает, что условные ожидания, как и их безусловные аналоги, являются интеграцией условной меры.

Основные свойства [ править ]

Все следующие формулы следует понимать почти наверняка. Σ-алгебру можно заменить случайной величиной .

  • Выделение независимых факторов:
    • Если не зависит от , то .
Доказательство

Пусть . Тогда не зависит от , поэтому мы получаем, что

Таким образом, определение условного ожидания удовлетворяется постоянной случайной величиной , как и требуется.

    • Если не зависит от , то . Обратите внимание, что это не обязательно так, если он не зависит от and of .
    • Если независимы, независимы, не зависят и не зависят от , то .
  • Стабильность:
    • Если это -измеримое, то .
    • Если Z - случайная величина, то . В простейшей форме это говорит .
  • Вытягивая известные факторы:
    • Если это -измеримое, то .
    • Если Z - случайная величина, то .
  • Закон полного математического ожидания : . [10]
  • Свойство башни:
    • Для суб-σ-алгебр имеем .
      • Особый случай - это когда Z - измеримая случайная величина. Тогда и так .
      • Свойство doob martingale : указанное выше с (которое измеримо), а также с использованием дает .
    • Для случайных величин у нас есть .
    • Для случайных величин у нас есть .
  • Линейность: есть и за .
  • Позитивность: Если, то .
  • Монотонность: Если то .
  • Монотонная сходимость : Если то .
  • Преобладают сведения : если и с , то .
  • Лемма Фату : Если тогда .
  • Неравенство Дженсена : если - выпуклая функция , то .
  • Условная дисперсия : используя условное ожидание, мы можем определить, по аналогии с определением дисперсии как среднеквадратическое отклонение от среднего, условную дисперсию
    • Определение:
    • Алгебраическая формула дисперсии:
    • Закон общей дисперсии : .
  • Сходимость по мартингалу : для случайной величины , имеющей конечное математическое ожидание, мы имеем , если либо является возрастающей серией под-σ-алгебр, либо если является убывающей серией под-σ-алгебр, и .
  • Условное математическое ожидание , как -проекции: Если находятся в гильбертовом пространстве в квадратично интегрируемых вещественных случайных величин (действительных случайных величин с конечным вторым моментом) , то
    • для -измеримой , мы имеем , т.е. условное математическое ожидание в смысле L 2 ( Р ) скалярного произведении ортогональная проекция от до линейного подпространства в -измеримых функций. (Это позволяет определить и доказать существование условного ожидания на основе теоремы о проекции Гильберта .)
    • отображение является самосопряженным :
  • Кондиционер является сжимающей проекцией L р пространств . Т.е. для любого p  ≥ 1.
  • Условное свойство независимости Дуба: [11] Если есть условно независимы дано , то ( что то же самое, ).

См. Также [ править ]

  • Обусловленность (вероятность)
  • Теорема дезинтеграции
  • Лемма Дуба – Дынкина.
  • Лемма факторизации
  • Совместное распределение вероятностей
  • Некоммутативное условное ожидание

Законы вероятности [ править ]

  • Закон полной кумулятивности (обобщает остальные три)
  • Закон полного ожидания
  • Закон полной вероятности
  • Закон полной дисперсии

Заметки [ править ]

  1. Колмогоров, Андрей (1933). Grundbegriffe der Wahrscheinlichkeitsrechnung (на немецком языке). Берлин: Юлиус Спрингер. п. 46.
    • Перевод: Колмогоров Андрей (1956). Основы теории вероятностей (2-е изд.). Нью-Йорк: Челси. п. 53. ISBN 0-8284-0023-7. Архивировано из оригинала на 2018-09-14 . Проверено 14 марта 2009 .
  2. ^ Oxtoby, JC (1953). "Рецензия: теория меры , Халмос PR" (PDF) . Бык. Амер. Математика. Soc . 59 (1): 89–91. DOI : 10,1090 / s0002-9904-1953-09662-8 .
  3. JL Doob (1953). Случайные процессы . Джон Вили и сыновья . ISBN 0-471-52369-0.
  4. ^ Олав Калленберг: Основы современной вероятности. 2. издание. Спрингер, Нью-Йорк 2002, ISBN 0-387-95313-2 , стр. 573. 
  5. ^ «Вероятность - интуиция за условным ожиданием» . Обмен математическими стеками .
  6. ^ Броквелл, Питер Дж. (1991). Временные ряды: теория и методы (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN 978-1-4419-0320-4.
  7. ^ Хасти, Тревор. Элементы статистического обучения: интеллектуальный анализ данных, вывод и прогнозирование (PDF) (Второе, исправленное 7-е изд.). Нью-Йорк. ISBN  978-0-387-84858-7.
  8. ^ Биллингсли, Патрик (1995). «Раздел 34. Условное ожидание». Вероятность и мера (3-е изд.). Джон Вили и сыновья. п. 445. ISBN 0-471-00710-2.
  9. ^ Кленке, Ахим. Теория вероятностей: комплексный курс (Второе изд.). Лондон. ISBN 978-1-4471-5361-0.
  10. ^ «Условное ожидание» . www.statlect.com . Проверено 11 сентября 2020 .
  11. ^ Kallenberg, Олаф (2001). Основы современной вероятности (2-е изд.). Йорк, Пенсильвания, США: Springer. п. 110. ISBN 0-387-95313-2.

Ссылки [ править ]

  • Уильям Феллер , Введение в теорию вероятностей и ее приложения , том 1, 1950, стр. 223
  • Пол А. Мейер, Вероятность и потенциал , Blaisdell Publishing Co., 1966, стр. 28
  • Гриммет, Джеффри ; Стирзакер, Дэвид (2001). Вероятность и случайные процессы (3-е изд.). Издательство Оксфордского университета. ISBN 0-19-857222-0., страницы 67–69

Внешние ссылки [ править ]

  • Ушаков, Н.Г. (2001) [1994], "Условное математическое ожидание" , Энциклопедия математики , EMS Press