Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . ( Сентябрь 2020 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения ) |
В теории вероятностей , в условное математическое ожидание , условное ожидаемое значение , или условное среднее из более случайной величины является ее ожидаемое значение - значение, которое бы «в среднем» над сколь угодно большим числом вхождений - учитывая , что определенный набор «условий» известно, что происходит. Если случайная величина может принимать только конечное число значений, «условия» состоят в том, что переменная может принимать только подмножество этих значений. Более формально, в случае, когда случайная величина определяется в дискретном вероятностном пространстве , «условия» представляют собой разбиение этого вероятностного пространства.
В зависимости от контекста условное ожидание может быть случайной величиной или функцией. Случайная величина обозначается аналогично условной вероятности . Функциональная форма обозначается либо отдельным функциональным символом, который вводится вместе со значением .
Примеры [ править ]
Пример 1. Бросание костей [ править ]
Рассмотрим бросок правильного кубика и пусть A = 1, если число четное (например, 2, 4 или 6), и A = 0 в противном случае. Кроме того, пусть B = 1, если число простое (т. Е. 2, 3 или 5), и B = 0 в противном случае.
1 | 2 | 3 | 4 | 5 | 6 | |
---|---|---|---|---|---|---|
А | 0 | 1 | 0 | 1 | 0 | 1 |
B | 0 | 1 | 1 | 0 | 1 | 0 |
Безусловное ожидание А , но ожидание условно на В = 1 (то есть, обусловливающие броска будучи 2, 3 или 5) , и ожидание Условное на B = 0 (то есть, обусловливающие при броске кубика 1, 4 или 6) . Аналогично, ожидание B при A = 1 является условным , а ожидание B при A = 0 равно .
Пример 2: данные об осадках [ править ]
Предположим, у нас есть ежедневные данные об осадках (мм осадков каждый день), собранные метеостанцией каждый день десятилетнего (3652 дня) периода с 1 января 1990 г. по 31 декабря 1999 г. Безусловное ожидание количества осадков за Неуказанный день - это среднее количество осадков за эти 3652 дня. Условное математическое ожидание осадков в течение неопределенного иначе день известно, (условно на время) в марте месяце, средняя ежедневная осадков в течение всех 310 дней десять-летний период , который падает в марте. А условное ожидание количества осадков в дни, датированные 2 марта, - это среднее количество осадков, выпавших за десять дней с этой конкретной датой.
История [ править ]
Связанная с этим концепция условной вероятности восходит, по крайней мере, к Лапласу , который вычислял условные распределения. Именно Андрей Колмогоров в 1933 году формализовал ее с помощью теоремы Радона – Никодима . [1] В работах Пола Халмоса [2] и Джозефа Л. Дуба [3] от 1953 года условное математическое ожидание было обобщено до его современного определения с использованием суб-σ-алгебр . [4]
Определения [ править ]
Привязка к событию [ править ]
Если A - событие с ненулевой вероятностью, а X - дискретная случайная величина , условное ожидание X для данного A равно
где сумма берется по всем возможным результатам X .
Обратите внимание, что если , условное ожидание не определено из-за деления на ноль.
Дискретные случайные величины [ править ]
Если X и Y являются дискретными случайными величинами , условное ожидание X при заданном Y равно
где есть совместная вероятность того, функция масс из X и Y . Сумма берется по всем возможным результатам X .
Обратите внимание, что согласование с дискретной случайной величиной аналогично условию для соответствующего события:
где A - множество .
Непрерывные случайные величины [ править ]
Если X и Y являются непрерывными случайными величинами с совместной плотностью , условное ожидание X при заданном Y равно
Когда знаменатель равен нулю, выражение не определено.
Обратите внимание, что обусловливание непрерывной случайной величины - это не то же самое, что обусловливание события, как в дискретном случае. Для обсуждения см. Условие для события с нулевой вероятностью . Несоблюдение этого различия может привести к противоречивым выводам, что иллюстрируется парадоксом Бореля-Колмогорова .
L 2 случайные величины [ править ]
Предполагается , что все случайные величины в этом разделе принадлежат к , то есть интегрируемы с квадратом . В своей полной общности условное математическое ожидание разрабатывается без этого предположения, см. Ниже в разделе « Условное математическое ожидание по отношению к суб-σ-алгебре» . Однако эта теория считается более интуитивной [5] и допускает важные обобщения . В контексте случайных величин условное ожидание также называется регрессией .
Далее пусть будет вероятностным пространством, а в нем - средним и дисперсией . Математическое ожидание минимизирует среднеквадратичную ошибку :
- .
Условное ожидание X определяется аналогично, за исключением того, что вместо одного числа результатом будет функция . Позвольте быть случайным вектором также в . Условное ожидание - это измеримая функция, такая что
- .
Обратите внимание, что, в отличие от этого , условное ожидание обычно не уникально: может быть несколько минимизаторов среднеквадратичной ошибки.
Уникальность [ править ]
Пример 1. Рассмотрим случай, когда Y - постоянная случайная величина, которая всегда равна 1. Тогда среднеквадратичная ошибка минимизируется любой функцией вида
Пример 2 : Рассмотрим случай, когда Y - двумерный случайный вектор . Тогда ясно
но с точки зрения функций , которые он может быть выражен как или или бесконечно многими другими способами. В контексте линейной регрессии это отсутствие уникальности называется мультиколлинеарностью .
Условное ожидание уникально до набора нулевой меры . Мера используется это мера прямым образом , индуцированное Y .
В первом примере мерой продвижения вперед является распределение Дирака в 1. Во втором оно сосредоточено на «диагонали» , так что любое множество, не пересекающееся с ним, имеет меру 0.
Существование [ править ]
Существование минимизатора для нетривиально. Можно показать, что
- замкнутое подпространство гильбертова пространства . [6] По теореме Гильберта о проекции , необходимое и достаточное условие для того, чтобы быть минимизатором, состоит в том, что для всех в M мы имеем
- .
На словах это уравнение говорит о том , что остаточный ортогональна пространству М всех функций Y . Это условие ортогональности, применяемое к индикаторным функциям , используется ниже для расширения условного ожидания на случай, когда X и Y не обязательно входят .
Связь с регрессом [ править ]
Условное ожидание часто аппроксимируется в прикладной математике и статистике из-за трудностей его аналитического вычисления и интерполяции. [7]
Гильбертово подпространство
определенное выше заменяется его подмножествами, ограничивая функциональную форму g , а не разрешая любую измеримую функцию. Примерами этого являются регрессия дерева решений, когда требуется, чтобы g была простой функцией , линейная регрессия, когда требуется, чтобы g была аффинной , и т. Д.
Эти обобщения условного ожидания происходят за счет того, что многие из его свойств больше не выполняются. Например, пусть M - пространство всех линейных функций от Y, и пусть обозначает это обобщенное условное ожидание / проекцию. Если не содержит постоянных функций , свойство башни не будет сохраняться.
Важный частный случай - это когда X и Y совместно нормально распределены. В этом случае можно показать, что условное ожидание эквивалентно линейной регрессии:
для коэффициентов, описанных в разделе Многомерное нормальное распределение # Условные распределения .
Условное ожидание относительно суб-σ-алгебры [ править ]
Учтите следующее:
- - вероятностное пространство .
- является случайной величиной на этом вероятностном пространстве с конечным математическим ожиданием.
- является под- σ-алгеброй в .
Поскольку является подалгеброй в , функция обычно не является -измеримой, поэтому существование интегралов вида , где и является ограничением для , не может быть заявлено в общем случае. Однако местные средние значения могут быть восстановлены с помощью условного ожидания. Условное математическое ожидание из X дано , обозначается как , любая - измеримая функция , которая удовлетворяет условию:
для каждого . [8]
Как отмечалось в обсуждении, это условие эквивалентно утверждению, что остаток ортогонален индикаторным функциям :
Существование [ править ]
Существование можно установить, отметив, что for - конечная мера на , абсолютно непрерывная по отношению к . Если это естественное вложение от до , то есть ограничение на и есть ограничение на . Кроме того, абсолютно непрерывно относительно , поскольку условие
подразумевает
Таким образом, мы имеем
где производные - производные Радона – Никодима от мер.
Условное ожидание относительно случайной величины [ править ]
Рассмотрим, в дополнение к вышесказанному,
- Измеримое пространство , и
- Случайная величина .
Условное математическое ожидание X при заданном Y определяется применением вышеупомянутой конструкции к σ-алгебре, порожденной Y :
- .
По лемме Дуба-Дынкина существует такая функция , что
- .
Обсуждение [ править ]
- Это неконструктивное определение; нам просто дается необходимое свойство, которому должно удовлетворять условное ожидание.
- Определение может напоминать определение события, но это очень разные объекты. Первая является измеримой функцией , а вторая является элементом и для .
- Можно почти наверняка показать уникальность : то есть версии одного и того же условного ожидания будут отличаться только на множестве с нулевой вероятностью .
- Σ-алгебра контролирует «гранулярность» обусловливания. Условное ожидание более тонкой (большей) σ-алгебры сохраняет информацию о вероятностях более крупного класса событий. Условное ожидание более грубой (меньшей) σ-алгебры усредняет большее количество событий.
Условная вероятность [ править ]
Для борелевского подмножества B in можно рассматривать набор случайных величин
- .
Можно показать , что они образуют марковское ядро , то есть, почти все , является вероятностной мерой. [9]
Закон бессознательного статистика тогда
- .
Это показывает, что условные ожидания, как и их безусловные аналоги, являются интеграцией условной меры.
Основные свойства [ править ]
Все следующие формулы следует понимать почти наверняка. Σ-алгебру можно заменить случайной величиной .
- Выделение независимых факторов:
- Если не зависит от , то .
Пусть . Тогда не зависит от , поэтому мы получаем, что
Таким образом, определение условного ожидания удовлетворяется постоянной случайной величиной , как и требуется.
- Если не зависит от , то . Обратите внимание, что это не обязательно так, если он не зависит от and of .
- Если независимы, независимы, не зависят и не зависят от , то .
- Стабильность:
- Если это -измеримое, то .
- Если Z - случайная величина, то . В простейшей форме это говорит .
- Вытягивая известные факторы:
- Если это -измеримое, то .
- Если Z - случайная величина, то .
- Закон полного математического ожидания : . [10]
- Свойство башни:
- Для суб-σ-алгебр имеем .
- Особый случай - это когда Z - измеримая случайная величина. Тогда и так .
- Свойство doob martingale : указанное выше с (которое измеримо), а также с использованием дает .
- Для случайных величин у нас есть .
- Для случайных величин у нас есть .
- Для суб-σ-алгебр имеем .
- Линейность: есть и за .
- Позитивность: Если, то .
- Монотонность: Если то .
- Монотонная сходимость : Если то .
- Преобладают сведения : если и с , то .
- Лемма Фату : Если тогда .
- Неравенство Дженсена : если - выпуклая функция , то .
- Условная дисперсия : используя условное ожидание, мы можем определить, по аналогии с определением дисперсии как среднеквадратическое отклонение от среднего, условную дисперсию
- Определение:
- Алгебраическая формула дисперсии:
- Закон общей дисперсии : .
- Сходимость по мартингалу : для случайной величины , имеющей конечное математическое ожидание, мы имеем , если либо является возрастающей серией под-σ-алгебр, либо если является убывающей серией под-σ-алгебр, и .
- Условное математическое ожидание , как -проекции: Если находятся в гильбертовом пространстве в квадратично интегрируемых вещественных случайных величин (действительных случайных величин с конечным вторым моментом) , то
- для -измеримой , мы имеем , т.е. условное математическое ожидание в смысле L 2 ( Р ) скалярного произведении ортогональная проекция от до линейного подпространства в -измеримых функций. (Это позволяет определить и доказать существование условного ожидания на основе теоремы о проекции Гильберта .)
- отображение является самосопряженным :
- Кондиционер является сжимающей проекцией L р пространств . Т.е. для любого p ≥ 1.
- Условное свойство независимости Дуба: [11] Если есть условно независимы дано , то ( что то же самое, ).
См. Также [ править ]
- Обусловленность (вероятность)
- Теорема дезинтеграции
- Лемма Дуба – Дынкина.
- Лемма факторизации
- Совместное распределение вероятностей
- Некоммутативное условное ожидание
Законы вероятности [ править ]
- Закон полной кумулятивности (обобщает остальные три)
- Закон полного ожидания
- Закон полной вероятности
- Закон полной дисперсии
Заметки [ править ]
- ↑ Колмогоров, Андрей (1933). Grundbegriffe der Wahrscheinlichkeitsrechnung (на немецком языке). Берлин: Юлиус Спрингер. п. 46.
- Перевод: Колмогоров Андрей (1956). Основы теории вероятностей (2-е изд.). Нью-Йорк: Челси. п. 53. ISBN 0-8284-0023-7. Архивировано из оригинала на 2018-09-14 . Проверено 14 марта 2009 .
- ^ Oxtoby, JC (1953). "Рецензия: теория меры , Халмос PR" (PDF) . Бык. Амер. Математика. Soc . 59 (1): 89–91. DOI : 10,1090 / s0002-9904-1953-09662-8 .
- ↑ JL Doob (1953). Случайные процессы . Джон Вили и сыновья . ISBN 0-471-52369-0.
- ^ Олав Калленберг: Основы современной вероятности. 2. издание. Спрингер, Нью-Йорк 2002, ISBN 0-387-95313-2 , стр. 573.
- ^ «Вероятность - интуиция за условным ожиданием» . Обмен математическими стеками .
- ^ Броквелл, Питер Дж. (1991). Временные ряды: теория и методы (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN 978-1-4419-0320-4.
- ^ Хасти, Тревор. Элементы статистического обучения: интеллектуальный анализ данных, вывод и прогнозирование (PDF) (Второе, исправленное 7-е изд.). Нью-Йорк. ISBN 978-0-387-84858-7.
- ^ Биллингсли, Патрик (1995). «Раздел 34. Условное ожидание». Вероятность и мера (3-е изд.). Джон Вили и сыновья. п. 445. ISBN 0-471-00710-2.
- ^ Кленке, Ахим. Теория вероятностей: комплексный курс (Второе изд.). Лондон. ISBN 978-1-4471-5361-0.
- ^ «Условное ожидание» . www.statlect.com . Проверено 11 сентября 2020 .
- ^ Kallenberg, Олаф (2001). Основы современной вероятности (2-е изд.). Йорк, Пенсильвания, США: Springer. п. 110. ISBN 0-387-95313-2.
Ссылки [ править ]
- Уильям Феллер , Введение в теорию вероятностей и ее приложения , том 1, 1950, стр. 223
- Пол А. Мейер, Вероятность и потенциал , Blaisdell Publishing Co., 1966, стр. 28
- Гриммет, Джеффри ; Стирзакер, Дэвид (2001). Вероятность и случайные процессы (3-е изд.). Издательство Оксфордского университета. ISBN 0-19-857222-0., страницы 67–69
Внешние ссылки [ править ]
- Ушаков, Н.Г. (2001) [1994], "Условное математическое ожидание" , Энциклопедия математики , EMS Press