В теории вероятностей , А функция плотности вероятности ( PDF ), или плотность из непрерывных случайных переменных , является функцией , значение которой в любом данном образце (или точка) в выборочном пространстве (множество возможных значений , принимаемых случайной величина) может интерпретироваться как обеспечение относительной вероятности того, что значение случайной переменной будет равно этой выборке. [2] Другими словами, абсолютная вероятностьдля непрерывной случайной переменной, которая принимает любое конкретное значение, является 0 (поскольку существует бесконечный набор возможных значений для начала), значение PDF в двух разных выборках может использоваться для вывода в любом конкретном розыгрыше случайного переменной, насколько более вероятно, что случайная величина будет равна одной выборке по сравнению с другой выборкой.
В более точном смысле PDF используется для указания вероятности попадания случайной величины в определенный диапазон значений , в отличие от принятия какого-либо одного значения. Эта вероятность дается интегралом PDF этой переменной в этом диапазоне, то есть она дается площадью под функцией плотности, но над горизонтальной осью и между наименьшим и наибольшим значениями диапазона. Функция плотности вероятности всюду неотрицательна, а ее интеграл по всему пространству равен 1.
Термины « функция распределения вероятностей » [3] и « функция вероятности » [4] также иногда использовались для обозначения функции плотности вероятности. Однако такое использование не является стандартным среди специалистов по теории вероятностей и статистиков. В других источниках «функция распределения вероятностей» может использоваться, когда распределение вероятностей определяется как функция по общим наборам значений, или оно может относиться к кумулятивной функции распределения , или это может быть функция массы вероятности (PMF), а не плотность. Сама «функция плотности» также используется для функции массы вероятности, что приводит к дальнейшему недоразумению. [5] Однако в целом PMF используется в контексте дискретных случайных величин (случайных величин, принимающих значения в счетном наборе), а PDF используется в контексте непрерывных случайных величин.
Пример [ править ]
Предположим, бактерии определенного вида обычно живут от 4 до 6 часов. Вероятность того, что бактерия живет ровно 5 часов, равна нулю. Многие бактерии живут примерно 5 часов, но нет никаких шансов, что какая-либо конкретная бактерия погибнет ровно в 5.0000000000 ... часов. Однако вероятность того, что бактерия погибнет в период от 5 часов до 5,01 часа, поддается количественной оценке. Предположим, ответ - 0,02 (т. Е. 2%). Тогда вероятность того, что бактерия погибнет в период от 5 часов до 5,001 часа, должна быть около 0,002, поскольку этот временной интервал в десять раз меньше предыдущего. Вероятность того, что бактерия погибнет в период от 5 часов до 5.0001 часа, должна быть около 0,0002 и так далее.
В этих трех примерах отношение (вероятность смерти во время интервала) / (продолжительность интервала) приблизительно постоянное и равно 2 в час (или 2 час -1 ). Например, вероятность смерти составляет 0,02 в интервале 0,01 часа между 5 и 5,01 часами, а (вероятность 0,02 / 0,01 часа) = 2 час -1 . Эта величина 2 час -1 называется плотностью вероятности смерти примерно через 5 часов. Следовательно, вероятность того, что бактерия погибнет через 5 часов, может быть записана как (2 час -1 ) dt . Это вероятность того, что бактерия погибнет в бесконечно малом временном окне около 5 часов, где dtпродолжительность этого окна. Например, вероятность того, что он живет дольше 5 часов, но короче (5 часов + 1 наносекунда), составляет (2 час −1 ) × (1 наносекунда) ≈6 × 10 −13 (с использованием преобразования единиц измерения 3,6 × 10 12 наносекунд = 1 час).
Существует функция плотности вероятности f с f (5 часов) = 2 час −1 . Интеграл от F над любым окном времени (не только бесконечно малые окна , но и большие окна) есть вероятность того, что бактерия умирает в этом окне.
Абсолютно непрерывные одномерные распределения [ править ]
Функция плотности вероятности чаще всего ассоциируется с абсолютно непрерывными одномерными распределениями . Случайная величина имеет плотность , где является неотрицательным интегрируемой по Лебегу функции, если:
Следовательно, если это кумулятивная функция распределения из , то:
и (если непрерывна при )
Интуитивно это можно представить как вероятность попадания в бесконечно малый интервал .
Формальное определение [ править ]
( Это определение может быть распространено на любое распределение вероятностей, используя теоретико-мерное определение вероятности . )
Случайная величина со значениями в измеримом пространстве ( как правило , с множествами борелевскими как измеримых подмножеств) имеет в качестве распределения вероятностей мера Х * Р на : по плотности от по отношению к эталонной мере на это производная Радона-Никодима :
То есть f - это любая измеримая функция, обладающая следующим свойством:
для любого измеримого множества
Обсуждение [ править ]
В непрерывном одномерном случае выше эталонной мерой является мера Лебега . Функция вероятности массы из дискретной случайной величины плотности по отношению к счетным мерам по образцу пространству (обычно множество целых чисел , или некоторое их подмножества).
Невозможно определить плотность со ссылкой на произвольную меру (например, нельзя выбрать счетную меру в качестве эталона для непрерывной случайной величины). Более того, когда он действительно существует, плотность почти везде уникальна.
Дополнительная информация [ править ]
В отличие от вероятности функция плотности вероятности может принимать значения больше единицы; например, равномерное распределение на интервале [0, ½] имеет плотность вероятности f ( x ) = 2 для 0 ≤ x ≤ ½ и f ( x ) = 0 в другом месте.
Стандартное нормальное распределение имеет плотность вероятности
Если случайная величина Х задана и ее распределение допускает функцию плотности вероятности п , затем ожидаемое значение из X (если ожидаемое значение существует) может быть вычислена как
Не каждое распределение вероятностей имеет функцию плотности: распределения дискретных случайных величин не имеют; также нет распределения Кантора , даже если оно не имеет дискретной составляющей, т. е. не приписывает положительную вероятность какой-либо отдельной точке.
Распределение имеет функцию плотности тогда и только тогда, когда его кумулятивная функция распределения F ( x ) абсолютно непрерывна . В этом случае: F является почти всюду дифференцируема , и ее производная может быть использована в качестве плотности вероятности:
Если распределение вероятностей допускает плотность, тогда вероятность каждого одноточечного набора { a } равна нулю; то же самое верно для конечных и счетных множеств.
Две плотности вероятности f и g представляют одно и то же распределение вероятностей, если они различаются только на множестве нулевой меры Лебега .
В области статистической физики в качестве определения функции плотности вероятности обычно используется неформальная переформулировка приведенного выше отношения между производной кумулятивной функции распределения и функцией плотности вероятности. Это альтернативное определение следующее:
Если dt - бесконечно малое число, вероятность того, что X входит в интервал ( t , t + dt ), равна f ( t ) dt , или:
Связь между дискретным и непрерывным распределениями [ править ]
Можно представить определенные дискретные случайные величины, а также случайные величины, включающие как непрерывную, так и дискретную части, с обобщенной функцией плотности вероятности, используя дельта-функцию Дирака . (Это невозможно с функцией плотности вероятности в смысле, определенном выше, это можно сделать с помощью распределения .) Например, рассмотрим двоичную дискретную случайную величину, имеющую распределение Радемахера, то есть принимая -1 или 1 для значений, с вероятностью ½ каждое. Плотность вероятности, связанная с этой переменной, равна:
В более общем плане, если дискретная переменная может принимать n различных значений среди действительных чисел, тогда соответствующая функция плотности вероятности имеет вид:
где - дискретные значения, доступные для переменной, и - вероятности, связанные с этими значениями.
Это существенно унифицирует рассмотрение дискретных и непрерывных распределений вероятностей. Например, приведенное выше выражение позволяет определить статистические характеристики такой дискретной переменной (такие как ее среднее значение , дисперсия и эксцесс ), исходя из формул, приведенных для непрерывного распределения вероятности ...
Семейства плотностей [ править ]
Обычно функции плотности вероятности (и функции массы вероятности ) параметризуются, то есть характеризуются неопределенными параметрами . Например, нормальное распределение параметризуется в терминах среднего и дисперсии , обозначенных и соответственно, давая семейство плотностей
Важно помнить о различии между областью плотностей семейства и параметрами этого семейства. Различные значения параметров описывают разные распределения разных случайных величин в одном и том же пространстве выборки (один и тот же набор всех возможных значений переменной); это пространство выборки является областью семейства случайных величин, которое описывает это семейство распределений. Данный набор параметров описывает единичное распределение внутри семейства, разделяющее функциональную форму плотности. С точки зрения данного распределения параметры являются константами, а члены функции плотности, которые содержат только параметры, но не переменные, являются частью коэффициента нормализации.распределения (мультипликативный коэффициент, который гарантирует, что площадь под плотностью - вероятность того, что что- то произойдет в области - равна 1). Этот коэффициент нормализации находится вне ядра дистрибутива.
Поскольку параметры являются константами, повторное параметрирование плотности с точки зрения различных параметров, чтобы дать характеристику другой случайной переменной в семействе, означает простую замену новых значений параметров в формулу вместо старых. Однако изменение области определения плотности вероятности сложнее и требует дополнительных усилий: см. Раздел ниже, посвященный замене переменных.
Плотности, связанные с несколькими переменными [ править ]
Для непрерывных случайных величин X 1 , ..., X n также можно определить функцию плотности вероятности, связанную с множеством в целом, часто называемую совместной функцией плотности вероятности . Эта функция плотности определяется как функция n переменных, так что для любой области D в n -мерном пространстве значений переменных X 1 , ..., X n вероятность того, что реализация множества переменные попадает внутрь область D является
Если F ( x 1 , ..., x n ) = Pr ( X 1 ≤ x 1 , ..., X n ≤ x n ) - кумулятивная функция распределения вектора ( X 1 , ..., X n ), то совместная функция плотности вероятности может быть вычислена как частная производная
Предельные плотности [ править ]
Для i = 1, 2, ..., n пусть f X i ( x i ) будет функцией плотности вероятности, связанной только с переменной X i . Это называется функцией предельной плотности, и ее можно вывести из плотности вероятности, связанной со случайными величинами X 1 , ..., X n, путем интегрирования по всем значениям других n - 1 переменных:
Независимость [ править ]
Непрерывные случайные величины X 1 , ..., X n, допускающие совместную плотность, независимы друг от друга тогда и только тогда, когда
Следствие [ править ]
Если совместная функция плотности вероятности вектора из n случайных величин может быть разложена на произведение n функций одной переменной
(где каждое f i не обязательно является плотностью), тогда все n переменных в наборе независимы друг от друга, а предельная функция плотности вероятности каждой из них определяется выражением
Пример [ править ]
Этот элементарный пример иллюстрирует приведенное выше определение многомерных функций плотности вероятности в простом случае функции от набора двух переменных. Назовем двумерный случайный вектор координат ( X , Y ): вероятность получить в четверть плоскости положительных значений x и y равна
Функция случайных величин и изменение переменных в функции плотности вероятности [ править ]
Если функция плотности вероятности случайной величины (или вектора) X задана как f X ( x ), можно (но часто не обязательно; см. Ниже) вычислить функцию плотности вероятности некоторой переменной Y = g ( X ) . Это также называется «изменением переменной» и на практике используется для генерации случайной величины произвольной формы f g ( X ) = f Y с использованием известного (например, равномерного) генератора случайных чисел.
Заманчиво думать, что для того, чтобы найти ожидаемое значение E ( g ( X )), нужно сначала найти плотность вероятности f g ( X ) новой случайной величины Y = g ( X ) . Однако вместо вычислений
вместо этого можно найти
Значения двух интегралов одинаковы во всех случаях, когда и X, и g ( X ) фактически имеют функции плотности вероятности. Необязательно, чтобы функция g была взаимно однозначной . В некоторых случаях последний интеграл вычисляется намного проще, чем первый. См. Закон бессознательного статистика .
Скалярное в скалярное [ править ]
Пусть - монотонная функция , тогда результирующая функция плотности будет
Здесь g −1 обозначает обратную функцию .
Это следует из того факта, что вероятность, содержащаяся в дифференциальной области, должна быть инвариантной относительно замены переменных. То есть,
или же
Для функций, которые не являются монотонными, функция плотности вероятности для y равна
где n ( y ) - количество решений по x уравнения , а - эти решения.
Вектор в вектор [ править ]
Вышеупомянутые формулы могут быть обобщены на переменные (которые мы снова будем называть y ) в зависимости от более чем одной другой переменной. f ( x 1 , ..., x n ) должно обозначать функцию плотности вероятности переменных, от которых зависит y , и зависимость должна быть y = g ( x 1 ,…, x n ) . Тогда результирующая функция плотности [ ссылка ]
где интеграл ведется по всему ( n - 1) -мерному решению уравнения с индексами, а символическое dV должно быть заменено параметризацией этого решения для конкретного вычисления; переменные x 1 , ..., x n в этом случае, конечно, являются функциями этой параметризации.
Это происходит из следующего, возможно, более интуитивного представления: предположим, что x - n- мерная случайная величина с совместной плотностью f . Если у = Н ( х ) , где Н представляет собой биективен , дифференцируемая функция , то у имеет плотность г :
с дифференциалом, рассматриваемым как якобиан, обратным к H (.) , вычисленному в y . [6]
Например, в двумерном случае x = ( x 1 , x 2 ) предположим, что преобразование H задано как y 1 = H 1 ( x 1 , x 2 ), y 2 = H 2 ( x 1 , x 2 ) с обратными x 1 = H 1 −1 ( y 1 , y 2 ), x 2 = H 2−1 ( y 1 , y 2 ). Совместное распределение для y = ( y 1 , y 2 ) имеет плотность [7]
Вектор в скаляр [ править ]
Позвольте быть дифференцируемой функцией и быть случайным вектором, принимающим значения , быть функцией плотности вероятности и быть дельта- функцией Дирака . Можно использовать приведенные выше формулы для определения функции плотности вероятности , которая будет иметь вид
Этот результат приводит к Закону бессознательного статистика :
Доказательство:
Позвольте быть свернутой случайной величиной с функцией плотности вероятности ( то есть константой, равной нулю). Пусть случайный вектор и преобразование определены как
- .
Ясно, что это биективное отображение, и якобиан отображения задается формулой:
- ,
которая является верхнетреугольной матрицей с единицами на главной диагонали, поэтому ее определитель равен 1. Применяя теорему о замене переменной из предыдущего раздела, получаем, что
- ,
что при маргинализации приводит к желаемой функции плотности вероятности.
Суммы независимых случайных величин [ править ]
Функция плотности вероятности суммы двух независимых случайных величин U и V , каждая из которых имеет функцию плотности вероятности, представляет собой свертку их отдельных функций плотности:
Можно обобщить предыдущее соотношение на сумму N независимых случайных величин с плотностями U 1 , ..., U N :
Это может быть получено путем двусторонней замены переменных с участием Y = U + V и Z = V , аналогично приведенному ниже примеру для отношения независимых случайных величин.
Произведения и отношения независимых случайных величин [ править ]
Учитывая две независимые случайные величины U и V , каждая из которых имеет функцию плотности вероятности, плотность продукта Y = UV и частного Y = U / V можно вычислить путем замены переменных.
Пример: частное распределение [ править ]
Чтобы вычислить частное Y = U / V двух независимых случайных величин U и V , определите следующее преобразование:
Затем совместная плотность p ( y , z ) может быть вычислена путем замены переменных с U, V на Y, Z и Y может быть получена путем исключения Z из совместной плотности.
Обратное преобразование
Матрица Якоби этого преобразования
Таким образом:
А распределение Y можно вычислить, исключив Z :
Этот метод критически требует, чтобы преобразование из U , V в Y , Z было биективным . Вышеупомянутое преобразование соответствует этому, потому что Z может быть отображено непосредственно обратно в V , и для данного V отношение U / V является монотонным . То же самое и для суммы U + V , разности U - V и произведения UV .
Точно такой же метод можно использовать для вычисления распределения других функций от нескольких независимых случайных величин.
Пример: отношение двух стандартных нормалей [ править ]
Учитывая две стандартные нормальные переменные U и V , частное можно вычислить следующим образом. Во-первых, переменные имеют следующие функции плотности:
Трансформируем как описано выше:
Это ведет к:
Это плотность стандартного распределения Коши .
См. Также [ править ]
- Оценка плотности
- Оценка плотности ядра
- Функция правдоподобия
- Список вероятностных распределений
- Вероятностная функция масс
- Вторичная мера
- Используется в качестве плотности вероятности положения :
- Атомная орбиталь
- Домашний ассортимент
Ссылки [ править ]
- ^ «Обзор статистики AP - кривые плотности и нормальные распределения» . Архивировано из оригинала 2 апреля 2015 года . Проверено 16 марта 2015 года .
- ^ Гринстед, Чарльз М .; Снелл, Дж. Лори (2009). «Условная вероятность - дискретная условная» (PDF) . Введение Гринстеда и Снелла в вероятность . Тексты Orange Grove. ISBN 161610046X. Проверено 25 июля 2019 .
- ^ Функция распределения вероятностей PlanetMath. Архивировано 7 августа 2011 г. в Wayback Machine.
- ^ Функция вероятности в MathWorld
- ^ Орд, Дж. К. (1972) Семейства частотных распределений , Гриффин. ISBN 0-85264-137-0 (например, Таблица 5.1 и Пример 5.4)
- ^ Devore, Jay L .; Берк, Кеннет Н. (2007). Современная математическая статистика с приложениями . Cengage. п. 263. ISBN. 0-534-40473-1.
- ^ Давид, Stirzaker (2007-01-01). Элементарная вероятность . Издательство Кембриджского университета. ISBN 0521534283. OCLC 851313783 .
Дальнейшее чтение [ править ]
- Биллингсли, Патрик (1979). Вероятность и мера . Нью-Йорк, Торонто, Лондон: Джон Вили и сыновья. ISBN 0-471-00710-2.
- Казелла, Джордж ; Бергер, Роджер Л. (2002). Статистический вывод (второе изд.). Thomson Learning. С. 34–37. ISBN 0-534-24312-6.
- Стирзакер, Дэвид (2003). Элементарная вероятность . ISBN 0-521-42028-8. Главы с 7 по 9 посвящены непрерывным переменным.
Внешние ссылки [ править ]
- Ушаков, Н.Г. (2001) [1994], "Плотность распределения вероятностей" , Энциклопедия математики , EMS Press
- Вайсштейн, Эрик В. "Функция плотности вероятности" . MathWorld .