Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Коробчатая диаграмма и функция плотности вероятности нормального распределения N (0,  σ 2 ) .
Геометрическая визуализация режима , медианы и среднего значения произвольной функции плотности вероятности. [1]

В теории вероятностей , А функция плотности вероятности ( PDF ), или плотность из непрерывных случайных переменных , является функцией , значение которой в любом данном образце (или точка) в выборочном пространстве (множество возможных значений , принимаемых случайной величина) может интерпретироваться как обеспечение относительной вероятности того, что значение случайной переменной будет равно этой выборке. [2] Другими словами, абсолютная вероятностьдля непрерывной случайной переменной, которая принимает любое конкретное значение, является 0 (поскольку существует бесконечный набор возможных значений для начала), значение PDF в двух разных выборках может использоваться для вывода в любом конкретном розыгрыше случайного переменной, насколько более вероятно, что случайная величина будет равна одной выборке по сравнению с другой выборкой.

В более точном смысле PDF используется для указания вероятности попадания случайной величины в определенный диапазон значений , в отличие от принятия какого-либо одного значения. Эта вероятность дается интегралом PDF этой переменной в этом диапазоне, то есть она дается площадью под функцией плотности, но над горизонтальной осью и между наименьшим и наибольшим значениями диапазона. Функция плотности вероятности всюду неотрицательна, а ее интеграл по всему пространству равен 1.

Термины « функция распределения вероятностей » [3] и « функция вероятности » [4] также иногда использовались для обозначения функции плотности вероятности. Однако такое использование не является стандартным среди специалистов по теории вероятностей и статистиков. В других источниках «функция распределения вероятностей» может использоваться, когда распределение вероятностей определяется как функция по общим наборам значений, или оно может относиться к кумулятивной функции распределения , или это может быть функция массы вероятности (PMF), а не плотность. Сама «функция плотности» также используется для функции массы вероятности, что приводит к дальнейшему недоразумению. [5] Однако в целом PMF используется в контексте дискретных случайных величин (случайных величин, принимающих значения в счетном наборе), а PDF используется в контексте непрерывных случайных величин.

Пример [ править ]

Предположим, бактерии определенного вида обычно живут от 4 до 6 часов. Вероятность того, что бактерия живет ровно 5 часов, равна нулю. Многие бактерии живут примерно 5 часов, но нет никаких шансов, что какая-либо конкретная бактерия погибнет ровно в 5.0000000000 ... часов. Однако вероятность того, что бактерия погибнет в период от 5 часов до 5,01 часа, поддается количественной оценке. Предположим, ответ - 0,02 (т. Е. 2%). Тогда вероятность того, что бактерия погибнет в период от 5 часов до 5,001 часа, должна быть около 0,002, поскольку этот временной интервал в десять раз меньше предыдущего. Вероятность того, что бактерия погибнет в период от 5 часов до 5.0001 часа, должна быть около 0,0002 и так далее.

В этих трех примерах отношение (вероятность смерти во время интервала) / (продолжительность интервала) приблизительно постоянное и равно 2 в час (или 2 час -1 ). Например, вероятность смерти составляет 0,02 в интервале 0,01 часа между 5 и 5,01 часами, а (вероятность 0,02 / 0,01 часа) = 2 час -1 . Эта величина 2 час -1 называется плотностью вероятности смерти примерно через 5 часов. Следовательно, вероятность того, что бактерия погибнет через 5 часов, может быть записана как (2 час -1 ) dt . Это вероятность того, что бактерия погибнет в бесконечно малом временном окне около 5 часов, где dtпродолжительность этого окна. Например, вероятность того, что он живет дольше 5 часов, но короче (5 часов + 1 наносекунда), составляет (2 час −1 ) × (1 наносекунда) ≈6 × 10 −13 (с использованием преобразования единиц измерения 3,6 × 10 12 наносекунд = 1 час).

Существует функция плотности вероятности f с f (5 часов) = 2 час −1 . Интеграл от F над любым окном времени (не только бесконечно малые окна , но и большие окна) есть вероятность того, что бактерия умирает в этом окне.

Абсолютно непрерывные одномерные распределения [ править ]

Функция плотности вероятности чаще всего ассоциируется с абсолютно непрерывными одномерными распределениями . Случайная величина имеет плотность , где является неотрицательным интегрируемой по Лебегу функции, если:

Следовательно, если это кумулятивная функция распределения из , то:

и (если непрерывна при )

Интуитивно это можно представить как вероятность попадания в бесконечно малый интервал .

Формальное определение [ править ]

( Это определение может быть распространено на любое распределение вероятностей, используя теоретико-мерное определение вероятности . )

Случайная величина со значениями в измеримом пространстве ( как правило , с множествами борелевскими как измеримых подмножеств) имеет в качестве распределения вероятностей мера Х * Р на : по плотности от по отношению к эталонной мере на это производная Радона-Никодима :

То есть f - это любая измеримая функция, обладающая следующим свойством:

для любого измеримого множества

Обсуждение [ править ]

В непрерывном одномерном случае выше эталонной мерой является мера Лебега . Функция вероятности массы из дискретной случайной величины плотности по отношению к счетным мерам по образцу пространству (обычно множество целых чисел , или некоторое их подмножества).

Невозможно определить плотность со ссылкой на произвольную меру (например, нельзя выбрать счетную меру в качестве эталона для непрерывной случайной величины). Более того, когда он действительно существует, плотность почти везде уникальна.

Дополнительная информация [ править ]

В отличие от вероятности функция плотности вероятности может принимать значения больше единицы; например, равномерное распределение на интервале [0, ½] имеет плотность вероятности f ( x ) = 2 для 0 ≤  x  ≤ ½ и f ( x ) = 0 в другом месте.

Стандартное нормальное распределение имеет плотность вероятности

Если случайная величина Х задана и ее распределение допускает функцию плотности вероятности п , затем ожидаемое значение из X (если ожидаемое значение существует) может быть вычислена как

Не каждое распределение вероятностей имеет функцию плотности: распределения дискретных случайных величин не имеют; также нет распределения Кантора , даже если оно не имеет дискретной составляющей, т. е. не приписывает положительную вероятность какой-либо отдельной точке.

Распределение имеет функцию плотности тогда и только тогда, когда его кумулятивная функция распределения F ( x ) абсолютно непрерывна . В этом случае: F является почти всюду дифференцируема , и ее производная может быть использована в качестве плотности вероятности:

Если распределение вероятностей допускает плотность, тогда вероятность каждого одноточечного набора { a } равна нулю; то же самое верно для конечных и счетных множеств.

Две плотности вероятности f и g представляют одно и то же распределение вероятностей, если они различаются только на множестве нулевой меры Лебега .

В области статистической физики в качестве определения функции плотности вероятности обычно используется неформальная переформулировка приведенного выше отношения между производной кумулятивной функции распределения и функцией плотности вероятности. Это альтернативное определение следующее:

Если dt - бесконечно малое число, вероятность того, что X входит в интервал ( tt  +  dt ), равна f ( tdt , или:

Связь между дискретным и непрерывным распределениями [ править ]

Можно представить определенные дискретные случайные величины, а также случайные величины, включающие как непрерывную, так и дискретную части, с обобщенной функцией плотности вероятности, используя дельта-функцию Дирака . (Это невозможно с функцией плотности вероятности в смысле, определенном выше, это можно сделать с помощью распределения .) Например, рассмотрим двоичную дискретную случайную величину, имеющую распределение Радемахера, то есть принимая -1 или 1 для значений, с вероятностью ½ каждое. Плотность вероятности, связанная с этой переменной, равна:

В более общем плане, если дискретная переменная может принимать n различных значений среди действительных чисел, тогда соответствующая функция плотности вероятности имеет вид:

где - дискретные значения, доступные для переменной, и - вероятности, связанные с этими значениями.

Это существенно унифицирует рассмотрение дискретных и непрерывных распределений вероятностей. Например, приведенное выше выражение позволяет определить статистические характеристики такой дискретной переменной (такие как ее среднее значение , дисперсия и эксцесс ), исходя из формул, приведенных для непрерывного распределения вероятности ...

Семейства плотностей [ править ]

Обычно функции плотности вероятности (и функции массы вероятности ) параметризуются, то есть характеризуются неопределенными параметрами . Например, нормальное распределение параметризуется в терминах среднего и дисперсии , обозначенных и соответственно, давая семейство плотностей

Важно помнить о различии между областью плотностей семейства и параметрами этого семейства. Различные значения параметров описывают разные распределения разных случайных величин в одном и том же пространстве выборки (один и тот же набор всех возможных значений переменной); это пространство выборки является областью семейства случайных величин, которое описывает это семейство распределений. Данный набор параметров описывает единичное распределение внутри семейства, разделяющее функциональную форму плотности. С точки зрения данного распределения параметры являются константами, а члены функции плотности, которые содержат только параметры, но не переменные, являются частью коэффициента нормализации.распределения (мультипликативный коэффициент, который гарантирует, что площадь под плотностью - вероятность того, что что- то произойдет в области - равна 1). Этот коэффициент нормализации находится вне ядра дистрибутива.

Поскольку параметры являются константами, повторное параметрирование плотности с точки зрения различных параметров, чтобы дать характеристику другой случайной переменной в семействе, означает простую замену новых значений параметров в формулу вместо старых. Однако изменение области определения плотности вероятности сложнее и требует дополнительных усилий: см. Раздел ниже, посвященный замене переменных.

Плотности, связанные с несколькими переменными [ править ]

Для непрерывных случайных величин X 1 , ..., X n также можно определить функцию плотности вероятности, связанную с множеством в целом, часто называемую совместной функцией плотности вероятности . Эта функция плотности определяется как функция n переменных, так что для любой области D в n -мерном пространстве значений переменных X 1 , ..., X n вероятность того, что реализация множества переменные попадает внутрь область D является

Если F ( x 1 , ...,  x n ) = Pr ( X 1  ≤  x 1 , ...,  X n  ≤  x n ) - кумулятивная функция распределения вектора ( X 1 , ...,  X n ), то совместная функция плотности вероятности может быть вычислена как частная производная

Предельные плотности [ править ]

Для i = 1, 2, ..., n пусть f X i ( x i ) будет функцией плотности вероятности, связанной только с переменной X i . Это называется функцией предельной плотности, и ее можно вывести из плотности вероятности, связанной со случайными величинами X 1 , ..., X n, путем интегрирования по всем значениям других n  - 1 переменных:

Независимость [ править ]

Непрерывные случайные величины X 1 , ..., X n, допускающие совместную плотность, независимы друг от друга тогда и только тогда, когда

Следствие [ править ]

Если совместная функция плотности вероятности вектора из n случайных величин может быть разложена на произведение n функций одной переменной

(где каждое f i не обязательно является плотностью), тогда все n переменных в наборе независимы друг от друга, а предельная функция плотности вероятности каждой из них определяется выражением

Пример [ править ]

Этот элементарный пример иллюстрирует приведенное выше определение многомерных функций плотности вероятности в простом случае функции от набора двух переменных. Назовем двумерный случайный вектор координат ( X , Y ): вероятность получить в четверть плоскости положительных значений x и y равна

Функция случайных величин и изменение переменных в функции плотности вероятности [ править ]

Если функция плотности вероятности случайной величины (или вектора) X задана как f X ( x ), можно (но часто не обязательно; см. Ниже) вычислить функцию плотности вероятности некоторой переменной Y = g ( X ) . Это также называется «изменением переменной» и на практике используется для генерации случайной величины произвольной формы f g ( X ) = f Y с использованием известного (например, равномерного) генератора случайных чисел.

Заманчиво думать, что для того, чтобы найти ожидаемое значение E ( g ( X )), нужно сначала найти плотность вероятности f g ( X ) новой случайной величины Y = g ( X ) . Однако вместо вычислений

вместо этого можно найти

Значения двух интегралов одинаковы во всех случаях, когда и X, и g ( X ) фактически имеют функции плотности вероятности. Необязательно, чтобы функция g была взаимно однозначной . В некоторых случаях последний интеграл вычисляется намного проще, чем первый. См. Закон бессознательного статистика .

Скалярное в скалярное [ править ]

Пусть - монотонная функция , тогда результирующая функция плотности будет

Здесь g −1 обозначает обратную функцию .

Это следует из того факта, что вероятность, содержащаяся в дифференциальной области, должна быть инвариантной относительно замены переменных. То есть,

или же

Для функций, которые не являются монотонными, функция плотности вероятности для y равна

где n ( y ) - количество решений по x уравнения , а - эти решения.

Вектор в вектор [ править ]

Вышеупомянутые формулы могут быть обобщены на переменные (которые мы снова будем называть y ) в зависимости от более чем одной другой переменной. f ( x 1 , ..., x n ) должно обозначать функцию плотности вероятности переменных, от которых зависит y , и зависимость должна быть y = g ( x 1 ,…, x n ) . Тогда результирующая функция плотности [ ссылка ]

где интеграл ведется по всему ( n  - 1) -мерному решению уравнения с индексами, а символическое dV должно быть заменено параметризацией этого решения для конкретного вычисления; переменные x 1 , ..., x n в этом случае, конечно, являются функциями этой параметризации.

Это происходит из следующего, возможно, более интуитивного представления: предположим, что x - n- мерная случайная величина с совместной плотностью f . Если у = Н ( х ) , где Н представляет собой биективен , дифференцируемая функция , то у имеет плотность г :

с дифференциалом, рассматриваемым как якобиан, обратным к H (.) , вычисленному в y . [6]

Например, в двумерном случае x  = ( x 1x 2 ) предположим, что преобразование H задано как y 1  = H 1 ( x 1x 2 ), y 2  = H 2 ( x 1x 2 ) с обратными x 1  = H 1 −1 ( y 1y 2 ), x 2  = H 2−1 ( y 1y 2 ). Совместное распределение для y  = ( y 1 , y 2 ) имеет плотность [7]

Вектор в скаляр [ править ]

Позвольте быть дифференцируемой функцией и быть случайным вектором, принимающим значения , быть функцией плотности вероятности и быть дельта- функцией Дирака . Можно использовать приведенные выше формулы для определения функции плотности вероятности , которая будет иметь вид

Этот результат приводит к Закону бессознательного статистика :

Доказательство:

Позвольте быть свернутой случайной величиной с функцией плотности вероятности ( то есть константой, равной нулю). Пусть случайный вектор и преобразование определены как

.

Ясно, что это биективное отображение, и якобиан отображения задается формулой:

,

которая является верхнетреугольной матрицей с единицами на главной диагонали, поэтому ее определитель равен 1. Применяя теорему о замене переменной из предыдущего раздела, получаем, что

,

что при маргинализации приводит к желаемой функции плотности вероятности.

Суммы независимых случайных величин [ править ]

Функция плотности вероятности суммы двух независимых случайных величин U и V , каждая из которых имеет функцию плотности вероятности, представляет собой свертку их отдельных функций плотности:

Можно обобщить предыдущее соотношение на сумму N независимых случайных величин с плотностями U 1 , ..., U N :

Это может быть получено путем двусторонней замены переменных с участием Y = U + V и Z = V , аналогично приведенному ниже примеру для отношения независимых случайных величин.

Произведения и отношения независимых случайных величин [ править ]

Учитывая две независимые случайные величины U и V , каждая из которых имеет функцию плотности вероятности, плотность продукта Y  =  UV и частного Y = U / V можно вычислить путем замены переменных.

Пример: частное распределение [ править ]

Чтобы вычислить частное Y  =  U / V двух независимых случайных величин U и V , определите следующее преобразование:

Затем совместная плотность p ( y , z ) может быть вычислена путем замены переменных с U, V на Y, Z и Y может быть получена путем исключения Z из совместной плотности.

Обратное преобразование

Матрица Якоби этого преобразования

Таким образом:

А распределение Y можно вычислить, исключив Z :

Этот метод критически требует, чтобы преобразование из U , V в Y , Z было биективным . Вышеупомянутое преобразование соответствует этому, потому что Z может быть отображено непосредственно обратно в V , и для данного V отношение U / V является монотонным . То же самое и для суммы U  +  V , разности U  -  V и произведения UV .

Точно такой же метод можно использовать для вычисления распределения других функций от нескольких независимых случайных величин.

Пример: отношение двух стандартных нормалей [ править ]

Учитывая две стандартные нормальные переменные U и V , частное можно вычислить следующим образом. Во-первых, переменные имеют следующие функции плотности:

Трансформируем как описано выше:

Это ведет к:

Это плотность стандартного распределения Коши .

См. Также [ править ]

  • Оценка плотности
  • Оценка плотности ядра
  • Функция правдоподобия
  • Список вероятностных распределений
  • Вероятностная функция масс
  • Вторичная мера
  • Используется в качестве плотности вероятности положения :
    • Атомная орбиталь
    • Домашний ассортимент

Ссылки [ править ]

  1. ^ «Обзор статистики AP - кривые плотности и нормальные распределения» . Архивировано из оригинала 2 апреля 2015 года . Проверено 16 марта 2015 года .
  2. ^ Гринстед, Чарльз М .; Снелл, Дж. Лори (2009). «Условная вероятность - дискретная условная» (PDF) . Введение Гринстеда и Снелла в вероятность . Тексты Orange Grove. ISBN  161610046X. Проверено 25 июля 2019 .
  3. ^ Функция распределения вероятностей PlanetMath. Архивировано 7 августа 2011 г. в Wayback Machine.
  4. ^ Функция вероятности в MathWorld
  5. ^ Орд, Дж. К. (1972) Семейства частотных распределений , Гриффин. ISBN 0-85264-137-0 (например, Таблица 5.1 и Пример 5.4) 
  6. ^ Devore, Jay L .; Берк, Кеннет Н. (2007). Современная математическая статистика с приложениями . Cengage. п. 263. ISBN. 0-534-40473-1.
  7. ^ Давид, Stirzaker (2007-01-01). Элементарная вероятность . Издательство Кембриджского университета. ISBN 0521534283. OCLC  851313783 .

Дальнейшее чтение [ править ]

  • Биллингсли, Патрик (1979). Вероятность и мера . Нью-Йорк, Торонто, Лондон: Джон Вили и сыновья. ISBN 0-471-00710-2.
  • Казелла, Джордж ; Бергер, Роджер Л. (2002). Статистический вывод (второе изд.). Thomson Learning. С. 34–37. ISBN 0-534-24312-6.
  • Стирзакер, Дэвид (2003). Элементарная вероятность . ISBN 0-521-42028-8. Главы с 7 по 9 посвящены непрерывным переменным.

Внешние ссылки [ править ]

  • Ушаков, Н.Г. (2001) [1994], "Плотность распределения вероятностей" , Энциклопедия математики , EMS Press
  • Вайсштейн, Эрик В. "Функция плотности вероятности" . MathWorld .