В статистических данных , то стандартное отклонение является мерой количества вариации или дисперсии множества значений. [1] Низкое стандартное отклонение указывает на то, что значения имеют тенденцию быть близкими к среднему (также называемому ожидаемым значением ) набора, в то время как высокое стандартное отклонение указывает, что значения разбросаны в более широком диапазоне.
Стандартное отклонение может быть сокращено как SD и чаще всего представлено в математических текстах и уравнениях строчной греческой буквой сигма σ для стандартного отклонения генеральной совокупности или латинской буквой s для стандартного отклонения выборки. [2]
Стандартное отклонение случайной величины , выборки , статистической совокупности , набора данных или распределения вероятностей - это квадратный корень из ее дисперсии . Это алгебраически проще, хотя на практике менее надежно, чем среднее абсолютное отклонение . [3] [4] Полезное свойство стандартного отклонения состоит в том, что, в отличие от дисперсии, оно выражается в той же единице, что и данные.
Стандартное отклонение генеральной совокупности или выборки и стандартная ошибка статистики (например, выборочного среднего) совершенно разные, но взаимосвязанные. Стандартная ошибка выборочного среднего - это стандартное отклонение набора средних, которое можно было бы найти, отбирая бесконечное количество повторяющихся выборок из генеральной совокупности и вычисляя среднее значение для каждой выборки. Стандартная ошибка среднего оказывается равной стандартному отклонению совокупности, деленному на квадратный корень из размера выборки, и оценивается с использованием стандартного отклонения выборки, деленного на квадратный корень из размера выборки. Например, стандартная ошибка опроса (то, что сообщается как предел погрешности опроса) - это ожидаемое стандартное отклонение оценочного среднего, если один и тот же опрос должен быть проведен несколько раз. Таким образом, стандартная ошибка оценивает стандартное отклонение оценки, которое само по себе измеряет, насколько оценка зависит от конкретной выборки, взятой из совокупности.
В науке принято указывать как стандартное отклонение данных (как сводную статистику), так и стандартную ошибку оценки (как меру потенциальной ошибки в выводах). По соглашению, только эффекты, отклоняющиеся от нулевого ожидания более чем на две стандартные ошибки, считаются «статистически значимыми» , что является гарантией против ложных выводов, которые на самом деле вызваны случайной ошибкой выборки.
Когда доступна только выборка данных из генеральной совокупности, термин стандартное отклонение выборки или стандартное отклонение выборки может относиться либо к вышеупомянутой величине применительно к этим данным, либо к измененной величине, которая является объективной оценкой стандартное отклонение совокупности (стандартное отклонение всей совокупности).
Основные примеры
Стандартное отклонение оценок восьми учащихся
Предположим, что вся интересующая нас совокупность - это восемь учеников определенного класса. Для конечного набора чисел стандартное отклонение совокупности находится путем извлечения квадратного корня из среднего квадрата отклонений значений, вычтенных из их среднего значения. Оценками класса из восьми учащихся (то есть статистической совокупности ) являются следующие восемь значений:
Эти восемь точек данных имеют среднее значение 5:
Сначала вычислите отклонения каждой точки данных от среднего и возведите результат каждого в квадрат :
Дисперсия представляет собой среднее из этих значений:
а стандартное отклонение совокупности равно квадратному корню из дисперсии:
Эта формула действительна, только если восемь значений, с которых мы начали, образуют полную генеральную совокупность. Если бы вместо этого значения были случайной выборкой, взятой из некоторой большой родительской популяции (например, это были 8 учеников, случайно и независимо выбранных из 2-миллионного класса), то одно делится на 7 (что равно n - 1) вместо 8 ( что равно n ) в знаменателе последней формулы, и результат будетВ этом случае результат исходной формулы будет называться стандартным отклонением выборки и обозначаться s вместоДеление на n - 1, а не на n дает объективную оценку дисперсии более крупной родительской популяции. Это известно как поправка Бесселя . [5] [6] Грубо говоря, причина этого в том, что формула для выборочной дисперсии основана на вычислении различий наблюдений от выборочного среднего, а само выборочное среднее было построено так, чтобы быть как можно ближе к наблюдениям, поэтому просто деление на n приведет к недооценке изменчивости.
Стандартное отклонение среднего роста для взрослых мужчин
Если интересующая нас совокупность приблизительно нормально распределена, стандартное отклонение дает информацию о доле наблюдений выше или ниже определенных значений. Например, средний рост взрослых мужчин в США составляет около 70 дюймов (177,8 см) со стандартным отклонением около 3 дюймов (7,62 см). Это означает, что большинство мужчин (около 68%, при условии нормального распределения ) имеют рост в пределах 3 дюймов (7,62 см) от среднего (67–73 дюймов (170,18–185,42 см)) - одно стандартное отклонение - и почти все мужчины ( около 95%) имеют рост в пределах 6 дюймов (15,24 см) от среднего (64–76 дюймов (162,56–193,04 см)) - два стандартных отклонения. Если бы стандартное отклонение было равно нулю, то все мужчины были бы ростом ровно 70 дюймов (177,8 см). Если бы стандартное отклонение составляло 20 дюймов (50,8 см), то мужчины имели бы гораздо более изменчивый рост с типичным диапазоном около 50–90 дюймов (127–228,6 см). Три стандартных отклонения составляют 99,7% исследуемой выборки, если предположить, что распределение является нормальным или колоколообразным (см. Правило 68-95-99,7 или эмпирическое правило для получения дополнительной информации).
Определение ценностей населения
Пусть μ - ожидаемое значение (среднее значение) случайной величины X с плотностью f (x) :
Стандартное отклонение σ для X определяется как
который можно показать равным
Используя слова, стандартное отклонение представляет собой квадратный корень из дисперсии из X .
Стандартное отклонение вероятностного распределения такое же, как и у случайной величины, имеющей это распределение.
Не все случайные величины имеют стандартное отклонение. Если у распределения есть толстые хвосты, уходящие в бесконечность, стандартное отклонение может не существовать, потому что интеграл может не сходиться. У нормального распределения хвосты уходят в бесконечность, но его среднее и стандартное отклонение действительно существуют, потому что хвосты уменьшаются достаточно быстро. Распределение Парето с параметромимеет среднее значение, но не стандартное отклонение (грубо говоря, стандартное отклонение бесконечно). Распределение Коши не имеет ни среднего значения, ни стандартного отклонения.
Дискретная случайная величина
В случае, когда X принимает случайные значения из конечного набора данных x 1 , x 2 , ..., x N , причем каждое значение имеет одинаковую вероятность, стандартное отклонение составляет
или, используя обозначение суммирования ,
Если, вместо того , чтобы равные вероятности, значения имеют разные вероятности, пусть х 1 есть вероятность р 1 , х 2 есть вероятность р 2 , ..., х N есть вероятность р N . В этом случае стандартное отклонение будет
Непрерывная случайная величина
Стандартное отклонение непрерывной вещественной случайной величины X с функцией плотности вероятности p ( x ) равно
и где интегралы определенные интегралы , взятые для й в диапазоне по множеству возможных значений случайной величины X .
В случае параметрического семейства распределений стандартное отклонение может быть выражено через параметры. Например, в случае логнормального распределения с параметрами μ и σ 2 стандартное отклонение составляет
Оценка
Стандартное отклонение для всей генеральной совокупности можно найти в случаях (таких как стандартизованное тестирование ), когда отбирается каждый член совокупности. В случаях, когда это невозможно сделать, стандартное отклонение σ оценивается путем изучения случайной выборки, взятой из совокупности, и вычисления статистики выборки, которая используется в качестве оценки стандартного отклонения совокупности. Такая статистика называется оценщиком , а оценщик (или значение оценщика, а именно оценка) называется стандартным отклонением выборки и обозначается s (возможно, с модификаторами).
В отличие от случая оценки среднего для генеральной совокупности, для которого выборочное среднее представляет собой простую оценку со многими желательными свойствами ( несмещенная , эффективная , максимальная вероятность), не существует единой оценки стандартного отклонения со всеми этими свойствами и несмещенной оценки стандартное отклонение - это технически сложная проблема. Чаще всего стандартное отклонение оценивается с использованием скорректированного стандартного отклонения выборки (с использованием N - 1), определенного ниже, и это часто называется «стандартным отклонением выборки» без квалификаторов. Однако другие оценки лучше в других отношениях: нескорректированная оценка (с использованием N ) дает более низкую среднеквадратичную ошибку, а использование N - 1,5 (для нормального распределения) почти полностью устраняет смещение.
Неисправленное стандартное отклонение выборки
Формула для населения стандартного отклонения (конечной совокупности) может быть применена к образцу, используя размер выборки как размер популяции (хотя фактического размер популяции , из которой обращается образец может быть значительно больше). Эта оценка, обозначаемая s N , известна как нескорректированное стандартное отклонение выборки , или иногда стандартное отклонение выборки (рассматриваемой как вся генеральная совокупность), и определяется следующим образом: [7]
где наблюдаемые значения элементов выборки, и - это среднее значение этих наблюдений, а знаменатель N означает размер выборки: это квадратный корень из дисперсии выборки, который представляет собой среднее значение квадратов отклонений от среднего значения выборки.
Это согласованная оценка (она сходится по вероятности к значению совокупности, когда количество выборок стремится к бесконечности) и является оценкой максимального правдоподобия при нормальном распределении совокупности. [ необходима цитата ] Однако это предвзятая оценка , поскольку оценки , как правило, слишком занижены. Смещение уменьшается по мере увеличения размера выборки, уменьшаясь до 1 / N , и, таким образом, наиболее значимо для малых или средних размеров выборки; длясмещение ниже 1%. Таким образом, для очень больших размеров выборки обычно приемлемо нескорректированное стандартное отклонение выборки. Этот оценщик также имеет равномерно меньшую среднеквадратичную ошибку, чем скорректированное стандартное отклонение выборки.
Скорректированное стандартное отклонение выборки
Если смещенная дисперсия выборки (второй центральный момент выборки, которая является оценкой дисперсии генеральной совокупности с понижением) используется для вычисления оценки стандартного отклонения совокупности, результатом будет
Здесь извлечение квадратного корня приводит к дальнейшему смещению вниз по неравенству Дженсена из-за того, что квадратный корень является вогнутой функцией . Смещение дисперсии легко исправить, но смещение квадратного корня исправить сложнее, и оно зависит от рассматриваемого распределения.
Несмещенная оценка дисперсии дается путем применения поправки Бесселя с использованием N - 1 вместо N для получения несмещенной выборочной дисперсии, обозначенной s 2 :
Этот оценщик является несмещенным, если существует дисперсия и выборочные значения строятся независимо с заменой. N - 1 соответствует числу степеней свободы в векторе отклонений от среднего,
Извлечение квадратного корня снова приводит к смещению (поскольку квадратный корень является нелинейной функцией, которая не коммутирует с математическим ожиданием), что дает скорректированное стандартное отклонение выборки, обозначенное s: [2]
Как объяснялось выше, хотя s 2 является несмещенной оценкой дисперсии генеральной совокупности, s по-прежнему является смещенной оценкой стандартного отклонения генеральной совокупности, хотя и заметно менее смещенной, чем нескорректированное стандартное отклонение выборки. Эта оценка обычно используется и известна просто как «стандартное отклонение выборки». Смещение может быть большим для небольших выборок ( N менее 10). По мере увеличения размера выборки величина смещения уменьшается. Получаем больше информации и разницу между а также становится меньше.
Беспристрастное стандартное отклонение выборки
Для объективной оценки стандартного отклонения не существует формулы, которая работала бы для всех распределений, в отличие от среднего и дисперсии. Вместо этого s используется в качестве основы и масштабируется с помощью поправочного коэффициента для получения несмещенной оценки. Для нормального распределения несмещенная оценка задается s / c 4 , где поправочный коэффициент (который зависит от N ) задается в терминах гамма-функции и равен:
Это возникает из-за того, что выборочное распределение стандартного отклонения выборки следует (масштабированному) распределению хи , а поправочный коэффициент является средним значением распределения хи.
Приближение может быть дано заменой N - 1 на N - 1,5, что дает:
Ошибка в этом приближении уменьшается квадратично (как 1 / N 2 ), и оно подходит для всех, кроме самых маленьких выборок или наивысшей точности: для N = 3 смещение равно 1,3%, а для N = 9 смещение уже менее 0,1%.
Более точное приближение - заменить выше с . [8]
Для других распределений правильная формула зависит от распределения, но практическое правило - использовать дальнейшее уточнение приближения:
где γ 2 обозначает избыточный эксцесс популяции . Избыточный эксцесс для определенных распределений может быть известен заранее или рассчитан на основе данных. [ необходима цитата ]
Доверительный интервал выборочного стандартного отклонения
Стандартное отклонение, которое мы получаем путем выборки распределения, само по себе не является абсолютно точным как по математическим причинам (здесь объясняется доверительным интервалом), так и по практическим причинам измерения (ошибка измерения). Математический эффект можно описать доверительным интервалом или доверительным интервалом .
Чтобы показать, как большая выборка сужает доверительный интервал, рассмотрим следующие примеры: Небольшая совокупность N = 2 имеет только 1 степень свободы для оценки стандартного отклонения. В результате 95% ДИ SD изменяется от 0,45 × SD до 31,9 × SD; Факторы здесь следующие :
где - p -й квантиль распределения хи-квадрат с k степенями свободы, иуровень уверенности. Это эквивалентно следующему:
При k = 1 а также . Обратные квадратные корни этих двух чисел дают нам множители 0,45 и 31,9, указанные выше.
Большая популяция N = 10 имеет 9 степеней свободы для оценки стандартного отклонения. Те же вычисления, что и выше, дают нам в этом случае 95% доверительный интервал от 0,69 × SD до 1,83 × SD. Таким образом, даже при выборке из 10 фактическое стандартное отклонение может быть почти в 2 раза выше, чем стандартное отклонение для выборки. Для выборки N = 100 это составляет от 0,88 × SD до 1,16 × SD. Чтобы быть более уверенным в том, что SD сэмплирования близко к фактическому SD, нам нужно отобрать большое количество точек.
Эти же формулы можно использовать для получения доверительных интервалов дисперсии остатков по методу наименьших квадратов в рамках стандартной нормальной теории, где теперь k - количество степеней свободы ошибки.
Границы стандартного отклонения
Для набора из N > 4 данных, охватывающих диапазон значений R , верхняя граница стандартного отклонения s определяется как s = 0,6R . [9] Оценка стандартного отклонения для данных N > 100, которые считаются приблизительно нормальными, следует из эвристики, согласно которой 95% площади под нормальной кривой лежит примерно на два стандартных отклонения в обе стороны от среднего значения, так что при 95 % вероятности общий диапазон значений R представляет четыре стандартных отклонения, так что s ≈ R / 4 . Это так называемое правило диапазона полезно при оценке размера выборки , поскольку диапазон возможных значений легче оценить, чем стандартное отклонение. Другие делители K (N) диапазона, такие что s ≈ R / K (N) , доступны для других значений N и для ненормальных распределений. [10]
Тождества и математические свойства
Стандартное отклонение инвариантно при изменении местоположения и напрямую зависит от масштаба случайной величины. Таким образом, для постоянной c и случайных величин X и Y :
Стандартное отклонение суммы двух случайных величин может быть связано с их индивидуальными стандартными отклонениями и ковариацией между ними:
где а также обозначают дисперсию и ковариацию соответственно.
Вычисление суммы квадратов отклонений может быть связано с моментами, рассчитанными непосредственно из данных. В следующей формуле буква E интерпретируется как ожидаемое значение, т. Е. Среднее значение.
Стандартное отклонение выборки можно рассчитать как:
Для конечной совокупности с равными вероятностями во всех точках имеем
что означает, что стандартное отклонение равно квадратному корню из разницы между средним квадратом значений и квадратом среднего значения.
См. Расчетную формулу для дисперсии для доказательства и аналогичный результат для стандартного отклонения выборки.
Толкование и применение
Большое стандартное отклонение указывает на то, что точки данных могут далеко отклоняться от среднего, а небольшое стандартное отклонение указывает, что они сгруппированы близко к среднему.
Например, каждая из трех популяций {0, 0, 14, 14}, {0, 6, 8, 14} и {6, 6, 8, 8} имеет среднее значение 7. Их стандартные отклонения равны 7, 5. , и 1 соответственно. Третья совокупность имеет гораздо меньшее стандартное отклонение, чем две другие, потому что все ее значения близки к 7. Эти стандартные отклонения имеют те же единицы, что и сами точки данных. Если, например, набор данных {0, 6, 8, 14} представляет возраст населения из четырех братьев и сестер в годах, стандартное отклонение составляет 5 лет. В качестве другого примера совокупность {1000, 1006, 1008, 1014} может представлять расстояния, пройденные четырьмя спортсменами, измеренные в метрах. Среднее значение составляет 1007 метров, а стандартное отклонение - 5 метров.
Стандартное отклонение может служить мерой неопределенности. В физической науке, например, стандартное отклонение группы повторных измерений дает точность этих измерений. При принятии решения о том, согласуются ли измерения с теоретическим прогнозом, стандартное отклонение этих измерений имеет решающее значение: если среднее значение измерений слишком далеко от прогноза (с расстоянием, измеренным в стандартных отклонениях), то теория, вероятно, проверяется. нуждается в доработке. Это имеет смысл, поскольку они выходят за пределы диапазона значений, которые можно было бы разумно ожидать, если бы прогноз был правильным и стандартное отклонение было должным образом определено количественно. См. Интервал прогнозирования .
Хотя стандартное отклонение действительно показывает, насколько типичные значения обычно отличаются от среднего, доступны и другие меры. Примером является среднее абсолютное отклонение , которое можно рассматривать как более прямую меру среднего расстояния по сравнению со среднеквадратичным расстоянием, присущим стандартному отклонению.
Примеры применения
Практическая ценность понимания стандартного отклонения набора значений состоит в том, чтобы понять, насколько велико отклонение от среднего (среднего).
Экспериментальная, промышленная и гипотетическая проверка
Стандартное отклонение часто используется для сравнения реальных данных с моделью для проверки модели. Например, в промышленных приложениях вес продуктов, сходящих с производственной линии, может потребовать соответствия юридически требуемому значению. Взвешивая некоторую долю продуктов, можно определить средний вес, который всегда будет немного отличаться от долгосрочного среднего. Используя стандартные отклонения, можно рассчитать минимальное и максимальное значение, при котором усредненный вес будет в пределах некоторого очень высокого процента времени (99,9% или более). Если он выходит за пределы допустимого диапазона, возможно, необходимо скорректировать производственный процесс. Статистические тесты, подобные этим, особенно важны, когда тестирование относительно дорогое. Например, если продукт нужно открыть, слить и взвесить, или если продукт был израсходован во время теста иным образом.
В экспериментальной науке используется теоретическая модель реальности. Физика элементарных частиц обычно использует стандарт « 5 сигм » для объявления открытия. Уровень пяти сигм означает один шанс из 3,5 миллиона, что случайное колебание даст результат. Этот уровень уверенности требуется для того , чтобы утверждать , что частица в соответствии с бозоном Хиггса был обнаружен в двух независимых экспериментах в ЦЕРН , [11] , также ведущей к декларации первого наблюдения гравитационных волн , [12] и подтверждение глобальное потепление . [13]
Погода
В качестве простого примера рассмотрим среднесуточные максимальные температуры в двух городах, одном на суше и на побережье. Полезно понимать, что диапазон суточных максимальных температур для прибрежных городов меньше, чем для городов внутри страны. Таким образом, хотя каждый из этих двух городов может иметь одинаковую среднюю максимальную температуру, стандартное отклонение суточной максимальной температуры для прибрежного города будет меньше, чем для внутреннего города, поскольку в любой конкретный день фактическая максимальная температура более вероятна. быть дальше от средней максимальной температуры для внутреннего города, чем для прибрежного.
Финансы
В финансах стандартное отклонение часто используется как мера риска, связанного с колебаниями цен на данный актив (акции, облигации, имущество и т. Д.), Или риска портфеля активов [14] (активно управляемые паевые инвестиционные фонды). , индексные паевые инвестиционные фонды или ETF). Риск является важным фактором при определении того, как эффективно управлять портфелем инвестиций, поскольку он определяет вариацию доходности актива и / или портфеля и дает инвесторам математическую основу для принятия инвестиционных решений (известную как оптимизация среднего отклонения ). Фундаментальная концепция риска заключается в том, что по мере его увеличения ожидаемая доходность инвестиций также должна увеличиваться, что называется премией за риск. Другими словами, инвесторы должны ожидать более высокой отдачи от инвестиций, если они сопряжены с более высоким уровнем риска или неопределенности. При оценке инвестиций инвесторы должны оценить как ожидаемую доходность, так и неопределенность будущей прибыли. Стандартное отклонение обеспечивает количественную оценку неопределенности будущих доходов.
Например, предположим, что инвестору пришлось выбирать между двумя акциями. Акция А за последние 20 лет имела среднюю доходность 10 процентов со стандартным отклонением 20 процентных пунктов (п.п.), а Акция B за тот же период имела среднюю доходность 12 процентов, но более высокое стандартное отклонение 30 п.п. На основе риска и доходности инвестор может решить, что Акция A является более безопасным выбором, поскольку дополнительные два процентных пункта доходности Акции B не стоят дополнительных 10 п.п. стандартного отклонения (больший риск или неопределенность ожидаемой доходности). Акция B, вероятно, не будет соответствовать первоначальным инвестициям (но также превысит первоначальные инвестиции) чаще, чем Акция A при тех же обстоятельствах, и, по оценкам, будет приносить в среднем лишь на два процента больше. В этом примере ожидается, что Акция А принесет около 10 процентов плюс-минус 20 п.п. (диапазон от 30 до -10 процентов), что составляет около двух третей прибыли в будущем году. При рассмотрении более экстремальных возможных доходов или результатов в будущем инвестор должен ожидать результатов в размере до 10 процентов плюс-минус 60 п.п. или в диапазоне от 70 до -50 процентов, который включает результаты для трех стандартных отклонений от средней доходности. (около 99,7 процента вероятной доходности).
Расчет средней (или среднего арифметического) доходности ценной бумаги за определенный период дает ожидаемую доходность актива. Для каждого периода вычитание ожидаемой прибыли из фактической приводит к разнице из среднего. Возведение разницы в квадрат за каждый период и взятие среднего дает общую дисперсию доходности актива. Чем больше отклонение, тем больший риск несет безопасность. Нахождение квадратного корня из этой дисперсии даст стандартное отклонение рассматриваемого инвестиционного инструмента.
Стандартное отклонение населения используется для установки ширины полос Боллинджера , широко распространенного инструмента технического анализа . Например, верхняя полоса Боллинджера представлена какНаиболее часто используемое значение n - 2; вероятность выхода на улицу составляет около пяти процентов при нормальном распределении доходов.
Финансовые временные ряды известны как нестационарные ряды, тогда как приведенные выше статистические расчеты, такие как стандартное отклонение, применимы только к стационарным рядам. Чтобы применить вышеупомянутые статистические инструменты к нестационарным рядам, этот ряд сначала должен быть преобразован в стационарный ряд, что позволит использовать статистические инструменты, которые теперь имеют действительную основу для работы.
Геометрическая интерпретация
Чтобы получить некоторые геометрические представления и пояснения, мы начнем с совокупности трех значений: x 1 , x 2 , x 3 . Это определяет точку P = ( x 1 , x 2 , x 3 ) в R 3 . Рассмотрим прямую L = {( r , r , r ): r ∈ R }. Это «главная диагональ», проходящая через начало координат. Если наши три заданные значения были все равны, то стандартное отклонение будет равно нулю , а Р будет лежать на L . Таким образом , это не разумно предположить , что стандартное отклонение связано с расстоянием от Р до L . Это действительно так. Чтобы двигаться ортогонально от L к точке P , нужно начать с точки:
чьи координаты являются средними значениями, с которых мы начали.
Вывод |
---|
на следовательно для некоторых . Линия ортогонален вектору из к . Следовательно: |
Небольшая алгебра показывает, что расстояние между P и M (которое совпадает с ортогональным расстоянием между P и линией L )равно стандартному отклонению вектора ( x 1 , x 2 , x 3 ), умноженному на квадратный корень из числа размерностей вектора (в данном случае 3).
Неравенство Чебышева
Наблюдение редко отличается от среднего значения более чем на несколько стандартных отклонений. Неравенство Чебышева гарантирует, что для всех распределений, для которых определено стандартное отклонение, объем данных в пределах ряда стандартных отклонений среднего будет не меньше, чем указано в следующей таблице.
Расстояние от среднего | Минимальное население |
---|---|
50% | |
2 σ | 75% |
3 σ | 89% |
4 σ | 94% |
5 σ | 96% |
6 σ | 97% |
[15] | |
Правила для нормально распределенных данных
Центральные предельная теорема утверждает , что распределение среднего числа многих независимого одинаково распределенные случайные величины стремятся к известному колоколообразному нормальному распределению с функцией плотности вероятности из
где μ - ожидаемое значение случайных величин, σ - стандартное отклонение их распределения, деленное на n 1/2 , а n - количество случайных величин. Таким образом, стандартное отклонение - это просто масштабирующая переменная, которая регулирует ширину кривой, хотя она также появляется в нормирующей константе .
Если распределение данных приблизительно нормальное, то доля значений данных в пределах z стандартных отклонений среднего определяется следующим образом:
где это функция ошибок . Пропорция, которая меньше или равна числу x , задается кумулятивной функцией распределения :
- . [16]
Если распределение данных приблизительно нормальное, то около 68 процентов значений данных находятся в пределах одного стандартного отклонения от среднего (математически μ ± σ , где μ - среднее арифметическое), около 95 процентов находятся в пределах двух стандартных отклонений ( μ ± 2 σ ), и около 99,7% находятся в пределах трех стандартных отклонений ( μ ± 3 σ ). Это известно как правило 68-95-99.7 или эмпирическое правило .
Для различных значений z ожидаемый процент значений, лежащих в симметричном интервале и за его пределами, CI = (- zσ , zσ ), составляет:
Доверительный интервал | Пропорция в пределах | Пропорция без | |
---|---|---|---|
Процент | Процент | Доля | |
0,318 639 σ | 25% | 75% | 3/4 |
0,674 490 σ | 50 % | 50 % | 1 / 2 |
0,977 925 σ | 66,6667% | 33,3333% | 1/3 |
0,994 458 σ | 68% | 32% | 1 / 3,125 |
1 σ | 68,268 9492 % | 31,731 0508 % | 1 / 3,151 4872 |
1,281 552 σ | 80% | 20% | 1/5 |
1,644 854 σ | 90% | 10% | 1/10 |
1,959 964 σ | 95% | 5% | 1/20 |
2 σ | 95,449 9736 % | 4,550 0264 % | 1 / 21 977 895 |
2,575 829 σ | 99% | 1% | 1/100 |
3 σ | 99,730 0204 % | 0,269 9796 % | 1 / 370,398 |
3,290 527 σ | 99,9% | 0,1% | 1 / 1000 |
3,890 592 σ | 99,99% | 0,01% | 1 / 10 000 |
4 σ | 99,993 666 % | 0,006 334 % | 1 / 15 787 |
4,417 173 σ | 99,999% | 0,001% | 1 / 100 000 |
4,5 σ | 99,999 320 465 3751% | 0,000 679 534 6249% | 1 / 147 159. 5358 6,8 / 1 000 000 |
4,891 638 σ | 99,9999 % | 0,0001 % | 1 / 1 000 000 |
5 σ | 99,999 942 6697 % | 0,000 057 3303 % | 1 / 1 744 278 |
5,326 724 σ | 99,999 99 % | 0,000 01 % | 1 / 10 000 000 |
5,730 729 σ | 99.999999% | 0.000001% | 1 / 100000000 |
6σ | 99.9999998027% | 0.0000001973% | 1 / 506797346 |
6.109410σ | 99.9999999% | 0.0000001% | 1 / 1000000000 |
6.466951σ | 99.99999999% | 0.00000001% | 1 / 10000000000 |
6.806502σ | 99.999999999% | 0.000000001% | 1 / 100000000000 |
7σ | 99.9999999997440% | 0.000000000256% | 1 / 390682215445 |
Связь между стандартным отклонением и средним значением
The mean and the standard deviation of a set of data are descriptive statistics usually reported together. In a certain sense, the standard deviation is a "natural" measure of statistical dispersion if the center of the data is measured about the mean. This is because the standard deviation from the mean is smaller than from any other point. The precise statement is the following: suppose x1, ..., xn are real numbers and define the function:
Using calculus or by completing the square, it is possible to show that σ(r) has a unique minimum at the mean:
Variability can also be measured by the coefficient of variation, which is the ratio of the standard deviation to the mean. It is a dimensionless number.
Standard deviation of the mean
Often, we want some information about the precision of the mean we obtained. We can obtain this by determining the standard deviation of the sampled mean. Assuming statistical independence of the values in the sample, the standard deviation of the mean is related to the standard deviation of the distribution by:
where N is the number of observations in the sample used to estimate the mean. This can easily be proven with (see basic properties of the variance):
(Statistical independence is assumed.)
hence
Resulting in:
In order to estimate the standard deviation of the mean it is necessary to know the standard deviation of the entire population beforehand. However, in most applications this parameter is unknown. For example, if a series of 10 measurements of a previously unknown quantity is performed in a laboratory, it is possible to calculate the resulting sample mean and sample standard deviation, but it is impossible to calculate the standard deviation of the mean.
Методы быстрого расчета
The following two formulas can represent a running (repeatedly updated) standard deviation. A set of two power sums s1 and s2 are computed over a set of N values of x, denoted as x1, ..., xN:
Given the results of these running summations, the values N, s1, s2 can be used at any time to compute the current value of the running standard deviation:
Where N, as mentioned above, is the size of the set of values (or can also be regarded as s0).
Similarly for sample standard deviation,
In a computer implementation, as the two sj sums become large, we need to consider round-off error, arithmetic overflow, and arithmetic underflow. The method below calculates the running sums method with reduced rounding errors.[17] This is a "one pass" algorithm for calculating variance of n samples without the need to store prior data during the calculation. Applying this method to a time series will result in successive values of standard deviation corresponding to n data points as n grows larger with each new sample, rather than a constant-width sliding window calculation.
For k = 1, ..., n:
where A is the mean value.
Note: since or
Sample variance:
Population variance:
Weighted calculation
When the values xi are weighted with unequal weights wi, the power sums s0, s1, s2 are each computed as:
And the standard deviation equations remain unchanged. s0 is now the sum of the weights and not the number of samples N.
The incremental method with reduced rounding errors can also be applied, with some additional complexity.
A running sum of weights must be computed for each k from 1 to n:
and places where 1/n is used above must be replaced by wi/Wn:
In the final division,
and
or
where n is the total number of elements, and n' is the number of elements with non-zero weights.
The above formulas become equal to the simpler formulas given above if weights are taken as equal to one.
История
The term standard deviation was first used in writing by Karl Pearson in 1894, following his use of it in lectures.[18][19] This was as a replacement for earlier alternative names for the same idea: for example, Gauss used mean error.[20]
Высшие измерения
In two dimensions, the standard deviation can be illustrated with the standard deviation ellipse, see Multivariate normal distribution § Geometric interpretation.
Смотрите также
- 68–95–99.7 rule
- Accuracy and precision
- Chebyshev's inequality An inequality on location and scale parameters
- Coefficient of variation
- Cumulant
- Deviation (statistics)
- Distance correlation Distance standard deviation
- Error bar
- Geometric standard deviation
- Mahalanobis distance generalizing number of standard deviations to the mean
- Mean absolute error
- Pooled variance
- Propagation of uncertainty
- Percentile
- Raw data
- Robust standard deviation
- Root mean square
- Sample size
- Samuelson's inequality
- Six Sigma
- Standard error
- Standard score
- Yamartino method for calculating standard deviation of wind direction
Рекомендации
- ^ Bland, J.M.; Altman, D.G. (1996). "Statistics notes: measurement error". BMJ. 312 (7047): 1654. doi:10.1136/bmj.312.7047.1654. PMC 2351401. PMID 8664723.
- ^ a b "List of Probability and Statistics Symbols". Math Vault. 26 April 2020. Retrieved 21 August 2020.
- ^ Gauss, Carl Friedrich (1816). "Bestimmung der Genauigkeit der Beobachtungen". Zeitschrift für Astronomie und Verwandte Wissenschaften. 1: 187–197.
- ^ Walker, Helen (1931). Studies in the History of the Statistical Method. Baltimore, MD: Williams & Wilkins Co. pp. 24–25.
- ^ Weisstein, Eric W. "Bessel's Correction". MathWorld.
- ^ "Standard Deviation Formulas". www.mathsisfun.com. Retrieved 21 August 2020.
- ^ Weisstein, Eric W. "Standard Deviation". mathworld.wolfram.com. Retrieved 21 August 2020.
- ^ Gurland, John; Tripathi, Ram C. (1971), "A Simple Approximation for Unbiased Estimation of the Standard Deviation", The American Statistician, 25 (4): 30–32, doi:10.2307/2682923, JSTOR 2682923
- ^ Shiffler, Ronald E.; Harsha, Phillip D. (1980). "Upper and Lower Bounds for the Sample Standard Deviation". Teaching Statistics. 2 (3): 84–86. doi:10.1111/j.1467-9639.1980.tb00398.x.
- ^ Browne, Richard H. (2001). "Using the Sample Range as a Basis for Calculating Sample Size in Power Calculations". The American Statistician. 55 (4): 293–298. doi:10.1198/000313001753272420. JSTOR 2685690. S2CID 122328846.
- ^ "CERN experiments observe particle consistent with long-sought Higgs boson | CERN press office". Press.web.cern.ch. 4 July 2012. Retrieved 30 May 2015.
- ^ LIGO Scientific Collaboration, Virgo Collaboration (2016), "Observation of Gravitational Waves from a Binary Black Hole Merger", Physical Review Letters, 116 (6): 061102, arXiv:1602.03837, Bibcode:2016PhRvL.116f1102A, doi:10.1103/PhysRevLett.116.061102, PMID 26918975, S2CID 124959784
- ^ Alister Doyle (25 February 2019). "Evidence for man-made global warming hits 'gold standard': scientists". Reuters. Retrieved 23 March 2021.
- ^ "What is Standard Deviation". Pristine. Retrieved 29 October 2011.
- ^ Ghahramani, Saeed (2000). Fundamentals of Probability (2nd ed.). New Jersey: Prentice Hall. p. 438.
- ^ Eric W. Weisstein. "Distribution Function". MathWorld—A Wolfram Web Resource. Retrieved 30 September 2014.
- ^ Welford, BP (August 1962). "Note on a Method for Calculating Corrected Sums of Squares and Products". Technometrics. 4 (3): 419–420. CiteSeerX 10.1.1.302.7503. doi:10.1080/00401706.1962.10490022.
- ^ Dodge, Yadolah (2003). The Oxford Dictionary of Statistical Terms. Oxford University Press. ISBN 978-0-19-920613-1.
- ^ Pearson, Karl (1894). "On the dissection of asymmetrical frequency curves". Philosophical Transactions of the Royal Society A. 185: 71–110. Bibcode:1894RSPTA.185...71P. doi:10.1098/rsta.1894.0003.
- ^ Miller, Jeff. "Earliest Known Uses of Some of the Words of Mathematics".
Внешние ссылки
- "Quadratic deviation", Encyclopedia of Mathematics, EMS Press, 2001 [1994]