Тест Андерсона – Дарлинга - это статистический тест , определяющий, получена ли данная выборка данных из заданного распределения вероятностей . В своей основной форме тест предполагает, что в тестируемом распределении нет параметров, которые необходимо оценить, и в этом случае тест и его набор критических значений не распространяются. Однако этот тест чаще всего используется в контекстах, где тестируется семейство распределений, и в этом случае необходимо оценить параметры этого семейства, и это необходимо принять во внимание при корректировке либо тестовой статистики, либо ее критических значений. Применительно к проверке наличия нормального распределенияадекватно описывает набор данных, это один из самых мощных статистических инструментов для обнаружения большинства отклонений от нормы . [1] [2] K- выборочные тесты Андерсона – Дарлинга доступны для проверки того, можно ли моделировать несколько наборов наблюдений как исходящие от одной популяции, где не требуется указывать функцию распределения .
В дополнение к его использованию в качестве теста соответствия для распределений, его можно использовать при оценке параметров в качестве основы для формы процедуры оценки минимального расстояния .
Тест назван в честь Теодора Уилбура Андерсона (1918–2016) и Дональда А. Дарлинга (1915–2014), которые изобрели его в 1952 году [3]
Одновыборочный тест
Статистика Андерсона – Дарлинга и Крамера – фон Мизеса относится к классу квадратичных статистик EDF (тестов, основанных на эмпирической функции распределения ). [2] Если предполагаемое распределение, а эмпирическая (выборочная) кумулятивная функция распределения имеет вид , то квадратичная статистика EDF измеряет расстояние между а также от
где - количество элементов в выборке, а - весовая функция. Когда весовая функция, статистика - это статистика Крамера – фон Мизеса . Тест Андерсона – Дарлинга (1954) [4] основан на расстоянии
которое получается, когда весовая функция . Таким образом, по сравнению с расстоянием Крамера – фон Мизеса расстояние Андерсона – Дарлинга придает больший вес наблюдениям в хвостах распределения.
Базовая статистика теста
Тест Андерсона – Дарлинга определяет, происходит ли выборка из указанного распределения. Он использует тот факт, что, когда задано гипотетическое базовое распределение и предполагается, что данные действительно возникают из этого распределения, можно предположить , что кумулятивная функция распределения (CDF) данных подчиняется равномерному распределению . Затем данные могут быть проверены на однородность с помощью теста расстояния (Shapiro 1980). Формула для тестовой статистики оценить, есть ли данные (обратите внимание, что данные должны быть упорядочены) поступает из CDF является
где
Затем статистику теста можно сравнить с критическими значениями теоретического распределения. Обратите внимание, что в этом случае никакие параметры не оцениваются по отношению к кумулятивной функции распределения..
Тесты для семейств дистрибутивов
По сути, та же самая тестовая статистика может использоваться в тесте соответствия семейства распределений, но затем ее необходимо сравнивать с критическими значениями, соответствующими этому семейству теоретических распределений и также зависящими от метода, используемого для оценки параметров.
Тест на нормальность
Эмпирическое тестирование показало [5], что тест Андерсона – Дарлинга не так хорош, как тест Шапиро – Уилка , но лучше других тестов. Стивенс [1] найденбыть одной из лучших статистических данных эмпирической функции распределения для обнаружения большинства отклонений от нормальности.
Расчет различается в зависимости от того, что известно о распределении: [6]
- Случай 0: Среднее и дисперсия оба известны.
- Случай 1: Дисперсия известно, но среднее неизвестно.
- Случай 2: среднее известно, но дисперсия неизвестно.
- Случай 3: оба средних и дисперсия неизвестны.
В п наблюдений,, для , переменной должны быть отсортированы так, чтобы и в следующих обозначениях предполагается, что X i представляет упорядоченные наблюдения. Позволять
Ценности стандартизированы для создания новых ценностей , данный
Со стандартным нормальным CDF , рассчитывается с использованием
Альтернативное выражение, в котором на каждом этапе суммирования рассматривается только одно наблюдение:
Модифицированную статистику можно рассчитать с помощью
Если или же превышает заданное критическое значение, то гипотеза о нормальности отклоняется с некоторым уровнем значимости. Критические значения приведены в таблице ниже для значений. [1] [7]
Примечание 1: если = 0 или любое (0 или 1), тогда не может быть вычислен и не определен.
Примечание 2: Приведенная выше формула корректировки взята из Shorack & Wellner (1986, стр. 239). При сравнении различных источников требуется осторожность, поскольку часто конкретная формула корректировки не указывается.
Примечание 3: Стивенс [1] отмечает, что тест становится лучше, когда параметры вычисляются на основе данных, даже если они известны.
Примечание 4: Marsaglia и Marsaglia [7] предоставляют более точный результат для случая 0 при 85% и 99%.
Дело | п | 15% | 10% | 5% | 2,5% | 1% |
---|---|---|---|---|---|---|
0 | 1,621 | 1,933 | 2,492 | 3,070 | 3,878 | |
1 | 0,908 | 1,105 | 1,304 | 1,573 | ||
2 | 1,760 | 2.323 | 2,904 | 3,690 | ||
3 | 10 | 0,514 | 0,578 | 0,683 | 0,779 | 0,926 |
20 | 0,528 | 0,591 | 0,704 | 0,815 | 0,969 | |
50 | 0,546 | 0,616 | 0,735 | 0,861 | 1.021 | |
100 | 0,559 | 0,631 | 0,754 | 0,884 | 1.047 | |
0,576 | 0,656 | 0,787 | 0,918 | 1.092 |
В качестве альтернативы, для случая 3 выше (как среднее значение, так и дисперсия неизвестны), Д'Агостино (1986) [6] в таблице 4.7 на стр. 123 и на страницах 372–373 приведены скорректированные статистические данные:
и нормальность отвергается, если превышает 0,631, 0,752, 0,873, 1,035 или 1,159 при уровнях значимости 10%, 5%, 2,5%, 1% и 0,5% соответственно; процедура действительна для размера выборки не менее n = 8. Формулы для вычисления р -значения для других значенийприведены в таблице 4.9 на стр. 127 в той же книге.
Тесты для других дистрибутивов
Выше предполагалось, что переменная тестировался на нормальное распределение. Можно протестировать любое другое семейство распределений, но тест для каждого семейства реализуется с использованием различных модификаций базовой статистики теста, и это относится к критическим значениям, специфичным для этого семейства распределений. Модификации статистики и таблиц критических значений даны Стивенсом (1986) [2] для экспоненциального, экстремального, распределения Вейбулла, гамма-распределения, логистического распределения, распределения Коши и фон Мизеса. Тесты на логарифмически нормальное распределение (двухпараметрическое) могут быть реализованы путем преобразования данных с использованием логарифма и использования вышеуказанного теста на нормальность. Подробная информация о необходимых модификациях статистики теста и критических значениях нормального и экспоненциального распределения была опубликована Pearson & Hartley (1972, таблица 54). Подробности этих распределений с добавлением распределения Гамбеля также даны Shorack & Wellner (1986, стр. 239). Детали логистического распределения даны Стивенсом (1979). Тест для (двухпараметрического) распределения Вейбулла можно получить, используя тот факт, что логарифм переменной Вейбулла имеет распределение Гумбеля .
Непараметрические k- выборочные тесты
Фриц Шольц и Майкл А. Стивенс (1987) обсуждают критерий, основанный на мере согласия Андерсона-Дарлинга между распределениями, для определения того, могло ли число случайных выборок с возможно разными размерами выборок возникнуть из одного и того же распределения, где это распределение равно неопределенные. [8] Пакет R kSamples реализует этот ранговый тест для сравнения k выборок среди нескольких других таких ранговых тестов. [9]
Смотрите также
Рекомендации
- ^ а б в г Стивенс, Массачусетс (1974). «Статистика соответствия EDF и некоторые сравнения». Журнал Американской статистической ассоциации . 69 : 730–737. DOI : 10.2307 / 2286009 .
- ^ а б в М.А. Стивенс (1986). «Тесты на основе статистики EDF». В Д'Агостино, РБ; Стивенс, Массачусетс (ред.). Методы согласия . Нью-Йорк: Марсель Деккер. ISBN 0-8247-7487-6.
- ^ Андерсон, TW ; Дарлинг, Д.А. (1952). «Асимптотическая теория некоторых критериев согласия, основанная на случайных процессах» . Анналы математической статистики . 23 : 193–212. DOI : 10.1214 / АОМ / 1177729437 .
- ^ Андерсон, TW; Дарлинг, Д.А. (1954). «Тест на пригодность». Журнал Американской статистической ассоциации . 49 : 765–769. DOI : 10.2307 / 2281537 .
- ^ Разали, Норнадия; Вау, Яп Би (2011). «Силовые сравнения тестов Шапиро – Вилка, Колмогорова – Смирнова, Лиллиэфорса и Андерсона – Дарлинга» (PDF) . Журнал статистического моделирования и аналитики . 2 (1): 21–33. Архивировано из оригинального (PDF) 30 июня 2015 года . Проверено 5 июня 2012 года .
- ^ а б Ральф Б. Д'Агостино (1986). «Тесты на нормальное распределение». В Д'Агостино, РБ; Стивенс, Массачусетс (ред.). Методы согласия . Нью-Йорк: Марсель Деккер. ISBN 0-8247-7487-6.
- ^ а б Марсалья, Г. (2004). «Оценка распределения Андерсона-Дарлинга». Журнал статистического программного обеспечения . 9 (2): 730–737.
- ^ Scholz, FW; Стивенс, Массачусетс (1987). «Тесты Андерсона – Дарлинга K-выборки». Журнал Американской статистической ассоциации . 82 (399): 918–924. DOI : 10.1080 / 01621459.1987.10478517 .
- ^ «kSamples: K-выборочные ранговые тесты и их комбинации» . R проект .
дальнейшее чтение
- Кордер, GW, Форман, Д.И. (2009). Непараметрическая статистика для нестатистиков: пошаговый подход Wiley, ISBN 978-0-470-45461-9
- Мехта, С. (2014) Темы статистикиISBN 978-1499273533
- Пирсон ES, Хартли, HO (редакторы) (1972) Таблицы биометрики для статистиков , Том II. ЧАШКА. ISBN 0-521-06937-8 .
- Шапиро, SS (1980) Как проверить нормальность и другие предположения о распределении. В: Основные ссылки ASQC в области контроля качества: статистические методы 3, стр. 1–78.
- Шорак, Г. Р., Веллнер, Дж. А. (1986) Эмпирические процессы с приложениями к статистике , Wiley. ISBN 0-471-86725-X .
- Стивенс, М.А. (1979) Проверка соответствия логистическому распределению на основе эмпирической функции распределения , Биометрика, 66 (3), 591–5.
Внешние ссылки
- Справочник по статистике NIST США