Дисперсионный анализ

Дисперсионный анализ ( ANOVA ) - это набор статистических моделей и связанных с ними процедур оценки (таких как «вариация» между группами), используемых для анализа различий между средними значениями. ANOVA был разработан статистиком Рональдом Фишером . ANOVA основан на законе общей дисперсии , где наблюдаемая дисперсия в конкретной переменной делится на компоненты, относящиеся к различным источникам вариации. В своей простейшей форме ANOVA обеспечивает статистический тест на равенство двух или более средних значений генеральной совокупности и, следовательно, обобщает t- критерий за пределы двух средних.

История [ править ]

Согласно Стиглеру, хотя дисперсионный анализ реализовался в XX веке, его предшественники уходят в прошлое. ^[1] К ним относятся проверка гипотез, разделение сумм квадратов, экспериментальные методы и аддитивная модель. Лаплас проводил проверку гипотез в 1770-х годах. ^[2] Около 1800 г. Лаплас и Гаусс разработали метод наименьших квадратов для объединения наблюдений, который улучшил методы, которые затем использовались в астрономии и геодезии. Он также инициировал большое изучение вкладов в суммы квадратов. Лаплас знал, как оценить дисперсию по остаточной (а не по общей) сумме квадратов. ^[3] К 1827 году Лаплас использовал метод наименьших квадратов.методы для решения задач ANOVA, касающихся измерений атмосферных приливов и отливов. ^[4] До 1800 года астрономы изолировали ошибки наблюдений, возникающие из-за времени реакции (« личное уравнение »), и разработали методы уменьшения ошибок. ^[5] Экспериментальные методы, используемые при изучении личного уравнения, позже были приняты развивающейся областью психологии ^[6], которая разработала сильные (полные факторные) экспериментальные методы, к которым вскоре были добавлены рандомизация и ослепление. ^[7] Красочное нематематическое объяснение модели аддитивных эффектов было доступно в 1885 году. ^[8]

Рональд Фишер ввел термин « дисперсия» и предложил его формальный анализ в статье 1918 года «Корреляция между родственниками на основе предположения о менделевском наследовании» . ^[9] Его первое приложение дисперсионного анализа было опубликовано в 1921 году. ^[10] Дисперсионный анализ стал широко известен после включения в книгу Фишера 1925 года « Статистические методы для научных работников» .

Модели рандомизации были разработаны несколькими исследователями. Первый был опубликован на польском языке Ежи Нейманом в 1923 г. ^[11]

Пример [ править ]

Дисперсионный анализ может использоваться для описания сложных отношений между переменными. Пример тому - выставка собак. Выставка собак - это не случайная выборка породы: она обычно ограничивается взрослыми, чистокровными и образцовыми собаками. Гистограмма веса собак на выставке может быть довольно сложной, как желто-оранжевое распределение, показанное на иллюстрациях. Предположим, мы хотим предсказать вес собаки на основе определенного набора характеристик каждой собаки. Один из способов сделать это - объяснитьраспределение весов путем разделения популяции собак на группы на основе этих характеристик. Успешное группирование разделит собак таким образом, чтобы (а) каждая группа имела низкую дисперсию веса собак (что означает, что группа относительно однородна) и (б) среднее значение каждой группы различно (если две группы имеют одинаковое среднее значение, тогда оно неразумно делать вывод о том, что группы фактически разделены каким-либо значимым образом).

На иллюстрациях справа группы обозначены как X ₁ , X _2.и т. д. На первой иллюстрации собаки разделены в соответствии с продуктом (взаимодействием) двух бинарных групп: молодые и старые, короткошерстные и длинношерстные (например, группа 1 - молодые, короткошерстные собаки, группа 2 - молодые, длинношерстные собаки и др.). Поскольку распределение веса собак в каждой из групп (показано синим цветом) имеет относительно большую дисперсию, и поскольку средние значения очень похожи для разных групп, группирование собак по этим характеристикам не дает эффективного способа объяснить различия в весе собак. : знание того, в какой группе находится собака, не позволяет нам предсказать ее вес намного лучше, чем просто знать, что собака находится на выставке. Таким образом, эта группировка не может объяснить различия в общем распределении (желто-оранжевый).

Попытка объяснить распределение веса, сгруппировав собак как домашние и рабочие породы и менее спортивные против более спортивных , вероятно, будет несколько более успешной (справедливое соответствие). Самые тяжелые шоу-собаки, вероятно, будут большими, сильными, рабочими породами, в то время как породы, содержащиеся в качестве домашних животных, обычно меньше и, следовательно, легче. Как показано на втором рисунке, распределения имеют значительно меньшие отклонения, чем в первом случае, а средние значения более различимы. Однако, например, значительное перекрытие распределений означает, что мы не можем надежно различить X ₁ и X ₂ . Группировка собак по методу подбрасывания монеты может привести к похожему распределению.

Попытка объяснить вес породой, вероятно, даст очень хорошее соответствие. Все чихуахуа легкие, а все сенбернары тяжелые. Разница в весе между сеттерами и пойнтерами не оправдывает отдельных пород. Дисперсионный анализ предоставляет формальные инструменты для обоснования этих интуитивных суждений. Обычно этот метод используется для анализа экспериментальных данных или разработки моделей. Этот метод имеет некоторые преимущества перед корреляцией: не все данные должны быть числовыми, и одним из результатов метода является оценка достоверности объяснительной взаимосвязи.

Предпосылки и терминология [ править ]

ANOVA - это форма проверки статистических гипотез, широко используемая при анализе экспериментальных данных. Результат теста (рассчитанный на основе нулевой гипотезы и выборки) называется статистически значимым, если считается, что он вряд ли произошел случайно, при условии истинности нулевой гипотезы . Статистически значимый результат, если вероятность ( р -значение ) меньше , чем заранее заданный порог (уровень значимости), оправдывает отказ от нулевой гипотезы , но только тогда , когда априорная вероятность нулевой гипотезы не является высокой.

В типичном применении ANOVA нулевая гипотеза состоит в том, что все группы являются случайными выборками из одной и той же популяции. Например, при изучении влияния различных видов лечения на аналогичные выборки пациентов нулевая гипотеза будет заключаться в том, что все виды лечения имеют одинаковый эффект (возможно, ни один). Отказ от нулевой гипотезы означает, что различия в наблюдаемых эффектах между группами лечения вряд ли могут быть вызваны случайной случайностью.

По построению, проверка гипотез ограничивает частоту ошибок типа I (ложноположительных результатов) до определенного уровня значимости. Экспериментаторы также хотят ограничить ошибки типа II (ложноотрицательные результаты). Частота ошибок типа II в значительной степени зависит от размера выборки (частота больше для меньших выборок), уровня значимости (когда стандарт доказательства высок, шансы пропустить открытие также высоки) и размера эффекта (меньший размер эффекта более подвержен ошибкам типа II).

Терминология ANOVA во многом основана на статистическом планировании экспериментов . Экспериментатор корректирует факторы и измеряет ответы, пытаясь определить эффект. Факторы присваиваются экспериментальным единицам путем сочетания рандомизации и блокировки для обеспечения достоверности результатов. Ослепление сохраняет беспристрастность взвешивания. Ответы показывают изменчивость, которая частично является результатом эффекта, а частично - случайной ошибкой.

ANOVA - это синтез нескольких идей, который используется для нескольких целей. Как следствие, трудно дать краткое или точное определение.

«Классический» дисперсионный анализ ANOVA для сбалансированных данных выполняет сразу три задачи:

Короче говоря, ANOVA - это статистический инструмент, используемый несколькими способами для разработки и подтверждения объяснения наблюдаемых данных.

Кроме того:

В результате: ANOVA «долгое время пользовался статусом наиболее используемого (некоторые сказали бы, злоупотребления) статистического метода в психологических исследованиях». ^[13] ANOVA «вероятно, самый полезный метод в области статистического вывода». ^[14]

ANOVA трудно преподавать, особенно для сложных экспериментов, так как планы с разделенными графиками являются печально известными. ^[15] В некоторых случаях правильное применение метода лучше всего определяется путем распознавания образов проблемы с последующей консультацией с классическим авторитетным тестом. ^[16]

Условия разработки экспериментов [ править ]

(Кратко из «Справочника по технической статистике NIST»: Раздел 5.7. Глоссарий терминологии Министерства энергетики.) ^[17]

Сбалансированный дизайн

План эксперимента, в котором все клетки (то есть комбинации лечения) имеют одинаковое количество наблюдений.

Блокировка

График проведения комбинаций обработки в экспериментальном исследовании, при котором любое влияние на результаты эксперимента из-за известного изменения в сырье, операторах, машинах и т. Д. Концентрируется на уровнях блокирующей переменной. Причина блокировки заключается в том, чтобы изолировать систематический эффект и не допустить, чтобы он затенял основные эффекты. Блокировка достигается ограничением рандомизации.

Дизайн

Набор экспериментальных прогонов, который позволяет подобрать конкретную модель и оценить эффекты.

DOE

Дизайн экспериментов. Подход к решению проблем, включающий сбор данных, которые поддержат верные, обоснованные и подтверждаемые выводы. ^[18]

Эффект

Как изменение настроек фактора меняет ответ. Эффект одного фактора также называется основным эффектом.

Ошибка

Необъяснимая вариация в коллекции наблюдений. DOE обычно требуют понимания как случайной ошибки, так и ошибки отсутствия соответствия.

Экспериментальная установка

Объект, к которому применяется определенная комбинация лечения.

Факторы

Обработка входных данных, которыми манипулирует исследователь, чтобы вызвать изменение выходных данных.

Ошибка несоответствия

Ошибка, возникающая, когда анализ пропускает один или несколько важных терминов или факторов из модели процесса. Включение репликации в DOE позволяет разделить экспериментальную ошибку на ее составляющие: несоответствие и случайная (чистая) ошибка.

Модель

Математическая взаимосвязь, которая связывает изменения данной реакции с изменениями одного или нескольких факторов.

Случайная ошибка

Ошибка, возникающая из-за естественного изменения процесса. Обычно предполагается, что случайная ошибка имеет нормальное распределение с нулевым средним и постоянной дисперсией. Случайная ошибка также называется экспериментальной ошибкой.

Рандомизация

График распределения материала для обработки и проведения комбинаций обработки в DOE таким образом, чтобы условия в одном прогоне не зависели от условий предыдущего прогона и не прогнозировали условия в последующих прогонах. ^{[nb 1]}

Репликация

Выполнение одной и той же лечебной комбинации более одного раза. Включение репликации позволяет оценить случайную ошибку независимо от ошибки отсутствия соответствия.

Ответы

Результат (ы) процесса. Иногда называется зависимой (ыми) переменной (ами).

Уход

Лечение - это определенная комбинация уровней факторов, действие которой следует сравнивать с другими видами лечения.

Классы моделей [ править ]

В дисперсионном анализе используются три класса моделей, и они описаны здесь.

Модели с фиксированными эффектами [ править ]

Модель дисперсионного анализа с фиксированными эффектами (класс I) применяется к ситуациям, в которых экспериментатор применяет одно или несколько методов лечения к субъектам эксперимента, чтобы увидеть, изменяются ли значения переменных ответа . Это позволяет экспериментатору оценить диапазоны значений переменных ответа, которые лечение может вызвать в популяции в целом.

Модели со случайными эффектами [ править ]

Модель случайных эффектов (класс II) используется, когда лечение не фиксировано. Это происходит, когда различные уровни факторов выбираются из более широкой генеральной совокупности. Поскольку сами уровни являются случайными величинами , некоторые допущения и метод противопоставления обработок (многопараметрическое обобщение простых различий) отличаются от модели с фиксированными эффектами. ^[19]

Модели со смешанными эффектами [ править ]

Модель со смешанными эффектами (класс III) содержит экспериментальные факторы как с фиксированными, так и со случайными эффектами, с соответственно разными интерпретациями и анализом для этих двух типов.

Пример. Обучающие эксперименты могут быть проведены колледжем или отделением университета, чтобы найти хороший вводный учебник, в котором каждый текст считается лечением. Модель с фиксированными эффектами будет сравнивать список текстов-кандидатов. Модель случайных эффектов будет определять, существуют ли важные различия между списком случайно выбранных текстов. Модель со смешанными эффектами будет сравнивать (фиксированные) существующие тексты со случайно выбранными альтернативами.

Определение фиксированных и случайных эффектов оказалось труднодостижимым, а конкурирующие определения, возможно, ведут к лингвистическому болоту. ^[20]

Предположения [ править ]

Дисперсионный анализ был изучен с помощью нескольких подходов, наиболее распространенный из которых использует линейную модель, которая связывает реакцию с обработками и блокировками. Обратите внимание, что модель линейна по параметрам, но может быть нелинейной по уровням факторов. Интерпретация проста, когда данные сбалансированы по факторам, но для несбалансированных данных требуется гораздо более глубокое понимание.

Анализ учебника с использованием нормального распределения [ править ]

Дисперсионный анализ может быть представлен в терминах линейной модели , которая делает следующие предположения о распределении вероятностей ответов: ^{[21] [22] [23] [24]}

• Независимость наблюдений - это допущение модели, упрощающее статистический анализ.
• Нормальность - распределения этих остатков являются нормальными .
• Равенство (или «однородность») дисперсий, называемое гомоскедастичностью - дисперсия данных в группах должна быть одинаковой.

Отдельные допущения модели учебника подразумевают, что ошибки независимо, одинаково и нормально распределены для моделей с фиксированными эффектами, то есть, что ошибки ( ) независимы и${\displaystyle \varepsilon }$

${\displaystyle \varepsilon \thicksim N(0,\sigma ^{2}).\,}$

Анализ на основе рандомизации [ править ]

В рандомизированном контролируемом эксперименте лечение случайным образом распределяется по экспериментальным единицам в соответствии с протоколом эксперимента. Эта рандомизация является объективной и объявляется до проведения эксперимента. Объективное случайное присвоение используется для проверки значимости нулевой гипотезы в соответствии с идеями К.С. Пирса и Рональда Фишера . Этот основанный на дизайне анализ был обсужден и разработан Фрэнсисом Дж. Анскомбом на экспериментальной станции Ротамстед и Оскаром Кемпторном из Университета штата Айова . ^[25] Кемпторн и его ученики делают предположение об аддитивности единичного лечения., который обсуждается в книгах Кемпторна и Дэвида Р. Кокса . ^{[ необходима цитата ]}

Аддитивность блока к лечению [ править ]

В своей простейшей форме предположение об аддитивности единицы лечения ^{[nb 2]} утверждает, что наблюдаемый ответ экспериментальной единицы при получении лечения может быть записан как сумма реакции единицы и эффекта лечения , то есть ^{[26] [27 ] ] [28]}${\displaystyle y_{i,j}}$${\displaystyle i}$${\displaystyle j}$${\displaystyle y_{i}}$${\displaystyle t_{j}}$

${\displaystyle y_{i,j}=y_{i}+t_{j}.}$

Предположение об аддитивности единичного лечения подразумевает, что для каждого лечения , й курс лечения имеет точно такой же эффект на каждую экспериментальную единицу.${\displaystyle j}$${\displaystyle j}$${\displaystyle t_{j}}$

Предположение блок обработки аддитивности , как правило , не может быть непосредственно фальсифицировано , в соответствии с Коксом и Кемпторном. Однако многие последствия аддитивности лечебного блока можно фальсифицировать. Для рандомизированного эксперимента предположение об аддитивности единичного лечения подразумевает, что дисперсия постоянна для всех видов лечения. Поэтому, напротив , необходимым условием аддитивности единичного лечения является постоянство дисперсии.

Использование аддитивности единичного лечения и рандомизации аналогично выводу на основе дизайна, который является стандартным для выборки при обследовании конечной совокупности .

Производная линейная модель [ править ]

Кемпторн использует рандомизацию-распределение и допущение об аддитивности единичного лечения для создания производной линейной модели , очень похожей на модель из учебника, обсуждавшуюся ранее. ^[29] Тестовая статистика этой производной линейной модели близко аппроксимируется тестовой статистикой соответствующей нормальной линейной модели в соответствии с теоремами аппроксимации и исследованиями моделирования. ^[30] Однако есть отличия. Например, анализ на основе рандомизации дает небольшую, но (строго) отрицательную корреляцию между наблюдениями. ^{[31] [32]} В анализе на основе рандомизации нет предположения о нормальномраспространение и, конечно, отсутствие предположения о независимости . Напротив, наблюдения зависимые !

Недостаток анализа на основе рандомизации состоит в том, что его описание требует утомительной алгебры и большого количества времени. Поскольку анализ на основе рандомизации сложен и близко приближается к подходу, использующему нормальную линейную модель, большинство учителей подчеркивают подход нормальной линейной модели. Немногие статистики возражают против основанного на моделях анализа сбалансированных рандомизированных экспериментов.

Статистические модели данных наблюдений [ править ]

Однако применительно к данным нерандомизированных экспериментов или наблюдательных исследований анализ на основе моделей не требует рандомизации. ^[33] Для данных наблюдений при выводе доверительных интервалов необходимо использовать субъективные модели, как подчеркивали Рональд Фишер и его последователи. На практике оценки лечебных эффектов на основе наблюдательных исследований, как правило, часто противоречивы. На практике «статистические модели» и данные наблюдений полезны для выдвижения гипотез, к которым общественность должна относиться очень осторожно. ^[34]

Резюме предположений [ править ]

Анализ ANOVA на основе нормальной модели предполагает независимость, нормальность и однородность дисперсий остатков. Анализ на основе рандомизации предполагает только однородность дисперсий остатков (как следствие аддитивности единицы лечения) и использует процедуру рандомизации эксперимента. Оба этих анализа требуют гомоскедастичности в качестве допущения для анализа нормальной модели и как следствие рандомизации и аддитивности для анализа на основе рандомизации.

Однако исследования процессов, которые изменяют дисперсию, а не средние значения (так называемые эффекты дисперсии), были успешно проведены с использованием дисперсионного анализа. ^[35] Нет никаких необходимых предположений для ANOVA во всей его общности, но F- критерий, используемый для проверки гипотез ANOVA, имеет предположения и практические ограничения, которые представляют постоянный интерес.

Проблемы, которые не удовлетворяют предположениям ANOVA, часто можно преобразовать, чтобы удовлетворить предположениям. Свойство аддитивности единичной обработки не инвариантно при «изменении масштаба», поэтому статистики часто используют преобразования для достижения аддитивности единичной обработки. Если ожидается, что переменная отклика будет соответствовать параметрическому семейству распределений вероятностей, то статистик может указать (в протоколе эксперимента или наблюдательного исследования), что отклики будут преобразованы для стабилизации дисперсии. ^[36] Кроме того, статистик может указать, что к ответам применяются логарифмические преобразования, которые, как считается, соответствуют мультипликативной модели. ^{[27] [37]} Согласно теореме Коши о функциональном уравнениилогарифм - единственное непрерывное преобразование, которое преобразует действительное умножение в сложение. ^{[ необходима цитата ]}

Характеристики [ править ]

ANOVA используется при анализе сравнительных экспериментов, в которых интерес представляет только разница в результатах. Статистическая значимость эксперимента определяется соотношением двух дисперсий. Это соотношение не зависит от нескольких возможных изменений экспериментальных наблюдений: добавление константы ко всем наблюдениям не меняет значимости. Умножение всех наблюдений на константу не меняет значения. Таким образом, результат статистической значимости ANOVA не зависит от постоянного смещения и ошибок масштабирования, а также от единиц, используемых при выражении наблюдений. В эпоху механических вычислений было принято вычитать константу из всех наблюдений (что эквивалентно отбрасыванию ведущих цифр) для упрощения ввода данных. ^{[38] [39]} Это пример данных кодирование .

Логика [ править ]

Вычисления ANOVA можно охарактеризовать как вычисление ряда средних и дисперсий, деление двух дисперсий и сравнение отношения со значением, указанным в справочнике, для определения статистической значимости. В таком случае вычисление лечебного эффекта является тривиальным: «эффект любого лечения оценивается как разность между средним значением наблюдений, в которых проводится лечение, и общим средним значением». ^[40]

Разбиение суммы квадратов [ править ]

ANOVA использует традиционную стандартизированную терминологию. Уравнение определения дисперсии выборки таково , где делитель называется степенями свободы (DF), суммирование называется суммой квадратов (SS), результат называется средним квадратом (MS), а квадраты членов представляют собой отклонения от среднее значение выборки. ANOVA оценивает 3 дисперсии выборки: общую дисперсию, основанную на всех отклонениях наблюдения от общего среднего, дисперсию ошибки, основанную на всех отклонениях наблюдения от соответствующих средств обработки, и дисперсию лечения. Дисперсия лечения основана на отклонениях средних значений лечения от общего среднего, результат умножается на количество наблюдений в каждом лечении, чтобы учесть разницу между дисперсией наблюдений и дисперсией средних значений.${\displaystyle s^{2}=\textstyle {\frac {1}{n-1}}\sum (y_{i}-{\bar {y}})^{2}}$

Основным методом является разделение общей суммы квадратов SS на компоненты, связанные с эффектами, используемыми в модели. Например, модель для упрощенного дисперсионного анализа с одним типом обработки на разных уровнях.

${\displaystyle SS_{\text{Total}}=SS_{\text{Error}}+SS_{\text{Treatments}}}$

Число степеней свободы DF может быть разделено аналогичным образом: один из этих компонентов (компонент ошибки) задает распределение хи-квадрат, которое описывает связанную сумму квадратов, в то время как то же самое верно для "обработок", если есть нет лечебного эффекта.

${\displaystyle DF_{\text{Total}}=DF_{\text{Error}}+DF_{\text{Treatments}}}$

См. Также Неподходящая сумма квадратов .

F -test [ править ]

F -test используется для сравнения факторов общего отклонения. Например, в однофакторном или однофакторном дисперсионном анализе статистическая значимость проверяется путем сравнения статистики F-критерия.

${\displaystyle F={\frac {\text{variance between treatments}}{\text{variance within treatments}}}}$

${\displaystyle F={\frac {MS_{\text{Treatments}}}{MS_{\text{Error}}}}={{SS_{\text{Treatments}}/(I-1)} \over {SS_{\text{Error}}/(n_{T}-I)}}}$

где MS - среднеквадратическое значение, = количество обработок и = общее количество случаев.${\displaystyle I}$${\displaystyle n_{T}}$

к F -распределения с , степенями свободы. Использование F- распределения является естественным кандидатом, поскольку тестовая статистика представляет собой отношение двух масштабированных сумм квадратов, каждая из которых соответствует масштабному распределению хи-квадрат .${\displaystyle I-1}$${\displaystyle n_{T}-I}$

Ожидаемое значение F (где - размер лечебной выборки) равно 1, если лечебный эффект отсутствует. По мере увеличения значения F выше 1 свидетельства становятся все более несовместимыми с нулевой гипотезой. Два очевидных экспериментальных метода увеличения F - это увеличение размера выборки и уменьшение дисперсии ошибок за счет жесткого экспериментального контроля.${\displaystyle 1+{n\sigma _{\text{Treatment}}^{2}}/{\sigma _{\text{Error}}^{2}}}$${\displaystyle n}$

Есть два метода завершения теста гипотезы ANOVA, оба из которых дают одинаковый результат:

• Учебный метод заключается в сравнении наблюдаемого значения F с критическим значением F, определенным по таблицам. Критическое значение F является функцией степеней свободы числителя и знаменателя, а также уровня значимости (α). Если F ≥ F _Critical , нулевая гипотеза отклоняется.
• Компьютерный метод вычисляет вероятность (p-значение) значения F, большего или равного наблюдаемому значению. Нулевая гипотеза отклоняется, если эта вероятность меньше или равна уровню значимости (α).

Известно, что F- тест ANOVA является почти оптимальным в смысле минимизации ложноотрицательных ошибок для фиксированного количества ложноположительных ошибок (т.е. максимизации мощности для фиксированного уровня значимости). Например, чтобы проверить гипотезу о том , что различные медицинские процедуры имеют точно такой же эффект, F -TEST «сек р -значение близко аппроксимирует критерий перестановок » сек р-значения : приближение особенно близко , когда конструкция уравновешена. ^{[30] [41]} Такие тесты на перестановку характеризуют тесты с максимальной мощностью против всех альтернативных гипотез , как заметил Розенбаум. ^{[№ 3]}F- тест ANOVA (нулевой гипотезы о том, что все методы лечения имеют одинаковый эффект) рекомендуется в качестве практического теста из-за его устойчивости ко многим альтернативным распределениям. ^{[42] [№ 4]}

Расширенная логика [ править ]

ANOVA состоит из отдельных частей; разделение источников дисперсии и проверка гипотез могут использоваться индивидуально. ANOVA используется для поддержки других статистических инструментов. Сначала регрессия используется для подгонки более сложных моделей к данным, затем ANOVA используется для сравнения моделей с целью выбора простых (r) моделей, которые адекватно описывают данные. «Такие модели можно было бы подогнать без какой-либо ссылки на ANOVA, но затем можно было бы использовать инструменты ANOVA, чтобы разобраться в подогнанных моделях и проверить гипотезы о пакетах коэффициентов». ^[43] «[Мы] думаем о дисперсионном анализе как о способе понимания и структурирования многоуровневых моделей - не как об альтернативе регрессии, а как об инструменте для обобщения сложных многомерных выводов ...» ^[43]

Для одного фактора [ править ]

Самый простой эксперимент, подходящий для анализа ANOVA, - это полностью рандомизированный эксперимент с одним фактором. Более сложные эксперименты с одним фактором включают ограничения на рандомизацию и включают полностью рандомизированные блоки и латинские квадраты (и варианты: греко-латинские квадраты и т. Д.). Более сложные эксперименты имеют много общего с множеством факторов. Относительно полное обсуждение анализа (моделей, резюме данных, ANOVA таблица) в полностью рандомизированном эксперименте доступно .

Для одного фактора существуют альтернативы одностороннего дисперсионного анализа; а именно, гетероскедастический тест F Уэлча, гетероскедастический тест Уэлча F с обрезанными средствами и винзоризированные дисперсии, тест Браун-Форсайт, AlexanderGovern тест, Джеймс тест второго порядка и критерий Крускала-Уоллис, доступный в onewaytests R пакете . ^[44]

Для нескольких факторов [ править ]

ANOVA обобщает изучение эффектов нескольких факторов. Когда эксперимент включает наблюдения на всех комбинациях уровней каждого фактора, он называется факториальным . Факторные эксперименты более эффективны, чем серия однофакторных экспериментов, и эффективность растет с увеличением количества факторов. ^[45] Следовательно, широко используются факторные планы.

Использование ANOVA для изучения эффектов нескольких факторов связано с осложнениями. В 3-стороннем ANOVA с факторами x, y и z модель ANOVA включает члены для основных эффектов (x, y, z) и члены для взаимодействий (xy, xz, yz, xyz). Все термины требуют проверки гипотез. Распространение терминов взаимодействия увеличивает риск того, что какая-то проверка гипотез случайно даст ложноположительный результат. К счастью, опыт показывает, что взаимодействия высокого порядка редки. ^{[46] [ требуется проверка ]} Возможность обнаруживать взаимодействия является основным преимуществом многофакторного дисперсионного анализа. Проверка одного фактора за раз скрывает взаимодействия, но дает явно противоречивые экспериментальные результаты. ^[45]

При взаимодействии рекомендуется соблюдать осторожность; Сначала проверьте условия взаимодействия и расширьте анализ за пределы ANOVA, если взаимодействия обнаружены. Тексты различаются по своим рекомендациям относительно продолжения процедуры ANOVA после столкновения с взаимодействием. Взаимодействия усложняют интерпретацию экспериментальных данных. Ни расчеты значимости, ни предполагаемые эффекты лечения нельзя принимать за чистую монету. «Существенное взаимодействие часто маскирует значимость основных эффектов». ^[47] Для лучшего понимания рекомендуется использовать графические методы. Часто бывает полезна регрессия. Подробное обсуждение взаимодействий доступно в Cox (1958). ^[48] Некоторые взаимодействия можно удалить (преобразованием), а другие нельзя.

Для сокращения затрат используются различные методы с многофакторным дисперсионным анализом. Один из методов, используемых в факторных планах, заключается в минимизации репликации (возможно, без репликации с поддержкой аналитического обмана ) и объединении групп, когда обнаруживается, что эффекты статистически (или практически) несущественны. Эксперимент с множеством незначительных факторов может свернуться в эксперимент с несколькими факторами, поддерживаемыми множеством повторений. ^[49]

Связанный анализ [ править ]

Некоторый анализ необходим в поддержку плана эксперимента, в то время как другой анализ выполняется после того, как формально установлено, что изменения факторов приводят к статистически значимым изменениям в ответах. Поскольку экспериментирование является итеративным, результаты одного эксперимента меняют планы последующих экспериментов.

Подготовительный анализ [ править ]

Количество экспериментальных единиц [ править ]

При планировании эксперимента количество экспериментальных единиц планируется для удовлетворения целей эксперимента. Эксперименты часто бывают последовательными.

Ранние эксперименты часто предназначены для получения объективных оценок эффектов лечения и экспериментальной ошибки. Более поздние эксперименты часто предназначены для проверки гипотезы о том, что лечебный эффект имеет важную величину; в этом случае количество экспериментальных единиц выбирается таким образом, чтобы эксперимент был в рамках бюджета и имел достаточную мощность, среди других целей.

Отчетный анализ размера выборки обычно требуется в психологии. «Предоставьте информацию о размере выборки и процессе, который привел к принятию решения о размере выборки». ^[50] Анализ, который записывается в протоколе эксперимента до его проведения, изучается в заявках на гранты и в административных комиссиях.

Помимо анализа мощности, существуют менее формальные методы выбора количества экспериментальных единиц. К ним относятся графические методы, основанные на ограничении вероятности ложноотрицательных ошибок, графические методы, основанные на ожидаемом увеличении вариации (выше остатков), и методы, основанные на достижении желаемого доверительного интервала. ^[51]

Анализ мощности [ править ]

Анализ мощности часто применяется в контексте ANOVA для оценки вероятности успешного отклонения нулевой гипотезы, если мы предполагаем определенный дизайн ANOVA, размер эффекта в генеральной совокупности, размер выборки и уровень значимости. Анализ мощности может помочь в дизайне исследования, определяя, какой размер выборки потребуется, чтобы иметь разумные шансы отклонить нулевую гипотезу, когда альтернативная гипотеза верна. ^{[52] [53] [54] [55]}

Размер эффекта [ править ]

Для ANOVA было предложено несколько стандартизованных мер воздействия, чтобы суммировать силу связи между предиктором (ями) и зависимой переменной или общую стандартизованную разницу полной модели. Стандартизированные оценки величины эффекта облегчают сравнение результатов исследований и дисциплин. Однако, хотя стандартизованная величина эффекта обычно используется в большей части профессиональной литературы, нестандартная мера величины эффекта, имеющая сразу «значимые» единицы, может быть предпочтительнее для целей отчетности. ^[56]

Подтверждение модели [ править ]

Благоразумно проверять соблюдение предположений дисперсионного анализа. Остатки исследуются или анализируются для подтверждения гомоскедастичности и общей нормальности. ^[57] Невязки должны иметь вид шума (нормальное распределение с нулевым средним) при построении графика как функция от чего-либо, включая время и значения смоделированных данных. Тенденции намекают на взаимодействие между факторами или между наблюдениями. Одно практическое правило: «Если наибольшее стандартное отклонение в два раза меньше наименьшего стандартного отклонения, мы можем использовать методы, основанные на предположении о равных стандартных отклонениях, и наши результаты все равно будут приблизительно правильными». ^[58]

Последующие тесты [ править ]

Статистически значимый эффект в ANOVA часто сопровождается одним или несколькими контрольными тестами. Это может быть сделано для оценки того, какие группы отличаются от других групп, или для проверки различных других целенаправленных гипотез. Последующие тесты часто различают в зависимости от того, запланированы они ( априори ) или постфактум . Плановые тесты определяются до просмотра данных, а апостериорные тесты выполняются после просмотра данных.

Часто одного из «обработок» нет, поэтому группа лечения может выступать в качестве контроля. Тест Даннета (модификация t- критерия) проверяет, имеет ли каждая из других групп лечения то же среднее значение, что и контрольная. ^[59]

Апостериорные тесты, такие как тест диапазона Тьюки, обычно сравнивают среднее значение каждой группы со средним значением каждой другой группы и обычно включают какой-либо метод контроля ошибок типа I. Сравнения, которые чаще всего планируются, могут быть простыми или сложными. Простые сравнения сравнивают среднее значение одной группы со средним значением другой группы. Сложные сравнения обычно сравнивают два набора групповых средних, где один набор имеет две или более групп (например, сравнивают средние групповые средние группы A, B и C с группой D). При сравнении также можно использовать тесты на тенденцию, такие как линейные и квадратичные отношения, когда независимая переменная включает упорядоченные уровни.

Последующий анализ ANOVA с тестами попарного множественного сравнения подвергся критике по нескольким причинам. ^{[56] [60]} Таких тестов много (10 в одной таблице), и рекомендации по их использованию расплывчаты или противоречивы. ^{[61] [62]}

Дизайн исследования [ править ]

Есть несколько типов ANOVA. Многие статистики основывают ANOVA на разработке эксперимента , ^[63] , особенно по протоколу , который задает случайное распределение процедур для субъектов; описание протокола механизма назначения должно включать спецификацию структуры обработок и любых блокировок . Также обычно применяют ANOVA к данным наблюдений с использованием соответствующей статистической модели. ^{[ необходима цитата ]}

В некоторых популярных дизайнах используются следующие типы ANOVA:

• Односторонний дисперсионный анализ ANOVA используется для проверки различий между двумя или более независимыми группами (средними), например, разные уровни внесения мочевины в культуру или разные уровни действия антибиотиков на несколько разных видов бактерий ^[64] или разные уровни воздействия. некоторых лекарств по группам пациентов. Однако, если эти группы не являются независимыми, и существует порядок в группах (например, легкое, умеренное и тяжелое заболевание) или в дозе лекарственного средства (например, 5 мг / мл, 10 мг / мл, 20 мг / мл) для той же группы пациентов, тогда следует использовать линейную оценку тенденции . Однако обычно односторонний дисперсионный анализ используется для проверки различий по крайней мере между тремя группами, поскольку случай с двумя группами может быть покрыт t-критерием .^[65] Когда есть только два средства для сравнения, Т-тест и дисперсионный анализ F -test эквивалентны; связь между ANOVA и t определяется выражением F  =  t ² .
• Факторный дисперсионный анализ используется, когда экспериментатор хочет изучить эффекты взаимодействия между видами лечения.
• Повторные измерения ANOVA используется, когда одни и те же субъекты используются для каждого лечения (например, в продольном исследовании ).
• Многомерный дисперсионный анализ (MANOVA) используется, когда существует более одной переменной ответа .

Предостережения [ править ]

Сбалансированные эксперименты (с одинаковым размером выборки для каждого лечения) относительно легко интерпретировать; Несбалансированные эксперименты более сложны. Для однофакторного (одностороннего) дисперсионного анализа корректировка несбалансированных данных проста, но несбалансированному анализу не хватает как надежности, так и мощности. ^[66] Для более сложных конструкций отсутствие баланса приводит к дальнейшим осложнениям. "Свойство ортогональности основных эффектов и взаимодействий, присутствующих в сбалансированных данных, не переносится на несбалансированный случай. Это означает, что обычные методы дисперсионного анализа неприменимы. Следовательно, анализ несбалансированных факториалов намного сложнее, чем анализ сбалансированных факторов. конструкции. " ^[67] В общем случае «дисперсионный анализ также может применяться к несбалансированным данным, но тогда суммы квадратов, средних квадратов и F- отношений будут зависеть от порядка, в котором рассматриваются источники вариации». ^[43] Простейшие методы обработки несбалансированных данных восстанавливают баланс, либо отбрасывая данные, либо синтезируя недостающие данные. Более сложные методы используют регрессию.

ANOVA (частично) является тестом на статистическую значимость. Американская психологическая ассоциация (и многие другие организации) придерживаются мнения, что простого сообщения статистической значимости недостаточно и что предпочтительны границы достоверности сообщения. ^[56]

Обобщения [ править ]

ANOVA считается частным случаем линейной регрессии ^{[68] [69],} которая, в свою очередь, является частным случаем общей линейной модели . ^[70] Все считают, что наблюдения являются суммой модели (соответствия) и остатка (ошибки), который необходимо минимизировать.

Тест Крускала-Уоллиса и тест Фридмана являются непараметрические тесты, которые не зависят от предположения о нормальности. ^{[71] [72]}

Связь с линейной регрессией [ править ]

Ниже мы проясняем связь между многофакторным дисперсионным анализом и линейной регрессией.

Линейно измените порядок данных так, чтобы наблюдение было связано с ответом и факторами, где обозначает различные факторы и является общим числом факторов. В одностороннем ANOVA и в двустороннем ANOVA . Кроме того, мы предполагаем, что фактор имеет уровни, а именно . Теперь мы можем один горячий закодировать разлагается в одномерный вектор .${\displaystyle k^{\text{th}}}$${\displaystyle y_{k}}$${\displaystyle Z_{k,b}}$${\displaystyle b\in \{1,2,\ldots ,B\}}$${\displaystyle B}$${\displaystyle B=1}$${\displaystyle B=2}$${\displaystyle b^{th}}$${\displaystyle I_{b}}$${\displaystyle \{1,2,\ldots ,I_{b}\}}$${\displaystyle \sum _{b=1}^{B}I_{b}}$${\displaystyle v_{k}}$

Одна горячая функция кодирования определяется таким образом, что ввод IS${\displaystyle g_{b}:\{1,2,\ldots ,I_{b}\}\mapsto \{0,1\}^{I_{b}}}$${\displaystyle i^{th}}$${\displaystyle g_{b}(Z_{k,b})}$

$${\displaystyle g_{b}(Z_{k,b})_{i}={\begin{cases}1&{\text{if }}i=Z_{k,b}\\0&{\text{otherwise}}\end{cases}}}$$

${\displaystyle v_{k}}$

${\displaystyle b}$

${\displaystyle v_{k}=[g_{1}(Z_{k,1}),g_{2}(Z_{k,2}),\ldots ,g_{B}(Z_{k,B})]}$

${\displaystyle B}$

${\displaystyle v_{k}}$

${\displaystyle X_{k}}$

Имея это обозначение, мы имеем точную связь с линейной регрессией. Мы просто регрессируем ответ против вектора . Однако есть опасения по поводу идентифицируемости . Чтобы преодолеть такие проблемы, мы предполагаем, что сумма параметров в каждом наборе взаимодействий равна нулю. Отсюда можно использовать F- статистику или другие методы для определения значимости отдельных факторов.${\displaystyle y_{k}}$${\displaystyle X_{k}}$

Пример [ править ]

Мы можем рассмотреть пример двухстороннего взаимодействия, в котором мы предполагаем, что первый фактор имеет 2 уровня, а второй фактор - 3 уровня.

Определите, если и если , то есть является горячим кодированием первого фактора и горячим кодированием второго фактора.${\displaystyle a_{i}=1}$${\displaystyle Z_{k,1}=i}$${\displaystyle b_{i}=1}$${\displaystyle Z_{k,2}=i}$${\displaystyle a}$${\displaystyle b}$

С этим,

$${\displaystyle X_{k}=[a_{1},a_{2},b_{1},b_{2},b_{3},a_{1}\times b_{1},a_{1}\times b_{2},a_{1}\times b_{3},a_{2}\times b_{1},a_{2}\times b_{2},a_{2}\times b_{3},1]}$$

$${\displaystyle {\begin{aligned}Z_{k,1}&=2\\Z_{k,2}&=1\end{aligned}}}$$

$${\displaystyle X_{k}=[0,1,1,0,0,0,0,0,1,0,0,1]}$$

См. Также [ править ]

Сноски [ править ]

Заметки [ править ]

Ссылки [ править ]

• Анскомб, Ф.Дж. (1948). «Достоверность сравнительных экспериментов». Журнал Королевского статистического общества. Серия А (Общие) . 111 (3): 181–211. DOI : 10.2307 / 2984159 . JSTOR  2984159 . Руководство по ремонту  0030181 .
• Бейли, РА (2008). Дизайн сравнительных экспериментов . Издательство Кембриджского университета. ISBN 978-0-521-68357-9. Главы перед публикацией доступны в Интернете.
• Белль, Джеральд ван (2008). Статистические эмпирические правила (2-е изд.). Хобокен, Нью-Джерси: Уайли. ISBN 978-0-470-14448-0.
• Кокран, Уильям Дж .; Кокс, Гертруда М. (1992). Экспериментальные разработки (2-е изд.). Нью-Йорк: Вили. ISBN 978-0-471-54567-5.
• Коэн, Джейкоб (1988). Статистический анализ мощности для наук о поведении (2-е изд.). Routledge ISBN 978-0-8058-0283-2 
• Коэн, Джейкоб (1992). «Статистика энергетический букварь». Психологический бюллетень . 112 (1): 155–159. DOI : 10.1037 / 0033-2909.112.1.155 . PMID  19565683 .
• Кокс, Дэвид Р. (1958). Планирование экспериментов . Перепечатано как ISBN 978-0-471-57429-3 
• Кокс, Дэвид Р. (2006). Принципы статистического вывода . Кембридж, Нью-Йорк: Издательство Кембриджского университета. ISBN 978-0-521-68567-2.
• Фридман, Дэвид А. (2005). Статистические модели: теория и практика , Cambridge University Press. ISBN 978-0-521-67105-7 
• Гельман, Андрей (2005). «Дисперсионный анализ? Почему он важнее, чем когда-либо». Летопись статистики . 33 : 1–53. arXiv : math / 0504499 . DOI : 10.1214 / 009053604000001048 . S2CID  13529149 .
• Гельман, Андрей (2008). «Дисперсия, анализ». Новый экономический словарь Пэлгрейва (2-е изд.). Бейзингсток, Гэмпшир, Нью-Йорк: Пэлгрейв Макмиллан. ISBN 978-0-333-78676-5.
• Хинкельманн, Клаус и Кемпторн, Оскар (2008). Планирование и анализ экспериментов . I и II (Второе изд.). Вайли. ISBN 978-0-470-38551-7.
• Хауэлл, Дэвид С. (2002). Статистические методы психологии (5-е изд.). Pacific Grove, CA: Duxbury / Thomson Learning. ISBN 978-0-534-37770-0.
• Кемпторн, Оскар (1979). Планирование и анализ экспериментов (исправленная перепечатка (1952) изд. Wiley). Роберт Э. Кригер. ISBN 978-0-88275-105-4.
• Леманн, Е.Л. (1959) Проверка статистических гипотез. Джон Вили и сыновья.
• Монтгомери, Дуглас С. (2001). Планирование и анализ экспериментов (5-е изд.). Нью-Йорк: Вили. ISBN 978-0-471-31649-7.
• Мур, Дэвид С. и Маккейб, Джордж П. (2003). Введение в статистическую практику (4e). WH Freeman & Co. ISBN 0-7167-9657-0 
• Розенбаум, Пол Р. (2002). Наблюдательные исследования (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN 978-0-387-98967-9 
• Шеффе, Генри (1959). Дисперсионный анализ . Нью-Йорк: Вили.
• Стиглер, Стивен М. (1986). История статистики: измерение неопределенности до 1900 года . Кембридж, Массачусетс: Belknap Press of Harvard University Press. ISBN 978-0-674-40340-6.
• Уилкинсон, Лиланд (1999). «Статистические методы в психологических журналах; рекомендации и пояснения». Американский психолог . 5 (8): 594–604. CiteSeerX  10.1.1.120.4818 . DOI : 10.1037 / 0003-066X.54.8.594 .

Дальнейшее чтение [ править ]

Этот раздел для дальнейшего чтения может содержать несоответствующие или чрезмерные предложения, которые могут не соответствовать рекомендациям Википедии . Пожалуйста , убедитесь , что только разумное количество из сбалансированных , актуальные , надежных и известных дальнейших предложений чтений приведены; удаление менее актуальных или повторяющихся публикаций с той же точкой зрения, где это уместно. Рассмотрите возможность использования соответствующих текстов в качестве встроенных источников или создания отдельной библиографической статьи . ( Ноябрь 2014 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

• Бокс, Г. ep (1953). «Ненормальность и тесты на отклонения». Биометрика . 40 (3/4): 318–335. DOI : 10.1093 / Biomet / 40.3-4.318 . JSTOR  2333350 .
• Коробка, GEP (1954). «Некоторые теоремы о квадратичных формах, применяемые при исследовании проблем дисперсионного анализа, I. Эффект неравенства дисперсии в односторонней классификации» . Летопись математической статистики . 25 (2): 290. DOI : 10,1214 / АОМ / 1177728786 .
• Коробка, GEP (1954). «Некоторые теоремы о квадратичных формах, применяемые при исследовании проблем дисперсии, II. Эффекты неравенства дисперсии и корреляции между ошибками в двусторонней классификации» . Летопись математической статистики . 25 (3): 484. DOI : 10,1214 / АОМ / 1177728717 .
• Калински, Тадеуш; Кагеяма, Санпей (2000). Блочные конструкции: подход рандомизации, Том I : Анализ . Конспект лекций по статистике. 150 . Нью-Йорк: Springer-Verlag. ISBN 978-0-387-98578-7.
• Кристенсен, Рональд (2002). Плоские ответы на сложные вопросы: теория линейных моделей (Третье изд.). Нью-Йорк: Спрингер. ISBN 978-0-387-95361-8.
• Кокс, Дэвид Р. и Рид, Нэнси М. (2000). Теория планирования экспериментов . (Чепмен и Холл / CRC). ISBN 978-1-58488-195-7 
• Фишер, Рональд (1918). "Исследования по изменению сельскохозяйственных культур. I. Исследование урожайности выделенного зерна из Бродбалка" (PDF) . Журнал сельскохозяйственных наук . 11 (2): 107–135. DOI : 10.1017 / S0021859600003750 . ЛВП : 2440/15170 . Архивировано из оригинального (PDF) 12 июня 2001 года.
• Фридман, Дэвид А .; Пизани, Роберт; Purves, Роджер (2007) Статистика , 4-е издание. WW Norton & Company ISBN 978-0-393-92972-0 
• Hettmansperger, TP; Маккин, Дж. В. (1998). Эдвард Арнольд (ред.). Робастные непараметрические статистические методы . Библиотека статистики Кендалла. Том 5 (Первое изд.). Нью-Йорк: John Wiley & Sons, Inc., стр. Xiv + 467 стр. ISBN 978-0-340-54937-7. Руководство по ремонту  1604954 .
• Лентнер, Марвин; Томас Бишоп (1993). Экспериментальный дизайн и анализ (Второе изд.). Блэксбург, Вирджиния: Книжная компания Долины. ISBN 978-0-9616255-2-8.
• Табачник, Барбара Г. и Фиделл, Линда С. (2007). Использование многомерной статистики (5-е изд.). Бостон: Международное издание Пирсона. ISBN 978-0-205-45938-4 
• Вичура, Майкл Дж. (2006). Безкоординатный подход к линейным моделям . Кембриджская серия по статистической и вероятностной математике. Кембридж: Издательство Кембриджского университета. С. xiv + 199. ISBN 978-0-521-86842-6. Руководство по ремонту  2283455 .
• Пхадке, Мадхав С. (1989). Качественная инженерия с использованием надежной конструкции . Нью-Джерси: Prentice Hall PTR. ISBN 978-0-13-745167-8.

Внешние ссылки [ править ]

Викискладе есть медиафайлы, связанные с дисперсионным анализом .

В Викиверситете есть учебные ресурсы по дисперсионному анализу

• Деятельность SOCR ANOVA
• Примеры всех моделей ANOVA и ANCOVA с тремя факторами обработки, включая рандомизированный блок, разделенный график, повторные измерения и латинские квадраты, и их анализ в R (Университет Саутгемптона)
• Электронный справочник статистических методов NIST / SEMATECH, раздел 7.4.3: «Равны ли средства?»
• Дисперсионный анализ: Введение