Регресс к среднему

Экспериментальная установка Гальтона (рис.8)

В статистике , регрессия (или регрессии к среднему значению ) является явление , которое возникает , если образец точка из случайной величины является крайним (почти на выброс ), точка будущее будет ближе к средней или среднем на дальнейших измерений. ^{[1] [2] [3]} Чтобы избежать неправильных выводов , при планировании научных экспериментов и интерпретации данных необходимо учитывать регресс к среднему значению. ^[4] Исторически то, что сейчас называется регрессией к среднему значению, также называливозврат к среднему и возврат к посредственности .

Условия, при которых происходит регрессия к среднему значению, зависят от математического определения термина. Британский эрудит сэр Фрэнсис Гальтон впервые наблюдал это явление в контексте простой линейной регрессии точек данных. Гальтон ^[5] разработал следующую модель: гранулы падают через квинконс, образуя нормальное распределение с центром непосредственно под точкой входа. Затем эти гранулы могут быть выпущены во вторую галерею, соответствующую второму измерению. Затем Гальтон задал обратный вопрос: «Откуда взялись эти гранулы?»

Ответ был не « в среднем прямо выше » . Скорее, он был « в среднем ближе к середине » по той простой причине, что над ним, ближе к середине, было больше гранул, которые могли блуждать влево, чем их было в левом конце, которые могли блуждать вправо, внутрь. ^[6]

Будучи менее ограничительным подходом, регрессию к среднему можно определить для любого двумерного распределения с идентичными маржинальными распределениями . Существует два таких определения. ^[7] Одно определение полностью согласуется с обычным использованием термина «регрессия к среднему». Не все такие двумерные распределения показывают регрессию к среднему значению в соответствии с этим определением. Однако все такие двумерные распределения демонстрируют регрессию к среднему значению при другом определении.

Джереми Сигел использует термин «возврат к среднему значению» для описания финансового временного ряда, в котором « доходность может быть очень нестабильной в краткосрочной перспективе, но очень стабильной в долгосрочной перспективе». С количественной точки зрения, это тот случай , когда стандартное отклонение средней годовой доходности снижается быстрее, чем величина, обратная величине периода, обратного периоду владения, подразумевая, что процесс не является случайным блужданием , но что периоды более низкой доходности систематически сменяются компенсационными периодами более высокой доходности , как, например, во многих сезонных предприятиях. ^[8]

Концептуальный фон [ править ]

Рассмотрим простой пример: класс учащихся сдает тест «верно / неверно» из 100 пунктов по предмету. Предположим, что все студенты выбирают случайным образом по всем вопросам. Тогда оценка каждого студента будет реализацией одной из набора независимых и одинаково распределенных случайных величин с ожидаемым среднимиз 50. Естественно, случайно одни ученики получат существенно больше 50, а некоторые - значительно меньше 50. Если выбрать только 10% учащихся, набравших наибольшее количество баллов, и дать им второй тест, на котором они снова будут случайным образом выбирать все пункты, средний балл снова будет близок к 50. Таким образом, среднее значение этих учащихся будет "регрессировать". "вплоть до среднего значения всех студентов, сдавших исходный тест. Независимо от того, что ученик набрал в исходном тесте, лучший прогноз его результата во втором тесте - 50.

Если выбор ответов на вопросы теста не был случайным, т. Е. Если в ответах, предоставленных учащимися, не участвовало везение (хорошее или плохое) или случайное предположение, то все учащиеся должны были бы получить такие же баллы во втором тесте, как и они. набрал в исходном тесте, и регресса к среднему не будет.

Наиболее реалистичные ситуации находятся между этими двумя крайностями: например, можно рассматривать результаты экзаменов как сочетание навыков и удачи . В этом случае подмножество студентов, набравших больше среднего, будет состоять из тех, кто был квалифицирован и не особо повезло, а также из неквалифицированных, но чрезвычайно удачливых. При повторном тестировании этого подмножества неквалифицированный вряд ли повторит свой счастливый случай, в то время как опытный получит второй шанс неудачника. Следовательно, те, кто хорошо справлялся ранее, вряд ли справятся так же хорошо во втором тесте, даже если оригинал не может быть воспроизведен.

Ниже приводится пример второго вида регрессии к среднему значению. Класс учащихся сдает два выпуска одного и того же теста в течение двух дней подряд. Часто наблюдается, что худшие исполнители в первый день будут улучшать свои результаты во второй день, а лучшие исполнители в первый день будут иметь худшие результаты во второй день. Это явление возникает из-за того, что оценки учащихся частично определяются их способностями, а частично - случайностью. В первом тесте некоторым повезет, и они наберут больше, чем их способности, а некоторым не повезет и они наберут меньше, чем их способности. Некоторым удачливым ученикам на первом тесте снова повезет и на втором, но у многих из них будет (для них) средний балл или ниже среднего. Следовательно,ученик, которому повезло и который превзошел свои способности в первом тесте, с большей вероятностью получит худший результат во втором тесте, чем лучший результат. Точно так же ученики, которые, к несчастью, набрали меньше, чем их способности в первом тесте, будут иметь тенденцию к увеличению своих оценок во втором тесте. Чем больше влияние удачи на создание экстремального события, тем меньше вероятность того, что удача повторится в нескольких событиях.

Другие примеры [ править ]

Если ваша любимая спортивная команда выиграла чемпионат в прошлом году, что это значит для их шансов на победу в следующем сезоне? В той мере, в какой этот результат обусловлен мастерством (команда в хорошем состоянии, у нее есть лучший тренер и т. Д.), Их победа сигнализирует о том, что более вероятно, что они снова выиграют в следующем году. Но чем в большей степени это связано с удачей (другие команды оказались втянутыми в скандал с наркотиками, удачная ничья, выбор драфта оказался продуктивным и т. Д.), Тем меньше вероятность того, что они снова выиграют в следующем году. ^[9]

Если одно медицинское исследование предполагает, что определенное лекарство или лечение превосходит все другие методы лечения заболевания, то во втором исследовании более вероятно, что эффективность этого препарата или лечения будет ближе к среднему значению в следующем квартале.

Если бизнес-организация имеет высокорентабельный квартал, несмотря на то, что основные причины его результатов не изменились, в следующем квартале, вероятно, будет хуже. ^[10]

Бейсболисты, которые хорошо бьют в своем начальном сезоне, вероятно, сделают хуже во втором; « Спад второкурсника ». Точно так же регресс к среднему является объяснением сглаза обложки Sports Illustrated - периоды исключительной производительности, которые приводят к функции обложки, вероятно, будут сменяться периодами более посредственной производительности, создавая впечатление, что появление на обложке вызывает снижение атлета . ^[11]

История [ править ]

Концепция регрессии пришла из генетики и была популяризирована сэром Фрэнсисом Гальтоном в конце 19-го века с публикацией книги « Регрессия к посредственности в наследственности» . ^[12] Гальтон заметил, что экстремальные характеристики (например, рост) родителей не передаются полностью их потомству. Скорее, характеристики потомства регрессируют к средней точке (точке, которая с тех пор была идентифицирована как среднее значение). Измеряя рост сотен людей, он смог количественно оценить регрессию к среднему и оценить размер эффекта. Гальтон писал, что «средняя регрессия потомства является постоянной долей их соответствующихсредние родительские отклонения ". Это означает, что разница между ребенком и его родителями по некоторым характеристикам пропорциональна отклонению его родителей от типичных людей в популяции. Если его родители выше на два дюйма выше, чем в среднем для мужчин и женщин, тогда, в среднем, потомок будет короче своих родителей на некоторый коэффициент (который сегодня мы бы назвали один минус коэффициент регрессии ), умноженный на два дюйма. Для роста, по оценке Гальтона, этот коэффициент составляет примерно 2/3: рост индивидуума будет измеряться примерно в средней точке, которая составляет две трети отклонения родителей от среднего показателя для населения.

Гальтон ввел термин «регрессия» для описания наблюдаемого факта наследования многофакторных количественных генетических признаков: а именно, что потомство родителей, которые находятся в хвосте распределения, будет иметь тенденцию лежать ближе к центру, среднему значению распространение. Он количественно оценил эту тенденцию и, сделав это, изобрел линейный регрессионный анализ, тем самым заложив основу для большей части современного статистического моделирования. С тех пор термин «регрессия» приобрел множество значений, и современные статистики могут использовать его для описания феномена систематической ошибки выборки, которая имеет мало общего с первоначальными наблюдениями Гальтона в области генетики.

Хотя его математический анализ был правильным, биологическое объяснение Гальтоном наблюдаемого им явления регрессии теперь, как известно, неверно. Он заявил: «Ребенок наследует частично от своих родителей, частично от своих предков. В целом, чем дальше уходит его генеалогия, тем многочисленнее и разнообразнее будет его родословная, пока они не перестанут отличаться от любой столь же многочисленной выборки, взятой наугад. от гонки в целом ". ^[12] Это неверно, поскольку ребенок получает свою генетическую основу исключительно от родителей. В генетическом материале нет пропуска поколений: любой генетический материал от более ранних предков должен был пройти через родителей (хотя он, возможно, не был выраженв них). Феномен станет лучше понят, если мы предположим, что наследственный признак (например, рост) контролируется большим количеством рецессивных генов . Исключительно высокие люди должны быть гомозиготными по мутациям увеличенного роста в значительной части этих локусов . Но локусы, несущие эти мутации, не обязательно являются общими для двух высоких особей, и если эти особи спариваются, их потомство будет в среднем гомозиготным по «высоким» мутациям по меньшему количеству локусов, чем любой из их родителей. Кроме того, рост не полностью генетически обусловлен, но также подвержен влиянию окружающей среды во время развития, что делает потомство исключительных родителей с большей вероятностью быть ближе к среднему, чем их родители.

Этот популяционно-генетический феномен регрессии к среднему лучше всего рассматривать как комбинацию биномиально распределенного процесса наследования и нормально распределенных влияний окружающей среды. Напротив, термин «регрессия к среднему» сейчас часто используется для описания явления, при котором может исчезнуть первоначальная систематическая ошибка выборки, поскольку новые, повторяющиеся или более крупные выборки отображают выборочные средства, которые ближе к истинному среднему значению основной совокупности.

Важность [ править ]

Регрессия к среднему значению является важным фактором при планировании экспериментов .

Возьмем гипотетический пример 1000 человек примерно того же возраста, которые были обследованы и оценены на предмет риска сердечного приступа. Статистические данные можно использовать для измерения успеха вмешательства среди 50 человек, относящихся к группе наибольшего риска. Вмешательство может заключаться в изменении диеты, физических упражнений или медикаментозном лечении. Даже если вмешательства бесполезны, можно ожидать, что тестовая группа продемонстрирует улучшение на следующем физическом осмотре из-за регресса к среднему значению. Лучший способ бороться с этим эффектом - случайным образом разделить группу на группу лечения, которая получает лечение, и контрольную группу, которая не получает. Тогда лечение будет считаться эффективным только в том случае, если в группе лечения улучшится больше, чем в контрольной группе.

В качестве альтернативы можно проверить группу детей из неблагополучных семей, чтобы выявить детей с наибольшим потенциалом поступления в колледж. Можно было определить 1% лучших, и им были предоставлены специальные курсы повышения квалификации, репетиторство, консультации и компьютеры. Даже если программа эффективна, их средние баллы могут быть меньше, когда тест будет повторен через год. Однако в этих обстоятельствах может считаться неэтичным иметь контрольную группу детей из неблагополучных семей, чьи особые потребности игнорируются. Математический расчет усадки может учесть этот эффект, хотя он не будет таким надежным, как метод контрольной группы (см. Также пример Стейна ).

Эффект также можно использовать для общего вывода и оценки. Сегодня в самом жарком месте страны завтра скорее будет прохладнее, чем жарче, чем сегодня. Наиболее эффективный паевой инвестиционный фонд за последние три года с большей вероятностью увидит относительное снижение производительности, чем улучшение в течение следующих трех лет. Самый успешный голливудский актер этого года, скорее всего, получит в своем следующем фильме меньше, чем больше. Бейсболист с самым высоким средним показателем к перерыву на Матч звезд, скорее всего, будет иметь более низкий средний показатель, чем более высокий средний показатель во второй половине сезона.

Недоразумения [ править ]

Концепцией регресса к среднему можно очень легко злоупотребить.

В приведенном выше примере теста студента неявно предполагалось, что измеряемое значение не изменилось между двумя измерениями. Предположим, однако, что курс был пройден / не пройден, и студенты должны были набрать более 70 баллов по обоим тестам, чтобы пройти. Тогда студенты, набравшие меньше 70 баллов в первый раз, не будут иметь стимула преуспевать и могут получить в среднем хуже во второй раз. С другой стороны, у студентов чуть старше 70 будет сильный стимул учиться и концентрироваться во время прохождения теста. В этом случае можно увидеть отклонение от 70, количество баллов ниже него становится ниже, а баллы выше него - выше. Изменения между временами измерения могут увеличивать, компенсировать или обращать статистическую тенденцию к регрессу к среднему значению.

Статистическая регрессия к среднему не является причинойявление. Учащийся, набравший наихудшие баллы по тесту в первый день, не обязательно значительно повысит свой балл во второй день из-за эффекта. В среднем, худшие бомбардиры улучшаются, но это правда только потому, что худшие, скорее всего, были неудачниками, чем удачливыми. В той степени, в которой оценка определяется случайным образом или если оценка имеет случайные вариации или ошибки, в отличие от того, чтобы определяться академическими способностями учащегося или быть «истинной ценностью», явление будет иметь эффект. Классическая ошибка в этом плане была в образовании. Было замечено, что ученики, получившие похвалу за хорошую работу, показали более низкие результаты по следующему критерию, а ученики, которых наказали за плохую работу, показали, что они лучше справились со следующим критерием. Педагоги решили перестать хвалить и продолжать наказывать на этом основании.^[13] Такое решение было ошибкой, потому что регресс к среднему значению основан не на причине и следствии, а на случайной ошибке в естественном распределении вокруг среднего.

Хотя крайние индивидуальные измерения регрессируют к среднему, вторая выборка измерений будет не ближе к среднему, чем первая. Снова рассмотрим студентов. Предположим, что у экстремальных людей есть тенденция к регрессу на 10% к среднему значению 80, поэтому ожидается , что ученик, набравший 100 баллов в первый день,наберет 98 во второй день, а ученик, набравший 70 в первый день, должен набрать 71 во второй день. Эти ожидания ближе к среднему, чем результаты первого дня. Но результаты второго дня будут отличаться от их ожиданий; некоторые будут выше, некоторые - ниже. Кроме того, людям, которые измеряют очень близко к среднему, следует ожидать отклонения от среднего. Эффект прямо противоположен регрессии к среднему значению и полностью компенсирует его. Таким образом, для экстремальных людей мы ожидаем, что вторая оценка будет ближе к среднему, чем первая оценка, но для всех людей мы ожидаем, что распределение расстояний от среднего будет одинаковым для обоих наборов измерений.

В связи с вышеизложенным, регрессия к среднему одинаково хорошо работает в обоих направлениях. Мы ожидаем, что учащийся, набравший наибольшее количество баллов во второй день, в первый день будет хуже. И если мы сравним лучшего ученика в первый день с лучшим учеником во второй день, независимо от того, тот же человек это или нет, есть тенденция к регрессу к среднему значению в любом направлении. Мы ожидаем, что лучшие результаты в оба дня будут одинаково далеко от среднего значения.

Заблуждения регрессии [ править ]

Многие явления обычно объясняются неправильными причинами, когда не принимается во внимание регресс к среднему значению.

Ярким примером является книга Горация Секриста « Триумф посредственности в бизнесе » 1933 года , в которой профессор статистики собрал огромное количество данных, чтобы доказать, что нормы прибыли конкурентоспособных предприятий с течением времени стремятся к среднему. На самом деле такого эффекта нет; изменчивость нормы прибыли практически постоянна во времени. Secrist описал только обычную регрессию к среднему значению. Один рассерженный рецензент, Гарольд Хотеллинг , сравнил книгу с «доказательством таблицы умножения, расположив слонов в ряды и столбцы, а затем проделав то же самое с множеством других видов животных». ^[14]

Вычисление и интерпретация «баллов улучшения» по стандартизированным образовательным тестам в Массачусетсе, вероятно, являются еще одним примером ошибки регрессии. ^{[ необходима цитата ]}В 1999 году перед школами были поставлены цели улучшения. Для каждой школы Департамент образования свел в таблицу разницу в средних баллах, полученных учащимися в 1999 и 2000 годах. Было быстро отмечено, что большинство школ с наихудшими результатами достигли своих целей, что Министерство образования приняло за подтверждение. обоснованность их политики. Однако было также отмечено, что многие из якобы лучших школ Содружества, такие как Средняя школа Бруклина (с 18 финалистами Национальной стипендии), были объявлены провалившимися. Как и во многих случаях, связанных со статистикой и государственной политикой, этот вопрос обсуждается, но «оценки улучшений» не объявлялись в последующие годы, и результаты, по-видимому, представляют собой случай возврата к среднему значению.

Психолог Даниэль Канеман , лауреат Нобелевской премии по экономическим наукам 2002 года , указал, что возвращение к среднему значению может объяснить, почему упреки могут улучшить результативность, а похвала, похоже, имеет неприятные последствия. ^[15]

У меня был самый приятный опыт работы с Eureka в моей карьере, когда я пытался научить летных инструкторов тому, что похвала более эффективна, чем наказание за поощрение обучения навыкам. Когда я закончил свою восторженную речь, один из самых опытных инструкторов в аудитории поднял руку и произнес свою короткую речь, в которой признал, что положительное подкрепление может быть полезно для птиц, но продолжал отрицать, что это оптимально. для летных курсантов. Он сказал: «Во многих случаях я хвалил курсантов за чистое выполнение некоторых фигур высшего пилотажа, и в целом, когда они пробуют его снова, они делают хуже. С другой стороны, я часто кричал на курсантов за плохое выполнение и в в общем, в следующий раз они добьются большего успеха. Поэтому, пожалуйста, не говорите нам, что подкрепление работает, а наказание - нет, потому что все наоборот ".Это был радостный момент, когда я понял важную правду о мире: потому что мы склонны вознаграждать других, когда они поступают хорошо, и наказывать их, когда они поступают плохо, и поскольку существует регресс к среднему, это часть человеческого условие, что мы статистически наказаны за вознаграждение других и вознаграждены за их наказание. Я немедленно устроил демонстрацию, в которой каждый участник бросил две монеты в мишень за спиной, без какой-либо обратной связи. Мы измерили расстояния от цели и увидели, что те, кто лучше всего показал себя с первого раза, в основном ухудшились со второй попытки, и наоборот. Но я знал, что эта демонстрация не устранит последствий пожизненного воздействия извращенной ситуации.потому что мы склонны вознаграждать других, когда они поступают хорошо, и наказывать их, когда они поступают плохо, и из-за того, что существует регресс к среднему значению, часть человеческого состояния состоит в том, что мы статистически наказаны за вознаграждение других и вознаграждены за их наказание. Я немедленно устроил демонстрацию, в которой каждый участник бросил две монеты в мишень за спиной, без какой-либо обратной связи. Мы измерили расстояния от цели и увидели, что те, кто лучше всего показал себя с первого раза, в основном ухудшились со второй попытки, и наоборот. Но я знал, что эта демонстрация не устранит последствий пожизненного воздействия извращенной ситуации.потому что мы склонны вознаграждать других, когда они поступают хорошо, и наказывать их, когда они поступают плохо, и из-за того, что существует регресс к среднему значению, часть человеческого состояния состоит в том, что мы статистически наказаны за вознаграждение других и вознаграждены за их наказание. Я немедленно устроил демонстрацию, в которой каждый участник бросил две монеты в мишень за спиной, без какой-либо обратной связи. Мы измерили расстояния от цели и увидели, что те, кто лучше всего показал себя с первого раза, в основном ухудшились со второй попытки, и наоборот. Но я знал, что эта демонстрация не устранит последствий пожизненного воздействия извращенной ситуации.Это часть человеческого состояния, когда мы статистически наказываемся за вознаграждение других и награждаемся за их наказание. Я немедленно устроил демонстрацию, в которой каждый участник бросил две монеты в мишень за спиной, без какой-либо обратной связи. Мы измерили расстояния от цели и увидели, что те, кто лучше всего показал себя с первого раза, в основном ухудшились со второй попытки, и наоборот. Но я знал, что эта демонстрация не устранит последствий пожизненного воздействия извращенной ситуации.Это часть человеческого состояния, когда мы статистически наказываемся за вознаграждение других и награждаемся за их наказание. Я немедленно устроил демонстрацию, в которой каждый участник бросил две монеты в мишень за спиной, без какой-либо обратной связи. Мы измерили расстояния от цели и увидели, что те, кто лучше всего показал себя с первого раза, в основном ухудшились со второй попытки, и наоборот. Но я знал, что эта демонстрация не устранит последствий пожизненного воздействия извращенной ситуации.Но я знал, что эта демонстрация не устранит последствий пожизненного воздействия извращенной ситуации.Но я знал, что эта демонстрация не устранит последствий пожизненного воздействия извращенной ситуации.

Проще говоря, если кто-то совершает серьезную ошибку, их результативность позже обычно возвращается к среднему уровню. Это будет казаться улучшением и «доказательством» убеждения, что лучше критиковать, чем хвалить (особенно у тех, кто готов критиковать в этот «низкий» момент). В противоположной ситуации, когда кто-то показывает результат выше среднего, его производительность также будет иметь тенденцию позже вернуться к своему среднему уровню; изменение будет воспринято как ухудшение, а любая первоначальная похвала после первого выступления - как причина этого ухудшения. Просто потому, что критика или похвала предшествуют регрессу к среднему, акт критики или похвалы ложно приписывается причинности.Ошибка регрессии также объясняется в Рольфе Добелли.«S Искусство мышления Ясно .

Политика правоохранительных органов Великобритании поощряет установку статических или мобильных камер контроля скорости в местах обнаружения аварийных ситуаций . Эта политика была оправдана представлением о соответствующем снижении количества серьезных дорожно-транспортных происшествий после установки камеры. Тем не менее, статистики отмечают, что, хотя есть чистая выгода в виде спасенных жизней, отсутствие учета эффектов регрессии к среднему приводит к завышению положительных эффектов. ^{[16] [17] [18]}

Статистические аналитики давно признали эффект возврата к среднему значению в спорте; у них даже есть специальное название: « спад на втором курсе ». Например, Кармело Энтони из « Денвер Наггетс» НБА провел выдающийся сезон новичка в 2004 году. Он был настолько выдающимся, что нельзя было ожидать его повторения: в 2005 году показатели Энтони упали по сравнению с его сезоном новичка. Причин для «спада на втором курсе» предостаточно, поскольку спорт полагается на приспособление и противодействие, но успех новичка, основанный на удаче, является такой же хорошей причиной, как и любая другая. Регресс к среднему значению спортивных результатов также может объяснить очевидное " сглазание обложки Sports Illustrated " и "Безумное проклятие ".У Джона Холлингера есть альтернативное название феномену регрессии к среднему: «правило случайности» ^{[ необходима цитата ]} , в то время как Билл Джеймс называет его «принципом оргстекла». ^{[ необходима цитата ]}

Поскольку популярные предания сосредоточены на регрессе к среднему как на объяснении снижения результативности спортсменов от одного сезона к другому, обычно не учитывается тот факт, что такой регресс также может объяснить повышение производительности. Например, если посмотреть на средний уровень в МЛБ игроков в один сезон, те, средний уровень был выше среднего лиги , как правило, регресс вниз по направлению к средней в следующем году, в то время как те , чей средний уровень был ниже среднего , как правило, в следующем году продвинутся вверх к среднему. ^[19]

Другие статистические явления [ править ]

Регрессия к среднему просто говорит о том, что после экстремального случайного события следующее случайное событие, вероятно, будет менее экстремальным. Ни в коем случае будущее событие не «компенсирует» или «сглаживает» предыдущее, хотя это предполагается в заблуждении игрока (и в альтернативном законе средних значений ). Аналогично закон больших чиселутверждает, что в долгосрочной перспективе среднее значение будет стремиться к ожидаемому значению, но не делает никаких заявлений об отдельных испытаниях. Например, после серии 10 орлов при подбрасывании справедливой монеты (редкое, экстремальное событие) регрессия к среднему показывает, что следующая серия орлов, вероятно, будет меньше 10, в то время как закон больших чисел гласит, что в долгосрочной перспективе это событие, вероятно, будет усреднено, и средняя доля орлов будет стремиться к 1/2. В отличие от этого, ошибка игрока ошибочно предполагает, что монета теперь "должна" выпадать решкой для уравновешивания.

Противоположный эффект - это регрессия к хвосту, возникающая в результате распределения с ненулевой плотностью вероятности к бесконечности ^[20]

Определение простой линейной регрессии точек данных [ править ]

Это определение регрессии к среднему значению, которое близко следует первоначальному использованию сэра Фрэнсиса Гальтона . ^[12]

Предположим, что имеется n точек данных { y _i , x _i }, где i  = 1, 2,…, n . Мы хотим найти уравнение линии регрессии , т.е. прямой

${\ Displaystyle у = \ альфа + \ бета х, \,}$

что обеспечит "наилучшее" соответствие точкам данных. (Обратите внимание, что прямая линия может не быть подходящей кривой регрессии для заданных точек данных.) Здесь «лучший» будет пониматься как в подходе наименьших квадратов : такая линия, которая минимизирует сумму квадратов остатков линейной регрессии. модель. Другими словами, числа α и β решают следующую задачу минимизации:

Найди , где${\displaystyle \min _{\alpha ,\,\beta }Q(\alpha ,\beta )}$${\displaystyle Q(\alpha ,\beta )=\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{\,2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}\ }$

Используя исчисление, можно показать, что значения α и β, которые минимизируют целевую функцию Q, равны

${\displaystyle {\begin{aligned}&{\hat {\beta }}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{{\overline {x^{2}}}-{\bar {x}}^{2}}}={\frac {\operatorname {Cov} [x,y]}{\operatorname {Var} [x]}}=r_{xy}{\frac {s_{y}}{s_{x}}},\\&{\hat {\alpha }}={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\end{aligned}}}$

где г _ху есть образец коэффициент корреляции между х и у , ев _х это стандартное отклонение от х , и ев _у , соответственно , стандартное отклонение у . Горизонтальная полоса над переменной означает выборочное среднее значение этой переменной. Например:${\displaystyle {\overline {xy}}={\tfrac {1}{n}}\textstyle \sum _{i=1}^{n}x_{i}y_{i}\ .}$

Подстановка приведенных выше выражений для и в дает подобранные значения${\displaystyle {\hat {\alpha }}}$${\displaystyle {\hat {\beta }}}$${\displaystyle y=\alpha +\beta x,\,}$

${\displaystyle {\hat {y}}={\hat {\alpha }}+{\hat {\beta }}x,\,}$

что дает

${\displaystyle {\frac {{\hat {y}}-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}}$

Это показывает роль r _xy в линии регрессии стандартизованных точек данных.

Если -1 <  r _xy  <1, то мы говорим, что точки данных демонстрируют регресс к среднему значению. Другими словами, если линейная регрессия является подходящей моделью для набора точек данных, коэффициент корреляции выборки которых не идеален, то существует регрессия к среднему значению. Предсказанное (или подобранное) стандартизованное значение y ближе к своему среднему значению, чем стандартизованное значение x к его среднему значению.

Определения для двумерного распределения с идентичными предельными распределениями [ править ]

Ограничительное определение [ править ]

Пусть X ₁ , X ₂ - случайные величины с одинаковыми маргинальными распределениями со средним μ . В этой формализации, то распределение бивариантное из X ₁ и X ₂ называются выставочной регрессии , если для любого числа гр  >  ц , мы имеем

μ  ≤ E [ X ₂  | X ₁  =  c ] <  c ,

с обратными неравенствами при c  <  μ . ^{[7] [21]}

Ниже приводится неформальное описание приведенного выше определения. Рассмотрим совокупность виджетов . Каждый виджет имеет два числа, X ₁ и X ₂ (скажем, его левый диапазон ( X ₁ ) и правый диапазон ( X ₂ )). Предположим, что распределения вероятностей X ₁ и X ₂ в совокупности идентичны, и что средние значения X ₁ и X ₂ оба равны μ . Теперь мы берем случайный виджет из популяции и обозначаем его значение X ₁ через c . (Обратите внимание, чтоc может быть больше, равно или меньше μ .) У нас пока нет доступа к значению X ₂ этого виджета . Пусть d обозначает ожидаемое значение X ₂ этого конкретного виджета. ( т.е. пусть d обозначает среднее значение X ₂ всех виджетов в популяции с X ₁ = c .) Если выполняется следующее условие:

Каким бы ни было значение c , d лежит между μ и c ( т.е. d ближе к μ, чем c ),

тогда мы говорим, что X ₁ и X ₂ показывают регресс к среднему значению .

Это определение близко соответствует нынешнему общепринятому использованию термина «регрессия к среднему», развившемуся от первоначального использования Гальтоном. Он «ограничительный» в том смысле, что не каждое двумерное распределение с идентичными предельными распределениями демонстрирует регрессию к среднему значению (согласно этому определению). ^[21]

Теорема [ править ]

Если пара ( X ,  Y ) случайных величин следует двумерное нормальное распределение , то условное среднее Е ( Y | X ) является линейной функцией от X . Коэффициент корреляции r между X и Y , наряду с предельными средними и дисперсиями X и Y , определяет эту линейную зависимость:

${\displaystyle {\frac {E(Y\mid X)-E[Y]}{\sigma _{y}}}=r{\frac {X-E[X]}{\sigma _{x}}},}$

где E [X] и E [Y] - ожидаемые значения X и Y соответственно, а σ _x и σ _y - стандартные отклонения X и Y соответственно.

Следовательно, условное ожидаемое значение Y , при условии , что Х является т стандартных отклонений выше его среднего (и что включает в себя случай , когда она ниже его среднего, при т  <0), является RT стандартного отклонения выше среднего значения Y . Поскольку | г | ≤ 1, Y не дальше от среднего значения, чем X , как измерено в количестве стандартных отклонений. ^[22]

Следовательно, если 0 ≤  r  <1, то ( X ,  Y ) показывает регрессию к среднему (согласно этому определению).

Общее определение [ править ]

Следующее определение возврата к среднему было предложено Сэмюэлсом в качестве альтернативы более ограниченному определению регрессии к среднему, приведенному выше. ^[7]

Пусть X ₁ , X ₂ - случайные величины с одинаковыми маргинальными распределениями со средним μ . В этой формализации, то распределение бивариантное из X ₁ и X ₂ называются выставочной реверсии по направлению к среднему , если для любого число с , мы имеем

μ  ≤ E [ X ₂  | X ₁  >  c ] <E [ X ₁  | X ₁  >  c ], и

μ  ≥ E [ X ₂  | X ₁  <  c ]> E [ X ₁  | X ₁  <  c ]

Это определение является «общим» в том смысле, что каждое двумерное распределение с идентичными предельными распределениями демонстрирует возврат к среднему значению .

См. Также [ править ]

• Принцип Харди – Вайнберга
• Внутренняя валидность
• Закон больших чисел
• Мартингейл
• Разбавление регрессии
• Критерий отбора

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Дж. М. Бланд и Д. Г. Альтман (июнь 1994 г.). «Статистические заметки: регресс к среднему значению» . Британский медицинский журнал . 308 (6942): 1499. DOI : 10.1136 / bmj.308.6942.1499 . PMC  2540330 . PMID  8019287 . Статья, включая диаграмму исходных данных Гальтона.

• Майкл Р. Черник и Роберт Х. Фриис (2003). Вводная биостатистика для наук о здоровье . Wiley-Interscience . п. 272. ISBN. 978-0-471-41137-6.

• Эдвард Дж. Дудевич и Сатья Н. Мишра (1988). «Раздел 14.1: Оценка параметров регрессии; Линейные модели». Современная математическая статистика . Джон Вили и сыновья . ISBN 978-0-471-81472-6.

• Фрэнсис Гальтон (1886). «Возврат к посредственности в наследственном росте» (PDF) . Журнал Антропологического института Великобритании и Ирландии . 15 : 246–263. DOI : 10.2307 / 2841583 . JSTOR  2841583 .

• Дональд Ф. Моррисон (1967). «Глава 3: Образцы из многомерной нормальной популяции». Многомерные статистические методы . Макгроу-Хилл . ISBN 978-0-534-38778-5.

• Стивен М. Стиглер (1999). «Глава 9». Статистика в таблице . Издательство Гарвардского университета .

• Майра Л. Сэмюэлс (ноябрь 1991 г.). «Статистическая реверсия к среднему: более универсальна, чем регрессия к среднему». Американский статистик . 45 (4): 344–346. DOI : 10.2307 / 2684474 . JSTOR  2684474 .
• Стивен Сенн. Регрессия: новый способ для старого смысла , Американский статистик , Том 44, № 2 (май 1990 г.), стр. 181–183.
• Дэвид С. Шмиттлейн. Неожиданные выводы из неудивительных наблюдений: действительно ли условные ожидания возвращаются к среднему значению? Американский статистик , Том 43, № 3 (август 1989 г.), стр. 176–183.
• Регрессия к среднему и изучение изменений , Психологический бюллетень
• Нематематическое объяснение регресса к среднему.
• Моделирование регресса к среднему значению.
• Аманда Ваксмут, Леланд Уилкинсон, Джерард Э. Даллал. Изгиб Гальтона: неоткрытая нелинейность в данных регрессии роста семьи Гальтона и вероятное объяснение, основанное на данных о росте Пирсона и Ли (современный взгляд на анализ Гальтона).
• Стандартизированные результаты тестов Массачусетса, интерпретируемые статистиками как пример регрессии: см. Обсуждение на sci.stat.edu и его продолжение .
• Гэри Смит , Какая удача: удивительная роль случайности в нашей повседневной жизни, Нью-Йорк: Overlook, Лондон: Дакворт. ISBN 978-1-4683-1375-8 .