Оценка линейного тренда

Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Июль 2019 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Оценка линейного тренда - это статистический метод, помогающий интерпретировать данные. Когда серия измерений процесса рассматривается, например, как временной ряд , оценка тенденции может использоваться для составления и обоснования утверждений о тенденциях в данных путем соотнесения измерений со временем, в которое они произошли. Затем эту модель можно использовать для описания поведения наблюдаемых данных без его объяснения. В этом случае оценка линейного тренда выражает данные как линейную функцию времени, а также может использоваться для определения значимости различий в наборе данных, связанных категориальным фактором. Пример последнего из биомедицинской наукибудут уровни молекулы в крови или тканях пациентов с постепенно прогрессирующим заболеванием - таким как легкое, умеренное и тяжелое. ^[1] В этом отличие от ANOVA , который предназначен для трех или более независимых групп (например, болезни сердца, рак, артрит) (см. Ниже).

В частности, может быть полезно определить, демонстрируют ли измерения тенденцию к увеличению или уменьшению, которая статистически отличается от случайного поведения . Некоторые примеры определяют тенденцию среднесуточных температур в данном месте от зимы к лету и определяют тенденцию в ряду глобальных температур за последние 100 лет. В последнем случае важны вопросы однородности (например, вопрос о том, одинаково ли надежен ряд по всей его длине).

Соответствие тенденции: метод наименьших квадратов [ править ]

Учитывая набор данных и желание создать какую-то модель этих данных, существует множество функций, которые можно выбрать для соответствия. Если нет предварительного понимания данных, то простейшая функция для подбора - прямая линия со значениями данных по оси y и временем ( t = 1, 2, 3, ...) по оси x.

После того, как было принято решение провести прямую линию, есть несколько способов сделать это, но наиболее распространенный выбор - это метод наименьших квадратов . Этот метод минимизирует сумму квадратов ошибок в серии данных y .

Для данного набора моментов времени и значений данных, наблюдаемых для этих моментов времени, значения и выбираются таким образом, чтобы${\ displaystyle t}$${\ displaystyle y_ {t}}$${\ displaystyle a}$${\ displaystyle b}$

${\ displaystyle \ sum _ {t} \ left [y_ {t} - \ left ({\ hat {a}} t + {\ hat {b}} \ right) \ right] ^ {2}}$

сводится к минимуму. Здесь при + Ь является линией тренда, поэтому сумма квадратов отклонений от линии тренда является то , что в настоящее время сведена к минимуму. Это всегда можно сделать в закрытом виде, поскольку это случай простой линейной регрессии .

В остальной части этой статьи «тренд» будет означать наклон линии наименьших квадратов, поскольку это общепринятое соглашение.

Тенденции случайных данных [ править ]

Прежде чем рассматривать тенденции в реальных данных, полезно понять тенденции в случайных данных .

Значения, закрашенные красным, превышают 99% остальных; синий, 95%; зеленый, 90%. В этом случае значения V, обсуждаемые в тексте для (односторонней) 95% достоверности, считаются равными 0,2.

Если анализируется заведомо случайный ряд - выпадение справедливых костей или сгенерированные компьютером псевдослучайные числа - и линия тренда проходит по данным, шансы на получение точно нулевого оцененного тренда незначительны. Но можно было бы ожидать, что тенденция будет небольшой. Если отдельная серия наблюдений создается на основе моделирования, в котором используется заданная дисперсия шума, равная наблюдаемой дисперсии интересующего нас ряда данных, и заданной длины (скажем, 100 точек), большое количество таких смоделированных серий (скажем, 100000 серий) могут быть сгенерированы. Затем эти 100000 рядов можно анализировать индивидуально для расчета предполагаемых тенденций в каждой серии, и эти результаты устанавливают распределение предполагаемых тенденций, которые следует ожидать на основе таких случайных данных - см. Диаграмму. Такое распределение будетнормально в соответствии с центральной предельной теоремой, за исключением патологических случаев. Теперь можно выбрать уровень статистической достоверности S - типичная достоверность 95%; На 99% будет строже, на 90% слабее - и можно задать следующий вопрос: каково значение пограничного тренда V, которое приведет к тому, что S % трендов будет между -V и + V ?

Вышеописанную процедуру можно заменить проверкой перестановки . Для этого набор из 100 000 сгенерированных рядов будет заменен на 100 000 рядов, построенных путем случайного перемешивания наблюдаемых рядов данных; очевидно , такие сконструированная серия будет тенденцией свободной, таким образом , с приближением использования моделируемых данных эти серии могут быть использована для создания пограничной тенденции значений V и - V .

В приведенном выше обсуждении распределение тенденций было рассчитано путем моделирования на основе большого количества испытаний. В простых случаях (классическим является нормально распределенный случайный шум) распределение трендов может быть точно рассчитано без моделирования.

Диапазон (- V , V ) может использоваться для определения того, является ли тренд, оцененный на основе фактических данных, маловероятным, если он получен из ряда данных, который действительно имеет нулевой тренд. Если оценочное значение параметра регрессии a лежит за пределами этого диапазона, такой результат мог иметь место только при наличии истинного нулевого тренда, например, один раз из двадцати, если использовалось значение достоверности S = 95%; в этом случае можно сказать, что при степени уверенности S мы отвергаем нулевую гипотезу о том, что истинный основной тренд равен нулю.

Однако обратите внимание, что какое бы значение S мы ни выбрали, тогда данная доля, 1 -  S , действительно случайного ряда будет объявлена ​​(ложно, по построению) имеющей значительный тренд. И наоборот, определенная часть серий, которые на самом деле имеют ненулевой тренд, не будут объявлены имеющими тренд.

Данные как тренд плюс шум [ править ]

Для анализа (временного) ряда данных мы предполагаем, что он может быть представлен как тренд плюс шум:

${\ displaystyle y_ {t} = at + b + e_ {t} \,}$

где и - неизвестные константы, а - случайно распределенные ошибки . Если можно отклонить нулевую гипотезу о нестационарности ошибок , то нестационарный ряд { y _t } называется тренд-стационарным . Метод наименьших квадратов предполагает, что ошибки независимо распределены с нормальным распределением . Если это не так, проверка гипотез о неизвестных параметрах a и b может быть неточной. Проще всего, если все они имеют одинаковое распределение, но если нет (если у некоторых более высокая дисперсия${\ displaystyle a}$${\ displaystyle b}$${\ displaystyle e}$${\ displaystyle e}$, что означает, что эти точки данных фактически менее достоверны), то это можно учесть во время аппроксимации методом наименьших квадратов, взвешивая каждую точку на величину, обратную дисперсии этой точки.

В большинстве случаев, когда существует только один временной ряд для анализа, дисперсия 's оценивается путем подбора тренда для получения оценочных значений параметров и, таким образом, позволяя получить предсказанные значения ${\ displaystyle e}$${\ displaystyle {\ hat {a}}}$${\ displaystyle {\ hat {b}},}$

${\ displaystyle {\ hat {y}} = {\ hat {a}} t + {\ hat {b}}}$

следует вычесть из данных (таким образом , удаления тренда данных) и оставляя остатков в качестве Бестрендовости данных , и оценка дисперсии 'S из остатков - это часто единственный способ оценки дисперсии из - х годов.${\ displaystyle y_ {t}}$ ${\ displaystyle {\ hat {e}} _ {t}}$${\ displaystyle e_ {t}}$${\ displaystyle e_ {t}}$

Как только мы узнаем «шум» ряда, мы можем оценить значимость тренда, сделав нулевую гипотезу о том, что тренд не отличается от 0. Из приведенного выше обсуждения тенденций в случайных данных с известной дисперсией мы знать распределение рассчитанных трендов, которых следует ожидать на основе случайных (нетрендовых) данных. Если оцененная тенденция ,, больше критического значения для определенного уровня значимости , то оцененная тенденция считается существенно отличной от нуля на этом уровне значимости, и нулевая гипотеза о нулевой базовой тенденции отклоняется.${\ displaystyle a}$${\ displaystyle {\ hat {a}}}$

Использование линейной линии тренда было предметом критики, что привело к поиску альтернативных подходов, позволяющих избежать ее использования при оценке модели. Один из альтернативных подходов включает тесты на единичный корень и метод коинтеграции в эконометрических исследованиях.

Расчетный коэффициент, связанный с переменной линейного тренда, такой как время, интерпретируется как мера воздействия ряда неизвестных или известных, но неизмеримых факторов на зависимую переменную в течение одной единицы времени. Строго говоря, такая интерпретация применима только для временных рамок оценки. За пределами этого временного интервала никто не знает, как эти неизмеримые факторы ведут себя как качественно, так и количественно. Кроме того, линейность временного тренда вызывает множество вопросов:

(i) Почему он должен быть линейным?

(ii) Если тренд является нелинейным, то при каких условиях его включение влияет на величину, а также на статистическую значимость оценок других параметров в модели?

(iii) включение линейного временного тренда в модель исключает предположение о наличии колебаний в тенденциях зависимой переменной во времени; обязательно ли это верно в конкретном контексте?

(iv) И существует ли в модели ложная связь, потому что лежащая в основе причинная переменная сама является изменяющейся во времени?

В ответ на эти вопросы были опубликованы результаты исследований математиков, статистиков, экономистов и экономистов. Например, подробные заметки о значении линейных временных трендов в регрессионной модели даны в Cameron (2005); ^[2] Грейнджер, Энгл и многие другие эконометристы писали о стационарности, тестировании единичного корня, совместной интеграции и связанных с ними вопросах (краткое изложение некоторых работ в этой области можно найти в информационном документе ^[3] Королевского шведского королевского общества. Академия наук (2003) и Ho-Trieu & Tucker (1990) написали о логарифмических временных тенденциях ^[4] с результатами, показывающими, что линейные временные тренды являются частными случаями циклов ^[4]

Пример: шумный временной ряд [ править ]

В шумных временных рядах сложнее увидеть тренд. Например, если истинная серия 0, 1, 2, 3 все плюс некоторые независимые нормально распределены «шум» е из стандартных отклонения  Е , и мы имеем серию образцов длины 50, а затем , если Е  = 0.1 тренд будет очевиден ; если E  = 100, вероятно, будет виден тренд; но если E  = 10000, тренд будет скрыт в шуме.

Если мы рассмотрим конкретный пример, глобальный рекорд температуры поверхности за последние 140 лет, представленный МГЭИК : ^[5], то межгодовые колебания составляют около 0,2 ° C, а тренд - около 0,6 ° C за 140 лет с достоверностью 95%. пределы 0,2 ° C (по совпадению примерно такое же значение, как и межгодовая вариация). Следовательно, тенденция статистически отличается от 0. Однако, как отмечено в другом месте, этот временной ряд не соответствует предположениям, необходимым для того, чтобы метод наименьших квадратов был действительным.

Степень соответствия ( r- квадрат) и тенденции [ править ]

Процесс аппроксимации методом наименьших квадратов дает значение - r-квадрат ( r ² ) - которое равно 1 минус отношение дисперсии остатков к дисперсии зависимой переменной. Он говорит, какая доля дисперсии данных объясняется подобранной линией тренда. Это не имеет отношения к статистической значимости линии тренда (см. График); Статистическая значимость тренда определяется его t-статистикой . Часто фильтрация ряда увеличивает r ² , мало влияя на подобранный тренд.

Для реальных данных могут потребоваться более сложные модели [ править ]

До сих пор предполагалось, что данные состоят из тренда плюс шум, при этом шум в каждой точке данных является независимыми и одинаково распределенными случайными величинами и имеет нормальное распределение.. Реальные данные (например, климатические данные) могут не соответствовать этим критериям. Это важно, поскольку имеет огромное значение для простоты анализа статистики, чтобы извлечь максимум информации из ряда данных. Если есть другие нелинейные эффекты, которые имеют корреляцию с независимой переменной (например, циклические влияния), использование оценки тренда методом наименьших квадратов недопустимо. Кроме того, если отклонения значительно больше, чем результирующий тренд прямой линии, выбор начальной и конечной точек может значительно изменить результат. То есть модель указана неверно с математической точки зрения.. Статистические выводы (тесты на наличие тренда, доверительные интервалы тренда и т. Д.) Недействительны, если отклонения от стандартных допущений не учтены должным образом, например следующим образом:

• Зависимость: автокоррелированные временные ряды могут быть смоделированы с использованием моделей авторегрессионного скользящего среднего .
• Непостоянная дисперсия: в простейших случаях можно использовать взвешенные наименьшие квадраты .
• Ненормальное распределение ошибок: в простейших случаях может быть применима обобщенная линейная модель .
• Единичный корень : получение первых (или иногда вторых) различий в данных, причем уровень различий определяется с помощью различных тестов на единичный корень. ^[6]

В R линейный тренд данных можно оценить с помощью функции tslm пакета «прогноз».

Тенденции в клинических данных [ править ]

Медицинские и биомедицинские исследования часто стремятся определить связь в наборах данных, таких как (как указано выше) три различных заболевания. Но данные также могут быть связаны во времени (например, изменение эффекта препарата от исходного уровня, до месяца 1, до месяца 2) или внешним фактором, который может или не может быть определен исследователем и / или его субъектом. (например, отсутствие боли, умеренная боль, умеренная боль, сильная боль). В этих случаях можно было бы ожидать, что статистика теста эффекта (например, влияние статина на уровни холестерина, анальгетика на степень боли или увеличение доз лекарства на измеримый показатель) будет изменяться в прямом порядке по мере развития эффекта. Предположим, средний уровень холестерина до и после назначения статинаснижается с 5,6 ммоль / л на исходном уровне до 3,4 ммоль / л через один месяц и до 3,7 ммоль / л через два месяца. При достаточной мощности ANOVA, скорее всего, обнаружит значительное падение через один и два месяца, но падение не является линейным. Кроме того, может потребоваться апостериорный тест. Альтернативным тестом могут быть повторные измерения (двухсторонний) ANOVA или тест Фридемана, в зависимости от характера данных. Тем не менее, поскольку группы упорядочены, стандартный ANOVA не подходит. Если уровень холестерина упадет с 5,4 до 4,1 до 3,7, наблюдается четкая линейная тенденция. Тот же принцип может быть применен к эффектам частоты аллелей / генотипов, где можно утверждать, что SNP в нуклеотидах XX, XY, YY на самом деле являются тенденцией отсутствия Y, одного Y, а затем двух Y.

Математика оценки линейного тренда представляет собой вариант стандартного дисперсионного анализа, дающего различную информацию, и будет наиболее подходящим тестом, если исследователи выдвигают гипотезу о влиянии тренда в своей тестовой статистике. Один из примеров [1] - уровни трипсина в сыворотке крови в шести группах субъектов, упорядоченные по возрасту (от 10–19 до 60–69 лет). Уровни трипсина (нг / мл) растут по прямому линейному тренду 128, 152, 194, 207, 215, 218. Неудивительно, что «стандартный» дисперсионный анализ дает p  <0,0001, тогда как оценка линейного тренда дает p = 0,00006. Между прочим, можно было бы разумно утверждать, что, поскольку возраст является естественным непрерывно изменяющимся индексом, его не следует разделять на десятилетия, а влияние возраста и трипсина в сыворотке следует искать путем корреляции (при условии, что исходные данные доступны). Еще один пример - вещество, измеренное в четырех временных точках в разных группах: среднее [SD] (1) 1,6 [0,56], (2) 1,94 [0,75], (3) 2,22 [0,66], (4) 2,40 [0,79 ], что является явной тенденцией. ANOVA дает p  = 0,091, потому что общая дисперсия превышает средние значения, тогда как оценка линейного тренда дает p  = 0,012. Однако, если бы данные были собраны в четырех временных точках у одних и тех же людей, оценка линейного тренда была бы неуместной, и применялся двухфакторный (повторные измерения) ANOVA.

См. Также [ править ]

• Экстраполяция
• Прогнозирование
• Линия фитинга
• Интервал прогноза
• Регрессивный анализ

Примечания [ править ]

Ссылки [ править ]

• Bianchi, M .; Boyle, M .; Холлингсворт, Д. (1999). «Сравнение методов оценки тренда». Письма по прикладной экономике . 6 (2): 103–109. DOI : 10.1080 / 135048599353726 .
• Кэмерон, С. (2005). «Сделать регрессионный анализ более полезным, II». Эконометрика . Мейденхед: Высшее образование Макгроу Хилл. С. 171–198. ISBN 0077104285.
• Чатфилд, К. (1993). «Расчет интервальных прогнозов». Журнал деловой и экономической статистики . 11 (2): 121–135. DOI : 10.1080 / 07350015.1993.10509938 .
• Ho-Trieu, Нидерланды; Такер, Дж. (1990). «Еще одно замечание об использовании логарифмического временного тренда». Обзор маркетинга и экономики сельского хозяйства . 58 (1): 89–90.
• Кунгл. Vetenskapsakademien (Шведская королевская академия наук) (2003). «Эконометрика временных рядов: коинтеграция и авторегрессионная условная гетероскедастичность». Расширенная информация о Премии Банка Швеции в области экономических наук памяти Альфреда Нобеля .
• Arianos, S .; Carbone, A .; Терк, К. (2011). «Самоподобие скользящих средних высокого порядка» . Physical Review E . 84 (4): 046113. DOI : 10,1103 / physreve.84.046113 . PMID  22181233 .