Оценка линейного тренда - это статистический метод, помогающий интерпретировать данные. Когда серия измерений процесса рассматривается как, например, временной ряд , оценка тенденции может использоваться для составления и обоснования утверждений о тенденциях в данных путем соотнесения измерений со временем, в которое они произошли. Затем эту модель можно использовать для описания поведения наблюдаемых данных, не объясняя его. В этом случае оценка линейного тренда выражает данные как линейную функцию времени, а также может использоваться для определения значимости различий в наборе данных, связанных категориальным фактором. Пример последнего из биомедицинской наукибудут уровни молекулы в крови или тканях пациентов с постепенно ухудшающимся заболеванием - таким как легкое, умеренное и тяжелое. [1] Это контрастирует с ANOVA , который зарезервирован для трех или более независимых групп (например, болезни сердца, рак, артрит) (см. Ниже).
В частности, может быть полезно определить, демонстрируют ли измерения тенденцию к увеличению или уменьшению, которая статистически отличается от случайного поведения . Некоторые примеры определяют тенденцию изменения среднесуточных температур в данном месте от зимы к лету и определяют тенденцию в ряду глобальных температур за последние 100 лет. В последнем случае важны вопросы однородности (например, вопрос о том, одинаково ли надежен ряд по всей его длине).
Соответствие тенденции: метод наименьших квадратов
Учитывая набор данных и желание создать какую-то модель этих данных, существует множество функций, которые можно выбрать для соответствия. Если нет предварительного понимания данных, то простейшая функция для подбора - прямая линия со значениями данных на оси y и временем ( t = 1, 2, 3, ...) на оси x.
После того, как было принято решение провести прямую линию, есть несколько способов сделать это, но наиболее распространенный выбор - аппроксимация методом наименьших квадратов . Этот метод минимизирует сумму квадратов ошибок в серии данных y .
Учитывая набор моментов времени , и значения данных наблюдаемые для этих моментов времени значения а также выбраны так, что
сводится к минимуму. Здесь при + Ь является линией тренда, поэтому сумма квадратов отклонений от линии тренда является то , что в настоящее время сведена к минимуму. Это всегда можно сделать в закрытом виде, поскольку это случай простой линейной регрессии .
В остальной части этой статьи «тренд» будет означать наклон линии наименьших квадратов, поскольку это общепринятое соглашение.
Тенденции случайных данных
Прежде чем рассматривать тенденции в реальных данных, полезно понять тенденции в случайных данных .
Если анализируется заведомо случайный ряд - выпадение справедливых костей или сгенерированные компьютером псевдослучайные числа - и линия тренда проходит через данные, шансы на получение точно нулевого оцененного тренда незначительны. Но можно было бы ожидать, что тенденция будет небольшой. Если отдельная серия наблюдений создается на основе моделирования, в котором используется заданная дисперсия шума, равная наблюдаемой дисперсии интересующего нас ряда данных, и заданной длины (скажем, 100 точек), большое количество таких смоделированных серий (скажем, 100000 серий) могут быть сгенерированы. Затем эти 100 000 рядов можно анализировать индивидуально для расчета предполагаемых тенденций в каждой серии, и эти результаты устанавливают распределение предполагаемых тенденций, которых следует ожидать от таких случайных данных - см. Диаграмму. Такое распределение будет нормальным согласно центральной предельной теореме, за исключением патологических случаев. Теперь можно выбрать уровень статистической достоверности S - типичная достоверность 95%; На 99% будет строже, на 90% слабее - и можно задать следующий вопрос: каково значение пограничного тренда V , при котором S % трендов будет находиться между -V и + V ?
Вышеупомянутую процедуру можно заменить проверкой перестановки . Для этого набор из 100 000 сгенерированных рядов будет заменен на 100 000 рядов, построенных путем случайного перемешивания наблюдаемых рядов данных; очевидно , такие сконструированная серия будет тенденцией свободной, таким образом , с приближением использования моделируемых данных эти серии могут быть использована для создания пограничной тенденции значений V и - V .
В приведенном выше обсуждении распределение тенденций было рассчитано путем моделирования на основе большого количества испытаний. В простых случаях (классическим является нормально распределенный случайный шум) распределение трендов может быть точно рассчитано без моделирования.
Диапазон (- V , V ) может использоваться при решении вопроса о том, не является ли тренд, оцененный на основе фактических данных, маловероятным, исходя из ряда данных, который действительно имеет нулевой тренд. Если оценочное значение параметра регрессии a лежит за пределами этого диапазона, такой результат мог иметь место только при наличии истинного нулевого тренда, например, один раз из двадцати, если использовалось значение достоверности S = 95%; в этом случае можно сказать, что со степенью уверенности S мы отвергаем нулевую гипотезу о том, что истинный основной тренд равен нулю.
Однако обратите внимание, что какое бы значение S мы ни выбрали, тогда данная доля, 1 - S , действительно случайного ряда будет объявлена (ложно, по построению) имеющей значительный тренд. И наоборот, определенная часть рядов, которые на самом деле имеют ненулевой тренд, не будет объявлена имеющим тренд.
Данные как тренд плюс шум
Чтобы проанализировать (временной) ряд данных, мы предполагаем, что он может быть представлен как тренд плюс шум:
где а также неизвестные константы и - это случайно распределенные ошибки . Если можно отклонить нулевую гипотезу о нестационарности ошибок , то нестационарный ряд { y t } называется тренд-стационарным . Метод наименьших квадратов предполагает, что ошибки независимо распределены с нормальным распределением . Если это не так, проверка гипотез о неизвестных параметрах a и b может быть неточной. Проще всего, есливсе они имеют одинаковое распределение, но если нет (если некоторые из них имеют более высокую дисперсию , что означает, что эти точки данных фактически менее достоверны), то это можно учесть во время аппроксимации методом наименьших квадратов, взвешивая каждую точку по величине, обратной величине отклонение этой точки.
В большинстве случаев, когда для анализа существует только один временной ряд, дисперсия 's оценивается путем подбора тренда для получения оценочных значений параметров а также таким образом позволяя прогнозируемые значения
быть вычтенным из данных (таким образом устраняя тренд данных) и оставляя остатки как данные без тренда , и оценка дисперсииот остатков - часто это единственный способ оценить дисперсию с.
Как только мы узнаем «шум» ряда, мы можем оценить значимость тренда, сделав нулевую гипотезу о том, что тренд,, не отличается от 0. Из приведенного выше обсуждения тенденций в случайных данных с известной дисперсией мы знаем, какое распределение рассчитанных тенденций следует ожидать от случайных (без тенденции) данных. Если предполагаемый тренд,, больше критического значения для определенного уровня значимости , тогда предполагаемый тренд считается существенно отличным от нуля на этом уровне значимости, и нулевая гипотеза о нулевом базовом тренде отклоняется.
Использование линейной линии тренда было предметом критики, что привело к поиску альтернативных подходов, позволяющих избежать ее использования при оценке модели. Один из альтернативных подходов включает тесты на единичный корень и метод коинтеграции в эконометрических исследованиях.
Расчетный коэффициент, связанный с переменной линейного тренда, такой как время, интерпретируется как мера воздействия ряда неизвестных или известных, но неизмеримых факторов на зависимую переменную в течение одной единицы времени. Строго говоря, такая интерпретация применима только к временным рамкам оценки. Вне этих временных рамок неизвестно, как эти неизмеримые факторы ведут себя как качественно, так и количественно. Кроме того, линейность временного тренда вызывает множество вопросов:
(i) Почему он должен быть линейным?
(ii) Если тренд нелинейный, то при каких условиях его включение влияет на величину, а также на статистическую значимость оценок других параметров в модели?
(iii) включение линейного временного тренда в модель исключает предположение о наличии колебаний в тенденциях зависимой переменной во времени; обязательно ли это справедливо в конкретном контексте?
(iv) И существует ли в модели ложная связь, потому что лежащая в основе причинная переменная сама имеет тенденцию к изменению во времени?
В ответ на эти вопросы были опубликованы результаты исследований математиков, статистиков, экономистов и экономистов. Например, подробные заметки о значении линейных временных трендов в регрессионной модели даны в Cameron (2005); [2] Грейнджер, Энгл и многие другие эконометристы писали о стационарности, тестировании единичного корня, совместной интеграции и связанных с ними вопросах (краткое изложение некоторых работ в этой области можно найти в информационном документе [3] Королевского шведского королевского общества. Академия наук (2003) и Ho-Trieu & Tucker (1990) написали о логарифмических временных тенденциях, результаты которых указывают на то, что линейные временные тренды являются частными случаями циклов .
Пример: шумный временной ряд
В шумных временных рядах сложнее увидеть тренд. Например, если истинная серия 0, 1, 2, 3 все плюс некоторые независимые нормально распределены «шум» е из стандартных отклонения Е , и мы имеем серию образцов длины 50, а затем , если Е = 0.1 тренд будет очевиден ; если E = 100, вероятно, будет виден тренд; но если E = 10000, тренд будет скрыт в шуме.
Если мы рассмотрим конкретный пример, глобальный рекорд температуры поверхности за последние 140 лет, представленный МГЭИК : [4], то межгодовая вариация составляет около 0,2 ° C, а тренд - около 0,6 ° C за 140 лет, с доверительной вероятностью 95%. пределы 0,2 ° C (по совпадению примерно такое же значение, как и межгодовая вариация). Следовательно, тенденция статистически отличается от 0. Однако, как отмечалось в другом месте, этот временной ряд не соответствует предположениям, необходимым для того, чтобы метод наименьших квадратов был действительным.
Степень соответствия ( r- квадрат) и тенденции
Процесс аппроксимации методом наименьших квадратов дает значение - r-квадрат ( r 2 ) - которое равно 1 минус отношение дисперсии остатков к дисперсии зависимой переменной. Он говорит, какая часть дисперсии данных объясняется подобранной линией тренда. Это не имеет отношения к статистической значимости линии тренда (см. График); Статистическая значимость тренда определяется его t-статистикой . Часто фильтрация ряда увеличивает r 2 , мало влияя на подобранный тренд.
Для реальных данных могут потребоваться более сложные модели
До сих пор предполагалось, что данные состоят из тенденции плюс шум, при этом шум в каждой точке данных является независимыми и одинаково распределенными случайными величинами и имеет нормальное распределение . Реальные данные (например, климатические данные) могут не соответствовать этим критериям. Это важно, поскольку имеет огромное значение для легкости анализа статистики, чтобы извлечь максимум информации из ряда данных. Если есть другие нелинейные эффекты, которые имеют корреляцию с независимой переменной (например, циклические влияния), использование оценки тренда методом наименьших квадратов недопустимо. Кроме того, если отклонения значительно больше, чем результирующий тренд прямой линии, выбор начальной и конечной точек может значительно изменить результат. То есть модель указана неверно с математической точки зрения . Статистические выводы (тесты на наличие тренда, доверительные интервалы тренда и т. Д.) Недействительны, если отклонения от стандартных допущений не учтены должным образом, например следующим образом:
- Зависимость: автокоррелированные временные ряды могут быть смоделированы с использованием моделей авторегрессионного скользящего среднего .
- Непостоянная дисперсия: в простейших случаях можно использовать взвешенные наименьшие квадраты .
- Ненормальное распределение ошибок: в простейших случаях может быть применима обобщенная линейная модель .
- Единичный корень : получение первых (или иногда вторых) различий данных, при этом уровень различий определяется с помощью различных тестов на единичный корень. [5]
В R линейный тренд данных можно оценить с помощью функции tslm пакета «прогноз».
Тенденции в клинических данных
Медицинские и биомедицинские исследования часто стремятся определить связь в наборах данных, таких как (как указано выше) три различных заболевания. Но данные также могут быть связаны во времени (например, изменение эффекта препарата от исходного уровня, до месяца 1, до месяца 2) или внешним фактором, который может или не может быть определен исследователем и / или его субъектом. (например, отсутствие боли, умеренная боль, умеренная боль, сильная боль). В этих случаях можно было бы ожидать, что статистика теста эффекта (например, влияние статина на уровень холестерина, анальгетика на степень боли или увеличение доз лекарства на измеримый показатель) будет изменяться в прямом порядке по мере развития эффекта. Предположим, что средний уровень холестерина до и после назначения статина упал с 5,6 ммоль / л на исходном уровне до 3,4 ммоль / л через один месяц и до 3,7 ммоль / л через два месяца. При достаточной мощности ANOVA, скорее всего, обнаружит значительное падение через один и два месяца, но падение не является линейным. Кроме того, может потребоваться апостериорный тест. Альтернативным тестом могут быть повторные измерения (двухсторонний) ANOVA или тест Фридемана, в зависимости от характера данных. Тем не менее, поскольку группы упорядочены, стандартный ANOVA не подходит. Если уровень холестерина упадет с 5,4 до 4,1 до 3,7, наблюдается четкая линейная тенденция. Тот же принцип может быть применен к эффектам частоты аллелей / генотипов, где можно утверждать, что SNP в нуклеотидах XX, XY, YY на самом деле представляют собой тенденцию отсутствия Y, одного Y, а затем двух Y.
Математика оценки линейного тренда представляет собой вариант стандартного дисперсионного анализа, дающего различную информацию, и будет наиболее подходящим тестом, если исследователи выдвигают гипотезу о влиянии тренда в своей тестовой статистике. Один из примеров [1] - уровни трипсина в сыворотке крови в шести группах субъектов, упорядоченные по десятилетнему возрасту (от 10–19 до 60–69 лет). Уровни трипсина (нг / мл) растут по прямому линейному тренду 128, 152, 194, 207, 215, 218. Неудивительно, что «стандартный» ANOVA дает p <0,0001, тогда как оценка линейного тренда дает p = 0,00006. Между прочим, можно было бы разумно утверждать, что, поскольку возраст является естественным непрерывно изменяющимся индексом, его не следует разделять на десятилетия, а влияние возраста и трипсина в сыворотке следует искать с помощью корреляции (при условии, что исходные данные доступны). Еще один пример - вещество, измеренное в четырех временных точках в разных группах: среднее [SD] (1) 1,6 [0,56], (2) 1,94 [0,75], (3) 2,22 [0,66], (4) 2,40 [0,79 ], что является явной тенденцией. ANOVA дает p = 0,091, потому что общая дисперсия превышает средние значения, тогда как оценка линейного тренда дает p = 0,012. Однако, если бы данные были собраны в четырех временных точках у одних и тех же людей, оценка линейного тренда была бы неуместной, и применялся бы двусторонний (повторные измерения) ANOVA.
Смотрите также
- Экстраполяция
- Прогнозирование
- Линия фитинга
- Интервал прогноза
- Регрессионный анализ
Заметки
- ^ Альтман, Дуглас (1991). Практическая статистика для медицинских исследований . Лондон: Чепмен и Холл. С. 212–220 . ISBN 0-412-27630-5.
- ^ «Как сделать регрессию более полезной II: манекены и тенденции» (PDF) . Проверено 17 июня 2012 года .
- ^ «Шведская королевская академия наук» (PDF) . 8 октября 2003 . Проверено 17 июня 2012 года .
- ^ «Третий оценочный отчет МГЭИК - Изменение климата 2001 - Полные онлайн-версии» . Архивировано из оригинального 20 ноября 2009 года . Проверено 17 июня 2012 года .
- ^ Прогнозирование: принципы и практика . 20 сентября 2014 . Проверено 17 мая 2015 года .
Рекомендации
- Bianchi, M .; Boyle, M .; Холлингсворт, Д. (1999). «Сравнение методов оценки тренда». Письма по прикладной экономике . 6 (2): 103–109. DOI : 10.1080 / 135048599353726 .
- Кэмерон, С. (2005). «Сделать регрессионный анализ более полезным, II». Эконометрика . Maidenhead: Высшее образование Макгроу Хилла. С. 171–198. ISBN 0077104285.
- Чатфилд, К. (1993). «Расчет интервальных прогнозов». Журнал деловой и экономической статистики . 11 (2): 121–135. DOI : 10.1080 / 07350015.1993.10509938 .
- Ho-Trieu, Нидерланды; Такер, Дж. (1990). «Еще одно замечание об использовании логарифмического временного тренда». Обзор маркетинга и экономики сельского хозяйства . 58 (1): 89–90. DOI: 10.22004 / ag.econ.12288
- Кунгл. Vetenskapsakademien (Шведская королевская академия наук) (2003). «Эконометрика временных рядов: коинтеграция и авторегрессионная условная гетероскедастичность». Расширенная информация о премии Банка Швеции в области экономических наук памяти Альфреда Нобеля .
- Arianos, S .; Carbone, A .; Терк, К. (2011). «Самоподобие скользящих средних высокого порядка» . Physical Review E . 84 (4): 046113. DOI : 10,1103 / physreve.84.046113 . PMID 22181233 .