В статистике , эконометрике и обработке сигналов , авторегрессии ( AR ) модель является представлением типа случайного процесса ; как таковой, он используется для описания определенных изменяющихся во времени процессов по природе , экономике и т. д. Модель авторегрессии определяет, что выходная переменная линейно зависит от ее собственных предыдущих значений и от стохастического члена (термин, который нельзя предсказать полностью); таким образом, модель имеет форму стохастического разностного уравнения(или рекуррентное соотношение, которое не следует путать с дифференциальным уравнением). Вместе с моделью скользящего среднего (MA) это частный случай и ключевой компонент более общих моделей авторегрессионного скользящего среднего (ARMA) и авторегрессионного интегрированного скользящего среднего (ARIMA) временных рядов , которые имеют более сложный стохастический анализ. состав; это также частный случай модели векторной авторегрессии (VAR), которая состоит из системы более чем одного взаимосвязанного стохастического разностного уравнения для более чем одной развивающейся случайной величины.
В отличие от модели скользящего среднего (MA) , авторегрессионная модель не всегда является стационарной, поскольку может содержать единичный корень .
Определение
Обозначение указывает на авторегрессионную модель порядка p . Модель AR ( p ) определяется как
где являются параметры модели, является константой, а это белый шум . Это может быть эквивалентно записано с использованием оператора обратного сдвига B как
так что, перемещая член суммирования в левую часть и используя полиномиальные обозначения , мы имеем
Таким образом, авторегрессионная модель может рассматриваться как результат многополюсного фильтра с бесконечной импульсной характеристикой , входным сигналом которого является белый шум.
Некоторые ограничения параметров необходимы для того, чтобы модель оставалась стационарной в широком смысле . Например, процессы в модели AR (1) сне являются стационарными. В более общем смысле, для того чтобы модель AR ( p ) была стационарной в широком смысле, корни полиномадолжен лежать вне единичной окружности , т. е. каждый (комплексный) корень должен удовлетворить (см. страницы 88,90 [1] ).
Межвременной эффект шоков
В процессе AR одноразовый шок влияет на значения развивающейся переменной бесконечно далеко в будущем. Например, рассмотрим модель AR (1). Ненулевое значение дляскажем, время t = 1 влияет по сумме . Тогда по уравнению AR для с точки зрения , это влияет по сумме . Тогда по уравнению AR для с точки зрения , это влияет по сумме . Продолжение этого процесса показывает, что эффектникогда не заканчивается, хотя если процесс стационарный, то в пределе эффект уменьшается до нуля.
Поскольку каждый шок влияет на значения X бесконечно далеко в будущем с момента их возникновения, на любое данное значение X t влияют шоки, происходящие бесконечно далеко в прошлом. Это также можно увидеть, переписав авторегрессию
(где постоянный член был опущен, предполагая, что переменная была измерена как отклонение от своего среднего значения) как
Когда выполняется полиномиальное деление в правой части, полином в операторе обратного сдвига применяется к имеет бесконечный порядок, то есть бесконечное количество запаздывающих значений появляются в правой части уравнения.
Характеристический полином
Автокорреляционная функция из AR ( р процесса) может быть выражена как [ править ]
где корни многочлена
где B - оператор обратного сдвига , где - функция, определяющая авторегрессию, а где - коэффициенты авторегрессии.
Автокорреляционная функция процесса AR ( p ) представляет собой сумму убывающих экспонент.
- Каждый действительный корень вносит свой вклад в функцию автокорреляции, которая экспоненциально затухает.
- Точно так же каждая пара комплексно сопряженных корней вносит экспоненциально затухающие колебания.
Графики процессов AR ( p )
Самый простой процесс AR - это AR (0), который не имеет зависимости между членами. Только термин ошибка / инновация / шум влияет на результат процесса, поэтому на рисунке AR (0) соответствует белому шуму.
Для процесса AR (1) с положительным , только предыдущий член в процессе и шумовой член вносят вклад в результат. Если близко к 0, то процесс по-прежнему выглядит как белый шум, но поскольку приближается к 1, выход получает больший вклад от предыдущего члена по сравнению с шумом. Это приводит к «сглаживанию» или интегрированию выходного сигнала, аналогичному фильтру нижних частот.
Для процесса AR (2) два предыдущих члена и шумовой член вносят вклад в результат. Если оба а также положительны, выходной сигнал будет напоминать фильтр нижних частот, с уменьшением высокочастотной части шума. Если положительно, в то время как отрицательна, то процесс способствует смене знака между терминами процесса. Выходной сигнал колеблется. Это можно сравнить с обнаружением края или обнаружением изменения направления.
Пример: процесс AR (1)
Процесс AR (1) определяется следующим образом:
где это процесс белого шума с нулевым средним и постоянной дисперсией . (Примечание: нижний индекс набыл отброшен.) Процесс является стационарным в широком смысле, еслипоскольку он получается как выходной сигнал стабильного фильтра, на входе которого используется белый шум. (Если тогда дисперсия зависит от запаздывания t, так что дисперсия ряда расходится до бесконечности, когда t стремится к бесконечности, и, следовательно, не является стационарным в широком смысле.) , значение одинаков для всех значений t по самому определению стационарности в широком смысле. Если обозначить среднее значение, следует из
что
и поэтому
В частности, если , то среднее значение равно 0.
Дисперсия является
где стандартное отклонение . Это можно показать, отметив, что
а затем заметив, что указанная выше величина является устойчивой фиксированной точкой этого отношения.
Автоковариационная дается
Можно видеть, что функция автоковариации затухает со временем затухания (также называемым постоянной времени ) [чтобы увидеть это, напишите где не зависит от . Тогда обратите внимание, что и сопоставьте это с законом экспоненциального затухания ].
Функция спектральной плотности представляет собой преобразование Фурье автоковариационной функции. В дискретных терминах это будет преобразование Фурье с дискретным временем:
Это выражение является периодическим из-за дискретного характера , который проявляется в виде косинуса в знаменателе. Если предположить, что время выборки () намного меньше времени затухания (), то мы можем использовать континуальное приближение к :
что дает лоренцев профиль спектральной плотности:
где угловая частота, связанная со временем затухания .
Альтернативное выражение для можно получить, сначала подставив для в определяющем уравнении. Продолжение этого процесса N раз дает
Для N, приближающегося к бесконечности, приблизится к нулю и:
Видно, что белый шум, свёрнутый с ядро плюс постоянное среднее. Если белый шумэто процесс Gaussian тотакже является гауссовским процессом. В других случаях центральная предельная теорема указывает, что будет приблизительно нормально распределяться, когда близок к одному.
Явная форма среднего / разностного процесса AR (1)
Модель AR (1) является аналогом непрерывного процесса Орнштейна-Уленбека с дискретным временем . Поэтому иногда полезно понять свойства модели AR (1), приведенной в эквивалентной форме. В таком виде модель AR (1) с параметром процесса дан кем-то:
- , где а также модельное среднее.
Поместив это в форму , а затем расширяя ряд для , можно показать, что:
- , а также
- .
Выбор максимального лага
Частичная автокорреляция процесса AR (p) равна нулю с запаздыванием, которое не больше порядка p [ требуется пояснение ], и обеспечивает хорошую модель для корреляции междуа также , поэтому соответствующая максимальная задержка - это та, после которой все частичные автокорреляции равны нулю.
Расчет параметров AR
Есть много способов оценить коэффициенты, например, обычная процедура наименьших квадратов или метод моментов (с помощью уравнений Юла – Уокера).
Модель AR ( p ) задается уравнением
Он основан на параметрах где i = 1, ..., p . Между этими параметрами и ковариационной функцией процесса существует прямое соответствие, и это соответствие можно инвертировать, чтобы определить параметры из автокорреляционной функции (которая сама получается из ковариаций). Это делается с помощью уравнений Юла – Уокера.
Уравнения Юла – Уокера
Уравнения Юла – Уокера, названные в честь Удни Юла и Гилберта Уокера , [2] [3], представляют собой следующую систему уравнений. [4]
где m = 0,…, p , что дает p + 1 уравнения. Здесь- автоковариационная функция X t , - стандартное отклонение входного шумового процесса, и - дельта-функция Кронекера .
Поскольку последняя часть отдельного уравнения не равна нулю, только если m = 0 , систему уравнений можно решить, представив уравнения для m > 0 в матричной форме, таким образом получив уравнение
который может быть решен для всех Оставшееся уравнение для m = 0 имеет вид
который когда-то известны, могут быть решены за
Альтернативная формулировка - автокорреляционная функция . Параметры AR определяются первыми p +1 элементамиавтокорреляционной функции. Затем полная автокорреляционная функция может быть получена путем рекурсивного вычисления [5]
Примеры некоторых процессов AR ( p ) низкого порядка
- р = 1
- Следовательно
- р = 2
- Уравнения Юла – Уокера для процесса AR (2) имеют следующий вид:
- Помни это
- Использование первого уравнения дает
- Используя формулу рекурсии, получаем
- Уравнения Юла – Уокера для процесса AR (2) имеют следующий вид:
Оценка параметров AR
Приведенные выше уравнения (уравнения Юла – Уокера) предоставляют несколько способов оценки параметров модели AR ( p ) путем замены теоретических ковариаций оценочными значениями. [6] Некоторые из этих вариантов можно описать следующим образом:
- Оценка автоковариаций или автокорреляций. Здесь каждый из этих терминов оценивается отдельно с использованием общепринятых оценок. Есть разные способы сделать это, и выбор между ними влияет на свойства схемы оценки. Например, отрицательные оценки дисперсии могут быть произведены некоторыми вариантами.
- Формулировка задачи регрессии методом наименьших квадратов, в которой строится обычная задача прогнозирования методом наименьших квадратов, основанная на прогнозировании значений X t на p предыдущих значений того же ряда. Это можно рассматривать как схему прямого прогнозирования. В нормальных уравнения для этой задачи можно увидеть , соответствуют аппроксимациям матричной формы уравнений Юлы-Уолкер , в которой каждый появлении автоковариации той же лаг заменяется несколько иной оценкой.
- Формулировка как расширенная форма обычной задачи прогнозирования методом наименьших квадратов. Здесь два набора прогнозных уравнений объединены в единую схему оценки и единый набор нормальных уравнений. Один набор представляет собой набор уравнений прямого прогнозирования, а другой - соответствующий набор уравнений обратного прогнозирования, относящихся к обратному представлению модели AR:
- Здесь предсказанные значения X t будут основаны на p будущих значениях того же ряда. [ требуется пояснение ] Этот способ оценки параметров AR был разработан Бургом [7] и называется методом Бурга: [8] Бург и более поздние авторы назвали эти конкретные оценки «оценками максимальной энтропии» [9], но рассуждения, лежащие в основе это относится к использованию любого набора оценочных параметров AR. По сравнению со схемой оценки, использующей только уравнения прямого прогнозирования, производятся разные оценки автоковариаций, и оценки имеют разные свойства устойчивости. Оценки Burg особенно связаны с максимальной спектральной оценкой энтропии . [10]
Другие возможные подходы к оценке включают оценку максимального правдоподобия . Доступны два различных варианта максимального правдоподобия: в одном (в целом эквивалентном схеме наименьших квадратов прямого предсказания) рассматриваемая функция правдоподобия соответствует условному распределению более поздних значений в ряду при начальных значениях p в ряду; во втором случае рассматривается функция правдоподобия, соответствующая безусловному совместному распределению всех значений в наблюдаемом ряду. Существенные различия в результатах этих подходов могут иметь место, если наблюдаемые ряды короткие или если процесс близок к нестационарности.
Спектр
Мощности спектральной плотности (PSD) из AR ( р процесса) с дисперсией шумаэто [5]
AR (0)
Для белого шума (AR (0))
AR (1)
Для AR (1)
- Если имеется единственный спектральный пик при f = 0, часто называемый красным шумом . В видестановится ближе к 1, появляется большая мощность на низких частотах, т.е. большие временные запаздывания. Тогда это фильтр нижних частот, при применении к свету полного спектра все, кроме красного света, будет отфильтровано.
- Если есть минимум при f = 0, часто называемый синим шумом . Он также действует как фильтр высоких частот, все, кроме синего света, будет отфильтровано.
AR (2)
Процессы AR (2) можно разделить на три группы в зависимости от характеристик их корней:
- Когда , процесс имеет пару комплексно-сопряженных корней, создающих среднечастотный пик в:
В противном случае у процесса есть настоящие корни, и:
- Когда он действует как фильтр нижних частот на белом шуме со спектральным пиком на
- Когда он действует как фильтр верхних частот на белом шуме со спектральным пиком на .
Процесс нестационарен, когда корни находятся вне единичной окружности. Процесс является стабильным, когда корни находятся внутри единичного круга или, что то же самое, когда коэффициенты находятся в треугольнике..
Полная функция PSD может быть выражена в реальной форме как:
Реализации в статистических пакетах
- R , то статистика пакет включает ар функцию. [11]
- Инструменты MATLAB Econometrics Toolbox [12] и System Identification Toolbox [13] включают модели авторегрессии [14]
- Matlab и Octave : набор инструментов TSA содержит несколько функций оценки для одномерных, многомерных и адаптивных моделей авторегрессии. [15]
- PyMC3 : байесовская статистика и структура вероятностного программирования поддерживает режимы авторегрессии с p- лагами.
- bayesloop поддерживает вывод параметров и выбор модели для процесса AR-1 с изменяющимися во времени параметрами. [16]
- Python : реализация в statsmodels. [17]
Импульсивный ответ
Импульсная характеристика системы является изменением развивающегося переменным в ответ на изменение значения термина шока K периоды предыдущих, как функция к . Поскольку модель AR является частным случаем модели векторной авторегрессии, здесь применяется вычисление импульсной характеристики в векторной авторегрессии # impulse response .
n -шаговое прогнозирование
После того, как параметры авторегрессии
были оценены, авторегрессия может использоваться для прогнозирования произвольного количества периодов в будущем. Сначала используйте t, чтобы обратиться к первому периоду, по которому еще нет данных; подставьте известные предыдущие значения X t-i для i = 1, ..., p в уравнение авторегрессии при установке члена ошибкиравным нулю (потому что мы прогнозируем, что X t равняется его ожидаемому значению, а ожидаемое значение ненаблюдаемой ошибки члена равно нулю) Результатом уравнения авторегрессии является прогноз на первый ненаблюдаемый период. Затем используйте t для обозначения следующего периода, по которому еще нет данных; опять же, уравнение авторегрессии используется для составления прогноза, с одним отличием: значение X за период до текущего прогнозируемого неизвестно, поэтому вместо него используется его ожидаемое значение - прогнозируемое значение, полученное на предыдущем этапе прогнозирования. . Затем для будущих периодов используется та же процедура, каждый раз используя еще одно прогнозируемое значение в правой части прогнозного уравнения до тех пор, пока после p предсказаний все p правых значений не станут предсказанными значениями из предыдущих шагов.
Существует четыре источника неопределенности относительно прогнозов, полученных таким образом: (1) неопределенность относительно того, является ли авторегрессионная модель правильной моделью; (2) неопределенность относительно точности прогнозируемых значений, которые используются в качестве запаздывающих значений в правой части уравнения авторегрессии; (3) неопределенность истинных значений коэффициентов авторегрессии; и (4) неопределенность в отношении значения ошибкина прогнозируемый период. Каждый из трех последних может быть количественно определен и объединен для получения доверительного интервала для прогнозов на n шагов; доверительный интервал будет становиться шире с увеличением n из-за использования увеличивающегося числа оценочных значений для правых переменных.
Оценка качества прогнозов
Прогностическая характеристика авторегрессионной модели может быть оценена, как только оценка будет сделана, если используется перекрестная проверка . В этом подходе некоторые из изначально доступных данных использовались для целей оценки параметров, а некоторые (из доступных наблюдений позже в наборе данных) были задержаны для тестирования вне выборки. В качестве альтернативы, по прошествии некоторого времени после того, как была проведена оценка параметров, станет доступно больше данных, и прогностическая характеристика может быть оценена с использованием новых данных.
В любом случае есть два аспекта прогнозной производительности, которые можно оценить: производительность на один шаг вперед и производительность на n шагов вперед. Для производительности на один шаг вперед оцененные параметры используются в уравнении авторегрессии вместе с наблюдаемыми значениями X для всех периодов, предшествующих прогнозируемому, и выходом уравнения является прогноз на один шаг вперед; эта процедура используется для получения прогнозов для каждого из наблюдений вне выборки. Чтобы оценить качество прогнозов на n шагов вперед, для получения прогнозов используется процедура прогнозирования, описанная в предыдущем разделе.
Учитывая набор прогнозируемых значений и соответствующий набор фактических значений для X для различных периодов времени, общий метод оценки заключается в использовании среднеквадратичной ошибки прогнозирования ; доступны и другие меры (см. прогнозирование # точность прогнозирования ).
Возникает вопрос, как интерпретировать измеренную точность прогноза - например, что такое «высокое» (плохое) или «низкое» (хорошее) значение для среднеквадратичной ошибки прогноза? Есть две возможные точки сравнения. Во-первых, точность прогнозирования альтернативной модели, оцененная при различных допущениях моделирования или различных методах оценки, может использоваться для целей сравнения. Во-вторых, показатель точности вне выборки можно сравнить с той же мерой, вычисленной для точек данных в выборке (которые использовались для оценки параметров), для которых доступно достаточно значений предшествующих данных (то есть, отбрасывая первые p данных точки, для которых p предварительных данных недоступны). Поскольку модель была оценена специально для максимального соответствия точкам в выборке, обычно бывает так, что прогностическая эффективность вне выборки будет хуже, чем прогностическая эффективность внутри выборки. Но если качество прогнозирования ухудшается вне выборки на «не очень сильно» (что не поддается точному определению), то прогнозист может быть удовлетворен производительностью.
Смотрите также
- Модель скользящего среднего
- Линейное разностное уравнение
- Прогнозная аналитика
- Кодирование с линейным прогнозированием
- Резонанс
- Рекурсия Левинсона
- Процесс Орнштейна – Уленбека
Заметки
- ^ Шамуэй, Роберт; Стоффер, Дэвид (2010). Анализ временных рядов и его приложения: с примерами R (3-е изд.). Springer. ISBN 144197864X.
- ↑ Yule, G. Udny (1927) «Об одном методе исследования периодичностей в возмущенных рядах, с особым упором на числа Вольфера с солнечными пятнами» , Philosophical Transactions of the Royal Society of London , Ser. А, т. 226, 267–298.]
- ^ Walker, Gilbert (1931) «О периодичности в серии связанных терминов» , Труды Королевского общества в Лондоне , сер. А, т. 131, 518–532.
- ^ Теодоридис, Сергиос (10 апреля 2015 г.). «Глава 1. Вероятность и случайные процессы». Машинное обучение: байесовская и оптимизационная точки зрения . Academic Press, 2015. С. 9–51. ISBN 978-0-12-801522-3.
- ^ а б Von Storch, H .; Ф. В. Цвиерс (2001). Статистический анализ в исследованиях климата . Cambridge Univ Pr. ISBN 0-521-01230-9.[ требуется страница ]
- ^ Эшель, Гидон. "Уравнения Юла Уокера для коэффициентов AR" (PDF) . stat.wharton.upenn.edu .
- ^ Бург, JP (1968). «Новый метод анализа данных временных рядов». В « Современный спектральный анализ» (под редакцией Д. Г. Чайлдерса), Институт перспективных исследований НАТО по обработке сигналов с акцентом на подводную акустику. IEEE Press, Нью-Йорк.
- ^ Броквелл, Питер Дж .; Дальхаус, Райнер; Триндади, А. Александр (2005). "Модифицированные алгоритмы Бурга для многомерной авторегрессии подмножества" (PDF) . Statistica Sinica . 15 : 197–213. Архивировано из оригинального (PDF) 21.10.2012.
- ^ Бург, JP (1967) "Максимальный спектральный анализ энтропии", Труды 37-го собрания Общества геофизиков-разведчиков , Оклахома-Сити, Оклахома.
- ^ Bos, R .; De Waele, S .; Броерсен, PMT (2002). «Авторегрессионная спектральная оценка путем применения алгоритма Бурга к нерегулярно дискретизированным данным» . IEEE Transactions по приборостроению и измерениям . 51 (6): 1289. DOI : 10,1109 / TIM.2002.808031 .
- ^ "Подгонка моделей авторегрессии к временным рядам" (в R)
- ^ Обзор инструментария Econometrics Toolbox
- ^ Обзор System Identification Toolbox
- ^ "Авторегрессионное моделирование в MATLAB"
- ^ "Набор инструментов анализа временных рядов для Matlab и Octave"
- ^ bayesloop: структура вероятностного программирования, которая облегчает выбор объективной модели для моделей с изменяющимися во времени параметрами.
- ^ "statsmodels.tsa.ar_model.AutoReg - документация statsmodels 0.12.2" . www.statsmodels.org . Проверено 29 апреля 2021 .
Рекомендации
- Миллс, Теренс С. (1990). Методы временных рядов для экономистов . Издательство Кембриджского университета.
- Персиваль, Дональд Б.; Уолден, Эндрю Т. (1993). Спектральный анализ для физических приложений . Издательство Кембриджского университета.
- Pandit, Sudhakar M .; Ву, Шиен-Мин (1983). Временные ряды и системный анализ с приложениями . Джон Вили и сыновья.
Внешние ссылки
- Авторегрессионный анализ (AR) Пола Бурка
- Эконометрика лекции (тема: Авторегрессионные модели) на YouTube с помощью Mark Thoma