Экспоненциальное сглаживание

Экспоненциальное сглаживание является эмпирическим правилом техники для разглаживания времени серии данных с использованием экспоненциальной функции окна . В то время как в простой скользящей средней прошлые наблюдения имеют одинаковый вес, экспоненциальные функции используются для назначения экспоненциально убывающих весов с течением времени. Это легко усваиваемая и легко применяемая процедура для выполнения некоторых определений на основе предварительных предположений пользователя, таких как сезонность. Экспоненциальное сглаживание часто используется для анализа данных временных рядов.

Экспоненциальное сглаживание - одна из многих оконных функций, обычно применяемых для сглаживания данных при обработке сигналов , действующих как фильтры нижних частот для удаления высокочастотного шума . Этому методу предшествовало использование Пуассоном рекурсивных экспоненциальных оконных функций в свертках из 19 века, а также использование Колмогоровым и Зурбенко рекурсивных скользящих средних из их исследований турбулентности в 1940-х годах.

Последовательность необработанных данных часто представляется как начало в момент времени , а результат алгоритма экспоненциального сглаживания обычно записывается как , что можно рассматривать как наилучшую оценку того, каким будет следующее значение . Когда последовательность наблюдений начинается во времени , простейшая форма экспоненциального сглаживания задается формулами: ^[1]${\displaystyle \{x_{t}\}}$${\displaystyle t=0}$${\displaystyle \{s_{t}\}}$${\displaystyle x}$${\displaystyle t=0}$

${\displaystyle {\begin{aligned}s_{0}&=x_{0}\\s_{t}&=\alpha x_{t}+(1-\alpha )s_{t-1},\quad t>0\end{aligned}}}$

где - коэффициент сглаживания , а .${\displaystyle \alpha }$${\displaystyle 0<\alpha <1}$

Базовое (простое) экспоненциальное сглаживание (линейное по Холту) [ править ]

Использование экспоненциальной оконной функции было впервые приписано Пуассону ^[2] как расширение метода численного анализа 17 века, а позже было принято сообществом обработки сигналов в 1940-х годах. Здесь экспоненциальное сглаживание - это применение экспоненциальной, или оконной функции Пуассона . Экспоненциальное сглаживание было впервые предложено в статистической литературе без ссылок на предыдущую работу Роберта Гуделла Брауна в 1956 году ^[3], а затем расширено Чарльзом К. Холтом в 1957 году. ^[4] Приведенная ниже формулировка, которая является наиболее часто используемой, является приписывается Брауну и известен как «простое экспоненциальное сглаживание Брауна».^[5] Все методы Холта, Винтерса и Брауна можно рассматривать как простое применение рекурсивной фильтрации, впервые обнаруженной в 1940-х годах ^[2] для преобразованияфильтров с конечной импульсной характеристикой (FIR) в фильтры с бесконечной импульсной характеристикой .

Простейший вид экспоненциального сглаживания дается формулой:

${\displaystyle s_{t}=\alpha x_{t}+(1-\alpha )s_{t-1}=s_{t-1}+\alpha (x_{t}-s_{t-1}).}$

где - коэффициент сглаживания , а . Другими словами, сглаженная статистика - это простое средневзвешенное значение текущего наблюдения и предыдущей сглаженной статистики . Простое экспоненциальное сглаживание легко применяется, и оно дает сглаженную статистику, как только доступны два наблюдения. Термин « коэффициент сглаживания», применяемый здесь, является чем-то вроде неправильного употребления, так как большие значения фактически снижают уровень сглаживания, а в предельном случае с = 1 выходной ряд является просто текущим наблюдением. Значения, близкие к единице, имеют меньший эффект сглаживания и придают больший вес недавним изменениям в данных, в то время как значения${\displaystyle \alpha }$${\displaystyle 0\leq \alpha \leq 1}$${\displaystyle s_{t}}$${\displaystyle x_{t}}$${\displaystyle s_{t-1}}$${\displaystyle \alpha }$${\displaystyle \alpha }$${\displaystyle \alpha }$${\displaystyle \alpha }$${\displaystyle \alpha }$ ближе к нулю имеют больший эффект сглаживания и меньше реагируют на недавние изменения.

Формально правильной процедуры выбора не существует . Иногда для выбора подходящего фактора используется суждение статистика. В качестве альтернативы можно использовать статистический метод для оптимизации значения . Например, метод наименьших квадратов может использоваться для определения значения, для которого минимизируется сумма количеств . ^[6]${\displaystyle \alpha }$${\displaystyle \alpha }$${\displaystyle \alpha }$${\displaystyle (s_{t}-x_{t+1})^{2}}$

В отличие от некоторых других методов сглаживания, таких как простое скользящее среднее, этот метод не требует выполнения какого-либо минимального количества наблюдений, прежде чем он начнет давать результаты. Однако на практике «хорошее среднее значение» не будет достигнуто, пока несколько образцов не будут усреднены вместе; например, постоянный сигнал займет примерно${\displaystyle 3/\alpha }$этапов, чтобы достичь 95% фактического значения. Чтобы точно восстановить исходный сигнал без потери информации, все этапы экспоненциального скользящего среднего также должны быть доступны, потому что более старые образцы теряют вес по экспоненте. Это отличается от простого скользящего среднего, в котором некоторые выборки могут быть пропущены без большой потери информации из-за постоянного взвешивания выборок в пределах среднего. Если известное количество выборок будет пропущено, можно также скорректировать средневзвешенное значение для этого, придав одинаковый вес новой выборке и всем тем, которые должны быть пропущены.

Эта простая форма экспоненциального сглаживания также известна как экспоненциально взвешенное скользящее среднее (EWMA). Технически ее также можно классифицировать как модель авторегрессионного интегрированного скользящего среднего (ARIMA) (0,1,1) без постоянного члена. ^[7]

Постоянная времени [ править ]

Постоянная времени экспоненциальной скользящей средней - это количество времени, за которое сглаженный отклик функции единичного шага достигает исходного сигнала. Связь между этой постоянной времени и коэффициентом сглаживания задается формулой:${\displaystyle 1-1/e\approx 63.2\,\%}$${\displaystyle \tau }$${\displaystyle \alpha }$

${\displaystyle \alpha =1-e^{-\Delta T/\tau }}$

где - интервал времени дискретизации дискретной временной реализации. Если время выборки мало по сравнению с постоянной времени ( ), то${\displaystyle \Delta T}$${\displaystyle \Delta T\ll \tau }$

${\displaystyle \alpha \approx {\frac {\Delta T}{\tau }}}$

Выбор начального сглаженного значения [ править ]

Обратите внимание, что в приведенном выше определении инициализируется как . Поскольку экспоненциальное сглаживание требует, чтобы на каждом этапе у нас был предыдущий прогноз, неясно, как запустить метод. Можно предположить, что первоначальный прогноз равен первоначальному значению спроса; однако у этого подхода есть серьезный недостаток. Экспоненциальное сглаживание придает большое значение прошлым наблюдениям, поэтому первоначальное значение спроса будет иметь неоправданно большое влияние на ранние прогнозы. Эту проблему можно преодолеть, если позволить процессу развиваться в течение разумного количества периодов (10 или более) и использовать среднее значение спроса за эти периоды в качестве первоначального прогноза. Есть много других способов установить это начальное значение, но важно отметить, что чем меньше значение${\displaystyle s_{0}}$${\displaystyle x_{0}}$${\displaystyle \alpha }$, тем более чувствительным будет ваш прогноз при выборе этого начального более гладкого значения . ^{[8] [9]}${\displaystyle s_{0}}$

Оптимизация [ править ]

Для каждого метода экспоненциального сглаживания нам также необходимо выбрать значение для параметров сглаживания. Для простого экспоненциального сглаживания существует только один параметр сглаживания ( α ), но для последующих методов обычно используется более одного параметра сглаживания.

Бывают случаи, когда параметры сглаживания могут выбираться субъективно - прогнозист указывает значение параметров сглаживания на основе предыдущего опыта. Однако более надежным и объективным способом получения значений неизвестных параметров, включенных в любой метод экспоненциального сглаживания, является их оценка по наблюдаемым данным.

Неизвестные параметры и начальные значения для любого метода экспоненциального сглаживания могут быть оценены путем минимизации суммы квадратов ошибок (SSE). Ошибки определяются как для (на один шаг впереди внутри выборки ошибок прогнозирования). Отсюда находим значения неизвестных параметров и начальные значения, которые минимизируют${\displaystyle e_{t}=y_{t}-{\hat {y}}_{t\mid t-1}}$${\displaystyle t=1,\ldots ,T}$

${\displaystyle {\text{SSE}}=\sum _{t=1}^{T}(y_{t}-{\hat {y}}_{t\mid t-1})^{2}=\sum _{t=1}^{T}e_{t}^{2}}$^[10]

В отличие от случая регрессии (где у нас есть формулы для непосредственного вычисления коэффициентов регрессии, которые минимизируют SSE), здесь возникает проблема нелинейной минимизации, и для этого нам нужно использовать инструмент оптимизации .

"Экспоненциальное" именование [ править ]

Название «экспоненциальное сглаживание» связано с использованием экспоненциальной оконной функции во время свертки. Его больше не приписывают Holt, Winters & Brown.

Путем прямой подстановки определяющего уравнения для простого экспоненциального сглаживания обратно в себя находим, что

${\displaystyle {\begin{aligned}s_{t}&=\alpha x_{t}+(1-\alpha )s_{t-1}\\[3pt]&=\alpha x_{t}+\alpha (1-\alpha )x_{t-1}+(1-\alpha )^{2}s_{t-2}\\[3pt]&=\alpha \left[x_{t}+(1-\alpha )x_{t-1}+(1-\alpha )^{2}x_{t-2}+(1-\alpha )^{3}x_{t-3}+\cdots +(1-\alpha )^{t-1}x_{1}\right]+(1-\alpha )^{t}x_{0}.\end{aligned}}}$

Другими словами, по прошествии времени сглаженная статистика становится средневзвешенным значением все большего и большего числа прошлых наблюдений , а веса, присвоенные предыдущим наблюдениям, пропорциональны условиям геометрической прогрессии.${\displaystyle s_{t}}$${\displaystyle s_{t-1},\ldots ,s_{t-}}$

${\displaystyle 1,(1-\alpha ),(1-\alpha )^{2},\ldots ,(1-\alpha )^{n},\ldots }$

Геометрическая прогрессия является дискретной версией экспоненциальной функции , так это то , где имя для этого сглаживающего метода возникло согласно статистике знаниям.

Сравнение со скользящей средней [ править ]

Экспоненциальное сглаживание и скользящее среднее имеют схожие дефекты, заключающиеся в появлении запаздывания относительно входных данных. Хотя это можно исправить, сдвинув результат на половину длины окна для симметричного ядра, такого как скользящее среднее или гауссово, неясно, насколько это подходит для экспоненциального сглаживания. Они также имеют примерно одинаковое распределение ошибки прогноза при α = 2 / ( k  + 1). Они отличаются тем, что экспоненциальное сглаживание учитывает все прошлые данные, тогда как скользящее среднее учитывает только k прошлых точек данных. С точки зрения вычислений, они также отличаются тем, что для скользящего среднего требуется, чтобы последние k точек данных или точка данных с запаздыванием k + 1 плюс самое последнее значение прогноза, чтобы сохранить, в то время как для экспоненциального сглаживания необходимо сохранить только последнее значение прогноза. ^[11]

В литературе по обработке сигналов использование непричинных (симметричных) фильтров является обычным явлением, и экспоненциальная оконная функция широко используется в этом виде, но используется другая терминология: экспоненциальное сглаживание эквивалентно бесконечному импульсу первого порядка. фильтр отклика (БИХ) и скользящее среднее эквивалентны фильтру с конечной импульсной характеристикой с равными весовыми коэффициентами.

Двойное экспоненциальное сглаживание [ править ]

Простое экспоненциальное сглаживание не работает, когда в данных есть тренд , что неудобно. ^[1] В таких ситуациях было разработано несколько методов под названием «двойное экспоненциальное сглаживание» или «экспоненциальное сглаживание второго порядка», которые представляют собой рекурсивное применение экспоненциального фильтра дважды, что называется «двойным экспоненциальным сглаживанием». Эта номенклатура похожа на четырехкратное экспоненциальное сглаживание, которое также ссылается на его глубину рекурсии. ^[12] Основная идея двойного экспоненциального сглаживания состоит во введении члена, учитывающего возможность ряда, демонстрирующего некоторую форму тренда. Сама эта составляющая наклона обновляется посредством экспоненциального сглаживания.

Один метод, иногда называемый «двойным экспоненциальным сглаживанием Холта – Винтерса», работает следующим образом: ^[13]

Опять же, последовательность необработанных данных наблюдений представлена ​​как начало в момент времени . Мы используем для представления сглаженного значения для времени , и это наша лучшая оценка тенденции во времени . Выходные данные алгоритма теперь записываются как оценка значения в определенный момент времени, основанная на необработанных данных в данный момент . Двойное экспоненциальное сглаживание дается формулами${\displaystyle x_{t}}$${\displaystyle t=0}$${\displaystyle s_{t}}$${\displaystyle t}$${\displaystyle b_{t}}$${\displaystyle t}$${\displaystyle F_{t+m}}$${\displaystyle x_{t+m}}$${\displaystyle m>0}$${\displaystyle t}$

${\displaystyle {\begin{aligned}s_{0}&=x_{0}\\b_{0}&=x_{1}-x_{0}\\\end{aligned}}}$

И по${\displaystyle t>0}$

${\displaystyle {\begin{aligned}s_{t}&=\alpha x_{t}+(1-\alpha )(s_{t-1}+b_{t-1})\\b_{t}&=\beta (s_{t}-s_{t-1})+(1-\beta )b_{t-1}\\\end{aligned}}}$

где ( ) - коэффициент сглаживания данных , а ( ) - коэффициент сглаживания тренда .${\displaystyle \alpha }$${\displaystyle 0\leq \alpha \leq 1}$${\displaystyle \beta }$${\displaystyle 0\leq \beta \leq 1}$

Прогноз дальше дается приближением:${\displaystyle x_{t}}$

${\displaystyle F_{t+m}=s_{t}+m\cdot b_{t}}$

Установка начального значения - дело предпочтений. Вариант, кроме одного , перечисленных выше, для некоторых .${\displaystyle b}$${\textstyle {\frac {x_{n}-x_{0}}{n}}}$${\displaystyle n}$

Обратите внимание, что F ₀ не определено (нет оценки для времени 0), и в соответствии с определением F ₁ = s ₀ + b ₀ , которое хорошо определено, таким образом, можно оценивать дальнейшие значения.

Второй метод, называемый либо линейным экспоненциальным сглаживанием Брауна (LES), либо двойным экспоненциальным сглаживанием Брауна, работает следующим образом. ^[14]

${\displaystyle {\begin{aligned}s'_{0}&=x_{0}\\s''_{0}&=x_{0}\\s'_{t}&=\alpha x_{t}+(1-\alpha )s'_{t-1}\\s''_{t}&=\alpha s'_{t}+(1-\alpha )s''_{t-1}\\F_{t+m}&=a_{t}+mb_{t},\end{aligned}}}$

где a _t - расчетный уровень в момент времени t, а b _t - оценочный тренд во время t :

${\displaystyle {\begin{aligned}a_{t}&=2s'_{t}-s''_{t}\\[5pt]b_{t}&={\frac {\alpha }{1-\alpha }}(s'_{t}-s''_{t}).\end{aligned}}}$

Тройное экспоненциальное сглаживание (Холт Винтерс) [ править ]

При тройном экспоненциальном сглаживании применяется трехкратное экспоненциальное сглаживание, которое обычно используется, когда из исследуемого временного ряда нужно удалить три высокочастотных сигнала. Есть разные типы сезонности: «мультипликативная» и «аддитивная» по своей природе, так же как сложение и умножение являются основными операциями в математике.

Если каждый декабрь мы продаем на 10 000 квартир больше, чем в ноябре, сезонность носит аддитивный характер. Однако если мы продаем в летние месяцы на 10% больше квартир, чем в зимние, сезонность носит мультипликативный характер. Мультипликативная сезонность может быть представлена ​​как постоянный фактор, а не абсолютная величина. ^[15]

Тройное экспоненциальное сглаживание было впервые предложено учеником Холта Питером Винтерсом в 1960 году после прочтения книги 1940-х годов по обработке сигналов об экспоненциальном сглаживании. ^[16] Новая идея Холта заключалась в том, чтобы повторить фильтрацию нечетное количество раз больше 1 и меньше 5, что было популярно среди ученых предыдущих эпох. ^[16] Хотя рекурсивная фильтрация использовалась ранее, она применялась дважды и четыре раза, чтобы совпасть с гипотезой Адамара , в то время как тройное применение требовало более чем удвоения операций сингулярной свертки. Использование тройного приложения считается практическим правилом.метод, а не тот, который основан на теоретических основах, и практикующие часто переоценивают его. - Предположим, у нас есть последовательность наблюдений , начинающаяся во времени с циклом сезонного изменения длины .${\displaystyle x_{t}}$${\displaystyle t=0}$${\displaystyle L}$

Метод вычисляет линию тренда для данных, а также сезонные индексы, которые взвешивают значения в линии тренда в зависимости от того, где этот момент времени попадает в цикл длины .${\displaystyle L}$

Пусть представляет сглаженное значение постоянной части для времени , это последовательность наилучших оценок линейного тренда, которые накладываются на сезонные изменения, и это последовательность сезонных поправочных коэффициентов. Мы хотим оценить в каждый момент времени мод в цикле , что наблюдения взять на себя . Как показывает практика, для инициализации набора сезонных факторов необходимо минимум два полных сезона (или периода) исторических данных.${\displaystyle s_{t}}$${\displaystyle t}$${\displaystyle b_{t}}$${\displaystyle c_{t}}$${\displaystyle c_{t}}$${\displaystyle t}$${\displaystyle L}$${\displaystyle 2L}$

Выходные данные алгоритма снова записываются как оценка значения в определенный момент времени, основанная на необработанных данных в определенный момент времени . Тройное экспоненциальное сглаживание с мультипликативной сезонностью задается формулами ^[1]${\displaystyle F_{t+m}}$${\displaystyle x_{t+m}}$${\displaystyle t+m>0}$${\displaystyle t}$

${\displaystyle {\begin{aligned}s_{0}&=x_{0}\\[5pt]s_{t}&=\alpha {\frac {x_{t}}{c_{t-L}}}+(1-\alpha )(s_{t-1}+b_{t-1})\\[5pt]b_{t}&=\beta (s_{t}-s_{t-1})+(1-\beta )b_{t-1}\\[5pt]c_{t}&=\gamma {\frac {x_{t}}{s_{t}}}+(1-\gamma )c_{t-L}\\[5pt]F_{t+m}&=(s_{t}+mb_{t})c_{t-L+1+(m-1){\bmod {L}}},\end{aligned}}}$

где ( ) - коэффициент сглаживания данных , ( ) - коэффициент сглаживания тренда , а ( ) - коэффициент сглаживания сезонных изменений .${\displaystyle \alpha }$${\displaystyle 0\leq \alpha \leq 1}$${\displaystyle \beta }$${\displaystyle 0\leq \beta \leq 1}$${\displaystyle \gamma }$${\displaystyle 0\leq \gamma \leq 1}$

Общая формула для первоначальной оценки тренда :${\displaystyle b}$

${\displaystyle {\begin{aligned}b_{0}&={\frac {1}{L}}\left({\frac {x_{L+1}-x_{1}}{L}}+{\frac {x_{L+2}-x_{2}}{L}}+\cdots +{\frac {x_{L+L}-x_{L}}{L}}\right)\end{aligned}}}$

Установка начальных оценок для сезонных индексов для немного сложнее. Если в ваших данных присутствует количество полных циклов, то:${\displaystyle c_{i}}$${\displaystyle i=1,2,\ldots ,L}$${\displaystyle N}$

${\displaystyle c_{i}={\frac {1}{N}}\sum _{j=1}^{N}{\frac {x_{L(j-1)+i}}{A_{j}}}\quad {\text{for }}i=1,2,\ldots ,L}$

куда

${\displaystyle A_{j}={\frac {\sum _{i=1}^{L}x_{L(j-1)+i}}{L}}\quad {\text{for }}j=1,2,\ldots ,N}$

Обратите внимание , что среднее значение в цикле данных.${\displaystyle A_{j}}$${\displaystyle x}$${\displaystyle j^{\text{th}}}$

Тройное экспоненциальное сглаживание с аддитивной сезонностью определяется по формуле:

${\displaystyle {\begin{aligned}s_{0}&=x_{0}\\s_{t}&=\alpha (x_{t}-c_{t-L})+(1-\alpha )(s_{t-1}+b_{t-1})\\b_{t}&=\beta (s_{t}-s_{t-1})+(1-\beta )b_{t-1}\\c_{t}&=\gamma (x_{t}-s_{t-1}-b_{t-1})+(1-\gamma )c_{t-L}\\F_{t+m}&=s_{t}+mb_{t}+c_{t-L+1+(m-1){\bmod {L}}},\end{aligned}}}$

Реализации в статистических пакетах [ править ]

• R : функция HoltWinters в пакете статистики ^[17] и функция ets в пакете прогнозов ^[18] (более полная реализация, обычно приводящая к лучшей производительности ^[19] ).
• Python : модуль holtwinters пакета statsmodels позволяет выполнять простое, двойное и тройное экспоненциальное сглаживание.
• IBM SPSS включает простой, простой сезонный, линейный тренд Холта, линейный тренд Брауна, затухающий тренд, добавку Винтерса и мультипликатив Винтерса в процедуру моделирования временных рядов в своих статистических пакетах Statistics и Modeler. Функция Expert Modeler по умолчанию оценивает все семь моделей экспоненциального сглаживания и модели ARIMA с диапазоном несезонных и сезонных значений p , d и q и выбирает модель с самым низким статистическим значением байесовского информационного критерия.
• Stata : команда tssmooth ^[20]
• LibreOffice 5.2 ^[21]
• Microsoft Excel 2016 ^[22]

См. Также [ править ]

• Модель авторегрессионного скользящего среднего (ARMA)
• Ошибки и неточности в статистике
• Скользящее среднее
• Непрерывная дробь

Примечания [ править ]

Внешние ссылки [ править ]

• Конспект лекций по экспоненциальному сглаживанию (Роберт Нау, Университет Дьюка)
• Сглаживание данных Джон Маклоун, Демонстрационный проект Вольфрама
• Подход Холта – Уинтерса к экспоненциальному сглаживанию: 50 лет назад и становится сильным , Пол Гудвин (2010) Форсайт: Международный журнал прикладного прогнозирования
• Алгоритмы для неравномерно разнесенных временных рядов: скользящие средние и другие скользящие операторы Андреаса Экнера