Автокорреляции , также известные как серийная корреляция , представляют собой корреляцию из сигнала с задержанной копией себя как функция задержки. Неформально это сходство между наблюдениями как функция временного интервала между ними. Анализ автокорреляции - это математический инструмент для поиска повторяющихся паттернов, таких как наличие периодического сигнала, скрытого шумом , или определения отсутствующей основной частоты в сигнале, подразумеваемой его гармоническими частотами. Он часто используется при обработке сигналов для анализа функций или серий значений, таких как сигналы во временной области .
В разных областях исследования автокорреляция определяется по-разному, и не все эти определения эквивалентны. В некоторых областях этот термин используется как синоним автоковариации .
Процессы единичного корня , стационарные по тренду процессы , авторегрессионные процессы и процессы скользящего среднего - это специфические формы процессов с автокорреляцией.
Автокорреляция случайных процессов
В статистике автокорреляция реального или сложного случайного процесса - это корреляция Пирсона между значениями процесса в разное время, как функция двух моментов времени или временной задержки. Позволять быть случайным процессом, и быть в любой момент времени (может быть целым числом для процесса с дискретным временем или действительным числом для процесса с непрерывным временем ). потомэто ценность (или реализация ), произведенная данным запуском процесса во время. Предположим, что процесс имеет среднее значение и дисперсия вовремя , для каждого . Тогда определение автокорреляционной функции между временами а также is [1] : стр.388 [2] : стр.165
| ( Уравнение 1 ) |
где - оператор ожидаемого значения, а полоса представляет комплексное сопряжение. Обратите внимание, что ожидание не может быть четко определено.
Вычитание среднего перед умножением дает функцию автоковариации между временами а также : [1] : стр.392 [2] : стр.168
| ( Уравнение 2 ) |
Обратите внимание, что это выражение не является четко определенным для всех временных рядов или процессов, потому что среднее значение может не существовать, или дисперсия может быть нулевой (для постоянного процесса) или бесконечной (для процессов с распределением, не имеющим хороших моментов, таких как как некоторые виды степенного закона).
Определение стационарного случайного процесса в широком смысле
Если является стационарным процессом в широком смысле, то среднее и дисперсия не зависят от времени, и далее автоковариационная функция зависит только от запаздывания между а также : автоковариация зависит только от расстояния во времени между парой значений, но не от их положения во времени. Это также означает, что автоковариация и автокорреляция могут быть выражены как функция запаздывания, и что это будет четная функция запаздывания.. Это дает более знакомые формы для функции автокорреляции [1] : стр.395
| ( Уравнение 3 ) |
и функция автоковариации :
| ( Уравнение 4 ) |
Нормализация
В некоторых дисциплинах (например, в статистике и анализе временных рядов ) обычной практикой является нормализация функции автоковариации для получения зависящего от времени коэффициента корреляции Пирсона . Однако в других дисциплинах (например, инженерии) от нормализации обычно отказываются, и термины «автокорреляция» и «автоковариация» используются как взаимозаменяемые.
Определение коэффициента автокорреляции случайного процесса [2] : с.169
Если функция четко определено, его значение должно лежать в диапазоне , где 1 указывает на идеальную корреляцию, а -1 указывает на полную антикорреляцию .
Для процесса стационарности в слабом смысле и стационарности в широком смысле (WSS) определение таково:
где
Нормализация важна как потому, что интерпретация автокорреляции как корреляции обеспечивает безмасштабную меру силы статистической зависимости , так и потому, что нормализация влияет на статистические свойства оцененных автокорреляций.
Характеристики
Свойство симметрии
Тот факт, что функция автокорреляции является четной функцией, можно записать как [2] : с.171
Соответственно для процесса WSS: [2] : с.173
Максимум на нуле
Для процесса WSS: [2] : стр.174
Заметь всегда реально.
Неравенство Коши – Шварца.
Неравенство Коши-Шварца , неравенство для случайных процессов: [1] : p.392
Автокорреляция белого шума
Автокорреляция непрерывного сигнала белого шума будет иметь сильный пик (представленный дельта-функцией Дирака ) на и будет ровно 0 для всех остальных .
Теорема Винера – Хинчина.
Теорема Винера – Хинчина связывает автокорреляционную функциюк мощности спектральной плотности через преобразование Фурье :
Для действительных функций симметричная автокорреляционная функция имеет действительное симметричное преобразование, поэтому теорема Винера – Хинчина может быть выражена только через вещественные косинусы:
Автокорреляция случайных векторов
Автокорреляционная матрица (также называемый второй момент) из случайного вектора является матрица, содержащая в качестве элементов автокорреляции всех пар элементов случайного вектора . Матрица автокорреляции используется в различных алгоритмах цифровой обработки сигналов.
Для случайного вектора матрица автокорреляции, содержащая случайные элементы, для которых существуют ожидаемое значение и дисперсия , определяется как [3] : p.190 [1] : p.334
| ( Уравнение 1 ) |
где обозначает транспонирование и имеет размеры .
Написано покомпонентно:
Если является сложным случайным вектором , матрица автокорреляции вместо этого определяется как
Здесь обозначает эрмитову транспозицию .
Например, если - случайный вектор, то это матрица, чья -я запись .
Свойства автокорреляционной матрицы
- Матрица автокорреляции - это эрмитова матрица для комплексных случайных векторов и симметричная матрица для вещественных случайных векторов. [3] : с.190
- Матрица автокорреляции - это положительно полуопределенная матрица, [3] : стр.190, т.е. для реального случайного вектора соответственно в случае сложного случайного вектора.
- Все собственные значения автокорреляционной матрицы действительны и неотрицательны.
- Матрица автоматического ковариационная связана с матрицей автокорреляции следующим образом :
- Соответственно для сложных случайных векторов:
Автокорреляция детерминированных сигналов
При обработке сигналов приведенное выше определение часто используется без нормализации, то есть без вычитания среднего и деления на дисперсию. Когда автокорреляционная функция нормирована на среднее значение и дисперсию, ее иногда называют коэффициентом автокорреляции [4] или функцией автоковариации.
Автокорреляция сигнала непрерывного времени
Учитывая сигнал , непрерывная автокорреляция чаще всего определяется как непрерывный интеграл взаимной корреляции с собой, с запаздыванием . [1] : с.411
| ( Уравнение 6 ) |
где представляет комплексное сопряжение из. Обратите внимание, что параметрв интеграле является фиктивной переменной и необходима только для вычисления интеграла. Это не имеет особого значения.
Автокорреляция дискретного сигнала времени
Дискретная автокорреляция с запаздыванием для сигнала с дискретным временем является
| ( Ур.7 ) |
Приведенные выше определения работают для сигналов, которые интегрируются в квадрате или суммируются в квадрате, то есть с конечной энергией. Сигналы, которые «длятся вечно», вместо этого рассматриваются как случайные процессы, и в этом случае требуются другие определения, основанные на ожидаемых значениях. Для стационарных случайных процессов в широком смысле автокорреляции определяются как
Для нестационарных процессов они также будут функциями, или же .
Для процессов, которые также являются эргодическими , математическое ожидание можно заменить пределом среднего времени. Автокорреляция эргодического процесса иногда определяется как или приравнивается к [4]
Преимущество этих определений состоит в том, что они дают разумные и четко определенные однопараметрические результаты для периодических функций, даже если эти функции не являются выходом стационарных эргодических процессов.
В качестве альтернативы сигналы, которые длятся вечно, можно обрабатывать с помощью анализа краткосрочной автокорреляционной функции с использованием интегралов за конечное время. (См. Кратковременное преобразование Фурье для связанного процесса.)
Определение периодических сигналов
Если является непрерывной периодической функцией периода , интеграция из к заменяется интегрированием по любому интервалу длины :
что эквивалентно
Характеристики
Далее мы будем описывать свойства только одномерных автокорреляций, поскольку большинство свойств легко переносятся из одномерного случая в многомерный. Эти свойства сохраняются для стационарных процессов в широком смысле . [5]
- Основное свойство автокорреляции - симметрия, , что легко доказать из определения. В непрерывном случае
- автокорреляция - четная функция
- когда это реальная функция,
- а автокорреляция - эрмитова функция
- когда - сложная функция .
- Непрерывная автокорреляционная функция достигает своего пика в начале координат, где она принимает реальное значение, то есть для любой задержки. , . [1] : с.410 Это следствие перестановки неравенства . Тот же результат имеет место и в дискретном случае.
- Автокорреляция периодической функции сама по себе периодична с тем же периодом.
- Автокорреляция суммы двух полностью некоррелированных функций (взаимная корреляция равна нулю для всех ) - сумма автокорреляций каждой функции в отдельности.
- Поскольку автокорреляция является особым типом взаимной корреляции , она сохраняет все свойства взаимной корреляции.
- Используя символ представлять свертку и это функция, которая управляет функцией и определяется как , определение для можно записать как:
Многомерная автокорреляция
Multi - мерная автокорреляция определяются аналогично. Например, в трех измерениях автокорреляция дискретного сигнала с суммированием квадратов будет
Когда средние значения вычитаются из сигналов перед вычислением функции автокорреляции, результирующая функция обычно называется функцией автоковариации.
Эффективное вычисление
Для данных, выраженных в виде дискретной последовательности, часто необходимо вычислить автокорреляцию с высокой вычислительной эффективностью . Метод грубой силы, основанный на определении обработки сигналаможет использоваться при небольшом размере сигнала. Например, для расчета автокорреляции реальной сигнальной последовательности (т.е. , а также для всех других значений i ) вручную мы сначала узнаем, что только что данное определение такое же, как «обычное» умножение, но со сдвигом вправо, где каждое вертикальное добавление дает автокорреляцию для определенных значений запаздывания:
Таким образом, требуемая последовательность автокорреляции , где а также автокорреляция для других значений запаздывания равна нулю. В этом вычислении мы не выполняем операцию переноса во время сложения, как это обычно бывает при обычном умножении. Обратите внимание, что мы можем вдвое сократить количество необходимых операций, используя симметрию, присущую автокорреляции. Если сигнал будет периодическим, т. Е.тогда мы получаем круговую автокорреляцию (похожую на круговую свертку ), где левый и правый хвосты предыдущей автокорреляционной последовательности будут перекрываться и давать который имеет тот же период, что и сигнальная последовательность Процедуру можно рассматривать как применение свойства свертки z-преобразования дискретного сигнала.
Хотя алгоритм грубой силы имеет порядок n 2 , существует несколько эффективных алгоритмов, которые могут вычислять автокорреляцию в порядке n log ( n ) . Например, теорема Винера – Хинчина позволяет вычислить автокорреляцию из необработанных данных X ( t ) с помощью двух быстрых преобразований Фурье (БПФ): [6]
где IFFT обозначает обратное быстрое преобразование Фурье . Звездочка означает комплексное сопряжение .
В качестве альтернативы, множественная корреляция τ может быть выполнена с использованием вычисления грубой силы для низких значений τ , а затем постепенного объединения данных X ( t ) с логарифмической плотностью для вычисления более высоких значений, что приводит к той же эффективности n log ( n ) , но с меньшими требованиями к памяти. [7] [8]
Оценка
Для дискретного процесса с известным средним и дисперсией, для которого мы наблюдаем наблюдения , оценка автокорреляции может быть получена как
для любого положительного целого числа . Когда истинное среднее и дисперсия известны, эта оценка беспристрастна . Если истинное среднее значение и дисперсия процесса неизвестны, существует несколько возможностей:
- Если а также заменяются стандартными формулами для выборочного среднего и выборочной дисперсии, то это смещенная оценка .
- Оценка на основе периодограммы заменяет в приведенной выше формуле с . Эта оценка всегда необъективна; однако обычно он имеет меньшую среднеквадратичную ошибку. [9] [10]
- Другие возможности связаны с обработкой двух частей данных. а также отдельно и вычисление отдельных выборочных средних и / или выборочных дисперсий для использования при определении оценки. [ необходима цитата ]
Преимущество оценок последнего типа состоит в том, что набор предполагаемых автокорреляций как функция , затем сформируйте функцию, которая является действительной автокорреляцией в том смысле, что можно определить теоретический процесс, имеющий именно эту автокорреляцию. Другие оценки могут страдать от проблемы, заключающейся в том, что, если они используются для вычисления дисперсии линейной комбинацииs, рассчитанная дисперсия может оказаться отрицательной. [11]
Регрессионный анализ
В регрессионном анализе с использованием данных временных рядов автокорреляция в интересующей переменной обычно моделируется либо с помощью авторегрессионной модели (AR), либо модели скользящего среднего (MA), либо их комбинации в качестве модели авторегрессионного скользящего среднего (ARMA) или расширение последней называется авторегрессионной интегрированной моделью скользящего среднего (ARIMA). Для нескольких взаимосвязанных рядов данных используется векторная авторегрессия (VAR) или ее расширения.
В обычном методе наименьших квадратов (МНК) адекватность спецификации модели можно частично проверить, установив, существует ли автокорреляция остатков регрессии . Проблемную автокорреляцию ошибок, которые сами по себе не наблюдаются, обычно можно обнаружить, потому что она вызывает автокорреляцию наблюдаемых остатков. (Ошибки в эконометрике также известны как «члены ошибок» .) Автокорреляция ошибок нарушает обычное предположение наименьших квадратов о том, что члены ошибок некоррелированы, что означает, что теорема Гаусса-Маркова не применяется, и что оценки МНК больше не являются лучшими Линейные объективные оценки ( СИНИЙ ). Хотя это не влияет на оценки коэффициента OLS, стандартные ошибки обычно недооцениваются (и t-баллы завышаются), когда автокорреляция ошибок при малых лагах положительна.
Традиционным тестом на наличие автокорреляции первого порядка является статистика Дарбина – Ватсона или, если независимые переменные включают запаздывающую зависимую переменную, h-статистику Дарбина . Однако Дарбина-Ватсона можно линейно отобразить на корреляцию Пирсона между значениями и их лагами. [12] Более гибким тестом, охватывающим автокорреляцию более высоких порядков и применимым независимо от того, включают ли регрессоры лаги зависимой переменной, является тест Бреуша – Годфри . Это включает в себя вспомогательную регрессию, в котором остатки , полученные из оценки модели интерес регрессировали на (а) исходных регрессоров и (б) K лагов остатков, где «К» порядок испытания. Самая простая версия тестовой статистики из этой вспомогательной регрессии - TR 2 , где T - размер выборки, а R 2 - коэффициент детерминации . При нулевой гипотезе об отсутствии автокорреляции эта статистика асимптотически распределяется какс k степенями свободы.
Отклики на ненулевую автокорреляцию включают обобщенный метод наименьших квадратов и оценку HAC Ньюи – Уэста (гетероскедастичность и согласованность автокорреляции). [13]
При оценке модели скользящего среднего (MA) автокорреляционная функция используется для определения подходящего количества включенных слагаемых ошибок. Это основано на том факте, что для процесса МА порядка q мы имеем, для , а также , для .
Приложения
- Автокорреляционный анализ широко используется в флуоресцентной корреляционной спектроскопии [14], чтобы обеспечить количественное понимание диффузии на молекулярном уровне и химических реакций. [15]
- Еще одно применение автокорреляции - измерение оптических спектров и измерение очень коротких световых импульсов, производимых лазерами , в обоих случаях с использованием оптических автокорреляторов .
- Автокорреляция используется для анализа данных динамического светорассеяния , что, в частности, позволяет определять гранулометрический состав частиц нанометрового размера или мицелл, взвешенных в жидкости. Лазер, освещающий смесь, создает спекл-узор , возникающий в результате движения частиц. Автокорреляцию сигнала можно проанализировать с точки зрения диффузии частиц. Исходя из этого, зная вязкость жидкости, можно рассчитать размеры частиц.
- Используется в системе GPS для коррекции задержки распространения или временного сдвига между моментом времени при передаче несущего сигнала на спутниках и моментом времени на приемнике на земле. Это выполняется приемником, генерирующим реплику сигнала 1023-битного кода C / A (курс / получение) и генерирующих строки кодовых чипов [-1,1] в пакетах по десять за раз, или 10230 чипов (1023 x 10), слегка смещаясь по мере продвижения, чтобы приспособиться к доплеровскому сдвигу входящего спутникового сигнала, до тех пор, пока сигнал реплики приемника и коды спутникового сигнала не совпадут. [16]
- Малоуглового рентгеновского рассеяния интенсивность наноструктурированного системы является преобразование Фурье пространственной автокорреляционной функции электронной плотности.
- В науке о поверхности и в сканирующей зондовой микроскопии автокорреляция используется для установления связи между морфологией поверхности и функциональными характеристиками. [17]
- В оптике нормированные автокорреляции и кросс-корреляции определяют степень когерентности электромагнитного поля.
- При обработке сигналов автокорреляция может дать информацию о повторяющихся событиях, таких как музыкальные ритмы (например, для определения темпа ) или частоты пульсаров , хотя она не может определить положение во времени биения. Его также можно использовать для оценки высоты звука музыкального тона .
- При записи музыки автокорреляция используется как алгоритм определения высоты звука перед обработкой голоса, как эффект искажения или для устранения нежелательных ошибок и неточностей. [18]
- Автокорреляция в пространстве, а не во времени, через функцию Паттерсона , используется специалистами по дифракции рентгеновских лучей, чтобы помочь восстановить «фазовую информацию Фурье» о положениях атомов, недоступную только посредством дифракции.
- В статистике пространственная автокорреляция между местоположениями выборки также помогает оценить неопределенности среднего значения при выборке гетерогенной совокупности.
- Sequest алгоритм для анализа масс - спектров позволяет использовать автокорреляции в сочетании с кросс-корреляции , чтобы выиграть сходство наблюдаемого спектра идеализированной спектра , представляющего собой пептид .
- В астрофизике автокорреляция используется для изучения и описания пространственного распределения галактик во Вселенной, а также для многоволновых наблюдений за маломассивными рентгеновскими двойными системами .
- В панельных данных пространственная автокорреляция относится к корреляции переменной с самой собой в пространстве.
- При анализе данных цепи Маркова методом Монте-Карло необходимо учитывать автокорреляцию для правильного определения ошибки.
- В науках о Земле (в частности, в геофизике) его можно использовать для вычисления автокорреляционного сейсмического атрибута на основе трехмерной сейсмической разведки под землей.
- В медицинской ультразвуковой визуализации автокорреляция используется для визуализации кровотока.
- При выборе межвременного портфеля наличие или отсутствие автокорреляции в норме доходности актива может повлиять на оптимальную часть портфеля для удержания в этом активе.
Серийная зависимость
Серийная зависимость тесно связана с понятием автокорреляции, но представляет собой отдельную концепцию (см. Корреляция и зависимость ). В частности, возможна серийная зависимость, но не (линейная) корреляция. Однако в некоторых областях эти два термина используются как синонимы.
Временной ряд из случайной величины имеет последовательную зависимость , если значение в какой - то моментв серии статистически зависит от значения в другое время. Серия является серийно независимой, если нет зависимости между какой-либо парой.
Если временной ряд является стационарным , то статистическая зависимость между парой означало бы, что существует статистическая зависимость между всеми парами значений с одинаковым запаздыванием .
Смотрите также
- Матрица автокорреляции
- Автокорреляционная техника
- Автокорреляция формального слова
- Автокоррелятор
- Корреляционная функция
- Коррелограмма
- Взаимная корреляция
- Проблема Гальтона
- Функция частичной автокорреляции
- Флуоресцентная корреляционная спектроскопия
- Оптическая автокорреляция
- Алгоритм определения высоты тона
- Тройная корреляция
- CUSUM
- Оценка Кокрейна – Оркатта (преобразование для автокоррелированных членов ошибки)
- Преобразование Прайса – Винстена
- Масштабированная корреляция
- Беспристрастная оценка стандартного отклонения
Рекомендации
- ^ a b c d e f g Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и компьютерщиков . Издательство Кембриджского университета. ISBN 978-0-521-86470-1.
- ^ a b c d e f Кун Иль Парк, Основы вероятности и случайных процессов с приложениями к коммуникациям, Springer, 2018, ISBN 978-3-319-68074-3
- ^ a b c Папулис, Афанасиус, Вероятность, случайные величины и случайные процессы , McGraw-Hill, 1991
- ^ а б Данн, Патрик Ф. (2005). Измерение и анализ данных для техники и науки . Нью-Йорк: Макгроу – Хилл. ISBN 978-0-07-282538-1.
- ^ Проакис, Джон (31 августа 2001 г.). Инженерия систем связи (2-е издание) (2-е изд.). Пирсон. п. 168. ISBN 978-0130617934.
- ^ Коробка, ГЭП; Дженкинс, GM; Рейнзель, GC (1994). Анализ временных рядов: прогнозирование и контроль (3-е изд.). Река Аппер Сэдл, штат Нью-Джерси: Прентис – Холл. ISBN 978-0130607744.[ требуется страница ]
- ^ Френкель, Д .; Смит, Б. (2002). «глава 4.4.2». Понимание молекулярного моделирования (2-е изд.). Лондон: Academic Press. ISBN 978-0122673511.
- ^ Colberg, P .; Хёфлинг, Ф. (2011). «Высокоускоренное моделирование гладкой динамики с использованием графических процессоров: предостережения в отношении ограниченной точности с плавающей запятой». Комп. Phys. Comm. 182 (5): 1120–1129. arXiv : 0912.3824 . Bibcode : 2011CoPhC.182.1120C . DOI : 10.1016 / j.cpc.2011.01.009 . S2CID 7173093 .
- ^ Пристли, МБ (1982). Спектральный анализ и временные ряды . Лондон, Нью-Йорк: Academic Press. ISBN 978-0125649018.
- ^ Персиваль, Дональд Б.; Эндрю Т. Уолден (1993). Спектральный анализ для физических приложений: многоканальные и стандартные одномерные методы . Издательство Кембриджского университета. стр. 190 -195. ISBN 978-0-521-43541-3.
- ^ Персиваль, Дональд Б. (1993). «Три любопытных свойства выборочной дисперсии и автоковариантности для стационарных процессов с неизвестным средним». Американский статистик . 47 (4): 274–276. DOI : 10.1080 / 00031305.1993.10475997 .
- ^ «Методы последовательной корреляции» . Статистические идеи . 26 мая 2014.
- ^ Баум, Кристофер Ф. (2006). Введение в современную эконометрику с использованием Stata . Stata Press. ISBN 978-1-59718-013-9.
- ^ Элсон, Эллиот Л. (декабрь 2011 г.). «Флуоресцентная корреляционная спектроскопия: прошлое, настоящее, будущее» . Биофизический журнал . 101 (12): 2855–2870. Bibcode : 2011BpJ ... 101.2855E . DOI : 10.1016 / j.bpj.2011.11.012 . PMC 3244056 . PMID 22208184 .
- ^ Холист, Роберт; Поневерский, Анджей; Чжан, Сюйчжу (2017). «Аналитическая форма автокорреляционной функции для флуоресцентной корреляционной спектроскопии» . Мягкая материя . 13 (6): 1267–1275. Bibcode : 2017SMat ... 13.1267H . DOI : 10.1039 / C6SM02643E . ISSN 1744-683X . PMID 28106203 .
- ^ Ван Сикл, январь (2008). GPS для землеустроителей (Третье изд.). CRC Press. С. 18–19. ISBN 978-0-8493-9195-8.
- ^ Калвани, Паям Раджаби; Джахангири, Али Реза; Шапури, Самане; Сари, Амирхоссейн; Джалили, Юсеф Сейед (август 2019 г.). «Многомодовый АСМ-анализ тонких пленок оксида цинка, легированных алюминием, распыленных при различных температурах подложки для оптоэлектронных приложений». Сверхрешетки и микроструктуры . 132 : 106173. DOI : 10.1016 / j.spmi.2019.106173 .
- ^ Тирангил, Джош (05.02.2009). «Автонастройка: почему поп-музыка звучит идеально» . Журнал Time .
дальнейшее чтение
- Кмента, Ян (1986). Элементы эконометрики (второе изд.). Нью-Йорк: Макмиллан. С. 298–334 . ISBN 978-0-02-365070-3.
- Марно Вербеек (10 августа 2017 г.). Руководство по современной эконометрике . Вайли. ISBN 978-1-119-40110-0.
- Моджтаба Солтаналиан и Петре Стойка. « Вычислительный дизайн последовательностей с хорошими корреляционными свойствами ». IEEE Transactions on Signal Processing, 60.5 (2012): 2180–2193.
- Соломон В. Голомб и Гуан Гун. Дизайн сигнала для хорошей корреляции: для беспроводной связи, криптографии и радара . Издательство Кембриджского университета, 2005.
- Клапетек, Петр (2018). Количественная обработка данных в сканирующей зондовой микроскопии: приложения СЗМ для нанометрологии (второе изд.). Эльзевир. стр. 108–112 ISBN 9780128133477 .
- Вайсштейн, Эрик В. «Автокорреляция» . MathWorld .