Взаимная корреляция

Часть серии по статистике
Корреляция и ковариация
Корреляция и ковариация случайных векторов Матрица автокорреляции Матрица взаимной корреляции Матрица автоковариации Матрица кросс-ковариации
Корреляция и ковариация случайных процессов Автокорреляционная функция Функция взаимной корреляции Автоковариационная функция Кросс-ковариационная функция
Корреляция и ковариация детерминированных сигналов Автокорреляционная функция Функция взаимной корреляции Автоковариационная функция Кросс-ковариационная функция
v т е

Визуальное сравнение свертки , взаимной корреляции и автокорреляции . Для операций с функцией f и при условии, что высота f равна 1.0, значение результата в 5 различных точках указывается заштрихованной областью под каждой точкой. Кроме того, вертикальная симметрия f является причиной и идентичны в этом примере.${\ displaystyle f * g}$${\ displaystyle f \ star g}$

В обработке сигналов , кросс-корреляции является мерой сходства двух рядов в зависимости от перемещения одной относительно другой. Это также известно как скользящее точечное произведение или скользящее внутреннее произведение . Обычно он используется для поиска более короткого известного признака в длинном сигнале. Он может применяться в распознавании образов , анализе отдельных частиц , электронной томографии , усреднении , криптоанализе и нейрофизиологии . Взаимная корреляция по своей природе похожа на свертку двух функций. Вавтокорреляция , которая представляет собой взаимную корреляцию сигнала с самим собой, всегда будет пик с нулевым запаздыванием, и его размер будет являться энергией сигнала.

В вероятности и статистики , термин кросс-корреляции относится к корреляции между записями двух случайных векторов и , в то время как корреляции случайного вектора являются корреляции между вхождений собой, те , образующие корреляционную матрицу из . Если каждый из и является скаляром случайной величины , которая реализуется многократно в временных рядах , затем корреляции различных временных экземпляров известны как автокорреляции из и поперечных корреляций с${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y}}$во времени - временные взаимные корреляции. В вероятности и статистике определение корреляции всегда включает стандартизирующий фактор таким образом, чтобы корреляции имели значения от -1 до +1.

Если и являются двумя независимыми случайными величинами с функциями плотности вероятности и , соответственно, то плотность вероятности различия формально задается взаимной корреляцией (в смысле обработки сигналов) ; однако эта терминология не используется в теории вероятностей и статистике. Напротив, свертка (эквивалентная взаимной корреляции и ) дает функцию плотности вероятности суммы .${\ displaystyle X}$${\ displaystyle Y}$ ${\ displaystyle f}$${\ displaystyle g}$${\ displaystyle YX}$${\ displaystyle f \ star g}$ ${\ displaystyle f * g}$${\ displaystyle f (t)}$${\ displaystyle g (-t)}$${\ displaystyle X + Y}$

Взаимная корреляция детерминированных сигналов [ править ]

Для непрерывных функций и взаимная корреляция определяется как: ^{[1] [2] [3]}${\ displaystyle f}$${\ displaystyle g}$

${\ Displaystyle (е \ звезда г) (\ тау) \ \ треугольник q \ int _ {- \ infty} ^ {\ infty} {\ overline {е (т)}} г (т + \ тау) \, dt}$

( Уравнение 1 )

что эквивалентно

${\ Displaystyle (е \ звезда г) (\ тау) \ \ треугольник \ int _ {- \ infty} ^ {\ infty} {\ overline {е (т- \ тау)}} г (т) \, dt}$

где обозначает комплексное сопряжение с , и это смещение, также известный как лаг (особенность в меньшей происходит в меньшей ).${\displaystyle {\overline {f(t)}}}$${\displaystyle f(t)}$${\displaystyle \tau }$${\displaystyle f}$${\displaystyle t}$${\displaystyle g}$${\displaystyle t+\tau }$

Если обе и являются непрерывными периодическими функциями периода , интегрирование от до заменяется интегрированием по любому интервалу длины :${\displaystyle f}$${\displaystyle g}$${\displaystyle T}$${\displaystyle -\infty }$${\displaystyle \infty }$${\displaystyle [t_{0},t_{0}+T]}$${\displaystyle T}$

${\displaystyle (f\star g)(\tau )\ \triangleq \int _{t_{0}}^{t_{0}+T}{\overline {f(t)}}g(t+\tau )\,dt}$

( Уравнение 2 )

что эквивалентно

${\displaystyle (f\star g)(\tau )\ \triangleq \int _{t_{0}}^{t_{0}+T}{\overline {f(t-\tau )}}g(t)\,dt}$

Точно так же для дискретных функций взаимная корреляция определяется как: ^{[4] [5]}

${\displaystyle (f\star g)[n]\ \triangleq \sum _{m=-\infty }^{\infty }{\overline {f[m]}}g[m+n]}$

( Уравнение 3 )

что эквивалентно

${\displaystyle (f\star g)[n]\ \triangleq \sum _{m=-\infty }^{\infty }{\overline {f[m-n]}}g[m]}$.

Для конечных дискретных функций (круговая) взаимная корреляция определяется как: ^[6]${\displaystyle f,g\in \mathbb {C} ^{N}}$

${\displaystyle (f\star g)[n]\ \triangleq \sum _{m=0}^{N-1}{\overline {f[m]}}g[(m+n)_{{\text{mod}}~N}]}$

( Уравнение 4 )

что эквивалентно

${\displaystyle (f\star g)[n]\ \triangleq \sum _{m=0}^{N-1}{\overline {f[(m-n)_{{\text{mod}}~N}]}}g[m]}$.

Для конечных дискретных функций , ядро кросс-корреляции определяется следующим образом: ^[7]${\displaystyle f\in \mathbb {C} ^{N}}$${\displaystyle g\in \mathbb {C} ^{M}}$

${\displaystyle (f\star g)[n]\ \triangleq \sum _{m=0}^{N-1}{\overline {f[m]}}K_{g}[(m+n)_{{\text{mod}}~N}]}$

( Уравнение 5 )

где - вектор ядерных функций, а - аффинное преобразование. В частности, это может быть преобразование кругового преобразования, преобразование поворота или преобразование масштаба и т. Д. Взаимная корреляция ядра расширяет взаимную корреляцию от линейного пространства до пространства ядра. Взаимная корреляция эквивалентна переводу; взаимная корреляция ядра эквивалентна любым аффинным преобразованиям, включая перевод, вращение, масштабирование и т. д.${\displaystyle K_{g}=[k(g,T_{0}(g)),k(g,T_{1}(g)),\dots ,k(g,T_{N-1}(g))]}$${\displaystyle k(\cdot ,\cdot )\colon \mathbb {C} ^{M}\times \mathbb {C} ^{M}\to \mathbb {R} }$${\displaystyle T_{i}(\cdot )\colon \mathbb {C} ^{M}\to \mathbb {C} ^{M}}$${\displaystyle T_{i}(\cdot )}$

Объяснение [ править ]

В качестве примера рассмотрим два действительных функций и отличаются только неизвестным сдвигом вдоль оси х. Можно использовать взаимную корреляцию, чтобы найти, на сколько нужно сдвинуть по оси x, чтобы сделать его идентичным . Формула, по сути, перемещает функцию по оси x, вычисляя интеграл своего продукта в каждой позиции. Когда функции совпадают, значение максимизируется. Это связано с тем, что когда пики (положительные области) выровнены, они вносят большой вклад в интеграл. Точно так же, когда впадины (отрицательные области) выравниваются, они также вносят положительный вклад в интеграл, потому что произведение двух отрицательных чисел положительно.${\displaystyle f}$${\displaystyle g}$${\displaystyle g}$${\displaystyle f}$${\displaystyle g}$${\displaystyle (f\star g)}$

С помощью комплексных функций и , сопряженное с гарантирует, что выровненные пики (или выровненные впадины) с мнимыми компонентами будут положительно влиять на интеграл.${\displaystyle f}$${\displaystyle g}$${\displaystyle f}$

В эконометрике кросс-корреляция с задержкой иногда называется кросс-автокорреляцией. ^{[8] : с. 74}

Свойства [ править ]

• Взаимная корреляция функций и эквивалентна свертке (обозначается ) и . То есть:${\displaystyle f(t)}$${\displaystyle g(t)}$${\displaystyle *}$${\displaystyle {\overline {f(-t)}}}$${\displaystyle g(t)}$

  ${\displaystyle [f(t)\star g(t)](t)=[{\overline {f(-t)}}*g(t)](t).}$

• ${\displaystyle [f(t)\star g(t)](t)=[{\overline {g(t)}}\star {\overline {f(t)}}](-t).}$
• Если - эрмитова функция , то${\displaystyle f}$${\displaystyle f\star g=f*g.}$
• Если оба и являются эрмитскими, тогда .${\displaystyle f}$${\displaystyle g}$${\displaystyle f\star g=g\star f}$
• ${\displaystyle \left(f\star g\right)\star \left(f\star g\right)=\left(f\star f\right)\star \left(g\star g\right)}$.
• Аналогично теореме о свертке , взаимная корреляция удовлетворяет

  ${\displaystyle {\mathcal {F}}\left\{f\star g\right\}={\overline {{\mathcal {F}}\left\{f\right\}}}\cdot {\mathcal {F}}\left\{g\right\},}$

где обозначает преобразование Фурье , а снова обозначает комплексное сопряжение , поскольку . В сочетании с алгоритмами быстрого преобразования Фурье это свойство часто используется для эффективного численного вычисления взаимной корреляции ^[9] (см. Круговую взаимную корреляцию ).${\displaystyle {\mathcal {F}}}$${\displaystyle {\overline {f}}}$${\displaystyle f}$${\displaystyle {\mathcal {F}}\left\{{\overline {f(-t)}}\right\}={\overline {{\mathcal {F}}\left\{f(t)\right\}}}}$

• Взаимная корреляция связана со спектральной плотностью (см. Теорему Винера – Хинчина ).
• Взаимная корреляция свертки и с функцией - это свертка взаимной корреляции ядра и с ядром :${\displaystyle f}$${\displaystyle h}$${\displaystyle g}$${\displaystyle g}$${\displaystyle f}$${\displaystyle h}$

  ${\displaystyle g\star \left(f*h\right)=\left(g\star f\right)*h}$.

Взаимная корреляция случайных векторов [ править ]

Определение [ править ]

Для случайных векторов и , каждый из которых содержит случайные элементы , чьи ожидаемое значение и дисперсию существует, кросс-корреляционная матрица из и определяются ^{[10] : p.337}${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{m})^{\rm {T}}}$${\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{n})^{\rm {T}}}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$

${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {Y} }\triangleq \ \operatorname {E} [\mathbf {X} \mathbf {Y} ^{\rm {T}}]}$

( Уравнение 3 )

и имеет размеры . Написано покомпонентно:${\displaystyle m\times n}$

${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {Y} }={\begin{bmatrix}\operatorname {E} [X_{1}Y_{1}]&\operatorname {E} [X_{1}Y_{2}]&\cdots &\operatorname {E} [X_{1}Y_{n}]\\\\\operatorname {E} [X_{2}Y_{1}]&\operatorname {E} [X_{2}Y_{2}]&\cdots &\operatorname {E} [X_{2}Y_{n}]\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {E} [X_{m}Y_{1}]&\operatorname {E} [X_{m}Y_{2}]&\cdots &\operatorname {E} [X_{m}Y_{n}]\end{bmatrix}}}$

Случайные векторы и не обязательно должны иметь одинаковую размерность, и любое из них может быть скалярным значением.${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$

Пример [ править ]

Например, если и являются случайными векторами, то это матрица, -я запись которой равна .${\displaystyle \mathbf {X} =\left(X_{1},X_{2},X_{3}\right)^{\rm {T}}}$${\displaystyle \mathbf {Y} =\left(Y_{1},Y_{2}\right)^{\rm {T}}}$${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {Y} }}$${\displaystyle 3\times 2}$${\displaystyle (i,j)}$${\displaystyle \operatorname {E} [X_{i}Y_{j}]}$

Определение сложных случайных векторов [ править ]

Если и являются комплексными случайными векторами , каждый из которых содержит случайные величины, ожидаемое значение и дисперсия которых существуют, матрица взаимной корреляции и определяется как${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{m})^{\rm {T}}}$${\displaystyle \mathbf {W} =(W_{1},\ldots ,W_{n})^{\rm {T}}}$${\displaystyle \mathbf {Z} }$${\displaystyle \mathbf {W} }$

${\displaystyle \operatorname {R} _{\mathbf {Z} \mathbf {W} }\triangleq \ \operatorname {E} [\mathbf {Z} \mathbf {W} ^{\rm {H}}]}$

где обозначает эрмитово транспонирование .${\displaystyle {}^{\rm {H}}}$

Взаимная корреляция случайных процессов [ править ]

В анализе временных рядов и статистике взаимная корреляция пары случайных процессов - это корреляция между значениями процессов в разное время как функция двух моментов времени. Пусть будет парой случайных процессов, и быть любым моментом времени ( может быть целым числом для процесса с дискретным временем или действительным числом для процесса с непрерывным временем ). Тогда это ценность (или реализация ), произведенная данным запуском процесса во время .${\displaystyle (X_{t},Y_{t})}$${\displaystyle t}$${\displaystyle t}$${\displaystyle X_{t}}$${\displaystyle t}$

Функция взаимной корреляции [ править ]

Предположим, что у процесса есть средства и отклонения и во времени для каждого . Тогда определение взаимной корреляции между временами и есть ^{[10] : с.392}${\displaystyle \mu _{X}(t)}$${\displaystyle \mu _{Y}(t)}$${\displaystyle \sigma _{X}^{2}(t)}$${\displaystyle \sigma _{Y}^{2}(t)}$${\displaystyle t}$${\displaystyle t}$${\displaystyle t_{1}}$${\displaystyle t_{2}}$

${\displaystyle \operatorname {R} _{XY}(t_{1},t_{2})=\operatorname {E} [X_{t_{1}}{\overline {Y_{t_{2}}}}]}$

( Уравнение 4 )

где - оператор ожидаемого значения . Обратите внимание, что это выражение может быть не определено.${\displaystyle \operatorname {E} }$

Функция кросс-ковариации [ править ]

Вычитание среднего перед умножением дает кросс-ковариацию между временами и : ^{[10] : стр.392}${\displaystyle t_{1}}$${\displaystyle t_{2}}$

${\displaystyle \operatorname {K} _{XY}(t_{1},t_{2})=\operatorname {E} [(X_{t_{1}}-\mu _{X}(t_{1})){\overline {(Y_{t_{2}}-\mu _{Y}(t_{2}))}}]}$

( Уравнение 5 )

Обратите внимание, что это выражение не является четко определенным для всех временных рядов или процессов, потому что среднее значение может не существовать или отклонение может не существовать.

Определение стационарного случайного процесса в широком смысле [ править ]

Позвольте представить пару случайных процессов , которые вместе являются стационарными в широком смысле . Тогда кросс-ковариационная функция и кросс-корреляционная функция задаются следующим образом.${\displaystyle (X_{t},Y_{t})}$

Функция взаимной корреляции [ править ]

${\displaystyle \operatorname {R} _{XY}(\tau )=\operatorname {E} \left[X_{t}{\overline {Y_{t+\tau }}}\right]}$

( Уравнение 6 )

или эквивалентно

${\displaystyle \operatorname {R} _{XY}(\tau )=\operatorname {E} \left[X_{t-\tau }{\overline {Y_{t}}}\right]}$

Функция кросс-ковариации [ править ]

${\displaystyle \operatorname {K} _{XY}(\tau )=\operatorname {E} \left[\left(X_{t}-\mu _{X}\right){\overline {\left(Y_{t+\tau }-\mu _{Y}\right)}}\right]}$

( Ур.7 )

или эквивалентно

${\displaystyle \operatorname {K} _{XY}(\tau )=\operatorname {E} \left[\left(X_{t-\tau }-\mu _{X}\right){\overline {\left(Y_{t}-\mu _{Y}\right)}}\right]}$

где и - среднее и стандартное отклонение процесса , которые постоянны во времени из-за стационарности; и аналогично для соответственно. указывает ожидаемое значение . Независимость кросс-ковариации и взаимной корреляции - это как раз дополнительная информация (помимо того, что она является индивидуально стационарной в широком смысле), передаваемая требованием, которые в совокупности являются стационарными в широком смысле.${\displaystyle \mu _{X}}$${\displaystyle \sigma _{X}}$${\displaystyle (X_{t})}$${\displaystyle (Y_{t})}$${\displaystyle \operatorname {E} [\ ]}$${\displaystyle t}$${\displaystyle (X_{t},Y_{t})}$

Взаимная корреляция пары стационарных случайных процессов в широком смысле может быть оценена путем усреднения произведения выборок, измеренных в одном процессе, и выборок, измеренных в другом (и его временных сдвигов). Выборки, включенные в среднее значение, могут быть произвольным подмножеством всех отсчетов в сигнале (например, отсчетами в пределах конечного временного окна или подвыборкой ^{[ какой? ]} Одного из сигналов). Для большого количества выборок среднее значение сходится к истинной взаимной корреляции.

Нормализация [ править ]

В некоторых дисциплинах (например, в статистике и анализе временных рядов ) обычной практикой является нормализация функции взаимной корреляции для получения зависящего от времени коэффициента корреляции Пирсона . Однако в других дисциплинах (например, инженерии) от нормализации обычно отказываются, и термины «взаимная корреляция» и «кросс-ковариация» используются как взаимозаменяемые.

Определение нормализованной взаимной корреляции случайного процесса:

${\displaystyle \rho _{XX}(t_{1},t_{2})={\frac {\operatorname {K} _{XX}(t_{1},t_{2})}{\sigma _{X}(t_{1})\sigma _{X}(t_{2})}}={\frac {\operatorname {E} [(X_{t_{1}}-\mu _{t_{1}}){\overline {(X_{t_{2}}-\mu _{t_{2}})}}]}{\sigma _{X}(t_{1})\sigma _{X}(t_{2})}}}$.

Если функция четко определена, ее значение должно находиться в диапазоне , где 1 указывает на идеальную корреляцию, а -1 указывает на идеальную антикорреляцию .${\displaystyle \rho _{XX}}$${\displaystyle [-1,1]}$

Для общих стационарных случайных процессов в широком смысле определение имеет вид

${\displaystyle \rho _{XY}(\tau )={\frac {\operatorname {K} _{XY}(\tau )}{\sigma _{X}\sigma _{Y}}}={\frac {\operatorname {E} [\left(X_{t}-\mu _{X}\right){\overline {\left(Y_{t+\tau }-\mu _{Y}\right)}}]}{\sigma _{X}\sigma _{Y}}}}$.

Нормализация важна как потому, что интерпретация автокорреляции как корреляции обеспечивает безмасштабную меру силы статистической зависимости , так и потому, что нормализация влияет на статистические свойства оцененных автокорреляций.

Свойства [ править ]

Свойство симметрии [ править ]

Для стационарных случайных процессов в широком смысле взаимная корреляционная функция обладает следующим свойством симметрии: ^{[11] : с.173}

${\displaystyle \operatorname {R} _{XY}(t_{1},t_{2})={\overline {\operatorname {R} _{YX}(t_{2},t_{1})}}}$

Соответственно для совместно процессов ВСС:

${\displaystyle \operatorname {R} _{XY}(\tau )={\overline {\operatorname {R} _{YX}(-\tau )}}}$

Анализ временной задержки [ править ]

Взаимные корреляции полезны для определения временной задержки между двумя сигналами, например, для определения временных задержек для распространения акустических сигналов через решетку микрофонов. ^{[12] [13] [ требуется пояснение ]} После вычисления взаимной корреляции между двумя сигналами максимум (или минимум, если сигналы имеют отрицательную корреляцию) функции взаимной корреляции указывает момент времени, когда сигналы лучше всего выровнены ; то есть, задержка по времени между двумя сигналами определяется аргументом максимума, или агд макс из кросс-корреляции , как и в

${\displaystyle \tau _{\mathrm {delay} }={\underset {t\in \mathbb {R} }{\operatorname {arg\,max} }}((f\star g)(t))}$

Терминология в обработке изображений [ править ]

Нулевой нормализованной взаимной корреляции (ZNCC) [ править ]

Для приложений обработки изображений, в которых яркость изображения и шаблона может изменяться в зависимости от условий освещения и экспозиции, изображения могут быть сначала нормализованы. Обычно это делается на каждом этапе путем вычитания среднего и деления на стандартное отклонение . То есть взаимная корреляция шаблона и фрагмента изображения${\displaystyle t(x,y)}$${\displaystyle f(x,y)}$

${\displaystyle {\frac {1}{n}}\sum _{x,y}{\frac {1}{\sigma _{f}\sigma _{t}}}\left(f(x,y)-\mu _{f}\right)\left(t(x,y)-\mu _{t}\right)}$.

где это количество пикселей в и , является средним и это стандартное отклонение от .${\displaystyle n}$${\displaystyle t(x,y)}$${\displaystyle f(x,y)}$${\displaystyle \mu _{f}}$${\displaystyle f}$${\displaystyle \sigma _{f}}$${\displaystyle f}$

В терминах функционального анализа это можно рассматривать как скалярное произведение двух нормализованных векторов . То есть, если

${\displaystyle F(x,y)=f(x,y)-\mu _{f}}$

и

${\displaystyle T(x,y)=t(x,y)-\mu _{t}}$

тогда указанная сумма равна

${\displaystyle \left\langle {\frac {F}{\|F\|}},{\frac {T}{\|T\|}}\right\rangle }$

где - внутренний продукт, а - норма L ² . Затем Коши-Шварц подразумевает, что ZNCC имеет диапазон .${\displaystyle \langle \cdot ,\cdot \rangle }$${\displaystyle \|\cdot \|}$${\displaystyle [-1,1]}$

Таким образом, если и являются действительными матрицами, их нормализованная взаимная корреляция равна косинусу угла между единичными векторами и , будучи, таким образом, тогда и только тогда, когда равно умноженному на положительный скаляр.${\displaystyle f}$${\displaystyle t}$${\displaystyle F}$${\displaystyle T}$${\displaystyle 1}$${\displaystyle F}$${\displaystyle T}$

Нормализованная корреляция - это один из методов, используемых для сопоставления шаблонов , процесса, используемого для поиска совпадений узора или объекта в изображении. Это также двумерная версия коэффициента корреляции момента произведения Пирсона .

Нормализованная взаимная корреляция (NCC) [ править ]

NCC похож на ZNCC с той лишь разницей, что не вычитает локальное среднее значение интенсивности:

${\displaystyle {\frac {1}{n}}\sum _{x,y}{\frac {1}{\sigma _{f}\sigma _{t}}}f(x,y)t(x,y)}$

Нелинейные системы [ править ]

Следует соблюдать осторожность при использовании взаимной корреляции для нелинейных систем. В определенных обстоятельствах, которые зависят от свойств входа, взаимная корреляция между входом и выходом системы с нелинейной динамикой может быть полностью закрыта для определенных нелинейных эффектов. ^[14] Эта проблема возникает из-за того, что некоторые квадратичные моменты могут равняться нулю, и это может неверно предполагать, что существует небольшая «корреляция» (в смысле статистической зависимости) между двумя сигналами, когда на самом деле два сигнала сильно связаны нелинейной динамикой.

См. Также [ править ]

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Тахмасеби, Педжман; Хезархани, Ардешир; Сахими, Мухаммад (2012). «Многоточечное геостатистическое моделирование на основе взаимно корреляционных функций». Вычислительные науки о Земле . 16 (3): 779–797. DOI : 10.1007 / s10596-012-9287-1 .

Внешние ссылки [ править ]

• Взаимная корреляция из Mathworld
• http://scribblethink.org/Work/nvisionInterface/nip.html
• http://www.staff.ncl.ac.uk/oliver.hinton/eee305/Chapter6.pdf