Гауссовский процесс

В теории вероятностей и статистике , гауссовский процесс представляет собой случайный процесс (совокупность случайных величин , индексированных по времени или в пространстве), таким образом, что каждый конечный набор этих случайных величин имеет многомерное нормальное распределение , то есть каждая конечная линейная комбинация из них , как правило , распределены. Распределение гауссовского процесса - это совместное распределение всех этих (бесконечного множества) случайных величин, и как таковое, это распределение по функциям с непрерывной областью, например временем или пространством.

Алгоритм машинного обучения, который включает в себя гауссовский процесс, использует ленивое обучение и меру сходства между точками ( функция ядра ), чтобы предсказать значение невидимой точки на основе данных обучения. Прогноз - это не только оценка для этой точки, но и информация о неопределенности - это одномерное распределение Гаусса. ^[1] Для прогнозирования с несколькими выходами используются многомерные гауссовские процессы ^{[2] [3]} , для которых многомерное распределение Гаусса является предельным распределением в каждой точке.

Для некоторых функций ядра матричная алгебра может использоваться для вычисления прогнозов с использованием техники кригинга . Когда используется параметризованное ядро, программное обеспечение оптимизации обычно используется для соответствия гауссовской модели процесса.

Концепция гауссовских процессов названа в честь Карла Фридриха Гаусса, потому что она основана на понятии гауссова распределения ( нормального распределения ). Гауссовские процессы можно рассматривать как бесконечномерное обобщение многомерных нормальных распределений.

Гауссовские процессы полезны при статистическом моделировании , поскольку они обладают свойствами, унаследованными от нормального распределения. Например, если случайный процесс моделируется как гауссовский процесс, распределения различных производных величин могут быть получены явно. Такие величины включают в себя среднее значение процесса за определенный период времени и ошибку в оценке среднего значения с использованием значений выборки за небольшой набор времен. Хотя точные модели часто плохо масштабируются по мере увеличения объема данных, были разработаны несколько методов аппроксимации , которые часто сохраняют хорошую точность, резко сокращая время вычислений.

Определение [ править ]

Непрерывное время стохастический процесс является гауссовым тогда и только тогда , когда для любого конечного множества из индексов в множестве индексов${\ displaystyle \ left \ {X_ {t}; т \ in T \ right \}}$ ${\ displaystyle t_ {1}, \ ldots, t_ {k}}$${\ displaystyle T}$

${\displaystyle \mathbf {X} _{t_{1},\ldots ,t_{k}}=(X_{t_{1}},\ldots ,X_{t_{k}})}$

- многомерная гауссова случайная величина . ^[4] Это то же самое, что сказать, что каждая линейная комбинация имеет одномерное нормальное (или гауссово) распределение.${\displaystyle (X_{t_{1}},\ldots ,X_{t_{k}})}$

Используя характеристические функции случайных величин, свойство Гаусса может быть сформулировано следующим образом: является гауссовским тогда и только тогда, когда для каждого конечного набора индексов существуют действительные значения , при этом следующее равенство выполняется для всех${\displaystyle \left\{X_{t};t\in T\right\}}$${\displaystyle t_{1},\ldots ,t_{k}}$${\displaystyle \sigma _{\ell j}}$${\displaystyle \mu _{\ell }}$${\displaystyle \sigma _{jj}>0}$${\displaystyle s_{1},s_{2},\ldots ,s_{k}\in \mathbb {R} }$

${\displaystyle \operatorname {E} \left(\exp \left(i\ \sum _{\ell =1}^{k}s_{\ell }\ \mathbf {X} _{t_{\ell }}\right)\right)=\exp \left(-{\frac {1}{2}}\,\sum _{\ell ,j}\sigma _{\ell j}s_{\ell }s_{j}+i\sum _{\ell }\mu _{\ell }s_{\ell }\right)}$.

где обозначает такую мнимую единицу , что .${\displaystyle i}$${\displaystyle i^{2}=-1}$

Можно показать, что числа и являются ковариациями и средними значениями переменных в процессе. ^[5]${\displaystyle \sigma _{\ell j}}$${\displaystyle \mu _{\ell }}$

Дисперсия [ править ]

Дисперсия гауссовского процесса конечна в любой момент формально ^{[6] : с. 515}${\displaystyle t}$

${\displaystyle \operatorname {var} [X(t)]=\operatorname {E} [|X(t)-\operatorname {E} [X(t)]|^{2}]<\infty \quad {\text{for all }}t\in T}$.

Стационарность [ править ]

Для общих стохастических процессов стационарность в строгом смысле подразумевает стационарность в широком смысле, но не каждый стационарный случайный процесс в широком смысле является стационарным в строгом смысле. Однако для гауссовского случайного процесса эти две концепции эквивалентны. ^{[6] : с. 518}

Гауссовский случайный процесс является стационарным в строгом смысле слова тогда и только тогда, когда он стационарен в широком смысле.

Пример [ править ]

Есть явное представление для стационарных гауссовских процессов. ^[7] Простым примером этого представления является

${\displaystyle X_{t}=\cos(at)\xi _{1}+\sin(at)\xi _{2}}$

где и - независимые случайные величины со стандартным нормальным распределением .${\displaystyle \xi _{1}}$${\displaystyle \xi _{2}}$

Ковариационные функции [ править ]

Ключевым фактом гауссовских процессов является то, что они могут быть полностью определены их статистикой второго порядка. ^[8] Таким образом, если предполагается, что гауссовский процесс имеет нулевое среднее значение, определение ковариационной функции полностью определяет поведение процесса. Важно отметить, что неотрицательная определенность этой функции делает возможным ее спектральное разложение с использованием разложения Карунена – Лоэва . Основные аспекты, которые могут быть определены с помощью ковариационной функции, - это стационарность , изотропность , гладкость и периодичность процесса . ^{[9] [10]}

Стационарность относится к поведению процесса относительно разделения любых двух точек и . Если процесс стационарный, он зависит от их разделения, а если нестационарный - от фактического положения точек и . Например, частный случай процесса Орнштейна-Уленбека , A Броуновское движение процесс, находится в неподвижном состоянии .${\displaystyle x}$${\displaystyle x'}$${\displaystyle x-x'}$${\displaystyle x}$${\displaystyle x'}$

Если процесс зависит только от евклидова расстояния (а не от направления) между и , то процесс считается изотропным. Процесс, который одновременно является стационарным и изотропным, считается однородным ; ^[11] на практике эти свойства отражают различия (или, скорее, их отсутствие) в поведении процесса с учетом местоположения наблюдателя.${\displaystyle |x-x'|}$${\displaystyle x}$${\displaystyle x'}$

В конечном итоге гауссовские процессы переводятся как априорные функции, и гладкость этих априорных значений может быть индуцирована ковариационной функцией. ^[9] Если мы ожидаем, что для «близких» входных точек и соответствующих им выходных точек, а также для «ближайших», то предположение о непрерывности присутствует. Если мы хотим учесть значительное смещение, мы могли бы выбрать более грубую ковариационную функцию. Крайними примерами такого поведения являются ковариационная функция Орнштейна – Уленбека и квадрат экспоненты, где первая никогда не дифференцируема, а вторая бесконечно дифференцируема.${\displaystyle x}$${\displaystyle x'}$${\displaystyle y}$${\displaystyle y'}$

Периодичность - это создание периодических закономерностей в поведении процесса. Формально это достигается отображением входных данных в двумерный вектор .${\displaystyle x}$${\displaystyle u(x)=\left(\cos(x),\sin(x)\right)}$

Обычные ковариационные функции [ править ]

Существует ряд общих ковариационных функций: ^[10]

• Постоянный : ${\displaystyle K_{\operatorname {C} }(x,x')=C}$
• Линейный: ${\displaystyle K_{\operatorname {L} }(x,x')=x^{T}x'}$
• белый гауссов шум: ${\displaystyle K_{\operatorname {GN} }(x,x')=\sigma ^{2}\delta _{x,x'}}$
• Квадрат экспоненты: ${\displaystyle K_{\operatorname {SE} }(x,x')=\exp {\Big (}-{\frac {|d|^{2}}{2\ell ^{2}}}{\Big )}}$
• Орнштейн – Уленбек: ${\displaystyle K_{\operatorname {OU} }(x,x')=\exp \left(-{\frac {|d|}{\ell }}\right)}$
• Матерн: ${\displaystyle K_{\operatorname {Matern} }(x,x')={\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Big (}{\frac {{\sqrt {2\nu }}|d|}{\ell }}{\Big )}^{\nu }K_{\nu }{\Big (}{\frac {{\sqrt {2\nu }}|d|}{\ell }}{\Big )}}$
• Периодический: ${\displaystyle K_{\operatorname {P} }(x,x')=\exp \left(-{\frac {2\sin ^{2}\left({\frac {d}{2}}\right)}{\ell ^{2}}}\right)}$
• Рациональный квадратичный: ${\displaystyle K_{\operatorname {RQ} }(x,x')=(1+|d|^{2})^{-\alpha },\quad \alpha \geq 0}$

Вот . Параметром является характерная длина масштаба процесса (практически, «как близко» две точки , и должны быть значительно влияют друг на друга), является Кронекера и стандартное отклонение флуктуаций шума. Кроме того, это модифицированная функция Бесселя порядка и является гамма - функция оценивается в . Важно отметить, что сложная ковариационная функция может быть определена как линейная комбинация других более простых ковариационных функций для включения различных представлений о имеющемся наборе данных.${\displaystyle d=x-x'}$${\displaystyle \ell }$${\displaystyle x}$${\displaystyle x'}$${\displaystyle \delta }$${\displaystyle \sigma }$${\displaystyle K_{\nu }}$${\displaystyle \nu }$${\displaystyle \Gamma (\nu )}$${\displaystyle \nu }$

Ясно, что выводимые результаты зависят от значений гиперпараметров (например, и ), определяющих поведение модели. Популярным вариантом является предоставление максимальных апостериорных оценок (MAP) с некоторыми выбранными априорными. Если априор очень близок к однородному, это то же самое, что максимизировать предельную вероятность процесса; маргинализация осуществляется по наблюдаемым значениям процесса . ^[10] Этот подход также известен как максимальное правдоподобие II , максимизация доказательств или эмпирический байесовский метод . ^[12]${\displaystyle \theta }$${\displaystyle \ell }$${\displaystyle \sigma }$${\displaystyle \theta }$${\displaystyle y}$

Непрерывность [ править ]

Для гауссовского процесса, непрерывность по вероятности эквивалентна среднеквадратичной непрерывности , ^{[13] : 145} и непрерывности с вероятностью единица эквивалентна непрерывности образца . ^{[14] : 91 «Гауссовские процессы разрывны в неподвижных точках».} Последнее подразумевает, но не подразумевает непрерывность вероятности. Непрерывность по вероятности имеет место тогда и только тогда, когда среднее значение и автоковариация являются непрерывными функциями. Напротив, непрерывность выборки была сложной задачей даже для стационарных гауссовских процессов (как, вероятно, впервые заметил Андрей Колмогоров.), и более сложный для более общих процессов. ^{[15] : Разд. 2.8 [16] : 69,81 [17] : 80 [18]} Как обычно, под непрерывным процессом с образцом понимается процесс, допускающий непрерывную модификацию образца .^{[19] : 292 [20] : 424}

Стационарный футляр [ править ]

Для стационарного гауссовского процесса некоторые условия на его спектр достаточны для непрерывности образца, но не являются необходимыми. Необходимое и достаточное условие, иногда называемое теоремой Дадли-Фернике, включает функцию, определенную формулой${\displaystyle X=(X_{t})_{t\in \mathbb {R} },}$${\displaystyle \sigma }$

${\displaystyle \sigma (h)={\sqrt {\mathbb {E} {\big (}X(t+h)-X(t){\big )}^{2}}}}$

(правая часть не зависит от в силу стационарности). Непрерывность по вероятности эквивалентна непрерывности at. Когда сходимость к (as ) слишком медленная, непрерывность выборки может быть нарушена. Имеет значение сходимость следующих интегралов:${\displaystyle t}$${\displaystyle X}$${\displaystyle \sigma }$${\displaystyle 0.}$${\displaystyle \sigma (h)}$${\displaystyle 0}$${\displaystyle h\to 0}$${\displaystyle X}$

${\displaystyle I(\sigma )=\int _{0}^{1}{\frac {\sigma (h)}{h{\sqrt {\log(1/h)}}}}\,dh=\int _{0}^{\infty }2\sigma (\mathbb {e} ^{-x^{2}})\,dx,}$

эти два интеграла равны согласно интегрированию путем подстановки . Первое подынтегральное выражение не должно быть ограничено, так как, таким образом, интеграл может сходиться ( ) или расходиться ( ). Взяв, например, большой, то есть маленький, получаем, когда и когда. В этих двух случаях функция увеличивается, но обычно это не так. Кроме того, условие${\displaystyle h=\mathbb {e} ^{-x^{2}},}$ ${\displaystyle \textstyle x={\sqrt {\log(1/h)}}.}$${\displaystyle h\to 0+,}$${\displaystyle I(\sigma )<\infty }$${\displaystyle I(\sigma )=\infty }$${\displaystyle \sigma (\mathbb {e} ^{-x^{2}})={\tfrac {1}{x^{a}}}}$${\displaystyle x,}$${\displaystyle \sigma (h)=(\log(1/h))^{-a/2}}$${\displaystyle h,}$${\displaystyle I(\sigma )<\infty }$${\displaystyle a>1,}$${\displaystyle I(\sigma )=\infty }$${\displaystyle 0<a\leq 1.}$${\displaystyle \sigma }$${\displaystyle [0,\infty ),}$

${\displaystyle (*)}$   существует такое, что монотонно на${\displaystyle \varepsilon >0}$${\displaystyle \sigma }$${\displaystyle [0,\varepsilon ]}$

не следует из непрерывности и очевидных отношений (для всех ) и${\displaystyle \sigma }$${\displaystyle \sigma (h)\geq 0}$${\displaystyle h}$${\displaystyle \sigma (0)=0.}$

Теорема 1.   Пусть непрерывна и удовлетворяет Тогда условие необходимо и достаточно для выборочной непрерывности${\displaystyle \sigma }$${\displaystyle (*).}$${\displaystyle I(\sigma )<\infty }$${\displaystyle X.}$

Немного истории. ^{[20] : 424} Достаточность была объявлена Ксавьером Ферником в 1964 году, но первое доказательство было опубликовано Ричардом М. Дадли в 1967 году. ^{[19] : Теорема 7.1} Необходимость была доказана Майклом Б. Маркусом и Лоуренсом Шеппом в 1970 году ^{[21]. ] : 380}

Существуют образцы непрерывных процессов , которые нарушают условие. Пример, найденный Маркусом и Шеппом ^{[21] : 387} - случайный лакунарный ряд Фурье${\displaystyle X}$${\displaystyle I(\sigma )=\infty ;}$${\displaystyle (*).}$

${\displaystyle X_{t}=\sum _{n=1}^{\infty }c_{n}(\xi _{n}\cos \lambda _{n}t+\eta _{n}\sin \lambda _{n}t),}$

где - независимые случайные величины со стандартным нормальным распределением ; частоты - это быстрорастущая последовательность; и коэффициенты удовлетворяют . Последнее соотношение почти наверняка влечет откуда , что обеспечивает почти наверное равномерную сходимость ряда Фурье и выборочную непрерывность${\displaystyle \xi _{1},\eta _{1},\xi _{2},\eta _{2},\dots }$${\displaystyle 0<\lambda _{1}<\lambda _{2}<\dots }$${\displaystyle c_{n}>0}$${\displaystyle \textstyle \sum _{n}c_{n}<\infty .}$${\displaystyle \textstyle \mathbb {E} \sum _{n}c_{n}(|\xi _{n}|+|\eta _{n}|)=\sum _{n}c_{n}\mathbb {E} (|\xi _{n}|+|\eta _{n}|)={\text{const}}\cdot \sum _{n}c_{n}<\infty ,}$${\displaystyle \sum _{n}c_{n}(|\xi _{n}|+|\eta _{n}|)<\infty }$${\displaystyle X.}$

Его автоковариационная функция

${\displaystyle \mathbb {E} X_{t}X_{t+h}=\sum _{n=1}^{\infty }c_{n}^{2}\cos \lambda _{n}h}$

нигде не монотонна (см. рисунок), как и соответствующая функция ${\displaystyle \sigma ,}$

${\displaystyle \sigma (h)={\sqrt {2\mathbb {E} X_{t}X_{t}-2\mathbb {E} X_{t}X_{t+h}}}=2{\sqrt {\sum _{n=1}^{\infty }c_{n}^{2}\sin ^{2}{\frac {\lambda _{n}h}{2}}}}.}$

Броуновское движение как интеграл гауссовских процессов [ править ]

Винера процесс ( так называемое броуновское движение) является интегралом от белого шума обобщенного гауссовского процесса . Он не стационарный , но имеет стационарные приращения.

Процесс Орнштейна – Уленбека - это стационарный гауссовский процесс.

Броуновский мост (подобно процесс Орнштейна-Уленбек) пример гауссовского процесса, приращения не являются независимыми .

Дробное броуновское движение является гауссовым процессом, ковариационной функция является обобщением , что процесс Винер.

Закон нуля или единицы Дрисколла [ править ]

Закон нуля или единицы Дрисколла - это результат, характеризующий выборочные функции, генерируемые гауссовским процессом.

Позвольте быть средним нулевым гауссовским процессом с неотрицательно определенной ковариационной функцией . Позвольте быть воспроизводящим ядром гильбертова пространство с положительно определенным ядром .${\displaystyle f}$${\displaystyle \left\{X_{t};t\in T\right\}}$${\displaystyle K}$${\displaystyle {\mathcal {H}}(R)}$${\displaystyle R}$

потом

${\displaystyle \lim _{n\to \infty }\operatorname {tr} [K_{n}R_{n}^{-1}]<\infty }$,

где и - ковариационные матрицы всех возможных пар точек, следует ${\displaystyle K_{n}}$${\displaystyle R_{n}}$${\displaystyle n}$

${\displaystyle \Pr[f\in {\mathcal {H}}(R)]=1}$.

Более того,

${\displaystyle \lim _{n\to \infty }\operatorname {tr} [K_{n}R_{n}^{-1}]=\infty }$

подразумевает

${\displaystyle \Pr[f\in {\mathcal {H}}(R)]=0}$. ^[22]

Это имеет важные последствия, когда , как${\displaystyle K=R}$

${\displaystyle \lim _{n\to \infty }\operatorname {tr} [R_{n}R_{n}^{-1}]=\lim _{n\to \infty }\operatorname {tr} [I]=\lim _{n\to \infty }n=\infty }$.

Таким образом, почти все выборочные пути гауссовского процесса с нулевым средним и положительно определенным ядром будут лежать вне гильбертова пространства .${\displaystyle K}$${\displaystyle {\mathcal {H}}(K)}$

Гауссовские процессы с линейными ограничениями [ править ]

Для многих приложений, представляющих интерес, уже даны некоторые уже существующие знания о системе. Рассмотрим, например, случай, когда выход гауссова процесса соответствует магнитному полю; здесь реальное магнитное поле ограничено уравнениями Максвелла, и было бы желательно включить это ограничение в формализм гауссовского процесса, поскольку это, вероятно, улучшило бы точность алгоритма.

Метод включения линейных ограничений в гауссовские процессы уже существует: ^[23]

Рассмотрим (векторнозначную) выходную функцию, которая, как известно, подчиняется линейному ограничению (т. Е. Является линейным оператором)${\displaystyle f(x)}$${\displaystyle {\mathcal {F}}_{X}}$

${\displaystyle {\mathcal {F}}_{X}(f(x))=0.}$

Тогда ограничение может быть выполнено, выбрав , где моделируется как гауссовский процесс, и найдя st ${\displaystyle {\mathcal {F}}_{X}}$${\displaystyle f(x)={\mathcal {G}}_{X}(g(x))}$${\displaystyle g(x)\sim {\mathcal {GP}}(\mu _{g},K_{g})}$${\displaystyle {\mathcal {G}}_{X}}$

${\displaystyle {\mathcal {F}}_{X}({\mathcal {G}}_{X}(g))=0\qquad \forall g.}$

Учитывая и используя тот факт, что гауссовские процессы замкнуты относительно линейных преобразований, гауссовский процесс для подчинения ограничению становится${\displaystyle {\mathcal {G}}_{X}}$${\displaystyle f}$${\displaystyle {\mathcal {F}}_{X}}$

${\displaystyle f(x)={\mathcal {G}}_{X}g\sim {\mathcal {GP}}({\mathcal {G}}_{X}\mu _{g},{\mathcal {G}}_{X}K_{g}{\mathcal {G}}_{X'}^{T}).}$

Следовательно, линейные ограничения могут быть закодированы в среднее значение и ковариационную функцию гауссовского процесса.

Приложения [ править ]

Гауссовский процесс может использоваться как априорное распределение вероятностей по функциям в байесовском выводе . ^{[10] [25]} С учетом любого набором N точек в нужной области ваших функций, взять многомерный Гаусс которого ковариационную матрица параметров является матрица Грама ваших N точек с некоторым требуемым ядром , и образецот этого гауссовского. Для решения задачи прогнозирования с несколькими выходами была разработана регрессия гауссовского процесса для векторнозначной функции. В этом методе строится «большая» ковариация, которая описывает корреляции между всеми входными и выходными переменными, взятыми в N точках в желаемой области. ^[26] Этот подход был подробно разработан для матричнозначных гауссовских процессов и обобщен на процессы с «более тяжелыми хвостами», такие как процессы Стьюдента . ^[3]

Вывод непрерывных значений с помощью априорного гауссовского процесса известен как регрессия гауссовского процесса или кригинг ; Расширение регрессии гауссовского процесса на несколько целевых переменных известно как кокригинг . ^[27] Таким образом, гауссовские процессы полезны как мощный инструмент нелинейной многомерной интерполяции . Гауссовская регрессия процесса может быть дополнительно расширена для решения задач обучения как в контролируемых (например, вероятностная классификация ^[10] ), так и в неконтролируемых (например, множественное обучение ^[8] ) структурах обучения.

Гауссовские процессы также могут быть использованы, например, в контексте смешения моделей экспертов. ^{[28] [29]} Основное обоснование такой структуры обучения состоит в предположении, что данное отображение не может быть хорошо охвачено одной моделью гауссовского процесса. Вместо этого пространство наблюдения разделено на подмножества, каждое из которых характеризуется различной функцией отображения; каждый из них изучается через различные компоненты гауссовского процесса в постулируемой смеси.

Прогнозирование гауссовского процесса или кригинг [ править ]

При рассмотрении общей задачи регрессии гауссовского процесса (кригинга) предполагается, что для гауссовского процесса, наблюдаемого в координатах , вектор значений представляет собой всего лишь одну выборку из многомерного гауссовского распределения размерности, равной количеству наблюдаемых координат . Следовательно, в предположении распределения с нулевым средним,, где - ковариационная матрица между всеми возможными парами для данного набора гиперпараметров θ . ^[10] Таким образом, логарифмическая предельная вероятность составляет:${\displaystyle f}$${\displaystyle x}$${\displaystyle f(x)}$${\displaystyle n}$${\displaystyle f(x)\sim N(0,K(\theta ,x,x'))}$${\displaystyle K(\theta ,x,x')}$${\displaystyle (x,x')}$

${\displaystyle \log p(f(x)\mid \theta ,x)=-{\frac {1}{2}}f(x)^{T}K(\theta ,x,x')^{-1}f(x')-{\frac {1}{2}}\log \det(K(\theta ,x,x'))-{\frac {n}{2}}\log 2\pi }$

и максимизация этой предельной вероятности по отношению к θ обеспечивает полную спецификацию гауссовского процесса f . Здесь можно вкратце отметить, что первый член соответствует штрафному члену за неспособность модели соответствовать наблюдаемым значениям, а второй член - штрафному члену, который увеличивается пропорционально сложности модели. После задания θ прогнозирование ненаблюдаемых значений в координатах x * сводится только к извлечению выборок из прогнозного распределения, где апостериорная средняя оценка A определяется как${\displaystyle f(x^{*})}$${\displaystyle p(y^{*}\mid x^{*},f(x),x)=N(y^{*}\mid A,B)}$

${\displaystyle A=K(\theta ,x^{*},x)K(\theta ,x,x')^{-1}f(x)}$

а апостериорная оценка дисперсии B определяется как:

${\displaystyle B=K(\theta ,x^{*},x^{*})-K(\theta ,x^{*},x)K(\theta ,x,x')^{-1}K(\theta ,x^{*},x)^{T}}$

где - ковариация между новой координатой оценки x * и всеми другими наблюдаемыми координатами x для данного вектора гиперпараметров θ , и определены, как и раньше, и - это дисперсия в точке x *, продиктованная θ . Важно отметить, что практически апостериорная средняя оценка («точечная оценка») представляет собой просто линейную комбинацию наблюдений ; аналогичным образом дисперсия фактически не зависит от наблюдений . Известным узким местом в прогнозировании гауссовского процесса является то, что вычислительная сложность вывода и оценки правдоподобия кубична по количеству точек |${\displaystyle K(\theta ,x^{*},x)}$${\displaystyle K(\theta ,x,x')}$${\displaystyle f(x)}$${\displaystyle K(\theta ,x^{*},x^{*})}$${\displaystyle f(x^{*})}$${\displaystyle f(x)}$${\displaystyle f(x^{*})}$${\displaystyle f(x)}$x |, и поэтому может стать невозможным для больших наборов данных. ^[9] Работы с разреженными гауссовскими процессами, которые обычно основаны на идее построения репрезентативного набора для данного процесса f , пытаются обойти эту проблему. ^{[30] [31]} Метод кригинга может использоваться на латентном уровне нелинейной модели смешанных эффектов, чтобы вызвать скрытый кригинг. ^[32]

Байесовские нейронные сети как гауссовские процессы [ править ]

Байесовские нейронные сети - это особый тип байесовской сети, который является результатом вероятностной обработки моделей глубокого обучения и искусственных нейронных сетей и присвоения их параметрам предварительного распределения . Вычисления в искусственных нейронных сетях обычно организованы в последовательные слои искусственных нейронов . Количество нейронов в слое называется шириной слоя. По мере увеличения ширины слоя многие байесовские нейронные сети сводятся к гауссовскому процессу с замкнутой формой.композиционное ядро. Этот гауссовский процесс называется гауссовским процессом нейронной сети (NNGP). Он позволяет более эффективно оценивать прогнозы байесовских нейронных сетей и предоставляет аналитический инструмент для понимания моделей глубокого обучения .

Вычислительные проблемы [ править ]

В практических приложениях гауссовские модели процессов часто оцениваются на сетке, приводящей к многомерным нормальным распределениям. Использование этих моделей для прогнозирования или оценки параметров с использованием максимального правдоподобия требует оценки многомерной гауссовой плотности, которая включает в себя вычисление детерминанта и обратной матрицы ковариационной матрицы. Обе эти операции имеют кубическую вычислительную сложность, что означает, что даже для сеток небольшого размера обе операции могут иметь непомерно высокие вычислительные затраты. Этот недостаток привел к развитию методов множественной аппроксимации .

См. Также [ править ]

• Линейная статистика Байеса
• Байесовская интерпретация регуляризации
• Кригинг
• Гауссово свободное поле
• Процесс Гаусса – Маркова
• Кригинг с градиентным усилением (GEK)
• Студенческий t-процесс

Ссылки [ править ]

Внешние ссылки [ править ]

• Веб-сайт гауссовских процессов, включая текст гауссовских процессов Расмуссена и Вильямса для машинного обучения
• Мягкое введение в гауссовские процессы
• Обзор гауссовских случайных полей и корреляционных функций
• Эффективное обучение с подкреплением с использованием гауссовских процессов

Программное обеспечение [ править ]

• GPML: комплексный набор инструментов Matlab для регрессии и классификации GP
• STK: небольшой (Matlab / Octave) набор инструментов для кригинга и моделирования GP
• Модуль кригинга в фреймворке UQLab (Matlab)
• Функция Matlab / Octave для стационарных гауссовских полей
• Yelp MOE - механизм оптимизации черного ящика, использующий процесс обучения по Гауссу
• ooDACE - гибкий объектно-ориентированный набор инструментов Kriging Matlab.
• GPstuff - набор инструментов гауссовского процесса для Matlab и Octave
• GPy - фреймворк гауссовских процессов в Python
• GSTools - набор инструментов для геостатистики, включая регрессию гауссовского процесса, написанный на Python.
• Демонстрация интерактивной регрессии гауссовского процесса
• Базовая библиотека процессов Гаусса, написанная на C ++ 11
• scikit-learn - библиотека машинного обучения для Python, которая включает регрессию и классификацию гауссовских процессов.
• [1] - Набор инструментов Kriging (KriKit) разработан в Институте био- и геонаук 1 (IBG-1) Forschungszentrum Jülich (FZJ).

Видеоуроки [ править ]

• Основы гауссовского процесса Дэвида Маккея
• Обучение с помощью гауссовских процессов Карла Эдварда Расмуссена
• Байесовский вывод и гауссовские процессы Карла Эдварда Расмуссена