Гауссовский процесс нейронной сети

Воспроизвести медиа

Слева : байесовская нейронная сеть с двумя скрытыми слоями, преобразующая трехмерный вход (внизу) в двухмерный выходной (вверху). Справа : выходная функция плотности вероятности, индуцированная случайными весами сети. Видео : по мере увеличения ширины сети выходное распределение упрощается, в конечном итоге сходясь к многомерной нормали в пределе бесконечной ширины.${\ displaystyle (y_ {1}, y_ {2})}$ ${\ displaystyle p (y_ {1}, y_ {2})}$

Байесовские сети - это инструмент моделирования для присвоения вероятностей событиям и, таким образом, характеристики неопределенности в прогнозах модели. Глубокое обучение и искусственные нейронные сети - это подходы, используемые в машинном обучении для создания вычислительных моделей, которые учатся на обучающих примерах. Байесовские нейронные сети объединяют эти поля. Они представляют собой тип искусственной нейронной сети, параметры и прогнозы которой являются вероятностными. ^{[1] [2]} В то время как стандартные искусственные нейронные сети часто придают высокую степень достоверности даже неверным предсказаниям, ^[3] байесовские нейронные сети могут более точно оценить, насколько вероятно, что их предсказания будут правильными.

Гауссовские процессы в нейронных сетях (NNGP) эквивалентны байесовским нейронным сетям в определенном пределе ^{[4] [5] [6] [7] [8] [9] [10] [11] [12]]} и обеспечивают замкнутую форму. способ оценки байесовских нейронных сетей. Они представляют собой распределение вероятностей гауссовского процесса, которое описывает распределение прогнозов, сделанных соответствующей байесовской нейронной сетью. Вычисления в искусственных нейронных сетях обычно организованы в последовательные слои искусственных нейронов.. Количество нейронов в слое называется шириной слоя. Эквивалентность между NNGP и байесовскими нейронными сетями возникает, когда слои в байесовской нейронной сети становятся бесконечно широкими (см. Рисунок). Этот предел большой ширины представляет практический интерес, поскольку нейронные сети конечной ширины обычно работают строго лучше при увеличении ширины слоя. ^{[13] [14] [8] [15]}

NNGP также появляется в нескольких других контекстах: он описывает распределение по предсказаниям, сделанным широкими небайесовскими искусственными нейронными сетями после случайной инициализации их параметров, но до обучения; он появляется как член в уравнениях предсказания нейронного касательного ядра ; он используется при глубоком распространении информации, чтобы определить, можно ли обучать гиперпараметры и архитектуры. ^[16] Это связано с другими ограничениями большой ширины нейронных сетей .

Карикатура [ править ]

Когда параметры сети бесконечной ширины многократно отбираются от их предшествующих значений , результирующее распределение по выходам сети описывается гауссовским процессом.${\displaystyle \theta }$${\displaystyle p(\theta )}$

Каждая настройка параметров нейронной сети соответствует определенной функции, вычисляемой нейронной сетью. Следовательно, априорное распределение по параметрам нейронной сети соответствует априорному распределению по функциям, вычисленным сетью. Поскольку нейронные сети делают бесконечно широкими, это распределение по функциям сходится к гауссовскому процессу для многих архитектур.${\displaystyle \theta }$${\displaystyle p(\theta )}$

На рисунке справа изображены одномерные выходы нейронной сети для двух входов и друг против друга. Черные точки показывают функцию, вычисленную нейронной сетью на этих входных данных для случайных выборок параметров из . Красные линии - это изовероятностные контуры для совместного распределения по выходам сети и индуцированные . Это распределение в функциональном пространстве, соответствующее распределению в пространстве параметров, а черные точки - это образцы из этого распределения. Для бесконечно широких нейронных сетей, поскольку распределение по функциям, вычисляемым нейронной сетью, является гауссовским процессом, совместное распределение по выходным данным сети является многомерным гауссовым для любого конечного набора входных данных сети.${\displaystyle z^{L}(\cdot ;\theta )}$${\displaystyle x}$${\displaystyle x^{*}}$${\displaystyle p(\theta )}$${\displaystyle z^{L}(x;\theta )}$${\displaystyle z^{L}(x^{*};\theta )}$${\displaystyle p(\theta )}$${\displaystyle p(\theta )}$

Обозначения, используемые в этом разделе, такие же, как обозначения, используемые ниже для получения соответствия между NNGP и полносвязными сетями, и более подробную информацию можно найти там.

Архитектура, соответствующая NNGP [ править ]

Эквивалентность между бесконечно широкими байесовскими нейронными сетями и NNGP, как было показано, сохраняется для: одиночных скрытых слоев ^[4] и глубоких ^{[6] [7]} полностью связанных сетей, поскольку количество единиц на слой доведено до бесконечности; сверточные нейронные сети, так как количество каналов доведено до бесконечности; ^{[8] [9] [10]} трансформаторные сети, так как количество внимательных голов доведено до бесконечности; ^[17] рекуррентные сети, поскольку количество единиц доведено до бесконечности. ^[12]Фактически, это NNGP-соответствие выполняется почти для любой архитектуры: как правило, если архитектура может быть выражена исключительно через матричное умножение и покоординатную нелинейность (т. Е. Тензорную программу ), то она имеет GP бесконечной ширины. ^[12] Это, в частности, включает все нейронные сети с прямой связью или рекуррентные нейронные сети, состоящие из многослойного персептрона, рекуррентных нейронных сетей (например, LSTM , GRU ), свертки (nD или графа) , объединения, пропуска соединения, внимания, пакетной нормализации и / или нормализации уровня .

Соответствие между бесконечно широкой полносвязной сетью и гауссовским процессом [ править ]

В этом разделе подробно рассматривается соответствие между бесконечно широкими нейронными сетями и гауссовскими процессами для конкретного случая полносвязной архитектуры. В нем представлен контрольный набросок, объясняющий, почему соответствие сохраняется, и представлена ​​конкретная функциональная форма NNGP для полносвязных сетей. Схема доказательства полностью соответствует подходу Новака и др., 2018 . ^[8]

Спецификация сетевой архитектуры [ править ]

Рассмотрим полностью связанную искусственную нейронную сеть со входами , параметрами, состоящими из весов и смещений для каждого слоя в сети, предварительными активациями (преднелинейность) , активациями (постнелинейность) , точечной нелинейностью и шириной слоя . Для простоты ширина считываемого вектора принята равной 1. Параметры этой сети имеют априорное распределение , которое состоит из изотропного гауссова уравнения для каждого веса и смещения, причем дисперсия весов масштабируется обратно пропорционально ширине слоя. Эта сеть проиллюстрирована на рисунке справа и описывается следующей системой уравнений:${\displaystyle x}$${\displaystyle \theta }$${\displaystyle W^{l}}$${\displaystyle b^{l}}$${\displaystyle l}$${\displaystyle z^{l}}$${\displaystyle y^{l}}$${\displaystyle \phi (\cdot )}$${\displaystyle n^{l}}$${\displaystyle n^{L+1}}$${\displaystyle z^{L}}$${\displaystyle p(\theta )}$

${\displaystyle {\begin{aligned}x&\equiv {\text{input}}\\y^{l}(x)&=\left\{{\begin{array}{lcl}x&&l=0\\\phi \left(z^{l-1}(x)\right)&&l>0\end{array}}\right.\\z_{i}^{l}(x)&=\sum _{j}W_{ij}^{l}y_{j}^{l}(x)+b_{i}^{l}\\W_{ij}^{l}&\sim {\mathcal {N}}\left(0,{\frac {\sigma _{w}^{2}}{n^{l}}}\right)\\b_{i}^{l}&\sim {\mathcal {N}}\left(0,\sigma _{b}^{2}\right)\\\phi (\cdot )&\equiv {\text{nonlinearity}}\\y^{l}(x),z^{l-1}(x)&\in \mathbb {R} ^{n^{l}\times 1}\\n^{L+1}&=1\\\theta &=\left\{W^{0},b^{0},\dots ,W^{L},b^{L}\right\}\end{aligned}}}$

${\displaystyle z^{l}|y^{l}}$это гауссовский процесс [ править ]

Сначала мы заметим, что предварительные активации описываются гауссовским процессом, обусловленным предыдущими активациями . Этот результат верен даже при конечной ширине. Каждая предварительная активация представляет собой взвешенную сумму гауссовских случайных величин, соответствующих весам и смещениям , где коэффициенты для каждой из этих гауссовских переменных являются предыдущими активациями . Поскольку они представляют собой взвешенную сумму гауссианов с нулевым средним, они сами являются гауссианами с нулевым средним (обусловленными коэффициентами ). Поскольку вместе являются гауссовыми для любого набора , они описываются гауссовским процессом, обусловленным предыдущими активациями.${\displaystyle z^{l}}$${\displaystyle y^{l}}$${\displaystyle z_{i}^{l}}$${\displaystyle W_{ij}^{l}}$${\displaystyle b_{i}^{l}}$${\displaystyle y_{j}^{l}}$${\displaystyle z_{i}^{l}}$${\displaystyle y_{j}^{l}}$${\displaystyle z^{l}}$${\displaystyle y^{l}}$${\displaystyle y^{l}}$. Ковариация или ядро ​​этого гауссовского процесса зависит от дисперсии веса и смещения и , а также от второй матрицы моментов предыдущих активаций ,${\displaystyle \sigma _{w}^{2}}$${\displaystyle \sigma _{b}^{2}}$${\displaystyle K^{l}}$${\displaystyle y^{l}}$

${\displaystyle {\begin{aligned}z_{i}^{l}\mid y^{l}&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}K^{l}+\sigma _{b}^{2}\right)\\K^{l}(x,x')&={\frac {1}{n^{l}}}\sum _{i}y_{i}^{l}(x)y_{i}^{l}(x')\end{aligned}}}$

Эффект весовой шкалы заключается в изменении масштаба вклада в ковариационную матрицу от , в то время как смещение разделяется для всех входных данных, и, таким образом, делает для разных точек данных более похожими и делает ковариационную матрицу более похожей на постоянную матрицу.${\displaystyle \sigma _{w}^{2}}$${\displaystyle K^{l}}$${\displaystyle \sigma _{b}^{2}}$${\displaystyle z_{i}^{l}}$

${\displaystyle z^{l}|K^{l}}$это гауссовский процесс [ править ]

Предварительные активации зависят только от его второй матрицы моментов . Из-за этого мы можем сказать, что это гауссовский процесс, обусловленный , а не обусловленный ,${\displaystyle z^{l}}$${\displaystyle y^{l}}$${\displaystyle K^{l}}$${\displaystyle z^{l}}$${\displaystyle K^{l}}$${\displaystyle y^{l}}$

${\displaystyle {\begin{aligned}z_{i}^{l}\mid K^{l}&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}K^{l}+\sigma _{b}^{2}\right).\end{aligned}}}$

По ширине слоя , становится детерминированной ${\displaystyle n^{l}\rightarrow \infty }$${\displaystyle K^{l}\mid K^{l-1}}$[ редактировать ]

Как было определено ранее, это вторая матрица моментов . Поскольку это вектор активации после применения нелинейности , его можно заменить на , что приведет к модифицированному уравнению, выражающему для через ,${\displaystyle K^{l}}$${\displaystyle y^{l}}$${\displaystyle y^{l}}$${\displaystyle \phi }$${\displaystyle \phi \left(z^{l-1}\right)}$${\displaystyle K^{l}}$${\displaystyle l>0}$${\displaystyle z^{l-1}}$

${\displaystyle {\begin{aligned}K^{l}(x,x')&={\frac {1}{n^{l}}}\sum _{i}\phi \left(z_{i}^{l-1}(x)\right)\phi \left(z_{i}^{l-1}(x')\right).\end{aligned}}}$

Мы уже определили, что это гауссовский процесс. Это означает, что определение суммы является средним по выборкам из гауссовского процесса, который является функцией ,${\displaystyle z^{l-1}|K^{l-1}}$${\displaystyle K^{l}}$${\displaystyle n^{l}}$${\displaystyle K^{l-1}}$

${\displaystyle {\begin{aligned}\left\{z_{i}^{l-1}(x),z_{i}^{l-1}(x')\right\}&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}K^{l-1}+\sigma _{b}^{2}\right).\end{aligned}}}$

Поскольку ширина слоя стремится к бесконечности, это среднее значение по выборкам из гауссовского процесса можно заменить интегралом по гауссовскому процессу:${\displaystyle n^{l}}$${\displaystyle n^{l}}$

${\displaystyle {\begin{aligned}\lim _{n^{l}\rightarrow \infty }K^{l}(x,x')&=\int dzdz'\phi (z)\phi (z'){\mathcal {N}}\left(\left[{\begin{array}{c}z\\z'\end{array}}\right];0,\sigma _{w}^{2}\left[{\begin{array}{cc}K^{l-1}(x,x)&K^{l-1}(x,x')\\K^{l-1}(x',x)&K^{l-1}(x',x')\end{array}}\right]+\sigma _{b}^{2}\right)\end{aligned}}}$

Так, в бесконечной ширины ограничивает вторую матрицу моментов для каждой пары входов и может быть выражена как интеграл по 2d гауссовой, произведения и . Существует ряд ситуаций, в которых эта проблема решена аналитически, например, когда является нелинейностью ReLU ^[18] или функции ошибок ^[5] . Даже если его нельзя решить аналитически, поскольку это 2-й интеграл, его, как правило, можно эффективно вычислить численно. ^[6] Этот интеграл детерминирован, поэтому он детерминирован.${\displaystyle K^{l}}$${\displaystyle x}$${\displaystyle x'}$${\displaystyle \phi (z)}$${\displaystyle \phi (z')}$${\displaystyle \phi (\cdot )}$${\displaystyle K^{l}|K^{l-1}}$

Для краткости мы определяем функционал , который соответствует вычислению этого 2-го интеграла для всех пар входных данных и который отображается в ,${\displaystyle F}$${\displaystyle K^{l-1}}$${\displaystyle K^{l}}$

${\displaystyle {\begin{aligned}\lim _{n^{l}\rightarrow \infty }K^{l}&=F\left(K^{l-1}\right).\end{aligned}}}$

${\displaystyle z^{L}\mid x}$является NNGP [ править ]

По рекурсивно применяя наблюдение , что является детерминированным , как , может быть записана в виде детерминированной функции ,${\displaystyle K^{l}\mid K^{l-1}}$${\displaystyle n^{l}\rightarrow \infty }$${\displaystyle K^{L}}$${\displaystyle K^{0}}$

${\displaystyle {\begin{aligned}\lim _{\min \left(n^{1},\dots ,n^{L}\right)\rightarrow \infty }K^{L}&=F\circ F\cdots \left(K^{0}\right)=F^{L}\left(K^{0}\right),\end{aligned}}}$

где означает последовательное применение функционала раз. Комбинируя это выражение с дополнительными наблюдениями, что матрица второго момента входного слоя является детерминированной функцией входа , и это гауссовский процесс, выход нейронной сети может быть выражен как гауссовский процесс с точки зрения его входа,${\displaystyle F^{L}}$${\displaystyle F}$${\displaystyle L}$${\displaystyle K^{0}(x,x')={\frac {1}{n^{0}}}\sum _{i}x_{i}x'_{i}}$${\displaystyle x}$${\displaystyle z^{L}|K^{L}}$

${\displaystyle {\begin{aligned}z_{i}^{L}(x)&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}F^{L}\left(K^{0}\right)+\sigma _{b}^{2}\right).\end{aligned}}}$

Программные библиотеки [ править ]

Neural Tangents - это бесплатная библиотека Python с открытым исходным кодом, используемая для вычислений и выполнения логических выводов с помощью NNGP и ядра нейронных касательных, соответствующих различным распространенным архитектурам ANN. ^[19]

Ссылки [ править ]