Сеть гиперосновных функций

Эта статья - сирота , так как никакие другие статьи не ссылаются на нее . Пожалуйста, введите ссылки на эту страницу из связанных статей ; попробуйте инструмент "Найти ссылку", чтобы получить предложения. ( Декабрь 2014 г. )

В машинном обучении , в функции сети Hyper основы , или сети HyperBF , представляет собой обобщение радиальной базисной функции (RBF) сети концепции, где Махаланобис -кака расстояние используется вместо евклидова расстояние меры. Сети с гипербазисными функциями были впервые представлены Поджио и Джирози в статье 1990 года «Сети для приближения и обучения». ^{[1] [2]}

Сетевая архитектура [ править ]

Типичная сетевая структура HyperBF состоит из реального входного вектора , скрытого слоя функций активации и линейного выходного слоя. Выход сети является скалярной функцией входного вектора, определяется выражением ${\ Displaystyle х \ в \ mathbb {R} ^ {п}}$${\ Displaystyle \ phi: \ mathbb {R} ^ {n} \ to \ mathbb {R}}$

${\ displaystyle \ phi (x) = \ sum _ {j = 1} ^ {N} a_ {j} \ rho _ {j} (|| x- \ mu _ {j} ||)}$

где - количество нейронов в скрытом слое, а - центр и вес нейрона . Функция активации в сети HyperBF принимает следующий вид${\ displaystyle N}$${\ displaystyle \ mu _ {j}}$${\ displaystyle a_ {j}}$${\ displaystyle j}$ ${\displaystyle \rho _{j}(||x-\mu _{j}||)}$

${\displaystyle \rho _{j}(||x-\mu _{j}||)=e^{(x-\mu _{j})^{T}R_{j}(x-\mu _{j})}}$

где - положительно определенная матрица. В зависимости от области применения обычно рассматриваются следующие типы матриц ^[3]${\displaystyle R_{j}}$${\displaystyle d\times d}$${\displaystyle R_{j}}$

• ${\displaystyle R_{j}={\frac {1}{2\sigma ^{2}}}\mathbb {I} _{d\times d}}$, где . Этот случай соответствует обычной сети RBF.${\displaystyle \sigma >0}$
• ${\displaystyle R_{j}={\frac {1}{2\sigma _{j}^{2}}}\mathbb {I} _{d\times d}}$, где . В этом случае базисные функции радиально симметричны, но масштабируются с разной шириной.${\displaystyle \sigma _{j}>0}$
• ${\displaystyle R_{j}=diag\left({\frac {1}{2\sigma _{j1}^{2}}},...,{\frac {1}{2\sigma _{jz}^{2}}}\right)\mathbb {I} _{d\times d}}$, где . Каждый нейрон имеет эллиптическую форму разного размера.${\displaystyle \sigma _{ji}>0}$
• Положительно определенная матрица, но не диагональная.

Обучение [ править ]

Обучение сетей HyperBF включает в себя оценку веса , формы и центров нейронов и . Поджио и Джирози (1990) описывают метод обучения с движущимися центрами и адаптируемыми формами нейронов. Схема метода представлена ​​ниже.${\displaystyle a_{j}}$${\displaystyle R_{j}}$${\displaystyle \mu _{j}}$

Рассмотрим квадратичные потери в сети . Следующие условия должны выполняться оптимально:${\displaystyle H[\phi ^{*}]=\sum _{i=1}^{N}(y_{i}-\phi ^{*}(x_{i}))^{2}}$

${\displaystyle {\frac {\partial H(\phi ^{*})}{\partial a_{j}}}=0}$, ,${\displaystyle {\frac {\partial H(\phi ^{*})}{\partial \mu _{j}}}=0}$${\displaystyle {\frac {\partial H(\phi ^{*})}{\partial W}}=0}$

где . Тогда в методе градиентного спуска значения этого минимума можно найти как устойчивую фиксированную точку следующей динамической системы:${\displaystyle R_{j}=W^{T}W}$${\displaystyle a_{j},\mu _{j},W}$${\displaystyle H[\phi ^{*}]}$

${\displaystyle {\dot {a_{j}}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial a_{j}}}}$, ,${\displaystyle {\dot {\mu _{j}}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial \mu _{j}}}}$${\displaystyle {\dot {W}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial W}}}$

где определяет скорость сходимости.${\displaystyle \omega }$

В целом, обучение сетей HyperBF может быть сложным с вычислительной точки зрения. Более того, высокая степень свободы HyperBF приводит к переобучению и плохому обобщению. Однако у сетей HyperBF есть важное преимущество: небольшого количества нейронов достаточно для обучения сложным функциям. ^[2]

Ссылки [ править ]