Ядро радиальной базисной функции

В машинном обучении , на радиальной базисной функции ядра , или RBF ядра , является популярной функцией ядра используется в различных kernelized алгоритмов обучения. В частности, он обычно используется в машинной классификации опорных векторов . ^[1]

Ядро RBF на двух выборках x и x ' , представленных как векторы признаков в некотором входном пространстве , определяется как ^[2]

{\ Displaystyle К (\ mathbf {x}, \ mathbf {x '}) = \ exp \ left (- {\ frac {\ | \ mathbf {x} - \ mathbf {x'} \ | ^ {2}} {2 \ sigma ^ {2}}} \ right)}

$\textstyle \|\mathbf {x} -\mathbf {x'} \|^{2}$ может быть распознан как квадрат евклидова расстояния между двумя векторами признаков. - свободный параметр. Эквивалентное определение включает параметр : $\sigma$ $\textstyle \gamma ={\tfrac {1}{2\sigma ^{2}}}$

K(\mathbf {x} ,\mathbf {x'} )=\exp(-\gamma \|\mathbf {x} -\mathbf {x'} \|^{2})

Поскольку значение ядра RBF уменьшается с расстоянием и колеблется от нуля (в пределе) до единицы (когда $x = x '$ ), оно имеет готовую интерпретацию как меру подобия . ^[2] Пространство признаков ядра имеет бесконечное количество измерений; для , его расширение: ^[3] $\sigma =1$

{\begin{alignedat}{2}\exp \left(-{\frac {1}{2}}\|\mathbf {x} -\mathbf {x'} \|^{2}\right)&=\exp({\frac {2}{2}}\mathbf {x} ^{\top }\mathbf {x'} -{\frac {1}{2}}\|\mathbf {x} \|^{2}-{\frac {1}{2}}\|\mathbf {x'} \|^{2})\\&=\exp(\mathbf {x} ^{\top }\mathbf {x'} )\exp(-{\frac {1}{2}}\|\mathbf {x} \|^{2})\exp(-{\frac {1}{2}}\|\mathbf {x'} \|^{2})\\&=\sum _{j=0}^{\infty }{\frac {(\mathbf {x} ^{\top }\mathbf {x'} )^{j}}{j!}}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right)\\&=\sum _{j=0}^{\infty }\sum _{\sum n_{i}=j}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right){\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right){\frac {{x'}_{1}^{n_{1}}\cdots {x'}_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\end{alignedat}}

Приближения [ править ]

Поскольку машины опорных векторов и другие модели, использующие трюк с ядром , плохо масштабируются для большого количества обучающих выборок или большого количества функций во входном пространстве, было введено несколько приближений к ядру RBF (и аналогичным ядрам). ^[4] Обычно они принимают форму функции z, которая отображает один вектор в вектор более высокой размерности, аппроксимируя ядро:

\langle z(\mathbf {x} ),z(\mathbf {x'} )\rangle \approx \langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle =K(\mathbf {x} ,\mathbf {x'} )

где - неявное отображение, встроенное в ядро RBF. $\textstyle \varphi$

Один из способов построения такого z - это случайная выборка из преобразования Фурье ядра. ^[5] Другой подход использует метод NYSTROM для аппроксимации eigendecomposition из матрицы Грама K , используя только случайную выборку из обучающего набора. ^[6]

См. Также [ править ]

Ссылки [ править ]

^ Чанг, Инь-Вэнь; Се, Чо-Джуй; Чанг, Кай-Вэй; Ринггаард, Майкл; Лин, Чи-Джен (2010). «Обучение и тестирование полиномиальных отображений данных низкой степени с помощью линейной SVM» . Журнал исследований в области машинного обучения . 11 : 1471–1490.
^ ^Б Жан-Филипп Vert, Кодзи Цуда и Бернхард Скекопф (2004). «Учебник по ядерным методам». Ядерные методы в вычислительной биологии .
^ Shashua Амнон (2009). «Введение в машинное обучение: заметки 67577». arXiv : 0904.3664v1 [ cs.LG ].
^ Андреас Мюллер (2012). Аппроксимация ядра для эффективных SVM (и другие методы извлечения признаков) .
^ Али Рахими и Бенджамин Рехт (2007). «Случайные функции для крупномасштабных ядерных машин» . Системы обработки нейронной информации .
^ CKI Уильямс и М. Сигер (2001). «Использование метода Нистрома для ускорения ядерных машин» . Достижения в системах обработки нейронной информации .CS1 maint: uses authors parameter (link)

[Chang2010-1] Чанг, Инь-Вэнь; Се, Чо-Джуй; Чанг, Кай-Вэй; Ринггаард, Майкл; Лин, Чи-Джен (2010). «Обучение и тестирование полиномиальных отображений данных низкой степени с помощью линейной SVM» . Журнал исследований в области машинного обучения . 11 : 1471–1490.

[primer-2] Б Жан-Филипп Vert, Кодзи Цуда и Бернхард Скекопф (2004). «Учебник по ядерным методам». Ядерные методы в вычислительной биологии .

[3] Shashua Амнон (2009). «Введение в машинное обучение: заметки 67577». arXiv : 0904.3664v1 [ cs.LG ].

[4] Андреас Мюллер (2012). Аппроксимация ядра для эффективных SVM (и другие методы извлечения признаков) .

[5] Али Рахими и Бенджамин Рехт (2007). «Случайные функции для крупномасштабных ядерных машин» . Системы обработки нейронной информации .

[6] CKI Уильямс и М. Сигер (2001). «Использование метода Нистрома для ускорения ядерных машин» . Достижения в системах обработки нейронной информации .CS1 maint: uses authors parameter (link)

[1]