В функциональном анализе (раздел математики ) гильбертово пространство воспроизводящего ядра ( RKHS ) - это гильбертово пространство функций, в котором точечное вычисление является непрерывным линейным функционалом . Грубо говоря, это означает, что если две функции а также в РХС близки по норме, т. е. маленький, то а также также поточечно близки, т. е. мал для всех . Обратное не обязательно.
Не совсем просто построить гильбертово пространство функций, которое не является RKHS. [1] Однако некоторые примеры были найдены. [2] [3]
Следует отметить , что L 2 пространства не являются гильбертовы пространства функций (и , следовательно , не RKHSs), а скорее гильбертовыми классов эквивалентности функций (например, функции а также определяется а также эквивалентны в L 2 ). Однако есть RKHS, в которых норма является L 2 -нормой, например, пространство функций с ограниченной полосой пропускания (см. Пример ниже).
RKHS связан с ядром, которое воспроизводит каждую функцию в пространстве в том смысле, что для любого в наборе, на котором определены функции, "оценка на "может быть выполнено путем взятия внутреннего продукта с функцией, определяемой ядром. Такое воспроизводящее ядро существует тогда и только тогда, когда каждый оценочный функционал является непрерывным.
Воспроизводящее ядро было впервые введено в 1907 году в работе Станислава Зарембы, посвященной краевым задачам для гармонических и бигармонических функций . Джеймс Мерсер одновременно исследовал функции, которые удовлетворяют свойству воспроизведения в теории интегральных уравнений . Идея воспроизводящего ядра оставалась нетронутой в течение почти двадцати лет, пока не появилась в диссертациях Габора Сегу , Стефана Бергмана и Саломона Бохнера . В конце концов, эта тема была систематически развита в начале 1950-х годов Нахманом Ароншайном и Стефаном Бергманом. [4]
Эти пространства имеют широкое применение, включая комплексный анализ , гармонический анализ и квантовую механику . Воспроизведение ядерных Гильбертовых пространств особенно важно в области теории статистического обучения из-за знаменитой теоремы о представителе, которая гласит, что каждая функция в RKHS, которая минимизирует эмпирический функционал риска, может быть записана как линейная комбинация функции ядра, оцениваемой в точках обучения. . Это практически полезный результат, поскольку он эффективно упрощает задачу минимизации эмпирического риска от бесконечномерной задачи до конечномерной задачи оптимизации.
Для простоты понимания мы даем основу для вещественнозначных гильбертовых пространств. Теория может быть легко расширена на пространства комплекснозначных функций и, следовательно, включает множество важных примеров воспроизведения ядерных гильбертовых пространств, которые являются пространствами аналитических функций . [5]
Определение
Позволять - произвольное множество игильбертово пространство из вещественных функций на, снабженный поточечным сложением и поточечным скалярным умножением. Оценка функционал над гильбертово пространство функций - линейный функционал, оценивающий каждую функцию в точке ,
Мы говорим, что H является воспроизводящим ядерным гильбертовым пространством, если для всех в , является непрерывной в любом в или, что то же самое, если является ограниченным оператором на, т.е. существует некая такой, что
( 1 )
Хотя предполагается для всех , возможно, что .
В то время как свойство ( 1 ) является самым слабым условием, которое гарантирует как существование внутреннего продукта, так и оценку каждой функции вв каждой точке предметной области он не поддается легкому применению на практике. Более интуитивное определение RKHS можно получить, заметив, что это свойство гарантирует, что функционал оценки может быть представлен путем взятия внутреннего произведения с функцией в . Эта функция является так называемым воспроизводящим ядром для гильбертова пространства.от которого и произошло свое название RKHS. Более формально из теоремы Рисса о представлении следует, что для всех в существует уникальный элемент из с воспроизводящим свойством,
( 2 )
С сам является функцией, определенной на со значениями в поле (или же в случае комплексных гильбертовых пространств) и как в у нас есть это
где это элемент в связано с .
Это позволяет нам определить воспроизводящее ядро как функция от
Из этого определения легко увидеть, что (или же в комплексном случае) является как симметричным (соответственно сопряженно-симметричным), так и положительно определенным , т. е.
для любой [6] Теорема Мура – Ароншайна (см. Ниже) является своего рода обращением к этому: если функция удовлетворяет этим условиям, то существует гильбертово пространство функций на для которого это воспроизводящее ядро.
Пример
Пространство непрерывных функций с ограниченной полосой пропускания это RKHS, как мы сейчас показываем. Формально зафиксировать некоторую частоту среза и определим гильбертово пространство
где - множество непрерывных функций, а это преобразование Фурье от.
Из теоремы обращения Фурье имеем
Тогда из неравенства Коши – Шварца и теоремы Планшереля следует, что для всех,
Это неравенство показывает, что оценочный функционал ограничен, доказывая, что действительно РХС.
Функция ядра в этом случае дается
Чтобы убедиться в этом, сначала отметим, что преобразование Фурье определенное выше дается формулой
что является следствием сдвига во времени преобразования Фурье . Следовательно, используя теорему Планшереля , имеем
Таким образом, мы получаем воспроизводящее свойство ядра.
Обратите внимание, что в данном случае это "версия с ограничением полосы пропускания" дельта-функции Дирака , и что сходится к в слабом смысле как частота среза стремится к бесконечности.
Теорема Мура – Ароншайна.
Мы видели, как гильбертово пространство воспроизводящего ядра определяет функцию воспроизводящего ядра, которая является как симметричной, так и положительно определенной . Теорема Мура – Ароншайна идет в другом направлении; он утверждает, что каждое симметричное, положительно определенное ядро определяет уникальное воспроизводящее ядро гильбертова пространство. Теорема впервые появилась в Теории воспроизводства ядер Ароншайна , хотя он приписывает ее Э. Х. Муру .
- Теорема . Пусть K является симметричной, положительно определенная ядро на множестве X . Тогда существует единственное гильбертово пространство функций на X, для которого K является воспроизводящим ядром.
Доказательство . Для всех x в X определим K x = K ( x , ⋅). Пусть H 0 - линейная оболочка { K x : x ∈ X }. Определите внутренний продукт на H 0 с помощью
что подразумевает . Симметрия этого внутреннего произведения следует из симметрии K, а невырожденность следует из того факта, что K положительно определен.
Пусть Н будет на завершение из H 0 по отношению к этому внутреннему продукту. Тогда H состоит из функций вида
Теперь мы можем проверить свойство воспроизведения ( 2 ):
Чтобы доказать единственность, пусть G - другое гильбертово пространство функций, для которого K - воспроизводящее ядро. Для любых x и y из X из ( 2 ) следует, что
По линейности на промежутке . потомпоскольку G полна и содержит H 0, а значит, и свое пополнение.
Теперь мы должны доказать , что каждый элемент из G в H . Позволятьбыть элементом G . Поскольку H - замкнутое подпространство в G , мы можем написать где а также . Сейчас еслитогда, поскольку K является воспроизводящим ядром G и H :
где мы использовали тот факт, что принадлежит H, так что его внутренний продукт св G равен нулю. Это показывает, чтов G и завершает доказательство.
Интегральные операторы и теорема Мерсера
Мы можем охарактеризовать симметричное положительно определенное ядро с помощью интегрального оператора с использованием теоремы Мерсера и получить дополнительное представление о RKHS. Позволять- компактное пространство со строго положительной конечной борелевской мерой а также непрерывная, симметричная и положительно определенная функция. Определим интегральный оператор в виде
где - пространство функций, суммируемых с квадратом относительно .
Теорема Мерсера утверждает, что спектральное разложение интегрального оператора из дает представление в виде ряда через собственные значения и собственные функции . Отсюда следует, чтоявляется воспроизводящим ядром, так что соответствующий RKHS может быть определен в терминах этих собственных значений и собственных функций. Подробности приводим ниже.
При этих предположениях компактный, непрерывный, самосопряженный и положительный оператор. Из спектральной теоремы для самосопряженных операторов следует, что существует не более чем счетная убывающая последовательность такой, что а также , где образуют ортонормированный базис . По положительности для всех Можно также показать, что непрерывно отображается в пространство непрерывных функций и поэтому мы можем выбрать в качестве собственных векторов непрерывные функции, т. е. для всех Тогда по теореме Мерсера может быть записан в терминах собственных значений и непрерывных собственных функций как
для всех такой, что
Это последовательное представление называется ядром Мерсера или представлением Мерсера. .
Кроме того, можно показать, что RKHS из дан кем-то
где внутренний продукт дано
Это представление RKHS имеет применение в вероятности и статистике, например, в представлении Карунена-Лоева для случайных процессов и ядра PCA .
Карты характеристик
Карта особенностью является карта, где является гильбертовым пространством, которое мы будем называть пространством признаков. В первых разделах была представлена связь между ограниченными / непрерывными оценочными функциями, положительно определенными функциями и интегральными операторами, а в этом разделе мы даем другое представление RKHS в терминах карт характеристик.
Сначала отметим, что каждая карта функций определяет ядро через
( 3 )
Четко является симметричным, а положительная определенность следует из свойств скалярного произведения в . Наоборот, каждая положительно определенная функция и соответствующее воспроизводящее ядро гильбертова пространство имеет бесконечно много связанных отображений признаков, таких что выполняется ( 3 ).
Например, мы можем тривиально взять а также для всех . Тогда ( 3 ) удовлетворяется свойством воспроизведения. Другой классический пример карты признаков относится к предыдущему разделу, касающемуся интегральных операторов, взяв а также .
Эта связь между ядрами и картами функций дает нам новый способ понять положительно определенные функции и, следовательно, воспроизводить ядра как внутренние продукты в . Более того, каждая карта признаков может естественным образом определять RKHS посредством определения положительно определенной функции.
Наконец, карты функций позволяют нам создавать функциональные пространства, раскрывающие другую перспективу RKHS. Рассмотрим линейное пространство
Мы можем определить норму на от
Можно показать, что является RKHS с ядром, определенным . Это представление подразумевает, что элементы воспроизводящего ядра являются внутренними продуктами элементов в пространстве функций. Этот взгляд на RKHS связан с уловкой ядра в машинном обучении. [7]
Характеристики
Читателям могут быть полезны следующие свойства RKHS.
- Позволять последовательность множеств и - набор соответствующих положительно определенных функций на Отсюда следует, что
- это ядро на
- Позволять то ограничение к также является воспроизводящим ядром.
- Рассмотрим нормализованное ядро такой, что для всех . Определим псевдометрику на X как
- По неравенству Коши-Шварца ,
- Это неравенство позволяет нам рассматривать как мера сходства между входами. Если похожи тогда будет ближе к 1, а если непохожи тогда будет ближе к 0.
- Закрытие пролета совпадает с . [8]
Общие примеры
Билинейные ядра
РХС этому ядру соответствует дуальное пространство, состоящее из функций удовлетворение .
Полиномиальные ядра
Ядра радиальных базисных функций
Это еще один общий класс ядер, удовлетворяющих . Вот некоторые примеры:
- Гауссово или квадратное экспоненциальное ядро :
- Ядро Лапласа :
- Квадрат нормы функции в РХС с этим ядром: [9]
- .
Ядра Бергмана
Мы также приводим примеры ядер Бергмана . Пусть X конечна , и пусть H состоит из всех комплексных функций на X . Тогда элемент H можно представить как массив комплексных чисел. Если используется обычный внутренний продукт , то K x - это функция, значение которой равно 1 в x и 0 везде, а можно рассматривать как единичную матрицу, поскольку
В этом случае H изоморфна.
Случай (где обозначает единичный диск ) является более сложным. Здесь пространство Бергмана ЧАС 2 ( D ) {\ Displaystyle Н ^ {2} (\ mathbb {D})} - пространство голоморфных функций, интегрируемых с квадратом, на. Можно показать, что воспроизводящее ядро для является
Наконец, пространство полосно-ограниченных функций в с пропускной способностью РХС с воспроизводящим ядром
Расширение до векторных функций
В этом разделе мы расширяем определение RKHS на пространства векторных функций, поскольку это расширение особенно важно для многозадачного обучения и регуляризации многообразий . Основное отличие состоит в том, что воспроизводящее ядроявляется симметричной функцией, которая теперь является положительной полуопределенной матрицей для любого в . Более формально, мы определяем вектор-RKHS (vvRKHS) как гильбертово пространство функций такое, что для всех а также
а также
Это второе свойство аналогично воспроизводящему свойству для скалярнозначного случая. Отметим, что это определение также может быть связано с интегральными операторами, ограниченными оценочными функциями и отображениями признаков, как мы видели для скалярнозначного RKHS. Мы можем эквивалентным образом определить vvRKHS как векторное гильбертово пространство с ограниченным оценивающим функционалом и показать, что это влечет существование единственного воспроизводящего ядра по теореме о представлении Рисса. Теорема Мерсера также может быть расширена, чтобы обратиться к векторной настройке, и, следовательно, мы можем получить представление карты функций vvRKHS. Наконец, можно также показать, что замыкание промежутка совпадает с , еще одно свойство, аналогичное скалярному случаю.
Мы можем получить интуитивное представление о vvRKHS, покомпонентно рассматривая эти пространства. В частности, мы обнаруживаем, что каждый vvRKHS изометрически изоморфен скалярнозначному RKHS на конкретном входном пространстве. Позволять. Рассмотрим пространство и соответствующее воспроизводящее ядро
( 4 )
Как отмечалось выше, RKHS, связанный с этим воспроизводящим ядром, задается закрытием диапазона где для каждого набора пар .
Связь со скалярнозначным RKHS тогда может быть сделана тем фактом, что каждое матричнозначное ядро можно отождествить с ядром вида ( 4 ) с помощью
Более того, каждое ядро вида ( 4 ) определяет матричнозначное ядро с указанным выше выражением. Теперь позволяя карте быть определенным как
где это компонент канонической основы для , можно показать, что биективен и является изометрией между а также .
Хотя этот взгляд на vvRKHS может быть полезен при многозадачном обучении, эта изометрия не сводит изучение случая векторных значений к случаю скалярных значений. Фактически, эта процедура изометрии может сделать как скалярное ядро, так и пространство ввода слишком сложными для практической работы, поскольку свойства исходных ядер часто теряются. [10] [11] [12]
Важный класс матричнозначных воспроизводящих ядер - это разделяемые ядра, которые можно факторизовать как произведение скалярнозначного ядра и-мерная симметричная положительно полуопределенная матрица. В свете нашего предыдущего обсуждения эти ядра имеют вид
для всех в а также в . Поскольку скалярное ядро кодирует зависимости между входами, мы можем наблюдать, что матричное ядро кодирует зависимости между входами и выходами.
Наконец, отметим, что вышеупомянутая теория может быть распространена на пространства функций со значениями в функциональных пространствах, но получение ядер для этих пространств является более сложной задачей. [13]
Связь между RKHS с функцией ReLU
Функция ReLU обычно определяется каки является основой архитектуры нейронных сетей, где он используется в качестве функции активации. Можно построить ReLU-подобную нелинейную функцию, используя теорию воспроизводящих ядерных гильбертовых пространств. Ниже мы выводим эту конструкцию и показываем, как она подразумевает репрезентативную мощность нейронных сетей с активациями ReLU.
Будем работать с гильбертовым пространством абсолютно непрерывных функций с и квадратично интегрируемые (т. е. ) производная. Он имеет внутренний продукт
Для построения воспроизводящего ядра достаточно рассмотреть плотное подпространство, поэтому пусть а также . Тогда основная теорема исчисления дает
где
а также т.е.
Из этого следует воспроизводит .
Взяв предел , получаем функцию ReLU,
Используя эту формулировку, мы можем применить теорему о представителе к RKHS, позволяя доказать оптимальность использования активаций ReLU в настройках нейронной сети.
Смотрите также
- Положительно определенное ядро
- Теорема Мерсера
- Уловка ядра
- Встраивание распределений в ядро
- Теорема о представителях
Заметки
- ^ Alpay, Д. и Т. М. Миллс. «Семейство гильбертовых пространств, не воспроизводящих ядерные гильбертовы пространства». J. Anal. Прил. 1.2 (2003): 107–111.
- ^ З. Пастернак-Виньярский, О весах, допускающих воспроизведение ядра типа Бергмана, Международный журнал математики и математических наук, вып. 15, выпуск 1, 1992.
- ^ Т. Ł. Ynda, ˙ О весах, допускающих воспроизведение ядра типа Szeg ,o, Журнал современного математического анализа (Армянская академия наук), 55, 2020.
- ^ Окутмустур
- ^ Полсон
- ^ Дарретт
- ^ Росаско
- ^ Росаско
- ^ Berlinet, Ален и Томас, Кристина. Воспроизведение ядерных гильбертовых пространств в теории вероятностей и статистики , Kluwer Academic Publishers, 2004 г.
- ^ Де Вито
- ^ Чжан
- ↑ Альварес
- ^ Росаско
Рекомендации
- Альварес, Маурисио, Росаско, Лоренцо и Лоуренс, Нил, «Ядра для векторно-значных функций: обзор», https://arxiv.org/abs/1106.6251 , июнь 2011 г.
- Ароншайн, Нахман (1950). «Теория воспроизводства ядер» . Труды Американского математического общества . 68 (3): 337–404. DOI : 10.1090 / S0002-9947-1950-0051437-7 . JSTOR 1990404 . Руководство по ремонту 0051437 .
- Берлинет, Ален и Томас, Кристина. Воспроизведение ядерных гильбертовых пространств в теории вероятностей и статистики , Kluwer Academic Publishers, 2004.
- Кукер, Фелипе; Смейл, Стив (2002). «О математических основах обучения» . Бюллетень Американского математического общества . 39 (1): 1–49. DOI : 10.1090 / S0273-0979-01-00923-5 . Руководство по ремонту 1864085 .
- Де Вито, Эрнест, Уманита, Вероника и Вилла, Сильвия. «Распространение теоремы Мерсера на векторные измеримые ядра», arXiv : 1110.4017 , июнь 2013 г.
- Дарретт, Грег. 9.520 Примечания к курсу, Массачусетский технологический институт, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf , февраль 2010 г.
- Кимелдорф, Джордж; Вахба, Грейс (1971). «Некоторые результаты о чебичефских сплайн-функциях» (PDF) . Журнал математического анализа и приложений . 33 (1): 82–95. DOI : 10.1016 / 0022-247X (71) 90184-3 . Руководство по ремонту 0290013 .
- Окутмустур, Бавер. «Воспроизведение гильбертовых пространств ядра», докторская диссертация, Билькентский университет, http://www.thesis.bilkent.edu.tr/0002953.pdf , август 2005 г.
- Полсен, Верн. «Введение в теорию воспроизведения ядерных гильбертовых пространств», http://www.math.uh.edu/~vern/rkhs.pdf .
- Стейнварт, Инго; Сковел, Клинт (2012). «Теорема Мерсера об общих областях: о взаимодействии между мерами, ядрами и RKHS». Констр. Прибл . 35 (3): 363–417. DOI : 10.1007 / s00365-012-9153-3 . Руководство по ремонту 2914365 .
- Росаско, Лоренцо и Поджио, Томас. Рукопись «Регуляризационный тур по машинному обучению - MIT 9.520», декабрь 2014 г.
- Вахба, Грейс , Сплайн-модели для данных наблюдений , SIAM , 1990.
- Чжан, Хайчжан; Сюй Юешэн; Чжан, Цинхуэй (2012). «Уточнение операторных воспроизводящих ядер» (PDF) . Журнал исследований в области машинного обучения . 13 : 91–136.