Универсальная аппроксимационная теорема

Было высказано предположение , что проект: Всеобщее приближение теоремы быть объединены в эту статью. ( Обсудить ) Предлагается с января 2021 года.

В математической теории искусственных нейронных сетей , универсальные теоремы приближения являются результатами ^[1] , устанавливающих плотность в алгоритмический сгенерированном классе функций в пределах данного функционального пространства , представляющего интереса. Обычно эти результаты относятся к возможностям аппроксимации архитектуры с прямой связью в пространстве непрерывных функций между двумя евклидовыми пространствами , и приближение относится к топологии компактной сходимости . Однако существует также множество результатов между неевклидовыми пространствами ^[2]и другие часто используемые архитектуры и, в более общем плане, алгоритмически сгенерированные наборы функций, такие как архитектура сверточной нейронной сети (CNN), ^{[3] [4]} радиальные базисные функции ^[5] или нейронные сети с определенными свойствами. ^[6] Большинство универсальных аппроксимационных теорем можно разделить на два класса. Первый количественно оценивает аппроксимационные возможности нейронных сетей с произвольным количеством искусственных нейронов ( случай « произвольной ширины »), а второй фокусируется на случае с произвольным количеством скрытых слоев, каждый из которых содержит ограниченное количество искусственных нейронов (« произвольная глубина» " дело).

Универсальные аппроксимационные теоремы подразумевают, что нейронные сети могут представлять широкий спектр интересных функций, если им заданы соответствующие веса. С другой стороны, они обычно не предоставляют конструкции для грузов, а просто заявляют, что такая конструкция возможна.

История [ править ]

Одна из первых версий случая произвольной ширины была доказана Георгием Цибенко в 1989 году для сигмовидных функций активации. ^[7] Курт Хорник показал в 1991 г. ^[8], что это не конкретный выбор функции активации, а сама многослойная архитектура с прямой связью, которая дает нейронным сетям возможность быть универсальными аппроксиматорами. Моше Лешно и др. В 1993 г. ^[9] и позже Аллан Пинкус в 1999 г. ^[10] показали, что свойство универсальной аппроксимации ^[11] эквивалентно наличию неполиномиальной функции активации.

Произвольной глубины случай был также изучен многими авторами, такими как Zhou Lu и др в 2017 году, ^[12] Борис Ханин и Марк Sellke в 2018 году, ^[13] и Патрик Kidger и Терри Лайонс в 2020 г. ^[14] Результат минимален ширина на слой была уточнена в ^[15] и в ^[16] для остаточных сетей.

Существует несколько расширений теоремы, например, для функций прерывистой активации, ^[9] некомпактных доменов, ^[14] сертифицированных сетей ^[17] и альтернативных сетевых архитектур и топологий. ^{[14] [18]} Полная характеристика свойства универсальной аппроксимации на общих функциональных пространствах дана А. Крациосом в ^[11].

Случай произвольной ширины [ править ]

Классическая форма универсальной аппроксимационной теоремы для произвольной ширины и ограниченной глубины выглядит следующим образом. ^{[7] [8] [19] [20]} Он расширяет ^[10] классические результаты Джорджа Цибенко и Курта Хорника .

Универсальная аппроксимационная теорема: зафиксируйте непрерывную функцию (функцию активации) и положительные целые числа . Функция не является многочленом тогда и только тогда, когда для каждой непрерывной функции (целевая функция), каждый компактного подмножества из , и каждый существует непрерывная функция (выходного слоя) с представлением${\ Displaystyle \ sigma: \ mathbb {R} \ rightarrow \ mathbb {R}}$${\ displaystyle d, D}$${\ displaystyle \ sigma}$${\ displaystyle f: \ mathbb {R} ^ {d} \ to \ mathbb {R} ^ {D}}$${\ displaystyle K}$${\ Displaystyle \ mathbb {R} ^ {d}}$${\ displaystyle \ epsilon> 0}$${\ displaystyle f _ {\ epsilon}: \ mathbb {R} ^ {d} \ to \ mathbb {R} ^ {D}}$

${\displaystyle f_{\epsilon }=W_{2}\circ \sigma \circ W_{1},}$

где - составные аффинные отображения и обозначает покомпонентную композицию, такую, что оценка аппроксимации${\displaystyle W_{2},W_{1}}$ ${\displaystyle \circ }$

${\displaystyle \sup _{x\in K}\,\|f(x)-f_{\epsilon }(x)\|<\varepsilon }$

выполняется для любого сколь угодно малого (расстояние от до может быть бесконечно малым).${\displaystyle \epsilon }$${\displaystyle f}$${\displaystyle f_{\epsilon }}$

Теорема утверждает, что результат первого слоя может аппроксимировать любую функцию с хорошим поведением . Такую функцию с хорошим поведением можно также аппроксимировать сетью большей глубины, используя ту же конструкцию для первого слоя и аппроксимируя функцию идентичности с более поздними уровнями.${\displaystyle f_{\epsilon }}$${\displaystyle f}$

Случай произвольной глубины [ править ]

«Двойственные» версии теоремы рассматривают сети ограниченной ширины и произвольной глубины. Вариант универсальной аппроксимационной теоремы для случая произвольной глубины был доказан Чжоу Лу и др. в 2017. ^[12] Они показали, что сети шириной n + 4 с функциями активации ReLU могут аппроксимировать любую интегрируемую функцию Лебега на n- мерном входном пространстве по отношению к расстоянию, если глубина сети может расти. Также было показано, что существует ограниченная выразительная сила, если ширина меньше или равна n . Все интегрируемые по Лебегу функции, за исключением множества нулевой меры, не могут быть аппроксимированы ReLU. L 1 {\displaystyle L^{1}} сети шириной n . В той же статье ^[12] было показано, что сети ReLU шириной n + 1 достаточны для аппроксимации любой непрерывной функции n -мерных входных переменных. ^[21] Следующее уточнение определяет оптимальную минимальную ширину, для которой такое приближение возможно, и связано с ^[22]

Универсальная аппроксимационная теорема (расстояние L1, активация ReLU, произвольная глубина, минимальная ширина). Для любой p-интегрируемой функции Бохнера-Лебега и любого существует полносвязная сеть ReLU точно ширины , удовлетворяющая${\displaystyle f:\mathbb {R} ^{n}\rightarrow \mathbb {R} ^{m}}$${\displaystyle \epsilon >0}$ ${\displaystyle F}$${\displaystyle d_{m}=\max\{{n+1},m\}}$

${\displaystyle \int _{\mathbb {R} ^{n}}\left\|f(x)-F_{}(x)\right\|^{p}\mathrm {d} x<\epsilon }$.

Более того, существует функция и некоторые функции , для которых не существует полносвязной сети ReLU с шириной меньше, чем удовлетворяющая приведенной выше оценке приближения. ${\displaystyle f\in L^{p}(\mathbb {R} ^{n},\mathbb {R} ^{m})}$${\displaystyle \epsilon >0}$ ${\displaystyle d_{m}=\max\{{n+1},m\}}$

Вместе основные результаты из ^[14] и ^[2] дают следующую общую универсальную аппроксимационную теорему для сетей с ограниченной шириной между общими входными и выходными пространствами.

Универсальная аппроксимационная теорема ( неаффинная активация, произвольная глубина , неевклидовость ). Пусть быть компактным топологическим пространство, быть метрическим пространством, непрерывное и инъективное отображение функции и пусть непрерывное отображение считывания с раздела , имея плотный образ с (возможно , пустым) воротничком границы. Пусть - любая неаффинная непрерывная функция, которая непрерывно дифференцируема хотя бы в одной точке с ненулевой производной в этой точке. Позволять${\displaystyle {\mathcal {X}}}$${\displaystyle ({\mathcal {Y}},d_{\mathcal {Y}})}$${\displaystyle \phi :{\mathcal {X}}\rightarrow \mathbb {R} ^{n}}$${\displaystyle \rho :\mathbb {R} ^{m}\rightarrow {\mathcal {Y}}}$${\displaystyle Im(\rho )}$${\displaystyle \sigma :\mathbb {R} \to \mathbb {R} }$ ${\displaystyle {\mathcal {N}}_{\phi ,\rho }^{\sigma }}$обозначают пространство нейронных сетей с прямой связью с входными нейронами, выходными нейронами и произвольным количеством скрытых слоев, каждый с нейронами, так что каждый скрытый нейрон имеет функцию активации, а каждый выходной нейрон имеет идентичность в качестве своей функции активации с входным слоем , и выходной слой . Тогда для любого и любого существует такое, что${\displaystyle n}$${\displaystyle m}$${\displaystyle n+m+2}$${\displaystyle \sigma }$${\displaystyle \phi }$${\displaystyle \rho }$${\displaystyle \varepsilon >0}$${\displaystyle f\in C({\mathcal {X}},{\mathcal {Y}})}$${\displaystyle F\in {\mathcal {N}}_{\phi ,\rho }^{\sigma }}$

${\displaystyle \sup _{x\in {\mathcal {X}}}\,d_{\mathcal {Y}}(F(x),f(x))<\varepsilon .}$

Другими словами, это плотно в относительно равномерного расстояния.${\displaystyle {\mathcal {N}}}$${\displaystyle C({\mathcal {X}};{\mathcal {Y}})}$

Были установлены некоторые необходимые условия для случая ограниченной ширины, произвольной глубины, но все еще существует разрыв между известными достаточными и необходимыми условиями. ^{[12] [13] [23]}

См. Также [ править ]

• Теорема Колмогорова – Арнольда о представлении
• Теорема о представителях
• Теорема о бесплатном обеде
• Теорема Стоуна – Вейерштрасса
• Ряд Фурье

Ссылки [ править ]