Функция активации

Функция логистической активации

В искусственных нейронных сетях , то функция активации узла определяет выход этого узла заданного вход или набор входов. Стандартную интегральную схему можно рассматривать как цифровую сеть функций активации, которая может быть «ВКЛ» (1) или «ВЫКЛ» (0), в зависимости от входа. Это похоже на поведение линейного персептрона в нейронных сетях . Однако только нелинейные функции активации позволяют таким сетям решать нетривиальные задачи, используя лишь небольшое количество узлов, и такие функции активации называются нелинейностями . ^[1]

Классификация функций активации [ править ]

Наиболее распространенные функции активации можно разделить на три категории: функции гребня , радиальные функции и функции складывания .

Функции активации хребта [ править ]

Ридж-функции - это многомерные функции, действующие на линейную комбинацию входных переменных. Часто используемые примеры включают:

Линейная активация: , $\phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b}$
РЕЛУ активация: , $\phi (\mathbf {v} )=\max(0,a+\mathbf {v} '\mathbf {b} )$
Хевисайда активация: , $\phi (\mathbf {v} )=1_{a+\mathbf {v} '\mathbf {b} >0}$
Логистические активации: . $\phi (\mathbf {v} )=(1+\exp(-a-\mathbf {v} '\mathbf {b} ))^{-1}$

В биологически вдохновленных нейронных сетях функция активации обычно представляет собой абстракцию, представляющую скорость активации потенциала действия в клетке. ^[2] В простейшей форме эта функция является бинарной, то есть нейрон либо срабатывает, либо нет. Функция выглядит так , где - ступенчатая функция Хевисайда . $\phi (\mathbf {v} )=U(a+\mathbf {v} '\mathbf {b} )$ $U$

Линия с положительным наклоном может использоваться для отражения увеличения скорости стрельбы, которое происходит при увеличении входного тока. Такая функция будет иметь вид . $\phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b}$

Поскольку биологические нейроны не могут снизить их скорость стрельбы ниже нуля, выпрямленные линейные используются функции активации: . Они вводят нелинейность в нуле, которую можно использовать для принятия решений. ^[3] $\phi (\mathbf {v} )=\max(0,a+\mathbf {v} '\mathbf {b} )$

Выпрямленные линейные единицы и функции активации линейных единиц погрешности по Гауссу

Нейроны также не могут стрелять быстрее определенной скорости, что мотивирует функции активации сигмовидной кишки, область действия которых является конечным интервалом.

Функции радиальной активации [ править ]

В сетях RBF используется специальный класс функций активации, известный как радиальные базисные функции (RBF) , которые чрезвычайно эффективны в качестве универсальных аппроксиматоров функций. Эти функции активации могут принимать разные формы, но обычно они находятся в одной из следующих функций:

Гауссовский : $\,\phi (\mathbf {v} )=\exp \left(-{\frac {\|\mathbf {v} -\mathbf {c} \|^{2}}{2\sigma ^{2}}}\right)$
Мультиквадраты: $\,\phi (\mathbf {v} )={\sqrt {\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}}}$
Обратные мультиквадраты: $\,\phi (\mathbf {v} )=\left(\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}\right)^{-{\frac {1}{2}}}$
Полигармонические сплайны

где есть вектор , представляющий функцию центра и и представляют собой параметры , влияющие на распространение радиуса. $\mathbf {c}$ $a$ $\sigma$

Была предложена эффективная с вычислительной точки зрения радиальная базисная функция ^[4], называемая ядром RBF на основе квадратичного закона ( SQ-RBF ), которая исключает экспоненциальный член, как в гауссовском RBF.

SQ-RBF: $f(\mathbf {v} )={\begin{cases}1-{\frac {1}{2}}\|\mathbf {v} -\mathbf {c} \|^{2}&:\|\mathbf {v} -\mathbf {c} \|\leq 1\\{\frac {1}{2}}(2-\|\mathbf {v} -\mathbf {c} \|)^{2}&:1\leq \|\mathbf {v} -\mathbf {c} \|\leq 2\\0&:\|\mathbf {v} -\mathbf {c} \|\geq 2.\end{cases}}$

Складные функции активации [ править ]

Функции активации сворачивания широко используются на уровнях объединения в сверточных нейронных сетях и на выходных уровнях сетей мультиклассовой классификации. Эти активации выполняют агрегирование входных данных, например, взятие среднего , минимального или максимального значения . В мультиклассовой классификации часто используется активация softmax .

Сравнение функций активации [ править ]

Есть множество функций активации. В основополагающей статье 2012 года Хинтона и др. Об автоматическом распознавании речи используется логистическая функция активации сигмовидной железы. ^[5] Основополагающая архитектура компьютерного зрения AlexNet 2012 года использует функцию активации ReLU, как и основополагающая архитектура компьютерного зрения 2015 года ResNet . Основополагающая модель языковой обработки 2018 года BERT использует гладкую версию ReLU, GELU. ^[6]

Помимо эмпирической эффективности, функции активации также обладают различными математическими свойствами:

Нелинейный: Когда функция активации нелинейна, двухслойная нейронная сеть может быть доказана как универсальный аппроксиматор функции. ^[7] Это известно как теорема об универсальном приближении . Функция активации идентичности не удовлетворяет этому свойству. Когда несколько уровней используют функцию активации идентичности, вся сеть эквивалентна одноуровневой модели.
Классифицировать: Когда диапазон функции активации конечен, методы обучения на основе градиента имеют тенденцию быть более стабильными, потому что представление паттернов существенно влияет только на ограниченные веса. Когда диапазон бесконечен, тренировка обычно более эффективна, потому что представление паттернов существенно влияет на большинство весов. В последнем случае обычно требуется меньшая скорость обучения . ^{[ необходима цитата ]}
Непрерывно дифференцируемый: Это свойство желательно ( ReLU не является непрерывно дифференцируемым и имеет некоторые проблемы с оптимизацией на основе градиента, но это все еще возможно) для включения методов оптимизации на основе градиента. Функция активации бинарного шага не дифференцируется на 0, и она дифференцируется до 0 для всех других значений, поэтому методы на основе градиента не могут добиться прогресса с ней. ^[8]
Монотонный: Когда функция активации является монотонной, поверхность ошибки, связанная с однослойной моделью, гарантированно будет выпуклой. ^[9]
Гладкие функции с монотонной производной: Было показано, что в некоторых случаях они лучше обобщают.
Приближает личность около начала координат: Когда функции активации обладают этим свойством, нейронная сеть будет эффективно обучаться, когда ее веса инициализируются небольшими случайными значениями. Если функция активации не приближает идентичность к исходной точке, необходимо соблюдать особую осторожность при инициализации весов. ^[10] В приведенной ниже таблице функции активации, где и и имеют непрерывное значение 0, указаны как имеющие это свойство. $f(0)=0$ $f'(0)=1$ $f'$

Эти свойства не оказывают решающего влияния на производительность и не являются единственными математическими свойствами, которые могут быть полезны. Например, строго положительный диапазон softplus делает его пригодным для прогнозирования отклонений в вариационных автоэнкодерах .

В следующей таблице сравниваются свойства нескольких функций активации, которые являются функциями одного сгиба $x$ от предыдущего слоя или слоев:

Имя	Функция, $f(x)$	Производная от , $f$ $f'(x)$	Классифицировать	Порядок преемственности	Монотонный	Монотонная производная	Приближает личность около начала координат
Личность	$x$	$1$	$(-\infty ,\infty )$	$C^{\infty }$	да	да	да
Двоичный шаг	${\begin{cases}0&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}$	${\begin{cases}0&{\text{if }}x\neq 0\\{\text{undefined}}&{\text{if }}x=0\end{cases}}$	$\{0,1\}$	$C^{-1}$	да	Нет	Нет
Логистический , сигмовидный или мягкий шаг	$\sigma (x)={\frac {1}{1+e^{-x}}}$ ^[1]	$f(x)(1-f(x))$	$(0,1)$	$C^{\infty }$	да	Нет	Нет
танх	$\tanh(x)={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}$	$1-f(x)^{2}$	$(-1,1)$	$C^{\infty }$	да	Нет	да
Выпрямленный линейный блок (ReLU) ^[11]	${\begin{aligned}&{\begin{cases}0&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}\\{}={}&\max\{0,x\}=x{\textbf {1}}_{x>0}\end{aligned}}$	${\begin{cases}0&{\text{if }}x<0\\1&{\text{if }}x>0\\{\text{undefined}}&{\text{if }}x=0\end{cases}}$	$[0,\infty )$	$C^{0}$	да	да	Нет
Линейная единица измерения ошибки Гаусса (GELU) ^[6]	${\begin{aligned}&{\frac {1}{2}}x\left(1+{\text{erf}}\left({\frac {x}{\sqrt {2}}}\right)\right)\\{}={}&x\Phi (x)\end{aligned}}$	$\Phi (x)+x\phi (x)$	$(-0.17\ldots ,\infty )$	$C^{\infty }$	Нет	Нет	Нет
Softplus ^[12]	$\ln \left(1+e^{x}\right)$	${\frac {1}{1+e^{-x}}}$	$(0,\infty )$	$C^{\infty }$	да	да	Нет
Экспоненциальная линейная единица (ELU) ^[13]	${\begin{cases}\alpha \left(e^{x}-1\right)&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}$ с параметром $\alpha$	${\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x>0\\1&{\text{if }}x=0{\text{ and }}\alpha =1\end{cases}}$	$(-\alpha ,\infty )$	${\begin{cases}C^{1}&{\text{if }}\alpha =1\\C^{0}&{\text{otherwise}}\end{cases}}$	Iff $\alpha \geq 0$	Iff $0\leq \alpha \leq 1$	Iff $\alpha =1$
Квадратная линейная единица (SQLU) ^[14]	${\begin{cases}x&{\text{if }}x>0.0\\\alpha (x+{\frac {x^{2}}{4}})&{\text{if }}-2.0\leq x\leq 0\\-\alpha &{\text{if }}x<-2.0\end{cases}}$	${\begin{cases}1&{\text{if }}x>0.0\\1+{\frac {x}{2}}&{\text{if }}-2.0\leq x\leq 0\\0&{\text{if }}x<-2.0\end{cases}}$	$(-\alpha ,\infty )$	${\begin{cases}C^{1}&{\text{if }}\alpha =1\\C^{0}&{\text{otherwise}}\end{cases}}$	Iff $\alpha \geq 0$	Iff $0\leq \alpha \leq 1$	Iff $\alpha =1$
Масштабируемая экспоненциальная линейная единица (SELU) ^[15]	$\lambda {\begin{cases}\alpha (e^{x}-1)&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}$ с параметрами и $\lambda =1.0507$ $\alpha =1.67326$	$\lambda {\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}$	$(-\lambda \alpha ,\infty )$	$C^{0}$	да	Нет	Нет
Линейный блок с выпрямителем с утечкой (Leaky ReLU) ^[16]	${\begin{cases}0.01x&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}$	${\begin{cases}0.01&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}$	$(-\infty ,\infty )$	$C^{0}$	да	да	Нет
Параметрический выпрямленный линейный блок (ПРэЛУ) ^[17]	${\begin{cases}\alpha x&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}$ с параметром $\alpha$	${\begin{cases}\alpha &{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}$	$(-\infty ,\infty )$ ^[2]	$C^{0}$	Iff $\alpha \geq 0$	да	Iff $\alpha =1$
ElliotSig, ^[18]^[19] softtsign ^[20]^[21]	${\frac {x}{1+\|x\|}}$	${\frac {1}{(1+\|x\|)^{2}}}$	$(-1,1)$	$C^{1}$	да	Нет	да
Квадратная нелинейность (SQNL) ^[22]	${\begin{cases}1&{\text{if }}x>2.0\\x-{\frac {x^{2}}{4}}&{\text{if }}0\leq x\leq 2.0\\x+{\frac {x^{2}}{4}}&{\text{if }}-2.0\leq x<0\\-1&{\text{if }}x<-2.0\end{cases}}$	$1\mp {\frac {x}{2}}$	$(-1,1)$	$C^{1}$	да	Нет	да
S-образный выпрямленный блок линейной активации (СРЭЛУ) ^[23]	${\begin{cases}t_{l}+a_{l}(x-t_{l})&{\text{if }}x\leq t_{l}\\x&{\text{if }}t_{l}<x<t_{r}\\t_{r}+a_{r}(x-t_{r})&{\text{if }}x\geq t_{r}\end{cases}}$ где параметры. $t_{l},a_{l},t_{r},a_{r}$	${\begin{cases}a_{l}&{\text{if }}x\leq t_{l}\\1&{\text{if }}t_{l}<x<t_{r}\\a_{r}&{\text{if }}x\geq t_{r}\end{cases}}$	$(-\infty ,\infty )$	$C^{0}$	Нет	Нет	Нет
Согнутая личность	${\frac {{\sqrt {x^{2}+1}}-1}{2}}+x$	${\frac {x}{2{\sqrt {x^{2}+1}}}}+1$	$(-\infty ,\infty )$	$C^{\infty }$	да	да	да
Сигмовидный линейный блок (SiLU, ^[6] сигмовидная усадка, ^[24] SiL, ^[25] или Swish-‍1 ^[26] )	${\frac {x}{1+e^{-x}}}$	${\frac {1+e^{-x}+xe^{-x}}{\left(1+e^{-x}\right)^{2}}}$	$[-0.278\ldots ,\infty )$	$C^{\infty }$	Нет	Нет	За $2f(x)$
Гауссовский	$e^{-x^{2}}$	$-2xe^{-x^{2}}$	$(0,1]$	$C^{\infty }$	Нет	Нет	Нет
SQ-RBF	${\begin{cases}1-{\frac {x^{2}}{2}}&{\text{if }}\|x\|\leq 1\\{\frac {1}{2}}(2-\|x\|)^{2}&{\text{if }}1<\|x\|<2\\0&{\text{if }}\|x\|\geq 2\end{cases}}$	${\begin{cases}-x&{\text{if }}\|x\|\leq 1\\x-2\operatorname {sgn}(x)&{\text{if }}1<\|x\|<2\\0&{\text{if }}\|x\|\geq 2\end{cases}}$	$[0,1]$	$C^{0}$	Нет	Нет	Нет

^ Здесьестьлогистическая функция.

\sigma

^, чтобы диапазон оставался верным.

\alpha >0

В следующей таблице перечислены функции активации, которые не являются функциями одного сгиба $x$ предыдущего слоя или слоев:

Имя	Уравнение, $f_{i}\left({\vec {x}}\right)$	Деривативы , ${\frac {\partial f_{i}\left({\vec {x}}\right)}{\partial x_{j}}}$	Классифицировать	Порядок преемственности
Софтмакс	${\frac {e^{x_{i}}}{\sum _{j=1}^{J}e^{x_{j}}}}$ для $i$ = 1,…, $J$	$f_{i}\left({\vec {x}}\right)\left(\delta _{ij}-f_{j}\left({\vec {x}}\right)\right)$ ^[3]^[4]	$(0,1)$	$C^{\infty }$
Максут ^[27]	$\max _{i}x_{i}$	${\begin{cases}1&{\text{if }}j={\underset {i}{\operatorname {argmax} }}\,x_{i}\\0&{\text{if }}j\neq {\underset {i}{\operatorname {argmax} }}\,x_{i}\end{cases}}$	$(-\infty ,\infty )$	$C^{0}$
FReLU ^[28]	$\max(x_{c,i,j},x_{c,i,j}^{\omega }\cdot p_{c}^{\omega })$		$(-\infty ,\infty )$

^ ЗдесьестьКронекера.

\delta _{ij}

^ Например,может быть итерация по количеству ядер предыдущего уровня нейронной сети, в то время какитерация по количеству ядер текущего слоя.

j

i

См. Также [ править ]

Логистическая функция
Выпрямитель (нейронные сети)
Стабильность (теория обучения)
Функция Softmax

Ссылки [ править ]

^ Хинкельманн, Кнут. «Нейронные сети, стр. 7» (PDF) . Университет прикладных наук Северо-Западной Швейцарии .
^ Ходжкин, AL; Хаксли, AF (1952-08-28). «Количественное описание мембранного тока и его применение к проводимости и возбуждению в нерве» . Журнал физиологии . 117 (4): 500–544. DOI : 10.1113 / jphysiol.1952.sp004764 . PMC 1392413 . PMID 12991237 .
^ Behnke, Sven (2003). Иерархические нейронные сети для интерпретации изображений . Конспект лекций по информатике. 2766 . Springer. DOI : 10.1007 / b11963 . ISBN 978-3-540-40722-5. S2CID 1304548 .
^ Вураола, Адедамола; Патель, Нитиш (2018), «Вычислительно эффективная радиальная базисная функция», Международная конференция по обработке нейронной информации (ICONIP) , 2018 г. , Сиемреап, Камбоджа: Springer, стр. 103–112, DOI : 10.1007 / 978-3-030-04179- 3_9
^ Хинтон, Джеффри; Дэн Ли; Дэн Ли; Ю, Донг; Даль, Джордж; Мохамед, Абдель-Рахман; Джайтли, Навдип; Старший, Андрей; Ванхаук, Винсент; Нгуен, Патрик; Саинат, Тара; Кингсбери, Брайан (2012). «Глубокие нейронные сети для акустического моделирования в распознавании речи». Cite journal requires |journal= (help)
^ a b c Хендрикс, Дэн; Гимпель, Кевин (2016). «Линейные единицы с ошибкой Гаусса (GELU)». arXiv : 1606.08415 [ cs.LG ].
^ Cybenko, G. (декабрь 1989). «Аппроксимация суперпозициями сигмоидальной функции». Математика управления, сигналов и систем . 2 (4): 303–314. DOI : 10.1007 / BF02551274 . ISSN 0932-4194 . S2CID 3958369 .
^ Сниман Ян (3 марта 2005). Практическая математическая оптимизация: введение в основную теорию оптимизации и классические и новые градиентные алгоритмы . Springer Science & Business Media. ISBN 978-0-387-24348-1.
^ У, Huaiqin (2009). «Анализ глобальной устойчивости общего класса разрывных нейронных сетей с функциями активации линейного роста». Информационные науки . 179 (19): 3432–3441. DOI : 10.1016 / j.ins.2009.06.006 .
^ Сусилло, Дэвид; Эбботт, Л.Ф. (19 декабря 2014 г.). «Инициализация случайного блуждания для обучения очень глубоких сетей прямого распространения». arXiv : 1412.6558 [ cs.NE ].
^ Наир, Винод; Хинтон, Джеффри Э. (2010), «Выпрямленные линейные единицы улучшают машины Больцмана с ограничениями» , 27-я Международная конференция Международной конференции по машинному обучению , ICML'10, США: Omnipress, стр. 807–814, ISBN 9781605589077
^ Глорот, Ксавьер; Бордес, Антуан; Бенжио, Йошуа (2011). "Глубокие разреженные нейронные сети выпрямителя" (PDF) . Международная конференция по искусственному интеллекту и статистике .
^ Клеверт, Джорк-Арне; Унтертинер, Томас; Хохрайтер, Зепп (23 ноября 2015 г.). «Быстрое и точное глубокое обучение сети с помощью экспоненциальных линейных единиц (ELU)». arXiv : 1511.07289 [ cs.LG ].
^ Вураола, Адедамола; Патель, Нитиш; Нгуанг, Синг Кионг (2021 г.), «Эффективные функции активации для встроенных механизмов вывода» , Neurocomputing , Elsevier, США: Elsevier, стр. 807–814, ISBN 0925-2312Проверить |isbn=значение: длина ( справка )
^ Кламбауэр, Гюнтер; Унтертинер, Томас; Майр, Андреас; Хохрайтер, Зепп (2017-06-08). «Самонормализующиеся нейронные сети». Достижения в системах обработки нейронной информации . 30 (2017). arXiv : 1706.02515 . Bibcode : 2017arXiv170602515K .
^ Маас, Эндрю Л .; Hannun, Awni Y .; Нг, Эндрю Ю. (июнь 2013 г.). «Нелинейности выпрямителя улучшают акустические модели нейронных сетей». Proc. ICML . 30 (1). S2CID 16489696 .
^ Он, Кайминг; Чжан, Сянъюй; Рен, Шаоцин; Сунь, Цзянь (06.02.2015). «Углубляясь в выпрямители: превосходя человеческий уровень производительности по классификации ImageNet». arXiv : 1502.01852 [ cs.CV ].
^ Эллиот, Дэвид Л. (1993), «Лучшая функция активации для искусственных нейронных сетей», Технический отчет ISR TR 93-8, Мэрилендский университет, Колледж-Парк, Мэриленд 20742. , CiteSeerX 10.1.1.46.7204
^ "elliotsig, Симметричная сигмовидная передаточная функция Эллиота" , команда, представленная в Matlab R2012b, документации Matlab, MathWorks.
^ Бергстра, Джеймс; Дежарден, Гийом; Ламблин, Паскаль; Бенхио, Йошуа (2009). «Квадратичные многочлены лучше узнают особенности изображения». Технический отчет 1337" . Département d'Informatique и де Recherche Opérationnelle, Université де Монреаль . Архивировано из оригинала на 2018-09-25.
^ Глорот, Ксавьер; Бенжио, Йошуа (2010), «Понимание сложности обучения глубоких нейронных сетей с прямой связью» (PDF) , Международная конференция по искусственному интеллекту и статистике (AISTATS'10) , Общество искусственного интеллекта и статистики
^ Вураола, Адедамола; Патель, Нитиш (2018 г.), «SQNL: новая эффективная с вычислительной точки зрения функция активации» , Международная совместная конференция по нейронным сетям (IJCNN) 2018 г. , Рио-де-Жанейро, Бразилия: IEEE, стр. 1–7
^ Цзинь, Сяоцзе; Сюй, Чуньян; Фэн, Джиаши; Вэй, Юньчао; Xiong, Junjun; Ян, Шуйчэн (22 декабря 2015 г.). «Глубокое обучение с S-образными выпрямленными линейными модулями активации». arXiv : 1512.07030 [ cs.CV ].
^ Атто, Abdourrahmane М .; Пастор Доминик; Мерсье, Грегуар (2008), "Гладкое сигмовидное вейвлет-сжатие для непараметрической оценки" , 2008 Международная конференция IEEE по акустике, обработке речи и сигналов
^ Elfwing, Стефан; Учибе, Эйдзи; Дойя, Кенджи (2018). «Сигмоидно-взвешенные линейные единицы для аппроксимации функций нейронной сети в обучении с подкреплением». Нейронные сети . 107 : 3–11. arXiv : 1702.03118 . DOI : 10.1016 / j.neunet.2017.12.012 . PMID 29395652 . S2CID 6940861 .
^ Рамачандран, Праджит; Зоф, Баррет; Ле, Куок V (2017). «Поиск функций активации». arXiv : 1710.05941 [ cs.NE ].
^ Goodfellow, Ян Дж .; Вард-Фарли, Дэвид; Мирза, Мехди; Курвиль, Аарон; Бенжио, Йошуа (2013). «Maxout Networks». JMLR Workshop and Conference Proceedings . 28 (3): 1319–1327. arXiv : 1302,4389 . Bibcode : 2013arXiv1302.4389G .
^ Ма, Ниннин. «Активация воронки для визуального распознавания». ECCV 2020 . 12356 : 351-368. arXiv : 2007.11824 . DOI : 10.1007 / 978-3-030-58621-8_21 .

[1] Хинкельманн, Кнут. «Нейронные сети, стр. 7» (PDF) . Университет прикладных наук Северо-Западной Швейцарии .

[2] Ходжкин, AL; Хаксли, AF (1952-08-28). «Количественное описание мембранного тока и его применение к проводимости и возбуждению в нерве» . Журнал физиологии . 117 (4): 500–544. DOI : 10.1113 / jphysiol.1952.sp004764 . PMC 1392413 . PMID 12991237 .

[NeuralAbstractionPyramid-3] Behnke, Sven (2003). Иерархические нейронные сети для интерпретации изображений . Конспект лекций по информатике. 2766 . Springer. DOI : 10.1007 / b11963 . ISBN 978-3-540-40722-5. S2CID 1304548 .

[sq-rbf-4] Вураола, Адедамола; Патель, Нитиш (2018), «Вычислительно эффективная радиальная базисная функция», Международная конференция по обработке нейронной информации (ICONIP) , 2018 г. , Сиемреап, Камбоджа: Springer, стр. 103–112, DOI : 10.1007 / 978-3-030-04179- 3_9

[5] Хинтон, Джеффри; Дэн Ли; Дэн Ли; Ю, Донг; Даль, Джордж; Мохамед, Абдель-Рахман; Джайтли, Навдип; Старший, Андрей; Ванхаук, Винсент; Нгуен, Патрик; Саинат, Тара; Кингсбери, Брайан (2012). «Глубокие нейронные сети для акустического моделирования в распознавании речи». Cite journal requires |journal= (help)

[ReferenceA-6] Хендрикс, Дэн; Гимпель, Кевин (2016). «Линейные единицы с ошибкой Гаусса (GELU)». arXiv : 1606.08415 [ cs.LG ].

[7] Cybenko, G. (декабрь 1989). «Аппроксимация суперпозициями сигмоидальной функции». Математика управления, сигналов и систем . 2 (4): 303–314. DOI : 10.1007 / BF02551274 . ISSN 0932-4194 . S2CID 3958369 .

[8] Сниман Ян (3 марта 2005). Практическая математическая оптимизация: введение в основную теорию оптимизации и классические и новые градиентные алгоритмы . Springer Science & Business Media. ISBN 978-0-387-24348-1.

[9] У, Huaiqin (2009). «Анализ глобальной устойчивости общего класса разрывных нейронных сетей с функциями активации линейного роста». Информационные науки . 179 (19): 3432–3441. DOI : 10.1016 / j.ins.2009.06.006 .

[10] Сусилло, Дэвид; Эбботт, Л.Ф. (19 декабря 2014 г.). «Инициализация случайного блуждания для обучения очень глубоких сетей прямого распространения». arXiv : 1412.6558 [ cs.NE ].

[11] Наир, Винод; Хинтон, Джеффри Э. (2010), «Выпрямленные линейные единицы улучшают машины Больцмана с ограничениями» , 27-я Международная конференция Международной конференции по машинному обучению , ICML'10, США: Omnipress, стр. 807–814, ISBN 9781605589077

[12] Глорот, Ксавьер; Бордес, Антуан; Бенжио, Йошуа (2011). "Глубокие разреженные нейронные сети выпрямителя" (PDF) . Международная конференция по искусственному интеллекту и статистике .

[13] Клеверт, Джорк-Арне; Унтертинер, Томас; Хохрайтер, Зепп (23 ноября 2015 г.). «Быстрое и точное глубокое обучение сети с помощью экспоненциальных линейных единиц (ELU)». arXiv : 1511.07289 [ cs.LG ].

[14] Вураола, Адедамола; Патель, Нитиш; Нгуанг, Синг Кионг (2021 г.), «Эффективные функции активации для встроенных механизмов вывода» , Neurocomputing , Elsevier, США: Elsevier, стр. 807–814, ISBN 0925-2312Проверить |isbn=значение: длина ( справка )

[15] Кламбауэр, Гюнтер; Унтертинер, Томас; Майр, Андреас; Хохрайтер, Зепп (2017-06-08). «Самонормализующиеся нейронные сети». Достижения в системах обработки нейронной информации . 30 (2017). arXiv : 1706.02515 . Bibcode : 2017arXiv170602515K .

[16] Маас, Эндрю Л .; Hannun, Awni Y .; Нг, Эндрю Ю. (июнь 2013 г.). «Нелинейности выпрямителя улучшают акустические модели нейронных сетей». Proc. ICML . 30 (1). S2CID 16489696 .

[17] Он, Кайминг; Чжан, Сянъюй; Рен, Шаоцин; Сунь, Цзянь (06.02.2015). «Углубляясь в выпрямители: превосходя человеческий уровень производительности по классификации ImageNet». arXiv : 1502.01852 [ cs.CV ].

[18] Эллиот, Дэвид Л. (1993), «Лучшая функция активации для искусственных нейронных сетей», Технический отчет ISR TR 93-8, Мэрилендский университет, Колледж-Парк, Мэриленд 20742. , CiteSeerX 10.1.1.46.7204

[19] "elliotsig, Симметричная сигмовидная передаточная функция Эллиота" , команда, представленная в Matlab R2012b, документации Matlab, MathWorks.

[20] Бергстра, Джеймс; Дежарден, Гийом; Ламблин, Паскаль; Бенхио, Йошуа (2009). «Квадратичные многочлены лучше узнают особенности изображения». Технический отчет 1337" . Département d'Informatique и де Recherche Opérationnelle, Université де Монреаль . Архивировано из оригинала на 2018-09-25.

[21] Глорот, Ксавьер; Бенжио, Йошуа (2010), «Понимание сложности обучения глубоких нейронных сетей с прямой связью» (PDF) , Международная конференция по искусственному интеллекту и статистике (AISTATS'10) , Общество искусственного интеллекта и статистики

[sqln-22] Вураола, Адедамола; Патель, Нитиш (2018 г.), «SQNL: новая эффективная с вычислительной точки зрения функция активации» , Международная совместная конференция по нейронным сетям (IJCNN) 2018 г. , Рио-де-Жанейро, Бразилия: IEEE, стр. 1–7

[23] Цзинь, Сяоцзе; Сюй, Чуньян; Фэн, Джиаши; Вэй, Юньчао; Xiong, Junjun; Ян, Шуйчэн (22 декабря 2015 г.). «Глубокое обучение с S-образными выпрямленными линейными модулями активации». arXiv : 1512.07030 [ cs.CV ].

[refssbs1-24] Атто, Abdourrahmane М .; Пастор Доминик; Мерсье, Грегуар (2008), "Гладкое сигмовидное вейвлет-сжатие для непараметрической оценки" , 2008 Международная конференция IEEE по акустике, обработке речи и сигналов

[25] Elfwing, Стефан; Учибе, Эйдзи; Дойя, Кенджи (2018). «Сигмоидно-взвешенные линейные единицы для аппроксимации функций нейронной сети в обучении с подкреплением». Нейронные сети . 107 : 3–11. arXiv : 1702.03118 . DOI : 10.1016 / j.neunet.2017.12.012 . PMID 29395652 . S2CID 6940861 .

[26] Рамачандран, Праджит; Зоф, Баррет; Ле, Куок V (2017). «Поиск функций активации». arXiv : 1710.05941 [ cs.NE ].

[27] Goodfellow, Ян Дж .; Вард-Фарли, Дэвид; Мирза, Мехди; Курвиль, Аарон; Бенжио, Йошуа (2013). «Maxout Networks». JMLR Workshop and Conference Proceedings . 28 (3): 1319–1327. arXiv : 1302,4389 . Bibcode : 2013arXiv1302.4389G .

[28] Ма, Ниннин. «Активация воронки для визуального распознавания». ECCV 2020 . 12356 : 351-368. arXiv : 2007.11824 . DOI : 10.1007 / 978-3-030-58621-8_21 .

[1]