Искусственный нейрон является математической функцией задуман как модель биологических нейронов , в нейронной сети . Искусственные нейроны - это элементарные единицы в искусственной нейронной сети . [1] Искусственный нейрон получает один или несколько входных сигналов (представляющих возбуждающие постсинаптические потенциалы и тормозные постсинаптические потенциалы на нейронных дендритах ) и суммирует их для получения выходного сигнала (илиактивация , представляющая потенциал действия нейрона,который передается по его аксону ). Обычно каждый вход взвешивается отдельно, и сумма передается через нелинейную функцию, известную как функция активации или передаточная функция [ требуется пояснение ] . Передаточные функции обычно имеют сигмовидную форму , но они также могут принимать форму других нелинейных функций, кусочно- линейных функций или ступенчатых функций . Также они часто монотонно возрастают , непрерывны ,дифференцируемые и ограниченные . Функция пороговой обработки вдохновила создание логических вентилей, называемых пороговой логикой; применимо для построения логических схем, напоминающих обработку мозга. Например, в последнее время для разработки такой логики широко используются новые устройства, такие как мемристоры . [2]
Функцию передачи искусственного нейрона не следует путать с линейной системой передаточной функцией .
Базовая структура
Для данного искусственного нейрона k, пусть имеется m + 1 входов с сигналами от x 0 до x m и весами от w k 0 до w k m . Обычно входу x 0 присваивается значение +1, что делает его входом смещения с w k 0 = b k . В результате нейрону остается только m фактических входов: от x 1 до x m .
Выход k- го нейрона:
Где (phi) - передаточная функция (обычно пороговая функция).
Выход аналогичен аксону биологического нейрона, и его значение распространяется на вход следующего слоя через синапс. Он также может выйти из системы, возможно, как часть выходного вектора .
У него нет учебного процесса как такового. Рассчитываются его веса передаточной функции и предопределяется пороговое значение.
Типы
В зависимости от конкретной используемой модели они могут называться полулинейной единицей , нейроном Nv , бинарным нейроном , линейной пороговой функцией или нейроном МакКуллоха – Питтса ( MCP ) .
Простые искусственные нейроны, такие как модель Маккаллоха – Питтса, иногда называют «карикатурными моделями», поскольку они предназначены для отражения одного или нескольких нейрофизиологических наблюдений, но без учета реализма. [3]
Биологические модели
Искусственные нейроны созданы для имитации аспектов своих биологических аналогов.
- Дендриты - в биологическом нейроне дендриты действуют как входной вектор. Эти дендриты позволяют клетке получать сигналы от большого (> 1000) числа соседних нейронов. Как и в приведенной выше математической обработке, каждый дендрит может выполнять «умножение» на «значение веса» этого дендрита. Умножение достигается за счет увеличения или уменьшения отношения синаптических нейромедиаторов к сигнальным химическим веществам, введенным в дендрит в ответ на синаптический нейромедиатор. Отрицательный эффект умножения может быть достигнут путем передачи ингибиторов сигнала (т.е. противоположно заряженных ионов) по дендриту в ответ на прием синаптических нейротрансмиттеров.
- Сома - В биологическом нейроне сома действует как функция суммирования, как видно из приведенного выше математического описания. Когда положительные и отрицательные сигналы (возбуждающие и подавляющие соответственно) поступают в сому от дендритов, положительные и отрицательные ионы эффективно суммируются, просто благодаря тому, что они смешиваются вместе в растворе внутри тела клетки.
- Аксон - Аксон получает свой сигнал от поведения суммирования, которое происходит внутри сомы. Отверстие к аксону по существу измеряет электрический потенциал раствора внутри сомы. Как только сома достигает определенного потенциала, аксон будет передавать общий импульс сигнала по всей своей длине. В этом отношении аксон действует как способность соединять наш искусственный нейрон с другими искусственными нейронами.
Однако, в отличие от большинства искусственных нейронов, биологические нейроны срабатывают дискретными импульсами. Каждый раз, когда электрический потенциал внутри сомы достигает определенного порога, по аксону передается импульс. Эти пульсации можно преобразовать в непрерывные значения. Скорость (активаций в секунду и т. Д.), С которой запускается аксон, напрямую преобразуется в скорость, с которой соседние клетки получают вводимые в них сигнальные ионы. Чем быстрее срабатывает биологический нейрон, тем быстрее соседние нейроны накапливают электрический потенциал (или теряют электрический потенциал, в зависимости от «веса» дендрита, который соединяется с активированным нейроном). Именно это преобразование позволяет ученым-компьютерщикам и математикам моделировать биологические нейронные сети с использованием искусственных нейронов, которые могут выводить различные значения (часто от -1 до 1).
Кодирование
Исследования показали, что унарное кодирование используется в нейронных цепях, ответственных за производство пения птиц . [4] [5] Использование унарных в биологических сетях предположительно связано с присущей простотой кодирования. Другой способствующий фактор может заключаться в том, что унарное кодирование обеспечивает определенную степень исправления ошибок. [6]
История
Первым искусственным нейроном был пороговый логический блок (ВПУ) или линейный пороговый блок [7], впервые предложенный Уорреном МакКаллоком и Уолтером Питтсом в 1943 году. Модель была специально предназначена как вычислительная модель «нервной сети» в мозге. . [8] В качестве передаточной функции использовался порог, эквивалентный использованию ступенчатой функции Хевисайда . Первоначально рассматривалась только простая модель с двоичными входами и выходами, некоторыми ограничениями на возможные веса и более гибким пороговым значением. С самого начала было замечено, что любая логическая функция может быть реализована сетями таких устройств, что легко увидеть из того факта, что можно реализовать функции И и ИЛИ и использовать их в дизъюнктивной или конъюнктивной нормальной форме . Вскоре исследователи также поняли, что циклические сети с обратной связью через нейроны могут определять динамические системы с памятью, но большая часть исследований сосредоточена (и до сих пор проводится) на сетях с прямой связью из-за меньшей сложности, которую они представляют.
Одной из важных и новаторских искусственных нейронных сетей, в которых использовалась линейная пороговая функция, был перцептрон , разработанный Фрэнком Розенблаттом . Эта модель уже учитывала более гибкие значения веса в нейронах и использовалась в машинах с адаптивными возможностями. Представление пороговых значений как члена смещения было введено Бернардом Видроу в 1960 году - см. ADALINE .
В конце 1980-х, когда исследования нейронных сетей набрали силу, стали рассматриваться нейроны с более непрерывной формой. Возможность дифференцирования функции активации позволяет напрямую использовать градиентный спуск и другие алгоритмы оптимизации для корректировки весов. Нейронные сети также начали использоваться в качестве общей модели аппроксимации функций . Самый известный обучающий алгоритм, называемый обратным распространением , был переоткрыт несколько раз, но его первая разработка восходит к работе Пола Вербоса . [9] [10]
Типы передаточных функций
Передаточная функция (функция активации ) нейрона выбирается так, чтобы иметь ряд свойств, которые либо улучшают, либо упрощают сеть, содержащую нейрон. Крайне важно, например, что любой многослойный персептрон, использующий линейную передаточную функцию, имеет эквивалентную однослойную сеть; поэтому для получения преимуществ многоуровневой сети необходима нелинейная функция. [ необходима цитата ]
Ниже u во всех случаях относится к взвешенной сумме всех входов нейрона, то есть для n входов,
где w - вектор синаптических весов, а x - вектор входов.
Ступенчатая функция
Выход y этой передаточной функции является двоичным, в зависимости от того, соответствует ли вход заданному порогу θ . «Сигнал» отправляется, т.е. выход устанавливается в единицу, если активация соответствует пороговому значению.
Эта функция используется в перцептронах и часто встречается во многих других моделях. Он выполняет разделение пространства входов гиперплоскостью . Это особенно полезно на последнем уровне сети, предназначенном для двоичной классификации входов. Его можно аппроксимировать из других сигмоидальных функций, присвоив весам большие значения.
Линейная комбинация
В этом случае единица вывода - это просто взвешенная сумма его входов плюс член смещения . Ряд таких линейных нейронов выполняет линейное преобразование входного вектора. Обычно это более полезно на первых уровнях сети. Существует ряд инструментов анализа, основанных на линейных моделях, таких как гармонический анализ , и все они могут использоваться в нейронных сетях с этим линейным нейроном. Термин смещения позволяет нам выполнять аффинные преобразования данных.
См: линейное преобразование , анализ гармоник , линейный фильтр , Wavelet , основным компонентом анализа , анализа независимых компонентов , Deconvolution .
Сигмовидная
Достаточно простая нелинейная функция, сигмоидальная функция, такая как логистическая функция, также имеет легко вычисляемую производную, что может быть важно при вычислении обновлений веса в сети. Таким образом, это упрощает математическое манипулирование сетью и было привлекательно для первых компьютерных ученых, которым требовалось минимизировать вычислительную нагрузку при моделировании. Ранее это обычно наблюдалось в многослойных перцептронах . Однако недавняя работа показала, что сигмовидные нейроны менее эффективны, чем выпрямленные линейные нейроны. Причина в том, что градиенты, вычисленные алгоритмом обратного распространения , имеют тенденцию уменьшаться до нуля по мере того, как активации распространяются через слои сигмоидальных нейронов, что затрудняет оптимизацию нейронных сетей с использованием нескольких слоев сигмоидальных нейронов.
Выпрямитель
В контексте искусственных нейронных сетей , то выпрямитель является функция активации определяется как положительная часть аргумента:
где x - вход нейрона. Это также известно как функция линейного нарастания и аналогично полуволновому выпрямлению в электротехнике. Эта функция активации была впервые введена в динамическую сеть Hahnloser et al. в статье 2000 года в Nature [11] с сильными биологическими мотивами и математическим обоснованием. [12] В 2011 году впервые было продемонстрировано, что позволяет лучше обучать более глубокие сети [13] по сравнению с широко используемыми функциями активации до 2011 года, т. Е. Логистической сигмоидой (которая вдохновлена теорией вероятности ; см. Логистическая регрессия ) и его более практичный [14] аналог - гиперболический тангенс .
Алгоритм псевдокода
Ниже приводится простая реализация псевдокода одного TLU, который принимает логические входные данные (истина или ложь) и возвращает единственный логический выход при активации. Объектно-ориентированная модель используется. Метод обучения не определен, так как существует несколько. Если бы использовалась чисто функциональная модель, приведенный ниже класс TLU был бы заменен функциональным TLU с порогом входных параметров, весами и входами, которые возвращали логическое значение.
класс TLU определяется как: порог элемента данных : число веса элементов данных : список чисел размера X функция-член fire (входы : список логических значений размера X) : логическое значение определяется как: переменная T : число T ← 0 для каждого I в 1 к X делать , если входы (я) является истинным то T ← T + вес (я) конец , если конец для каждого , если T> порог затем вернуть истинный еще: возвращение ложного конца , если конец функции конечного класса
Смотрите также
- Связывающий нейрон
- Коннекционизм
Рекомендации
- ^ "Нейроморфные цепи с нейронной модуляцией, улучшающие информационное содержание нейронных сигналов | Международная конференция по нейроморфным системам 2020". DOI : 10.1145 / 3407197.3407204 . S2CID 220794387 . Цитировать журнал требует
|journal=
( помощь ) - ^ Маан, AK; Джаядеви, Д.А.; Джеймс, AP (1 января 2016 г.). "Обзор запоминающих пороговых логических схем". Транзакции IEEE в нейронных сетях и обучающих системах . ПП (99): 1734–1746. arXiv : 1604.07121 . Bibcode : 2016arXiv160407121M . DOI : 10.1109 / TNNLS.2016.2547842 . ISSN 2162-237X . PMID 27164608 . S2CID 1798273 .
- ^ Ф. К. Хоппенстедт и Е. М. Ижикевич (1997). Слабосвязанные нейронные сети . Springer. п. 4. ISBN 978-0-387-94948-2.
- ^ Squire, L .; Олбрайт, Т .; Блум, Ф .; Gage, F .; Спитцер, Н., ред. (Октябрь 2007 г.). Нейросетевые модели производства, обучения и кодирования птичьего пения (PDF) . Новая энциклопедия неврологии: Elservier. Архивировано из оригинального (PDF) 12 апреля 2015 года . Проверено 12 апреля 2015 года .
- ^ Мур, JM; и другие. (2011). «Конвергенция моторных путей предсказывает размер репертуара слогов у осетровых птиц» . Proc. Natl. Акад. Sci. США . 108 (39): 16440–16445. Bibcode : 2011PNAS..10816440M . DOI : 10.1073 / pnas.1102077108 . PMC 3182746 . PMID 21918109 .
- ^ Потлури, Пушпа Шри (26 ноября 2014 г.). «Способность исправления ошибок унарного кодирования». arXiv : 1411.7406 [ cs.IT ].
- ^ Мартин Энтони (январь 2001 г.). Дискретная математика нейронных сетей: избранные темы . СИАМ. С. 3–. ISBN 978-0-89871-480-7.
- ^ Чару С. Аггарвал (25 июля 2014 г.). Классификация данных: алгоритмы и приложения . CRC Press. С. 209–. ISBN 978-1-4665-8674-1.
- ^ Пол Вербос , Помимо регрессии: новые инструменты для прогнозирования и анализа в поведенческих науках. Кандидатская диссертация, Гарвардский университет, 1974 г.
- ^ Werbos, PJ (1990). «Обратное распространение во времени: что оно делает и как это делать» . Труды IEEE . 78 (10): 1550–1560. DOI : 10.1109 / 5.58337 . ISSN 0018-9219 .
- ^ Ханлозер, Ричард Х.Р .; Сарпешкар, Рахул; Маховальд, Миша А .; Дуглас, Родни Дж .; Сын, Х. Себастьян (2000). «Цифровая селекция и аналоговое усиление сосуществуют в кремниевой схеме, вдохновленной корой головного мозга». Природа . 405 (6789): 947–951. Bibcode : 2000Natur.405..947H . DOI : 10.1038 / 35016072 . ISSN 0028-0836 . PMID 10879535 . S2CID 4399014 .
- ^ Р. Ханлозер, Х. С. Сын (2001). Разрешенные и запрещенные множества в симметричных порогово-линейных сетях . НИПС 2001.CS1 maint: использует параметр авторов ( ссылка )
- ^ Ксавье Глорот, Антуан Бордес и Йошуа Бенжио (2011). Нейронные сети с глубоким разреженным выпрямителем (PDF) . АИСТАТС.CS1 maint: использует параметр авторов ( ссылка )
- ^ Ян ЛеКун , Леон Ботту , Женевьева Б. Орр и Клаус-Роберт Мюллер (1998). «Эффективный BackProp» (PDF) . У Г. Орра; К. Мюллер (ред.). Нейронные сети: хитрости . Springer.CS1 maint: использует параметр авторов ( ссылка )
дальнейшее чтение
- Маккаллох, Уоррен С .; Питтс, Уолтер (1943). «Логический расчет идей, присущих нервной деятельности». Вестник математической биофизики . 5 (4): 115–133. DOI : 10.1007 / bf02478259 .
- Самардак, А .; Nogaret, A .; Janson, NB; Баланов, АГ; Фаррер, I .; Ричи, Д.А. (05.06.2009). «Передача сигнала с управляемым шумом в многопоточном полупроводниковом нейроне» . Письма с физической проверкой . 102 (22): 226802. Bibcode : 2009PhRvL.102v6802S . DOI : 10.1103 / physrevlett.102.226802 . PMID 19658886 .
Внешние ссылки
- Artifical [ так в оригинале ] нейрон имитирует функцию клеток человека
- McCulloch-Pitts Neurons (Обзор)