Искусственный нейрон

Искусственный нейрон является математической функцией задуман как модель биологических нейронов , в нейронной сети . Искусственные нейроны - это элементарные единицы в искусственной нейронной сети . ^[1] Искусственный нейрон получает один или несколько входных сигналов (представляющих возбуждающие постсинаптические потенциалы и тормозящие постсинаптические потенциалы на нейронных дендритах ) и суммирует их, чтобы произвести выходной сигнал (или активацию , представляющую потенциал действия нейрона, который передается по его аксону ). Обычно каждый вход отдельновзвешивается , и сумма передается через нелинейную функцию, известную как функция активации или передаточная функция ^{[ требуется пояснение ]} . Передаточные функции обычно имеют сигмовидную форму , но они также могут принимать форму других нелинейных функций, кусочно- линейных функций или ступенчатых функций . Они также часто бывают монотонно возрастающими , непрерывными , дифференцируемыми и ограниченными . Функция пороговой обработки вдохновила создание логических вентилей, называемых пороговой логикой; применимо к строительствулогические схемы, напоминающие обработку мозга. Например, в последнее время для разработки такой логики широко используются новые устройства, такие как мемристоры . ^[2]

Функцию передачи искусственного нейрона не следует путать с линейной системой передаточной функцией .

Базовая структура [ править ]

Для данного искусственного нейрона k, пусть имеется m + 1 входов с сигналами от x ₀ до x _m и весами от w _k₀ до w _k_m . Обычно входу x ₀ присваивается значение +1, что делает его входом смещения с w _{k 0} = b _k . В результате нейрону остается только m фактических входов: от x ₁ до x _m .

Выход k- го нейрона:

{\ displaystyle y_ {k} = \ varphi \ left (\ sum _ {j = 0} ^ {m} w_ {kj} x_ {j} \ right)}

Где (phi) - передаточная функция (обычно пороговая функция). ${\ displaystyle \ varphi}$

Выход аналогичен аксону биологического нейрона, и его значение распространяется на вход следующего слоя через синапс. Он также может выйти из системы, возможно, как часть выходного вектора .

У него нет учебного процесса как такового. Рассчитываются его веса передаточной функции и предопределяется пороговое значение.

Типы [ править ]

В зависимости от конкретной используемой модели они могут называться полулинейной единицей , нейроном Nv , бинарным нейроном , линейной пороговой функцией или нейроном МакКуллоха – Питтса ( MCP ) .

Простые искусственные нейроны, такие как модель Маккаллоха – Питтса, иногда называют «карикатурными моделями», поскольку они предназначены для отражения одного или нескольких нейрофизиологических наблюдений, но без учета реализма. ^[3]

Этот раздел нуждается в расширении . Вы можете помочь, добавив к нему . ( Май 2017 г. )

Биологические модели [ править ]

Нейрон и миелинизированный аксон с потоком сигналов от входов дендритов к выходам на терминалах аксонов

Искусственные нейроны созданы для имитации аспектов своих биологических аналогов.

Дендриты - в биологическом нейроне дендриты действуют как входной вектор. Эти дендриты позволяют клетке получать сигналы от большого (> 1000) числа соседних нейронов. Как и в приведенной выше математической обработке, каждый дендрит может выполнять «умножение» на «значение веса» этого дендрита. Умножение достигается за счет увеличения или уменьшения отношения синаптических нейромедиаторов к сигнальным химическим веществам, введенным в дендрит в ответ на синаптический нейромедиатор. Отрицательный эффект умножения может быть достигнут путем передачи ингибиторов сигнала (т.е. противоположно заряженных ионов) по дендриту в ответ на прием синаптических нейротрансмиттеров.
Сома - В биологическом нейроне сома действует как функция суммирования, как видно из приведенного выше математического описания. Когда положительные и отрицательные сигналы (возбуждающие и подавляющие соответственно) поступают в сому от дендритов, положительные и отрицательные ионы эффективно суммируются, просто благодаря тому, что они смешиваются вместе в растворе внутри тела клетки.
Аксон - Аксон получает свой сигнал от поведения суммирования, которое происходит внутри сомы. Отверстие к аксону по существу измеряет электрический потенциал раствора внутри сомы. Как только сома достигает определенного потенциала, аксон будет передавать общий импульс сигнала по всей своей длине. В этом отношении аксон действует как способность соединять наш искусственный нейрон с другими искусственными нейронами.

Однако, в отличие от большинства искусственных нейронов, биологические нейроны срабатывают дискретными импульсами. Каждый раз, когда электрический потенциал внутри сомы достигает определенного порога, по аксону передается импульс. Эти пульсации можно преобразовать в непрерывные значения. Скорость (активаций в секунду и т. Д.), С которой запускается аксон, напрямую преобразуется в скорость, с которой соседние клетки получают вводимые в них сигнальные ионы. Чем быстрее срабатывает биологический нейрон, тем быстрее соседние нейроны накапливают электрический потенциал (или теряют электрический потенциал, в зависимости от «веса» дендрита, который соединяется с активированным нейроном). Именно это преобразование позволяет ученым-компьютерщикам и математикам моделировать биологические нейронные сети с использованием искусственных нейронов, которые могут выводить различные значения (часто от -1 до 1).

Кодировка [ править ]

Исследования показали, что унарное кодирование используется в нейронных цепях, ответственных за производство пения птиц . ^[4]^[5] Использование унарных в биологических сетях предположительно связано с присущей простотой кодирования. Другой способствующий фактор может заключаться в том, что унарное кодирование обеспечивает определенную степень исправления ошибок. ^[6]

История [ править ]

Первым искусственным нейроном был пороговый логический блок (ВПУ) или линейный пороговый блок ^[7], впервые предложенный Уорреном МакКаллоком и Уолтером Питтсом в 1943 году. Модель была специально предназначена как вычислительная модель «нервной сети» в мозге. . ^[8] В качестве передаточной функции использовался порог, эквивалентный использованию ступенчатой функции Хевисайда . Первоначально рассматривалась только простая модель с двоичными входами и выходами, некоторыми ограничениями на возможные веса и более гибким пороговым значением. С самого начала было замечено, что любая логическая функциямогут быть реализованы сетями таких устройств, что легко увидеть из того факта, что можно реализовать функции И и ИЛИ и использовать их в дизъюнктивной или конъюнктивной нормальной форме . Вскоре исследователи также поняли, что циклические сети с обратной связью через нейроны могут определять динамические системы с памятью, но большая часть исследований сосредоточена (и до сих пор проводится) на сетях с прямой связью из-за меньшей сложности, которую они представляют.

Одной из важных и новаторских искусственных нейронных сетей, в которых использовалась линейная пороговая функция, был перцептрон , разработанный Фрэнком Розенблаттом . Эта модель уже учитывала более гибкие значения веса в нейронах и использовалась в машинах с адаптивными возможностями. Представление пороговых значений как члена смещения было введено Бернардом Видроу в 1960 году - см. ADALINE .

В конце 1980-х, когда исследования нейронных сетей набрали силу, стали рассматриваться нейроны с более непрерывной формой. Возможность дифференцирования функции активации позволяет напрямую использовать градиентный спуск и другие алгоритмы оптимизации для корректировки весов. Нейронные сети также начали использоваться в качестве общей модели аппроксимации функций . Самый известный обучающий алгоритм, называемый обратным распространением , был переоткрыт несколько раз, но его первая разработка восходит к работе Пола Вербоса . ^[9]^[10]

Типы передаточных функций [ править ]

Было предложено разделить этот раздел на другую статью под названием « Передаточная функция» . ( Обсудить ) (май 2017)

Передаточная функция (функция активации ) нейрона выбирается так, чтобы иметь ряд свойств, которые либо улучшают, либо упрощают сеть, содержащую нейрон. Крайне важно, например, что любой многослойный персептрон, использующий линейную передаточную функцию, имеет эквивалентную однослойную сеть; поэтому для получения преимуществ многоуровневой сети необходима нелинейная функция. ^{[ необходима цитата ]}

Ниже u во всех случаях относится к взвешенной сумме всех входов нейрона, то есть для n входов,

{\ Displaystyle и = \ сумма _ {я = 1} ^ {п} ш_ {я} х_ {я}}

где w - вектор синаптических весов, а x - вектор входов.

Пошаговая функция [ править ]

Выход y этой передаточной функции является двоичным, в зависимости от того, соответствует ли вход заданному порогу θ . «Сигнал» отправляется, т.е. выход устанавливается в единицу, если активация соответствует пороговому значению.

y={\begin{cases}1&{\text{if }}u\geq \theta \\0&{\text{if }}u<\theta \end{cases}}

Эта функция используется в перцептронах и часто встречается во многих других моделях. Он выполняет разделение пространства входов гиперплоскостью . Это особенно полезно на последнем уровне сети, предназначенном для двоичной классификации входов. Его можно аппроксимировать из других сигмоидальных функций, присвоив весам большие значения.

Линейная комбинация [ править ]

В этом случае единица вывода - это просто взвешенная сумма его входов плюс член смещения . Ряд таких линейных нейронов выполняет линейное преобразование входного вектора. Обычно это более полезно на первых уровнях сети. Существует ряд инструментов анализа, основанных на линейных моделях, таких как гармонический анализ , и все они могут использоваться в нейронных сетях с этим линейным нейроном. Термин смещения позволяет нам выполнять аффинные преобразования данных.

См: линейное преобразование , анализ гармоник , линейный фильтр , Wavelet , основным компонентом анализа , анализа независимых компонентов , Deconvolution .

Сигмовидная [ править ]

Достаточно простая нелинейная функция, сигмовидная функция, такая как логистическая функция, также имеет легко вычисляемую производную, что может быть важно при вычислении обновлений веса в сети. Таким образом, это упрощает математическое манипулирование сетью и было привлекательно для первых компьютерных ученых, которым требовалось минимизировать вычислительную нагрузку при моделировании. Ранее это обычно наблюдалось в многослойных перцептронах . Однако недавняя работа показала, что сигмовидные нейроны менее эффективны, чем выпрямленные линейные нейроны. Причина в том, что градиенты, вычисленные обратным распространением алгоритм стремится к нулю по мере того, как активации распространяются через слои сигмоидальных нейронов, что затрудняет оптимизацию нейронных сетей с использованием нескольких слоев сигмоидальных нейронов.

Выпрямитель [ править ]

В контексте искусственных нейронных сетей , то выпрямитель является функция активации определяется как положительная часть аргумента:

f(x)=x^{+}=\max(0,x),

где x - вход нейрона. Это также известно как функция линейного нарастания и аналогично полуволновому выпрямлению в электротехнике. Эта функция активации была впервые введена в динамическую сеть Hahnloser et al. в статье 2000 года в Nature ^[11] с сильными биологическими мотивами и математическим обоснованием. ^[12] Впервые в 2011 году было продемонстрировано, что это позволяет лучше обучать более глубокие сети ^[13] по сравнению с широко используемыми функциями активации до 2011 года, то есть логистической сигмоидой (которая основана на теории вероятностей ; см.логистическая регрессия ) и ее более практичный ^[14] аналог - гиперболический тангенс .

Алгоритм псевдокода [ править ]

Было предложено разделить этот раздел на другую статью под названием « Пороговая логическая единица» . ( Обсудить ) (май 2017)

Ниже приводится простая реализация псевдокода одного TLU, который принимает логические входные данные (истина или ложь) и возвращает единственный логический выход при активации. Объектно-ориентированная модель используется. Метод обучения не определен, так как существует несколько. Если бы использовалась чисто функциональная модель, приведенный ниже класс TLU был бы заменен функциональным TLU с порогом входных параметров, весами и входами, которые возвращали логическое значение.

класс TLU определяется как: порог элемента данных : число веса элементов данных : список чисел размера X функция-член fire (входы : список логических значений размера X) : логическое значение определяется как:  переменная T : число T ← 0 для каждого I в 1 к X делать ,  если входы (я) является истинным то T ← T + вес (я) конец , если  конец для каждого ,  если T> порог затем  вернуть истинный еще:  возвращение ложного конца , если  конец функции конечного класса

См. Также [ править ]

Связывающий нейрон
Коннекционизм

Ссылки [ править ]

^ "Нейроморфные цепи с нейронной модуляцией, улучшающие информационное содержание нейронных сигналов | Международная конференция по нейроморфным системам 2020". DOI : 10.1145 / 3407197.3407204 . S2CID 220794387 . Cite journal requires |journal= (help)
^ Маан, AK; Джаядеви, Д.А.; Джеймс, AP (1 января 2016 г.). "Обзор запоминающих пороговых логических схем". Транзакции IEEE в нейронных сетях и обучающих системах . ПП (99): 1734–1746. arXiv : 1604.07121 . Bibcode : 2016arXiv160407121M . DOI : 10.1109 / TNNLS.2016.2547842 . ISSN 2162-237X . PMID 27164608 . S2CID 1798273 .
^ FC Hoppensteadt и EM Izhikevich (1997). Слабосвязанные нейронные сети . Springer. п. 4. ISBN 978-0-387-94948-2.
^ Сквайр, L .; Олбрайт, Т .; Блум, Ф .; Gage, F .; Спитцер, Н., ред. (Октябрь 2007 г.). Нейросетевые модели производства, обучения и кодирования птичьего пения (PDF) . Новая энциклопедия неврологии: Elservier. Архивировано из оригинального (PDF) 12 апреля 2015 года . Проверено 12 апреля 2015 года .
^ Мур, JM; и другие. (2011). «Конвергенция моторных путей предсказывает размер репертуара слогов у осетровых птиц» . Proc. Natl. Акад. Sci. США . 108 (39): 16440–16445. Bibcode : 2011PNAS..10816440M . DOI : 10.1073 / pnas.1102077108 . PMC 3182746 . PMID 21918109 .
^ Potluri, Pushpa Sree (26 ноября 2014). «Способность исправления ошибок унарного кодирования». arXiv : 1411.7406 [ cs.IT ].
↑ Мартин Энтони (январь 2001 г.). Дискретная математика нейронных сетей: избранные темы . СИАМ. С. 3–. ISBN 978-0-89871-480-7.
^ Чара C. Aggarwal (25 июля 2014). Классификация данных: алгоритмы и приложения . CRC Press. С. 209–. ISBN 978-1-4665-8674-1.
^ Пол Вербос , Помимо регрессии: новые инструменты для прогнозирования и анализа в поведенческих науках. Кандидатская диссертация, Гарвардский университет, 1974 г.
^ Werbos, PJ (1990). «Обратное распространение во времени: что оно делает и как это делать» . Труды IEEE . 78 (10): 1550–1560. DOI : 10.1109 / 5.58337 . ISSN 0018-9219 .
^ Hahnloser, Ричард HR; Сарпешкар, Рахул; Маховальд, Миша А .; Дуглас, Родни Дж .; Сын, Х. Себастьян (2000). «Цифровая селекция и аналоговое усиление сосуществуют в кремниевой схеме, вдохновленной корой головного мозга». Природа . 405 (6789): 947–951. Bibcode : 2000Natur.405..947H . DOI : 10.1038 / 35016072 . ISSN 0028-0836 . PMID 10879535 . S2CID 4399014 .
^ R Hahnloser, HS Seung (2001). Разрешенные и запрещенные множества в симметричных порогово-линейных сетях . НИПС 2001.CS1 maint: uses authors parameter (link)
^ Xavier Glorot, Antoine Bordes и Йошуа Бенджио (2011). Нейронные сети с глубоким разреженным выпрямителем (PDF) . АИСТАТС. CS1 maint: uses authors parameter (link)
^ Лекун , Леон Ботта , Женевьева Б. Орр и Клаус-Роберт Мюллер (1998). «Эффективный BackProp» (PDF) . У Г. Орра; К. Мюллер (ред.). Нейронные сети: хитрости . Springer. CS1 maint: uses authors parameter (link)

Дальнейшее чтение [ править ]

Маккаллох, Уоррен С .; Питтс, Уолтер (1943). «Логический расчет идей, присущих нервной деятельности». Вестник математической биофизики . 5 (4): 115–133. DOI : 10.1007 / bf02478259 .
Самардак, А .; Nogaret, A .; Янсон, Н.Б .; Баланов, АГ; Фаррер, I .; Ричи, Д.А. (05.06.2009). «Передача сигнала с управляемым шумом в многопоточном полупроводниковом нейроне» . Письма с физическим обзором . 102 (22): 226802. Bibcode : 2009PhRvL.102v6802S . DOI : 10.1103 / physrevlett.102.226802 . PMID 19658886 .

Внешние ссылки [ править ]

Artifical [ так в оригинале ] нейрон имитирует функцию клеток человека
McCulloch-Pitts Neurons (Обзор)

[1] "Нейроморфные цепи с нейронной модуляцией, улучшающие информационное содержание нейронных сигналов | Международная конференция по нейроморфным системам 2020". DOI : 10.1145 / 3407197.3407204 . S2CID 220794387 . Cite journal requires |journal= (help)

[2] Маан, AK; Джаядеви, Д.А.; Джеймс, AP (1 января 2016 г.). "Обзор запоминающих пороговых логических схем". Транзакции IEEE в нейронных сетях и обучающих системах . ПП (99): 1734–1746. arXiv : 1604.07121 . Bibcode : 2016arXiv160407121M . DOI : 10.1109 / TNNLS.2016.2547842 . ISSN 2162-237X . PMID 27164608 . S2CID 1798273 .

[3] FC Hoppensteadt и EM Izhikevich (1997). Слабосвязанные нейронные сети . Springer. п. 4. ISBN 978-0-387-94948-2.

[4] Сквайр, L .; Олбрайт, Т .; Блум, Ф .; Gage, F .; Спитцер, Н., ред. (Октябрь 2007 г.). Нейросетевые модели производства, обучения и кодирования птичьего пения (PDF) . Новая энциклопедия неврологии: Elservier. Архивировано из оригинального (PDF) 12 апреля 2015 года . Проверено 12 апреля 2015 года .

[5] Мур, JM; и другие. (2011). «Конвергенция моторных путей предсказывает размер репертуара слогов у осетровых птиц» . Proc. Natl. Акад. Sci. США . 108 (39): 16440–16445. Bibcode : 2011PNAS..10816440M . DOI : 10.1073 / pnas.1102077108 . PMC 3182746 . PMID 21918109 .

[6] Potluri, Pushpa Sree (26 ноября 2014). «Способность исправления ошибок унарного кодирования». arXiv : 1411.7406 [ cs.IT ].

[Anthony2001-7] Мартин Энтони (январь 2001 г.). Дискретная математика нейронных сетей: избранные темы . СИАМ. С. 3–. ISBN 978-0-89871-480-7.

[Aggarwal2014-8] Чара C. Aggarwal (25 июля 2014). Классификация данных: алгоритмы и приложения . CRC Press. С. 209–. ISBN 978-1-4665-8674-1.

[9] Пол Вербос , Помимо регрессии: новые инструменты для прогнозирования и анализа в поведенческих науках. Кандидатская диссертация, Гарвардский университет, 1974 г.

[10] Werbos, PJ (1990). «Обратное распространение во времени: что оно делает и как это делать» . Труды IEEE . 78 (10): 1550–1560. DOI : 10.1109 / 5.58337 . ISSN 0018-9219 .

[Hahnloser2000-11] Hahnloser, Ричард HR; Сарпешкар, Рахул; Маховальд, Миша А .; Дуглас, Родни Дж .; Сын, Х. Себастьян (2000). «Цифровая селекция и аналоговое усиление сосуществуют в кремниевой схеме, вдохновленной корой головного мозга». Природа . 405 (6789): 947–951. Bibcode : 2000Natur.405..947H . DOI : 10.1038 / 35016072 . ISSN 0028-0836 . PMID 10879535 . S2CID 4399014 .

[Hahnloser2001-12] R Hahnloser, HS Seung (2001). Разрешенные и запрещенные множества в симметричных порогово-линейных сетях . НИПС 2001.CS1 maint: uses authors parameter (link)

[glorot2011-13] Xavier Glorot, Antoine Bordes и Йошуа Бенджио (2011). Нейронные сети с глубоким разреженным выпрямителем (PDF) . АИСТАТС. CS1 maint: uses authors parameter (link)

[14] Лекун , Леон Ботта , Женевьева Б. Орр и Клаус-Роберт Мюллер (1998). «Эффективный BackProp» (PDF) . У Г. Орра; К. Мюллер (ред.). Нейронные сети: хитрости . Springer. CS1 maint: uses authors parameter (link)

[1]