Из Википедии, бесплатной энциклопедии
  (Перенаправлено с нейрона Spiking )
Перейти к навигации Перейти к поиску
Насекомое управляется нейронной сетью с шипами, чтобы найти цель в неизвестной местности.

Пиковые нейронные сети ( SNN ) - это искусственные нейронные сети, которые более точно имитируют естественные нейронные сети. [1] В дополнение к нейрональному и синаптическому состоянию, SNN включают понятие времени в свою операционную модель . Идея состоит в том, что нейроны в SNN не передают информацию в каждом цикле распространения (как это происходит с типичными многослойными сетями персептронов ), а скорее передают информацию только тогда, когда мембранный потенциал - внутреннее качество нейрона, связанное с электрическим зарядом его мембраны - достигает определенного значения, называемого порогом. Когда мембранный потенциал достигает порогового значения, нейрон срабатывает и генерирует сигнал, который передается другим нейронам, которые, в свою очередь, увеличивают или уменьшают свои потенциалы в ответ на этот сигнал. Модель нейрона, которая срабатывает в момент пересечения порога, также называется моделью нейрона с импульсами . [2]

Самая известная модель нейронов с всплесками - это модель с утечкой, интегрируется и запускается. В модели интеграции и запуска моментальный уровень активации (моделируемый как дифференциальное уравнение ) обычно считается состоянием нейрона, при этом входящие импульсы толкают это значение выше или ниже, пока состояние в конечном итоге либо не распадется, либо - если срабатывание порог достигнут - нейрон срабатывает. После срабатывания переменная состояния сбрасывается на более низкое значение.

Существуют различные методы декодирования для интерпретации исходящей последовательности всплесков как числа с действительным значением, в зависимости от частоты всплесков (код скорости), времени до первого всплеска после стимуляции или интервала между всплесками.

История [ править ]

Импульсная модель нейрона
Искусственные синапсы на основе FTJ

Многослойные искусственные нейронные сети обычно полностью связаны , получая входные данные от каждого нейрона на предыдущем уровне и сигнализируя каждому нейрону на последующем уровне. Хотя эти сети достигли прорывов во многих областях, они биологически неточны и не имитируют механизм работы нейронов в мозгу живого существа. [3]

Биологически вдохновленная модель Ходжкина-Хаксли импульсного нейрона была предложена в 1952 году. Эта модель описывает, как потенциалы действия инициируются и распространяются. Связь между нейронами, которая требует обмена химическими нейротрансмиттерами в синаптической щели, описывается в различных моделях, таких как модель интеграции и огня, модель ФитцХью – Нагумо (1961–1962) и модель Хиндмарша – Роуза (1984). . Обычно используется негерметичная модель интегрирования и включения (или производная), поскольку ее легче вычислить, чем модель Ходжкина – Хаксли. [4]

В июле 2019 года на саммите DARPA Electronics Resurgence Initiative Intel представила нейроморфную систему с 8 миллионами нейронов, включающую 64 исследовательских чипа Loihi. [5]

Основы [ править ]

С точки зрения теории информации проблема состоит в том, чтобы объяснить, как информация кодируется и декодируется серией последовательностей импульсов, то есть потенциалов действия. Таким образом, фундаментальный вопрос нейробиологии состоит в том, чтобы определить, взаимодействуют ли нейроны с помощью скорости или временного кода . [6] Временное кодирование предполагает, что одиночный импульсный нейрон может заменить сотни скрытых единиц в сигмоидальной нейронной сети . [1]

Пиковая нейронная сеть учитывает временную информацию. Идея состоит в том, что не все нейроны активируются на каждой итерации распространения (как в типичной многослойной сети персептронов ), а только тогда, когда ее мембранный потенциал достигает определенного значения. Когда нейрон активируется, он генерирует сигнал, который передается подключенным нейронам, повышая или понижая их мембранный потенциал.

В нейронной сети с импульсами текущее состояние нейрона определяется как уровень его активации (моделируется как дифференциальное уравнение). Входной импульс заставляет текущее значение состояния на некоторое время повышаться, а затем постепенно снижаться. Были созданы схемы кодирования для интерпретации этих выходных импульсных последовательностей как числа с учетом как частоты импульсов, так и интервала между импульсами. Модель нейронной сети, основанная на времени генерации импульса, может быть создана точно. В этой новой нейронной сети используется кодирование спайков. Используя точное время появления импульса, нейронная сеть может использовать больше информации и предлагать более высокую вычислительную мощность.

Нейронные сети с импульсной связью (PCNN) часто путают с SNN. PCNN можно рассматривать как своего рода SNN.

Подход SNN использует двоичный выход (сигнал / нет сигнала) вместо непрерывного вывода традиционных ANN. Кроме того, тренировки пульса трудно интерпретировать. Но импульсная тренировка увеличивает способность обрабатывать пространственно-временные данные (или непрерывную классификацию сенсорных данных реального мира). [7] Пространство относится к тому факту, что нейроны соединяются только с соседними нейронами, так что они могут обрабатывать входные блоки отдельно (аналогично CNN с использованием фильтров). Время относится к тому факту, что импульсная тренировка происходит с течением времени, так что информацию, потерянную при двоичном кодировании, можно извлечь из информации о времени. Это позволяет избежать дополнительной сложности рекуррентной нейронной сети (RNN). Оказывается, импульсные нейроны - более мощные вычислительные единицы, чем традиционные искусственные нейроны.[8]

SNN теоретически более мощный, чем сети второго поколения, однако проблемы обучения SNN и требования к оборудованию ограничивают их использование. Несмотря на то, что доступны неконтролируемые методы биологического обучения, такие как обучение Hebbian и STDP , для SNN не подходит эффективный метод обучения с учителем, который может обеспечить лучшую производительность, чем сети второго поколения. [ необходима цитата ] Активация SNN на основе пиков не дифференцируема, что затрудняет разработку методов обучения на основе градиентного спуска для выполнения обратного распространения ошибок , хотя есть несколько недавних алгоритмов, таких как NormAD [9] и многослойный NormAD [10] продемонстрировали хорошие результаты обучения благодаря подходящей аппроксимации градиента активации на основе спайков.

SNN требуют гораздо больших вычислительных затрат для моделирования реалистичных нейронных моделей, чем традиционные ANN.

Приложения [ править ]

SNN в принципе могут применяться к тем же приложениям, что и традиционные ANN. [11] Кроме того, SNN могут моделировать центральную нервную систему биологических организмов, таких как насекомое , ищущее пищу, без предварительного знания окружающей среды. [12] Благодаря своей относительной реалистичности, их можно использовать для изучения работы биологических нейронных цепей . Начиная с гипотезы о топологии биологической нейронной цепи и ее функции, записи этой схемы можно сравнить с выходными данными соответствующего SNN, оценивая правдоподобность гипотезы. Однако отсутствуют эффективные механизмы обучения для сетей SNN, которые могут препятствовать некоторым приложениям, включая задачи компьютерного зрения.

По состоянию на 2019 год SNN отстают от ANN с точки зрения точности, но разрыв сокращается и исчез по некоторым задачам. [13]

Программное обеспечение [ править ]

Разнообразное прикладное программное обеспечение может моделировать SNN. Это программное обеспечение можно классифицировать в зависимости от его использования:

Моделирование SNN [ править ]

Обучение без учителя с использованием сегнетоэлектрических синапсов

Они моделируют сложные нейронные модели с высоким уровнем детализации и точности. Большие сети обычно требуют длительной обработки. Кандидаты включают: [14]

  • GENESIS (Общая система нейронной симуляции [15] ) - разработана в лаборатории Джеймса Бауэра в Калифорнийском технологическом институте ;
  • NEURON - в основном разработан Майклом Хайнсом, Джоном В. Муром и Тедом Карневейлом в Йельском университете и Университете Дьюка ;
  • Брайан - разработан Роменом Бреттом и Дэном Гудманом из Высшей нормальной школы ;
  • NEST - разработан NEST Initiative;
  • BindsNET - разработан лабораторией «Биологически вдохновленные нейронные и динамические системы» (BINDS) Массачусетского университета в Амхерсте . [16]
  • SpykeTorch - фреймворк на основе PyTorch, оптимизированный специально для сверточных SNN с не более чем одним спайком на нейрон. Работает на графических процессорах. [17]

Оборудование [ править ]

Прогнозирование обучения STDP с использованием сегнетоэлектрических синапсов
Модель маршрутизации сетки от нейрона к нейрону

Будущие нейроморфные архитектуры [18] будут включать миллиарды таких наносинапсов, что потребует четкого понимания физических механизмов, ответственных за пластичность. Экспериментальные системы, основанные на сегнетоэлектрических туннельных переходах, были использованы, чтобы показать, что STDP можно использовать в результате переключения неоднородной поляризации. Посредством комбинированной визуализации с помощью сканирующего зонда, электрического транспорта и молекулярной динамики в атомарном масштабе вариации проводимости могут быть смоделированы посредством обращения доменов с преобладанием нуклеации. Моделирование показывает, что массивы сегнетоэлектрических наносинапсов могут автономно научиться распознавать закономерности предсказуемым образом, открывая путь к обучению без учителя . [19]

Обучение без учителя с использованием сегнетоэлектрических синапсов
  • Согласно заявлению компании Brainchip Akida NSoC, она содержит 1,2 миллиона нейронов и 10 миллиардов синапсов [20].
  • Neurogrid - это плата, которая может моделировать всплески нейронных сетей непосредственно на оборудовании. (Стэндфордский Университет)
  • SpiNNaker (Spiking Neural Network Architecture) использует процессоры ARM в качестве строительных блоков для платформы массовых параллельных вычислений, основанной на шестиуровневой таламокортикальной модели. ( Университет Манчестера ) [21] Система SpiNNaker основана на численных моделях, работающих в реальном времени на специализированных цифровых многоядерных микросхемах с использованием архитектуры ARM . Он предоставляет настраиваемые цифровые чипы, каждый из которых имеет восемнадцать ядер и общую локальную ОЗУ 128 Мбайт, всего более 1 000 000 ядер. [22] Один чип может моделировать 16000 нейронов с восемью миллионами пластиковых синапсов, работающих в реальном времени. [23]
  • TrueNorth - это процессор, содержащий 5,4 миллиарда транзисторов, потребляющий всего 70 милливатт ; большинство процессоров в персональных компьютерах содержат около 1,4 миллиарда транзисторов и требуют 35 Вт или более. IBM называет принцип построения TrueNorth нейроморфными вычислениями . Его основная цель - распознавание образов. Хотя критики говорят, что чип недостаточно мощный, его сторонники отмечают, что это только первое поколение, и возможности улучшенных итераций станут ясны. (IBM) [24]
  • Динамический нейроморфный асинхронный процессор (DYNAP) [25] объединяет медленные, маломощные, неоднородные подпороговые аналоговые схемы и быстрые программируемые цифровые схемы. Он поддерживает реконфигурируемые нейронные сети общего назначения в режиме реального времени с импульсными нейронами. Это позволяет реализовать архитектуры нейронной обработки на основе всплесков в реальном времени [26] [27], в которых память и вычисления совместно локализованы. Он решает проблему узких мест фон Неймана и обеспечивает мультиплексную передачу пиковых событий в реальном времени для создания крупных сетей. Повторные сети, опережающие сети, сверточные сети, аттрактор сеть , эхо-государственные сети , глубокие сети, и сети слияния датчиков - лишь некоторые из возможностей. [28]
Основная микроархитектура верхнего уровня
  • Loihi - это 14-нм чип Intel, который предлагает 128 ядер и 130 000 нейронов в 60-миллиметровом корпусе. [29] Он объединяет широкий спектр функций, таких как иерархическая связь, дендритные компартменты, синаптические задержки и программируемые правила синаптического обучения. [30] Запуск пики сверточной формы локально конкурентного алгоритм, Loihi может решить Lasso задач оптимизации с более чем на три порядка превосходящей продукта энергии задержки по сравнению с обычными решателями , работающих на CPU isoprocess / напряжение / области. [31] Исследовательская система 64 Loihi предлагает нейроморфную систему с 8 миллионами нейронов. Loihi примерно в 1000 раз быстрее ЦП и в 10 000 раз энергоэффективнее. [5]
  • BrainScaleS основан на физических имитациях моделей нейронов, синапсов и пластичности с цифровой связью, работающих до десяти тысяч раз быстрее, чем в реальном времени. Он был разработан Европейским проектом человеческого мозга . [22] Система BrainScaleS содержит 20 8-дюймовых кремниевых пластин по 180 нм техпроцессу. Каждая пластина включает 50 x 106 пластиковых синапсов и 200 000 биологически реалистичных нейронов. Система не выполняет предварительно запрограммированный код, а развивается в соответствии с физическими свойствами электронных устройств, работая до 10 тысяч раз быстрее, чем в реальном времени. [23]

Контрольные показатели [ править ]

Возможности классификации пиковых сетей, обученных в соответствии с методами обучения без учителя [32] , были протестированы на общих наборах данных эталонных тестов, таких как Iris, Wisconsin Breast Cancer или Statlog Landsat. [33] [34] [35] Были использованы различные подходы к кодированию информации и проектированию сети. Например, двухуровневая сеть с прямой связью для кластеризации и классификации данных. Основываясь на идее, предложенной в Hopfield (1995), авторы реализовали модели локальных рецептивных полей, сочетающие свойства радиальных базисных функций (RBF) и пиковых нейронов для преобразования входных сигналов (классифицированных данных), имеющих представление с плавающей запятой, в представление пиковых значений. [36] [37]

См. Также [ править ]

  • CoDi
  • Когнитивная архитектура
  • Познавательная карта
  • Когнитивный компьютер
  • Вычислительная нейробиология
  • Нейронное кодирование
  • Нейронный коррелят
  • Нейронное декодирование
  • Нейроэтология
  • Нейроинформатика
  • Модели нейронных вычислений
  • Восприятие движения
  • Системная неврология

Ссылки [ править ]

  1. ^ a b Маасс, Вольфганг (1997). «Сети пиковых нейронов: третье поколение моделей нейронных сетей». Нейронные сети . 10 (9): 1659–1671. DOI : 10.1016 / S0893-6080 (97) 00011-7 . ISSN  0893-6080 .
  2. ^ Герстнер, Вульфрам. (2002). Модели спайковых нейронов: одиночные нейроны, популяции, пластичность . Кистлер, Вернер М., 1969-. Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 0-511-07817-X. OCLC  57417395 .
  3. ^ «Нейронные сети, новое поколение машинного обучения» . 16 июля 2019.
  4. ^ Ли, Dayeol; Ли, Квангму; Квон, Донгуп; Ли, Сунгхва; Ким, Янгсок; Ким, Чану (июнь 2018 г.). «Flexon: гибкий цифровой нейрон для эффективного моделирования нейронных сетей». 45-й ежегодный международный симпозиум по компьютерной архитектуре (ISCA) 2018 ACM / IEEE : 275–288. DOI : 10.1109 / isca.2018.00032 . ISBN 978-1-5386-5984-7. S2CID  50778421 .
  5. ^ a b https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/intels-neuromorphic-system-hits-8-million-neurons-100-million-coming-by-2020.amp.html Нейроморфная система Intel поражает 8 миллионов нейронов, 100 миллионов появятся к 2020 году
  6. ^ Wulfram Герстнер (2001). «Пиковые нейроны» . В Вольфганге Маасе; Кристофер М. Бишоп (ред.). Импульсные нейронные сети . MIT Press. ISBN 978-0-262-63221-8. CS1 maint: обескураженный параметр ( ссылка )
  7. ^ https://repository.tudelft.nl/islandora/object/uuid%3A40a045d1-e58c-4587-b83a-96ad6daeb80d#:~:text=Neurons%20in%20Spiking%20Neural%20Networks,communicate%2C%20thus%20mimicking 20the% 20brain. & Text = SNN% 20have% 20the% 20benefit% 20to, Artificial% 20Neural% 20Networks% 20
  8. Перейти ↑ Maass, Wolfgang (1997). «Сети пиковых нейронов: третье поколение моделей нейронных сетей». Нейронные сети . 10 (9): 1659–1671. DOI : 10.1016 / S0893-6080 (97) 00011-7 .
  9. ^ Анвани, Навин; Раджендран, Бипин (июль 2015 г.). «NormAD - правило контролируемого обучения на основе нормализованного приближенного спуска для пиковых нейронов». 2015 г. Международная совместная конференция по нейронным сетям (IJCNN) : 1–8. DOI : 10.1109 / IJCNN.2015.7280618 . ISBN 978-1-4799-1960-4. S2CID  14461638 .
  10. ^ Анвани, Навин; Раджендран, Бипин (07.03.2020). «Обучение многослойных нейронных сетей с пиковыми импульсами с использованием обратного распространения пространственно-временных ошибок на основе NormAD» . Нейрокомпьютеры . 380 : 67–77. arXiv : 1811.10678 . DOI : 10.1016 / j.neucom.2019.10.104 . ISSN 0925-2312 . S2CID 53762477 .  
  11. ^ Alnajjar, F .; Мурасе, К. (2008). «Простая аплизия-подобная нейронная сеть для создания адаптивного поведения автономных роботов». Адаптивное поведение . 14 (5): 306–324. DOI : 10.1177 / 1059712308093869 . S2CID 16577867 . 
  12. ^ X Чжан; Z Xu; К. Энрикес; S Ferrari (декабрь 2013 г.). Непрямое обучение на основе шипов виртуального насекомого, управляемого нейронной сетью . Решение и контроль IEEE . С. 6798–6805. CiteSeerX 10.1.1.671.6351 . DOI : 10.1109 / CDC.2013.6760966 . ISBN  978-1-4673-5717-3. S2CID  13992150 .
  13. ^ Tavanaei, Amirhossein; Годрати, Масуд; Херадпишех, Саид Реза; Маскелье, Тимоти; Майда, Энтони (март 2019). «Глубокое обучение в нейронных сетях». Нейронные сети . 111 : 47–63. arXiv : 1804.08150 . DOI : 10.1016 / j.neunet.2018.12.002 . PMID 30682710 . S2CID 5039751 .  
  14. ^ Abbott, LF; Нельсон, Саша Б. (ноябрь 2000 г.). «Синаптическая пластичность: укрощение зверя». Природа Неврологии . 3 (S11): 1178–1183. DOI : 10.1038 / 81453 . PMID 11127835 . S2CID 2048100 .  
  15. ^ Атия, AF; Parlos, AG (май 2000 г.). «Новые результаты по повторному обучению сети: унификация алгоритмов и ускорение сходимости». IEEE-транзакции в нейронных сетях . 11 (3): 697–709. DOI : 10.1109 / 72.846741 . PMID 18249797 . 
  16. ^ «Hananel-Hazan / bindsnet: Моделирование нейронных сетей с пиками (SNN) с использованием PyTorch» . 31 марта 2020.
  17. ^ Мозафари, Милад; Ганджтабеш, Мохаммад; Новзари-Далини, Аббас; Маскелье, Тимоти (12 июля 2019 г.). «SpykeTorch: Эффективное моделирование сверточных пиков нейронных сетей с максимум одним пиком на нейрон» . Границы неврологии . 13 : 625. arXiv : 1903.02440 . DOI : 10.3389 / fnins.2019.00625 . PMC 6640212 . PMID 31354403 .  
  18. ^ Sutton RS, Barto AG (2002) Обучение с подкреплением: Введение. Bradford Books, MIT Press, Кембридж, Массачусетс.
  19. ^ Бойн, S .; Grollier, J .; Лесерф, Г. (2017-04-03). «Обучение через динамику сегнетоэлектрических доменов в твердотельных синапсах» . Nature Communications . 8 : 14736. Bibcode : 2017NatCo ... 814736B . DOI : 10.1038 / ncomms14736 . PMC 5382254 . PMID 28368007 .  
  20. ^ админ. «Нейронная процессорная система Акида на кристалле» . BrainChip . Проверено 12 октября 2020 .
  21. ^ Синь Цзинь; Фербер, Стив Б .; Вудс, Джон В. (2008). «Эффективное моделирование пиковых нейронных сетей на масштабируемом многопроцессорном чипе». 2008 г. Международная совместная конференция IEEE по нейронным сетям (Всемирный конгресс IEEE по вычислительному интеллекту) . С. 2812–2819. DOI : 10.1109 / IJCNN.2008.4634194 . ISBN 978-1-4244-1820-6. S2CID  2103654 .
  22. ^ a b https://www.humanbrainproject.eu/en/silicon-brains/ Нейроморфные вычисления
  23. ^ a b «Оборудование: доступные системы» . Проект человеческого мозга . Проверено 10 мая 2020 .
  24. ^ Маркофф, Джон, Новый чип функционирует как мозг, сообщает IBM , New York Times, 8 августа 2014 г., стр.
  25. ^ Саенко, Дмитрий Г .; Ветте, Альберт Х .; Камибаяси, Киётака; Накадзима, Цуёси; Акаи, Масами; Накадзава, Кимитака (март 2007 г.). «Облегчение рефлекса растяжения камбаловидной мышцы, вызванного электрическим возбуждением подошвенных кожных афферентов, расположенных вокруг пятки». Письма неврологии . 415 (3): 294–298. DOI : 10.1016 / j.neulet.2007.01.037 . PMID 17276004 . S2CID 15165465 .  
  26. ^ "Нейроморфные цепи с нейронной модуляцией, улучшающие информационное содержание нейронных сигналов | Международная конференция по нейроморфным системам 2020". DOI : 10.1145 / 3407197.3407204 . S2CID 220794387 .  Цитировать журнал требует |journal=( помощь )
  27. ^ Schrauwen B, Campenhout JV (2004) Улучшение spikeprop: усовершенствования правила обратного распространения ошибок для пиков нейронных сетей. В: Материалы 15-го семинара ProRISC, Велдховен, Нидерланды
  28. ^ Индивери, Джакомо; Корради, Федерико; Цяо, Нин (2015). «Нейроморфные архитектуры для наращивания глубоких нейронных сетей». 2015 IEEE International Electron Devices Meeting (IEDM) . С. 4.2.1–4.2.4. DOI : 10.1109 / IEDM.2015.7409623 . ISBN 978-1-4673-9894-7. S2CID  1065450 .
  29. ^ «Нейроморфные вычисления - следующее поколение ИИ» . Intel . Проверено 22 июля 2019 .
  30. ^ Ямазаки, Тадаши; Танака, Сигэру (17 октября 2007 г.). «Пиковая сетевая модель для представления прохождения времени в мозжечке» . Европейский журнал нейробиологии . 26 (8): 2279–2292. DOI : 10.1111 / j.1460-9568.2007.05837.x . PMC 2228369 . PMID 17953620 .  
  31. ^ Дэвис, Майк; Шриниваса, Нараян; Линь Цзун-Хан; Чинья, Гаутам; Цао, Юнцян; Чодай, Шри Харша; Димоу, Георгиос; Джоши, прасад; Имам, Набиль; Джайн, Светлана; Ляо, Ююнь; Лин, Чит-Кван; Линии, Андрей; Лю, Руокун; Матайкутти, Дипак; Маккой, Стивен; Пол, Арнаб; Це, Джонатан; Венкатараманан, Гуругуханатан; Вен, И-Синь; Дикий, Андреас; Ян, Юнсок; Ван, Хун (январь 2018 г.). "Loihi: нейроморфный многоядерный процессор с обучением на кристалле". IEEE Micro . 38 (1): 82–99. DOI : 10.1109 / MM.2018.112130359 . S2CID 3608458 . 
  32. ^ Понулак, Ф .; Касинский, А. (2010). «Обучение с учителем в нейронных сетях с пиками с помощью ReSuMe: обучение последовательности, классификация и смещение пиков». Neural Comput . 22 (2): 467–510. DOI : 10.1162 / neco.2009.11-08-901 . PMID 19842989 . S2CID 12572538 .  
  33. ^ Newman et al. 1998 г.
  34. ^ Bohte et al. 2002a
  35. ^ Belatreche et al. 2003 г.
  36. ^ Пфистер, Жан-Паскаль; Тойоидзуми, Таро; Барбер, Дэвид; Герстнер, Вульфрам (июнь 2006 г.). «Оптимальная пластичность, зависящая от времени всплеска для точного срабатывания потенциала действия при обучении с учителем». Нейронные вычисления . 18 (6): 1318–1348. arXiv : q-bio / 0502037 . Bibcode : 2005q.bio ..... 2037P . DOI : 10.1162 / neco.2006.18.6.1318 . PMID 16764506 . S2CID 6379045 .  
  37. ^ Bohte, et. al. (2002b)

Внешние ссылки [ править ]

  • Полный текст книги Spiking Neuron Models. Одиночные нейроны, популяции, пластичность Вульфрама Герстнера и Вернера М. Кистлера ( ISBN 0-521-89079-9 )