Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Насекомое управляется нейронной сетью с шипами, чтобы найти цель в неизвестной местности.
Основная статья: Искусственная нейронная сеть

Пиковые нейронные сети ( SNN ) - это искусственные нейронные сети, которые более точно имитируют естественные нейронные сети. [1] В дополнение к нейрональному и синаптическому состоянию, SNN включают понятие времени в свою операционную модель . Идея состоит в том, что нейроны в SNN не передают информацию в каждом цикле распространения (как это происходит с типичными многослойными сетями персептронов ), а скорее передают информацию только тогда, когда мембранный потенциал - внутреннее качество нейрона, связанное с его электрическим зарядом мембраны - достигает определенного значения, называемого порогом. Когда мембранный потенциал достигает порогового значения, нейрон срабатывает и генерирует сигнал, который передается другим нейронам, которые, в свою очередь, увеличивают или уменьшают свои потенциалы в ответ на этот сигнал. Модель нейрона, срабатывающая в момент пересечения порога, также называется моделью нейрона с импульсами . [2]

Самая известная модель нейронов с импульсами - это модель с утечкой, интегрируй и зажигай. В модели интеграции и запуска моментальный уровень активации (моделируемый как дифференциальное уравнение ) обычно считается состоянием нейрона, при этом входящие импульсы толкают это значение выше или ниже, пока состояние в конечном итоге либо не исчезнет, ​​либо - если срабатывание порог достигнут - нейрон срабатывает. После срабатывания переменная состояния сбрасывается до более низкого значения.

Существуют различные методы декодирования для интерпретации исходящей последовательности всплесков как числа с действительным значением, в зависимости от частоты всплесков (код скорости), времени до первого всплеска после стимуляции или интервала между всплесками.

История [ править ]

Импульсная модель нейрона
Искусственные синапсы на основе FTJ

Многослойные искусственные нейронные сети обычно полностью подключены , получая входные данные от каждого нейрона на предыдущем уровне и сигнализируя каждому нейрону на следующем уровне. Хотя эти сети достигли прорывов во многих областях, они биологически неточны и не имитируют механизм работы нейронов в мозгу живого существа. [3]

Смотрите также: Биологическая модель нейрона

Биологически вдохновленная модель Ходжкина-Хаксли импульсного нейрона была предложена в 1952 году. Эта модель описывает, как потенциалы действия инициируются и распространяются. Связь между нейронами, которая требует обмена химическими нейротрансмиттерами в синаптической щели, описывается в различных моделях, таких как модель интеграции и огня, модель ФитцХью – Нагумо (1961–1962) и модель Хиндмарша – Роуза (1984). . Обычно используется негерметичная модель интегрирования и включения (или производная), поскольку ее легче вычислить, чем модель Ходжкина – Хаксли. [4]

В июле 2019 года на саммите DARPA Electronics Resurgence Initiative Intel представила нейроморфную систему с 8 миллионами нейронов, включающую 64 исследовательских чипа Loihi. [5]

Основы [ править ]

С точки зрения теории информации проблема состоит в том, чтобы объяснить, как информация кодируется и декодируется серией последовательностей импульсов, то есть потенциалов действия. Таким образом, фундаментальный вопрос нейробиологии состоит в том, чтобы определить, взаимодействуют ли нейроны с помощью скорости или временного кода . [6] Временное кодирование предполагает, что одиночный импульсный нейрон может заменить сотни скрытых единиц в сигмоидальной нейронной сети . [1]

Пиковая нейронная сеть учитывает временную информацию. Идея состоит в том, что не все нейроны активируются на каждой итерации распространения (как в типичной многослойной сети персептронов ), а только тогда, когда ее мембранный потенциал достигает определенного значения. Когда нейрон активируется, он выдает сигнал, который передается подключенным нейронам, повышая или понижая их мембранный потенциал.

В нейронной сети с пиками текущее состояние нейрона определяется как уровень его активации (моделируется как дифференциальное уравнение). Входной импульс заставляет текущее значение состояния на некоторое время увеличиваться, а затем постепенно снижаться. Схемы кодирования были созданы для интерпретации этих выходных импульсных последовательностей как числа с учетом как частоты импульсов, так и интервала между импульсами. Модель нейронной сети, основанная на времени генерации импульса, может быть создана точно. В этой новой нейронной сети используется кодирование спайков. Используя точное время появления импульса, нейронная сеть может использовать больше информации и предложить более высокую вычислительную мощность.

Нейронные сети с импульсной связью (PCNN) часто путают с SNN. PCNN можно рассматривать как своего рода SNN.

Подход SNN использует двоичный выход (сигнал / нет сигнала) вместо непрерывного вывода традиционных ANN. Кроме того, импульсные тренировки трудно интерпретировать. Но тренировка пульса увеличивает способность обрабатывать пространственно-временные данные (или сенсорные данные реального мира) [ необходима цитата ] . Пространство относится к тому факту, что нейроны соединяются только с соседними нейронами, поэтому они могут обрабатывать входные блоки отдельно (аналогично CNN с использованием фильтров). Время относится к тому факту, что импульсная тренировка происходит с течением времени, так что информацию, потерянную при двоичном кодировании, можно извлечь из информации о времени. Это позволяет избежать дополнительной сложности рекуррентной нейронной сети (RNN). Оказывается, импульсные нейроны - более мощные вычислительные единицы, чем традиционные искусственные нейроны.[3]

SNN теоретически более мощный, чем сети второго поколения, однако проблемы обучения SNN и требования к оборудованию ограничивают их использование. Несмотря на то, что доступны неконтролируемые методы биологического обучения, такие как обучение Hebbian и STDP , ни один эффективный метод обучения с учителем не подходит для SNN, который может обеспечить лучшую производительность, чем сети второго поколения. [ необходима цитата ] Активация SNN на основе пиков не дифференцируема, что затрудняет разработку методов обучения на основе градиентного спуска для выполнения обратного распространения ошибок , хотя есть несколько недавних алгоритмов, таких как NormAD [7] и многослойный NormAD [8] продемонстрировали хорошие результаты обучения благодаря подходящей аппроксимации градиента активации на основе спайков.

SNN требуют гораздо больших вычислительных затрат для моделирования реалистичных нейронных моделей, чем традиционные ANN.

Приложения [ править ]

SNN в принципе могут применяться к тем же приложениям, что и традиционные ANN. [9] Кроме того, SNN могут моделировать центральную нервную систему биологических организмов, например насекомых, ищущих пищу, без предварительного знания окружающей среды. [10] Благодаря своей относительной реалистичности, они могут использоваться для изучения работы биологических нейронных цепей . Начиная с гипотезы о топологии биологической нейронной цепи и ее функции, записи этой схемы можно сравнить с выходными данными соответствующего SNN, оценивая правдоподобность гипотезы. Однако отсутствуют эффективные механизмы обучения для сетей SNN, которые могут тормозить некоторые приложения, включая задачи компьютерного зрения.

По состоянию на 2019 год SNN отстают от ANN с точки зрения точности, но разрыв уменьшается и исчез по некоторым задачам. [11]

Программное обеспечение [ править ]

Разнообразное прикладное программное обеспечение может моделировать SNN. Это программное обеспечение можно классифицировать в зависимости от его использования:

Моделирование SNN [ править ]

Обучение без учителя с использованием сегнетоэлектрических синапсов

Они моделируют сложные нейронные модели с высоким уровнем детализации и точности. Большие сети обычно требуют длительной обработки. Кандидаты включают: [12]

  • GENESIS (Общая система нейронной симуляции [13] ) - разработана в лаборатории Джеймса Бауэра в Калифорнийском технологическом институте ;
  • NEURON - в основном разработан Майклом Хайнсом, Джоном В. Муром и Тедом Карневейлом в Йельском университете и Университете Дьюка ;
  • Брайан - разработан Роменом Бреттом и Дэном Гудманом из Высшей школы нормального образования ;
  • NEST - разработан NEST Initiative;
  • BindsNET - разработан лабораторией «Биологически вдохновленные нейронные и динамические системы» (BINDS) Массачусетского университета в Амхерсте . [14]
  • SpykeTorch - фреймворк на основе PyTorch, оптимизированный специально для сверточных SNN с максимум одним спайком на нейрон. Работает на графических процессорах. [15]

Оборудование [ править ]

Прогнозирование обучения STDP с помощью сегнетоэлектрических синапсов
Модель маршрутизации сетки от нейрона к нейрону

Будущие нейроморфные архитектуры [16] будут включать миллиарды таких наносинапсов, что потребует четкого понимания физических механизмов, ответственных за пластичность. Экспериментальные системы, основанные на сегнетоэлектрических туннельных переходах, были использованы для демонстрации того, что STDP можно использовать в результате переключения гетерогенной поляризации. Посредством комбинированной визуализации с помощью сканирующего зонда, электрического транспорта и молекулярной динамики в атомарном масштабе, вариации проводимости могут быть смоделированы с помощью обращения доменов с преобладанием нуклеации. Моделирование показывает, что массивы сегнетоэлектрических наносинапсов могут автономно научиться распознавать закономерности предсказуемым образом, открывая путь к обучению без учителя . [17]

Обучение без учителя с использованием сегнетоэлектрических синапсов
  • Akida NSoC от Brainchip утверждает, что фактически имеет 1,2 миллиона нейронов и 10 миллиардов синапсов [18]
  • Neurogrid - это плата, которая может моделировать всплески нейронных сетей непосредственно на оборудовании. (Стэндфордский Университет)
  • SpiNNaker (Spiking Neural Network Architecture) использует процессоры ARM в качестве строительных блоков для платформы массовых параллельных вычислений, основанной на шестиуровневой таламокортикальной модели. ( Университет Манчестера ) [19] Система SpiNNaker основана на численных моделях, работающих в реальном времени на специализированных цифровых многоядерных микросхемах с использованием архитектуры ARM . Он предоставляет настраиваемые цифровые микросхемы, каждый из которых имеет восемнадцать ядер и общую локальную ОЗУ 128 Мбайт, всего более 1 000 000 ядер. [20] Один чип может моделировать 16 000 нейронов с 8 миллионами пластиковых синапсов, работающих в реальном времени. [21]
  • TrueNorth - это процессор, содержащий 5,4 миллиарда транзисторов, потребляющий всего 70 милливатт ; большинство процессоров в персональных компьютерах содержат около 1,4 миллиарда транзисторов и требуют 35 Вт или более. IBM называет принцип построения TrueNorth нейроморфными вычислениями . Его основная цель - распознавание образов. Хотя критики говорят, что чип недостаточно мощный, его сторонники отмечают, что это только первое поколение, и возможности улучшенных итераций станут ясны. (IBM) [22]
  • Динамический нейроморфный асинхронный процессор (DYNAP) [23] объединяет медленные, маломощные, неоднородные подпороговые аналоговые схемы и быстрые программируемые цифровые схемы. Он поддерживает реконфигурируемые нейронные сети общего назначения в режиме реального времени с импульсными нейронами. Это позволяет реализовать архитектуры нейронной обработки в реальном времени на основе всплесков [24] [25], в которых память и вычисления совмещены. Он решает проблему узких мест фон Неймана и обеспечивает мультиплексную передачу пиковых событий в реальном времени для создания крупных сетей. Повторные сети, опережающие сети, сверточные сети, аттрактор сеть , эхо-государственные сети , глубокие сети, и сети слияния датчиков - лишь некоторые из возможностей. [26]
Базовая микроархитектура верхнего уровня
  • Loihi - это 14-нм чип Intel, который предлагает 128 ядер и 130 000 нейронов в 60-мм корпусе. [27] Он объединяет широкий спектр функций, таких как иерархическая связь, дендритные отсеки, синаптические задержки и программируемые правила синаптического обучения. [28] Запуск пики сверточной формы локально конкурентного алгоритм, Loihi может решить Lasso задач оптимизации с более чем на три порядка превосходящей продукта энергии задержки по сравнению с обычными решателями , работающих на CPU isoprocess / напряжение / области. [29] Исследовательская система 64 Loihi предлагает нейроморфную систему с 8 миллионами нейронов. Loihi примерно в 1000 раз быстрее процессора и в 10 000 раз энергоэффективнее. [5]
  • BrainScaleS основан на физических имитациях моделей нейронов, синапсов и пластичности с цифровой связью, которые работают до десяти тысяч раз быстрее, чем в реальном времени. Он был разработан Европейским проектом человеческого мозга . [20] Система BrainScaleS содержит 20 8-дюймовых кремниевых пластин по техпроцессу 180 нм. Каждая пластина включает 50 x 106 пластиковых синапсов и 200 000 биологически реалистичных нейронов. Система не выполняет заранее запрограммированный код, а развивается в соответствии с физическими свойствами электронных устройств, работая до 10 тысяч раз быстрее, чем в реальном времени. [21]

Контрольные показатели [ править ]

Возможности классификации пиковых сетей, обученных в соответствии с методами обучения без учителя [30] , были протестированы на общих наборах данных эталонных тестов, таких как Iris, Wisconsin Breast Cancer или Statlog Landsat. [31] [32] [33] Были использованы различные подходы к кодированию информации и проектированию сети. Например, двухуровневая сеть с прямой связью для кластеризации и классификации данных. Основываясь на идее, предложенной в Hopfield (1995), авторы реализовали модели локальных рецептивных полей, сочетающие свойства радиальных базисных функций (RBF) и пиков нейронов для преобразования входных сигналов (классифицированных данных), имеющих представление с плавающей запятой, в представление с пиками. [34] [35]

См. Также [ править ]

  • CoDi
  • Когнитивная архитектура
  • Познавательная карта
  • Когнитивный компьютер
  • Вычислительная нейробиология
  • Нейронное кодирование
  • Нейронный коррелят
  • Нейронное декодирование
  • Нейроэтология
  • Нейроинформатика
  • Модели нейронных вычислений
  • Восприятие движения
  • Системная неврология

Ссылки [ править ]

  1. ^ a b Маасс, Вольфганг (1997). «Сети пиковых нейронов: третье поколение моделей нейронных сетей». Нейронные сети . 10 (9): 1659–1671. DOI : 10.1016 / S0893-6080 (97) 00011-7 . ISSN  0893-6080 .
  2. ^ Герстнер, Вульфрам. (2002). Модели спайковых нейронов: одиночные нейроны, популяции, пластичность . Кистлер, Вернер М., 1969-. Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 0-511-07817-X. OCLC  57417395 .
  3. ^ a b «Нейронные сети, новое поколение машинного обучения» . 16 июля 2019.
  4. ^ Ли, Dayeol; Ли, Квангму; Квон, Донгуп; Ли, Сунхва; Ким, Янгсок; Ким, Чану (июнь 2018 г.). «Flexon: гибкий цифровой нейрон для эффективного моделирования нейронных сетей». 45-й ежегодный международный симпозиум по компьютерной архитектуре (ISCA) 2018 ACM / IEEE : 275–288. DOI : 10.1109 / isca.2018.00032 . ISBN 978-1-5386-5984-7. S2CID  50778421 .
  5. ^ a b https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/intels-neuromorphic-system-hits-8-million-neurons-100-million-coming-by-2020.amp.html Нейроморфная система Intel поражает 8 миллионов нейронов, 100 миллионов появятся к 2020 году
  6. ^ Wulfram Герстнер (2001). «Пикирование нейронов» . В Вольфганге Маасе; Кристофер М. Бишоп (ред.). Импульсные нейронные сети . MIT Press. ISBN 978-0-262-63221-8.
  7. ^ Анвани, Навин; Раджендран, Бипин (июль 2015 г.). «NormAD - правило контролируемого обучения на основе нормализованного приближенного спуска для пиковых нейронов». 2015 Международная объединенная конференция по нейронным сетям (IJCNN) : 1–8. DOI : 10.1109 / IJCNN.2015.7280618 . ISBN 978-1-4799-1960-4. S2CID  14461638 .
  8. ^ Анвани, Навин; Раджендран, Бипин (07.03.2020). «Обучение многослойных нейронных сетей с пиковыми импульсами с использованием обратного распространения пространственно-временных ошибок на основе NormAD» . Нейрокомпьютеры . 380 : 67–77. arXiv : 1811.10678 . DOI : 10.1016 / j.neucom.2019.10.104 . ISSN 0925-2312 . S2CID 53762477 .  
  9. ^ Alnajjar, F .; Мурасе, К. (2008). «Простая аплизия-подобная нейронная сеть для создания адаптивного поведения автономных роботов». Адаптивное поведение . 14 (5): 306–324. DOI : 10.1177 / 1059712308093869 . S2CID 16577867 . 
  10. ^ X Чжан; Z Xu; К. Энрикес; S Ferrari (декабрь 2013 г.). Непрямое обучение на основе шипов виртуального насекомого, управляемого нейронной сетью . Решение и контроль IEEE . С. 6798–6805. CiteSeerX 10.1.1.671.6351 . DOI : 10.1109 / CDC.2013.6760966 . ISBN  978-1-4673-5717-3. S2CID  13992150 .
  11. ^ Таванаи, Амирхоссейн; Годрати, Масуд; Херадпишех, Саид Реза; Маскелье, Тимоти; Майда, Энтони (март 2019). «Глубокое обучение в нейронных сетях». Нейронные сети . 111 : 47–63. arXiv : 1804.08150 . DOI : 10.1016 / j.neunet.2018.12.002 . PMID 30682710 . S2CID 5039751 .  
  12. ^ Abbott, LF; Нельсон, Саша Б. (ноябрь 2000 г.). «Синаптическая пластичность: укрощение зверя». Природа Неврологии . 3 (S11): 1178–1183. DOI : 10.1038 / 81453 . PMID 11127835 . S2CID 2048100 .  
  13. ^ Атия, AF; Parlos, AG (май 2000 г.). «Новые результаты по повторному обучению сети: унификация алгоритмов и ускорение сходимости». IEEE-транзакции в нейронных сетях . 11 (3): 697–709. DOI : 10.1109 / 72.846741 . PMID 18249797 . 
  14. ^ "Hananel-Hazan / bindsnet: Моделирование нейронных сетей (SNN) с использованием PyTorch" . 31 марта 2020.
  15. ^ Мозафари, Милад; Ганджтабеш, Мохаммад; Новзари-Далини, Аббас; Маскелье, Тимоти (12 июля 2019 г.). «SpykeTorch: Эффективное моделирование сверточных пиков в нейронных сетях с максимум одним пиком на нейрон» . Границы неврологии . 13 : 625. arXiv : 1903.02440 . DOI : 10.3389 / fnins.2019.00625 . PMC 6640212 . PMID 31354403 .  
  16. ^ Саттон Р.С., Барто А.Г. (2002) Обучение с подкреплением: Введение. Bradford Books, MIT Press, Кембридж, Массачусетс.
  17. ^ Бойн, S .; Grollier, J .; Лесерф, Г. (2017-04-03). «Обучение через динамику сегнетоэлектрических доменов в твердотельных синапсах» . Nature Communications . 8 : 14736. Bibcode : 2017NatCo ... 814736B . DOI : 10.1038 / ncomms14736 . PMC 5382254 . PMID 28368007 .  
  18. ^ admin. «Нейронная процессорная система Akida на кристалле» . BrainChip . Проверено 12 октября 2020 .
  19. ^ Синь Цзинь; Фербер, Стив Б .; Вудс, Джон В. (2008). «Эффективное моделирование пиковых нейронных сетей на масштабируемом мультипроцессоре». 2008 г. Международная совместная конференция IEEE по нейронным сетям (Всемирный конгресс IEEE по вычислительному интеллекту) . С. 2812–2819. DOI : 10.1109 / IJCNN.2008.4634194 . ISBN 978-1-4244-1820-6. S2CID  2103654 .
  20. ^ a b https://www.humanbrainproject.eu/en/silicon-brains/ Нейроморфные вычисления
  21. ^ a b «Оборудование: доступные системы» . Проект человеческого мозга . Проверено 10 мая 2020 .
  22. ^ Маркофф, Джон, Новый чип функционирует как мозг, сообщает IBM , New York Times, 8 августа 2014 г., стр.
  23. ^ Саенко, Дмитрий Г .; Vette, Albert H .; Камибаяси, Киётака; Накадзима, Цуёси; Акаи, Масами; Накадзава, Кимитака (март 2007 г.). «Облегчение рефлекса растяжения камбаловидной мышцы, вызванного электрическим возбуждением подошвенных кожных афферентов, расположенных вокруг пятки». Письма неврологии . 415 (3): 294–298. DOI : 10.1016 / j.neulet.2007.01.037 . PMID 17276004 . S2CID 15165465 .  
  24. ^ "Нейроморфные цепи с нейронной модуляцией, улучшающие информационное содержание нейронных сигналов | Международная конференция по нейроморфным системам 2020". DOI : 10.1145 / 3407197.3407204 . S2CID 220794387 .  Цитировать журнал требует |journal=( помощь )
  25. ^ Schrauwen B, Campenhout JV (2004) Улучшение spikeprop: усовершенствования правила обратного распространения ошибок для пиков нейронных сетей. В: Материалы 15-го семинара ProRISC, Велдховен, Нидерланды
  26. ^ Индивери, Джакомо; Корради, Федерико; Цяо, Нин (2015). «Нейроморфные архитектуры для наращивания глубоких нейронных сетей». 2015 IEEE International Electron Devices Meeting (IEDM) . С. 4.2.1–4.2.4. DOI : 10.1109 / IEDM.2015.7409623 . ISBN 978-1-4673-9894-7. S2CID  1065450 .
  27. ^ «Нейроморфные вычисления - следующее поколение ИИ» . Intel . Проверено 22 июля 2019 .
  28. ^ Ямазаки, Тадаши; Танака, Сигэру (17 октября 2007 г.). «Пиковая сетевая модель для представления прохождения времени в мозжечке» . Европейский журнал нейробиологии . 26 (8): 2279–2292. DOI : 10.1111 / j.1460-9568.2007.05837.x . PMC 2228369 . PMID 17953620 .  
  29. ^ Дэвис, Майк; Шриниваса, Нараян; Линь, Цзун-Хан; Чинья, Гаутам; Цао, Юнцян; Чодай, Шри Харша; Димоу, Георгиос; Джоши, прасад; Имам, Набиль; Джайн, Светлана; Ляо, Ююнь; Линь, Чит-Кван; Линии, Андрей; Лю, Руокун; Матайкутти, Дипак; Маккой, Стивен; Пол, Арнаб; Це, Джонатан; Венкатараманан, Гуругуханатан; Вен, И-Синь; Дикий, Андреас; Ян, Юнсок; Ван, Хун (январь 2018 г.). "Loihi: нейроморфный многоядерный процессор с обучением на кристалле". IEEE Micro . 38 (1): 82–99. DOI : 10.1109 / MM.2018.112130359 . S2CID 3608458 . 
  30. ^ Понулак, Ф .; Касинский, А. (2010). «Обучение с учителем в нейронных сетях с пиками с помощью ReSuMe: обучение, классификация и смещение пиков». Neural Comput . 22 (2): 467–510. DOI : 10.1162 / neco.2009.11-08-901 . PMID 19842989 . S2CID 12572538 .  
  31. ^ Newman et al. 1998 г.
  32. ^ Bohte et al. 2002a
  33. ^ Belatreche et al. 2003 г.
  34. ^ Пфистер, Жан-Паскаль; Тоёидзуми, Таро; Барбер, Дэвид; Герстнер, Вульфрам (июнь 2006 г.). «Оптимальная пластичность, зависящая от времени всплеска, для точного срабатывания потенциала действия в контролируемом обучении». Нейронные вычисления . 18 (6): 1318–1348. arXiv : q-bio / 0502037 . Bibcode : 2005q.bio ..... 2037P . DOI : 10.1162 / neco.2006.18.6.1318 . PMID 16764506 . S2CID 6379045 .  
  35. ^ Bohte, et. al. (2002b)

Внешние ссылки [ править ]

  • Полный текст книги Spiking Neuron Models. Одиночные нейроны, популяции, пластичность Вульфрама Герстнера и Вернера М. Кистлера ( ISBN 0-521-89079-9 )