Послушайте эту статью
Из Википедии, свободной энциклопедии
  (Перенаправлено из нейронных сетей )
Перейти к навигации Перейти к поиску
Для использования в других целях, см Нейронная сеть (значения) .

Упрощенный вид искусственной нейронной сети с прямой связью

Нейронная сеть представляет собой сеть или цепь нейронов , или в современном смысле, искусственная нейронная сеть , состоящая из искусственных нейронов или узлов. [1] Таким образом, нейронная сеть - это либо биологическая нейронная сеть , состоящая из реальных биологических нейронов, либо искусственная нейронная сеть для решения задач искусственного интеллекта (ИИ). Связи биологического нейрона моделируются как веса. Положительный вес отражает возбуждающую связь, а отрицательный - тормозящую связь. Все входы модифицируются по весу и суммируются. Эта деятельность называется линейной комбинацией. Наконец, функция активации контролируетамплитуда выходного сигнала. Например, приемлемый диапазон вывода обычно составляет от 0 до 1 или может быть от -1 до 1.

Эти искусственные сети могут использоваться для прогнозного моделирования , адаптивного управления и приложений, где их можно обучать с помощью набора данных. Самообучение на основе опыта может происходить в сетях, которые могут делать выводы из сложного и, казалось бы, несвязанного набора информации. [2]

Обзор [ править ]

Нейронная сеть состоит из групп , химически связанных или функционально связанных нейронов. Один нейрон может быть связан со многими другими нейронами, и общее количество нейронов и соединений в сети может быть большим. Связи, называемые синапсами , обычно образуются от аксонов к дендритам , хотя возможны дендродендритные синапсы [3] и другие связи. Помимо электрических сигналов, существуют другие формы передачи сигналов, возникающие в результате диффузии нейромедиаторов .

Искусственный интеллект, когнитивное моделирование и нейронные сети - это парадигмы обработки информации, вдохновленные тем, как биологические нейронные системы обрабатывают данные. Искусственный интеллект и когнитивное моделирование пытаются имитировать некоторые свойства биологических нейронных сетей. В области искусственного интеллекта искусственные нейронные сети успешно применяются для распознавания речи , анализа изображений и адаптивного управления с целью создания программных агентов (в компьютерных и видеоиграх ) или автономных роботов .

Исторически цифровые компьютеры произошли от модели фон Неймана и работают через выполнение явных инструкций через доступ к памяти ряда процессоров. С другой стороны, происхождение нейронных сетей основано на попытках моделирования обработки информации в биологических системах. В отличие от модели фон Неймана, нейросетевые вычисления не разделяют память и обработку.

Теория нейронных сетей послужила как для более точного определения того, как функционируют нейроны в головном мозге, так и для создания основы для усилий по созданию искусственного интеллекта.

История [ править ]

Предварительная теоретическая база для современных нейронных сетей была независимо предложена Александром Бэйном [4] (1873 г.) и Уильямом Джеймсом [5] (1890 г.). В их работе мысли и деятельность тела были результатом взаимодействия нейронов мозга.

Компьютерное моделирование разветвления архитектуры дендритов в пирамидальных нейронов . [6]

Для Бейна [4] каждая активность приводила к срабатыванию определенного набора нейронов. Когда активность повторялась, связи между этими нейронами укреплялись. Согласно его теории, именно это повторение привело к формированию памяти. В то время научное сообщество в целом скептически относилось к теории Бейна [4], поскольку она требовала чрезмерного количества нейронных связей в мозгу. Теперь очевидно, что мозг чрезвычайно сложен и что одна и та же «проводка» мозга может обрабатывать множество проблем и входных сигналов.

Теория Джеймса [5] была похожа на теорию Бейна [4], однако он предположил, что воспоминания и действия являются результатом электрических токов, протекающих между нейронами мозга. Его модель, сфокусированная на потоке электрического тока, не требовала индивидуальных нейронных связей для каждого воспоминания или действия.

К. С. Шеррингтон [7] (1898 г.) провел эксперименты для проверки теории Джеймса. Он пропустил электрический ток по спинному мозгу крыс. Однако вместо того, чтобы продемонстрировать увеличение электрического тока, как прогнозировал Джеймс, Шеррингтон обнаружил, что сила электрического тока уменьшалась по мере того, как испытания продолжались с течением времени. Важно отметить, что эта работа привела к открытию концепции привыкания .

Маккаллох и Питтс [8] (1943) создали вычислительную модель для нейронных сетей, основанную на математике и алгоритмах. Они назвали эту модель пороговой логикой . Модель открыла путь к разделению исследований нейронных сетей на два разных подхода. Один подход был сосредоточен на биологических процессах в мозге, а другой - на применении нейронных сетей в искусственном интеллекте.

В конце 1940-х годов психолог Дональд Хебб [9] создал гипотезу обучения, основанную на механизме нейронной пластичности, которая теперь известна как обучение Хебба . Хеббийское обучение считается «типичным» правилом обучения без учителя, а его более поздние варианты были ранними моделями для долгосрочного потенцирования . Эти идеи начали применяются к вычислительным моделям в 1948 году с B-типа машин Тьюринга .

Фарли и Кларк [10] (1954) сначала использовали вычислительные машины, тогда называемые калькуляторами, для моделирования сети Hebbian в Массачусетском технологическом институте. Другие вычислительные машины нейронных сетей были созданы Рочестером, Холландом, Хабитом и Дудой [11] (1956).

Розенблатт [12] (1958) создал перцептрон , алгоритм распознавания образов, основанный на двухуровневой обучающейся компьютерной сети с использованием простого сложения и вычитания. В математической нотации Розенблатт также описал схему, не входящую в базовый перцептрон, такую ​​как схему исключающее ИЛИ, схему, математические вычисления которой не могли быть обработаны до тех пор, пока алгоритм обратного распространения не был создан Вербосом [13] (1975).

Исследования нейронных сетей застопорились после публикации исследований машинного обучения Марвина Мински и Сеймура Паперта [14] (1969). Они обнаружили две ключевые проблемы с вычислительными машинами, которые обрабатывали нейронные сети. Первая проблема заключалась в том, что однослойные нейронные сети не могли обрабатывать схему «исключающее ИЛИ». Вторая важная проблема заключалась в том, что компьютеры не были достаточно сложными, чтобы эффективно справляться с длительным временем работы, необходимым для больших нейронных сетей. Исследования нейронных сетей замедлились, пока компьютеры не достигли большей вычислительной мощности. Ключевым моментом в более поздних достижениях был алгоритм обратного распространения ошибки , который эффективно решил проблему исключающего ИЛИ (Werbos 1975). [13]

Параллельно распределенной обработки с середины 1980-х годов стала популярной под названием коннекционизма . Текст Рамелхарта и Макклелланда [15] (1986) предоставил полное изложение использования коннекционизма в компьютерах для моделирования нейронных процессов.

Нейронные сети, используемые в искусственном интеллекте, традиционно рассматривались как упрощенные модели нейронной обработки в головном мозге, хотя связь между этой моделью и биологической архитектурой мозга обсуждается, поскольку неясно, в какой степени искусственные нейронные сети отражают мозг. функция. [16]

Искусственный интеллект [ править ]

Основная статья: Искусственная нейронная сеть

Нейронная сеть (NN), в случае искусственных нейронов называется искусственной нейронная сеть (ИНС) или имитация нейронной сети (ПНЧ), является взаимосвязанной группой природных или искусственных нейронов , которые используют математическую или вычислительную модель для информации об обработке , основанных на коннекционистский подход к вычислениям . В большинстве случаев ИНС - это адаптивная система, которая меняет свою структуру в зависимости от внешней или внутренней информации, проходящей через сеть.

С практической точки зрения нейронные сети - это инструменты нелинейного статистического моделирования данных или принятия решений . Их можно использовать для моделирования сложных отношений между входами и выходами или для поиска закономерностей в данных.

Искусственная нейронная сеть включает в себя сеть простых обрабатывающих элементов ( искусственные нейроны ) , которые могут проявлять сложное глобальное поведение, определяемое соединениями между элементами обработки и параметрами элементов. Искусственные нейроны были впервые предложены в 1943 году нейрофизиологом Уорреном Маккалоком и логиком Уолтером Питтсом , которые впервые сотрудничали в Чикагском университете . [17]

Одним из классических типов искусственной нейронной сети является рекуррентная сеть Хопфилда .

Концепция нейронной сети, по-видимому, впервые была предложена Аланом Тьюрингом в его статье 1948 года « Интеллектуальные машины», в которой он назвал их «неорганизованными машинами B-типа». [18]

Полезность моделей искусственных нейронных сетей заключается в том, что их можно использовать для вывода функции из наблюдений, а также для ее использования. Неконтролируемые нейронные сети также могут использоваться для изучения представлений входных данных, которые отражают основные характеристики входного распределения, например, см. Машину Больцмана (1983), а с недавних пор - алгоритмы глубокого обучения , которые могут неявно изучать функцию распределения входных данных. наблюдаемые данные. Обучение в нейронных сетях особенно полезно в приложениях, где сложность данных или задачи делает создание таких функций вручную непрактичным.

Приложения [ править ]

Нейронные сети можно использовать в разных сферах. Задачи, для решения которых применяются искусственные нейронные сети, обычно относятся к следующим широким категориям:

  • Аппроксимация функций или регрессионный анализ , включая прогнозирование и моделирование временных рядов .
  • Классификация , включая распознавание образов и последовательностей, обнаружение новизны и последовательное принятие решений.
  • Обработка данных , включая фильтрацию, кластеризацию, слепое разделение и сжатие сигналов .

Области применения ИНС включают в себя идентификацию и управление нелинейными системами ( управление транспортными средствами, управление процессами), игры и принятие решений (нарды, шахматы, гонки), распознавание образов (радиолокационные системы, идентификация лиц , распознавание объектов), распознавание последовательностей. ( распознавание жестов, речи, рукописного текста ), медицинская диагностика, финансовые приложения, интеллектуальный анализ данных (или обнаружение знаний в базах данных, «KDD»), визуализация и фильтрация спама в электронной почте . Например, можно создать семантический профиль интересов пользователя, возникающий из изображений, обученных распознаванию объектов. [20]

Неврология [ править ]

Теоретическая и вычислительная нейробиология - это область, связанная с анализом и компьютерным моделированием биологических нейронных систем. Поскольку нейронные системы тесно связаны с когнитивными процессами и поведением, эта область тесно связана с когнитивным и поведенческим моделированием.

Целью области является создание моделей биологических нейронных систем, чтобы понять, как работают биологические системы. Чтобы понять это, нейробиологи стремятся установить связь между наблюдаемыми биологическими процессами (данными), биологически правдоподобными механизмами нейронной обработки и обучения ( модели биологических нейронных сетей ) и теорией (теорией статистического обучения и теорией информации ).

Типы моделей [ править ]

Используются многие модели; определены на разных уровнях абстракции и моделируют различные аспекты нейронных систем. Они варьируются от моделей краткосрочного поведения отдельных нейронов до моделей динамики нейронных схем, возникающих в результате взаимодействия между отдельными нейронами, до моделей поведения, возникающих из абстрактных нейронных модулей, которые представляют собой полные подсистемы. К ним относятся модели долгосрочной и краткосрочной пластичности нейронных систем и ее связи с обучением и памятью, от отдельного нейрона до системного уровня.

Связь [ править ]

См. Также: Оценщики мозговой связи

В августе 2020 года ученые сообщили , что двунаправленные соединения, или добавлены соответствующие соединения обратной связи, могут ускорить и улучшить связь между ними и в модульных нейронных сетях мозга в коре головного мозга и снизить порог для их успешного общения. Они показали, что добавление обратных связей между резонансной парой может способствовать успешному распространению одиночного пакета импульсов по всей сети. [21] [22]

Критика [ править ]

Распространенная критика нейронных сетей, особенно в робототехнике, заключается в том, что они требуют большого разнообразия обучающих выборок для реальной работы. Это неудивительно, поскольку любой обучающейся машине требуется достаточное количество репрезентативных примеров, чтобы уловить основную структуру, которая позволяет обобщать ее на новые случаи. Дин Померло в своем исследовании, представленном в статье «Обучение искусственных нейронных сетей для автономного вождения роботов на основе знаний», использует нейронную сеть для обучения роботизированного транспортного средства движению по разным типам дорог (однополосная, многополосная, грязная). , так далее.). Большая часть его исследований посвящена (1) экстраполяции нескольких сценариев обучения из одного тренировочного опыта и (2) сохранению разнообразия прошлых тренировок, чтобы система не перетренировалась (если, например,он представлен серией поворотов направо - он не должен учиться всегда поворачивать направо). Эти проблемы распространены в нейронных сетях, которые должны решаться на основе широкого спектра ответов, но могут быть решены несколькими способами, например, путем случайного перетасовки обучающих примеров, с помощью алгоритма численной оптимизации, который не делает слишком больших шагов, когда изменение сетевых подключений по примеру или группирование примеров в так называемые мини-пакеты.с помощью алгоритма численной оптимизации, который не требует слишком больших шагов при изменении сетевых подключений в соответствии с примером, или путем группирования примеров в так называемые мини-пакеты.с помощью алгоритма численной оптимизации, который не требует слишком больших шагов при изменении сетевых подключений в соответствии с примером, или путем группирования примеров в так называемые мини-пакеты.

А.К. Дьюдни , бывший обозреватель журнала Scientific American , писал в 1997 году: «Хотя нейронные сети действительно решают несколько игрушечных задач, их вычислительные возможности настолько ограничены, что я удивлен, что кто-то серьезно относится к ним как к общему инструменту решения проблем» (Dewdney, стр.82).

Аргументы в пользу позиции Дьюдни заключаются в том, что для реализации больших и эффективных программных нейронных сетей необходимо выделить много ресурсов обработки и хранения. В то время как у мозга есть оборудование, адаптированное к задаче обработки сигналов через граф нейронов, моделирование даже самой упрощенной формы с помощью технологии фон Неймана может вынудить разработчика нейронной сети заполнить миллионы строк базы данных для своих соединений, что может потреблять огромные объемы памяти компьютера и емкости хранения данных . Кроме того, разработчику нейросетевых систем часто необходимо моделировать передачу сигналов через многие из этих соединений и связанных с ними нейронов, что часто требует невероятного количества ресурсов ЦП.вычислительная мощность и время. Хотя нейронные сети часто дают эффективные программы, они слишком часто делают это за счет эффективности (они, как правило, отнимают много времени и денег).

Аргументы против позиции Дьюдни заключаются в том, что нейронные сети успешно используются для решения многих сложных и разнообразных задач, таких как автономный полет самолета. [23]

Писатель по технологиям Роджер Бриджмен прокомментировал высказывания Дьюдни о нейронных сетях:

Нейронные сети, например, находятся на скамье подсудимых не только потому, что они были раскручены до небес (а что нет?), Но и потому, что вы можете создать успешную сеть, не понимая, как она работает: набор чисел, который фиксирует ее поведение, по всей вероятности, будет «непрозрачной, нечитаемой таблицей ... бесполезной как научный ресурс».

Несмотря на его решительное заявление о том, что наука - это не технология, Дьюдни, кажется, здесь называет нейронные сети плохой наукой, когда большинство из тех, кто их разрабатывает, просто пытаются стать хорошими инженерами. Нечитаемую таблицу, которую могла бы прочитать полезная машина, все равно стоит иметь. [24]

Хотя верно то, что анализировать то, что было изучено с помощью искусственной нейронной сети, сложно, это сделать намного проще, чем анализировать то, что было изучено с помощью биологической нейронной сети. Более того, недавний акцент на объяснимости ИИ способствовал развитию методов, особенно основанных на механизмах внимания, для визуализации и объяснения изученных нейронных сетей. Кроме того, исследователи, занимающиеся изучением алгоритмов обучения нейронных сетей, постепенно открывают общие принципы, которые позволяют машине обучения быть успешной. Например, Bengio и LeCun (2007) написали статью о локальном и нелокальном обучении, а также о неглубокой и глубокой архитектуре. [25]

Некоторые другие критические замечания исходили от сторонников гибридных моделей (сочетающих нейронные сети и символические подходы). Они выступают за смешение этих двух подходов и считают, что гибридные модели могут лучше отражать механизмы человеческого разума (Sun and Bookman, 1990). [ требуется полная цитата ]

Последние улучшения [ править ]

В то время как первоначально исследования были связаны в основном с электрическими характеристиками нейронов, особенно важной частью исследований в последние годы было изучение роли нейромодуляторов, таких как дофамин , ацетилхолин и серотонин, на поведение и обучение.

Биофизические модели, такие как теория BCM , сыграли важную роль в понимании механизмов синаптической пластичности и нашли применение как в компьютерных науках, так и в нейробиологии. Исследования продолжаются в понимании вычислительных алгоритмов, используемых в мозге, с некоторыми недавними биологическими доказательствами радиальных базисных сетей и нейронного обратного распространения в качестве механизмов обработки данных.

Вычислительные устройства были созданы в CMOS как для биофизического моделирования, так и для нейроморфных вычислений . Недавние усилия показывают многообещающие возможности создания наноустройств для очень крупномасштабного анализа основных компонентов и свертки . [26] В случае успеха эти усилия могут открыть новую эру нейронных вычислений, которая станет шагом вперед по сравнению с цифровыми вычислениями, [27] потому что они зависят от обучения, а не программирования, и потому что они в основном аналоговые, а не цифровые, хотя первые экземпляры на самом деле может быть с цифровыми устройствами CMOS.

В период с 2009 по 2012 год рекуррентные нейронные сети и нейронные сети с прямой связью, разработанные исследовательской группой Юргена Шмидхубера в швейцарской лаборатории искусственного интеллекта IDSIA , выиграли восемь международных конкурсов по распознаванию образов и машинному обучению . [28] Например, многомерная долговременная кратковременная память (LSTM) [29] [30] выиграла три конкурса по распознаванию связного почерка на Международной конференции по анализу и распознаванию документов (ICDAR) в 2009 году, не имея каких-либо предварительных знаний о трех разные языки, которые нужно выучить.

Варианты алгоритма обратного распространения , а также неконтролируемые методы Джеффа Хинтона и его коллег из Университета Торонто могут быть использованы для обучения глубоких, сильно нелинейных нейронных архитектур [31], подобно Neocognitron 1980 года Кунихико Фукусима , [32] и «стандартная архитектура зрения» [33], вдохновленная простыми и сложными клетками, идентифицированными Дэвидом Хьюбелом и Торстеном Визелем в первичной зрительной коре .

Также были введены радиальная базисная функция и вейвлет-сети. Можно показать, что они предлагают свойства наилучшего приближения и применялись в приложениях для идентификации и классификации нелинейных систем . [19]

В сетях с прямой связью глубокого обучения чередуются сверточные уровни и уровни максимального пула, увенчанные несколькими уровнями чистой классификации. Реализации этого подхода на основе быстрых графических процессоров выиграли несколько конкурсов по распознаванию образов, включая IJCNN 2011 Traffic Sign Recognition Competition [34] и ISBI 2012 Segmentation of Neuronal Structures in Electron Microscopy Stacks. [35] Такие нейронные сети также были первыми искусственными распознавателями образов, которые достигли конкурентоспособности человека или даже сверхчеловеческой производительности [36] в тестах, таких как распознавание дорожных знаков (IJCNN 2012) или проблема рукописных цифр MNIST Яна ЛеКуна и его коллег изNYU .

См. Также [ править ]

  • АДАЛИН
  • Теория адаптивного резонанса
  • Биологическая кибернетика
  • Биологически вдохновленные вычисления
  • Контроллер артикуляции модели мозжечка
  • Когнитивная архитектура
  • Наука о мышлении
  • Коннектомика
  • Культивированные нейронные сети
  • Глубокое обучение
  • Deep Image Prior
  • Цифровой морфогенез
  • Эффективно обновляемая нейронная сеть
  • Эксклюзивный или
  • Эволюционный алгоритм
  • Генетический алгоритм
  • Программирование экспрессии генов
  • Генеративная состязательная сеть
  • Групповой метод обработки данных
  • Привыкание
  • Адаптивная таблица на месте
  • Мемристор
  • Мультилинейное подпространственное обучение
  • Программное обеспечение нейронной сети
  • Идентификация нелинейной системы
  • Параллельные процессы удовлетворения ограничений
  • Параллельная распределенная обработка
  • Прогнозная аналитика
  • Сеть радиальных базисных функций
  • Самоорганизующаяся карта
  • Смоделированная реальность
  • Машина опорных векторов
  • Сеть тензорных продуктов
  • Нейронная сеть с временной задержкой

Ссылки [ править ]

  1. ^ Хопфилда, JJ (1982). «Нейронные сети и физические системы с возникающими коллективными вычислительными возможностями» . Proc. Natl. Акад. Sci. США . 79 (8): 2554–2558. Bibcode : 1982PNAS ... 79.2554H . DOI : 10.1073 / pnas.79.8.2554 . PMC  346238 . PMID  6953413 .
  2. ^ «Нейронная сеть или нейронная сеть - Глоссарий ИТ Gartner» . www.gartner.com .
  3. ^ Арбиб, p.666
  4. ^ a b c d Bain (1873 г.). Разум и тело: теории их взаимосвязи . Нью-Йорк: Д. Эпплтон и компания.
  5. ^ а б Джеймс (1890). Принципы психологии . Нью-Йорк: Х. Холт и компания.
  6. ^ Cuntz, Hermann (2010). "Изображение выпуска PLoS по вычислительной биологии | Том 6 (8) август 2010 г." . PLOS Вычислительная биология . 6 (8): ev06.i08. DOI : 10.1371 / image.pcbi.v06.i08 .
  7. ^ Шеррингтон, CS (1898). «Эксперименты по изучению периферического распределения волокон задних корней некоторых спинномозговых нервов» . Труды Лондонского королевского общества . 190 : 45–186. DOI : 10,1098 / rstb.1898.0002 .
  8. ^ Маккаллох, Уоррен; Уолтер Питтс (1943). «Логический расчет идей, присущих нервной деятельности». Вестник математической биофизики . 5 (4): 115–133. DOI : 10.1007 / BF02478259 .
  9. ^ Хебб, Дональд (1949). Организация поведения . Нью-Йорк: Вили.
  10. ^ Фарли, B .; У. А. Кларк (1954). «Моделирование самоорганизующихся систем с помощью цифрового компьютера». Сделки IRE по теории информации . 4 (4): 76–84. DOI : 10.1109 / TIT.1954.1057468 .
  11. ^ Рочестер, N .; Дж. Х. Холланд, Л. Х. Хабит и У. Л. Дуда (1956). «Тесты по теории сборки клеток деятельности мозга с использованием большого цифрового компьютера». Сделки IRE по теории информации . 2 (3): 80–93. DOI : 10.1109 / TIT.1956.1056810 .
  12. ^ Розенблатт, Ф. (1958). «Персептрон: вероятностная модель хранения и организации информации в мозге». Психологический обзор . 65 (6): 386–408. CiteSeerX 10.1.1.588.3775 . DOI : 10.1037 / h0042519 . PMID 13602029 .  
  13. ↑ a b Werbos, PJ (1975). За пределами регрессии: новые инструменты для прогнозирования и анализа в поведенческих науках .
  14. ^ Минский, М .; С. Паперт (1969). Введение в вычислительную геометрию . MIT Press. ISBN 978-0-262-63022-1.
  15. ^ Rumelhart, DE; Джеймс Макклелланд (1986). Параллельная распределенная обработка: исследования микроструктуры познания . Кембридж: MIT Press.
  16. ^ Рассел, Ингрид. «Модуль нейронных сетей» . Архивировано из оригинального 29 мая 2014 года . Проверено 2012 . Проверить значения даты в: |access-date=( помощь )
  17. ^ Маккаллох, Уоррен; Питтс, Уолтер (1943). «Логический расчет идей, присущих нервной деятельности». Вестник математической биофизики . 5 (4): 115–133. DOI : 10.1007 / BF02478259 .
  18. ^ Коупленд, Б. Джек, изд. (2004). Существенный Тьюринг . Издательство Оксфордского университета. п. 403. ISBN 978-0-19-825080-7.
  19. ^ a b Биллингс, С.А. (2013). Нелинейная идентификация систем: методы NARMAX во временной, частотной и пространственно-временной областях . Вайли. ISBN 978-1-119-94359-4.
  20. ^ Wieczorek, Szymon; Филипьяк, Доминик; Филиповска, Агата (2018). «Семантическое профилирование интересов пользователей на основе изображений с помощью нейронных сетей» . Исследования в семантической сети . 36 (Новые темы в семантических технологиях). DOI : 10.3233 / 978-1-61499-894-5-179 .
  21. ^ «Нейробиологи демонстрируют, как улучшить связь между различными областями мозга» . medicalxpress.com . Проверено 6 сентября 2020 года .
  22. ^ Резаи, Hedyeh; Aertsen, Ad; Кумар, Арвинд; Вализаде, Алиреза (10 августа 2020 г.). «Содействие распространению пиковой активности в сетях с прямой связью путем включения обратной связи» . PLOS Вычислительная биология . 16 (8): e1008033. DOI : 10.1371 / journal.pcbi.1008033 . ISSN 1553-7358 . PMID 32776924 . S2CID 221100528 .    Текст и изображения доступны по международной лицензии Creative Commons Attribution 4.0 .
  23. ↑ Администратор НАСА (5 июня 2013 г.). "Центр летных исследований Драйдена - Комната новостей: Пресс-релизы: ПРОЕКТ НАСА НЕЙРОННОЙ СЕТИ ПРОХОДИТ ВЕХУ" . НАСА .
  24. ^ "Защита нейронных сетей Роджером Бриджменом" . Архивировано из оригинального 19 марта 2012 года . Проверено 1 августа 2006 года .
  25. ^ "Масштабирование алгоритмов обучения к {AI} - LISA - Публикации - Aigaion 2.0" . www.iro.umontreal.ca .
  26. ^ Ян, JJ; и другие. (2008). «Мемристивный механизм переключения для наноустройств металл / оксид / металл». Nat. Nanotechnol. 3 (7): 429–433. DOI : 10.1038 / nnano.2008.160 . PMID 18654568 .  
  27. ^ Струков, ДБ; и другие. (2008). «Найден пропавший мемристор». Природа . 453 (7191): 80–83. Bibcode : 2008Natur.453 ... 80С . DOI : 10,1038 / природа06932 . PMID 18451858 . 
  28. ^ «Интервью Курцвейла AI 2012 с Юргеном Шмидхубером о восьми соревнованиях, выигранных его командой Deep Learning 2009–2012» . Архивировано из оригинального 31 августа 2018 года . Проверено 10 декабря 2012 года .
  29. ^ Грейвс, Алекс; Шмидхубер, Юрген (2008). «Распознавание рукописного ввода в автономном режиме с помощью многомерных рекуррентных нейронных сетей» . В Бенжио, Йошуа; Шурманс, Дейл; Лафферти, Джон; Уильямс, Крис К.И.; Кулотта, Арон (ред.). Достижения в системах обработки нейронной информации 21 (NIPS'21) . Фонд нейронных систем обработки информации (NIPS). С. 545–552.
  30. ^ Graves, A .; Liwicki, M .; Fernandez, S .; Bertolami, R .; Bunke, H .; Шмидхубер, Дж. (2009). «Новая система коннекционистов для улучшения неограниченного распознавания почерка». IEEE Transactions по анализу шаблонов и машинному анализу . 31 (5): 855–868. CiteSeerX 10.1.1.139.4502 . DOI : 10.1109 / TPAMI.2008.137 . PMID 19299860 .  
  31. ^ Хинтон, GE ; Осиндеро, С .; Тех, Ю. (2006). «Алгоритм быстрого обучения для сетей глубоких убеждений» (PDF) . Нейронные вычисления . 18 (7): 1527–1554. CiteSeerX 10.1.1.76.1541 . DOI : 10.1162 / neco.2006.18.7.1527 . PMID 16764513 .   
  32. Перейти ↑ Fukushima, K. (1980). «Неокогнитрон: модель самоорганизующейся нейронной сети для механизма распознавания образов, не подверженного изменению положения». Биологическая кибернетика . 36 (4): 93–202. DOI : 10.1007 / BF00344251 . PMID 7370364 . 
  33. ^ Riesenhuber, M .; Поджио, Т. (1999). «Иерархические модели распознавания объектов в коре головного мозга». Природа Неврологии . 2 (11): 1019–1025. DOI : 10.1038 / 14819 . PMID 10526343 . 
  34. ^ DC Ciresan, U. Meier, J. Masci, J. Schmidhuber. Многоколоночная глубокая нейронная сеть для классификации дорожных знаков . Нейронные сети, 2012.
  35. ^ Д. Чиресан, А. Джусти, Л. Гамбарделла, Дж. Шмидхубер. Глубокие нейронные сети сегментируют нейрональные мембраны в изображениях электронной микроскопии . В достижениях в системах обработки нейронной информации (NIPS 2012), Lake Tahoe, 2012.
  36. ^ DC Ciresan, U. Meier, J. Schmidhuber . Многоколоночные глубокие нейронные сети для классификации изображений. IEEE Conf. по компьютерному зрению и распознаванию образов CVPR 2012.

Внешние ссылки [ править ]

Послушайте эту статью ( 31 минута )
Разговорный значок Википедии
Этот аудиофайл был создан на основе редакции этой статьи от 27 ноября 2011 г. и не отражает последующих правок. ( 2011-11-27 )
( Аудио справка  · Больше устных статей )
  • Краткое введение в нейронные сети (Д. Кризель) - иллюстрированная двуязычная рукопись об искусственных нейронных сетях; Темы на данный момент: персептроны, обратное распространение, радиальные базисные функции, рекуррентные нейронные сети, самоорганизующиеся карты, сети Хопфилда.
  • Обзор нейронных сетей в материаловедении
  • Учебное пособие по искусственным нейронным сетям на трех языках (Политехнический университет Мадрида)
  • Еще одно знакомство с ИНС
  • Новое поколение нейронных сетей - Google Tech Talks
  • Производительность нейронных сетей
  • Нейронные сети и информация
  • Сандерсон, Грант (5 октября 2017 г.). «Но что такое нейронная сеть?» . 3Blue1Brown - через YouTube .