Послушайте эту статью
Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Для использования в других целях, см Нейронная сеть (значения) .

Упрощенный вид искусственной нейронной сети с прямой связью

Нейронная сеть представляет собой сеть или цепь нейронов , или в современном смысле, искусственная нейронная сеть , состоящая из искусственных нейронов или узлов. [1] Таким образом, нейронная сеть - это либо биологическая нейронная сеть , состоящая из реальных биологических нейронов, либо искусственная нейронная сеть для решения задач искусственного интеллекта (ИИ). Связи биологического нейрона моделируются как веса. Положительный вес отражает возбуждающую связь, а отрицательный - тормозящую связь. Все входы модифицируются по весу и суммируются. Эта деятельность называется линейной комбинацией. Наконец, функция активации управляетамплитуда выходного сигнала. Например, приемлемый диапазон вывода обычно составляет от 0 до 1 или может быть от -1 до 1.

Эти искусственные сети могут использоваться для прогнозного моделирования , адаптивного управления и приложений, где их можно обучать с помощью набора данных. Самообучение на основе опыта может происходить в сетях, которые могут делать выводы из сложного и, казалось бы, несвязанного набора информации. [2]

Обзор [ править ]

Нейронная сеть состоит из групп , химически связанных или функционально связанных нейронов. Один нейрон может быть связан со многими другими нейронами, и общее количество нейронов и соединений в сети может быть большим. Связи, называемые синапсами , обычно образуются от аксонов к дендритам , хотя возможны дендродендритные синапсы [3] и другие связи. Помимо электрических сигналов, существуют и другие формы передачи сигналов, возникающие в результате диффузии нейромедиаторов .

Искусственный интеллект, когнитивное моделирование и нейронные сети - это парадигмы обработки информации, вдохновленные тем, как биологические нейронные системы обрабатывают данные. Искусственный интеллект и когнитивное моделирование пытаются имитировать некоторые свойства биологических нейронных сетей. В области искусственного интеллекта искусственные нейронные сети успешно применялись для распознавания речи , анализа изображений и адаптивного управления с целью создания программных агентов (в компьютерных и видеоиграх ) или автономных роботов .

Исторически цифровые компьютеры произошли от модели фон Неймана и работают посредством выполнения явных инструкций через доступ к памяти ряда процессоров. С другой стороны, происхождение нейронных сетей основано на попытках моделирования обработки информации в биологических системах. В отличие от модели фон Неймана, нейросетевые вычисления не разделяют память и обработку.

Теория нейронных сетей послужила как для более точного определения того, как функционируют нейроны мозга, так и для обеспечения основы для усилий по созданию искусственного интеллекта.

История [ править ]

Предварительная теоретическая база для современных нейронных сетей была независимо предложена Александром Бэйном [4] (1873 г.) и Уильямом Джеймсом [5] (1890 г.). В их работе мысли и деятельность тела были результатом взаимодействия нейронов мозга.

Компьютерное моделирование разветвления архитектуры дендритов в пирамидальных нейронов . [6]

Для Бейна [4] каждая активность приводила к срабатыванию определенного набора нейронов. Когда активность повторялась, связи между этими нейронами усиливались. Согласно его теории, именно это повторение привело к формированию памяти. В то время научное сообщество в целом скептически относилось к теории Бейна [4], потому что она требовала чрезмерного количества нейронных связей в мозгу. Теперь очевидно, что мозг чрезвычайно сложен и что одна и та же «проводка» мозга может обрабатывать множество проблем и входных сигналов.

Теория Джеймса [5] была похожа на теорию Бейна [4], однако он предположил, что воспоминания и действия являются результатом электрических токов, протекающих между нейронами мозга. Его модель, сфокусированная на потоке электрического тока, не требовала отдельных нейронных связей для каждого воспоминания или действия.

К. С. Шеррингтон [7] (1898 г.) провел эксперименты для проверки теории Джеймса. Он пропустил электрический ток по спинному мозгу крыс. Однако вместо того, чтобы продемонстрировать увеличение электрического тока, как прогнозировал Джеймс, Шеррингтон обнаружил, что сила электрического тока уменьшалась по мере того, как испытания продолжались с течением времени. Важно отметить, что эта работа привела к открытию концепции привыкания .

Маккаллох и Питтс [8] (1943) создали вычислительную модель для нейронных сетей, основанную на математике и алгоритмах. Они назвали эту модель пороговой логикой . Модель открыла путь для исследования нейронных сетей, разделив его на два разных подхода. Один подход был сосредоточен на биологических процессах в мозге, а другой - на применении нейронных сетей к искусственному интеллекту.

В конце 1940-х годов психолог Дональд Хебб [9] создал гипотезу обучения, основанную на механизме нейронной пластичности, которая сейчас известна как обучение Хебба . Хеббийское обучение считается «типичным» правилом обучения без учителя, а его более поздние варианты были ранними моделями для долгосрочного потенцирования . Эти идеи начали применяются к вычислительным моделям в 1948 году с B-типа машин Тьюринга .

Фарли и Кларк [10] (1954) сначала использовали вычислительные машины, тогда называемые калькуляторами, для моделирования сети Hebbian в Массачусетском технологическом институте. Другие вычислительные машины нейронных сетей были созданы Рочестером, Холландом, Хабитом и Дудой [11] (1956).

Розенблатт [12] (1958) создал перцептрон , алгоритм распознавания образов, основанный на двухуровневой обучающейся компьютерной сети с использованием простого сложения и вычитания. В математической нотации Розенблатт также описал схему, не входящую в базовый персептрон, такую ​​как схему исключающее ИЛИ, схему, математические вычисления которой не могли быть обработаны до тех пор, пока Вербос [13] (1975) не создал алгоритм обратного распространения .

Исследования нейронных сетей застопорились после публикации исследований машинного обучения Марвина Мински и Сеймура Паперта [14] (1969). Они обнаружили две ключевые проблемы с вычислительными машинами, которые обрабатывали нейронные сети. Первая проблема заключалась в том, что однослойные нейронные сети не могли обрабатывать схему «исключающее ИЛИ». Вторая важная проблема заключалась в том, что компьютеры не были достаточно сложными, чтобы эффективно справляться с длительным временем работы, необходимым для больших нейронных сетей. Исследования нейронных сетей замедлились, пока компьютеры не достигли большей вычислительной мощности. Ключевым моментом в более поздних достижениях был алгоритм обратного распространения ошибки , который эффективно решил проблему исключающего ИЛИ (Werbos 1975). [13]

Параллельно распределенной обработки с середины 1980-х годов стала популярной под названием коннекционизма . Текст Рамелхарта и Макклелланда [15] (1986) предоставил полное изложение использования коннекционизма в компьютерах для моделирования нейронных процессов.

Нейронные сети, используемые в искусственном интеллекте, традиционно рассматривались как упрощенные модели нейронной обработки в головном мозге, хотя связь между этой моделью и биологической архитектурой мозга обсуждается, поскольку неясно, в какой степени искусственные нейронные сети отражают мозг. функция. [16]

Искусственный интеллект [ править ]

Основная статья: Искусственная нейронная сеть

Нейронная сеть (NN), в случае искусственных нейронов называется искусственной нейронная сеть (ИНС) или имитация нейронной сети (ПНЧ), является взаимосвязанной группой природных или искусственных нейронов , которые используют математическую или вычислительную модель для информации об обработке , основанных на коннекционистский подход к вычислениям . В большинстве случаев ИНС - это адаптивная система, которая изменяет свою структуру в зависимости от внешней или внутренней информации, проходящей через сеть.

В более практическом плане нейронные сети - это инструменты нелинейного статистического моделирования данных или принятия решений . Их можно использовать для моделирования сложных отношений между входами и выходами или для поиска закономерностей в данных.

Искусственная нейронная сеть включает в себя сеть простых обрабатывающих элементов ( искусственные нейроны ) , которые могут проявлять сложное глобальное поведение, определяемое соединениями между элементами обработки и параметрами элементов. Искусственные нейроны были впервые предложены в 1943 году нейрофизиологом Уорреном Маккалоком и логиком Уолтером Питтсом , которые сначала сотрудничали в Чикагском университете . [17]

Одним из классических типов искусственной нейронной сети является рекуррентная сеть Хопфилда .

Концепция нейронной сети, по-видимому, впервые была предложена Аланом Тьюрингом в его статье 1948 года « Интеллектуальные машины», в которой он назвал их «неорганизованными машинами B-типа». [18]

Полезность моделей искусственных нейронных сетей заключается в том, что их можно использовать для вывода функции из наблюдений, а также для ее использования. Неконтролируемые нейронные сети также могут использоваться для изучения представлений входных данных, которые фиксируют основные характеристики входного распределения, например, см. Машину Больцмана (1983), а в последнее время - алгоритмы глубокого обучения , которые могут неявно изучать функцию распределения наблюдаемые данные. Обучение в нейронных сетях особенно полезно в приложениях, где сложность данных или задачи делает создание таких функций вручную непрактичным.

Приложения [ править ]

Нейронные сети можно использовать в разных сферах. Задачи, к которым применяются искусственные нейронные сети, относятся к следующим широким категориям:

  • Аппроксимация функций или регрессионный анализ , включая прогнозирование и моделирование временных рядов .
  • Классификация , включая распознавание образов и последовательностей, обнаружение новизны и последовательное принятие решений.
  • Обработка данных , включая фильтрацию, кластеризацию, слепое разделение и сжатие сигналов .

Области применения ИНС включают в себя идентификацию и управление нелинейными системами ( управление транспортными средствами, управление процессами), игры и принятие решений (нарды, шахматы, гонки), распознавание образов (радиолокационные системы, идентификация лиц , распознавание объектов), распознавание последовательностей. ( распознавание жестов, речи, рукописного текста ), медицинская диагностика, финансовые приложения, интеллектуальный анализ данных (или обнаружение знаний в базах данных, «KDD»), визуализация и фильтрация спама в электронной почте . Например, можно создать семантический профиль интересов пользователя, возникающий из изображений, обученных распознаванию объектов. [20]

Неврология [ править ]

Теоретическая и вычислительная нейробиология - это область, связанная с анализом и компьютерным моделированием биологических нейронных систем. Поскольку нейронные системы тесно связаны с когнитивными процессами и поведением, эта область тесно связана с когнитивным и поведенческим моделированием.

Целью области является создание моделей биологических нейронных систем, чтобы понять, как работают биологические системы. Чтобы понять это, нейробиологи стремятся установить связь между наблюдаемыми биологическими процессами (данными), биологически правдоподобными механизмами нейронной обработки и обучения ( модели биологических нейронных сетей ) и теорией (теорией статистического обучения и теорией информации ).

Типы моделей [ править ]

Используются многие модели; определены на разных уровнях абстракции и моделируют различные аспекты нейронных систем. Они варьируются от моделей краткосрочного поведения отдельных нейронов до моделей динамики нейронных схем, возникающих в результате взаимодействия между отдельными нейронами, до моделей поведения, возникающих из абстрактных нейронных модулей, представляющих полные подсистемы. К ним относятся модели долгосрочной и краткосрочной пластичности нейронных систем и ее связи с обучением и памятью, от отдельного нейрона до системного уровня.

Связь [ править ]

См. Также: Оценщики мозговой связи

В августе 2020 года ученые сообщили , что двунаправленные соединения, или добавлены соответствующие соединения обратной связи, могут ускорить и улучшить связь между ними и в модульных нейронных сетях мозга в коре головного мозга и снизить порог для их успешного общения. Они показали, что добавление обратной связи между резонансной парой может способствовать успешному распространению одиночного пакета импульсов по всей сети. [21] [22]

Критика [ править ]

Распространенная критика нейронных сетей, особенно в робототехнике, заключается в том, что они требуют большого разнообразия обучающих выборок для реальной работы. Это неудивительно, поскольку любой обучающейся машине требуется достаточное количество репрезентативных примеров, чтобы уловить основную структуру, которая позволяет обобщать ее на новые случаи. Дин Померло в своем исследовании, представленном в статье «Обучение искусственных нейронных сетей для автономного вождения роботов на основе знаний», использует нейронную сеть для обучения роботизированного транспортного средства движению по разным типам дорог (однополосная, многополосная, грязная). , так далее.). Большая часть его исследований посвящена (1) экстраполяции нескольких сценариев тренировок из одного тренировочного опыта и (2) сохранению разнообразия прошлых тренировок, чтобы система не перетренировалась (если, например,он представлен серией поворотов направо - он не должен учиться всегда поворачивать направо). Эти проблемы распространены в нейронных сетях, которые должны решаться на основе широкого спектра ответов, но с ними можно справиться несколькими способами, например, путем случайного перемешивания обучающих примеров, с помощью алгоритма численной оптимизации, который не делает слишком больших шагов, когда изменение сетевых подключений по примеру или путем группирования примеров в так называемые мини-пакеты.с помощью алгоритма численной оптимизации, который не требует слишком больших шагов при изменении сетевых подключений в соответствии с примером, или путем группирования примеров в так называемые мини-пакеты.с помощью алгоритма численной оптимизации, который не требует слишком больших шагов при изменении сетевых подключений в соответствии с примером, или путем группирования примеров в так называемые мини-пакеты.

А.К. Дьюдни , бывший обозреватель журнала Scientific American , писал в 1997 году: «Хотя нейронные сети действительно решают несколько игрушечных задач, их вычислительные возможности настолько ограничены, что я удивлен, что кто-то серьезно относится к ним как к общему инструменту решения проблем» (Dewdney, стр.82).

Аргументы в пользу позиции Дьюдни заключаются в том, что для реализации больших и эффективных программных нейронных сетей необходимо выделить много ресурсов обработки и хранения. В то время как мозг аппаратные с учетом задачи обработки сигналов через граф нейронов, имитируя даже наиболее упрощенной форму по технологии фон Неймана может заставить нейронную сеть дизайнер , чтобы заполнить многие миллионы база данных строк для его соединений, которые могут потреблять огромное количество памяти компьютера и места на жестком диске . Кроме того, разработчику нейросетевых систем часто необходимо моделировать передачу сигналов через многие из этих соединений и связанных с ними нейронов, что часто требует невероятного количества ресурсов ЦП.вычислительная мощность и время. Хотя нейронные сети часто дают эффективные программы, они слишком часто делают это за счет эффективности (они обычно требуют значительного количества времени и денег).

Аргументы против позиции Дьюдни заключаются в том, что нейронные сети успешно используются для решения многих сложных и разнообразных задач, таких как автономный полет самолета. [23]

Писатель-технолог Роджер Бриджмен прокомментировал высказывания Дьюдни о нейронных сетях:

Нейронные сети, например, находятся на скамье подсудимых не только потому, что их разрекламировали до небес (а что нет?), Но и потому, что вы можете создать успешную сеть, не понимая, как она работает: набор чисел, который фиксирует ее поведение, по всей вероятности, было бы «непрозрачной, нечитаемой таблицей ... бесполезной как научный ресурс».

Несмотря на его решительное заявление о том, что наука - это не технология, Дьюдни, кажется, здесь называет нейронные сети плохой наукой, когда большинство их изобретателей просто пытаются стать хорошими инженерами. Нечитаемую таблицу, которую могла бы прочитать полезная машина, все равно стоит иметь. [24]

Хотя верно то, что анализировать то, что было изучено с помощью искусственной нейронной сети, сложно, это намного проще, чем анализировать то, что было изучено с помощью биологической нейронной сети. Более того, недавний акцент на объяснимости ИИ способствовал развитию методов, особенно основанных на механизмах внимания, для визуализации и объяснения изученных нейронных сетей. Более того, исследователи, занимающиеся изучением алгоритмов обучения нейронных сетей, постепенно открывают общие принципы, которые позволяют машине обучения быть успешной. Например, Bengio и LeCun (2007) написали статью о локальном и нелокальном обучении, а также о неглубокой и глубокой архитектуре. [25]

Некоторые другие критические замечания исходили от сторонников гибридных моделей (сочетающих нейронные сети и символические подходы). Они выступают за смешение этих двух подходов и считают, что гибридные модели могут лучше отражать механизмы человеческого разума (Sun and Bookman, 1990). [ требуется полная ссылка ]

Последние улучшения [ править ]

Первоначально исследования были посвящены главным образом электрическим характеристикам нейронов, но в последние годы особенно важной частью исследований было изучение роли нейромодуляторов, таких как дофамин , ацетилхолин и серотонин, на поведение и обучение.

Биофизические модели, такие как теория BCM , сыграли важную роль в понимании механизмов синаптической пластичности и нашли применение как в компьютерных науках, так и в нейробиологии. Исследования продолжаются в понимании вычислительных алгоритмов, используемых в мозге, с некоторыми недавними биологическими доказательствами радиальных базисных сетей и нейронного обратного распространения в качестве механизмов обработки данных.

Вычислительные устройства были созданы в CMOS как для биофизического моделирования, так и для нейроморфных вычислений . Более поздние усилия показывают многообещающие возможности создания наноустройств для очень крупномасштабного анализа основных компонентов и свертки . [26] В случае успеха эти усилия могут открыть новую эру нейронных вычислений, которая является шагом вперед по сравнению с цифровыми вычислениями, [27] потому что они зависят от обучения, а не программирования, и потому что они в основном аналоговые, а не цифровые, даже несмотря на то, что первые экземпляры фактически может быть с цифровыми устройствами CMOS.

В период с 2009 по 2012 год повторяющиеся нейронные сети и нейронные сети с прямой связью, разработанные исследовательской группой Юргена Шмидхубера в швейцарской лаборатории искусственного интеллекта IDSIA , выиграли восемь международных конкурсов по распознаванию образов и машинному обучению . [28] Например, многомерная долговременная кратковременная память (LSTM) [29] [30] выиграла три конкурса по распознаванию связного почерка на Международной конференции по анализу и распознаванию документов (ICDAR) в 2009 году, не имея каких-либо предварительных знаний о трех разные языки, которые нужно выучить.

Варианты обратного распространения алгоритма, а также неконтролируемых методов по Geoff Хинтон и его коллеги из университета в Торонто может быть использован для тренировки глубокой, высоко нелинейные нейронные архитектуры, [31] аналогично 1980 Неокогнитрон по Кунихико Фукусима , [32] и «стандартная архитектура зрения» [33], вдохновленная простыми и сложными клетками, идентифицированными Дэвидом Хьюбелом и Торстеном Визелем в первичной зрительной коре .

Также были введены радиальная базисная функция и вейвлет-сети. Это можно показать , чтобы предложить лучшие свойства аппроксимации и применяются в нелинейной системе идентификации и классификации приложений. [19]

В сетях с прямой связью глубокого обучения чередуются сверточные уровни и уровни максимального пула, увенчанные несколькими уровнями чистой классификации. Реализации этого подхода на основе быстрых графических процессоров выиграли несколько конкурсов по распознаванию образов, включая IJCNN 2011 Traffic Sign Recognition Competition [34] и ISBI 2012 Segmentation of Neuronal Structures in Electron Microscopy Stacks. [35] Такие нейронные сети также были первыми искусственными распознавателями образов, которые достигли конкурентоспособности человека или даже сверхчеловеческой производительности [36] в тестах, таких как распознавание дорожных знаков (IJCNN 2012) или проблема рукописных цифр MNIST Яна ЛеКуна и его коллег изNYU .

См. Также [ править ]

  • АДАЛИН
  • Теория адаптивного резонанса
  • Биологическая кибернетика
  • Биологически вдохновленные вычисления
  • Контроллер артикуляции модели мозжечка
  • Когнитивная архитектура
  • Наука о мышлении
  • Коннектомика
  • Культивированные нейронные сети
  • Глубокое обучение
  • Deep Image Prior
  • Цифровой морфогенез
  • Эффективно обновляемая нейронная сеть
  • Эксклюзивный или
  • Эволюционный алгоритм
  • Генетический алгоритм
  • Программирование экспрессии генов
  • Генеративная состязательная сеть
  • Групповой метод обработки данных
  • Привыкание
  • Адаптивное табулирование на месте
  • Мемристор
  • Мультилинейное подпространственное обучение
  • Программное обеспечение нейронной сети
  • Идентификация нелинейной системы
  • Параллельные процессы удовлетворения ограничений
  • Параллельная распределенная обработка
  • Прогнозная аналитика
  • Сеть радиальных базисных функций
  • Самоорганизующаяся карта
  • Смоделированная реальность
  • Машина опорных векторов
  • Сеть тензорных продуктов
  • Нейронная сеть с временной задержкой

Ссылки [ править ]

  1. ^ Хопфилда, JJ (1982). «Нейронные сети и физические системы с возникающими коллективными вычислительными возможностями» . Proc. Natl. Акад. Sci. США . 79 (8): 2554–2558. Bibcode : 1982PNAS ... 79.2554H . DOI : 10.1073 / pnas.79.8.2554 . PMC  346238 . PMID  6953413 .
  2. ^ «Нейронная сеть или нейронная сеть - Глоссарий Gartner IT» . www.gartner.com .
  3. ^ Арбиб, p.666
  4. ^ a b c d Bain (1873 г.). Разум и тело: теории их отношения . Нью-Йорк: Д. Эпплтон и компания.
  5. ^ а б Джеймс (1890). Принципы психологии . Нью-Йорк: Х. Холт и компания.
  6. ^ Cuntz, Hermann (2010). "Изображение выпуска PLoS Computational Biology | Том 6 (8) август 2010 г." . PLOS Вычислительная биология . 6 (8): ev06.i08. DOI : 10.1371 / image.pcbi.v06.i08 .
  7. ^ Шеррингтон, CS (1898). «Эксперименты по изучению периферического распределения волокон задних корней некоторых спинномозговых нервов» . Труды Лондонского королевского общества . 190 : 45–186. DOI : 10,1098 / rstb.1898.0002 .
  8. ^ Маккалок, Уоррен; Уолтер Питтс (1943). «Логический расчет идей, имманентных нервной деятельности». Вестник математической биофизики . 5 (4): 115–133. DOI : 10.1007 / BF02478259 .
  9. ^ Хебб, Дональд (1949). Организация поведения . Нью-Йорк: Вили.
  10. ^ Фарли, B .; У. А. Кларк (1954). «Моделирование самоорганизующихся систем с помощью цифрового компьютера». Сделки IRE по теории информации . 4 (4): 76–84. DOI : 10.1109 / TIT.1954.1057468 .
  11. ^ Рочестер, N .; Дж. Х. Холланд, Л. Х. Хабит и У. Л. Дуда (1956). «Тесты по теории сборки клеток деятельности мозга с использованием большого цифрового компьютера». Сделки IRE по теории информации . 2 (3): 80–93. DOI : 10.1109 / TIT.1956.1056810 .
  12. Перейти ↑ Rosenblatt, F. (1958). «Персептрон: вероятностная модель хранения и организации информации в мозге». Психологический обзор . 65 (6): 386–408. CiteSeerX 10.1.1.588.3775 . DOI : 10.1037 / h0042519 . PMID 13602029 .  
  13. ^ a b Werbos, PJ (1975). Помимо регрессии: новые инструменты для прогнозирования и анализа в поведенческих науках .
  14. ^ Минский, М .; С. Паперт (1969). Введение в вычислительную геометрию . MIT Press. ISBN 978-0-262-63022-1.
  15. ^ Rumelhart, DE; Джеймс Макклелланд (1986). Параллельная распределенная обработка: исследования микроструктуры познания . Кембридж: MIT Press.
  16. ^ Рассел, Ингрид. «Модуль нейронных сетей» . Архивировано из оригинального 29 мая 2014 года . Проверено 2012 . Проверить значения даты в: |access-date=( помощь )
  17. ^ Маккалок, Уоррен; Питтс, Уолтер (1943). «Логический расчет идей, имманентных нервной деятельности». Вестник математической биофизики . 5 (4): 115–133. DOI : 10.1007 / BF02478259 .
  18. ^ Коупленд, Б. Джек, изд. (2004). Существенный Тьюринг . Издательство Оксфордского университета. п. 403. ISBN 978-0-19-825080-7.
  19. ^ a b Биллингс, С.А. (2013). Нелинейная идентификация систем: методы NARMAX во временной, частотной и пространственно-временной областях . Вайли. ISBN 978-1-119-94359-4.
  20. ^ Wieczorek, Szymon; Филипьяк, Доминик; Филиповска, Агата (2018). «Семантическое профилирование интересов пользователей с помощью нейронных сетей на основе изображений» . Исследования в семантической сети . 36 (Новые темы в семантических технологиях). DOI : 10.3233 / 978-1-61499-894-5-179 .
  21. ^ «Нейробиологи демонстрируют, как улучшить связь между различными областями мозга» . medicalxpress.com . Проверено 6 сентября 2020 года .
  22. ^ Резаи, Hedyeh; Aertsen, Ad; Кумар, Арвинд; Вализаде, Алиреза (10 августа 2020 г.). «Содействие распространению пиковой активности в сетях прямого распространения путем включения обратной связи» . PLOS Вычислительная биология . 16 (8): e1008033. DOI : 10.1371 / journal.pcbi.1008033 . ISSN 1553-7358 . PMID 32776924 . S2CID 221100528 .    Текст и изображения доступны по международной лицензии Creative Commons Attribution 4.0 .
  23. ↑ Администратор НАСА (5 июня 2013 г.). "Центр летных исследований Драйдена - Комната новостей: Пресс-релизы: ПРОЕКТ НАСА НЕЙРОННОЙ СЕТИ ПРОХОДИТ ВЕХУ" . НАСА .
  24. ^ "Защита нейронных сетей Роджером Бриджменом" . Архивировано из оригинального 19 марта 2012 года . Проверено 1 августа 2006 года .
  25. ^ "Масштабирование алгоритмов обучения к {AI} - LISA - Публикации - Aigaion 2.0" . www.iro.umontreal.ca .
  26. ^ Ян, JJ; и другие. (2008). «Мемристивный механизм переключения для наноустройств металл / оксид / металл». Nat. Nanotechnol. 3 (7): 429–433. DOI : 10.1038 / nnano.2008.160 . PMID 18654568 .  
  27. ^ Струков, ДБ; и другие. (2008). «Найден пропавший мемристор». Природа . 453 (7191): 80–83. Bibcode : 2008Natur.453 ... 80С . DOI : 10,1038 / природа06932 . PMID 18451858 . 
  28. ^ «Интервью Курцвейла AI 2012 с Юргеном Шмидхубером о восьми соревнованиях, выигранных его командой Deep Learning 2009–2012» . Архивировано из оригинального 31 августа 2018 года . Проверено 10 декабря 2012 года .
  29. ↑ Грейвс, Алекс; Шмидхубер, Юрген (2008). «Автономное распознавание рукописного ввода с помощью многомерных рекуррентных нейронных сетей» . В Бенджио, Йошуа; Шурманс, Дейл; Лафферти, Джон; Уильямс, Крис К.И.; Кулотта, Арон (ред.). Достижения в системах обработки нейронной информации 21 (NIPS'21) . Фонд нейронных систем обработки информации (NIPS). С. 545–552.
  30. ^ Graves, A .; Liwicki, M .; Fernandez, S .; Bertolami, R .; Bunke, H .; Шмидхубер, Дж. (2009). «Новая система коннекционистов для улучшения неограниченного распознавания почерка». IEEE Transactions по анализу шаблонов и машинному анализу . 31 (5): 855–868. CiteSeerX 10.1.1.139.4502 . DOI : 10.1109 / TPAMI.2008.137 . PMID 19299860 .  
  31. ^ Хинтон, GE ; Осиндеро, С .; Тех, Ю. (2006). «Алгоритм быстрого обучения для сетей глубоких убеждений» (PDF) . Нейронные вычисления . 18 (7): 1527–1554. CiteSeerX 10.1.1.76.1541 . DOI : 10.1162 / neco.2006.18.7.1527 . PMID 16764513 .   
  32. ^ Фукусима, К. (1980). «Неокогнитрон: модель самоорганизующейся нейронной сети для механизма распознавания образов, не зависящего от изменения положения». Биологическая кибернетика . 36 (4): 93–202. DOI : 10.1007 / BF00344251 . PMID 7370364 . 
  33. ^ Riesenhuber, M .; Поджио, Т. (1999). «Иерархические модели распознавания объектов в коре головного мозга». Природа Неврологии . 2 (11): 1019–1025. DOI : 10.1038 / 14819 . PMID 10526343 . 
  34. ^ DC Ciresan, U. Meier, J. Masci, J. Schmidhuber. Многоколоночная глубокая нейронная сеть для классификации дорожных знаков . Нейронные сети, 2012.
  35. ^ Д. Чиресан, А. Джусти, Л. Гамбарделла, Дж. Шмидхубер. Глубокие нейронные сети сегментируют нейрональные мембраны в изображениях электронной микроскопии . В достижениях в системах обработки нейронной информации (NIPS 2012), Lake Tahoe, 2012.
  36. ^ DC Ciresan, U. Meier, J. Schmidhuber . Многоколоночные глубокие нейронные сети для классификации изображений. IEEE Conf. по компьютерному зрению и распознаванию образов CVPR 2012.

Внешние ссылки [ править ]

Послушайте эту статью ( 31 минута )
Разговорный значок Википедии
Этот аудиофайл был создан на основе редакции этой статьи от 27 ноября 2011 г. и не отражает последующих правок. (2011-11-27)
( Аудио справка  · Больше устных статей )
  • Краткое введение в нейронные сети (Д. Кризель) - иллюстрированная двуязычная рукопись об искусственных нейронных сетях; Темы на данный момент: персептроны, обратное распространение, радиальные базисные функции, рекуррентные нейронные сети, самоорганизующиеся карты, сети Хопфилда.
  • Обзор нейронных сетей в материаловедении
  • Учебное пособие по искусственным нейронным сетям на трех языках (Политехнический университет Мадрида)
  • Еще одно знакомство с ИНС
  • Новое поколение нейронных сетей - Google Tech Talks
  • Производительность нейронных сетей
  • Нейронные сети и информация
  • Сандерсон, Грант (5 октября 2017 г.). «Но что такое нейронная сеть?» . 3Blue1Brown - через YouTube .