Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Машины Тьюринга
Машина
Варианты
Наука

Neural машина Тьюринга ( НТМ ) является рецидивирующий нейронной сети модель. Подход был опубликован Alex Graves et al. в 2014 году. [1] НТМ сочетают в себе возможности нейронных сетей нечеткого сопоставления шаблонов с алгоритмической мощностью программируемых компьютеров . NTM имеет контроллер нейронной сети, связанный с внешними ресурсами памяти , с которыми он взаимодействует через механизмы внимания. Взаимодействия с памятью дифференцируемы от начала до конца, что позволяет оптимизировать их с помощью градиентного спуска . [2] НТМ сСетевой контроллер с долговременной краткосрочной памятью (LSTM) может выводить простые алгоритмы, такие как копирование, сортировка и ассоциативный вызов, только на основе примеров. [1]

Авторы оригинальной статьи NTM не публиковали свой исходный код . [1] Первая стабильная реализация с открытым исходным кодом была опубликована в 2018 году на 27-й Международной конференции по искусственным нейронным сетям, получив награду за лучшую статью. [3] [4] [5] Существуют и другие реализации НТМ с открытым исходным кодом, но они недостаточно стабильны для производственного использования. [6] [7] [8] [9] [10] [11] [12] Разработчики либо сообщают, что градиенты их реализации иногда становятся NaN во время обучения по неизвестным причинам и вызывают сбой обучения; [10] [11] [9]сообщить о медленной сходимости; [7] [6] или не сообщают о скорости обучения их реализации. [12] [8]

Дифференцируемые нейронные компьютеры являются развитием нейронных машин Тьюринга с механизмами внимания, которые контролируют, где активна память, и повышают производительность. [13]

См. Также [ править ]

  • Рекуррентная нейронная сеть
  • Алекс Грейвс (ученый-компьютерщик)
  • Машина Тьюринга
  • Дифференцируемое программирование

Ссылки [ править ]

  1. ^ a b c Грейвс, Алекс; Уэйн, Грег; Данихелка, Иво (2014). «Нейронные машины Тьюринга». arXiv : 1410.5401 [ cs.NE ].
  2. ^ "Deep Minds: Интервью с Алексом Грейвсом и Кораем Кавукчуоглу из Google" . Проверено 17 мая, 2016 .
  3. ^ Кольер, Марк; Бил, Джоран (2018), «Внедрение нейронных машин Тьюринга», Искусственные нейронные сети и машинное обучение - ICANN 2018 , Springer International Publishing, стр. 94–104, arXiv : 1807.08518 , Bibcode : 2018arXiv180708518C , doi : 10.1007 / 978-3- 030-01424-7_10 , ISBN 9783030014230, S2CID  49908746
  4. ^ "MarkPKCollier / NeuralTuringMachine" . GitHub . Проверено 20 октября 2018 .
  5. ^ Beel, Joeran (2018-10-20). «Премия за лучшую статью за нашу публикацию« Реализация нейронных машин Тьюринга »на 27-й Международной конференции по искусственным нейронным сетям | Проф. Джоран Бил (TCD Dublin)» . Дублинский Тринити-колледж, Блог Школы компьютерных наук и статистики . Проверено 20 октября 2018 .
  6. ^ a b "snowkylin / ntm" . GitHub . Проверено 20 октября 2018 .
  7. ^ a b "chiggum / Neural-Turing-Machines" . GitHub . Проверено 20 октября 2018 .
  8. ^ a b "Yeoedward / Neural-Turing-Machine" . GitHub . 2017-09-13 . Проверено 20 октября 2018 .
  9. ^ a b "camigord / Neural-Turing-Machine" . GitHub . Проверено 20 октября 2018 .
  10. ^ a b "carpedm20 / NTM-tenorflow" . GitHub . Проверено 20 октября 2018 .
  11. ^ a b "snipsco / ntm-lasagne" . GitHub . Проверено 20 октября 2018 .
  12. ^ a b "Loudinthecloud / pytorch-ntm" . GitHub . Проверено 20 октября 2018 .
  13. ^ Администратор. «Дифференцируемая нейронная сеть DeepMind глубоко мыслит» . www.i-programmer.info . Проверено 20 октября 2016 .