Случайная нейронная сеть (РННЫ) представляет собой математическое представление взаимосвязанной сети нейронов или клетки , которые обмениваются пики сигналов . Он был изобретен Эролом Геленбе и связан с моделью G-network сетей массового обслуживания, а также с моделями сети регулирования генов. Каждое состояние ячейки представлено целым числом, значение которого увеличивается, когда ячейка получает возбуждающий всплеск, и падает, когда она получает тормозной всплеск. Скачки могут происходить за пределами сети.сам по себе, или они могут поступать из других ячеек в сети. Ячейкам, внутреннее возбуждающее состояние которых имеет положительное значение, разрешено посылать пики любого типа другим ячейкам в сети в соответствии с конкретными зависящими от ячейки скоростями пиков. Модель имеет математическое решение в установившемся состоянии, которое обеспечивает совместное распределение вероятностей сети с точки зрения индивидуальных вероятностей того, что каждая ячейка возбуждена и способна посылать пики. Вычисление этого решения основано на решении системы нелинейных алгебраических уравнений , параметры которойсвязаны со скоростью пиков отдельных ячеек и их подключением к другим ячейкам, а также со скоростью поступления пиков извне сети. RNN - это рекуррентная модель, то есть нейронная сеть, которая может иметь сложные петли обратной связи.
Кришна Палем и др. Продемонстрировали высокоэффективную реализацию случайных нейронных сетей . с использованием технологии Probabilistic CMOS или PCMOS и было показано, что c. В 226–300 раз эффективнее с точки зрения энергоэффективности продукта. [1]
RNN также связаны с искусственными нейронными сетями , которые (как и случайные нейронные сети) имеют алгоритмы обучения на основе градиентов . Алгоритм обучения случайной нейронной сети с n узлами, включающей петли обратной связи (она также является рекуррентной нейронной сетью ), имеет вычислительную сложность O (n ^ 3) (количество вычислений пропорционально кубу n, количество вычислений нейроны). Случайная нейронная сеть также может использоваться с другими алгоритмами обучения , такими как обучение с подкреплением . Было показано, что RNN является универсальным приближением для ограниченных и непрерывных функций .
См. Также [ править ]
Ссылки и источники [ править ]
- Рекомендации
- ^ Лакшми Н. Чакрапани; Бильге ЭС Акгуль; Суреш Чемалавагу; Пинар Коркмаз; Кришна В. Палем; Balasubramanian Seshasayee. «Сверхэффективные встроенные SOC-архитектуры на основе технологии вероятностной CMOS (PCMOS)» . Конференция «Автоматизация проектирования и испытания в Европе» (ДАТА), 2006 г.
- Источники
- Э. Геленбе, Случайные нейронные сети с отрицательными и положительными сигналами и решение формы продукта, Нейронные вычисления, т. 1, вып. 4. С. 502–511, 1989.
- Геленбе Э. Устойчивость модели случайной нейронной сети // Нейронные вычисления. 2, вып. 2. С. 239–247, 1990.
- Геленбе Э., Стафилопатис А., Ликас А. Операции ассоциативной памяти модели случайной сети // Тр. Int. Конф. Искусственные нейронные сети, Хельсинки, стр. 307–312, 1991.
- Э. Геленбе, Ф. Бэтти, Покрытие графа минимальной стоимости случайной нейронной сетью, Компьютерные науки и исследования операций, О. Балчи (редактор), Нью-Йорк, Пергамон, стр. 139–147, 1992.
- Геленбе Э. Обучение в рекуррентной случайной нейронной сети // Нейронные вычисления. 5, вып. 1. С. 154–164, 1993.
- Э. Геленбе, В. Куби, Ф. Пекергин, Подход динамических случайных нейронных сетей к задаче коммивояжера, Тр. IEEE Symp. Syst., Man, Cybern., Стр. 630–635, 1993.
- Э. Геленбе, К. Крамер, М. Сунгур, П. Геленбе "Качество трафика и видео при адаптивном нейронном сжатии", Мультимедийные системы , 4, 357–369, 1996.
- К. Крамер, Э. Геленбе, Х. Бакирчиоглу Сжатие видео с низкой скоростью передачи данных с помощью нейронных сетей и временной субдискретизации, Труды IEEE, Vol. 84, No. 10, pp. 1529–1543, октябрь 1996 г.
- E. Gelenbe, T. Feng, KRR Krishnan Нейросетевые методы объемной магнитно-резонансной томографии человеческого мозга, Труды IEEE, Vol. 84, No. 10, pp. 1488–1496, октябрь 1996 г.
- Э. Геленбе, А. Ганвани, В. Сринивасан, «Улучшенная нейронная эвристика для многоадресной маршрутизации», IEEE J. Selected Areas in Communications , 15, (2), 147–155, 1997.
- E. Gelenbe, ZH Mao и YD Li, "Аппроксимация функций случайной нейронной сетью", IEEE Trans. Neural Networks , 10, (1), январь 1999 г. [ нужна страница ]
- Э. Геленбе, Дж. М. Фурно «Случайные нейронные сети с несколькими классами сигналов», Neural Computing, 11, 721–731, 1999.
- Угур Халичи «Обучение с подкреплением с внутренним ожиданием для случайной нейронной сети», European Journal of Operational Research 126 (2): 288–307, 2000.
- Аристидис Ликас, Андреас Стафилопатис «Обучение случайной нейронной сети с использованием квазиньютоновских методов», European Journal of Operational Research 126 (2): 331–339, 2000.
- Самир Мохамед, Херардо Рубино, Мартин Варела «Оценка производительности речи в реальном времени через пакетную сеть: подход на основе случайных нейронных сетей», Perform. Eval. 57 (2): 141–161, 2004.
- Э. Геленбе, З.-Х. Мао и Ю.Д. Ли «Аппроксимация функций случайными нейронными сетями с ограниченным числом слоев», «Дифференциальные уравнения и динамические системы», 12 (1 и 2), 143–170, январь, апрель 2004 г.
- Херардо Рубино, Пьер Тирилли, Мартин Варела «Оценка удовлетворенности пользователей в пакетных сетях с использованием случайных нейронных сетей», ICANN (1) 2006: 303–312, 2006.
- Гюлай Оке и Георгиос Лукас. Детектор отказа в обслуживании, основанный на обнаружении максимального правдоподобия и случайной нейронной сети. Компьютерный журнал, 50 (6): 717–727, ноябрь 2007 г.
- С. Тимотеу. Неотрицательное обучение методом наименьших квадратов для случайной нейронной сети. В материалах 18-й Международной конференции по искусственным нейронным сетям, Прага, Чешская Республика, страницы 195–204, 2008 г.
- С. Тимотеу. Новый метод инициализации весов для случайной нейронной сети. На Пятом международном симпозиуме по нейронным сетям (ISNN), Пекин, Китай, 2008 г.
- Стелиос Тимотеу "Случайная нейронная сеть: обзор", Comput. J. 53 (3): 251–267, 2010.
- Педро Касас, Сандрин Ватон «Об использовании случайных нейронных сетей для оценки матрицы трафика в крупномасштабных IP-сетях», IWCMC 2010: 326–330, 2010.
- С. Бастерреч, Г. Рубино, "Случайная нейронная сеть как инструмент контролируемого обучения", Neural Network World, 25 (5), 457-499, DOI: 10.14311 / NNW.2015.25.024, 2015.
- С. Бастерреч, С. Мохамед, Г. Рубино, М. Солиман, "Обучающие алгоритмы Левенберга-Марквардта для случайных нейронных сетей", Компьютерный журнал, 54 (1), 125–135, 2011.
- Майкл Георгиопулос, Конг Ли и Таскин Коджак «Обучение в случайной нейронной сети с прямой связью: критический обзор», Performance Evaluation, 68 (4): 361–384, 2011.