Гальвес-Löcherbach модель (или GL модель ) представляет собой математическую модель для сети нейронов с внутренней стохастичности . [1] [2]
В самом общем определении сеть GL состоит из счетного числа элементов (идеализированных нейронов ), которые взаимодействуют посредством спорадических почти мгновенных дискретных событий ( всплесков или срабатываний ). В каждый момент каждый нейрон N срабатывает независимо с вероятностью, которая зависит от истории срабатываний всех нейронов с момента последнего срабатывания N. Таким образом, каждый нейрон «забывает» все предыдущие импульсы, включая свой собственный, всякий раз, когда он срабатывает. Это свойство является определяющей особенностью модели GL.
В конкретных версиях модели GL история прошлых сетевых всплесков с момента последнего срабатывания нейрона N может быть суммирована внутренней переменной, потенциалом этого нейрона, который представляет собой взвешенную сумму этих всплесков. Потенциал может включать в себя спайки только конечного подмножества других нейронов, таким образом моделируя произвольную топологию синапсов. В частности, модель GL включает в себя как частный случай общую модель протекающего нейрона, объединяющего и запускающего.
Формальное определение
Модель GL формализована несколькими способами. Приведенные ниже обозначения заимствованы из нескольких из этих источников.
Сетевая модель GL состоит из счетного набора нейронов с некоторым набором индексов. Состояние определяется только в дискретные моменты времени выборки, представленные целыми числами, с некоторым фиксированным временным шагом.. Для простоты предположим, что эти времена простираются до бесконечности в обоих направлениях, подразумевая, что сеть существует с незапамятных времен.
В модели GL предполагается, что все нейроны развиваются синхронно и атомарно между последовательными временами выборки. В частности, на каждом временном шаге каждый нейрон может активироваться не более одного раза. Булева переменная обозначает, уволенный () или нет () между временами выборки а также .
Позволять обозначим матрицу, строки которой представляют собой истории всех срабатываний нейронов с момента времени ко времени включительно, то есть
и разреши быть определенным аналогично, но бесконечно продолжающимся в прошлом. Позволять быть временем до последнего срабатывания нейрона раньше времени , это
Тогда общая модель GL говорит, что
Более того, срабатывания на одном временном шаге условно независимы, учитывая прошлую сетевую историю, с указанными выше вероятностями. То есть для каждого конечного подмножества и любая конфигурация у нас есть
Возможные варианты
В частном случае модели GL часть прошлой истории стрельбы что актуально для каждого нейрона в каждый момент выборки резюмируется действительной внутренней переменной состояния или потенциалом (что соответствует мембранному потенциалу биологического нейрона) и представляет собой взвешенную сумму прошлых показателей спайков с момента последнего срабатывания нейрона.. Это,
В этой формуле числовой вес, который соответствует общему весу или силе синапсов от аксона нейрона.к дентритам нейрона. Термин, внешний вход , представляет собой некоторый дополнительный вклад в потенциал, который может появиться между временами а также из других источников, помимо срабатываний других нейронов. Фактор- это весовая функция истории, которая модулирует вклад произошедших срабатываний. целые шаги после последнего срабатывания нейрона а также целые шаги до текущего времени.
Затем определяется
где - монотонно неубывающая функция из в интервал .
Если синаптический вес отрицательно, каждое срабатывание нейрона вызывает потенциал уменьшать. Это способ аппроксимации тормозных синапсов в модели GL. Отсутствие синапса между этими двумя нейронами моделируется установкой.
Дырявые варианты интеграции и огня
В еще более конкретном случае модели GL потенциал определяется как убывающая взвешенная сумма срабатываний других нейронов. А именно, когда нейронсгорает, его потенциал сбрасывается до нуля. До следующего срабатывания спайк от любого нейрона приращения на постоянную сумму . Помимо этих вкладов, на каждом временном шаге потенциал уменьшается на фиксированный коэффициент перезарядки. к нулю.
В этом варианте эволюция потенциала можно выразить рекуррентной формулой
Или, более компактно,
Этот частный случай является результатом использования весового коэффициента истории общего потенциального варианта быть . Это очень похоже на модель с утечкой интеграции и огня .
Сбросить потенциал
Если между временами а также , нейрон пожары (то есть ), другие нейроны не срабатывают ( для всех ), а внешний вход отсутствует (), тогда будет . Таким образом, этот собственный вес представляет собой потенциал сброса, который нейрон принимает сразу после срабатывания, помимо других вкладов. Поэтому формулу потенциальной эволюции можно записать также как
где - потенциал сброса. Или, более компактно,
Потенциал отдыха
Эти формулы подразумевают, что потенциал спадает до нуля со временем, когда нет внешних или синаптических входов и сам нейрон не срабатывает. В этих условиях мембранный потенциал биологического нейрона будет стремиться к некоторому отрицательному значению, потенциалу покоя или исходному уровню., порядка от -40 до -80 милливольт .
Однако это очевидное несоответствие существует только потому, что в нейробиологии принято измерять электрические потенциалы относительно внеклеточной среды . Это несоответствие исчезает, если выбрать базовый потенциал.нейрона в качестве эталона для измерения потенциала. Поскольку потенциал не имеет влияния вне нейрона, его нулевой уровень можно выбрать независимо для каждого нейрона.
Вариант с рефрактерным периодом
Некоторые авторы используют несколько иной рефрактерный вариант нейрона GL интеграции и запуска [3], который игнорирует все внешние и синаптические входы (кроме, возможно, самосинапса).) в течение временного шага сразу после собственного срабатывания. Уравнение для этого варианта:
или, более компактно,
Забывчивые варианты
Еще более конкретные подварианты нейрона GL интеграции и запуска получаются путем установки коэффициента перезарядки. до нуля. [3] В полученной модели нейрона потенциал(и, следовательно, вероятность срабатывания) зависит только от входов на предыдущем временном шаге; все предыдущие срабатывания сети, в том числе того же нейрона, игнорируются. То есть нейрон не имеет внутреннего состояния и по сути является (стохастическим) функциональным блоком.
Затем уравнения эволюции упрощаются до
для варианта без огнеупорной ступени, и
для варианта с огнеупорной ступенью.
В этих подвариантах, хотя отдельные нейроны не хранят никакой информации от одного шага к следующему, сеть в целом все еще может иметь постоянную память из-за неявной одноступенчатой задержки между синаптическими входами и результирующим срабатыванием нейрон. Другими словами, состояние сети с нейроны - это список бит , а именно значениедля каждого нейрона, который, как можно предположить, хранится в его аксоне в виде перемещающейся зоны деполяризации .
История
Модель GL была определена в 2013 году математиками Антонио Гальвесом и Евой Лёчербах . [1] Ее вдохновение входит Франк Spitzer «ы взаимодействующей система частиц и Йорм Риссан » понятие s из стохастической цепи с памятью переменной длиной . Еще одна работа, которая повлияла на эту модель, - это исследование Бруно Сессака дырявой модели интеграции и возгорания, на которого сам оказал влияние Хеди Соула . [4] Гальвес и Лёчербах называли процесс, который Cessac описал, «версией в конечном измерении» их собственной вероятностной модели.
Предыдущие модели интеграции и включения со стохастическими характеристиками основывались на включении шума для имитации стохастичности. [5] Модель Гальвеса – Лёчербаха отличается тем, что она по своей природе стохастична и включает вероятностные меры непосредственно в расчет пиков. Это также модель, которую можно относительно легко применить с вычислительной точки зрения с хорошим соотношением стоимости и эффективности. Это остается немарковской моделью, поскольку вероятность данного нейронального всплеска зависит от накопленной активности системы с момента последнего всплеска.
Вклад в модель был внесен с учетом гидродинамического предела взаимодействующей нейронной системы [6], поведения на больших расстояниях и аспектов, относящихся к процессу в смысле прогнозирования и классификации поведения в соответствии с функцией параметров, [7] [ 8] и обобщение модели на непрерывное время. [9]
Модель Гальвеса – Лёхербаха была краеугольным камнем проекта NeuroMat . [10]
Смотрите также
Рекомендации
- ^ a b Galves, A .; Лёхербах, Э. (2013). «Бесконечные системы взаимодействующих цепей с памятью переменной длины - стохастическая модель для биологических нейронных сетей». Журнал статистической физики . 151 (5): 896–921. arXiv : 1212,5505 . DOI : 10.1007 / s10955-013-0733-9 .
- ^ Баччелли, Франсуа; Тайллефюмье, Тибо (2019). «Пределы среднего поля реплики для нейронных сетей на основе интенсивности». arXiv : 1902.03504 .
- ^ а б Брочини, Людмила; и другие. (2016). «Фазовые переходы и самоорганизованная критичность в сетях стохастических импульсных нейронов» . Научные отчеты . 6 . статья 35831. doi : 10.1038 / srep35831 .
- ^ Сессак, Б. (2011). «Модель нейронной сети с дискретным временем с пиковыми нейронами: II: Динамика с шумом». Журнал математической биологии . 62 (6): 863–900. arXiv : 1002,3275 . DOI : 10.1007 / s00285-010-0358-4 .
- ^ Плессер, ОН; Герстнер, В. (2000). «Шум в нейронах интеграции и огня: от стохастического входа до скорости побега». Нейронные вычисления . 12 (2): 367–384. DOI : 10.1162 / 089976600300015835 .
- ^ Де Маси, А .; Galves, A .; Löcherbach, E .; Пресутти, Э. (2015). «Гидродинамический предел взаимодействующих нейронов». Журнал статистической физики . 158 (4): 866–902. arXiv : 1401.4264 . DOI : 10.1007 / s10955-014-1145-1 .
- ^ Дуарте, А .; Ост, Г. (2014). «Модель нейронной активности при отсутствии внешних раздражителей». arXiv : 1410.6086 .
- ^ Fournier, N .; Лёхербах, Э. (2014). «Об игрушечной модели взаимодействующих нейронов». arXiv : 1410.3263 .
- ^ Ягинума, К. (2015). «Стохастическая система с бесконечным числом взаимодействующих компонентов для моделирования эволюции во времени мембранных потенциалов популяции нейронов». arXiv : 1505,00045 .
- ^ "Modelos matemáticos do cérebro", Фернанда Тейшейра Рибейро, Mente e Cérebro , июнь 2014 г.