BCPNN
Байесовская нейронная сеть распространения достоверности (BCPNN) — это искусственная нейронная сеть , вдохновленная теоремой Байеса , которая рассматривает нейронные вычисления и обработку как вероятностный вывод. Активации нейронных единиц представляют вероятность («уверенность») в присутствии входных признаков или категорий, синаптические веса основаны на предполагаемых корреляциях, а распространение активации соответствует расчету апостериорных вероятностей. Первоначально он был предложен Андерсом Ланснером и Орджаном Экебергом из Королевского технологического института KTH . [1] Эта вероятностная модель нейронной сети также может работать в генеративном режиме для создания спонтанных активаций и временных последовательностей.
Базовая модель представляет собой нейронную сеть с прямой связью, состоящую из нейронных блоков с непрерывной активацией, имеющих смещение, представляющее предшествующее, и связанных байесовскими весами в виде точечной взаимной информации . Первоначальная сеть была расширена до модульной структуры мини- и гиперстолбцов , представляющих дискретные закодированные функции или атрибуты. [2] [3] Единицы также могут быть связаны как рекуррентная нейронная сеть (теряя строгую интерпретацию их активаций как вероятностей) [4] , но становясь возможной абстрактной моделью биологических нейронных сетей и ассоциативной памяти. [5] [6] [7][8] [9]
BCPNN использовался для классификации машинного обучения [10] и интеллектуального анализа данных , например, для обнаружения побочных реакций на лекарства. [11] Правило обучения BCPNN также использовалось для моделирования биологической синаптической пластичности и внутренней возбудимости в моделях крупномасштабных импульсных нейронных сетей ( SNN ) корковой ассоциативной памяти [12] [13] и вознаграждения за обучение в базальных ганглиях. [14]
Архитектура сети BCPNN является модульной с точки зрения гиперстолбцов и министолбцов . Эта модульная структура основана на модульной структуре коры млекопитающих и является ее обобщением . В абстрактных моделях миниколонки служат наименьшими единицами и обычно имеют постоянную времени мембраны и адаптацию. В пиковых моделях коры миниколонка слоя 2/3 обычно представлена примерно 30 пирамидальными клетками и одной двойной группой клеток. [15] Последнее превращает отрицательные веса BCPNN, образующиеся между нейронами с антикоррелированной активностью, в дисинаптическое торможение.
Латеральное ингибирование внутри гиперколонки делает его мягким модулем по принципу « победитель получает все ». Глядя на реальную кору , количество миниколонок в гиперколонке составляет порядка сотни, что делает активность разреженной на уровне 1% или меньше, учитывая, что гиперколонки также могут быть молчаливыми. [16] Сеть BCPNN размером с неокортекс человека будет иметь пару миллионов гиперстолбцов , разделенных на несколько сотен областей. В дополнение к разреженной активности крупномасштабная BCPNN также будет иметь очень разреженную связность, учитывая, что реальная кораредко связан на уровне 0,01 - 0,001% в среднем.
Правило обучения BCPNN было получено из правила Байеса и является хеббовским, так что нейронные единицы с активностью, коррелирующей во времени, получают между собой возбуждающие связи, тогда как антикорреляция порождает торможение, а отсутствие корреляции дает нулевые связи. Предположения о независимости такие же, как и в наивном байесовском формализме. BCPNN представляет собой простой способ получения нейронной сети из правила Байеса. [2] [3] [17] Чтобы можно было использовать стандартное уравнение для распространения активности между нейронами, было необходимо преобразование в логарифмическое пространство. Основные уравнения для внутренней возбудимости постсинаптических единиц и синаптического веса между пре- и постсинаптическими единицами :
