Нейронная сеть с большим объемом памяти и извлечения данных (LAMSTAR) [1] [2] представляет собой быстродействующую нейронную сеть глубокого обучения , состоящую из многих слоев, которая может использовать множество фильтров одновременно. Эти фильтры могут быть нелинейными, стохастическими, логическими, нестационарными или даже неаналитическими. Они биологически мотивированы и постоянно учатся.
Нейронная сеть LAMSTAR может служить динамической нейронной сетью в пространственной или временной области, или в обеих. Его скорость обеспечивается весами ссылок Хебба [3] , которые объединяют различные и обычно разные фильтры (функции предварительной обработки) в его многочисленные уровни и динамически ранжируют значимость различных уровней и функций относительно данной задачи обучения. Это отдаленно имитирует биологическое обучение, которое объединяет различные препроцессоры ( улитку , сетчатку и т. д. ) и кору головного мозга ( слуховую , зрительную и т. д. ) и их различные области. Его возможности глубокого обучения дополнительно улучшаются за счет использования торможения, корреляции и способности справляться с неполными данными или «потерянными» нейронами или слоями даже во время выполнения задачи. Он полностью прозрачен благодаря весу ссылок. Веса ссылок позволяют динамически определять инновации и избыточность, а также облегчают ранжирование слоев, фильтров или отдельных нейронов относительно задачи.
LAMSTAR применялся во многих областях, включая медицинские [4] [5] [6] и финансовые прогнозы, [7] адаптивную фильтрацию шумной речи в неизвестном шуме, [8] распознавание неподвижных изображений, [9] распознавание видеоизображений, [10] безопасность программного обеспечения [11] и адаптивное управление нелинейными системами. [12] По данным 20 сравнительных исследований , LAMSTAR показал гораздо более высокую скорость обучения и несколько меньший уровень ошибок, чем CNN, основанная на ReLU -функциональных фильтрах и максимальном объединении. [13]
Эти приложения демонстрируют углубление в аспекты данных, которые скрыты от сетей поверхностного обучения и человеческих чувств, например, в случаях прогнозирования начала событий апноэ во сне [ 5] электрокардиограммы плода, записанной с электродов на поверхности кожи. помещается на живот матери на ранних сроках беременности, [6] для финансового прогнозирования [1] или при слепой фильтрации шумной речи. [8]
LAMSTAR был предложен в 1996 году и получил дальнейшее развитие Граупе и Кордылевского в 1997–2002 годах. [14] [15] [16] Модифицированная версия, известная как LAMSTAR 2, была разработана Шнайдером и Граупе в 2008 году. [17] [18]