Интерфейс мозг – компьютер

Эта статья поднимает множество проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалить эти сообщения-шаблоны ) В этой статье слишком много ссылок на первоисточники . Пожалуйста, улучшите это, добавив вторичные или третичные источники . ( Март 2018 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения ) Эта статья, возможно, содержит оригинальные исследования . Пожалуйста, улучшите его , проверив сделанные утверждения и добавив встроенные цитаты . Заявления, содержащие только оригинальные исследования, следует удалить. ( Март 2018 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Интерфейс мозг-компьютер ( BCI ), иногда называемый интерфейс нейронная управления ( NCI ), ум-машинный интерфейс ( MMI ), прямой нейронный интерфейс ( DNI ), или интерфейс мозг-машина ( ИМТ ), является прямой маршрут связи между усиленный или зашитый мозг и внешнее устройство. BCI часто направлены на исследование, картирование , помощь, усиление или восстановление когнитивных или сенсомоторных функций человека. ^[1]

Исследования BCI начались в 1970-х годах в Калифорнийском университете в Лос-Анджелесе (UCLA) в рамках гранта Национального научного фонда , за которым последовал контракт с DARPA . ^{[2] [3]} Статьи, опубликованные после этого исследования, также знаменуют собой первое появление выражения мозг-компьютерный интерфейс в научной литературе.

Благодаря пластичности коры головного мозга сигналы от имплантированных протезов могут после адаптации обрабатываться мозгом как естественный датчик или эффекторные каналы. ^[4] После нескольких лет экспериментов на животных в середине 1990-х годов появились первые нейропротезы, имплантированные людям.

Недавно проведенные исследования взаимодействия человека с компьютером посредством применения машинного обучения со статистическими временными характеристиками, извлеченными из лобной доли , данные ЭЭГ мозговых волн показали высокий уровень успеха в классификации психических состояний (расслабленное, нейтральное, сосредоточенное), ^[5] психоэмоциональное. состояния (отрицательное, нейтральное, положительное) ^[6] и таламокортикальная аритмия . ^[7]

История [ править ]

История интерфейсов мозг-компьютер (BCI) начинается с открытия Гансом Бергером электрической активности человеческого мозга и разработки электроэнцефалографии (ЭЭГ). В 1924 году Бергер первым зарегистрировал активность мозга человека с помощью ЭЭГ. Бергер смог идентифицировать колебательную активность , такую ​​как волна Бергера или альфа-волна (8–13 Гц), путем анализа следов ЭЭГ.

Первое записывающее устройство Бергера было очень примитивным. Он вставлял серебряные проволоки под кожу головы своих пациентов. Позже они были заменены серебряной фольгой, прикрепленной к голове пациента резиновыми бинтами. Бергер подключил эти датчики к капиллярному электрометру Липпмана , но результаты оказались неутешительными. Однако более сложные измерительные устройства, такие как записывающий гальванометр с двойной катушкой Siemens , который отображал электрическое напряжение до одной десятитысячной вольта, привели к успеху.

Бергер проанализировал взаимосвязь чередования волновых диаграмм ЭЭГ с заболеваниями головного мозга . ЭЭГ открыли совершенно новые возможности для исследования деятельности человеческого мозга.

Хотя этот термин еще не был придуман, одним из первых примеров работающего интерфейса мозг-машина была пьеса « Музыка для сольного исполнителя» (1965) американского композитора Элвина Люсьера . В пьесе используется оборудование для обработки ЭЭГ и аналогового сигнала (фильтры, усилители и микшерный пульт) для стимуляции акустических ударных инструментов. Для исполнения пьесы необходимо создавать альфа-волны и, таким образом, «играть» на различных ударных инструментах через громкоговорители, расположенные рядом с самими инструментами или непосредственно на них. ^[8]

Профессор Калифорнийского университета в Лос-Анджелесе Жак Видаль ввел термин «BCI» и выпустил первые рецензируемые публикации по этой теме. ^{[2] [3]} Видал широко известен как изобретатель BCI в сообществе BCI, что отражено в многочисленных рецензируемых статьях, в которых рассматривается и обсуждается данная область (например, ^{[9] [10] [11]} ). В его статье 1973 года была сформулирована «проблема BCI»: управление внешними объектами с помощью сигналов ЭЭГ. Особенно он указал на условную отрицательную вариацию (CNV)потенциал как вызов для контроля BCI. Описанный Видалем эксперимент 1977 года был первым применением BCI после его провокации 1973 года. Это был неинвазивный контроль ЭЭГ (на самом деле визуальных вызванных потенциалов (ЗВП)) графического объекта, похожего на курсор, на экране компьютера. Демонстрация движения в лабиринте. ^[12]

После своего раннего вклада Видал не принимал участия ни в исследованиях BCI, ни в мероприятиях BCI, таких как конференции, в течение многих лет. Однако в 2011 году он прочитал лекцию в Граце , Австрия , при поддержке проекта Future BNCI, представив первый BCI, который заслужил овации. К Видулу присоединилась его жена Ларис Видал, которая ранее работала с ним в Калифорнийском университете в Лос-Анджелесе над его первым проектом BCI.

В 1988 г. был сделан доклад о неинвазивном контроле ЭЭГ физического объекта - робота. Описанный эксперимент представлял собой ЭЭГ-контроль многократного запуска-остановки-перезапуска движения робота по произвольной траектории, определяемой линией, проведенной на полу. Поведение следования по линии было поведением робота по умолчанию, использующим автономный интеллект и автономный источник энергии. ^{[13] [14]} Этот отчет 1988 года, написанный Стево Божиновски, Михаилом Сестаковым и Лиляной Божиновской, был первым отчетом об управлении роботом с помощью ЭЭГ. ^{[15] [16]}

В 1990 году был представлен отчет о замкнутом, двунаправленном адаптивном BCI, управляющем компьютерным зуммером с помощью упреждающего потенциала мозга, потенциала условной отрицательной вариации (CNV). ^{[17] [18]} Эксперимент описал, как состояние ожидания мозга, проявляемое CNV, контролирует в петле обратной связи зуммер S2 в парадигме S1-S2-CNV. Полученная когнитивная волна, представляющая ожидаемое обучение в мозгу, называется электроэкспектограммой (EXG). Потенциал мозга CNV был частью проблемы BCI, представленной Видалем в его статье 1973 года.

Исследования 2010-х годов показали, что нервная стимуляция может восстанавливать функциональные связки и связанное с ними поведение за счет модуляции молекулярных механизмов синаптической эффективности. ^{[19] [20]} Это открыло двери для концепции, согласно которой технологии BCI могут восстанавливать функции в дополнение к функциональным возможностям.

С 2013 года DARPA финансирует технологию BCI через инициативу BRAIN, которая поддерживает работу Медицинского центра Университета Питтсбурга, ^[21] Paradromics, ^[22] Brown, ^[23] и Synchron, ^[24] среди других.

BCI против нейропротезирования [ править ]

Нейропротезирование - это область нейробиологии, связанная с невральными протезами, то есть с использованием искусственных устройств для замены функций нарушенной нервной системы и проблем, связанных с мозгом, или самих органов чувств (мочевого пузыря, диафрагмы и т. Д.). По состоянию на декабрь 2010 года кохлеарные имплантаты были имплантированы как нейропротезы примерно 220 000 человек во всем мире. ^[25] Есть также несколько нейропротезных устройств, предназначенных для восстановления зрения, в том числе имплантаты сетчатки . Однако первым нейропротезом был кардиостимулятор.

Иногда эти термины используются как синонимы. Нейропротезирование и ИМК направлены на достижение одних и тех же целей, таких как восстановление зрения, слуха, движения, коммуникативной способности и даже когнитивных функций . ^[1] Оба используют похожие экспериментальные методы и хирургические техники.

Исследование BCI на животных [ править ]

Нескольким лабораториям удалось записать сигналы от коры головного мозга обезьян и крыс, чтобы задействовать ИМК для создания движения. Обезьяны управляли компьютерными курсорами на экране и приказывали роботизированным манипуляторам выполнять простые задачи, просто думая о задаче и наблюдая визуальную обратную связь, но без какой-либо двигательной активности. ^[26] В мае 2008 года фотографии, на которых изображена обезьяна в Медицинском центре Университета Питтсбурга, управляющая роботизированной рукой посредством мышления, были опубликованы в ряде известных научных журналов и журналов. ^[27] Овцы также использовались для оценки технологии BCI, включая Stentrode Synchron.

В 2020 году Neuralink Илона Маска была успешно имплантирована свинье ^[28], о чем было объявлено в широко просматриваемой веб-трансляции. В 2021 году Илон Маск объявил, что он успешно разрешил обезьяне играть в видеоигры ^[29] с помощью устройства Neuralink.

Ранние работы [ править ]

В 1969 году исследования оперантного кондиционирования Фец и его коллег в Региональном исследовательском центре приматов и на кафедре физиологии и биофизики Медицинской школы Вашингтонского университета в Сиэтле впервые показали, что обезьяны могут научиться контролировать отклонение измерителя биологической обратной связи. рука с нейронной активностью. ^[30] Аналогичная работа 1970-х годов установила, что обезьяны могут быстро научиться добровольно управлять скоростью возбуждения отдельных и множественных нейронов в первичной моторной коре, если они будут вознаграждены за создание соответствующих паттернов нейронной активности. ^[31]

Исследования, в которых были разработаны алгоритмы восстановления движений нейронов моторной коры , которые контролируют движения, относятся к 1970-м годам. В 1980-х годах Апостолос Георгопулос из Университета Джона Хопкинса обнаружил математическую взаимосвязь между электрическими реакциями нейронов одиночной моторной коры у макак-резусов и направлением, в котором они двигали руками (на основе функции косинуса ). Он также обнаружил, что рассредоточенные группы нейронов в разных областях мозга обезьяны коллективно управляли двигательными командами, но из-за технических ограничений, налагаемых его оборудованием, он мог записывать срабатывания нейронов только в одной области за раз. ^[32]

С середины 1990-х годов BCI быстро развивались. ^[33] Несколько групп смогли уловить сложные сигналы моторной коры головного мозга путем записи из нейронных ансамблей (групп нейронов) и использования их для управления внешними устройствами.

Выдающиеся успехи в исследованиях [ править ]

Кеннеди и Ян Дан [ править ]

Филипп Кеннеди (который позже основал Neural Signals в 1987 году) и его коллеги создали первый интракортикальный интерфейс мозг-компьютер, имплантировав электроды нейротрофического конуса обезьянам. ^{[ необходима цитата ]}

В 1999 году исследователи под руководством Янга Дэна из Калифорнийского университета в Беркли расшифровали импульсы нейронов, чтобы воспроизвести изображения, видимые кошками. Команда использовала множество электродов, встроенных в таламус (который объединяет все сенсорные данные мозга) остроглазых кошек. Исследователи нацелились на 177 клеток мозга в области латерального коленчатого ядра таламуса , которое декодирует сигналы сетчатки . Кошкам показали восемь короткометражных фильмов и записали срабатывания их нейронов. Используя математические фильтры, исследователи декодировали сигналы для создания фильмов о том, что видели кошки, и смогли восстановить узнаваемые сцены и движущиеся объекты. ^[34]С тех пор аналогичные результаты на людях были достигнуты исследователями из Японии ( см. Ниже ).

Николелис [ править ]

Мигель Николелис , профессор Университета Дьюка в Дареме, Северная Каролина , был выдающимся сторонником использования нескольких электродов, распределенных по большей части мозга, для получения нейронных сигналов для управления ИМК.

После проведения первоначальных исследований на крысах в 1990-х годах Николелис и его коллеги разработали BCI, которые декодировали мозговую активность совообразных обезьян и использовали устройства для воспроизведения движений обезьян в роботизированных руках. Обезьяны обладают развитыми способностями к хватанию и хватанию, а также хорошими навыками манипулирования руками, что делает их идеальными подопытными для такого рода работы.

К 2000 году группе удалось создать BCI, который воспроизводил движения совы-обезьяны, в то время как обезьяна управляла джойстиком или тянулась за едой. ^[35] BCI работал в режиме реального времени, а также мог управлять отдельным роботом удаленно через Интернет-протокол . Но обезьяны не могли видеть движение руки и не получали никакой обратной связи, так называемого BCI с разомкнутым контуром .

Последующие эксперименты по Николелис с использованием макак - резус удалось закрыть петлю обратной связи и воспроизведен обезьяну достижения и захватывая движения в руке робота. Обезьяны-резусы с их глубоко расщепленным и бороздчатым мозгом считаются лучшими моделями нейрофизиологии человека, чем совы. Обезьяны были обучены дотягиваться до объектов на экране компьютера и захватывать их, манипулируя джойстиком, в то время как соответствующие движения руки робота были скрыты. ^{[36] [37]} Обезьянам позже показали робота напрямую, и они научились управлять им, наблюдая за его движениями. BCI использовал прогноз скорости для управления движением руки и одновременно прогнозировал силу захвата.. В 2011 году О'Догерти и его коллеги показали BCI с сенсорной обратной связью на макаках-резусах. Мозг обезьяны контролировал положение руки аватара, получая сенсорную обратную связь через прямую интракортикальную стимуляцию (ICMS) в области представления руки сенсорной коры . ^[38]

Донохью, Шварц и Андерсен [ править ]

Другие лаборатории, разработавшие BCI и алгоритмы для декодирования нейронных сигналов, включают лаборатории Джона Донохью из Университета Брауна , Эндрю Шварца из Университета Питтсбурга и Ричарда Андерсена из Калифорнийского технологического института . Эти исследователи смогли создать рабочие ИМК, даже используя записанные сигналы от гораздо меньшего числа нейронов, чем у Николелиса (15–30 нейронов против 50–200 нейронов).

Группа Донохью сообщила об обучении макак-резусов использованию BCI для отслеживания визуальных целей на экране компьютера (BCI с обратной связью) с помощью джойстика или без него. ^[39] Группа Шварца создала BCI для трехмерного отслеживания в виртуальной реальности, а также воспроизвела управление BCI в роботизированной руке. ^[40] Та же группа также создала заголовки, когда продемонстрировала, что обезьяна может кормить себя кусочками фруктов и зефира, используя роботизированную руку, управляемую сигналами собственного мозга животного. ^{[41] [42] [43]}

Группа Андерсена использовала запись premovement активности от задней теменной коры в их BCI, в том числе сигналов , созданных при экспериментальных животных предполагались получить награду. ^[44]

Другое исследование [ править ]

В дополнение к прогнозированию кинематических и кинетических параметров движений конечностей разрабатываются ИМК, которые прогнозируют электромиографическую или электрическую активность мышц приматов. ^[45] Такие ИМК могут быть использованы для восстановления подвижности парализованных конечностей путем электростимуляции мышц.

Мигель Николелис и его коллеги продемонстрировали, что активность больших нейронных ансамблей может предсказать положение руки. Эта работа сделала возможным создание BCI, которые считывают намерения движения руки и переводят их в движения искусственных исполнительных механизмов. Кармена и его коллеги ^[36] запрограммировали нейронное кодирование в BCI, что позволило обезьяне управлять движением руки робота по достижению и хватанию. Лебедев и его коллеги ^[37] утверждали, что сети мозга реорганизуются, чтобы создать новое представление о придатке робота в дополнение к представлению собственных конечностей животного.

В 2019 году исследователи из UCSF опубликовали исследование, в котором продемонстрировали BCI, который потенциально может помочь пациентам с нарушением речи, вызванным неврологическими расстройствами. Их BCI использовал электрокортикографию высокой плотности для выявления нейронной активности мозга пациента и использовал методы глубокого обучения для синтеза речи. ^{[46] [47]}

Самым большим препятствием для технологии BCI в настоящее время является отсутствие сенсорной модели, обеспечивающей безопасный, точный и надежный доступ к сигналам мозга. Однако возможно или даже вероятно, что такой датчик будет разработан в течение следующих двадцати лет. Использование такого датчика должно значительно расширить спектр коммуникационных функций, которые могут быть реализованы с помощью BCI.

Разработка и внедрение системы BCI сложны и требуют много времени. В ответ на эту проблему Гервин Шалк разработал универсальную систему для исследований BCI, названную BCI2000 . BCI2000 находится в разработке с 2000 года в рамках проекта под руководством Программы-Brain Computer Interface R & D в Уодсворта центре в Нью - Йорке Департамент здравоохранения штата в Олбани, штат Нью - Йорк , США.

Новый «беспроводной» подход использует светозависимые ионные каналы, такие как Channelrhodopsin, для контроля активности генетически определенных подмножеств нейронов in vivo . В контексте простой обучающей задачи освещение трансфицированных клеток в соматосенсорной коре повлияло на процесс принятия решений у свободно перемещающихся мышей . ^[48]

Использование ИМТ также привело к более глубокому пониманию нейронных сетей и центральной нервной системы. Исследования показали, что, несмотря на склонность нейробиологов полагать, что нейроны имеют наибольший эффект при совместной работе, отдельные нейроны можно настроить с помощью ИМТ, чтобы стрелять по паттерну, который позволяет приматам управлять моторными выходами. Использование ИМТ привело к развитию принципа недостаточности отдельных нейронов, который гласит, что даже при хорошо настроенной частоте срабатывания одиночные нейроны могут нести только ограниченный объем информации, и, следовательно, наивысший уровень точности достигается путем регистрации срабатываний коллективного ансамбля. . Другие принципы, открытые с использованием ИМТ, включают принцип многозадачности нейронов, принцип нейрональной массы, принцип нейронного вырождения и принцип пластичности.^[49]

BCI также предлагается применять пользователям без инвалидности. Ориентированная на пользователя категоризация подходов BCI, проведенная Торстеном О. Зандером и Кристианом Коте, вводит термин пассивный BCI. ^[50] Помимо активных и реактивных BCI, которые используются для направленного управления, пассивные BCI позволяют оценивать и интерпретировать изменения в состоянии пользователя во время взаимодействия человека с компьютером ( HCI ). Во вторичном, неявном контуре управления компьютерная система адаптируется к своему пользователю, улучшая ее удобство использования в целом.

Помимо систем BCI, которые декодируют нейронную активность для управления внешними эффекторами, системы BCI могут использоваться для кодирования сигналов с периферии. Эти сенсорные устройства BCI позволяют в реальном времени принимать решения, связанные с поведением, на основе нейронной стимуляции с обратной связью. ^[51]

Премия BCI [ править ]

Ежегодная премия BCI исследований присуждается в знак признания выдающихся и новаторских исследований в области мозга-компьютерных интерфейсов. Каждый год известную исследовательскую лабораторию просят оценить представленные проекты. В состав жюри входят ведущие мировые эксперты BCI, привлеченные лабораторией, присуждающей награды. Жюри выбирает двенадцать номинантов, затем выбирает победителей, занявших первое, второе и третье места, которые получают награды в размере 3000, 2000 и 1000 долларов соответственно.

Исследование BCI человека [ править ]

Инвазивные BCI [ править ]

Инвазивный ИМК требует хирургической операции по имплантации электродов под кожу головы для передачи сигналов мозга. Основное преимущество - более точное считывание; однако его оборотная сторона - побочные эффекты от операции. После операции могут образовываться рубцовые ткани, которые могут ослабить сигналы мозга. Кроме того, согласно исследованию Abdulkader et al., (2015), ^[52] тело может не принять имплантированные электроды, и это может вызвать заболевание.

Видение [ править ]

Инвазивные исследования BCI были нацелены на восстановление поврежденного зрения и обеспечение новых функций для людей с параличом. Инвазивные ИМК имплантируются непосредственно в серое вещество мозга во время нейрохирургии. Поскольку они находятся в сером веществе, инвазивные устройства производят сигналы самого высокого качества, чем устройства BCI, но склонны к нарастанию рубцовой ткани , в результате чего сигнал становится слабее или даже отсутствует, поскольку организм реагирует на инородный объект. в мозгу. ^[53]

В видении науки , прямые имплантат мозга были использованы для лечения не- врожденных (приобретенная) слепоты. Одним из первых ученых, создавших рабочий мозговой интерфейс для восстановления зрения, был частный исследователь Уильям Добелль .

Первый прототип Добеля был имплантирован Джерри, человеку, ослепшему в зрелом возрасте, в 1978 году. Одноместный ИМК, содержащий 68 электродов, был имплантирован в зрительную кору головного мозга Джерри и позволил произвести фосфены , ощущение видения света. Система включала камеры, установленные на очках, для отправки сигналов на имплант. Первоначально имплант позволял Джерри видеть оттенки серого в ограниченном поле зрения с низкой частотой кадров. Это также потребовало, чтобы его подключили к мэйнфрейму , но уменьшение размеров электроники и более быстрые компьютеры сделали его искусственный глаз более портативным и теперь позволяют ему выполнять простые задачи без посторонней помощи. ^[54]

В 2002 году Йенс Науманн, также ослепший в зрелом возрасте, стал первым из 16 платящих пациентов, получивших имплант Dobelle второго поколения, что стало одним из первых коммерческих применений ИМК. В устройстве второго поколения использовался более сложный имплант, позволяющий лучше отображать фосфены в когерентное зрение. Фосфены разбросаны по полю зрения в результате того, что исследователи называют «эффектом звездной ночи». Сразу после имплантации Йенс смог использовать свое несовершенно восстановленное зрение, чтобы медленно проехать на автомобиле по стоянке исследовательского института. ^{[ необходима цитата ]} К сожалению, Добель умер в 2004 году ^[55]до того, как его процессы и разработки были задокументированы. Впоследствии, когда г-н Науманн и другие пациенты программы начали испытывать проблемы со зрением, облегчения не было, и они, в конце концов, снова потеряли «зрение». Науманн написал о своем опыте работы Добель в книге «В поисках рая: отчет пациента об эксперименте с искусственным зрением» ^[56] и вернулся на свою ферму в Юго-Восточном Онтарио, Канада, чтобы возобновить свою обычную деятельность. ^[57]

Движение [ править ]

BCI, специализирующиеся на моторном нейропротезировании, нацелены либо на восстановление движения у людей с параличом, либо на предоставление устройств, помогающих им, таких как интерфейсы с компьютерами или роботизированные руки.

Исследователи из Университета Эмори в Атланте во главе с Филипом Кеннеди и Роем Бакаем первыми установили человеческий мозговой имплантат, который генерировал сигналы достаточно высокого качества для имитации движения. Их пациент, Джонни Рэй (1944–2002), страдал от « синдрома запертости » после перенесенного инсульта ствола головного мозга в 1997 году. Имплант Рэя был установлен в 1998 году, и он прожил достаточно долго, чтобы начать работать с имплантатом, в конечном итоге научившись этому. управлять компьютерным курсором; он умер в 2002 году от аневризмы головного мозга . ^[58]

Тетраплегией Мэтт Нэйгл стал первым человеком , чтобы управлять искусственной рукой с помощью BCI в 2005 году в рамках первого девятимесячного человеческого суда над Cyberkinetics «s BrainGate чип-имплантат. Имплантат BrainGate с 96 электродами, имплантированный в правую прецентральную извилину Нэгла (область моторной коры для движения руки), позволил Нэгла управлять роботизированной рукой, думая о перемещении руки, а также о компьютерном курсоре, свете и телевизоре. ^[59] Год спустя профессор Джонатан Вулпоу получил приз Фонда инноваций Альтрана за разработку мозгового компьютерного интерфейса с электродами, расположенными на поверхности черепа, а не непосредственно в мозге.

Совсем недавно, исследовательские группы под руководством группы BrainGate в Университете Брауна ^[60] и группу под руководством Университета Питтсбург медицинского центра , ^[61] и в совместном с США Департаментом по делам ветеранов , продемонстрировали дальнейший успех в прямом контроле роботизированные протезы конечностей со многими степенями свободы, использующие прямые соединения с массивами нейронов в моторной коре головного мозга пациентов с тетраплегией.

Частично инвазивные ИМК [ править ]

Частично инвазивные устройства BCI имплантируются внутри черепа, но располагаются вне мозга, а не в сером веществе. Они производят сигналы с лучшим разрешением, чем неинвазивные ИМК, когда костная ткань черепа отклоняет и деформирует сигналы и имеют более низкий риск образования рубцовой ткани в головном мозге, чем полностью инвазивные ИМК. Была проведена доклиническая демонстрация внутрикортикальных ИМК от инсульта перилезионной коры. ^[62]

Интервенционная неврология [ править ]

Наибольший прогресс в области частично инвазивных ИМК произошел в области интервенционной неврологии. Илон Маск упомянул о возможности этого в 2016 году ^[63], но никогда не использовал его. Между тем, в 2010 году исследователи из Мельбурнского университета начали разработку BCI, который можно было вводить через сосудистую систему. Австралийский невролог Томас Оксли (больница Mount Sinai) придумал идею этого BCI, названного Stentrode и получившего финансирование от DARPA. Доклинические исследования оценили технологию на овцах.

В ноябре 2020 года два участника, страдающих боковым амиотрофическим склерозом, смогли по беспроводной связи управлять операционной системой для отправки текстовых сообщений, электронной почты, покупок и банков, используя прямое мышление через интерфейс мозг-компьютер Stentrode ^[64], впервые отмечая мозговой компьютерный интерфейс был имплантирован через кровеносные сосуды пациента, что устраняет необходимость в открытой операции на головном мозге.

ЭКоГ [ править ]

Электрокортикография (ЭКоГ) измеряет электрическую активность мозга, взятую из-под черепа, аналогично неинвазивной электроэнцефалографии, но электроды встроены в тонкую пластиковую подушечку, которая размещается над корой, под твердой мозговой оболочкой . ^[65] Впервые технологии ЭКоГ были испытаны на людях в 2004 году Эриком Лойтхардтом и Дэниелом Мораном из Вашингтонского университета в Сент-Луисе . В более позднем испытании исследователи позволили мальчику-подростку играть в Space Invaders, используя свой имплант ECoG. ^[66] Это исследование показывает, что контроль осуществляется быстро, требует минимального обучения и может быть идеальным компромиссом в отношении точности сигнала и уровня инвазивности.^{[примечание 1]}

Сигналы могут быть либо субдуральными, либо эпидуральными, но они не поступают из самой паренхимы головного мозга . До недавнего времени он не изучался широко из-за ограниченного доступа к предметам. В настоящее время единственный способ получить сигнал для исследования - использовать пациентов, которым требуется инвазивный мониторинг для локализации и удаления эпилептогенного очага.

ЭКоГ - очень многообещающий промежуточный метод ИМК, поскольку он имеет более высокое пространственное разрешение, лучшее соотношение сигнал / шум, более широкий частотный диапазон и меньше требований к обучению, чем ЭЭГ, записанная на кожу головы, и в то же время имеет меньшую техническую сложность и меньший клинический риск. , и, вероятно, более высокая долговременная стабильность, чем запись внутрикортикального одиночного нейрона. Этот профиль функции и недавние свидетельства высокого уровня контроля с минимальными требованиями к обучению показывают потенциал для реального применения для людей с двигательными нарушениями. ^{[68] [69]} Светореактивные устройства BCI для визуализации все еще находятся в сфере теории.

Неинвазивные ИМК [ править ]

Также были эксперименты на людях с использованием неинвазивной нейровизуализации.технологии как интерфейсы. Значительное большинство опубликованных работ по ИМК включает неинвазивные ИМК на основе ЭЭГ. Неинвазивные технологии и интерфейсы на основе ЭЭГ используются для гораздо более широкого круга приложений. Хотя интерфейсы на основе ЭЭГ легко носить и не требуют хирургического вмешательства, они имеют относительно низкое пространственное разрешение и не могут эффективно использовать высокочастотные сигналы, поскольку череп ослабляет сигналы, рассеивая и размывая электромагнитные волны, создаваемые нейронами. Интерфейсы на основе ЭЭГ также требуют некоторого времени и усилий перед каждым сеансом использования, тогда как интерфейсы, не основанные на ЭЭГ, а также инвазивные не требуют предварительного обучения использованию. В целом, лучший BCI для каждого пользователя зависит от множества факторов.

Человеко-компьютерный интерфейс, не основанный на ЭЭГ [ править ]

Электроокулография (ЭОГ) [ править ]

В 1989 году был дан отчет об управлении мобильным роботом движением глаз с помощью сигналов электроокулографии (ЭОГ). Мобильный робот управлялся от начала до целевой точки с помощью пяти команд EOG, которые интерпретировались как вперед, назад, влево, вправо и стоп. ^[70] EOG как проблема управления внешними объектами был представлен Видалем в его статье 1973 года. ^[2]

Колебания размера зрачка [ править ]

В статье 2016 года ^[71] описывается совершенно новое устройство связи и человеко-компьютерный интерфейс, не основанный на ЭЭГ, который не требует визуальной фиксации или способности двигать глазами вообще. Интерфейс основан на скрытом интересе; направление своего внимания на выбранную букву на виртуальной клавиатуре без необходимости перемещать глаза, чтобы смотреть прямо на букву. Каждая буква имеет свой собственный (фоновый) круг, яркость которого колеблется в отличии от яркости всех остальных букв. Выбор букв основан на наилучшем совпадении между непреднамеренным колебанием размера зрачка и рисунком колебаний яркости фонового круга. Точность дополнительно повышается за счет мысленного повторения пользователем слов «яркий» и «темный» синхронно с переходами яркости круга буквы.

Функциональная ближняя инфракрасная спектроскопия [ править ]

В 2014 и 2017 годах BCI с использованием функциональной ближней инфракрасной спектроскопии для пациентов с боковым амиотрофическим склерозом (БАС) смог восстановить некоторые базовые способности пациентов общаться с другими людьми. ^{[72] [73]}

Интерфейсы мозг-компьютер на основе электроэнцефалографии (ЭЭГ) [ править ]

После того, как проблема BCI была заявлена ​​Видалем в 1973 году, первоначальные отчеты о неинвазивном подходе включали управление курсором в 2D с помощью VEP (Vidal 1977), управление зуммером с помощью CNV (Bozinovska et al. 1988, 1990), контроль физического объекта, робота, с использованием ритма мозга (альфа) (Bozinovski et al. 1988), управления текстом, написанным на экране с помощью P300 (Farwell and Donchin, 1988). ^[74]

На заре исследований BCI еще одним существенным препятствием для использования электроэнцефалографии (ЭЭГ) в качестве интерфейса мозг-компьютер было обширное обучение, необходимое для того, чтобы пользователи могли работать с этой технологией. Например, в экспериментах, начавшихся в середине 1990-х годов, Нильс Бирбаумер из Тюбингенского университета в Германии обучал сильно парализованных людей саморегуляции медленных корковых потенциалов в их ЭЭГ до такой степени, что эти сигналы можно было использовать в качестве бинарных сигналов. для управления компьютерным курсором. ^[75] (Бирбаумер ранее обучал эпилептиковчтобы предотвратить надвигающиеся припадки, управляя этой волной низкого напряжения.) В эксперименте десять пациентов обучались перемещать компьютерный курсор, контролируя свои мозговые волны. Процесс был медленным: пациенту требовалось более часа, чтобы написать курсором 100 символов, в то время как обучение часто занимало многие месяцы. Однако подход с медленным кортикальным потенциалом к ​​ИМК не использовался в течение нескольких лет, поскольку другие подходы не требуют или почти не требуют обучения, являются более быстрыми и точными и работают для большей части пользователей.

Другой параметр исследования - это тип измеряемой колебательной активности . Герт Пфурчеллер основал лабораторию BCI Lab в 1991 году и предоставил результаты своих исследований по воображению движения в первом интерактивном BCI, основанном на колебательных характеристиках и классификаторах. Вместе с Бирбаумером и Джонатаном Уолпоу из Университета штата Нью-Йорк они сосредоточились на разработке технологии, которая позволила бы пользователям выбирать сигналы мозга, которые им проще всего использовать для управления BCI, включая мю и бета- ритмы.

Еще одним параметром является используемый метод обратной связи, и это показано в исследованиях сигналов P300 . Паттерны волн P300 генерируются непроизвольно ( стимул-обратная связь ), когда люди видят то, что они узнают, и могут позволить BCI декодировать категории мыслей без предварительной подготовки пациентов. Напротив, методы биологической обратной связи, описанные выше, требуют обучения управлению мозговыми волнами, чтобы можно было обнаружить результирующую мозговую активность.

В 2005 году было опубликовано исследование по эмуляции ЭЭГ цифровых схем управления для BCI, на примере триггера CNV. ^[76] В 2009 году сообщалось о неинвазивном контроле ЭЭГ роботизированной руки с помощью триггера CNV. ^[77] В 2011 году сообщалось, что управление двумя роботами-манипуляторами решало задачу Ханойской башни с тремя дисками с помощью триггера CNV. ^[78] В 2015 году была описана ЭЭГ-эмуляция триггера Шмидта, триггера, демультиплексора и модема. ^[79]

В то время как интерфейс мозг-компьютер на основе ЭЭГ широко используется в ряде исследовательских лабораторий, недавние достижения Бин Хе и его команды в Университете Миннесоты предполагают потенциал интерфейса мозг-компьютер на основе ЭЭГ для выполнения задач, близких к инвазивным. интерфейс мозг-компьютер. Используя расширенную функциональную нейровизуализацию, включая функциональную МРТ и визуализацию источника ЭЭГ , Bin He и его сотрудники определили совместную вариацию и совместную локализацию электрофизиологических и гемодинамических сигналов, вызванных двигательным воображением. ^[80]Уточненный подходом нейровизуализации и протоколом обучения, Бин Хе и его сотрудники продемонстрировали способность неинвазивного интерфейса мозг-компьютер на основе ЭЭГ управлять полетом виртуального вертолета в трехмерном пространстве, основываясь на двигательном воображении. ^[81] В июне 2013 года было объявлено, что Бин Хэ разработал технику, позволяющую управлять дистанционно управляемым вертолетом через полосу препятствий. ^[82]

В дополнение к интерфейсу мозг-компьютер, основанному на мозговых волнах, записанных с электродов ЭЭГ на коже черепа, Бин Хе и его коллеги исследовали виртуальный интерфейс мозг-компьютер на основе сигналов ЭЭГ, сначала решив обратную задачу ЭЭГ, а затем используя полученную виртуальную ЭЭГ для задач интерфейса мозг-компьютер. Хорошо контролируемые исследования показали достоинства такого интерфейса мозг-компьютер, основанного на анализе источников. ^[83]

Исследование 2014 года показало, что пациенты с тяжелыми двигательными нарушениями могут общаться быстрее и надежнее с помощью неинвазивного ЭЭГ BCI, чем с помощью любого мышечного канала связи. ^[84]

Исследование 2016 года показало, что устройство Emotiv EPOC может быть более подходящим для задач управления с использованием уровня внимания / медитации или моргания глаз, чем устройство Neurosky MindWave. ^[85]

Исследование 2019 года показало, что применение эволюционных алгоритмов может улучшить классификацию психического состояния ЭЭГ с помощью неинвазивного устройства Muse , обеспечивая высококачественную классификацию данных, полученных с помощью дешевого сенсорного устройства ЭЭГ потребительского уровня. ^[86]

Массивы сухих активных электродов [ править ]

В начале 1990-х Бабак Тахери из Калифорнийского университета в Дэвисе продемонстрировал первые одноканальные, а также многоканальные сухие активные электродные матрицы с использованием микрообработки. Конструкция одноканального сухого ЭЭГ-электрода и результаты были опубликованы в 1994 году. ^[87] Также было продемонстрировано, что массивный электрод хорошо работает по сравнению с серебряными / хлорсеребряными электродами. Устройство состояло из четырех участков датчиков со встроенной электроникой для снижения шума за счет согласования импеданса.. Преимуществами таких электродов являются: (1) отсутствие электролита, (2) отсутствие подготовки кожи, (3) значительно уменьшенный размер сенсора и (4) совместимость с системами мониторинга ЭЭГ. Активная электродная матрица представляет собой интегрированную систему, состоящую из набора емкостных датчиков с локальной интегральной схемой, размещенной в корпусе с батареями для питания схемы. Такой уровень интеграции требовался для достижения функциональных характеристик электрода.

Электрод был протестирован на электрическом испытательном стенде и на людях в четырех модальностях ЭЭГ-активности, а именно: (1) спонтанная ЭЭГ, (2) потенциалы, связанные с сенсорными событиями, (3) потенциалы ствола мозга и (4) когнитивные события. -связанные потенциалы. Характеристики сухого электрода по сравнению со стандартными влажными электродами лучше с точки зрения подготовки кожи, отсутствия потребности в геле (сухой) и более высокого отношения сигнал / шум. ^[88]

В 1999 году исследователей из университета Case Western Reserve в Кливленде , штат Огайо , во главе с Хантер Пекхэмы, используются 64-электрод ЭЭГ тюбетейки вернуть ограниченные движения рук для парализованного Джима Jatich. Поскольку Ятич сконцентрировался на простых, но противоположных понятиях, таких как «вверх» и «вниз», его выходной сигнал ЭЭГ бета-ритма был проанализирован с помощью программного обеспечения для выявления паттернов в шуме. Был идентифицирован базовый шаблон, который использовался для управления переключателем: активность выше среднего была включена, ниже средней - выключена. Помимо того, что Ятич мог управлять компьютерным курсором, сигналы также использовались для управления нервными контроллерами, встроенными в его руки, восстанавливая некоторое движение. ^[89]

Мобильные ИМК ЭЭГ SSVEP [ править ]

В 2009 году было сообщено о головной повязке NCTU Brain-Computer-Interface-Headband. Исследователи, которые разработали это оголовье BCI, также разработали сухие электроды на основе кремния MicroElectro-Mechanical System (MEMS), предназначенные для нанесения на участки тела, не содержащие волос . Эти электроды крепились к плате DAQ в оголовье с помощью защелкивающихся держателей электродов. Модуль обработки сигналов измерял альфаактивность и телефон с поддержкой Bluetooth оценивали бдительность и способность пациентов к когнитивным функциям. Когда испытуемый становился сонным, телефон отправлял оператору возбуждающую обратную связь, чтобы разбудить его. Это исследование было поддержано Национальным научным советом Тайваня, Китайской республикой, Национальным научным центром, Национальным университетом Цзяотун, Министерством образования Тайваня и Исследовательской лабораторией армии США . ^[90]

В 2011 году исследователи сообщили о сотовом BCI, способном принимать данные ЭЭГ и преобразовывать их в команду, заставляющую телефон звонить. Это исследование было частично поддержано Abraxis Bioscience LLP, Исследовательской лабораторией армии США и Управлением армейских исследований. Разработанная технология представляла собой носимую систему, состоящую из четырехканального модуля сбора / усиления биосигнала , модуля беспроводной передачи и сотового телефона с поддержкой Bluetooth. Электроды размещали так, чтобы они улавливали устойчивые визуальные вызванные потенциалы ( SSVEP ). ^[91] SSVEP - это электрические реакции на мерцающие зрительные стимулы с частотой повторения более 6 Гц ^[91]которые лучше всего обнаруживаются в теменной и затылочной областях скальпа зрительной коры. ^[92] Сообщалось, что с этой настройкой BCI все участники исследования могли инициировать телефонный звонок с минимальной практикой в ​​естественной среде. ^[93]

Ученые утверждают, что их исследования с использованием одноканального быстрого преобразования Фурье ( FFT ) и алгоритма канонического корреляционного анализа ( CCA ) многоканальной системы поддерживают возможности мобильных BCI. ^{[91] [94]} Алгоритм CCA применялся в других экспериментах по исследованию BCI с заявленной высокой производительностью как по точности, так и по скорости. ^[95] Хотя технология BCI на основе сотовой связи была разработана для инициирования телефонного звонка от SSVEP, исследователи заявили, что ее можно преобразовать для других приложений, таких как улавливание сенсомоторных мю / бета- ритмов, для функционирования в качестве BCI на основе воображения движений. ^[91]

В 2013 году были проведены сравнительные испытания BCI на базе сотовых телефонов, планшетов и компьютеров на базе Android, в ходе которых была проанализирована спектральная плотность мощности полученных SSVEP ЭЭГ. Заявленные цели этого исследования, в котором участвовали ученые, частично поддерживаемые Исследовательской лабораторией армии США, заключались в том, чтобы «повысить практичность, мобильность и повсеместность BCI на основе SSVEP для повседневного использования». Цитата Сообщалось, что частота стимуляции на всех средах была точной, хотя сигнал сотового телефона демонстрировал некоторую нестабильность. Также сообщалось, что амплитуды SSVEP для ноутбука и планшета были больше, чем для мобильного телефона. Эти две качественные характеристики были предложены как индикаторы возможности использования мобильного стимула BCI. ^[94]

Ограничения [ править ]

В 2011 году исследователи заявили, что продолжение работы должно быть направлено на простоту использования, надежность производительности и снижение затрат на оборудование и программное обеспечение. ^[91]

Одна из трудностей с чтением ЭЭГ - большая подверженность артефактам движения. ^[96] В большинстве ранее описанных исследовательских проектов участников просили сидеть спокойно, максимально уменьшив движения головы и глаз, а измерения проводились в лабораторных условиях. Однако, поскольку основное применение этих инициатив заключалось в создании мобильного устройства для повседневного использования ^[94], эту технологию пришлось испытать в движении.

В 2013 году исследователи протестировали мобильную технологию BCI на основе ЭЭГ, измеряя SSVEP у участников, когда они шли по беговой дорожке с разной скоростью. Это исследование было поддержано Управлением военно-морских исследований , Управлением армейских исследований и Исследовательской лабораторией армии США. Заявленные результаты заключались в том, что с увеличением скорости обнаруживаемость SSVEP с использованием CCA снижалась. Поскольку анализ независимых компонентов ( ICA ) показал свою эффективность в отделении сигналов ЭЭГ от шума, ^[97]ученые применили ICA к CCA извлеченным данным ЭЭГ. Они заявили, что данные CCA с обработкой ICA и без нее были одинаковыми. Таким образом, они пришли к выводу, что CCA независимо продемонстрировал устойчивость к артефактам движения, что указывает на то, что это может быть полезный алгоритм для применения к BCI, используемым в реальных условиях. ^[92]

В 2020 году исследователи из Калифорнийского университета использовали вычислительную систему, связанную с интерфейсами мозг-машина, для преобразования мозговых волн в предложения. Однако их расшифровка ограничивалась 30–50 предложениями, даже несмотря на то, что процент ошибок в словах составлял всего 3%. ^[98]

Протезирование и контроль окружающей среды [ править ]

Неинвазивные ИМК также применялись для управления мозгом протезных устройств верхних и нижних конечностей у людей с параличом. Например, Герт Пфурчеллер из Технологического университета Граца и его коллеги продемонстрировали управляемую BCI систему функциональной электростимуляции для восстановления движений верхних конечностей у человека с тетраплегией из-за травмы спинного мозга . ^[99] Между 2012 и 2013 годами исследователи из Калифорнийского университета в Ирвине впервые продемонстрировали возможность использования технологии BCI для восстановления управляемой мозгом ходьбы после травмы спинного мозга. В своих исследованиях травм спинного мозгаИсследование показало, что человек с параплегией смог использовать ортез для ходьбы с роботом BCI, чтобы восстановить базовое передвижение, управляемое мозгом. ^{[100] [101]} В 2009 году Алекс Блейни, независимый исследователь из Великобритании, успешно использовал Emotiv EPOC для управления 5-осевым манипулятором робота. ^[102] Затем он создал несколько демонстрационных инвалидных колясок с управляемым сознанием и домашней автоматизации, которыми могли управлять люди с ограниченным двигательным контролем или без него, например, с параличом нижних конечностей и церебральным параличом.

Исследования по военному использованию BCI, финансируемые DARPA , продолжаются с 1970-х годов. ^{[2] [3]} В настоящее время в центре внимания исследований находится взаимодействие пользователя с пользователем посредством анализа нейронных сигналов. ^[103]

Сделай сам и BCI с открытым исходным кодом [ править ]

В 2001 году проект OpenEEG ^[104] был инициирован группой нейробиологов и инженеров , работающих самостоятельно . ModularEEG был основным устройством, созданным сообществом OpenEEG; это была 6-канальная плата захвата сигнала, стоимость изготовления которой составляла от 200 до 400 долларов. Проект OpenEEG ознаменовал важный момент в появлении интерфейса «самодельный мозг-компьютер».

В 2010 году Frontier Nerds программы ITP Нью-Йоркского университета опубликовали подробное руководство под названием «Как взломать игрушечные ЭЭГ». ^[105] Учебное пособие, взволновавшее умы многих начинающих энтузиастов DIY BCI, продемонстрировало, как создать одноканальный домашний ЭЭГ с Arduino и Mattel Mindflex по очень разумной цене. Этот урок усилил движение DIY BCI.

В 2013 году OpenBCI возник в результате запроса DARPA и последующей кампании на Kickstarter . Они создали высококачественную 8-канальную плату для сбора данных ЭЭГ с открытым исходным кодом, известную как 32-битная плата, которая продавалась по цене менее 500 долларов. Два года спустя они создали первую напечатанную на 3D-принтере ЭЭГ-гарнитуру, известную как Ultracortex, а также 4-канальную плату сбора данных ЭЭГ, известную как Ganglion Board, которая продавалась по цене менее 100 долларов.

МЭГ и МРТ [ править ]

Магнитоэнцефалография (МЭГ) и функциональная магнитно-резонансная томография (фМРТ) успешно используются в качестве неинвазивных ИМК. ^[106] В широко освещаемом эксперименте фМРТ позволила двум пользователям, которых сканировали, играть в Понг в режиме реального времени, изменяя их гемодинамическую реакцию или кровоток в мозге с помощью методов биологической обратной связи . ^[107]

Измерения гемодинамических реакций в реальном времени с помощью фМРТ также использовались для управления манипуляторами роботов с семисекундной задержкой между мыслями и движениями. ^[108]

В 2008 году исследование, проведенное в Лабораториях вычислительной неврологии Advanced Telecommunication Research (ATR) в Киото , Япония, позволило ученым реконструировать изображения непосредственно из мозга и отображать их на компьютере в черно-белом режиме с разрешением 10x10 пикселей . Статья, объявляющая об этих достижениях, была на обложке журнала Neuron от 10 декабря 2008 года. ^[109]

В 2011 году исследователи из Калифорнийского университета в Беркли опубликовали ^[110] исследование, в котором сообщалось о посекундной реконструкции видео, которые смотрели участники исследования, по данным фМРТ. Это было достигнуто путем создания статистической модели, связывающей зрительные образы в видеороликах, показываемых испытуемым, с активностью мозга, вызванной просмотром видеороликов. Затем эта модель была использована для поиска 100 односекундных сегментов видео в базе данных из 18 миллионов секунд случайных видеороликов YouTube , визуальные шаблоны которых наиболее точно соответствовали активности мозга, зарегистрированной, когда испытуемые смотрели новое видео. Затем эти 100 отрывков из односекундного видео были объединены в растянутое изображение, напоминающее просматриваемое видео. ^{[111] [112] [113]}

Стратегии контроля BCI в нейрогейминге [ править ]

Моторные образы [ править ]

Моторные образы включают воображение движения различных частей тела, что приводит к активации сенсомоторной коры , которая модулирует сенсомоторные колебания в ЭЭГ. Это может быть обнаружено BCI, чтобы сделать вывод о намерениях пользователя. Моторные образы обычно требуют нескольких тренировок, прежде чем будет приобретен приемлемый контроль над BCI. Эти учебные занятия могут занять несколько часов в течение нескольких дней, прежде чем пользователи смогут последовательно применять эту технику с приемлемым уровнем точности. Независимо от продолжительности тренировки, пользователи не могут освоить схему управления. Это приводит к очень медленному игровому процессу. ^[114]Недавно были разработаны передовые методы машинного обучения для расчета предметно-ориентированной модели для определения характеристик двигательных образов. Самый эффективный алгоритм из набора данных 2 BCI Competition IV ^[115] для изображений движения - это Common Spatial Pattern банка фильтров, разработанный Ang et al. от A * STAR , Сингапур ). ^[116]

Био / нейробиоуправление для пассивных конструкций BCI [ править ]

Биологическая обратная связь используется для наблюдения за психическим расслаблением субъекта. В некоторых случаях биологическая обратная связь контролирует не электроэнцефалографию (ЭЭГ), а параметры организма, такие как электромиография (ЭМГ), гальваническое сопротивление кожи (GSR) и вариабельность сердечного ритма (HRV). Многие системы биологической обратной связи используются для лечения определенных расстройств, таких как синдром дефицита внимания и гиперактивности (СДВГ), проблемы со сном у детей, скрежетание зубами и хроническая боль. Системы биологической обратной связи ЭЭГ обычно контролируют четыре разных диапазона (тета: 4–7 Гц, альфа: 8–12 Гц, SMR: 12–15 Гц, бета: 15–18 Гц) и предлагают субъекту контролировать их. Пассивный BCI ^[50]включает использование BCI для обогащения взаимодействия человека с машиной неявной информацией о фактическом состоянии пользователя, например, моделирования для определения того, когда пользователи намереваются нажать на тормоз во время процедуры экстренной остановки автомобиля. Разработчики игр, использующие пассивные BCI, должны осознавать, что при повторении уровней игры когнитивное состояние пользователя будет изменяться или адаптироваться. Во время первой игры уровня пользователь будет реагировать на вещи иначе, чем во время второй игры: например, пользователь будет меньше удивлен событию в игре, если он / она его ожидает. ^[114]

Зрительный вызванный потенциал (ЗВП) [ править ]

VEP - это электрический потенциал, регистрируемый после того, как субъекту предъявляют определенный тип визуальных стимулов. Есть несколько типов VEP.

Устойчивые визуально вызванные потенциалы (SSVEP) используют потенциалы, генерируемые возбуждением сетчатки, используя визуальные стимулы, модулированные на определенных частотах. Стимулы SSVEP часто формируются из чередующихся шаблонов шахматной доски и иногда просто используют мигающие изображения. Частоту смены фаз используемого стимула можно четко различить в спектре ЭЭГ; это делает обнаружение стимулов SSVEP относительно простым. SSVEP оказался успешным во многих системах BCI. Это связано с несколькими факторами: вызванный сигнал можно измерить в столь большой популяции, поскольку переходное ЗВП и мигание, а также электрокардиографические артефакты не влияют на отслеживаемые частоты. Кроме того, сигнал SSVEP исключительно надежен; Топографическая организация первичной зрительной коры такова, что более широкая область получает афференты от центральной или фовиальной области поля зрения.Однако у SSVEP есть несколько проблем. Поскольку SSVEP используют мигающие стимулы, чтобы сделать вывод о намерениях пользователя, пользователь должен смотреть на один из мигающих или повторяющихся символов, чтобы взаимодействовать с системой. Следовательно, вероятно, что символы могут стать раздражающими и неудобными для использования во время более длительных игровых сессий, которые часто могут длиться более часа, что не может быть идеальным игровым процессом.

Другой тип VEP, используемый с приложениями, - это потенциал P300 . Связанный с событием потенциал P300 - это положительный пик на ЭЭГ, который происходит примерно через 300 мс после появления целевого стимула (стимула, которого пользователь ждет или ищет) или необычных стимулов.. Амплитуда P300 уменьшается по мере того, как целевые стимулы и игнорируемые стимулы становятся более похожими. Считается, что P300 связан с процессом внимания более высокого уровня или ориентировочной реакцией, использующей P300 в качестве схемы управления, имеет то преимущество, что участник должен только присутствовать на ограниченном уровне. тренировки. Первым приложением, в котором использовалась модель P300, была матрица P300. В рамках этой системы испытуемый выбирает букву из сетки, состоящей из 6 на 6 букв и цифр. Строки и столбцы сетки мигали последовательно, и каждый раз, когда загоралась выбранная «буква выбора», (потенциально) активировался пользовательский P300. Однако процесс коммуникации, примерно 17 символов в минуту, был довольно медленным. P300 - это BCI, который предлагает дискретный выбор, а не непрерывный механизм управления.Преимущество использования P300 в играх заключается в том, что игроку не нужно учить себя использовать совершенно новую систему управления, и поэтому ему нужно только проводить короткие обучающие сеансы, чтобы изучить механику игрового процесса и базовое использование парадигмы BCI.^[114]

Синтетическая телепатия / безмолвное общение [ править ]

В рамках инициативы армии США стоимостью 6,3 миллиона долларов по изобретению устройств для телепатической коммуникации, Гервин Шалк , получивший грант в размере 2,2 миллиона долларов, обнаружил, что использование сигналов ЭКоГ может различать гласные и согласные, встроенные в произносимые и воображаемые слова, проливая свет на различные связанные с ними механизмы. с производством гласных и согласных, и может обеспечить основу для мозгового общения с использованием воображаемой речи. ^{[69] [117]}

В 2002 году Кевин Уорвик ввел в его нервную систему набор из 100 электродов, чтобы связать свою нервную систему с Интернетом и исследовать возможности улучшения. После этого Уорвик успешно провел серию экспериментов. С помощью электродов, также имплантированных в нервную систему его жены, они провели первый эксперимент по прямой электронной связи между нервными системами двух людей. ^{[118] [119] [120] [121]}

Другая группа исследователей смогла достичь сознательной связи между мозгами между двумя людьми, разделенными расстоянием, с помощью неинвазивной технологии, которая контактировала с кожей головы участников. Слова кодировались двоичными потоками с использованием последовательностей нулей и единиц с помощью воображаемого моторного входа человека, «испускающего» информацию. В результате этого эксперимента псевдослучайные биты информации содержали закодированные слова «hola» («привет» по-испански) и «ciao» («привет» или «до свидания» по-итальянски) и передавались мысленно между люди, разделенные расстоянием, с заблокированными двигательными и сенсорными системами, у которых практически нет вероятности того, что это произойдет случайно. [2]

Исследования синтетической телепатии с использованием субвокализации ведутся в Калифорнийском университете в Ирвине под руководством ведущего ученого Майка Д'Змура. Первое такое общение произошло в 1960-х годах с использованием ЭЭГ для создания кода Морзе с использованием альфа-волн мозга. Использование ЭЭГ для передачи воображаемой речи менее точно, чем инвазивный метод установки электрода между черепом и мозгом. ^[122] 27 февраля 2013 года группа с Мигелем Николелисом из Университета Дьюка и IINN-ELS успешно соединили мозги двух крыс с электронными интерфейсами, которые позволили им напрямую обмениваться информацией в первом в истории прямом интерфейсе мозг-мозг . ^{[123] [124] [125]}

BCIs клеточной культуры [ править ]

Исследователи создали устройства для взаимодействия с нейронными клетками и целыми нейронными сетями в культурах за пределами животных. Наряду с дальнейшими исследованиями имплантируемых устройств животным, эксперименты с культивированной нервной тканью были сосредоточены на построении сетей для решения проблем, создании базовых компьютеров и манипулировании роботизированными устройствами. Исследования методов стимуляции и записи отдельных нейронов, выращенных на полупроводниковых чипах, иногда называют нейроэлектроникой или нейрочипами . ^[126]

Разработка первого работающего нейрочипа была заявлена ​​командой Калифорнийского технологического института под руководством Джерома Пайна и Майкла Махера в 1997 году. ^[127] В чипе Калифорнийского технологического института было место для 16 нейронов.

В 2003 году команда под руководством Теодора Бергера из Университета Южной Калифорнии начала работу над нейрочипом, предназначенным для работы в качестве искусственного или протезного гиппокампа . Нейрочип был разработан для работы в головном мозге крыс и был задуман как прототип для возможной разработки протезов высшего мозга. Гиппокамп был выбран потому, что он считается наиболее упорядоченной и структурированной частью мозга и наиболее изученной областью. Его функция заключается в кодировании переживаний для хранения в качестве долговременных воспоминаний в другом месте мозга. ^[128]

В 2004 году Томас ДеМарс из Университета Флориды использовал культуру из 25 000 нейронов, взятых из мозга крысы, для пилотирования симулятора истребителя F-22 . ^[129] После сбора корковые нейроны культивировали в чашке Петри и быстро начали восстанавливать соединение, образуя живую нейронную сеть. Ячейки были расположены на сетке из 60 электродов и использовались для управления функциями симулятора по тангажу и рысканью . Основное внимание в исследовании уделялось пониманию того, как человеческий мозг выполняет и изучает вычислительные задачи на клеточном уровне.

Этические соображения [ править ]

В этот раздел включен список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить этот раздел, добавив более точные цитаты. ( Июнь 2019 г. ) ( Узнайте, как и когда удалить это сообщение-шаблон )

Источники: ^{[130] [131] [132] [133] [134]}

Проблемы, ориентированные на пользователя [ править ]

• Долгосрочные эффекты для пользователя остаются в значительной степени неизвестными.
• Получение информированного согласия от людей, которым трудно общаться.
• Последствия технологии BCI для качества жизни пациентов и их семей.
• Побочные эффекты, связанные со здоровьем (например, сообщается, что нейробиоуправление тренировки сенсомоторного ритма влияет на качество сна).
• Терапевтические приложения и их возможное неправильное использование.
• Риски безопасности
• Неконвертируемость некоторых изменений, внесенных в мозг

Юридические и социальные [ править ]

• Вопросы подотчетности и ответственности: утверждает, что влияние BCI преобладает над свободой воли и контроля над сенсомоторными действиями, утверждает, что когнитивное намерение было неверно переведено из-за неисправности BCI.
• Изменения личности, вызванные глубокой стимуляцией мозга.
• Опасения по поводу состояния «киборга» - части тела являются живыми, а части - механическими.
• Вопросы личности: что значит быть человеком?
• Размытие границ между человеком и машиной и неспособность различать действия, управляемые человеком и машиной.
• Использование этой технологии в передовых методах допроса государственными органами.
• Избирательное усиление и социальное расслоение.
• Вопросы исследовательской этики, возникающие при переходе от экспериментов на животных к их применению на людях.
• Моральные вопросы
• Чтение мыслей и конфиденциальность.
• Система отслеживания и тегирования
• Контроль над разумом .
• Контроль движения
• Контроль эмоций

В своей нынешней форме большинство BCI далеки от рассмотренных выше этических проблем. На самом деле они похожи на корректирующие методы лечения. В 2009 году Клаузен заявил, что «BCI создают этические проблемы, но они концептуально аналогичны тем, к которым специалисты по биоэтике обращались в других областях терапии». ^[130] Более того, он предполагает, что биоэтика хорошо подготовлена ​​к решению проблем, возникающих с технологиями BCI. Haselager и его коллеги ^[131] отметили, что ожидания эффективности и ценности BCI играют большую роль в этическом анализе и в том, как ученые BCI должны подходить к средствам массовой информации. Кроме того, могут применяться стандартные протоколы для обеспечения этически обоснованных процедур информированного согласия с заблокированными пациентами.

Случай BCI сегодня имеет параллели в медицине, как и его эволюция. Подобно тому, как фармацевтическая наука начиналась как баланс для нарушений и теперь используется для увеличения внимания и уменьшения потребности во сне, BCI, вероятно, постепенно трансформируются от лечения к улучшениям. ^[133] Внутри сообщества BCI предпринимаются усилия по достижению консенсуса в отношении этических принципов исследования, разработки и распространения BCI. ^[134]

Недорогие интерфейсы на основе BCI [ править ]

Недавно ряд компаний свернули технологию ЭЭГ медицинского уровня (и в одном случае NeuroSky перестроила технологию с нуля ^{[ требуется пояснение ]} ), чтобы создать недорогие ИМК. Эта технология встроена в игрушки и игровые устройства; некоторые из этих игрушек были чрезвычайно коммерчески успешными, например NeuroSky и Mattel MindFlex.

• В 2006 году Sony запатентовала систему нейроинтерфейса, позволяющую радиоволнам воздействовать на сигналы в нервной коре. ^[135]
• В 2007 году NeuroSky выпустила первую доступную потребительскую ЭЭГ вместе с игрой NeuroBoy. Это также было первое крупномасштабное устройство ЭЭГ, в котором использовалась технология сухих датчиков. ^[136]
• В 2008 году OCZ Technology разработала устройство для использования в видеоиграх, основанное в первую очередь на электромиографии . ^[137]
• В 2008 году разработчик Final Fantasy Square Enix объявила о сотрудничестве с NeuroSky для создания игры Judecca. ^{[138] [139]}
• В 2009 году Mattel в партнерстве с NeuroSky выпустила Mindflex , игру, в которой использовалась ЭЭГ, чтобы направлять мяч через полосу препятствий. На сегодняшний день это, безусловно, самая продаваемая ЭЭГ для потребителей. ^{[138] [140]}
• В 2009 году Uncle Milton Industries в партнерстве с NeuroSky выпустила Star Wars Force Trainer , игру, созданную для создания иллюзии обладания Силой . ^{[138] [141]}
• В 2009 году Emotiv выпустила EPOC, 14-канальное устройство ЭЭГ, которое может считывать 4 психических состояния, 13 состояний сознания, выражения лица и движения головы. EPOC - это первый коммерческий BCI, в котором используется технология сухого датчика, который может быть смочен физиологическим раствором для лучшего соединения. ^[142]
• В ноябре 2011 года журнал Time назвал necomimi производства Neurowear одним из лучших изобретений года. Компания объявила, что весной 2012 года планирует выпустить потребительскую версию одежды, состоящую из кошачьих ушей, управляемых считывателем мозговых волн производства NeuroSky . ^[143]
• В феврале 2014 года They Shall Walk (некоммерческая организация, занимающаяся конструированием экзоскелетов, получивших название LIFESUITs, для людей с параличом нижних и нижних конечностей) начала сотрудничество с Джеймсом Шакарджи по разработке беспроводного BCI. ^[144]
• В 2016 году группа любителей разработала плату BCI с открытым исходным кодом, которая отправляет нейронные сигналы на аудиоразъем смартфона, что снизило стоимость BCI начального уровня до 20 фунтов стерлингов. ^[145] Доступно базовое диагностическое программное обеспечение для устройств Android , а также приложение для ввода текста для Unity . ^[146]

Будущие направления [ править ]

Консорциум, состоящий из 12 европейских партнеров, завершил разработку дорожной карты для поддержки Европейской комиссии в ее решениях о финансировании новой рамочной программы Horizon 2020 . Проект, финансируемый Европейской комиссией, стартовал в ноябре 2013 года и опубликовал дорожную карту в апреле 2015 года. ^[147] В публикации 2015 года под руководством доктора Клеменса Бруннера описываются некоторые анализы и достижения этого проекта, а также зарождающееся общество интерфейса мозг-компьютер. ^[148]Например, в этой статье рассмотрена работа в рамках этого проекта, в котором были дополнительно определены BCI и приложения, исследованы последние тенденции, обсуждались этические вопросы и оценивались различные направления для новых BCI. Как отмечается в статье, их новая дорожная карта в целом расширяет и поддерживает рекомендации проекта Future BNCI, управляемого доктором Бренданом Эллисоном, который вызывает значительный энтузиазм в отношении новых направлений BCI.

Другие недавние публикации также исследовали будущие направления BCI для новых групп пользователей с ограниченными возможностями (например, ^{[9] [149] [150] [151] [152]} ). Ниже приведены некоторые известные примеры.

Расстройства сознания (DOC) [ править ]

У некоторых людей расстройство сознания(ДОК). Это состояние включает людей в коме, а также людей в вегетативном состоянии (VS) или в состоянии минимального сознания (MCS). Новое исследование BCI направлено на то, чтобы помочь людям с DOC разными способами. Основная начальная цель - выявить пациентов, которые могут выполнять базовые когнитивные задачи, что, конечно же, приведет к изменению их диагноза. То есть некоторые люди, которым поставлен диагноз DOC, на самом деле могут обрабатывать информацию и принимать важные жизненные решения (например, обращаться ли за терапией, где жить, и их взгляды на решения в отношении их конца жизни). Некоторые люди, которым поставлен диагноз DOC, умирают в результате решений в конце жизни, которые могут быть приняты членами семьи, которые искренне считают, что это отвечает наилучшим интересам пациента.Учитывая новую перспективу, позволяющую этим пациентам высказать свое мнение по поводу этого решения, может возникнуть сильное этическое давление в пользу развития этого направления исследований, чтобы гарантировать, что пациентам DOC будет предоставлена ​​возможность решить, хотят ли они жить.^{[153] [154]}

В этих и других статьях описываются новые проблемы и решения для использования технологии BCI для помощи людям с DOC. Одна из основных проблем заключается в том, что эти пациенты не могут использовать ИМК на основе зрения. Следовательно, новые инструменты полагаются на слуховые и / или вибротактильные стимулы. Пациенты могут носить наушники и / или вибротактильные стимуляторы на запястьях, шее, ногах и / или других местах. Еще одна проблема заключается в том, что пациенты могут терять сознание и терять сознание и общаться только в определенное время. Это действительно может быть причиной ошибочного диагноза. Некоторые пациенты могут отвечать на запросы врачей только в течение нескольких часов в день (что может быть непредсказуемо заранее) и, следовательно, могут не отвечать во время постановки диагноза. Таким образом, новые методы полагаются на инструменты, которые легко использовать в полевых условиях даже без помощи экспертов.поэтому члены семьи и другие лица без какого-либо медицинского или технического образования могут по-прежнему использовать их. Это снижает затраты, время, потребность в экспертных знаниях и другие трудности, связанные с оценкой DOC. Автоматизированные инструменты могут задавать простые вопросы, на которые пациенты могут легко ответить, например: «Вашего отца зовут Джордж?» или "Вы родились в США?" Автоматические инструкции информируют пациентов о том, что они могут сказать «да» или «нет», (например) сосредоточив свое внимание на стимулах на правом и левом запястье. Такое пристальное внимание вызывает достоверные изменения в паттернах ЭЭГ, которые могут помочь определить, что пациент может общаться. Результаты могут быть представлены врачам и терапевтам, что может привести к пересмотру диагноза и терапии. Кроме того,таким пациентам могут быть предоставлены коммуникационные инструменты на основе ИМК, которые помогут им сообщить об основных потребностях, отрегулировать положение кровати иHVAC (отопление, вентиляция и кондиционирование), а также дает им возможность принимать важные жизненные решения и общаться. ^{[155] [156] [157]}

Восстановление мотора [ править ]

Люди могут потерять часть своей способности двигаться из-за многих причин, таких как инсульт или травма. Несколько групп исследовали системы и методы восстановления моторики, которые включают BCI. ^{[158] [159] [160] [161]} В этом подходе BCI измеряет двигательную активность, пока пациент воображает или пытается движения в соответствии с указаниями терапевта. BCI может дать два преимущества: (1) если BCI показывает, что пациент неправильно представляет движение (несоблюдение), то BCI может проинформировать пациента и терапевта; и (2) поощрение обратной связи, такой как функциональная стимуляция или движение виртуального аватара, также зависит от правильного образа движения пациента.

До сих пор ИМК для восстановления моторики полагались на ЭЭГ для измерения воображения движения пациента. Тем не менее, в исследованиях также использовалась фМРТ для изучения различных изменений в головном мозге, когда люди проходят курс реабилитации после инсульта на основе ИМК. ^{[162] [163]} Будущие системы могут включать фМРТ и другие меры для контроля в реальном времени, такие как функциональная ближняя инфракрасная область, вероятно, в тандеме с ЭЭГ. Неинвазивная стимуляция мозга также исследовалась в сочетании с ИМК для восстановления моторики. ^[164] В 2016 году ученые из Мельбурнского университетаопубликовали доклинические данные о проверке концепции, связанные с потенциальной технологической платформой интерфейса мозг-компьютер, разрабатываемой для пациентов с параличом, чтобы облегчить управление внешними устройствами, такими как роботизированные конечности, компьютеры и экзоскелеты, путем преобразования активности мозга. ^{[165] [166]} В настоящее время проводятся клинические испытания. ^[167]

Функциональное картирование мозга [ править ]

Каждый год во время нейрохирургии около 400000 человек проходят картирование мозга . Эта процедура часто требуется людям с опухолями или эпилепсией, которые не поддаются лечению . ^[168]Во время этой процедуры электроды накладываются на мозг, чтобы точно определить расположение структур и функциональных областей. Пациенты могут бодрствовать во время нейрохирургии, и их просят выполнить определенные задачи, например, двигать пальцами или повторять слова. Это необходимо для того, чтобы хирурги могли удалить только желаемую ткань, сохраняя при этом другие области, такие как критические движения или языковые области. Удаление слишком большого количества ткани головного мозга может привести к необратимому повреждению, в то время как удаление слишком малого количества ткани может оставить основное заболевание без лечения и потребовать дополнительной нейрохирургии. Таким образом, существует острая необходимость в совершенствовании как методов, так и систем для максимально эффективного картирования мозга.

В нескольких недавних публикациях эксперты-исследователи BCI и врачи объединились, чтобы изучить новые способы использования технологии BCI для улучшения нейрохирургического картирования. В этой работе основное внимание уделяется высокой гамма-активности, которую трудно обнаружить неинвазивными методами. Результаты привели к усовершенствованным методам определения ключевых областей движения, языка и других функций. В недавней статье были рассмотрены достижения в области функционального картирования мозга и подведены итоги семинара. ^[169]

Гибкие устройства [ править ]

Гибкая электроника - это полимеры или другие гибкие материалы (например, шелк , ^[170] пентацен , PDMS , парилен , полиимид ^[171] ), на которые нанесены печатные схемы ; гибкая природа органических фоновых материалов, позволяющая создаваемой электронике изгибаться, и методы изготовления, используемые для создания этих устройств, напоминают те, которые используются для создания интегральных схем и микроэлектромеханических систем (MEMS). ^{[ необходима цитата ]} Гибкая электроника была впервые разработана в 1960-х и 1970-х годах, но интерес к исследованиям возрос в середине 2000-х. ^[172]

Нейронная пыль [ править ]

Нейронная пыль - это термин, используемый для обозначения устройств миллиметрового размера, работающих в качестве нервных датчиков с беспроводным питанием , которые были предложены в докладе 2011 года Калифорнийского университета в Центре беспроводных исследований Беркли , в котором описаны как проблемы, так и выдающиеся преимущества создания долговременных беспроводной BCI. ^{[173] [174]} В одной из предложенных моделей нейронного датчика пыли модель транзистора позволила использовать метод разделения между потенциалами локального поля и «всплесками» потенциала действия , что позволило бы получить большое количество разнообразных данных, получаемых из записей. . ^[173]

См. Также [ править ]

Заметки [ править ]

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Броуз, Эндрю. « Руководство для молодых людей по музыке мозговых волн: сорок лет аудио из человеческой ЭЭГ ». eContact! 14.2 - Практика биотехнологической эффективности / Pratiques de performance biotechnologique (июль 2012 г.). Монреаль: CEC .
• Гупта, Кота Навин и Рамасвами Паланаппиан. « Использование высокочастотной электроэнцефалограммы в визуальных и слуховых схемах интерфейса мозг-компьютер ^{[ постоянная мертвая ссылка ]} ». eContact! 14.2 - Практика биотехнологической эффективности / Pratiques de performance biotechnologique (июль 2012 г.). Монреаль: CEC .
• Узунян, Гасян. « Трио Biomuse в разговоре: интервью с Р. Бенджамином Кнаппом и Эриком Лайоном ». eContact! 14.2 - Практика биотехнологической эффективности / Pratiques de performance biotechnologique (июль 2012 г.). Монреаль: CEC .

Внешние ссылки [ править ]

Викискладе есть медиафайлы, связанные с интерфейсами мозг-компьютер .

У Схолии есть тематический профиль Интерфейс мозг – компьютер .

• Разблокировать проект