Что такое мозг компьютера
Это умопомрачительный материал (чтоб заинтриговать приходится отбросить скромность). Материал проверен временем и реакцией людей - с моей скромной страницы ВКонтакте его репостнули много десятков раз! И это очень полезный материал, который можно начать применять уже сегодня.
Чтоб читать было проще, разбил текст на несколько коротких частей. Начнём.
Что нового в мире BCI?
Каждый год с этого времени в мире выходит очень много работ, которые можно по-настоящему назвать прорывными , выводящими интерфейсы «мозг-компьютер» на новый уровень.
Моторные интерфейсы
Интерфейс мозг-машина для управления движением пальцев
Одно из направлений исследования интерфейса мозг-машина (ИММ) - разработку усовершенствованных нейронно-контролируемых протезов для восстановления или замены двигательной функции у пациентов с параличом верхней конечности. Чтобы развить высокоэффективный моторный ИММ, необходимо понимать, как сигналы, полученные от нервных имплантатов, кодируют грубые и тонкие движения верхних конечностей.
Электрокортикография (ЭКоГ) широко изучалась для моторного декодирования и контроля сигналов. По сравнению с другими инвазивными и неинвазивными методами нейронной записи, ЭКоГ обеспечивает хороший компромисс между степенью охвата, качеством сигнала и стабильностью сигнала.
Хотя принципы представления движений рук и пальцев в моторной коре не до конца понятны, некоторая степень разделимости может быть обнаружена в сигналах ЭКоГ, записанных с сенсомоторной коры во время движений отдельных пальцев.
Сетка ЭКоГ с высокой плотностью 8 × 16 была имплантирована субдурально в сенсомоторные области 20-летнего мужчины, страдающего трудноизлечимой эпилепсией. Матрица высокой плотности охватывала центральную борозду предполагаемых сенсомоторных областей руки.
Предварительное картирование высокой гамма-активации на сетке hd-ECoG было выполнено с использованием задачи постукивания пальцем и пассивной вибротактильной стимуляции.
Иерархический классификатор использовался для предсказания того, какой палец двигался, на основе корреляторов гамма движений пальцев. Классификатор сначала произвел двоичную классификацию того, двигается ли палец или нет. Если движение пальца имело место, то выполнялась последующая 5-ступенчатая классификация того, какой палец двигался.
Исследование впервые показало, что сигналы ЭКоГ, записанные с сенсомоторной коры головного мозга человека, могут быть использованы для онлайн-контроля движений отдельных пальцев на подвижной протезной руке. Модель декодирования, использованная в этом исследовании, не требовала длительного периода обучения или изучения нового отображения для управления движениями пальцев. Вместо этого она извлекала информацию из нейронных сигналов, связанных с движениями пальцев, что позволяло естественным образом управлять пальцами протеза. Анализируя точность декодирования нейронных активаций, которые предшествуют временной шкале сенсорной обратной связи, авторы обнаружили, что, вероятно, ИМК может обеспечить индивидуальный контроль пальцев даже при отсутствии сенсорной афферентной информации, например, в случае пациентов с травмами спинного мозга.
Начало
Когда человек рождается, в нем уже предустановлено несколько программ для выживания – инстинкты. Далее в него устанавливаются программы из внешнего мира – если человек родился в Китае, то он быстро учится говорить по-китайски, в России – по-русски и т.п.
Мозг каждую секунду впитывает информацию как губка и все это сохраняет «на жестких дисках». Давно доказано, что человек может запоминать любые цифры, за секунду «фотографировать» взглядом десятки страниц текста и т.д. Но сейчас о простых рядовых случаях
Обычный человек реально запоминает все, что видит, чувствует, слышит. Это не значит, что он сможет это все потом воспроизвести. Вспомнить осознанно человек может только то, чем часто оперирует, и то, что было «встроено» в сопровождении сильных эмоций.
Мы все в школе и университетах встроили в себя терабайты информации, однако помним оттуда менее 1% просто по тому, что остальное нам не пригодилось.
Самое интересное – на человека влияет абсолютно вся информация, которую он получил. Любое событие встраивается в мозг как программка, призванная помочь правильно среагировать в нужный момент. Интуиция, тревога, страх, желание, озарения – это результат обработки подсознанием новой информации через ранее установленные программы.
Различия и индивидуальность
И так, выходит что большинство программ, встроенных в человека – предопределены его окружением и местом обитания.
Другие же – индивидуальные, установленные в результате каких-то событий в жизни конкретно этого человека. Это дает индивидуальность, личность. Кажется, что все люди разные, непредсказуемые – на самом деле это просто различные наборы, «букеты» примерно одних и тех же программ.
Заключение
Распространение BCI в массы не будет быстрым и легким, сейчас открыты весьма ограниченные возможности по пониманию состояний мозга, но прогресс в этой области нельзя игнорировать. Главное, что есть правильная тенденция на снижение стоимости устройств/предоставление устройств по подписке и появление проектов, которые ориентированы на энтузиастов.
Лично меня очень радует то, что среди раскрученных Emotive, MUSE, OpenBCI начинают появляться и российские проекты. На недавнем Нейрофоруме, который прошел в Петербурге, были продемонстрированы:
Расширение доступных устройств делает область интерфейсов привлекательной для изучения и экспериментов. Порог вхождения низкий, всегда можно найти адекватную задачу, а улучшать алгоритмы можно до упора, приобретая новые знания и навыки. Чего я вам и желаю.
Такой я увидел область BCI, посмотрим, что интересного будет в следующем году.
UPD исправлено описание EBCI интерфейсов, по ошибки они были отнесены к активным BCI, что не соответствует действительности
Здравствуйте друзья. В сегодняшней статье поговорим о процессорах. Что это такое и для чего он нужен.
Этот небольшой "квадратик" размером с коробок спичек и толщиной в несколько миллиметров, без которого не будет работать ни один десктоп, ноутбуки, планшет или смартфон. По своей сути он является "сердцем" и "мозгом" любого перечисленного выше устройства.
Сверху у процессора находится металлическая "крышка" (на десктопах), на которую через термо проводящую пасту устанавливается радиатор с вентилятором. Снизу множество контактов, для установки в сокет (специальный разъем для процессора) на материнскую плату .
Процессоры разделяются на слабые (в основном одноядерные), средние (двух ядерные и трех ядерные) и мощные (четыре ядра и больше). Естественно, чем больше ядер, тем мощнее процессор и тем более мощные игры и программы он способен обрабатывать.
Производители
Есть два популярных производителя процессоров, о которых слышал каждый, кто пользуется ПК. Это AMD и Intel . Между ними все время идет соперничество за рынок, пользователей и качество своей продукции.
Немного расскажу чем же процессоры этих производителей отличаются.
Intel процессоры
- Отличные процессоры, которые работают быстрее своего главного конкурента. Так же выигрывают по нагреву (мало греются). Да и в плане работы с оперативной памятью ( ОЗУ ), так же впереди.
- Что касается минусов, так это слишком высокая стоимость (главный минус). Еще при работе с большим количеством программ, процессоры от Intel начинают сбрасывать тактовую частоту (поэтому и не греются), что соответственно сказывается на производительности.
AMD процессоры
- CPU этого производителя отлично работают с тяжёлыми приложениями и играми. И в отличие от конкурента не сбрасывают тактовую частоту (поэтому больше греются). А главное преимущество, это графическое ядро, встроенное в центральный процессор. Оно способно потянуть некоторые не слишком востребованные к ресурсам ПК игры (правда на низких настройках) без установки отдельной видеокарты.
- Но на самом деле такой процессор больше подходит для работы в офисах, где не нужна отдельная (мощная видеокарта). А для возможности полноценно поиграть все же нужно приобретать отдельную видеокарту.
Ради справедливости стоит отметить, что с недавних пор и Intel выпускает процессоры с графическим ядром, но все же AMD в этом плане впереди.
- Самый наверное главный плюс процессоров данного производителя по сравнению с конкурентом, это их стоимость. Можно например, купить средненький процессор от AMD и он практически не будет отличаться по мощности (а если и будет, то ненамного) от Intel, но стоить будет в разы дешевле, а игры тянуть наравне с конкурентом. Ну и конечно же эти процессоры имеют возможность разгона ( overclocking ), что увеличивает производительность почти на 20%.
- Из минусов стоит отметить не очень хорошую работу процессора с оперативной памятью. Так же некоторые модели отстают по производительности в играх. А главное эти процессоры сильно греются, поэтому нужно очень серьезно подходить к выбору системы охлаждения для них.
Теперь вы знаете что такое центральный процессор и в чем заключается его задача. Про то, что они отличаются внутренними архитектурами писать не буду, да и вам думаю это не интересно.
Ну а какой процессор будет "сердцем" вашей системы решать только вам.
Спасибо за прочтение данной статьи. Не стесняйтесь комментировать и ставьте палец вверх.
Безусловно, одной из самых популярных тем в нейронауке стал интерфейс «мозг-компьютер». Или BCI (Brain-Computer Interface), как это принято называть не только за границей, но и у нас. Что же это такое? Давайте разберемся и заодно узнаем, какие новейшие достижения в этом направлении уже есть.
Пассивные BCI
Базовая идея пассивных BCI – это оценка состояния человека, например, оценка когнитивной нагрузки (workload), она может быть применена в системах обучения, было проведено исследование, чтобы решить эту задачу.
Классификатор тренировали на следующих задачах:
- Для высокой нагрузки — респондент вычитал из 3-4 значных чисел 1-2 значные исключая простые варианты с десятками.
- Для легкой нагрузки — просили сосредоточится респондента на приятном воспоминании.
Точность алгоритма составила 70%. Классификатор протестировали на других задачах (умножение, игра в скрембл), и получили аналогичную точность, тем самым подтвердили факт, что можно сделать независимым классификатор от человека и задач. [13]
Эту идею можно применить для контроля хирурга во время операции [14]. Решалась задача определения нагрузки на хирурга во время выполнения разных по сложности манипуляций на тренажере. Система научилась определять каким способом хирург выполняет операцию с высокой точностью.
Еще один вариант – это измерение степени расслабления. На основе состояния посетителя интерактивной инсталляции в "Музее молчания" создавалась живая картина, которая отражала его внутреннее состояние. [15]
Пассивные BCI можно использовать и для задач управления, довольно оригинальный подход предоставить человеку не непосредственный контроль за курсором, а лишь право судить о том, движется ли курсор по правильному пути к цели. Эксперимент был проведен на небольших матрицах размером 4х4 и 6х6 точек. Сначала систему тренировали на произвольном движении точки, и задача человека была определять в правильную ли сторону движется точка, далее тестировали в живом режиме и получили, что результат близок к оптимальному пути. [16] Можно посмотреть демонстрацию.
Как это работает?
Для того чтобы «управление силой мысли» (как часто в прессе называют BCI) стало возможным, ученым сначала нужно было сделать несколько открытий. И, во-первых, выяснить, что наш мозг во время своей работы обладает электрической активностью.
Сам этот факт зафиксировал еще в далеком 1875 году англичанин Ричард Катон. Однако нужно было научиться эту активность регистрировать. Первый шаг сделал киевлянин Владимир Правдич-Нейминский, который сумел в 1912 году записать активность мозга у собаки. Правда, с открытого мозга, не через череп.
Классической электроэнцефалографии пришлось ждать еще 12 лет. В 1924 году немец Ханс Бергер записал первую в мире ЭЭГ и открыл альфа- и бета-ритмы мозга. Тогда же появились электроды, которые крепятся к коже, а не вводятся непосредственно в мозг. Правда, признания этого метода пришлось ждать долго. Только вмешательство Нобелевского лауреата, сэра Дугласа Эдриана, повторившего все эксперименты Бергера, заставило признать ЭЭГ во всем мире.
Затем нужно было понять, что можно научиться менять параметры ЭЭГ (как и другие параметры организма). И не только человек на это способен — в одном из экспериментов еще в 1960-х годах было показано, что ради еды крыса может менять давление в хвостовой артерии. А позже стало понятно, что шимпанзе может более-менее осознанно манипулировать активностью даже одного нейрона.
Вот на этих принципах и знаниях и построены современные интерфейсы «мозг-компьютер». У человека снимается электрическая активность головного мозга, в то время как он мысленно выполняет определенное действие. Например, берет в руки шахматную фигуру и делает ход (мысленно! руки человека в это время находятся в покое). В электроэнцефалограмме компьютер пытается вычленить из ЭЭГ паттерны движения — общие элементы структуры активности мозга, характерные для конкретного элемента движения.
Затем электроды соединяются с устройством, которым нужно управлять: протезом, экзоскелетом, квадрокоптером, автомобилем, инвалидным креслом. И можно начинать точно так же думать о движении. Компьютер уже знает паттерны движения, но на этом этапе получается обратная связь — само движение. Тут уже можно его немного корректировать и таким образом «тренировать».
Нужно сказать, что для управления сложными движениями — речь идет о протезах — «обычной» ЭЭГ все-таки не хватит. Слишком много шумов, «каша» сигнала не дает возможности тонкой настройки движений. В сложных устройствах используются другие методы регистрации мозговой активности.
Фильтры
Со временем в жизни каждого человека устанавливаются ведущие программы – фильтры. Они дают нам жизненную позицию, принципы. Через них далее воспринимается вся входящая информация и устанавливается уже измененной этими фильтрами.
Как создаются фильтры – быстрый или подробный анализ какой-то ситуации и резюмирование – далее все подобное будет сразу же, без анализа, разобрано на основании когда-то проведенного анализа.
Еще вариант – кто-то очень уверенно и эмоционально что-то сказал. Папа сказал – все богатые воры. Сказал уверенно, ребенок решил – раз папа это сказал так, значит так и есть. Фильтр встал. Далее он видит богатого человека и знает что он вор – так проще, чем анализировать каждого. На автомате сработала программа.
Интерфейсы для реабилитации
Облегчение восстановления корковой активности на основе ИМК, связанной с началом походки после разовой многоуровневой хирургии при церебральном параличе.
Во многих случаях развитие вторичных костно-мышечной патологии при ДЦП способствует потере функции, ухудшению походки, усталости, ограничению активности и ограничению жизнедеятельности. Одна из основных методик - многоуровневая ортопедическая хирургия, направленная на исправление всех деформаций и улучшение походки. После этой процедуры часто требуется период до 2 лет, чтобы выйти на уровень функционального плато.
Большинство методов реабилитации после хирургического вмешательства основаны на периферической реорганизации моторного контроля, инициируемой периферической физиотерапией. Однако ЦП поражает в первую очередь структуры мозга. Это говорит о том, что и периферическая нервная система (ПНС), и центральная нервная система (ЦНС) должны быть интегрированы в физиотерапевтическую и когнитивную реабилитационную терапию. Именно такой подход предлагается в этом направлении создания интерфейсов мозг-компьютер.
Предлагается [5] система ИМК, состоящая из двух этапов: первая - как повторное обучение корковой активности, связанной с походкой (см. Рис. 3): была разработана виртуальная среда, в которой было предложено представить, что они начали ходить. Второй - активный контроль реабилитационной терапии на роботизированной платформе. Таким образом, первый месяц после операции, когда пациент обездвижен, является наиболее подходящим периодом для подготовки мозга к новым образцам походки, которые позже будут продвигаться в процессе физической реабилитации с помощью роботов. С таким подходом удаётся снизить период реабилитации до 2 месяцев.
Настоящий прорыв в интерфейсах «мозг-компьютер» случился в 2012 году, когда Джон Донахью опубликовал статью, где описывался случай полностью парализованной пациентки, которой вживили 96 электродов на «чипе» 4x4 мм. При помощи этих электродов женщина сумела натренировать протез так, что роботическая рука брала емкость с водой и подносила ее ко рту оператора.
Пожалуй, именно с этого и начался бум подобных разработок. Конечно же, их ждут и все люди, потерявшие способность двигаться, и люди, желающие управлять чем-либо без помощи рук (в скобках отметим, что на чемпионате профессий World Skills нейропилотирование — управление транспортным средством при помощи интерфейса «мозг-компьютер» — уже вошло в программу).
Принятие решений
Любой человек, принимая решение, думает, что делает это самостоятельно.
На самом деле, решение принимается в соответствии с приобретенным на протяжении всей его жизни «программным обеспечением».
Если для принятия решения нам не хватает информации – либо не поступало ранее, либо программы «за» и «против» имеют примерно одинаковое влияние, человек испытывает желание изучить вопрос или посоветоваться.
Далее он получает подтверждение одного из вариантов решения и «самостоятельно принимает решение».
Бывает и наоборот – совет или найденная информация запускают какую-то «спящую» программу и решение принимается в разрез с полученной информацией. Например, он находит остро негативный отзыв и подсознательное вспоминает, что когда-то он воспользовался подобной услугой, был крайне доволен, а после обнаружил чей-то подобный негативный отзыв, был в недоумении и сделал для себя вывод, что не всегда плохой отзыв – есть истина в последней инстанции.
В таком случае человек может принять решение обратное найденной информации и становится еще сложней проследить влияние программ, и решение все больше становится похожим на самостоятельно принятое и обдуманное.
В итоге мы получаем – любые действия человека, его результаты во всех областях жизни – семье, отношениях с другими людьми, лидерские качества, его накопления, статус в обществе, уровень заработка, машина, дом и т.д. – все это результат предустановленных программ.
И в теории можно даже предугадать его поведение на годы вперед. Хотя это довольно сложно – если бы существовало всего 3-5-50 программ, влияющих на поведение человека, то в теории можно было бы с точностью прогнозировать и свое поведение, и поведение других людей. Но программ тысячи, возможно миллионы, и вроде как остается только наблюдать за тем, что происходит, не имея возможности повлиять на результат. Становится немного грустно.
Технология интерфейса мозг-компьютер (ИМК) была впервые разработана как инструмент, обеспечивающий базовое взаимодействие, такое как общения, без движения. В последние несколько лет произошел сдвиг в сторону новых групп пациентов и приложений, таких как помощь пациентам с инсультом в восстановлении движения или помощь нейрохирургам в более точном картировании мозга для более быстрого и безопасного проведения операций.
Рассмотрим детальнее основные виды современных интерфейсов мозг-компьютер. Их можно разделить на четыре основных группы:
Речевые интерфейсы мозг-компьютер
Интерфейсы для управления киборгами (чипирование живых организмов)
Интерфейсы для реабилитации
Hardware
Наконец-то, мы добрались до железок!
Тут важно сказать про 2 момента, с одной стороны, оборудование для BCI довольно громоздкое, человек в нем привлекает внимание, в одном из выступлений были продемонстрированы миниатюрные электроды, такие что человек в них ничем не выделяется. [20]
К сожалению, вставить фото большего размера возможности нет, но вы можете посмотреть через гугл фото.
Несмотря на всю миниатюрность, устанавливать эти электроды не удобно, придется приклеивать каждый отдельный электрод. Для ускорения используют различные приспособления:
- EEG шапочки, в которых размечены отверстия под электроды
- Обручи и шлемы различной конструкции, где в основном положение электродов фиксированное, только OpenBCI выделяется Ultracortex'ом, в котором электроды можно переставлять в зависимости от задач.
Относительно свежая идея – это массивы из электродов CeeGrid, для крепления в области уха, которые одновременно и невидимы, и легко устанавливаются, но существенный минус это ограниченность применения, хотя есть работы, которые показывают, что использовать этот вариант для ERP BCI реально [21].
И вторая проблема – это необходимость в токопроводящем геле для качественного сигнала, тут показано, что различия допустимые, и использование сухих электродов оправдано [22], но все зависит от количества волос. Над этим вопросом так же работают, например, недавно Florida Research Instruments начала продавать удлинненный сухой электрод (на картинке ниже он слева), который отличается от первоначальной версии большей округлостью пинов и, как вы понимаете, вызывает меньше негативных ощущений у пользователей. Еще более продвинутые варианты – когда сами пины на электродах снабжены амортизацией, благодаря материалу или с помощью пружин (на картинке ниже они в центре и справа).
Интерфейсы для управления киборгами (чипирование живых организмов)
Авторы работы [4] создали киборга путем хирургического соединения портативного микростимулятора с нервами антенн живого таракана. Применяя специальную микростимуляцию, киборгом можно дистанционно управлять поворотами влево и вправо. Намерение движения может быть получено из человеческого мозга через интерфейс мозг-компьютер. Электроэнцефалография (ЭЭГ) на основе установившегося визуального вызванного потенциала (SSVEP) использовалась для передачи намерений человека. Были разработаны и проведены эксперименты с различными вариантами испытаний для проверки производительности предложенной системы. Результаты экспериментов показали, что средние показатели успешности реакций человеческого ИМК и киборга в одном решении превышали 85%. Киборгом можно было успешно управлять через человеческий мозг, чтобы он мог пройти по заранее заданным дорожкам с 20% успешностью.
Структура разработанной системы показана на рис. 1. ИМК на основе SSVEP с тремя состояниями использовался для декодирования намерения контроллера. Три мигающих квадратных блока представляли источник стимуляции SSVEP , которые были расположены отдельно вверху в середине, внизу слева и внизу справа на экране ПК. Частота мерцания каждого блока была установлена равной 12,5, 8,33, 6,818 Гц, обозначая команды управления покоя, левого и правого поворота соответственно. Человек (контролер) сидел перед экраном ПК, чтобы управлять направлением, с портативным устройством захвата ЭЭГ.
Таракан-киборг был разработан после несложной хирургической операции. Авторы хирургическим путем установили микростимулятор на таракана, вставив три крошечные серебряные иглы (левый, правый, заземляющий электрод) в усики таракана и в грудную клетку. Схема электростимуляции для киборга представляла собой прямоугольный импульс с амплитудой 1,5 В, частотой 50 Гц, коэффициентом заполнения 50% и шириной 500 мс. Такая конфигурация могла вызвать умеренную и правильную реакцию киборгов и, следовательно, гарантировать хорошую производительность онлайн-контроля.
Были созданы три таракана-киборга. В каждом эксперименте таракана помещали на расстоянии около 1,5 м от главного компьютера. Для каждого испытуемого киборга было проведено десять контрольных онлайн-испытаний. Перед онлайн-контролем каждый таракан сначала прошел 120-секундный тренировочный прогон для оптимизации классификатора SSVEP. Между двумя последовательными испытаниями давали 120-секундный отдых, чтобы свести к минимуму эффекты от усталости как у людей, так и у насекомых. Кроме того, в этом исследовании были проведены эксперименты для контрольных групп. Для системы в экспериментах были спроектированы и испытаны два типа трасс: S-образная трасса и трасса для обхода препятствий.
Результаты экспериментов показали, что средний показатель успешности онлайн-экспериментов, достигнутых с этой системой, составил 20% для S-образной дорожки. При использовании трассы с препятствиями вероятность успешного онлайн-контроля может достигать 40%. Демонстрационное видео успешной навигации по S-образному треку:
Мозг — это компьютер. Или как управлять своей жизнью. Часть первая.
Если представить, что мозг каждого человека – это мощнейший, но обычный компьютер, становится гораздо проще понять многие вещи.
Например, как он работает и как им управлять. Как устанавливать нужные программы и деактивировать вредные. Если описанные ниже идеи найдут у вас отклик, то вы сможете полностью контролировать свою жизнь и достигать любых целей.
Писалось это с целью сформулировать свои мысли в слова и поделиться ими с другими людьми. С бизнесом эта тема связана только в формате быстрого развития, становления принципов и т.п.
Эффект ускорения времени
С течением жизни подобных фильтров становится все больше, и мы все чаще на автомате реагируем на события. Этим объясняется феномен ускорения течения времени с годами. Если человек 30-40 лет сравнит свой день со своим же днем в 13-ти летнем возрасте, он скажет – раньше день был как будто в 3 раза длинней. Сейчас месяц пролетает как неделя, а то и пара дней. Все просто – большую часть времени мозг на все реагирует на автомате и очень мало анализирует, осознанно обдумывает.
В общем – если хочется прожить подольше, то, получается, не обязательно стремиться прожить до 100 лет. Нужно просто изучать новое, анализировать, фиксировать, подмечать ту жизнь, что прямо сейчас у тебя есть, тем самым «растягивая» время. Например, я уверен, что за свои 30 лет прожил гораздо больше, чем многие шестидесятилетние. И точно есть люди, которые за свои первые 20-25 лет уже прожили по насыщенности жизни больше, чем 2 серые жизни иных людей.
Речевые интерфейсы
1) ИМК на основе ЭКоГ на основе слухового внимания к естественной речи
Люди, страдающие тяжелыми нейродегенеративными заболеваниями (например, поздней стадией бокового амиотрофического склероза (БАС)), в конечном итоге теряют мышечный контроль и больше не могут жестикулировать или говорить. Недавние исследования показывают, что электрокортикографические (ЭКоГ) сигналы в гамма-диапазоне (т.е. 70–170 Гц) могут использоваться для определения идентичности звуковых речевых стимулов.
В своей работе [1] авторы изучают эту возможность, реализуя систему реального времени на основе BCI2000, которая использует сигналы ЭКоГ для идентификации присутствующего говорящего.
Задача испытуемого заключалась в том, чтобы выборочно проявить внимание к одному из двух одновременно выступающих говорящих. Авторы смешали две (монофонические) речи в бинауральную презентацию, в которой поток, передаваемый каждому уху, содержал 20% ∶ 80% громкости одного говорящего и 80% ∶ 20% громкости другого, соответственно.
Созданный интерфейс получает звуковой сигнал через микрофон или предварительно загруженный файл. Затем фильтр корреляции сигналов вычисляет значения корреляции, то есть корреляцию между двумя (монофоническими) речами, чтобы определить, на какого говорящего пользователь направляет свое внимание. Наконец, фильтр увеличения обратной связи увеличивает громкость обслуживаемого докладчика и уменьшает громкость другого говорящего, чтобы обеспечить обратную связь с субъектом
2) Распознавание непрерывной речи с помощью интерфейса мозг-компьютер
В течение последних двух десятилетий исследования в области интерфейса мозг-компьютер (ИМК) работали над практическими и полезными приложениями для коммуникации и управления. Тем не менее, многие методы. использующие ИМК, страдают от неестественного взаимодействия или трудоемкого обучения пользователей. Поскольку непрерывная речь обеспечивает очень естественный подход к общению, долгое время стоял вопрос, можно ли разработать ИМК, которые распознают речь по активности коры головного мозга. Воображаемая речь как парадигма ИМК для ограниченных пациентов означала бы значительное улучшение скорости общения и удобства использования без необходимости громоздкого написания с использованием отдельных букв .
В исследовании с 7 участниками [2] авторы впервые показали, что непрерывная речь представлена в мозгу как последовательность фонем(звуков). Эти фонемы могут быть декодированы из записей электрокортикографии (ЭКоГ) и позволяют составить произнесенные слова. Все участники перенесли операцию в связи с трудноизлечимой эпилепсией и согласились участвовать в нашем эксперименте. Расположение электродов определялось исключительно исходя из клинических потребностей пациентов.
Распознавание отдельных фонем
В эксперименте авторы одновременно записывали ЭКоГ-активность и форму звуковой волны, в то время как участники читали вслух разные тексты, состоящие из детской литературы, фанфиков или политических выступлений. Авторы согласовали нейронные данные по времени с маркировкой фонем, полученных из звуковых данных, с помощью собственного инструментария распознавания речи BioKIT. Это позволило идентифицировать нейронную активность, соответствующую производству каждой фонемы.
Затем авторы объединили фонемное(звуковое) представление корковой активности с языковой информацией, используя технологию автоматического распознавания речи, чтобы реконструировать слова в мысленно произнесенных фразах. Информация о языке включается в процесс декодирования через языковую модель и словарь произношения. Словарь произношения содержит отображения фонемных последовательностей в слова. Языковая модель статистически моделирует синтаксическую и семантическую информацию, предсказывая следующие слова с учетом предшествующих слов.
Результаты показали, что с ограниченным набором слов в словаре интерфейс может восстанавливать полные предложения. На рисунке показаны различные этапы декодирования непрерывно произносимых фраз из нейронных данных.
Например, последовательность воображаемых фонем (звуков)
Интерфейс распознает и произнесёт как
Собственный интерфейс
Для разрабатываемой мною роботизированной руки
Было решено, в качестве одной из систем управления, попытаться реализовать некое подобие ИМК. Пока что это только двухэлектродный энцефалограф, но в дальнейшем планируется сборка полноценного медицинского энцефалографа.
Электрическая схема, схема электродов были взяты из работ других пользователей, и не представляют собой каких-либо новаторских решений. Данным устройством удалось считать реакцию на моргание
Источники
Со времён изобретения манипулятора "мышь" прошло полвека, и это по-прежнему один из основных способов взаимодействия человека с компьютером. Я поехал на конференцию в Институт когнитивных нейронаук ВШЭ, чтобы узнать о последних достижениях в области BCI, которая находится за горизонтом, и поэтому так интересна.
Отчет о конференции я переработал в статью для связанного повествования. Какие-то моменты упрощаю и опускаю, а какие-то дополняю из своих наблюдений и отчетов с других мероприятий. Прочитав ее, я надеюсь, у вас появятся общие понимания подходов к BCI и текущего состояния в этой области. За оригинальными трактовками лучше обращаться к оригинальным статьям, к счастью, почти все в открытом доступе.
Midas touch problem и E-BCI интерфейсы
Управление курсором с помощью направления взгляда – простая задача, которая решается с помощью eye-tracker'инга (он же видеоокулография). Но в этих интерфейсах есть проблемы, например, непроизвольные движения глаз и проблема выбора, к слову, весьма символично ее называют проблемой прикосновения Мидаса – фригийского царя, любое прикосновение которого, обращало предмет в золото. Применений пассивных BCI позволяет решать эти проблемы.
Подход, где активный BCI использовался для совершения выбора при управлении с помощью eye-tracker'а, известен давно, но не отличается быстродействием. Исследование, где респонденты оценивали разные способы выбора по шкале NASA TLX, показало, что вариант с BCI не быстрее по времени, чем вариант с долгой фиксацией для выбора объекта, но при этом BCI вызывает меньшую степень фрустрации [10].
Дальнейшая работа команды Торстена Цандера показала, что можно отличать сознательную фиксацию на объекте от бессознательной с точностью 90%[17]. Для эксперимента использовалась парадигма "Oddball" – респондент просматривал серию из фигур, содержащих фигуру, которую он хочет выбрать в сочетании с отвлекающими фигурами.
Сергей Шишкин рассказал о улучшении вышеописанного подхода [8]. Существенный плюс их решения – это снижение скорости выбора до 300мс-500мс, что требует очень быстрой классификации, для этого использовали EEGNet [9].
Механизмы внимания – это отдельная тема, которая может расширить области применения BCI и создавать системы для реабилитации пациентов с СДВГ, о базовой идее рассказывает Mehdi Ordikhani в своем Tedtalk
Активные BCI
Basketparadigm
Это условное обозначение возможности контроля путем активации воображаемых движений. Дело в том, что моторная кора компактно расположена в центре головы, поэтому воображаемые движения разных частей тела хорошо классифицируются и используются для построения BCI. Пользователю, для работы с такими BCI, необходимо мысленно представлять как он совершает движения разными частями тела.
Для облегчения проведения экспериментов ученые разрабатывают собственные фреймворки, например, BCILAB. С его помощью провели эксперимент, чтобы продемонстрировать скептику возможность управления c помощью воображаемых движений. Результат составил 80% – так себе результат в условиях, когда у человека есть привычные альтернативы, но заслуживает высокой оценки, особенно, для неподготовленного респондента [7].
Этот же подход применили для управления горизонтом для авиасимулятора. Результаты неоднозначные, для 3-х респондентов удалось добиться результата в 94%, еще для 4-х 64% и меньше 60% еще для троих. Успех заключается в том, что первая троица управляла самолетам так же, как это делается штурвалом. Остальные пилоты недостаточно сосредоточились на внутреннем состоянии и совершали мускульные движения, что вносило негативный вклад в управление.
Схожесть программ
У людей, живущих в одной среде, многие программы одинаковые. Этим объясняется, почему иногда какие-то супер идеи приходят в голову сразу нескольким людям. У тебя появилась крутая идея, ты себя считаешь чуть ли не гением. Потом было некогда. Потом кто-то реализовал твою идею, и ты думаешь – он что, украл ее из моего мозга?)
Нет, просто у него был схожий набор программ, и какое-то внешнее событие активировало работу одних и тех же программ, выдавших на выходе одно и то же решение. Только у того человека была еще программа на действие)
Помните историю про изобретение радио? В одно и тоже время 2 разных человека в разных частях света сделали одно и то же изобретение. Тот случай я подробно не помню, но если все так – это ярчайший пример) И подобных очень много.
История
История BCI началась в 1973 году с публикации Toward direct brain-computer communication [1], где Jacques Vidal изложил идеи в коммуникации между человеком и машиной и описал лабораторию по анализу EEG сигнала для таких целей. Спустя десятилетие Wolpaw сфокусировал применение BCI на помощи парализованным людям и описал принципиальную схему BCI [2]:
Основные реализации BCI давали возможность вводить текст людям c синдромом изоляции. Это были сложные в использовании системы, потому что пользователь должен проходить долгую тренировку [3], в противовес, появились "спеллеры" на основе распознавания P300 — компонента, который возникает в момент, когда человек совершает выбор, которые снизили требования к пользователю [4].
В 90-е тема все более становится известной, особенно с появлением техник машинного обучения [5]. С увеличением надежности BCI люди интересуются расширением применения в новые области.
Thorsten Zander предложил следующую классификацию BCI [6]:
- Активные BCI – пользователь инициирует команду безусловно
- Реактивные BCI – пользователь инициирует команду в ответ на воздействие системы
- Пассивные BCI – пользователь не дает команду, но система считывает и анализирует его состояние
Отдельно стоит рассмотреть вопрос стимуляции мозга, эта тема, хоть и не относится напрямую к BCI, но представляет собой связанную технологию, которая расширяет возможности BCI для контроля.
Также BCI можно классифицировать по способу получения сигнала:
- Инвазивные (вживленные электроды, ECoG и другие)
- Неинвазивные (EEG, NIRS и другие)
EEG самый распространённый способ получения сигнала, поэтому, если не указано обратное, я имею его в виду по умолчанию.
Системы реабилитации
BCI, которые распознают моторные команды, хорошо изучены и уже используются для реабилитации пациентов переживших инсульт: для восстановления разорванных связей необходимых для управления парализованными конечностями. Павел Бобров продемонстрировал результаты клинических испытаний реабилитационного комплекса для восстановления моторных функций рук, которые доказали эффективность использования. Причем, есть значимая разница для пациентов, кто начал реабилитацию спустя месяц и спустя 6 месяцев после инсульта, чем раньше начинается реабилитация, тем лучше эффект. [11]
Глава g.tec Gunter Edlinger рассказал о работе специальных тренажерных залов для реабилитации, интересный момент, что в процесс реабилитации добавлена электростимуляция конечностей, и если выше использовалась электро-механическая установка, то здесь стимуляция током, что снижает стоимость комплекса.
Если добавить в процесс элементы игры и соревнования, вовлечение будет выше, а значит пациент лучше пройдет через реабилитацию. В центре биоэлектрических интерфейсов ВШЭ под руководством Алексея Осадчего разработали прототипы для улучшения процесса реабилитации. На видео демонстрируется прототип системы для двух человек, где они управляют сосудом, выполняя воображаемые моторные команды, пытаясь склонить сосуд в свою сторону:
Или, например, алгоритм распознавания почерка по мышечной активности с помощью компактного массива электродов позволяет реконструировать написанное: [12]
Вершина в их работе – это работа над BCI в проекте ExoAtlet, который позволяет людям с ограниченными возможностями передвигаться самостоятельно или использовать его для реабилитации.
Инвазивные BCI – это более сложная тема, и сейчас эксперименты проводятся на животных или на людях, которым электроды установлены по медицинским показаниям. Была освещена серия исследований, которая показала, что возможно определять не только единичные компоненты (имеются ввиду все те же вымышленные движения), но и разделять движение, внимание, направление взгляда между собой. Доступна запись аналогичного доклада с конференции в Самаре.
Стимуляция
Вопрос этики проведения экспериментов весьма остро стоит для нейроисследований, и животные принимают основной удар для исследований находящихся за гранью. Что если мы хотим воздействовать на какой-то определенный участок в глубине мозга? Сейчас это возможно только с помощью вживленных электродов. Но, например, в природе есть существа, которые чувствительны к магнитному полю, команда Galit Pelled из Мичиганского университета выделили этот ген у рыб, внедрили крысам и научились контролировать их поведение действием магнитного поля [18]. Таким образом, возможно оказывать адресное воздействие на нужные участки, например, останавливать эпилептические припадки.
И целая группа исследований инвазивных интерфейсов от Михаила Лебедева на макаках-резус: был построен интерфейс мозг-компьютер-мозг, который позволял, управляя виртуальными конечностями, получать тактильную обратную связь. Можно подробнее посмотреть отрывок из лекции "Интерфейс между мозгом и компьютером".
Вот лишь три результата последнего года, которые открывают новые рубежи в исследованиях.
Шевеление одним пальцем. Ученые и инженеры из Университета Джонcа Хопкинса (США) в феврале опубликовали в журнале Journal of Neural Engineering отчет о создании первого протеза руки, управляемого BCI. На поверхность головного мозга пациента была имплантирована пластинка с 128 электродами, каждый из которых контролировал активность участка коры мозга 1 мм в диаметре.
При помощи этого интерфейса пациент смог шевелить отдельными пальцами руки независимо друг от друга. Правда, нужно быть честными — пока что испытания проводились не на ампутанте, а на пациенте с двумя руками, который шевелил пальцами подключенного к электродам протеза.
Авторы работы отмечают, что предыдущие версии протезов, использующих интерфейс «мозг-компьютер», конечно, могли шевелить пальцами, но делали только согласованные движения всей кистью: например, чтобы взять бутылку с водой или теннисный мяч.
Протез чувствует шероховатость. Швейцарские ученые из Высшей политехнической школы в Лозанне создали бионический протез пальца, который передает обратно в мозг информацию о текстурах поверхности.
Искусственный палец состоит из силиконового протеза, датчика и микросхемы, преобразующей сигналы датчиков в импульсы, «понятные» нервам.
В остаток левой руки тестировщика-ампутанта были имплантированы электроды, соединенные с периферической нервной системой. Подключив протез к своим электродам, испытатель «вслепую» ощупывал специально подготовленные пластиковые поверхности. В результате ему удалось правильно отличить гладкую поверхность от шершавой в 96 % случаев.
Макака-водитель. И, конечно же, самым выдающимся событием года можно назвать работу Мигеля Николелиса и Михаила Лебедева из Университета Дьюка (США), которые научили макак управлять инвалидной коляской при помощи интерфейса «мозг-компьютер».
Команда Николелиса работала с двумя макаками-резусами с 2012 года. В кору головного мозга обоих животных имплантировали тончайшие электроды, снимавшие электрическую активность отдельных нейронов.
Для обезьянок сконструировали специальную роботическую «каталку», в которой их жестко фиксировали. За исключением рук — ими они могли брать виноградины из миски, до которой нужно было добраться. Коляска могла управляться роботом по заданной программе или согласно сигналам, передаваемым по Wi-Fi.
Сначала макак (и сам интерфейс, конечно) «тренировали», катая их при помощи робота по заданному маршруту из трех разных начальных точек. Пути специально сделали петляющими, чтобы макаки смогли думать о движениях вбок и назад для коррекции собственных движений.
После этого каталку переключили на управление интерфейсом «мозг-компьютер». Поначалу макаки справлялись не очень хорошо, но затем, после тренировок, дело пошло гораздо лучше.
Царство Deep Learning
Кроме того, что алгоритмы "глубокого обучения" позволяют добить и так уже высокую точность "машинного обучения", можно отметить то, что люди работают над "обратной задачей". Основываясь на быстрых данных EEG и MEG можно попытаться восстановить реальную активацию нейронов в мозге, которую сейчас показывает, например, метод fMRI, но с очень низким временным разрешением. Можно только порадоваться оптимизму и верить в скорый успех этой работы.
Еще одна проблема BCI на основе EEG или MEG – это то что результаты активности в разных областях мозга для одних и тех же компонент различаются среди пользователей, приходится учить нейросеть для каждого пользователя и задачи, что усложняет работу с системой и делает ее дороже. Тем не менее, здесь возможны изменения с "переносом обучения", когда нейросеть использует данные разных пользователей/в разных задачах и дообучивается онлайн, в результате этап калибровки может быть пропущен. [19]
Реактивные BCI
Классический пример реактивного BCI это "спеллер" на эффекте P300, это "волна", которая появляется в ответ на выбор показанного стимула, ну а в "спеллере", таким стимулом служит определенным образом кодированные символы алфавита или команды. Пользователь должен мысленно взаимодействовать со стимулами, которые показывает система – считать количество вспышек выбранного символа.
Нельзя не упомянуть о проекте Нейрочат, который позволяет общаться людям с ограниченными возможностями:
Читайте также: