Активное развитие направления человеко-компьютерного взаимодействия в последнее время преподносит все более интересные, и даже необычные, с точки зрения обывателя, технологии. Одно из таких проявлений — Интерфейс Мозг-Компьютер (ИМК) или Brain-Computer Interface (BCI), созданный для обмена информацией между мозгом и электронным устройством (например, компьютером).
Технологии управления объектами через интерфейс мозг-компьютер
Первые исследования в этой области были проведены ещё в середине 70-х[1] и в настоящее время существует множество различных способов и областей применения интерфейса мозг-компьютер.
Принцип работы заключается в распознавании активности областей головного мозга. Разные области мозга отвечают за разные виды активности. Например, реакция на зрительные раздражители отражается в затылочной доле, а именно зрительной коре[2]. Основываясь на активности зон мозга можно так или иначе интерпретировать получаемые данные. Кроме регистрирующего энцефалографа, в составе интерфейса мозг-компьютер присутствуют и другие компоненты (рис. 1).
Рис. 1. Схема устройства ИМК
Обработанные сигналы с прибора снятия ЭЭГ можно затем использовать в качестве управляющих внутри некой программной среды. Следовательно, используя биологическую обратную связь, можно управлять некоторым техническим средством.
Существует несколько наиболее распространенных технологий управления объектами через интерфейс мозг-компьютер:
1. P300
2. Motor Imagery
3. SSVEP (Steady State Visually Evoked Potential)
Р300 — реакция на единичный визуальный раздражитель, которая проявляется с задержкой в среднем 300 мс[3].
SSVEP — реакция на зрительный раздражитель повторяющийся с частотой от 3,5 Гц до 75 Гц, выраженная в электрической активности зрительной области мозга с той же или кратной частотой [4].
Motor Imagery – мыслительная активность, сопровождающая реальные или воображаемые движения конечностями.
Данная технология используется в спортивной подготовке, неврологической реабилитации, а также используется в исследовательских целях в когнитивной нейробиологии при исследовании процессов, которые предшествуют выполнению действий.
Воображаемое движение может быть определено как динамическое состояние, в течение которого человек мысленно имитирует заданное действие. Исследования функциональной нейровизуализацией показали, что воображаемое движение связано с активацией нейронных цепей, участвующих в ранней стадии управления движением [5].
В рамках исследования методов управления подвижными объектами через интерфейс мозг-компьютер был проведен эксперимент. В ходе эксперимента производилось управление манипулятором.
В качестве методики распознавания сигналов «Motor Imagery» использовалось свойство симметрии отделов головного мозга и управляемых ими частей тела. Данный подход позволяет определять активную зону левого или правого полушария в зависимости от представляемого испытуемым движения левой или правой конечностью.
На иллюстрации (рис.2) показаны функциональные области коры большого мозга. Впереди от центральной борозды расположена моторная кора, занимающая примерно 1/3 задней части лобных долей.
Рис. 2. Области коры большого мозга
Эксперименты по выделению и обработке сигналов «Motor Imagery» проводились с использованием оборудования «EPOC» компании «Emotiv» и программной платформы «OpenViBE».
EPOC Emotiv позволяет получать данные об активности мозга с 14 одновременно подключённых, пассивных датчиков мокрого типа, размещать которые следует, как показано на схеме (рис.3).
Рис. 3. Схема размещения электродов
«OpenViBE» - программная платформа, предназначенная для разработки, тестирования и использования нейрокомпьютерных интерфейсов. Данный пакет является свободно распространяемым программным обеспечением (в соответствии с лицензией «LGPL-v2 +»), разрабатываемом в среде «C++».
Управление манипулятором посредством интерфейса мозг-компьютер
При постановке эксперимента нами была поставлена задача управления манипулятором посредством интерфейса мозг-компьютер.
Испытуемому, ставилась задача представлять поднятие правой или левой руки в соответствии с появляющимися на экране компьютера указаниями. При этом ему следовало быть неподвижным и сосредоточить своё внимание исключительно на процессе «воображения». Указания по выбору левой или правой руки представляют собой графическую визуализацию в виде стрелок соответствующего направления, появляющихся на экране с заданной периодичностью (рис.4). Каждое «поднятие руки» разграничивается небольшим временным интервалом, позволяющим в дальнейшем более корректно обучить классификатор. На протяжении всего процесса данные, снятые с головного мозга, записываются.
Рис. 4. Визуализация указателя направления
Этап обучения классификатора представляет собой предварительную обработку сигнала и последующее «обучение» классификатора, основанного на выборе одного вектора из множества за счёт линейного дискриминантного анализа. Предварительная обработка сигнала состоит из двух частей:
· выделение двух каналов, отвечающих за левое и правое полушарие;
· фильтрация и выделение сигнала.
Поскольку в зоне мозга, ответственной за движение рук наше оборудование не располагает множеством электродов, мы использовали подход «сглаживания» нескольких сигналов с различной степенью важности. Так ближайшие к оси головного мозга электроды имеют максимальную важность, а электроды достаточно отдалённые от используемой зоны минимальную. Реализована данная операция была с помощью поверхностного фильтра Лапласиана, в результате чего было получено два сигнала – для левого и правого полушария соответственно.
Так как деятельность, связанная с движением конечностей, порождает сигналы альфа и бета ритмов, нами был использован полосовой фильтр Баттерворта в диапазоне 8-24 Гц.
Используемый классификатор представляет собой модуль, выполняющий множественное обучение по выделения единственного характеристического вектора из множества векторов и дальнейшей проверки этого вектора на обучаемом классификаторе. В качестве математического аппарата используется линейный дискриминантный анализ.
Линейный дискриминантный анализ (LDA) является алгоритмом классификации, который разделяет входное множество на два класса.
Пусть исходная выборка Х разделяется на две подвыборки Х1 и Х2, где Х1 - выборка, состоящая из n1 векторов первого класса, Х2 - выборка, состоящая из n2 векторов второго класса. Пусть также (1) - центр первого класса, (2) - центр второго класса, (3) и (4) - несмещённая i-тая координата векторов первого и второго класса соответственно.
Для дальнейших вычислений необходимо построить корреляционную матрицу S, которая определяет степень корреляции между различными координатами. Данная матрица разбивается на две части - S1 и S2, соответствующие двум классам:
(1)
(2)
(3)
(4)
(5)
(6)
(7)
Результат классификации y на некотором входном векторе x вычисляется следующим образом:
(8)
Вектор y содержит действительные значения, причём если вектор x принадлежал первому классу, то выход будет положительным, а в противном случае — отрицательным.
Последний этап эксперимента представляет собой совокупность первого и второго этапа. Испытуемому предлагалось представлять поднятие левой или правой руки, оставаясь при этом неподвижным. При этом испытуемый имел возможность наблюдать результат своих действий на примере движений манипулятора.
В процессе тестирования в реальном времени также происходила запись снимаемых оборудованием потенциалов головного мозга. В дальнейшем эти данные использовались для повторного обучения классификатора. Таким образом, за счёт последовательное повторение второго и третьего этапа эксперимента, можно было получить большую результативность. Дальнейшее улучшение результатов также связано с самообучением самого оператора.
Результаты эксперимента
В результате экспериментов мы добились поставленной нами задачи по реализации двух различимых степеней свободы воображаемых движений. Уже после трёх итераций тестирования испытуемый смог достичь однозначной и правильной реакции системы на свои действия – «воображение» поднятия левой или правой руки.
Однако в ходе проведения эксперимента выяснилось, что достигнутых, в связи с разрешающей способностью оборудования, степеней свободы недостаточно для полноценного управления подобным манипулятором. Решение данной проблемы может заключаться в комбинированном использовании нескольких технологий управления ИМК. Наиболее перспективным представляется применение, в дополнение к основному, основанного на P300 метода, использование которого для управления подвижными объектами вполне возможно, в качестве вспомогательной системы[6].
Работа поддержана Министерством науки и образования Российской Федерации, Государственный контракт 02G25.31.0025.
Рецензенты:
Завьялов В.В., д.т.н., профессор, профессор кафедры Технических средств судовождения, Морской государственный университет имени адмирала Г.И. Невельского, г. Владивосток;
Глушков С.В., д.т.н., профессор, заведующий кафедрой Автоматических и информационных систем, Морской государственный университет имени адмирала Г.И. Невельского, г.Владивосток.
Библиографическая ссылка
Маркин М.Е., Дыда А.А., Оськин Д.А. УПРАВЛЕНИЕ ПОДВИЖНЫМИ ОБЪЕКТАМИ ПРИ ПОМОЩИ ИНТЕРФЕЙСА МОЗГ-КОМПЬЮТЕР НА ПРИМЕРЕ РОБОТИЗИРОВАННОГО МАНИПУЛЯТОРА // Современные проблемы науки и образования. – 2014. – № 6. ;URL: https://science-education.ru/ru/article/view?id=16786 (дата обращения: 19.04.2024).