Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,791

CONTROL OF MOVING OBJECTS USING BRAIN-COMPUTER INTERFACE ON EXAMPLE ROBOTIC ARM

Markin M.E. 1 Dyda A.A. 2 Oskin D.A. 2
1 Admiral Nevelskoy Maritime State University
2 Far Eastern Federal University
Рассматривается использование «интерфейса мозг-компьютер» в качестве перспективной технологии управления движущимися объектами. Кратко упоминаются основные технологии управления объектами через интерфейс мозг-компьютер. Среди которых выделяются: использование реакции на зрительные раздражители, локализация активности моторной коры головного мозга, известная как Motor Imagery. Описывается проведение эксперимента по управлению роботизированным манипулятором. Также указывается используемое программное и аппаратное обеспечение эксперимента. Приводятся способы предварительной обработки сигнала ЭЭГ, такие как выделение значащих каналов данных и последующая частотная фильтрация. Далее описывается используемый для последующего распознавания мыслительной деятельности алгоритм классификации. В качестве выводов приводятся достигнутые результаты эксперимента, а также указываются проблемные места такого подхода. Предлагается возможное решение данной проблемы и направления дальнейшего развития.
Researched the applying of brain-computer interface as new advanced technology for control of moving object. Briefly mentioned basic technologies for control of moving object using brain-computer interface. Among which are: the use of visual evoked potentials, the localization of the activity in motor cortex, known as the Motor Imagery. Describes the experiment for control of robotic arm. Describes the methods of preprocessing EEG signals, such as selection of meaningful data channels and frequency filtering. Next, the article gives the algorithm used for the classification of mental activity recognition. As conclusions are achieved experimental results, and identifies the problem areas that approach. Offered a possible solution to this problem and directions for further research.
Brain-Computer Interface
linear discriminant analysis
motor imagery
visual evoked potentials
control of moving objects

Активное развитие направления человеко-компьютерного взаимодействия в последнее время преподносит все более интересные, и даже необычные, с точки зрения обывателя, технологии. Одно из таких проявлений — Интерфейс Мозг-Компьютер (ИМК) или Brain-Computer Interface (BCI), созданный для обмена информацией между мозгом и электронным устройством (например, компьютером).

Технологии управления объектами через интерфейс мозг-компьютер

Первые исследования в этой области были проведены ещё в середине 70-х[1] и в настоящее время существует множество различных способов и областей применения интерфейса мозг-компьютер.

Принцип работы заключается в распознавании активности областей головного мозга. Разные области мозга отвечают за разные виды активности. Например, реакция на зрительные раздражители отражается в затылочной доле, а именно зрительной коре[2]. Основываясь на активности зон мозга можно так или иначе интерпретировать получаемые данные. Кроме регистрирующего энцефалографа, в составе интерфейса мозг-компьютер присутствуют и другие компоненты (рис. 1).

Рис. 1. Схема устройства ИМК

Обработанные сигналы с прибора снятия ЭЭГ можно затем использовать в качестве управляющих внутри некой программной среды. Следовательно, используя биологическую обратную связь, можно управлять некоторым техническим средством.

Существует несколько наиболее распространенных технологий управления объектами через интерфейс мозг-компьютер:

1. P300

2. Motor Imagery

3. SSVEP (Steady State Visually Evoked Potential)

Р300 — реакция на единичный визуальный раздражитель, которая проявляется с задержкой в среднем 300 мс[3].

SSVEP — реакция на зрительный раздражитель повторяющийся с частотой от 3,5 Гц до 75 Гц, выраженная в электрической активности зрительной области мозга с той же или кратной частотой [4].

Motor Imagery – мыслительная активность, сопровождающая реальные или воображаемые движения конечностями.

Данная технология используется в спортивной подготовке, неврологической реабилитации, а также используется в исследовательских целях в когнитивной нейробиологии при исследовании процессов, которые предшествуют выполнению действий.

Воображаемое движение может быть определено как динамическое состояние, в течение которого человек мысленно имитирует заданное действие. Исследования функциональной нейровизуализацией показали, что воображаемое движение связано с активацией нейронных цепей, участвующих в ранней стадии управления движением [5].

В рамках исследования методов управления подвижными объектами через интерфейс мозг-компьютер был проведен эксперимент. В ходе эксперимента производилось управление манипулятором.

В качестве методики распознавания сигналов «Motor Imagery» использовалось свойство симметрии отделов головного мозга и управляемых ими частей тела. Данный подход позволяет определять активную зону левого или правого полушария в зависимости от представляемого испытуемым движения левой или правой конечностью.

На иллюстрации (рис.2) показаны функциональные области коры большого мозга. Впереди от центральной борозды расположена моторная кора, занимающая примерно 1/3 задней части лобных долей.

Рис. 2. Области коры большого мозга

Эксперименты по выделению и обработке сигналов «Motor Imagery» проводились с использованием оборудования «EPOC» компании «Emotiv» и программной платформы «OpenViBE».

EPOC Emotiv позволяет получать данные об активности мозга с 14 одновременно подключённых, пассивных датчиков мокрого типа, размещать которые следует, как показано на схеме (рис.3).

Рис. 3. Схема размещения электродов

«OpenViBE» - программная платформа, предназначенная для разработки, тестирования и использования нейрокомпьютерных интерфейсов. Данный пакет является свободно распространяемым программным обеспечением (в соответствии с лицензией  «LGPL-v2 +»), разрабатываемом в среде «C++».

Управление манипулятором посредством интерфейса мозг-компьютер

При постановке эксперимента нами была поставлена задача управления манипулятором посредством интерфейса мозг-компьютер.

Испытуемому, ставилась задача представлять поднятие правой или левой руки в соответствии  с появляющимися на экране компьютера указаниями. При этом ему следовало быть неподвижным и сосредоточить своё внимание исключительно на процессе «воображения». Указания по выбору левой или правой руки представляют собой графическую визуализацию в виде стрелок соответствующего направления, появляющихся на экране с заданной периодичностью (рис.4). Каждое «поднятие руки» разграничивается небольшим временным интервалом, позволяющим в дальнейшем более корректно обучить классификатор. На протяжении всего процесса данные, снятые с головного мозга, записываются.

Рис. 4. Визуализация указателя направления

Этап обучения классификатора представляет собой предварительную обработку сигнала и последующее «обучение» классификатора, основанного на выборе одного вектора из множества за счёт линейного дискриминантного анализа. Предварительная обработка сигнала состоит из двух частей:

·               выделение двух каналов, отвечающих за левое и правое полушарие;

·               фильтрация и выделение сигнала.

Поскольку в зоне мозга, ответственной за движение рук наше оборудование не располагает множеством электродов, мы использовали подход «сглаживания» нескольких сигналов с различной степенью важности. Так ближайшие к оси головного мозга электроды имеют максимальную важность, а электроды достаточно отдалённые от используемой зоны минимальную. Реализована данная операция была с помощью поверхностного фильтра Лапласиана, в результате чего было получено два сигнала – для левого и правого полушария соответственно.

Так как деятельность, связанная с движением конечностей, порождает сигналы альфа и бета ритмов, нами был использован полосовой фильтр Баттерворта в диапазоне 8-24 Гц.

Используемый классификатор представляет собой модуль, выполняющий множественное обучение по выделения единственного характеристического вектора из множества векторов и дальнейшей проверки этого вектора на обучаемом классификаторе. В качестве математического аппарата используется линейный дискриминантный анализ.

Линейный дискриминантный анализ (LDA) является алгоритмом классификации, который разделяет входное множество на два класса.

Пусть исходная выборка Х разделяется на две подвыборки Х1 и Х2, где Х1 - выборка, состоящая из n1 векторов первого класса, Х2 - выборка, состоящая из n2 векторов второго класса. Пусть также (1) - центр первого класса, (2) - центр второго класса, (3) и (4) - несмещённая i-тая координата векторов первого и второго класса соответственно.

Для дальнейших вычислений необходимо построить корреляционную матрицу S, которая определяет степень корреляции между различными координатами. Данная матрица разбивается на две части - S1 и S2, соответствующие двум классам:

                                                                   (1)

                                                                (2)

                                                      (3)

                                                      (4)

                                                                  (5)

                                                                  (6)

                                                                     (7)

Результат классификации y на некотором входном векторе x вычисляется следующим образом:

                                                       (8)

Вектор y содержит действительные значения, причём если вектор x принадлежал первому классу, то выход будет положительным, а в противном случае — отрицательным.

Последний этап эксперимента представляет собой совокупность первого и второго этапа. Испытуемому предлагалось представлять поднятие левой или правой руки, оставаясь при этом неподвижным. При этом испытуемый имел возможность наблюдать результат своих действий на примере движений манипулятора. 

                В процессе тестирования в реальном времени также происходила запись снимаемых оборудованием потенциалов головного мозга. В дальнейшем эти данные использовались для повторного обучения классификатора. Таким образом, за счёт последовательное повторение второго и третьего этапа эксперимента, можно было получить большую результативность.  Дальнейшее улучшение результатов также связано с самообучением самого оператора.

Результаты эксперимента

            В результате экспериментов мы добились поставленной нами задачи по реализации двух различимых степеней свободы воображаемых движений. Уже после трёх итераций тестирования испытуемый смог достичь однозначной и правильной реакции системы на свои действия – «воображение» поднятия левой или правой руки.

            Однако в ходе проведения эксперимента выяснилось, что достигнутых, в связи с разрешающей способностью оборудования, степеней свободы недостаточно для полноценного управления подобным манипулятором. Решение данной проблемы может заключаться в комбинированном использовании нескольких технологий управления ИМК.  Наиболее перспективным представляется применение, в дополнение к основному, основанного на P300 метода, использование которого для управления подвижными объектами вполне возможно, в качестве вспомогательной системы[6].

 

Работа поддержана Министерством науки и образования Российской Федерации, Государственный контракт 02G25.31.0025.

 

Рецензенты:

Завьялов В.В., д.т.н., профессор, профессор кафедры Технических средств судовождения, Морской государственный университет имени адмирала Г.И. Невельского, г. Владивосток;

Глушков С.В., д.т.н., профессор, заведующий кафедрой Автоматических и информационных систем, Морской государственный университет имени адмирала Г.И. Невельского, г.Владивосток.