Электронный научный журнал
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,737

УПРАВЛЕНИЕ ПОДВИЖНЫМИ ОБЪЕКТАМИ ПРИ ПОМОЩИ ИНТЕРФЕЙСА МОЗГ-КОМПЬЮТЕР НА ПРИМЕРЕ РОБОТИЗИРОВАННОГО МАНИПУЛЯТОРА

Маркин М.Е. 1 Дыда А.А. 2 Оськин Д.А. 2
1 Морской государственный университет имени адмирала Г.И. Невельского
2 Дальневосточный федеральный университет
Рассматривается использование «интерфейса мозг-компьютер» в качестве перспективной технологии управления движущимися объектами. Кратко упоминаются основные технологии управления объектами через интерфейс мозг-компьютер. Среди которых выделяются: использование реакции на зрительные раздражители, локализация активности моторной коры головного мозга, известная как Motor Imagery. Описывается проведение эксперимента по управлению роботизированным манипулятором. Также указывается используемое программное и аппаратное обеспечение эксперимента. Приводятся способы предварительной обработки сигнала ЭЭГ, такие как выделение значащих каналов данных и последующая частотная фильтрация. Далее описывается используемый для последующего распознавания мыслительной деятельности алгоритм классификации. В качестве выводов приводятся достигнутые результаты эксперимента, а также указываются проблемные места такого подхода. Предлагается возможное решение данной проблемы и направления дальнейшего развития.
электроэнцефалография
ИМК
линейный дискриминантный анализ
воображаемое движение
визуально вызванные потенциалы
управление подвижными объектами
1. J. Vidal (1977)/ "Real-Time Detection of Brain Events in EEG"// IEEE Proceedings 65 (5): 633–641.
2. Методы и алгоритмы синтеза нейрокомпьютерного интерфейса на основе анализа вызванного потенциала Р300 электроэнцефалограммы/ Карловский Дмитрий Викторович. [2009].
3. Polich, J. / Updating P300: An integrative theory of P3a and P3b.// Clinical Neurophysiology, 2007.
4. Beverina F., Palmas G., Silvoni S., Piccione F. and Giove S. / «User adaptive BCIs: SSVEP and P300 based interfaces» // Psychnology Journal, 2003.
5. Decety, J., & Ingvar, D. H. / Brain structures participating in mental simulation of motor behavior: A neuropsychological interpretation//Acta Psychologica, 1990, 73, 13-24.
6. Обзор методов управления подвижными объектами при помощи интерфейса Мозг-Компьютер./ М.Е. Маркин, Д.А. Оськин // Сборник докладов Региональной научно-практической конференции студентов, аспирантов и молодых ученых Школы естественных наук ДВФУ. - Владивосток: ДВФУ, 2014.

Активное развитие направления человеко-компьютерного взаимодействия в последнее время преподносит все более интересные, и даже необычные, с точки зрения обывателя, технологии. Одно из таких проявлений — Интерфейс Мозг-Компьютер (ИМК) или Brain-Computer Interface (BCI), созданный для обмена информацией между мозгом и электронным устройством (например, компьютером).

Технологии управления объектами через интерфейс мозг-компьютер

Первые исследования в этой области были проведены ещё в середине 70-х[1] и в настоящее время существует множество различных способов и областей применения интерфейса мозг-компьютер.

Принцип работы заключается в распознавании активности областей головного мозга. Разные области мозга отвечают за разные виды активности. Например, реакция на зрительные раздражители отражается в затылочной доле, а именно зрительной коре[2]. Основываясь на активности зон мозга можно так или иначе интерпретировать получаемые данные. Кроме регистрирующего энцефалографа, в составе интерфейса мозг-компьютер присутствуют и другие компоненты (рис. 1).

Рис. 1. Схема устройства ИМК

Обработанные сигналы с прибора снятия ЭЭГ можно затем использовать в качестве управляющих внутри некой программной среды. Следовательно, используя биологическую обратную связь, можно управлять некоторым техническим средством.

Существует несколько наиболее распространенных технологий управления объектами через интерфейс мозг-компьютер:

1. P300

2. Motor Imagery

3. SSVEP (Steady State Visually Evoked Potential)

Р300 — реакция на единичный визуальный раздражитель, которая проявляется с задержкой в среднем 300 мс[3].

SSVEP — реакция на зрительный раздражитель повторяющийся с частотой от 3,5 Гц до 75 Гц, выраженная в электрической активности зрительной области мозга с той же или кратной частотой [4].

Motor Imagery – мыслительная активность, сопровождающая реальные или воображаемые движения конечностями.

Данная технология используется в спортивной подготовке, неврологической реабилитации, а также используется в исследовательских целях в когнитивной нейробиологии при исследовании процессов, которые предшествуют выполнению действий.

Воображаемое движение может быть определено как динамическое состояние, в течение которого человек мысленно имитирует заданное действие. Исследования функциональной нейровизуализацией показали, что воображаемое движение связано с активацией нейронных цепей, участвующих в ранней стадии управления движением [5].

В рамках исследования методов управления подвижными объектами через интерфейс мозг-компьютер был проведен эксперимент. В ходе эксперимента производилось управление манипулятором.

В качестве методики распознавания сигналов «Motor Imagery» использовалось свойство симметрии отделов головного мозга и управляемых ими частей тела. Данный подход позволяет определять активную зону левого или правого полушария в зависимости от представляемого испытуемым движения левой или правой конечностью.

На иллюстрации (рис.2) показаны функциональные области коры большого мозга. Впереди от центральной борозды расположена моторная кора, занимающая примерно 1/3 задней части лобных долей.

Рис. 2. Области коры большого мозга

Эксперименты по выделению и обработке сигналов «Motor Imagery» проводились с использованием оборудования «EPOC» компании «Emotiv» и программной платформы «OpenViBE».

EPOC Emotiv позволяет получать данные об активности мозга с 14 одновременно подключённых, пассивных датчиков мокрого типа, размещать которые следует, как показано на схеме (рис.3).

Рис. 3. Схема размещения электродов

«OpenViBE» - программная платформа, предназначенная для разработки, тестирования и использования нейрокомпьютерных интерфейсов. Данный пакет является свободно распространяемым программным обеспечением (в соответствии с лицензией  «LGPL-v2 +»), разрабатываемом в среде «C++».

Управление манипулятором посредством интерфейса мозг-компьютер

При постановке эксперимента нами была поставлена задача управления манипулятором посредством интерфейса мозг-компьютер.

Испытуемому, ставилась задача представлять поднятие правой или левой руки в соответствии  с появляющимися на экране компьютера указаниями. При этом ему следовало быть неподвижным и сосредоточить своё внимание исключительно на процессе «воображения». Указания по выбору левой или правой руки представляют собой графическую визуализацию в виде стрелок соответствующего направления, появляющихся на экране с заданной периодичностью (рис.4). Каждое «поднятие руки» разграничивается небольшим временным интервалом, позволяющим в дальнейшем более корректно обучить классификатор. На протяжении всего процесса данные, снятые с головного мозга, записываются.

Рис. 4. Визуализация указателя направления

Этап обучения классификатора представляет собой предварительную обработку сигнала и последующее «обучение» классификатора, основанного на выборе одного вектора из множества за счёт линейного дискриминантного анализа. Предварительная обработка сигнала состоит из двух частей:

·               выделение двух каналов, отвечающих за левое и правое полушарие;

·               фильтрация и выделение сигнала.

Поскольку в зоне мозга, ответственной за движение рук наше оборудование не располагает множеством электродов, мы использовали подход «сглаживания» нескольких сигналов с различной степенью важности. Так ближайшие к оси головного мозга электроды имеют максимальную важность, а электроды достаточно отдалённые от используемой зоны минимальную. Реализована данная операция была с помощью поверхностного фильтра Лапласиана, в результате чего было получено два сигнала – для левого и правого полушария соответственно.

Так как деятельность, связанная с движением конечностей, порождает сигналы альфа и бета ритмов, нами был использован полосовой фильтр Баттерворта в диапазоне 8-24 Гц.

Используемый классификатор представляет собой модуль, выполняющий множественное обучение по выделения единственного характеристического вектора из множества векторов и дальнейшей проверки этого вектора на обучаемом классификаторе. В качестве математического аппарата используется линейный дискриминантный анализ.

Линейный дискриминантный анализ (LDA) является алгоритмом классификации, который разделяет входное множество на два класса.

Пусть исходная выборка Х разделяется на две подвыборки Х1 и Х2, где Х1 - выборка, состоящая из n1 векторов первого класса, Х2 - выборка, состоящая из n2 векторов второго класса. Пусть также (1) - центр первого класса, (2) - центр второго класса, (3) и (4) - несмещённая i-тая координата векторов первого и второго класса соответственно.

Для дальнейших вычислений необходимо построить корреляционную матрицу S, которая определяет степень корреляции между различными координатами. Данная матрица разбивается на две части - S1 и S2, соответствующие двум классам:

                                                                   (1)

                                                                (2)

                                                      (3)

                                                      (4)

                                                                  (5)

                                                                  (6)

                                                                     (7)

Результат классификации y на некотором входном векторе x вычисляется следующим образом:

                                                       (8)

Вектор y содержит действительные значения, причём если вектор x принадлежал первому классу, то выход будет положительным, а в противном случае — отрицательным.

Последний этап эксперимента представляет собой совокупность первого и второго этапа. Испытуемому предлагалось представлять поднятие левой или правой руки, оставаясь при этом неподвижным. При этом испытуемый имел возможность наблюдать результат своих действий на примере движений манипулятора. 

                В процессе тестирования в реальном времени также происходила запись снимаемых оборудованием потенциалов головного мозга. В дальнейшем эти данные использовались для повторного обучения классификатора. Таким образом, за счёт последовательное повторение второго и третьего этапа эксперимента, можно было получить большую результативность.  Дальнейшее улучшение результатов также связано с самообучением самого оператора.

Результаты эксперимента

            В результате экспериментов мы добились поставленной нами задачи по реализации двух различимых степеней свободы воображаемых движений. Уже после трёх итераций тестирования испытуемый смог достичь однозначной и правильной реакции системы на свои действия – «воображение» поднятия левой или правой руки.

            Однако в ходе проведения эксперимента выяснилось, что достигнутых, в связи с разрешающей способностью оборудования, степеней свободы недостаточно для полноценного управления подобным манипулятором. Решение данной проблемы может заключаться в комбинированном использовании нескольких технологий управления ИМК.  Наиболее перспективным представляется применение, в дополнение к основному, основанного на P300 метода, использование которого для управления подвижными объектами вполне возможно, в качестве вспомогательной системы[6].

 

Работа поддержана Министерством науки и образования Российской Федерации, Государственный контракт 02G25.31.0025.

 

Рецензенты:

Завьялов В.В., д.т.н., профессор, профессор кафедры Технических средств судовождения, Морской государственный университет имени адмирала Г.И. Невельского, г. Владивосток;

Глушков С.В., д.т.н., профессор, заведующий кафедрой Автоматических и информационных систем, Морской государственный университет имени адмирала Г.И. Невельского, г.Владивосток.


Библиографическая ссылка

Маркин М.Е., Дыда А.А., Оськин Д.А. УПРАВЛЕНИЕ ПОДВИЖНЫМИ ОБЪЕКТАМИ ПРИ ПОМОЩИ ИНТЕРФЕЙСА МОЗГ-КОМПЬЮТЕР НА ПРИМЕРЕ РОБОТИЗИРОВАННОГО МАНИПУЛЯТОРА // Современные проблемы науки и образования. – 2014. – № 6.;
URL: http://science-education.ru/ru/article/view?id=16786 (дата обращения: 26.08.2019).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.252