Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,813

VIRTUAL REALITY SYSTEMS DESIGN WITH THE SYSTEM APPROACH

Roganov V.R. 1 Chetvergova M.V. 2 Semochkin A.V. 1
1 LTD «Video3»
2 Penza State Technological University
Проведен обзор существующих систем виртуальной и расширенной реальности. Рассмотрены основные варианты применения этих технологий, например, в авиационных тренажерах, в медицинских хирургических системах, в обучении и других областях. В статье приведено описание систем виртуальной и расширенной реальности как русскими, так и иностранными учеными в области этих технологий, рассмотрены компоненты для взаимодействия пользователя с виртуальной средой расширенной реальности. Системы расширенной реальности позволяют дополнять окружающий физический мир искусственными объектами виртуального пространства. Проведенный обзор позволил выделить программно-технические системы необходимые для создания расширенной реальности. На основании проведенного обзора сделаны выводы об использовании технологии виртуальной и расширенной реальности в различных областях деятельности.
A review of existing virtual and augmented reality. The main applications of these technologies, for example, in flight simulators, medical surgical systems, training and other areas. The article describes virtual systems and augmented reality as Russian and foreign scientists in the field of these technologies are considered components for user interaction with the virtual environment of augmented reality. Augmented reality allow to complement the surrounding physical world with artificial objects of the virtual space. The review allowed to identify software and hardware systems needed to create augmented reality. Based on the review conclusions on the use of virtual and augmented reality in different areas.
system approach
design
systems
augmented reality
virtual reality
Одно из применений современных информационно-вычислительных систем и технологий – создание качественно новых компонентов виртуальной и расширенной реальности с целью их применения в различных отраслях человеческой деятельности.

Известно, в реальной жизни человек получает 83 % информации визуально, 11 % через органы слуха и 6 % через каналы осязания, обоняния и вкуса [8]. Современное развитие аппаратных и программных средств человеко-машинного интерфейса и компьютерной графики позволяют создавать качественно новые виртуальные миры, позволяющие задействовать все каналы восприятия человеком информации. Такие комплексы погружают пользователя в искусственный, иллюзорный мир с возможностью взаимодействия с моделями объектов расположенных в нём [4,14]. Подобные системы в основном работают со зрительными и слуховыми каналами и используются в тренажёрах, позволяющих формировать профессиональные навыки управления сложными техническими агрегатами. Лучше всего это используется в авиационных тренажёрах, позволяющих «перемещать» в модели окружающего пространства модель кабины летательного аппарата, создавая иллюзию полёта на реальном летательном аппарате над реальным участком местности [13].

Дальнейшее развитие аппаратно-программных систем и оптических 3Dиндикаторов позволяет создавать технологии виртуальной реальности, объединяющие в едином информационном пространстве все возможные формы информации (вербальную, иконографическую, идеографическую, фонографическую и т.п.), что позволяет не только моделировать на компьютере процессы и объекты реальной жизни, создавая объемное компьютерное познавательное пространство с ощущением и восприятием реальности за счет активного участия пользователя в «событиях», предлагаемых  информационной  системой, но и использовать отдельные узлы такого комплекса для совершенствования специального оборудования, в частности хирургических эндоскопических стоек [6].

Модель искусственного трехмерного мира синтезируется с помощью специальных оптических и программно-технических аппаратных средств, воздействующих на органы чувств и анализаторы человека, чтобы в итоге создать иллюзию нахождения в реальном пространстве, или в его части (например, наблюдая через окно за трёхмерным пространством) [12]. Такая модель пространства получила название «виртуальная реальность». Некоторыми авторами виртуальная реальность рассматривается как технология трехмерного информационного взаимодействия человека и компьютера, которая реализуется с помощью комплексных мультимедиа-операционных средств, это не совсем так. Указанные средства воздействия на анализаторы человека не совсем верно трактуют воздействие на зрительный аппарат при создании ощущения взгляда в трёхмерное пространство. Для этого, кроме аппаратно-программной системы, в комплекс для формирования виртуальной реальности включаются ещё оптические системы: на базе коллиматоров и одноканальных систем подготовки промежуточных проекций трёхмерных сцен на двухмерную плоскость экрана формирования промежуточного изображения (при реализации безочкового метода моделирования визуального трёхмерного пространства) или двухканальных систем подготовки на двухмерной плоскости экрана формирования промежуточного изображения двух промежуточных проекций для левого и для правого глаза (при использовании систем с использованием диспарантных очков).

Основными компонентами для интерактивного взаимодействия человека с виртуальной средой являются [1,2]:

–        графический обработчик: специальное программное обеспечение для создания виртуальных миров;

–        индикаторные системы двухмерного отображения информации;

–        специальные индикаторные системы трёхмерного отображения информации;

–        многоканальная аудио система для воспроизведения окружающего звучания;

–        устройство слежения или трекинг (от англ. tracking), позволяющее изменять положение и ориентацию головы пользователя, руки или указки.

Назначение систем виртуальной реальности состоит в том, чтобы обеспечить простых пользователей, ученых, инженеров, дизайнеров виртуальным рабочим пространством, в котором можно наблюдать, исследовать и создавать виртуальные пространства. В ряде случаев требуется обеспечить взаимодействие с виртуальными объектами в режиме реального времени. Режим реального времени необходим для создания убедительного комплекса ощущений и высокореалистичных реакций объектов и процессов компьютерного виртуального мира на действия пользователя [7]. Исследования, проведённые при разработке авиационных тренажёров, показали, что максимальный цикл режима реального времени 120 мсек [4].

Все модели объектов виртуальной реальности делятся на две группы:

­ независимые модели, воспроизводящие траектории их реальных аналогов;

­ управляемые пользователем модели.

В виртуальных мирах для каждой модели моделируется физические закономерности присущие её аналогу в реальном мире (гравитация, инерция, электромагнетизм, законы отражения и преломления света и т.п.) [1]

Таким образом, к системам виртуальной реальности можно выдвинуть следующие требования: высокая скорость графической обработки данных, интерактивная визуализация сложных сцен, эффективная синхронизация параллельно исполняемых процессов и т. д.

Преимущество использования виртуального пространства в проектной и образовательной деятельности заключается в возможности непосредственно влиять на объемную сцену в реальном времени путем формирования управляющих воздействий. Это позволяет, в свою очередь, создавать реалистичные трехмерные изображения при моделировании необходимых ситуаций. При наличии специального дополнительного оборудования такая система создает полный эффект погружения в объемную виртуальную сцену, чего нельзя достигнуть с помощью традиционных средств трехмерного отображения информации. Возникающая виртуальная реальность интерактивна, что дает возможность человеку по своему желанию устанавливать с ней контакт и прекращать его [9].

В трехмерных виртуальных комплексах появляется возможность получать при контакте с виртуальной средой обратные сигналы в форме адекватных перцептивных откликов – тактильных, звуковых и др. Эти отклики должны с высокой точностью соответствовать визуальной информации, получаемой по зрительному каналу восприятия.

В настоящее время основными проблемами использования таких систем являются проблемы, связанные с покупкой дорогостоящего оборудования, проблемы психологического фактора, связанные с погружением человека в  виртуальную среду, и проблемы, связанные со специфическими особенностями восприятия виртуальных объектов, процессов и явлений, отличающихся от восприятия аналогов в реальном мире.

Рост производительности вычислительной техники, совершенствование интерфейсных устройств, средств трехмерного моделирования, систем позиционирования дали толчок к развитию нового направления виртуальной реальности, которое принято называть множеством терминов, например, дополненная, расширенная, смешанная, X-реальность, композиционная и т.п. [8]. В таких технологиях совершенно новой, скрытой раннее потенциальной возможностью, становится визуальное совмещение виртуальной среды и реального физического пространства. В принципе, все технологии во многом сходны друг с другом с точки зрения общего системного подхода к совмещению и отображению компонентов виртуального и реального мира, но отличаются областями применения и особенностями реализации.

В 1960 г. Айвен Сазерленд представил головные шлемы для отображения трехмерной графики, что послужило началом исследований в области расширенной реальности (от англ. augmented reality).

В 1994 году Пол Милгром и Фумио Кисино [11] описали континуум «Виртуальность – Реальность», как  пространство между реальностью и виртуальностью, образующий смешанную реальность (от англ. mixed reality). При этом они определили, что расширенная реальность находится ближе к окружающей реальности, а дополненная виртуальность ближе к виртуальному окружению (рис. 1.).

Континиум

Рисунок 1. Континиум Виртуальность – реальность по Милгрому.

В работе [10] автор проводит обзор основных направлений в области синтеза расширенной реальности и определяет ее как систему, которая:

1. совмещает реальные и виртуальные объекты в действительное окружение;

2. взаимодействует в реальном времени;

3. работает в трехмерном пространстве.

В табл. 1 приведены определения термина «расширенная реальность» зарубежными и российскими авторами.

Таблица 1

Трактовка понятия «расширенная реальность»

Определение понятия

Автор

Расширенная реальность – интерфейс пользователя, который позволяет встраивать в видеопоток синтетические объекты с учетом ракурса съемки в реальном времени.

А. Конушин [3]

Расширенная реальность – это визуальное улучшение окружающего пространства за счет интеграции информации, сгенерированной компьютером, такой как компьютерная графика, мультимедиа и др.

Ян [16]

Системы расширенной реальности позволяют дополнять виртуальными объектами, такими как текст, цифровые изображения, трехмерные модели окружающее физическое пространство на дисплей реалистичным способом.

Мико Сарио [15]

Системы расширенной реальности – это оптико-аппаратно-программные комплексы позволяющие создавать вокруг человека визуально наблюдаемое трёхмерное пространство с качеством достаточным для тренировки глазомера, или для перемещения в таком пространстве реального инструмента при выполнении сложных операций.

Роганов В.Р. [4]

 

В дальнейшем будем придерживаться общей терминологии, в которой расширенная реальность представляет собой совмещение реального мира и виртуального окружения. Тогда определим процесс автоматизированного проектирования расширенной реальности как человеко-машинная проектная деятельность в двух направлениях.

С одной стороны, это наложение на изображение реального мира виртуальных двухмерных или трехмерных объектов (текстовых, графических, звуковых, анимационных и видео), которые дополняют или заменяют реальные объекты в строгой привязке к ним [8].

С другой стороны, это наложение на синтезированную виртуальную сцену изображений двухмерных или трехмерных объектов реального мира (текстовых, графических, звуковых), которые дополняют или заменяют виртуальные объекты в строгой привязки к ним [5].

Среди программно-аппаратных средств визуализации элементов расширенной реальности можно выделить два типа таких систем [8]: с прозрачными и непрозрачными дисплеями. Системы первого типа отличаются тем, что изображение виртуальной среды выводится на прозрачный носитель растра и может наблюдаться одновременно с объектами окружающего пространства. В системах второго типа изображения виртуальной и реальной сред отображаются на один и тот же носитель растра, но отображение окружающей действительности получается при помощи телекамер.

Все системы дополненной, совмещенной или усиленной реальности сегодня развиваются достаточно интенсивно. Результаты экспериментов и исследований зарубежных и отечественных авторов имеют огромное теоретическое и практическое значения, которые могут использоваться при создании подобного рода систем в самых различных отраслях – от медицинской тренажерной техники до систем коллективного назначения.

В настоящее время выделяют несколько типов программно-технических систем синтеза компонентов расширенной реальности:

1.       Системы, получающие данные с акселерометра, компаса, GPS-навигатора и накладывающие объекты виртуального мира на изображение, получаемое внешней камерой электронно-вычислительного устройства;

2.       Системы, использующие метки или маркеры для выполнения операций привязки;

3.       Системы, не получающие и не использующие никаких данных, а просто накладывающие какого-либо рода информацию на потоковое видео.

Самой распространенной и самой простой с технической точки зрения системой является система маркеров. В качестве маркеров может выступать черно-белое или цветное графическое изображение, световые диоды и т.п., которые система расширенной реальности в состоянии распознать с помощью обычной цифровой камеры. Идентифицировав маркер, система размещает на его месте трехмерный объект, надпись или другое изображение – в зависимости от того, с информацией какого рода соотнесен данный конкретный маркер. Подобная система также в состоянии определить, когда положение маркера в пространстве меняется и, соответственно, поменять расположение трехмерного объекта.

Другой способ совмещения более сложен в техническом плане, поскольку в нем не используются маркеры. Вместо них используются технические средства – GPS-модуль, гироскоп, цифровой компас, акселерометр. С помощью технологий спутниковой навигации, система определяет местоположение объекта на карте, а с помощью гироскопа и компаса – положение устройства в пространстве и направление объектива видеокамеры. Проанализировав эти данные, система подкладывает под изображение на дисплее камеры виртуальную карту и, таким образом, распознает объект, на который направлен объектив. Технические возможности систем глобального позиционирования (GPS) гражданского  назначения на сегодняшний день не позволяют обеспечить достаточную точность обнаружения пространственного положения объекта, особенно внутри строительных сооружений, под землей и водой.

Наибольшую точность обеспечивают гибридные системы, в которых одновременно используются системы глобального позиционирования и локальной идентификации пространственных объектов. Каждая из систем выполняет свою задачу. Но, тем не менее, ошибка совмещения этих систем может оказаться достаточно большой.

Третий вид системы самый высокотехнологичный и сложный. Он потенциально превосходит два предыдущих, поскольку не использует ни маркеры, ни какие-либо дополнительные датчики. Вместо этого система напрямую идентифицирует предметы, попавшие в кадр, выделяя их из общей картины и сверяя с базой данных на сервере. 

На основании проведенного анализа можно сделать следующие выводы:

- виртуальную реальность создают оптико-аппаратно-программные комплексы, воздействующие на анализаторы человека с целью создать иллюзию нахождения в реальном пространстве, для решения задач требующих как минимум определения в ней места нахождения реального объекта или его модели;

- рассмотренные способы совмещения виртуальных и реальных объектов в расширенной реальности имеют свои достоинства и недостатки;

- первый способ требует наличия искусственных маркеров, что делает весьма проблематичным процесс конвертирования объектов и процессов окружающего мира в формат, понятный компьютеру;

- второй способ не обеспечивает достаточной точности идентификации из-за технических ограничений GPS;

- третий, во-первых, не достаточно хорошо проработан для полномасштабного внедрения, а во-вторых, как и первый, имеет проблемы с точностью распознавания и идентификации объектов окружающей действительности.

Рецензенты:

Финогеев А.Г., д.т.н., профессор, кафедра САПР, ФГОУ ВПО «Пензенский государственный университет», г.Пенза;

Урнёв И.В., д.т.н., профессор, генеральный директор ООО НПП «Ротор», г.Пенза.



[1] В развлекательных целях пользователи виртуальных миров могут получить нечто большее, чем возможно в реальной жизни, что е всегда безобидно. Известен случай, когда геймер, успешно продвинувшийся на высокий уровень в игре-автосимулятор в реальной жизни, чудом избежал серьёзной катастрофы неправильно выехав на обочину дороги [4].