Электронный научный журнал
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,737

ПРОЕКТИРОВАНИЕ СИСТЕМ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ С ПОЗИЦИИ СИСТЕМНОГО ПОДХОДА

Роганов В.Р. 1 Четвергова М.В. 2 Сёмочкин А.В. 1
1 Общество с ограниченной ответственностью «Видео3»
2 ФГОУ ВПО «Пензенский государственный технологический университет»
Проведен обзор существующих систем виртуальной и расширенной реальности. Рассмотрены основные варианты применения этих технологий, например, в авиационных тренажерах, в медицинских хирургических системах, в обучении и других областях. В статье приведено описание систем виртуальной и расширенной реальности как русскими, так и иностранными учеными в области этих технологий, рассмотрены компоненты для взаимодействия пользователя с виртуальной средой расширенной реальности. Системы расширенной реальности позволяют дополнять окружающий физический мир искусственными объектами виртуального пространства. Проведенный обзор позволил выделить программно-технические системы необходимые для создания расширенной реальности. На основании проведенного обзора сделаны выводы об использовании технологии виртуальной и расширенной реальности в различных областях деятельности.
системный подход
проектирование
системы
расширенная реальность
виртуальная реальность
1. Катыс Г. П. Виртуальная реальность в компьютерном обучении (ч.1) / Г. П. Катыс, П. Г. Катыс// Открытое Образование. № 2, 1999. – с. 34–38.
2. Катыс Г. П. Виртуальная реальность в компьютерном обучении (ч. 2) / Г. П. Катыс, П. Г. Катыс // Открытое Образование. № 3. 1999. – с. 26–30.
3. Конушин А. С. Алгоритмы построения трехмерных компьютерных моделей реальных объектов для систем виртуальной реальности // дисс. … канд. техн. наук : 05.13.11. – М., 2005. – 158 с.
4. Роганов В.Р. Методы формирования виртуальной реальности. Пенза, ПензГУ, 2002. — 127 с.
5. Роганов В.Р., Роганова Э.В., Зуев В.А., Кревчик В.В. патент РФ 2381435 Тренажёр наводчиков-операторов установок пуска ракет Опубликовано: 10.02.2010.
6. Роганова Э. В. Патент РФ № 2337606 Оптическая система эндоскопа.
7. Финогеев А.Г., Четвергова, М. В. Разработка и исследование методики распознавания изображений для систем расширенной реальности // Известия ВолгГТУ : межвуз. сб. науч. ст. – Волгоград : ИУНЛ ВолгГТУ, 2012. – № 15 (102). – с. 130–136.
8. Четвергова М.В. Автоматизация проектирования компонентов расширенной реальности // дисс. … канд. техн. наук : 05.13.12. – Пенза., 2013. – 187 с.
9. Четвергова М.В. Методика распознавания изображений на основе рандомных деревьев в системах автоматизированного проектирования расширенной реальности / А. Г. Финогеев, М. В. Четвергова // Современные проблемы науки и образования. – 2012. – № 5 [Электронный ресурс]. – Режим доступа: http://www.science-education.ru/105-7110.
10. Azuma R. Recent advances in augmented reality / R. Azuma, Y. Baillot, R. Behringer, S. Feiner, B. MacIntyre // IEEE Computer Graphics and Application, vol.21, issue 6, 2001. – p. 34–47.
11. Milgram P. A Taxonomy of Mixed Reality Visual Displays / P. Milgram, F. Kishino // IEICE Trans. Information Systems, vol. E77-D, no. 12, 1994. – p. 1321–1329.
12. Roganov V.R. The optical-hardware-software complex for 3D visual models/ III International research and practice conference Science Technology and Higher Education: III International research and practice conference Science Technology and Higher Education.- Westwood, Canada: Accent Graphics communications, 2013.- V. 2.- P. 483-491.
13. Roganov V.R., Asmolova E.A., Seredkin A.N., Сhetvergova M.V., Andreeva N.B., Filippenko V.O. Problem of virtual space modelling in aviation simulators. Life Science Journal 2014;11(12s):371-373] (ISSN:1097-8135). http://www.lifesciencesite.com. 78.
14. Roganov V.R., Kazancev A.A., Semochkin A.V. Information flows in the “Three-dimensional medical atlas” optical-hardware-software complex / I International Scientific Conference: International Scientific Conference.- Chicago: publishing office Accent Graphics communications – Chi-cago – USA., 2013.- V. 1.- С. 338-343.
15. Sairio M. Augmented Reality. [Электронный ресурс]. – Режим доступа: www.tml.tkk.fi/Studies/.../mikko_sairio.pdf.
16. Yuan M. L. Registration Using Projective Reconstruction for Augmented Reality Systems / M. L. Yuan, S. K. Ong, A. Y. C. Nee// IMST, 2004. [Электронный ресурс]. – Режим доступа : http://hdl.handle.net/1721.1/3919.
Одно из применений современных информационно-вычислительных систем и технологий – создание качественно новых компонентов виртуальной и расширенной реальности с целью их применения в различных отраслях человеческой деятельности.

Известно, в реальной жизни человек получает 83 % информации визуально, 11 % через органы слуха и 6 % через каналы осязания, обоняния и вкуса [8]. Современное развитие аппаратных и программных средств человеко-машинного интерфейса и компьютерной графики позволяют создавать качественно новые виртуальные миры, позволяющие задействовать все каналы восприятия человеком информации. Такие комплексы погружают пользователя в искусственный, иллюзорный мир с возможностью взаимодействия с моделями объектов расположенных в нём [4,14]. Подобные системы в основном работают со зрительными и слуховыми каналами и используются в тренажёрах, позволяющих формировать профессиональные навыки управления сложными техническими агрегатами. Лучше всего это используется в авиационных тренажёрах, позволяющих «перемещать» в модели окружающего пространства модель кабины летательного аппарата, создавая иллюзию полёта на реальном летательном аппарате над реальным участком местности [13].

Дальнейшее развитие аппаратно-программных систем и оптических 3Dиндикаторов позволяет создавать технологии виртуальной реальности, объединяющие в едином информационном пространстве все возможные формы информации (вербальную, иконографическую, идеографическую, фонографическую и т.п.), что позволяет не только моделировать на компьютере процессы и объекты реальной жизни, создавая объемное компьютерное познавательное пространство с ощущением и восприятием реальности за счет активного участия пользователя в «событиях», предлагаемых  информационной  системой, но и использовать отдельные узлы такого комплекса для совершенствования специального оборудования, в частности хирургических эндоскопических стоек [6].

Модель искусственного трехмерного мира синтезируется с помощью специальных оптических и программно-технических аппаратных средств, воздействующих на органы чувств и анализаторы человека, чтобы в итоге создать иллюзию нахождения в реальном пространстве, или в его части (например, наблюдая через окно за трёхмерным пространством) [12]. Такая модель пространства получила название «виртуальная реальность». Некоторыми авторами виртуальная реальность рассматривается как технология трехмерного информационного взаимодействия человека и компьютера, которая реализуется с помощью комплексных мультимедиа-операционных средств, это не совсем так. Указанные средства воздействия на анализаторы человека не совсем верно трактуют воздействие на зрительный аппарат при создании ощущения взгляда в трёхмерное пространство. Для этого, кроме аппаратно-программной системы, в комплекс для формирования виртуальной реальности включаются ещё оптические системы: на базе коллиматоров и одноканальных систем подготовки промежуточных проекций трёхмерных сцен на двухмерную плоскость экрана формирования промежуточного изображения (при реализации безочкового метода моделирования визуального трёхмерного пространства) или двухканальных систем подготовки на двухмерной плоскости экрана формирования промежуточного изображения двух промежуточных проекций для левого и для правого глаза (при использовании систем с использованием диспарантных очков).

Основными компонентами для интерактивного взаимодействия человека с виртуальной средой являются [1,2]:

–        графический обработчик: специальное программное обеспечение для создания виртуальных миров;

–        индикаторные системы двухмерного отображения информации;

–        специальные индикаторные системы трёхмерного отображения информации;

–        многоканальная аудио система для воспроизведения окружающего звучания;

–        устройство слежения или трекинг (от англ. tracking), позволяющее изменять положение и ориентацию головы пользователя, руки или указки.

Назначение систем виртуальной реальности состоит в том, чтобы обеспечить простых пользователей, ученых, инженеров, дизайнеров виртуальным рабочим пространством, в котором можно наблюдать, исследовать и создавать виртуальные пространства. В ряде случаев требуется обеспечить взаимодействие с виртуальными объектами в режиме реального времени. Режим реального времени необходим для создания убедительного комплекса ощущений и высокореалистичных реакций объектов и процессов компьютерного виртуального мира на действия пользователя [7]. Исследования, проведённые при разработке авиационных тренажёров, показали, что максимальный цикл режима реального времени 120 мсек [4].

Все модели объектов виртуальной реальности делятся на две группы:

­ независимые модели, воспроизводящие траектории их реальных аналогов;

­ управляемые пользователем модели.

В виртуальных мирах для каждой модели моделируется физические закономерности присущие её аналогу в реальном мире (гравитация, инерция, электромагнетизм, законы отражения и преломления света и т.п.) [1]

Таким образом, к системам виртуальной реальности можно выдвинуть следующие требования: высокая скорость графической обработки данных, интерактивная визуализация сложных сцен, эффективная синхронизация параллельно исполняемых процессов и т. д.

Преимущество использования виртуального пространства в проектной и образовательной деятельности заключается в возможности непосредственно влиять на объемную сцену в реальном времени путем формирования управляющих воздействий. Это позволяет, в свою очередь, создавать реалистичные трехмерные изображения при моделировании необходимых ситуаций. При наличии специального дополнительного оборудования такая система создает полный эффект погружения в объемную виртуальную сцену, чего нельзя достигнуть с помощью традиционных средств трехмерного отображения информации. Возникающая виртуальная реальность интерактивна, что дает возможность человеку по своему желанию устанавливать с ней контакт и прекращать его [9].

В трехмерных виртуальных комплексах появляется возможность получать при контакте с виртуальной средой обратные сигналы в форме адекватных перцептивных откликов – тактильных, звуковых и др. Эти отклики должны с высокой точностью соответствовать визуальной информации, получаемой по зрительному каналу восприятия.

В настоящее время основными проблемами использования таких систем являются проблемы, связанные с покупкой дорогостоящего оборудования, проблемы психологического фактора, связанные с погружением человека в  виртуальную среду, и проблемы, связанные со специфическими особенностями восприятия виртуальных объектов, процессов и явлений, отличающихся от восприятия аналогов в реальном мире.

Рост производительности вычислительной техники, совершенствование интерфейсных устройств, средств трехмерного моделирования, систем позиционирования дали толчок к развитию нового направления виртуальной реальности, которое принято называть множеством терминов, например, дополненная, расширенная, смешанная, X-реальность, композиционная и т.п. [8]. В таких технологиях совершенно новой, скрытой раннее потенциальной возможностью, становится визуальное совмещение виртуальной среды и реального физического пространства. В принципе, все технологии во многом сходны друг с другом с точки зрения общего системного подхода к совмещению и отображению компонентов виртуального и реального мира, но отличаются областями применения и особенностями реализации.

В 1960 г. Айвен Сазерленд представил головные шлемы для отображения трехмерной графики, что послужило началом исследований в области расширенной реальности (от англ. augmented reality).

В 1994 году Пол Милгром и Фумио Кисино [11] описали континуум «Виртуальность – Реальность», как  пространство между реальностью и виртуальностью, образующий смешанную реальность (от англ. mixed reality). При этом они определили, что расширенная реальность находится ближе к окружающей реальности, а дополненная виртуальность ближе к виртуальному окружению (рис. 1.).

Континиум

Рисунок 1. Континиум Виртуальность – реальность по Милгрому.

В работе [10] автор проводит обзор основных направлений в области синтеза расширенной реальности и определяет ее как систему, которая:

1. совмещает реальные и виртуальные объекты в действительное окружение;

2. взаимодействует в реальном времени;

3. работает в трехмерном пространстве.

В табл. 1 приведены определения термина «расширенная реальность» зарубежными и российскими авторами.

Таблица 1

Трактовка понятия «расширенная реальность»

Определение понятия

Автор

Расширенная реальность – интерфейс пользователя, который позволяет встраивать в видеопоток синтетические объекты с учетом ракурса съемки в реальном времени.

А. Конушин [3]

Расширенная реальность – это визуальное улучшение окружающего пространства за счет интеграции информации, сгенерированной компьютером, такой как компьютерная графика, мультимедиа и др.

Ян [16]

Системы расширенной реальности позволяют дополнять виртуальными объектами, такими как текст, цифровые изображения, трехмерные модели окружающее физическое пространство на дисплей реалистичным способом.

Мико Сарио [15]

Системы расширенной реальности – это оптико-аппаратно-программные комплексы позволяющие создавать вокруг человека визуально наблюдаемое трёхмерное пространство с качеством достаточным для тренировки глазомера, или для перемещения в таком пространстве реального инструмента при выполнении сложных операций.

Роганов В.Р. [4]

 

В дальнейшем будем придерживаться общей терминологии, в которой расширенная реальность представляет собой совмещение реального мира и виртуального окружения. Тогда определим процесс автоматизированного проектирования расширенной реальности как человеко-машинная проектная деятельность в двух направлениях.

С одной стороны, это наложение на изображение реального мира виртуальных двухмерных или трехмерных объектов (текстовых, графических, звуковых, анимационных и видео), которые дополняют или заменяют реальные объекты в строгой привязке к ним [8].

С другой стороны, это наложение на синтезированную виртуальную сцену изображений двухмерных или трехмерных объектов реального мира (текстовых, графических, звуковых), которые дополняют или заменяют виртуальные объекты в строгой привязки к ним [5].

Среди программно-аппаратных средств визуализации элементов расширенной реальности можно выделить два типа таких систем [8]: с прозрачными и непрозрачными дисплеями. Системы первого типа отличаются тем, что изображение виртуальной среды выводится на прозрачный носитель растра и может наблюдаться одновременно с объектами окружающего пространства. В системах второго типа изображения виртуальной и реальной сред отображаются на один и тот же носитель растра, но отображение окружающей действительности получается при помощи телекамер.

Все системы дополненной, совмещенной или усиленной реальности сегодня развиваются достаточно интенсивно. Результаты экспериментов и исследований зарубежных и отечественных авторов имеют огромное теоретическое и практическое значения, которые могут использоваться при создании подобного рода систем в самых различных отраслях – от медицинской тренажерной техники до систем коллективного назначения.

В настоящее время выделяют несколько типов программно-технических систем синтеза компонентов расширенной реальности:

1.       Системы, получающие данные с акселерометра, компаса, GPS-навигатора и накладывающие объекты виртуального мира на изображение, получаемое внешней камерой электронно-вычислительного устройства;

2.       Системы, использующие метки или маркеры для выполнения операций привязки;

3.       Системы, не получающие и не использующие никаких данных, а просто накладывающие какого-либо рода информацию на потоковое видео.

Самой распространенной и самой простой с технической точки зрения системой является система маркеров. В качестве маркеров может выступать черно-белое или цветное графическое изображение, световые диоды и т.п., которые система расширенной реальности в состоянии распознать с помощью обычной цифровой камеры. Идентифицировав маркер, система размещает на его месте трехмерный объект, надпись или другое изображение – в зависимости от того, с информацией какого рода соотнесен данный конкретный маркер. Подобная система также в состоянии определить, когда положение маркера в пространстве меняется и, соответственно, поменять расположение трехмерного объекта.

Другой способ совмещения более сложен в техническом плане, поскольку в нем не используются маркеры. Вместо них используются технические средства – GPS-модуль, гироскоп, цифровой компас, акселерометр. С помощью технологий спутниковой навигации, система определяет местоположение объекта на карте, а с помощью гироскопа и компаса – положение устройства в пространстве и направление объектива видеокамеры. Проанализировав эти данные, система подкладывает под изображение на дисплее камеры виртуальную карту и, таким образом, распознает объект, на который направлен объектив. Технические возможности систем глобального позиционирования (GPS) гражданского  назначения на сегодняшний день не позволяют обеспечить достаточную точность обнаружения пространственного положения объекта, особенно внутри строительных сооружений, под землей и водой.

Наибольшую точность обеспечивают гибридные системы, в которых одновременно используются системы глобального позиционирования и локальной идентификации пространственных объектов. Каждая из систем выполняет свою задачу. Но, тем не менее, ошибка совмещения этих систем может оказаться достаточно большой.

Третий вид системы самый высокотехнологичный и сложный. Он потенциально превосходит два предыдущих, поскольку не использует ни маркеры, ни какие-либо дополнительные датчики. Вместо этого система напрямую идентифицирует предметы, попавшие в кадр, выделяя их из общей картины и сверяя с базой данных на сервере. 

На основании проведенного анализа можно сделать следующие выводы:

- виртуальную реальность создают оптико-аппаратно-программные комплексы, воздействующие на анализаторы человека с целью создать иллюзию нахождения в реальном пространстве, для решения задач требующих как минимум определения в ней места нахождения реального объекта или его модели;

- рассмотренные способы совмещения виртуальных и реальных объектов в расширенной реальности имеют свои достоинства и недостатки;

- первый способ требует наличия искусственных маркеров, что делает весьма проблематичным процесс конвертирования объектов и процессов окружающего мира в формат, понятный компьютеру;

- второй способ не обеспечивает достаточной точности идентификации из-за технических ограничений GPS;

- третий, во-первых, не достаточно хорошо проработан для полномасштабного внедрения, а во-вторых, как и первый, имеет проблемы с точностью распознавания и идентификации объектов окружающей действительности.

Рецензенты:

Финогеев А.Г., д.т.н., профессор, кафедра САПР, ФГОУ ВПО «Пензенский государственный университет», г.Пенза;

Урнёв И.В., д.т.н., профессор, генеральный директор ООО НПП «Ротор», г.Пенза.



[1] В развлекательных целях пользователи виртуальных миров могут получить нечто большее, чем возможно в реальной жизни, что е всегда безобидно. Известен случай, когда геймер, успешно продвинувшийся на высокий уровень в игре-автосимулятор в реальной жизни, чудом избежал серьёзной катастрофы неправильно выехав на обочину дороги [4].

 


Библиографическая ссылка

Роганов В.Р., Четвергова М.В., Сёмочкин А.В. ПРОЕКТИРОВАНИЕ СИСТЕМ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ С ПОЗИЦИИ СИСТЕМНОГО ПОДХОДА // Современные проблемы науки и образования. – 2014. – № 6.;
URL: http://science-education.ru/ru/article/view?id=16299 (дата обращения: 24.08.2019).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.252