Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,791

USING OPTICAL – HARDWARE-SOFTWARE COMPLEX FOR MANAGEMENT TRAINING OF MOVING OBJECTS

Chetvergova M.V. 1 Roganov V.R. 2 Semochkin A.V. 2
1 Penza State Technological University
2 LTD «Video3»
Рассмотрена задача моделирования виртуального пространства для решения возникающих задач трудностей в имитаторах визуальной обстановки авиационных тренажеров. Предложено решение возникающих задач, в частности, применение индикатора оптико-коммуникационного устройства, приставки и др. Показаны преимущества и недостатки. Проведен анализ экспериментальных данных полученных при использовании псевдообъёмных индикаторов в тренажёрах обеспечивающих «перемещение» модели кабины транспортного средства в расширенном виртуальном пространстве. На основании проведенного обзора сделаны выводы о возможностях использования оптико-аппаратно-программных комплексов для решения задач управления подвижными комплексами.
The problem of modeling of virtual space for the solution of the arising problems of difficulties in simulators of a visual situation of aviation exercise machines is considered. The solution of the arising tasks, in particular, use of the indicator of the optiko-communication device, a prefix, etc. is proposed. Advantages and shortcomings are shown. The analysis of experimental data of the pseudo-volume indicators obtained when using in the exercise machines providing "move-ment" of model of a cabin of the vehicle in expanded virtual space is carried out. On the basis of the carried-out review conclusions are drawn on opportunities of use of optiko-hardware-software complexes for the solution of problems of management of mobile complexes.
moving objects
learning
augmented reality
virtual reality
optical- hardware-software complex

Современное развитие программно-аппаратных комплексов позволяет синтезировать в реальном масштабе времени изображения по качеству приближенные к телевизионным изображениям, полученным с использованием видеокамер [1, 2, 3]. Под «качеством изображения» будем понимать:

насыщенность видимого изображения отдельными различимыми объектами;

точность проецирования трехмерных объектов на двухмерную экранную плоскость;

возможность визуально оценивать расстояние до видимых моделей.

Подтверждено, что в ряде случае при наблюдении за специально синтезированными объектами выведенными на экран монитора глаз человека видит явно «неплоское» изображение (рис.1), или при наблюдении заставки, когда на экране вращается кубообразная модель. В итоге имеем ошибочное предположение это объемное изображение. Ошибки в интерпретации неплоского изображения как объемного во многом появляются из-за нечеткого определения использующихся при этом терминов. Например, при использовании терминов «визуально наблюдаемая трехмерная модель» и «расширенное виртуальное пространство» [2]. Разберем отличия. При рассмотрении человеком визуально наблюдаемой трехмерной модели видим «неплоское» изображение. При просмотре человеком расширенного виртуального пространства видим модель части окружающего нас трехмерного пространства, в котором можно отрабатывать некоторые профессиональные навыки. Например, навыки визуальной ориентировки, необходимые, когда с помощью глазомера определяем расстояние до моделей подвижных объектов.

Рис.1. Пример «неплоского» изображения

Задача моделирования расширенного виртуального пространства решена в имитаторах визуальной обстановки (ИВО) авиационных тренажеров (АТ) для создания вокруг модели летательного аппарата модели внешней среды с качеством достаточным для обучения пилотов такому сложному приему как визуальная посадка на взлетно-посадочной полосе (ВПП). ИВО, входящий в состав комплекса технических средств, называемых имитаторами АТ, решающего одну задачу обеспечить развитие у пилота профессиональных навыков управления летательным аппаратом. Опыт создания АТ показал, что погружение человека в расширенное виртуальное пространство это решение каждым из имитаторов поставленной перед ним задачи обеспечивая взаимодействие человека с искусственно созданной средой, в которой перемещается модель транспортного средства.

В данной статье будем рассматривать системы моделирования трехмерного изображения, которые применяют в ИВО АТ как эталон решения задачи моделирования визуальной части виртуального пространства.

Особенность создания расширенного виртуального пространства для АТ в том, что оно изначально предназначалось для обучения. Сам процесс обучения многогранен. Поэтому тренажер создается для обучения управлению в ряде ситуаций. Исследования, проведенные при разработке авиационных тренажеров, показали, что такая модель должна создаваться за цикл реального времени не более 120 мсек [2].

Задача моделирования расширенного виртуального пространства разбивается на две задачи. Первая задача  синтез в реальном масштабе времени проекции трехмерного изображения видимого пространства на двухмерную экранную плоскость. Вторая задача преобразование двухмерной проекции в модель, визуально воспринимаемую человеком как окружающее нас реальное трехмерное пространство.

На сегодняшний день имеются хорошие решения отдельно первой и отдельно второй задачи [1, 2, 4]. Однако их простое объединение не всегда позволяет получать ожидаемые результаты.

Исторически задачей синтеза в реальном масштабе времени проекции трехмерного изображения видимого пространства на двухмерную экранную плоскость телевизионного индикатора занималось много исследователей. Их результаты впечатляют, и в дальнейшем будем считать, что эта задача решена.

Авторы проводили эксперименты в канадской фирме «САЕ», и в ООО «Видео3».

В качестве опытных образцов рассматривались:

одноканальные системы синтеза изображения разработки ИАиЭ СО АН СССР «Аксай», «Альбатрос» с одноканальным устройством индикации оптико-коммуникационного устройства (ОКУ);

многоканальная система синтеза изображения «MAXVEUTM» с широкоугольным устройством индикации WIDE;

одноканальная система синтеза изображений на базе подвижных текстур с узкоугольными индикаторами РЭЛЛИ, ЭЛЬВИРА, СВЕТЛАНА/15/М;

псевдообъемная стереосистема с тестовыми примерами на базе видеокарты AGP-V6600 Deluxe GeForce256TM для просмотра стереоизображений в специальном формате;

видеосюжеты, полученные при проведении операций с использованием эндоскопических стоек;

при проведении экспериментов также использовалась компьютерная игра «Полет вокруг космической станции Мир», разработанная фирмой SoftLab при Институте автоматики и электрометрии СО АН СССР.

Индикатор ОКУ, приставка РЭЛЛИ, индикаторы ЭЛЬВИРА, СВЕТЛАНА/15/М созданы с использованием зеркальных коллиматоров и относятся к системам с «узким» зрачком. Ранее считалось, что индикаторы с «узким» зрачком на базе коллиматоров, моделирующие трехмерное визуальное изображение не найдут широкого применения по следующим причинам:

1) На основании расчетов по схеме (рис.2), что итоговое изображение получается очень тусклым. Расчет яркости проводился по формуле [1]:

I = Iэт kp1 sin 45o kо kp2 sin 45o (1), где

Iэт исходная яркость точки на экране 2;

kp1 коэффициент отражения от светоделительной пластины 5 (при движении луча от экрана 2);

kp2 коэффициент отражения от светоделительной пластины 5 (при движении луча от сферического зеркала 3);

kо коэффициент отражения от сферического зеркала.


Рис.2. Схема коллиматора с «узким» зрачком

(1 мнимое изображение, 2 экран, 3 сферическое зеркало, 4 зрачок наблюдения, 5 - светоделительная пластина)

2) Минимальное расстояние до моделируемого объекта будет 300 метров и далее (рис. 3). Расчет проводился на основании данных, что расстояние между зрачками глаз человека 8 см, а разрешающая способность человеческого глаза 30 сек.

Рис. 3. Первоначальная схема определения минимальной дальности до наблюдаемых модели в индикаторе, моделирующем трехмерное изображение без учета диспарантности отдельных изображений, воспринимаемых левым и правым глазом.

3) Стоимость оптических комплектующих очень высока и такой индикатор не найдет широкого применения.

Новые технологии позволили снизить стоимость рассматриваемых индикаторов до стоимости сравнимой со стоимостью обычного монитора компьютера.

При экспериментах с приставкой РЭЛЛИ выяснилось, что яркость изображения получается значительно выше ожидаемой. Превышение расчетной яркости получили по двум причинам:

во-первых, излучает не абстрактная математическая точка, а пиксель экрана;

во-вторых, потому, что от одной точки в глаз наблюдателя попадает несколько лучей из-за рассеивания.

В итоге (1) должна быть преобразована в соответствии с функционалом:

I=F(F1(Iэт), F2(kp1,Up1), F3(kо,Ur1), F2(kp2,Up1)) (2),

где F1(Iэт) функция, учитывающая освещение исследуемой точки на поверхности светоделительной пластины с учетом всех лучей;

F2(kp1,Up1) функция, учитывающая отражение всех лучей от площади пикселя экрана с направлением «телевизионный экран светоделительная пластина сферическое зеркало»;

F3(kо,Ur1) функция, учитывающая отражение всех лучей от сферического зеркала;

F2(kp2,Up1) функция, учитывающая прохождение всех лучей.

Экспериментально доказано, что яркость от обычных телевизионных экранов достаточна для просмотра подавляющего большинства видеофильмов.

Экспериментально было зафиксировано, что ближайшие для наблюдения предметы находятся не на расстояние 300 м., а значительно ближе. Объясняя этот эффект, первоначально была высказана гипотеза, что приближение наблюдателя к моделям виртуального пространства происходит из-за увеличения изображения при использовании коллиматора. То есть при коэффициенте увеличения в10 раз дальность до наблюдаемого объекта будет от 30м и далее. Были проведены эксперименты с использованием коллиматоров с различными коэффициентами увеличения [5]. Их результаты показали, что первоначальная гипотеза неверна, но имеется зависимость получаемого изображения от соответствия углов обзора виртуальной или реальной камеры наблюдения и углов, в которых моделируется псевдообъемное изображение [2]. При соответствии углов наблюдения 1:1 моделируемые объекты с возможностью визуальной оценки расстояний между ними наблюдаются как при просмотре реального изображения. При несоответствии углов возникает эффект увеличения, или уменьшения наблюдаемых объектов. Объяснения эффекта наблюдения моделей трехмерных объектов ближе 30 м, при использовании индикаторов на базе коллиматоров на сегодняшний день нет.

В авиационном тренажеростроении используются два вида индикаторов, моделирующих трехмерное изображение. Это индикаторы, использующие зеркальные коллиматоры и индикаторы, использующие стереоскопические системы с диспарантными очками. Все индикаторы относят к псеводообъемным индикаторам. В процессе построения модели трехмерного изображения включается человек-наблюдатель.

При использовании таких систем нет физической модели трехмерного объекта [6]. Чтобы это изображение сфотографировать со стороны надо менять расположение передающих реальных или виртуальных камер.

Есть системы истинного моделирования объёмного изображения (например, системы с вращающимися экранами) [2].

Анализируя псевдообъемные изображения, реализованные разными системами, были сделаны следующие выводы:

1) В авиационных тренажерах допустимо использовать псевдообъемные индикаторы на базе коллиматоров (когда возможно работать с моделью видимой далее 4 м), или систем с диспарантными очками (при необходимости работать с более близкими моделями).

2) Качество получаемого изображения трехмерной модели хуже, чем при наблюдении её аналога в реальных условиях.

Глаз среднего человека имеет разрешающую способность одну минуту. При использовании телевизионного экрана выполненного по предполагаемому второму телевизионному стандарту (1024х768 точек) его разрешающая способность будет три минуты. При использовании наиболее распространенного первого телевизионного стандарта обычного вещательного телевидения (640х480 точек) разрешающая способность телевизионного экрана пять минут. Соответственно, при использовании экранов со 2 телевизионным стандартом, разрешающая способность получаемой стерео картины будет около шести минут, а при использовании первого телевизионного стандарта десять минут. При шести минутах разрешающей способности автомобиль, внезапно «вырастет» перед наблюдателем в шесть раз ближе, чем в реальной жизни, что серьезно ухудшит условия обучения.

Указанные особенности систем с диспарантыми очками ограничивают их применение. Эксперименты показали наличие еще двух негативных эффектов при использовании систем с диспарантными очками.

1) Оказалось, что не все тестируемые сразу видели объемное изображение, необходим был период привыкания «видеть объем». В группе из 320 человек 218 человек увидели объем практически сразу, остальные стали воспринимать наблюдаемое изображение как объемное после нескольких сеансов от 8 до 11. Тестируемые были студентами младших курсов, возможно, что число студентов, которые увидели объем не с первого раза, было больше, но им не захотелось в этом признаваться.

2) Выяснилось, что при просмотре стерео картин [3, 7] человек быстро устает, и у многих появляется головная боль. Один из тестируемых в самом начале первого сеанса почувствовал себя настолько плохо, что упал со стула и больше никогда к стереоскопическим установкам не подходил. Частично эти негативные явления (усталость и головная боль) устраняются после проведения достаточного числа сеансов работы с установками и появления эффекта привыкания, но исключить их пока не удалось. Эксперименты показывают, что промежуток, после которого тестируемый начинал жаловаться на головную боль, у всех людей разный и у неподготовленного человека может быть от 2 минут до двух часов.

Итак, из сказанного видим, что при попытке использования стереоизображений возникают как минимум две технические проблемы и две связанные с особенностью человеческой психологии.

Технические проблемы, с которыми сталкиваются при получении стереоизображений:

 необходимость получения раздельных изображений для левого и правого глаза;

 необходимость высокой разрешающей способности экрана.

Психологические проблемы связаны с наличием у каждого человека своего интервала привыкания к стереосистемам. Опыты показывают, что улучшение технических характеристик стереосистем (увеличение частоты смены кадра, увеличение разрешающей способности экрана на котором воспроизводятся изображения) уменьшают интервал привыкания к ним.

В результате экспериментов было показано, что устойчивое явление наблюдение трехмерной визуальной модели с использованием систем на базе зеркальных коллиматоров на расстоянии ближе 30 м позволяет использовать их в разных отраслях народного хозяйства, например, в медицине. Удачно новые индикаторы проявили себя в эндоскопии. Экспериментально было подтверждено, что при подключение индикатора СВЕТЛАНА/15/М к эндоскопической стойки, возможно, точнее перемещать хирургический инструмент внутри пациента не только по осям X и Y, но и вглубь по оси Z (при этом сохраняются профессиональные навыки хирурга по перемещению инструмента). В этом случае визуальное изображение появляется на расстоянии примерно с 4 м и далее (угловые значения камеры наблюдения и углы обзора коллиматора были подобраны так, чтобы линейные размеры моделей объектов эквивалентны реальным, т. е. углы по вертикали примерно равны 30 градусам, а по горизонтали 40 градусам). Результаты экспериментов позволили выдвинуть следующее предположения. Реальное расстояние до наблюдаемого объекта зависит:

 от разрешающей способности снимающей камеры;

 от разрешающей способности используемого экрана;

от соотношения углов снимающей камеры и углов моделирования визуального пространства в коллиматоре (при их равенстве наблюдатель видит объемное изображение в масштабе 1:1, если углы камеры меньше, а углы коллиматора больше возникает эффект увеличения видимого изображения во столько раз, во сколько имеем несоответствие и наоборот если углы камеры больше, а углы коллиматора меньше возникает эффект уменьшения видимого изображения во столько раз, во сколько имеем несоответствие.

Выводы:

1. При создании систем объемной визуализации кроме программно-аппаратных комплексов, моделирующих двухмерные проекции на телевизионные экраны необходимо учитывать влияние на конечный результат оптических систем.

2. В настоящее время наибольшее распространение получили псевдообъемные индикаторы на базе стереосистем и зеркальных коллиматоров.

3. Достоинства псевдообъемных стереосистем возможность вплотную приблизиться к рассматриваемым моделям, недостатки негативное воздействие на наблюдателя.

4. Достоинства псевдообъемных систем на базе коллиматоров низкая стоимость и использование одного канала передачи изображения недостаток невозможность приблизиться к рассматриваемому изображению вплотную.

Рецензенты:

Бершадский А.М., д.т.н., профессор, зав. каф. САПР , ФГБОУ ВПО «Пензенский государственный университет», г.Пенза;

Бабич М.Ю., д.т.н., профессор, главный специалист ООО НПП «Рубин», г.Пенза.