ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

2
Publication date:
16 June 2024

The article was published in issue no. № 2, 2004
Abstract:
Аннотация:
Authors: Reshetnikov V.N. (rvn_@mail.ru) - Center of Visualization and Satellite Information Technologies SRISA (Professor, Supervisor), Moscow, Russia, Ph.D, () - , () -
Ключевое слово:
Page views: 12246
Print version
Full issue in PDF (1.54Mb)

Font size:       Font:

Подпись: Рис. 1
При создании имитационно-тренажерных комплексов большое внимание уделяется разработке новых способов и средств синтеза и отображения видеоинформации. Одним из таких способов является представление изображений в режиме стерео и создание систем виртуальной реальности. Системы виртуальной реальности пытаются имитировать все основные человеческие ощущения, включая стереовидение, стереозвук, осязание, обоняние и т.д. В случае обычного видеоизображения человек является как бы сторонним наблюдателем, который воспринимает видеоинформацию через окно дисплея. Стереоизображение переносит человека в пространство видеосцены, где он оказывается первым лицом ее восприятия. В свою очередь, для человека виртуальная информация становится действительной в окружающем мире. Для выполнения каких-либо действий в виртуальном мире реальными органами (например руками) создаются специальные устройства. Примером таких устройств являются виртуальные перчатки, которые надеваются на руку и передают движение руки и пальцев в компьютер. Тактильные ощущения имитируются с помощью специальных устройств, позволяющих моделировать силу реакции материала объекта на пальцы или руку. Использование подобных технологий в имитационно-тренажерных комплексах позволяет существенно повысить уровень и качество этих комплексов, поэтому исследования в этом направлении проводятся достаточно интенсивно. Работая в таком комплексе, пользователь должен иметь возможность трогать виртуальные объекты, брать их рукой, передвигать на новое место и т.д., то есть визуально и физически ощущать контакт с виртуальным миром.

Задачи, возникающие при создании систем виртуальной реальности, имеют большие возможности для распараллеливания, что, в свою очередь, позволяет использовать для их решения распределенные вычислительные среды. Это могут быть кластерные системы персональных компьютеров или среды, построенные с использованием методов теории динамических стохастических сетей.

В настоящей работе рассматривается задача синтеза и отображения стереоизображений с  использованием активных стереоочков, а также  задача захвата и перемещения виртуальных  объектов рукой, оснащенной компьютерной перчаткой.

Особенности человеческого зрения

Ощущение объема в окружающем пространстве формируется в мозге человека на основе информации, получаемой от глаз, а именно, на определении того, насколько далеко от глаз расположены наблюдаемые объекты. Для этого мозг использует большое количество данных, включающих перекрытие объектов, их кажущиеся размеры, тени, градиенты освещенности и т.д. Среди этих данных мы рассмотрим отдельно информацию о том, как сфокусированы глаза, то есть какие у них фокусные расстояния и под какими углами они наблюдают объект, на который сконцентрировано зрение (рис. 1). Эта информация передается в виде напряженности мышц хрусталиков глаз и сдвига их зрачков от центральной линии. Вертикальную плоскость, перпендикулярную направлению взгля­ да и содержащую точку схождения зрительных осей, называют плоскостью конвергенции, а угол схождения этих осей параллаксом. Плоскость, которая содержит точку фокусировки обоих глаз, называется плоскостью аккомодации. На рисун-  ке 1 видно, что плоскости аккомодации и конвергенции для нормального зрения человека всегда совпадают. При приближении объекта к наблюдателю области аккомодации и конвергенции также приближаются, а угол параллакса увеличивается. Если области аккомодации и конвергенции не будут лежать в одной плоскости, для ощущения объема мозг будет основываться на информации об угле схождения зрительных осей глаз.

При визуализации виртуальных сцен на компьютере видеоинформация отображается на плоскости экрана, поэтому у наблюдателя угол параллакса и фокусировка глаз остаются постоянными и не зависят от того, как далеко расположен наблюдаемый объект. Из-за этого образ трехмерных объектов остается плоским и находится в плоскости экрана. Для создания ощущения объемности выводимой виртуальной сцены необходимы специальные методы формирования изображений, например, изменение области конвергенции. При приближении этой области к наблюдателю угол схождения глаз будет увеличиваться, и человеческий мозг будет трактовать это как приближение объекта. Манипулировать расположением области конвергенции можно путем создания стереоизображений.

Формирование стереоизображения  с использованием стереоочков

Имеется много способов имитации стереоизображения в компьютерных системах. Одним из них является использование активных стереоочков. Идея таких очков состоит в том, чтобы формировать изображение отдельно для каждого глаза, выводить на экран поочередно каждое из сформированных изображений и синхронно с выводом изображения открывать шторку на очках, соответствующую нужному глазу. Если чередование изображений производить с достаточной частотой, например 60 Гц и выше, то человеческий мозг соединяет эти изображения в одно, которое при правильном выборе параметров визуализации воспринимается как стереоизображение. Два изображения для глаз образуют стереопару.

Подпись: Рис. 2
Рассмотрим подробнее параметры визуализации, позволяющие получить на экране изображение объекта, которое воспринималось бы пользователем так же, как реальный объект того же размера. Пусть пользователь находится на расстоянии L от экрана компьютера, высота экрана равна H, его ширина равна W, а средняя точка О отрезка, соединяющего два глаза, расположена напротив центра экрана. Выберем систему координат Е, связанную с пользователем, центр которой находится в точке О, ось Х направлена вправо, Y – вверх, а Z – противоположна направлению взгляда (то есть от экрана). Аналогичная система координат E' связана с виртуальной камерой. Трехмерное изображение, которое отображается на экране, представляет перспективную проекцию виртуальных объектов на картинную плоскость виртуальной камеры (см. рис. 2A). Работа камеры аналогична работе глаза человека в реальном пространстве. Человек, наблюдая трехмерную сцену, видит ее через виртуальное око. Предположим, что в виртуальном и реальном мире единицы измерения одинаковы и размеры виртуальных объектов совпадают с их реальными размерами. Тогда виртуальный объект, расположенный на расстоянии L от виртуальной камеры, должен иметь на экране компьютера такие же размеры, как реальный объект, расположенный на расстоянии L от глаза наблюдателя. Для обеспечения этого необходимо, чтобы виртуальная камера имела вертикальный угол видимости j и коэффициент отношения  aspect горизонтального размера поля камеры к вертикальному, равные следующим значениям:

; .

Для имитации стереоизображения необходимо из одной виртуальной камеры (а вернее, вместо нее) сделать две. Они будут находиться в точках  (-d/2, 0, 0) и (d/2, 0, 0) виртуальной системы координат Е' (где d – расстояние между глазами) и направлены в одну и ту же точку А, расположенную на расстоянии L по отрицательной полуоси Z  (рис. 2В). Это обычно делается автоматически специальным стереодрайвером. Для каждой из этих камер выполняется перспективная проекция сцены, и полученное изображение выводится на экран синхронно с открытием шторки очков соответствующего глаза. Если теперь переместить объект ближе к виртуальной камере, то его перспективная проекция в камере левого глаза переместится правее, а перспективная проекция в камере правого глаза – левее. Для рассматривания объекта каждый глаз немного изменит направление взгляда, угол между этими направлениями возрастет и возникнет иллюзия того, что объект вышел из плоскости экрана по направлению к наблюдателю. Аналогично при удалении объекта от виртуальной камеры угол между направлениями зрительных осей глаз уменьшится, и объект уйдет вглубь экрана.

Необходимо отметить, что если пользователь изменит положение головы, то это нарушит правильность соотношений виртуальной камеры и реального взгляда и внесет артефакты в видимое стереоизображение.

Компьютерная перчатка

Компьютерная перчатка представляет собой манипулятор, который передает компьютеру информацию об ее положении в реальном пространстве (координаты X, Y, Z), ориентации (крен, тангаж, курс), а также о степени изгиба ее пальцев. Перчатка работает в комплексе с сенсором, который получает данные от датчиков, расположенных на перчатке, обрабатывает их и формирует информацию, которая передается компьютеру.

Начало системы координат манипулятора связано с точкой O'' в пространстве, которая задается при инициализации устройства или при калибровке устройства пользователем. Калибровка производится нажатием определенной клавиши, при этом текущее положение перчатки задает точку O''. Оси координат расположены так, что ось Z направлена к сенсору, перпендикулярна его плоскости и параллельна горизонтальной плоскости, ось Y направлена вверх, а их совокупность образует правостороннюю систему (рис. 3). Ориентация перчатки определяется тремя углами Эйлера, то есть углами поворотов вокруг осей X, Y и Z.

Положение пальцев вычисляется по степени их изгиба, то есть изменяется от 0 (в распрямленном состоянии) до 180° (при максимальном сжатии). Это достаточно грубое представление пальцев, и полученные данные лишь приближенно описывают реальное положение каждого пальца кисти руки.

Данные от перчатки поступают в компьютер с частотой 42 Гц, что достаточно для отслеживания положения кисти одной или обеих рук в реальном времени. Нашей задачей является определение моментов касания кистью виртуального объекта и перемещение его вместе с движением кисти, а также фиксация захвата объекта пальцами и поворот его вместе с поворотом кисти.

Подпись: Рис. 4
Подпись: Рис. 3
Для решения этой задачи необходимо прежде всего согласовать систему координат компьютерной перчатки E'' с системой координат Е наблюдателя (рис. 3). Так как в нашем случае масштабы этих систем совпадают, то соответствующее преобразование одной системы координат в другую будет состоять из перемещения (для совмещения начал систем координат) и поворота базисных векторов (на рис. 3 – на угол 180о+a). Эти преобразования производятся с помощью матрицы поворота Mr и матрицы сдвига Md:

.

Взаимодействие кисти  с виртуальными объектами

Без учета пальцев будем представлять ладонь руки в виде параллелепипеда. Обычно расположение перчатки определяется положением одной ее точки. У перчатки, использовавшейся в эксперименте, эта точка была расположена в центре ее тыльной стороны, поэтому через эту точку проходила задняя грань параллелепипеда. Его размеры задавались приблизительно равными размерам кисти пользователя (120´180´30 мм). С перчаткой можно связать локальную систему координат. Если при движении рукой, объект попадает в область перчатки (то есть охватывающего параллелепипеда), то он приобретает импульс в направлении движения перчатки. То есть при столкновении с перчаткой, движущейся с линейной скоростью (dx, dy, dz), объект приобретает ту же скорость. Пересечение объекта с окружающим перчатку параллелепипедом определяется методом поиска пересечения всех их граней друг с другом.

Для моделирования захвата виртуального объекта кистью руки с компьютерной перчаткой необходимо учитывать движение пальцев. В этом случае окружающий кисть параллелепипед разделяется на шесть составляющих: 5 параллелепипедов, окружающих пальцы, и один, окружающий ладонь (рис. 4). Размеры параллелепипедов для пальцев одинаковы и равны по длине 1/3 длины кисти, по ширине 1/4 ширины кисти, а по толщине равны толщине кисти. Положение пальцев задается относительно ладони, и они имеют одну степень свободы – поворот вокруг оси: для большого пальца это ось ВВ’, для остальных пальцев – ось AA’. Угол поворота (изгиба) пальцев находится в пределах от 0 до 180°. Объект считается захваченным, если он попадает в область движения пальцев и изгиб пальцев превышает 90о. Такое определение является не совсем точным, но и не требует значительных вычислительных ресурсов. Захват позволяет сцепить объект с перчаткой, а потом производить его перемещение и вращение.

Использование распределенных  вычислительных сред

Для обеспечения реального времени синтеза и отображения трехмерных виртуальных сцен в режиме стерео необходимо использовать достаточно мощные вычислительные ресурсы, примерами которых являются распределенные вычислительные среды. Это могут быть кластеры персональных компьютеров или вычислительные среды, построенные с использованием теории динамических стохастических сетей. Использование распределенных вычислений объясняется широкими возможностями распараллеливания задач визуализации. Распараллеливание стерео включает параллельное формирование изображения для левого и правого глаз отдельно, кроме того, можно параллельно и независимо друг от друга синтезировать отдельные части каждого изображения. В сложных трехмерных сценах, особенно при использовании алгоритма трассировки лучей, можно пытаться предсказать с некоторой вероятностью направления поворотов камеры и производить динамическую настройку вычислительной сети методами стохастических сетей.

Добавление взаимодействия компьютерной перчатки с виртуальными объектами трехмерной сцены ставит ряд новых задач, прекрасно поддающихся распараллеливанию. К ним относится прежде всего задача отыскания пересечения перчатки с объектами сцены. Одним из методов решения такой задачи является рекурсивное деление пространства на части (используя двоичные, восьмеричные или kd-деревья) и проверка нахождения каждого объекта в этих частях пространства. Проверка вхождения различных объектов в некоторую часть пространства может выполняться параллельно. Если известны законы движения объектов, то можно рассчитать вероятности их перехода из одной части пространства в другую и использовать эту информацию для динамической настройки вычислительной сети.

Описанные выше методы были реализованы в экспериментальном программном модуле перемещения виртуального шарика с помощью компьютерной перчатки в режиме стерео с использованием активных стереоочков. Реализация показала принципиальную возможность решения этой задачи, однако выявила целый ряд проблем. Во-первых, сильным ограничением оказывается жесткая привязка наблюдателя к определенной точке пространства. Перемещение или поворот головы приводит к искажению стереоизображения и нарушению управления виртуальным объектом. Возможно, эту проблему удастся решить, используя систему трекинга, отслеживающую положение и ориентацию головы пользователя, и корректируя синтез и отображение стереоизображения на основе этой информации. Во-вторых, доступные в настоящее время перчатки лишь в приближенной степени моделируют движения кисти руки, не позволяя адекватно представить взаимодействие руки с виртуальным объектом. Отсутствует также обратная связь, то есть воздействие объекта на руку, так называемые тактильные ощущения. Разработка и опытная эксплуатация таких перчаток в настоящее время ведется, однако они еще не доступны для массового использования. В третьих, виртуальный объект нельзя захватить рукой сзади и потянуть на себя, так как реальная рука с перчаткой находится перед монитором и всегда будет закрывать виртуальный объект, отображаемый на экране. Эту проблему можно попытаться решить, используя систему индивидуальной визуализации, такую как виртуальный шлем, но в этом случае необходимо также создавать и визуализировать виртуальную руку. Эти и другие проблемы требуют проведения дальнейших исследований, которые в настоящее время активно проводятся, что позволяет надеяться на новые возможности использования технологий виртуальной реальности в имитационно-тренажерных комплексах управления сложными динамическими системами.

Список литературы

1.Nathaniel I. Durlach and Anne S. Mavor. Virtual Reality: Scientific and Technological Challenges (1995), Washington;

2.Афанасьев К. Компьютерные перчатки. http://www. 3dnews.ru/editorial/comp-gloves;

3.http://www.really.ru/review/vr_hmd_and_stereo_glasses.  html;

4.http://www.essentialreality.com;

5.http://developer.nvidia.com/object/3d_stereo.html;


Permanent link:
http://swsys.ru/index.php?page=article&id=591&lang=en
Print version
Full issue in PDF (1.54Mb)
The article was published in issue no. № 2, 2004

Perhaps, you might be interested in the following articles of similar topics: