AR — XR/MR — AV. Часть 2. Технология AR: camera tracking, real-time render, CG content
Во второй части статьи dreamlaser доступными словами расскажет, за счёт каких средств дополненная реальность в трансляции становится более реалистичной.
Первая часть статьи, содержащая теоретическую базу и описывающая самое простое воплощение дополненной реальности, по ссылке.
Ключевая задача дополненной реальности — интегрировать объекты виртуального мира в реальный так, чтобы они казались действительно реальными.
camera tracking & real-time rendering
Если мы говорим о привычной ТВ трансляции, то здесь, чтобы задать динамику картинке, камера постоянно изменяет свой ракурс и зум.
Поэтому, если использовать статичную камеру для дополненной реальности, трансляция сразу станет выглядеть неестественной.
А вот если камера для AR владеет всеми атрибутами привычной трансляционной камеры, дополненная реальность воспринимается зрителем более натуральной. При этом зритель старается объяснить себе увиденное более привычным и понятным “супер реалистичной 7D лазерной голограммой на основе нанороботов”.
Чтобы камера была подвижной и при этом могла транслировать дополненную реальность, с точки зрения технологий нужны:
- трекинг камеры (camera tracking)
- рендер контента в реальном времени (real-time rendering)
Дополненная реальность — это виртуальные объекты в реальном мире.
Реальный мир мы видим глазами с высоты 150–190 см от уровня “пола”.
ТВ трансляцию мы видим на экране, где “глаза” — это реальная камера, имеющая своё положение в пространстве и запечатлевающая плоское изображение реального мира, благодаря объективу и матрице.
Виртуальный мир мы видим на экране, где “глаза” — это виртуальная камера, имеющая своё положение в виртуальном пространстве, запечатлевающая плоское изображение, полученное в результате рендера (визуализации “цифрового кода”).
Трекинг камеры
— это технология, которая связывает положение реальной и виртуальной камеры между собой.
Благодаря этой связи мы можем интегрировать виртуальный объект в реальность и снимать его камерой так, как будто он действительно здесь находится (облетать его со всех сторон и зуммировать).
Трекинг камеры, как правило, обеспечивается за счёт:
- внешних оптических датчиков, закрепленных на камере. (RedSpy от Stype, StarTracker от mo-sys и др.)
- внешних механических датчиков, закрепляемых на камерном кране (StypeKit от Stype)
- точных данных обратной связи, получаемой с роботизированных камер и различных устройств крепления камер (AW-UE150 — PTZ камера от Panasonic, e-Crane — камерный кран от mo-sys, Human Crane — камерный кран от Stype, Spidercam — система перемещения камеры на подвесных тросах, e-Sensor —поворотная штативная голова для камеры от Mo-Sys и др.)
Рендер контента в реальном времени:
то, что зритель видит в трансляции, как “объёмный” виртуальный объект дополненной реальности, по сути является “плоской” видеозаписью виртуального мира, наложенной поверх трансляции. Но эта видеозапись создаётся в режиме реального времени, где текущий кадр контента зависит не только от запрограммированной анимации, но и от положения камеры, снимающей трансляцию. Современные компьютерные технологии и программное обеспечение позволяют осуществлять такой практически мгновенный просчёт и вводить кадр за кадром в трансляцию в режиме реального времени.
Обычно рендер контента в реальном времени осуществляется игровыми движками (Unreal Engine, Unity и т.п.) или специализированными средами из сферы шоу-продакшна (Notch, TouchDesigner). Более подробно мы разберем этот вопрос в следующих частях статьи.
CG content
За то, чтобы дополненная реальность выглядела реальной и интересной, чтобы зритель говорил “Вау, как это возможно?”, отвечает контент.
И вот несколько ключевых особенностей контента для дополненной реальности:
1. Окклюзия и взаимодействие объектов виртуального мира с реальным пространством
2. Свет, тень, отражения
3. Разрешение и цвет
Окклюзия
— в прошлом медицинский термин, без чёткого определения, но в целом описывающий процесс взаимодействия объектов из разного окружения, попавших в общую среду, где одни объекты или явления перекрывают/прикрывают собой другие.
Окклюзия в AR означает возможность виртуальных объектов прятаться за реальными и наоборот.
Для того, чтобы в дополненной реальности виртуальный объект “кошка” скрылся за реальным объектом “кресло”, достаточно всего лишь иметь идентичное (по форме, размеру и расположению) “кресло” в виртуальном пространстве, при этом само “виртуальное кресло” не должно рендериться и выводиться в трансляцию.
Чтобы реализовать окклюзию при съёмке с близкого расстояния, где участником окклюзии является человек, можно в режиме реального времени использовать камеру глубины (инфракрасная камера, определяющая расстояние от объектива каждого отдельно взятого пикселя кадра и тем самым создающая виртуальное окружение, идентичное реальному). По состоянию на июль 2020 этот способ ещё не вышел за границы экспериментов и тестов в рамках трансляционной дополненной реальности.
Если же окклюзия нам нужна в рамках стационарного физического пространства, например, бейсбольный стадион, по которому летает дракон, то самым простым и надежным решением будет отсканировать пространство, создать его точную 3D модель, поместить дракона внутрь 3D модели виртуального стадиона, полностью совпадающего с реальным, при этом рендерить и выводить в трансляцию только самого дракона, игнорируя остальное виртуальное пространство.
Что интересно, сам способ, благодаря которому окклюзия может существовать в дополненной реальности, добавляет возможность (которой пока не дали названия) виртуальным объектам:
- перемещаться по окружающей среде так же, как бы это делал физический 3D объект;
- взаимодействовать с поверхностью физических объектов в том же ключе, что мы ожидаем от физической материи.
Здесь имеется в виду, что виртуальное пространство полностью (или в необходимой части) совпадает с реальным, а значит, что объект дополненной реальности переживает виртуальные взаимодействия, идентичные реальным. Это, в свою очередь, добавляет реалистичности.
Свет, тень, отражение
Один из факторов, заставляющих на подсознании ощутить реалистичность дополненной реальности, — работа со светом, тенью и отражением.
При работе в пространстве с искусственным освещением (или под солнцем) виртуальное окружение должно обладать точно таким же освещением. Это создаёт впечатление, что объект дополненной реальности освещается реальными приборами, он не выглядит “отфотошопленным”, в плохом смысле этого слова.
Если виртуальное освещение ещё и генерирует тень, которую мы также интегрируем в реальный мир, мозг может вообще не заметить подвоха, т.к. тень — обыденность повседневной реальности.
С другой стороны, если тени вдруг нет, вместо получения впечатлений и эмоций вы сразу заметите неладное и начнёте анализировать происходящее.
Кроме теней, большую роль в том, чтобы дополненная реальность выглядела реалистичной, играют отражения.
Если в реальности присутствуют отражающие поверхности, то моделировать отражение от объектов дополненной реальности просто необходимо.
Разрешение и цвет
При создании контента дополненной реальности важно учитывать особенности камеры, которая будет вести трансляцию. Понимать, как она передаёт цвета и в каком разрешении транслирует отснятое изображение.
Если объекты дополненной реальности большего или меньшего разрешения, чем выдаёт камера, это сразу бросается в глаза и выглядит, как фотомонтаж.
Если цвет объектов дополненной реальности сильно отличается от реального окружения, то и в этом случае мозг начинает бить тревогу и искать подвох, вместо того, чтобы наслаждаться увиденным.
В других частях статьи:
- Теоретическая база, самое простое воплощение дополненной реальности со статичной камерой, 3D mapping + AR
- виртуальные студии и дополненная виртуальность, способы реализации, особенности эксплуатации и функционал, лучшие кейсы в этом направлении
- приёмы работы и фишки дополненной реальности и виртуальности, технологии, позволяющие их реализовать
- и многое другое.
Ярких вам впечатлений и новых открытий!
Подписывайтесь на наш (dreamlaser) блог multimedia world на Medium
и одноименный telegram канал, который закрывает вопрос “мультимедиа насмотренности”.
Если Вам есть чем дополнить статью или в Вашей практике попадаются мультимедиа кейсы, требующие подробного разбора, обязательно присылайте в telegram @realmapping или на почту stepanov@dreamlaser.ru
