American Idol | Katy Perry | Augmented Reality & Virtual Studio

multimedia world
5 min readMay 27, 2020

--

Подробный разбор технологий и методов реализации от команды dreamlaser

17 мая команда Katy Perry продемонстрировала набирающую популярность технологию AR (дополненная реальность) в прямом эфире финала музыкального телешоу American Idol.

На просторах интернета можно найти несколько англоязычных статей, «раскрывающих» тайну создания данного ролика, и звучит она так: всё действие разворачивается в практически пустом помещении, в наличии зелёный экран и пол (хромакей), а из декораций не менее зелёный стул. Зрители же видят яркую сюжетную анимацию, которую отличает точная координация с героем клипа и предметом на сцене.

Возможно, поводом для таких статей послужили слова самой Katy:

“I just filmed [the performance] the other day on this incredible new technology; it’s augmented reality and virtual reality on a green screen. Someone set it up for me, I went in there, I filmed it, and then I left.”

Дословно:

“Я просто записала [выступление] в один из дней с использованием этой невероятной новой технологии; это дополненная и виртуальная реальность на зелёном экране. Кто-то установил (настроил) это для меня, я пошла туда, я записала клип и затем я ушла.”

На самом деле, если Вы внимательный зритель, то заметите на полу швы — стыки от LED-модулей. Они служат не только для воспроизведения контента, но и помогают понять Katy, где она находится и в каком направлении ей двигаться, т.к. есть границы и есть воспроизводимый контент. Доказательством также служат очень чёткие тени от стула и самой Katy.

Ориентация артиста в пространстве — изображение на светодиодном полу
Реальная физическая тень на светодиодном полу
Швы на стыках модулей светодиодного пола

Секрет раскрыла XR.Studios — студия-создатель: это LED!

Комплект оборудования и технологий для виртуальной студии:

Давайте разберёмся, с помощью каких инструментов можно воплотить подобный проект?
Отвечает dreamlaser, компания специализирующаяся на мультимедийных и интерактивных решениях.

Принципиальная схема работы виртуальной студии с сайта https://www.xrstudios.live/#AR-MR

1. Свет, звук и LED экран

Фотография с сайта https://www.xrstudios.live/#AR-MR

Почему LED экран обязательно собирается углом?
При съёмках на экран выводится изображение, в зависимости от угла обзора камеры, перспектива изображения в реальном времени подстраивается под камеру. В момент, когда объектив камеры захватывает пространство за пределами экрана, в этой области окружение “дорисовывается” в дополненной реальности. На стыках LED-AR всегда проявляются артефакты и искажения. Для того, чтобы артефакты не бросались в глаза, используется именно такая геометрия экрана, стыки редко попадают в кадр и в основном только в границах кадра.

Искажение геометрии и различие в цвете на границе LED — AR

2. Камера и система трекинга камер.

По данным из закрытых источников здесь использовалась система RedSpy от Stype.

RedSpy — это система трекинга, состоящая из “красного глаза”, следящего за пассивными ИК метками, а также подключенная к “мозгам” объектива камеры. Снимая данные о положении камеры в пространстве и текущих показателях объектива, мы можем связать реальный мир с виртуальным внутри медиа-сервера.

3. Медиа-сервер и программный пакет, генерирующий графику в режиме реального времени.

По данным из открытых источников здесь использовался медиа-сервер disguse gx2c, а из закрытых источников мы знаем что вся графика создавалась в среде NOTCH.

Фотография с сайта https://www.xrstudios.live/#AR-MR

Данные о положении камеры поступают на медиа-сервер disguse gx2c, где заранее созданная анимационная CG cцена в среде NOTCH генерирует только тот контент, который должен быть виден реальной физической камере.
Часть генерируемого контента выводится на LED экран и позволяет артисту легко ориентироваться в виртуальном пространстве, часть контента видна только оператору в виде AR (дополненной реальности).
На медиа-сервере всё это объединяется вместе и выводится в live трансляцию или просто записывается (тогда мы получаем клип, снимаемый одним кадром без постпродакшна).
Иногда всё это называют XR (Extended Reality — расширенная реальность).

Всё!

P.S. а стул жёлтый 😊

Фотография с сайта https://www.xrstudios.live/#AR-MR

Дополнительные выкладки:

1. Если виртуальная студия реализуется посредством хромакей павильона.

  • хромакей павильон должен покрывать собой все возможные ракурсы камеры, иначе реальный мир попадёт в объектив. Таким образом, вам может потребоваться больше физического пространства в студии. В то время как с LED экраном часто достаточно и 3-3,5 метров в высоту.
Фото из виртуальной студии “Медиацентр “Нижегородский Кремль”. dreamlaser
  • Человек, работающий в хромакей студии, должен постоянно смотреть на дублирующий монитор, чтобы понимать, что сейчас вокруг него находится.
Фото из виртуальной студии “Медиацентр “Нижегородский Кремль”. dreamlaser
  • Трансляция объектов в дополненной реальности, когда эти объекты перекрывают артиста, вызывает определенные технические сложности (в отличие от работы с LED экраном)
Фото из dreamlaser’s showroom

2. Интерактивное взаимодействие с виртуальными объектами внутри виртуальной студии.

Фото из dreamlaser’s showroom

Чтобы герой трансляции мог взаимодействовать с виртуальным пространством, к вышеописанному комплексу оборудования добавляется система трекинга мультимедиа BlackTrax.
Это активные ИК датчики, которые можно закрепить как на спикере, так и на перемещаемых объектах. За всем этим следит комплекс ИК камер, а в результате все данные о положении датчиков поступают на медиа-сервер disguise gx2c, где на поступившие данные реагируют созданные в программной среде NOTCH различные анимационные сценарии.

Ярких вам впечатлений и новых открытий!
Подписывайтесь на наш блог multimedia world на Medium.
И одноименный telegram канал, который закрывает вопрос “мультимедиа насмотренности”.

Если в вашей практике попадаются мультимедиа кейсы, требующие такого же подробного разбора, обязательно присылайте с пометкой “как это работает?” в telegram @realmapping или на почту stepanov@dreamlaser.ru

--

--

multimedia world

Мультимедиа искусство | технологии | шоу. Разборы международных кейсов, технологических новинок и аудио-визуального контента от www.dreamlaser.ru