American Idol | Katy Perry | Augmented Reality & Virtual Studio
Подробный разбор технологий и методов реализации от команды dreamlaser
17 мая команда Katy Perry продемонстрировала набирающую популярность технологию AR (дополненная реальность) в прямом эфире финала музыкального телешоу American Idol.
На просторах интернета можно найти несколько англоязычных статей, «раскрывающих» тайну создания данного ролика, и звучит она так: всё действие разворачивается в практически пустом помещении, в наличии зелёный экран и пол (хромакей), а из декораций не менее зелёный стул. Зрители же видят яркую сюжетную анимацию, которую отличает точная координация с героем клипа и предметом на сцене.
Возможно, поводом для таких статей послужили слова самой Katy:
“I just filmed [the performance] the other day on this incredible new technology; it’s augmented reality and virtual reality on a green screen. Someone set it up for me, I went in there, I filmed it, and then I left.”
Дословно:
“Я просто записала [выступление] в один из дней с использованием этой невероятной новой технологии; это дополненная и виртуальная реальность на зелёном экране. Кто-то установил (настроил) это для меня, я пошла туда, я записала клип и затем я ушла.”
На самом деле, если Вы внимательный зритель, то заметите на полу швы — стыки от LED-модулей. Они служат не только для воспроизведения контента, но и помогают понять Katy, где она находится и в каком направлении ей двигаться, т.к. есть границы и есть воспроизводимый контент. Доказательством также служат очень чёткие тени от стула и самой Katy.
Секрет раскрыла XR.Studios — студия-создатель: это LED!
Комплект оборудования и технологий для виртуальной студии:
Давайте разберёмся, с помощью каких инструментов можно воплотить подобный проект?
Отвечает dreamlaser, компания специализирующаяся на мультимедийных и интерактивных решениях.
1. Свет, звук и LED экран
Почему LED экран обязательно собирается углом?
При съёмках на экран выводится изображение, в зависимости от угла обзора камеры, перспектива изображения в реальном времени подстраивается под камеру. В момент, когда объектив камеры захватывает пространство за пределами экрана, в этой области окружение “дорисовывается” в дополненной реальности. На стыках LED-AR всегда проявляются артефакты и искажения. Для того, чтобы артефакты не бросались в глаза, используется именно такая геометрия экрана, стыки редко попадают в кадр и в основном только в границах кадра.
2. Камера и система трекинга камер.
По данным из закрытых источников здесь использовалась система RedSpy от Stype.
RedSpy — это система трекинга, состоящая из “красного глаза”, следящего за пассивными ИК метками, а также подключенная к “мозгам” объектива камеры. Снимая данные о положении камеры в пространстве и текущих показателях объектива, мы можем связать реальный мир с виртуальным внутри медиа-сервера.
3. Медиа-сервер и программный пакет, генерирующий графику в режиме реального времени.
По данным из открытых источников здесь использовался медиа-сервер disguse gx2c, а из закрытых источников мы знаем что вся графика создавалась в среде NOTCH.
Данные о положении камеры поступают на медиа-сервер disguse gx2c, где заранее созданная анимационная CG cцена в среде NOTCH генерирует только тот контент, который должен быть виден реальной физической камере.
Часть генерируемого контента выводится на LED экран и позволяет артисту легко ориентироваться в виртуальном пространстве, часть контента видна только оператору в виде AR (дополненной реальности).
На медиа-сервере всё это объединяется вместе и выводится в live трансляцию или просто записывается (тогда мы получаем клип, снимаемый одним кадром без постпродакшна).
Иногда всё это называют XR (Extended Reality — расширенная реальность).
Всё!
P.S. а стул жёлтый 😊
Дополнительные выкладки:
1. Если виртуальная студия реализуется посредством хромакей павильона.
- хромакей павильон должен покрывать собой все возможные ракурсы камеры, иначе реальный мир попадёт в объектив. Таким образом, вам может потребоваться больше физического пространства в студии. В то время как с LED экраном часто достаточно и 3-3,5 метров в высоту.
- Человек, работающий в хромакей студии, должен постоянно смотреть на дублирующий монитор, чтобы понимать, что сейчас вокруг него находится.
- Трансляция объектов в дополненной реальности, когда эти объекты перекрывают артиста, вызывает определенные технические сложности (в отличие от работы с LED экраном)
2. Интерактивное взаимодействие с виртуальными объектами внутри виртуальной студии.
Чтобы герой трансляции мог взаимодействовать с виртуальным пространством, к вышеописанному комплексу оборудования добавляется система трекинга мультимедиа BlackTrax.
Это активные ИК датчики, которые можно закрепить как на спикере, так и на перемещаемых объектах. За всем этим следит комплекс ИК камер, а в результате все данные о положении датчиков поступают на медиа-сервер disguise gx2c, где на поступившие данные реагируют созданные в программной среде NOTCH различные анимационные сценарии.
Ярких вам впечатлений и новых открытий!
Подписывайтесь на наш блог multimedia world на Medium.
И одноименный telegram канал, который закрывает вопрос “мультимедиа насмотренности”.
Если в вашей практике попадаются мультимедиа кейсы, требующие такого же подробного разбора, обязательно присылайте с пометкой “как это работает?” в telegram @realmapping или на почту stepanov@dreamlaser.ru
