AR — XR/MR — AV. Часть 1. Введение в дополненную реальность, AR со статичной камерой.
В первой части статьи dreamlaser расскажет, что такое дополненная реальность и её разновидности, как она начала завоёвывать популярность и как применяется её простейшее воплощение в 2020 году.
Дополненная реальность действительно хороша только в одном случае: если о её применении вы догадались исключительно по косвенным признакам. © Евгений Степанов
Теоретическая база
Существует 2 основных парадигмы познания: естественно-научная и гуманитарная.
Естественно-научный подход опирается на факты, стремится к точным определениям, ясным показателям и наблюдаемым признакам, чтобы любое утверждение можно было проверить, а величину того, что обсуждается — измерить.
Гуманитарный подход — гибкий и свободный, использует многозначные метафоры, легкие ассоциации, свободные аналогии, это скорее не инструментарий работы, а язык общения. Он позволяет себе строгость и науку тогда, когда ему это будет по душе, и уйдет от этой излишней строгости, когда его душа попросит другого. Такой подход допускает любую произвольность ради достижения ситуативной цели.
Маркетинг, опирается именно на гуманитарный подход в познании и описании.
Авторы статьи — сторонники естественно-научного подхода.
А такое “своеобразное” введение потребовалось из-за того, что в сети Интернет по нашей теме все популярные понятия и определения идут из аккаунтов и официальных страниц корпораций, где за всё отвечает “маркетинг”. Поэтому мы здесь дадим определения, используя обе точки зрения, хотя и продолжим в дальнейшем использовать только одну, правильную, а не популярную.
Естественно-научный подход к описанию смешения реального мира с виртуальным.
Существуют две крайности нашего с вами восприятия: объективная реальность и виртуальная реальность.
Что такое объективная реальность (далее реальность), мы представляем на интуитивном уровне, без определений.
Виртуальная реальность (VR, далее виртуальность) — созданный техническими средствами мир, передаваемый человеку через его ощущения: зрение, слух, осязание и другие. Виртуальная реальность имитирует как воздействие, так и реакции на воздействие в реальном времени.
Иными словами — 100% рендер, который мы видим через экраны и VR шлемы и с которым можем интерактивно взаимодействовать здесь и сейчас.
Прим.: в современный обиход по ошибке вошли понятия VR концерт, VR трансляция и т.п., которые по своей сути таковым не являются, поскольку их содержание — это 360гр видео реального мира, снятое массивом камер. Факт того, что такие видео могут быть просмотрены посредством устройства, созданного под названием VR шлем, сути не меняет.
Между этими двумя крайностями лежат: дополненная реальность (Augmented Reality — AR) и дополненная виртуальность (Augmented Virtuality — AV):
- в первом случае мы примешиваем к своему восприятию реальности виртуальные объекты;
- во втором случае в виртуальность мы добавляем реальные объекты.
прим. AR , аббревиатура, транскрипция |eɪ ||a:|, по русски Эй Ар. Однако почему-то многие произносят как Ай Эр.
В процессе эксплуатации разным градациям смешения реальности и виртуальности начали давать разные названия, далее одни и те же названия начали получать разное содержание, всё перемешалось, и в итоге не несёт никакого научного смысла. Устоялось несколько наиболее устойчивых понятий, которыми можно описать сразу всё, что находится между реальностью и виртуальностью, которые, по сути, являются синонимами: смешанная реальность (Mixed Reality — MR), расширенная реальность (Extended Reality — XR) и др.
Гуманитарный подход к описанию смешения реального мира с виртуальным.
Он же публицистический, маркетинговый, продуктовый, самый популярный, привычный обывателю и доступный к поиску в сети интернет.
Сторонники гуманитарного подхода отталкиваются в описании не от того, как изменяется восприятие человека на пути от 100%-й реальности к 100%-й виртуальности, а от конкретных технологий или “брендовых” описаний, за счёт которых потребителю становится доступна та или иная грань восприятия (возможность, функция).
Например как в статье “пARаллельный мир” с сайта “Секрет фирмы”:
- VR Virtual reality — В виртуальной реальности (VR) площадь цифрового мира вокруг пользователя составляет 100%. То есть человек в VR-гарнитуре полностью окружен цифровым контентом.
- AR Augmented reality — Дополненная реальность (AR) накладывает цифровые объекты поверх окружающей человека среды, либо встраивает их в неё.
- MR Mixed reality — Термин mixed reality (смешанная реальность) часто используют для обозначения ситуаций, когда цифровые объекты взаимодействуют с реальным миром.
- XR Extended reality — Весь спектр оптических цифровых технологий дополнения или подмены окружающего мира называют еxtended reality (расширенная реальность). XR включает в себя AR / VR / MR.
Копипаст “этого” можно встретить повсеместно: пример 1, пример 2, пример 3.
Однако, если копнуть глубже, то сразу становится заметным следующее:
1. AR — в сети такое описание стало популярным и почти всегда используется, если если речь идёт о мобильных гаджетах, включая смартфоны. В количественном отношении почти все статьи, в заголовке которых есть AR, — про смартфоны и только. Компаниям, которые используют “не смартфоны” для дополненной реальности, чтобы выделиться из информационного поля, требуется вводить свои названия для этого явления, привязывая его к своей “уникальной” технологии.
2. MR — термин, введённый в массовое употребление компанией Microsoft, для описания своих очков дополненной реальности Hololens и тех функций, которыми дополненная реальность в этом шлеме обладала (потом они так стали называть вообще всё). Отсюда и упоминание, что дополненная реальность взаимодействует с физическим окружением.
3. XR — термин, введенный в массовое употребление компанией Qualcomm, которая тоже занималась очками дополненной реальности. Им потребовалось ввести в обиход термин, который охватывает все конкурентные термины и описывает сразу всё, но ассоциируется именно с их продуктами и их видением.
В общем, этот термин, по сути, возвращает то, чем всегда и был сам AR. Поэтому этот термин подхватили все большие игроки на рынке и стали называть им всё, что они делают, не включая в это смартфоны.
Таким образом, сейчас XR, в понимание большинства в сфере шоу продакшна— это про трансляцию с мощными серверами, динамичными камерами, генеративным контентом, системами трекинга и т.п.
Авторы статьи рекомендуют смотреть на всё с практической точки зрения, где обыватель не из Event сферы привык к термину AR и будет называть им всё вышеперечисленное. А Event специалист уже называет всё то же самое XR.
Если хотите разобраться с терминологией сами и копнуть глубже, рекомендуем заглянуть в Wikipedia. Сразу заметим, что каждая отдельно взятая статья из представленных не всегда коррелирует с другой, присутствуют недосказанность и противоречия, однако, здесь много ссылок на первоисточники, что действительно ценно:
Виртуальная реальность, Дополненная реальность, Дополненная виртуальность, Смешанная реальность
Виды дополненной реальности
- До сих пор большинство людей, говоря о дополненной реальности, представляет себе “телефон с покемоном” и его производные.
Этот вид дополненной реальности мы будем называть “мобильный AR”. Он успешно используется в промышленности, технологичных производствах, коммерции, рекламе, индивидуальных “аттракционах” и т.п.
Менее успешно он используется в формате массовых оффлайн мероприятий из-за высокого порога входа и недостаточной ценности использования для гостей событий.
О мобильном AR в формате нашей статьи мы говорить не будем, 99% статей итак говорят только об этом, интересующимся рекомендую лонгрид о современных возможностях технологии “Дополненная реальность” в блоге Вастрик.
2. То, о чём мы будем говорить в статье, будет называться “трансляционный AR”.
Судя по тому, как описывают этот вид дополненной реальности в отечественных СМИ (спойлер: полная ахинея), страна нуждается в достоверных данных!
Трансляционный AR, в первую очередь, рассчитан на зрителей, находящихся в сети или следящих за событием по ТВ. Задача — повысить вовлечение именно “онлайн-зрителя” (без учёта оффлайн зрителей) в наблюдаемую им трансляцию за счёт улучшения визуальной составляющей.
Главное отличие трансляционного AR от мобильного: технологические возможности, уровень графики и, как следствие, реалистичности не ограничены рамками мобильных гаджетов (а они довольно узкие). Можно это понимать, как “возможности безграничны” или “единственные ограничения — бюджет и время”.
Прим. чтобы видеть AR в трансляции, человеку не нужно ничего делать, а мобильный AR — это (если вдруг он корректно работает) скачать приложение, дождаться, пока оно загрузится, вращать вокруг себя телефон в поисках меток или в процессе калибровки смотреть через маленький экран (пропуская 90% окружения), контролировать уровень зарядки батарейки и т.д.
В трансляционной дополненной реальности мы выделим 2 глобальные категории, они значительно влияют на сферу их применения:
- дополненная реальность в истинном значении (к съёмке реального события добавляются объекты виртуальной реальности)
- дополненная виртуальность — виртуальная студия (реальные люди и объекты “снимаются” в полностью виртуальном окружении)
Самое простое воплощение дополненной реальности.
AR со статичной камерой:
наложение компьютерной графики на видео, снимаемое статичной (неподвижной, не зуммирующей) камерой в режиме реального времени.
Фактически это означает, что, если мы используем заранее созданный контент и в Live режиме накладываем его на видео, снимаемое камерой, — это AR.
Первые широко распространенные в сети кейсы с аттракционами дополненной реальности датируются 2015 годом. И там их называют ”супер реалистичными 7D голограммами”. Однако, технология не имеет к голограммам никакого отношения.
Прим. сам аттракцион выглядит так: в ТЦ устанавливается большой экран и статичная камера, снимающая пространство перед экраном.
На экран транслируется видео, снимаемое камерой, поверх которого накладывается слой заранее созданной компьютерной графики.
Люди попадают в зону видимости камеры и замечают себя на экране, но в “дорисованном” окружении. Здесь же они начинают “играть” во взаимодействие с виртуальными объектами.
Однако, если мы уже сняли видео и в постпродакшне накладываем на него контент, это — видеомонтаж:
Этот кейс также облетел интернет примерно в 2015 году, тоже под именем “голограмма”, и часто встречался в референсах с формулировкой “нам нужен такой 3D мэппинг”. Ещё скрины этого видео регулярно попадаются в статьях про тогда ещё несуществующие очки дополненной реальности Magic Leap.
Современное применение самого простого воплощения дополненной реальности. 3D mapping + Augmented reality.
Пандемия 2020 породила целую волну “онлайнизации” и “гибридизации” событий. Не миновала эта чаша даже такой самодостаточный продукт, как Архитектурный 3D mapping. Заметим, мэппинг от этого только выиграл. Если задача масштабного мэппинга — впечатлить людей в онлайн трансляции, идея совместить его с дополненной реальностью лежит на поверхности. Ведь в самом простом варианте необходимо всего лишь в точку идеального зрителя поставить камеру, ана снимаемое ею видео наложить ещё один слой компьютерной графики. При этом трудозатраты на создание контента возрастут незначительно — просто полотно для команды дизайнеров графики становится немного шире.
Впервые подход “3D mapping + AR” реализовала компания dreamlaser 9 мая 2020 в г.Волгоград на ежегодной патриотической акции “Свет великой победы”.
Здесь проекция на подпорную стену и монумент, свет и светодиодные палки у подножия монумента — реальны. Всё остальное — дополненная реальность.
Следующий проект “3D mapping + AR” от dreamlaser состоялся уже 12 июня 2020 на День России в Нижнем Новгороде. Полотном стала Нижегородская Ярмарка. Возможность расширить область отображения мэппинг контента, а также комфортная подача текстовой информации без искажений на фасаде здания в разы увеличила вовлеченность зрителей в просмотр шоу.
Часто подобные истории можно видеть и на ТВ во время спортивных трансляций, когда счёт игры и логотипы команд появляется прямо на футбольном поле.
В следующих частях статьи:
- за счёт чего работает AR с подвижной камерой, зачем это нужно, каким он должен быть, лучшие кейсы в этом направлении
- виртуальные студии и дополненная виртуальность, способы реализации, особенности эксплуатации и функционал, лучшие кейсы в этом направлении
- приёмы работы и фишки дополненной реальности и виртуальности, технологии, позволяющие их реализовать
- и многое другое.
Ярких вам впечатлений и новых открытий!
Подписывайтесь на наш (dreamlaser) блог multimedia world на Medium
и одноименный telegram канал, который закрывает вопрос “мультимедиа насмотренности”.
Если Вам есть чем дополнить статью или в Вашей практике попадаются мультимедиа кейсы, требующие подробного разбора, обязательно присылайте в telegram @realmapping или на почту stepanov@dreamlaser.ru
