Уроки Аушвица: VR-проект с Volumetric съемкой
27 января был опубликован видео-арт проект, над которым мы работали 2,5 месяца. В этом цикле статей мы расскажем про важные смысловые и технологические аспекты этого проекта и о том, почему не нужно бояться неизвестного.
Среди победителей мировых премий и фестивалей последнего года большое внимание было уделено этой технологии, поэтому для нас проект стал определенным вызовом и почвой для роста компетенций команды. Призовые места в 2019 году завоевывали в рамках Broadcast Awards со съемками певицы Мадонны, на отраслевой награде Halo конференции VRDays в Амстердаме, масса работ с вольюметрик-съемкой были представлены там же в формате VR Church, а еще в рамках работы фонда Kaleidoscope и на иммерсивных выставках, технологических конференциях и фестивалях по всему миру. Все чаще эта технология применяется и в клипах, один из старейших — клип группы Radiohead 2008 года.
Проект имеет смысловое и идейное значение. Он приурочен к 75-летию освобождения концлагеря Освенцим. Дети, которые участвовали в создании рисунков — первое поколение, не заставшее воевавших тогда людей. Школьникам провели экскурсию в Польше, они посмотрели цикл фильмов и лекций, прошли полное погружение в атмосферу. Свои впечатления они выразили в VR-работах из которых в финальной сцене проекта мы собрали целый мир историй прошлого, глазами современного поколения.
Петр Термен, правнук Льва Термена, изобретателя Терменвокса, написал музыку к проекту. Результатом работы стал видеоролик, объединивший объемную съемку, аудиоактивные кисти Tilt Brush (приложение для рисования в виртуальной реальности), компьютерную графику и смешанную реальность. Курировал обучение ребят, а также выполнял роль режиссера, известный VR-художник Денис Семенов (SaintDenis).
Команда PHYGITALISM отвечала за технологическую составляющую, в которую входил ресерч механик и технологий с которыми нам будет необходимо работать, съемка участников при помощи камер глубины, разработка визуальных эффектов в Unity Visual Effects Graph, работа с VR-рисунками и имитация рисования в смешанной реальности. В финальной сцене мы перенесли школьников в их собственные картины при помощи технологии объемного захвата видео (Volumetric).
Особое внимание было уделено работе с компьютерной графикой, мы выделили несколько типов эффектов: по плотности, динамичности, контрастности. Все эти эффекты компановались в соответствии с характером и настроением каждого участника и его работой, чтобы подчеркнуть индивидуальность. В итоге удалось собрать в одном проекте целый сборник разнообразных Volumetric-интерпретаций.
Работа в “зеленом” павильоне — это также важный опыт, который можно получить на подобном проекте. В хромакей-комнате, помимо 2D съемки, был произведен наиболее качественный захват движений при помощи библиотеки DepthKit и датчика Azure Kinect, которые мы использовали для получения того самого Volumetric Capture. Эту библиотеку уже неоднократно использовали в проектах, получивших премии, например видео-арт Vestige.
Следующие несколько частей статьи будут посвящены отдельным технологиям и нашему опыту работы с ними, будет больше терминов и раскрытие нюансов. Мы хотим поделиться с читателями полным пайплайном этого проекта. Мы затронем сторону ресерча, продакшена со стороны Unity 3D, DepthKit, After Effects, расскажем про нюансы съемки при помощи Kinect Azure, про захват рисунков из Tilt Brush, ну и конечно про производство компьютерной графики в этом проекте.
Здесь вы можете подробнее прочитать о самом проекте и о том, какую подготовку прошли дети перед созданием рисунков.
