Это не кино, это VR для его создания

PHYGITALISM
Jun 12, 2020 · 12 min read

Как изменился подход к производству кино, начиная с того момента, когда киноделы впервые начали полноценно использовать компьютерную графику в кинолентах, где цифровое играло непосредственную роль в визуальном повествовании сюжета.

Основная задача заметки — показать, как 3D-движки и Real-Time используют не только в играх, но и в других сферах деятельности.

Timeline развития компьютерных технологий в кино

Вся заметка разбита на блоки, с помощью которых можно будет проследить закономерное развитие технологий компьютерной графики и виртуальной реальности, облегчающих работу в сфере кинематографа.

Трон (1982)

Трон— КиноПоиск

Первым фильмом, снятым полностью с использованием компьютерной графики, стал “Трон” (1982), где в причудливой форме режиссер постарался раскрыть “живой” мир системы самого компьютера.

Timeline развития компьютерных технологий в кино

Фильм “Трон” примечателен в первую очередь тем, что вся съемочная команда столкнулась с трудностями, с которыми никто не сталкивался до этого момента в производстве полнометражных фильмов. Перед съемочной командой и актерами была поставлена задача изобрести новый способ создания кино.

Чтобы понять, о каких трудностях идет речь, рассмотрим сразу пример:

Трон 1982 — Актер Джефф Бриджес исполняет роль с тем, что он видит только лишь в своем воображении.

Сейчас можно представить себе хромакей студию, где актер может отыгрывать свою сцену, а режиссер говорит ему где, когда и что он видит. Исходя из этой информации, а также разбора сценария, актер вполне может себе представить что он видит, и какие эмоции ему необходимо испытывать. Сейчас такой подход кажется нормальной практикой, если реального человека необходимо поместить в полностью нарисованную с помощью компьютерной графики сцену.

Однако в далеком 1982 году не только актеры не понимали, как они должны говорить с тем, чего не видят, но и операторы столкнулись с тем, что они не понимают, как им правильно настроить фокус на объект, которого просто нет.

При производстве кинофильма цифровым художникам было проблематично анимировать большинство объектов. В 1982 году компьютеры не имели большую мощность, для анимирования трансформации объекта в пространстве и быстрый просмотр результата. Художникам приходилось вручную пересчитывать координаты летательных аппаратов на листе бумаги, интерполируя начальное, среднее и финальное положение, но увидеть результат удавалось лишь через пару дней, после просчетов на удаленных компьютерах.

Неоновые линии на одежде также приходилось прорисовывать вручную, на каждом отдельном кадре. Все сцены с использованием компьютерной графики снимались в черно-белых тонах, и впоследствии художники по визуальным эффектам добавляли на одежду яркие линии неона.

Несмотря на то, что для создания картины были потрачены большие деньги, силы и время, она не обрела большой коммерческий успех и не стала любимицей у зрителей, однако была номинирована в нескольких важных премиях, в том числе за “лучшие визуальные эффекты”.

В итоге, фильм “Трон” стал той картиной, которая открыла окно для использования CGI и компьютерной графики для создания полнометражных фильмов.

В последствии такого новаторского технологического успеха компании Disney изменился подход и отношение к производству спецэффектов в индустрии. Студия Light Industrial and magic компании LucasFilm направила усилия на создание новых подходов в производстве и улучшении компьютерной графики в кино. Именно она впоследствии создаст множество технологических прорывов и будет ответственна за создание большинства спецэффектов для крупных кинофильмов, а так же станет костяком компании Pixar. Одними из таких фильмов будут Аватар и Изгой-один, о которых пойдет речь далее.

Матрица и 13 этаж (1999)

Матрица — КиноПоиск

13 этаж — КиноПоиск

Timeline развития компьютерных технологий в кино

Все помнят про “Матрица”, но мало кто смотрел фильм “Тринадцатый этаж”. Фильмы очень схожи по тематике, и по каким-то параметрам “Этаж” обходит трилогию “Матрицу”, но не по технологическиим —трилогия сестер Вачовски сделала прорыв в использовании технологии chroma key в компьютерной графике.

Совсем коротко о том, что из себя представляет chroma key. Chroma key (chroma key, chromakey — буквально — «цветовой ключ») это технология совмещения нескольких изображений в композиции видеоряда.

Съемка актера на “зеленом экране”

Наглядно увидеть, как работает технология хромакея или GreenScreen, можно по этим двум GIF.

Наложение актера с хромакея на другое видео

Подобный метод работы с CG эффектами для видео не идеальны, т.к. хоть они и легки в производстве, все равно сохраняются множество проблем. Например, актеры все так же не видят сцены и других героев, с которыми они взаимодействуют. Для специалистов по производству самих эффектов необходимо думать о таких вещах, как отражения на поверхностях, чистота кадра и эффект “зеленой обводки” (когда на предметах сохраняется зеленый силуэт “реальности”).

Съемка фильма “Матрица” с использованием технологии chroma key

Но несмотря на такие сложности, “Матрица” до сих пор считается эталоном в области применения технологии хромакея, а в свое время, сам фильм выиграл несколько наград в области “лучших визуальных эффектов”. Поэтому было неудивительно, что в последующие годы и до сих пор chroma key считается удобным и необходимым инструментом при производстве картин, где важно показать нереальные и фантастические пейзажи, или же поместить актеров в опасную среду, например в горящий лес.

Съемка фильма “Лига справедливости” с использованием технологии chromakey

Безусловно, из-за того, что инструмент стал популярным и чаще всего необходимым, большинство тех проблем, что были описаны выше, стали решаемыми. Перечислим некоторые плюсы этого метода: нет необходимости в возведении сложных и огромных павильонов, поездок съемочной бригады в экзотические места, риска здоровьем актеров при съемке их под водой или же в космосе (привет Том Круз и съемки на МКС). В целом, производство кинофильмов благодаря хромакею стало намного дешевле, а размах в творчестве и фантазии — намного больше.

Да, сама по себе технология не стала абсолютно прорывной, была старая идея, к которой добавили технологичности. Вы могли не слышать о рир-проекции, но я более чем уверен, вы видели ее в старых кинофильмах. Но о том, что такое рир-проекция, поговорим чуть позже.

Аватар (2009)

Аватар — КиноПоиск

Timeline развития компьютерных технологий в кино

Движемся дальше. Прошло 10 лет и технологии не стояли на месте, особенно когда появлялось желание показать безумно красивые миры. Аватар стал тем самым фильмом, который долгое время откладывали в производстве, так как технологии еще не были готовы к желаниям режиссера Джеймса Кэмерона. В целом весь фильм построен так или иначе на прорывных технологиях: захват движения и мимики актеров, освещение съёмочной площадки, облачный рендеринг для утверждения отснятых сцен.

Документальный фильм о съемках “Аватар”

Но в первую очередь стоит заметить, что во время производства Аватара в индустрии стали появляться такие специалисты как оператор виртуальной камеры, а также художник цифровой среды. Если последние и были задействованы в то время в производстве компьютерных игр, то постановка правильного ракурса камеры в том, что не видно без монитора, стало важным шагом в дальнейшем.

Самое главное, что произошло во время производства фильма Аватар — некоторые сцены обрисовывали полностью, чтобы впоследствии поставить камеру с наиболее эффектного ракурса съемки.

Обливион (2013)

Обливион — КиноПоиск

Перейдем к Rear projection и фильму “Обливион”. Большинство методов работы с компьютерной графикой так или иначе рождаются из старых идей, обретая новую жизнь при помощи современных технологий. Но здесь еще и видна цикличность развития. Chormakey лишь включал в себя идею rear projection и старался ее максимально оптимизировать, но что делать, когда вы хотите показать актеру то место, в котором он находится?

Timeline развития компьютерных технологий в кино

Фильм “Обливион” Джозефа Касински — наглядный пример того, когда желание меньше работать с цифровой графикой стало основой, и съемочная группа вновь вернулась к павильонам, но специфичным.

Пример использования Rear projection при производстве кинофильмов середины 20 века

Как я и сказал ранее, rear projection вы видели хотя бы раз. В старых фильмах использовали экраны, на которые проецировали задний фон, таким образом при съемке фильма не было необходимости работать с компьютерной графикой (особенно во времена, когда ее еще не существовало), а актеры понимали где они, и как им нужно реагировать на окружение.

Джозеф Касински, будучи еще и архитектором, детально прорабатывал жилище главных героев, для проработки глубины. Он также снял в 2010 году сиквел фильма “Трон”, где построил полноценный дом в скале. В “Обливион” же стояла задача построить дом, который парит над облаками. Именно здесь появилась идея вновь воспользоваться старыми методами с использованием современных технологий, и съемочная группа уехала в горы, чтобы снять много часов движения облаков на панорамные камеры.

Съемка панорамных видео для последующего использования в фильме “Обливион”

Нет, здесь не был построен павильон, съемочная группа собирала видеоматериалы для того, чтобы в дальнейшем использовать их в качестве rear projection в павильоне, таким образом создавая полноценное реалистичное освещение именно так, как это задумала природа. А актеры могли играть именно те эмоции, которые они испытывали, увидев океан облаков из окна своих апартаментов.

Панорамный экран Rear projection с ранее записанным видеорядом пейзажей

Вокруг дома главных героев был спроектирован специальный панорамный экран, на который бесшовно проецировали записанные ранее пейзажи. И хоть это пока не стало решением, когда можно сразу после съемок получить чистый кадр без обработки компьютерной графикой, так как спецэффекты все равно накладывались на задний фон, тем не менее, отражения, блики, освещение работали реалистично, облегчая работу цифровых художников и специалистов по спецэффектам.

Книга джунглей (2016)

Книга джунглей — КиноПоиск

Мы подошли к моменту, когда игровые движки, а именно Unity, на базе которого мы реализовываем проекты в PHYGITALISM, начали активно участвовать в производстве кинолент. Одним из ярких первопроходцев данного подхода стал Джон Фавро.

Timeline развития компьютерных технологий в кино

Как и в случае с Матрицей, Книга джунглей включала в себя множество павильонных съемок на chroma key и взаимодействие актеров с цифровыми персонажами — животными (и с их кукольными аналогами).

Спецэффекты фильма “Книга джунглей”

В свою очередь режиссерам и операторам все так же было необходимо утверждать те или иные сцены и ждать окончания чернового рендера через несколько дней после съемок, имея риск узнать, что камера стояла не так, как было надо. Было принято решение воспользоваться Unity для прорисовки чернового варианта сцены, и в реальном времени транслировать это камеру. Таким образом режиссер получил возможность видеть все то, что он задумал, а оператор — поставить камеру идеально с точки зрения композиции. Таким образом Unity стал полноценным инструментом для создания концептов сцен.

Изгой один (2016)

Изгой один — КиноПоиск

В этом же году вышел кинофильм “Изгой Один” от режиссера Гарета Эдвардса. В фильме так же использовались игровые движки для помощи операторам в постановке камеры под нужным углом, а иногда и для создания целых пролетов, имитирующих ручную съемку.

Timeline развития компьютерных технологий в кино

Хоть здесь и не использовались распространенные движки, такие как Unity или Unreal Engine 4, однако для производства некоторых сцен использовалась интересная связка rear projection и виртуальной камеры.

Работа с виртуальной камерой во время съемок фильма “Изгой-один”

Используя контроллеры от HTC Vive и Ipad оператор получал полноценную камеру в своих руках, и мог транслировать это на экран любого размера. Таким образом на этапе концептов он вместе с режиссером утверждал пролеты и ракурсы камеры перед проработкой всех спецэффектов. Этот подход позволяет снизить стоимость производства кинофильмов, так как тратится меньше средств для внесение правок, особенно в спецэффектах. Профессия оператора виртуальной камеры стала актуальной для киноиндустрии, а сам фильм был номинирован на множество наград в области “лучшие визуальные эффекты” и выиграл одну из них.

Король лев (2019)

Король лев — КиноПоиск

Мы подошли к самому главному, и нам стоит вернуться к Джону Фавро. Режиссер сохранил идею использования игровых движков и технологий виртуальной реальности в производстве кинолент.

Timeline развития компьютерных технологий в кино

Король лев был снят при помощи Unreal Engine 4 и если вы думаете, что речь идет о нескольких сценах, то постараемся вас впечатлить — фактически большинство сцен были созданы полноценно, для возможности постановки камеры в любом направлении. Вот например, как выглядела сцена водопоя. Фильм был номинирован на две премии в области “лучших визуальных эффектов”.

Сцена водопоя из фильма “Король лев”

Unreal Engine 4 позволил достаточно быстро создавать полноценные сцены, а также вносить правки прямо на съемочной площадке, используя VR.

В это же самое время актеры получили возможность играть и озвучивать персонажей, наблюдая за сценой непосредственно от первого лица.

Постановка и утверждения ракурсов камер в VR сцене фильма “Король лев”, воссозданной в Unreal Engine 4

С того момента, когда компьютерную графику только впервые начали использовать в производстве кинофильмов, прошло фактически 40 лет. Технологии развились до такого уровня, что сейчас есть возможность производить трассировку лучей света в реальном времени, чтобы отражения, свет и тени работали именно так, как это было бы в реальной жизни, а сама эта технология продолжает активно развиваться, благодаря видеокартам нового поколения — RTX.

Современные возможности игровых движков с работой по реалистичному освещению в реальном времени.

К примеру, тот же Unreal Engine 4. Любой желающий, при условии, что у него имеется видеокарта RTX с технологией трассировки лучей света, может начать экспериментировать, создавая свои собственные сцены с реалистичной графикой. Но стоит заметить, что пока для этого требуется большие ресурсы, но и индустрия не стоит на месте.

Marsum и VDE VR (2018–2019)

Мы бы не стали рассказывать вам о том, как меняется индустрия, если бы сами не создавали подобные проекты. В 2018 и 2019 году наша компания разрабатывала проекты в виртуальной реальности — Marsum и VDE VR.

Timeline развития компьютерных технологий в кино

Главной особенностью являлось то, что все, что пользователь видел в VR, было отрисовано при помощи Unity. Если проект Marsum преследовал научные цели, для интеграции пользователей в экстремальную среду, где бы он смог почувствовать себя исследователем Марса, то VDE VR стал полноценной рекламой в формате аттракциона — пользователь садился в VR-кресло не потому, что его заставили нативно, а потому что ему было интересно. Моя задача как цифрового художника как раз заключалась в производстве интригующего, а главное красивого контента.

Проект VDE VR 2019

Мандалорец (2019)

Мандалорец-КиноПоиск

В 2019 году на конференции разработчиков компьютерных игр GDC в качестве специального гостя выступил Джон Фавро, который рассказал про создание “Короля Льва” и “Мандалорца”, и что он заинтересован в развитии данной индустрии, так как его фильмы стали показательным примером, как кино можно делать легче, эффективнее и красивее.

Timeline развития компьютерных технологий в кино

“Мандалорец” стал примером того, как все, что было создано до нас, можно переиспользовать, вновь применив к этому современные технологии. Какие же технологии в себе объединил этот сериал? В первую очередь это виртуальная реальность, которая была использована для облегчения постановки камеры и сцен, при был задействован все тот же Unreal Engine 4. Во-вторых это рир-проекции, все, что отрисовывалось в реальном времени, проецировалось на специальные экраны внутри небольшого павильона, что обеспечило экономию на декорациях. В-третьих, это улучшение игры актеров и облегчение жизни художников по спецэффектам — объединение двух технологий дало удивительный эффект.

Съемочный павильон сериала “Мандалорец” с использованием виртуальной камеры и rear projector экрана

Актеры видели, где они находятся, хоть и в упрощенном варианте - в хорошем качестве отрисовывалось только то, что видит непосредственно камера, для оптимизации нагрузки. Однако это существенно позволило сэкономить бюджет и сравняться по уровню графики небольшому сериалу с крупнобюджетной кинолентой.

Виртуальная реальность вне кино

Совсем недавно Кэти Перри выпустила клип, снятый с использованием виртуальной камеры — клип был снят в реальном времени, с наложением фигуры певицы в виртуальную среду. Это так же удобный и экономичный способ, так как он убирает необходимость возводить большие декорации и детально прорабатывать спецэффекты.

Клип Кэти Перри снятый полностью в VR

У нас также присутствовал опыт в совмещении виртуальной реальности и короткометражного авторского кино, это проект Уроки Аушвица. В нем мы совмещали съемку с камеры глубины Realsense с приложением TiltBrush, в котором возможно рисовать объемные рисунки в виртуальной реальности. Подробнее и детальнее об этом можно прочитать в серии статей у нас в профиле.

Проект lesson of auschwitz

Вывод

Как мы видим, индустрия VR-кино находится на этапе зачатков и активно прогрессирует. Большинство подходов, которые описаны выше, вы можете создавать самостоятельно уже сейчас, экспериментируя с бесплатными инструментами — Blender, Unreal Engine 4 и Unity. Единственный барьер, который вы можете встретить, это ваша фантазия.

Киностудия для съемки виртуальной камеры с использованием rear projector в реальном времени

Технологии виртуальной реальности начинают захватывать различные области, и причины этому — развитие мощностей компьютеров, а так же создания новых алгоритмов и подходах вывода информации, с помощью которых все это обрабатывается. Если раньше рендер и вычисление анимаций занимали огромное количество времени, то на сегодняшний день результаты можно получить моментально.

Современные возможности Unity в графике по работе с освещением — короткометражный фильм “Heretic”

Очень скоро будет конференции GDC 2020, на которой уже анонсировано множество удивительных технологий. Я думаю мы вновь увидим Джона Фавро и других режиссеров, которые так или иначе используют данные технологии в производстве своих картин.

Ссылки на статьи и первоисточники вы можете найти ниже.

Автор

Павел Постников

taden@phygitalism.com

PHYGITALISM

Создаем проекты на стыке XR, ML и других интерактивных…

PHYGITALISM

Создаем проекты на стыке XR, ML и других интерактивных технологий

PHYGITALISM

Written by

Мы - команда PHYGITALISM, реализуем фиджитал-проекты и много экспериментируем с XR, интерактивными технологиями и машинным обучением.

PHYGITALISM

Создаем проекты на стыке XR, ML и других интерактивных технологий