Фиджитал — искусство. Выставка в дополненной реальности.

PHYGITALISM
Nov 11, 2019 · 6 min read

Международный интерактивный фестиваль современного искусства, 4 дня, 20 000 гостей и 5 000 скачиваний приложения с дополненной реальностью, разработанного нашей командой. В этой серии заметок мы поделимся своим опытом разработки фиджитал-искусства — расскажем о процессе создания и о технических особенностях технологии.

Часть 1 \ Часть 2 \ Часть 3

Искусство, которое выходит за рамки — это олицетворение XR будущего, фиджитал эпохи. Мира, где у каждого предмета будет цифровой слой с дополнительным, расширяющим его свойства контентом. На примере картин современных художников, мы видим, как статичное и плоское изображение наделяется новыми цифровыми качествами, и несет в себе значительно больше информации, чем классический реальный медиум в виде самой картины — момента, запечатленного на ней. ARTLIFE — пример медиа выставки, который представляет фиджитал мир со стороны Art.

В своей деятельности мы придерживаемся ASB парадигмы (Art-Science-Business). Именно через эти три сферы проходит любая свершившаяся инновация, открытие или продукт, меняющий жизнь людей. Самые известные, красивые и полезные вещи и технологии рождались под впечатлением от искусства, реализовывались в науке и распространялись бизнесом.

Мы считаем, что идеи, которые возникают в искусстве, благодаря инструментарию науки находят воплощение в бизнес-моделях и концепциях, именно поэтому важно уделять теме арта большое внимание, раскрывая красоту идеи, ведь искусство задает темп и рождает мысль, способную воплотиться.

Проект, о котором мы расскажем, стал отличным примером того, насколько связаны сферы между собой, и как их синергия расширяет границы восприятия.

Диаграмма Венна, иллюстрирующая концепцию ASB

В сентябре 2019 года прошел Международный интерактивный фестиваль современного искусства ARTLIFE, с командой которого нам посчастливилось поработать вместе уже второй год подряд, чтобы представить 24 картины лучших современных художников в дополненной реальности. Во время разработки мы перепробовали много различных техник и механик — создавали видео- и 3D- контент, анимировали, рисовали и прибегали к помощи нейронных сетей. Историй набралось так много, что мы просто не можем ими не поделиться.

Шоурил проекта ARTLIFE 2019

Художник-произведение-зритель

Важно было сыграть на первом впечатлении зрителя, вызвать правильную эмоцию для усиления впечатления от оригинала, чтобы человек задержался около картины, и она навсегда врезалась ему в память. Картина и ее цифровая копия должны были стать одним целым.

И конечно, мы так же должны были оправдать ожидания зрителя, ведь когда человек смотрит на традиционную картину, его воображение дорисовывает сюжет, мозг дополняет реальность картины. Нашей задачей было сделать так, чтобы визуализация не была в диссонансе с естественными чувствами и эмоциями.

В этом вопросе нам помог сугубо дизайнерский навык — эмпатия. Мы ставили себя на место гостя выставки, который впервые видит произведение, и старались почувствовать за него. Какое настроение испытывает человек от просмотра картины? На какие мысли она может навести? Все чувства фиксировались и выводились на обсуждение внутри рабочей группы. И только после этого мы приступали к реализации картины.

На схеме ниже — пайплайн, которому мы следовали на протяжении работы над проектом.

Пайплайн работы над проектом

Синергия классического искусства и технологий

В таких случаях было невозможно обойтись без hand-paint, когда 3D дизайнер использует цифровые инструменты, графический планшет для ручной прорисовки каких-либо элементов — как художник кистью по мольберту.

Например, при работе над картиной Давида Давтяна, было решено создать эффект вылетающих из нее фруктов. Чтобы связать цифровой контент и стиль картины, мы вручную рисовали текстуры — прямо по 3D модели. Это не только позволило объединить традиционный подход и технологию, но и помогло нам через стилизацию уйти от техники реализма в XR.

Картина Давида Давтяна, AR контент @phygitalism
Скриншот из программы Substance Painter. Рисунок текстуры по фотосканированной модели

Определившись с идеями и эмоциональным посылом, мы стали разбирать технические стороны реализации.

Платформа для разработки

В 2019 году мы решили продолжить развитие уже доступного в сторах приложения — обновили дизайн, добавили новый раздел Аудиогид и создали новый функционал для модуля дополненной реальности.

В процессе работы мы тестировали несколько платформ для разработки дополненной реальности. Так как нам предстояло работать с картинами, на которых будет появляться AR-контент, самым важным критерием выбора было качество трекинга изображений.

Мы решили остановиться на платформе Vuforia, с которой работали раннее.

К сожалению, в рамках работы платформы на территории РФ, приобрести платную версию невозможно — поэтому мы использовали бесплатную версию с вотермарком. Но это никак не помешало нам в получении качественного результата :)

Картина Анны Березовской, AR контент @phygitalism

Распознавание маркеров

Пример определения алгоритмом точек для привязки

Некоторые картины были плохими маркерами, камера смартфона не могла их распознать. Чтобы обойтись без QR-кодов и лишних наклеек рядом с картиной, которые взяли бы на себя роль маркеров (за счет добавления большего количества уникальных элементов), было принято решение повысить контрастность исходников в Unity. Это помогло повысить качество считывания.

Оптимизация

Советы по оптимизации:

  1. Текстуры. В первых вариантах наши текстуры были высокого разрешения, потому что мы смотрели на визуализацию с мониторов компьютера, и нам хотелось получить максимально хорошее качество. Но когда мы стали тестировать с телефона, сразу стало понятно, что необходимо оптимизировать их минимум в два раза, с учетом разрешения экрана телефона и масштаба, в котором зритель будет видеть контент.
  2. Формат. Приложение собиралось в Unity3D. Мы заметили, что формат .jpeg читается неоднозначно: в папках проекта был показан один вес, внутри проекта и приложения — другой. Когда мы перевели все .jpeg в .png, проблема исчезла.
  3. Шейдеры. Большую часть анимаций мы делали в After Effects и загружали рендеры в .mp4 в проект. Вскоре стало понятно, что более оптимальный вариант — использование шейдеров, так как они дают гораздо большую свободу творчества, чем готовые рендеры. И в плане эффективности гораздо удобнее работать на базе одного софта, чем одновременно использовать несколько программ. Подробнее о шейдерах и том, какие преимущества дает их использование, мы расскажем в следующей истории.

Кроме идейной, арт и технологической составляющих, проект Artlife 2019 так же имел самоцелью повышение цифровой грамотности гостей, посетивших его и просмотревших AR. Мы хотели внести свой вклад в восприятие 3D контента зрителями, показав, как можно взаимодействовать с трехмерным контентом, на примере интуитивно понятных механик.

Вылетающие 3D элементы подталкивали зрителя обойти их, приблизиться и отдалиться. На картине с интерактивом появлялась подсказка, куда необходимо нажать и что необходимо сделать.

Этот опыт внес вклад в восприятие каждого зрителя, впервые столкнувшегося с подобного рода визуализацией — дал понимание того, что с цифровыми 3D объектами можно взаимодействовать так же, как с реальными.

Пришло время уходить от плоских визуализаций.

Мы получили отличный опыт, работая над проектом, и не собираемся на этом останавливаться. Эксперименты с phygital-искусством и его восприятием только начинаются.

Предлагаем вам самостоятельно посмотреть на оживающие картины — скачайте приложение Artlife и наведите камеру устройства на работы по ссылке ниже.

Скачать приложение: App Store / GooglePlay

Картины: GoogleDrive

Приятного просмотра!

Наш телеграм-канал — PHYGITAL ART

Современное искусство и технологии. Здесь следят за необычными идеями и их воплощением.

следующая часть>

Автор

Катя Токсик

toxic@phygitalism.com

instagram: katya.toxic

instagram: phygitalism

PHYGITALISM

Создаем проекты на стыке XR, ML и других интерактивных…

PHYGITALISM

Создаем проекты на стыке XR, ML и других интерактивных технологий

PHYGITALISM

Written by

Мы - команда PHYGITALISM, реализуем фиджитал-проекты и много экспериментируем с XR, интерактивными технологиями и машинным обучением.

PHYGITALISM

Создаем проекты на стыке XR, ML и других интерактивных технологий

Medium is an open platform where 170 million readers come to find insightful and dynamic thinking. Here, expert and undiscovered voices alike dive into the heart of any topic and bring new ideas to the surface. Learn more

Follow the writers, publications, and topics that matter to you, and you’ll see them on your homepage and in your inbox. Explore

If you have a story to tell, knowledge to share, or a perspective to offer — welcome home. It’s easy and free to post your thinking on any topic. Write on Medium

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store