Интуитивный UX и 40 картин в AR. Что нового в приложении ArtLife 2020?

PHYGITALISM
Oct 8, 2020 · 7 min read

Часть 1 / Часть 2 / Часть 3

Уже третий год мы являемся партнерами международного интерактивного фестиваля ARTLIFE FEST по разработке мобильного приложения с дополненной реальностью. В этой статье хотели бы поделиться с вами ключевыми изменениями приложения за эти несколько лет, некоторыми мировыми тенденциями развития AR и немного затронуть workflow реализации проекта.

О реализации проекта в 2019 году вы можете узнать из этого цикла статей.

ARTLIFE FEST хорошая площадка для популяризации XR технологий. Благодаря ежегодному сотрудничеству с фестивалем, мы знакомим все больше и больше людей с технологиями и обучаем опыту использования технологии дополненной реальности.

Дополненная реальность позволяет посмотреть на картины с другой стороны, расширить восприятие и создать новые смыслы. Мы надеемся, что знакомство с технологией вдохновило посетителей на новые свершения и открытия :)

Статистика и развитие приложения

Каждые версии приложения существенно отличалась друг от друга, в таблице 1 вы можете увидеть что именно:

В этом году мы в 2 раза увеличили количество картин с дополненной реальностью, сделали интерфейс более удобным и интуитивно понятным, а также провели много экспериментов и исследований нейросетей.

Интуитивный UX приложения

Чтобы сформировать подход к UX приложения мы провели предварительную работу, проанализировав наиболее частые проблемы пользователей, с которыми мы сталкивались исходя из нашего опыта реализации AR приложений. Нашей задачей было заранее минимизировать возможность их появления:

  • Робкие пользователи

Часто пользователи чувствуют себя дискомфортно и зажато, когда тестируют приложения с дополненной реальностью. В этой версии мы добавили больше игровых механик, благодаря этому люди стали взаимодействовать с контентом и это происходило нативно — приложение само подсказывало, что тебе нужно делать.

  • “У меня ничего не происходит”

Некоторые пользователи AR не всегда до конца понимают, что нужно делать с приложением, особенно, когда поведение контента зависит от них. Мы добавили специальные 3D подсказки, которые сопровождали гостей выставки и объяснили, что именно нужно делать.

  • Резкое появление контента

Резкое появление контента может смутить пользователя, уменьшить эффект от увиденного. Особенно когда цифровой слой оказывается слишком близко. Для более бесшовного слияния цифрового и физического миров мы добавили анимации плавного проявления контента. Таким образом, гости выставки могли наблюдать за раскрытием сценария происходящего на виртуальной картине.

  • “Где тут активировать AR? Куда нажимать?”

Добавить функцию AR в приложение — это только начало пути, следующий важный шаг - объяснить пользователю, как с ним взаимодействать, и так, чтобы он это понял.Это довольно сложный вопрос, учитывая то, что пользователи редко пользуются AR в обычной жизни. Важно было продумать взаимодействие так, чтобы AR включался максимально просто, а не через несколько шагов внутри приложения. Поэтому мы решили привязать активацию AR к поднятию телефона в вертикальное положение, ведь именно в таком положении пользователь привык снимать видео на смартфон — и так же просматривать AR-контент. Таким образом, приложение при помощи гироскопа само понимает, когда и что тебе нужно.

Реализация 40 картин в AR

Технически мы реализовали 42 картины, но только 40 из них вошли в финальную версию. Из года в год становится всё сложнее удивить пользователя контентом в AR, поэтому значительная часть картин были интерактивными.

Использование нейронных сетей

Наша компания одна из немногих проводит научные исследования в области ML и 3D ML в России. По ссылке вы сможете почитать наши материалы по теме и узнать больше о подходах к исследованиям:

наши статьи по соответствующему тегу

Мы решили использовать эти знания в проекте Artlife, тем самым полностью реализовать ASB концепцию (Art, Science, Business). Мы тестировали разные нейронки, чтобы с одной стороны автоматизировать ряд задач, а с другой - найти интересные решения для картины, которые можно реализовать по новым пайпланам. Подробнее о реализации картин с их помощью вы можете почитать в этой статье.

На наш взгляд, благодаря ML технологиям можно делать некоторые вещи быстрее и интереснее. Мы подходим к этому процессу как к составляющей наших задач по иссследованию ML (конечно, развертывание необходимой нейронной сети и ее настройка занимает значительную часть времени, но в целом это коррелирует с нашими ресерч-задачами).

Статистика и развитие AR технологий

Хотим с вами поделиться статистикой использования приложения за время проведения выставки, чтобы далее проанализировать ее значение в разрезе международных трендов:

В этом году приложение скачало 30% посетителей выставки (рассчитано только по тем пользователям, которые были согласны на передачу статистических данных).

Это хорошая цифра для приложения “разового использования” — то есть тех, которые устанавливаются и используются в контексте конкретного события.

Стоит заметить, что очень трудно заставить потребителя, даже приверженца бренда скачать отдельное приложение, поэтому большинство контента все-таки реализуется через социальные сети — 78%.

Также в этом году мы попали в топ чарты сторов, в Google Play и App Store мы были на 7 и на 21 месте соответсвенно.

Особенно приятно получать положительный фидбек от пользователей и организаторов выставки :)

Это дало нам лично убедиться, что с каждым годом рынок мобильного AR растет, на это влияет много факторов:

  • степень развития устройств и ПО
  • количество инвестиций в AR технологии
  • большая узнаваемость технологии
  • большее понимание прикладной части

К 2020 году аудитория мобильного AR достигла почти 2 млрд. людей.

Рынок пользователей дополненной реальности вырос почти в 2 раза относительно 2018 года.

Так же как и расходы на создание приложений с AR:

По информации arinsider.co в 2020 году:

  • Число смартфонов, поддерживающих AR (поддерживающих ARKit и ARCore) достигает 1 млрд.
  • Ожидается, что число активных пользователей AR достигнет 598 млн, из которых более 300 млн. — пользователи Facebook (Instagram&Messenger) и 187 — Snapchat.
  • Среди платформ лидирует просмотр с мобильных устройств и через Web.

2. Немного о реализации проекта

Стоит сказать, что это один из любимых проектов наших художников, так как не часто сервисная компания может похвастаться такой свободой в реализации контента и легкостью его согласования. Спасибо нашим партнерам за доверие и свободу творчества :)

В целом, наш пайплайн реализации проекта был довольно стандартным:

Каждую неделю мы готовили DEMO для клиента и отправляли на согласование промежуточные работы, из-за пандемии большая часть коммуникации проходила удаленно.

Благодаря настроенному CI проекта можно было достаточно быстро скачать и протестировать новый собранный билд, что значительно упрощало работу.

К сожалению, увидеть все картины в живую удается только на этапе завершения проекта, и это иногда вызывает некоторые трудности и хотфиксы. Например, в этом году столкнулись с несоответствием пропорций предоставленных сканов и оригинальных картин. В некоторых случаях тень от рамы или паспарту так же мешали встраиванию цифрового контента 1 к 1.

Примечательно, что для художников на выставке digital контент был сюрпризом, поэтому было очень интересно наблюдать за их реакцией при первом просмотре AR. В большинстве случаев фидбек был положительным, но 1 художница отказалась от внедрения AR на свою картину, поэтому она не вошла в финальный билд.

Думаю, благодаря этому было проще согласовывать контент, но при этом при коллаборации с художниками могли получится более интересные интерпретации digital слоя, так как мы могли бы еще больше раскрыть замысел автора.

3. Про жизнь приложения

Обычно жизнь таких ситуативных приложений заканчивается в рамках выставки, но в этом году мы добавили пару небольших идей с AR в:

  • журнал о выставке
  • открытки
  • мерч

Радует, что часть средств, вырученных за продажу брендированной продукции, пойдут на благотворительность. Это перекликается с культурой нашей компании.

Если вы не посетили выставку, но хотели бы немного окунуться в прошедшую атмосферу, вы можете скачать приложение ArtLife (IOS/ Android) и протестировать его с картинами (ссылка). Будем рады вашему фидбеку и подписывайтесь на наш телеграм канал про Phygital art.

Всегда очень приятно наблюдать за людьми, использующими приложение впервые. Интересна их реакция, удивление, их предвкушение — а что же будет дальше? какой цифровой слой в следующей картине? Мы рады, что наши совместные с художниками работы впечатляют посетителей, а phygital-технологии становятся все более узнаваемыми и используемыми.

Это вдохновляет нас на новые исследования и проекты.

следующая часть>

Автор

Лера Фимина,

СОО

PHYGITALISM

lera@phygitalism.com

PHYGITALISM

Создаем проекты на стыке XR, ML и других интерактивных…

PHYGITALISM

Создаем проекты на стыке XR, ML и других интерактивных технологий

PHYGITALISM

Written by

Мы - команда PHYGITALISM, реализуем фиджитал-проекты и много экспериментируем с XR, интерактивными технологиями и машинным обучением.

PHYGITALISM

Создаем проекты на стыке XR, ML и других интерактивных технологий