Фиджитал-искусство. Искусственный интеллект и арт.
--
Международный интерактивный фестиваль современного искусства, 4 дня, 20 000 гостей и 5 000 скачиваний приложения с дополненной реальностью, разработанного нашей командой. В этой серии заметок мы поделимся своим опытом разработки фиджитал-искусства — расскажем, как можно оживить картины, используя искусственный интеллект.
Когда мы начали подготовку AR контента для выставки, то столкнулись с очевидным, но интересным фактом. Художники и их искусство поразительно отличаются. Будет неправильным просто взять и под копирку перенести все картины в в дополненную реальность. Для некоторых картин стандартные инструменты, например разбивка на слои, анимация или создание 3D модели, не работали достаточно хорошо. Некоторые получившиеся эффекты выглядели непрезентабельно, иногда мы понимали, что в рамках таймлайна мы не можем потратить нужное количество времени на создание контента для картины.
В связи с этим, помимо использования стандартных инструментов из нашего пайплайна, мы искали способы — как разнообразить реализацию картин, и сделать рабочий процесс более эффективным. Поэтому обратились за помощью к нейронным сетям и машинному обучению, ведь большую работу тяжело вести в одиночку. Самая хорошо предобученная нейросеть не знает, зачем она делает свою работу. Самый умный человек в мире не может обрабатывать столько же информации, сколько может компьютер, поэтому единственно верное решение - это работать в симбиозе, решать задачи вместе, будь то сфера бизнеса, науки или искусства. Концепция такого взаимодействия человека и искусственного интеллекта называется Кентавр - в честь грациозных мифологических созданий, в параллели с тем, как античные писатели хотели наделить это существо лучшими чертами мыслящего человека и грациозной и сильной лошади.
Про концепцию Кентавр можно прочитать больше в этой прекрасной статье.
Технология ML (машинное обучение) стремительно развивается во многих сферах, особенно в искусстве. Нейросети становятся авторами художественных произведений и их творения уходят из под молотка известных аукционов за крупную стоимость. Кто в этом случае остается реальным автором — нейросеть, которая сгенерировала картину, или человек, который задал нейросети необходимый датасет?
Для нас, здесь не стоит вопрос авторства. Ведь тот, кто однажды придумал кисти, и тот, кто нарисовал ими картину — все воспринимаются нами как творцы. А сами кисти — как инструмент творчества. Так и нейросети — это кисти, о которых мы хотим вам рассказать. Чем больше прикладных и творческих возможностей появляется у современного художника, благодаря алгоритмам — тем больший ресурс художник сможет вкладывать в идейную составляющую работы, делая своё искусство глубже. Ведь чем проще сделать мазок кистью, тем больше можно сосредоточиться на идее и проработке произведения.
В своей работе мы не использовали возможности генерации изображений, но активно экспериментировали с нейросетями, которые позволяют работать с созданием контента более эффективно — экономить время и получать качественный результат.
Мы расскажем о том, какие инструменты помогли нам в реализации проекта, и в работе над какими картинами мы их применили.
Инструментарий
В процессе поиска платформ, которые могли бы помочь нам в решении задачи — качественного “оживления” картин, мы перепробовали множество вариантов. Ниже описаны те инструменты, которые в итоге пошли в продакшен и уже могут выдавать хороший результат.
На этой платформе мы увеличивали разрешение текстур. Искусственный интеллект выделяет детали низкого качества, которые сложно разобрать, и достраивает дополнительные пиксели на их основе. Тем самым, разрешение изображения становится лучше, без его растяжения. И это работает лучше, чем аналогичный инструмент в фотошопе, где используется простой алгоритм увеличения микроконтрастности между тонами объекта.
Эксперименты показали, что инструмент не умеет анализировать, какой именно объект изображен. На первом примере — удачная работа на картинке, имеющей однотонную текстуру, на ней не видно потери деталей. В то же время, на втором примере — архивной фотографии, результат дает заметные артефакты на коже.
2. Remove bg
Быстрый способ убрать фон с фото или картины (чуть быстрее, чем в фотошопе). Главный плюс функционала — если есть какие-либо неточности, их можно впоследствии отредактировать вручную. В итоге мы не использовали этот инструмент в продакшене, так как нашли его последних этапах реализации, но точно обратимся к нему в следующих проектах.
3. Ebsynth
Инструмент для оживления картин, пока еще не дошедший до релиза, но уже вполне функциональный — позволяет переносить движения с .png секвенции на отдельную картину. Это не нейросеть, но для нас это определенно способ сотворения магии.
Программа анализирует движение пикселей по изображению, что и позволяет переносить любое движение на другую картинку — главное, чтобы направления этих движений совпадали с формами референсного видео.
Нейросеть, обученная на десятках картин известных художников. Инструмент может не просто повторить любое произведение, а даже перерисовать его с нуля, проанализировав цветовые пятна. Пятна берутся за основу “мазков” краски, которые последовательно появляются на полотне — происходит имитация создания картины, схожая с реальным процессом.
Начнем с простого
С первого взгляда на картину мы определили, что нам необходимо создать эффект “вылетающих” из нее домов. Это означало близкое расположение объектов к зрителю и их детальное рассмотрение.
Начальным планом было воспроизводить текстуры домов вручную, перерисовывать их в лучшем качестве, так как на оригинале они довольно мелкие. Но гораздо больше нам больше понравилась идея воспользоваться уже упомянутым letsenhance — увеличить разрешение и обозначить детали. И это дало эффект — дома, подлетающие вплотную к зрителю, смотрелись качественно и отчетливо.
Далее мы смоделировали дома, исходя из их расположения в картине, сделали анимацию вылета на зрителя , и завершили композицию добавлением еле-заметной фигуры человека, бегущего среди толпы.
Нейросеть, сделай всё за меня
Подобный стиль живописи будто бы не предполагает вторжения в его целостность — картина выполнена в достаточно абстрактном стиле, ее исполнение очень сложно поделить на слои в фотошопе или замоделировать.
В этом случае нам пригодилась нейросеть LearningToPaint, описанная выше. Подобный вариант реализации не вторгается в авторский замысел художника, при этом выполняя главную задачу — создание иллюзии “живой” картины.
Эксперименты с EbSynth
Больше всего нас заинтересовал Ebsynth, позволяющий переносить анимацию с видео на статичную картину — поэтому с ним мы провели большее количество экспериментов.
Начали мы со следующей картины, которая в итоге не вошла в релиз:
Идея была очевидна — сделать синхронизацию статичной девушки на картине и девушки в движении на видео. Мы подогнали снятое видео под пропорции персонажа с картины, и в теории это должно было сработать отлично. Как видите на примере ниже — не сработало.
Первый десяток результатов был неудовлетворительным, но, со временем, разобравшись в настройках и достигнув почти идеального результата, мы столкнулись уже с другой проблемой — картина, над которой экспериментировали, просто не подходила.
Опытным путем мы поняли, что из-за своих особенностей программа не очень хорошо работает на рисунках с мелкими деталями и обводкой. Поэтому в случае с этой картиной было решено работать по-другому — разделить ее на слои и проанимировать.
Хотя картина и не вошла в финальную версию приложения, эксперименты с ней дали нам полезный опыт, наработки которого будем использовать в других экспериментах.
При начале работ над следующей картиной стало очевидно, что пришло время воспользоваться инструментом вновь.
На этой картине инструмент сработал абсолютно идеально. В процессе тестов обнаружилось ,что Ebsynth нужно применять там, где нет чётких граней у объектов — в этом случае становится незаметным, что во время анимации исчезают мелкие детали изображения. Мы сняли видео на телефон, сконвертировали секвенцию, загрузили в программу и началась магия. Крупные мазки, которыми нарисована картина, скрыли все дефекты алгоритма, а он, в свою очередь, вдохнул жизнь в это произведение.
Венец экспериментального пайплайна
Эта картина — пример традиционной живописи, с легким воздушным настроением, которое мы должны были спроецировать и на ее цифровую версию.
Для “оживления” героини мы использовали EbSynth, но с оригинальным подходом.
Мы подумали, что если можно перенести любое движение на статичное изображение, то зачем зацикливаться на съёмке видео? Можно сделать анимацию для 3D персонажа или любую симуляцию. Теоретически, на подходящей картине можно смоделировать почти всё в кадре, и перенести движение оттуда.
За основу была взята 3D модель человека, стоящего в такой же позе и на том же месте в кадре, как персонаж на картине. Мы создали анимацию для этой модели, сделали рендер (видео), и итоговую .png секвенцию движений перенесли на героиню картины.
Финальными штрихами стало легкое движение воды через (искажение текстуры шумом) и скользящие лучи солнца, реализованные в After Effects.
Существует расхожее мнение, что использование подобных инструментов — это поиск легкого решения. Это не похоже на процесс создания произведения искусства, где художник движением кисти постепенно вырисовывает произведение. Но мы считаем, что в наше время, когда технологии стремительно развиваются и расширяют границы возможного, это необходимо и важно. Искать решения, позволяющие эффективно использовать самый главный ресурс — время. Именно совместная работа технологии искусственного интеллекта и человека, заключенная в концепции Кентавр, дает возможность не только увеличить скорость работы, но и дать больше художественных возможностей. Достигать большего результата, ценою меньших затрат. Разве это не то, к чему хочется стремиться?
Мы в постоянном поиске 3D ML специалистов в команду— если вам интересна работа с потрясающими технологиями и создание интересных и сложных проектов, пишите нам: we@phygitalism.com
Предлагаем вам самостоятельно посмотреть на оживающие картины — скачайте приложение Artlife и наведите камеру устройства на работы по ссылке ниже.
Скачать приложение: App Store / GooglePlay
Картины: GoogleDrive
Приятного просмотра!
Наш телеграм-канал — PHYGITAL ART
Современное искусство и технологии. Здесь следят за необычными идеями и их воплощением.
Советуем также почитать статьи о реализации приложения для ARTLIFE FEST 2020 в котором мы продолжаем раскрывать тему использования ML для искусства и не только!
