Измени музыку будущего

Alex K — Mubert

7 июля в рамках зоны Miller на Alfa Future People мы презентовали алгоритм, в реальном времени создающий бесконечный techno стрим, основанный на эмоциях.

Чтобы персонализация стала возможной, мы объединили силы с несколькими техно продюсерами, которые создали семплы разного звучания и характера, от minimal и dub techno до acid и breaks. Mubert в реальном времени подбирает закономерности и паттерны, свойственные этим жанрам и сохраняет настроения слушателей, которые постоянно обновляют и меняют общий бесконечный поток техно музыки.

Совместно с Bootleg (BBDO Group) и голландским продакшеном MediaMonks была разработана механика, позволяющая каждому внести свой вклад и изменить звучание трека. За отправную точку берется фотография пользователя, которую он загружает или делает на сайте. Алгоритм распознает ряд параметров человека: пол, возраст, а также его основную эмоцию. Каждый из этих визуальных параметров привязывается к музыкальным параметрам. Таким образом, извлекая характеристики внешности каждого отдельного пользователя, генерировался новый уникальный музыкальный поток.

Для максимального охвата пользователей мы пошли на риск и выбрали браузер единственной платформой. Музыка сводится из семплов прямо во фронтенде, получая их через наше API. За параметры для генерации отвечает скрипт face recognition. API Mubert одновременно отдает значения амплитуд волны с каждого инструмента, что дает большие возможности для визуализации. Такой подход предполагает постоянный поиск компромисса между амбициями и ресурсами. Каждый процесс на счету, оптимизируются абсолютно все аспекты и методы приложения, делая программирование похожим на искусство.

Опыт и амбиции команд, создавших этот проект позволили музыке выйти на новый уровень, расширив свои границы через дополнительное измерение — настроение человека. Сочетание нескольких технологических решений дали возможность тысячам людей прикоснуться к процессу создания музыки через простой браузер.

Шаг за шагом мы движемся в направлении генерации музыки, пробуя разные решения и подходы. Персонализация и адаптация музыки под личные черты человека неизбежно войдет в нашу жизнь, и сегодня мы вместе присутствуем при рождении и становлении музыки будущего.

Alex K — Mubert

Written by

Mubert Founder. http://mubert.com

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade