MIAMI: A Mixed Reality Interface for AI-based Music Improvisation

In this research, I created a mixed reality interface and system for improvisation with deep generative music models, named MIAMI, which stands for “a Mixed reality Interface for Ai-based Music Improvisation”. This was achieved by linking a 3D interface using Microsoft Hololens, a Python program that loads and executes generative models, Ableton Live which is a Digital Audio Workstation (DAW), and a Max for Live (M4L) device running on it. By incorporating the interface itself into the live space, we are able to achieve physical movements and visual augmentation that were not possible in conventional improvisational performances using music generation interfaces, demonstrating the possibility of a new musical experience.

本研究では、深層学習による音楽生成を用いた即興演奏のためのMixed Reality インターフェース、およびそのシステム、MIAMI (a Mixed reality Interface for Ai-based Music Improvisation) の制作を行った。Microsoft Hololensを用いた3Dインターフェース、生成モデルを読み込み実行するPythonプログラム、DAW(Digital Audio Workstation)の一つであるAbleton Live、及びその上で動作するMax for Live(M4L)デバイスを連携させることで実現した。これにより、インターフェースそのものがライブ空間に組み込まれることで従来の音楽生成インターフェースによる即興演奏にはなかった身体動作や視覚的拡張(visual augmentation)を獲得し、新しい音楽体験の可能性を示した。