先日、Rust で書いた MP4 ライブラリを OSS として Apache License 2.0 にて公開しました。
以前公開した C++ のMP4 ライブラリは、 Go で書かれた MP4 ライブラリを参考に開発しましたが、今回は MP4 関連の ISO の仕様書を購入し、しっかり仕様を読み込んで開発を行いました。
なぜ今更 MP4 ?
これまで、自社製品であるWebRTC SFU Sora（以下 Sora）では、録画ファイルの出力形式として WebM のみを採用していました。これは、 MP4ファイルが壊れやすいという特性があり、サーバー上で録画することを考慮した場合、WebM 一択だったためです。
ところが、OBS が Hybrid MP4 という壊れにくい MP4 形式を考え出し、公開しました。
これにより、Sora の録画機能として MP4 形式の採用が可能であると判断したのがスタートです。
Sora は Erlang/OTP という言語で書かれていますが、マイナーな言語なため、MP4 ライブラリはありません。一から書き起こす必要があります。
MP4 ライブラリは ISO の仕様によって厳密に決められているため、今回は ISO の仕様書を購入し、仕様に沿った MP4 を出力することに決めました。現時点で、すでに無事 Sora の MP4 出力対応は実現できており、12 月リリースの Sora で MP4 への対応を予定しています。
録画合成ツール Hisui の対応
時雨堂では、 Sora 専用の「録画合成ツール Hisui (以下 Hisui) 」を OSS として公開していますが、現状は MP4 の出力のみで、入力には対応していません。
この Hisui は C++ で書かれており、元々、より安全な Rust で書き直そうと考えてはいました。今回、Sora 向けの MP4 ライブラリを開発したこともあり、同じタイミングで一気に Hisui 向けの MP4 ライブラリも Rust で書き直すことにしました。
つまり、Rust で書き直し、MP4 の入力に対応できるようにした新しい Hisui を作る予定で、こちらは来年年明けぐらいにはリリースできればと考えています。
今回、この一連の流れの中で公開したのが Rust で書かれた MP4 ライブラリとなります。
WebAssembly をうまく使う
Rust は WebAssembly との相性が良いのも強みです。今回 Rust 版の MP4 を公開するにあたり、MP4 ライブラリを WebAssembly 化して、MP4 の簡易的な解析結果を提供することにしました。MP4 ファイルをアップロードすると、解析結果が JSON 形式で出力されます。
Rust で MP4 ！と言われてもピンとこない人でも、ブラウザで MP4 が解析できる！ってなると試してくれます。さらに完全にローカルで動くため、ファイル容量が大きくても困ることはありません。
今後
MP4 ライブラリ (WebAssembly) と WebCodecs を利用して、ブラウザで MP4 を読み込んで変換する仕組みをサンプルとして追加する予定です。
