Dec 27, 2022
時雨堂 2023 年ロードマップ
あくまで予定です
時雨堂製品の 2023 年ロードマップを公開します。
WebRTC SFU Sora
基本的には中長期的なタスクがメインです。
- クラスター機能改善
- 帯域推定改善
- 録画機能改善
- ノード間転送によるスケールアウト機能
機能を追加するのではなく安定性や性能をよりよくしていくという方針です。そのため大きく目立つような機能というのはありませんが、より安心して、より意識する必要が無い製品を目指します。
もちろん libwebrtc が対応してくる新しい機能には積極的に対応していく予定です。
一つだけ大きめの機能として WHIP / WHEP の実装を検討しています。これは WebRTC を利用した片方向配信機能です。OBS が対応することもあり Sora でも対応を検討していきたいと考えています。
Sora Cloud
2022 年 12 月にリリースした Sora のクラウド版は、今まで提供してきた OSS ツールのクラウド化や、ログの全文検索機能など、より気軽に Sora を使い始められるようなサービスを提供していきます。
- 開発版 Sora 提供
- Audio Streaming Gateway Suzu クラウド版の提供
- Recording Composition Tool Hisui クラウド版の提供
- WebRTC Stats Collector Kohaku クラウド版の提供
- ログ検索機能
- セキュリティログ対応
- 2FA 対応
使いやすく、気軽に使い始められて、大規模でも利用できるようにしていきます。
Sora SDK
全体的にドキュメントを充実させて、サンプルも増やしていく予定です。
Sora JavaScript SDK
大きな変更は予定していませんが、中身を色々と書き換えてドキュメントをよりわかりやすく、使い始めやすくしていきます。
JavaScript SDK から Web SDK にすることを検討しています。Node.js などで動くわけではないので誤解を招かないようにしようと考えています。
Sora iOS SDK
C++ SDK ベース版を提供していく予定です。インターフェースを同一にすることで、気軽に切り替えられるようにします。
Sora Android SDK
iOS SDK と同様、 C++ SDK ベース版を提供していく予定です。
Sora Unity SDK
基本的には大きな変更点は予定していません。C++ SDK への追従を予定しています。
Sora C++ SDK
C++ SDK は投資をしていく予定です。特に音声や画像処理機能を追加していきます。
- Google MediaPipe を SDK に組み込みます
- Google Magritte を SDK に組み込みます
- whisper.cpp のリアルタイム版を組み込むことを検討しています
これ以外にも組み込んだ方が良いと判断した処理系を C++ SDK に組み込み、他の SDK でも気軽に利用できるようにしていきます。
Sora Flutter SDK
C++ SDK をベースにして絶賛開発中です。Web 版は優先度低めで優先実装待ちに仕様と考えています。それ以外は検証して、来年前半にはリリースできると思います。
Sora Python SDK
新しく C++ SDK をベースにした Python SDK を提供します。これは主に機械学習での利用を想定しています。
Sora Tools
Recording Composition Tool Hisui
録画合成については 2023 年は主軸にしようと考えています。クラウド版を提供する事もあり、投資していきます。
- AV1 対応
- Lyra 対応
- whisper.cpp を利用した字幕対応
- NVIDIA GPU ハードウェアアクセラレーター対応
- Bazel 化
- Ubuntu 22.04 対応
- 正式ドキュメント提供
大きめの対応をかなり入れる予定です。
WebRTC Stats Collector Kohaku
最新の W3C WebRTC Stats API へ対応していきます。クラウド版の提供に合わせて、現時点では Grafana の利用を想定しているグラフ部分も独自に提供できればと考えています。
Audio Streaming Gateway Suzu
リアルタイムな音声による文字起こしは需要がかなりあると考えており、こちらもクラウド版を提供します。
まずは AWS と GCP への対応ですが、whisper.cpp を利用したバージョンも提供予定です。
WebRTC Load Testing Tool Zakuro
より負荷の解析をしやすいように TimescaleDB への統計情報追加機能を予定しています。
Sora Archive Uploader
AWS の環境変数やクレデンシャルへ対応します。機能改善は続けていきます。
Sora exporter
最新の Sora へ追従していきます。積極的な変更などは特に予定していません。
Sora E2EE
MLS + SFrame の対応をしたいと考えてはいます。ただ ACME-SSO などいろいろな機能が無いと実現が難しいため、当面は優先度低めです。
Momo
現在、時雨堂では優先度があまり高くありません。ゆっくりとメンテナンスをすすめていきます。
Ayame
いろいろ機能を改善していく予定です。より使いやすく実際に商用で利用できるレベルに持っていきます。
- WebSocket を切断しても利用可能にするスタンドアローンモードへの対応
- OpenMetrics 統計情報対応
- ログ周りの整備
Ayame Web SDK
残念ながら現在の SDK は良い製品とは言えないので、1 から書き直そうと検討しています。
Media Processors
明るさを自動調節するライトアジャストを追加予定です。また whisper.cpp Wasm を利用してブラウザによる文字起こしも検討しています。
Google から発表された人物モザイクツール Magritte が Wasm 化してブラウザで利用できればと思います。
Media over QUIC (仮)
現在 Zig + Erlang/OTP で開発している WebTransport によるメディアサーバーをの検証版をサービスとして提供したいと考えています。
これは Twitch / Meta / Cisco が策定している Warp を採用して、片方向配信を行う仕組みです。
まずは無料で検証できるサービスを提供し、その後パッケージ製品として販売、最終的にはクラウド版を提供していく予定です。
パッケージとクラウド、そしてオープンソースの３つにガンガン投資していきます。ML (Machine Learning) を利用した技術がリアルタイムな世界でも当たり前になっていくと考えています。
自分たちは ML の専門家ではないため、公開されている ML ライブラリをうまく自社 SDK やツールに組み込んでいければと思います。
