NVIDIA Maxine と MEC を組み合わせ 5G の課題解決に挑戦
エヌビディアの村上です。今回はエヌビディア本社の Developer Blog から 5G MEC と NVIDIA Maxine を組み合わせた SoftBank 社の興味深い PoC について紹介したいと思います。
NVIDIA Maxine とは ?
NVIDIA Maxine は映像会議システム等の映像ストリーミング サービスに AI 技術をベースとした様々な付加価値機能を提供する GPU に最適化された SDK です。
提供機能は、背景合成や映像の超解像のような映像に対する機能から音声ノイズ除去、映像コーデックまで多岐に渡っています。また NVIDIA Rivaと組み合わせて映像会議システムに対してクローズド キャプション等の会話支援機能を提供する事も可能です。
2021 年 6 月現在 GA になっている NVIDIA Maxine の SDK は以下の通りです。
それに加えて NVIDIA Video Codec SDK は、映像会議システムの為のインフラを支援するために、ハードウェア アクセラレーションによるエンコードとデコード機能を提供しています。
今後、AI Face Codec という H.264 より高圧縮な映像コーデックや視線合わせの機能を始め様々な機能が Maxine に追加されていく予定です。
MEC (Multi-Access Edge Computing) とは?
PoC 概要を解説する前に、モバイル ネットワークに関する用語の簡単なおさらいをしようと思います。MEC は Multi-Access Edge Computing (マルチアクセス エッジコンピューティング) の略で エッジ の近くに計算リソースを置く事で、 インターネットアクセスを減らし応答性能を上げる為のネットワーク技術です。
5G は「超高速」「超低遅延」「複数同時接続」などの特徴を持っており、これにより遠隔医療やスマートファクトリーなど、今まで実現できなかった新しいユースケースの実現が期待されています。その鍵を握るのが MEC 技術です。
MEC サーバと呼ばれるサーバーをモバイル ネットワーク内 (インターネット に出る手前) に配置し、そこでスマートフォン等の 5G 端末から送られてきたデータの処理を行う事でレスポンス性を高めます。MEC サーバーは大量のデータを少ない遅延量で処理する役割を担っており、高い計算性能が求められます。その為、MEC サーバーにはアクセラレータとして GPUが搭載されているケースが多々あります。
GPU は映像レンダリングから、ディープラーニングを始めとした機械学習処理まで様々な処理の高速化に使用する事ができます。
「5G はサクサク動くな」という感動的なユーザー エクスペリエンスの為にはこの MEC 技術をいかに「上手に使うか」がとても重要です。
5G ネットワークの現在と課題
現在日本でも開始されている 5G サービス ですが、こちらについても現在の状況を纏めてみます。
現在の 5G ネットワークは NSA (ノンスタンドアローン) 構成で動作しています。この構成は、4G LTE ネットワークと 5G 基地局を組み合わせたもので、ネットワーク スライシングなどの 5G の特徴となる機能の一部は利用できません。それらの制約は 5G SA (スタンドアローン) 構成の運用が開始されたタイミングで解除されます。
つまり 5G は NSA 構成、SA 構成の 2 段階で進化します。各ステップで設備投資が必要であり、現在の 5G は初期デプロイ段階であり制約があります。
以下のグラフは、無線ネットワークにおけるカバレッジ (どの程度のエリアをカバーできるか) とキャパシティ (無線ネットワーク品質) の関係性を示したグラフです。このグラフから読み取れる通り、ローバンドを使用した場合、カバレッジに優れていますが、キャパシティはハイバンドを使用した場合と比較すると劣ります。
一方、ハイバンドを使用した場合、キャパシティに優れておりユーザー に優れたネットワーク体験を提供できますが、カバレッジは狭くなります。
5G の最終目的はミリ波と呼ばれる高周波数帯を使用し、超高速、超低遅延を実現する事です。高周波数帯であればあるほど、カバレッジは狭くなりますので、より沢山の基地局を用意する必要があります。様々な場所で5G を快適に使えるようになる為には、設備投資や国からテレコム キャリアへの周波数割り当て等のステップが必要になる為、この目標の達成には時間がかかります。
その為 SoftBank 社を始めとする一部のテレコム キャリアは、4G LTE で使用しているローバンドの 5G での転用を開始しています。このアプローチはミッドバンドやハイバンドで 5G を運用する場合と比較してより広いカバレッジを確保する為ですが (もちろんミッドバンドで 5G サービス を開始している キャリア もあります) 、キャパシティの問題を解決する必要があります。
また技術的な課題もあります。無線ネットワークは通常アップリンクよりダウンリンクの速度が出やすいように設計されています。これは一般的なスマートフォンにインストールして使う主要ビデオ ストリーミング アプリケーション (動画配信 サービス など) がダウンリンクの帯域を必要としている為です。
しかしアプリケーションの一部はダウンリンクだけでなくアップリンクの帯域を必要とします。代表的なアプリケーションは映像会議システムです。
現在の 5G は初期デプロイ段階であり、アップリンクへのリソース割り当ては十分ではありません。その為全世界のテレコム キャリアにとって5G アップリンク帯域の節約は共通の課題です。
5G の様々な課題解決の鍵を握っているのは MEC 技術です。MEC を上手に利用する事で初期デプロイ段階である現在の 5G の問題を解決できる可能性があります。
SoftBank 社の NVIDIA Maxine PoC 概要 ~ AI と MEC を組み合わせて 5Gの 課題を解決 ~
それでは本題である SoftBank 社の NVIDIA Maxine と 5G MEC を組み合わせた PoC の概要をご紹介したいと思います。
今回の検証は 5G 無線ネットワークを用いて映像会議 システム に参加するシナリオが想定されており、5G アップリンクの帯域が十分でない場合でも、5G MEC を活用する事で低遅延かつ映像会議システムのストリームを高品質に保つ事が出来ないかを検証した PoC になります。
まずは以下の SoftBank 社 PoC 構成図をご覧ください。
通常、映像会議システムを携帯電話から活用する為には、最初に映像会議システム用のクライアント アプリを携帯電話にインストールする必要があります。
しかし、この検証では携帯電話ではなく、ソフトバンク 社 5G 網内の MEC サーバー上に映像会議システム (今回は Zoom を使用) のクライアントをインストールしている所がポイントです。
携帯電話の音声と映像は 5G ネットワークを介して MEC に到達します。MEC はアップリンクの帯域の制限により劣化した映像と音声を NVIDIA Maxine を使って高品質なメディアに復元し、映像会議システムに仮想カメラと仮想マイクロフォンとして入力します。
音声ノイズ除去や超解像等のメディアを高品質に変換する処理は携帯電話ではなく、MEC 上の NVIDIA GPU を用いて行われる為、5G 端末に特殊なハードウェアは必要なく、5G MEC を介する事で低ビットレート (今回の検証では H.264 180P (CBR)) で送られたメディアの品質改善を低遅延で行う事が出来ます。
PoC で使われたハードウェアやソフトウェア、実装概要に関する情報はNVIDIA Developer ブログの記事に記載がありますのでより詳細が知りたい方はぜひご確認ください。
以下の画像は Video Effects SDK で提供されている Super Resolution 処理の結果になります。
左半分がオリジナル画像 (Raw Data) 、右半分が Maxine のSuper Resolution の出力になります。ブロック ノイズやモスキート ノイズ等のノイズが除去され、高周波 (エッジ) が復元されている事が分かります。
NVIDIA Maxine SDK を使う事で独自開発を行うことなく最新の AI 技術ベースの付加価値を映像ストリーミング サービスに簡単に追加する事が可能です。
今回の検証は室内で行いましたが、SoftBank 社は Maxine の高品質な音声ノイズ除去機能や超解像機能と 5G MEC を組み合わせる事で、車内等屋外からより快適に映像電話会議システムに参加できるようになると考えています。
まとめ
今回の検証により、SoftBank 社は Maxine と MEC を組み合わせる事で、すべてのユーザーに低遅延性だけでなく、高品質な映像と音声を届ける事ができる事を確認しました。
今回の検証では Maxine の Super Resolution 機能と Audio Denoise 機能を使用しましたが、SoftBank 社は Maxine AI Face Codec によるアップリンクの帯域削減のシナリオも検討中です。
如何だったでしょうか。NVIDIA Maxine に興味を持たれた方はぜひ以下のリンクから NVIDIA Maxine の詳細情報を確認の上、SDK をダウンロードしてみてください。
