Triton Inference Server 2022 年 1 月のリリース概要
みなさまこんにちは。NVIDIA の山崎です。毎月恒例 Triton Inference Server のリリース内容について、概要をお届けします。例によって、そもそも「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。
What’s New in 2.18.0 (NGC 22.01)
リリースノート本体は https://github.com/triton-inference-server/server/releases/tag/v2.18.0 です。1 月のリリースには以下の機能や改善などが含まれています。
- CPU-only コンテナーのビルドが、TensorFlow2 に対応しました
- ONNX Runtime バックエンドと TensorRT バックエンドで、正式に暗黙の状態管理が利用可能になりました
- 暗黙の状態管理で、初期状態として利用する定数を指定可能になりました
- PyTorch および TensorFlow バックエンドが、AWS Inferentia でのバッチ実行に対応しました
- Jetson 上で、PyTorch および Python バックエンドが利用可能になりました
- Performance Analyzer と Model Analyzer が、ARM に対応しました
今回は比較的小粒なアップデートです。
暗黙の状態管理については、2021 年 11 月のリリース概要でも少し触れていましたが、シーケンス データの処理を行う際に必要となる、中間状態の管理を Triton 内部で行ってくれるという機能になります。以前の記事でも書いた通り、これまでもある程度は中間状態を制御してくれていたのですが、より使いやすくなった、という位置づけです。またあわせて、初期状態はユーザー側での指定が可能になっていますので、暗黙に管理されるとは言っても、ある程度の制御はできるようです。
What’s New に言及されていないアップデート
そのほか、以下の内容が公開されています。
- Optional な入力が実験的に導入され始めたようです
- 統計情報 API で、キャッシュを考慮するかが明示され、キャッシュ関連の統計値も取れるようになったようです
Optional な入力は、入力テンソルを選択的に送信する (or しない) ことができるようにする機能のようです。ただし、現時点では対応バックエンドがないため、将来的に利用可能になる可能性がある、という段階です。(正確には、identity backend のみ実装済みです)
統計情報 API のキャッシュ対応は、既存の統計値の中で、推論リクエストの success 数や queue での待ち時間などだけが、キャッシュ関連の数字を合計したものに変更される、ということのようです。
また今回のリリースについては、特に NGC のコンテナで CUDA が 11.6 に更新されたため、ドライバーの更新が必要になるケースがある点にご注意ください。詳細は Triton Inference Server Release 22.01 の “Driver Requirements” に、
Release 22.01 is based on NVIDIA CUDA 11.6.0, which requires NVIDIA Driver release 510 or later. However, if you are running on a Data Center GPU (for example, T4 or any other Tesla board), you may use NVIDIA driver release 418.40 (or later R418), 440.33 (or later R440), 450.51 (or later R450), 460.27 (or later R460), or 470.57 (or later R470).
と記載されている通り、
- 原則として、バージョン 510 以降が必要 (注. 環境によっては、以下の互換性パッケージで動作することもあります)
- ただし、データセンター向け GPU については、418.40 (またはそれ以降の R418)、440.33 (またはそれ以降の R440)、450.51 (またはそれ以降の R450)、460.27 (またはそれ以降の R460) および 470.57 (またはそれ以降の R470) であれば、互換性パッケージなどにより動作
という状況です。互換性関連の詳細は、CUDA Application Compatibility や CUDA Compatibility and Upgrades、NVIDIA CUDA and Drivers Support をご確認ください。
まとめ
今月は、機能追加としては大きなものがありませんでしたが、NGC のコンテナー イメージの CUDA バージョンが上がっているので、実行環境との整合性を気にしていただかなくてはならない点が大きな変更だったでしょうか。3 月末には GTC も予定されていますので、来月以降、また大型のアップデートが走りそうな予感がします。最新状況が気になる方は、ぜひ GTC にもご参加ください。
その他、疑問点や問題点がある場合、随時コメントなどいただければ幸いです！
