I8MM: INT8 行列積向け ARM 拡張
INT8の行列積の計算を行うことができるI8MM の使い方の紹介です。
I8MMの概要
AI 推論に必要なデータの精度は、多くの場合 8 ビット整数 (INT8) で用が足りると知られていますが、 CPU や GPU などのプロセッサは最近になるまで INT8 の計算を集中的に行うワークロードは想定して設計されていませんでした。近年の AI ブームに合わせて INT8 の計算処理がこれらのプロセッサに追加されるトレンドがあり、例えば x86 における…
