[Edge Computing] 邊緣運算之nVidia Jetson與Intel NCS2概測
去年(2019年)開始不少評比Jetson與NCS2的文章，而這篇主要評比的接上攝影機之後的效能，這部分比較的不只是AI加速器，還有整個平台的效能。
我找了一個Jetson和openvino都內建且速度夠快的object detection model: mobilenet-ssd v2 (300 x 300)，並且都接上羅技C270攝影機，皆使用內建的程式做frame rate計算，計算的標準不一定完全一致，僅供參考。
比較的三個平台的結果如下:
Raspberry Pi 4 Model B + Intel NCS 2的偵測結果與frame rate顯示如下:
Jetson Nano的偵測結果與frame rate顯示如下:
Jetson Xavier NX 的偵測結果與frame rate顯示如下:
從影片可以看得出來mobilenet-ssd v2 (300 x 300)的偵測效果其實中等，蠻多frame無法正確偵測。
這邊是nVidia官方文件(https://developer.nvidia.com/embedded/jetson-nano-dl-inference-benchmarks)的數據。
nvidia Jetson 官方數據在Jetson Nano是39 FPS，我接上C270的結果是22 FPS。
nvidia Jetson 官方的數據Raspberrty Pi 3 + NCS2 是11 FPS，我使用Raspberrty Pi 4B + NCS2 接上C270則有22 FPS。
另外，我接上自己的筆電(Intel i7–77722HQ@2.8GHz)+ NCS2 接上C270有26 FPS，發現CPU跟NCS2的FPS是有影響的。
接上攝影機之後，CPU、AI加速器、程式非同步設計、USB介面等等都會影響整體的效能，這邊只是做個概測讓大家參考選擇。另外還有就是模型的可轉換性是我比較在意的地方，大部分實務上使用時都會重新訓練模型，甚至會修改模型，模型不一定都能順利轉換到AI加速器上，這也是選擇邊緣運算平台時需要考量的。
最後感謝鴻鵠國際 http://www.honghutech.com/ 提供nVidia Jetson Nano作為這次的測試。
作者
王淳恆 (Andrew Wang)
andrew.wang@findbillion.com
台灣人工智慧學校 經理人班/醫療專班 講師
Kaggle 競賽Expert
沐恩生醫 顧問
曾任:
沐恩生醫 技術長
聯發科技 無線通訊/人工智慧智能技術群 技術副理，負責晶片設計
建騰創達 技術副理，負責IP CAMERA ISP FPGA設計
專長領域:
人工智慧與影像分析
人工智慧與財務分析
10年以上人工智慧經驗
19年以上通訊與影像的晶片設計、訊號處理與演算法相關工作經驗
2項美國專利/6項台灣專利/3項日本專利
