機器學習分類器在沈浸式環境之應用 — — 0. Intro

Goal

隨著 VR 的蓬勃發展，越來越多 VR 相關的遊戲和互動應用都在崛起，而如何能讓使用者在體驗 VR 環境時負擔最少，最能完全沈浸，以及裝置收集到的資訊是否準確，都是很好的研究課題。

這次我們在瀏覽了幾項技術以後，試著描繪了未來可能實現的技術藍圖。

以下是我和 ExcitedMail 共同撰寫並完成的這次小研究的整體介紹，也謝謝 Corn 為我們 Review 及給予許多意見、幫助！

Wii

相信大家小時候或多或少都接觸過任天堂在 2006 年推出的 Wii 這款遊戲機，這款遊戲機除了發行了許多任天堂相關的電玩遊戲，例如馬力歐賽車、馬力歐棒球，還有近期大紅大紫的薩爾達傳說等，也有其他遊戲商發行的多元遊戲類別能供使用者選擇，配合著能多人遊玩的特色，在當時是極為盛行的家庭遊戲機。

Wii 遊戲主機、控制手把，與其中一款光碟片。圖源連結。

但 Wii 除了可以插入額外挑選的光碟片，也可以透過 Wii 的內建系統設置自己的人物，並且在廣場中跟其他使用者透過表情與揮手等姿勢進行互動。

Wii 人物與廣場示意圖。圖源連結。

而同樣經歷過 Wii 主機輝煌時期的我們，這次就想到了，像這樣的廣場互動，若是以 VR 技術來實行，配合動作捕捉與表情辨識等技術，是否能夠達到更貼近現實，讓使用者只要在家就能在虛擬世界和朋友談天說地的願景呢？

Method

為了實現發想，我們針對以下幾項技術進行了調查與研究。

肌音圖 MMG

首先是如何偵測出使用者的手部動作，我們一開始獲得的資料較多是肌電圖（Electromyography，簡稱為 EMG）與影像辨識的實行方法，但在後續的資料查找中，發現工研院曾經開發出一款利用肌肉震動的訊號來獲得更精確手部動作，成本也便宜許多的方法，稱為肌音圖（Mechanomyography，簡稱為 MMG）手勢辨識系統，不僅辨識準確度高，在配戴時也能減少使用者的負擔，因此選為這次技術介紹的文章之一。

Gesture Recognitio

了解到肌音圖這門技術以後，我們開始思考手勢辨識除了能用在判別使用者目前的動作以外，是否也能讓使用者拋棄手把，達到更沈浸的 VR 體驗。而在此目標下，需要解決的是常用的打字輸入問題，目前肌音圖的應用較多為判別手勢，針對更微小的動作，例如在虛擬的鍵盤上打字等輸入需求是否也能一併貼合應用，是待解決與研究的課題，其中一項可能的辦法是訓練更好的機器學習模組，並且改良目前的訊號裝置，讓訊號更加的穩定，連細小的手指動作也能被捕捉並記錄。

文章連結： 機器學習分類器在沈浸式環境之應用 — — 3. 手勢辨識技術

目前的 VR 應用若是遇到需要使用虛擬鍵盤的情形，大多還是透過手把的射線點擊鍵盤打字，費時也費力。圖源連結。

Motion Capture

大部分的 VR 遊戲都是透過遊戲手把操作，雖然舉起手拿東西操作的部分自由度很高，但行走過程中的動作都是透過公司預設好的姿勢。

目前做到 Motion Capture 的方式通常是在人體身上裝許多的 Sensor ，把資料傳回去 Server 進行重建，或是架設多個攝影機，收集多個角度的畫面之後重建。

如果能做到更少的裝置就能重建動作，甚至雙方能進行更多的互動，例如能在虛擬世界中尬舞或是拳擊之類的，勢必能增加廠商及玩家投入 VR 的意願。

利用 VR 進行拳擊訓練。圖源連結。

Facial Expression

不論是近年來的動物森友會或是很久以前的楓之谷，都是透過按鍵選擇表情，同樣也是只能使用遊戲公司建立好的有限表情包。

如果未來更自由的 Facial Expression 方式推出，讓我們能夠更自在的展現臉部表情，例如扮鬼臉等等，並且能夠在捏角色的時候有更自由的選擇，虛擬世界的角色多樣性就能大幅提高，讓我們能展現各自豐富的想像力。（想像力是你的超能力 雄獅文具

文章連結： 機器學習分類器在沈浸式環境之應用 — — 1. Unity Face Capture Tutorial

動物森友會的表情包。圖源連結。

Assisted by ML

這幾年 ML 蓬勃發展，我們可以利用 ML 來輔助上述應用，關於圖片的 ML 已經發展多年，從簡單的 Image Classifier 到能這一兩年來產生各種奇形怪狀圖片的 Diffusion Model 都算是圖片相關 ML 的發展領域。

我們可以訓練各種不同功能的 Classifier 來進行不同領域的分類，比如說手勢的分類器、動作的分類器以及表情的分類器。既然已經有許多學者發想出這麼多好用的 ML 技術，我們當然要拿來好好的利用，並且期待未來能夠開發出更強大的技術。

文章連結： **機器學習分類器在沈浸式環境之應用 — — 2. Pytorch Custom Dataset 機器學習分類器在沈浸式環境之應用 — — 4. Predefined Model and Data Augmentation

用 Stable Diffusion 把名畫的風格進行再創造。圖源連結。

Conclusion

這篇文章只是對後續的系列文做個開頭，後面的文章會針對這些項目做較為詳細的介紹。包括如何透過 Unity 捕捉表情；介紹工研院如何利用 MMG 做到手勢辨識；關於 ML 的部分也會有 coding 的示範，讓想自己試試看的各位可以跟著指示進行操作。

希望各位能在接下來的文章中收穫滿滿，可以的話也請為我們拍拍手> <