多模態設計:提升UX設計的不二法門!

多模態(Modalities)是指多種感官進行融合,也就是人類可以透過五感來實現更輕鬆自然的交流,將使用者的輸入和輸出進行系統自動化互動。具體來說,人類會透過感覺系統來接收周遭的訊息,其中按獲取比例來看,視覺佔83%、聽覺11%、觸覺3.5%、嗅覺1.5%以及味覺1%,每個感覺系統都有各自不同的角色來獲取不同的資訊,藉此方式才能建構出我們對於整件事情的感知。

1.總是使用單模態是反人性的,對體驗提升有限

相較眼睛,人類的耳朵是24小時都在運作,這種天生就有的機制,也是能確保我們的安全。舉例來說,當走在街道上,突然聽到槍聲響,我們往往能透過耳朵預先得知可能發生的事情,但由於資訊量不足,所以我們就會透過眼睛視覺來確認事件發生的整體性進而做出決策判斷。所以,以這個案例來看,聽覺是負責偵測眼睛視野範圍外的事件發生,來確保周遭環境的變化來做出即時反應,而視覺則是在視野以內來獲取更多資訊量。因此,對於設計師莫過於需要了解幾個模態間的關係:

互補性:當單個模態無法完整獲取資訊,其他模態會進行補足。

唯一性:在同一個模態下,人類會優先選擇最時省力的路徑。舉例來說,在瀏覽網頁時,如果想要滑動網頁,我們可能會透過滑鼠;反之,要打字輸入就會透過鍵盤來完成。這兩件時基本上不會同時發生。

等效性:不同模態具有相同效力,並且能幫助人類接續完成任務。舉例來說,在透過手機鍵盤輸入文字到一半時,突然切換到語音聲控輸入,皆能繼續完成任務。因此對設計師來說,就是需要考慮到單模態被中斷後,是否有其他模態能持續接續使用。

多模態人機互動圖表 Dumas et al. (2009)

2.挖掘用戶偏好路徑,化繁為簡更直覺的設計

鑑於每個感覺系統扮演的角色差異,能觀察的閾值也有差異,舉例來說,耳朵聽覺能在極安靜的條件下,聽到六公尺以外的手錶滴答聲;眼睛視覺則能在視野良好的晴朗黑夜下,看到一根在48公里處的燃燒蠟燭;舌頭味覺能感受到一匙糖溶於7.6升的水中。因此,對於設計師來說,就是要鑑於生理上的限制以及衡量心理的負荷量,持續尋找對於使用者最有利生存的操作模式和省力的偏好路徑。所以做設計產品時,不妨能結合語音辨識、影像辨識以及壓電式振動感測等技術支持來創造更好的體驗。

視覺系統特點:運動方向為左到右;從上到下的,並且習慣順時針方向運動。視覺更容易接受直線輪廓,而不是曲線輪廓。

聽覺系統特點:相較於視覺每秒能接受25個事件,反之聽覺能感知到200個聽覺事件發生,且聲音更容易激發人類對視覺、溫度、口味相關記憶情感。

觸覺系統特點:在昏暗的環境下,可以通過觸摸物體來觀察猜測物體是什麼,並且結合記憶來確認冷熱、軟硬、振動等反應是否與現存資訊相符。

嗅覺系統特點:人有75%情緒是由嗅覺產生。因此是最能喚起本能行為和記憶的。舉例來說,花香讓人愉悅,反之垃圾腐爛味令人感到厭惡。

味覺系統特點:能透過味蕾來偵測酸甜苦辣,幫助我們判斷對於那些可能對身體造成傷害的食物預先進行警告。尤其味覺記憶往往比視覺更為長久,猶如在國外時家鄉菜往往能使我們回想過去的點滴往事。

Google Nest Hub透過非接觸的互動方式來預先喚醒語音助理 (2022 I/O)
主要是鏡頭來辨識唇部動作而觸發

3.建構潛在的產品護城河,讓設計師專心發揮價值

許多令人驚艷的產品,往往是不能從表面得知並掌握其精髓,就像一些可口的台灣美食,或許製作方式都是家喻戶曉的,但背後的食材組成和料理手法所組成的方程式卻是店家們的獨門秘方,始終抓住饕客們的胃。這個道理如同產品設計一樣,讓人上癮的數位產品服務通常都是抓住人類最底層的生心理情趣而成,也是設計師能發揮最大價值的部分。畢竟這些運作規則基本上都是不變的,只是在等待你來探索而已。尤其在互動設計上,除了常見的觸控、按鍵、滑鼠點擊滑動等一般交互方式外,尤其在延展實境(XR)和汽車的智能座艙等產品領域上,也有大量的眼部追踪、手勢、聲紋、指紋等新興互動方式漸漸正融入我們的生活中。

數位客服總是擺放在眼球周邊視覺處,雖然辨識度較低但卻有更好餘光感知能力來察覺動靜變化

資料來源與自學書籍

Design Beyond Devices: Creating Multimodal, Cross-Device Experiences

Designing Across Senses: A Multimodal Approach to Product Design

Conversations with Things: UX Design for Chat and Voice

Designing Voice User Interfaces: Principles of Conversational Experiences

Voice User Interface Design

Designing with Sound: Fundamentals for Products and Services

前瞻交互:從語音、手勢設計到多模融合

觸力覺人機交互導論

延伸學習資源

小結

不管科技應用在怎麼多元發展,是否新增模態會取決於背後的運作脈絡機制,畢竟每增加一種感官運用,實際上可能會增加心智負荷,因為每個人的心智負荷是固定恆定的,不同的任務都會消耗掉部分資源。如何取捨都是設計的一部分,畢竟總不能為了多模態而設計

如果喜歡我的文章,歡迎[追蹤]或[贊助]小弟,陪你一起長大長肉🙏

如果喜歡這篇熱湯你可以:
20個拍手:X(台語) 根本就是才子
10個拍手:老摳摳 水喔~
5個拍手:哀額 不錯喔!
隨意拍:手有點卡,想動動而已(手殘XD)
0拍:希望我能再加強!GO~

--

--

Wayne老摳摳UX設計師
老男孩玩設計

Product Designer at Garmin with human factors expertise. Focus on HCI tech, such as AI, VUI, XR, and Multimodal UX. Founder: https://www.facebook.com/ErgonUX