虛擬環境中的臨場感 From presence to consciousness through virtual reality【讀書心得】

這篇的感覺比較像是列舉各種臨場感相關的研究結果,還有一些虛擬環境在精神治療方面的應用等。心得:逼真原來不是重點!

定義

什麼是虛擬?What is Virtualization?

Virtualization has been defined as “the process by which a human viewer interprets a patterned sensory impression to be an extended object in an environment other than that in which it physically exists.”

什麼是臨場感?What is presence?

Presence is the sense of being in a VE rather than the place in which the participant’s body is actually located.

形成臨場感的重點是,要使人在虛擬環境中感受到有能力可以「do something」,也就是使用者的動作會有回饋。走路時,場景會移動;蹲下時,視野會改變。(這應該是VR和360 video最大的區別。)

關於臨場感的六個研究

播放條件 Display parameters

  1. 研究顯示,幀率與臨場感有正相關。幀率至少要在15Hz左右,才有說服力。有趣的是,這個數值是透過偵測人站在虛擬懸崖邊的心跳速率測得的。(目前VR 遊戲的幀率多為90fps)
  2. 延遲感 Latency、頭部追蹤 Head tracking、立體感Stereopsis、視野 Field of view,都與臨場感有關。

補充:11 個你不可不知的虛擬實境專業術語

逼真度 Visual realism

  1. 目前沒有證據顯示「逼真度」與臨場感相關(好訝異)!所以即使虛擬環境的樹跟人很醜,很不像,目前沒有證據顯示會影響使用者的臨場感。
  2. 物件有動態的影子,會比靜態與沒有影子都來得更有臨場感。
  3. 有一個實驗測量了不同程度逼真度場景中,人在懸崖邊的心跳速率。這些場景包括只有線條的、有無紋理(textures)的,跟用照片建構的;結果是:受試者身臨懸崖心跳都會加速,可是不同逼真度場景之間並沒有差異

聲音 Sound

  1. 有空間感的聲音,與臨場感有高度正相關。(也就是聲音會不會因為你的位置與方向而有所改變)簡單舉例,假設你正在觀賞一個360影片,在你正前方有一個人在講話,他的聲音會不會隨著你頭部轉動而有些微不同。要做出有空間感的聲音是需要聲音後製處理的。
  2. HRTF(head-related transfer function ,頭部關連傳導函數)也與臨場感有正相關。HRTF是人類聽音辨位的三大要素推導出來的函數:雙耳時間差(ITD)、雙耳音壓差(ILD)和頻譜線索(Spectral Cues)。簡單來說,就是要有3D立體環繞音效。

補充:聲音的未來,spatial-audio-for-360耳機原理與奧秘 3D環繞音效如何錄出來?

觸覺回饋 Haptics

  1. 也就是體感,有體感加入會增加臨場感。但現有的VR多數還是以頭盔(視覺)為主,除非要多穿戴一套體感裝置。

使用者的虛擬身體 Virtual body representation

  1. 多數VR體驗都是透過頭戴式裝置,使使用者進入虛擬世界。所以對使用者來說,低頭往下看,最好還是看到自己有個虛擬的身體最好。(不然會嚇到)進階的,若虛擬身體能因應動作而有反應會更好。
  2. 有一個實驗是,當人戴上頭盔後舉起右手時,虛擬的右手也會舉起(會偵測動作反應在虛擬身體上),但當舉起左手而虛擬左手沒有動時,有些受試者心裡會懷疑是不是自己真實的左手壞了。

身體參與 Body engagement

  1. VR 環境中的動作若能與身體動作相關聯會更有臨場感。舉例來說,有用HTC Vive玩過Steam裡的The Lab免費遊戲的,就會知道要在遊戲中移動有多困難!以這個遊戲為例,在遊戲中要移動要靠兩隻手把選取要移動的位置,選到之後人才會像瞬間移動移過去。但戴上頭盔之後,想要移動的下意識就是「走路」!
  2. 有實驗就發現,使用者在虛擬場景中會選擇按把手按鈕的很少,大部分都會試圖走來走去以觸發功能。但是由於虛擬環境需要定義空間範圍,所以也不可能開發到讓你走到老遠,結果讓使用者撞到真實牆壁之類的。
  3. 另外有人實驗用「假裝走路」(小步走路或踏步)以進入遊戲或觸發功能,會比用按按鈕的,有更多的臨場感。

虛擬環境在疾病上的應用

簡而言之,虛擬環境最常被用來作為精神療法。諸如懼高症(acrophobia)、蜘蛛恐懼症(arachnophobia)、社交焦慮(social anxiety)、被害妄想症(paranoid ideation)、創傷後壓力症候群(post-traumatic stress disorder)及疼痛轉移(pain distraction)等。