媒體識讀新能力：你能辨別合成的假影片嗎？
“人類的智力絕對不是天賜的禮物，只是偶爾派得上用場的災難。” — 《神與狗的賭注》 安德列．亞歷克斯
市面上有許多有趣的變臉或換臉APP，像是FaceApp，可以讓我們上傳自己的照片後讓系統把我們的面貌從男性變女性、髮型由短變為長、面容由老化變為年輕，甚至是把自己的臉完全變成另一個人名人的樣子。這些變臉的效果仰賴的是電腦視覺來辨識一個人的臉部細節，接著再仰賴電腦圖學的技術合成與改變原本臉上沒有的細節，像是長出鬍子、皺紋、去除斑點等。當這些技術越來越成熟的時候，除了被應用在一些有趣的美妝APP上供大家娛樂之外，近年來也越來越多人透過「深偽技術」把不同人的臉移花接木來製作假影片，進而操弄大眾的情緒和政治意向，甚至是成為性暴力的工具。在這真假難分的花花世界裡，我們有能力判別合成影片嗎？
什麼是「深偽技術」？
除了在FaceApp上可以看到自己的臉被改變成為另外一種樣貌之外，現在社群媒體上也有許多惡作劇影片透過這種移花接木技術讓任何一個人能夠輕鬆製作把A的臉放在B的身上、用A的聲音說出B說的內容。廣義來說，「深偽技術」能夠透過學習網路上大量不同表情的影片來合成特定表情，例如我上傳一張沒有笑的臉，深偽技術就能自動產生一張我的笑臉；不只是在臉部表情，深偽技術也能把一段文字或一段語音變成另一個人講出來的話，例如把另一個人說的話合成一個像是美國前總統歐巴馬說出來的話，讓觀眾在不知情的情況下以為歐巴馬在影片中真的有說過這段話。
這些影片合成技術其實早已在電影特效中被廣泛使用，像是在電影玩命關頭7中我們看到Paul Walker因為一場意外無法參與所有電影的演出，最後找他的弟弟成為替身代為演出，最後就是透過影像合成技術來產生Paul Walker的臉以及跟動作配合的相對應表情，真實到讓觀眾看不出破綻，以為是他本人的演出。
這些影像合成技術帶給我們很美好的電影動畫欣賞體驗，但是近年來也越來越多人濫用這些技術製作假影片，透過社群媒體大量散佈在網路上混淆大眾視聽。
當「照騙」、「影騙」成為政治操弄與性暴力的手段？
「深偽技術」能夠把一個人的臉直接移花接木到另一個人的身體上，像是自己錄一段影片、說一段話但是最後換上的卻是政治人物的臉、用政治人物的聲音說出同樣的內容 [4]，透過這種方式來讓不知情的觀眾誤以為某位政治人物真的有這些言論；除了政治操弄外，也有惡意份子把女明星或網紅在網路上的影像移花接木到既有的色情影片中 [3]，讓不知情的粉絲們或觀眾誤以為這些明星真的是色情影片中的演員 [6]。在印度、美國、台灣、日本等國家都有類似的情況出現，惡意的人透過製作這些移花接木的合成色情影片來引發大眾情緒，讓輿論攻擊這些合成影片的受害者，或是藉由散播這些根本就不屬實的合成私密影片來毀謗合成影片中的受害者們。
這些移花接木的影片隨著現在機器學習的技術越來越進步，影片的真假也越來越難被辨識出來。如同假訊息一樣，這種誰都可以製作並散播的合成影像也是另一個正在廣泛影響我們吸收資訊與做決定的假訊息來源。
我們有辦法辨別假影片嗎？
為了抵抗電腦合成的假影片，當然也有許多研究者們著手研發能夠判斷這種移花接木假影片的演算法，讓電腦判斷電腦合成的假影片。目前較為主流的方法是透過不自然的眨眼特徵來判定合成影片，因為目前移花接木的臉大部分都是從網路上那些張開眼睛的圖像學習來的，因此在產生連續影像畫面的時候，就比較難合成出自然的眨眼頻率；另一種方式是透過臉部跟周圍背景一致性來判斷，像是臉部光線跟背景物是否一致或是攝影機視角拍人臉跟背景角度是不是一樣。
就目前所知 [1]，人類判斷這些移花接木假影片的能力暫時還不如電腦（😂 ），人類大約是50%左右，也就是跟亂猜差不多，但是最差的演算法判斷假影片的正確率也比人類好（60%），目前最好的演算法判斷假影片的準確率可以到97%。
既然電腦比人還能判斷假影片，那麼人類有沒有辦法向電腦學習呢？
在合成影片隨時都可能出現的今天，我們可以如何判斷假影片？
今年（2021年）發佈於人機互動頂尖研討會的研究發現 [1]，如果告訴人們判斷假影片的方法，這些接受過訓練的人能夠正確判斷出合成影片的正確率（70%）會顯著高於沒有接受訓練的另一群人（40%）。也就是說讓每個人都意識到假影片存在，並且提醒大家要注意影片中的特徵是未來我們在吸收影片資訊的時候不可或缺的一個能力。
研究者們根據電腦判斷合成影片的方法以及能夠正確判斷合成影片的人所使用的標準，整理出幾個可以判斷合成影片的訣竅，包含觀察影片中人在不同時間點的眨眼頻率；眼睛、眉毛跟臉是否會閃爍；臉頰跟嘴唇不自然扭曲；額頭有很明顯的邊界感；眼睛周圍模糊；細微的色差；臉部表情在好幾個連續畫面中都沒有變過，像是停格一樣；臉部或眼睛周圍的光線很不一致。
觀察影片中人在不同時間點的眨眼頻率；眼睛、眉毛跟臉是否會閃爍；臉頰跟嘴唇不自然扭曲；額頭有很明顯的邊界感；眼睛周圍模糊；細微的色差；臉部表情在好幾個連續畫面中都沒有變過，像是停格一樣；臉部或眼睛周圍的光線很不一致。
媒體識讀新能力：對影像資料也保持警覺態度
這是目前我們所知可以幫助人類提高辨識假影片的方法，一旦知道這些，人類就有更好的能力判斷不實影片。但是不可否認的是，未來也一定會有更無瑕疵的合成技術被開發出來，而且其實只要影片整體畫質都不好或是透過手機小螢幕觀看，肉眼會更難判別出合成影片，特別是當這些合成影片的目的是操弄情緒，當觀賞者已經因為看到合成影片而感到憤怒或是興奮，也會讓我們更難辨別假影片。
當我們的未來是虛實、真假都更難以區分的時候，也許最後我們能仰賴的也只有對於資訊保持不斷懷疑的態度以及開放彈性的思辨能力。如同現在文字的假訊息一樣，假影片只是另一個假訊息傳遞的媒介，要對抗無所不在的假訊息，察覺到眼見不為憑並且時時保持懷疑是身為個人至少能把握的一件事。
作者：楊期蘭
編輯建議：沈奕超
本文最初發佈於 CASE報科學/台大科學教育發展中心
《人機共生你我》它並不想要給讀者「一個答案」、「一個解法」，而是希望透過介紹這些研究，與讀者一起思考新科技如何被我們使用、在不同情境下中性的科技會帶來什麼潛在的好處與破壞、我們可以怎麼主動改變自己運用科技的方式造成好的影響力。我們希望帶給讀者思考的方向與方法，讓每個人在閱讀、沈澱後得到自己的答案，產生自己獨一無二的見解。歡迎透過不同管道訂閱我們，也歡迎留言討論，讓我們有更多互相了解與交流的機會！Facebook: https://www.facebook.com/groups/104076404922888
參考資料：
- Tahir, R., Batool, B., Jamshed, H., Jameel, M., Anwar, M., Ahmed, F., & Zaffar, M. F. (2021, May). Seeing is Believing: Exploring Perceptual Differences in DeepFake Videos. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (pp. 1–16).
- 蔣曜宇 (2020, May 8). Deepfake問世3年，為何讓AI變頭號網路犯罪公敵？｜數位時代 BusinessNext. 數位時代. https://www.bnext.com.tw/article/57260/deepfake-ai-deep-learning.
- Desk, I. T. W. (2018, November 21). I was vomiting: Journalist Rana Ayyub reveals horrifying account of deepfake porn plot. India Today. https://www.indiatoday.in/trending-news/story/journalist-rana-ayyub-deepfake-porn-1393423-2018-11-21.
- YouTube. (2020, April 1). 【小玉】首次公開，韓X瑜毀謗我的錄影存證【正式提告韓X瑜】. YouTube. https://www.youtube.com/watch?v=KfGB7VlvVI4&ab_channel=%E5%B0%8F%E7%8E%89.
- 台灣團隊研究辨識Deep Fake影片 深偽技術的正邪之戰開打. 台灣事實查核中心. (2021, February 22). https://tfc-taiwan.org.tw/articles/5022.
- 臉被偷走之後：無法可管的數位性暴力？台灣 Deepfake 事件獨家調查. 鏡週刊 Mirror Media. (n.d.). https://www.mirrormedia.mg/projects/deepfaketaiwan/.
- Suwajanakorn, S., Seitz, S. M., & Kemelmacher-Shlizerman, I. (2017). Synthesizing Obama: learning lip sync from audio. ACM Transactions on Graphics (ToG), 36(4), 1–13.
- BuzzFeedVideo. (2018, April 17). You Won’t Believe What Obama Says In This Video! 😉. YouTube. https://www.youtube.com/watch?v=cQ54GDm1eL0&ab_channel=BuzzFeedVideo.
