AI 應用已跨足長篇動畫 ? 淺談《Loving Vincent / 梵谷:星夜之謎》製作手法

From “Loving Vincent”
此篇並不是電影賞析或影評。而是好奇此片拍攝過程是否應用AI技術,而展開的探索之旅。

「你這麼想了解他的死,但你有多了解他的人生?」

同樣星光閃閃的深夜裡,從阿姆斯特丹回台灣的飛機上我觀賞了這部「Loving Vincent / 梵谷:星夜之謎」。你我對梵谷的認識或許差不多,最常被想起的是聞名於世的「星夜」、「麥田」或「向日葵」等畫作,而也常伴隨了割耳及自殺身亡等佚事。我們往往以為這就是公認的歷史結局,然劇情簡介卻先提到:

此片為推理劇情(疑?)。全片耗時10年,聘請125位畫家模仿梵谷畫風製作超過 65,000 幀的油畫來製作此片。

因此,好奇心,怎能不被挑起? :D

Loving Vincent 簡介

此片全長94分鐘,由來自波蘭的導演 Dorota Kobiela和來自英國的Hugh Welchman執導 。劇情架構根據梵谷120多幅畫作(風景畫+肖像畫)和800封書信寫成,油畫全部仿照梵谷畫風來製作。

梵谷寫給弟弟的信件,信中還有隨筆插圖

「……不久前他才說很平靜,我不會相信他突然自殺,必定有內情。」

故事由一封信開始。講述梵谷死後,一位與梵谷熟識,且懷疑其死因的老郵差為了將梵谷遺留的最後一封信送出,於是囑咐兒子Armand 親手將信交到收件人(梵谷弟弟-西奧)手上。惟送信的過程並不順利,為了完成任務, Armand 嘗試與最接近梵谷的人們進行接觸,沒想到從中卻發現這位不受人們歡迎的畫家之死可能另有內情:每個人口中的梵谷相互矛盾,流言蜚語間,他究竟是自殺還是他殺?

全片借用鎮上各個居民的口述,以倒敘法戲劇性地重現梵谷生平並將眾所皆知的割耳事件、高更之別和死亡之謎串連起來。每個鏡頭都像梵谷親筆畫的一樣,讓觀眾在美麗絕倫的畫面流動中,揭露這位已故畫家不為人知、亦不曾被理解的溫柔。

From ”Loving Vincent”

雖為油畫版懸疑推理劇,導演還是直觀地以「黑白 / 彩色畫面」分別代表「倒敘事件 / 現實事件」。此外由現代畫家們模仿梵谷風格所繪製的「模擬當時場景」的畫作也讓人印象深刻,如: 左圖: Armand 前往梵谷生前居住的小鎮時,火車上的玻璃反射。右圖: Armand 與飯店老闆女兒談話時,大雨過後的陽光透過窗簾,撒在臉上的光影。

From “Loving Vincent”

讓我最驚豔的則是在梵谷回憶畫面中,對於煙霧以及水波的處理(Source)。

From “Loving Vincent”

許多優美的油畫片段如行雲流水般讓人著迷,人物臉部動作表情也很是流暢,簡直像是「用真人拍攝再加以風格後製」。因此我腦海中有個小聲音冒出來 :

這背後有無可能是應用AI做出來的啊?

https://kknews.cc/tech/86gxgq.html

猶記2016 年出現的 Prisma,就是利用 AI 來製作繪畫風格照片的 APP。 Prisma 提供多種藝術風格濾鏡,比如挪威畫家/孟克的《吶喊》、美國波普藝術家 / Roy Fox Lichtenstein 的《Go for Baroque》、康丁斯基的抽象畫《Transverse Line》、當然也有荷蘭畫家/梵谷的《星夜》。使用者可以把自己拍的照片和任何一個濾鏡結合,製作成自己的藝術作品,而除了單一照片外,它也可以套用在視頻上。這時是另一個聲音又出現了:

這部片耗時10年,若運用AI技術,會需要那麼久的時間嗎?

好吧,我看影片就是這麼不專心 :P。我邊看腦海邊不斷冒出這些問題。

套用AI技術,我自己的推測是: 導演先用真人演員拍攝好全片,並將逐格影像套用類似 Prisma 的AI應用中,再把它逐格串連,然後本片誕生(噹噹)!!

但是在Loving Vincent 的「初始製作年代」與「總製作時間」上,應用AI的推論很容易就被推翻。原因是此片在10年前(2008)就開始籌畫,當時Machine Learning技術應該還沒那麼成熟,且製作過程耗時太久。那到底他們是怎麼做的??

實際做法 : 每秒跑12張手繪油畫!讓梵谷的星夜、麥田等120 幅名畫動起來

如前述,Loving Vincent 全片長94分鐘。聘請125名畫家模仿梵谷風格,手繪出 65,000張油畫。根據相關報導:最難畫的一個場景,就花費了一位畫家140天、共980小時的時間才得以完成。

若每格都是一張由不同的畫家繪製的油畫,那麼如何保持人物的面容一致、動作流暢? (這是我最大的好奇點)

這可以透過製作過程來說明:

一、名畫場景的排序、串接與定稿

製作團隊先透過梵谷名畫的年代(含景物畫與肖像畫),來選定畫作的出線順序與故事線,大致擬定出電影風格和劇情藍圖。

二、先以真人拍攝影片

From “Loving Vincent”

為了盡可能保持真實,製片人除了挑選與梵谷繪畫中人物長相非常相似的演員外,還特意模仿畫作裡的服裝與場景,最後根據擬定出來的劇情,在綠色螢幕前拍成影片,以作為之後畫家作畫的參考鏡頭。

From “Loving Vincent”

三、 Rotoscoping 轉描機技術投影 並 繪製油畫

製作團隊透過Rotoscoping 轉描機技術,將上述預先拍攝的真人影片逐格投射在畫布上,讓現代畫家們得以依據投影在畫布上的輪廓,再以「梵谷風格」繪製出來,繪製完成後每張油畫都會拍攝為單張數位照片。

From “Loving Vincent”, 將預先拍攝的影片投射在畫布上,再讓現代畫家們依據投影在畫布上作畫。
Loving Vincnet, 畫家作畫場景

繪畫風格的挑戰

由於每個人依然存在繪畫風格的差異,因此125 位現代畫家們事前得經過數個月訓練模仿梵谷畫風,來彌補風格差異的問題。此外,由於梵谷的繪畫有其特殊筆觸與視角,人物或場景經常不遵守真實的物理現象與解剖法則,所以在繪製逐格油畫時也面臨許多挑戰。

像是電影團隊必須先以各種方式如數位繪畫、視覺特效技術、計算機建模以及各種比例的實景拍攝,為畫家製作場景參考。然在某些無法提供具體的參考資料的情況下,現代畫家們只得通過「想像」將劇情補足 : 例如把白天的場景畫成夜晚,或是根據描繪秋冬的畫作想像同樣場景在夏天時的樣子。

Loving Vincnet, 現場拍攝場景

四、串接 65,000 張畫作

串接過程與「停格動畫」和「粘土動畫」相似,即製作團隊將個別油畫拍攝的數位照片依據劇情序列按順序排列,以確保動畫中的人物面貌一致且動作流暢。

選擇1秒跑12張油畫? 還是 1秒跑24張油畫?

先理解動畫的基本概念:

雖然目前動畫製作預設為一秒24格(一秒跑24張畫),但依據動畫製作的成本和時效考量下,動畫設計師還是可以依照想呈現出的效果,來設定每秒跑幾張畫。例如「小美人魚」、「花木蘭」等電影大螢幕動畫就會是一秒鐘24張,整體人物動作極為順暢、更要求細膩度,完全不會有「頓」的感覺。但也會有一秒12張的動畫,動作要求也很細,但因為張數少一半,所以人眼觀看還是會感到「頓一下」的感覺,但整體卻能更顯著地凸顯動畫獨特的風格與張力。

Loving Vincent 即使用1秒12張,因此我們可以發現觀看動畫時視覺上還是有輕微閃爍感。根據導演訪談的文章提到,這種選擇,是因為「偶爾的閃爍」可以提醒觀者這不是一部普通的電影,而是數百名畫家的齊聚努力合作的結果。此外也得以將「梵谷風格」更好的呈現,是某種程度上電影魅力的考量。

總結製作過程精簡版:

(1)透過畫作擬定劇情與演員 (2)真人拍攝影片 (3)現代畫家們透過Rotoscoping 轉描機技術進行梵谷風格繪畫製作,產出高達65,000 幅油畫,並加以數位拍攝 (4)最後經由電腦技術以「一秒12張」油畫照片依序排列結合成一部長篇動畫。

「快」科技下的「慢」態度

不諱言因為科技的進步,以往許多耗時耗力的過程得以被精簡(例如剪輯、套用濾鏡效果等)。然翻完資料後,我不禁思考,即便現在 Machine Learning 技術出現,若在2018年同樣探索梵谷故事的概念下,製作團隊會以這樣曠世費時的「慢」方式製作動畫嗎? 還是會改用更快速的AI應用來製作呢?

我個人猜測,導演依然會選擇以手動方式重現梵谷跌宕卻短暫的人生:

1. 導演想以一種刻苦的方式,深刻地重現一個藝術家於年輕時受到的嘲笑和批評,直到他生前的最後一刻。也唯有用這種方式 : 梵谷風格的細部刻畫,才能將他的故事發揮得淋漓盡致,一切都像是透過他的筆下視角觀看這個世界。

2. 目前AI 應用雖能夠在流程與速度上大幅縮減創作時間,然而對於具有人性情感的編排,或是那被人雋永銘記的畫龍點睛之處,AI 還是無法勝過人類編導那觸動萬眾人心的神來一筆。

Loving Vincent / 梵谷回眸的愁苦眼神,平靜看待死亡。

這部片以慢工出細活的10年打磨,透過梵谷名畫的巧妙安排,將他多產而曲折的人生串連了起來。

「 天上的星星時常讓我做夢。 我常問我自己為什麼天上的星光是那麼的遙不可及?也許我們死後就能抵達星辰之上,而離開人世,不過就是踏上了走向星辰之路,走向理解死亡之路。現在已經晚了,我要睡覺了,祝你好運,晚安。
Your Loving Vincent。」

即便生前不見容於世,梵谷卻能非常平靜且坦率的方式看待「死亡」。片尾最後的自白搭配了舉世名作「星夜」現身,隨景一轉,梵谷以那哀愁又疲憊的雙眼直視觀眾,留下無限惋惜,也讓人不禁紅了眼眶。

至於他到底是死於自殺,或是他殺,還是請大家趕快去看片,留待各位自行解讀了!

參考資料:

  1. http://www.southjournal.com.tw/treasure-island/201709-13/
  2. https://www.taiwanartist.tw/07artist/artist/Movie/vanGogh01.htm
  3. http://lovingvincent.com/
  4. https://medium.com/@Penseur/loving-vincent-how-the-ignorami-killed-a-masterpiece-in-oil-c533c80262d3
  5. 若對Rotoscoping 轉描機技術有興趣,可以進一步參考這個視頻!

6. 目前其實已經有用AI 剪輯的影片預告,可以參考這邊

感謝你/妳花時間讀這篇文章,如果你覺得這篇文章寫得不錯,希望你能給我一點「拍手鼓勵」,我會多加點油寫出更多內容的!

請動動手幫我點 5 次 Like,完全免費,但我能拿獎勵買餅乾吃(邊吃邊寫文章 >3)

--

--

Seal-被半導體業耽誤的產品設計師
重曝好時光