【博物館科技/Connoisseur系列:從兩個案例看捲軸畫的數位視野】

施 登騰
數位轉譯職人誌三刀流
13 min readMar 16, 2020

相當推薦Google Arts and Culture平台的【Arts Camera】所實證的「Discover the details you might have missed」,博物館科技所創造的「數位視野」就像是個能呈現肉眼看不見細節的高倍放大鏡與提供肉眼無法處理分割畫面的數位螢幕,且讓人超越生理限制,使成賽博格(cyborg,半機器人)。【Arts Camera】所提供的瀏覽主題/服務像是「Zoom In」、「Zoom into the Brushstrokes」、「Explore by Color」等等,都是國內外博物館(超)高解析度數位典藏檔案的創意用途,個人也獲益不少,更開啟許多的想像。

截圖自:https://artsandculture.google.com/project/art-camera

我曾在【博物館科技系列:數位導覽科技點評~談放大真實的Second Canvas技術】(https://reurl.cc/1x4QYV)文中介紹Madpixel這家西班牙數位科技公司,他們擁有超高階析圖像應用軟硬體的專業研發成果,其Second Canvas技術已獲歐盟肯定,並以scModules專案參與歐盟的【EU Horizon 2020計劃】。Madpixel共同創辦人Koldo在訪問時就說,這樣的超高解析度數位典藏技術與成果是為了讓博物館/美術館可以「…..improve the interpretation of the artworks for their visitors and remote audiences. 為其參觀來賓與遠距觀眾改善藝術品的轉譯/詮釋」。這確實是很符合實務與創新需求的數位應用方式。

圖片來源:https://www.madpixelrob.com/?fbclid=IwAR27hxRrI-Y0gBOo8j_39A1KFMikszLXkE9udlwWaxAojyyAAYGYQ4nfFcs

在另一篇以藝術史觀與藝術欣賞為主題的【Connoisseur/博物館科技系列:用數位Zoom in功能輔助藝術品鑑】(https://reurl.cc/9EXXVn)中,也透過Gigabyte Zoom In 技術談「數位品鑑技術」,以【Zoom In】輔助藝術鑑藏。

圖片來源:https://g.co/arts/9JoAePgq6SKedaZN9
顧愷之【女史箴圖】78%Zoom in 局部特寫,大英博物館館藏。圖片來源:https://artsandculture.google.com/asset/admonitions-scroll/nwE-8S72ewLhIA?ms=%7B%22x%22%3A0.5%2C%22y%22%3A0.5%2C%22z%22%3A9.222153560760704%2C%22size%22%3A%7B%22width%22%3A0.9926470588235293%2C%22height%22%3A4.556434866060158%7D%7D

該文也示範了在Google Arts and Culture上的台北故宮專區中的「Traveling Among Mountains and Streams」的主題展區中找到台北故宮典藏精品的宋 范寬【谿山行旅圖】的高清晰數位檔的連(https://g.co/arts/9JoAePgq6SKedaZN9),並且透過Zoom In看到畫家范寬的「簽名」。

圖片來源:https://g.co/arts/9JoAePgq6SKedaZN9

也因為本身的藝術史背景以及博物館觀眾的身份,會很清楚在博物館觀賞藝術品與藏家自己購藏品鑑之別,這也就是本篇的主題「看/觀捲軸畫」+「數位視野」要討論的。

且特別舉出「捲軸畫」這個題材,是因為故宮南院正在展出【清明上河圖特展】,Google Arts and Culture Experiments也正好在2020.2推出【Beyond Scrolls and Screens 超越捲軸與畫屏】數位應用,兩「展覽」所設計的觀賞方式與內容,確實值得從「數位視野」這觀點去深入,而且必須透過捲軸畫的美學論述與文化視域去檢視相關數位應用。

以南華大學陳旻志教授(2003)【明月帖中遙寄相思~由王為政的〖聽畫〗諦觀中國書畫的生命美學】一文中,所提出的看畫、觀畫、聽畫美學觀,從王為政 【聽畫】一書描寫的失明收藏家「天廬居士」的畫軸鑒藏使讀者能從小說中的書畫「捲軸」閱覽,細膩的進入獨特的美學思維。且文中描寫道:

“ 如同觀看捲軸時「片段」與「片段」之間的連繫,是虛實間出、 懸疑踵繼的路徑(也一如中國園林和小說章回的變化性空間),必須體認到「散點透視」,以及「移動視點」的策略 」。”(頁108)

“ 捲軸的逐次舒捲,我們可以目擊山川布列,抑或人物、事物的神情穿梭其間, 以觀看的「時間次第感」,來形成綿遠不盡的「空間感受」 。“(頁 102)

圖片來源:https://marshabalaeva.files.wordpress.com/2013/12/dragons.jpg

或陳旻志文中引蔣勳(1995)【美的沉思-中國藝術思想與芻論】:
“在卷收的過 程中,時間在同一個軸心上竟然不斷疊壓重複,形成一個不斷循環的無數圓。在圓形上,既沒有開始,也沒有結束,或者說,在圓上,每一點都可以是開始,也可以是結束。” (頁 104 )

以上的特別「空間性」與「時間性」都是觀賞立軸(垂直式)或橫披、手卷(水平式) 等捲軸的重要美學觀,其自身所具備的多層次收納與演繹的機能,對於現代藝術的觀看之道,應有相當的啟發性。若以此去審度故宮南院正在展出【清明上河圖特展】與Google Arts and Culture Experiments也正好在2020.2推出【Beyond Scrolls and Screens 超越捲軸與畫屏】兩展的數位應用是否符合與轉譯了傳統「品鑑捲軸畫」美學,其過程的想像與省思確實以饒富興味,且數位科技的「超越」與「不及」更是同時存在。

而以下就先分別介紹兩個展覽:

一、Google Arts and Culture Experiments【Beyond Scrolls and Screens 超越捲軸與畫屏】(https://experiments.withgoogle.com/beyondscrolls

這是由Christine Sugrue, Google Arts & Culture Lab透過Google Cloud Vision API技術,以東京國立博物館、東京富士美術館、立花家史料館所藏的600年前捲軸與屏風古畫進行機器學習,而將畫中的內容進行標籤辨識、是爵相似度等分析,使觀眾可以在六分割畫面中,點選任一幅畫上標記的物件標籤,就可以同步看到6件不同捲軸與畫屏上局部的相同類型內容。例如:點選「人物」、「橋」、「雲」、「樹」 ….後,六分割畫面就會開始移焦到特別局部上,共同呈現所點選的「標籤主題」。

這裡面有幾個技術值得注意,那就是能夠以機器學習進行視覺辨識與自動化標籤的「Google Vision AI」技術;使用linked data鏈結資料技術串聯不同畫作的欣賞畫面;使用html5動態網頁與designated interaction指定互動技術讓欣賞方式更為有趣且直覺。

二、故宮南院【清明上河圖特展】(https://reurl.cc/kd077r)

此展的數位互動設計是由國內知名廠商頑石創意操刀,除了有該博物館書畫處紮實的研究成果作為基礎內容與數位轉譯依據外,多年故宮將與國內專業數位團隊共同推出過「古畫動漫版」與「VR版」的「清明上河圖」數位展覽內容,也已在台灣多處展覽過。此次的展覽焦點更在於院藏的【宋張擇端清明易簡】、【明仇英清明上河圖】與【清院本清明上河圖】等三件精品的合展,這是相當難得的展覽規劃,可以一次覽盡三個版本。另外,【清明上河圖特展】也仍搭配各項數位互動展演,讓觀眾透過視覺、觸覺、聽覺、體感的四重體驗,共感畫中城市的熱鬧氛圍,提供全新的觀展體驗。(資料來源:故宮官網)。

這次的數位互動展示內容包括:

  1. 「古畫動漫-清明上河圖」:以動畫形式呈現的動態長卷,畫中的人物、景色、情節外透過動畫演繹而栩栩如生,這些內容也是書畫專家解析畫作的研究成果;

2. 「書畫互動桌-清明上河圖」還有已在台灣巡迴展出多年,且是使用多重解析技術,具有無限畫素,且能多點觸控的互動裝置,此裝置雖然已是多年前開發的舊作,但迄今能是很實用,且能讓讓觀眾很直覺地珍貴古畫互動的佳構;

2. 「話‧畫-清明上河圖」:這是採HD畫質紀錄畫作真跡的紀錄片,這影片也曾在公視播映過,是透過熟悉的觀影方式欣賞故宮院藏「清明上河圖」畫作們的好作品,非常推薦觀賞。

4.「清明上河圖 VR 」:曾勇奪美國GLAMi Awards榮譽獎,以【清院本清明上河圖】為數位轉譯內容的 「清明上河圖 VR」也正在南院的【奇幻嘉年華-21世紀博物館特展】展出。

以上都結合科技藝術來呈現清明上河圖多元樣貌的精采傑作。

在南院【清明上河圖特展】展出的【宋張擇端清明易簡】、【明仇英清明上河圖】與【清院本清明上河圖】等院藏精品都採全幅展開形式來展出,觀眾可以一次盡覽全畫,巨幅大作的展示效果也更能凸顯。但也因此與藏家的私人品鑑方式有別,這些捲軸不是在捲收間(通常右手捲左手放)被局部分段欣賞,前述陳旻志教授【諦觀中國書畫的生命美學】中「捲軸時之片段連繫」、「逐次舒捲的時間次第與空間接續」、「卷收間的情節循環」等等,自然就不會是在這展場中的觀眾們被設定與三幅【清明上河圖】精品的品鑑對話形式。在南院的展場設計上確實也顧及無法細審畫作,而採行在展台前側的壁面上展示放大局部輸出圖,既起對照之效,也有引導之趣。

但觀畫之妙趣,更要探畫之堂奧。而【清明上河圖】的妙趣堂奧都由南院展場中的數位科技盡付其功。若求品鑒的層次,我建議帶單眼望遠鏡或用手機的望遠鏡頭作為肉眼視力極限的輔助,在原畫前近觀原畫的工筆細描。

以下組圖均來自【故宮OPEN DATA專區】,在現場觀畫品字若能有此「視野」(無論是數位或肉眼)就能得藝之趣。

唐周昉畫人物 卷 局部。圖片來源:【故宮OPEN DATA專區】https://theme.npm.edu.tw/opendata/DigitImageSets.aspx?sNo=04015906
宋人香山高會圖 卷 局部。圖片來源:【故宮OPEN DATA專區】https://theme.npm.edu.tw/opendata/DigitImageSets.aspx?sNo=04020307

而會寫此篇就因為我是貪心的,且看了Google Arts and Culture Experiments【Beyond Scrolls and Screens 超越捲軸與畫屏】所創造的日本捲軸與畫屏的數位觀賞視野後,也有些想法與想像,認為:

  1. Vision AI的能與不能:此實驗所導入的Vision AI確實只能初步將物件辨識與歸類,屬於很基礎的外顯資訊,而內顯知識的內容,例如:官職地位、年紀、關係、姿態、活動等等需要進階解析的研究內容就付之闕如。這試驗確實看到Vision AI未來的可能性,但也顯示了目前的侷限性。
以Vision AI針對【清明上河圖】(部分局部,下載自故宮展覽臉書粉絲團)進行圖像分析,確實能偵測辨識大部分的圖像物件,並自動化註記標籤。

2. Linked data的活用:這部分是我比較關注的,雖然此實驗進行機器學習的東京國立博物館、東京富士美術館、立花家史料館的捲軸與屏風藏品間的關聯關係不若故宮院藏【清明上河圖】不同版本,但是六分割視窗卻使彼此在視覺上有所鏈結,也提供了比對的便利性。這點確實是很精彩的創意。

還是以【Beyond Scrolls and Screens】實驗為例,分別是在其中一件藏品圖上點選食物(food)與傢俱(furniture),就能輕鬆比對三個博物館不同捲軸與屏風藏品的內容。

HTML 5的互動性:以多媒體映像為內容的數位裝置/視窗都有很高的互動性,而dual coding 雙重編碼的圖文設計,也使辨識與認識都能同步,是相當是作為資訊與知識傳達與解說的數位敘事工具。且目前也都採用響應式網頁設計(responsive web design)讓網頁在手機、平板、電腦上都有相對應的合適版型,所以這樣的應用,不僅在電腦上可以作為遠距、館外的畫作交叉對比欣賞,也有機會作為在展場實境的導覽/深度知識工具。

也因此,相當期待有機會推廣、諮詢、執行這種AI圖像分析、linked data 關聯鏈結、數位互動UX/UI的研發,甚至是模板製作,使成可以實用在館外網站與館內展場到響應式導覽工具包 reponsive guiding tool kit 。

以下推薦觀賞兩個影片,分別是:

  1. 紐約時報如何採用Google Cloud 和 Vision API 等人工智慧技術技術,從數百萬張典藏照片庫中發掘不為人知的故事。

2. 【經典之美系列影片】:

此系列影片拍攝用心,從美感學習的六個構面(色彩、比例、質感、結構、構造、構成)及文物賞析的六個觀點(裝裱、主題、意境、故事、技法/工法、風格),呈現文物蘊藏的美感及文化意涵。其中「故事」就針對「清明上河圖」有簡易明暸的解析,這種傳統資訊形式也因為是熟悉的敘事方式,所以不失為合適地建構「數位視野」的材料。曾在公視播映過的「話‧畫-清明上河圖」,更可作為深度補充。

參考資料:

陳旻志. (2003). 明月帖中遙寄相思~由王為政的〖聽畫〗諦觀中國書畫的生命美學. 文學新鑰創刊號. 頁97~135

--

--

施 登騰
數位轉譯職人誌三刀流

一位大學副教授教員,同步寫數位展示科技與中國文物鑑定。長期研究與分享「Connoisseur系列」、「博物館科技系列」、「數位轉譯系列」、「數位科技系列」等領域之資訊與知識。所發表之相關專文,目前總數已逾500篇,見:【數位轉譯職人誌三刀流】:https://medium.com/artech-interpreter