Women in Data Science (WiDS)系列工作坊《用TensorFlow玩Style Transfer》:自己動手做風格轉換
作者 / 譚竹雯
Women in Data Science (WiDS)系列工作坊第三場《用TensorFlow玩Style Transfer》,著重利用TensorFlow以及線上資源,並由講者Alicia帶領學員實作「風格轉換」 (Style Transfer) 作品。
(圖一為日本浮世繪藝術風格融合都會區摩天大樓,為風格轉換的作品。圖片來源:https://github.com/random-forests/WTM)
生活中的風格轉換
試想一下,一幅日本浮世繪的畫作和都會區摩天大樓能夠結合嗎?
以圖一為例,如果想要將浮世繪的筆觸與色調等套用在摩天大樓的相片上,也許可以利用修圖軟體或是一些濾鏡模仿。但只是單純更換顏色、紋理、明暗度的濾鏡,似乎顯得單調。想要達成圖一下方影像的效果,需要倚賴風格轉換來打造。
風格轉換背後的運作機制,是電腦透過機器學習的演算法,在取得指定相片後,擷取該相片的內容,並同時將藝術家畫作的風格擷取出來,再將兩者結合。
深度神經網絡的運作方式
實際上,電腦是透過深度神經網絡 (Deep Neural Networks) 的計算,分辨出相片的內容,以及畫作的風格。
電腦中深度神經網絡的運作方式,與人類大腦的運作機制相仿。人類大腦中有按層排列的個別神經元,藉由這些神經網絡辨識語音、圖片內容,完成生活各種行為。
影片 “What Does A.I. Have To Do With This Selfie?” (https://youtu.be/WHmp26bh0tI) 提到,當我們看到一張小狗圖片時,最底層的神經元會先掌握眼前物體外型粗略的輪廓,再上一層的神經元則會掌握物體的型態與樣貌等。越往上層的神經元走,我們能夠越加細緻地辨認物體,了解眼前坐著一隻小狗。
而風格轉換的實踐中,工程師將深度神經網絡的運作機制,應用於辨認圖片的情境。不同層級的神經元將分別找出相片的內容元素、畫作的風格元素,再將兩者結合。
自己動手做風格轉換
下半場活動,講者帶領學員嘗試風格轉換的效果(如圖二)。隨著套件的開發與開源資源的共享,風格轉換的效果有望越來越普及。想要進一步了解風格轉換、動手做出特殊效果,可以參考以下學習資源:
➔ GitHub Reference
https://github.com/random-forests/WTM
https://github.com/lengstrom/fast-style-transfer
➔ Use Docker Locally (only tested on mac)
(圖二為學員Nelly Chang的風格轉換作品)