Women in Data Science (WiDS)系列工作坊《用TensorFlow玩Style Transfer》:自己動手做風格轉換

譚竹雯 Stephanie Tan
Taiwanese in Data Science
4 min readApr 18, 2018

作者 / 譚竹雯

Women in Data Science (WiDS)系列工作坊第三場《用TensorFlow玩Style Transfer》,著重利用TensorFlow以及線上資源,並由講者Alicia帶領學員實作「風格轉換」 (Style Transfer) 作品。

(圖一為日本浮世繪藝術風格融合都會區摩天大樓,為風格轉換的作品。圖片來源:https://github.com/random-forests/WTM

生活中的風格轉換

試想一下,一幅日本浮世繪的畫作和都會區摩天大樓能夠結合嗎?

以圖一為例,如果想要將浮世繪的筆觸與色調等套用在摩天大樓的相片上,也許可以利用修圖軟體或是一些濾鏡模仿。但只是單純更換顏色、紋理、明暗度的濾鏡,似乎顯得單調。想要達成圖一下方影像的效果,需要倚賴風格轉換來打造。

風格轉換背後的運作機制,是電腦透過機器學習的演算法,在取得指定相片後,擷取該相片的內容,並同時將藝術家畫作的風格擷取出來,再將兩者結合。

深度神經網絡的運作方式

實際上,電腦是透過深度神經網絡 (Deep Neural Networks) 的計算,分辨出相片的內容,以及畫作的風格。

電腦中深度神經網絡的運作方式,與人類大腦的運作機制相仿。人類大腦中有按層排列的個別神經元,藉由這些神經網絡辨識語音、圖片內容,完成生活各種行為。

影片 “What Does A.I. Have To Do With This Selfie?” (https://youtu.be/WHmp26bh0tI) 提到,當我們看到一張小狗圖片時,最底層的神經元會先掌握眼前物體外型粗略的輪廓,再上一層的神經元則會掌握物體的型態與樣貌等。越往上層的神經元走,我們能夠越加細緻地辨認物體,了解眼前坐著一隻小狗。

而風格轉換的實踐中,工程師將深度神經網絡的運作機制,應用於辨認圖片的情境。不同層級的神經元將分別找出相片的內容元素、畫作的風格元素,再將兩者結合。

自己動手做風格轉換

下半場活動,講者帶領學員嘗試風格轉換的效果(如圖二)。隨著套件的開發與開源資源的共享,風格轉換的效果有望越來越普及。想要進一步了解風格轉換、動手做出特殊效果,可以參考以下學習資源:

➔ GitHub Reference
https://github.com/random-forests/WTM

https://github.com/lengstrom/fast-style-transfer

➔ Use Docker Locally (only tested on mac)

https://docs.google.com/presentation/d/15I6QjUCxPKmOe6MsfPUVa4zyLlQDwtnCa03q-AHhRa0/edit#slide=id.g3511194302_0_927

(圖二為學員Nelly Chang‎的風格轉換作品)

--

--

譚竹雯 Stephanie Tan
Taiwanese in Data Science

藉由文字的持續書寫,記錄所看所思,並期許能夠推動一點社會的改變,過無悔的人生。