NovelAI 最終章

邁向賢者之路

Anson Chen
SnowyMeteor
Oct 26, 2022

--

Preface

初次接觸 NovelAI 的時候,對我來說就是個有趣的應用,未曾想過會將這些心得和使用經驗撰寫出來。

促使我撰寫出一系列文章的動機,說來也是有趣,只是當時腦中閃過的一絲想法:「如果這東西只有我知道,豈不是太可惜了嗎?」,真想讓大家都能嘗試玩看看,於是便誕生了第一篇文章。

NovelAI 入門介紹

寫完第一篇,靈感便不斷泉湧出來,發現有很多知識都可以分享,雖然我明白,實際操作的讀者也許是寥寥可數,但仍不影響我努力撰寫每篇文章的動機,因為個人希望能推廣的不僅是技術,更期盼能吹起知識共享的風氣。

POV

相信各位在實作過後,應該多少都瞭解模型的優缺點和極限所在,stable diffusion 固然令人驚豔,但仍有許多可以進步的地方:

人物手指的刻畫

在先前的文章中,細心的讀者可能會注意到,我挑選的範例內容,鮮少納入含有手部動作的圖片,是因為訓練至今,即便給予足夠多的咒語和限制咒,但模型仍然無法漂亮地重現手部作畫,我想這應該是目前的極限所在,若未來納入手部姿態的資料集一併訓練,相信就能改善許多。

背景與人物的色塊重疊

在 img2img 階段,如果輸入的背景顏色,與人物角色的衣著或膚色相似,如:夜晚背景加上黑色系衣著,模型就無法有效定義人物與背景的邊界,造成色塊重疊,可能會召喚出異世界生物,因此挑選 fine-tune 的圖片時就得多加留意。

背景精細度

無論是 txt2img 或 img2img,模型繪製背景的功力還有所不足,個人推測是因為模型將權重放在人物的刻畫中,自然就忽略了背景資訊。即便給予咒語更多的權重,但在精細度的呈現上,還是容易出現類似水墨或暈染的繪法,不過主體輪廓還是能夠辨識背景物件。

召喚的品質穩定度

由 txt2img 召喚獲得的圖片,雖說看起來都有一定的品質,但背後是花費了大量時間,來重新召喚和調整,最後才被選為範例來講解。若各位有嘗試實作過,應該就能瞭解,在不使用既有 Seed 的情況下,要短時間召喚出高品質的圖片,真的相當考驗運氣,期望在未來開發團隊能夠訓練出更完整的模型,這個問題勢必能迎刃而解。

講完缺點,現在就說說模型讓我感到驚豔的地方。

以下透過圖片來分享看法:

上圖是重製碧藍航線的角色:航母加賀。雖然沒有將最具標誌性的白狐尾繪製出來,但我仍決定將其拿出來分享。

可以注意到,在角色的左半身,模型將「濕潤感」完美地畫了出來,就像是運動完汗水淋漓的模樣,這細節與水天一色的背景也更加契合,彷彿角色真的是在海邊戲水一般。

上圖是召喚海灘背景與比基尼的穿搭組合,在細節處,仍能注意到有些許破綻,不過在下身的部分,模型能精準地畫出「咬肉感」,原先以為這應該是身為人類才會認知到的細節,意外的是模型也能學習到這一特徵,不禁讓人好奇當初訓練的資料集內容...?

在上圖中,我嘗試召喚黑色的學生制服與白絲襪的組合,效果看起來還不錯。實作之前,個人推測白絲襪的呈現應該會相對單一,就是整個色塊都塗白的概念。

但讓我訝異的是,「白絲襪」與「小腿肌膚」的接觸上,模型將「透膚感」詮釋的維妙維肖,不僅提高了著色的光澤,更豐富了小腿肢體的立體感。

Epilogue

提出看法之後,相信各位對於模型又有了更多認識。

在 NovelAI 的應用上,自己的所學也就僅僅於此,剩下的研究之路,就得依靠各位繼續投入,成為賢者可不是簡單的事呢!

最後,感謝每一位閱讀至此的讀者,正因為有各位的瀏覽與支持,才讓我有更多熱情投入寫作,並將最好的內容呈現給大家。

願意繪畫是好的嘗試,若想著運用 AI 來一步登天,只會扼殺更多有創意的人類。

一幅畫的魅力,取決於繪師想傳達的訊息,畫作有了情感,自然會有靈魂,用心看待每一個筆觸與細節,體會畫畫的樂趣與成就感,才是繪畫。

--

--

Anson Chen
SnowyMeteor

MS CSIE @ NTUST | Cats Lover | Observer of Humanity