NovelAI 入門介紹

生成女友、老婆的 AIaaS

Anson Chen
Oct 15, 2022
NovelAI official website

Preface

NovelAI 初次釋出的服務,是小說與故事續寫功能,以協助作家創造更多有趣且新奇的內容,根據官方網站 (https://novelai.net/) 的描述,應該是 GPT-based 的模型,關於 NLP 的技術這邊就不贅述 XD,因為重點是接下來的介紹的內容。

在 2022 年 10 月初,NovelAI 推出了圖像生成的功能,在推出的首日,網路論壇和各大討論版便一片沸騰,內容多是讚美模型的生成能力、人類文明的一大進步等說法。

因為該服務的出現,許多繪師便擔心作品引用的著作權問題,其中最為人詬病的是:模型訓練用的資料集,內容包含了大量二創畫作,開發人員也自曝使用盜版網站 (https://danbooru.donmai.us/) 的內容,加劇了繪師與 AI 之間的衝突。

Opinion

雖然我個人一向抱持著 Open-source 的精神,但也能理解繪師們所顧忌和厭惡該服務的原因,不僅是影響生計,也會連帶減少投入該領域的新血,造成繪畫市場萎縮,從各個面向來看,可以說是百害無一利。

不過,在這幾天的使用後,我能夠斷言以目前的技術來說,人工手繪的優勢依然存在,尤其是中高階與專業繪師更是不必擔心,因為在畫作的精細度上仍有一段差距,其風格也會受限於學習的資料集,但對於初學者來說,大概只能用絕望兩字來形容處境,然而前面提到的優勢,又能維持多久呢?

隨著時間推進,優勢將會飛快地消失。

一個模型的成長和進步,需要經過 fine-tune 的階段,才會慢慢變強(產出更優秀和準確的圖片),就像人類一樣,需要閱讀和學習更多書籍和知識,才會變得博學多聞。未來只要給予模型更大量的訓練資料,並優化其架構與方法,相信超越手工繪畫的那一天,是必然會到來的。

然而,在服務推出的幾日後,就傳出模型資料「被開源」,洩漏的模型約為 50 GB,一旦模型資料被公開,就會有更多人參與研究開發,代表模型的成長曲線會直線上升,下一次面世的變種模型,效能想必會更加強大,這也呼應了前面所提到的,手繪的優勢會慢慢減少。

Model

在這次洩漏的模型中,原先以為單一模型大小是 50 GB,不過實際將模型下載來看後,共分成滿多的 .ckpt,並非是 Ensemble 模型。每個 .ckpt 看似有針對不同類型的物件來訓練,正因如此,NovelAI 的服務,可以針對描述的內容來進行對應的生成(如:食物、風景)。

回到 NovelAI 的圖片生成上,在網站中,使用者需要輸入提示 (prompt) 來控制生成的內容,而 prompt 可分成 Positive 與 Negative,這部分由 curly brackets 來調整權重。輸入的內容以單詞為主,也能輸入完整的句子(如:standing in front of the door),但當輸入的句子過長,在生成上就容易有較多 noise,進而影響圖片的品質,因此輸入的提示可以多加琢磨。

Future goal

因為 NovelAI 的網站服務需要收費,之後分享的內容會以 Github 的開源專案為主,只要各位的硬體設備與電腦環境達標,也能夠實際體驗看看!

目前在網路上看到的作品,大多是動漫、二次元的畫風,加上自己對這塊比較有興趣,之後的分享會著重於此。(過程中曾訓練過非動畫風格的畫作,但產出滿多容易讓人掉 SAN 值的東西,這邊就不分享了...)

不知道什麼是 SAN 值的人,可參考恐怖谷理論:
https://www.thenewslens.com/article/143373

未來會釋出幾篇使用至今的心得,包含安裝教學、關鍵字教學、圖片優化,並提供範例作品,敬請期待!

Reference

--

--