AI 速報-1月

Moonshine AI
8 min readFeb 5, 2024

--

2023年 AI 技術在各領域突飛猛進,本月以影像生成類為主題精選了17 種不同的工具來分享 !

影像類

  1. Midjourney

Midjourney 作為最廣為人知的影像生成工具,在 2023年12月中釋出了 v6.0 beta 版,新版本對於關鍵字的組成結構進行調整,能夠在減少關鍵字優化詞輸入的情況下得到更加細緻的圖片,文字方面只要在 [ ] 內輸入希望產生的文字就可以較精確的生成;Upscale的功能也被強化了(更改為Subtle及Creative), 效果略為不同,值得一試;另外還有參考風格的新功能,只要在關鍵字中加上 - -sref 圖片連結,就能生成跟該圖片相近的風格,想要使用v6版本的話在關鍵字後面加上 - -v 6.0 就可以啟用了 !

以 A city with many buildings and green plants 舉例
▲以 A city with many buildings and green plants 舉例
▲以 A beautiful woman,photo 舉例

2. Mangnific.ai

Magnific.ai是一個強大的影像放大工具,以將圖片通過 AI 重繪的方法來放大圖片,可以使圖像增加更多的細節,在尺寸差異大的情況下也能做到清晰的細節, 目前最大尺寸可放到 10K 或更高,可以調整圖片相似程度及細節程度等等控制選項,該工具是付費使用,但非常推薦給需要快速進行圖像放大的人。

▲以毛髮舉例,原圖有許多不合理部分 ,放大至10K後細節被加強,且清晰度也提升不少

3. Krea

近期即時生成震驚了許多人,這個平台目前還是 Beta 版但主打了"即時生成" 可以免費體驗,內建有許多可調整的選項,能夠上傳圖片也可以即時捕捉視 窗直接讓視窗畫面當成畫布。同時也有 AI 放大可以使用,雖然有限制最大尺寸為 2048,但做為免費工具已有不錯的效果。

▲即時繪圖生成畫面,也可打上關鍵字
▲圖中是花瓣局部細節 ,(左)原圖解析度不足,細節模糊 (右)增加了植物的紋理

4. Vizcom

一個可以將草稿轉為完稿參考圖的線上平台,可直接在平台上繪圖亦可上傳圖 片,甚至可以上傳 .obj等檔案,也有圖層的功能及關鍵字欄可使用,在算圖前可以選擇不同的 style 來生成,目前可以免費使用,也有專案管理的功能。

動態類

  1. Runway

常見的動態生成工具之一,主要生成動態影像的線上工具,平台上也有其他功能,像是移除物件、各種影片圖象轉換風格等等,但 AI 動態生成還是他的關 鍵;動態生成選項可選擇畫面的運鏡方向,近期的更新非常值得介紹: MotionBrush、可分層 Mask,這使動態生成變得更自由,秒數以 4秒為限, 付費可移除浮水印及得到更高畫質。

▲ Motionbrush及運鏡功能
可分層指定運動,方向動態較準確
▲ 亦可加入關鍵字提示內容

2. Pika Labs

動態生成的線上平台,支援圖生動態與文字生影片,秒數以3秒為限,可以選擇運動方向和 motion 強度,加入負面詞能夠調整生成精準度,也有一些便利的小工具,例如生成紀錄和 Retry 等按鍵可以直接重新生成。付費升級可移除浮水印、得到更高畫質、生成更長的秒數等。

▲ 負面詞與文字相似程度可調整

3. Domo.ai

主要功能是將圖片、影片轉換成不同風格,需要在 Discord 上使用,可以上傳自己的影片,並選擇不同風格及生成的秒數,有 3、5、10秒,三種長度可以選擇,等待時間較長,人臉不一定抓得穩,但某些特定風格效果還不錯,目前可以免費使用。

4. Lumiere

為Google近日發表的影片生成工具,採用了全新的模型技術 STUNet,目前只有示範 Demo,還未釋出其他的消息,可以從頁面上看到,能做到流暢度與連貫性較好的動態影像,除了基本的文字生影像、圖像生影像外甚至還有風格化的圖象動態、換風格,遮罩範圍動態等等,可以持續關注 !

3D 類

  1. Luma AI

為線上生成 3D 模型的平台,介面單純, 在底下輸入關鍵字後按create即可生成 ,一次提供四個結果可選擇,生成時間約一分鐘左右,格式較多元;還有重新拓樸、精緻化等等,Variations 功能能根據選擇的模型再做變化及延伸,重新拓樸則有低中高三種面數可選擇,可用於製作簡易的場景或用於素材。

在人類頭雕上的拓樸效果 ▲
▲ 低、中、高 三種面數

2. Tripo.ai

可以以文字生成或圖片生成 3D 模型的線上網站,未來預計會加入貼圖功能。首 頁有藝廊,展示的模型可直接下載,且在輸入關鍵字的同時,右側會同步出現與關鍵字相似的已生成模型,可以作為參考;模型一次會生成四個,造型在深度判斷上還不錯;模型檔案格式為.Glb檔,適合用於素材或快速場景。

3. Meshy

多功能的 3D 模型生成平台,有網站版 (積分制) 也有 Discord 版 (免費),功 能包含貼圖生成、模型生成等等;可以上傳自己的模型(建議拆好 UV ),打入關鍵字生成貼圖材質,也可以直接生成模型,有 Blender 與 Unity 的插件,目前實測較大眾且構造不複雜的物件效果還不錯,模型使用的格式為 .Glb檔, 生成的模型適合用來製作一些小場景和素材。

▲ 選擇後生成的預覽

其他應用類

  1. ComfyUI 小介紹

ComfyUI是一個基於節點流程的 Stable Diffusion 介面,可自由使用不同的節 點組合流程,來達到各種生成的效果,他們都能分別與不同工具或3D結合使 用,未來可以期待他有更多的優化與應用 ,往後會再深入介紹更多!

▲ 使用特定節點製作的小動畫

2. Marigold Depth - 深度小工具

一種基於Stable Diffusion模型來改善深度估計的通用性,提供較精準的的深度估計,目前在 comfyUI 上已有專用 node,也有提供線上版本可做測試,能利用他所生成的深度圖與 3D 做不同的結合使用,加快一些流程的製作或做快速溝通,是值得關注的小工具!

3. Instant ID

使用一張圖不須經過訓練即可融入其他風格產生出相似的人像,Instant ID 是其中一項工具,已整合進 WebUI 及 ComfyUI 上;使用 Controlnet 及 IP-Adapter 的組合來控制臉部特徵,支援高度的人像特徵保留,使用單純的寫實人像效果較好。

▲ 以 Billie Eilish 融合水彩風格

4. 一些3D生成相關的AI

除了上述現成的平台工具,現在也有許多各界尚在研究和優化的相關工具,例 如: TriplaneGaussian、3DTopia、DiffTF 等,影像轉建模或是文字生模型這些功能未來都可以持續關注並測試 !

以上為我們的精選資訊,我們會繼續挖掘各種好用或是酷酷的新資訊 也會持續追蹤新的工具更新消息 !

--

--

Moonshine AI

夢想動畫是一家以科技研發和藝術創作為核心的動畫公司。我們專注於動態影像的科技研究,並於2022年成立了AI小組,旨在在新時代的潮流中尋找創新的影像製作方法。 我們的目標是推進動畫領域的技術開發和創意革新。受科技的啟發,希望結合藝術創作開發出獨特且引人入勝的作品。