Midjourney + Gen-2 聯手將圖片轉成唯美動畫

林鼎淵
Dean Lin
Published in
Jul 29, 2023

Midjourney 是一款輸入關鍵字就能產出唯美圖片的工具,而 Gen-2 可以讓靜態的圖片動起來;那如果將這兩款工具結合,是否能產生令人歎為觀止的唯美動畫?

結果是否跟我們想的一樣呢?就讓筆者來實際操作看看!

STEP 1:用 Midjourney 產生圖片

目前 Midjourney 需要付費才能使用,如果這是你第一次認識 Midjourney,可以參考筆者先前分享的文章;如果你沒有 Midjourney 帳戶,透過 DALLE 或是使用筆者在後面提供的圖片也可以體驗。

筆者的 Prompt 為「musical imitation --ar 16:9

STEP 2:註冊 Runway 帳號

Runway 官網https://runwayml.com/

可以使用 Google 帳號 or 其他方案來註冊,成功後會詢問你是否要訂閱他們的最新資訊。

然後會有彈窗顯示目前的付費方案,我們先選擇「Free」來嘗試看看。

STEP 3:使用 Gen-2 模型,將圖片轉成動畫

這篇文章的目的是讓靜態圖片動起來,所以我們選擇右上角的「Image to Video」。

進入後你會看到右上角顯示「105s left」,這是指你可以產生的影片秒數。

在 Gen-2 的模式下,可以使用「上傳圖片」或搭配「輸入文字」來產生影片,這邊我們採用上傳圖片的方案,點擊「Generate」後便會開始生成。

用文字產生影片的教學文章在這裡

你會發現右上角的 105s 變成 101s 惹

下面就是圖片轉為影片的結果喔!目前 Gen2 只能產出 4 sec 的影片;如果你想要讓影片更長,可以用最後一張圖當基底讓他產生。

musical imitation — ar 16:9

▋更多案例展示

下面是筆者將圖片轉為動畫的各種實驗,大家可以先瀏覽看看,最後我再分享自己的心得。

➤ 場景

A beautiful place wallpaper — ar 16:9

➤ 可愛動物(有點魔性)

The rabbit and his two friends are crazing Sprinkle banknotes towards the sky, the picture is full of banknotes and celebrate New Year , 3d , shiny , cute , painting by ghibli studio — ar 16:9

➤ 人像

a young male person with silver hair standing on the beach, in the style of sandara tang, piratepunk, karol bak, video, white and amber, hiroshi nagai, enchanting — ar 128:71

▋結語

嘗試各種素材後,我發現了以下規則:

  • 圖片不要有太多元素,當細節太多時,哪塊會成為動畫完全憑運氣。
  • 人物盡量只挑上半身,不然產出的影片會很獵奇。
  • 多種素材測試下來,場景的表現是最好的。

下面分享一些悲劇的案例:

在雲端拉小提琴結果摔下去
原本希望在沙漠前行,結果變成了鬼步

雖然部分結果不如預期,但這些成果也足夠驚人了;從筆者的角度來看,AI 將對影視產業產生巨大的衝擊,就像綠幕剛誕生的時候一樣。

想將 AI 導入自己的職場與生活嗎?歡迎報名筆者與商周集團合作的線上課程:「AI 高效簡報術|ChatGPT + Gamma 工作簡報

https://smartmonthly.pse.is/5c6q9m

如果您想在 AI 的浪潮中站穩腳步,並在未來的職場競爭中佔據優勢,那麼筆者出版的新書絕對是您入門 AI 的第一步!

▶︎ 如果這篇文章有幫助到你

1. 可以點擊「Follow」來追蹤我~
2. 可以對文章拍手讓我知道 👏🏻
你們的追蹤與鼓勵是我繼續寫作的動力 🙏🏼

▶︎ 如果你對工程師的職涯感到迷茫

1. 也許我在iT邦幫忙發表的系列文可以給你不一樣的觀點 💡
2. 也歡迎您到書局選購支持,透過豐富的案例來重新檢視自己的職涯

--

--

林鼎淵
Dean Lin

職涯中培育過多名工程師,🧰 目前在外商公司擔任 Software Specialist |✍️ 我專注寫 (1)最新技術 (2)團隊合作 (3)工程師職涯的文章,出版過 5 本專業書籍|👏🏻 如果對這些主題感興趣,歡迎點擊「Follow」來關注我~