2D角色動畫直播系統


整理一下關注了幾個月的資料 ,從最開始的FaceRig,到Snow,FaceU(兩個可以實現跟蹤面部添加可愛貼圖的app),到現在後來的Adobe Character CC,到最近關注到的日本公司開發的Live 2D,現在創造一個可以互動的虛擬角色越來越簡單了

FaceRig

#

FaceRig為一套即時識別面部表情做動畫的3D軟體(pc平台)。

曾有人利用FaceRig在綠色背景下,再使用遊戲直播屆大名鼎鼎的開源OBS軟體,直接去綠背疊加在遊戲畫面上進行直播遊戲。

#

這些軟體基本上都是可以實現即時的改變表情/動作的功能,然後運用OBS軟體就可以進行直播的運用。

我分析了一下這些軟體的特色和優劣點:

1.FaceRig只能使用默認的模板,自定義功能也只限於修改顏色,添加小物品,想要使用導入自定義模型十分麻煩,效果有限,但社團有相應資源。

2.Snow和FaceU為手機app,電腦可以利用quicktime抓取手機熒幕實現存儲畫面,Snow和FaceU的模式很適合作為 改進使用者界面交互的 優秀參考。

3.Adobe Character 是可以直接載入提前分好層的psd文檔,然後設置骨架,通過攝像頭識別使用者面部資料,實現控制角色。 好處是入門容易,可以通過設置特定按鍵來開啟某個圖層,實現一些小動畫。缺點是只有15fps,並且會耗費大量計算機資源(好像暫時不支持GPU加速)

adobe character + OBS 在 twitch 直播上的運用

#

網路上已經有人用adobe character 生成 的背景設置為綠色,然後通過 OBS 系統的 去綠背功能實現 疊加在遊戲畫面,進行 twitch直播。(跟FaceRig類似,但修改性強,偏向於利用2d素材)

#

4.Live 2D 為一家日本公司專門設計為2d人物做出生動的表情及簡單的身體擺動。缺點是需要自己設置網格動畫來實現不同表情的動畫。主要的動畫為眼睛追蹤動畫,身體頭髮輕微擺動,若手臂設置了骨骼也可以做一些簡單運動。優點是功能為2d素材特別優化過,動畫符合日漫風格。

動畫原理為通過網格做出不同表情的關鍵幀
Live 2D自己的流程(中文為自動翻譯,效果不好)

#

左圖為製作時 需要有參考圖片做出較為準確生動的日漫風格表情。

#

#

Live 2d 這幾年的進步為提供多平台SDK及運用在遊戲,動畫產業中。

#

總結: 技術的整合逐漸成熟,2D角色動畫直播或許為現階段最優秀的運用。輔助錄製生成視頻素材也是可能的運用方向。


#未來瞻望及運用猜想

塑造虛擬角色似乎一直是人類的心理需求,即時的互動則能極大地增加真實感。虛擬角色的影響不可估計(例如miku初音),現在還有很大的市場需求。

Youtube頻道 A.I.Channel

左圖是最近關注的一個日本的youtube頻道叫A.I.Channel,號稱為日漫風格的人工智能女孩 的頻道。

視頻類容多為遊戲試玩(包括VR遊戲)及話題聊天。猜測為一套使用kinect的3d軟體MMD(MikuMikuDance)進行錄製和配音。

#

在看了大量這個 A.I.Channel 的視頻后,覺得 并不是人工智能,只是借用這個名字想火起來,因為官方網站有提供素材下載,下載后發現是MMD的貼圖,因此猜測是真人運用kinect錄製大部分動作,再增加表情及動作細節