LyFee 萊菲光場 光場影像,愛恨交織的深度圖與光場影像 — LyFee 萊菲光場 — 光場影像 光場記憶

LyFee 萊菲光場 光場影像,愛恨交織的深度圖與光場影像

取得光場影像的同時,有一個附產品,也會一同生產出來。 黑白的「深度圖」,一個對許多人夢寐以求的圖像,讓人可以從平面影像轉換成立體影像的捷徑。

原文(2015) — 裸眼3D廣告的愛恨情仇 — 2D轉3D

曾經,對深度圖有深刻的經驗,進入光場影像的領域後,對這一張張黑白圖像,有了不同的延伸與思考。

「深度圖」對於做3D動畫或特效的人應該都不陌生,常常拿來做為光影、糢糊….許多效果的依據。

第一次聽到深度圖用在裸視3D,是在一個業界的老前輩的口中聽到,他總是說:「只要你有深度圖,要幾個視角都可以給你」。 那時候剛進入裸視3D的產業,對於能永遠解決多視點的問題,真的好高興一陣子。當時候需要多視點的算圖工作,正困擾整個團隊,有一個只算一張,然後在加一張深度圖(2D+D),就可以看到裸眼3D影像的方法,當然非常興奮。

裸眼3D動畫製作,少掉多視點算圖,利用2D轉3D深度圖轉製,太方便!

裸眼立體用深度圖,就如同上圖範例,用來告訴電腦,這張圖的距離或者是立體效果的依據。所以,裸眼立體的2D轉3D(2D轉多視點),如果沒有意外的話,9成都是走這個程序。不管是全自動轉製、半自動轉製、全人工繪製,都一定要把深度圖產生出來,才能讓原本的2D畫面變成戴眼鏡或裸眼3D多視點的影像。過程大概就是「分區追像」、「上灰」、「加漸層」、「穩定降噪」,有些2D轉3D團隊還會加上「多視點分算」及「補圖像」。上面這張圖示大概就會批為不合格,毛邊太嚴重,根本分不出邊! CG的裸眼3D,因為在生產的過程中就在軟體內部,所以深度圖很穩定(如下圖示)比對上一張,差很多吧。

實際拍攝就比較難產生毛邊少的深度圖,所以大部分都會視機器轉製 一半,然後在經過人工修整。或者就完全人工繪製深度圖,這就會需要大量的人力與時間,印度在這個領域還蠻利害的,難怪美國人會把整家公司搬過去。

裸眼3D影片2D轉3D深度圖轉製,很多客戶愛到翻!

用深度圖當做「規格」的裸眼3D影像(2D+D),對於現在裸眼3D內容缺乏的狀況,是一個降低成本的好選擇。 客戶一般都沒有預算,但是又希望有3D效果,所以2D轉3D就提供一個很好的捷徑。

1) 用深度圖可以允許後製做調整3D效果,甚至可以讓那些拍攝距離物件太近或者是拍攝3D效果失敗的狀況下,調整3D效果。

2) 原有的2D影片,利用這個程序,直接轉成裸眼3D多視點的影片,馬上可以解決內容不足的問題。

3) 符合「電視」戴眼鏡3D等級內容的製作轉製成本,快速、方便、技術成本低!

4) 深進螢幕的立體效果自然,不會讓人感到暈眩。

所以現有裸眼3D電視螢幕,用這樣的程序,是最符合經濟效益的商業模式,也是製作裸眼3D內容的團隊,最基本入門檻的技術能力!

裸眼立體影像與光場影像「最初」的關聯 — 深度圖

裸眼立體影像的年代,深度圖不是用人工「轉製」、要不然就是機器「轉製」。 「轉製」就是透過圖像的辨識,來判定距離,並不是依據實際距離得到的數據來製做。 但是接下來透過光場技術,是在光場攝影機攝影的同時,就已將「光」的數據(距離、方向、色彩等)存下來,再透過運算,就可以產生真正距離感知的深度圖。

2D轉3D深度圖,雖然很”快速”,但是有缺陷!

經過幾次經驗,剛開始的興奮,漸漸的被疑惑所取代。 裸眼3D在大尺寸的螢幕上,立體效果與小螢幕差很多,尺寸越大,效果越明顯。 但是,隨著尺寸越大,原本小尺寸看不出的破綻,也會隨著大尺寸而放大。 再來就是視點的增加與FOV的增大,就慢慢放大2D轉3D深度圖的缺陷。 當裸眼3D(Autostereoscopic)接近全像(Holographic)時,就不會有人提出2D轉3D,這點真得讓人蠻意外。 我顯少聽到雷射全像用2D轉3D,而且每個的雷射攝影技術設備,都是貴到不行,也沒客戶抱怨要廠商降低成本使用2D轉3D的技術。

製做深度圖的時候,要很清楚幾件事。

1) 毛邊

一般會出現在機器或軟體轉製時發生的情況,沒有經過人工修整,但是速度最快。小尺寸的裸眼3D螢幕,在3D成像後,或許看不到物體的毛邊與小瑕疵。 可是在大尺寸或電視牆,這樣可是會讓物體周為充滿「氣場」。毛邊的厚大會隨著螢幕增大,呈現放大顯示,所以小尺寸可以看的2D轉3D影像(沒有氣場毛邊),不一定能在大尺寸上一體適用。

2) 半透明

深度圖這點算是他的瓶頸,你只能選其中一個為你的重點,無法同時展現兩個以上的立體效果。 不過有許多解決方案啦,像是另外讀取透明數據,或者是乾脆放棄「透明」。

如果你有紅藍眼鏡,你會發現玻璃瓶與船是分開的,船真正是在瓶子內!! 如果是深度圖,2D轉3D,那就要放棄一個。

3) 黏著感與補圖

黏著感是用深度圖2D轉3D時會一直想解決的問題,如果是左右(2D+D)的格式,就得靠裸眼3D軟硬體「播放器」解決。 只做到2D+D格式的部分,是無法解決強烈的黏著感問題。 你只能利用類似Displacement Map的工具,可以不經過裸眼3D螢幕就可看見立體的狀態,這可以稍微預估一下效果。 可是黏著感就得要經過「分算」與「補圖」,立體效果才會好! 題外話,如果視點越多FOV越大….你得補越多!

4) 動態模糊與大單色塊

任何的模糊與大單色塊都是裸眼3D的大忌,會破壞立體效果的呈現,一般只要出現這兩個,我們就會認為這個裸眼3D內容製作團隊不專業。

深度圖用在裸眼3D的領域至少有二十幾年,用在戴影鏡的3D更是久。 曾經在運用深度圖的過程中,幾年前有人提出深度圖用在裸眼3D是否有”專利”的問題。 被問到的那一刻,還真的嚇了一跳,真沒想過這件事情。 看在大家用的這麼賣力,也沒人提出告訴,應該是沒有專利的問題吧。

5) 立體影像的變型

既然是透過深度圖的轉換,就會有好壞之分。好的轉換,會完整表現實際情況,但是有些圖像在轉換的過程,會產「變形」,與實際的物體不符。變形、拉扯、擠壓或液化,這些都是在轉換的過程中會出現的狀況,感覺起來就好像星際迷航記裡的傳送裝置失敗後,人被變形的模樣。

進入「光場影像」的領域後,取得影像的同時「深度圖」就自然生成。 所以就可以直接滿足實拍時的2D轉3D轉換。 這是一條非常聰明的捷徑,讓需要高成本的裸眼立體拍攝,一下子可減少90%的成本。 也可以透過「深度圖」的2D轉換成3D,輸出成可以符合各種不同格式的立體影像。

有關現在在2D轉3D深度圖領域,會碰到兩個問題:

製造端

追圖,黑白圖抹,枯燥無味的工作,一定要依據原始2D影片,沒有創作空間。這樣的業態,使得人員流動大,做起來像作業員。但是又需要大量的繪製人員,而且品質控制又要把關使用工具要研發,非一般中型或小型團隊適用。 但是做單張影像不在此限,台灣有世界級裸眼3D的2D轉3D技術,他們的技術真得很棒。

觀眾端

在有些觀眾的眼裡,用深度圖轉製的裸眼3D影像,是一種偽3D的欺騙行為。

對於我們來說,深度圖是一個過程,2D轉3D也是一種程序與工具。 它有它適合的地方,也有它的缺陷。之所以裸眼3D影像內容迷人,就是它的變化多,讓人捉摸不定,需要整個團隊不斷摸索探索。畢竟裸眼3D與戴眼鏡的3D的歷史,也有170幾年,好老!

經過我們這幾年的經驗,透過深度圖的轉換,立體效果與實際多視點產出的立體影像,有著顯著的差異,但是,確是現在,大家聽的懂、可以用於實拍,馬上應用的技術。

LyFee 萊菲光場 對於深度圖的定義,它還是屬於平面影像的應用,並未真正進入立體影像的範疇。 但是,它的確是個很好用的製作「程序」,可以讓我們控制成本,針對不同專案,決定最好的解決途徑。

Show your support

Clapping shows how much you appreciated 萊菲光場 LyFee’s story.