容積捕捉:文化IP加入4D技術 爆出無窮創意火花

一站式360度動態捕捉,2D、3D、AR、VR,運動娛樂產業都能運用,這是什麼樣的仙丹妙藥?
文:鄭景雯/攝影:王騰毅/影音:張智彥



因為武漢肺炎的關係,NBA停賽了好一陣子,然而紀錄片「最後一舞」(The Last Dance),卻硬生生把籃球迷帶回球風硬派的90年代,「籃球之神」麥可喬丹(Michael Jordan)在層層防守下還能每場拿下至少30分。挺腰拉竿、急停後仰,人人都想知道這些「非人」的動作到底怎麼完成,90年代的小孩只想學會喬丹一半的招式,2020年的孩子,因為這部紀錄片,也想研究研究「老神」,讓自己在街頭籃球稱霸。

喬丹流暢又帥氣的打法風靡全球,但球迷往往只能放慢比賽的影片速度,邊看邊揣摩,就連已逝傳奇球星科比布萊恩(Kobe Bryant)生前也時常在半夜打給喬丹,問喬丹步法、單打、三角戰術。不過面授機宜總是特權,一般觀眾不太可能擁有這樣的好老師。

幸好這幾年隨著影像拍攝技術從2D、3D進化到4D,讓人不禁陷入妄想,如果早在1990年代就有4D攝影棚,並能以容積捕捉(Volumetric Capture)技術拍攝喬丹打球。科比或許不需要擁有喬丹的電話,只要透過容積測量捕捉拍攝技術,就能360度觀看喬丹打球動作,並且將喬丹的影像建模,學得一番好身手。

而這樣的影像技術還能運用在電影、MV、廣告等影像上,一般球迷甚至可以戴上頭盔顯示器,進入虛擬世界和喬丹PK一場。當然,結果可能一樣慘不忍睹。

4DViews

「4DViews」為法國INRIA Rhône-Alpes實驗室耗時超過10年所研發, 2007年開始運營並提供動態容積捕捉系統(Dynamic Volumetric Capture System,最新版本稱為 HOLOSYS),目前全球僅有法國、日本、美國3地點設有4DViews,台灣為全球第6座、亞洲第2座。此系統易於操作並能對人物動作影像進行完整記錄。文化部引進4DViews,期望能輔助跨平台原生IP內容的開發,以及產製技術應用支援。

4DViews 採用四面綠布景拍攝環境,搭配32支攝影機進行動作補捉,捕捉與後製效率較一般傳統動畫建模與動作捕捉技術(Motion capture)快 5到10倍。

什麼是容積捕捉?

科技導入影視製作,讓一切想像都變得可能。

2009年好萊塢導演詹姆斯·卡麥隆(James Francis Cameron)的電影《阿凡達》,將全球觀看電影的視野從2D進入到3D,開啟電影新紀元。片裡的視覺效果讓人耳目一新,透過真人影像加上3D特效,突破以往3D繪圖的限制,呈現效果逼真,彷彿真有納美人和阿凡達的存在。

《阿凡達》的拍攝方式有別以往傳統2D實景攝影,演員必須穿戴「動作捕捉」(Motion Capture,簡稱動捕)設備,演出時要穿上附有光球式、運動感測器式等動捕服裝,直接錄製動作再套到模式即可完成。不過動捕製作的動畫,還是不容易紀錄如同真實世界中人物的擬真度。

過去要解決高擬真3D模型建置,可採用3D掃描的方式建模,但只限於靜態物件,而在容積式(Volumetric)掃描方式的出現後,成為解決問題的最佳方案,真人在360度有著32台攝影機的4D攝影棚內拍攝,一舉一動都可被容積捕捉建模。

文化部從法國申購4Dviews系統,真人在360度有著32台攝影機的4D攝影棚內拍攝,一舉一動都可被「容積捕捉」

工研院服科中心技術組長彭首榮表示,過去傳統動畫要先建模,貼圖再透過拉骨架與動作讓動畫動起來,但容積擷取則是把拍攝物件放到攝影棚內,透過360度環場攝影機拍攝,再進入到後端的程式運算,直接就可建立模型,如同動畫師建模、貼圖完後的實際樣貌。

工研院服科中心技術組長彭首榮說,4Dviews在國外主要應用於音樂MV、電影、廣告、遊戲、教學等領域

簡單來說,以往用2D平面拍攝,在電腦裡把人臉影像放到最大,會是由一格一格的像素點(pixel)組成。但容積式擷取後的影像,可從360度任一角度擷取想要觀看的視角,放大後則有如3D列印後的立體成像。

這項「容積捕捉」技術近幾年才被好萊塢運用,是一項新興科技。台灣在2019年由文化部耗資新台幣近3000萬,從法國引進「4DViews」系統,捕捉360度無死角影像,最大作用是可簡化數位內容產製過程,「所拍即所得」,可以一站式產製3D模型。

4Dviews耗資新台幣3000萬元,採用四面綠布景拍攝環境,搭配32隻攝影機進行動作捕捉

文化部引進4DViews後,移交由文策院負責相關業務,成立「IP內容實驗室」,委由工研院營運,目前這套設備架設在空總當代文化實驗場。

4DViews攝影棚目前架設在空總當代文化實驗場

未來5年容積影像市場擴增 適合用於運動娛樂產業

容積捕捉在過去十多年來不斷研發精進,2017年Intel宣布與Turner Sports合作,將虛擬現實和容積擷取技術運用在NBA的合作媒體。

根據美國商業資訊(Business Wire)今年3月調查指出,容積影像(Volumetric Video)市場將從2020年的14億美元,到2025年增長到58億美元,其中又以運用在運動、娛樂產業、醫療、教育及訓練上最為合適。

彭首榮表示,Intel、Microsoft研發的容積擷取設備為體育館等級,適合運用在好萊塢片場,可容納至少100多人以上同時拍攝,不過這樣的規格,若沒有好萊塢等級的資金與拍攝規模,根本很難開棚。

彭首榮表示,Intel、Microsoft研發的容積擷取設備為體育館等級,適合運用在好萊塢片場,台灣申購的4DViews為中型設備

目前台灣申購的4DViews為中型設備,可拍取景範圍在3公尺x3公尺x2.4公尺以內,參考國際營運中同等級攝影棚,光是開棚一天8小時就要價新台幣80萬元。以此規格計算,大型的容積捕捉攝影棚更是所費不貲,不符合台灣影視產業現階段需求。

彭首榮說,使用容積捕捉拍攝的優點在於「不需要事先虛擬建模,只要一站式拍攝,拍一秒,360度全都拍得到,模型立刻建立。」拍攝後要進入運算模式,「拍1分鐘,需要經過8小時電腦運算才可將影像建模輸出。」

4DViews拍1分鐘,需要經過8小時電腦運算才可將影像建模輸出

建模後就可多元運用在AR(Augmented Reality,擴增實境)、VR(Virtual Reality,虛擬實境),2D影片製作也可從360度各個角度去擷取影像剪接。

以麥可喬丹為例,以往拍攝會分中、遠、近景不同角度拍攝,但若在4D攝影棚,喬丹不需要如此費工,只要拍一次,若是用在2D影像,剪接時可擷取360度的任一視角,從上、下、左、右都可觀看;若運用在AR,可以透過手機或平板介面,將喬丹的影像投射在家裡;用在VR,戴上頭盔顯示器,可設計一款與喬丹PK對打的遊戲,或者是進入虛擬情境,360度仔細觀看喬丹的急停後仰。

4Dviews可拍吳青峰太空人MV 也可拍無形文資

目前全球只有法國、日本、美國、台灣設有4Dviews,台灣是全球第6座、亞洲第2座,在日本已有多次使用經驗,包括Perfume、倖田來未、卡莉怪妞皆曾以此拍攝MV。

去年「IP內容實驗室」也對外徵件,共有13組創作團隊獲選,其中以歌手吳青峰MV《太空人》的商業運用最為外界熟知。

工研院影像匯流與分析系統技術部技術副理呂坤憲表示,《太空人》MV裡,演員林柏宏一會兒走在沙漠中,鏡頭從近到遠,一會兒又坐在摩天輪上,人物時而縮小又放大,這樣的畫面呈現,在一般的攝影棚裡不可能做到,只有4Dviews才能擷取到這樣的影像。

呂坤憲說,《太空人》MV裡,人像一下子走在沙漠,一下子又坐在摩天輪上,人物時而縮小右放大,只有4Dviews才能擷取到

4DViews也可運用在無形文化資產保存,曾邀請歌仔戲人間國寶廖瓊枝、歌仔戲小生黃香蓮、新生代歌仔戲演員黃偲璇,以老中青三代的身段演示。黃偲璇表示,過去在學習前輩的身段時,也會透過影像模仿,但通常只能看到正面,無法看得到老師背後的動作,但透過4DViews,她可以全方位360度的觀賞,看到更多細節。

歌仔戲演員黃偲璇用4Dviews紀錄身段演示,讓後輩未來可以藉此360度觀賞更多手勢細節

4DViews仍有限制 髮絲太細、衣服反光都無法呈現

不過4DViews在使用上仍有限制,工研院影像匯流與分析系統技術部經理蘇奕宇表示,包括綠色衣服、太細的髮絲、反光的衣服、琴弦等較為細微的細節,都是無法順利捕捉的影像。

工研院影像匯流與分析系統技術部經理蘇奕宇(右)表示,4DViews仍有限制 髮絲太細、衣服反光都無法呈現

因此在拍攝前,IP內容實驗室會先與創作團隊溝通,從妝髮、服飾材質顏色、道具設計等各個細節,IP內容實驗室會建立起拍攝前的SOP流程與溝通,提供團隊拍攝事前專業建議,使拍攝流程能順暢進行。否則一進到4D攝影棚就開始計費,若沒有完善的拍攝準備,最後很可能拍了一堆與想像有落差的影像。

4DViews拍攝之前,創作者與工研院團隊的前置溝通很重要

容積捕捉後製有別2D 拍攝前期內容溝通很重要

鋼琴家盧佳慧去年運用4Dviews拍攝XR新媒體藝術作品《迷》,她表示,4Dviews顛覆過往拍攝手法,尤其是後製選影像的方式和2D不同,「以往可以跟剪接師說,我要選3秒到5秒之間的畫面,但4Dviews不一樣,是在一個立體的狀態去選取影像。」後製時挑選的影像一旦改變切入角度,後面的影像都將會隨之改變,「4Dviews的影像是活的,非靠人工剪接拼湊就可組成。」

鋼琴家盧佳慧(右)用4Dviews拍攝XR新媒體藝術作品《迷》,將藝術與科技結合,跳脫傳統框架。(盧佳慧提供)

這也代表要運用4Dviews拍攝,創作發想的模式就會與過往不同,最好是能在拍攝前就清楚構思每個分鏡畫面,拍攝時會經過攝影機同步校正、背景擷取、多視角人物影像捕捉、影像渲染運算等步驟後,就可先預覽動態3D模型效果。

盧佳慧表示,拍攝前原本預期能將她彈鋼琴的動作呈現,但因她彈的曲目手部動作快、較難捕捉,即使彈奏速度放慢也一樣,最後只能隨機應變,見招拆招,改把舞者張逸軍的影像縮小,「縮小讓影像變得非常真實」。透過後製建模一架鋼琴,讓舞者在琴鍵上跳舞。

這段影像後來也運用在盧佳慧的現場演出。她在現場架設立體攝影機,即時拍攝演出者及現場觀眾,再對應著4DView 虛擬製作好的影像,同步整合投放在LED大螢幕,創造虛實穿插共構的XR(延展實境),包含VR、AR、MR(混合實境),作品結合科技、美術、舞蹈、音樂、即時觀眾參與互動及現場表演,在台灣是首創。

盧佳慧表示,4Dviews適合運用在縮小的成像,最後是改把舞者張逸軍(圖)的影像縮小,透過後製建模一架鋼琴,讓舞者在琴鍵上跳舞。(盧佳慧提供)

盧佳慧認為,「傳統藝術市場有一定的重要性,不敢說已經到瓶頸,古典音樂還是有永存不敗的地位,只是傳承外還需創新,不只是文化,表演藝術與科技結合,勢必會是新趨勢。」

雖然現階段台灣4Dviews還無法全面商業化,文策院內容策進處處長李正上表示,初期仍鼓勵業界提出企劃多元應用,未來也可參照國際上一源多用的IP衍生加值手法,例如迪士尼的商業模式,透過4Dviews產出創新的影視音作品,推動國際合製,建構未來劇院與新型態展演映模式,加速商業營運獲利。