關閉
追蹤文化+

開發新語法 擴增現場與現實 當數位科技遇見表演藝術

疫情逼著藝術家使用網路、學習舞台轉換,且聽聽他們如何藉由數位科技,為表演藝術創作帶來無限可能。
2021/12/18
與談:蘇威嘉×蔡宏賢×王柏偉/主持:江家華/整理:李秋玫/照片提供:《PAR表演藝術》

「我覺得很幸運!」面對疫情對表演藝術的重擊,編舞家蘇威嘉反而樂觀面對,思考如何利用技術來記錄、展現並且推廣舞蹈。他常想,幾百年後的人們回看,一定會說「那一群人好笨,在那兒衝不出來、做著低科技的事情,超好笑的!」也許那時,所謂的「線上」早已是個歷史,但卻是個不得不被提及的時代。

確實,疫情逼著藝術家使用網路、學習舞台轉換。然而,海闊天空的創意仍需要熟稔科技的夥伴,一起讓夢想實現,10年編舞計畫《自由步》即為一例。為此,本刊特邀蘇威嘉、新媒體藝術工作者暨策展人蔡宏賢,以及數位藝術基金會藝術總監王柏偉,從《自由步》出發,談疫情下,數位科技能為表演藝術創作帶來的可能性。

蘇威嘉,驫舞劇場團長,長期為舞團編創新作與演出,2013年開始進行以《自由步》10年編舞計畫。近年來從科技角度出發,思考當代舞蹈關演關係的可能性。2020年利用臺中國家歌劇院的曲牆設計,透過AR擴增實境,讓觀眾手持平板或手機裝置,在空間自由遊走,找到屬於自己的凝視視角。

蔡宏賢,資深新媒體藝術工作者及跨界製作人,現職Dimension Plus超維度互動創意總監、文化部「科技藝術實驗創新及輔導推動計畫」主持人。曾任空總臺灣當代文化實驗場(C-LAB)科技媒體實驗平台資深顧問、第58屆威尼斯國際美術雙年展臺灣館《3x3x6》製作總監、微型樂園創意總監、數位藝術知識與創作流通平台計畫主持人及playaround工作坊策畫人。

王柏偉,現任數位藝術基金會藝術總監,曾任北美館助理研究員。主要研究領域為媒介與設計理論、當代藝術史、文化社會學、藝術╱科學╱科技(AST)、西洋教育史,與張錦惠合譯有Niklas Luhmann所著《愛情作為激情:論親密性的符碼化》。

「我覺得很幸運!」面對疫情對表演藝術的重擊,編舞家蘇威嘉反而樂觀面對,思考如何利用技術來記錄、展現並且推廣舞蹈。他常想,幾百年後的人們回看,一定會說「那一群人好笨,在那兒衝不出來、做著低科技的事情,超好笑的!」也許那時,所謂的「線上」早已是個歷史,但卻是個不得不被提及的時代。

確實,疫情逼著藝術家使用網路、學習舞台轉換。然而,海闊天空的創意仍需要熟稔科技的夥伴,一起讓夢想實現,10年編舞計畫《自由步》即為一例。為此,本刊特邀蘇威嘉、新媒體藝術工作者暨策展人蔡宏賢,以及數位藝術基金會藝術總監王柏偉,從《自由步》出發,談疫情下,數位科技能為表演藝術創作帶來的可能性。

Q: 首先想請威嘉和宏賢談談《看見你的自由步》的合作,當時是怎麼促成?又是如何在創作面與科技面來相互配合?

蘇威嘉(以下簡稱蘇):《自由步》開始多年後,我發現自己很想站到作品的對面去觀看,但演出時間過了就無法回到那個時刻,所以我想,就把作品錄下來吧!但錄下來是由導播、拍攝、剪輯的人決定視角,因此想錄360度一圈。那時文化部剛好有個科技跨表演藝術補助的案子,我寫了申請,但當時委員很執著於「現場表演是什麼」而不被接受。隔了幾年,製作人黃雯建議我跟宏賢老師聊聊,我就抱著試試看的心情去看了「醫生」,藉著他開出的一些名字與方向,才有了最初的《看見你的自由步》。

蔡宏賢(左起)、蘇威嘉、王柏偉。(攝影:汪正翔)

蔡宏賢(以下簡稱蔡): 他的概念是讓買手搖杯的人,可以透過手機看到杯子上有舞者跳舞,我覺得概念很棒、也是可以執行的。那幾年日本服裝品牌UNIQLO很流行跟很多舞者合作,桌布、手機有舞者穿梭跳舞,加上因為蘋果公司很推AR的技術,我就把認識的幾個團體推薦給威嘉。坦白講,每個跨域合作都是一個坑,沒有走那一遭,就沒辦法真正知道問題在哪。

蘇:這其實是亂聊時想到,我剛好有位朋友在英國開珍珠奶茶店,就想,如果喝完手搖杯後有個QR Code在底下,照下去裡面有人在跳舞,透過珍珠奶茶擴散的力量來看到舞蹈,對於舞蹈的認識就會慢慢增加。舞蹈表演者一直在想觀眾在哪裡,如果我們可以利用一個技術記錄,它就有機會成為公共藝術的一部分。在前期當然是貴的,但完成之後成本就會下降,因為不用人表演、人手一機就可以在很多地方再被使用。

蔡:不過,往往很難一步到位,我們也都還在摸索當中。我發現表演者對藝術的要求,可能比原來的科技提供者要高出很多。雖然廠商可以做到定位、偵測,但是從創作者角度來看,可能會感覺到影像太扁平,或者定位不準確,我想信威嘉一定有很大的挫折感。這還牽涉到出資者與藝術家兩方的拉扯,資方畢竟想賺錢,若無法做到最好,就會準備踩煞車,但創作是一個不斷往前走的事。

蘇:是啊,要一直配合!比如經費限制,讓我還無法將機器圍成一圈,讓人可以自由移動,因此觀眾從0度走到10度時,中間角度捕捉不到,就會產生bug。所以當《自由步》準備發展第二階段的時候,為了不要讓人誤以為是個bug,我們就要盡可能原地跳,還要思考要如何跳得好看。

第一階段,光錄一個很大的檔案就很吃力,所以要先降低對畫質的要求,但在第二階段時,這就不是個問題了。兩階段的差異是畫質的提升、檔案變得更大。回想小時候第一台電腦是黑白的,要用磁碟片存取,一張只有1M的容量,怎麼有辦法想像現在的發展?往後有可能速度、容量都遠超乎我們的想像。這好像兩台火車在比賽,一邊是不斷地追求4k、6K、8K的畫質……另一邊則是速度不斷變快。

蘇威嘉。(攝影:汪正翔)

Q:從《自由步》的實驗來看,是否在場的3位談談對於科技介入表演藝術的看法?

蔡:威嘉談到概念出發創作,為什麼這件事情很容易一談就合?原因是,對從事科技媒體的我們來說,行動主義是很重要的。特別是透過XR(擴增實境),讓舞蹈走到街頭,是很有潛力的。《自由步》背後精神跟我們走入群眾發揮力量是一致的,所以我很正面看待。

王柏偉(以下簡稱王):我同意宏賢說的行動主義,對我來說,還有另外一個必須跟行動主義搭配的,是表演或視覺藝術跨越場館的藩籬走到外面,也就是現實的擴增(Reality, augmented)。宏賢說那就是「元宇宙」,但我不愛這個詞,因為元宇宙大概還要再15年吧(笑)!這兩三年跟表演藝術領域的朋友聊時,發現大家習慣使用「現實」與「虛擬」彼此對立的概念,但我認為那並非二元。

2000年前,PC時代才有辦法說:我離開PC螢幕所以在線下生活。但在2010年iPhone比較普及之後,或說有移動載具之後,隨時都是現實的擴增。也就是說,我們必須要想像到底遠端、即時、共同、在場,甚至是多人同時在場到底是什麼意思。

我覺得《自由步》好厲害、走在好前面。有趣的是,那到底如何從外面進入場館的現場?這是另一個思考的方向。就像我們跟人力飛行劇團合作明年要演的《向左走,向右走》,現在正在測試的是,如何在現場演出大部分不改變的前提下,還能讓線上觀眾同時看到現場?又因為,我們不是要做直播,如何做線上觀看的介面?這我們還在嘗試中。

除此之外,我們也跟嘉義美術館討論虛擬展覽還有什麼其他的可能性。他們計畫做二館╱線上美術館,不是複製現場展覽,而是讓現場觀眾可以跟線上觀眾看見彼此,甚至可以彼此互動。他們也希望藝術作品作為線上空間的入口或場景設定。

舉例來說當我們進到某個攝影師的馬戲作品當中,整個色調與氛圍的場景,開始有類似馬戲演員的表演。在這個狀態下,我們創造多重平行空間,而這一個又一個空間是彼此貫通的。所以一方面我們可以看到現實當中不存在的景象,一方面又在虛擬當中看到現實,甚至可以與現實互動。

我認為《自由步》是從遊戲的角度創造一個世界。像我們跟文化臺灣基金會合作台日交流的Taiwan Now,就是創造一個虛擬的空間,讓觀眾看到作品。如何在現實空間中創造各式各樣反饋式的環境、即時或遠方的互動,這需要持續嘗試的。

王柏偉。(攝影:汪正翔)

蔡:如果《自由步》有3.0,我覺得可以思考的是AI。但表演藝術領域的人似乎會擔心實體就消失了。我認為未來觀眾也許都在虛擬時空中上線?所以不用排斥線上線下一定要並存,它甚至只是一個過渡。AI機器學習對表演者一樣重要,因為機器不可能學得會,它需要一連串的數據跟資料學習理念。日後在線上我們可能看到幾千幾百種《自由步》,從原來的版本逐步發展,因為AI並非AR、VR這樣定格做而已。

蘇:有機會,我覺得!我今天才看到新聞,貝多芬沒有寫完第十交響曲,所以國外有個學院就讓AI學習貝多芬怎麼思考以及慣用語法。這是一種統計學,如果我們可以集合各種舞蹈家的作品,讓AI學習,未來說不定就可以創造大師了!

蔡:是!你看前幾年日本新媒體藝術家真鍋大度在玩AI編舞!舞者的虛擬分身在發展的過程中,像小Baby在地上拖行,這個過程身體介於人與非人之間,看了真的會起雞皮疙瘩。《自由步》要進展到讓AI自行發展,那個過程一定會非常精采。我並非元宇宙的信奉者,但我們都經歷過如second life或線上遊戲等,這會是另一種美學的可能性。

Q:過去兩年因為疫情影響,我們目睹了科技藝術對於表演方式的改變,VR、AR、XR的應用在台灣突然大增,而且似乎成為受到疫情衝擊的解套方法,想請問3位的看法?
蘇:我看完書毅《留給未來的殘影》(註)很有感覺,突然很想帶我爸媽去拍(笑)!在看表演時,我反而沒在看科技,而是想到我爸媽年紀大了,當我想他們時候,就放來讓他們碎念我一下。在這件作品中,我直接地從科技的實用性感覺到溫度,想到如何用來記錄我珍惜的事情,那贏過照片或影片的畫面。

蔡宏賢。(攝影:汪正翔)

蔡:線上硬要拼上去就會發現,線下思考直接縫合到線上就容易失敗,甚至也無法感動人。就像威嘉說的,很想要留下一對虛擬的父母,但也會有人害怕說:「我又沒有請公嬤出來(笑)。」

我想到我們今年製作的跨國展演計畫「reCONNECT」計畫,10月在臺中國家歌劇院試演,是日本和田永、香港林欣傑跟臺灣雷光夏、超維度互動的線上及現場異地共演製作,做得很吃力,原因是國際藝術家人不能來,但現場表演還是要做,光是設計如果遠端跟現場異地共演,還要互動,過程就非常磨人。

可是我參加日本和田永的工作坊,發現和田永真的很會玩,透過視訊鏡頭,就可以直接跟參與者互動,創造音樂跟即興共演。過去的虛擬,特別是疫情開始,老師在講,學生根本都在做別的事。在遠端視訊線上工作坊裡,和田永讓每個遠端的參與者鏡頭前的動作影響老師的聲音演出效果,如此一來,每個互動跟鏡頭的連動都能產生關係。

不過這次「reCONNECT」計畫,我們演出前發現要透過翻譯、線上導播及現場舞監多方溝通合作,現場演出執行非常複雜。這讓我想到zoom有個新的職業是「主持人」,他必須控即時連線跟翻譯,這是全新的工作,觀眾也會得到全新體驗。「reCONNECT」計畫最終觀眾有可能還是懷疑我們不是現場演出!即便謝幕時和田永說「我們完成了這個線上直播演出」,觀眾也有可能說是預錄。我認為線下演出是個很奢侈幸福的事情,因為透過線上得到的是比較稀釋的表演。

《看見你的自由步》 。(照片提供:驫舞劇場)

王:我比較不會用「轉線上」來詮釋這兩年的趨勢或未來發展。現場實體的表現形式本來就有自己的能量,不會被線上所取代,但線上的趨勢或現實擴增的技術是不會停下的。有趣的是,當技術發展幅度愈來愈大的時候,虛實整合這條線就會出現。最明顯的是,最近才剛演出完的《神不在的小鎮》,這件5G的案子希望線上的參觀人次能夠盡可能地多,所以找了專門製作演唱會的專業團隊「必應製造」做執行策劃。接下來,必應為了統整現場裝置與設備找了進港浪劇團。

以這樣的方式來看,就可以理解它並不是一個一開始就從表演內容出發的設計,而首先是技術火力展示的想像。演出時,大家都沒有注意到,線上觀看其實很容易分心。就我聽到的回饋,大部分觀看四維版本的觀眾大概都是10分鐘之內放棄,因為空間、故事線沒有被整合,必須藉由二維的敘事線才能知道故事在講什麼,三維則是仰賴很多攝影機、空拍機在現場移動取景。

一維則是在現場,一個同樣的故事重複演出3遍。當天看現場演出,朋友告知我,我才知道要先跟著一條主線跑,再跑另外一條,最後再跑最細瑣的第3條線,才會知道故事在講什麼。觀眾不是像傳統觀賞一樣坐在劇院享受,而是要自己拼湊故事。

線上有一個不同於現場的特質,就是容易分心。所以情節如何在觀眾分散的狀況下又能夠組織,這是線上展演的大挑戰。特別是線上表演沒有主持人,又沒有架出一個空間將大家鎖住,而是可以分散視角時,新的敘事模式到底是什麼?這必須要重新開發,而不是原來的作品直接「轉線上」而已,如果是這樣一定全掛。

我現在看到除了制式的Gather Town等平台之外,有幾個作品也在嘗試往平台的方向走,一個是陳武康跟孫瑞鴻做的《14》,他們從《非常感謝您的參與》嘗試打開表演製作與觀看體制、《感謝您在家》線上直播到發展跨國連線直播《14》,已經大概抓得住如何以平台的方式建構內容可並吸引觀眾,是一個成功的案例。

只是我認為《14》是個平台而不是作品,所以從把《14》當成作品來挹注資源及未能持續經營這兩個與平台特質相違背的點來看,實在有點可惜。另一個作品是張吉米《少年待在立法院的那幾天》,做了一個手機版的現場導覽系統,觀眾可以到處定位,彈出地點的聲音跟內容,後來這個平台發展成「迎頭趕上藝術節」,提供8、9個藝術家應用。

另一個是張碩尹的《肥皂》,在虎尾糖廠裡打造出一個肥皂工廠,再攜手音樂、劇場、電影、資訊等不同領域創作者拍攝影像,並放在互動式網站平台來敘事。其中張碩尹的最像作品,完整性體驗最好的是《14》,吉米的成本非常小,是有趣的嘗試。這個就更接近宏賢所說的行動主義式的、不同於既有平台式的想像,這是有趣的發展方向,不只是作品,而是發展平台。

《reCONNECT》。(攝影:林冠名/照片提供:Dimension Plus)

蘇:剛剛講專心不專心,像我自己在玩電動遊戲,例如「薩爾達傳說」之類,是一個全開放的世界,我們就可能一次玩8到10個小時都不會分心,但如果是觀賞演出的話就會想要吃個東西、喝個飲料、跑去別的地方。我很好奇到底是什麼地方不一樣?

王:互動!不管是手機或電腦,我們在數位螢幕的介面習慣開多個視窗,快速跳到下一個、快速覺得無聊。當我們進入場館時,我們知道要去看演出,那個專注已經存在,縱使打哈欠也坐在那裡,期待下一秒給我驚喜。但遊戲介面不斷要求以互動參與形式讓人黏著。

蘇:我懂,就是有時候要不要跟觀眾互動?有時很尷尬,很刻意很不舒服,但有些人就可以做到渾然天成。

蔡:會分心這個狀況表示節目緊湊度抓得不夠好。更具體的是,所有的科技媒體都先服務兩件事情,那就是遊戲與情色!你很少看情色會看到打哈欠、先去倒個茶。的確像柏偉講的,那是新的敘事,沒有找到新的敘事就會無聊。

Q:一般認為科技(VR、AR、XR)介入藝術創作後將帶來表演藝術的普及化,然而也有另一說,認為這是與年輕觀眾溝通的語言,進而讓受眾年齡層往下走,各位認為呢?
蔡:這個看法非常兩極。先講XR好了,整合了實境及虛擬的環境,第一是現在是否負擔得起,第二個是否容易操作,這樣年輕人的接受度可能就比較高。

但觀眾是不是僅限於年輕人,我就覺得未必。但不論剛剛我在講的《自由步》3.0,或是呼應柏偉所說全新的敘事方法,我都認為未來迎接的是全新的觀眾,不要再想把舊的形式塞到未來觀眾裡面,這是行不通的。

《看見你的自由步》。(照片提供:舞劇場)

王:我同意,其實最明顯的是承接的案子裡,40歲以上的「甲方」朋友們很可能會提出問題像是:「這會不會太遊戲?」「這沒有身體感。」、「這美學不太對。」、「這品味可以再美一點嗎?」、「結構再完整一點好嗎?速度不要這麼快可以嗎?」

蘇:字可以再大一點嗎?(笑)

王:所以對於這個世代來說,我們不用硬要求他們接受線上式的邏輯,也不用硬要求要接受因為技術限制而不得不開發出來的美學型態。不過,他們如果願意,只要願意花時間(這對他們來說成本很高),其實是可以理解的!

蘇:他們有時是耍賴,我媽就是這樣!她前一支手機是iphone 6,所以有home鍵。我一直想幫她換,她不要,每天都在罵。有一天她line沒辦法發圖,就只好換。為了要使用新手機,她很快就學會了怎麼「滑」來取代home鍵。還有我們家做船務的,她以前打電報機發送訊息,後來轉成email她就罵「還要上網弄這弄那」,結果現在她email比我還會操作。

所以有時候他們會停留在以前的美好,不想學。但你看現在的小朋友拿到遙控器,不用看說明書,很快就知道怎麼用了。再舉一個例子,《自由步》AR展覽時,白天都導覽比較忙,因為長輩白天一早過去,到了下午志工都很閒,因為年輕人走進去,看一下影片就自己玩了。

王:對,其實這首先是對技術害怕,覺得習慣了不想改。這兩年我觀察,30歲的世代不會有身體感的問題,因為就是玩遊戲習慣了。然後在場、身體感、速度、美學等等,可能還沒有建構好完整的品味,很容易就接受了。也許再5到10年他們就不會有這個問題,我認為這只是過渡期。

《reCONNECT》。(攝影:林冠名/照片提供:Dimension Plus)

Q:這段時間透過線上國際交流,藉此可以打開觀眾的可能性,不知道各位的看法如何?

蔡:以目前的狀況,除非線上有「質」的改變,不然我並不看好。我們現在辦線上都辦到麻木了!舉例來說,我線下辦一個工作坊,假設有15個人參加,幾年之後這些實體參與者都還會牢記這件事。但是線上15個人看直播,即使是一樣的工作坊,可能幾週就會忘了。相較下我們的成本並沒有減少,但觀眾的回饋卻是稀薄的。

蘇:我認為要找到網路作品特質!例如舞蹈通常會透過碰觸來改變動作,當然看到的立體程度是贏過平面的,可是妤婷(編按:驫舞劇場舞者方妤婷)帶工作坊時發明了一招,就是用雙手對著鏡頭,找到手在鏡頭裡的形狀。這在線上就會有所加分,就是說,我如果在現場,大家一定搞不懂我在幹嘛,因為少了那個螢幕的框。可是透過攝影機,就可以設計成一個有效的練習。我覺得慢慢會找到解法,但也有可能疫情過了就沒了。

王:我想線上交流一定會增多,因為大家慢慢也習慣了不一定要在現場。但會不會因為這樣有更多國際交流的機會?我反而覺得不會。原來最好的狀態是在實體的空間表演、互動的,那它還是會以這樣的方式進行。

蘇:延伸下去,就是我們到底需要國外什麼?國外又需要我們什麼?年輕時會覺得有人來我就要跳,因為會有機會,後來發現根本不是。林懷民老師曾經也問過我們:「台灣鄉鎮跑遍了沒有?」所以我們其實也可以回過頭來看看台灣自己,而不是國際。

想想我們的理念是什麼?如果光是台灣人口就可以做得起來,那幹嘛出國?我們總是想請國外策展人來台灣,或者我們派策展人去國外挑節目,但沒有人來我們這裡挑節目啊!不過這個話題聊下去,就沒完沒了了……

註:台灣首部VR舞蹈電影/ VR Dance Film。導演陳芯宜與編舞周書毅共同創作,以舞蹈呈現記憶中難以言說的部分。

蘇威嘉:線上藝術節的新挑戰

驫舞最近在做的「樹林跳:跳島舞蹈節」,邀請了李尋歡導演做視覺統籌,以他的角度重拍舊作《身體我的名片》,拆解成片段。觀眾用戳戳樂的方式點選,戳一次30塊,喜不喜歡就憑運氣。這是舞團第一次辦線上舞蹈節,也是樹林藝文中心這個年輕場館願意做的新嘗試。不過也遇到了一些直播上的障礙,我們問obs、EpocCam怎麼使用,想自己解決嵌入程式的問題,才發現原來IG是不給嵌的! FB如果是邀請直播,嵌上去之後,也只剩下邀請者,所以挑戰是不斷的。

蔡宏賢:《reCONNECT》實體與虛擬並存的演出

《reCONNECT》是重新鏈結科技藝術的再創概念,執行了兩年。由台灣、香港、日本的文學家、歌手、音樂家與新媒體藝術家共同跨域創作出全新表演計畫《reCONNECT》,將有形與無形在不同層面上結合的概念性舞台空間,藉由枯山水概念,向科技藝術的歷史重新連結。因為疫情的緣故,我們重新面對實體與虛擬並存的演出,線上不能抵銷現場舞台的魅力,同時線下與線上要有效的連動。《reCONNECT》的正式演出時,台灣雷光夏、香港林欣傑、日本和田永三人以獨特的歌唱、家電樂器、光雕塑與舞台共創現場跨域演出,將觀眾帶領穿梭在實與虛之間,體驗媒體連結所帶來的感官奇幻,演出結束後,仍有觀眾不相信這是真正現場即時的虛實表演。

王柏偉:與科技藝術執行單位合作的SOP

這兩年藝術圈有個錯誤的工作方式,就是看到作品好就想要模仿。但每個藝術家應該要有獨特看法。所以我們的模式是:第一階段花3個月左右,研究對象、內容等,丟出相關的reference,思考哪些系統整合。第二個階段是藝術家告訴我們想做什麼?對之前的作品有什麼不滿足?重點在:為什麼一定要用新的科技?最後階段才跟資訊與技術的朋友們討論,開始拆解對方的目標、技術。三階段定版了,才真的有辦法決定要花費的時間、經費達成,然後分配給不同的技術團隊。

《PAR表演藝術》 第343期 / 2021年12月號

主題照:蘇威嘉(左起)、蔡宏賢、王柏偉。(攝影:汪正翔)