入選團隊計畫

5G XR沉境式體驗發展-以傳統舞蹈虛實展演為例

後疫情時代，現場演唱會與表演藝術幾乎完全停頓，部分生活習慣、娛樂活動有望在疫情得到控制後隨即恢復常態，但亦有部分改變將是常態性的，科技解決方案將成為結構性轉變的核心要素。

本計畫旨在結合5G傳輸打造沈浸式內容平台，打破疫情限制，串連不同地域之表演工作團隊，讓觀眾欣賞異地共演之沈浸式體驗，本計畫主要目的為結合Real-time Performance Capture, XR, Immersive Theater與5G傳輸，讓觀眾可在家中、沈浸式劇場，透過網路觀賞現場演唱會及表演藝術。目前5G+360串流服務已經逐漸成形，本計畫期望往更高階方向發展，將「多人連線」與「互動」帶入，並結合360、AR與虛實整合，發展5G沉浸式內容平台，本計劃研究成果之數位內容展演將以傳統文化為創作來源，提萃傳統文化進行數位藝術創作，建構5G技術的沈浸式內容平台，創作者在此平台可發揮創意，透過創新的展演進行成果發表，增強觀眾對5G沈浸式體驗與傳統媒體截然不同的體驗，亦透過科技藝術承續與轉化傳統文化之美。

本計畫為整合型計畫，計畫首年預計配合傳統文化藝術節慶活動進行融合傳統舞蹈（例如：客家舞蹈）及數位科技之沈浸式展演。後續發展模組化展演方式，可承接不同主題進行沈浸式展演劇場打造。相關施作技術亦可取得專利認證。本計劃更預計以此創新型態之展演參加國際性競賽/展覽（例如：奧地利電子藝術節、美國SXSW西南偏南藝術節、法國NewImages Festival…等）。透過代表性展覽推廣台灣科技藝術在國際能見度，亦發揚台灣傳統文化之美。

總計畫主持人
國立臺灣師範大學黃心健

計畫主持人
國立臺灣師範大學王希俊
國立臺灣師範大學周遵儒
國立臺灣師範大學張晏榕
國立臺灣師範大學薛佑廷

合作單位
財團法人資訊工業策進會、META、元宇宙XR Hub Taiwan、愛迪斯科技、輝達NVIDIA 、技嘉電腦GIGABYTE 、宏碁電腦ACER

本計畫旨在探討動態捕捉技術在傳統舞蹈藝術中的應用，並完成三個可行的方向：1. 完成台三線藝術季的光雕投影傳統舞蹈展演；2. 建立傳統舞蹈資料庫；3. 完成傳統舞蹈異地共演。因此，在科技方面，除了使用動態捕捉系統外，還使用了多項技術，例如光雕投影、5G網絡架設、舞蹈動作情感識別等。舞蹈結合科技的展演形式在現代已經很常見，但傳統舞蹈結合科技的案例卻很少，因此本計畫期望通過兩個動態捕捉技術展演（台三線藝術季、傳統舞蹈異地共演）來與傳統舞蹈結合，向國人推廣科技、傳統文化和藝術。另一方面，本計畫還建立了傳統舞蹈資料庫，以3D影像的方式保存我國珍貴的文化資源，並供廣大藝文工作者參考。

承總計畫試圖以延展實境 (Extended Reality，簡稱XR) 與 5G 通訊技術為基礎，發展異地共演共賞的新形態沉浸式體驗之科技藝術展演作品。本子計畫預計在此架構下探索敘事的可能性。延展實境包含了擴增實境 (Augmented Reality，簡稱 AR)、虛擬實境 (Virtual Reality，簡稱 VR) 等實境內容技術，再加上空間的互動投影，融入新科技創作虛實交錯的沉浸式體驗內容，因此產生了敘事上許多新的可能性，有必要重新探索。本研究將從文獻中的理論與實際作品案例，歸納整理敘事方針與原則，並透過實際產出故事劇本，與本整合型計畫之其他子計畫相互整合，共同創造新形態的沉浸式藝術展演。

依據總計畫的規劃，本子計畫試圖從內容創作者的角度，藉由數位動畫角色的設計，參與科技跨域的整合工作，企圖實現 5G 實時跨域共演、XR 沉浸式互動體驗的創意構想。讓科技的元素能夠帶給觀眾創新的體驗，於傳統藝術的舞台上傳遞創新意象與火花。探索 5G 時代下延展實境 XR 的敘事方法與可能性，並將成果帶到國際，進而提升台灣的國際能見度。

傳統舞蹈在民間流傳，承載著對文化傳承的嚮往與緬懷，就像養分滋養著先民和現代人的心靈，也促進了文化的成長和包容。本計畫以此為主軸，擴充整合計畫異地共演主要展演活動的範圍。透過 XR 和 5G 技術的延伸，使展演的參與和體驗範圍更加普及和深化，賦予此科技藝術展演活動更多文化推廣和傳承的意義。

深入人心的小而美是普及和深化的重點。異地共演和沉浸式體驗的展演形式將會造就令人激賞的視覺震撼。如果再藉由個人化行動裝置進行小規模的共創體驗，將更能強化大眾的參與感。情緒感知和互動是造就參與感的關鍵因素。本計畫預計將個人情緒意圖感知融入整體創作之中，以符合意圖的設計圖像整合成為擴增實境式的個性化表現。從原本需要複雜設備和基礎環境設施的展演場域和參與規模，擴大成網路所及的任何角落和一般行動裝置持有者，以達到擴大影響力深入人心的效果。

近年來，非同質化代幣（NFT，non-fungible token）已成為數位藝術品交易市場的熱門議題。由於以數位形式發行的作品在網路時代極易被非授權複製、改作及傳播，因此當藝術家創作可透過 NFT 形式以區塊鏈技術達到「所有權證明」以進行交易，且作品的所有資料及交易過程都能隨時查核，對於創作者及收藏者都能提供多重保障。本研究案總計畫中各子計畫將針對傳統意象內容進行探討、文本編寫，並透過 VR/AR 與動態捕捉等技術達到異地共演的數位創作內容產出。本項子計畫擬將總計畫所創作出的成果，透過 NFT 交易平台結合視覺化二維條碼進行內容保護及加值應用。