文 / 蘇彥辰
在臺灣的傳統文化中，布袋戲可說是最受歡迎的民俗技藝之一。由於時代環境的歷史變遷，布袋戲逐漸由迎神賽會的活動橋段，登上螢光幕成為炙手可熱的電視節目。1990年代，「霹靂布袋戲」崛起，使這門傳統技藝吸引到更為廣大的族群，掀起欣賞布袋戲的風潮。之後，甚至還推出電影布袋戲「聖石傳說」，創造出可觀的票房。由此可見，藉由不斷更新的影視技術，布袋戲具有不斷進化出新樣貌的潛力。儘管如此，與其他傳統技藝一樣，受限於師徒傳承的方式，布袋戲的保存與延續始終是個難題。千禧年之後，透國數位典藏國家型科技計畫，許多布袋戲的珍貴文物與歷史紀錄，做為實體或非實體的資料，藉由數位科技的優勢予以保存、展示、應用。其中，2019年8月，國立陽明交通大學（以下稱陽明交大）接收西田社捐贈的布袋戲戲偶、戲服、道具、影音資料等共約2,000件，另有戲台與特殊文物資料數百件，展開相關的數位文物典藏與研究發展計劃。
另一方面，隨著數位、資訊、多媒體技術的迅速發展，科技與藝術的結合蔚為風潮。為了順應這股科技藝術的創作動能，國家科學及技術委員會於2021年提出「科技藝術跨域融合與創新研究計畫」，鼓勵高等教育的資源投入跨領域、跨學門、跨校的創新研究，整合為科技藝術的創意實踐。藉此，提昇前瞻技術議題的研究發想與創作能量，反思科技對生活產生的影響與效應。基於此前將數位科技運用於傳統布袋戲典藏的經驗，陽明交大與國立清華大學、國立臺北商業大學、國立臺北藝術大學、國立臺南藝術大學共同合作，提出了「未來布袋戲劇場：人機互動、混合實境與操偶美學」（以下簡稱「未來布袋戲劇場」）研究計畫。此計畫涉及一個跨學科的研究體系，包括虛擬實境、眼控技術、人體動作捕捉、機械手臂、工業設計、資訊工程等，以傳統布袋戲的操偶技藝本身為主題，探討人與偶的關係、觀偶、操偶的各種科技藝術的互動設計創作。
有別於傳統布袋戲的人手實體操控，「未來布袋戲劇場」的計畫目標乃應用新科技發展多元展演可能性，致力開創傳統技藝與創新科技共同形構的文化新體驗，作品主軸可分為「記憶：眼控觀偶」、「感官：VR手勢操偶」、「身體：虛實跨域共演」、「人機：跨時空共演」四個部分。這並非單純以影視後製技術在傳統布袋戲中添加聲光或視覺特效，而是以多媒體技術為基礎，借助互動設計的概念，將傳統布袋戲轉化為科技藝術，布袋戲的技藝則被拆解為虛實參與、沉浸式互動、操偶搬演等美學議題。
記憶：眼控觀偶
眼動追蹤（Eye Tracking）技術是透過眼動儀測量眼球凝視的位置與時間、瞳孔位置、視網膜反射率，或是眼球相對頭部的動作，並將這些偵測資料轉變為可進一步處理的資訊。在心理學、認知科學、醫學、神經科學等領域中，眼動追蹤技術已獲得廣泛運用。正如「觀其眸子，人焉瘦哉」，眼神的凝視時間與位置具有研究價值的原因在於，人的眼球活動反映出許多心理活動。例如，避免眼神接觸可能代表著欺騙，或是，說話時眼球飄向往右上方可能意味著說謊等等。換言之，眼球運動可視為某種非語言的溝通訊號，因此，甚至有探討人類的視覺注意力與行為的關係，並且將其運用在人機互動或學習科學的研究中。
在「記憶：眼控觀偶」中，以互動設計的概念，將眼動追蹤技術與光雕投影結合，觀者的眼神被轉化為展示布袋戲偶的凝視。以固定式紅外線攝影的眼動儀裝置，進行眼控觀偶互動展演作品的製作。相較於穿戴式眼動儀，固定式眼動儀設備發展成熟，眼動資訊的對位與校正速度較為迅速。在觀者與設備無須接觸的情況下，只需站定或入坐於相對固定的投影畫面前，即可用小幅度的體感控制，實現眼神凝視所啟動的自然互動。在光雕投影方面，作品以高階掃描取得細致的影像，擷取布袋戲偶服飾的特殊圖樣，做為呼應眼控的視覺符號。這些高品質影像輸出，源自於財團法人高階圖紋研究中心管理的高階影像擷取設備Cruse Synchron Table Scanner 4.0數位掃描系統。這是具有博物館數位典藏等級的十億畫素取像設備，可真實呈現由西田社布袋戲基金會所典藏的布袋戲偶。
當眼神凝視在投影畫面的指示位置時，對應布袋戲偶角色的戲服紋樣，就會浮現。飽滿的顏色、精緻的細節、立體的刺繡圖案、充斥光澤變化的視覺素材，都在向我們提示極富工藝美感的裝飾趣味。一般來說，布袋戲的觀眾總是隔著人群、舞台，遠觀僅約十來吋大小的戲偶，少有機會觀察到戲偶的設計細節。在「記憶：眼控觀偶」中，布袋戲偶的戲服及相關的紋飾符號得以做為主角登場，其內涵就在眼神的靈動流轉間供觀者玩味。此外，隨著眼動偵測技術的精進，眼動資料擷取設備逐漸輕便可攜，眼動事件判斷的演算法愈發完善，則觀看可成為人機互動輸入的自然互動方式之一。循此，以眼動追蹤技術進行資料分析，並將其應用於藝術鑑賞與審美經驗的研究，相信會是值得期待的嘗試。
感官：VR手勢操偶
有謂「十指弄成百萬兵」、「十指搖動古今事由」，基本上，談到布袋戲，與其形體、姿勢有關的食指、中指、大拇指，以及手部的動作通常會馬上出現在腦海中。在「感官：VR手勢操偶」中，戴上虛擬實境的目鏡，觀眾就可使用自己的雙手操作虛擬偶。這些操作手勢是蒐集、分析國寶級資深布袋戲操偶師的表演資料，從中擷取、設計可由資訊處理裝置追蹤與反映的手部動作。在視覺效果方面，虛擬手與周邊背景的霧化處理，透過著色器Shader Graph，將手的底部進行高透明度的融接（Alpha Blend），避免讓體驗者看到手掌與前臂交接處的完整切面，達到較為自然、較為直觀的虛擬手。此外，以Unity的腳本設計功能，錄製資深布袋戲操偶師的手部動作環節，建構探索幕與學習幕，呈現老師傅的雙手動態，示範特定操偶手勢如翻身或後空翻。在虛擬實境的動畫影像方面，以手部的骨架點座標位置為基礎，製作可播放動態變化的關鍵幀（Keyframe），並紀錄成動畫的方式予以運用。這能在短時間進行多種動態的嘗試，以便從中挑選合適的手勢動作。
虛擬操偶的創作試圖以數位載具轉譯傳統的布袋戲，在此過程，至關重要的是，將體驗者手部動作所輸入的資訊，映射至戲偶骨架系統，達到即時隨著動作變化而改變模型外觀的相應輸出。這主要透過體感裝置Kinect捕捉手部所在位置，以此控制虛擬偶的位移。另外，透過Unity Animation Rigging提供的Two Bone IK綁定程序，將體驗者的大拇指、食指、中指，分別綁定到虛擬偶的左手、右手、頭部，再偵測手指彎曲程度，達到操偶的基本效果。結合Oculus Quest2的手部追蹤系統，將體驗者的手與虛擬偶的關節即時綁定。特別的是，經過觀察實體的手指與戲偶如何連動的方式後，運用製作動畫的「反向運動學」（Inverse Kinematics），根據手勢的目標位置，反推出虛擬偶如何運動以達致該位置。可以發現，這種方法讓虛擬偶可操演出例如揮拳、拭淚等細緻的動作，表現出與實體操偶相符的狀況。
一般而言，人們兒時會自然地用手拾起飛機、士兵、娃娃等物件，將自己投射到這些事物，模仿它們的聲音，甚至，假設各種狀況，做為操作物件的情境。實際上，這或多或少皆可看做是某種操偶的遊戲體驗。無論西方或東方，皆發展出某種戲偶的操偶表演藝術，或許就因為這種操偶形式乃共通的遊戲體驗。在這方面，臺灣傳統文化最具代表性的就是布袋戲，俗稱為掌中戲。這是一門以人手操作戲偶，搭配舞台佈景、口白、配樂，演繹故事傳奇的傳統技藝。在當代，透過互動設計概念，建構操偶體驗的參與式框架，「感官：VR手勢操偶」轉換了布袋戲的傳統藝術系統，開啟人、偶之間的科技藝術轉化關係。俗謂「演戲的是瘋子」，那麼，當載上這件作品的目鏡之後，就可以在虛擬實境中體驗到操偶的迷人之處。
身體：虛實跨域共演
以手指及手部動作進行操偶，通常是布袋戲帶給我們最直觀的聯想。同時，這種想像意味著將手勢與戲偶的連動關係投射為人的身軀動作。在科技藝術的創作中，直接以人的身軀動作投射為布袋戲虛擬偶的相應舉動則可被實現。以慣性捕捉設備如Xsens、Kinect，「身體：虛實跨域共演」透過動補模擬技術，試圖以人的身軀動作操控布袋戲虛擬偶。由於布袋戲偶的動作所演示者畢竟非真人，而是戲偶本身，其對應的是手掌骨架系統，相關動作自有一套對應的表現方式。因此，可以想像得到，在轉換到人體骨架系統時，需克服某些呈現影像的困難。例如，戲偶的雙手是由大拇指與中指所控制，其手肘僅能朝向一個固定方向彎曲，且雙手僅能呈現開與合的動作等等。對此，創作者特別開發身體動態操偶的系統，以利動補設備擷取、判讀，快速對應、顯示人體與虛擬戲偶的連動動作。
除了以人體骨架系統模擬手指與手掌操偶的演示系統之外，總是穿戴戲服的戲偶，需再考量到如何表現因動作導致戲服產生變化的視覺效果。例如，戲偶移動時，只有較薄的裙擺會有飄逸的狀況；戲偶上半身的戲服材質較硬，通常是整片材料隨著動作移動。在作品中，則使用了Unity引擎架設虛擬環境，並以VRM Spring Bones系統模擬布料的動態視覺效果，最後透過3D建模軟體Blender進行連結人體骨架與戲服模型的蒙皮（Skinning）連結作業。另外，實體操偶時戲偶的後方裙襬是貼著手背，前方裙擺則會隨戲偶的腿部產生變化。由於這層細微的觀察，將腿部與裙襬之間的關係設計為間接連動。整體來看，這使戲服的動態視覺效果更顯自然，達到一定程度的擬真。
特別的是，運用動態捕捉技術模擬人體動作操作虛擬偶的概念，創作《功名掌上尋》。邀請傳統劇團演員進行演出，藉由動作捕捉裝置將其動態轉化為操作虛擬偶的姿勢，並結合3D動畫予以呈現。這是與表演藝術的跨界共創，打破藝術界限，試圖進行有機的融合、重構，從而形成一種全新的藝術形式，表現傳統與新興型態共存的意涵。以人體動作操作虛擬偶，可在有限的布袋戲偶肢體動態中，探索人的身體表演的可能性，也讓觀者對傳統布袋戲產生新的想像與認知。
人機：跨時空共演
在科技藝術的創作中，人機互動一直是重要的設計概念。與此相應，「人機：跨時空共演」提出以動捕手套操作虛擬偶以及機械手臂操作布袋戲偶的創作。以動捕手套擷取手指、手掌的動作資訊，藉由IoTtalk技術接收與傳輸手勢變化的訊號，將其轉化為虛擬布袋戲偶的表演形式，呈現對應的模型動畫影像。在製作中，以「反向運動學」解決模型自由度與手指關節數量的對應關係，設定與實體操偶相符的手勢操作，如以右手食指、大拇指、中指分別對應布袋戲偶模型頭部、左手、右手；以左手食指、中指分別對應布袋戲偶模型左腳、右腳。在技術細節方面，每個手指關節可以彎取的最大、最小角度，皆特別校正與調整，以接近實體的操偶狀況。
另外，以IoTtalk物聯網技術為核心，創作《手的延伸 掌的傳承－機械操偶計畫》，實現以前瞻科技實現布袋戲操偶的「異地共演」與「跨時同演」。此作邀請舞者使用動捕手套進行演出，舞作以「手延伸到身體」與「掌中戲的文化傳承」為概念，舞者的動態資料會被傳輸到機械手臂上的戲偶，藉此強調科技以布袋戲所進行的「技」與「藝」的再創造。2022年9月，這件作品受邀至德國 TANZAHOi 國際舞蹈節演出，透過IoTtalk技術與5G高速網路傳輸速度，完成在臺北與漢堡兩座城市的異地共演。該年12月，則參與教育部舉辦的前瞻顯示科技（AR/VR/MR/XR）應用創新專題實作競賽，榮獲團隊比賽第一名鉑金獎。
以人機互動的設計概念，已經實現了操作虛擬偶、機械偶、「異地共演」與「跨時同演」等創作形式。後續值得期待的是，各種互動框架的作品。例如，以IoTtalk多組行動裝置攝影，建構高畫質影像5G互動劇場，加入不同的互動設計元素，如：動捕操偶遠端異地控制機械手臂戲偶、動捕操偶遠端異地控制虛擬布袋戲偶、增設控台人員，遠端異地控制聲光效果、遠端異地傳輸並顯示操偶的即時或非即時影像等等；甚至，讓民眾使用智慧型手機參進行操偶體驗，參與虛擬劇場的演出。
後記
在數位科技時代中，技術及其事物不斷推陳出新，傳統的觀念、技藝不斷勢微，總有逐漸消逝的危機，似乎傳統與科技總是對立衝突的二元。做為臺灣傳統文化，布袋戲的操偶技藝容易連結普羅大眾的兒時遊戲體驗，結合歷史故事、聲光效果，亦曾造成風靡一時的文化現象。然而，在新科技的不斷推陳出新的浪潮中，布袋戲仍然面臨傳承危機。儘管，利用科技的數位優勢，布袋戲的珍貴文物被典藏、保存、展示、應用，布袋戲操偶技藝的美感體驗仍難藉此被體現。在「未來布袋戲劇場」的研究計畫中，創作者們試圖結合科技與藝術，以眼動追蹤、虛擬實境、動作捕捉、機械手臂、5G物聯網等前瞻技術，解構布袋戲的傳統演繹系統，重建布袋戲的操偶藝術。突破科技與傳統結合之記錄、傳播、展示之運用，將布袋戲的傳統技藝美學演繹融入科技藝術的互動技術，使觀眾不再是靜態物件的觀者，而是動態場域的參與者。在科技表演互動藝術的脈絡中，則創造布袋戲操偶體驗的嶄新形式，建構布袋戲劇場的科技美學，在審美互動的藝術論題範圍中，開創融合傳統與科技的版本。傳統與科技的結合將不再限於典藏、紀錄等資訊的數位呈現，而是以科技藝術體驗、領會傳統技藝的美學核心，以傳統技藝充實、開拓科技藝術的文化面向。正如該計畫總主持人陽明交大應用藝術研究所許峻誠教授所說，藉由計畫所提出的作品，得以反思的是，科技與傳統以及人與科技應用之間的關係，進而想像科技藝術創作的未來可能性與價值。
