「聽聽易世界」:共融藝術 ─ 利用無障礙互動科技「聽見」表演

本計畫以共榮藝術為主軸，探討聾人表演者配戴穿戴式震動手環後，是否更能感受其他表演者的情緒；後將結合臉部辨識系統，探究聾人與聽人觀眾是否可藉由震動手環更同理演員的情緒，藉由科技提供聾人表演者感善表演的溝通方式，並讓聾人觀眾接觸藝術。

研究成果做為未來無障礙科技藝術展演的參考依據，並進一步培養國人的同理心，且以實踐研究的方式理解聾人的文化及社會議題，有效發揮科技藝術的價值及共融精神。

計畫主持人
臺北市立大學教育學系黃思華

共同計畫主持人
國立臺北教育大學資訊科學系劉遠楨
國立臺北藝術大學舞蹈學系曾瑞媛
臺北市立大學舞蹈學系王如萍
國立臺北藝術大學舞蹈學系林立川

合作單位
臺北市立啟聰學校、臺北市立雙園國中、純白舍創作空間工作室、思創研新有限公司 TCRD CO., LTD、鳳甲美術館 Hong-gah Museum

探討聾人表演者的溝通限制及同理心，藉由科技的介入可以輔助表演者的溝通方式及詮釋方法。

探討聾人觀眾對於表演者的同理心，藉由感測器的電觸覺、視覺效果，是否更能體會表演者所要傳達的意義，並感受表演者的情緒。

探討一般觀眾對於聾人的同理心，透過耳塞模擬聾人無法藉由聽覺感受表演藝術的過程，藉由科技呈現另一種觸覺及視覺的燈光特效，從欣賞表演藝術反思對人際關係的同理、對身障者的文化平權、推動共融藝術。

本研究以人工智慧為基礎發展情緒辨識系統，並透過情緒辨識系統及感測器針對聾人表演者的需求強化對於表演內容的感官知覺，給予表演者電觸覺或視覺特效指令啟動表演，以觸覺、視覺取代聽覺。

依照演出需求，開發振動手環穿戴式裝置，偵測聾人表演者心率節點並定義振動頻率。除振動手環的訊息發送與接收外，更結合辨識系統進行研究，透過情緒辨識來控制穿戴裝置振動強度，並可依劇本調整後臺振動時間點。除感受彼此情緒，也可作為對於劇目的提示，探討觀眾臉部情緒表情與振動手環傳遞訊息間之關係。

由於聾人觀眾觀影時的限制，他們常無法同時兼顧字幕以及演出，且長時間透過字幕理解劇情易造成疲乏，可以藉由感測器針對聾人觀眾的連覺，強化對表演的感官知覺，並可以偵測觀眾的面部表情、心跳等方式給予相對應的刺激，以觸覺、視覺取代聽覺。

藉由表演培訓的過程理解聾人的能力，以及其族群的文化特殊性，培育「共融藝術」表演藝術創作以及演出人才之外，架構原創作品內容。觀察聾人從事藝術創作與表演與一般表演者的異同，同時藉由原創作品的展現，分析作品與觀眾感受或認知的共感或隔閡，探討「共融藝術」表演作品的觀眾關係與社會意涵。