入選團隊計畫

以人工智慧實踐二胡演奏行為暨音樂風格分析

二胡是一種兩弦類提琴樂器，也被稱為胡琴或南胡。在古代，二胡常常被用作中國傳統戲曲的伴奏樂器。二胡由紫檀木或老紅木製成，帶有蟒蛇皮。用兩根鋼弦和一把竹弓，二胡可以覆蓋從 D4 到 A7的三個半八度，學習二胡是一種挑戰，通常是從教師口頭傳遞給學生經驗，學習二胡的自動輔助技術幾乎是不可能的。但是，隨著人工智慧技術的近期發展，計劃主持人諮詢了專業的二胡研究學者，並邀請了不同技術領域的教授。參加這個計劃的所有教授都會演奏二胡，並且也了解計算機技術。

計劃小組旨在研究二胡音樂風格，特別是在不同二胡音樂中使用的音腔特徵之差異。將對視訊和音訊輸入進行分析，並以最先進的深度學習技術作為研發工具的手段。另一個目標是設計視覺效果，將二胡演奏視覺化。計劃小組將舉辦多場公開演出活動。這些活動可能包括有伴奏的二胡獨奏表演、小合奏型示的多人二胡表演、並包含藝術設計。這些表演將包括技術說明以及現場示範。

總計畫主持人
國立中央大學資訊工程學系施國琛

共同計畫主持人
臺灣藝術大學中國音樂系林昱廷、張儷瓊、林心智
臺灣科技大學色彩與照明科技研究所孫沛立
元智大學資訊工程學系林佑政

合作單位
國立台灣藝術大學福舟表演廳

國內展演成果
展覽名稱	地點	活動日期
以人工智慧實踐二胡演奏行為暨音樂風格分析-期中成果發表	國立台灣藝術大學福舟表演廳	2022.12.10下午2:30

國內展演成果

以人工智慧實踐二胡演奏行為暨音樂風格分析」期中成果發表
國立台灣藝術大學福舟表演廳
2022.12.10下午2:30

將研究二胡演奏技巧和音色特徵如何影響不同的音樂風格，二胡聲音的量化分析和專業二胡演奏的取樣集合將作為深度學習模型的訓練數據。

二胡的演奏除了掌握基礎技法的學理和操作原則，更進階的是演奏風格的營造，風格技法在形態分析上，直接對應著各種音高、音長、音強的尺寸，包含音色變化。風格能力的養成在二胡演奏中至關重要。為了分析二胡演奏的行為與樂音特徵，正確傳達二胡演奏中的學理和演奏範式，本計畫將由二胡演奏技法的「框格」描述著手，而後進入「色澤」分析，也就是風格技法要件的梳理。以系統、進階式的方法解構二胡演奏的基本原理和風格性手法，既分析概念與行為，也描述樂音特徵。

學習二胡，基本姿勢是非常重要的，尤其對初學者而言，如果基本姿勢沒有好好養成，對其學習效率，將會大幅打折扣。然而，不同的二胡學派，都有其不同的教學方法，我們根據計劃執行團隊在二胡教學上的經驗，並考量以人工智慧，利用深度攝影機，捕捉二胡初學者的基本姿勢、希望能完成一個初期二胡的自動教學系統。

此一教學系統，只能判斷基本姿勢常犯的錯誤，並非給專業二胡演奏者所使用。雖然利用影像識別，只能判斷大部位的姿勢正不正確，然而，利用第二台攝影機，以近距離補捉手指動作，並配合聲音的輸入，是有可能利用進階的人工智慧模組，發展出能判斷風格，並作錯誤提示的進階二胡演奏分析工具。我們將發展一個音訊影像深度學習模組，並且配合視覺化介面，提供專業二胡演奏者，將其表現的二胡演奏風格。

樂曲旋律和裝飾音在音樂風格中扮演著重要角色，音調變化信號將用作風格分類的基礎，音樂生成將遵循特定的音樂風格，所產生的二胡音樂將使用二胡 MIDI。

二胡MIDI 電子樂器，包括原始二胡音訊分析，透過MIDI Synthesizer 等音色變換的方式，有助於以二胡演奏方式輸入來執行全世界各種管弦樂器音色的表現。在二胡音樂透過演奏家與聆賞者的觀點來呈現二胡音樂在生理回饋數據的Heart Rate Variability Analysis 心率變異分析，透過數位化與影像化的呈現，可理解當下二胡演奏的各種身心狀態。二胡亦可透過AI 自動作曲技術，由所建立的二胡音樂數據庫中將其表現的二胡演奏風格。