近日,武蔵野大學數據科學學院的研究人員開發了一種名為 AMT-APC 的全新算法,可以更加精準地自動生成鋼琴曲。這項技術利用了自動音樂轉錄 (AMT) 模型的優勢,通過對其進行微調,使其能夠更好地捕捉音樂的細節和表現力,從而生成更接近原曲的鋼琴演奏版本。
一直以來,自動生成鋼琴曲的技術面臨著音質保真度和表現力不足的挑戰?,F有的模型往往只能生成簡單的旋律和節奏,無法捕捉到原曲中豐富的細節和情感。
而 AMT-APC 算法則另辟蹊徑,它首先利用預先訓練好的 AMT 模型準確地“捕捉”音樂中的各種聲音,然后通過微調將其應用于自動鋼琴演奏 (APC) 任務。
AMT-APC 算法的核心在于兩步走策略:
第一步:預訓練。研究人員選擇了一種名為 hFT-Transformer 的高性能 AMT 模型作為基礎,并利用 MAESTRO 數據集對其進行了進一步的訓練,使其能夠處理更長的音樂片段。
第二步:微調。研究人員創建了一個包含原曲音頻和鋼琴演奏 MIDI 文件的配對數據集,并使用該數據集對 AMT 模型進行微調,使其能夠生成更符合原曲風格的鋼琴演奏版本。
為了使生成的鋼琴曲更具表現力,研究人員還引入了一個名為“風格向量”的概念。風格向量是從每個鋼琴演奏版本中提取的一組特征,包括音符起始速率分布、力度分布和音高分布。通過將風格向量與原曲音頻一起輸入模型,AMT-APC 算法能夠學習到不同的演奏風格,并將其體現在生成的鋼琴曲中。
實驗結果表明,與現有的自動鋼琴演奏模型相比,AMT-APC 算法生成的鋼琴曲在音質保真度和表現力方面都有顯著提升。通過使用一種名為 Qmax 的指標來評估原曲和生成音頻之間的相似度,AMT-APC 模型取得了最低的 Qmax 值,這意味著它能夠更好地還原原曲的特征。
這項研究表明,AMT 和 APC 是高度相關的任務,利用現有的 AMT 研究成果可以幫助我們開發出更先進的 APC 模型。未來,研究人員計劃進一步探索更適合 APC 應用的 AMT 模型,以期實現更逼真、更具表現力的自動鋼琴演奏。
項目地址:https://misya11p.github.io/amt-apc/
論文地址:https://arxiv.org/pdf/2409.14086
備注:資訊來源AIbase基地AiBase副業搞錢交流群
歡迎大家加入AiBase交流群, 掃碼進入,暢談AI賺錢心得,共享最新行業動態,發現潛在合作伙伴,迎接未來的賺錢機遇!。