本申請涉及人工智能，尤其涉及一種演奏樂曲的評分方法、裝置、電子設(shè)備、存儲介質(zhì)及計算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、樂器比賽或考試過程中，相關(guān)技術(shù)基于相同樂譜，將考生的演奏樂曲與標(biāo)準(zhǔn)樂曲二者的樂器數(shù)字接口(midi，musical?instrument?digital?interface)序列進(jìn)行比較，從而得到演奏樂曲的自動評分，但midi序列的采集需要特定硬件，因此，自動評分的技術(shù)難度大、處理效率低。

技術(shù)實現(xiàn)思路

1、為解決相關(guān)技術(shù)問題，本申請實施例提供一種演奏樂曲的評分方法、裝置、電子設(shè)備、存儲介質(zhì)及計算機(jī)程序產(chǎn)品。

2、本申請實施例的技術(shù)方案是這樣實現(xiàn)的：

3、本申請實施例提供了一種演奏樂曲的評分方法，所述方法包括：

4、調(diào)用卷積循環(huán)神經(jīng)網(wǎng)絡(luò)對第一音頻信號的對數(shù)梅爾譜特征進(jìn)行處理，得到第一序列；所述第一音頻信號表征演奏第一樂譜產(chǎn)生的音頻信號；所述第一序列表征基于所述第一音頻信號確定出的所述第一樂譜中每個音符對應(yīng)的一個或多個第一特征的預(yù)測值；所述第一特征用于描述演奏表現(xiàn)相關(guān)的特征；

5、調(diào)用轉(zhuǎn)換器(transformer)網(wǎng)絡(luò)對第二序列進(jìn)行處理，得到第三序列；所述第二序列表征基于第四序列確定出的所述第一樂譜中每個音符對應(yīng)的所述一個或多個第一特征的特征值；所述第四序列是基于所述第一樂譜生成的midi序列；所述第三序列表征所述第四序列的所述一個或多個第一特征的后驗概率特征序列；

6、將所述第一序列與所述第三序列進(jìn)行對齊處理，得到第五序列；

7、基于所述第五序列中的所述一個或多個第一特征的特征值，計算得到所述第一音頻信號的評分。

8、上述方案中，所述一個或多個第一特征用于描述對應(yīng)音符的演奏觸發(fā)和/或演奏停止和/或演奏力度和/或演奏持續(xù)狀態(tài)。

9、上述方案中，所述卷積循環(huán)神經(jīng)網(wǎng)絡(luò)包含：

10、8個卷積層，所述8個卷積層用于對所述對數(shù)梅爾譜特征提取高層抽象特征；以及，

11、2個雙向循環(huán)神經(jīng)網(wǎng)絡(luò)層，所述2個雙向循環(huán)神經(jīng)網(wǎng)絡(luò)層用于學(xué)習(xí)所述對數(shù)梅爾譜特征的長時依賴性。

12、上述方案中，所述調(diào)用transformer網(wǎng)絡(luò)對第二序列進(jìn)行處理，得到第三序列，包括：

13、調(diào)用transformer網(wǎng)絡(luò)的嵌入層對所述第二序列進(jìn)行處理，編碼得到每類第一特征對應(yīng)的第六序列；每個第六序列表征所述第一樂譜中所有音符在對應(yīng)的第一特征上的特征值；

14、調(diào)用transformer網(wǎng)絡(luò)的編碼器對編碼得到的所有第六序列進(jìn)行處理，得到所述第三序列。

15、上述方案中，所述將所述第一序列與所述第三序列進(jìn)行對齊處理，得到第五序列，包括：

16、依序調(diào)用快速動態(tài)(fastdtw，fast?dynamic?time?warping)算法、規(guī)整路徑(warping?path)和插值算法，對所述第一序列與所述第三序列進(jìn)行對齊處理，得到第五序列。

17、上述方案中，所述基于所述第五序列中的所述一個或多個第一特征的特征值，計算得到所述第一音頻信號的評分，包括：

18、對所述第五序列中的所述一個或多個第一特征的特征值與第三序列進(jìn)行分?jǐn)?shù)校準(zhǔn)處理，得到與每個第一特征對應(yīng)的第二特征，所述第二特征表征第一音頻信號與第四序列中對應(yīng)的每個第一特征的匹配程度；

19、基于所述第二特征，得到所述第一音頻信號的評分。

20、本申請實施例還提供了一種演奏樂曲的評分裝置，包括：

21、第一調(diào)用單元，用于調(diào)用卷積循環(huán)神經(jīng)網(wǎng)絡(luò)對第一音頻信號的對數(shù)梅爾譜特征進(jìn)行處理，得到第一序列；所述第一音頻信號表征演奏第一樂譜產(chǎn)生的音頻信號；所述第一序列表征基于所述第一音頻信號確定出的所述第一樂譜中每個音符對應(yīng)的一個或多個第一特征的預(yù)測值；所述第一特征用于描述演奏表現(xiàn)相關(guān)的特征；

22、第二調(diào)用單元，用于調(diào)用transformer網(wǎng)絡(luò)對第二序列進(jìn)行處理，得到第三序列；所述第二序列表征基于第四序列確定出的所述第一樂譜中每個音符對應(yīng)的所述一個或多個第一特征的特征值；所述第四序列是基于所述第一樂譜生成的midi序列；所述第三序列表征所述第四序列的所述一個或多個第一特征的后驗概率特征序列；

23、對齊單元，用于將所述第一序列與所述第三序列進(jìn)行對齊處理，得到第五序列；

24、評分單元，用于基于所述第五序列中的所述一個或多個第一特征的特征值，計算得到所述第一音頻信號的評分。

25、本申請實施例還提供了一種電子設(shè)備，包括：

26、第一處理器及第一通信接口；其中，

27、所述第一處理器，用于：

28、調(diào)用卷積循環(huán)神經(jīng)網(wǎng)絡(luò)對第一音頻信號的對數(shù)梅爾譜特征進(jìn)行處理，得到第一序列；所述第一音頻信號表征演奏第一樂譜產(chǎn)生的音頻信號；所述第一序列表征基于所述第一音頻信號確定出的所述第一樂譜中每個音符對應(yīng)的一個或多個第一特征的預(yù)測值；所述第一特征用于描述演奏表現(xiàn)相關(guān)的特征；

29、調(diào)用transformer網(wǎng)絡(luò)對第二序列進(jìn)行處理，得到第三序列；所述第二序列表征基于第四序列確定出的所述第一樂譜中每個音符對應(yīng)的所述一個或多個第一特征的特征值；所述第四序列是基于所述第一樂譜生成的midi序列；所述第三序列表征所述第四序列的所述一個或多個第一特征的后驗概率特征序列；

30、將所述第一序列與所述第三序列進(jìn)行對齊處理，得到第五序列；以及

31、基于所述第五序列中的所述一個或多個第一特征的特征值，計算得到所述第一音頻信號的評分。

32、本申請實施例還提供了一種電子設(shè)備，包括：第一處理器和用于存儲能夠在處理器上運(yùn)行的計算機(jī)程序的第一存儲器，

33、其中，所述第一處理器用于運(yùn)行所述計算機(jī)程序時，執(zhí)行上述任一方法的步驟。

34、本申請實施例還提供了一種存儲介質(zhì)，其上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)上述任一方法的步驟。

35、本申請實施例還提供了一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，所述計算機(jī)程序在被處理器執(zhí)行時實現(xiàn)上述任一方法的步驟。

36、在本申請實施例中，調(diào)用卷積循環(huán)神經(jīng)網(wǎng)絡(luò)對演奏者演奏的第一音頻信號的對數(shù)梅爾譜特征進(jìn)行處理，得到第一序列；再調(diào)用transformer網(wǎng)絡(luò)對基于第一樂譜生成的標(biāo)準(zhǔn)音頻的第二序列進(jìn)行處理，得到第三序列，其中，標(biāo)準(zhǔn)音頻為midi序列；將第一序列與第三序列進(jìn)行對齊處理，得到在特征空間上與標(biāo)準(zhǔn)音頻對齊的第五序列，然后基于第五序列中的一個或多個第一特征的特征值，計算得到第一音頻信號的評分，相比于相關(guān)技術(shù)，不需要使用特定硬件在現(xiàn)場采集演奏音頻的midi序列，也能夠?qū)⒀葑嘁纛l與標(biāo)準(zhǔn)音頻在同一特征空間進(jìn)行比較，得到評分結(jié)果，從而降低了自動評分的技術(shù)難度，提升了處理效率。

技術(shù)特征：

1.一種演奏樂曲的評分方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述一個或多個第一特征用于描述對應(yīng)音符的演奏觸發(fā)和/或演奏停止和/或演奏力度和/或演奏持續(xù)狀態(tài)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述卷積循環(huán)神經(jīng)網(wǎng)絡(luò)包含：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述調(diào)用轉(zhuǎn)換器transformer網(wǎng)絡(luò)對第二序列進(jìn)行處理，得到第三序列，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述第一序列與所述第三序列進(jìn)行對齊處理，得到第五序列，包括：

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述第五序列中的所述一個或多個第一特征的特征值，計算得到所述第一音頻信號的評分，包括：

7.一種演奏樂曲的評分裝置，其特征在于，包括：

8.一種電子設(shè)備，其特征在于，包括：第一處理器及第一通信接口；其中，

9.一種電子設(shè)備，其特征在于，包括：第一處理器和用于存儲能夠在處理器上運(yùn)行的計算機(jī)程序的第一存儲器，

10.一種存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6任一項所述方法的步驟。

11.一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，其特征在于，所述計算機(jī)程序在被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6任一項所述方法的步驟。

技術(shù)總結(jié)
本申請公開了一種演奏樂曲的評分方法、裝置、電子設(shè)備、存儲介質(zhì)及計算機(jī)程序產(chǎn)品，方法包括：調(diào)用卷積循環(huán)神經(jīng)網(wǎng)絡(luò)對基于第一樂譜演奏的第一音頻信號的對數(shù)梅爾譜特征進(jìn)行處理，得到第一序列，所述第一序列表征基于所述第一音頻信號確定出的每個音符對應(yīng)的一個或多個第一特征的預(yù)測值；再調(diào)用Transformer網(wǎng)絡(luò)對基于第一樂譜生成的樂MIDI序列的第二序列進(jìn)行處理，得到第三序列；所述第三序列表征基于第一樂譜生成的MIDI序列的一個或多個第一特征的后驗概率特征序列；將第一序列與第三序列進(jìn)行對齊處理，得到在特征空間上與基于第一樂譜生成的MIDI序列對齊的第五序列，然后基于第五序列中的一個或多個第一特征的特征值，得到第一音頻信號的評分。

技術(shù)研發(fā)人員：鐘榮秀,胡冉杰,劉曉斌,張世磊,鄧超
受保護(hù)的技術(shù)使用者：中國移動通信有限公司研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21