復(fù)調(diào)樂(lè)器的評(píng)分方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及樂(lè)器評(píng)分技術(shù)領(lǐng)域，尤其涉及一種復(fù)調(diào)樂(lè)器的評(píng)分方法和裝置。
【背景技術(shù)】
[0002] 計(jì)算機(jī)的出現(xiàn)推動(dòng)了現(xiàn)代電子音樂(lè)技術(shù)的發(fā)展，如果能利用計(jì)算機(jī)開(kāi)發(fā)一套能夠 對(duì)復(fù)調(diào)樂(lè)器演奏者的演奏進(jìn)行科學(xué)而客觀評(píng)判的系統(tǒng)，所述系統(tǒng)也可稱之為用戶樂(lè)器演奏 的"電子導(dǎo)師"。這個(gè)"電子導(dǎo)師"會(huì)像復(fù)調(diào)樂(lè)器教學(xué)工作者一樣，智能的理解分析音樂(lè)，評(píng) 價(jià)演奏者的演奏水平。這無(wú)疑可以對(duì)于復(fù)調(diào)樂(lè)器演奏學(xué)習(xí)者進(jìn)行全面而準(zhǔn)確的指導(dǎo)，提高 他們對(duì)音樂(lè)的認(rèn)知能力。同時(shí)"電子導(dǎo)師"也可以輔助復(fù)調(diào)樂(lè)器教學(xué)工作者進(jìn)行樂(lè)器演奏 的教學(xué)，進(jìn)而減輕他們的工作強(qiáng)度。
[0003] 傳統(tǒng)的針對(duì)復(fù)調(diào)樂(lè)器評(píng)分方法，主要是采用人工評(píng)分的方法，在用戶演奏時(shí)，組織 音樂(lè)領(lǐng)域?qū)＜覍?duì)用戶演奏情況進(jìn)行評(píng)分。然而由于每個(gè)人的評(píng)分標(biāo)準(zhǔn)很難一致，因此，在評(píng) 分時(shí)很難客觀的給出評(píng)分結(jié)果，往往帶有較強(qiáng)的主觀性；由于每個(gè)用戶演奏時(shí)都需要人工 進(jìn)行評(píng)分，人工工作量較大，成本較高。此外，用戶在平常練習(xí)時(shí)，沒(méi)有專家評(píng)分，很難知道 自己的練習(xí)情況。因此，構(gòu)建一套復(fù)調(diào)樂(lè)器的自動(dòng)評(píng)分方法及系統(tǒng)，在用戶練習(xí)時(shí)，可以給 出練習(xí)情況的得分無(wú)疑對(duì)音樂(lè)學(xué)習(xí)或音樂(lè)教學(xué)具有重大意義。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。
[0005] 為此，本發(fā)明的一個(gè)目的在于提出一種復(fù)調(diào)樂(lè)器的評(píng)分方法，該方法能夠有效提 高復(fù)調(diào)樂(lè)器的評(píng)分效果且降低評(píng)分成本。
[0006] 本發(fā)明的另一個(gè)目的在于提出一種復(fù)調(diào)樂(lè)器的評(píng)分裝置。
[0007] 為達(dá)到上述目的，本發(fā)明第一方面實(shí)施例提出的復(fù)調(diào)樂(lè)器的評(píng)分方法，包括：接收 用戶演奏數(shù)據(jù)；對(duì)所述用戶演奏數(shù)據(jù)進(jìn)行特征提取以獲取對(duì)應(yīng)的頻譜特征；根據(jù)提取的所 述頻譜特征計(jì)算用戶演奏數(shù)據(jù)的分解系數(shù)；根據(jù)分解系數(shù)確定用戶演奏音符信息；根據(jù)所 述用戶演奏音符信息對(duì)所述用戶演奏數(shù)據(jù)進(jìn)行評(píng)分。
[0008] 本發(fā)明第一方面實(shí)施例提出的復(fù)調(diào)樂(lè)器的評(píng)分方法，通過(guò)獲取用戶演奏數(shù)據(jù)對(duì)應(yīng) 的頻譜特征，計(jì)算用戶演奏數(shù)據(jù)的分解系數(shù)，并根據(jù)分解系數(shù)確定用戶演奏音符信息，根據(jù) 用戶演奏音符信息對(duì)用戶演奏數(shù)據(jù)進(jìn)行評(píng)分，可以實(shí)現(xiàn)復(fù)調(diào)樂(lè)器的自動(dòng)評(píng)分，從而有效提 高復(fù)調(diào)樂(lè)器的評(píng)分效果且降低評(píng)分成本。
[0009] 為達(dá)到上述目的，本發(fā)明第二方面實(shí)施例提出的復(fù)調(diào)樂(lè)器的評(píng)分裝置，包括：接收 模塊，用于接收用戶演奏數(shù)據(jù)；提取模塊，用于對(duì)所述用戶演奏數(shù)據(jù)進(jìn)行特征提取以獲取對(duì) 應(yīng)的頻譜特征；計(jì)算模塊，用于根據(jù)提取的所述頻譜特征計(jì)算用戶演奏數(shù)據(jù)的分解系數(shù)； 確定模塊，用于根據(jù)分解系數(shù)確定用戶演奏音符信息；第一評(píng)分模塊，用于根據(jù)所述用戶演 奏音符信息對(duì)所述用戶演奏數(shù)據(jù)進(jìn)行評(píng)分。
[0010] 本發(fā)明第二方面實(shí)施例提出的復(fù)調(diào)樂(lè)器的評(píng)分裝置，通過(guò)獲取用戶演奏數(shù)據(jù)對(duì)應(yīng) 的頻譜特征，計(jì)算用戶演奏數(shù)據(jù)的分解系數(shù)，并根據(jù)分解系數(shù)確定用戶演奏音符信息，根據(jù) 用戶演奏音符信息對(duì)用戶演奏數(shù)據(jù)進(jìn)行評(píng)分，可以實(shí)現(xiàn)復(fù)調(diào)樂(lè)器的自動(dòng)評(píng)分，從而有效提 高復(fù)調(diào)樂(lè)器的評(píng)分效果且降低評(píng)分成本。
[0011] 本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。
【附圖說(shuō)明】
[0012] 本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變 得明顯和容易理解，其中：
[0013] 圖1是本發(fā)明一實(shí)施例提出的復(fù)調(diào)樂(lè)器的評(píng)分方法的流程示意圖；
[0014] 圖2是本發(fā)明另一實(shí)施例提出的復(fù)調(diào)樂(lè)器的評(píng)分方法的流程示意圖；
[0015] 圖3是本發(fā)明另一實(shí)施例提出的復(fù)調(diào)樂(lè)器的評(píng)分裝置的結(jié)構(gòu)示意圖；
[0016] 圖4是本發(fā)明另一實(shí)施例提出的復(fù)調(diào)樂(lè)器的評(píng)分裝置的結(jié)構(gòu)示意圖；
[0017] 圖5是本發(fā)明另一實(shí)施例提出的復(fù)調(diào)樂(lè)器的評(píng)分裝置的結(jié)構(gòu)示意圖；
[0018] 圖6是本發(fā)明另一實(shí)施例提出的復(fù)調(diào)樂(lè)器的評(píng)分裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0019] 下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終 相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過(guò)參考 附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。相反， 本發(fā)明的實(shí)施例包括落入所附加權(quán)利要求書的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同 物。
[0020] 圖1是本發(fā)明一實(shí)施例提出的復(fù)調(diào)樂(lè)器的評(píng)分方法的流程示意圖，該方法包括：
[0021] Sll:接收用戶演奏數(shù)據(jù)。
[0022] 本實(shí)施例的執(zhí)行主體可以是復(fù)調(diào)樂(lè)器。
[0023] 復(fù)調(diào)樂(lè)器是指可以同時(shí)演奏多個(gè)音符的樂(lè)器，具體如鋼琴、手風(fēng)琴、笛子等。
[0024] 用戶演奏數(shù)據(jù)是指復(fù)調(diào)樂(lè)器演奏者演奏樂(lè)曲的過(guò)程中所包含的數(shù)據(jù)信息，例如用 戶演奏樂(lè)曲的音頻數(shù)據(jù)、用戶演奏時(shí)的樂(lè)器的使用情況等。
[0025] 本申請(qǐng)實(shí)施例中，采用用戶演奏數(shù)據(jù)中的用戶演奏音符信息，對(duì)用戶演奏數(shù)據(jù)進(jìn) 行評(píng)分。
[0026] S12 :對(duì)用戶演奏數(shù)據(jù)進(jìn)行特征提取以獲取對(duì)應(yīng)的頻譜特征。
[0027] 頻譜特征例如Mel頻率倒譜系數(shù)（MelFrequencyCepstrumCoefficient，MFCC)。
[0028] 具體地，復(fù)調(diào)樂(lè)器接收用戶演奏數(shù)據(jù)后，對(duì)用戶演奏數(shù)據(jù)進(jìn)行分幀處理，進(jìn)而對(duì)每 幀用戶演奏數(shù)據(jù)進(jìn)行特征提取，以獲取每幀用戶演奏數(shù)據(jù)對(duì)應(yīng)的頻譜特征，頻譜特征維數(shù) 例如39維。
[0029] 以鋼琴演奏為例，可以將用戶演奏數(shù)據(jù)分成50幀，對(duì)每幀用戶演奏數(shù)據(jù)提取出39 維的頻譜特征。
[0030] 本實(shí)施例中，具體的對(duì)用戶演奏數(shù)據(jù)進(jìn)行特征提取方法與現(xiàn)有技術(shù)相同，在此不 再贅述。
[0031] S13 :根據(jù)提取的頻譜特征計(jì)算用戶演奏數(shù)據(jù)的分解系數(shù)。
[0032] 以使用非負(fù)矩陣因子分解（NonnegativeMatrixFactorization，NMF)方法對(duì)用 戶演奏數(shù)據(jù)進(jìn)行分解為例進(jìn)行說(shuō)明，使用得到的分解系數(shù)表示用戶演奏數(shù)據(jù)對(duì)應(yīng)的用戶演 奏音符的力度信息。
[0033] 可選的，可以根據(jù)以下公式計(jì)算用戶演奏數(shù)據(jù)的NMF分解系數(shù)H，
[0034] V=WXH,
[0035] 其中，V表示每幀語(yǔ)音的頻譜特征，W表示復(fù)調(diào)樂(lè)器按鍵的基矩陣。
[0036] 另外，可以預(yù)先通過(guò)分析復(fù)調(diào)樂(lè)器中每個(gè)按鍵所對(duì)應(yīng)音符的特性構(gòu)建復(fù)調(diào)樂(lè)器按 鍵的基矩陣W。
[0037] S14 :根據(jù)分解系數(shù)確定用戶演奏音符信息。
[0038] 其中，用戶演奏音符信息可以包括音高信息、時(shí)值信息、力度信息。
[0039] 具體地，用戶演奏音符信息中的力度信息用分解系數(shù)表示。
[0040] 用戶演奏音符信息中的時(shí)值信息用步驟S12中所提取的用戶演奏數(shù)據(jù)中的每個(gè) 音符持續(xù)的幀數(shù)表示。
[0041] 用戶演奏音符信息中的音高信息，可以采用統(tǒng)計(jì)建模方法，確定用戶演奏數(shù)據(jù)對(duì) 應(yīng)的具體音符，進(jìn)而根據(jù)具體音符的標(biāo)準(zhǔn)發(fā)音來(lái)確定。
[0042] 其中，可以預(yù)先使用大量用戶演奏數(shù)據(jù)進(jìn)行統(tǒng)計(jì)建模，得到統(tǒng)計(jì)模型，使用該統(tǒng)計(jì) 模型確定用戶演奏數(shù)據(jù)對(duì)應(yīng)的具體音符。
[0043] S15 :根據(jù)用戶演奏音符信息對(duì)用戶演奏數(shù)據(jù)進(jìn)行評(píng)分。
[0044] 可選的，根據(jù)用戶演奏音符信息，對(duì)用戶演奏數(shù)據(jù)進(jìn)行評(píng)分，包括：
[0045] 獲取標(biāo)準(zhǔn)演奏數(shù)據(jù)；根據(jù)標(biāo)準(zhǔn)演奏數(shù)據(jù)構(gòu)建標(biāo)準(zhǔn)評(píng)分模板；將用戶演奏數(shù)據(jù)與標(biāo) 準(zhǔn)演奏數(shù)據(jù)對(duì)齊；根據(jù)用戶演奏數(shù)據(jù)中的每個(gè)音符與標(biāo)準(zhǔn)演奏數(shù)據(jù)中的標(biāo)準(zhǔn)音符的對(duì)應(yīng)關(guān) 系對(duì)用戶演奏數(shù)據(jù)進(jìn)行評(píng)分。
[0046] 進(jìn)一步，根據(jù)用戶演奏數(shù)據(jù)中的每個(gè)音符與標(biāo)準(zhǔn)演奏數(shù)據(jù)中的標(biāo)準(zhǔn)音符的對(duì)應(yīng)關(guān) 系對(duì)用戶演奏數(shù)據(jù)進(jìn)行評(píng)分，具體包括：
[0047] 計(jì)算用戶演奏數(shù)據(jù)中所有音符與標(biāo)準(zhǔn)音符之間的平均音高錯(cuò)誤率；計(jì)算用戶演奏 數(shù)據(jù)中所有音符與標(biāo)準(zhǔn)音符之間的平均時(shí)值偏差；計(jì)算用戶演奏數(shù)據(jù)中所有音符與標(biāo)準(zhǔn)音 符之間的平均力度偏差；根據(jù)平均音高錯(cuò)誤率、平均時(shí)值偏差，以及平均力度偏差，對(duì)用戶 演奏數(shù)據(jù)進(jìn)行總體評(píng)分。
[0048] 本實(shí)施例通過(guò)獲取用戶演奏數(shù)據(jù)對(duì)應(yīng)的頻譜特征，計(jì)算用戶演奏數(shù)據(jù)的分解系 數(shù)，并根據(jù)分解系數(shù)確定用戶演奏音符信息，根據(jù)用戶演奏音符信息對(duì)用戶演奏數(shù)據(jù)進(jìn)行 評(píng)分，可以實(shí)現(xiàn)復(fù)調(diào)樂(lè)器的自動(dòng)評(píng)分，從而有效提高復(fù)調(diào)樂(lè)器的評(píng)分效果且降低評(píng)分成本。
[0049] 圖2是本發(fā)明另一實(shí)施例提出的復(fù)調(diào)樂(lè)器的評(píng)分方法的流程示意圖，本實(shí)施例以 復(fù)調(diào)樂(lè)器是鋼琴，以使用非負(fù)矩陣因子分解（NonnegativeMatrixFactorization，NMF)方 法對(duì)用戶演奏數(shù)據(jù)進(jìn)行分解為例，該方法包括：
[0050] S201 :接收用戶演奏數(shù)據(jù)。