音頻信號(hào)分析的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及音頻信號(hào)分析，更具體地，設(shè)及音樂(lè)韻律分析。
【背景技術(shù)】
[0002] 在音樂(lè)術(shù)語(yǔ)中，音樂(lè)韻律包括音樂(lè)中強(qiáng)調(diào)或重音的循環(huán)模式。音樂(lè)韻律可W被描 述為包括旋律脈沖（measure pulse)、節(jié)拍脈沖和塔特姆脈沖，分別是指在脈沖持續(xù)時(shí)間方 面最長(zhǎng)到最短的脈沖。
[0003] 節(jié)拍脈沖提供音樂(lè)中的基本時(shí)間單位，節(jié)拍脈沖的速率（速度）被認(rèn)為是大多數(shù) 人在聽(tīng)到一段音樂(lè)時(shí)會(huì)用腳點(diǎn)地的速率。在許多實(shí)際應(yīng)用中，識(shí)別一段音樂(lè)中節(jié)拍脈沖的 出現(xiàn)或者所謂的節(jié)拍跟蹤是有利的。該樣的應(yīng)用包括音樂(lè)推薦應(yīng)用，其中，在例如需要播放 列表中的音樂(lè)之間的無(wú)縫混音轉(zhuǎn)換的電臺(tái)節(jié)目主持人值J)應(yīng)用中W自動(dòng)循環(huán)技術(shù)捜索與 基準(zhǔn)音軌相似的音樂(lè)。
[0004] 節(jié)拍跟蹤系統(tǒng)和方法生成節(jié)拍序列，其包括在一段音樂(lè)或其一部分中節(jié)拍的時(shí)間 位置。
[0005] W下的術(shù)語(yǔ)有助于理解將在后面描述的某些概念。
[0006] 音局；音符的基頻（f。）的生理相關(guān)性。
[0007] 色度（C虹oma)，也稱(chēng)為音高集合；用整數(shù)個(gè)八度音階分隔的音樂(lè)音高屬于常見(jiàn)的 音高集合。在西方音樂(lè)中使用12個(gè)音高集合。
[000引節(jié)拍或節(jié)拍法（tactus);音樂(lè)中的基本時(shí)間單位，它可被認(rèn)為是大多數(shù)人在聽(tīng)到 一段音樂(lè)時(shí)會(huì)用腳點(diǎn)地的速率。該個(gè)詞也用于表示屬于單個(gè)節(jié)拍的音樂(lè)部分。
[0009] 速度；節(jié)拍或節(jié)拍法脈沖的速率，通常W每分鐘節(jié)拍（BPM)的單位表示。
[0010] 小節(jié)或旋律；定義為指定數(shù)量的具有指定持續(xù)時(shí)間的節(jié)拍的時(shí)間段。例如，在具有 4/4拍號(hào)的音樂(lè)中，每個(gè)小節(jié)包括4個(gè)節(jié)拍。
[0011] 重音或基于重音的音頻分析；分析音頻信號(hào)W檢測(cè)音樂(lè)中的事件和/或變化，包 括但不限于所有離散聲音事件的開(kāi)始，特別是長(zhǎng)而高的聲音的開(kāi)始、音色的響度的突然變 化及和聲變化。在下文給出進(jìn)一步的細(xì)節(jié)。
[0012] 人們相信人類(lèi)是通過(guò)從重音中推斷規(guī)律的脈沖模式來(lái)感知音樂(lè)韻律的，其中重音 是音樂(lè)中被強(qiáng)調(diào)的時(shí)刻。音樂(lè)中的不同事件導(dǎo)致重音。示例包括響度或音色的變化、和聲變 化W及一般的所有聲音事件的開(kāi)始。特別地，長(zhǎng)而高的聲音的開(kāi)始導(dǎo)致重音。自動(dòng)的速度、 節(jié)拍或強(qiáng)拍估計(jì)器可嘗試在一定程度上模仿人類(lèi)對(duì)音樂(lè)韻律的感知。該可包含W下步驟： 測(cè)量音樂(lè)強(qiáng)調(diào)、執(zhí)行對(duì)一個(gè)或多個(gè)脈沖的周期估計(jì)、找出所估計(jì)的脈沖的相位、W及選擇與 速度對(duì)應(yīng)的韻律水平或者一些其它感興趣的韻律水平。由于重音與音樂(lè)中的事件有關(guān)，因 此，基于重音的音頻分析是指對(duì)音樂(lè)中的事件和/或變化的檢測(cè)。該種變化可能與信號(hào)的 響度、頻譜和/或音高內(nèi)容的變化有關(guān)。作為一個(gè)示例，基于重音的分析可能與例如使用色 度特征從信號(hào)中檢測(cè)頻譜變化、從信號(hào)中計(jì)算新的或起始點(diǎn)檢測(cè)函數(shù)、從信號(hào)中檢測(cè)離散 的起始點(diǎn)或者檢測(cè)信號(hào)的音高和/或和聲內(nèi)容的變化有關(guān)。在執(zhí)行頻譜變化檢測(cè)時(shí)，可W 使用各種變換或?yàn)V波器組分解，諸如快速傅里葉變換或多速率濾波器組、或者甚至基頻f。 或音高突出度估計(jì)器。作為簡(jiǎn)單的示例，重音檢測(cè)可通過(guò)在信號(hào)上W短帖計(jì)算信號(hào)在一組 頻帶上的短時(shí)能量、然后計(jì)算每?jī)蓚€(gè)相鄰帖之間的差（諸如歐幾里得距離）來(lái)執(zhí)行。為了 增加針對(duì)各種音樂(lè)類(lèi)型的魯椿性，已經(jīng)開(kāi)發(fā)了很多不同的重音信號(hào)分析方法。
[0013] W下將要描述的系統(tǒng)和方法利用在W下公開(kāi)物中描述的背景知識(shí)，該些公開(kāi)物在 此通過(guò)引用結(jié)合。
[0014] [1]Cemgil A. T.等"On tempo tracking:tempogram representation and Kalman filtering. "J. New Music 民esearch, 2001.
[00巧] [2]Eronen,A?和 Klapuri,A.，"Music Tempo Estimation with k_NN regression, "IEEE Trans. Audio, Speech and Language Processing, Vol. 18, No. 1，Jan 2010.
[0016] [3] Seppanen, Kronen，Hiipakka."Joint Beat&Tatum Tracking from Music Signals", International Conference on Music Information 民etrieval, ISMI民 2006and Jarno Seppanen,Antti Kronen，Jarmo Hiipakka:Method, apparatus and computer program product for providing rhythm information from an audio signal. Nokia November 2009:US 7612275.
[0017] [4]Antti Kronen 和 Timo Kosonen"Creating and sharing variations of a music file"-United States Patent Application 20070261537.
[0018] [5] K1 apur i，A.，Eronen, A.，Asto 1 a, J.，"Anal y s i s of the meter of acoustic musical signals，"IEEE Trans.Audio, Speech，and Language Processing, Vol. 14, No. 1，2006.
[0019] [6] Jehan, Oeating Music by Listening, PhD Thesis, MIT, 2005.
[0020] ht化：//web. media, mit. edu/ ?tristan/phd/pdf/Tristan_PhD_MIT. pdf
[0021] [7]D. Ellis, "Beat Tracking by Dynamic Programming", J. New Music 民esearch,Special Issue on Beat and Tempo Extraction,vol.36no.1,March 2007,pp. 51-60. (lOpp)DOI:10. 1080/09298210701653344.
[0022] [8]A.Klapuri, "Multiple fundamental frequency estimation by summing harmonic amplitudes, "in Proc.7th Int. Conf. Music Inf.民etrieval(ISMI民一06)，Victor ia, Canada, 2006.

【發(fā)明內(nèi)容】

[0023] 本發(fā)明的第一個(gè)方面提供了一種裝置，其包括：
[0024] 第一重音信號(hào)模塊，用于生成表示音頻信號(hào)中的音樂(lè)重音的第一重音信號(hào)（ai);
[0025] 第二重音信號(hào)模塊，用于生成表示所述音頻信號(hào)中的音樂(lè)重音的不同的第二重音 信號(hào)（過(guò)2);
[0026] 第一節(jié)拍跟蹤模塊，用于根據(jù)所述第一重音信號(hào)估計(jì)第一節(jié)拍時(shí)間序列化1);
[0027] 第二節(jié)拍跟蹤模塊，用于根據(jù)所述第二重音信號(hào)估計(jì)第二節(jié)拍時(shí)間序列化2);臥 及
[002引序列選擇器，用于識(shí)別所述第一節(jié)拍時(shí)間序列化1)和所述第二節(jié)拍時(shí)間序列化2) 中的哪一個(gè)與所述重音信號(hào)的一個(gè)或兩者中的峰值最接近一致。
[0029] 該裝置提供了用于識(shí)別音樂(lè)信號(hào)中的節(jié)拍位置的穩(wěn)健且在計(jì)算上簡(jiǎn)單的系統(tǒng)和 方法。特別地，該裝置提供了在從電子音樂(lè)到古典和搖滾音樂(lè)的音樂(lè)風(fēng)格的范圍上的節(jié)拍 跟蹤的穩(wěn)健且準(zhǔn)確的方式。特別地，電子舞蹈音樂(lè)被更準(zhǔn)確地處理。
[0030] 第一重音信號(hào)模塊可被配置為通過(guò)基于基頻（f。）突出度分析而提取色度重音特 征，生成第一重音信號(hào)（ai)
[0031] 該裝置可W進(jìn)一步包括速度估計(jì)器，其被配置為使用第一重音信號(hào)（ai)生成音頻 信號(hào)的估計(jì)速度炬PMwt)。
[0032] 第一節(jié)拍跟蹤模塊可被配置為使用第一重音信號(hào)（ai)和估計(jì)速度炬PMwt)估計(jì)第 一節(jié)拍時(shí)間序列。
[0033] 第二重音信號(hào)模塊可被配置為使用音頻信號(hào)的帶寬的預(yù)定子帶生成第二重音信 號(hào)枉）。預(yù)定子帶可W低于200Hz。
[0034] 第二重音信號(hào)模塊可被配置為通過(guò)執(zhí)行音頻信號(hào)的多速率濾波器組分解W及使 用來(lái)自預(yù)定的一個(gè)濾波器的輸出來(lái)生成重音信號(hào)，生成第二重音信號(hào)（a,)。
[0035] 該裝置可進(jìn)一步包括用于獲取估計(jì)速度炬PMwt)的整數(shù)表示的裝置，其中，第二節(jié) 拍跟蹤模塊可被配置為使用第二重音信號(hào)（a,)和整數(shù)表示來(lái)生成第二節(jié)拍時(shí)間序列化2)。
[0036] 估計(jì)速度炬PM,J的整數(shù)表示可W使用四舍五入取整的速度估計(jì)函數(shù) (round(BPM.J)或者向上取整的速度估計(jì)函數(shù)（ceil (BPMwt))或者向下取整的速度估計(jì)函 數(shù)的oor炬PMe日t))來(lái)計(jì)算。
[0037] 該裝置可W進(jìn)一步包括用于對(duì)估計(jì)速度BPMwt執(zhí)行向上取整函數(shù)和向下取整函數(shù) W分別生成向上取整的速度估計(jì)（ceil 和向下取整的速度估計(jì)（floor @PM。^) 的裝置，其中，第二節(jié)拍跟蹤模塊可被配置為使用第二重音信號(hào)（a,)分別與向上取整的速 度估計(jì)和向下取整的速度估計(jì)來(lái)生成第二節(jié)拍時(shí)間序列化2)和第S節(jié)拍時(shí)間序列化3)，其 中，序列選擇器可被配置為識(shí)別第一節(jié)拍時(shí)間序列、第二節(jié)拍時(shí)間序列和第=節(jié)拍時(shí)間序 列中的哪一個(gè)與重音信號(hào)的一個(gè)或兩者中的峰值最接近一致。
[003引第二節(jié)拍跟蹤模塊可被配置為對(duì)于向上取整的速度估計(jì)和向下取整的速度估計(jì) 中的每一個(gè)，使用所述估計(jì)來(lái)生成初始節(jié)拍時(shí)間序列化t)，將它與基準(zhǔn)節(jié)拍時(shí)間序列化1) 進(jìn)行比較，W及使用預(yù)定的相似度算法生成第二節(jié)拍時(shí)間序列和第S節(jié)拍時(shí)間序列。
[0039] 由第二節(jié)拍跟蹤模塊使用的預(yù)定的相似度算法可包括在偏移位置的范圍上比較 初始節(jié)拍時(shí)間序列化t)和基準(zhǔn)節(jié)拍時(shí)間序列化1) W識(shí)別該范圍內(nèi)的最佳匹配，所生成的第 二/第S節(jié)拍時(shí)間序列包括導(dǎo)致最佳匹配的基準(zhǔn)節(jié)拍時(shí)間序列化1)的偏移版本。
[0040] 基準(zhǔn)節(jié)拍時(shí)間序列化1)可具有恒定的節(jié)拍間隔?；鶞?zhǔn)節(jié)拍時(shí)間序列化1)可在t =0, 1/狂/60)，2/狂/60)....