專利名稱：信息處理設(shè)備、聲音素材捕獲方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備、聲音素材捕獲方法和程序。
背景技術(shù)：
為了對音樂進(jìn)行混音，需要提供用于混音的聲音素材。為了執(zhí)行混音，通常使用從市場上的素材集中挑選的聲音素材或使用某人用波形編輯軟件等捕獲的聲音素材。然而，尋找包含與人的意圖相匹配的聲音素材的素材集很麻煩。從海量的音樂數(shù)據(jù)中找出可以用作所希望的聲音素材的部分，或者高精度地捕獲該部分也很麻煩。此外，例如，在日本專利申請文件JP-A-2008-164932中有與音樂的混音回放有關(guān)的描述。在JP-A-2008-164932中，公開了一種通過簡單的操作來組合多個(gè)聲音素材并且高度完美地創(chuàng)建音樂的技術(shù)。

發(fā)明內(nèi)容
然而，JP-A-2008-164932沒有公開用于高精度地自動檢測各首樂曲中所包括的特征量，并且基于這些特征量來自動捕獲聲音素材的技術(shù)。因此，鑒于以上所述，希望提供能夠精確地從音樂數(shù)據(jù)中提取特征量并且基于這些特征量來捕獲聲音素材的新穎的改進(jìn)的信息處理設(shè)備、聲音素材捕獲方法和程序。 根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種信息處理設(shè)備，該信息處理設(shè)備包括音樂分析單元，該音樂分析單元用于分析用作聲音素材的捕獲源的音頻信號，并且用于檢測音頻信號的拍子位置和音頻信號中的各種樂器聲音的存在概率；以及捕獲范圍確定單元，該捕獲范圍確定單元用于通過使用由音樂分析單元所檢測到的拍子位置和各種樂器聲音的存在概率來確定聲音素材的捕獲范圍。 此外，該信息處理設(shè)備還可以包括捕獲請求輸入單元，捕獲請求輸入單元用于輸入捕獲請求，捕獲請求包括以下內(nèi)容中的至少一個(gè)作為信息要被捕獲作為聲音素材的范圍的長度、樂器聲音的類型和捕獲的嚴(yán)格度。在這種情況中，捕獲范圍確定單元確定聲音素材的捕獲范圍使得聲音素材滿足由捕獲請求輸入單元輸入的捕獲請求。 此外，該信息處理設(shè)備還可以包括素材捕獲單元，該素材捕獲單元用于從音頻信
號中捕獲由捕獲范圍確定單元確定的捕獲范圍并且用于輸出捕獲范圍作為聲音素材。 此外，該信息處理設(shè)備還可以包括聲源分離單元，該聲源分離單元用于在音頻信
號中包括多種類型的聲源的信號的情況中，從音頻信號中分離出各種聲源的信號。 此外，音樂分析單元還可以通過分析音頻信號來檢測音頻信號的和弦進(jìn)行。在此
情況下，捕獲范圍確定單元確定聲音素材的捕獲范圍，并且一起輸出有關(guān)捕獲范圍的信息
和捕獲范圍中的和弦進(jìn)行。 此外，音樂分析單元還可以通過分析音頻信號來檢測音頻信號的和弦進(jìn)行。在這種情況中，素材捕獲單元輸出捕獲范圍的音頻信號作為聲音素材，并且還輸出捕獲范圍中的和弦進(jìn)行。 此外，音樂分析單元可以通過使用能夠自動生成用于提取任意音頻信號的特征量的計(jì)算公式的計(jì)算公式生成設(shè)備來生成用于提取與拍子位置有關(guān)的信息和與各種樂器聲音的存在概率有關(guān)的信息的計(jì)算公式，并且通過使用計(jì)算公式來檢測音頻信號的拍子位置和音頻信號中的各種樂器聲音的存在概率，計(jì)算公式生成設(shè)備通過使用多個(gè)音頻信號和各個(gè)音頻信號的特征量來自動生成計(jì)算公式。 此外，捕獲范圍確定單元可以包括素材得分計(jì)算單元，該素材得分計(jì)算單元針對音頻信號的各個(gè)范圍來計(jì)算通過捕獲請求所指定的類型的樂器聲音的存在概率的總和，并且用于計(jì)算通過將總計(jì)出的存在概率除以該范圍內(nèi)所有樂器聲音的存在概率的總和而獲得的值作為素材得分，每個(gè)范圍具有由所述捕獲請求指定的捕獲范圍的長度，并且確定由素材得分計(jì)算單元所計(jì)算出的素材得分高于捕獲的嚴(yán)格度的值的范圍，作為滿足捕獲請求的捕獲范圍。 此外，聲源分離單元可以從音頻信號中分離出前景聲音的信號和背景聲音的信號，并且還可以將前景聲音的信號中位于中心周圍的中心信號、左聲道信號和右聲道信號相互分離。 根據(jù)本發(fā)明另一實(shí)施例，提供了一種聲音素材捕獲方法，當(dāng)用作聲音素材的捕獲源的音頻信號被輸入信息處理設(shè)備時(shí)，該方法包括以下步驟分析音頻信號，并且檢測音頻信號的拍子位置和音頻信號中各種樂器聲音的存在概率；以及通過使用通過分析和檢測步驟所檢測到的拍子位置和各種樂器聲音的存在概率來確定聲音素材的捕獲范圍。這些步驟是由信息處理設(shè)備執(zhí)行的。 根據(jù)本發(fā)明另一實(shí)施例，提供了一種程序，當(dāng)用作聲音素材的捕獲源的音頻信號被輸入時(shí)，該程序使得計(jì)算機(jī)實(shí)現(xiàn)分析音頻信號并且檢測音頻信號的拍子位置和音頻信號中各種樂器聲音的存在概率的音樂分析功能，以及通過使用通過音樂分析功能所檢測到的拍子位置和各種樂器聲音的存在概率來確定聲音素材的捕獲范圍的捕獲范圍確定功能。
根據(jù)本發(fā)明另一實(shí)施例，可以提供一種存儲程序并且可以由計(jì)算機(jī)讀取的記錄介質(zhì)。 根據(jù)上述本發(fā)明實(shí)施例，可以從音樂數(shù)據(jù)中精確地提取特征量并且基于該特征量來捕獲聲音素材。


圖1是示出用于自動生成用于計(jì)算特征量的算法的特征量計(jì)算公式生成設(shè)備的配置示例的說明性示圖； 圖2是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的信息處理設(shè)備(波形素材自動捕獲設(shè)備)的功能配置示例的說明性示圖； 圖3是示出根據(jù)本實(shí)施例的聲源分離方法(中心提取方法)的示例的說明性示圖； 圖4是示出根據(jù)本實(shí)施例的聲源的類型的說明性示圖； 圖5是示出根據(jù)本實(shí)施例的對數(shù)譜生成方法的一個(gè)示例的說明性示圖； 圖6是示出通過根據(jù)本實(shí)施例的對數(shù)譜生成方法所生成的對數(shù)譜的說明性示圖； 圖7是示出按照根據(jù)本實(shí)施例的音樂分析方法的一連串處理的流程的說明性示
圖8是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖9是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖10是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖11是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖12是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖13是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖14是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖15是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖16是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖17是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖18是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖19是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖20是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖21是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖22是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖23是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖24是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖25是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖26是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖27是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖28是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖29是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖30是示出根據(jù)本實(shí)施例的拍子檢測方法的- 圖31是示出通過根據(jù)本實(shí)施例的拍子檢測方
-個(gè)示例的說明性示圖；-個(gè)示例的說明性示圖；一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖法所檢測到的拍子的檢
個(gè)示例的說明性示圖； 圖32是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的
示示示圖33是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的圖34是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的圖35是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的圖36是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的圖37是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的圖38是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的-圖39是示出根據(jù)本實(shí)施例的和弦概率檢測方
一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖法和基調(diào)檢測方法的示例的說明性
圖40是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性
圖41是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性
圖42是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性示圖；圖43
示圖；圖44
示圖；圖45
示圖；圖46
示圖；圖47
示圖；圖48
示圖；圖49
示圖；圖50
示圖；圖51
示圖；圖52
示圖；圖53
示圖；圖54
示圖；圖55圖56圖57圖58圖59圖60圖61圖62圖63圖64圖65圖66圖67圖68
圖43是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性圖44是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性圖45是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性圖46是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性圖47是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性圖48是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性圖49是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性圖50是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性圖51是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性圖52是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性圖53是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性圖54是示出根據(jù)本實(shí)施例的和弦概率檢測方法和基調(diào)檢測方法的示例的說明性
:出根據(jù)本:出根據(jù)本:出根據(jù)本:出根據(jù)本:出根據(jù)本:出根據(jù)本:出根據(jù)本:出根據(jù)本:出根據(jù)本:出根據(jù)本:出根據(jù)本:出根據(jù)本:出根據(jù)本:出根據(jù)本
實(shí)施例的小實(shí)施例的小實(shí)施例的小實(shí)施例的小實(shí)施例的小實(shí)施例的小實(shí)施例的小實(shí)施例的小實(shí)施例的小實(shí)施例的小實(shí)施例的小實(shí)施例的和實(shí)施例的和實(shí)施例的和
節(jié)線檢領(lǐng)節(jié)線檢領(lǐng)節(jié)線檢領(lǐng)節(jié)線檢領(lǐng)節(jié)線檢領(lǐng)節(jié)線檢領(lǐng)節(jié)線檢領(lǐng)節(jié)線檢領(lǐng)節(jié)線檢領(lǐng)節(jié)線檢領(lǐng)節(jié)線檢領(lǐng)
l方法的l方法的l方法的l方法的l方法的l方法的l方法的l方法的l方法的l方法的l方法的
弦進(jìn)行估計(jì)方法弦進(jìn)行估計(jì)方法弦進(jìn)行估計(jì)方法
一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖一個(gè)示例的說明性示圖的一個(gè)示例的說明性示圖的一個(gè)示例的說明性示圖
圖69是示出根據(jù)本實(shí)施例的和弦進(jìn)行估計(jì)方法的一個(gè)示例的說明性示圖 圖70是示出根據(jù)本實(shí)施例的和弦進(jìn)行估計(jì)方法的一個(gè)示例的說明性示圖 圖71是示出根據(jù)本實(shí)施例的和弦進(jìn)行估計(jì)方法的一個(gè)示例的說明性示圖 圖72是示出根據(jù)本實(shí)施例的和弦進(jìn)行估計(jì)方法的一個(gè)示例的說明性示圖 圖73是示出根據(jù)本實(shí)施例的樂器聲音分析方法的一個(gè)示例的說明性示圖 圖74是示出根據(jù)本實(shí)施例的樂器聲音分析方法的一個(gè)示例的說明性示圖 圖75是示出根據(jù)本實(shí)施例的捕獲范圍確定方法的一個(gè)示例的說明性示圖 圖76是示出根據(jù)本實(shí)施例的信息處理設(shè)備的一個(gè)硬件配置示例的說明性示圖。
具體實(shí)施例方式
以下，將參考附圖來詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意，在本說明書和附圖中，用相同的標(biāo)號來標(biāo)注具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的重復(fù)說明。 在本說明書中，將按照以下順序進(jìn)行說明。
(說明項(xiàng)目)
1.基礎(chǔ)架構(gòu)技術(shù) 1-1.特征量計(jì)算公式生成設(shè)備10的配置示例
2.實(shí)施例 2-1.信息處理設(shè)備100的總體配置
2-2.聲源分離單元104的配置
2-3.對數(shù)譜分析單元106的配置
2-4.音樂分析單元108的配置
2-4-1.拍子檢測單元132的配置
2-4-2.和弦進(jìn)行檢測單元134的配置
2-4-3.樂器聲音分析單元136的配置
2-5.捕獲范圍確定單元110的配置
2-6.總結(jié)
〈1.基礎(chǔ)架構(gòu)技術(shù)〉 首先，在描述根據(jù)本發(fā)明的一個(gè)實(shí)施例的技術(shù)之前，將簡要描述用于實(shí)現(xiàn)本實(shí)施例的技術(shù)配置的基礎(chǔ)架構(gòu)技術(shù)。這里所描述的基礎(chǔ)架構(gòu)技術(shù)有關(guān)于算法的自動生成方法，該算法用于以特征量(也稱為"FQ")的形式對任意輸入數(shù)據(jù)的特征進(jìn)行量化。例如，各種類型的數(shù)據(jù)，例如音頻信號的信號波形或圖像中所包括的各種顏色的亮度數(shù)據(jù)，都可以用作輸入數(shù)據(jù)。而且，當(dāng)以樂曲為例時(shí)，通過應(yīng)用基礎(chǔ)架構(gòu)技術(shù)，從音樂數(shù)據(jù)的波形中自動地生成用于計(jì)算指示樂曲的歡快程度或速度(tempo)的特征量的算法。此外，日本專利文件JP-A-2008-123011中所公開的學(xué)習(xí)算法也可以用來替代下述特征量計(jì)算公式生成設(shè)備10的配置示例。 (1-1.特征量計(jì)算公式生成設(shè)備10的配置示例) 首先，參考圖l，將描述根據(jù)上述基礎(chǔ)架構(gòu)技術(shù)的特征量計(jì)算公式生成設(shè)備10的功能配置。圖1是示出根據(jù)上述基礎(chǔ)架構(gòu)技術(shù)的特征量計(jì)算公式生成設(shè)備10的配置示例
8的說明性示圖。這里所描述的特征量計(jì)算公式生成設(shè)備10是用于自動地生成用于使用任意輸入數(shù)據(jù)、以特征量的形式對該輸入數(shù)據(jù)的特征進(jìn)行量化的算法(以下稱為計(jì)算公式)的裝置(學(xué)習(xí)算法)的示例。 如圖1中所示，特征量計(jì)算公式生成設(shè)備10主要具有算子存儲單元12、提取公式生成單元14、提取公式列表生成單元20、提取公式選擇單元22和計(jì)算公式設(shè)置單元24。此外，特征量計(jì)算公式生成設(shè)備10包括計(jì)算公式生成單元26、特征量選擇單元32、評估數(shù)據(jù)獲取單元34、教師數(shù)據(jù)獲取單元36和公式評估單元38。此外，提取公式生成單元14包括算子選擇單元16。并且，計(jì)算公式生成單元26包括提取公式計(jì)算單元28和系數(shù)計(jì)算單元30。此外，公式評估單元38包括計(jì)算公式評估單元40和提取公式評估單元42。
首先，提取公式生成單元14通過組合算子存儲單元12中所存儲的多個(gè)算子來生成特征量提取公式(以下稱為提取公式)，提取公式用作計(jì)算公式的基礎(chǔ)。這里的"算子"是用于對輸入數(shù)據(jù)的數(shù)據(jù)值執(zhí)行特定運(yùn)算處理的算子。通過算子執(zhí)行的運(yùn)算類型包括差分計(jì)算、最大值提取、低通濾波、無偏方差計(jì)算、快速傅里葉變換、標(biāo)準(zhǔn)差計(jì)算、平均值計(jì)算等。當(dāng)然，這不限于以上列舉的這些類型的運(yùn)算，并且可以包括可對輸入數(shù)據(jù)的數(shù)據(jù)值執(zhí)行的任何類型的運(yùn)算。 此外，針對各個(gè)算子設(shè)置運(yùn)算類型、運(yùn)算目標(biāo)軸和用于該運(yùn)算的參數(shù)。運(yùn)算目標(biāo)軸是指定義輸入數(shù)據(jù)的各個(gè)數(shù)據(jù)值的軸中作為運(yùn)算處理的目標(biāo)的軸。例如，當(dāng)以音樂數(shù)據(jù)為例時(shí)，音樂數(shù)據(jù)在由時(shí)間軸和音調(diào)軸(頻率軸)形成的空間中被給出為音量的波形。當(dāng)對音樂數(shù)據(jù)執(zhí)行差分運(yùn)算時(shí)，要確定是沿時(shí)間軸方向執(zhí)行差分運(yùn)算還是沿頻率軸方向執(zhí)行差分運(yùn)算。因此，各個(gè)參數(shù)包括與形成定義輸入數(shù)據(jù)的空間的軸中要作為運(yùn)算處理目標(biāo)的軸相關(guān)的信息。 此外，參數(shù)根據(jù)運(yùn)算的類型而變得必要。例如，在低通濾波的情況中，定義要通過的數(shù)據(jù)值的范圍的閾值必須被固定為參數(shù)。由于這些原因，除了運(yùn)算的類型以外，在各個(gè)算子中還包括運(yùn)算目標(biāo)軸和必要參數(shù)。例如，算子被表示為Fffl)ifferential、F#MaxIndex、T#LPF 1 ;0. 861、 T#UVariance……，算子開頭所添加的F等指示運(yùn)算目標(biāo)軸。例如，F(xiàn)是指頻率軸，并且T是指時(shí)間軸。 在運(yùn)算目標(biāo)軸之后用#分開的所添加的Differential等指示運(yùn)算的類型。例如，Differential是指差分計(jì)算運(yùn)算，Maxlndex是指最大值提取運(yùn)算，LPF是指低通濾波，UVariance是指無偏方差計(jì)算運(yùn)算。運(yùn)算類型之后的數(shù)字指示參數(shù)。例如，LPF 1 ;0. 861指示將1至0. 861的范圍作為通帶的低通濾波器。這各種算子被存儲在算子存儲單元12中，并且由提取公式生成單元14讀取和使用。提取公式生成單元14首先通過算子選擇單元16來選擇任意算子，并且通過組合所選擇的算子來生成提取公式。 例如，由算子選擇單元16選擇F抑ifferential、 F#MaxIndex、 T#LPF 1 ;0. 861和TftUVariance，并且由提取公式生成單元14生成如以下等式(1)所表示的提取公式f。然而，開頭所添加的12Tones指示作為處理目標(biāo)的輸入數(shù)據(jù)的類型。例如，當(dāng)12Tones被記述時(shí)，通過分析輸入數(shù)據(jù)的波形而獲得的時(shí)間-音調(diào)空間中的信號數(shù)據(jù)(稍后描述的對數(shù)譜)成為運(yùn)算處理目標(biāo)。即，如以下等式(1)所表示的提取公式指示稍后所述的對數(shù)譜是處理目標(biāo)，以及，關(guān)于輸入數(shù)據(jù)，沿頻率軸(音調(diào)軸方向)順次執(zhí)行差分運(yùn)算和最大值提取并且沿時(shí)間軸順次執(zhí)行低通濾波和無偏方差運(yùn)算。
9
f = (12Tones， F#Differential， F#MaxIndex， T#LPF_1;0. 861， T#UVariance}
…(l) 如上所述，提取公式生成單元14針對算子的各種組合生成如上述等式(1)所示的提取公式。將詳細(xì)描述該生成方法。首先，提取公式生成單元14通過使用算子選擇單元16來選擇算子。此時(shí)，算子選擇單元16判定通過所選擇的算子的組合(提取公式)來對輸入數(shù)據(jù)進(jìn)行的運(yùn)算的結(jié)果是否是標(biāo)量或者特定大小或更小的向量(其是否收斂)。
此外，基于各個(gè)算子中所包括的運(yùn)算目標(biāo)軸的類型和運(yùn)算的類型來執(zhí)行上述判定處理。當(dāng)由算子選擇單元16選擇算子的組合時(shí)，針對各種組合執(zhí)行判定處理。然后，當(dāng)算子選擇單元16判定運(yùn)算結(jié)果收斂時(shí)，提取公式生成單元14通過使用由算子選擇單元16選擇的、使運(yùn)算結(jié)果收斂的算子的組合來生成提取公式。由提取公式生成單元14進(jìn)行的提取公式的生成處理被執(zhí)行直到特定數(shù)目(以下稱為所選擇的提取公式的數(shù)目)的提取公式被生成為止。由提取公式生成單元14生成的提取公式輸入提取公式列表生成單元20。
當(dāng)提取公式從提取公式生成單元14輸入提取公式列表生成單元20時(shí)，特定數(shù)目的提取公式被從輸入提取公式中選出(以下，列表中的提取公式的數(shù)目《所選擇的提取公式的數(shù)目)并且提取公式列表被生成。此時(shí)，由提取公式列表生成單元20進(jìn)行的生成處理被執(zhí)行直到特定數(shù)目(以下，稱為列表的數(shù)目)的提取公式列表被生成。然后，由提取公式列表生成單元20生成的提取公式列表輸入提取公式選擇單元22。 以下，將關(guān)于由提取公式生成單元14和提取公式列表生成單元20進(jìn)行的處理來描述具體示例。首先，例如，由提取公式生成單元14確定輸入數(shù)據(jù)的類型是音樂數(shù)據(jù)。接著，由算子選擇單元16隨機(jī)地選擇算子OPp 0P2、 0P3和0P4。然后，通過所選擇的算子的組合，關(guān)于音樂數(shù)據(jù)的運(yùn)算結(jié)果是否收斂執(zhí)行判定處理。當(dāng)判定音樂數(shù)據(jù)的運(yùn)算結(jié)果收斂時(shí)，利用OP工至0P4的組合生成提取公式f1Q由提取公式生成單元14生成的提取公式^輸入提取公式列表生成單元20。 此外，提取公式生成單元14重復(fù)與提取公式^的生成處理相同的處理，并且例如生成提取公式f2、 f3和f4。以這種方式生成的提取公式f2、 f3和f4輸入提取公式列表生成單元20。當(dāng)提取公式4、 f2、 f3和f4輸入時(shí)，提取公式列表生成單元20例如生成提取公式列表L丄=仏，f2， f4}，并且生成提取公式列表L2 = {f" f3， f4}。由提取公式列表生成單元20生成的提取公式列表和L2輸入提取公式選擇單元22。如以上利用具體示例所述，提取公式是由提取公式生成單元14生成的，并且提取公式列表是由提取公式列表生成單元20生成的并且被輸入提取公式選擇單元22。然而，盡管在上述示例中描述了這樣的情況所選擇的提取公式的數(shù)目是4，列表中的提取公式的數(shù)目是3并且列表的數(shù)目是2，但是應(yīng)當(dāng)注意，實(shí)際上，生成非常大數(shù)目的提取公式和提取公式列表。 現(xiàn)在，當(dāng)提取公式列表從提取公式列表生成單元20被輸入時(shí)，提取公式選擇單元22從輸入的提取公式列表中選擇要插入稍后所述的計(jì)算公式中的提取公式。例如，當(dāng)上述提取公式列表中的提取公式^和f4要被插入計(jì)算公式，則提取公式選擇單元22關(guān)于提取公式列表選擇提取公式^和f4。提取公式選擇單元22針對提取公式列表中的每個(gè)列表執(zhí)行上述選擇處理。然后，當(dāng)選擇處理完成時(shí)，由提取公式選擇單元22進(jìn)行的選擇處理的結(jié)果和提取公式列表中的每個(gè)列表被輸入計(jì)算公式設(shè)置單元24。
10
當(dāng)選擇結(jié)果和提取公式列表中的每個(gè)列表從提取公式選擇單元22被輸入時(shí)，計(jì)算公式設(shè)置單元24考慮提取公式選擇單元22的選擇結(jié)果，設(shè)置與各個(gè)提取公式相對應(yīng)的計(jì)算公式。例如，如以下等式(2)所示，計(jì)算公式設(shè)置單元24通過對每個(gè)提取公式列表1^ ={&， . . . ， fK}中所包括的提取公式fk進(jìn)行線性耦合來設(shè)置計(jì)算公式Fm。此外，m = 1，...，M(M是列表的數(shù)目)，k= l，... ，K(K是列表中提取公式的數(shù)目)并且B。，... ，Bk是親合系數(shù)。[等式2] <formula>formula see original document page 11</formula>
此外，計(jì)算公式Fm還可以被設(shè)置成提取公式fk(k二 1至K)的非線性函數(shù)。然而，由計(jì)算公式設(shè)置單元24設(shè)置的計(jì)算公式Fm的函數(shù)形式取決于稍后描述的計(jì)算公式生成單元26所使用的耦合系數(shù)估計(jì)算法。因此，計(jì)算公式設(shè)置單元24被配置為根據(jù)計(jì)算公式生成單元26可以使用的估計(jì)算法來設(shè)置計(jì)算公式Fm的函數(shù)形式。例如，計(jì)算公式設(shè)置單元24可以被配置為根據(jù)輸入數(shù)據(jù)的類型來改變函數(shù)形式。然而，在本說明書中，為了便于說明，將使用如上述等式(2)所表示的線性耦合。有關(guān)計(jì)算公式設(shè)置單元24所設(shè)置的計(jì)算公式的信息被輸入計(jì)算公式生成單元26。 此外，希望通過計(jì)算公式計(jì)算出的特征量的類型從特征量選擇單元32輸入計(jì)算公式生成單元26。特征量選擇單元32是用于選擇希望通過計(jì)算公式計(jì)算出的特征量的類型的裝置。此外，與輸入數(shù)據(jù)的類型相對應(yīng)的評估數(shù)據(jù)從評估數(shù)據(jù)獲取單元34輸入計(jì)算公式生成單元26。例如，在輸入數(shù)據(jù)的類型是音樂的情況中，多條音樂數(shù)據(jù)被輸入作為評估數(shù)據(jù)。與各個(gè)評估數(shù)據(jù)相對應(yīng)的教師數(shù)據(jù)也從教師數(shù)據(jù)獲取單元36輸入計(jì)算公式生成單元26。這里的教師數(shù)據(jù)是各個(gè)評估數(shù)據(jù)的特征量。具體地，針對由特征量選擇單元32選擇的類型的教師數(shù)據(jù)被輸入計(jì)算公式生成單元26。例如，在輸入數(shù)據(jù)是音樂數(shù)據(jù)并且特征量的類型是速度的情況中，各個(gè)評估數(shù)據(jù)的具體速度值被輸入計(jì)算公式生成單元26作為教師數(shù)據(jù)。 當(dāng)評估數(shù)據(jù)、教師數(shù)據(jù)、特征量的類型、評估公式等被輸入時(shí)，計(jì)算公式生成單元26首先向評估公式Fm中所包括的提取公式^， ...， 4輸入各個(gè)評估數(shù)據(jù)，并且通過提取公式計(jì)算單元28獲得提取公式中的每個(gè)提取公式的計(jì)算結(jié)果(以下稱為提取公式計(jì)算結(jié)果)。當(dāng)由提取公式計(jì)算單元28計(jì)算出與各個(gè)評估數(shù)據(jù)有關(guān)的各個(gè)提取公式的提取公式計(jì)算結(jié)果時(shí)，各個(gè)提取公式計(jì)算結(jié)果從提取公式計(jì)算單元28輸入系數(shù)計(jì)算單元30。系數(shù)計(jì)算單元30使用與各個(gè)評估數(shù)據(jù)相對應(yīng)的教師數(shù)據(jù)和輸入的提取公式計(jì)算結(jié)果，并且計(jì)算如上述等式(2)中的B。， ... ， Bk所表示的親合系數(shù)。例如，可以通過使用最小均方方法來確定系數(shù)B。， . . . ， BK。此時(shí)，系數(shù)計(jì)算單元30還計(jì)算諸如均方誤差之類的評估值。
提取公式計(jì)算結(jié)果、耦合系數(shù)和均方誤差等是針對每種類型的特征量并且針對列表的數(shù)目來計(jì)算的。由提取公式計(jì)算單元28計(jì)算出的提取公式計(jì)算結(jié)果和由系數(shù)計(jì)算單元30計(jì)算出的耦合系數(shù)和諸如均方誤差之類的評估值被輸入公式評估單元38。當(dāng)這些計(jì)算結(jié)果被輸入時(shí)，公式評估單元38通過使用輸入的計(jì)算結(jié)果來計(jì)算用于判定各個(gè)計(jì)算公式的有效性的評估值。如上所述，在確定構(gòu)成各個(gè)計(jì)算公式的提取公式和構(gòu)成提取公式的算子的處理中，包括隨機(jī)的選擇處理。即，關(guān)于在確定處理中是否選擇了最優(yōu)的提取公式和最優(yōu)算子存在不確定性。因此，由公式評估單元38來執(zhí)行評估以評估計(jì)算結(jié)果并且在適當(dāng) 時(shí)，執(zhí)行重新計(jì)算或校正計(jì)算結(jié)果。 在圖1中所示的公式評估單元38中設(shè)置用于計(jì)算各個(gè)計(jì)算公式的評估值的計(jì) 算公式評估單元40和用于計(jì)算各個(gè)提取公式的貢獻(xiàn)度的提取公式評估單元42。計(jì)算公 式評估單元40例如使用稱為AIC或BIC的評估方法來評估各個(gè)計(jì)算公式。這里的AIC是 Akaike Information Criterion (Akaike信息量準(zhǔn)則)的縮寫。另一方面，BIC是Bayesian InformationCriterion(貝葉斯信息量準(zhǔn)則)的縮寫。當(dāng)使用AIC時(shí)，通過使用各個(gè)計(jì)算公 式的均方誤差(mean square error)和教師數(shù)據(jù)的個(gè)數(shù)(以下稱為教師的數(shù)目number of teachers)來計(jì)算各個(gè)計(jì)算公式的評估值。例如，基于由以下等式(3)表示的值(AIC)來計(jì)
算評估值。[等式3] AIC = number of teachers X {log 2n+l+log(mean square error)}+2(K+l)
. (3) 根據(jù)上述等式(3)， AIC越小，計(jì)算公式的精確度越高。因此，AIC越小，針對使用
AIC的情況的評估值被設(shè)置為越大。例如，通過由上述等式(3)表示的AIC的倒數(shù)來計(jì)算評
估值。此外，由計(jì)算公式評估單元40針對特征量的類型的數(shù)目來計(jì)算評估值。因此，計(jì)算
公式評估單元40針對各個(gè)計(jì)算公式執(zhí)行對特征量類型的數(shù)目的平均運(yùn)算，并且計(jì)算出平
均評估值。即，在這個(gè)階段計(jì)算各個(gè)計(jì)算公式的平均評估值。由計(jì)算公式評估單元40計(jì)算
出的平均評估值被輸入提取公式列表生成單元20作為計(jì)算公式的評估結(jié)果。 另一方面，提取公式評估單元42基于提取公式計(jì)算結(jié)果和耦合系數(shù)來計(jì)算各個(gè)
計(jì)算公式中的各個(gè)提取公式的貢獻(xiàn)比，作為評估值。例如，提取公式評估單元42根據(jù)以下
等式(4)來計(jì)算貢獻(xiàn)比。提取公式fK的提取公式計(jì)算結(jié)果的標(biāo)準(zhǔn)差是從針對各個(gè)評估數(shù)
據(jù)計(jì)算出的提取公式計(jì)算結(jié)果獲得的。由提取公式評估單元42根據(jù)以下等式(4)針對各
個(gè)計(jì)算公式所計(jì)算出的各個(gè)提取公式的貢獻(xiàn)比被輸入提取公式列表生成單元20，作為提取
公式的評估結(jié)果。 [Equation 4]
y;的貢獻(xiàn)率
=_^ x 6VZ)eH估計(jì)目標(biāo)的FQ)_
=5VZ)ev(厶的計(jì)算結(jié)果)x厶的計(jì)算結(jié)果，估計(jì)目標(biāo)FQ) . (4) 這里，StDev(...)指示標(biāo)準(zhǔn)差。此外，估計(jì)目標(biāo)的特征量是樂曲的速度等。例如， 在給出100首樂曲的對數(shù)譜作為評估數(shù)據(jù)并且給出每首樂曲的速度作為教師數(shù)據(jù)的情況 中，StDev(估計(jì)目標(biāo)的特征量)指示這100首樂曲的速度的標(biāo)準(zhǔn)差。此外，上述等式(4)中 所包括的Pearson (...)指示相關(guān)函數(shù)。例如，Pearson (fK的計(jì)算結(jié)果，估計(jì)目標(biāo)FQ)指示 用于計(jì)算fK的計(jì)算結(jié)果與估計(jì)目標(biāo)特征量之間的相關(guān)系數(shù)的相關(guān)函數(shù)。此外，盡管樂曲的 速度被指示為特征量的示例，但是估計(jì)目標(biāo)特征量不限于此。
當(dāng)評估結(jié)果以這種方式從公式評估單元38輸入提取公式列表生成單元20時(shí)，生 成要用于新的計(jì)算公式的表達(dá)的提取公式列表。首先，提取公式列表生成單元20按照由計(jì) 算公式評估單元40計(jì)算出的平均評估值的降序來選擇特定數(shù)目的計(jì)算公式，并且設(shè)置與 所選擇的計(jì)算公式相對應(yīng)的提取公式列表作為新的提取公式列表(選擇)。此外，提取公 式列表生成單元20通過按照由計(jì)算公式評估單元40計(jì)算出的平均評估值的降序進(jìn)行加權(quán) 來選擇兩個(gè)計(jì)算公式，并且通過對與計(jì)算公式相對應(yīng)的提取公式列表中的提取公式進(jìn)行組 合來生成新的提取公式列表(交叉)。此外，提取公式列表生成單元20通過按照由計(jì)算公 式評估單元40計(jì)算出的平均評估值的降序進(jìn)行加權(quán)來選擇一個(gè)計(jì)算公式，并且通過對與 計(jì)算公式相對應(yīng)的提取公式列表中的提取公式進(jìn)行部分地改變來生成新的提取公式列表 (轉(zhuǎn)變)。此外，提取公式列表生成單元20通過隨機(jī)地選擇提取公式來生成新的提取公式 列表。 在上述交叉中，提取公式的貢獻(xiàn)比越低，則提取公式被設(shè)置為不太可能被選擇越 好。此外，在上述轉(zhuǎn)變中，如下的設(shè)置是優(yōu)選的提取公式的貢獻(xiàn)比越低，提取公式越易于被 改變。通過使用以這種方式新生成或新設(shè)置的提取公式列表來再次執(zhí)行提取公式選擇單元 22、計(jì)算公式設(shè)置單元24、計(jì)算公式生成單元26和公式評估單元38的處理。處理序列被重 復(fù)執(zhí)行直到公式評估單元38的評估結(jié)果中的改善程度收斂至某一程度為止。然后，當(dāng)公式 評估單元38的評估結(jié)果中的改善程度收斂至某一程度時(shí)，此時(shí)的計(jì)算公式被輸出作為計(jì) 算結(jié)果。通過使用輸出的計(jì)算公式，以高精度從與上述評估數(shù)據(jù)不同的任意輸入數(shù)據(jù)中計(jì) 算出表示輸入數(shù)據(jù)的目標(biāo)特征的特征量。 如上所述，由特征量計(jì)算公式生成設(shè)備10進(jìn)行的處理是基于遺傳算法的，該遺傳 算法考慮諸如交叉或轉(zhuǎn)變之類的要素，在從一代進(jìn)行到下一代的同時(shí)重復(fù)執(zhí)行處理。能夠 以高精度估計(jì)特征量的計(jì)算公式可以通過使用遺傳算法來獲得。然而，在稍后所述的實(shí)施 例，可以使用學(xué)習(xí)算法，學(xué)習(xí)算法通過比可使用遺傳算法的方法簡單的方法來計(jì)算計(jì)算公 式。例如，不是由提取公式列表生成單元20執(zhí)行諸如上述選擇、交叉和轉(zhuǎn)變之類的處理，而 是可以設(shè)想到這樣的方法通過改變提取公式選擇單元22所要使用的提取公式，選擇使得 計(jì)算公式評估單元40所得到的評估值最高的組合。在這種情況中，可以省略提取公式評估 單元42的配置。此外，可以根據(jù)運(yùn)算負(fù)荷和所希望的估計(jì)精度在適當(dāng)時(shí)改變配置。
〈2.實(shí)施例> 以下，將描述本發(fā)明的一個(gè)實(shí)施例。本實(shí)施例涉及用于從樂曲的音頻信號中以高 精度自動地提取樂曲的特征量并且用于通過使用這些特征量來捕獲聲音素材的技術(shù)。通過 該技術(shù)捕獲的聲音素材使得能夠通過在與另一樂曲的拍子同步的同時(shí)與該另一樂曲合成 來改變該另一樂曲的編排。此外，以下，樂曲的音頻信號也可以稱為音樂數(shù)據(jù)。
(2-1.信息處理設(shè)備100的總體配置) 首先，參考圖2，將描述根據(jù)本實(shí)施例的信息處理設(shè)備100的功能配置。圖2是示 出根據(jù)本實(shí)施例的信息處理設(shè)備100的功能配置示例的說明性示圖。此外，這里描述的信 息處理設(shè)備100具有這樣的配置特征精確地檢測音樂數(shù)據(jù)中所包括的各種特征量并且通 過使用這些特征量來捕獲用作聲音素材的波形。例如，樂曲的拍子、和弦進(jìn)行和樂器的類型 等被檢測出，作為特征量。以下，在描述了信息處理設(shè)備100的總體配置之后，將分別描述 各個(gè)結(jié)構(gòu)元件的詳細(xì)配置。
13
如圖2中所示，信息處理設(shè)備100主要包括捕獲請求輸入單元102、聲源分離單 元104、對數(shù)譜分析單元106、音樂分析單元108、捕獲范圍確定單元110和波形捕獲單元 112。此外，音樂分析單元108包括拍子檢測單元132、和弦進(jìn)行檢測單元134和樂器聲音 分析單元136。 此外，特征量計(jì)算公式生成設(shè)備10被包括在圖2中所示的信息處理設(shè)備100中。 然而，特征量計(jì)算公式生成設(shè)備IO可以被設(shè)置在信息處理設(shè)備100內(nèi)，或作為外部裝置被 連接到信息處理設(shè)備100。以下，為了方便，假定特征量計(jì)算公式生成設(shè)備IO被內(nèi)建于信息 處理設(shè)備100中。此外，信息處理設(shè)備IOO還可以使用能夠生成特征量計(jì)算公式的各種學(xué) 習(xí)算法，來取代設(shè)置特征量計(jì)算公式生成設(shè)備10。 處理的總體流程如接下來所述。首先，波形的捕獲條件(以下稱為捕獲請求)被 輸入捕獲請求輸入單元102。所要捕獲的樂器的類型、所要捕獲的波形素材的長度、捕獲時(shí) 所使用的捕獲條件的嚴(yán)格度等作為捕獲請求被輸入。輸入捕獲請求輸入單元102的捕獲請 求被輸入捕獲范圍確定單元110，并且被用在對波形素材的捕獲處理中。
例如，指定鼓、吉他等為樂器的類型。此外，可以以幀或小節(jié)為單位來指定波形素 材的長度。例如，指定1小節(jié)、2小節(jié)、4小節(jié)等作為波形素材的長度。此外，還可以通過連 續(xù)的值，例如從O.O(不嚴(yán)格)至1.0(嚴(yán)格)，來指定捕獲條件的嚴(yán)格度。例如，當(dāng)捕獲條 件的嚴(yán)格度被指定為0. 9等(最大至1. 0)，則只有滿足該捕獲條件的波形素材被捕獲。相 反，當(dāng)捕獲條件的嚴(yán)格度被指定為0. 1等(最小至0. 0)時(shí)，即使包括沒有準(zhǔn)確滿足捕獲條 件的部分，該區(qū)間(section)仍被捕獲作為波形素材。 另一方面，音樂數(shù)據(jù)被輸入聲源分離單元104。音樂數(shù)據(jù)被聲源分離單元104分離 成左聲道分量(前景分量)、右聲道分量(前景分量)、中心分量(前景分量)和背景分量。 然后，分離成各個(gè)分量的音樂數(shù)據(jù)被輸入對數(shù)譜分析單元106。音樂數(shù)據(jù)的各個(gè)分量被對數(shù) 譜分析單元106變換成稍后描述的對數(shù)譜。從對數(shù)譜分析單元106輸出的對數(shù)譜被輸入特 征量計(jì)算公式生成設(shè)備10等。此外，對數(shù)譜可以由特征量計(jì)算公式生成設(shè)備10以外的其 它結(jié)構(gòu)元件使用。在這種情況中，所希望的對數(shù)譜在適當(dāng)時(shí)被直接或間接地從對數(shù)譜分析 單元106提供給各個(gè)結(jié)構(gòu)元件。 音樂分析單元108分析音樂數(shù)據(jù)的波形，并且提取音樂數(shù)據(jù)中所包括的拍子位 置、和弦進(jìn)行和各個(gè)樂器聲音。由拍子檢測單元132檢測拍子位置。由和弦進(jìn)行檢測單元 134檢測和弦進(jìn)行。由樂器聲音分析單元136提取各個(gè)樂器聲音。此時(shí)，音樂分析單元108 通過使用特征量計(jì)算公式生成設(shè)備10來生成用于檢測拍子位置、和弦進(jìn)行和各個(gè)樂器聲 音的特征量的計(jì)算公式，并且從通過計(jì)算公式計(jì)算出的特征量中檢測拍子位置、和弦進(jìn)行 和各個(gè)樂器聲音。稍后將詳細(xì)描述由音樂分析單元108進(jìn)行的分析處理。通過音樂分析 單元108的分析處理獲得的拍子位置、和弦進(jìn)行和各個(gè)樂器聲音被輸入捕獲范圍確定單元 110。 捕獲范圍確定單元IIO基于從捕獲請求輸入單元102輸入的捕獲請求和音樂分析 單元108的分析結(jié)果來從音樂數(shù)據(jù)中確定所要捕獲作為聲音素材的范圍。然后，有關(guān)由捕 獲范圍確定單元110確定的捕獲范圍的信息被輸入波形捕獲單元112。波形捕獲單元112 從音樂數(shù)據(jù)中捕獲由捕獲范圍確定單元110確定的捕獲范圍的波形作為聲音素材。然后， 由波形捕獲單元112捕獲的波形素材被記錄在設(shè)置于信息處理設(shè)備IOO外部或內(nèi)部的存儲裝置中。以上描述了與波形素材的捕獲處理相關(guān)的粗略流程。以下，將詳細(xì)描述聲源分離 單元104、對數(shù)譜分析單元106和音樂分析單元108的配置，這些單元是信息處理設(shè)備100 的主要結(jié)構(gòu)元件。 (2-2.聲源分離單元104的配置示例) 首先，將描述聲源分離單元104。聲源分離單元104是用于分離位于左、右和中心 的聲源信號(以下稱為左聲道信號、右聲道信號、中心信號)和背景聲音的聲源信號的裝 置。這里，參考聲源分離單元104對于中心信號的提取方法，將詳細(xì)描述聲源分離單元104 的聲源分離方法。如圖3中所示，聲源分離單元104例如包括以下單元左聲道頻帶劃分單 元142、右聲道頻帶劃分單元144、帶通濾波器146、左聲道頻帶合成單元148和右聲道頻帶 合成單元150。在提取中心信號的情況中，使用圖3中所示的帶通濾波器146的通過條件 (相位差小，音量差小)。這里，描述用于提取中心信號的方法作為示例。
首先，輸入聲源分離單元104的立體聲信號的左聲道信號sj皮輸入左聲道頻帶劃 分單元142。左聲道的非中心信號L和中心信號C以混合的方式存在于左聲道信號&中。 此外，左聲道信號^是隨時(shí)間過去而改變的音量電平信號。因此，左聲道頻帶劃分單元142 對輸入的左聲道信號&執(zhí)行DFT處理，并且將其從時(shí)域信號變換成頻域信號(以下稱為多 頻帶信號f JO) ， . . . ， f JN-I))。這里f JK)是與第k個(gè)(k = 0， . . . ， N-l)頻帶相對應(yīng)的 子頻帶信號。此外，上述DFT是Discrete Fourier Transform(離散傅里葉變換)的縮寫。 從左聲道頻帶劃分單元142輸出的左聲道多頻帶信號被輸入帶通濾波器146。
以相似的方式，輸入聲源分離單元104的立體聲信號的右聲道信號Sk被瑜入右聲 道頻帶劃分單元144。右聲道的非中心信號R和中心信號C以混合方式存在于右聲道信號 ^中。此外，右聲道信號&是隨時(shí)間過去而改變的音量電平信號。因此，右聲道頻帶劃分 單元144對輸入的右聲道信號sK執(zhí)行DFT處理，并且將其從時(shí)域信號變換成頻域信號(以 下稱為多頻帶信號fK(0) ， . . . ， fK(N-l))。這里fK(k')是與第k' (k' = 0， . . . ， N-l)個(gè)頻 帶相對應(yīng)的子頻帶信號。從右聲道頻帶劃分單元144輸出的右聲道多頻帶信號被輸入帶通 濾波器146。此外，各個(gè)聲道的多頻帶信號所劃分成的頻帶數(shù)是N(例如，N = 8192)。
如上所述，各個(gè)聲道的多頻帶信號fjk) (k = O，. . . ，N-l)和fK(k') (k' = O，...， N-l)被輸入帶通濾波器146。以下，按照升序標(biāo)記頻率，例如k二O，... ，N-l，或k'二O，...， N-l。此外，信號分量fjk)和fjk')中的每一個(gè)稱為子聲道信號。首先，在帶通濾波器146 中，從兩個(gè)聲道的多頻帶信號中選擇在相同頻帶中的子聲道信號fjk)andfjk') (k' = k)， 并且計(jì)算這些子聲道信號之間的類似度a(k)。類似度a(k)例如是根據(jù)以下等式(5)和(6) 計(jì)算的。這里，幅度分量和相位分量被包括在子聲道信號中。因此，幅度分量的類似度表示 為即(k)，并且相位分量的類似度表示為ai (k)。
[等式5] = cos^
15
. (5)
[等式6]
. (6) 這里，|... I指示"..."的范數(shù)。e指示fL(k)與fK(k)之間的相位差 (0《I e I《ji)。上標(biāo)*指示復(fù)共軛。Re[...]指示"..."的實(shí)部。從上述等式(6)可
見，在子聲道信號4(k)和4(k)的范數(shù)一致的情況中，幅度分量的類似度即(k)是l。反 之，在子聲道信號4(k)和4(k)的范數(shù)不一致的情況中，類似度即(k)的值小于l。另一
方面，關(guān)于相位分量的類似度ai(k)，當(dāng)相位差e為0時(shí)，類似度ai(k)為i;當(dāng)相位差e 為Ji/2時(shí)，類似度ai(k)為0;并且當(dāng)相位差e為ji時(shí)，類似度ai(k)為-1。 S卩，在子聲 道信號4(k)和fK(k)的相位一致的情況中，相位分量的類似度ai(k)為l，并且在子聲道 信號fL(k)和fK(k)的相位不一致的情況中，類似度ai (k)的值小于1。
當(dāng)各個(gè)頻帶k(k = 0， . . . ， N-l)的類似度a(k)是通過上述方法計(jì)算出的時(shí)，由帶 通濾波器146提取與小于特定閾值的類似度即(q)和ai (q)相對應(yīng)的頻帶q (0《q《N_l)。 然后，僅由帶通濾波器146所提取出的頻帶q中的子聲道信號被輸入左聲道頻帶合成單元 148或右聲道頻帶合成單元150。例如，子聲道信號fL(q) (q = q。， . . . ， qn—》被輸入左聲道 頻帶合成單元148。因此，左聲道頻帶合成單元148對從帶通濾波器146輸入的子聲道信號 f Jq) (q = q。， . . . ， 1—》執(zhí)行IDFT處理，并且將其從頻域變換到時(shí)域。此外，上述IDFT是 Inverse Discrete Fourier Transform(離散傅里口十逆變換)的縮寫。 以相似的方式，子聲道信號fK(q) (q = q。， . . . ， qn—》被輸入右聲道頻帶合成單元 150。因此，右聲道頻帶合成單元150對從帶通濾波器146輸入的子聲道信號fK(q) (q = q。， . . . ， qn-》執(zhí)行IDFT處理，并且將其從頻域變換到時(shí)域。從左聲道頻帶合成單元148輸 出左聲道信號&中所包括的中心信號分量s p另一方面，從右聲道頻帶合成單元150輸 出右聲道信號sK中所包括的中心信號分量sK，。聲源分離單元104可以通過上述方法從立 體聲信號中提取中心信號。 此外，可以通過如圖4中所示改變帶通濾波器146的通過條件來以相同方式分離 左聲道信號、右聲道信號和背景聲音信號。如圖4中所示，在提取左聲道信號的情況中，左 右之間的相位差小并且左邊的音量高于右邊的音量的頻帶被設(shè)置為帶通濾波器146的通 帶。這里的音量對應(yīng)于上述幅度分量。類似地，在提取右聲道信號的情況中，左右之間的相 位差小并且右邊的音量高于左邊的音量的頻帶被設(shè)置為帶通濾波器146的通帶。
左聲道信號、右聲道信號和中心信號是前景信號。因此，這些信號中的任何一個(gè)都 在左右之間的相位差小的頻帶中。另一方面，背景聲音信號是在左右之間的相位差大的頻 帶中的信號。因此，在提取背景聲音信號的情況中，帶通濾波器146的通帶被設(shè)置為左右之 間的相位差大的頻帶。由聲源分離單元104以這種方式分離的左聲道信號、右聲道信號、中 心信號和背景聲音信號被輸入對數(shù)譜分析單元106(參見圖2)。
(2-3.對數(shù)譜分析單元106的配置示例) 接著，將描述對數(shù)譜分析單元106。對數(shù)譜分析單元106是用于將輸入音頻信號變 換成各個(gè)音調(diào)的強(qiáng)度分布的裝置。在音頻信號中每八度音階包括12個(gè)音調(diào)(C， C#， D， D#， E， F， F#， G， G#， A， A#， B)。此外，各個(gè)音調(diào)的中心頻率成對數(shù)分布。例如，當(dāng)用音調(diào)A3的中 心頻率fA3作為標(biāo)準(zhǔn)時(shí)，A#3的中心頻率表示為fAfl3 = fA3*21/12。類似地，音調(diào)B3的中心頻 率^表示為^3 = fAS3*21/12。以這種方式，相鄰音調(diào)的中心頻率之比為1 : 21/12。然而，當(dāng) 處理音頻信號時(shí)，將音頻信號作為時(shí)間_頻率空間中的信號強(qiáng)度分布將使得頻率軸是對數(shù) 軸，從而使對音頻信號的處理變復(fù)雜。因此，對數(shù)譜分析單元106分析音頻信號，并且將其 從時(shí)間_頻率空間中的信號變換成時(shí)間_音調(diào)空間中的信號(以下稱為對數(shù)譜)。
參考圖5，將詳細(xì)描述對數(shù)譜分析單元106的配置。如圖5所示，對數(shù)譜分析單元 106可以由重新采樣單元152、八度音階劃分單元154和多個(gè)帶通濾波器庫(BPFB)156構(gòu) 成。 首先，音頻信號被輸入重新采樣單元152。然后，重新采樣單元152將輸入音頻信 號的采樣頻率(例如，44. lkHz)變換成特定采樣頻率。通過將八度音階之間的邊界處的頻 率(以下稱為邊界頻率)作為標(biāo)準(zhǔn)并且將邊界頻率乘以2的冪而獲得的頻率被當(dāng)作特定采 樣頻率。例如，音頻信號的采樣頻率將八度音階4和八度音階5之間的邊界頻率1016. 7Hz 作為標(biāo)準(zhǔn)，并且被變換成為標(biāo)準(zhǔn)的25倍的采樣頻率(32534. 7Hz)。通過以這種方式變換采 樣頻率，作為重新采樣單元152之后執(zhí)行的頻帶劃分處理和下采樣處理的結(jié)果獲得的最高 和最低頻率將與某一八度音階的最高和最低頻率一致。結(jié)果，可以簡化用于從音頻信號提 取各個(gè)音調(diào)的信號的處理。 采樣頻率被重新采樣單元152變換了的音頻信號被輸入八度音階劃分單元154。 然后，八度音階劃分單元154通過重復(fù)執(zhí)行頻帶劃分處理和下采樣處理將輸入的音頻信 號劃分成各個(gè)八度音階的信號。通過由八度音階劃分單元154進(jìn)行的劃分所獲得的各個(gè) 信號被輸入針對各個(gè)八度音階(01， . . . ， 08)而設(shè)置的帶通濾波器庫156(BPFB(01)，...， BPFB(08))。每個(gè)帶通濾波器庫156由12個(gè)帶通濾波器構(gòu)成，每個(gè)帶通濾波器具有針對12 個(gè)音調(diào)中的一個(gè)的通帶，以從各個(gè)八度音階的輸入音頻信號中提取各個(gè)音調(diào)的信號。例如， 經(jīng)由通過八度音階8的帶通濾波器庫156(BPFB(08))，從八度音階8的音頻信號中提取出 12個(gè)音調(diào)(C8， C#8， D8， D#8， E8， F8， F#8， G8， G#8， A8， A#8， B)的信號。
通過從各個(gè)帶通濾波器庫156輸出的信號可以獲得示出各個(gè)八度音階中12個(gè)音 調(diào)的信號強(qiáng)度(以下稱為能量)的對數(shù)譜。圖6是示出從對數(shù)譜分析單元106輸出的對數(shù) 譜的示例的說明性示圖。 參考圖6的垂直軸(音調(diào))，輸入音頻信號被劃分成7個(gè)八度音階，并且每個(gè)八度
音階又被劃分成12個(gè)音調(diào):"c"、"cr，、"D"、"Dr，、"E"、"F"、"Fr，、"G"、"Gr，、"A"、"Ar，禾口
"B"。另一方面，圖6的水平軸(時(shí)間)示出沿時(shí)間軸對音頻信號進(jìn)行采樣時(shí)的幀編號。例
17如，當(dāng)由重新采樣單元152以采樣頻率127. 0888 (Hz)對音頻信號進(jìn)行重新采樣時(shí)，1幀將是 與1 (sec)/127. 0888 = 7. 8686 (msec)相對應(yīng)的時(shí)間段。此外，圖6中所示的對數(shù)譜的顏色 的濃淡指示在各幀處，各個(gè)音調(diào)的能量的強(qiáng)度。例如，位置Sl被用黑色示出，并且因此可以 理解與位置SI相對應(yīng)的音調(diào)(音調(diào)F)處的音符是在與位置SI相對應(yīng)的時(shí)間被強(qiáng)有力地 產(chǎn)生的。此外，圖6是當(dāng)采用某個(gè)音頻信號作為輸入信號時(shí)獲得的對數(shù)譜的一個(gè)示例。因 此，如果輸入信號不同，則獲得不同的對數(shù)譜。以這種方式獲得的對數(shù)譜被輸入特征量計(jì)算 公式生成設(shè)備10等，并且被用于由音樂分析單元108(參見圖2)執(zhí)行的音樂分析處理。
(2-4.音樂分析單元108的配置示例) 接著，將描述音樂分析單元108的配置。音樂分析單元108是用于使用學(xué)習(xí)算法 來分析音樂數(shù)據(jù)并且提取該音樂數(shù)據(jù)中所包括的特征量的裝置。具體地，音樂分析單元108 提取音樂數(shù)據(jù)中所包括的拍子、和弦進(jìn)行和各個(gè)樂器聲音。因此，如圖2所示，音樂分析單 元108包括拍子檢測單元132、和弦進(jìn)行檢測單元134和樂器聲音分析單元136。
由音樂分析單元108進(jìn)行的處理的流程如圖7中所示。如圖7中所示，音樂分 析單元108首先通過拍子檢測單元132來執(zhí)行拍子分析處理并且檢測音樂數(shù)據(jù)中的拍子 (S102)。接著，音樂分析單元108通過和弦進(jìn)行檢測單元134來執(zhí)行和弦進(jìn)行分析處理并 且檢測音樂數(shù)據(jù)的和弦進(jìn)行(S104)。然后，音樂分析單元108開始有關(guān)聲源的組合的循環(huán) 處理(S106)。 所有4個(gè)聲源(左聲道聲音、右聲道聲音、中心聲音和背景聲音)被用作要組合的 聲源。所述組合例如可以是(l)所有4個(gè)聲源，(2)只有前景聲音(左聲道聲音、右聲道 聲音和中心聲音)，(3)左聲道聲音+右聲道聲音+背景聲音或(4)中心聲音+背景聲音。 此外，其它組合例如可以是(5)左聲道聲音+右聲道聲音，(6)僅背景聲音，(7)僅左聲道 聲音，(8)僅右聲道聲音或(9)僅中心聲音。步驟S106開始的循環(huán)內(nèi)的處理例如是針對上 述(1)至(9)來執(zhí)行的。 接著，音樂分析單元108通過樂器聲音分析單元136來執(zhí)行樂器聲音分析處理并 且提取音樂數(shù)據(jù)中所包括的各個(gè)樂器聲音(S108)。這里所提取的各個(gè)樂器聲音的類型是歌 聲、吉他聲、貝斯聲、鍵盤聲、鼓聲、琴弦聲、銅管聲等。當(dāng)然，也可以提取其它類型的樂器聲 音。當(dāng)針對所有的聲源組合執(zhí)行了樂器聲音分析處理時(shí)，音樂分析單元108結(jié)束有關(guān)聲源 組合的循環(huán)處理(S110)，并且有關(guān)音樂分析的一連串處理完成。當(dāng)這一連串處理完成時(shí)，拍 子、和弦進(jìn)行和各個(gè)樂器聲音從音樂分析單元108輸入捕獲范圍確定單元110。
以下，將詳細(xì)描述拍子檢測單元132、和弦進(jìn)行檢測單元134和樂器聲音分析單元 136的配置。 (2-4-1.拍子檢測單元132的配置示例) 首先，將描述拍子檢測單元132的配置。如圖8中所示，拍子檢測單元132包括拍 子概率計(jì)算單元162和拍子分析單元164。拍子概率計(jì)算單元162是用于基于音樂數(shù)據(jù)的 對數(shù)譜來計(jì)算各幀是拍子位置的概率的裝置。此外，拍子分析單元164是用于基于由拍子 概率計(jì)算單元162計(jì)算出的各幀的拍子概率來檢測拍子位置的裝置。以下，將詳細(xì)描述這 些結(jié)構(gòu)元件的功能。 首先，將描述拍子概率計(jì)算單元162。拍子概率計(jì)算單元162針對從對數(shù)譜分析單 元106輸入的對數(shù)譜的特定時(shí)間單位中的每一個(gè)時(shí)間單位(例如，1幀)，計(jì)算拍子被包括在該時(shí)間單位中的概率(以下，稱為"拍子概率")。此外，當(dāng)特定時(shí)間單位是1幀時(shí)，拍子 概率可以被認(rèn)為是各幀與拍子位置(時(shí)間軸上拍子的位置)相符合的概率。由拍子概率計(jì) 算單元162用來計(jì)算拍子概率的公式是由特征量計(jì)算公式生成設(shè)備10通過使用學(xué)習(xí)算法 而生成的。并且，諸如圖9中所示的那些數(shù)據(jù)之類的數(shù)據(jù)被給予特征量計(jì)算公式生成設(shè)備 IO，作為用于學(xué)習(xí)的教師數(shù)據(jù)和評估數(shù)據(jù)。在圖9中，用于拍子概率的計(jì)算的時(shí)間單位是1 幀。 如圖9中所示，從拍子位置已知的樂曲的音頻信號變換出的對數(shù)譜的片段(以下， 稱為"局部對數(shù)譜")和各個(gè)局部對數(shù)譜的拍子概率被提供給特征量計(jì)算公式生成設(shè)備10。 即，局部對數(shù)譜被提供給特征量計(jì)算公式生成設(shè)備10作為評估數(shù)據(jù)，而拍子概率作為教師 數(shù)據(jù)。這里，局部對數(shù)譜的窗口寬度是考慮了拍子概率的計(jì)算的精度與處理代價(jià)之間的權(quán) 衡來確定的。例如，局部對數(shù)譜的窗口寬度可以包括要計(jì)算拍子概率的那幀的前后7幀 (即，總共15幀)。 此外，作為教師數(shù)據(jù)提供的拍子概率例如基于已知的拍子位置并且使用真值(1) 或假值(O)，來指示拍子是否被包括在各個(gè)局部對數(shù)譜的中心幀中。這里不考慮小節(jié)的位 置，并且當(dāng)中心幀對應(yīng)于拍子位置時(shí)，拍子概率是1 ;而當(dāng)中心幀與拍子位置不相對應(yīng)時(shí)， 拍子概率是0。在圖9中示出的示例中，給出局部對數(shù)譜Wa， Wb， Wc， . . . ， Wn的拍子概率分 別為l，O，l， ... ，0。用于從局部對數(shù)譜中計(jì)算拍子概率的拍子概率公式(P(W))是由特征 量計(jì)算公式生成設(shè)備IO基于評估數(shù)據(jù)和教師數(shù)據(jù)的多個(gè)集合而生成的。當(dāng)以這種方式生 成了拍子概率公式P(W)時(shí)，拍子概率計(jì)算單元162從所處理的音樂數(shù)據(jù)的對數(shù)譜中截取 (cut out)各幀的局部對數(shù)譜，并且通過對各個(gè)局部對數(shù)譜應(yīng)用拍子概率公式P(W)來順次 計(jì)算拍子概率。 圖10是示出由拍子概率計(jì)算單元162計(jì)算出的拍子概率的示例的說明性示圖。在 圖10的(A)中示出要從對數(shù)譜分析單元106輸入拍子概率計(jì)算單元162的對數(shù)譜的示例。 另一方面，在圖10的(B)中，在時(shí)間軸上用折線示出由拍子概率計(jì)算單元162基于對數(shù)譜 (A)計(jì)算出的拍子概率。例如，參考幀位置F1，可以看出，局部對數(shù)譜W1對應(yīng)于幀位置F1。 即，幀F(xiàn)1的拍子概率P(W1) 二0.95是從局部對數(shù)譜W1中計(jì)算出的。類似地，基于從對數(shù) 譜中截取的局部對數(shù)譜W2，計(jì)算出幀位置F2的拍子概率P(W2)是O. 1。幀位置F1的拍子 概率P(W1)高而幀位置F2的拍子概率P(W2)低，并且因此可以說，幀位置F1與拍子位置相 對應(yīng)的概率高，而幀位置F2與拍子位置相對應(yīng)的概率低。 此外，可以通過另一學(xué)習(xí)算法來生成由拍子概率計(jì)算單元162使用的拍子概率公 式。然而，應(yīng)當(dāng)注意，一般，對數(shù)譜包括各種參數(shù)，例如鼓的譜、由于說話引起的譜的發(fā)生和 由于和弦的變化引起的譜中的變化。在鼓的譜的情況中，擊打鼓的時(shí)間點(diǎn)很有可能就是拍 子位置。另一方面，在語音的譜的情況中，說話開始時(shí)間點(diǎn)很有可能是拍子位置。為了通過 全體地使用各種參數(shù)來高精度地計(jì)算拍子概率，適于使用特征量計(jì)算公式生成設(shè)備10或 JP-A-2008-123011中所公開的學(xué)習(xí)算法。由拍子概率計(jì)算單元162以上述方式計(jì)算出的拍 子概率被輸入拍子分析單元164。 拍子分析單元164基于從拍子概率計(jì)算單元162輸入的各個(gè)幀的拍子概率來確定 拍子位置。如圖8中所示，拍子分析單元164包括起始點(diǎn)(onset)檢測單元172、拍子得分 計(jì)算單元174、拍子搜索單元176、恒定速度判定單元178、針對恒定速度的拍子重新搜索單元180、拍子確定單元182和速度修正單元184。各幀的拍子概率從拍子概率計(jì)算單元162 輸入起始點(diǎn)檢測單元172、拍子得分計(jì)算單元174和速度修正單元184。
起始點(diǎn)檢測單元172基于從拍子概率計(jì)算單元162輸入的拍子概率來檢測音頻信 號中所包括的起始點(diǎn)。這里的起始點(diǎn)是指音頻信號中聲音產(chǎn)生的時(shí)間點(diǎn)。更具體而言，拍 子概率在特定閾值以上并且取得極大值的點(diǎn)被稱為起始點(diǎn)。例如，在圖11中，示出基于針 對音頻信號所計(jì)算出的拍子概率而檢測到的起始點(diǎn)的示例。在圖11中，與圖10的(B) — 樣，在時(shí)間軸上用折線示出由拍子概率計(jì)算單元162計(jì)算出的拍子概率。在圖11中所示出 的拍子概率曲線圖的情況中，取得極大值的點(diǎn)有3個(gè)，S卩，幀F(xiàn)3、F4和F5。其中，關(guān)于幀F(xiàn)3 和F5，該時(shí)間點(diǎn)處的拍子概率在預(yù)先給出的特定閾值Thl之上。另一方面，幀F(xiàn)4的時(shí)間點(diǎn) 處的拍子概率在閾值Thl之下。在這種情況中，兩個(gè)點(diǎn)，即，幀F(xiàn)3和F5被檢測出作為起始 點(diǎn)。 這里，參考圖12，將將要描述起始點(diǎn)檢測單元172的起始點(diǎn)檢測處理流程。如圖 12中所示，首先，起始點(diǎn)檢測單元172關(guān)于針對各幀計(jì)算出的拍子概率，從第一幀開始，順 次對這些幀執(zhí)行循環(huán)(S1322)。然后，起始點(diǎn)檢測單元172關(guān)于各幀判定拍子概率是否在特 定閾值之上(S1324)以及拍子概率是否指示極大值(S1326)。這里，當(dāng)拍子概率在特定閾值 之上并且拍子概率是極大值時(shí)，則起始點(diǎn)檢測單元172進(jìn)行到步驟S1328的處理。另一方 面，當(dāng)拍子概率在特定閾值以下或拍子概率不是極大值時(shí)，跳過步驟S1328的處理。在步驟 S1328，向起始點(diǎn)位置的列表添加當(dāng)前時(shí)間(或幀編號)(S1328)。然后，當(dāng)有關(guān)所有幀的處 理都完成了時(shí)，起始點(diǎn)檢測處理的循環(huán)結(jié)束(S1330)。 利用如上所述的由起始點(diǎn)檢測單元172進(jìn)行的起始點(diǎn)檢測處理，生成音頻信號中 所包括的起始點(diǎn)的位置的列表(各個(gè)起始點(diǎn)的時(shí)間或幀編號的列表)。利用上述起始點(diǎn)檢 測處理，例如還檢測出如圖13中所示的起始點(diǎn)的位置。圖13與拍子概率相關(guān)地示出由起 始點(diǎn)檢測單元172檢測出的起始點(diǎn)的位置。在圖13中，在示出拍子概率的折線上方用圓圈 示出由起始點(diǎn)檢測單元172檢測出的起始點(diǎn)的位置。在圖13的示例中，具有閾值Thl之上 的拍子概率的極大值被檢測出，作為15個(gè)起始點(diǎn)。由起始點(diǎn)檢測單元172以這種方式檢測 出的起始點(diǎn)的位置的列表被輸入拍子得分計(jì)算單元174(參見圖8)。 拍子得分計(jì)算單元174針對由起始點(diǎn)檢測單元172檢測出的各個(gè)起始點(diǎn)計(jì)算拍子 得分，拍子得分指示與形成具有恒定速度(或恒定拍子間隔)的一連串拍子的多個(gè)拍子當(dāng) 中的拍子的對應(yīng)程度。 首先，拍子得分計(jì)算單元174設(shè)置如圖14中所示的所關(guān)注起始點(diǎn)。在圖14的示 例中，在由起始點(diǎn)檢測單元172檢測到的起始點(diǎn)中，在幀位置Fk(幀編號k)處的起始點(diǎn)被設(shè) 置為所關(guān)注的起始點(diǎn)。此外，涉及與幀位置Fk的距離為特定距離d的整數(shù)倍的一連串幀位 置Fk—3、 Fk—2、Fk—p Fk、 Fk+1、 Fk+2、 Fk+3。以下，特定距離d稱為轉(zhuǎn)移量，并且距離為轉(zhuǎn)移量d的整 數(shù)倍的幀位置稱為轉(zhuǎn)移位置。拍子得分計(jì)算單元174將拍子概率已被計(jì)算出的幀的群組F 中所包括的所有轉(zhuǎn)移位置(...Fk—3，F(xiàn)k—2，F(xiàn)k—"Fk，F(xiàn)^，F(xiàn)k+2，以及Fk+3...)處的拍子概率的加和 作為所關(guān)注起始點(diǎn)的拍子得分。例如，當(dāng)幀位置Fi處的拍子概率是P(Fi)時(shí)，所關(guān)注起始點(diǎn) 的與幀編號k和轉(zhuǎn)移量d相關(guān)的拍子得分BS(k，d)由以下等式(7)表示。由以下等式(7) 表示的拍子得分BS(k， d)可以說是這樣的得分，其指示音頻信號的 k幀處的起始點(diǎn)與將 轉(zhuǎn)移量d作為拍子間隔的恒定速度相同步的概率。<formula>formula see original document page 21</formula> 這里，參考圖15，將簡要描述拍子得分計(jì)算單元174的拍子得分計(jì)算處理流程。
如圖15中所示，首先，拍子得分計(jì)算單元174關(guān)于由起始點(diǎn)檢測單元172檢測到 的起始點(diǎn)，從第一起始點(diǎn)開始，針對這些起始點(diǎn)順次執(zhí)行循環(huán)(S1342)。此外，拍子得分計(jì)算 單元174關(guān)于所關(guān)注的起始點(diǎn)針對所有轉(zhuǎn)移量d中的每一個(gè)轉(zhuǎn)移量d執(zhí)行循環(huán)(S1344)。作 為循環(huán)的對象的轉(zhuǎn)移量d是可以在音樂演奏中使用的所有拍子處的間隔的值。然后，拍子 得分計(jì)算單元174初始化拍子得分BS(k， d)(即，O被代入拍子得分BS(K， d)中)(S1346)。 接著，拍子得分計(jì)算單元174針對用于轉(zhuǎn)移所關(guān)注起始點(diǎn)的幀位置Fd的轉(zhuǎn)移系數(shù)n來執(zhí)行 循環(huán)(S1348)。然后，拍子得分計(jì)算單元174向拍子得分BS(k，d)順次添加每個(gè)轉(zhuǎn)移位置處 的拍子概率P(Fk+nd)(S1350)。然后，當(dāng)針對所有轉(zhuǎn)移系數(shù)n的循環(huán)結(jié)束時(shí)(S1352)，拍子得 分計(jì)算單元174記錄所關(guān)注的起始點(diǎn)的幀位置(幀編號k)、轉(zhuǎn)移量d和拍子得分BS(k， d) (S1354)。拍子得分計(jì)算單元174針對所有起始點(diǎn)的每個(gè)轉(zhuǎn)移量重復(fù)此拍子得分BS(k， d) 的計(jì)算(S1356， S1358)。 利用如上所述由拍子得分計(jì)算單元174進(jìn)行的拍子得分計(jì)算處理，針對由起始點(diǎn) 檢測單元172檢測到的每個(gè)起始點(diǎn)，輸出跨越多個(gè)轉(zhuǎn)移量d的拍子得分BS(k， d)。如圖16 中所示的拍子得分分布圖就是通過上述拍子得分計(jì)算處理獲得的。該拍子得分分布圖使從 拍子得分計(jì)算單元174輸出的拍子得分可視化。在圖16中，沿水平軸按時(shí)間順序示出由起 始點(diǎn)檢測單元172檢測到的起始點(diǎn)。圖16中的垂直軸示出轉(zhuǎn)移量，已針對所述轉(zhuǎn)移量計(jì)算 了每個(gè)起始點(diǎn)的拍子得分。此外，圖中每個(gè)點(diǎn)的顏色的濃淡指示在該轉(zhuǎn)移量處、針對該起始 點(diǎn)所計(jì)算出的拍子得分的水平。在圖16中的示例中，在轉(zhuǎn)移量dl的附近，所有起始點(diǎn)的拍 子得分都高。當(dāng)假定以在該轉(zhuǎn)移量dl處的速度來演奏樂曲時(shí)，很有可能所檢測到的起始點(diǎn) 中的許多起始點(diǎn)與拍子對應(yīng)。由拍子得分計(jì)算單元174計(jì)算出的拍子得分被輸入拍子搜索 單元176。 拍子搜索單元176基于由拍子得分計(jì)算單元174計(jì)算出的拍子得分，搜索示出有 可能的速度波動的起始點(diǎn)位置的路徑。例如，基于隱馬爾科夫模型的Viterbi算法可以用 作拍子搜索單元176的路徑搜索方法。對于由拍子搜索單元176進(jìn)行的Viterbi搜索，例 如，起始點(diǎn)編號被設(shè)為時(shí)間軸(水平軸)的單位，而拍子得分計(jì)算時(shí)使用的轉(zhuǎn)移量被設(shè)為觀 測序列(垂直軸)，如圖17中示意性所示。拍子搜索單元176搜索連接由時(shí)間軸和觀測序 列的值分別定義的節(jié)點(diǎn)的Viterbi路徑。換而言之，拍子搜索單元176將起始點(diǎn)和由拍子 得分計(jì)算單元174計(jì)算拍子得分時(shí)所使用的轉(zhuǎn)移量的所有組合中的每一種組合作為目標(biāo) 節(jié)點(diǎn)。此外，各個(gè)節(jié)點(diǎn)的轉(zhuǎn)移量等于針對該節(jié)點(diǎn)假定的拍子間隔。因此，以下，各個(gè)節(jié)點(diǎn)的 轉(zhuǎn)移量可以稱為拍子間隔。 關(guān)于所述節(jié)點(diǎn)，拍子搜索單元176沿時(shí)間軸順次選擇節(jié)點(diǎn)中的任何節(jié)點(diǎn)，并且評 估由一連串所選擇的節(jié)點(diǎn)形成的路徑。此時(shí)，在節(jié)點(diǎn)選擇中，允許拍子搜索單元176跳過節(jié) 點(diǎn)。例如，在圖17的示例中，在第k-l個(gè)起始點(diǎn)之后，跳過第k個(gè)起始點(diǎn)而選擇第k+l個(gè)起
21始點(diǎn)。這是因?yàn)槭桥淖拥钠鹗键c(diǎn)和不是拍子的起始點(diǎn)通?；煸谶@些起始點(diǎn)中，并且只好從
包括不經(jīng)過不是拍子的起始點(diǎn)的路徑在內(nèi)的路徑中搜索出有可能的路徑。 例如，對于路徑的評估，可以使用4種評估值，即(1)拍子得分，(2)速度變化得分，
(3)起始點(diǎn)移動得分和(4)針對跳過的懲罰。其中，(1)拍子得分是由拍子得分計(jì)算單元
174針對每個(gè)節(jié)點(diǎn)計(jì)算出的拍子得分。另一方面，對節(jié)點(diǎn)間的過渡給出(2)速度變化得分、
(3)起始點(diǎn)移動得分和(4)針對跳過的懲罰。在要對節(jié)點(diǎn)間的過渡給出的評估值中，(2)速
度變化得分是基于經(jīng)驗(yàn)知識給出的評估值，經(jīng)驗(yàn)知識通常是樂曲中逐漸波動的速度。因此，
過渡前節(jié)點(diǎn)處的拍子間隔與過渡后節(jié)點(diǎn)處的拍子間隔之間的差越小，對速度變化得分給出
的值越高。 這里，參考圖18，將詳細(xì)描述(2)速度變化得分。在圖18中，當(dāng)前選擇節(jié)點(diǎn)N1。 拍子搜索單元176有可能選擇節(jié)點(diǎn)N2至N5中的任何節(jié)點(diǎn)作為下一節(jié)點(diǎn)。盡管也可以選擇 N2至N5以外的其它節(jié)點(diǎn)，但是為了便于描述，將描述4個(gè)節(jié)點(diǎn)，即節(jié)點(diǎn)N2至N5。這里，當(dāng) 拍子搜索單元176選擇節(jié)點(diǎn)N4時(shí)，由于節(jié)點(diǎn)Nl與節(jié)點(diǎn)N4處的拍子間隔之間沒有差，所以 將給出最高值作為速度變化得分。另一方面，當(dāng)拍子搜索單元176選擇節(jié)點(diǎn)N3或N5時(shí)，在 節(jié)點(diǎn)Nl與節(jié)點(diǎn)N3或N5處的拍子間隔之間存在差，并且因此給出相對于選擇節(jié)點(diǎn)N4時(shí)較 低的速度變化得分。此外，當(dāng)拍子搜索單元176選擇節(jié)點(diǎn)N2時(shí)，節(jié)點(diǎn)Nl與節(jié)點(diǎn)N2處的拍 子間隔之間的差大于節(jié)點(diǎn)N3或N5被選擇時(shí)的差。因此，給出更低的速度得分。
接著，參考圖19，詳細(xì)描述(3)起始點(diǎn)移動得分。起始點(diǎn)移動得分是根據(jù)過渡前后 節(jié)點(diǎn)的起始點(diǎn)位置之間的間隔是否與過渡前該節(jié)點(diǎn)處的拍子間隔相匹配而給出的評估值。 在圖19(19A)中，當(dāng)前選擇第k個(gè)起始點(diǎn)的具有拍子間隔d2的節(jié)點(diǎn)N6。并且還示出兩個(gè)節(jié) 點(diǎn)N7和N8，作為接下來可能被拍子搜索單元176選擇的節(jié)點(diǎn)。其中，節(jié)點(diǎn)N7是第k+l個(gè) 起始點(diǎn)的節(jié)點(diǎn)，并且第k個(gè)起始點(diǎn)與第k+l個(gè)起始點(diǎn)之間的間隔(例如，幀編號之間的差) 是D7。另一方面，節(jié)點(diǎn)N8是第k+2個(gè)起始點(diǎn)的節(jié)點(diǎn)，并且第k個(gè)起始點(diǎn)與第k+2個(gè)起始點(diǎn) 之間的間隔是D8。 這里，當(dāng)假定路徑上的所有節(jié)點(diǎn)都成功與恒定速度中的拍子位置對應(yīng)的理想路徑 時(shí)，相鄰節(jié)點(diǎn)的起始點(diǎn)位置之間的間隔是各個(gè)節(jié)點(diǎn)處的拍子間隔的整數(shù)倍(當(dāng)無休止符時(shí) 是相同間隔)。因此，如圖19(19B)中所示，關(guān)于當(dāng)前節(jié)點(diǎn)N6，起始點(diǎn)位置之間的間隔越接 近節(jié)點(diǎn)N6處的拍子間隔d2的整數(shù)倍，給出越高的起始點(diǎn)移動得分。在圖19(19B)的示例 中，由于節(jié)點(diǎn)N6和N8之間的間隔D8比節(jié)點(diǎn)N6和N7之間的間隔D7更接近節(jié)點(diǎn)N6處的拍 子間隔d2的整數(shù)倍，所以，對從節(jié)點(diǎn)N6至節(jié)點(diǎn)N8的過渡給出更高的起始點(diǎn)移動得分。
接著，參考圖20，詳細(xì)描述(4)針對跳過的懲罰。針對跳過的懲罰是用于在節(jié)點(diǎn) 間的過渡中約束起始點(diǎn)的過多跳過的評估值。因此，在一次過渡中跳過越多起始點(diǎn)則得分 越低，而在一次過渡中跳過越少起始點(diǎn)則得分越高。這里，越低的得分意味著越高的懲罰。 在圖20的示例中，選擇第k個(gè)起始點(diǎn)的節(jié)點(diǎn)N9作為當(dāng)前節(jié)點(diǎn)。并且，在圖20的示例中，還 示出3個(gè)節(jié)點(diǎn)N10、N11和N12作為接下來可能被拍子搜索單元176選擇的節(jié)點(diǎn)。節(jié)點(diǎn)N10 是第k+l個(gè)起始點(diǎn)的節(jié)點(diǎn)，節(jié)點(diǎn)Nil是第k+2個(gè)起始點(diǎn)的節(jié)點(diǎn)，而節(jié)點(diǎn)N12是第k+3個(gè)起始 點(diǎn)的節(jié)點(diǎn)。 因此，在從節(jié)點(diǎn)N9至節(jié)點(diǎn)N10的過渡的情況中，沒有跳過節(jié)點(diǎn)。另一方面，在從節(jié) 點(diǎn)N9至節(jié)點(diǎn)Nil的過渡的情況中，跳過第k+l個(gè)起始點(diǎn)。此外，在從節(jié)點(diǎn)N9至節(jié)點(diǎn)N12的過渡的情況中，跳過第k+1個(gè)和第k+2個(gè)起始點(diǎn)。因此，針對跳過的懲罰在從節(jié)點(diǎn)N9至節(jié) 點(diǎn)N10的過渡的情況中取得相對高的值，在從節(jié)點(diǎn)N9至節(jié)點(diǎn)Nil的過渡的情況中取得中間 值，并且在從節(jié)點(diǎn)N9至節(jié)點(diǎn)N12的過渡的情況中取得低值。因此，在路徑搜索時(shí)，可以防止 較大數(shù)目的起始點(diǎn)被跳過從而使得節(jié)點(diǎn)之間的間隔恒定的現(xiàn)象。 此前，已經(jīng)描述了用于評估由拍子搜索單元176搜索出的路徑的4個(gè)評估值。使 用圖17描述的路徑評估是關(guān)于所選擇的路徑，通過將對各個(gè)節(jié)點(diǎn)給出的或針對路徑中所 包括的節(jié)點(diǎn)間的過渡所給出的上述(1)至(4)的評估值彼此順次相乘來執(zhí)行的。拍子搜索 單元176確定所有可以設(shè)想到的路徑中評估值的乘積最大的路徑作為最優(yōu)路徑。例如，在 圖21中示出以這種方式確定的路徑。圖21示出由拍子搜索單元176確定為最優(yōu)路徑的 Viterbi路徑的示例。在圖21的示例中，在圖16中示出的拍子得分分布圖中用點(diǎn)線描畫出 由拍子搜索單元176確定的最優(yōu)路徑。在圖21的示例中，可見，由拍子搜索單元176針對 其執(zhí)行了搜索的樂曲的速度以拍子間隔d3為中心波動。由拍子搜索單元176確定的最優(yōu) 路徑(該最優(yōu)路徑中所包括的節(jié)點(diǎn)的列表)被輸入恒定速度判定單元178、針對恒定速度的 拍子重新搜索單元180和拍子確定單元182。 恒定速度判定單元178判定由拍子搜索單元176確定的最優(yōu)路徑是否指示具有低 的拍子間隔(這些拍子間隔是針對各個(gè)節(jié)點(diǎn)假定的拍子間隔)方差的恒定速度。首先，恒 定速度判定單元178計(jì)算從拍子搜索單元176輸入的最優(yōu)路徑中所包括的節(jié)點(diǎn)處的一組拍 子間隔的方差。然后，當(dāng)所計(jì)算出的方差小于預(yù)先給定的特定閾值時(shí)，恒定速度判定單元 178判定速度是恒定的；并且當(dāng)所計(jì)算出的方差大于該特定閾值時(shí)，恒定速度判定單元178 判定速度不是恒定的。例如，由恒定速度判定單元178判定的速度如圖22中所示。
例如，在圖22(22A)的示例中，用點(diǎn)線描畫出輪廓的最優(yōu)路徑中起始點(diǎn)位置的拍 子間隔根據(jù)時(shí)間變化。利用這樣的路徑，可以判定速度不是恒定的，作為由恒定速度判定單 元178進(jìn)行的與閾值相關(guān)的判定的結(jié)果。另一方面，在圖22(22B)的示例中，由點(diǎn)線描畫出 輪廓的最優(yōu)路徑中的起始點(diǎn)位置的拍子間隔在整個(gè)樂曲中幾乎恒定。可以判定這樣的路徑 是恒定的，作為由恒定速度判定單元178進(jìn)行的與閾值相關(guān)的判定的結(jié)果。以這種方式獲 得的、由恒定速度判定單元178進(jìn)行的與閾值相關(guān)的判定的結(jié)果被輸出給針對恒定速度的 拍子重新搜索單元180。 當(dāng)由拍子搜索單元176提取出的最優(yōu)路徑被恒定速度判定單元178判定為指示恒 定速度時(shí)，針對恒定速度的拍子重新搜索單元180重新執(zhí)行路徑搜索，將作為搜索對象的 節(jié)點(diǎn)限制為僅最經(jīng)常出現(xiàn)的拍子間隔周圍的那些節(jié)點(diǎn)。例如，針對恒定速度的拍子重新搜 索單元180通過圖23中所示的方法執(zhí)行對路徑的重新搜索處理。此外，與圖17 —樣，針對 恒定速度的拍子重新搜索單元180針對以節(jié)點(diǎn)間隔為觀測序列、沿時(shí)間軸(起始點(diǎn)編號) 的一組節(jié)點(diǎn)來執(zhí)行對路徑的重新搜索處理。 例如，假定要被拍子搜索單元176確定為最優(yōu)路徑的路徑中所包括的節(jié)點(diǎn) 處的拍子間隔的眾數(shù)是d4，并且該路徑的速度被恒定速度判定單元178確定為是恒 定的。在這種情況中，針對恒定速度的拍子重新搜索單元180僅將拍子間隔d滿足 d4-Th2《d《d4+Th2(Th2是特定閾值)的那些節(jié)點(diǎn)作為搜索對象來再次搜索路徑。在圖 23的示例中，針對第k個(gè)起始點(diǎn)示出5個(gè)節(jié)點(diǎn)N12至N16。其中，關(guān)于針對恒定速度的拍 子重新搜索單元180，N13至N15處的拍子間隔被包括在搜索范圍(d4-Th2《d《d4+Th2)內(nèi)。相比之下，N12和N16處的拍子間隔未被包括在上述搜索范圍內(nèi)。因此，關(guān)于第k個(gè)起 始點(diǎn)，僅3個(gè)節(jié)點(diǎn)N13至N15成為由針對恒定速度的拍子重新搜索單元180進(jìn)行的路徑搜 索重新執(zhí)行的對象。 此外，由針對恒定速度的拍子重新搜索單元180進(jìn)行的對路徑的重新搜索處理的 流程與由拍子搜索單元176進(jìn)行的路徑搜索處理相似，不同在于成為搜索對象的節(jié)點(diǎn)的范 圍不同。根據(jù)如上所述由針對恒定速度的拍子重新搜索單元180進(jìn)行的路徑重新搜索處 理，關(guān)于具有恒定速度的樂曲，可以減少路徑搜索的結(jié)果中可能局部發(fā)生的與拍子位置相 關(guān)的錯誤。由針對恒定速度的拍子重新搜索單元180確定的最優(yōu)路徑被輸出給拍子確定單 元182。 拍子確定單元182基于由拍子搜索單元176確定的最優(yōu)路徑或由針對恒定速度的 拍子重新搜索單元180重新確定的最優(yōu)路徑，以及基于路徑中所包括的各個(gè)節(jié)點(diǎn)處的拍子 間隔，確定音頻信號中所包括的拍子位置。例如，拍子確定單元182通過如圖24中所示的方 法來確定拍子位置。在圖24(24A)中，示出由起始點(diǎn)檢測單元172獲得的起始點(diǎn)檢測結(jié)果 的示例。在該示例中，示出由起始點(diǎn)檢測單元172檢測到的在第k個(gè)起始點(diǎn)附近的14個(gè)起 始點(diǎn)。相比之下，圖24(24B)示出了由拍子搜索單元176或針對恒定速度的拍子重新搜索 單元180確定的最優(yōu)路徑中所包括的起始點(diǎn)。在24B的示例中，24A中所示出的14個(gè)起始 點(diǎn)中，第k-7個(gè)起始點(diǎn)、第k個(gè)起始點(diǎn)和第k+6個(gè)起始點(diǎn)(幀編號Fk—7、Fk、Fk+6)被包括在最 優(yōu)路徑中。此外，第k-7個(gè)起始點(diǎn)處的拍子間隔(等同于對應(yīng)節(jié)點(diǎn)處的拍子間隔)是4—7， 并且第k個(gè)起始點(diǎn)處的拍子間隔是dk。 關(guān)于這樣的起始點(diǎn)，首先，拍子確定單元182將最優(yōu)路徑中所包括的起始點(diǎn)的位 置作為樂曲的拍子位置。然后，拍子確定單元182根據(jù)各個(gè)起始點(diǎn)處的拍子間隔，在最優(yōu)路 徑中所包括的相鄰起始點(diǎn)之間配設(shè)補(bǔ)充拍子。此時(shí)，拍子確定單元182首先確定用來在最 優(yōu)路徑上彼此相鄰的起始點(diǎn)之間配設(shè)拍子的補(bǔ)充拍子數(shù)目。例如，如圖25中所示，拍子確 定單元182取兩個(gè)相鄰起始點(diǎn)的位置為Fh和Fw，并取起始點(diǎn)位置Fh處的拍子間隔為dh。 在這種情況中，在Fh和Fw之間所要配設(shè)的補(bǔ)充拍子的數(shù)目Bfill由以下等式(8)給出。
[等式8]
<formula>formula see original document page 24</formula>
. (8) 這里，Ro皿d(.)指示". "被四舍五入為最接近的整數(shù)。根據(jù)以上等式(8)，拍 子確定單元182所要配設(shè)的補(bǔ)充拍子的數(shù)目將是通過以下方式得到的數(shù)相鄰起始點(diǎn)之間 的間隔除以拍子間隔得到的值四舍五入為最接近的整數(shù)，并且之后考慮柵欄柱問題從所得 到的整數(shù)中減去l。 接著，拍子確定單元182用所確定的拍子數(shù)目，在最優(yōu)路徑上彼此相鄰的起始點(diǎn)
之間配設(shè)補(bǔ)充拍子，使得拍子以相等的間隔排列。在圖24(24C)的示例中，示出配設(shè)了補(bǔ)充拍子之后的起始點(diǎn)。在24C的示例中，在第k-7個(gè)起始點(diǎn)和第k個(gè)起始點(diǎn)之間配設(shè)了兩個(gè) 補(bǔ)充拍子，并且在第k個(gè)起始點(diǎn)與第k+6個(gè)起始點(diǎn)之間配設(shè)兩個(gè)補(bǔ)充拍子。應(yīng)當(dāng)注意，由拍 子確定單元182提供的補(bǔ)充拍子的位置不一定與由起始點(diǎn)檢測單元172檢測到的起始點(diǎn)的 位置對應(yīng)。利用這樣的配置，可以確定拍子的位置而不受拍子位置之外處產(chǎn)生的聲音的影 響。此外，即使在拍子位置處有休止符而沒有聲音產(chǎn)生的情況中，也可以恰當(dāng)?shù)匕盐张淖游?置。由拍子確定單元182按此方式確定的拍子位置列表(包括最優(yōu)路徑上的起始點(diǎn)和由拍 子確定單元182配設(shè)的補(bǔ)充拍子)輸出給速度修正單元184。 速度修正單元184修正由拍子確定單元182所確定的拍子位置指示的速度。修正 前的速度有可能是樂曲原始速度的常數(shù)倍，例如2倍、l/2倍、3/2倍等(參考圖26)。因此， 速度修正單元184對被錯誤地把握為常數(shù)倍的速度進(jìn)行修正并且再現(xiàn)樂曲的原始速度。這 里，參考圖26的示例，其示出由拍子確定單元182確定的拍子位置的樣式。在圖26的示例 中，在圖中所示出的時(shí)間范圍中，對于樣式26A，包括6個(gè)拍子。相比之下，對于樣式26B，在 相同時(shí)間范圍內(nèi)包括12個(gè)拍子。S卩，以樣式26A的拍子位置作為基準(zhǔn)，樣式26B的拍子位 置指示2倍速度。 另一方面，對于樣式26C-1，在相同時(shí)間范圍內(nèi)包括3個(gè)拍子。即，以樣式26A的拍 子位置作為基準(zhǔn)，樣式26C-1指示1/2倍速度。并且，對于樣式26C-2，與樣式26C-1 —樣， 在相同時(shí)間范圍內(nèi)包括3個(gè)拍子，并且因此以樣式26A的拍子位置作為基準(zhǔn)，指示1/2倍速 度。然而，26C-l和26C-2彼此不同在于在從基準(zhǔn)速度改變速度時(shí)將保留的拍子位置。由速 度修正單元184執(zhí)行的速度修正例如是通過以下過程(Sl)至(S3)來執(zhí)行的。
(Sl)確定基于波形所估計(jì)出的估計(jì)速度
(S2)確定多個(gè)乘子中的最優(yōu)基本乘子
(S3)重復(fù)(S2)直到基本乘子為1為止 首先，將對(Sl)確定基于波形所估計(jì)出的估計(jì)速度進(jìn)行說明。首先，速度修正單 元184從音頻信號的波形中出現(xiàn)的聲音特征中確定被估計(jì)為足夠的估計(jì)速度。例如，特征 量計(jì)算公式生成設(shè)備10或通過JP-A-2008-123011中所公開的學(xué)習(xí)算法生成的、用于估計(jì) 速度辨別的計(jì)算公式(估計(jì)速度辨別公式)被用于估計(jì)速度的確定。例如，如圖27中所 示，多首樂曲的對數(shù)譜被提供給特征量計(jì)算公式生成設(shè)備IO，作為評估數(shù)據(jù)。在圖27的示 例中，提供對數(shù)譜LSl至LSn。此外，提供由正在收聽樂曲的人判定為正確的速度作為教師 數(shù)據(jù)。在圖27的示例中，提供各個(gè)對數(shù)譜的正確速度(LSI :100， . . . ， LSn :60)。估計(jì)速度 辨別公式是基于多組這樣的評估數(shù)據(jù)和教師數(shù)據(jù)來生成的。速度修正單元184通過使用所 生成的估計(jì)速度辨別公式來計(jì)算所處理的樂曲的估計(jì)速度。 接著，將對(S2)確定多個(gè)乘子中的最優(yōu)基本乘子進(jìn)行說明。速度修正單元184從 多個(gè)基本乘子中確定使得修正后的速度與樂曲的原始速度最接近的基本乘子。這里，該基 本乘子是作為用于速度修正的常數(shù)比的基本單位的乘子。例如，七種乘子(S卩，1/3、1/2、 2/3、1、3/2、2和3)中的任何一種被用作該基本乘子。然而，本實(shí)施例的應(yīng)用范圍不限于這 些示例，并且基本乘子例如可以是五種乘子(即，1/3、1/2、1、2和3)中的任何一種。為了確 定最優(yōu)基本乘子，速度修正單元184首先在用各個(gè)基本乘子修正拍子位置之后計(jì)算平均拍 子概率。然而，在基本乘子為1的情況中，平均拍子概率是針對拍子位置未被修正的情況來 計(jì)算的。例如，平均拍子概率是由速度修正單元184通過如圖28中所示的方法針對各個(gè)基本乘子來計(jì)算的。 在圖28中，在時(shí)間軸上用折線示出由拍子概率計(jì)算單元162計(jì)算出的拍子概率。 此外，在水平軸上示出根據(jù)這些乘子中的任何一個(gè)修正的3個(gè)拍子的幀編號Fh—"Fh和Fh+1。 這里，當(dāng)幀編號Fh處的拍子概率是BP(h)時(shí)，根據(jù)乘子r修正的拍子位置的群組F(r)的平 均拍子概率BP皿(r)由以下等式(9)給出。這里，m(r)是群組F(r)中所包括的幀編號的個(gè) 數(shù)。[等式9]
闊 Gw . (9) 如使用圖26的樣式26C-1和26C_2描述的，在基本乘子r為1/2的情況中，對于 拍子位置存在兩種候選。在這種情況中，速度修正單元184針對拍子位置的這兩種候選中 的每一種計(jì)算平均拍子概率BP皿(r)，并且采用具有較高平均拍子概率BP皿(r)的拍子位置 作為根據(jù)乘子r = 1/2修正的拍子位置。類似地，在乘子r為1/3的情況中，對于拍子位置 存在三種候選。因此，速度修正單元184針對拍子位置的這三種候選中的每一種計(jì)算平均 拍子概率BP皿(r)，并且采用具有最高平均拍子概率BP皿(r)的拍子位置作為根據(jù)乘子r = 1/3修正的拍子位置。 在針對各個(gè)基本乘子計(jì)算了平均拍子概率之后，速度修正單元184基于估計(jì)速度 和平均拍子概率來針對各個(gè)基本乘子計(jì)算修正后速度的似然(以下，稱為速度似然)。速度 似然可以由以估計(jì)速度為中心的高斯分布示出的速度概率與平均拍子概率的乘積來表示。 例如，由速度修正單元184計(jì)算如圖29中所示的速度似然。 在圖29(29A)中示出由速度修正單元184針對各個(gè)乘子計(jì)算出的平均拍子概率。 并且，圖29(29B)示出高斯分布形式的速度概率，該高斯分布由預(yù)先給出的特定方差o l確 定并且以由速度修正單元184基于音頻信號的波形估計(jì)出的估計(jì)速度為中心。此外，圖29 中的29A和29B的水平軸表示拍子位置被根據(jù)各個(gè)乘子修正之后，速度的對數(shù)。速度修正 單元184通過將平均拍子概率與速度概率彼此相乘，來針對基本乘子中的每個(gè)基本乘子計(jì) 算29C中所示的速度似然。在圖29的示例中，盡管平均拍子概率對于基本乘子是1時(shí)和其 為1/2時(shí)幾乎是相同的，但是被修正為1/2倍的速度與估計(jì)速度更接近(速度概率高)。因 此，對于被修正為1/2倍的速度，所計(jì)算出的速度似然更高。速度修正單元184以這種方式 計(jì)算速度似然，并且確定產(chǎn)生最高速度似然的基本乘子，作為使得修正后的速度最接近樂 曲的原始速度的基本乘子。 以這種方式，通過在有可能的速度的確定中考慮可以從估計(jì)速度獲得的速度概 率，可以從候選中精確地確定恰當(dāng)?shù)乃俣?，這些候選是具有常數(shù)倍關(guān)系并且基于聲音的局 部波形難以相互辨別的速度。當(dāng)速度被以這種方式修正之后，速度修正單元184執(zhí)行(S3) 重復(fù)(S2)直到基本乘子為1為止。具體而言，由速度修正單元184針對各個(gè)基本乘子重 復(fù)平均拍子概率的計(jì)算和速度似然的計(jì)算，直到產(chǎn)生最高速度似然的基本乘子是1為止。結(jié)果，即使速度修正單元184的修正之前的速度是樂曲的原始速度的的1/4倍、1/6倍、4 倍、6倍等，該速度也可以用通過基本乘子的組合獲得的用于修正的恰當(dāng)乘子(例如，1/2 倍乂1/2倍=1/4倍)來修正。 這里，參考圖30，將簡要描述速度修正單元184的修正處理流程。如圖30中所示， 首先，速度修正單元184通過使用由特征量計(jì)算公式生成設(shè)備10預(yù)先獲得的估計(jì)速度辨別 公式來從音頻信號中確定估計(jì)速度(S1442)。接著，速度修正單元184針對多個(gè)基本乘子 (例如，l/3、l/2等)來順次執(zhí)行循環(huán)(S1444)。在循環(huán)內(nèi)，速度修正單元184根據(jù)各個(gè)基本 乘子來改變拍子位置并且修正速度(S1446)。接著，速度修正單元184計(jì)算修正后的拍子位 置的平均拍子概率(S1448)。接著，速度修正單元184基于在S1448處計(jì)算出的平均拍子概 率和在S1442處確定的估計(jì)速度來針對各個(gè)基本乘子計(jì)算速度似然(S1450)。
然后，當(dāng)該循環(huán)對于所有基本乘子都完成了時(shí)(S1452)，速度修正單元184確定產(chǎn) 生最高速度似然的基本乘子(S1454)。然后，速度修正單元184判定產(chǎn)生最高速度似然的基 本乘子是否是1 (S1456)。如果產(chǎn)生最高速度似然的基本乘子是l，則速度修正單元184結(jié) 束修正處理。另一方面，當(dāng)產(chǎn)生最高速度似然的基本乘子不是1時(shí)，速度修正單元184返回 步驟S1444的處理。從而，基于根據(jù)產(chǎn)生最高速度似然的基本乘子修正后的速度(拍子位 置)，再次執(zhí)行根據(jù)基本乘子中的任何一個(gè)的速度修正。 以上，已經(jīng)描述了拍子檢測單元132的配置。利用上述處理，如圖31中所示的拍 子位置的檢測結(jié)果從拍子檢測單元132被輸出。拍子檢測單元132的檢測結(jié)果被輸入和弦 進(jìn)行檢測單元134，并且用于和弦進(jìn)行的檢測處理(參考圖2)。
(2-4-2.和弦進(jìn)行檢測單元134的配置示例) 接著，將描述和弦進(jìn)行檢測單元134的配置。和弦進(jìn)行檢測單元134是用于基于 學(xué)習(xí)算法來檢測音樂數(shù)據(jù)的和弦進(jìn)行的裝置。如圖2中所示，和弦進(jìn)行檢測單元134包括 結(jié)構(gòu)分析單元202、和弦概率檢測單元204、基調(diào)檢測單元206、小節(jié)線檢測單元208和和弦 進(jìn)行估計(jì)單元210。和弦進(jìn)行檢測單元134通過使用這些結(jié)構(gòu)元件的功能來檢測音樂數(shù)據(jù) 的和弦進(jìn)行。以下，將描述各個(gè)結(jié)構(gòu)元件的功能。
(結(jié)構(gòu)分析單元202) 首先，將描述結(jié)構(gòu)分析單元202。如圖32中所示，向結(jié)構(gòu)分析單元202輸入來自對 數(shù)譜分析單元106的對數(shù)譜和來自拍子分析單元164的拍子位置。結(jié)構(gòu)分析單元202基于 對數(shù)譜和拍子位置來計(jì)算音頻信號中所包括的拍子區(qū)間之間聲音的類似概率。如圖32中 所示，結(jié)構(gòu)分析單元202包括拍子區(qū)間特征量計(jì)算單元222、相關(guān)性計(jì)算單元224和類似概 率生成單元226。 拍子區(qū)間特征量計(jì)算單元222關(guān)于由拍子分析單元164檢測到的各個(gè)拍子來計(jì)算 拍子區(qū)間特征量，拍子區(qū)間特征量表示從該拍子到下一個(gè)拍子的拍子區(qū)間的局部對數(shù)譜的 特征。這里，參考圖33，將簡要描述拍子、拍子區(qū)間和拍子區(qū)間特征量之間的關(guān)系。在圖33 中示出由拍子分析單元164檢測到的6個(gè)拍子位置B1至B6。在該示例中，該拍子區(qū)間是 通過在拍子位置處劃分音頻信號所獲得的區(qū)間，并且指示從一個(gè)拍子到下一個(gè)拍子之間的 區(qū)間。例如，拍子區(qū)間BD1是從拍子Bl至拍子B2的區(qū)間；拍子區(qū)間BD2是從拍子B2至拍 子B3的區(qū)間；并且拍子區(qū)間BD3是從拍子B3至拍子B4的區(qū)間。此外，拍子區(qū)間特征量計(jì) 算單元222從與各個(gè)拍子區(qū)間BD1至BD6相對應(yīng)的局部 數(shù)譜中計(jì)算各個(gè)拍子區(qū)間特征量BF1至BF6。 拍子區(qū)間特征量計(jì)算單元222通過如圖34和圖35中所示的方法來計(jì)算拍子區(qū)間 特征量。在圖34(34A)中，示出與由拍子區(qū)間特征量計(jì)算單元222截取的拍子對應(yīng)的拍子區(qū) 間BD的局部對數(shù)譜。拍子區(qū)間特征量計(jì)算單元222對局部對數(shù)譜的各個(gè)音調(diào)(八度音階 的數(shù)目X12個(gè)音符)的能量進(jìn)行時(shí)間平均。通過該時(shí)間平均，計(jì)算各個(gè)音調(diào)的平均能量。 在圖34(34B)中示出由拍子區(qū)間特征量計(jì)算單元222計(jì)算出的各個(gè)音調(diào)的平均能量水平。
接著，將參考圖35。在圖35(35A)示出與圖34(34B)中所示一樣的各個(gè)音調(diào)的平 均能量水平。拍子區(qū)間特征量計(jì)算單元222針對12個(gè)音符，對若干個(gè)八度音階上不同八度 音階中有相同名稱的音符的平均能量的值求加權(quán)和，并且計(jì)算相應(yīng)12個(gè)音符的能量。例 如，在圖35(35B，35C)中所示的示例中，使用特定的權(quán)重(WpW^. . . ，Wn)對n個(gè)八度音階上 的音符C(Q， C2， . . . ， Cn)的平均能量進(jìn)行加權(quán)并且加和到一起，并且計(jì)算出音符C的能量 值Enc。此夕卜，以相同的方式，通過使用特定的權(quán)重(W15 W2， . . . ， Wn)對n個(gè)八度音階上的音 符B(BpB^. . . ，Bn)的平均能量進(jìn)行加權(quán)并且加和到一起，并且計(jì)算出音符B的能量值Erv 對于音符C和弦符B之間的10個(gè)音符(C#至A#)同樣如此。結(jié)果，生成了將相應(yīng)12個(gè)音 符的能量值ENC， ENCT， . . . ， ENB作為元素的12維向量。拍子區(qū)間特征量計(jì)算單元222針對 每個(gè)拍子計(jì)算這樣的相應(yīng)12個(gè)音符的能量(12維向量)作為拍子區(qū)間特征量BF，并且將它 輸出給相關(guān)性計(jì)算單元224。 用于求加權(quán)和的各個(gè)八度音階的權(quán)重Wl， W2， . . . ， Wn的值優(yōu)選在普通樂曲的旋律 或和弦清楚的中音域中較大。該配置使得能夠在更清楚地反映旋律或和弦的特征的情況下 對樂曲結(jié)構(gòu)進(jìn)行分析。 相關(guān)性計(jì)算單元224針對音頻信號中所包括的所有拍子區(qū)間對，通過使用從拍子 區(qū)間特征量計(jì)算單元222輸入的拍子區(qū)間特征量(各個(gè)拍子區(qū)間的相應(yīng)12個(gè)音符的能量) 來計(jì)算拍子區(qū)間之間的相關(guān)系數(shù)。例如，相關(guān)性計(jì)算單元224通過如圖36中所示的方法來 計(jì)算相關(guān)系數(shù)。在圖36中，示出第一所關(guān)注拍子區(qū)間BDi和第二所關(guān)注拍子區(qū)間BDj作為 要計(jì)算相關(guān)系數(shù)的一對拍子區(qū)間的示例，拍子區(qū)間是通過劃分對數(shù)譜獲得的。
例如，為了計(jì)算這兩個(gè)所關(guān)注拍子區(qū)間之間的相關(guān)系數(shù)，相關(guān)性計(jì)算單元224首 先獲得第一所關(guān)注拍子區(qū)間BDi以及前后N個(gè)區(qū)間(也稱為"2N+1個(gè)區(qū)間")(在圖36的示 例中，N= 2，總共5個(gè)區(qū)間)的相應(yīng)12個(gè)音符的能量。同樣地，相關(guān)性計(jì)算單元224獲得 第二所關(guān)注拍子區(qū)間BDj以及前后N個(gè)區(qū)間的相應(yīng)12個(gè)音符的能量。然后，相關(guān)性計(jì)算單 元224計(jì)算所獲得的第一所關(guān)注拍子區(qū)間BDi以及前后N個(gè)區(qū)間的相應(yīng)12個(gè)音符的能量 與所獲得的第二所關(guān)注拍子區(qū)間BDj以及前后N個(gè)區(qū)間的相應(yīng)12個(gè)音符的能量之間的相 關(guān)系數(shù)。相關(guān)性計(jì)算單元224針對所有的第一所關(guān)注拍子區(qū)間BDi和第二所關(guān)注拍子區(qū)間 BDj對來計(jì)算所述相關(guān)系數(shù)，并且向類似概率生成單元226輸出計(jì)算結(jié)果。
類似概率生成單元226通過使用預(yù)先生成的變換曲線，將從相關(guān)性計(jì)算單元224 輸入的、拍子區(qū)間之間的相關(guān)系數(shù)變換成類似概率。類似概率指示拍子區(qū)間的聲音內(nèi)容之 間的類似程度。將相關(guān)系數(shù)變換成類似概率時(shí)所使用的變換曲線例如如圖37中所示。
在圖37(37A)中示出預(yù)先獲得的兩種概率分布。這兩種概率分布是具有相同聲音 內(nèi)容的拍子區(qū)間之間的相關(guān)系數(shù)的概率分布和具有不同聲音內(nèi)容的拍子區(qū)間之間的相關(guān) 系數(shù)的概率分布。從圖37(37A)中可見，相關(guān)系數(shù)越低，聲音內(nèi)容彼此相同的概率越低，并且相關(guān)系數(shù)越高，聲音內(nèi)容彼此相同的概率越高。因此，可以預(yù)先生成如圖37(37B)中所 示、用于從相關(guān)系數(shù)中導(dǎo)出拍子區(qū)間之間的類似概率的變換曲線。類似概率生成單元226 通過使用以這種方式預(yù)先生成的變換曲線，將從相關(guān)性計(jì)算單元224輸入的相關(guān)系數(shù)C01 例如變換成類似概率SP1。 已被變換出的類似概率例如可以如圖38那樣被可視化。圖38的垂直軸對應(yīng)于第 一所關(guān)注拍子區(qū)間中的位置，并且水平軸對應(yīng)于第二所關(guān)注拍子區(qū)間中的位置。此外，二維 平面上所畫出的顏色的濃淡指示該坐標(biāo)處第一所關(guān)注拍子區(qū)間與第二所關(guān)注拍子區(qū)間之 間的類似程度。例如，第一所關(guān)注拍子區(qū)間il與和第一所關(guān)注拍子區(qū)間il基本相同的第 二所關(guān)注拍子區(qū)間jl之間的類似概率自然顯示高值，并且示出這些拍子區(qū)間具有相同的 聲音內(nèi)容。當(dāng)被演奏的樂曲部分到達(dá)第二所關(guān)注拍子區(qū)間j2時(shí)，第一所關(guān)注拍子區(qū)間il 與第二所關(guān)注拍子區(qū)間j2之間的類似概率再次顯示高值。S卩，可以看出，在第二所關(guān)注拍 子區(qū)間j2中，很有可能正在演奏與第一所關(guān)注拍子區(qū)間il的聲音內(nèi)容幾乎相同的聲音內(nèi) 容。由結(jié)構(gòu)分析單元202以這種方式獲得的拍子區(qū)間之間的類似概率被輸入給稍后描述的 小節(jié)線檢測單元208和和弦進(jìn)行檢測單元210。 此外，在本實(shí)施例中，由于拍子區(qū)間中的能量的時(shí)間平均被用于拍子區(qū)間特征量 的計(jì)算，所以，對于由結(jié)構(gòu)分析單元202進(jìn)行的樂曲結(jié)構(gòu)分析，不考慮拍子區(qū)間中的對數(shù)譜 中有關(guān)時(shí)間變化的信息。即，即使在兩個(gè)區(qū)間中演奏相同的旋律而該旋律(例如，由于演奏 者的編排)在時(shí)間上彼此偏移時(shí)，所演奏的內(nèi)容仍被判定為相同，只要該偏移僅發(fā)生在拍 子區(qū)間內(nèi)即可。(和弦概率檢測單元204) 接著，將描述和弦概率檢測單元204。和弦概率檢測單元204計(jì)算由拍子分析單元 164檢測到的各個(gè)拍子的拍子區(qū)間中各種和弦被演奏的概率(以下稱為和弦概率)。如上 所述，如圖39所示，由和弦概率檢測單元204計(jì)算出的和弦概率用于基調(diào)檢測單元206的 基調(diào)檢測處理。此外，如圖39所示，和弦概率檢測單元204包括拍子區(qū)間特征量計(jì)算單元 232、根音特征量準(zhǔn)備單元234和和弦概率計(jì)算單元236。 如上所述，對數(shù)譜和由拍子檢測單元132檢測到的拍子位置的信息被輸入和弦概 率檢測單元204。因此，拍子區(qū)間特征量計(jì)算單元232關(guān)于由拍子分析單元164檢測到的各 個(gè)拍子來計(jì)算相應(yīng)12個(gè)音符的能量，作為表示拍子區(qū)間中的音頻信號的特征的拍子區(qū)間 特征量。拍子區(qū)間特征量計(jì)算單元232計(jì)算作為拍子區(qū)間特征量的相應(yīng)12個(gè)音符的能量， 并且將其輸出給根音特征量準(zhǔn)備單元234。根音特征量準(zhǔn)備單元234基于從拍子區(qū)間特征 量計(jì)算單元232輸出的相應(yīng)12個(gè)音符的能量來生成根音特征量，根音特征量用于針對各個(gè) 拍子區(qū)間的和弦概率計(jì)算。例如，根音特征量準(zhǔn)備單元234通過圖40和圖41中所示的方 法來生成根音特征量。 首先，根音特征量準(zhǔn)備單元234針對所關(guān)注拍子區(qū)間BDi，提取所關(guān)注拍子區(qū)間 BDi以及前后N個(gè)區(qū)間的相應(yīng)12個(gè)音符的能量(參考圖40)。所關(guān)注拍子區(qū)間BDi以及前 后N個(gè)區(qū)間的相應(yīng)12個(gè)音符的能量可以被認(rèn)為是將音符C作為和弦的根音(基音)的特征 量。在圖40的示例中，由于N為2，所以將音符C作為根音的5個(gè)區(qū)間的根音特征量(12X5 維)被提取出。接著，根音特征量準(zhǔn)備單元234通過將將音符C作為根音的5個(gè)區(qū)間的根 音特征量的12個(gè)音符的元素位置轉(zhuǎn)移特定數(shù)目，生成11個(gè)單獨(dú)的根音特征量，每個(gè)根音特征量針對5個(gè)區(qū)間并且每個(gè)根音特征量將音符C#至音符B的任何音符作為根音(參考圖 41)。此外，元素位置被轉(zhuǎn)移的轉(zhuǎn)移數(shù)是在音符Cft為根音的情況下為l，在音符D為根音的 情況下為2，……，并且在音符B為根音的情況下為11。結(jié)果，由根音特征量準(zhǔn)備單元234 針對相應(yīng)12個(gè)音符生成了根音特征量(分別為，12X 5維)，每個(gè)根音特征量將從音符C至 音符B的12個(gè)音符中的一個(gè)作為根音。 根音特征量準(zhǔn)備單元234針對所有拍子區(qū)間執(zhí)行如上所述的根音特征量生成處 理，并且準(zhǔn)備用于針對各個(gè)區(qū)間的和弦概率計(jì)算的根音特征量。此外，在圖40和圖41的示 例中，針對一個(gè)拍子區(qū)間準(zhǔn)備的特征量是12X5X12維向量。由根音特征量準(zhǔn)備單元234 生成的根音特征量被輸出給和弦概率計(jì)算單元236。和弦概率計(jì)算單元236通過使用從根 音特征量準(zhǔn)備單元234輸入的根音特征量，針對各個(gè)拍子區(qū)間來計(jì)算指示各種和弦被演奏 的概率(和弦概率)。這里的"各種和弦"是指例如基于根音((:，0#，0，...)、構(gòu)成音符的數(shù) 目(三和弦(triad)、七和弦(7th chord)、九和弦(9th chord))、調(diào)性(大調(diào)/小調(diào))等來 區(qū)分的和弦中的各種和弦。例如，通過邏輯回歸分析預(yù)先習(xí)得的和弦概率公式可以用于和 弦概率的計(jì)算。 例如，和弦概率計(jì)算單元236通過圖42中所示的方法來生成用于和弦概率計(jì)算的 和弦概率公式。和弦概率公式的學(xué)習(xí)是針對每種和弦執(zhí)行的。即，例如針對用于大和弦的 和弦概率公式、用于小和弦的和弦概率公式、用于七和弦的和弦概率公式和用于九和弦的 和弦概率公式中的每一個(gè)，執(zhí)行以下描述的學(xué)習(xí)處理。 首先，提供多個(gè)根音特征量(例如，用圖41描述的12X5X12維向量)作為用于 邏輯回歸分析的獨(dú)立變量，每個(gè)根音特征量是針對正確和弦已知的拍子區(qū)間的。此外，針對 各個(gè)拍子區(qū)間的根音特征量中的每一個(gè)，提供用于通過邏輯回歸分析預(yù)測生成概率的鵬元 數(shù)據(jù)。例如，當(dāng)學(xué)習(xí)用于大和弦的和弦概率公式時(shí)，如果已知的和弦是大和弦，則啞元數(shù)據(jù) 的值將為真值(l)，并且對于任何其它情況，啞元數(shù)據(jù)的值為假值(0)。并且，當(dāng)學(xué)習(xí)用于小 和弦的和弦概率公式時(shí)，如果已知的和弦是小和弦，則啞元數(shù)據(jù)的值將為真值(l)，并且對 于任何其它情況，啞元數(shù)據(jù)的值為假值(0)?？梢哉f，對于七和弦和九和弦也是如此。
通過使用上述獨(dú)立變量和鵬元數(shù)據(jù)來對足夠數(shù)目的根音特征量(每個(gè)根音特征 量針對一個(gè)拍子區(qū)間)執(zhí)行邏輯回歸分析，生成了用于從各個(gè)拍子區(qū)間的根音特征量計(jì)算 出和弦概率的和弦概率公式。然后，和弦概率計(jì)算單元236將從根音特征量準(zhǔn)備單元234 輸入的根音特征量應(yīng)用于所生成的和弦概率公式，并且針對各個(gè)拍子區(qū)間順次計(jì)算各種和 弦的和弦概率。由和弦概率計(jì)算單元236進(jìn)行的和弦概率計(jì)算處理例如是通過如圖43中 所示的方法來執(zhí)行的。在圖43(43A)中，示出各個(gè)拍子區(qū)間的根音特征量中，用音符C作為 根音的根音特征量。 例如，和弦概率計(jì)算單元236將用于大和弦的和弦概率公式應(yīng)用于用音符C作為 根音的根音特征量，并且針對各個(gè)拍子區(qū)間計(jì)算和弦為"C"的和弦概率CPe。此外，和弦概率 計(jì)算單元236將用于小和弦的和弦概率公式應(yīng)用于用音符C作為根音的根音特征量，并且 針對該拍子區(qū)間計(jì)算和弦為"Cm"的和弦概率CPCni。以類似的方式，和弦概率計(jì)算單元236 將用于大和弦的和弦概率公式和用于小和弦的和弦概率公式應(yīng)用于用音符C#作為根音的 根音特征量，并且可以計(jì)算和弦"Cft"的和弦概率CPefl和和弦"Cto"的和弦概率CPeflm(43B)。 可以說，對和弦"B"的和弦概率CPB和和弦"Bm"的和弦概率CPBm的計(jì)算也是如此(43C)。
如圖44中所示的和弦概率是由和弦概率計(jì)算單元236通過上述方法計(jì)算出的。 參考圖44，針對某一拍子區(qū)間，計(jì)算從音符C至音符B的12種音符中每一種音符的諸如 "Maj (大和弦)"、"m(小和弦)"、"7 (七和弦)"和"m7 (小七和弦)"之類的和弦的和弦概 率。根據(jù)圖44的示例，和弦概率CPC是0. 88，和弦概率CPCm是0. 08，和弦概率CPCT是0. 01， 和弦概率CP^是0. 02，并且和弦概率CPe是0.01。其它類型的和弦概率值都指示O。此外， 在以上述方式計(jì)算多種類型的和弦的和弦概率之后，和弦概率計(jì)算單元236以使得每拍子 區(qū)間的所計(jì)算出的概率值的總和變成1的方式對概率值進(jìn)行歸一化。針對音頻信號中所包 括的所有拍子區(qū)間重復(fù)如上所述由和弦概率計(jì)算單元236進(jìn)行的計(jì)算和歸一化處理。
和弦概率是如上所述由和弦概率檢測單元204通過拍子區(qū)間特征量計(jì)算單元 232、根音特征量準(zhǔn)備單元234和和弦概率計(jì)算單元236的處理來計(jì)算出的。然后，由和弦 概率檢測單元204計(jì)算出的和弦概率被輸入基調(diào)檢測單元206(參考圖39)。
(基調(diào)檢測單元206) 接著，將描述基調(diào)檢測單元206的配置。如上所述，由和弦概率檢測單元204計(jì)算 出的和弦概率被輸入基調(diào)檢測單元206。基調(diào)檢測單元206是用于通過使用由和弦概率檢 測單元204針對各個(gè)拍子區(qū)間計(jì)算出的和弦概率來檢測各個(gè)拍子區(qū)間的基調(diào)(調(diào)性/基本 音階)的裝置。如圖39中所示，基調(diào)檢測單元206包括相對和弦概率生成單元238、特征 量準(zhǔn)備單元240、基調(diào)概率計(jì)算單元242和基調(diào)確定單元246。 首先，和弦概率由和弦概率檢測單元204輸入相對和弦概率生成單元238。相對和 弦概率生成單元238根據(jù)從和弦概率檢測單元204輸入的各個(gè)拍子區(qū)間的和弦概率，生成 用于針對各個(gè)拍子區(qū)間的基調(diào)概率計(jì)算的相對和弦概率。例如，相對和弦概率生成單元238 通過如圖45中所示的方法來生成相對和弦概率。首先，相對和弦概率生成單元238從某一 所關(guān)注的拍子區(qū)間的和弦概率中提取出有關(guān)大和弦和小和弦的和弦概率。這里所提取的和 弦概率值被表示為總共24維的向量，S卩，大和弦的12個(gè)音符和小和弦的12個(gè)音符。以下， 包括這里所提取出的和弦概率值的24維向量將被視為將音符C假定為基調(diào)的相對和弦概 率。 接著，相對和弦概率生成單元238將所提取出的大和弦和小和弦的和弦概率值的 12個(gè)音符的元素位置轉(zhuǎn)移特定數(shù)目。通過以這種方式進(jìn)行轉(zhuǎn)移，生成11個(gè)單獨(dú)的相對和 弦概率。此外，元素位置被轉(zhuǎn)移的轉(zhuǎn)移數(shù)與如使用圖41所述生成根音特征量時(shí)的轉(zhuǎn)移數(shù)相 同。以這種方式，由相對和弦概率生成單元238生成12個(gè)單獨(dú)的相對和弦概率，每個(gè)相對和 弦概率假定從音符C至音符B的12個(gè)音符中的一個(gè)作為基調(diào)。相對和弦概率生成單元238 針對所有拍子區(qū)間執(zhí)行如上所述的相對和弦概率生成處理，并且向特征量準(zhǔn)備單元240輸 出所生成的相對和弦概率。 特征量準(zhǔn)備單元240生成要用于各個(gè)拍子區(qū)間的基調(diào)概率計(jì)算的特征量。根據(jù)從 相對和弦概率生成單元238輸入到特征量準(zhǔn)備單元240的相對和弦概率所生成的各個(gè)拍子 區(qū)間的和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分被用作特征量準(zhǔn)備單元240所要生成的特征量。
首先，特征量準(zhǔn)備單元240通過如圖46中所示的方法生成各個(gè)拍子區(qū)間的和弦出 現(xiàn)得分。首先，特征量準(zhǔn)備單元240假定音符C作為基調(diào)，針對所關(guān)注的拍子區(qū)間以及前后 M個(gè)拍子區(qū)間來提供相對和弦概率CP。然后，特征量準(zhǔn)備單元240將所關(guān)注的拍子區(qū)間以 及前后M個(gè)拍子區(qū)間上相同位置處的元素的概率值進(jìn)行加和，這些概率值被包括在假定音符C作為基調(diào)的相對和弦概率中。結(jié)果，獲得了與各種和弦的出現(xiàn)概率一致的和弦出現(xiàn)得 分(CEc，CECfl，. . . ，CEBm) (24維向量)，出現(xiàn)概率是針對所關(guān)注的拍子區(qū)間和所關(guān)注的拍子區(qū) 間周圍的多個(gè)拍子區(qū)間的并且是假定音符C作為基調(diào)的。特征量準(zhǔn)備單元240針對假定從 音符C至音符B的12個(gè)音符中的一個(gè)作為基調(diào)的每種情況，執(zhí)行上述和弦出現(xiàn)得分計(jì)算。 根據(jù)該計(jì)算，對于一個(gè)所關(guān)注的拍子區(qū)間，獲得12個(gè)單獨(dú)的和弦出現(xiàn)得分。
接著，特征量準(zhǔn)備單元240通過如圖47中所示的方法來生成各個(gè)拍子區(qū)間的和弦 過渡出現(xiàn)得分。首先，特征量準(zhǔn)備單元240首先關(guān)于拍子區(qū)間BDi與相鄰拍子區(qū)間BDi+1 之間的所有和弦對(所有和弦過渡)，將和弦過渡前后的相對和弦概率彼此相乘，這些相 對和弦概率假定音符C作為基調(diào)。這里，"所有的和弦對"是指24X24對，即，"C" — "C"、 "C，，一 "C#"、"C，，一 "D"、"B，，一 "B"。接著，特征量準(zhǔn)備單元240針對整個(gè)所關(guān)注的
拍子區(qū)間和前后M個(gè)區(qū)間，對和弦過渡前后的相對和弦概率的相乘結(jié)果進(jìn)行加和。結(jié)果，獲 得了與各種和弦過渡的出現(xiàn)概率一致的24X24維和弦過渡出現(xiàn)得分(24X24維向量)，出 現(xiàn)概率是針對所關(guān)注的拍子區(qū)間和所關(guān)注的拍子區(qū)間周圍的多個(gè)拍子區(qū)間的并且是假定 音符C作為基調(diào)的。例如，對于所關(guān)注的拍子區(qū)間BDi，有關(guān)從"C"至"Cft"的和弦過渡的和 弦過渡出現(xiàn)得分CTc —Cfl(i)由以下等式(10)給出。
[等式10]CTC —c#(i) =CPc(i-M) CPc#(i-M+l)+...+CPc(i+M) CPc#(i+M+l)
.. . (10) 以這種方式，特征量準(zhǔn)備單元240針對假定從音符C至音符B的12種音符中的一 種音符作為基調(diào)的每種情況，執(zhí)行上述24X24次單獨(dú)的和弦過渡出現(xiàn)得分CT計(jì)算。根據(jù) 該計(jì)算，對于一個(gè)所關(guān)注的拍子區(qū)間，獲得12個(gè)單獨(dú)的和弦過渡出現(xiàn)得分。此外，與傾向于 因各個(gè)小節(jié)而變化的和弦不同，例如，在許多情況下，樂曲的基調(diào)通常在較長一段時(shí)間保持 不變。因此，對要用于和弦出現(xiàn)得分或和弦過渡出現(xiàn)得分的計(jì)算的相對和弦概率的范圍進(jìn) 行定義的M的值例如是可以包括許多小節(jié)(例如，幾十個(gè)拍子)的合適的值。特征量準(zhǔn)備 單元240向基調(diào)概率計(jì)算單元242輸入針對各個(gè)拍子區(qū)間計(jì)算出的24維和弦出現(xiàn)得分CE 和24X24維和弦過渡出現(xiàn)得分，作為用于計(jì)算基調(diào)概率的特征量。 基調(diào)概率計(jì)算單元242通過使用從特征量準(zhǔn)備單元240輸入的和弦出現(xiàn)得分和和 弦過渡出現(xiàn)得分，來針對各個(gè)拍子區(qū)間計(jì)算基調(diào)概率，基調(diào)概率指示各種基調(diào)被演奏的概 率。"各種基調(diào)"是指例如基于12個(gè)音符(C， C#， D，...)或調(diào)性(大調(diào)/小調(diào))來區(qū)分的 基調(diào)。例如，通過邏輯回歸分析預(yù)先習(xí)得的基調(diào)概率公式可以用于基調(diào)概率計(jì)算。例如，基 調(diào)概率計(jì)算單元242通過如圖48中所示的方法來生成用于基調(diào)概率計(jì)算的基調(diào)概率公式。 對基調(diào)概率公式的學(xué)習(xí)是針對大調(diào)和小調(diào)獨(dú)立執(zhí)行的。因此，生成大調(diào)概率公式和小調(diào)概 率公式。 如圖48中所示，提供正確基調(diào)已知的各個(gè)拍子區(qū)間的多個(gè)和弦出現(xiàn)得分和和弦 過渡出現(xiàn)得分，作為邏輯回歸分析中的獨(dú)立變量。接著，針對所提供的和弦出現(xiàn)得分和和弦 過渡出現(xiàn)得分對中的每一對，提供用于通過邏輯回歸分析預(yù)測生成概率的鵬元數(shù)據(jù)。例如， 當(dāng)學(xué)習(xí)大調(diào)概率公式時(shí)，如果已知的基調(diào)是大調(diào)，則鵬元數(shù)據(jù)將為真值(1)，并且當(dāng)是任何 其它情況時(shí)，鵬元數(shù)據(jù)為假值(0)。并且，當(dāng)學(xué)習(xí)小調(diào)概率公式時(shí)，如果已知的基調(diào)是小調(diào)， 則啞元數(shù)據(jù)將為真值(l)，并且當(dāng)是任何其它情況時(shí)，啞元數(shù)據(jù)為假值(0)
32
通過使用足夠數(shù)目的獨(dú)立變量和啞元數(shù)據(jù)對來執(zhí)行邏輯回歸分析，生成用于從和 弦出現(xiàn)得分和和弦過渡出現(xiàn)得分對中計(jì)算出大調(diào)或小調(diào)的概率的基調(diào)概率公式。基調(diào)概率 計(jì)算單元242將從特征量準(zhǔn)備單元240輸入的一對和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分應(yīng)用 于基調(diào)概率公式中的每一個(gè)，并且針對各個(gè)拍子區(qū)間順次計(jì)算各種基調(diào)的基調(diào)概率。例如， 基調(diào)概率是通過如圖49中所示的方法來計(jì)算的。 例如，在圖49(49A)中，基調(diào)概率計(jì)算單元242將假定音符C為基調(diào)的一對和弦出 現(xiàn)得分和和弦過渡出現(xiàn)得分應(yīng)用于預(yù)先通過學(xué)習(xí)獲得的大調(diào)概率公式，并且針對各個(gè)拍子 區(qū)間計(jì)算基調(diào)為"C"的基調(diào)概率KPe。同樣，基調(diào)概率計(jì)算單元242將假定音符C為基調(diào)的 這一對和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分應(yīng)用于小調(diào)概率公式，并且針對相應(yīng)拍子區(qū)間計(jì) 算基調(diào)為"Cm"的基調(diào)概率KPem。類似地，基調(diào)概率計(jì)算單元242將假定音符C#為基調(diào)的 一對和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分應(yīng)用于大調(diào)概率公式和小調(diào)概率公式，并且計(jì)算基 調(diào)概率KPCfl和KPCflm(49B)?？梢哉f，對基調(diào)概率KPB和KPBm的計(jì)算同樣如此(49C)。
通過這樣的計(jì)算，例如計(jì)算出如圖50中所示的基調(diào)概率。參考圖50，對于從音符 C至音符B的12個(gè)音符，針對某一拍子區(qū)間計(jì)算兩種基調(diào)概率， 一種針對"Maj (大調(diào))"并 且一種針對"m(小調(diào))"。根據(jù)圖51的示例，基調(diào)概率KPe是0.90，并且基調(diào)概率KPcm是 0. 03。此外，除上述基調(diào)概率以外的基調(diào)概率值都指示O。在計(jì)算了所有類型的基調(diào)的基調(diào) 概率之后，基調(diào)概率計(jì)算單元242以使得每拍子區(qū)間的所計(jì)算出的概率值的總和為1的方 式對概率值進(jìn)行歸一化。針對音頻信號中所包括的所有拍子區(qū)間重復(fù)如上所述由基調(diào)概率 計(jì)算單元242進(jìn)行的計(jì)算和歸一化處理。以這種方式針對各個(gè)基調(diào)所計(jì)算出的基調(diào)概率被 輸入基調(diào)確定單元246。 這里，基調(diào)概率計(jì)算單元242根據(jù)針對從音符C至音符B的12種音符中的每一種 音符并且針對兩種基調(diào)(即，大調(diào)和小調(diào))所計(jì)算出的基調(diào)概率值來計(jì)算出不區(qū)分大調(diào)和 小調(diào)的基調(diào)概率(簡單基調(diào)概率)。例如，基調(diào)概率計(jì)算單元242通過如圖51中所示的方 法來計(jì)算簡單基調(diào)概率。如圖51(51A)中所示，例如，由基調(diào)概率計(jì)算單元242針對某一拍 子區(qū)間計(jì)算出來的基調(diào)概率KPC、 KPCm、 KPA和KP紐分別是0. 90、0. 03、0. 02和0. 05。其它基 調(diào)概率值全都指示O。基調(diào)概率計(jì)算單元242，通過針對從音符C至音符B的12種音符中的
每一種、對為平行調(diào)關(guān)系的基調(diào)的基調(diào)概率值進(jìn)行加和，來計(jì)算不區(qū)分大調(diào)和小調(diào)的簡單 基調(diào)概率。例如，簡單基調(diào)概率SKPC是基調(diào)概率KPC和KPAm的總和，即，SKPC = 0. 90+0. 05 =0. 95.。這是因?yàn)镃大調(diào)(基調(diào)"C")和A小調(diào)(基調(diào)"Am")為平行調(diào)關(guān)系。類似地針 對音符Cft至音符B執(zhí)行簡單基調(diào)概率計(jì)算。由基調(diào)概率計(jì)算單元242計(jì)算出的12個(gè)單獨(dú) 的簡單基調(diào)概率SKPe至SKPB被輸入和弦進(jìn)行估計(jì)單元210。 現(xiàn)在，基調(diào)確定單元246基于由基調(diào)概率計(jì)算單元242針對各個(gè)拍子區(qū)間計(jì)算出 的各個(gè)基調(diào)的基調(diào)概率，通過路徑搜索來確定有可能的基調(diào)進(jìn)行。上述Viterbi算法例如 被用作由基調(diào)確定單元246進(jìn)行的路徑搜索的方法。Viterbi路徑的路徑搜索例如是通過 如圖52中所示的方法來執(zhí)行的。此時(shí)，拍子被順次布置為時(shí)間軸(水平軸)并且基調(diào)類型 被布置為觀測序列(垂直軸)。因此，基調(diào)確定單元246將所有基調(diào)類型與拍子對中的每一 對作為路徑搜索的對象節(jié)點(diǎn)，對于這些拍子，已經(jīng)由基調(diào)概率計(jì)算單元242計(jì)算出了基調(diào) 概率。 關(guān)于所述節(jié)點(diǎn)，基調(diào)確定單元246沿時(shí)間軸順次選擇這些節(jié)點(diǎn)中的任何一個(gè)，并
33且通過使用兩個(gè)評估值，(1)基調(diào)概率和(2)基調(diào)過渡概率，來評估由一連串所選擇的節(jié)點(diǎn) 形成的路徑。此外，在由基調(diào)確定單元246進(jìn)行對節(jié)點(diǎn)的選擇時(shí)，不允許跳過拍子。這里， 要用于評估的(1)基調(diào)概率是由基調(diào)概率計(jì)算單元242計(jì)算出的基調(diào)概率。對圖52中所 示的各個(gè)節(jié)點(diǎn)給出基調(diào)概率。另一方面，(2)基調(diào)過渡概率是對基點(diǎn)間的過渡給出的評估 值?；{(diào)過渡概率是基于正確基調(diào)已知的樂曲中轉(zhuǎn)調(diào)的發(fā)生概率，針對各種轉(zhuǎn)調(diào)樣式預(yù)先 定義的。 與針對過渡的轉(zhuǎn)調(diào)量相應(yīng)的12個(gè)單獨(dú)的值被定義為以下4種樣式的基調(diào)過渡中 每種樣式的基調(diào)過渡概率從大調(diào)至大調(diào)、從大調(diào)至小調(diào)、從小調(diào)至大調(diào)和從小調(diào)至小調(diào)。 圖53示出與針對從大調(diào)至大調(diào)的基調(diào)過渡的轉(zhuǎn)調(diào)量相應(yīng)的12個(gè)單獨(dú)的概率值的示例。在 圖53的示例中，當(dāng)與轉(zhuǎn)調(diào)量Ak有關(guān)的基調(diào)過渡概率是Pr(Ak)時(shí)，Pr(O)為O. 9987。這指 示樂曲中基調(diào)變化的概率很低。另一方面，基調(diào)過渡概率Pr(l)為0.0002。這指示基調(diào)被 升高一個(gè)音調(diào)(或被降低ll個(gè)音調(diào))的概率是0.02%。類似地，在圖53的示例中，Pr(2)、 Pr(3) 、Pr(4) 、Pr(5) 、Pr(7) 、Pr(8) 、Pr(9)禾PPr(lO)分別是0.0001。并且，Pr(6)和Pr(ll) 分別是0.0000。與轉(zhuǎn)調(diào)量相應(yīng)的12個(gè)單獨(dú)的概率值還針對以下過渡樣式中的每種過渡樣 式而分別定義從大調(diào)至小調(diào)，從小調(diào)至大調(diào)以及從小調(diào)至小調(diào)。 基調(diào)確定單元246關(guān)于表示基調(diào)進(jìn)行的各個(gè)路徑，將路徑中所包括的各個(gè)節(jié)點(diǎn)的 (1)基調(diào)概率和對節(jié)點(diǎn)間的過渡所給出的(2)基調(diào)過渡概率彼此順次相乘。然后，基調(diào)確定 單元246確定使得作為路徑評估值的相乘結(jié)果最大的路徑，作為表示有可能的基調(diào)進(jìn)行的 最優(yōu)路徑。例如，如圖54中所示的基調(diào)進(jìn)行是由基調(diào)確定單元246確定的。在圖54中，在 從樂曲的開始到結(jié)束的時(shí)間尺度下，示出由基調(diào)確定單元246確定的樂曲的基調(diào)進(jìn)行的示 例。在該示例中，從樂曲的開始3分鐘，樂曲的基調(diào)是"Cm"。之后，樂曲的基調(diào)變?yōu)?Cto" 并且基調(diào)保持不變直到樂曲結(jié)束。以這種方式通過相對和弦概率生成單元238、特征量準(zhǔn)備 單元240、基調(diào)概率計(jì)算單元242和基調(diào)確定單元246的處理所確定的基調(diào)進(jìn)行被輸入小節(jié) 線檢測單元208(參見圖2)。
(小節(jié)線檢測單元208) 接著，將描述小節(jié)線檢測單元208。由結(jié)構(gòu)分析單元202計(jì)算出的類似概率、由拍 子檢測單元132計(jì)算出的拍子概率、由基調(diào)檢測單元206計(jì)算出的基調(diào)進(jìn)行和由和弦概率 檢測單元204檢測出的和弦概率被輸入小節(jié)線檢測單元208。小節(jié)線檢測單元208基于拍 子概率、拍子區(qū)間之間的類似概率、各個(gè)拍子區(qū)間的和弦概率、基調(diào)進(jìn)行以及各個(gè)拍子區(qū)間 的基調(diào)概率，確定小節(jié)線進(jìn)行，小節(jié)線進(jìn)行指示一連串的拍子中各個(gè)拍子對應(yīng)于哪個(gè)節(jié)拍 中的哪個(gè)拍數(shù)。如圖55中所示，小節(jié)線檢測單元208包括第一特征量提取單元252、第二 特征量提取單元254、小節(jié)線概率計(jì)算單元256、小節(jié)線概率校正單元258、小節(jié)線確定單元 260和小節(jié)線重新確定單元262。 第一特征量提取單元252針對各個(gè)拍子區(qū)間，根據(jù)該拍子區(qū)間以及前后L個(gè)區(qū)間 的和弦概率和基調(diào)概率來提取第一特征量，作為用于稍后描述的小節(jié)線概率計(jì)算的特征 量。例如，第一特征量提取單元252通過如圖56中所示的方法來提取第一特征量。如圖56 中所示，第一特征量包括(1)無和弦變化得分和(2)相對和弦得分，它們是從所關(guān)注的拍子 區(qū)間BDi以及前后L個(gè)拍子區(qū)間的和弦概率和基調(diào)概率中導(dǎo)出的。其中，無和弦變化得分 是所具有的維數(shù)與包括所關(guān)注的拍子區(qū)間BDi以及前后L個(gè)拍子區(qū)間在內(nèi)的區(qū)間的數(shù)目相等的特征量。另一方面，相對和弦得分是對于所關(guān)注的拍子區(qū)間以及前后L個(gè)拍子區(qū)間中 每個(gè)區(qū)間具有24維的特征量。例如，當(dāng)L是8時(shí)，無和弦變化得分是17維的而相對和弦得 分是408維(17X24維)的，并且因此，第一特征量總共有425維。以下，將描述無和弦變
化得分和相對和弦得分。
(1)無和弦變化得分 首先，將描述無和弦變化得分。無和弦變化得分是表示樂曲的和弦在特定區(qū)間范 圍上不改變的程度的特征量。無和弦變化得分是通過將接下來所要描述的和弦穩(wěn)定性得分 除以和弦不穩(wěn)定性得分獲得的(參考圖57)。在圖57的示例中，拍子區(qū)間BR的和弦穩(wěn)定 性得分包括元素CC(i-L)至CC(i+L)， CC(i-L)至CC(i+L)中的每一個(gè)是針對拍子區(qū)間BDi 以及前后L個(gè)拍子區(qū)間中的相應(yīng)區(qū)間來確定的。這些元素中的每一個(gè)被計(jì)算出，作為目標(biāo) 拍子區(qū)間與緊接在前的拍子區(qū)間之間具有相同名稱的和弦的和弦概率的乘積的總和值。
例如，通過對拍子區(qū)間BD卜h與拍子區(qū)間之間具有相同名稱的和弦的和弦概 率的乘積進(jìn)行加和，計(jì)算出和弦穩(wěn)定性得分CC(i-L)。以類似的方式，通過對拍子區(qū)間BDi+h 與拍子區(qū)間BDi+J勺和弦概率中具有相同名稱的和弦的和弦概率的乘積進(jìn)行加和，計(jì)算出和 弦穩(wěn)定性得分CC(i+L)。第一特征量提取單元252針對整個(gè)所關(guān)注的拍子區(qū)間BDi以及前 后L個(gè)拍子區(qū)間執(zhí)行上述計(jì)算，并且計(jì)算2L+1個(gè)單獨(dú)的和弦穩(wěn)定性得分。
另一方面，如圖58中所示，拍子區(qū)間BDi的和弦不穩(wěn)定性得分包括元素CU(i-L)至 CU(i+L)，這些元素中的每一個(gè)是針對拍子區(qū)間BDi以及前后L個(gè)拍子區(qū)間中的相應(yīng)區(qū)間來 確定的。這些元素中的每一個(gè)被計(jì)算出，作為目標(biāo)拍子區(qū)間與緊接在前的拍子區(qū)間之間所 有具有不同名稱的和弦對的和弦概率的乘積的總和值。例如，通過對拍子區(qū)間BD卜h與拍 子區(qū)間BDi—J勺和弦概率中具有不同名稱的和弦的和弦概率的乘積進(jìn)行加和，計(jì)算出和弦不 穩(wěn)定性得分CU(i-L)。以類似的方式，通過對拍子區(qū)間BDi+w與拍子區(qū)間BD^的和弦概率 中具有不同名稱的和弦的和弦概率的乘積進(jìn)行加和，計(jì)算出和弦不穩(wěn)定性得分CU (i+L)。第 一特征量提取單元252針對整個(gè)所關(guān)注的拍子區(qū)間BDi以及前后L個(gè)拍子區(qū)間執(zhí)行上述計(jì) 算，并且計(jì)算2L+1個(gè)單獨(dú)的和弦不穩(wěn)定性得分。 在計(jì)算了拍子穩(wěn)定性得分和拍子不穩(wěn)定性得分之后，第一特征量提取單元252針 對所關(guān)注的拍子區(qū)間BDi，對于每組2L+1個(gè)元素，通過將和弦穩(wěn)定性得分除以和弦不穩(wěn)定性 得分來計(jì)算無和弦變化得分。例如，假定對于所關(guān)注的拍子區(qū)間BDi，和弦穩(wěn)定性得分CC是 (CCh， . . . ， CCi+J并且和弦不穩(wěn)定性得分CU是(CUh， . . . ， CU^)。在此情況下，無和弦變 化得分CR是(CCiVCUw，... ，cci+ycuw)。所關(guān)注拍子區(qū)間周圍給定范圍內(nèi)的和弦變化越 少，則以這種方式計(jì)算出的無和弦變化得分指示越高的值。第一特征量提取單元252以這 種方式計(jì)算音頻信號中所包括的所有拍子區(qū)間的無和弦變化得分。 [(X302] (2)相對和弦得分 接著，將描述相對和弦得分。相對和弦得分是表示給定范圍內(nèi)的區(qū)間上和弦的出 現(xiàn)概率及其樣式的特征量。相對和弦得分是通過根據(jù)從基調(diào)檢測單元206輸入的基調(diào)進(jìn)行 來轉(zhuǎn)移和弦概率的元素位置而生成的。例如，相對和弦得分是通過如圖59所示的方法生成 的。在圖59(59A)中示出由基調(diào)檢測單元206確定的基調(diào)進(jìn)行的示例。在該示例中，樂曲 的基調(diào)在從樂曲的開始起3分鐘后從"B"變?yōu)?Cto"。此外，還示出所關(guān)注的拍子區(qū)間叫 的位置，拍子區(qū)間BDi在前后L個(gè)區(qū)間內(nèi)包括基調(diào)改變的時(shí)間點(diǎn)。
35
此時(shí)，第一特征量提取單元252針對基調(diào)為"B"的拍子區(qū)間生成相對和弦概率， 其中拍子區(qū)間的包括大調(diào)和小調(diào)的24維和弦概率的元素的位置被轉(zhuǎn)移使得和弦概率CPB 在開始處出現(xiàn)。同樣，第一特征量提取單元252針對基調(diào)為"C#m"的拍子區(qū)間生成相對和 弦概率，其中拍子區(qū)間的包括大調(diào)和小調(diào)的24維和弦概率的元素的位置被轉(zhuǎn)移使得和弦 概率CPCTm在開始處出現(xiàn)。第一特征量提取單元252針對所關(guān)注的拍子區(qū)間以及前后L個(gè) 區(qū)間中的每個(gè)區(qū)間來生成這樣的相對和弦概率，并且輸出所生成的相對和弦概率的集合 ((2L+1) X24維特征量向量)作為相對和弦得分。 從如上所述的(1)無和弦變化得分和(2)相對和弦得分形成的第一特征量從第 一特征量提取單元252輸出到小節(jié)線概率計(jì)算單元256 (參考圖55)?，F(xiàn)在，除了第一特征 量以外，第二特征量也被輸入小節(jié)線概率計(jì)算單元256。因此，將描述第二特征量提取單元 254的配置。 第二特征量提取單元254針對各個(gè)拍子區(qū)間，根據(jù)拍子區(qū)間以及前后L個(gè)區(qū)間上 拍子概率中的變化特征來提取第二特征量，作為用于稍后描述的小節(jié)線概率計(jì)算的特征 量。例如，第二特征量提取單元254通過如圖60中所示的方法來提取第二特征量。在圖60 中，沿時(shí)間軸示出從拍子概率計(jì)算單元162輸入的拍子概率。此外，在圖中還示出通過分析 拍子概率所檢測到的6個(gè)拍子以及所關(guān)注拍子區(qū)間BDit)第二特征量提取單元254關(guān)于拍 子概率來計(jì)算各個(gè)小區(qū)間SDj的拍子概率的平均值，小區(qū)間SDj具有特定持續(xù)時(shí)間并且被包 括在整個(gè)所關(guān)注的拍子區(qū)間BDi以及前后L個(gè)區(qū)間上的拍子區(qū)間中。 例如，如圖60中所示，為了主要檢測音符值(N/M節(jié)拍的M)為4的節(jié)拍，優(yōu)選用在 拍子間隔的l/4和3/4的位置處劃分拍子間隔的線來將小區(qū)間相互劃分開。在這種情況中， 將針對一個(gè)所關(guān)注的拍子區(qū)間BDi計(jì)算LX4+1個(gè)拍子概率平均值。因此，由第二特征量提 取單元254提取出的第二特征量對于每個(gè)所關(guān)注的拍子區(qū)間將具有LX4+1維。并且，小區(qū) 間的持續(xù)時(shí)間是拍子間隔的1/2。此外，為了恰當(dāng)?shù)貦z測樂曲中的小節(jié)線，希望分析至少若 干個(gè)小節(jié)上的音頻信號的特征。因此，優(yōu)選定義用于提取第二特征量的拍子概率的范圍的L 的值例如是8個(gè)拍子。當(dāng)L為8時(shí)，由第二特征量提取單元254提取的第二特征量對于各 個(gè)所關(guān)注的拍子區(qū)間是33維的。 以這種方式提取出的第二特征量從第二特征量提取單元254輸入小節(jié)線概率計(jì) 算單元256。 如上所述，第一特征量和第二特征量被輸入小節(jié)線概率計(jì)算單元256。因此，小節(jié) 線概率計(jì)算單元256通過使用第一特征量和第二特征量來計(jì)算各個(gè)拍子的小節(jié)線概率。這 里的小節(jié)線概率是指各個(gè)拍子是X節(jié)拍中的第Y個(gè)拍子的概率的集合。在隨后的說明中，各 種節(jié)拍中的各個(gè)拍數(shù)成為辨別的對象，各種節(jié)拍例如是1/4節(jié)拍、2/4節(jié)拍、3/4節(jié)拍和4/4 節(jié)拍中的任何一種。在這種情況中，存在X與Y的10種單獨(dú)集合，即，(1， 1) 、 (2， 1) 、 (2， 2)、 (3， 1) 、 (3， 2) 、 (3， 3) 、 (4， 1) 、 (4， 2) 、 (4， 3)和(4， 4)。因此，計(jì)算10種類型的小節(jié)線概率。
此外，由稍后所述的小節(jié)線概率校正單元258考慮樂曲的結(jié)構(gòu)來校正由小節(jié)線概 率計(jì)算單元256計(jì)算出的概率值。因此，由小節(jié)線概率計(jì)算單元256計(jì)算出的概率是有待 校正的中間數(shù)據(jù)。通過邏輯回歸分析預(yù)先習(xí)得的小節(jié)線概率公式例如可以用于由小節(jié)線概 率計(jì)算單元256進(jìn)行的小節(jié)線概率計(jì)算。例如，用于小節(jié)線概率計(jì)算的小節(jié)線概率公式是 通過如圖61中所示的方法生成的。此外，小節(jié)線概率公式是針對上述各種小節(jié)線概率生成的。例如，當(dāng)假定要辨別各個(gè)拍子在1/4節(jié)拍、2/4節(jié)拍、3/4節(jié)拍和4/4節(jié)拍中的拍數(shù)時(shí)，要生成10個(gè)單獨(dú)的小節(jié)線概率公式。 首先，提供多個(gè)第一特征量和第二特征量對作為用于邏輯回歸分析的獨(dú)立變量，這些第一特征量和第二特征量是通過對音頻信號進(jìn)行分析提取出來的，并且它們的正確節(jié)拍(X)和拍子的正確拍數(shù)(Y)是已知的。接著，提供用于通過邏輯回歸分析來預(yù)測所提供的第一特征量與第二特征量對中每一對的生成概率的鵬元數(shù)據(jù)。例如，當(dāng)學(xué)習(xí)用于辨別1/4節(jié)拍中的第一個(gè)拍子的公式以計(jì)算拍子為1/4節(jié)拍中的第一個(gè)拍子的概率時(shí)，如果已知的節(jié)拍和拍數(shù)是(l，l)，則啞元數(shù)據(jù)的值將為真值(l)，并且對于任何其它情況，啞元數(shù)據(jù)的值將為假值(0)。同樣，當(dāng)學(xué)習(xí)用于辨別2/4節(jié)拍中的第一個(gè)拍子以計(jì)算拍子是2/4節(jié)拍中的第一個(gè)拍子的概率時(shí)，例如，如果已知的節(jié)拍和拍數(shù)是(2，1)，則鵬元數(shù)據(jù)的值將為真值(l)，并且對于任何其它情況，啞元數(shù)據(jù)的值將為假值(0)?？梢哉f，對于其它節(jié)拍和拍數(shù)同樣如此。 通過如上所述使用足夠數(shù)目的獨(dú)立變量和啞元數(shù)據(jù)對來執(zhí)行邏輯回歸分析，預(yù)先獲得10種類型的小節(jié)線概率公式，這些小節(jié)線概率公式用于從一對第一特征量和第二特征量中計(jì)算小節(jié)線概率。然后，小節(jié)線概率計(jì)算單元256將從第一特征量提取單元252和第二特征量提取單元254輸入的一對第一特征量和第二特征量應(yīng)用于小節(jié)線概率公式，并且針對各個(gè)拍子區(qū)間計(jì)算小節(jié)線概率。例如，小節(jié)線概率是通過如圖62中所示的方法計(jì)算出的。如圖62中所示，小節(jié)線概率計(jì)算單元256將預(yù)先獲得的用于辨別1/4節(jié)拍中的第一個(gè)拍子的公式應(yīng)用于針對所關(guān)注的節(jié)拍區(qū)間提取的一對第一特征量和第二特征量，并且計(jì)算拍子是1/4節(jié)拍中的第一個(gè)拍子的小節(jié)線概率P^' (l，l)。同樣，小節(jié)線概率計(jì)算單元256將預(yù)先獲得的用于辨別2/4節(jié)拍中的第一個(gè)拍子的公式應(yīng)用于針對所關(guān)注的節(jié)拍區(qū)間提取的一對第一特征量和第二特征量，并且計(jì)算拍子是2/4節(jié)拍中的第一個(gè)拍子的小節(jié)線概率Pbar'(2，1)?？梢哉f，對于其它節(jié)拍和拍數(shù)同樣如此。 小節(jié)線概率計(jì)算單元256針對所有拍子重復(fù)小節(jié)線概率計(jì)算，并且計(jì)算各個(gè)拍子的小節(jié)線概率。由小節(jié)線概率計(jì)算單元256針對各個(gè)拍子計(jì)算出的小節(jié)線概率被輸入給接下來所描述的小節(jié)線概率校正單元258(參考圖55)。 小節(jié)線概率校正單元258基于從結(jié)構(gòu)分析單元202輸入的拍子區(qū)間之間的類似概率，校正從小節(jié)線概率計(jì)算單元256輸入的小節(jié)線概率。例如，假定第i個(gè)所關(guān)注的拍子是X節(jié)拍中的第Y個(gè)拍子的小節(jié)線概率(該小節(jié)線概率還有待校正)是& ' (i，x，y)，并且第i個(gè)拍子區(qū)間與第j個(gè)拍子區(qū)間之間的類似概率是SP(i， j)。在這種情況中，校正后的小節(jié)線概率P^(i，x，y)例如由以下等式(11)給出。
[等式ll]
<formula>formula see original document page 37</formula>
…(11) 如上所述，校正后的小節(jié)線概率P^(i， X， y)是通過使用歸一化后的類似概率作為權(quán)重來對校正前的小節(jié)線概率求加權(quán)和而獲得的值，其中，類似概率是與所關(guān)注的拍子相對應(yīng)的拍子區(qū)間與其它拍子區(qū)間之間的類似概率。通過這樣的概率值校正，與校正前的小節(jié)線概率相比較，相似聲音內(nèi)容的拍子的小節(jié)線概率將具有更接近的值。由小節(jié)線概
率校正單元258校正后的各個(gè)拍子的小節(jié)線概率被輸入接下來所描述的小節(jié)線確定單元260(參考圖55)。 小節(jié)線確定單元260基于從小節(jié)線概率校正單元258輸入的小節(jié)線概率，通過路徑搜索來確定有可能的小節(jié)線進(jìn)行，小節(jié)線概率指示各個(gè)拍子是X節(jié)拍中的第Y個(gè)拍子的概率。Viterbi算法例如用作由小節(jié)線確定單元260進(jìn)行的路徑搜索的方法。路徑搜索例如是由小節(jié)線確定單元260通過如圖63中所示的方法來執(zhí)行的。如圖63中所示，拍子被順次布置在時(shí)間軸(水平軸)上。此外，小節(jié)線概率已被計(jì)算出的拍子的類型(X節(jié)拍中的第Y個(gè)拍子)用于觀測序列(垂直軸)。小節(jié)線確定單元260將所有拍子類型與從小節(jié)線概率校正單元258輸入的拍子對中的每一對作為路徑搜索的對象節(jié)點(diǎn)。
關(guān)于所述對象節(jié)點(diǎn)，小節(jié)線確定單元260沿時(shí)間軸順次選擇這些節(jié)點(diǎn)中的任何節(jié)點(diǎn)。然后，小節(jié)線確定單元260使用兩個(gè)評估值，(1)小節(jié)線概率和(2)節(jié)拍變化概率，來評估由一連串所選擇的節(jié)點(diǎn)形成的路徑。此外，在由小節(jié)線確定單元260進(jìn)行節(jié)點(diǎn)的選擇時(shí)，例如優(yōu)選施加下述約束。作為第一約束，禁止跳過拍子。作為第二約束，禁止在小節(jié)的中間從一種節(jié)拍過渡至另一節(jié)拍(例如，從四節(jié)拍中的第一個(gè)至第三個(gè)拍子中的任何拍子或三節(jié)拍中的第一個(gè)或第二個(gè)拍子的過渡)，或從一個(gè)節(jié)拍過渡至另一節(jié)拍的小節(jié)的中間。作為第三約束，禁止拍數(shù)不按次序的過渡，例如，從第一個(gè)拍子至第三個(gè)或第四個(gè)拍子，或從第二個(gè)拍子至第二個(gè)拍子或第四個(gè)拍子。 現(xiàn)在，在用于小節(jié)線確定單元260的路徑評估的評估值中，(1)小節(jié)線概率是通過由小節(jié)線概率校正單元258校正小節(jié)線概率而計(jì)算出的上述小節(jié)線概率。對圖63中示出的各個(gè)節(jié)點(diǎn)給出小節(jié)線概率。另一方面，(2)節(jié)拍變化概率是對節(jié)點(diǎn)之間的過渡所給出的評估值。節(jié)拍變化概率是通過從許多普通樂曲中收集在小節(jié)線進(jìn)行期間節(jié)拍變化的發(fā)生概率、針對變化前的拍子類型和變化后的拍子類型的每種組合而預(yù)先定義的。
例如，在圖64中示出了節(jié)拍變化概率的示例。在圖64中，示出基于變化前的4種節(jié)拍和變化后的4種節(jié)拍導(dǎo)出的16個(gè)單獨(dú)的節(jié)拍變化概率。在該示例中，針對從四節(jié)拍變?yōu)閱喂?jié)拍的節(jié)拍變化概率是O. 05，從四節(jié)拍變?yōu)槎?jié)拍的節(jié)拍變化概率是0. 03，從四節(jié)拍變?yōu)槿?jié)拍的節(jié)拍變化概率是O. 02，而從四節(jié)拍變?yōu)樗墓?jié)拍(g卩，沒有變化)的節(jié)拍變化概率是O. 90。這指明節(jié)拍在樂曲中間改變的概率一般不高。此外，關(guān)于單節(jié)拍或二節(jié)拍，在所檢測到的小節(jié)線位置由于小節(jié)線的檢測錯誤而從其正確的位置偏移時(shí)，節(jié)拍變化概率可以用來自動恢復(fù)小節(jié)線的位置。因此，優(yōu)選將單節(jié)拍或二節(jié)拍與另一節(jié)拍之間的節(jié)拍變化概率值設(shè)置為比三節(jié)拍或四節(jié)拍與另一節(jié)拍之間的節(jié)拍變化概率高。 小節(jié)線確定單元260關(guān)于表示小節(jié)線進(jìn)行的各個(gè)路徑，順次將路徑中所包括的各個(gè)節(jié)點(diǎn)的(1)小節(jié)線概率和對節(jié)點(diǎn)間的過渡所給出的(2)節(jié)拍變化概率彼此相乘。然后，小節(jié)線確定單元260確定使得作為路徑評估值的相乘結(jié)果最大的路徑，作為表示有可能的小節(jié)線進(jìn)行的最大似然路徑。例如，如圖65中所示的小節(jié)線進(jìn)行是基于由小節(jié)線確定單元260確定的最大似然路徑獲得的。在圖65的示例中，針對第一至第八個(gè)拍子示出被小節(jié)線確定單元260確定為最大似然路徑的小節(jié)線進(jìn)行(參見粗線框)。在該示例中，從第一個(gè)拍子開始各個(gè)拍子的類型順次是四節(jié)拍中的第一個(gè)拍子、四節(jié)拍中的第二個(gè)拍子、四節(jié)拍中的第三個(gè)拍子、四節(jié)拍中的第四個(gè)拍子、四節(jié)拍中的第一個(gè)拍子、四節(jié)拍中的第二個(gè)拍子、四節(jié)拍中的第三個(gè)拍子、四節(jié)拍中的第四個(gè)拍子。由小節(jié)線確定單元260確定的小節(jié)線進(jìn)行被輸入小節(jié)線重新確定單元262。 現(xiàn)在，在普通樂曲中，拍子類型的三節(jié)拍和四節(jié)拍很少以混合的方式存在。考慮這種情況，小節(jié)線重新確定單元262首先判定對于出現(xiàn)在從小節(jié)線確定單元260輸入的小節(jié)線進(jìn)行中的拍子類型，三節(jié)拍和四節(jié)拍是否以混合的方式存在。在拍子類型的三節(jié)拍和四節(jié)拍以混合的方式存在的情況中，小節(jié)線重新確定單元262從搜索對象中排除不那么經(jīng)常出現(xiàn)的節(jié)拍，并且再次搜索表示小節(jié)線進(jìn)行的最大似然路徑。根據(jù)所述由小節(jié)線重新確定單元262進(jìn)行的路徑重新搜索處理，可以減少可能在路徑搜索的結(jié)果中局部出現(xiàn)的小節(jié)線(拍子類型)識別錯誤。 以上，已經(jīng)描述了小節(jié)線檢測單元208。由小節(jié)線檢測單元208檢測到的小節(jié)線進(jìn)行被輸入和弦進(jìn)行估計(jì)單元210 (參考圖2)。
(和弦進(jìn)行估計(jì)單元210) 接下來，將描述和弦進(jìn)行估計(jì)單元210。各個(gè)拍子的簡單基調(diào)概率、拍子區(qū)間之間的類似概率和小節(jié)線進(jìn)行被輸入和弦進(jìn)行估計(jì)單元210。因此，和弦進(jìn)行估計(jì)單元210基于這些輸入值來針對各個(gè)拍子區(qū)間確定由一連串和弦形成的有可能的和弦進(jìn)行。如圖66中所示，和弦進(jìn)行估計(jì)單元210包括拍子區(qū)間特征量計(jì)算單元272、根音特征量準(zhǔn)備單元274、和弦概率計(jì)算單元276、和弦概率校正單元278和和弦進(jìn)行確定單元280。
和和弦概率檢測單元204的拍子區(qū)間特征量計(jì)算單元232 —樣，拍子區(qū)間特征量計(jì)算單元272首先計(jì)算相應(yīng)12個(gè)音符的能量。然而，拍子區(qū)間特征量計(jì)算單元272可以獲得并且使用由和弦概率檢測單元204的拍子區(qū)間特征量計(jì)算單元232計(jì)算出的相應(yīng)12個(gè)音符的能量。接著，拍子區(qū)間特征量計(jì)算單元272生成擴(kuò)展拍子區(qū)間特征量，擴(kuò)展拍子區(qū)間特征量包括所關(guān)注的拍子區(qū)間以及前后N個(gè)區(qū)間的相應(yīng)12個(gè)音符的能量以及從基調(diào)檢測單元206輸入的簡單基調(diào)概率。例如，拍子區(qū)間特征量計(jì)算單元272通過如圖67中所示的方法來生成擴(kuò)展拍子區(qū)間特征量。 如圖67中所示，由拍子區(qū)間特征量計(jì)算單元272提取出了所關(guān)注拍子區(qū)間BDi以及前后N個(gè)區(qū)間各自的相應(yīng)12個(gè)音符的能量BF卜2、BFi—^BFi、BF^和BFi+2。這里的N例如是2。此外，獲得所關(guān)注的拍子區(qū)間BDi的簡單基調(diào)概率(SKPc， . . . ， SKPB)。拍子區(qū)間特征量計(jì)算單元272針對所有的拍子區(qū)間，生成擴(kuò)展拍子區(qū)間特征量，并且將其輸入根音特征量準(zhǔn)備單元274，擴(kuò)展拍子區(qū)間特征量包括簡單基調(diào)概率和拍子區(qū)間以及前后N個(gè)區(qū)間的相應(yīng)12個(gè)音符的能量(參考圖66)。 根音特征量準(zhǔn)備單元274轉(zhuǎn)移從拍子區(qū)間特征量計(jì)算單元272輸入的擴(kuò)展拍子區(qū)間特征量的元素位置，并且生成12個(gè)單獨(dú)的擴(kuò)展根音特征量。根音特征量準(zhǔn)備單元274例如通過如圖68中所示的方法來生成擴(kuò)展根音特征量。如圖68中所示，根音特征量準(zhǔn)備單元274將從拍子區(qū)間特征量計(jì)算單元272輸入的擴(kuò)展拍子區(qū)間特征量作為用音符C作為根音的擴(kuò)展根音特征量。接著，根音特征量準(zhǔn)備單元274將用音符C作為根音的擴(kuò)展根音特征量的12個(gè)音符的元素位置轉(zhuǎn)移特定數(shù)目。通過該轉(zhuǎn)移處理，生成ll個(gè)單獨(dú)的擴(kuò)展拍子區(qū)間特征量，每個(gè)擴(kuò)展拍子區(qū)間特征量將音符C#至音符B中的任何一種音符作為根音。此外，元素位置被轉(zhuǎn)移的轉(zhuǎn)移數(shù)與和弦概率檢測單元204的根音特征量準(zhǔn)備單元234所使用的轉(zhuǎn)移數(shù)相同。 根音特征量準(zhǔn)備單元274針對所有拍子區(qū)間執(zhí)行所述擴(kuò)展根音特征量生成處理，并且準(zhǔn)備要用于各個(gè)區(qū)間的和弦概率重新計(jì)算的擴(kuò)展根音特征量。由根音特征量準(zhǔn)備單元274生成的擴(kuò)展根音特征量被輸入和弦概率計(jì)算單元276 (參考圖66)。
和弦概率計(jì)算單元276針對各個(gè)拍子區(qū)間，通過使用從根音特征量準(zhǔn)備單元274輸入的根音特征量來計(jì)算指示各種和弦被演奏的概率的和弦概率。這里的"各個(gè)和弦"例如是指通過根音(C， C#， D，...)、構(gòu)成音符的數(shù)目(三和弦、七和弦、九和弦)、調(diào)性(大調(diào)/小調(diào))等來區(qū)分的和弦中的每一種和弦。通過根據(jù)邏輯回歸分析的學(xué)習(xí)處理獲得的擴(kuò)展和弦概率公式例如可以用于和弦概率計(jì)算。例如，由和弦概率計(jì)算單元276進(jìn)行的和弦概率重新計(jì)算所要使用的擴(kuò)展和弦概率公式是通過如圖69中所示的方法生成的。此外，和針對和弦概率公式的情況一樣，對擴(kuò)展和弦概率公式的學(xué)習(xí)是針對每種和弦來進(jìn)行的。艮卩，例如，學(xué)習(xí)處理是針對以下每種公式來執(zhí)行的用于大和弦的擴(kuò)展和弦概率公式、用于小和弦的擴(kuò)展和弦概率公式、用于七和弦的擴(kuò)展和弦概率公式和用于九和弦的擴(kuò)展和弦概率公式。 首先，分別針對正確和弦已知的拍子區(qū)間提供多個(gè)擴(kuò)展根音特征量(例如，使用圖68描述的12個(gè)單獨(dú)的12X6維向量)，作為用于邏輯回歸分析的獨(dú)立變量。此外，針對各個(gè)拍子區(qū)間的擴(kuò)展根音特征量中的每個(gè)，提供用于通過邏輯回歸分析來預(yù)測生成概率的啞元數(shù)據(jù)。例如，當(dāng)學(xué)習(xí)用于大和弦的擴(kuò)展和弦概率公式時(shí)，如果已知的和弦是大和弦，則啞元數(shù)據(jù)的值將是真值(l)，并且對于任何其它情況，啞元數(shù)據(jù)的值將是假值(0)。同樣，當(dāng)學(xué)習(xí)用于小和弦的擴(kuò)展和弦概率公式時(shí)，如果已知的和弦是小和弦，則啞元數(shù)據(jù)的值將是真值(l)，并且對于任何其它情況，啞元數(shù)據(jù)的值將是假值(0)。可以說對于七和弦和九和弦同樣如此。 通過使用上述獨(dú)立變量和鵬元數(shù)據(jù)來對足夠數(shù)目的擴(kuò)展根音特征量(每個(gè)擴(kuò)展根音特征量是針對一個(gè)拍子區(qū)間的)執(zhí)行邏輯回歸分析，獲得用于從根音特征量中計(jì)算出各個(gè)和弦概率的擴(kuò)展和弦概率公式。當(dāng)生成擴(kuò)展和弦概率公式時(shí)，和弦概率計(jì)算單元276將擴(kuò)展和弦概率公式應(yīng)用于從根音特征量準(zhǔn)備單元274輸入的擴(kuò)展根音特征量，并且順次計(jì)算各個(gè)拍子區(qū)間的和弦概率。例如，和弦概率計(jì)算單元276通過如圖70中所示的方法來重新計(jì)算和弦概率。 在圖70(70A)中，示出各個(gè)拍子區(qū)間的擴(kuò)展根音特征量中，用音符C作為根音的擴(kuò)展根音特征量。和弦概率計(jì)算單元276例如將用于大和弦的擴(kuò)展和弦概率公式應(yīng)用于用音符C作為根音的擴(kuò)展根音特征量，并且針對該拍子區(qū)間計(jì)算和弦為"C"的和弦概率CP' c。此外，和弦概率計(jì)算單元276將用于小和弦的擴(kuò)展和弦概率公式應(yīng)用于用音符C作為根音的擴(kuò)展根音特征量，并且針對該拍子區(qū)間重新計(jì)算和弦為"Cm"的和弦概率CP' em。以類似的方式，和弦概率計(jì)算單元276將用于大和弦的擴(kuò)展和弦概率公式和用于小和弦的擴(kuò)展和弦概率公式應(yīng)用于用音符Cft作為根音的擴(kuò)展根音特征量，并且重新計(jì)算和弦概率CP' ^和和弦概率CP' Cflm(70B)?？梢哉f，對和弦概率CP' e、和弦概率CP' Bm(C)以及其它類型的和弦(包括七和弦、九和弦等)的和弦概率的計(jì)算也是如此。 和弦概率計(jì)算單元276針對所有所關(guān)注的拍子區(qū)間重復(fù)如上所述的和弦概率重新計(jì)算處理，并且向和弦概率校正單元278輸出所重新計(jì)算出的和弦概率(參考圖66)。
和弦概率校正單元278基于從結(jié)構(gòu)分析單元202輸入的拍子區(qū)間之間的類似概率，校正由和弦概率計(jì)算單元276計(jì)算出的和弦概率。例如，假定第i個(gè)所關(guān)注的拍子區(qū)間中和弦X的和弦概率是CP' x(i)，并且第i個(gè)拍子區(qū)間和第j個(gè)拍子區(qū)間之間的類似概率是SP(i，j)。然后，校正后的和弦概率CP〃 x(i)例如由以下等式(12)給出。
[等式12]
SP(i,j)
2>p(u)
k 乂 .(12) S卩，校正后的和弦概率CP〃 x(i)是通過利用歸一化后的類似概率來對和弦概率求加權(quán)和而獲得的值，與所關(guān)注的拍子相對應(yīng)的拍子區(qū)間與另一拍子區(qū)間之間的類似概率中的每一個(gè)類似概率被用作權(quán)重。通過這樣的概率值校正，具有相似聲音內(nèi)容的拍子區(qū)間的和弦概率相比于校正前將具有更接近的值。由和弦概率校正單元278校正后的各個(gè)拍子區(qū)間的和弦概率被輸入和弦進(jìn)行確定單元280 (參考圖66)。 和弦進(jìn)行確定單元280基于從和弦概率校正單元278輸入的各個(gè)拍子位置的和弦概率，通過路徑搜索來確定有可能的和弦進(jìn)行。Viterbi算法例如可以用作由和弦進(jìn)行確定單元280進(jìn)行的路徑搜索的方法。路徑搜索例如是通過如圖71中所示的方法來執(zhí)行的。如圖71中所示，拍子被順次布置在時(shí)間軸(水平軸)上。此外，和弦概率已被計(jì)算出的和弦類型被用作觀測序列(垂直軸)。即，和弦進(jìn)行確定單元280將所有和弦類型與從和弦概率校正單元278輸入的拍子區(qū)間對中的每一對作為路徑搜索的對象節(jié)點(diǎn)。
關(guān)于上述節(jié)點(diǎn)，和弦進(jìn)行確定單元280沿時(shí)間軸順次選擇這些節(jié)點(diǎn)中的任何節(jié)點(diǎn)。然后，和弦進(jìn)行確定單元280使用以下四種評估值來對由一連串所選擇的節(jié)點(diǎn)形成的路徑進(jìn)行評估(l)和弦概率，(2)依賴于基調(diào)的和弦出現(xiàn)概率，(3)依賴于小節(jié)線的和弦過渡概率和(4)依賴于基調(diào)的和弦過渡概率。此外，在由和弦進(jìn)行確定單元280進(jìn)行對節(jié)點(diǎn)的選擇時(shí)，不允許跳過拍子。 在用于由和弦進(jìn)行確定單元280進(jìn)行的路徑評估的評估值中，(1)和弦概率是由和弦概率校正單元278校正后的上述和弦概率。對圖71中所示的各個(gè)節(jié)點(diǎn)給出和弦概率。此外，(2)依賴于基調(diào)的和弦出現(xiàn)概率是依賴于根據(jù)從基調(diào)檢測單元206輸入的基調(diào)進(jìn)行而針對各個(gè)拍子區(qū)間指定的基調(diào)的、各種和弦的出現(xiàn)概率。依賴于基調(diào)的和弦出現(xiàn)概率是通過針對樂曲中使用的每種類型的基調(diào)，對許多樂曲的和弦出現(xiàn)概率進(jìn)行合計(jì)來預(yù)先定義
41的。例如，在基調(diào)為"C"的樂曲中，和弦"C"、"F"和"G"中的每種和弦的出現(xiàn)概率高。對圖71中所示的各種和弦給出依賴于基調(diào)的和弦出現(xiàn)概率。 此外，(3)依賴于小節(jié)線的和弦過渡概率是依賴于根據(jù)從小節(jié)線檢測單元208輸入的小節(jié)線進(jìn)行而針對各個(gè)拍子指定的拍子類型的和弦過渡概率。依賴于小節(jié)線的和弦過渡概率是通過針對樂曲的小節(jié)線進(jìn)行中相鄰拍子的各種類型對，對許多樂曲的和弦過渡概率進(jìn)行合計(jì)來預(yù)先定義的。 一般，和弦在小節(jié)線變化(過渡后的拍子是第一個(gè)拍子)時(shí)或在從四節(jié)拍中的第二個(gè)拍子過渡至第三個(gè)拍子時(shí)變化的概率比和弦在其它過渡時(shí)變化的概率高。對節(jié)點(diǎn)之間的過渡給出依賴于小節(jié)線的和弦過渡概率。此外，(4)依賴于基調(diào)的和弦過渡概率是依賴于根據(jù)從基調(diào)檢測單元206輸入的基調(diào)進(jìn)行而針對各個(gè)拍子區(qū)間指定的基調(diào)的和弦過渡概率。依賴于基調(diào)的和弦過渡概率是通過針對樂曲中使用的各種類型的基調(diào)，對許多樂曲的和弦過渡概率進(jìn)行合計(jì)來預(yù)先定義的。對節(jié)點(diǎn)間的過渡給出依賴于基調(diào)的和弦過渡概率。 和弦進(jìn)行確定單元280關(guān)于表示使用圖71描述的和弦進(jìn)行的各個(gè)路徑，將路徑中
所包括的各個(gè)節(jié)點(diǎn)的上述(1)至(4)的評估值彼此順次相乘。然后，和弦進(jìn)行確定單元280
確定使得作為路徑評估值的相乘結(jié)果最大的路徑，作為表示有可能的和弦進(jìn)行的最大似然
路徑。例如，和弦進(jìn)行確定單元280可以通過確定最大似然路徑來獲得如圖72中所示的和
弦進(jìn)行。在圖72的示例中，示出和弦進(jìn)行確定單元280針對第一至第六個(gè)拍子區(qū)間和第i
個(gè)拍子區(qū)間確定為最大似然路徑的和弦進(jìn)行(參見粗線框)。根據(jù)該示例，從第一個(gè)拍子區(qū)
間開始，拍子區(qū)間的和弦順次是"C"、"C"、"F"、"F"、"Fm"、"Fm"……"C"。 以上，描述了和弦進(jìn)行檢測單元134的配置。如上所述，通過結(jié)構(gòu)分析單元202至
和弦進(jìn)行估計(jì)單元210的處理從音樂數(shù)據(jù)檢測出了和弦進(jìn)行。以這種方式提取出的和弦進(jìn)
行被輸入捕獲范圍確定單元IIO(參考圖2)。 (2-4-3.樂器聲音分析單元136的配置示例) 接著，將描述樂器聲音分析單元136的配置。樂器聲音分析單元136是用于計(jì)算指示在某一定時(shí)哪種樂器被演奏的樂器聲音存在概率的裝置。此外，樂器聲音分析單元136針對由聲源分離單元104分離出的聲源的每種組合計(jì)算樂器聲音存在概率。為了估計(jì)樂器聲音存在概率，樂器聲音分析單元136首先通過使用特征量計(jì)算公式生成設(shè)備IO(或另一學(xué)習(xí)算法)來生成用于計(jì)算各種樂器聲音的存在概率的計(jì)算公式。然后，樂器聲音分析單元136通過使用針對各種樂器聲音所生成的計(jì)算公式來計(jì)算各種樂器聲音的存在概率。
為了生成用于計(jì)算樂器聲音存在概率的計(jì)算公式，樂器聲音分析單元136預(yù)先準(zhǔn)備按時(shí)間系列標(biāo)記的對數(shù)譜。例如，如圖73所示，樂器聲音分析單元136從以特定時(shí)間(例如，約l秒)為單位的已標(biāo)記對數(shù)譜中捕獲局部對數(shù)譜，并且通過使用所捕獲的局部對數(shù)譜來生成用于計(jì)算存在概率的計(jì)算公式。在圖73中作為示例而示出歌聲的存在與否預(yù)先已知的音樂數(shù)據(jù)的對數(shù)譜。當(dāng)所述對數(shù)譜被提供時(shí)，樂器聲音分析單元136以特定時(shí)間為單位確定捕獲區(qū)間，查看各個(gè)捕獲區(qū)間中歌聲的存在與否，并且向有歌聲的區(qū)間指派標(biāo)記1而向沒有歌聲的區(qū)間指派標(biāo)記0。此外，可以說對其它類型的樂器聲音同樣如此。
以這種方式捕獲的局部對數(shù)譜被輸入特征量計(jì)算公式生成設(shè)備IO，作為評估數(shù)據(jù)。此外，被指派給各個(gè)局部對數(shù)譜的各種樂器聲音的標(biāo)記被輸入特征量計(jì)算公式生成設(shè)備IO，作為教師數(shù)據(jù)。通過提供所述評估數(shù)據(jù)和教師數(shù)據(jù)，可以獲得這樣的計(jì)算公式，當(dāng)任意所處理樂曲的局部對數(shù)譜被輸入時(shí)，該公式輸出各種樂器聲音是否被包括在與輸入局部 對數(shù)譜對應(yīng)的捕獲區(qū)間中。因此，樂器聲音分析單元136在一點(diǎn)點(diǎn)移動時(shí)間軸的同時(shí)向與 各種類型的樂器聲音對應(yīng)的計(jì)算公式輸入局部對數(shù)譜，并且根據(jù)特征量計(jì)算公式生成設(shè)備 IO進(jìn)行學(xué)習(xí)處理時(shí)所計(jì)算出的概率分布來將輸出值變換成概率值。然后，通過記錄按時(shí) 間系列計(jì)算出的概率值，樂器聲音分析單元136獲得各種樂器聲音的存在概率的時(shí)間系列 分布。例如，如圖74中所示的各種樂器聲音的存在概率是通過樂器聲音分析單元136的 處理來計(jì)算的。以這種方式計(jì)算出的各種樂器聲音的存在概率被輸入捕獲范圍確定單元 110(參考圖2)。 (2-5.捕獲范圍確定單元110的配置示例) 接著，將描述捕獲范圍確定單元110的配置。如上所述，音樂數(shù)據(jù)的拍子、和弦進(jìn) 行和各種樂器聲音存在概率從音樂分析單元108輸入捕獲范圍確定單元110。因此，捕獲范 圍確定單元110基于音樂數(shù)據(jù)的拍子、和弦進(jìn)行和各種樂器聲音存在概率，通過如圖75中 所示的方法來確定要被捕獲作為波形素材的范圍。圖75是示出捕獲范圍確定單元110的 捕獲范圍確定方法的說明性示圖。 如圖75中所示，首先，捕獲范圍確定單元IIO基于從音樂數(shù)據(jù)檢測到的拍子開始 有關(guān)小節(jié)的循環(huán)處理(S122)。具體而言，捕獲范圍確定單元110在參考拍子的同時(shí)跟隨小 節(jié)，并且針對各小節(jié)單位重復(fù)執(zhí)行小節(jié)循環(huán)內(nèi)的處理。這里，使用從音樂分析單元108輸 入的拍子。接著，捕獲范圍確定單元110開始與聲源組合有關(guān)的循環(huán)處理(S124)。具體而 言，音樂分析單元108針對與由聲源分離單元104分離出的4種類型的聲源有關(guān)的組合(8 種)中的每一種，執(zhí)行聲源組合循環(huán)內(nèi)的處理。在聲源組合循環(huán)內(nèi)，判定由當(dāng)前小節(jié)和當(dāng)前 聲源組合指定的范圍對于聲音素材是否恰當(dāng)，并且如果恰當(dāng)，則該范圍被登記為捕獲范圍。 以下，將詳細(xì)描述與判定和登記有關(guān)的處理內(nèi)容。 首先，捕獲范圍確定單元110計(jì)算素材得分，素材得分用于判定在小節(jié)循環(huán)和聲 源組合循環(huán)中所指定的當(dāng)前小節(jié)和當(dāng)前聲源組合對于聲音素材是否是恰當(dāng)?shù)?S126)。素材 得分是基于從捕獲請求輸入單元102輸入的捕獲請求和音樂數(shù)據(jù)中所包括的各種樂器聲 音的存在概率來計(jì)算的。更具體而言，對通過捕獲請求被指定為捕獲長度的許多小節(jié)上的 樂器聲音組合總計(jì)樂器聲音存在概率，并且計(jì)算出該總和值占所有樂器聲音的存在概率的 總和值的百分比，作為素材得分。 例如，在捕獲請求是針對兩個(gè)小節(jié)的節(jié)奏循環(huán)的情況中，首先，計(jì)算當(dāng)前小節(jié)到之 前兩小節(jié)中鼓聲的存在概率的總和(以下稱為總的鼓概率值)。此外，針對當(dāng)前小節(jié)到之前 兩個(gè)小節(jié)計(jì)算所有樂器的存在概率的總和(以下稱為總的概率值)。在計(jì)算這兩種總和值 之后，捕獲范圍確定單元110通過將總的鼓概率值除以總的概率值來計(jì)算值，并且將計(jì)算
結(jié)果作為素材得分。 作為另一示例，當(dāng)捕獲請求是針對4個(gè)小節(jié)上的吉他與弦樂的伴奏的時(shí)，首先，針 對當(dāng)前小節(jié)到之前4個(gè)小節(jié)來計(jì)算吉他聲和弦樂聲的存在概率的總和(以下稱為總的吉 他-弦樂概率值)。此外，針對當(dāng)前小節(jié)到之前4個(gè)小節(jié)來計(jì)算所有樂器的存在概率的總和
(以下稱為總的概率值)。在計(jì)算了這兩種總和值之后，捕獲范圍確定單元iio通過將總的
吉他_弦樂概率值除以總的概率值來計(jì)算值，并且將計(jì)算結(jié)果作為素材得分。 當(dāng)在步驟S126中計(jì)算出了素材得分時(shí)，捕獲范圍確定單元110進(jìn)行到步驟S128的處理。在步驟S128中，判斷步驟S126中所計(jì)算出的素材得分是否是特定值或更大 (S128)。用于步驟S128中的判定處理的特定值是以依賴于由從捕獲請求輸入單元102輸 入的捕獲請求指定的"捕獲的嚴(yán)格度"的方式來確定的。當(dāng)捕獲的嚴(yán)格度被指定為在o.o至 l.O范圍內(nèi)時(shí)，捕獲的嚴(yán)格度的值可以直接用作上述特定值。在這種情況中，捕獲范圍確定 單元110比較步驟S126中所計(jì)算出的素材得分和捕獲的嚴(yán)格度的值，并且當(dāng)素材得分等于 或高于針對捕獲的嚴(yán)格度的值時(shí)，捕獲范圍確定單元110進(jìn)行到步驟S130的處理。另一方 面，當(dāng)素材得分低于捕獲的嚴(yán)格度的值時(shí)，捕獲范圍確定單元110進(jìn)行到步驟S132的處理。
在步驟S130中，捕獲范圍確定單元110將目標(biāo)范圍登記為捕獲范圍，所述目標(biāo)范 圍是從當(dāng)前小節(jié)開始具有由捕獲請求指定的長度的范圍(S130)。當(dāng)目標(biāo)范圍被登記時(shí)，捕 獲范圍確定單元110進(jìn)行到步驟S132的處理。在步驟S132中更新聲源組合的類型(S132)， 并且再次執(zhí)行從步驟S124到步驟S132的聲源組合循環(huán)內(nèi)的處理。當(dāng)聲源組合循環(huán)內(nèi)的處 理完成時(shí)，捕獲范圍確定單元110進(jìn)行到步驟S134的處理。在步驟S134中更新當(dāng)前小節(jié) (S134)，并且再次執(zhí)行從步驟S122到步驟S134的小節(jié)循環(huán)內(nèi)的處理。然后，當(dāng)小節(jié)循環(huán)的 處理完成時(shí)，由捕獲范圍確定單元110進(jìn)行的一系列處理完成。 當(dāng)由捕獲范圍確定單元110進(jìn)行的處理被完成時(shí)，指示被登記為捕獲范圍的音樂 數(shù)據(jù)的范圍的信息從捕獲范圍確定單元110輸入波形捕獲單元112。然后，由捕獲范圍確定 單元110確定的捕獲范圍從音樂數(shù)據(jù)中被捕獲，并且被輸出，作為波形捕獲單元112的波形 素材。 (2-10.硬件結(jié)構(gòu)(信息處理設(shè)備100)) 上述設(shè)備的各個(gè)結(jié)構(gòu)元件的功能例如可以通過圖76中所示的硬件結(jié)構(gòu)和通過使 用用于實(shí)現(xiàn)上述功能的計(jì)算機(jī)程序來實(shí)現(xiàn)。圖76是示出能夠?qū)崿F(xiàn)上述設(shè)備的各個(gè)結(jié)構(gòu)元 件的功能的信息處理設(shè)備的硬件配置的說明性示圖。信息處理設(shè)備的模式是任意的，并且 包括以下諸如移動信息終端、游戲機(jī)或各種類型的信息家電之類的模式，移動信息終端例 如是個(gè)人計(jì)算機(jī)、移動電話、PHS或PDA。此外，PHS是Personal Handy-phone System(個(gè) 人手持式電話系統(tǒng))的縮寫。此外，PDA是Personal Digital Assistant (個(gè)人數(shù)字助理) 的縮寫。 如圖76中所示，信息處理設(shè)備100包括CPU 902、 ROM 904、 RAM 906、主機(jī)總線 908、橋接器910、外部總線912和接口 914。此外，特征量計(jì)算公式生成設(shè)備10包括輸入單 元916、輸出單元918、存儲單元920、驅(qū)動器922、連接端口 924和通信單元926。此外，CPU 是Central Processing Unit(中央處理單元)的縮寫。此夕卜，ROM是Readonly Memory(只 讀存儲器)的縮寫。此外，RAM是Random AccessMemory (隨機(jī)存取存儲器)的縮寫。
CPU 902例如用作算術(shù)處理單元或控制單元，并且基于ROM 904、 RAM 906、存儲單 元920或可移除記錄介質(zhì)928上所記錄的各種程序來控制結(jié)構(gòu)元件或這些結(jié)構(gòu)元件中的 某些結(jié)構(gòu)元件的整體操作。ROM 904例如存儲CPU 902上所加載的程序或算術(shù)運(yùn)算中所使 用的數(shù)據(jù)等。RAM 906臨時(shí)地或永久地存儲例如CPU 902所加載的程序或在程序的執(zhí)行中 任意地改變的各種參數(shù)等。這些結(jié)構(gòu)元件例如通過可以執(zhí)行高速數(shù)據(jù)傳輸?shù)闹鳈C(jī)總線908 來相互連接。例如，主機(jī)總線908通過橋接器910連接到數(shù)據(jù)傳輸速度相對低的外部總線 912。 輸入單元916例如是諸如鼠標(biāo)、鍵盤、觸摸面板、按鈕、開關(guān)或控制桿之類的操作裝置。輸入單元916可以是能夠通過使用紅外射線或其它無線電波來傳送控制信號的遙控 裝置(所謂的遙控器)。輸入單元916包括用于向CPU 902發(fā)送使用上述操作裝置輸入的 信息作為輸入信號的輸入控制電路等。 輸出單元918例如是諸如CRT、LCD、PDP或ELD之類的顯示裝置。同樣，輸出單元 918是可以在視覺上或聽覺上向用戶通知所獲取的信息的、諸如音頻輸出裝置(例如，揚(yáng)聲 器或頭戴式耳機(jī))、打印機(jī)、移動電話或傳真機(jī)之類的裝置。存儲單元920是用來存儲各種 數(shù)據(jù)的裝置，并且例如包括諸如HDD之類的磁存儲裝置、半導(dǎo)體存儲裝置、光存儲裝置或磁 光存儲裝置。此外，CRT是Cathode Ray Tube(陰極射線管)的縮寫。同樣，LCD是Liquid Crystal Display (液晶顯示器)的縮寫。此外，PDP是Plasma Display Panel (等離子顯 示面板)的縮寫。此外，ELD是Electro-Luminescence Display (電致發(fā)光顯示器)的縮 寫。此外，HDD是Hard Disk Drive(硬盤驅(qū)動器)的縮寫。 驅(qū)動器922是讀取可移除記錄介質(zhì)928上所記錄的信息或?qū)⑿畔懭肟梢瞥涗?介質(zhì)928中的裝置，可移除記錄介質(zhì)928例如是磁盤、光盤、磁光盤或半導(dǎo)體存儲器?？梢?除記錄介質(zhì)928例如是DVD介質(zhì)、藍(lán)光介質(zhì)或HD-DVD介質(zhì)。此外，可移除記錄介質(zhì)928例 如是緊湊式閃存(CF ;CompactFlash)(注冊商標(biāo))、記憶棒或SD存儲卡。當(dāng)然，可移除記錄 介質(zhì)928例如可以是綁定了非接觸IC芯片的IC卡。此外，SD是Secure Digital (安全數(shù) 字)的縮寫。同樣，IC是Integrated Circuit (集成電路)的縮寫。
連接端口 924是諸如USB端口 、 IEEE1394端口 、 SCSI、 RS-232C端口之類的端口 ， 或用于連接諸如光學(xué)音頻端子之類的外部連接裝置930的端口。外部連接裝置930例如是 打印機(jī)、移動音樂播放器、數(shù)字相機(jī)或IC記錄器。此外，USB是Universal Serial Bus (通 用串行總線)的縮寫。同樣，SCSI是Small Computer System Interface (小型計(jì)算機(jī)系 統(tǒng)接口)的縮寫。 通信單元926是要連接到網(wǎng)絡(luò)932的通信裝置。通信單元926例如是用于有線或 無線LAN、Bluetooth(注冊商標(biāo))或WUSB的通信卡、光通信路由器、ADSL路由器或各種通信 調(diào)制解調(diào)器。連接到通信單元926的網(wǎng)絡(luò)932包括有線連接或無線連接的網(wǎng)絡(luò)。網(wǎng)絡(luò)932 例如是因特網(wǎng)、家用LAN、紅外通信、可見光通信、廣播或衛(wèi)星通信。此外，LAN是LocalArea Network(局域網(wǎng))的縮寫。此外，WUSB是無線USB的縮寫。此外，ADSL是Asymmetric Digital Subscriber Line (非對稱數(shù)字用戶線)的縮寫。
(2-6.總結(jié)) 最后，將簡要描述本實(shí)施例的信息處理設(shè)備的功能配置和通過這些功能配置獲得 的效果。 首先，根據(jù)本實(shí)施例的信息處理設(shè)備的功能配置可以描述如下。信息處理設(shè)備包 括如下所述的捕獲請求輸入單元、音樂分析單元和捕獲范圍確定單元。捕獲請求輸入單元 用于輸入捕獲請求，捕獲請求包括要被捕獲作為聲音素材的范圍的長度、樂器聲音的類型 和捕獲的嚴(yán)格度作為信息。此外，音樂分析單元用于分析音頻信號并且用于檢測音頻信號 的拍子位置和該音頻信號中各種樂器聲音的存在概率。以這種方式，通過經(jīng)由分析音頻信 號的處理來檢測拍子位置和各種樂器聲音的存在概率，可以從任意樂曲的音頻信號中自動 捕獲聲音素材。此外，捕獲范圍確定單元用于通過使用由音樂分析單元檢測到的拍子位置 和各種樂器聲音的存在概率來確定聲音素材的捕獲范圍，使得聲音素材滿足由捕獲請求輸入單元所輸入的捕獲請求。以這種方式，能夠知道拍子位置使得可以以具有用拍子位置劃 分出的特定長度的范圍為單位來確定捕獲范圍。此外，由于各種樂器聲音的存在概率是針 對各個(gè)范圍計(jì)算出的，所以可以容易地捕獲所希望的樂器聲音所存在于的范圍。即，可以容 易地從樂曲的音頻信號中捕獲適于所希望的聲音素材的范圍的信號。 此外，信息處理設(shè)備還可以包括素材捕獲單元，該素材捕獲單元用于捕獲由捕獲 范圍確定單元從音頻信號中確定的捕獲范圍，并且用于輸出捕獲范圍作為聲音素材。通過 在使以這種方式捕獲的聲音素材與另一已知樂曲的拍子同步的同時(shí)混合該聲音素材和該 已知樂曲，例如可以改變已知樂曲的編排。此外，信息處理設(shè)備還可以包括聲源分離單元， 其用于在音頻信號中包括多種類型的聲源的信號的情況中，從音頻信號中分離各個(gè)聲源的 信號。通過分析針對各種聲源分離出的音頻信號，可以更精確地檢測各種樂器聲音的存在 概率。 此外，音樂分析單元還可以被配置為通過分析音頻信號來進(jìn)一步檢測音頻信號的
和弦進(jìn)行。在這種情況中，捕獲范圍確定單元確定滿足捕獲請求的捕獲范圍，并且與有關(guān)捕
獲范圍的信息一起輸出捕獲范圍內(nèi)的和弦進(jìn)行。有關(guān)和弦進(jìn)行的信息以及有關(guān)捕獲范圍的
信息一起被提供給用戶，使得可以在與另一已知樂曲混合時(shí)參考該和弦進(jìn)行。此外，和弦進(jìn)
行可以與作為聲音素材被輸出的捕獲范圍的音頻信號一起被素材捕獲單元輸出。 此外，音樂分析單元可以被配置為通過使用能夠自動生成用于提取任意音頻信
號的特征量的計(jì)算公式的計(jì)算公式生成設(shè)備來生成用于提取與拍子位置有關(guān)的信息和與
各種樂器聲音的存在概率有關(guān)的信息的計(jì)算公式，并且通過使用計(jì)算公式來檢測音頻信號
的拍子位置和音頻信號中各種樂器聲音的存在概率，該計(jì)算公式生成設(shè)備通過使用多個(gè)音
頻信號和這些音頻信號中每一個(gè)音頻信號的特征量來自動生成計(jì)算公式。通過使用已經(jīng)描
述的學(xué)習(xí)算法等可以計(jì)算出拍子概率和各種樂器聲音的存在概率。通過使用所述方法，變
得有可能從任意音頻信號中自動提取拍子概率和各種樂器聲音的存在概率，并且實(shí)現(xiàn)如上
所述的針對聲音素材的自動捕獲處理。 此外，捕獲范圍確定單元可以包括素材得分計(jì)算單元，其用于針對音頻信號的各 個(gè)范圍計(jì)算通過捕獲請求所指定的類型的樂器聲音的存在概率的總和，并且用于計(jì)算通過 將總計(jì)出的存在概率除以該范圍內(nèi)所有樂器聲音的存在概率的總和而獲得的值作為素材 得分，各個(gè)范圍具有通過捕獲請求所指定的捕獲范圍長度。在這種情況中，捕獲范圍確定單 元確定由素材得分計(jì)算單元所計(jì)算出的素材得分高于捕獲的嚴(yán)格度的值的范圍，作為滿足 捕獲請求的捕獲范圍。以這種方式，基于上述素材得分可以確定捕獲范圍是否適于所希望 的聲音素材。此外，捕獲的嚴(yán)格度的值被指定以與素材得分的表達(dá)形式相匹配，并且可以被 直接與素材得分相比較。 此外，聲源分離單元可以被配置為從音頻信號中分離出前景聲音的信號和背景聲
音的信號，并且還將前景聲音的信號中位于中心周圍的中心信號、左聲道信號和右聲道信
號相互分離。如已經(jīng)描述的，前景聲音的信號被分離出，作為左右之間具有小的相位差的信
號。而且，背景聲音的信號被分離出，作為左右之間具有大的相位差的信號。而且，中心信
號被從前景聲音的信號中分離出，作為左右之間具有小的音量差的信號。此外，左聲道信號
和右聲道信號被各自分離出，作為具有大的左音量或右音量的信號。
(評述)
上述波形捕獲單元112是素材捕獲單元的示例，而且，特征量計(jì)算公式生成設(shè)備 IO是計(jì)算公式生成設(shè)備的示例。上述捕獲范圍確定單元110的功能的一部分是素材得分計(jì) 算單元的示例。 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)要求和其它因素，可以進(jìn)行各種修改、組合、 子組合和更改，只要它們在所附權(quán)利要求及其等同物的范圍以內(nèi)即可。
本申請包含與2008年12月5日在日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2008-310721中所公開的主題相關(guān)的主題，其全部內(nèi)容被通過引用結(jié)合于此。
權(quán)利要求
一種信息處理設(shè)備，包括音樂分析單元，所述音樂分析單元用于分析用作聲音素材的捕獲源的音頻信號，并且用于檢測所述音頻信號的拍子位置和所述音頻信號中的各種樂器聲音的存在概率；以及捕獲范圍確定單元，所述捕獲范圍確定單元用于通過使用由所述音樂分析單元所檢測到的所述拍子位置和所述各種樂器聲音的存在概率來確定所述聲音素材的捕獲范圍。
2. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，還包括捕獲請求輸入單元，所述捕獲請求輸入單元用于輸入捕獲請求，所述捕獲請求包括以 下內(nèi)容中的至少一個(gè)作為信息要被捕獲作為所述聲音素材的范圍的長度、樂器聲音的類 型和捕獲的嚴(yán)格度，射所述捕獲范圍確定單元確定所述聲音素材的捕獲范圍使得所述聲音素材滿足通過所 述捕獲請求輸入單元輸入的所述捕獲請求。
3. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，還包括素材捕獲單元，所述素材捕獲單元用于從所述音頻信號中捕獲由所述捕獲范圍確定單 元確定的所述捕獲范圍并且用于輸出所述捕獲范圍作為所述聲音素材。
4. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，還包括聲源分離單元，所述聲源分離單元用于在所述音頻信號中包括多種類型的聲源的信號 的情況中，從所述音頻信號中分離出各種聲源的信號。
5. 根據(jù)權(quán)利要求l所述的信息處理設(shè)備，其中所述音樂分析單元還通過分析所述音頻信號來檢測所述音頻信號的和弦進(jìn)行，并且 所述捕獲范圍確定單元確定所述聲音素材的捕獲范圍，并且一起輸出有關(guān)所述捕獲范 圍的信息和所述捕獲范圍中的和弦進(jìn)行。
6. 根據(jù)權(quán)利要求3所述的信息處理設(shè)備，其中所述音樂分析單元還通過分析所述音頻信號來檢測所述音頻信號的和弦進(jìn)行，并且 所述素材捕獲單元輸出所述捕獲范圍的音頻信號作為聲音素材，并且還輸出所述捕獲 范圍中的和弦進(jìn)行。
7. 根據(jù)權(quán)利要求l所述的信息處理設(shè)備，其中所述音樂分析單元通過使用能夠自動生成用于提取任意音頻信號的特征量的計(jì)算公 式的計(jì)算公式生成設(shè)備來生成用于提取與所述拍子位置有關(guān)的信息和與所述各種樂器聲 音的存在概率有關(guān)的信息的計(jì)算公式，并且通過使用所述計(jì)算公式來檢測所述音頻信號中 的拍子位置和所述音頻信號中的各種樂器聲音的存在概率，所述計(jì)算公式生成設(shè)備通過使 用多個(gè)音頻信號和所述音頻信號中每個(gè)音頻信號的特征量來自動生成所述計(jì)算公式。
8. 根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中 所述捕獲范圍確定單元包括素材得分計(jì)算單元，所述素材得分計(jì)算單元用于針對所述音頻信號的各個(gè)范圍來 計(jì)算通過所述捕獲請求指定的類型的樂器聲音的存在概率的總和，并且用于計(jì)算通過將總 計(jì)出的存在概率除以該范圍內(nèi)所有樂器聲音的存在概率的總和而獲得的值作為素材得分， 并且確定由所述素材得分計(jì)算單元所計(jì)算出的素材得分高于捕獲的嚴(yán)格度的值的范圍，作 為滿足所述捕獲請求的捕獲范圍。
9. 根據(jù)權(quán)利要求3所述的信息處理設(shè)備，其中所述聲源分離單元從所述音頻信號中分離出前景聲音的信號和背景聲音的信號，并且還將所述前景聲音的信號中位于中心周圍的中心信號、左聲道信號和右聲道信號相互分離。
10. —種聲音素材捕獲方法，當(dāng)用作聲音素材的捕獲源的音頻信號被輸入信息處理設(shè)備時(shí)，所述方法包括以下步驟分析所述音頻信號，并且檢測所述音頻信號的拍子位置和所述音頻信號中各種樂器聲音的存在概率；以及通過使用通過分析和檢測步驟所檢測到的所述拍子位置和所述各種樂器聲音的存在概率來確定所述聲音素材的捕獲范圍，射所述步驟是由所述信息處理設(shè)備執(zhí)行的。
11. 一種程序，其使得計(jì)算機(jī)實(shí)現(xiàn)當(dāng)用作聲音素材的捕獲源的音頻信號被輸入時(shí)，分析所述音頻信號并且檢測所述音頻信號的拍子位置和所述音頻信號中各種樂器聲音的存在概率的音樂分析功能；以及通過使用通過所述音樂分析功能檢測到的所述拍子位置和所述各種樂器聲音的存在概率來確定所述聲音素材的捕獲范圍的捕獲范圍確定功能。
全文摘要
本發(fā)明公開了一種信息處理設(shè)備、聲音素材捕獲方法和程序。該信息處理設(shè)備包括音樂分析單元，其分析用作聲音素材的捕獲源的音頻信號并且檢測音頻信號的拍子位置和音頻信號中各種樂器聲音的存在概率；以及捕獲范圍確定單元，其用于通過使用由音樂分析單元所檢測到的拍子位置和各種樂器聲音的存在概率來確定聲音素材的捕獲范圍。
文檔編號G10H1/00GK101751912SQ20091025363
公開日2010年6月23日 申請日期2009年12月7日 優(yōu)先權(quán)日2008年12月5日
發(fā)明者小林由幸 申請人:索尼株式會社