基于多聲道音頻內(nèi)容分析的上混檢測(cè)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明總地涉及信號(hào)處理。更特別地，本發(fā)明的實(shí)施例涉及基于多聲道音頻內(nèi)容 的分析取證（forensic)檢測(cè)該內(nèi)容中的上混。
【背景技術(shù)】
[0002] 立體聲（stereo)音頻內(nèi)容具有兩個(gè)聲道，這兩個(gè)聲道就它們的相對(duì)空間方位而 言典型地被稱為"左"聲道和"右"聲道。具有多于兩個(gè)聲道的音頻內(nèi)容通常被稱為"多聲 道"內(nèi)容。例如，"5. 1"和"7. 1"（以及其他）多聲道音頻系統(tǒng)生成具有正常雙耳聽力的用 戶可以將其感知為"環(huán)繞聲"的聲場(chǎng)。典型的5. 1多聲道音頻系統(tǒng)具有五個(gè)聲道，這五個(gè)聲 道就它們的相對(duì)空間方位而言典型地被稱為"左" (L)、"右" (R)、"中央" (C)、"左環(huán)繞" (Ls)、 "右環(huán)繞"（Rs)和"低頻效果"（LFE)聲道。多聲道音頻內(nèi)容可以包括各種分量。
[0003] 例如，電影聲帶的音頻內(nèi)容可以包括語(yǔ)音分量（例如，演員之間的對(duì)話）、周圍環(huán) 境自然聲音分量（例如，風(fēng)噪聲、海浪聲）、與特定場(chǎng)景相關(guān)的周圍環(huán)境聲音分量（例如，機(jī) 器噪聲、動(dòng)物和人類的聲音（比如，腳步聲或輕敲聲））、和/或音樂分量（例如，背景音樂、 配樂、音樂聲響（諸如歌聲或合唱）、場(chǎng)景中的樂隊(duì)和管弦樂隊(duì)）。音頻內(nèi)容分量中的一些 典型地可以與特定音頻聲道相關(guān)聯(lián)。例如，語(yǔ)音相關(guān)分量常常在中央聲道中進(jìn)行呈現(xiàn)，中央 聲道驅(qū)動(dòng)中央擴(kuò)音器（中央擴(kuò)音器有時(shí)位于投影屏幕的后面）。因此，觀眾可以與"在屏幕 上講話"的人空間對(duì)應(yīng)地感知到語(yǔ)音。
[0004] 多聲道音頻內(nèi)容可以像這樣直接記錄，或者它可以從內(nèi)容的其本身包括較少聲道 的實(shí)例產(chǎn)生。通過(guò)從具有較少聲道的內(nèi)容實(shí)例產(chǎn)生多聲道音頻內(nèi)容實(shí)例的處理典型地被稱 為上混。因此例如，立體聲內(nèi)容可以被上混為5.1內(nèi)容。上混器分析輸入的立體聲內(nèi)容，并 且估計(jì)直達(dá)信號(hào)分量和周圍環(huán)境信號(hào)分量?；谒烙?jì)的直達(dá)信號(hào)分量和周圍環(huán)境信號(hào)分 量，上混器對(duì)于單獨(dú)的輸出聲道中的每個(gè)產(chǎn)生信號(hào)。對(duì)于單獨(dú)的輸出聲道中的每個(gè)產(chǎn)生的 信號(hào)然后驅(qū)動(dòng)相應(yīng)的L、R、C、Ls或Rs擴(kuò)音器。
[0005] 從上混器推導(dǎo)的多聲道音頻內(nèi)容還包括諸如聲道對(duì)之間的關(guān)系的特征性特征。例 如，聲道對(duì)（L/R、Ls/Rs、L/Ls、R/Rs、L/C、R/C等）可以共享某些相對(duì)相位取向、相對(duì)聲道間 時(shí)間延遲、互聲道相關(guān)性和/或其他特性。特定內(nèi)容段或者其一部分的特性中的一些可以 是其獨(dú)有的。而且，特定內(nèi)容實(shí)例的特性可相對(duì)于同一內(nèi)容的另一實(shí)例的相應(yīng)特性是獨(dú)有 的。因此例如，5. 1內(nèi)容的一部分的上混實(shí)例的特性與同一 5. 1內(nèi)容部分的原始實(shí)例的特性 可有所不同，可能明顯不同。此外，同一內(nèi)容部分的用不同上混器處理或平臺(tái)獨(dú)立地上混的 每一個(gè)單獨(dú)實(shí)例的特性也可彼此有所不同，可能明顯不同。
[0006] 背景章節(jié)中所討論的方法是可以尋求的方法，但是不一定是以前已經(jīng)設(shè)想到或?qū)?求到的方法。因此，除非另有指示，否則不應(yīng)僅因本章節(jié)中所描述的任一方法包括在本章節(jié) 中就將該方法當(dāng)作現(xiàn)有技術(shù)。類似地，除非另有指示，否則關(guān)于一種或多種方法認(rèn)定的問題 不應(yīng)基于該章節(jié)就假定為已經(jīng)在任何現(xiàn)有技術(shù)中被認(rèn)識(shí)到。
【附圖說(shuō)明】
[0007] 本發(fā)明的實(shí)施例在附圖的圖中是以舉例的方式、而不是以限制的方式例示的，在 附圖中，相似的標(biāo)號(hào)指代類似的元件，其中：
[0008] 圖1描繪根據(jù)本發(fā)明的實(shí)施例的示例取證上混器身份檢測(cè)系統(tǒng)；
[0009] 圖2A描繪根據(jù)本發(fā)明的實(shí)施例的基于階次分析（rank analysis)的特征檢測(cè)的 示例處理的流程圖；
[0010] 圖2B描繪基于本發(fā)明的實(shí)施例的示例實(shí)現(xiàn)的階次估計(jì)的第一比較；
[0011] 圖3描繪根據(jù)本發(fā)明的實(shí)施例的用于計(jì)算語(yǔ)音泄漏特征的示例處理；
[0012] 圖4描繪各種多聲道內(nèi)容例子的信號(hào)能量泄漏的繪圖；
[0013] 圖5A和圖5B分別描繪示例低通濾波器響應(yīng)和示例架式濾波器頻率響應(yīng)；
[0014] 圖6描繪一對(duì)音頻聲道之間的示例時(shí)間延遲估計(jì)；
[0015] 圖7和圖8描繪關(guān)于示例上混器的在兩種各自的操作模式中的示例相關(guān)值分布；
[0016] 圖9描繪可以用其實(shí)施本發(fā)明的實(shí)施例的示例計(jì)算機(jī)系統(tǒng)平臺(tái)；和
[0017] 圖10描繪可以用其實(shí)施本發(fā)明的實(shí)施例的示例集成電路（IC)器件。
【具體實(shí)施方式】
[0018] 本文中描述了基于多聲道音頻內(nèi)容的分析取證地檢測(cè)該內(nèi)容中的上混。在以下描 述中，為了說(shuō)明的目的，闡述了與一個(gè)或多個(gè)示例實(shí)施例相關(guān)的許多特定細(xì)節(jié)，以便提供本 發(fā)明的透徹理解。然而，將顯而易見的是，可以在沒有這些特定細(xì)節(jié)的情況下實(shí)施本發(fā)明。 在其他情況下，為了清晰、簡(jiǎn)潔和簡(jiǎn)單，并且為了避免不必要地閉塞、模糊或混淆本發(fā)明，不 對(duì)公知的結(jié)構(gòu)和裝置進(jìn)行詳盡描述。
[0019] 概述
[0020] 本文中所描述的示例實(shí)施例涉及基于多聲道音頻內(nèi)容的分析的該內(nèi)容中的上混 的取證檢測(cè)。描述取證音頻上混器檢測(cè)。從具有兩個(gè)或更多個(gè)單獨(dú)的聲道的音頻信號(hào)提取 特征集。基于所提取的特征集，確定音頻信號(hào)是否是從具有較少聲道的音頻內(nèi)容上混的。該 確定使得可以大體上檢測(cè)到在產(chǎn)生多聲道音頻時(shí)涉及上混并且識(shí)別產(chǎn)生所訪問的音頻信 號(hào)的特定上混器。上混確定包括基于統(tǒng)計(jì)學(xué)習(xí)模型計(jì)算所提取的特征的得分，該得分可以 基于離線訓(xùn)練集計(jì)算。在本文中關(guān)于自適應(yīng)增強(qiáng)（AdaBoost)來(lái)描述統(tǒng)計(jì)學(xué)習(xí)模型。然而， 實(shí)施例可以使用高斯混合模型（GMM)、支持矢量機(jī)（SVM)和/或另一機(jī)器學(xué)習(xí)處理來(lái)實(shí)現(xiàn)。
[0021] 所提取的特征可以包括下列中的一個(gè)或多個(gè)：所訪問的音頻信號(hào)的階次分析、信 號(hào)的至少一個(gè)分量在所訪問的音頻信號(hào)的兩個(gè)或更多個(gè)聲道上的泄漏的分析、所述兩個(gè)或 更多個(gè)聲道中的至少一對(duì)聲道之間的傳遞函數(shù)的估計(jì)、所述兩個(gè)或更多個(gè)聲道中的至少一 對(duì)聲道之間的相位關(guān)系的估計(jì)、和/或所述兩個(gè)或更多聲道中的至少一對(duì)聲道之間的時(shí)間 延遲關(guān)系的估計(jì)?？梢酝ㄟ^(guò)計(jì)算該對(duì)聲道中的每個(gè)聲道之間的相關(guān)性來(lái)估計(jì)時(shí)間延遲關(guān)系 或相位關(guān)系中的一個(gè)或多個(gè)的估計(jì)。
[0022] 可以在時(shí)域中對(duì)所訪問的音頻信號(hào)寬廣地執(zhí)行階次分析，和/或在與所訪問的音 頻信號(hào)的兩個(gè)或更多個(gè)聲道相應(yīng)的多個(gè)頻帶中的每個(gè)頻帶中執(zhí)行階次分析。當(dāng)執(zhí)行基于寬 帶時(shí)域的階次分析和相應(yīng)頻帶中的每個(gè)頻帶中的階次分析時(shí)，可以比較這些分析?？梢园?時(shí)間（例如，在時(shí)間上）對(duì)齊聲道對(duì)的每個(gè)聲道，其后實(shí)施例執(zhí)行階次分析。
[0023] 實(shí)施例可以重復(fù)階次分析。例如，可以一開始執(zhí)行一階分析以獲得一階估計(jì)，其后 可以對(duì)所訪問的音頻信號(hào)的至少一對(duì)環(huán)繞聲聲道（例如，Ls、Rs)執(zhí)行逆去相關(guān)。逆去相關(guān) 一經(jīng)執(zhí)行，可以重復(fù)階次分析以獲得二階估計(jì)。然后可比較一階估計(jì)和二階估計(jì)。
[0024]信號(hào)分量泄漏分析包括將所提取的特征歸類為與音頻信號(hào)的一個(gè)或多個(gè)分量在 聲道之間的泄漏有關(guān)。一些特定音頻信號(hào)分量典型地與特定的聲道或聲道組相關(guān)聯(lián)，因此 預(yù)期在該聲道或聲道組中（例如，在多聲道音頻內(nèi)容的離散實(shí)例中、在除了與它相關(guān)聯(lián)的 聲道之外的聲道中）被找到。
[0025]例如，語(yǔ)音相關(guān)的信號(hào)分量經(jīng)?；虻湫偷嘏c諸如內(nèi)容的原始實(shí)例的離散多聲道音 頻中的中央（C)聲道相關(guān)聯(lián)。在泄漏分析指示從音頻內(nèi)容提取的特征與同期（同時(shí)）存在 于音頻信號(hào)的至少兩個(gè)聲道中的每個(gè)聲道中的語(yǔ)音分量相關(guān)的情況下，該分析可以指示該 內(nèi)容被上混，例如，該內(nèi)容包括除了其獨(dú)立或原始實(shí)例之外的實(shí)例。而且，在其中找到語(yǔ)音 分量的所述至少兩個(gè)聲道中的一個(gè)或多個(gè)聲道包括除了中央（C)聲道之外的聲道，諸如L 聲道和R聲道或者環(huán)繞聲聲道中的一個(gè)或多個(gè)。
[0026] 與音頻信號(hào)的語(yǔ)音相關(guān)的分量本身相反，與音樂聲響（諸如合聲或贊歌）相關(guān)的 信號(hào)分量可以典型地集中在離散多聲道音頻內(nèi)容的L聲道和R聲道中。其他更多的類似語(yǔ) 音的音樂聲響分量（諸如獨(dú)唱、抒情、歌劇等）可以在C聲道中。在信號(hào)泄漏分析指示從音 頻內(nèi)容提取的特征與預(yù)期在一個(gè)或多個(gè)聲道（例如，L和R)中、但存在于它們不預(yù)期位于的 一個(gè)或多個(gè)其他聲道（例如，Ls、Rs或C)中（或者例如，非典型地，在離散多聲道內(nèi)容中） 的贊歌或演唱聲音合聲信號(hào)分量相關(guān)的情況下，該分析可以也指