分解音頻信號的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明總體上涉及信號處理，更具體地，涉及將來自至少兩個不同聲道的多個音 頻信號分解為直達(dá)和/或擴(kuò)散信號。
【背景技術(shù)】
[0002] 在諸如音頻上混合、音頻制作等許多應(yīng)用中，可以采用上混合技術(shù)來創(chuàng)建具有沉 浸感的聲場。在這種應(yīng)用中，可能通常需要將多聲道音頻信號分解為直達(dá)和/或擴(kuò)散信號。
[0003] 如本文所使用，術(shù)語"直達(dá)信號"或"直達(dá)成分"是指給收聽者如下印象的音頻信 號或成分，即所聽到的聲音具有明顯的方向。術(shù)語"擴(kuò)散信號"或"擴(kuò)散成分"是指給收聽 者如下印象的音頻信號或成分，即所聽到的聲音不具有明顯方向或者是從該收聽者周圍多 個方向發(fā)出的。典型地，直達(dá)信號可以是多聲道音頻信號中來源于直達(dá)聲音源并且在聲道 之間平移的較主要的聲音信號。擴(kuò)散信號可以是多聲道音頻信號中與直達(dá)聲音源弱相關(guān)的 并且跨聲道而分布的較不主要的聲音信號，諸如環(huán)境聲音、混響等。如本文所使用，術(shù)語"主 要信號"或"主要成分"是指多個信號或成分中具有較大功率的信號或成分。
[0004] 期望提供一種較準(zhǔn)確的分解多聲道音頻信號的方式，以便提供更具沉浸感的聲 場。

【發(fā)明內(nèi)容】

[0005] 為了解決上述問題，本發(fā)明提出一種用于分解來自至少兩個不同聲道的多個音頻 信號的方法和系統(tǒng)。
[0006] 在一個方面，本發(fā)明的實施例提供一種用于分解來自至少兩個不同聲道的多個音 頻信號的方法。該方法包括：獲得一組成分，該組成分是弱相關(guān)的，該組成分基于該多個音 頻信號而生成；從該組成分提取特征；至少部分地基于所提取的特征來確定與該組成分相 關(guān)聯(lián)的一組增益，所述增益中的每個增益指示相關(guān)聯(lián)的成分中的擴(kuò)散部分的比例；以及通 過將該組增益應(yīng)用到該組成分來分解該多個音頻信號。這方面的實施例還包括相應(yīng)的計算 機(jī)程序產(chǎn)品。
[0007] 在另一方面，本發(fā)明的實施例提供一種用于分解來自至少兩個不同聲道的多個音 頻信號的系統(tǒng)。該系統(tǒng)包括：成分獲得單元，被配置為獲得一組成分，該組成分是弱相關(guān)的， 該組成分基于該多個音頻信號而生成；特征提取單元，被配置為從該組成分提取特征；增 益確定單元，被配置為至少部分地基于所提取的特征來確定與該組信號成分相關(guān)聯(lián)的一組 增益，所述增益中的每個增益指示相關(guān)聯(lián)的成分中的擴(kuò)散部分的比例；以及分解單元，被配 置為通過將該組增益應(yīng)用到該組成分而分解該多個音頻信號。
[0008] 通過下文描述將會理解，根據(jù)本發(fā)明的實施例，來自多個聲道的多個音頻信號的 方向性和擴(kuò)散性特性可以基于根據(jù)該音頻信號生成的一組弱相關(guān)的成分來較準(zhǔn)確地分析。 因此，音頻信號的分解可以較準(zhǔn)確，以使得可以創(chuàng)建更具沉浸感的聲場。
[0009] 本發(fā)明的實施例所帶來的其他益處將通過下文描述而清楚。
【附圖說明】
[0010] 通過參考附圖閱讀下文的詳細(xì)描述，本發(fā)明實施例的上述以及其他目的、特征和 優(yōu)點(diǎn)將變得易于理解。在附圖中，以示例而非限制性的方式示出了本發(fā)明的若干實施例，其 中：
[0011] 圖1示出了根據(jù)本發(fā)明的某些示例實施例的用于分解來自至少兩個不同聲道的 多個音頻信號的過程的框圖；
[0012] 圖2示出根據(jù)本發(fā)明的某些實施例的用于分解來自至少兩個不同聲道的多個音 頻信號的方法的流程圖；
[0013] 圖3示出了根據(jù)本發(fā)明的一個實施例的用于確定增益的方法的流程圖；
[0014] 圖4示出了根據(jù)本發(fā)明的另一實施例的用于確定增益的方法的流程圖；
[0015] 圖5示出根據(jù)本發(fā)明的某些實施例的用于分解多個音頻信號的的過程的框圖；
[0016] 圖6示出了根據(jù)本發(fā)明的某些示例實施例的用于分解來自至少兩個不同聲道的 多個音頻信號的系統(tǒng)的框圖；以及
[0017] 圖7示出了適于用來實現(xiàn)本發(fā)明實施例的計算機(jī)系統(tǒng)的示意性框圖。
[0018] 在各個附圖中，相同或?qū)?yīng)的標(biāo)號表7K相同或?qū)?yīng)的部分。 具體實施例
[0019] 下面將參考附圖中示出的若干示例實施例來描述本發(fā)明的原理。應(yīng)當(dāng)理解，描述 這些實施例僅僅是為了使本領(lǐng)域技術(shù)人員能夠更好地理解進(jìn)而實現(xiàn)本發(fā)明，而并非以任何 方式限制本發(fā)明的范圍。
[0020] 如本文所使用，術(shù)語"包括"及其變型要被理解為開放的術(shù)語，即意味著"包括但不 限于"。術(shù)語"基于"要被理解為"至少部分地基于"。術(shù)語"一個實施例"和"一實施例"要 被理解為"至少一個實施例"。術(shù)語"另一實施例"要被理解為"至少一個其他實施例"。以 下可以包括其他明確和隱含的定義。
[0021] 在分解多聲道音頻信號的傳統(tǒng)方式中，直接對原始多聲道音頻信號進(jìn)行分解，并 且繼而將具有最大功率的成分確定為直達(dá)成分，而將其他成分確定為擴(kuò)散成分。這種方式 在期望輸出音頻信號的改善的藝術(shù)效果的應(yīng)用中可能太粗糙。在該應(yīng)用中，可能期望向收 聽者提供更具沉浸感的擴(kuò)散聲場，或者在沒有明顯方向的包絡(luò)擴(kuò)散聲場內(nèi)有較多具有明顯 方向的可聽成分的感受。
[0022] 為了解決上述以及其他潛在的問題，本發(fā)明的某些實施例提供了一種用于分解來 自至少兩個不同聲道的多個音頻信號的方法和系統(tǒng)。在該方法和系統(tǒng)中，基于該多個音頻 信號生成的一組弱相關(guān)成分。然后，對該弱相關(guān)成分進(jìn)行分析，以基于該分析對音頻信號執(zhí) 行直達(dá)-擴(kuò)散分解。歸因于所生成的成分之間的弱相關(guān)性，可以較準(zhǔn)確地分析音頻信號的 方向性和擴(kuò)散性特性。因此，音頻信號的分解可以較準(zhǔn)確，并且可以創(chuàng)建更具沉浸感的聲 場。
[0023] 首先參照圖1，其示出了根據(jù)本發(fā)明的某些示例實施例的用于分解來自至少兩個 不同聲道的多個音頻信號的過程1〇〇的框圖。作為示例，可以從諸如立體聲聲道、5. 1聲道、 7. 1聲道等多個聲道中選擇那些不同聲道。多個音頻信號中的每個音頻信號與那些不同聲 道中的一個聲道相關(guān)聯(lián)。
[0024] 如上所示，在傳統(tǒng)的多聲道音頻信號分解中，直接將分析過程應(yīng)用到原始輸入多 聲道音頻信號上。應(yīng)當(dāng)理解，若干相關(guān)的直達(dá)和擴(kuò)散成分可以被混合到原始多聲道音頻信 號中。直達(dá)和擴(kuò)散成分之間的相關(guān)性非常有可能減低分析的準(zhǔn)確性。根據(jù)本發(fā)明的實施例， 取代直接應(yīng)用分析，而基于來自至少兩個不同聲道的多個音頻信號來生成弱相關(guān)的一組成 分。然后基于所生成的成分來執(zhí)行分析以及進(jìn)一步的分解。如此，由分解所產(chǎn)生的擴(kuò)散聲 場和/或立體聲像可以具有較高質(zhì)量。
[0025] 如圖1所示，在框101，基于該多個音頻信號生成一組弱相關(guān)成分。如所示出的，從 兩個或多個輸入聲道接收音頻信號，并且生成一組弱相關(guān)成分。如本文所使用，術(shù)語"弱相 關(guān)成分"是指如下一組信號成分，該成分之間的相關(guān)性低于預(yù)定義的閾值。特別地，完全不 相關(guān)的成分可以被視為弱相關(guān)成分。根據(jù)本發(fā)明的實施例，可以通過對輸入音頻信號的一 個或多個組合進(jìn)行變換來生成該成分，并且因此音頻信號的數(shù)目和成分的數(shù)目可以相同或 不同。
[0026] 接下來，在框102,對弱相關(guān)成分進(jìn)行分析。根據(jù)本發(fā)明的實施例，基于該分析確定 與成分相關(guān)聯(lián)的一組增益。繼而，在框103,將輸入音頻信號分解成直達(dá)和擴(kuò)散信號中的至 少一個。如上所述，多個音頻信號中的每個音頻信號與至少兩個不同聲道中的一個聲道相 關(guān)聯(lián)。應(yīng)當(dāng)理解通過對該多個音頻信號進(jìn)行分解獲得的直達(dá)和擴(kuò)散信號的數(shù)目取決于輸入 音頻信號的直達(dá)和擴(kuò)散特性。
[0027] 根據(jù)本發(fā)明的實施例，用于分解音頻信號的過程100可以在時域執(zhí)行，或者在頻 域執(zhí)行，包括在全頻帶或子頻帶中執(zhí)行?；谕ㄟ^利用過程1〇〇分解音頻信號而獲得的直 達(dá)和擴(kuò)散信號，可以創(chuàng)建更具沉浸感的聲場。下面將參考圖2-6描述框101-103更具體的 過程。
[0028] 圖2示出根據(jù)本發(fā)明的某些實施例的用于分解來自至少兩個不同聲道的多個音 頻信號的方法200的流程圖。
[0029] 如圖2所示，在步驟S201，獲得一組弱相關(guān)成分，該成分是基于多個音頻信號生成 的。根據(jù)本發(fā)明的實施例，獲得成分的過程包括生成該成分和/或從其他實體接收該成分。 也就是說，成分的生成和后續(xù)過程可以由一個單獨(dú)的實體執(zhí)行，或者分別由兩個不同實體 執(zhí)行。
[0030] 如以上參考圖1所述，可以通過對輸入音頻信號的一個或多個組合進(jìn)行變換來生 成成分。根據(jù)本發(fā)明的實施例，有可能采用能夠生成弱相關(guān)成分的任何變換方式，包括但不 限于獨(dú)立成分分析（ICA)、B格式分析、主成分分析（PCA)等。
[0031] 在一個實施例中，音頻信號的示例變換可以使用線性方程系統(tǒng)來實施，諸如等式 (1)給出的矩陣乘法：
[0032]
[0033] 其中文表不代表通過組合N個輸入信號而獲得的Μ個中間信號的行向量；Alpha表 示變換矩陣Μ·Μ，其中將每個列向i (i=1，. . .，M)，約束為單位向量；f表示代表 弱相關(guān)的Μ個成分的行向量。
[0034] 根據(jù)本發(fā)明的實施例，可以在時域或頻域中對音頻信號進(jìn)行變換。利用該變換，來 自Μ個變量的原始空間的數(shù)據(jù)向量可以被影射到弱相關(guān)的Μ個變量的新空間。通過對根據(jù) 音頻信號生成的弱相關(guān)成分而不是混合的原始音頻信號本身進(jìn)行分析，音頻信號內(nèi)由于相 關(guān)性而導(dǎo)致的干擾可以被顯著地減小。因此，后續(xù)信號分解可以更準(zhǔn)確。
[0035] 接下來，方法200進(jìn)行到步驟S202,其中從弱相關(guān)的成分中提取特征。根據(jù)本發(fā)明 的實施例，所提取的特征指示成分的方向性和擴(kuò)散性特性，并且將被用于促進(jìn)音頻信號的 后續(xù)分解。
[0036] 在一個實施例中，在步驟S202處提取的特征可以包括特定于一個成分的局部特 征，其指示該成分的方向性和擴(kuò)散性特性。備選地或附加地，所提取的特征可以包括與整組 成分有關(guān)的全局特征，其指示與改組成分有關(guān)的方向性和擴(kuò)散性特性。
[0037] 在一個實施例中，特定于一個成分的局部特征可以包括例如該成分在多個聲道中 的位置統(tǒng)計。該統(tǒng)計可以在時域或頻域中執(zhí)行。
[0038] 通常而言，直達(dá)成分在多個聲道中的位置較穩(wěn)定或者隨時間變換較慢，而擴(kuò)散成 分的位置隨時間較隨機(jī)并且散雜。因此，成分在時域的位置統(tǒng)計可以指示該成分的方向性 和擴(kuò)散性特性。
[0039] 根據(jù)本發(fā)明的實施例，成分在時域的位置統(tǒng)計可以由給成分在多個聲道的位置隨 時間的變換來表示。例如，假設(shè)單位向：
指示成分C1>t在Μ個聲道中的位置，其中t 表示當(dāng)前時間戳比如當(dāng)前幀。在一個實施例中，成分的位置變化的表示是如等式（2)中給 出的平方歐式距離D1>t :
[0040](3) 尸丄
[0041] 在另一實施例中，成分的位置變化的表示是由等式（3)中給出的余弦距離：
[0042]