將隱藏對(duì)象用于信號(hào)混合操作的空間音頻對(duì)象編碼的設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及音頻信號(hào)處理，并且尤其涉及一種解碼器、一種編碼器、一種系統(tǒng)、一 種方法以及一種計(jì)算機(jī)程序，用于將隱藏對(duì)象用于信號(hào)混合操作的空間音頻對(duì)象編碼。
【背景技術(shù)】
[0002] 音頻信號(hào)處理變得越來(lái)越重要。近年來(lái)，在音頻編碼領(lǐng)域[BCC，JSC，S A O C，SAOC l，SA0C2]中并且在消息源分離領(lǐng)域[ISS1，ISS2，ISS3，ISS4，ISS5，ISS6]中，提出了用于 包含多個(gè)音頻對(duì)象的音頻場(chǎng)景的比特率有效傳輸和/或儲(chǔ)存的參數(shù)技術(shù)。這些技術(shù)旨在根 據(jù)描述所傳輸?shù)暮?或儲(chǔ)存的視頻場(chǎng)景和/或在視頻場(chǎng)景內(nèi)的視頻源對(duì)象的附加邊信息， 重構(gòu)期望的輸出音頻場(chǎng)景或期望的音頻源對(duì)象。
[0003] 圖11描述了示出MPEG SAOC (MPEG =運(yùn)動(dòng)圖像專(zhuān)家組；SAOC =空間音頻對(duì)象編 碼）的實(shí)例的根據(jù)現(xiàn)有技術(shù)水平的系統(tǒng)。尤其地，圖11示出了 MPEG SAOC系統(tǒng)概述。
[0004] 根據(jù)現(xiàn)有技術(shù)水平，通常通過(guò)頻率選擇的方式執(zhí)行一般處理，并且例如，可以在每 個(gè)頻帶內(nèi)，如下描述該一般處理：
[0005] N個(gè)輸入音頻對(duì)象信號(hào)S1. .. sN向下混合成P個(gè)信道X1. .. xP，作為最先進(jìn)的A O C 解碼器910的混頻器912的處理的一部分?？梢允褂孟禄旌暇仃?，包括元素 Cllil,...，dNiP。 此外，A O C解碼器910的邊信息估計(jì)器914提取描述輸入音頻對(duì)象的特征的邊信息。對(duì) 于MPEG SA0C，對(duì)象功率彼此之間的關(guān)系是這種邊信息的基本形式。
[0006] 隨后，可以傳輸和/或儲(chǔ)存下混合信號(hào)和邊信息。為此，最先進(jìn)的感知音頻編碼器 920 (例如，MPEG-I層II或III (也稱為mp3)音頻編碼器或MPEG高級(jí)音頻編碼（AAC)音頻 編碼器等）可以編碼（例如，壓縮）下混合音頻信號(hào)。
[0007] 在接收端，編碼彳目號(hào)首先由最先進(jìn)的感知首頻解碼器940 (例如，MPEG-I層II或 III音頻解碼器或MPEG高級(jí)音頻編碼（AAC)音頻解碼器等）解碼。
[0008] 然后，解碼器SAOC解碼器950在概念上試圖使用傳輸側(cè)信息從（解碼的）下混合 信號(hào)中恢復(fù)原始對(duì)象信號(hào)，例如，通過(guò)進(jìn)行"對(duì)象分離"，如上所述，可以由SAOC編碼器910 的邊信息估計(jì)器914生成該傳輸側(cè)信息。為了通過(guò)進(jìn)行對(duì)象分離來(lái)恢復(fù)原始對(duì)象，SAOC解 碼器950包括對(duì)象分離器952,例如，虛擬對(duì)象分離器。
[0009] 然后，對(duì)象分離器952可以將接近的對(duì)象信號(hào)t.. 提供給SAOC解碼器950的 渲染器954,其中，然后，渲染器954將接近的對(duì)象信號(hào)％:…，混合到由M個(gè)音頻輸出信道 丸,...，夂,表示的目標(biāo)場(chǎng)景內(nèi)，例如，通過(guò)使用渲染矩陣。在圖11中的系數(shù)rM...可以 (例如）表示渲染矩陣的一些系數(shù)。在特殊的情況下，期望目標(biāo)場(chǎng)景可以是來(lái)自混合物（源 分離場(chǎng)景）的僅僅一個(gè)源信號(hào)的渲染，也可以是任何其他任意的聲音場(chǎng)景。
[0010] 然而，根據(jù)現(xiàn)有技術(shù)水平的處理具有幾個(gè)缺點(diǎn)。
[0011] 最先進(jìn)的系統(tǒng)限于僅僅處理音頻源信號(hào)。假設(shè)不將進(jìn)一步的信號(hào)處理應(yīng)用于混合 物信號(hào)中或原始源對(duì)象信號(hào)中，執(zhí)行在編碼器和解碼器內(nèi)的信號(hào)處理。如果這種假設(shè)不再 適用，那么這種系統(tǒng)的性能減小。
[0012] 違反這種假設(shè)的顯著實(shí)例是在處理鏈中使用音頻編碼器，以減少要儲(chǔ)存和/或傳 輸?shù)臄?shù)據(jù)量，用于有效地傳送下混合信號(hào)。信號(hào)壓縮在感知上改變下混合信號(hào)。這具有以 下效應(yīng)：在解碼系統(tǒng)內(nèi)的對(duì)象分離器的性能降低，因此，渲染的目標(biāo)場(chǎng)景的感知質(zhì)量也降低 [ISS5, ISS6]〇

【發(fā)明內(nèi)容】

[0013] 本發(fā)明的目標(biāo)在于，提供用于音頻編碼和解碼的改進(jìn)的概念。由根據(jù)權(quán)利要求1 所述的設(shè)備、根據(jù)權(quán)利要求9所述的設(shè)備、根據(jù)權(quán)利要求16所述的系統(tǒng)、根據(jù)權(quán)利要求17 所述的方法、根據(jù)權(quán)利要求18所述的方法以及根據(jù)權(quán)利要求19所述的計(jì)算機(jī)程序解決本 發(fā)明的目標(biāo)。
[0014] 提供了一種設(shè)備，用于編碼一個(gè)或多個(gè)音頻對(duì)象，以獲得編碼信號(hào)。所述設(shè)備包括 下混頻器，用于向下混合所述一個(gè)或多個(gè)音頻對(duì)象，以獲得一個(gè)或多個(gè)未處理的下混合信 號(hào)，而且，所述設(shè)備包括處理模塊，用于處理所述一個(gè)或多個(gè)未處理的下混合信號(hào)，以獲得 一個(gè)或多個(gè)經(jīng)處理的下混合信號(hào)。而且，所述設(shè)備包括信號(hào)計(jì)算器，用于計(jì)算一個(gè)或多個(gè)附 加信號(hào)，其中，所述信號(hào)計(jì)算器被配置為根據(jù)在所述一個(gè)或多個(gè)經(jīng)處理的下混合信號(hào)中的 一個(gè)與所述一個(gè)或多個(gè)未處理的下混合信號(hào)中的一個(gè)之間的差值，計(jì)算所述一個(gè)或多個(gè)附 加信號(hào)中的每個(gè)。而且，所述設(shè)備包括對(duì)象信息發(fā)生器，用于生成用于所述一個(gè)或多個(gè)音頻 對(duì)象的參數(shù)音頻對(duì)象信息以及用于所述一個(gè)或多個(gè)附加信號(hào)的附加參數(shù)信息。而且，所述 設(shè)備包括輸出接口，用于輸出編碼信號(hào)，所述編碼信號(hào)包括用于所述一個(gè)或多個(gè)音頻對(duì)象 的參數(shù)音頻對(duì)象信息以及用于所述一個(gè)或多個(gè)附加信號(hào)的附加參數(shù)信息。
[0015] 根據(jù)一個(gè)實(shí)施方式，所述處理模塊可以被配置為通過(guò)將所述一個(gè)或多個(gè)未處理的 下混合信號(hào)編碼，以獲得所述一個(gè)或多個(gè)經(jīng)處理的下混合信號(hào)，來(lái)處理所述一個(gè)或多個(gè)未 處理的下混合信號(hào)。
[0016] 在一個(gè)實(shí)施方式中，所述信號(hào)計(jì)算器可以包括解碼單元和組合器。所述解碼單元 可以被配置為將所述一個(gè)或多個(gè)經(jīng)處理的下混合信號(hào)解碼，以獲得一個(gè)或多個(gè)解碼信號(hào)。 而且，所述組合器可以被配置為通過(guò)生成在所述一個(gè)或多個(gè)解碼信號(hào)中的一個(gè)與所述一個(gè) 或多個(gè)未處理的下混合信號(hào)中的一個(gè)之間的差值信號(hào)，生成所述一個(gè)或多個(gè)附加信號(hào)中的 每個(gè)。
[0017] 根據(jù)一個(gè)實(shí)施方式，所述一個(gè)或多個(gè)未處理的下混合信號(hào)中的每個(gè)可以包括多個(gè) 第一信號(hào)采樣，將所述第一信號(hào)采樣中的每個(gè)分配給多個(gè)時(shí)間點(diǎn)中的一個(gè)。所述一個(gè)或多 個(gè)解碼信號(hào)中的每個(gè)可以包括多個(gè)第二信號(hào)采樣，將所述第二信號(hào)采樣中的每個(gè)分配給所 述多個(gè)時(shí)間點(diǎn)中的一個(gè)。而且，所述信號(hào)計(jì)算器可以進(jìn)一步包括時(shí)間校準(zhǔn)單元，其被配置為 使所述一個(gè)或多個(gè)解碼信號(hào)中的一個(gè)與所述一個(gè)或多個(gè)未處理的下混合信號(hào)中的一個(gè)在 時(shí)間上對(duì)準(zhǔn)，以便將所述未處理的下混合信號(hào)的第一信號(hào)采樣中的一個(gè)分配給所述解碼信 號(hào)的第二信號(hào)采樣中的一個(gè)，將所述未處理的下混合信號(hào)的所述第一信號(hào)采樣和所述解碼 信號(hào)的所述第二信號(hào)采樣分配給所述多個(gè)時(shí)間點(diǎn)的同一個(gè)時(shí)間點(diǎn)。
[0018] 在一個(gè)實(shí)施方式中，所述處理模塊可以被配置為通過(guò)在所述一個(gè)或多個(gè)未處理的 下混合信號(hào)的至少一個(gè)上應(yīng)用音響效果，以獲得所述一個(gè)或多個(gè)經(jīng)處理的下混合信號(hào)，來(lái) 處理所述一個(gè)或多個(gè)未處理的下混合信號(hào)。
[0019] 根據(jù)一個(gè)實(shí)施方式，可以將音頻對(duì)象能量值分配給所述一個(gè)或多個(gè)音頻對(duì)象中的 每個(gè)，并且可以將附加能量值分配給所述一個(gè)或多個(gè)附加信號(hào)中的每個(gè)。所述對(duì)象信息發(fā) 生器可以被配置為確定參考能量值，以便所述參考能量值大于或等于所述一個(gè)或多個(gè)音頻 對(duì)象中的每個(gè)的所述音頻對(duì)象能量值，并且以便所述參考能量值大于或等于所述一個(gè)或多 個(gè)附加信號(hào)中的每個(gè)的所述附加能量值。而且，所述對(duì)象信息發(fā)生器可以被配置為通過(guò)確 定所述一個(gè)或多個(gè)音頻對(duì)象的每個(gè)音頻對(duì)象的音頻對(duì)象水平差值，來(lái)確定所述參數(shù)音頻對(duì) 象信息，以便所述音頻對(duì)象水平差值表示所述音頻對(duì)象的所述音頻對(duì)象能量值與所述參考 能量值的比值，或者以便所述音頻對(duì)象水平差值表示在所述參考能量值與所述音頻對(duì)象的 所述音頻對(duì)象能量值之間的差值。而且，所述對(duì)象信息發(fā)生器可以被配置為通過(guò)確定所述 一個(gè)或多個(gè)附加信號(hào)的每個(gè)附加信號(hào)的附加對(duì)象水平差值，來(lái)確定所述附加對(duì)象信息，以 便所述附加對(duì)象水平差值表示所述附加信號(hào)的所述附加能量值與所述參考能量值的比值， 或者以便所述附加對(duì)象水平差值表示在所述參考能量值與所述附加信號(hào)的所述附加對(duì)象 能量值之間的差值。
[0020] 在一個(gè)實(shí)施方式中，所述處理模塊可以包括音響效果模塊和編碼模塊。所述音響 效果模塊可以被配置為在所述一個(gè)或多個(gè)未處理的下混合信號(hào)的至少一個(gè)上應(yīng)用音響效 果，以獲得一個(gè)或多個(gè)在聽(tīng)覺(jué)上調(diào)整的下混合信號(hào)。而且，所述編碼模塊可以被配置為將所 述一個(gè)或多個(gè)在聽(tīng)覺(jué)上調(diào)整的下混合信號(hào)編碼，以獲得所述一個(gè)或多個(gè)經(jīng)處理的下混合信 號(hào)。
[0021] 而且，提供了一種用于將編碼信號(hào)解碼的設(shè)備，其中，所述編碼信號(hào)包括關(guān)于一個(gè) 或多個(gè)音頻對(duì)象的參數(shù)音頻對(duì)象信息以及附加參數(shù)信息。所述設(shè)備包括接口，用于接收一 個(gè)或多個(gè)經(jīng)處理的下混合信號(hào)，并且用于接收所述編碼信號(hào)，其中，所述附加參數(shù)信息反應(yīng) 在一個(gè)或多個(gè)未處理的下混合信號(hào)上執(zhí)行的處理，以獲得所述一個(gè)或多個(gè)經(jīng)處理的下混合 信號(hào)。而且，所述設(shè)備包括音頻場(chǎng)景發(fā)生器，用于根據(jù)所述一個(gè)或多個(gè)經(jīng)處理的下混合信 號(hào)、所述參數(shù)音頻對(duì)象信息、所述附加參數(shù)信息、以及表示所述一個(gè)或多個(gè)音頻對(duì)象在所述 音頻場(chǎng)景內(nèi)的位置的渲染信息，生成包括多個(gè)空間音頻信號(hào)的音頻場(chǎng)景，其中，所述音頻場(chǎng) 景發(fā)生器被配置為在所述音頻場(chǎng)景內(nèi)衰減或消除由所述附加參數(shù)信息表示的輸出信號(hào)。
[0022] 根據(jù)一個(gè)實(shí)施方式，所述附加參數(shù)信息可以取決于一個(gè)或多個(gè)附加信號(hào)，其中，所 述附加信號(hào)表示在所述一個(gè)或多個(gè)經(jīng)處理的下混合信號(hào)中的一個(gè)與所述一個(gè)或多個(gè)未處 理的下混合信號(hào)中的一個(gè)之間的差值，其中，所述一個(gè)或多個(gè)未處理的下混合信號(hào)表示所 述一個(gè)或多個(gè)音頻對(duì)象的下混合，并且其中，所述一個(gè)或多個(gè)經(jīng)處理的下混合信號(hào)由所述 一個(gè)或多個(gè)未處理的下混合信號(hào)的處理造成。
[0023] 在一個(gè)實(shí)施方式中，所述音頻場(chǎng)景發(fā)生器可以包括音頻對(duì)象發(fā)生器和渲染器。所 述音頻對(duì)象發(fā)生器可以被配置為根據(jù)所述一個(gè)或多個(gè)經(jīng)處理的下混合信號(hào)、所述參數(shù)音頻 對(duì)象信息以及所述附加參數(shù)信息，生成所述一個(gè)或多個(gè)音頻對(duì)象。所述渲染器可以被配置 為根據(jù)所述一個(gè)或多個(gè)音頻對(duì)象、所述參數(shù)音頻對(duì)象信息以及渲染信息，生成所述多個(gè)空 間音頻信號(hào)。
[0024] 根據(jù)一個(gè)實(shí)施方式，所述渲染器可以被配置為根據(jù)所述一個(gè)或多個(gè)音頻對(duì)象、所 述附加參數(shù)信息以及所述渲染信息，生成所述音頻場(chǎng)景的多個(gè)空間音頻信號(hào)，其中，所述渲 染器可以被配置為根據(jù)由所述渲染信息包括的一個(gè)或多個(gè)渲染系數(shù)，在所述音頻場(chǎng)景內(nèi)衰 減或消除由所述附加參數(shù)信息表示的所述輸出信號(hào)。
[0025] 在一個(gè)實(shí)施方式中，所述設(shè)備進(jìn)一步包括用戶接口，用于設(shè)置所述一個(gè)或多個(gè)渲 染系數(shù)，用于控制是否在所述音頻場(chǎng)景內(nèi)衰減或消除由所述附加參數(shù)信息表示的所述輸出 信號(hào)。
[0026] 根據(jù)一個(gè)實(shí)施方式，所述音頻場(chǎng)景發(fā)生器可以被配置為根據(jù)所述一個(gè)或多個(gè)經(jīng)處 理的下混合信號(hào)、所述參數(shù)音頻對(duì)象信息、所述附加參數(shù)信息、以及表示所述一個(gè)或多個(gè)音 頻對(duì)象在所述音頻場(chǎng)景內(nèi)的位置的渲染信息，生成包括多個(gè)空間音頻信號(hào)的音頻場(chǎng)景，其 中，所述音頻場(chǎng)景發(fā)生器可以被配置為不生成所述一個(gè)或多個(gè)音頻對(duì)象，以生成所述音頻 場(chǎng)景。
[0027] 在一個(gè)實(shí)施方式中，所述設(shè)備可以進(jìn)一步包括音頻解碼器，用于將所述一個(gè)或多 個(gè)經(jīng)處理的下混合信號(hào)解碼，以獲得一個(gè)