針對任意揚(yáng)聲器布局渲染具有表觀大小的音頻對象的制作方法
【專利說明】
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求于2013年3月28日提交的西班牙專利申請No. P201330461以及于 2013年6月11日提交的美國臨時專利申請No. 61/833, 581的優(yōu)先權(quán)，這兩個專利申請中的 每個專利申請在此通過引用以其全部內(nèi)容合并到本文中。
技術(shù)領(lǐng)域
[0003] 本公開內(nèi)容涉及音頻再現(xiàn)數(shù)據(jù)的創(chuàng)作和渲染。具體地，本公開內(nèi)容涉及針對再現(xiàn) 環(huán)境（如影院音響再現(xiàn)系統(tǒng)）來創(chuàng)作和渲染音頻再現(xiàn)數(shù)據(jù)。
【背景技術(shù)】
[0004] 由于在1927年引入了有聲電影，所以出現(xiàn)了用于捕獲電影聲軌的藝術(shù)意圖并且 在影院環(huán)境中對其進(jìn)行重放的技術(shù)的穩(wěn)定發(fā)展。在二十世紀(jì)三十年代，唱片的同步聲音由 電影的變積式（variable area)聲音代替，在二十世紀(jì)四十年代使用劇場聲學(xué)考慮和改進(jìn) 的揚(yáng)聲器設(shè)計連同早期引入的多軌記錄和可操縱的重放（使用控制音調(diào)來移動聲音）一起 對此進(jìn)行了進(jìn)一步改進(jìn)。在二十世紀(jì)五六十年代，電影的涂磁道（magnetic striping)允 許劇院中的多聲道回放、將環(huán)繞聲聲道和高達(dá)五個屏幕聲道引入高級劇院中。
[0005] 在二十世紀(jì)七十年代，杜比提出了在后期制作中和在膠片上降噪以及對與3個屏 幕聲道和單聲道環(huán)繞聲道的混合（mixes)進(jìn)行編碼和分配的經(jīng)濟(jì)有效的方法。在二十世紀(jì) 八十年代，使用杜比頻譜記錄（SR)降噪和驗(yàn)證程序（如THX)進(jìn)一步提高了影院音響的品 質(zhì)。在二十世紀(jì)九十年代期間，杜比使用提供分離的左屏幕聲道、中心屏幕聲道、右屏幕聲 道、左環(huán)繞陣列和右環(huán)繞陣列以及用于低頻效果的超低音揚(yáng)聲器聲道的5. 1聲道格式將數(shù) 字聲音引入電影。2010年提出的杜比環(huán)繞聲7. 1通過將現(xiàn)有的左環(huán)繞聲道和右環(huán)繞聲道分 成四個"區(qū)"增加了環(huán)繞聲道的數(shù)量。
[0006] 隨著聲道數(shù)量增加以及揚(yáng)聲器布局從平面二維（2D)陣列轉(zhuǎn)變成包括高度的三維 (3D)陣列，創(chuàng)作和渲染聲音的任務(wù)正變得越來越復(fù)雜。期待改進(jìn)的方法和裝置。

【發(fā)明內(nèi)容】

[0007] 本公開內(nèi)容中描述的主題的一些方面可以在用于渲染包括沒有參照任何特定再 現(xiàn)環(huán)境創(chuàng)建的音頻對象的音頻再現(xiàn)數(shù)據(jù)的工具中來實(shí)現(xiàn)。如本文中所使用的，術(shù)語"音頻對 象"可以指代音頻信號和相關(guān)聯(lián)的元數(shù)據(jù)的流。元數(shù)據(jù)可以至少表示音頻對象的位置和音 頻對象的表觀大小。然而，元數(shù)據(jù)還可以表示渲染約束數(shù)據(jù)、內(nèi)容類型數(shù)據(jù)（例如，會話、效 果等）、增益數(shù)據(jù)、軌跡數(shù)據(jù)等。一些音頻對象可以是靜止的，而其他音頻對象可以具有隨時 間變化的元數(shù)據(jù)：這樣的音頻對象可以移動，可以改變大小和/或可以具有隨時間變化的 其他屬性。
[0008] 當(dāng)音頻對象在再現(xiàn)環(huán)境中被回放或被監(jiān)視時，可以至少根據(jù)位置元數(shù)據(jù)和大小元 數(shù)據(jù)來渲染音頻對象。渲染步驟可以包括：計算一組輸出聲道中的每個聲道的一組音頻對 象增益值。每個輸出聲道可以與再現(xiàn)環(huán)境中的一個或更多個再現(xiàn)揚(yáng)聲器相對應(yīng)。
[0009] 本文中描述的一些實(shí)現(xiàn)包括可以在渲染任何特定音頻對象之前發(fā)生的"建立"步 驟。在本文中還可以被稱為第一級或級1的建立步驟可以包括：在音頻對象可以在其內(nèi)移 動的空間中限定多個虛擬源位置。如本文中所使用的，"虛擬源位置"是靜止點(diǎn)源的位置。根 據(jù)這樣的實(shí)現(xiàn)，建立步驟可以包括：接收再現(xiàn)揚(yáng)聲器位置數(shù)據(jù)并且根據(jù)再現(xiàn)揚(yáng)聲器位置數(shù) 據(jù)和虛擬源位置預(yù)先計算每個虛擬源的虛擬源增益值。如本文中所使用的，術(shù)語"揚(yáng)聲器位 置數(shù)據(jù)"可以包括表示再現(xiàn)環(huán)境的一些或所有揚(yáng)聲器的位置的位置數(shù)據(jù)。位置數(shù)據(jù)可以被 設(shè)置為再現(xiàn)揚(yáng)聲器位置的絕對坐標(biāo)，例如笛卡爾坐標(biāo)、球面坐標(biāo)等?？商娲鼗蛄硗?，位置 數(shù)據(jù)可以被設(shè)置為相對于其他再現(xiàn)環(huán)境位置（例如再現(xiàn)環(huán)境的聲學(xué)"最佳聽音位置（sweet spots)"）的坐標(biāo)（例如，如笛卡爾坐標(biāo)或角坐標(biāo)）。
[0010] 在一些實(shí)現(xiàn)中，虛擬源增益值可以在"運(yùn)行時"期間被存儲和使用，在該"運(yùn)行時" 期間，針對再現(xiàn)環(huán)境的揚(yáng)聲器渲染音頻再現(xiàn)數(shù)據(jù)。在運(yùn)行時期間，針對每個音頻對象，可以 計算來自由音頻對象位置數(shù)據(jù)和音頻對象大小數(shù)據(jù)限定的區(qū)域或空間內(nèi)的虛擬源位置的 貢獻(xiàn)。計算來自虛擬源位置的貢獻(xiàn)的步驟可以包括：計算在建立步驟期間針對由音頻對象 的大小和音頻對象的位置限定的音頻對象區(qū)域或空間內(nèi)的虛擬源位置確定的多個預(yù)先計 算出的虛擬源增益值的加權(quán)平均值。可以至少部分地基于所計算出的虛擬源貢獻(xiàn)來計算再 現(xiàn)環(huán)境的每個輸出聲道的一組音頻對象增益值。每個輸出聲道可以與再現(xiàn)環(huán)境的至少一個 再現(xiàn)揚(yáng)聲器相對應(yīng)。
[0011] 因此，本文中描述的一些方法包括：接收包括一個或更多個音頻對象的音頻再現(xiàn) 數(shù)據(jù)。音頻對象可以包括音頻信號和相關(guān)聯(lián)的元數(shù)據(jù)。元數(shù)據(jù)可以包括至少音頻對象位置 數(shù)據(jù)和音頻對象大小數(shù)據(jù)。所述方法可以包括：計算來自由音頻對象位置數(shù)據(jù)和音頻對象 大小數(shù)據(jù)限定的音頻對象區(qū)域或空間內(nèi)的虛擬源的貢獻(xiàn)。所述方法可以包括：至少部分地 基于所計算出的貢獻(xiàn)來計算多個輸出聲道中的每個輸出聲道的一組音頻對象增益值。每個 輸出聲道可以與再現(xiàn)環(huán)境中的至少一個再現(xiàn)揚(yáng)聲器相對應(yīng)。例如，再現(xiàn)環(huán)境可以是影院音 響系統(tǒng)環(huán)境。
[0012] 計算來自虛擬源的貢獻(xiàn)的步驟可以包括：計算所述音頻對象區(qū)域或空間內(nèi)的虛擬 源的虛擬源增益值的加權(quán)平均值。所述加權(quán)平均值的權(quán)重可以取決于音頻對象的位置、音 頻對象的大小和/或所述音頻對象區(qū)域或空間內(nèi)的每個虛擬源位置。
[0013] 所述方法還可以包括：接收包括再現(xiàn)揚(yáng)聲器位置數(shù)據(jù)的再現(xiàn)環(huán)境數(shù)據(jù)。所述方法 還可以包括：根據(jù)再現(xiàn)環(huán)境數(shù)據(jù)限定多個虛擬源位置，并且針對每個虛擬源位置計算多個 輸出聲道中的每個輸出聲道的虛擬源增益值。在一些實(shí)現(xiàn)中，每個虛擬源位置可以與再現(xiàn) 環(huán)境內(nèi)的位置相對應(yīng)。然而，在一些實(shí)現(xiàn)中，至少一些虛擬源位置可以與再現(xiàn)環(huán)境外部的位 置相對應(yīng)。
[0014] 在一些實(shí)現(xiàn)中，虛擬源位置可以沿X軸、y軸和z軸被均勻地間隔開。然而，在一些 實(shí)現(xiàn)中，在所有方向上，間距可以不同。例如，虛擬源位置可以具有沿X軸和y軸的第一均 勻間距和沿z軸的第二均勻間距。計算多個輸出聲道中的每個輸出聲道的一組音頻對象增 益值的步驟可以包括：獨(dú)立計算來自沿X軸、y軸和z軸的虛擬源的貢獻(xiàn)。在替代實(shí)現(xiàn)中， 虛擬源位置可以被非均勻地間隔開。
[0015] 在一些實(shí)現(xiàn)中，計算多個輸出聲道中的每個輸出聲道的音頻對象增益值的步驟可 以包括：確定要在位置x〇、y。、Z。處植染的各種大小的音頻對象的增益值（g i (x。，y。，ZjS))。 例如，音頻對象增益值（gi(x。，y。，Zc^s))可以被表達(dá)為：
[0016]
[0017] 其中，（xvs，yvs，zvs)表示虛擬源位置，y vs，zvs)表示虛擬源位置xvs，yvs，Zvi3 的聲道1的增益值，并且w(xvs，yvs，zvs;x。，y。，zjs)表示至少部分地基于音頻對象的位置 (X。，y。，z。)、音頻對象的大小和虛擬源位置（x vs，yvs，zvs)確定的gjxw yvs，zvs)的一個或更 多個加權(quán)函數(shù)。
[0018] 根據(jù)一些這樣的實(shí)現(xiàn)，S1(XvsJvi^zvs) = gi (XvJg1 GvJg1 (Zvs)，其中，gi (xvs) W1(Yvs) 和&(2」表示x、y和z的獨(dú)立的增益函數(shù)。在一些這樣的實(shí)現(xiàn)中，加權(quán)函數(shù)可以因式分解 為（factor as)：
[0019] w(xvs, yvs, zvs；x 0, yD, zD；s) = wx(xvs；x 0；s)wy(yvs；y D；s)w Z(zvs；z D；s),
[0020] 其中，wx(xvs;x ^s)，wy(yvs;y ^s)和 w Z(zvs;z ^s)表示 x vs、yvs和 z vs的獨(dú)立的加權(quán) 函數(shù)。根據(jù)一些這樣的實(shí)現(xiàn)，P可以是音頻對象大小的函數(shù)。
[0021] -些這樣的方法可以包括：將所計算出的虛擬源增益值存儲在存儲系統(tǒng)中。計算 來自音頻對象區(qū)域或空間內(nèi)的虛擬源的貢獻(xiàn)的步驟可以包括：從存儲系統(tǒng)檢索所計算出 的、與音頻對象位置和音頻對象大小相對應(yīng)的虛擬源增益值，并且在所計算出的虛擬源增 益值之間進(jìn)行插值。在所計算出的虛擬源增益值之間進(jìn)行插值的步驟可以包括：確定音頻 對象位置附近的多個鄰近虛擬源位置；確定所計算出的、每個鄰近虛擬源位置的虛擬源增 益值；確定音頻對象位置和每個鄰近虛擬源位置之間的多個距離；以及根據(jù)多個距離在所 計算出的虛擬源增益值之間進(jìn)行插值。
[0022] 在一些實(shí)現(xiàn)中，再現(xiàn)環(huán)境數(shù)據(jù)可以包括再現(xiàn)環(huán)境邊界數(shù)據(jù)。所述方法可以包括：確 定音頻對象區(qū)域或空間包括再現(xiàn)環(huán)境邊界外部的外部區(qū)域或空間，并且至少部分地基于所 述外部區(qū)域或空間來施加衰落因子（fade-out factor)。一些方法可以包括：確定音頻對 象可以在距再現(xiàn)環(huán)境邊界的閾值距離內(nèi)，并且不向在再現(xiàn)環(huán)境的相對邊界上的再現(xiàn)揚(yáng)聲器 提供揚(yáng)聲器饋送信號。在一些實(shí)現(xiàn)中，音頻對象區(qū)域或空間可以是矩形、矩形棱柱、圓形、球 形、橢圓形和/或橢圓體。
[0023] 一些方法可以包括對至少一些音頻再現(xiàn)數(shù)據(jù)進(jìn)行去相關(guān)。例如，所述方法可以包 括：對用于具有超過閾值的音頻對象大小的音頻對象的音頻再現(xiàn)數(shù)據(jù)進(jìn)行去相關(guān)。
[0024] 本文中描述了替代方法。一些這樣的方法包括：接收包括再現(xiàn)揚(yáng)聲器位置數(shù)據(jù)和 再現(xiàn)環(huán)境邊界數(shù)據(jù)的再現(xiàn)環(huán)境數(shù)據(jù)，并且接收包括一個或更多個音頻對象和相關(guān)聯(lián)的元數(shù) 據(jù)的音頻再現(xiàn)數(shù)據(jù)。元數(shù)據(jù)可以包括音頻對象位置數(shù)據(jù)和音頻對象大小數(shù)據(jù)。所述方法 可以包括：確定由音頻對象位置數(shù)據(jù)和音頻對象大小數(shù)據(jù)限定的音頻對象區(qū)域或空間包括 再現(xiàn)環(huán)境邊界外部的外部區(qū)域或空間，并且至少部分地基于外部區(qū)域或空間來確定衰落因 子。所述方法可以包括：至少部分地基于相關(guān)聯(lián)的元數(shù)據(jù)和衰落因子來計算多個輸出聲道 中的每個輸出聲道的一組增益值。每個輸出聲道可以與再現(xiàn)環(huán)境中的至少一個再現(xiàn)揚(yáng)聲器 相對應(yīng)。衰落因子可以與外部區(qū)域成比例。
[0025] 所述方法還可以包括：確定音頻對象可以在距再現(xiàn)環(huán)境邊界的閾值距離內(nèi)，并且 不向在再現(xiàn)環(huán)境的相對邊界上的再現(xiàn)揚(yáng)聲器提供揚(yáng)聲器饋送信號。
[0026] 所述方法還可以包括：計算來自音頻對象區(qū)域或空間內(nèi)的虛擬源的貢獻(xiàn)。所述方 法可以包括：根據(jù)再現(xiàn)環(huán)境數(shù)據(jù)限定多個虛擬源位置，以及針對每個虛擬源位置計算多個 輸出聲道中的每個輸出聲道的虛擬源增益。虛擬源位置可以被均勻地間隔開或者可以被非 均勻地間隔開，這取決于具體實(shí)現(xiàn)。
[0027] -些實(shí)現(xiàn)可以在存儲有軟件的一個或更多個非暫態(tài)介質(zhì)中體現(xiàn)。軟件可以包括用 于對用于接收包括一個或更多個音頻對象的音頻再現(xiàn)數(shù)據(jù)的一個或更多個裝置進(jìn)行控制 的指令。音頻對象可以包括音頻信號和相關(guān)聯(lián)的元數(shù)據(jù)。元數(shù)據(jù)可以包括至少音頻對象位 置數(shù)據(jù)和音頻對象大小數(shù)據(jù)。軟件可以包括用于下述操作的指令：針對一個或更多個音頻 對象中的音頻對象計算來自由音頻對象位置數(shù)據(jù)和音頻對象大小數(shù)據(jù)限定的區(qū)域或空間 內(nèi)的虛擬源的貢獻(xiàn)，并且至少部分地基于所計算出的貢獻(xiàn)來計算多個輸出聲道中的每個輸 出聲道的一組音頻對象增益值。每個輸出聲道可以與再現(xiàn)環(huán)境的至少一個再現(xiàn)揚(yáng)聲器相對 應(yīng)。
[0028] 在一些實(shí)現(xiàn)中，計算來自虛擬源的貢獻(xiàn)的步驟可以包括：計算來自音頻對象區(qū)域 或空間內(nèi)的虛擬源的虛擬源增益值的加權(quán)平均值。所述加權(quán)平均值的權(quán)重可以取決于音頻 對象的位置、音頻對象的大小和/或音頻對象區(qū)域或空間內(nèi)