使用隱寫地嵌入的音頻數(shù)據(jù)的遠(yuǎn)程會(huì)議的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及音頻數(shù)據(jù)的處理，并且具體來說，涉及用于遠(yuǎn)程會(huì)議的音頻數(shù)據(jù)的處理。
【背景技術(shù)】
[0002]遠(yuǎn)程會(huì)議一般涉及建立與由遠(yuǎn)程會(huì)議的參與者使用的三個(gè)或更多個(gè)終端裝置的電信連接。為了易于解釋，所述終端裝置可標(biāo)示為終端裝置A、B及C。通常，參與者中的一者(例如終端裝置A的用戶)通過在另一參與者(例如終端裝置B及C的用戶)舉行會(huì)議而起始遠(yuǎn)程會(huì)議。會(huì)議管理裝置管理所述會(huì)議。所述會(huì)議管理裝置也可被稱作多方控制單元(MCU)或，替代地，稱作混合橋。所述MCU可位于代管遠(yuǎn)程會(huì)議的服務(wù)提供商網(wǎng)絡(luò)中。
[0003]MCU可解碼在MCU處從終端裝置所接收的音頻數(shù)據(jù)流，且對由三個(gè)所接收的音頻數(shù)據(jù)流中的兩者表示音頻波形求和以產(chǎn)生混合單聲(即，單聲道)音頻波形。MCU可編碼所述混合單聲音頻波形以產(chǎn)生混合單聲道數(shù)據(jù)流，將所述混合單聲道數(shù)據(jù)流發(fā)射到終端裝置中的相應(yīng)者。
[0004]例如，MCU可從終端裝置A、B及C接收音頻數(shù)據(jù)流且解碼所述音頻數(shù)據(jù)流。MCU基于所接收的音頻數(shù)據(jù)流而產(chǎn)生三個(gè)混合音頻數(shù)據(jù)流。第一混合音頻數(shù)據(jù)流表示由終端裝置A及B( S卩，A+B)檢測到的聲音的單聲混合。第二混合音頻數(shù)據(jù)流表示由終端裝置A及C(S卩，A+C)檢測到的聲音的單聲混合。第三混合音頻數(shù)據(jù)流表示由終端裝置B及C(即，B+C)檢測到的聲音的單聲混合。MCU將第一混合音頻數(shù)據(jù)流發(fā)射到終端裝置C、將第二混合音頻數(shù)據(jù)流發(fā)射到終端裝置B，且將第三混合音頻數(shù)據(jù)流發(fā)射到終端裝置A。終端裝置A、B及C解碼混合音頻數(shù)據(jù)流且基于所述混合音頻數(shù)據(jù)流而產(chǎn)生聲音(即，回放)。
[0005]最近，已經(jīng)開發(fā)出在遠(yuǎn)程會(huì)議中支持三維(3D)音頻的MCU及終端裝置。在3D音頻中，MCU處理從終端裝置接收的音頻數(shù)據(jù)流以產(chǎn)生混合立體聲音頻數(shù)據(jù)流。所述混合音頻立體聲數(shù)據(jù)流中的每一者可表示具有兩個(gè)或更多個(gè)(例如，左及右)聲道的聲音。MCU可將這些混合立體聲音頻數(shù)據(jù)流發(fā)射到終端裝置中的適當(dāng)一者。所述終端裝置中的每一者可在兩個(gè)或更多個(gè)揚(yáng)聲器上回放所述混合立體聲音頻數(shù)據(jù)流。因?yàn)橛蒑CU應(yīng)用于立體聲音頻數(shù)據(jù)流的頭相關(guān)傳遞函數(shù)(HRTF)，所以終端裝置的用戶可感知其它終端裝置的用戶的語音來自空間中的各種點(diǎn)。例如，終端裝置A的用戶可感知終端裝置B的用戶的語音來自空間中在終端裝置A的用戶的左邊的點(diǎn)且可感知終端裝置C的用戶的語音來自空間中在終端裝置A的用戶的右邊的點(diǎn)。以此方式在空間上分離用戶的話音可幫助用戶確定誰在遠(yuǎn)程會(huì)議期間說話，進(jìn)而促進(jìn)3D音頻遠(yuǎn)程會(huì)議的參與者之間的通信。

【發(fā)明內(nèi)容】

[0006]—般來說，本發(fā)明描述用于處理用于遠(yuǎn)程會(huì)議的音頻數(shù)據(jù)的技術(shù)。多方控制單元(MCU)從參與遠(yuǎn)程會(huì)議的終端裝置接收傳入的音頻數(shù)據(jù)流。所述傳入的音頻數(shù)據(jù)流中的每一者可包括由終端裝置的相應(yīng)一者檢測到的聲音的單聲表示。對于終端裝置中的每一者，MCU可產(chǎn)生包括由終端裝置中的其它者檢測到的聲音的混合的單聲表示的混合音頻數(shù)據(jù)流。另外，MCU可在混合音頻數(shù)據(jù)流中隱寫內(nèi)嵌由終端裝置檢測到的聲音的表示。為了易于解釋，由終端裝置檢測到的聲音的表示可在本文中被稱作子流。MCU將混合音頻數(shù)據(jù)流輸出到參與遠(yuǎn)程會(huì)議的終端裝置。
[0007]如果終端裝置經(jīng)配置以用于立體聲回放，那么終端裝置執(zhí)行反向隱寫過程以從混合音頻數(shù)據(jù)流提取嵌入的子流。終端裝置基于所提取的子流及混合音頻數(shù)據(jù)流而產(chǎn)生及輸出多聲道音頻數(shù)據(jù)流。終端裝置可基于多聲道音頻數(shù)據(jù)流而輸出聲音。如果終端裝置未經(jīng)配置以用于立體聲回放，那么所述終端裝置基于混合音頻數(shù)據(jù)流而輸出聲音，而不提取嵌入的子流。在此意義上，通過使用隱寫術(shù)嵌入子流，所述技術(shù)可實(shí)現(xiàn)對混合音頻數(shù)據(jù)流的多聲道回放及對混合音頻數(shù)據(jù)流的單聲回放兩者。
[0008]在一個(gè)實(shí)例中，本發(fā)明描述一種方法，其包括:至少部分基于第一音頻數(shù)據(jù)流及第二音頻數(shù)據(jù)流而產(chǎn)生混合音頻數(shù)據(jù)流，所述音頻數(shù)據(jù)流表示與參與遠(yuǎn)程會(huì)議的第一終端裝置相關(guān)聯(lián)的聲音，所述第二音頻數(shù)據(jù)流表示與參與所述遠(yuǎn)程會(huì)議的第二終端裝置相關(guān)聯(lián)的聲音。所述方法還包括至少部分通過將第一子流及第二子流隱寫地嵌入到所述混合音頻數(shù)據(jù)流中而產(chǎn)生經(jīng)修改的混合音頻數(shù)據(jù)流，以使得所述經(jīng)修改的混合音頻數(shù)據(jù)流支持單聲道音頻回放及立體聲音頻回放兩者，所述第一子流包含與所述第一終端裝置相關(guān)聯(lián)的所述聲音的表示，所述第二子流包含與所述第二終端裝置相關(guān)聯(lián)的所述聲音的表示。另外，所述方法包括將所述經(jīng)修改的單聲道音頻數(shù)據(jù)流輸出到參與所述遠(yuǎn)程會(huì)議的第三終端裝置。
[0009]在另一實(shí)例中，本發(fā)明描述一種方法，其包括執(zhí)行反向隱寫過程以從混合音頻數(shù)據(jù)流提取第一子流，其中所述第一子流與參與遠(yuǎn)程會(huì)議的第一終端裝置相關(guān)聯(lián)。所述方法還包括執(zhí)行反向隱寫過程以從所述混合音頻數(shù)據(jù)流提取第二子流，其中所述第二子流與參與所述遠(yuǎn)程會(huì)議的第二終端裝置相關(guān)聯(lián)。另外，所述方法包括至少部分基于所述混合音頻數(shù)據(jù)流、所述第一子流及所述第二子流而產(chǎn)生多聲道音頻數(shù)據(jù)流。
[0010]在另一實(shí)例中，本發(fā)明描述一種裝置，其包括一或多個(gè)處理器，所述一或多個(gè)處理器經(jīng)配置以至少部分基于第一音頻數(shù)據(jù)流及第二音頻數(shù)據(jù)流而產(chǎn)生混合音頻數(shù)據(jù)流，所述第一音頻數(shù)據(jù)流表示與參與遠(yuǎn)程會(huì)議的第一終端裝置相關(guān)聯(lián)的聲音，所述第二音頻數(shù)據(jù)流表示與參與所述遠(yuǎn)程會(huì)議的第二終端裝置相關(guān)聯(lián)的聲音。所述一或多個(gè)處理器還經(jīng)配置以至少部分通過將第一子流及第二子流隱寫地嵌入到所述混合音頻數(shù)據(jù)流中而產(chǎn)生經(jīng)修改的混合音頻數(shù)據(jù)流，以使得所述經(jīng)修改的混合音頻數(shù)據(jù)流支持單聲道音頻回放及立體聲音頻回放兩者，所述第一子流包含與所述第一終端裝置相關(guān)聯(lián)的所述聲音的表示，所述第二子流包含與所述第二終端裝置相關(guān)聯(lián)的所述聲音的表示。此外，所述一或多個(gè)處理器經(jīng)配置以將所述經(jīng)修改的單聲道音頻數(shù)據(jù)流輸出到參與所述遠(yuǎn)程會(huì)議的第三終端裝置。
[0011]在另一實(shí)例中，本發(fā)明描述包括一或多個(gè)處理器的終端裝置，所述一或多個(gè)處理器經(jīng)配置以執(zhí)行反向隱寫過程以從混合音頻數(shù)據(jù)流提取第一子流。所述第一子流與參與遠(yuǎn)程會(huì)議的第一終端裝置相關(guān)聯(lián)。所述一或多個(gè)處理器還經(jīng)配置以執(zhí)行反向隱寫過程以從所述混合音頻數(shù)據(jù)流提取第二子流。所述第二子流與參與所述遠(yuǎn)程會(huì)議的第二終端裝置相關(guān)聯(lián)。所述一或多個(gè)處理器還經(jīng)配置以至少部分基于所述混合音頻數(shù)據(jù)流、所述第一子流及所述第二子流而產(chǎn)生多聲道音頻數(shù)據(jù)流。
[0012]在另一實(shí)例中，本發(fā)明描述一種裝置，其包括用于至少部分基于第一音頻數(shù)據(jù)流及第二音頻數(shù)據(jù)流而產(chǎn)生混合音頻數(shù)據(jù)流的裝置，所述第一音頻數(shù)據(jù)流表示與參與遠(yuǎn)程會(huì)議的第一終端裝置相關(guān)聯(lián)的聲音，所述第二音頻數(shù)據(jù)流表示與參與所述遠(yuǎn)程會(huì)議的第二終端裝置相關(guān)聯(lián)的聲音。所述裝置還包括用于以下操作的裝置:至少部分通過將第一子流及第二子流隱寫地嵌入到所述混合音頻數(shù)據(jù)流中而產(chǎn)生經(jīng)修改的混合音頻數(shù)據(jù)流，以使得所述經(jīng)修改的混合音頻數(shù)據(jù)流支持單聲道音頻回放及立體聲音頻回放兩者，所述第一子流包含與所述第一終端裝置相關(guān)聯(lián)的所述聲音的表示，所述第二子流包含與所述第二終端裝置相關(guān)聯(lián)的所述聲音的表示。另外，所述裝置包括用于將所述經(jīng)修改的單聲道音頻數(shù)據(jù)流輸出到參與所述遠(yuǎn)程會(huì)議的第三終端裝置的裝置。
[0013]在另一實(shí)例中，本發(fā)明描述終端裝置，所述終端裝置包括用于執(zhí)行反向隱寫過程以從混合音頻數(shù)據(jù)流提取第一子流的裝置。所述第一子流與參與遠(yuǎn)程會(huì)議的第一終端裝置相關(guān)聯(lián)。所述終端裝置還包括用于執(zhí)行反向隱寫過程以從所述混合音頻數(shù)據(jù)流提取第二子流的裝置，其中所述第二子流與參與所述遠(yuǎn)程會(huì)議的第二終端裝置相關(guān)聯(lián)。另外，所述終端裝置包括用于至少部分基于所述混合音頻數(shù)據(jù)流、所述第一子流及所述第二子流而產(chǎn)生多聲道音頻數(shù)據(jù)流的裝置。
[0014]在另一實(shí)例中，本發(fā)明描述一種存儲(chǔ)指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在由裝置的一或多個(gè)處理器執(zhí)行時(shí)配置所述裝置以至少部分基于第一音頻數(shù)據(jù)流及第二音頻數(shù)據(jù)流而產(chǎn)生混合音頻數(shù)據(jù)流，所述第一音頻數(shù)據(jù)流表示與參與遠(yuǎn)程會(huì)議的第一終端裝置相關(guān)聯(lián)的聲音，所述第二音頻數(shù)據(jù)流表示與參與所述遠(yuǎn)程會(huì)議的第二終端裝置相關(guān)聯(lián)的聲音。所述指令還配置所述裝置以至少部分通過將第一子流及第二子流隱寫地嵌入到所述混合音頻數(shù)據(jù)流中而產(chǎn)生經(jīng)修改的混合音頻數(shù)據(jù)流，以使得所述經(jīng)修改的混合音頻數(shù)據(jù)流支持單聲道音頻回放及立體聲音頻回放兩者，所述第一子流包含與所述第一終端裝置相關(guān)聯(lián)的所述聲音的表示，所述第二子流包含與所述第二終端裝置相關(guān)聯(lián)的所述聲音的表示。此夕卜，所述指令配置所述裝置以將所述經(jīng)修改的單聲道音頻數(shù)據(jù)流輸出到參與所述遠(yuǎn)程會(huì)議的第三終端裝置。
[0015]在另一實(shí)例中，本發(fā)明描述一種存儲(chǔ)指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在由裝置的一或多個(gè)處理器執(zhí)行時(shí)配置所述裝置以執(zhí)行反向隱寫過程以從混合音頻數(shù)據(jù)流提取第一子流。所述第一子流與參與遠(yuǎn)程會(huì)議的第一終端裝置相關(guān)聯(lián)。所述指令還配置所述裝置以執(zhí)行反向隱寫過程以從所述混合音頻數(shù)據(jù)流提取第二子流。所述第二子流與參與所述遠(yuǎn)程會(huì)議的第二終端裝置相關(guān)聯(lián)。另外，所述指令配置所述裝置以至少部分基于所述混合音頻數(shù)據(jù)流、所述第一子流及所述第二子流而產(chǎn)生多聲道音頻數(shù)據(jù)流。
[0016]在附圖和下文描述中闡述本發(fā)明的一或多個(gè)實(shí)例的細(xì)節(jié)。其它特征、目標(biāo)和優(yōu)點(diǎn)將從所述描述、圖式以及權(quán)利要求書而顯而易見。
【附圖說明】
[0017]圖1是說明可利用本發(fā)明中描述的技術(shù)的實(shí)例性遠(yuǎn)程會(huì)議系統(tǒng)的框圖。
[0018]圖2是說明可執(zhí)行本發(fā)明中描述的技術(shù)的各種方面的實(shí)例性多方控制單元(MCU)的框圖。
[0019]圖3是說明在執(zhí)行本發(fā)明中描述的技術(shù)的各種方面中的實(shí)例性終端裝置的框圖。
[0020]圖4是說明在執(zhí)行本發(fā)明中描述的技術(shù)的各種方面中的實(shí)例性音頻解碼器的框圖。
[0021]圖5是說明在執(zhí)行本發(fā)明中描述的技術(shù)的各種方面中的MCU的實(shí)例性操作的流程圖。
[0022]圖6是說明在執(zhí)行本發(fā)明中