處理多個裝置采集的音頻或視頻信號的制作方法
【技術(shù)領(lǐng)域】
[0001] 本申請涉及音頻與視頻信號處理。更具體地，本發(fā)明的實(shí)施方式涉及對多個裝置 所采集的音頻或視頻信號進(jìn)行處理。
【背景技術(shù)】
[0002] 人們已經(jīng)熟知麥克風(fēng)和攝像機(jī)是用于采集音頻和視頻信號的裝置。已經(jīng)提出了各 種技術(shù)來改善對所采集的音頻或視頻信號的呈現(xiàn)。在這些技術(shù)中的一些技術(shù)中，設(shè)置多個 裝置來記錄同一事件，并且對裝置所采集的音頻或視頻信號進(jìn)行處理以改善對該事件的呈 現(xiàn)。這樣的技術(shù)的示例包括環(huán)繞聲、三維（3D)視頻和多視點(diǎn)視頻。
[0003] 在環(huán)繞聲的示例中，在陣列中設(shè)置多個麥克風(fēng)來記錄事件。通過麥克風(fēng)采集音頻 信號并且將音頻信號處理成與從多個重合麥克風(fēng)獲取的輸出等效的信號。重合麥克風(fēng)是指 具有相同或不同方向特征但位于相同位置的兩個或更多個麥克風(fēng)。
[0004] 在3D視頻的示例中，布置有兩個攝像機(jī)來記錄事件，以針對每個幀生成分別呈現(xiàn) 給觀看者的左眼和右眼的兩個偏移圖像。
[0005] 在多視點(diǎn)視頻的示例中，在場景周圍布置若干個攝像機(jī)來采集使得能夠從任何角 度對該場景進(jìn)行高品質(zhì)呈現(xiàn)所需的視圖。一般地，所采集的視圖通過多視點(diǎn)視頻壓縮（MVC) 進(jìn)行壓縮以便傳輸。從而，觀看者的觀看裝置可以訪問相關(guān)視圖以內(nèi)插出新的視圖。

【發(fā)明內(nèi)容】

[0006] 根據(jù)本公開內(nèi)容的一個實(shí)施方式，用于處理視頻和音頻信號的設(shè)備包括估計(jì)單元 和處理單元。估計(jì)單元可以至少基于分別由布置成陣列的便攜式裝置的至少之一采集的至 少一個視頻或音頻信號來估計(jì)所述陣列的至少一個方面。處理單元可以將所述至少基于視 頻的方面應(yīng)用于通過所述陣列生成環(huán)繞聲信號的過程，或?qū)⑺鲋辽倩谝纛l的方面應(yīng)用 與通過所述陣列生成組合視頻信號的過程。
[0007] 根據(jù)本公開內(nèi)容的一個實(shí)施方式，用于生成環(huán)繞聲信號的系統(tǒng)包括不止一個便攜 式裝置和處理裝置。便攜式裝置被布置成陣列。便攜式裝置之一包括估計(jì)單元。估計(jì)單元 可以從由便攜式裝置采集的視頻信號中識別與所述不止一個便攜式裝置中的至少一個其 它便攜式裝置對應(yīng)的至少一個可視對象。此外，估計(jì)單元可以基于所識別的可視對象來確 定所述便攜式裝置與所述不止一個便攜式裝置中的所述至少一個其它便攜式裝置之間的 至少一個距離。處理裝置可以基于所確定的距離來確定用于配置根據(jù)所述陣列采集的音頻 信號生成環(huán)繞聲信號的過程進(jìn)行配置的至少一個參數(shù)。
[0008] 根據(jù)本公開內(nèi)容的一個實(shí)施方式，便攜式裝置包括攝像機(jī)、測量單元和輸出單元。 測量單元可以從通過攝像機(jī)采集的視頻信號中識別與至少一個其它便攜式裝置對應(yīng)的至 少一個可視對象。此外，測量單元可以基于所識別的可視對象來確定便攜式裝置之間的至 少一個距離。所述距離可以通過輸出單元來輸出。
[0009] 根據(jù)本公開內(nèi)容的一個實(shí)施方式，用于生成3D視頻信號的系統(tǒng)包括第一便攜式 裝置和第二便攜式裝置。第一便攜式裝置可以采集第一視頻信號。第二便攜式裝置可以采 集第二視頻信號。第一便攜式裝置可以包括測量單元和呈現(xiàn)單元。測量單元可以通過聲學(xué) 測距來測量第一便攜式裝置與第二便攜式裝置之間的距離。呈現(xiàn)單元可以呈現(xiàn)所述距離。
[0010] 根據(jù)本公開內(nèi)容的一個實(shí)施方式，用于生成高動態(tài)范圍（HDR)視頻或圖像信號的 系統(tǒng)包括不止一個便攜式裝置和處理裝置。便攜式裝置可以采集視頻或圖像信號。處理裝 置可以根據(jù)視頻或圖像信號來生成HDR視頻或圖像信號。對于至少一對便攜式裝置中的每 一對便攜式裝置，該對便攜式裝置之一可以包括測量單元，其能夠通過聲學(xué)測距來測量該 對便攜式裝置之間的距離。處理裝置可以基于所述距離來校正由該對便攜式裝置之間的位 置差引起的幾何失真。
[0011] 根據(jù)本公開內(nèi)容的一個實(shí)施方式，提供了一種處理視頻和音頻信號的方法。根據(jù) 該方法，獲取分別由在陣列中設(shè)置的便攜式裝置的至少之一采集的至少一個視頻或音頻信 號。至少基于所述視頻或音頻信號來估計(jì)所述陣列的至少一個方面。然后，至少基于視頻 的方面被應(yīng)用于通過所述陣列生成環(huán)繞聲信號的過程，或至少基于音頻的方面被應(yīng)用于通 過所述陣列生成組合視頻信號的過程。
[0012] 根據(jù)本公開內(nèi)容的一個實(shí)施方式，提供了一種用于生成3D視頻信號的方法。根據(jù) 該方法，通過聲學(xué)測距來測量第一便攜式裝置與第二便攜式裝置之間的距離。然后，呈現(xiàn)所 述距離。
[0013] 以下，參考附圖來描述本發(fā)明的進(jìn)一步的特征和優(yōu)點(diǎn)，以及本發(fā)明的各種實(shí)施方 式的結(jié)構(gòu)與操作。需要注意的是本發(fā)明不限于本文中所描述的【具體實(shí)施方式】。本文中所提 出的這些實(shí)施方式僅用于示例性目的。基于這里所包含的教示，另外的實(shí)施方式對相關(guān)領(lǐng) 域的普通技術(shù)人員也是明顯的。
【附圖說明】
[0014] 在附圖的各圖中，以示例性和非限制性的方式對本發(fā)明進(jìn)行闡釋，在附圖中，類似 的附圖標(biāo)記指代類似的元件，其中：
[0015] 圖1是用于說明根據(jù)本公開內(nèi)容的一個實(shí)施方式的處理視頻和音頻信號的方法 的流程圖；
[0016] 圖2是用于說明根據(jù)本公開內(nèi)容的一個實(shí)施方式的用于生成環(huán)繞聲信號的示例 陣列布置的示意圖；
[0017] 圖3是用于說明根據(jù)本公開內(nèi)容的一個實(shí)施方式的用于生成3D視頻信號的示例 陣列布置的示意圖；
[0018] 圖4是說明根據(jù)本公開內(nèi)容的一個實(shí)施方式的用于處理視頻和音頻信號的設(shè)備 的結(jié)構(gòu)的框圖；
[0019] 圖5是說明根據(jù)該設(shè)備的進(jìn)一步的實(shí)施方式的用于生成環(huán)繞聲信號的設(shè)備的結(jié) 構(gòu)的框圖；
[0020] 圖6是用于說明如圖2所示的陣列的覆蓋的示意圖；
[0021] 圖7是用于說明根據(jù)本公開內(nèi)容的一個實(shí)施方式的生成環(huán)繞聲信號的方法的流 程圖；
[0022] 圖8是用于說明根據(jù)本公開內(nèi)容的一個實(shí)施方式的生成環(huán)繞聲信號的方法的流 程圖；
[0023] 圖9是用于說明根據(jù)本公開內(nèi)容的一個實(shí)施方式的生成環(huán)繞聲信號的方法的流 程圖；
[0024] 圖10是用于說明根據(jù)本公開內(nèi)容的一個實(shí)施方式的用于生成環(huán)繞聲信號的系統(tǒng) 的結(jié)構(gòu)的框圖；
[0025] 圖11是用于說明根據(jù)本公開內(nèi)容的一個實(shí)施方式的用于生成環(huán)繞聲信號的方法 的流程圖；
[0026] 圖12是用于說明可視標(biāo)記和視頻信號的示例呈現(xiàn)的示意圖；
[0027] 圖13是根據(jù)本公開內(nèi)容的一個實(shí)施方式的用于生成環(huán)繞聲信號的方法的流程 圖；
[0028] 圖14是用于說明根據(jù)本公開內(nèi)容的一個實(shí)施方式的用于生成HDR視頻或圖像信 號的系統(tǒng)的框圖；以及
[0029] 圖15是說明用于實(shí)施本發(fā)明的各個方面的示例性系統(tǒng)的框圖。
【具體實(shí)施方式】
[0030] 下面參考附圖描述本發(fā)明實(shí)施方式。應(yīng)注意，為清楚起見，在附圖和描述中省略了 關(guān)于本領(lǐng)域技術(shù)人員已知但是與本發(fā)明無關(guān)的組件和過程的陳述和描述。
[0031] 本領(lǐng)域的技術(shù)人員可以理解，本發(fā)明的各方面可以被實(shí)施為系統(tǒng)、方法或計(jì)算機(jī) 程序產(chǎn)品。因此，本發(fā)明的各方面可以采取以下形式：完全硬件實(shí)施方式、完全軟件實(shí)施方 式(包括固件、駐留軟件、微代碼等）或組合軟件部分與硬件部分的實(shí)施方式，本文可以一般 地稱之為"電路"、"模塊"或"系統(tǒng)"。此外，本發(fā)明的各方面可以采取體現(xiàn)為一個或更多個 計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)可讀介質(zhì)上體現(xiàn)有計(jì)算機(jī)可讀程序代 碼。
[0032] 可以使用一個或多個計(jì)算機(jī)可讀介質(zhì)的任何組合。計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算機(jī) 可讀信號介質(zhì)或計(jì)算機(jī)可讀存儲介質(zhì)。計(jì)算機(jī)可讀存儲介質(zhì)例如可以是(但不限于）電的、 磁的、光的、電磁的、紅外線的、或半導(dǎo)體的系統(tǒng)、設(shè)備或裝置、或前述各項(xiàng)的任何適當(dāng)?shù)慕M 合。計(jì)算機(jī)可讀存儲介質(zhì)的更具體的例子(非窮舉的列表）包括以下：有一個或多個導(dǎo)線的 電連接、便攜式計(jì)算機(jī)磁盤、硬盤、隨機(jī)存取存儲器（RAM)、只讀存儲器（ROM)、可擦式可編 程只讀存儲器（EPROM或閃存）、光纖、便攜式緊湊磁盤只讀存儲器（CD-ROM)、光存儲裝置、 磁存儲裝置、或前述各項(xiàng)的任何適當(dāng)?shù)慕M合。在本文語境中，計(jì)算機(jī)可讀存儲介質(zhì)可以是任 何含有或存儲供指令執(zhí)行系統(tǒng)、設(shè)備或裝置使用的或與指令執(zhí)行系統(tǒng)、設(shè)備或裝置相聯(lián)系 的程序的有形介質(zhì)。
[0033] 計(jì)算機(jī)可讀信號介質(zhì)可以包括例如在基帶中或作為載波的一部分傳播的、其中帶 有計(jì)算機(jī)可讀程序代碼的數(shù)據(jù)信號。這樣的傳播信號可以采取任何適當(dāng)?shù)男问?，包括但?限于電磁的、光的或其任何適當(dāng)?shù)慕M合。
[0034]計(jì)算機(jī)可讀信號介質(zhì)可以是不同于計(jì)算機(jī)可讀存儲介質(zhì)的、能夠傳達(dá)、傳播或傳 輸供指令執(zhí)行系統(tǒng)、設(shè)備或裝置使用的或與指令執(zhí)行系統(tǒng)、設(shè)備或裝置相聯(lián)系的程序的任 何一種計(jì)算機(jī)可讀介質(zhì)。
[0035]體現(xiàn)在計(jì)算機(jī)可讀介質(zhì)中的程序代碼可以采用任何適當(dāng)?shù)慕橘|(zhì)傳輸，包括但不限 于無線、有線、光纜、射頻等等、或上述各項(xiàng)的任何適當(dāng)?shù)慕M合。
[0036] 用于執(zhí)行本發(fā)明各方面的操作的計(jì)算機(jī)程序代碼可以以一種或多種程序設(shè)計(jì) 語言的任何組合來編寫，所述程序設(shè)計(jì)語言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語言，諸如Java、 Smalltalk、C++之類，還包括常規(guī)的過程式程序設(shè)計(jì)語言，諸如"C"程序設(shè)計(jì)語言或類似的 程序設(shè)計(jì)語言。程序代碼可以完全地在用戶的計(jì)算機(jī)上執(zhí)行、部分地在用戶的計(jì)算機(jī)上執(zhí) 行、作為一個獨(dú)立的軟件包執(zhí)行、部分在用戶的計(jì)算機(jī)上并且部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或 者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在后一種情形中，遠(yuǎn)程計(jì)算機(jī)可以通過任何種類的 網(wǎng)絡(luò)，包括局域網(wǎng)（LAN)或廣域網(wǎng)（WAN)，連接到用戶的計(jì)算機(jī)，或者，可以（例如利用因特 網(wǎng)服務(wù)提供商來通過因特網(wǎng)）連接到外部計(jì)算機(jī)。
[0037] 以下參照按照本發(fā)明實(shí)施方式的方法、設(shè)備(系統(tǒng)）和計(jì)算機(jī)程序產(chǎn)品的流程圖和 /或框圖來描述本發(fā)明的各個方面。應(yīng)當(dāng)理解，流程圖和/或框圖的每個方框以及流程圖和 /或框圖中各方框的組合都可以由計(jì)算機(jī)程序指令實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以提供給 通用計(jì)算機(jī)、專用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理設(shè)備的處理器以生產(chǎn)出一種機(jī)器，使得通 過計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置執(zhí)行的這些指令產(chǎn)生用于實(shí)現(xiàn)流程圖和/或框圖中 的方框中規(guī)定的功能/操作的裝置。
[0038] 也可以把這些計(jì)算機(jī)程序指令存儲在能夠指引計(jì)算機(jī)或其它可編程數(shù)據(jù)處理設(shè) 備以特定方式工作的計(jì)算機(jī)可讀介質(zhì)中，使得存儲在計(jì)算機(jī)可讀介質(zhì)中的指令產(chǎn)生一個包 括實(shí)現(xiàn)流程圖和/或框圖中的方框中規(guī)定的功能/操作的指令的制造品。
[0039] 也可以把計(jì)算機(jī)程序指令加載到計(jì)算機(jī)、其它可編程數(shù)據(jù)處理設(shè)備或其它裝置 上，導(dǎo)致在計(jì)算機(jī)、其它可編程處理設(shè)備或其它裝置上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī) 實(shí)現(xiàn)的過程，使得在計(jì)算機(jī)或其它可編程設(shè)備上執(zhí)行的指令提供實(shí)現(xiàn)流程圖和/或框圖的 方框中規(guī)定的功能/動作的過程。
[0040] 為了改善所記錄的事件的呈現(xiàn)，設(shè)置多個裝置來記錄事件。一般地，在陣列中設(shè)置 這些裝置，并且基于該陣列的一個或更多個方面來處理所采集的音頻或視頻信號以生成預(yù) 期結(jié)果。這些方面可以包括但不限于：