一種音頻處理方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及信號處理技術(shù)領(lǐng)域，特別涉及一種音頻處理的方法，服務(wù)器以及系統(tǒng)。
【背景技術(shù)】
[0002] 在利用虛擬現(xiàn)實(shí)頭戴設(shè)備(head-mounted display，HMD)向用戶呈現(xiàn)內(nèi)容時(shí)，采用 虛擬3D音頻技術(shù)，通過立體聲耳機(jī)向用戶播放音頻內(nèi)容，一種提高臨場感的方法是跟蹤用 戶頭部動(dòng)作(head tracking)，對聲音進(jìn)行相應(yīng)的處理。比如，如果原始聲音被用戶感知為 來自正前方，當(dāng)用戶向左轉(zhuǎn)頭90度后，聲音應(yīng)被處理使得用戶感知聲音來自正右方90度。在 這里虛擬現(xiàn)實(shí)設(shè)備可以有很多種類，比如帶頭部跟蹤的顯示設(shè)備，或者只是一部帶頭部跟 蹤傳感器的立體聲耳機(jī)。
[0003] 實(shí)現(xiàn)頭部跟蹤也有多種方法。比較常見的是使用多種運(yùn)動(dòng)傳感器。運(yùn)動(dòng)傳感器套 件通常包括加速度計(jì)、陀螺儀和磁力傳感器。在運(yùn)動(dòng)跟蹤和絕對方向方面每種傳感器都有 自己固有的強(qiáng)項(xiàng)和弱點(diǎn)。因此常用做法是采用傳感器"融合"（sensor fusion)將來自各傳 感器的信號組合在一起，產(chǎn)生一個(gè)更加精確的運(yùn)動(dòng)檢測結(jié)果。
[0004] 在得到頭部旋轉(zhuǎn)角度后，需要對聲音進(jìn)行相應(yīng)的變化。一種方式是將聲音轉(zhuǎn)到 Ambi sonic域，然后再通過使用旋轉(zhuǎn)矩陣對信號做變換。Ambi sonic信號通常是多于兩個(gè)聲 道，而常見的媒體播放器只支持立體聲兩聲道，這對直接播放Ambisonic或其他多聲道的音 頻信號帶來困難。
[0005] 有鑒于此，在本領(lǐng)域需要一種有效且高質(zhì)量的虛擬環(huán)繞聲生成和播放的解決方 案。

【發(fā)明內(nèi)容】

[0006] 為了克服現(xiàn)有技術(shù)的上述缺陷，本發(fā)明的目的在于提供一種云端音頻處理方法， 服務(wù)器和系統(tǒng)，其能有效且高質(zhì)量地生成虛擬環(huán)繞聲，主要用于配合虛擬現(xiàn)實(shí)頭戴設(shè)備進(jìn) 行音頻的立體聲耳機(jī)播放，并且所述虛擬環(huán)繞聲的生成是在云端服務(wù)器上進(jìn)行的，很好的 適應(yīng)了現(xiàn)有的基于云架構(gòu)的網(wǎng)絡(luò)類型，由服務(wù)器執(zhí)行虛擬環(huán)繞聲的生成和存儲，從而解決 了現(xiàn)有客戶端無法播放各種3603D audio,尤其是適用于虛擬現(xiàn)實(shí)應(yīng)用的音頻的問題。
[0007] 為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種云端音頻處理方法，所述音頻處理方法包括 以下步驟，獲取用戶頭部旋轉(zhuǎn)的旋轉(zhuǎn)角度;獲取不同格式的音頻信號，根據(jù)所述旋轉(zhuǎn)角度， 分別對所述不同格式的音頻信號進(jìn)行雙耳轉(zhuǎn)碼，生成相應(yīng)格式的雙聲道音頻信號;對所述 相應(yīng)格式的雙聲道信號疊加，得到音頻雙耳輸出虛擬環(huán)繞聲信號。
[0008] 優(yōu)選地，所述不同格式的音頻信號包括雙耳錄音信號，Ambisonic錄音信號和音頻 對象信號。
[0009] 優(yōu)選地，對所述不同格式的音頻信號進(jìn)行雙耳轉(zhuǎn)碼，生成相應(yīng)格式的雙耳轉(zhuǎn)碼音 頻信號具體包括：
[0010] 對所述雙耳錄音信號，根據(jù)所述旋轉(zhuǎn)角度進(jìn)行插值，生成雙耳錄音雙聲道信號；
[0011] 對所述Ambisonic錄音信號，根據(jù)所述旋轉(zhuǎn)角度對所述Ambisonic錄音信號進(jìn)行調(diào) 整，對所述調(diào)整后的Ambisonic錄音信號雙耳轉(zhuǎn)碼生成Ambisonic錄音雙聲道信號；
[0012] 對所述音頻對象信號，根據(jù)所述旋轉(zhuǎn)角度對所述音頻對象信號調(diào)整，對所述調(diào)整 后的音頻對象信號雙耳轉(zhuǎn)碼生成音頻對象雙聲道信號。
[0013]優(yōu)選地，如需要較高的空間精度，將音頻對象信號根據(jù)旋轉(zhuǎn)角度進(jìn)行旋轉(zhuǎn)，將旋轉(zhuǎn) 后的音頻對象信號編碼為高階B格式音頻對象信號，經(jīng)雙耳轉(zhuǎn)碼后生成高階B格式音頻對象 雙聲道信號，與Ambisonic錄音雙聲道信號、雙耳錄音雙聲道信號進(jìn)行疊加；
[0014] 如需要低復(fù)雜度低延遲，將音頻對象信號編碼為一階B格式音頻對象信號，與其他 一階Ambisonic錄音信號疊加，然后根據(jù)旋轉(zhuǎn)角度對所述疊加后的混合信號進(jìn)行雙耳轉(zhuǎn)碼， 生成音頻對象與Ambisonic錄音信號的混合雙聲道信號，與所述雙耳錄音雙聲道信號進(jìn)行 置加。
[0015] 優(yōu)選地，所獲取用戶頭部旋轉(zhuǎn)的旋轉(zhuǎn)角度具體為獲取用戶頭部旋轉(zhuǎn)的旋轉(zhuǎn)角度， 對所述旋轉(zhuǎn)角度進(jìn)行平滑處理。
[0016] 本發(fā)明還提供了一種云端音頻處理服務(wù)器，所述服務(wù)器包括:獲取單元，獲取用戶 頭部旋轉(zhuǎn)的旋轉(zhuǎn)角度;采集單元，采集不同格式的音頻信號；雙耳轉(zhuǎn)碼單元，分別與所述獲 取單元和采集單元相連接，根據(jù)所述旋轉(zhuǎn)角度，分別對所述不同格式的音頻信號進(jìn)行雙耳 轉(zhuǎn)碼，生成相應(yīng)格式的雙聲道音頻信號；疊加單元，與所述雙耳轉(zhuǎn)碼單元連接，對所述相應(yīng) 格式的雙聲道信號疊加，得到音頻雙耳輸出虛擬環(huán)繞聲信號。
[0017] 優(yōu)選地，所述不同格式的音頻信號包括雙耳錄音信號，Ambisonic錄音信號和音頻 對象信號。
[0018] 優(yōu)選地，雙耳轉(zhuǎn)碼單元對所述不同格式的音頻信號進(jìn)行雙耳轉(zhuǎn)碼，生成相應(yīng)格式 的雙耳轉(zhuǎn)碼音頻信號具體包括：
[0019]對所述雙耳錄音信號，根據(jù)所述旋轉(zhuǎn)角度進(jìn)行插值，生成雙耳錄音雙聲道信號；
[0020] 對所述Ambisonic錄音信號，根據(jù)所述旋轉(zhuǎn)角度對所述Ambisonic錄音信號進(jìn)行調(diào) 整，對所述調(diào)整后的Ambisonic錄音信號雙耳轉(zhuǎn)碼生成Ambisonic錄音雙聲道信號；
[0021] 對所述音頻對象信號，根據(jù)所述旋轉(zhuǎn)角度對所述音頻對象信號調(diào)整，對所述調(diào)整 后的音頻對象信號雙耳轉(zhuǎn)碼生成音頻對象雙聲道信號。
[0022] 優(yōu)選地，如需要較高的空間精度，雙耳轉(zhuǎn)碼單元將音頻對象信號根據(jù)旋轉(zhuǎn)角度進(jìn) 行旋轉(zhuǎn)，將旋轉(zhuǎn)后的音頻對象信號編碼為高階B格式音頻對象信號，經(jīng)雙耳轉(zhuǎn)碼后生成高階 B格式音頻對象雙聲道信號，疊加單元對雙耳轉(zhuǎn)碼單元生成的高階B格式音頻對象雙聲道信 號，Ambisonic錄音雙聲道信號、雙耳錄音雙聲道信號進(jìn)行疊加；
[0023] 如需要低復(fù)雜度低延遲，雙耳轉(zhuǎn)碼單元將音頻對象信號編碼為一階B格式音頻對 象信號，與其他一階Ambisonic錄音信號疊加，然后根據(jù)旋轉(zhuǎn)角度對所述疊加后的混合信號 進(jìn)行雙耳轉(zhuǎn)碼，生成音頻對象與Ambisonic錄音信號的混合雙聲道信號，疊加單元對雙耳轉(zhuǎn) 碼單元生成的與所述混合雙聲道信號、雙耳錄音雙聲道信號進(jìn)行疊加。
[0024]優(yōu)選地，所述云端服務(wù)器還包括平滑單元，分別與所述雙耳轉(zhuǎn)碼單元和所述獲取 單元連接，平滑單元從獲取單元接收用戶頭部旋轉(zhuǎn)的旋轉(zhuǎn)角度，對所述旋轉(zhuǎn)角度進(jìn)行平滑 處理。
[0025]本發(fā)明還提供了一種音頻播放系統(tǒng)，所述系統(tǒng)包括云端音頻處理服務(wù)器，以及客 戶端;所述客戶端包括頭部跟蹤裝置，所述頭部跟蹤裝置抓取頭部旋轉(zhuǎn)角度，通過網(wǎng)絡(luò)上傳 至所述云端音頻處理服務(wù)器，所述云端音頻處理器接收所述旋轉(zhuǎn)角度，生成音頻雙耳輸出 虛擬環(huán)繞聲信號后，通過所述網(wǎng)絡(luò)傳輸至客戶端。
[0026]根據(jù)本發(fā)明的云端音頻處理方法，服務(wù)器和系統(tǒng)，有效且高質(zhì)量地生成虛擬環(huán)繞 聲，主要用于配合虛擬現(xiàn)實(shí)頭戴設(shè)備進(jìn)行音頻的立體聲耳機(jī)播放，并且所述虛擬環(huán)繞聲的 生成是在云端服務(wù)器上進(jìn)行的，很好的適應(yīng)了現(xiàn)有的基于云架構(gòu)的網(wǎng)絡(luò)類型，由云端服務(wù) 器執(zhí)行音頻處理和存儲，從而解決了現(xiàn)有客戶端無法播放各種3603D audio,尤其是適用于 虛擬現(xiàn)實(shí)應(yīng)用的音頻的問題。
[0027]采用本發(fā)明的云端音頻處理技術(shù)，在多人語音通訊中會大大提升臨場感，用戶可 以隨意轉(zhuǎn)頭來關(guān)注某一方向的聲音，更加逼近現(xiàn)實(shí)中的多人交談場景。特別在使用流媒體 的場景中，通過實(shí)時(shí)調(diào)整空間聲，音頻的方位，可以提升用戶的音頻體驗(yàn)。如果輔助虛擬現(xiàn) 實(shí)視頻內(nèi)容，則會更好的提升用戶體驗(yàn)。
【附圖說明】
[0028]圖1是本發(fā)明的云端音頻處理方法一個(gè)實(shí)施例的原理框圖；
[0029]圖2a_c是本發(fā)明的云端音頻處理方法另一個(gè)實(shí)施例的原理框圖；
[0030]圖3是本發(fā)明的音頻處理服務(wù)器的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；
[0031]圖4是本發(fā)明的音頻處理系統(tǒng)的另一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；
【具體實(shí)施方式】
[0032] 實(shí)施例一:如圖1所示，一種對音頻對象處理包括如下處理步驟：
[0033]通過頭部跟蹤裝置獲取用戶頭部旋轉(zhuǎn)角度；
[0034]根據(jù)所述旋轉(zhuǎn)角度，將音頻對象編碼到高階(優(yōu)選為2階