遠程立體聲全方位實時傳輸和播放方法
【專利摘要】本發(fā)明提供遠程立體聲全方位實時傳輸和播放方法，包括服務器，傳輸系統(tǒng)和終端，所述終端包括處理單元、運動檢測單元和聲學單元，所述處理單元分別與所述運動檢測單元和所述聲學單元電性連接，所述運動檢測單元包括位置檢測裝置、姿態(tài)檢測裝置、速度檢測單元和角速度檢測單元?，F(xiàn)有技術相比，本發(fā)明采用根據(jù)運動檢測單元檢測結(jié)果對應傳輸聲音數(shù)據(jù)的方案，節(jié)省了很多的網(wǎng)絡帶寬，使遠程立體聲全方位實時傳輸和播放得以實現(xiàn)。劃分立方體的方式使聲音選取被區(qū)域化和量化，有利于完美地還原聲音并節(jié)省數(shù)據(jù)傳輸量。
【專利說明】
遠程立體聲全方位實時傳輸和播放方法
技術領域
[0001 ]本發(fā)明涉及立體聲傳輸領域，更具體地說，涉及遠程立體聲全方位實時傳輸和播放方法。
【背景技術】
[0002]在現(xiàn)有的虛擬現(xiàn)實和增強現(xiàn)實技術中，立體聲播放一般與位置無關。我們提前將所需的立體聲制作并存儲在相關設備中，待使用時一并放出，這樣的方式比較簡便，但嚴重影響了使用者的沉浸感。在現(xiàn)有的部分立體聲全方位播放技術中，采用了制作與位置和角度相關的全方位立體聲，存儲在相關設備中，當使用時調(diào)取對應位置和角度的立體聲播放。這種方式很好地還原了現(xiàn)場，營造了較強的沉浸感，但這種方式在遠程立體聲全方位實時傳輸中并不常用。這是因為各位置和各方向的聲音的集合擁有很大的數(shù)據(jù)量，實時傳輸這些數(shù)據(jù)量會嚴重占據(jù)帶寬，擠壓圖像傳輸?shù)目臻g，造成圖像傳輸出現(xiàn)卡頓，進而影響虛擬現(xiàn)實體驗和沉浸感。

【發(fā)明內(nèi)容】

[0003]為了解決當前遠程立體聲無法實現(xiàn)全方位傳輸和影響沉浸感的缺陷，本發(fā)明提供一種可全方位傳輸而且沉浸感強的遠程立體聲全方位實時傳輸和播放方法。
[0004]本發(fā)明解決其技術問題所采用的技術方案是:提供遠程立體聲全方位實時傳輸和播放方法，包括服務器，傳輸系統(tǒng)和終端，所述終端包括處理單元、運動檢測單元和聲學單元，所述處理單元分別與所述運動檢測單元和所述聲學單元電性連接，所述運動檢測單元包括位置檢測裝置和姿態(tài)檢測裝置，遠程全景圖像實時傳輸和顯示的方法包括以下步驟:
[0005]S1:所述運動檢測單元檢測使用者的運動狀態(tài)，并將檢測結(jié)果傳輸至所述處理單元；
[0006]S2:所述服務器將使用者所處空間劃分為η個立方體并傳輸立方體信息至所述處理單元，所述處理單元根據(jù)所述運動檢測單元提供的坐標信息得出使用者的所處的立方體區(qū)域及可能到達的立方體區(qū)域，組成傳輸聲音區(qū)域；
[0007]S3:所述服務器傳輸對應所述傳輸聲音區(qū)域數(shù)據(jù)至所述終端。
[0008]優(yōu)選地，所述傳輸聲音區(qū)域的計算方法是:
[0009]S2.11所述處理單元記錄所述運動檢測單元提供的使用者坐標信息(Xq，Yq，Zo)；
[0010]S2.12所述處理單元計算出使用者坐標的正向最大偏移量(AX1, AY1, AZ1)和反向最大偏移量(ΑΧ2，ΔΥ2，ΔΖ2)，整理使用者可能出現(xiàn)的坐標集合Φ = {(Χο-ΔΧ2〈Χ〈Χ()+ΔXi), (Yo-A Υ2〈Υ〈Υ。+ Δ Y1)，( Z0- Δ Ζ2〈Ζ〈Ζ。+ Δ Z1) IX，Y，Z，};
[0011]S2.13集合φ對應的點占據(jù)的立方體區(qū)域即為所述傳輸聲音區(qū)域。
[0012]優(yōu)選地，所述傳輸聲音區(qū)域的計算方法是:
[0013]S2.21所述運動檢測單元記錄使用者20沿X軸、y軸和ζ軸各個方向的線速度為νχ、Vy、νζ，記延遲時間為tiQ，所述處理單元記錄使用者20沿X軸、y軸和ζ軸各個方向的最大加速1? ^jElx、Ely、Elz ；
[0014]S2.22所述處理單元計算出延遲時間t1Q內(nèi)使用者可能出現(xiàn)的角度坐標集合O1 ={(((xo-(vxt1+axt12/2)(xo+(vxt1+axt12/2))),(((yo~(vyt1+ayt12/2)) (yo+(vyt1+ayt12/2)))，(((zo-(vzt1+azt12/2)(zo+(vzt1+azt12/2))) | x，y，z}，集合Φι對應的點占據(jù)的立方體區(qū)域即為所述傳輸聲音區(qū)域。
[0015]優(yōu)選地，所述延遲時間為使用者被檢測到運動狀態(tài)的時間點到服務器對應下行數(shù)據(jù)傳輸完畢所用的時間。
[0016]優(yōu)選地，使所述傳輸聲音區(qū)域的計算方法是:
[0017]S2.31在所述處理單元中記錄延遲時間內(nèi)使用者沿X軸、y軸和ζ軸各個方向的最大線速度為vx’、vy，、vz’ ；
[0018]S2.32所述處理計算集合Φ2 = {((xo—Vx’ t1XxS (χο+Vx，t1))，((yo_vy，t1Xy^(yo+vy't1) )，((ZO-Vz，t1XzS (ZO+Vz，t1)) I x，y，z};
[0019]S2.33令集合Φ 3 = ( Φ工η Φ2)，則Φ 3對應的點占據(jù)的立方體區(qū)域即為所述傳輸聲音區(qū)域。
[0020]優(yōu)選地，所述服務器在每個單個立方體中都設置有m個虛擬聲源，所述虛擬聲源可以模擬聲源發(fā)聲，所述處理單元向所述服務器請求m個所述虛擬聲源的數(shù)據(jù)，整合所有所述虛擬聲源發(fā)出的聲音并通過CHl和CH2聲道傳輸至所述聲學單元。
[0021]優(yōu)選地，所述處理單元根據(jù)所述運動檢測單元提供的使用者坐標信息確定使用者所處的位置和面朝的方向，模擬虛擬聲源40分別向使用者兩側(cè)耳朵傳遞的聲學信息。
[0022]優(yōu)選地，所述終端進一步包括響應測試裝置，所述響應測試裝置可以測試響應時間，所述響應時間為終端向服務器發(fā)出信號到終端接收到對應返回信號所用的時間。
[0023]優(yōu)選地，所述服務器根據(jù)所述響應測試裝置測量的響應時間和所述終端的性能確定所述虛擬聲源的數(shù)量和位置。
[0024]優(yōu)選地，所述終端為虛擬現(xiàn)實頭盔或增強現(xiàn)實眼鏡。
[0025]與現(xiàn)有技術相比，本發(fā)明采用根據(jù)運動檢測單元檢測結(jié)果對應傳輸聲音數(shù)據(jù)的方案，節(jié)省了很多的網(wǎng)絡帶寬，使遠程立體聲全方位實時傳輸和播放得以實現(xiàn)。劃分立方體的方式使聲音選取被區(qū)域化和量化，有利于完美地還原聲音并節(jié)省數(shù)據(jù)傳輸量。通過截取發(fā)聲區(qū)域和傳輸聲音區(qū)域的方式，不僅減少了數(shù)據(jù)傳輸量，而且避免了延遲感的產(chǎn)生。通過確定使用者延遲時間內(nèi)坐標的最大偏移量可以更精確傳輸聲音區(qū)域的范圍，進一步減少數(shù)據(jù)傳輸量。通過虛擬聲源的設置完好地還原了立體聲，進一步增加了沉浸感。設置響應測試裝置可以測量使用者的網(wǎng)速情況，根據(jù)網(wǎng)絡情況和設備性能選擇虛擬聲源的數(shù)量可以在保證聲音正常傳輸?shù)那闆r下最大限度提高音質(zhì)，同時方便得出延遲時間t1Q。通過虛擬聲源分別向使用者兩耳傳遞聲音更增加了立體聲的真實感。
【附圖說明】
[0026]下面將結(jié)合附圖及實施例對本發(fā)明作進一步說明，附圖中:
[0027]圖1是目前遠程聲音實時傳輸和播放方法；
[0028]圖2是立體聲全方位播放示意圖；
[0029]圖3是本發(fā)明遠程立體聲全方位實時傳輸和播放方法結(jié)構(gòu)示意圖；
[0030]圖4是本發(fā)明遠程立體聲全方位實時傳輸和播放方法原理示意圖；
[0031 ]圖5是本發(fā)明遠程立體聲全方位實時傳輸和播放方法立方體空間示意圖。
【具體實施方式】
[0032]為了解決當前遠程立體聲無法實現(xiàn)全方位傳輸和影響沉浸感的缺陷，本發(fā)明提供一種可全方位傳輸而且沉浸感強的遠程立體聲全方位實時傳輸和播放方法。
[0033]為了對本發(fā)明的技術特征、目的和效果有更加清楚的理解，現(xiàn)對照附圖詳細說明本發(fā)明的【具體實施方式】。
[0034]請參閱圖1。圖1是目前遠程聲音實時傳輸和播放方法，終端13包括聲學單元133，通過終端13向服務器11請求數(shù)據(jù)，服務器11根據(jù)終端13請求的數(shù)據(jù)傳輸對應的聲音數(shù)據(jù)到終端13，終端13經(jīng)過處理后將聲音信號傳輸至聲學單元133。
[0035]請參閱圖2。圖2是立體聲全方位播放示意圖。全景圖像多通過虛擬現(xiàn)實頭盔、增強現(xiàn)實眼鏡和全景曲面屏來呈現(xiàn)，需要保證使用者20不管朝向什么方向，如何運動，都可以感受到如同現(xiàn)實般的圖像。而立體聲則是配合全景圖像，使沉浸感大幅提升的必備因素。在現(xiàn)有的部分立體聲全方位播放技術中，采用了制作與位置和角度相關的全方位立體聲，存儲在相關設備中，當使用時調(diào)取對應位置和角度的立體聲播放。但這種方式在遠程立體聲全方位實時傳輸中遇到了困難。這是因為在遠程實時傳輸中，無法提前制作全方位360度的立體聲，而各位置和各方向的聲音的集合擁有很大的數(shù)據(jù)量，實時傳輸這些數(shù)據(jù)量會嚴重占據(jù)帶寬，擠壓圖像傳輸?shù)目臻g，造成圖像傳輸出現(xiàn)卡頓，進而影響虛擬現(xiàn)實體驗和沉浸感。
[0036]請參閱圖3—圖5，在本發(fā)明中，完成遠程立體聲全方位實時傳輸和播放需要服務器11、傳輸系統(tǒng)12和終端13，服務器11和終端13之間通過傳輸系統(tǒng)12連接并相互傳遞信息。終端13包括處理單元137、聲學單元133、環(huán)境模擬單元139和運動檢測單元135，處理單元137分別與聲學單元133、環(huán)境模擬單元139和運動檢測單元135電性連接。環(huán)境模擬單元139可以根據(jù)處理單元137的相關命令模擬環(huán)境場景，服務器11可以傳輸環(huán)境信息到終端13，并由處理單元137命令環(huán)境模擬單元139進行表達。環(huán)境模擬單元139可以配備鼓風機(圖未示)模擬風向和配備噴水裝置(圖未示)模擬噴水、下雨等環(huán)境變化。運動檢測單元135包括姿態(tài)檢測裝置1353、速度檢測裝置1355和位置檢測裝置1357。處理單元137包括響應測試裝置1371，響應測試裝置1371可以測量網(wǎng)絡響應速度。
[0037]服務器11將使用者20所處空間劃分為η個立方體，并傳輸立方體數(shù)據(jù)至處理單元137，使用者20存在于其中一個立方體中，我們稱該立方體為發(fā)聲區(qū)域51。在發(fā)聲區(qū)域51中，服務器11設置m個虛擬聲源40。處理單元137可以通過向服務器11請求數(shù)據(jù)的方式獲得虛擬聲源40的聲音信息和位置信息。每個虛擬聲源40都可以被處理單元137用來模擬聲源發(fā)聲，并通過處理單元137整合，然后通過CHl和CH2聲道傳輸至聲學單元133。虛擬聲源40的發(fā)聲是根據(jù)使用者的位置坐標和使用者的角度坐標來確定的，通過位置坐標和角度坐標，處理單元137可以分別確定虛擬聲源40與使用者兩個耳朵之間的距離和方向，并根據(jù)相關公式分別模擬向兩個耳朵的發(fā)聲。其計算公式為:
[0038]Lp = Lw-K+DIm-Ae
[0039]其中，Lp是人兩耳的聲壓，Lw是聲源的聲壓，相當于響度。距離r就是傳播距離，在參數(shù)K中包含.
[0040](I)輻射為球面波，發(fā)散衰減K:
[0041 ] K = 101og(10,43i)+201og(10,r)
[0042]其中r為虛擬聲源40和單一耳朵的位置距離.
[0043](2)指向性因子Dim:聲源附近是否存在反射面(地面單獨考慮)，或者聲源本身就非點聲源，增加一個反射面即增加3dB。
[0044](3)其他附加衰減Ae，在該公式中我們忽略不計，因此，公式變?yōu)?
[0045]Lp = Lw-101og( 10,4jr)+201og( 10 ,r)+DIm
[0046]通過上述公式，模擬聲源40分別計算向兩個耳朵的發(fā)聲，并分別向兩個耳朵傳輸。處理單元137整合所有模擬聲源40的聲音并向聲學單元133傳輸最終的整合結(jié)果。
[0047]從使用者20的運動狀態(tài)和位置信息被探測到，到聲音信息傳遞給使用者，需要一個傳遞和處理的時間周期。令這個時間周期的起始時刻為To，則該時間周期需要:使用者20的運動狀態(tài)被探測到并傳遞到處理單元137的時間為探測時間t、處理單元137處理的時間為七2、處理單元137傳輸數(shù)據(jù)到服務器11所需時間t3、服務器11處理時間t4、服務器11向處理單元137傳輸對應聲音數(shù)據(jù)的時間t5。(tdts+ts+tA+ts)這段時間我們稱為延遲時間，記延遲時間為t1Q。延遲時間t1Q根據(jù)服務器11、終端13的性能以及網(wǎng)絡傳輸速度的不同各有不同?？梢院苋菀椎贸?，響應測試裝置1371測量的響應時間為(t3+t4+t5)，由于tjPt2對于特定的終端來說是基本是固定不變的，因此延遲時間tlQ就可以通過響應時間(t3+t4+t5)和固定的時間tl、t2計算出來。
[0048]由于人的運動限制，現(xiàn)實中人短時間通過運動穿過的立方體個數(shù)是有限的，我們稱人在延遲時間t1Q內(nèi)通過運動可能穿過的立方體區(qū)域為傳輸聲音區(qū)域50。本發(fā)明遠程立體聲全方位實時傳輸和播放方法的傳輸和播放過程是:在To時刻，使用者20的角度坐標信息和位置坐標信息被運動檢測單元135檢測到，經(jīng)過^的時間該信息傳遞到處理單元137，處理單元137經(jīng)過t2時間的處理向服務器11請求傳輸聲音區(qū)域50的數(shù)據(jù)，經(jīng)過t3時間數(shù)據(jù)請求信息傳輸?shù)椒掌鱑，服務器11經(jīng)過t4時間的處理將傳輸聲音區(qū)域50對應數(shù)據(jù)下行傳輸?shù)浇K端13，經(jīng)過t5的時間到達終端并接收完成，此時記為Ti時刻。同時，運動檢測單元135檢測使用者。。在!^時刻的角度坐標信息和位置坐標信息，并將該信息傳輸至處理單元137，處理單元137經(jīng)過處理后，在傳回的傳輸聲音區(qū)域50中抓取對應T1時刻角度坐標信息和位置坐標信息的發(fā)聲區(qū)域51并傳輸至聲學單元133。
[0049]本發(fā)明中，傳輸聲音區(qū)域50的范圍是比較重要的。傳輸聲音區(qū)域50如果過小，使用者20在緩沖時間內(nèi)的運動可能造成發(fā)聲區(qū)域51超出傳輸聲音區(qū)域50的范圍，造成無法播放聲音;傳輸聲音區(qū)域50如果過大，會造成網(wǎng)絡傳輸數(shù)據(jù)量的增多，在網(wǎng)絡不穩(wěn)定的情況下有可能影響圖像帶寬和沉浸感。
[0050]本發(fā)明第一實施例采用計算使用者20最大坐標偏移量的方式確定傳輸聲音區(qū)域50。我們建立虛擬的直角坐標系，使用者20此時沿X軸、y軸和ζ軸的角度坐標為，位置坐標為(父0，￥0，2())，因此使用者20此時的坐標信息為0()，￥()，2())。處理單元137通過計算的方式計算出延遲時間t1Q內(nèi)使用者20角度坐標的正向最大偏移量(AX1, AY1, AZ1)和反向最大偏移量(ΔΧ2，ΔΥ2，ΔΖ2)，整理使用者20可能出現(xiàn)的坐標集合:
[0051 ] φ = {(X。- Δ Χ2〈Χ〈Χ。+ Δ X1)，(Y0- Δ Υ2〈Υ〈Υ。+ Δ Y1)，(Ζο_ Δ Ζ2〈Ζ〈Ζο+ Δ Zi) | X，Y，Ζ};
[0052]集合Φ內(nèi)所有坐標所在的立方體的集合即為傳輸聲音區(qū)域50。對應的坐標可以由運動檢測單元135檢測得到。
[0053]坐標的最大偏移量有很多算法，其中一種就是利用使用者20的最大運動角加速度和線加速度來計算。這里，我們令使用者20的最大運動線加速度為a，則使用者20沿X軸、y軸和ζ軸各個方向最大線加速度為ax、ay、az，使用者20沿X軸、y軸和ζ軸各個方向運動的線速度為vx、Vy、vz，vx、Vy、Vz可以利用運動檢測單元135檢測得到，在延遲時間t1內(nèi)使用者沿X軸、y軸和ζ軸各個方向最大位移為(VxtiQ+axt12/2)、(VytiQ+ayt12/2、(vzt1+azt12/2)，坐標的變化范圍為:
[0054]{(((xo-(vxt1+axt12/2)(xo+(vxt1+axt12/2))),(((yo-(vyt1+ayt12/2)) ^y^(yo+(vyt1+ayt12/2)))，(((zo-(vzt1+azt12/2)(zo+(vzt1+azt12/2)))}
[0055]此時，坐標的集合為:
[0056]Φι= {(((xo-(vxt1+axt12/2)(xo+(vxt1+axt12/2))),(((yo-(vyt1+ayt12/2) (yo+(vyt1+ayt12/2))),(((zo-(vzt1+azt12/2))(zo+(vzt1+azt12/2))) | x，y，z，} o
[0057]利用該方法計算坐標的集合可以很大程度上減少傳輸聲音區(qū)域50，較好地節(jié)省了資源。
[0058]本發(fā)明第二實施例在第一實施例的基礎上進一步節(jié)省傳輸聲音區(qū)域50。由于人在運動過程中存在極限速度，當運動達到極限速度后就不會繼續(xù)加速運動。因此，我們令使用者20的最大運動速度為V，則使用者20沿X軸、y軸和ζ軸各個方向的最大速度為vx’、vy’、vz’，在延遲時間tlQ內(nèi)使用者20沿X軸、y軸和Z軸各個方向運動的最大速度為:VX’ tlQ、Vy’ tlQ、Vz’110，坐標的變化范圍為:
[0059]{((xo_Vx，t1Xx<(xo+Vx，t1))，((yo_vy，t1XyS (yo+vy，t1))，((zo_vz，t1Xz^(zo+Vz't1))}，
[0060]此時，坐標的集合為:
[0061 ] φ2 = {((X0-Vx，t1(χο+Vx，t1))，((yo_vy，t1XyS (yo+vy，t1))，((zo_vz’t1Xz<(zo+vz，t1)) |x，y，z}。
[0062]使用者20不管怎樣加速轉(zhuǎn)動頭部，都不會超過集合Φ2的坐標范圍，我們令集合Φ3= (Φιη φ2)，則φ3即為使用者可能出現(xiàn)的角度坐標集合。這個結(jié)果使傳輸聲音區(qū)域50進一步減小，減少了大量的傳輸數(shù)據(jù)。
[0063]理論上，虛擬聲源40的數(shù)量越多，越能夠真實地還原聲音。但是由于設備性能的限制和網(wǎng)絡帶寬的限制，我們不可能無限增多虛擬聲源40的數(shù)量。在服務器11中，根據(jù)不同的網(wǎng)絡情況和設備性能存儲了多種數(shù)量的虛擬聲源40的方案，服務器11根據(jù)終端13的型號判斷其性能，并綜合響應測試裝置1371測試的響應時間確定虛擬聲源40的數(shù)量和位置，并向處理單元137傳遞對應數(shù)量的虛擬聲源40數(shù)據(jù)。
[0064]與現(xiàn)有技術相比，本發(fā)明采用根據(jù)運動檢測單元135檢測結(jié)果對應傳輸聲音數(shù)據(jù)的方案，節(jié)省了很多的網(wǎng)絡帶寬，使遠程立體聲全方位實時傳輸和播放得以實現(xiàn)。劃分立方體的方式使聲音選取被區(qū)域化和量化，有利于完美地還原聲音并節(jié)省數(shù)據(jù)傳輸量。通過截取發(fā)聲區(qū)域51和傳輸聲音區(qū)域50的方式，不僅減少了數(shù)據(jù)傳輸量，而且避免了延遲感的產(chǎn)生。通過確定使用者20延遲時間內(nèi)坐標的最大偏移量可以更精確傳輸聲音區(qū)域50的范圍，進一步減少數(shù)據(jù)傳輸量。通過虛擬聲源40的設置完好地還原了立體聲，進一步增加了沉浸感。設置響應測試裝置1371可以測量使用者20的網(wǎng)速情況，根據(jù)網(wǎng)絡情況和設備性能選擇虛擬聲源40的數(shù)量可以在保證聲音正常傳輸?shù)那闆r下最大限度提高音質(zhì)，同時方便得出延遲時間t1Q。通過虛擬聲源40分別向使用者20兩耳傳遞聲音更增加了立體聲的真實感。
[0065]上面結(jié)合附圖對本發(fā)明的實施例進行了描述，但是本發(fā)明并不局限于上述的【具體實施方式】，上述的【具體實施方式】僅僅是示意性的，而不是限制性的，本領域的普通技術人員在本發(fā)明的啟示下，在不脫離本發(fā)明宗旨和權(quán)利要求所保護的范圍情況下，還可做出很多形式，這些均屬于本發(fā)明的保護之內(nèi)。
【主權(quán)項】
1.遠程立體聲全方位實時傳輸和播放方法，其特征在于，包括服務器，傳輸系統(tǒng)和終端，所述終端包括處理單元、運動檢測單元和聲學單元，所述處理單元分別與所述運動檢測單元和所述聲學單元電性連接，所述運動檢測單元包括位置檢測裝置和姿態(tài)檢測裝置，遠程全景圖像實時傳輸和顯示的方法包括以下步驟: S1:所述運動檢測單元檢測使用者的運動狀態(tài)，并將檢測結(jié)果傳輸至所述處理單元； S2:所述服務器將使用者所處空間劃分為η個立方體并傳輸立方體信息至所述處理單元，所述處理單元根據(jù)所述運動檢測單元提供的坐標信息得出使用者的所處的立方體區(qū)域及可能到達的立方體區(qū)域，組成傳輸聲音區(qū)域； S3:所述服務器傳輸對應所述傳輸聲音區(qū)域數(shù)據(jù)至所述終端。2.根據(jù)權(quán)利要求1所述的遠程全景音像實時傳輸和播放的方法，其特征在于，所述傳輸聲音區(qū)域的計算方法是: S2.11所述處理單元記錄所述運動檢測單元提供的使用者坐標信息(Xo，Yo，Z0); S2.12所述處理單元計算出使用者坐標的正向最大偏移量(△ X1，△ Y1，△ Z1)和反向最大偏移量(ΔΧ2，ΔΥ2，ΔΖ2)，整理使用者可能出現(xiàn)的坐標集合O = KXq-AX2OKX(^AX1),(Yo- Δ Υ2〈Υ〈Υ0+ Δ Y1)，( Zo- Δ Ζ2〈Ζ〈Ζο+ Δ Zi) | X，Y，Z，}; S2.13集合Φ對應的點占據(jù)的立方體區(qū)域即為所述傳輸聲音區(qū)域。3.根據(jù)權(quán)利要求2所述的遠程立體聲全方位實時傳輸和播放方法，其特征在于，所述運動檢測單元進一步包括速度檢測裝置，所述傳輸聲音區(qū)域的計算方法是: S2.21所述速度檢測裝置檢測使用者20沿X軸、y軸和ζ軸各個方向的線速度Vx、Vy、Vz，記延遲時間為t1，所述處理單元記錄使用者20沿X軸、y軸和z軸各個方向的最大加速度為ax、By、Bz ； S2.22所述處理單元計算出延遲時間^0內(nèi)使用者可能出現(xiàn)的角度坐標集合Φ1 ={(((xo-(vxt1+axt12/2)(xo+(vxt1+axt12/2))),(((yo~(vyt1+ayt12/2)) (yo+(vyt1+ayt12/2)))，(((zo-(vzt1+azt12/2)(zo+(vzt1+azt12/2))) | x，y，z}，集合Φι對應的點占據(jù)的立方體區(qū)域即為所述傳輸聲音區(qū)域。4.根據(jù)權(quán)利要求3所述的遠程立體聲全方位實時傳輸和播放方法，其特征在于，所述延遲時間為使用者被檢測到運動狀態(tài)的時間點到服務器對應下行數(shù)據(jù)傳輸完畢所用的時間。5.根據(jù)權(quán)利要求3所述的遠程全景音像實時傳輸和播放方法，其特征在于，使所述傳輸聲音區(qū)域的計算方法是: S2.31在所述處理單元中記錄延遲時間內(nèi)使用者沿X軸、y軸和z軸各個方向的最大線速N Vy N Vz ; S2.32所述處理計算集合Φ2 = {((xo-Vx，t1XxS (χο+Vx，t1))，((y『vy，t1XyS (yo+Vy，t1))，((zo-vz，t1Xz<(zo+vz，t1)) |x，y，z}; S2.33令集合Φ 3 = (Φ i η Φ 2)，則Φ 3對應的點占據(jù)的立方體區(qū)域即為所述傳輸聲音區(qū)域。6.根據(jù)權(quán)利要求1所述的遠程立體聲全方位實時傳輸和播放方法，其特征在于，所述服務器在每個單個立方體中都設置有m個虛擬聲源，所述虛擬聲源可以模擬聲源發(fā)聲，所述處理單元向所述服務器請求m個所述虛擬聲源的數(shù)據(jù)，整合所有所述虛擬聲源發(fā)出的聲音并通過CHl和CH2聲道傳輸至所述聲學單元。7.根據(jù)權(quán)利要求6所述的遠程立體聲全方位實時傳輸和播放方法，其特征在于，所述處理單元根據(jù)所述運動檢測單元提供的使用者坐標信息確定使用者所處的位置和面朝的方向，模擬虛擬聲源40分別向使用者兩側(cè)耳朵傳遞的聲學信息。8.根據(jù)權(quán)利要求6所述的遠程立體聲全方位實時傳輸和播放方法，其特征在于，所述終端進一步包括響應測試裝置，所述響應測試裝置可以測試響應時間，所述響應時間為終端向服務器發(fā)出信號到終端接收到對應返回信號所用的時間。9.根據(jù)權(quán)利要求8所述的遠程立體聲全方位實時傳輸和播放方法，其特征在于，所述服務器根據(jù)所述響應測試裝置測量的響應時間和所述終端的性能確定所述虛擬聲源的數(shù)量和位置。10.根據(jù)權(quán)利要求1一9任一項所述的遠程立體聲全方位實時傳輸和播放方法，其特征在于，所述終端為虛擬現(xiàn)實頭盔或增強現(xiàn)實眼鏡。
【文檔編號】G10L19/008GK106057207SQ201610494569
【公開日】2016年10月26日
【申請日】2016年6月30日
【發(fā)明人】黨少軍
【申請人】深圳市虛擬現(xiàn)實科技有限公司