360°多視點(diǎn)3d全息視頻采集方法、設(shè)備及實(shí)現(xiàn)方法
【專利摘要】本發(fā)明屬于新一代信息技術(shù)基于增強(qiáng)現(xiàn)實(shí)的3D視頻處理領(lǐng)域，具體涉及360°多視點(diǎn)3D全息視頻采集方法及實(shí)現(xiàn)方法。采用多臺(tái)攝像機(jī)進(jìn)行全彩色、高分辨率，全方位(x，y，z)圖像采集，像素操作和聚合，簡(jiǎn)化了3D全息視頻采集方式和處理過(guò)程，免除耗費(fèi)大量時(shí)間和專用設(shè)備，得到全方位、全色彩的3D全息視頻，大大增強(qiáng)人的空間3維視覺(jué)。在攝像機(jī)采用MAC架構(gòu)，統(tǒng)計(jì)復(fù)用且流水線傳輸相結(jié)合的方式共享信道，提高數(shù)據(jù)傳輸?shù)目旖菪院陀行?，避免了資源浪費(fèi)和信道沖突的情況。在視頻庫(kù)和用戶端之間采用單指令多渠道傳輸?shù)姆绞剑瑢?shí)現(xiàn)無(wú)線資源傳輸統(tǒng)一調(diào)配，提高數(shù)據(jù)傳輸速度，以及用戶端3D全息視頻處理和顯示的速度。
【專利說(shuō)明】
360°多視點(diǎn)3D全息視頻采集方法、設(shè)備及實(shí)現(xiàn)方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及基于新一代信息技術(shù)AR的3D視頻處理領(lǐng)域，具體而言，設(shè)及360°多視 點(diǎn)3D全息視頻采集方法、采集設(shè)備，及利用上述采集方法實(shí)現(xiàn)360°多視點(diǎn)3D全息視頻系統(tǒng) 的實(shí)現(xiàn)方法和實(shí)現(xiàn)裝置，W及用戶端。
【背景技術(shù)】
[0002] 人類雙眼觀察世界本來(lái)是=維立體的，但由于技術(shù)手段的限制，現(xiàn)有的照相機(jī)或 攝像機(jī)采集的圖像/視頻實(shí)際是景物的平面投影，丟失了深度信息，僅剩下二維信息，為了 回歸自然，需要恢復(fù)=維信息，前人探索了許多方法，包括經(jīng)典的裸眼雙目視差立體法，傳 統(tǒng)的光學(xué)移相干擾干板成像法，自由視點(diǎn)法，最具代表的是近年推出的利用光場(chǎng)相干原理 和CCD成像技術(shù)形成的光場(chǎng)數(shù)字成像法如圖1所示。
[0003] 圖1中M:反射鏡;BS:分束器;SF:空間濾波;L:透鏡;RP:阻滯面;CCD:電荷禪合器件 成像。上述經(jīng)典的光場(chǎng)數(shù)字3D成像過(guò)程形成主光束和相干光束在"干板"會(huì)聚，通過(guò)控制其 幅度和相位，可W在CCD傳感器上產(chǎn)生數(shù)字圖像/視頻，二維相干成像的數(shù)學(xué)表達(dá)為：
[0004] 也（111，]1) = 1巧111,。（卻，7?；?(卻，7。）(1卻，(17。（式1)
[0005] 其中，Pm,n是圖像元素，E2為用作合成二維全息圖的點(diǎn)擴(kuò)展函數(shù)(PSF)，PSF的數(shù)學(xué) 表達(dá)式為：
[0006] E2 (Xp，Yp ) = A2 (bxp，byp) e XP [ i g2 (bxp，byp)](式 2)
[0007] 公式中PSF體現(xiàn)了移相干擾控制幅度和相位的變化形成全息圖像。但運(yùn)種成像方 法受限于一個(gè)光學(xué)平臺(tái)架構(gòu)，主光路和干擾光路及各種鏡頭都有嚴(yán)格的相對(duì)定位與穩(wěn)定性 要求，成像顯示必須通過(guò)密集光柵才能看到單色立體形貌，一般只適合于離線、慢操作、非 彩色的應(yīng)用，不適應(yīng)在廣播電視或互聯(lián)網(wǎng)傳播實(shí)時(shí)全彩色高分辨率應(yīng)用要求。

【發(fā)明內(nèi)容】

[000引本發(fā)明的目的在于提供360°多視點(diǎn)3D全息視頻采集方法、采集設(shè)備，及利用上述 采集方法實(shí)現(xiàn)360°多視點(diǎn)3D全息視頻系統(tǒng)的實(shí)現(xiàn)方法和實(shí)現(xiàn)裝置，W及用戶端，W解決在 線、全彩色3D視頻采集、傳輸?shù)膯?wèn)題。
[0009]本發(fā)明提供了一種360°多視點(diǎn)3D全息視頻采集方法，其包括：
[0010]利用3D全息視頻公式，由2個(gè)W上攝像機(jī)對(duì)待攝物體進(jìn)行360°全方位、全彩色的視 頻采集，得到3D全息視頻fh，所述3D全息視頻fh由多帖全彩色平面畫面Pz(Xm，ym)構(gòu)成；
[0011] 所沐3D全息視硫公式為：
[0012]
[0013]其中，m為X方向的坐標(biāo)值，n為y方向的坐標(biāo)值，S為Z方向的坐標(biāo)值，t為攝像機(jī)數(shù) 目。
[0014] 本發(fā)明還提供了一種使用上述360°多視點(diǎn)3D全息視頻采集方法的采集設(shè)備，其包 括：
[0015] 攝像模塊，其包括2個(gè)W上攝像機(jī)，用于對(duì)待攝物體進(jìn)行360°全方位、全彩色的視 頻采集，采集的視頻由多帖全彩色平面畫面Pz ( Xm，ym)構(gòu)成；
[0016] 控制模塊，用于利用3D全息視頻公式控制攝像模塊進(jìn)行視頻采集;所述3D全息視 頻公式為：
[0017]
[0018] 其中，m為X方向的坐標(biāo)值，n為y方向的坐標(biāo)值，S為Z方向的坐標(biāo)值，t為攝像機(jī)數(shù) 目；
[0019] 處理器，用于對(duì)攝像模塊采集的視頻數(shù)據(jù)進(jìn)行處理并編碼成信源數(shù)據(jù)，所述處理 包括:去崎變、去噪、白平衡、色彩平衡、光線調(diào)節(jié)中的一種或多種。
[0020] 在一些實(shí)施例中，優(yōu)選為，所有所述攝像機(jī)構(gòu)成MAC架構(gòu)，所有所述攝像機(jī)與所述 處理器之間采用統(tǒng)計(jì)復(fù)用且流水線傳輸相結(jié)合的方式共享信道。
[0021] 在一些實(shí)施例中，優(yōu)選為，每個(gè)所述攝像機(jī)按設(shè)定方式布設(shè)于對(duì)應(yīng)扇區(qū)，且分別全 方位覆蓋其所在扇區(qū)，所有扇區(qū)拼成360°空間。
[0022] 在一些實(shí)施例中，優(yōu)選為，所述攝像機(jī)的數(shù)目為4個(gè)，4個(gè)所述攝像機(jī)將360°空間分 為4個(gè)扇區(qū)，每個(gè)扇區(qū)90°，攝像機(jī)的視野覆蓋該扇區(qū)全方位。
[0023] 本發(fā)明還提供了一種360°多視點(diǎn)3D全息視頻系統(tǒng)實(shí)現(xiàn)方法，其包括：
[0024] 利用所述的采集方法得到視頻數(shù)據(jù)的信源數(shù)據(jù)；
[0025] 將所述信源數(shù)據(jù)存入3D全息視頻庫(kù)；
[0026] 根據(jù)用戶端請(qǐng)求，將所述信源數(shù)據(jù)進(jìn)行做分包處理，并對(duì)分解的小包統(tǒng)一編碼；
[0027] 將編碼后的小包通過(guò)不同信道進(jìn)行單指令多數(shù)據(jù)流方式傳送至用戶端；
[0028] 通過(guò)低延時(shí)方式，經(jīng)不同信道傳輸至用戶端的所有小包被統(tǒng)一解碼；
[0029] 解碼后數(shù)據(jù)通過(guò)3D全息視頻公式合成3D全息視頻，并顯示；
[00301 亡。*…八曰加止古/、山
[0031： ，
[0032] 其中，m為X方向的坐標(biāo)值，n為y方向的坐標(biāo)值，S為Z方向的坐標(biāo)值，t為攝像機(jī)數(shù)目
[0033] 在一些實(shí)施例中，優(yōu)選為，所述顯示的顯示參數(shù)包括空間分辨率、彩色分辨率、視 源點(diǎn)分辨率W及對(duì)比度、亮度、白平衡度中的一種或多種。
[0034] 本發(fā)明還提供了一種用戶端，其包括：
[0035] 通訊模塊，用于接收信源數(shù)據(jù)通過(guò)不同信道傳輸?shù)男“?br>[0036] 積分延時(shí)模塊，用于低積分延時(shí)控制所述接收模塊的接收狀態(tài)；
[0037] 解碼器，用于將信源數(shù)據(jù)重構(gòu)為時(shí)域視頻信息，時(shí)域視頻信息通過(guò)3D全息視頻公 式還原為原始3D信號(hào)源；
[0038] 操控器，用于設(shè)置顯示參數(shù)，所述顯示參數(shù)包括空間分辨率、彩色分辨率、視源點(diǎn) 分辨率W及對(duì)比度、亮度、白平衡度中的一種或多種；
[0039] 顯示模塊，用于接收原始3D信號(hào)源，根據(jù)顯示參數(shù)投影到成像平面，利用成像平面 上的全息投影膜，使原始3D信號(hào)源出現(xiàn)在成像平面下方；
[0040] 所述3D全息視頻公式為
[0041]
[0042] 在一些實(shí)施例中，優(yōu)選為，原始3D信號(hào)源隱含生理深度暗示信息
[0043] 本發(fā)明還提供了一種所述360°多視點(diǎn)3D全息視頻系統(tǒng)實(shí)現(xiàn)方法的實(shí)現(xiàn)裝置，其包 括：
[0044] 3D全息視頻庫(kù)、采集設(shè)備、和多個(gè)用戶端；
[0045] 所述采集設(shè)備、所有所述用戶端均與所述3D全息視頻庫(kù)無(wú)線連接
[0046] 本發(fā)明實(shí)施例提供的360°多視點(diǎn)3D全息視頻采集方法、采集設(shè)備，及利用上述采 集方法實(shí)現(xiàn)360°多視點(diǎn)3D全息視頻系統(tǒng)的實(shí)現(xiàn)方法和實(shí)現(xiàn)裝置，W及用戶端，與現(xiàn)有技術(shù) 相比，采用多臺(tái)攝像機(jī)進(jìn)行全彩色、高分辨率(取決于m，n)，全方位(x，y，z)的圖像，在3D全 息視頻公式中執(zhí)行多次線性的像素操作和聚合，從而簡(jiǎn)化3D全息視頻采集方式和處理過(guò) 程，免除耗費(fèi)大量時(shí)間和專用設(shè)備，能夠得到全方位、全色彩的3D全息視頻。
[0047] 而且，在攝像機(jī)和處理器之間采用MAC架構(gòu)，統(tǒng)計(jì)復(fù)用且流水線傳輸相結(jié)合的方式 共享信道，提高數(shù)據(jù)傳輸?shù)目旖菪院陀行?，避免了資源浪費(fèi)和信道沖突的情況。在視頻庫(kù) 和用戶端之間也采用了單指令多渠道傳輸?shù)姆绞?，?shí)現(xiàn)無(wú)線資源傳輸統(tǒng)一調(diào)配，提高了數(shù) 據(jù)傳輸?shù)乃俣?，W及用戶端3D全息視頻處理和顯示的速度。共享信道承載各用戶通過(guò)緩沖 區(qū)進(jìn)入的數(shù)據(jù)，節(jié)點(diǎn)用戶分組數(shù)據(jù)包可按不同、優(yōu)先等級(jí)、無(wú)線傳輸資源占用效率統(tǒng)一適 配。信道的動(dòng)態(tài)統(tǒng)計(jì)復(fù)用在MAC層通過(guò)實(shí)施流水線方式的并行處理，在媒體接入數(shù)據(jù)處理層 中單指令多數(shù)據(jù)流處理各模塊充滿時(shí)，實(shí)現(xiàn)高吞吐率和低時(shí)延接近極限目標(biāo)，滿足視頻實(shí) 時(shí)（25f/s )、分辨率72化（1280 X 720 )，108化（1920 X 1080)傳輸要求。運(yùn)種方式更適合視頻 類大數(shù)據(jù)的傳輸，又不影響用戶端的顯示，提高用戶觀賞視頻的舒適度。
【附圖說(shuō)明】
[004引圖1為現(xiàn)有技術(shù)中光場(chǎng)數(shù)字成像法流程示意圖；
[0049] 圖2為本發(fā)明一個(gè)實(shí)施例中的多視點(diǎn)3D全息視頻實(shí)現(xiàn)系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0050] 下面通過(guò)具體的實(shí)施例結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的詳細(xì)描述。
[0051] 考慮到目前移相干擾控制幅度和相位的變化形成全息圖像，其成像方法受限于一 個(gè)光學(xué)平臺(tái)架構(gòu)，只適合于離線、慢操作、非彩色的應(yīng)用，不適應(yīng)在廣播電視或互聯(lián)網(wǎng)傳播 實(shí)時(shí)全彩色高分辨率應(yīng)用要求的問(wèn)題，本發(fā)明提供了360°多視點(diǎn)3D全息視頻采集方法、采 集設(shè)備，及利用上述采集方法實(shí)現(xiàn)360°多視點(diǎn)3D全息視頻系統(tǒng)的實(shí)現(xiàn)方法和實(shí)現(xiàn)裝置，W 及用戶端。
[0052] 該360°多視點(diǎn)3D全息視頻采集方法，其包括：
[0053]利用3D全息視頻公式，由2個(gè)W上攝像機(jī)對(duì)待攝物體進(jìn)行360°全方位、全彩色的視 頻采集，得到3D全息視頻fh，3D全息視頻fh由多帖全彩色平面畫面Pz ( Xm，ym)構(gòu)成；
[0化4] 3D全息視頻公式為：
[0化5]
[0056] 其中，m為X方向的坐標(biāo)值，n為y方向的坐標(biāo)值，S為Z方向的坐標(biāo)值，t為攝像機(jī)數(shù) 目。
[0057] 對(duì)應(yīng)該采集方法的設(shè)備可W包括=個(gè)部分，攝像模塊，其包括2個(gè)W上攝像機(jī)，用 于對(duì)待攝物體進(jìn)行360°全方位、全彩色的視頻采集，采集的視頻由多帖全彩色平面畫面Pz (xm，ym)構(gòu)成;控制模塊，用于利用3D全息視頻公式控制攝像模塊進(jìn)行視頻采集;3D全息視頻 公式為?
[0化引
[0059] 其中，m為X方向的坐標(biāo)值，n為y方向的坐標(biāo)值，S為Z方向的坐標(biāo)值，t為攝像機(jī)數(shù) 目；處理器，用于對(duì)攝像模塊采集的視頻數(shù)據(jù)進(jìn)行處理并編碼成信源數(shù)據(jù)，處理包括:去崎 變、去噪、白平衡、色彩平衡、光線調(diào)節(jié)中的一種或多種。
[0060] 采用上述的360°多視點(diǎn)3D全息視頻采集方法，形成可供用戶端提取3D全息視頻系 統(tǒng)。該系統(tǒng)的實(shí)現(xiàn)方法包括：
[0061 ]利用上述采集方法得到視頻數(shù)據(jù)的信源數(shù)據(jù)；
[0062] 將信源數(shù)據(jù)存入3D全息視頻庫(kù)；
[0063] 根據(jù)用戶請(qǐng)求，將信源數(shù)據(jù)進(jìn)行做分包處理，并對(duì)分解的小包統(tǒng)一編碼；
[0064] 將編碼后的小包通過(guò)不同信道進(jìn)行單指令多數(shù)據(jù)流方式傳送至用戶端；
[0065] 通過(guò)低延時(shí)方式，經(jīng)不同信道傳輸至用戶端的所有小包被統(tǒng)一解碼；
[0066] 解碼后數(shù)據(jù)通過(guò)3D全息視頻公式合成3D全息視頻，并顯示；
[0067] …人^謝古/、山 [006引
[0069] 用尸端巧巧取剖視鎖庫(kù)的數(shù)惦后，需奧對(duì)數(shù)惦進(jìn)打聚合形成3D全息視頻，該用戶 端包括:通訊模塊，用于接收信源數(shù)據(jù)通過(guò)不同信道傳輸?shù)男“?br>[0070] 積分延時(shí)模塊，用于低積分延時(shí)控制接收模塊的接收狀態(tài)；
[0071 ]解碼器，用于將信源數(shù)據(jù)重構(gòu)為時(shí)域視頻信息，時(shí)域視頻信息通過(guò)3D全息視頻公 式還原為原始3D信號(hào)源；
[0072] 操控器，依據(jù)最大似然原則，用于設(shè)置顯示參數(shù)，顯示參數(shù)包括空間分辨率、彩色 分辨率、視源點(diǎn)分辨率W及對(duì)比度、亮度、白平衡度中的一種或多種；
[0073] 顯示模塊，用于接收原始3D信號(hào)源，根據(jù)顯示參數(shù)投影到成像平面，利用成像平面 上的全息投影膜，使原始3D信號(hào)源出現(xiàn)在成像平面下方；
[0074] 3D全息視頻公式為
[0075]
[0076] 將上述視頻庫(kù)、采集設(shè)備、用戶端進(jìn)行集成，形成360°多視點(diǎn)3D全息視頻系統(tǒng)實(shí)現(xiàn) 裝置，采集設(shè)備、所有用戶端均與視頻庫(kù)無(wú)線連接。
[0077] 接下來(lái)對(duì)本技術(shù)進(jìn)行詳細(xì)說(shuō)明：
[0078] 為了進(jìn)行3D視頻的全方位、全色彩采集和傳輸，得到360°多視點(diǎn)3D全息視頻系統(tǒng) 實(shí)現(xiàn)方法，通過(guò)該實(shí)現(xiàn)方法搭建圖2中的實(shí)現(xiàn)系統(tǒng)。該實(shí)現(xiàn)方法包括：
[0079] 步驟101，確定待拍攝物體(或稱為待拍攝物像）；
[0080] 步驟102,確定攝像機(jī)的數(shù)目和布局方式，及伺服控制裝置、處理器；
[0081] 原則為:對(duì)待拍攝物體進(jìn)行全方位、全色彩的拍攝?？紤]復(fù)雜度與成本，本實(shí)施例 中采用4個(gè)通用型CCD攝像機(jī)(A，B，C，D)，1920X1080像元分辨率，50-135mm焦距范圍為例， 進(jìn)行全方位、全彩色的視頻攝像。A，B，C，D4個(gè)攝像機(jī)組成的動(dòng)態(tài)自適應(yīng)視頻采集，最滿集可 將360°空間分為4個(gè)扇區(qū)（相），每相90%視野覆蓋全方位，360°空間，也就是說(shuō)，4相并行采 集的視頻數(shù)據(jù)，毫無(wú)遺漏地獲得目標(biāo)物件(像）的立體全貌，運(yùn)樣所獲得3D全息視頻將是全 彩色、3維、全方位的。
[0082] 在其他實(shí)施例中可W根據(jù)攝影目的需求任意調(diào)整4個(gè)攝像機(jī)的排列方式、目標(biāo)距 離、焦距、光源分布，獲得特定觀察點(diǎn)視頻信號(hào)。
[0083] 伺服控制裝置(即控制模塊)加載有3D全息視頻公式，通過(guò)該公式控制攝像機(jī)進(jìn)行 數(shù)據(jù)采集，攝像機(jī)在伺服控制裝置的控制下對(duì)待攝像物體進(jìn)行掃描式拍攝。
[0084] 3D全息視頻公式為如下式3:
[0085]
[0086] 其中Pz為2維圖像，fr是4相匯聚全景圖，序列全景圖匯聚成全息視頻fh:m為X方向 的坐標(biāo)值，n為y方向的坐標(biāo)值，S為Z方向的坐標(biāo)值，t為攝像機(jī)數(shù)目
[0087] 比較式1與式2,式3是全彩色(RGB),高分辨率(取決于m，n)，全方位（x，y，z)的圖 像，序列的全方位圖像形成符合人類3D視覺(jué)規(guī)律的立體視頻。式3不存在式2的非線性復(fù)雜 計(jì)算，僅需要執(zhí)行線性的像素操作與聚合，因此系統(tǒng)實(shí)現(xiàn)簡(jiǎn)潔方便，免除耗費(fèi)大量時(shí)間和專 用設(shè)備。
[0088] 處理器是對(duì)攝像機(jī)拍攝的數(shù)據(jù)進(jìn)行處理和編碼，該處理器為多核處理機(jī)，采用酷 眷i7，主頻3.8GHz，LGA 2011，201 Ipin，六核屯、，十二線程，組成流水線處理機(jī)，實(shí)現(xiàn)4節(jié)點(diǎn)視 頻序列輸入，對(duì)4節(jié)點(diǎn)視頻數(shù)據(jù)進(jìn)行幾何矯正、白平衡處理、色彩矯正等處理，構(gòu)成信源數(shù) 據(jù)，可直接輸入視頻數(shù)據(jù)庫(kù)（即3D全息視頻庫(kù)）。
[0089] 在攝像機(jī)和處理器之間接入寬帶無(wú)線，采用4G LTE和WLAN(802. Ilx)融合網(wǎng)絡(luò)，通 過(guò)對(duì)基于虛擬eNB的異構(gòu)一體化組網(wǎng)方法支持視頻數(shù)據(jù)同步無(wú)線寬帶接入，在虛擬eNB異構(gòu) 一體化組網(wǎng)框架下，實(shí)現(xiàn)不同網(wǎng)絡(luò)資源的共享和全局調(diào)度。攝像機(jī)和處理器之間的通訊方 式為:4節(jié)點(diǎn)(攝像頭)通過(guò)MAC連接的架構(gòu)，A，B，C，D節(jié)點(diǎn)信號(hào)之間可W任意連接，并設(shè)立"共 享信道"，實(shí)現(xiàn)無(wú)線資源傳輸統(tǒng)一調(diào)配。共享信道承載各攝像機(jī)節(jié)點(diǎn)通過(guò)緩沖區(qū)進(jìn)入的數(shù) 據(jù)，節(jié)點(diǎn)分組數(shù)據(jù)包可按不同、優(yōu)先等級(jí)、無(wú)線傳輸資源占用效率統(tǒng)一適配。信道的動(dòng)態(tài)統(tǒng) 計(jì)復(fù)用在MC層通過(guò)實(shí)施流水線方式的并行處理。將數(shù)據(jù)分解為小包，然后通過(guò)統(tǒng)計(jì)復(fù)用方 式采用不同信道傳輸，提高傳輸?shù)乃俣群吞幚淼乃俣取?br>[0090]由處理器生成的信源在傳輸前需要統(tǒng)一編碼，信源編碼包含視頻編碼層（Video Coding Laye;r:V化)and網(wǎng)絡(luò)抽象層(Network Abstraction Laye;r:NAL)eV化生成源內(nèi)容的 編碼表述，包括帖內(nèi)編碼和帖間編碼。NAL是設(shè)計(jì)"網(wǎng)絡(luò)友好"傳輸?shù)墓ぞ撸蒞用來(lái)實(shí)現(xiàn) 定制的各種VCL數(shù)據(jù)的應(yīng)用，數(shù)據(jù)傳輸形式包括：
[0091 ] . RTP/IP的無(wú)線互聯(lián)網(wǎng)服務(wù)(會(huì)話式或流媒體式）；
[0092] ?文件(ISO等)存儲(chǔ)與管理；
[0093] ? H.32X格式的系統(tǒng)無(wú)線/有線多媒體對(duì)話業(yè)務(wù)；
[0094] -MPEG-2格式的電視系統(tǒng)服務(wù)。
[00M]步驟103，確定視頻數(shù)據(jù)庫(kù)；
[0096] 該視頻數(shù)據(jù)庫(kù)（即3D全息視頻庫(kù)），用于存儲(chǔ)攝像機(jī)采集的數(shù)據(jù)，由于數(shù)據(jù)量非常 大，通常視頻數(shù)據(jù)庫(kù)架設(shè)在3D全息云服務(wù)平臺(tái)上。3D全息視頻庫(kù)采用軟件定義網(wǎng)絡(luò)(SDN)結(jié) 構(gòu)，將控制面和數(shù)據(jù)面分離開(kāi)，邏輯上集中管理網(wǎng)絡(luò)狀態(tài)信息，底層網(wǎng)絡(luò)硬件設(shè)施由上層應(yīng) 用來(lái)抽象和定義，將視頻與媒體服務(wù)提升到內(nèi)容與特征階段的CBIR技術(shù)?；趦?nèi)容的圖像 檢索，即CBIR(Content-based image retrieval)，是計(jì)算機(jī)視覺(jué)領(lǐng)域中關(guān)注大規(guī)模數(shù)字圖 像視頻內(nèi)容檢索的研究分支。典型的CBIR系統(tǒng)，允許用戶輸入一張圖片，W查找具有相同或 相似內(nèi)容的其他圖片。而傳統(tǒng)的圖像檢索是基于文本的，即通過(guò)圖片的名稱、文字信息和索 引關(guān)系來(lái)實(shí)現(xiàn)查詢功能。
[0097] 3D全息云服務(wù)平臺(tái)構(gòu)建具有"大數(shù)據(jù)"，其主要特色是具有4個(gè)V = Volume、 Velocity、Variety和Value,也就是海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系、 多樣的數(shù)據(jù)類型和巨大的數(shù)據(jù)價(jià)值。云計(jì)算中的數(shù)據(jù)處理能力包括數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)管理，數(shù) 據(jù)索引，數(shù)據(jù)壓縮等。
[0098] 步驟104,確定用戶端；
[0099] 用戶端包括通訊模塊、后期處理模塊和操控器，用于提取所需視頻、承接信宿端解 碼、顯示參數(shù)設(shè)定、3D全息視頻顯示過(guò)程交互控制。
[0100] 通訊模塊通過(guò)寬帶無(wú)線接入視頻數(shù)據(jù)庫(kù)，采用4G LTE和WLAN(802. Ilx)融合網(wǎng)絡(luò)， 通過(guò)對(duì)基于虛擬eNB的異構(gòu)一體化組網(wǎng)方法支持視頻數(shù)據(jù)同步無(wú)線寬帶接入，在虛擬eNB異 構(gòu)一體化組網(wǎng)框架下，實(shí)現(xiàn)不同網(wǎng)絡(luò)資源的共享和全局調(diào)度。使各類型智能終端通過(guò)異構(gòu) 分集合異構(gòu)復(fù)用，保證多個(gè)用戶端同時(shí)與視頻數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)通信效率。用于接收信源數(shù) 據(jù)通過(guò)不同信道傳輸?shù)男“?共享信道承載各用戶通過(guò)緩沖區(qū)進(jìn)入的數(shù)據(jù)，用戶分組數(shù)據(jù) 包可按不同、優(yōu)先等級(jí)、無(wú)線傳輸資源占用效率統(tǒng)一適配。積分延時(shí)模塊，用于低積分延時(shí) 控制接收模塊的接收狀態(tài)。信道的動(dòng)態(tài)統(tǒng)計(jì)復(fù)用在媒體接入數(shù)據(jù)處理層中單指令多數(shù)據(jù)流 處理各模塊充滿時(shí)，實(shí)現(xiàn)高吞吐率和低時(shí)延接近極限目標(biāo)，滿足視頻實(shí)時(shí)（25f/s)、分辨率 720p( 1280 X 720)，1080p( 1920 X 1080)傳輸要求。
[0101] 其中承接信宿端解碼的解碼器將VCL信號(hào)重構(gòu)為時(shí)域視頻信息，信號(hào)中隱含生理 深度暗示(Physiologieal Depth化e)信息，通過(guò)本系統(tǒng)設(shè)計(jì)的掃描裝置，給出明顯的屯、理 =維立體感覺(jué)，操控器用于設(shè)置各類顯示參數(shù)，包括空間分辨率、彩色分辨率、視源點(diǎn)分辨 率W及對(duì)比度、亮度、白平衡度，對(duì)于特定需要的物件=維凸顯，如場(chǎng)景中特定的人體或物 件，執(zhí)行深度圖像基生成（Depth Image-Based Rendering;DIBR)處理算法，并可控制其凸 顯的程度及速度。用于將信源數(shù)據(jù)重構(gòu)為時(shí)域視頻信息，時(shí)域視頻信息通過(guò)3D全息視頻公 式還原為原始3D信號(hào)源。
[0102] 3D全息視頻顯示單元，包括操控器和顯示模塊。操控器，用于設(shè)置顯示參數(shù)，顯示 參數(shù)包括空間分辨率、彩色分辨率、視源點(diǎn)分辨率W及對(duì)比度、亮度、白平衡度中的一種或 多種；顯示模塊，用于接收原始3D信號(hào)源，根據(jù)顯示參數(shù)投影到成像平面，利用成像平面上 的全息投影膜，使原始3D信號(hào)源出現(xiàn)在成像平面下方；
[0103] 3D全息視頻公式為：
[0104]
[0105] 其視頻源可W來(lái)自傳統(tǒng)顯示設(shè)備中的任一種，包括PC機(jī)顯示器，電視機(jī)屏幕，手 機(jī)，IPAD，投影機(jī)等，該顯示裝置的構(gòu)成含平面顯示裝置，信號(hào)源輸入裝置，全息投影膜，成 像平面，底座支架等。原始3D信號(hào)源從信號(hào)輸入裝置輸入到平面顯示裝置中，或使用移動(dòng)設(shè) 備中的多媒體信息直接導(dǎo)入顯示裝置，完成信號(hào)傳入;接著由平面顯示裝置將畫面投影到 成像平面上，由于成像平面上的全息投影膜，3D信息可W完整出現(xiàn)在成像平面下方。觀看者 可W在裝置前方看到具有強(qiáng)立體感的全息投影。
[0106] 步驟105,執(zhí)行視頻數(shù)據(jù)采集、處理和上傳至視頻數(shù)據(jù)庫(kù)；
[0107] 伺服控制裝置控制四個(gè)攝像機(jī)對(duì)待攝像物體進(jìn)行視頻采集，采集后數(shù)據(jù)通過(guò)統(tǒng)計(jì) 復(fù)用和流水線式送入處理器進(jìn)行處理;處理器對(duì)處理后的數(shù)據(jù)進(jìn)行編碼，構(gòu)成信源數(shù)據(jù)，信 源數(shù)據(jù)存入視頻數(shù)據(jù)庫(kù)。
[0108] 步驟106,用戶端進(jìn)行視頻數(shù)據(jù)請(qǐng)求、處理和顯示。
[0109] 用戶端向視頻數(shù)據(jù)庫(kù)發(fā)送數(shù)據(jù)請(qǐng)求，視頻數(shù)據(jù)庫(kù)根據(jù)數(shù)據(jù)請(qǐng)求檢索到相應(yīng)信源數(shù) 據(jù)，視頻數(shù)據(jù)庫(kù)通過(guò)單指令多數(shù)據(jù)流方式實(shí)現(xiàn)高吞吐率和低時(shí)延的方式傳輸信源數(shù)據(jù)。用 戶端進(jìn)行解碼和后期處理，并顯示。
[0110] W上僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人 員來(lái)說(shuō)，本發(fā)明可W有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、 等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種360°多視點(diǎn)3D全息視頻采集方法，其特征在于，包括： 利用3D全息視頻公式，由2個(gè)W上攝像機(jī)對(duì)待攝物體進(jìn)行360°全方位、全彩色的視頻采 集，得到3D全息視頻fh，所述3D全息視頻fh由多帖全彩色平面畫面pz(xm，ym)聚合構(gòu)成； 所述3D全息視頻公式為：其中，m為X方向的坐標(biāo)值，η為y方向的坐標(biāo)值，S為Z方向的坐標(biāo)值，t為攝像機(jī)數(shù)目。2. -種使用權(quán)利要求1所述360°多視點(diǎn)3D全息視頻采集方法的采集設(shè)備，其特征在于， 包括： 攝像模塊，其包括2個(gè)W上攝像機(jī)，用于對(duì)待攝物體進(jìn)行360°全方位、全彩色的視頻采 集，采集的視頻由多帖全彩色平面畫面Pz(Xm，ym)構(gòu)成； 控制模塊，用于利用3D全息視頻公式控制攝像模塊進(jìn)行視頻采集;所述3D全息視頻公 式為：其中，m為X方向的坐標(biāo)值，η為y方向的坐標(biāo)值，S為Z方向的坐標(biāo)值，t為攝像機(jī)數(shù)目； 處理器，用于對(duì)攝像模塊采集的視頻數(shù)據(jù)進(jìn)行處理并編碼成信源數(shù)據(jù)，所述處理包括： 去崎變、去噪、白平衡、色彩平衡、光線調(diào)節(jié)中的一種或多種。3. 如權(quán)利要求2所述的采集設(shè)備，其特征在于，所有所述攝像機(jī)構(gòu)成MAC架構(gòu)，所有所述 攝像機(jī)與所述處理器之間采用統(tǒng)計(jì)復(fù)用且流水線傳輸相結(jié)合的方式共享信道。4. 如權(quán)利要求2所述的采集設(shè)備，其特征在于，每個(gè)所述攝像機(jī)按設(shè)定方式布設(shè)于對(duì)應(yīng) 扇區(qū)，且分別全方位覆蓋其所在扇區(qū)，所有扇區(qū)拼成360°空間。5. 如權(quán)利要求4所述的采集設(shè)備，其特征在于，所述攝像機(jī)的數(shù)目為4個(gè)，4個(gè)所述攝像 機(jī)將360°空間分為4個(gè)扇區(qū)，每個(gè)扇區(qū)90°，攝像機(jī)的視野覆蓋該扇區(qū)全方位。6. -種360°多視點(diǎn)3D全息視頻系統(tǒng)實(shí)現(xiàn)方法，其特征在于，其包括： 利用權(quán)利要求1所述的采集方法得到視頻數(shù)據(jù)的信源數(shù)據(jù)； 將所述信源數(shù)據(jù)存入3D全息視頻庫(kù)； 根據(jù)用戶端請(qǐng)求，將所述信源數(shù)據(jù)進(jìn)行做分包處理，并對(duì)分解的小包統(tǒng)一編碼； 將編碼后的小包通過(guò)不同信道進(jìn)行單指令多數(shù)據(jù)流方式傳送至用戶端； 通過(guò)低延時(shí)方式，經(jīng)不同信道傳輸至用戶端的所有小包被統(tǒng)一解碼； 解碼后數(shù)據(jù)通過(guò)3D全息視頻公式合成3D全息視頻，并顯示； 所述3D全息視頻公式為：其中，m為X方向的坐標(biāo)值，η為y方向的坐標(biāo)值，S為Z方向的坐標(biāo)值，t為攝像機(jī)數(shù)目。7. 如權(quán)利要求6所述的360°多視點(diǎn)3D全息視頻系統(tǒng)實(shí)現(xiàn)方法，其特征在于，所述顯示的 顯示參數(shù)包括空間分辨率、彩色分辨率、視源點(diǎn)分辨率w及對(duì)比度、亮度、白平衡度中的一 種或多種。8. -種用戶端，其特征在于，包括： 通訊模塊，用于接收信源數(shù)據(jù)通過(guò)不同信道傳輸?shù)男“? 積分延時(shí)模塊，用于低積分延時(shí)控制所述接收模塊的接收狀態(tài)； 解碼器，用于將信源數(shù)據(jù)重構(gòu)為時(shí)域視頻信息，時(shí)域視頻信息通過(guò)3D全息視頻公式還 原為原始3D信號(hào)源； 操控器，用于設(shè)置顯示參數(shù)，所述顯示參數(shù)包括空間分辨率、彩色分辨率、視源點(diǎn)分辨 率W及對(duì)比度、亮度、白平衡度中的一種或多種； 顯示模塊，用于接收原始3D信號(hào)源，根據(jù)顯示參數(shù)投影到成像平面，利用成像平面上的 全息投影膜，使原始3D信號(hào)源出現(xiàn)在成像平面下方； 所述3D全息視頻公式為：9. 如權(quán)利要求8所述的用戶端，其特征在于，所述原始3D信號(hào)源隱含生理深度暗示信 息。10. -種權(quán)利要求6-7任一項(xiàng)所述360°多視點(diǎn)3D全息視頻系統(tǒng)實(shí)現(xiàn)方法的實(shí)現(xiàn)裝置，其 特征在于，包括： 3D全息視頻庫(kù)、權(quán)利要求2-5任一項(xiàng)所述的采集設(shè)備、和多個(gè)權(quán)利要求8或9所述的用戶 端； 所述采集設(shè)備、所有所述用戶端均與所述3D全息視頻庫(kù)無(wú)線連接。
【文檔編號(hào)】H04N13/04GK105847778SQ201610185654
【公開(kāi)日】2016年8月10日
【申請(qǐng)日】2016年3月29日
【發(fā)明人】朱光喜, 喻西香, 朱山, 楊鈾
【申請(qǐng)人】朱光喜