送的當前播放窗口的窗口參數(shù)，從全景視頻幀從提取出當前播放窗口的視頻數(shù)據(jù)。所述的窗口參數(shù)具體包括當前播放窗口在全景視頻幀中的起始位置P和播放夾角a，如圖4所示。
[0030]提取出當前播放窗口的視頻數(shù)據(jù)后，對該視頻數(shù)據(jù)進行Haar小波算法的分解，從而得到當前播放窗口的第二低頻子帶圖像以及第二高頻分量，由于在步驟S101中已將包含了當前播放窗口的第二低頻子帶圖像發(fā)送至客戶端，所以本步驟將當前播放窗口的第二低頻子帶圖像略去，只提取其中的第二高頻分量，并經(jīng)壓縮處理后得TS流，將其發(fā)送至客戶端；由于該第二高頻分量能量小，所以傳輸碼流不大，但傳輸?shù)娇蛻舳?，可極大提高當前窗口區(qū)域的分辨率。
[0031]在所述步驟S103中，客戶端接收到TS流后，解壓縮處理，得到全景視頻幀的第一低頻子帶圖像以及當前播放窗口的第二高頻分量，然后通過0PENGL創(chuàng)建圓柱狀模型(三維模型)，將全景視頻幀的第一低頻子帶圖像作為紋理貼在圓柱狀模型的表面，選擇當前播放窗口的起始位置P以及播放夾角a，確定投射到播放器的視頻窗口并進行顯示，這樣用戶即可在播放器窗口中看到1/4分辨率圖像(即當前播放窗口的第二低頻子帶圖像)。然后將當前播放窗口的第二低頻子帶圖像和第二高頻分量通過Haar小波算法進行2尺度小波重構(gòu)，生成當前播放窗口的原分辨率視頻數(shù)據(jù)，并重新作為當前播放窗口的紋理更新在圓柱狀模型中，即可恢復原全景視頻幀的分辨率。
[0032]進一步，所述步驟S103之后還包括:
S104、當當前播放窗口發(fā)生變化時，獲取更新的當前播放窗口的窗口參數(shù)，并將更新后的窗口參數(shù)發(fā)送至服務器，并且在新的高頻分量下發(fā)之前，輸出更新的當前播放窗口對應的第二低頻子帶圖像。
[0033]即服務器和客戶端兩端需協(xié)同工作，在客戶端改變當前播放窗口時，會將更新的當前播放窗口的窗口參數(shù)發(fā)送至服務器，服務器需要及時調(diào)整視頻的視窗范圍及從全景視頻幀中截取對應角度的視頻數(shù)據(jù)下發(fā)到客戶端，具體是服務器重新下發(fā)更新后的窗口區(qū)域的高頻分量。而在新的高頻分量下發(fā)之前，輸出更新的當前播放窗口對應的第二低頻子帶圖像，這樣在新的窗口區(qū)域的高頻分量數(shù)據(jù)下發(fā)之前，仍然可以提供給用戶全景視頻中其他區(qū)域的視頻觀看，雖然分辨率稍低，但避免了轉(zhuǎn)動窗口后黑屏的問題，增強了用戶體驗。
[0034]具體地，在服務器下發(fā)數(shù)據(jù)(如低頻子帶圖像或高頻分量)時，需先將數(shù)據(jù)進行視頻壓縮，然后以TS流方式下發(fā)數(shù)據(jù)，然后在客戶端對數(shù)據(jù)進行解壓縮并提取數(shù)據(jù)進行處理。
[0035]基于上述方法，本發(fā)明還提供一種全景視頻傳輸系統(tǒng)較佳實施例，如圖5所示，其包括:
低頻子帶圖像處理模塊100，用于采集二維圖像，將采集到的二維圖像拼接成全景視頻幀，并通過哈爾小波算法將全景視頻幀分解獲得全景視頻幀的第一低頻子帶圖像以及第一高頻分量，將其中的第一低頻子帶圖像壓縮處理后發(fā)送至客戶端；
高頻分量處理模塊200，用于根據(jù)客戶端發(fā)送的當前播放窗口的窗口參數(shù)，從全景視頻幀從提取出當前播放窗口的視頻數(shù)據(jù)，并通過哈爾小波算法將提取的視頻數(shù)據(jù)分解獲得當前播放窗口的第二低頻子帶圖像以及第二高頻分量，將其中的第二高頻分量壓縮處理后發(fā)送至客戶端； 合成模塊300，用于解壓縮接收到的第一低頻子帶圖像和第二高頻分量，然后將接收到的第一低頻子帶圖像作為紋理貼在創(chuàng)建的圓柱狀模型的表面，并根據(jù)當前播放窗口的窗口參數(shù)獲取當前播放窗口的第二低頻子帶圖像，并將所述第二低頻子帶圖像與第二高頻分量通過哈爾小波算法進行重構(gòu)，生成當前播放窗口的視頻數(shù)據(jù)，重新作為紋理更新在圓柱狀模型的顯示區(qū)域。
[0036]進一步，所述的全景視頻傳輸系統(tǒng)，其還包括:
更新模塊，用于當當前播放窗口發(fā)生變化時，獲取更新的當前播放窗口的窗口參數(shù)，并將更新后的窗口參數(shù)發(fā)送至服務器，并且在新的高頻分量下發(fā)之前，輸出更新的當前播放窗口對應的第二低頻子帶圖像。
[0037]進一步，所述窗口參數(shù)為播放窗口在全景視頻幀中的起始位置和播放夾角。
[0038]進一步，所述第一或第二低頻子帶圖像的分辨率為原視頻幀分辨率的1/4。
[0039]進一步，所述第一或第二高頻分量包括:垂直高頻分量、水平高頻分量和對角高頻分量。
[0040]關(guān)于上述模塊的技術(shù)細節(jié)在前面的方法中已有詳述，故不再贅述。
[0041]綜上所述，本發(fā)明采用哈爾小波算法將全景視頻視窗外的視頻數(shù)據(jù)和視窗內(nèi)的視頻數(shù)據(jù)進行分解，并將分解的視頻數(shù)據(jù)分別編碼，并在播放器端進行重組，這樣降低了非視窗區(qū)域的傳輸效率，卻極大的提高了視窗區(qū)域的傳輸效率。
[0042]應當理解的是，本發(fā)明的應用不限于上述的舉例，對本領(lǐng)域普通技術(shù)人員來說，可以根據(jù)上述說明加以改進或變換，所有這些改進和變換都應屬于本發(fā)明所附權(quán)利要求的保護范圍。
【主權(quán)項】
1.一種全景視頻傳輸方法，其特征在于，包括步驟: A、采集二維圖像，將采集到的二維圖像拼接成全景視頻幀，并通過哈爾小波算法將全景視頻幀分解獲得全景視頻幀的第一低頻子帶圖像以及第一高頻分量，將其中的第一低頻子帶圖像壓縮處理后發(fā)送至客戶端； B、根據(jù)客戶端發(fā)送的當前播放窗口的窗口參數(shù)，從全景視頻幀從提取出當前播放窗口的視頻數(shù)據(jù)，并通過哈爾小波算法將提取的視頻數(shù)據(jù)分解獲得當前播放窗口的第二低頻子帶圖像以及第二高頻分量，將其中的第二高頻分量壓縮處理后發(fā)送至客戶端； C、客戶端解壓縮接收到的第一低頻子帶圖像和第二高頻分量，然后將接收到的第一低頻子帶圖像作為紋理貼在創(chuàng)建的圓柱狀模型的表面，并根據(jù)當前播放窗口的窗口參數(shù)獲取當前播放窗口的第二低頻子帶圖像，并將所述第二低頻子帶圖像與第二高頻分量通過哈爾小波算法進行重構(gòu)，生成當前播放窗口的視頻數(shù)據(jù)，重新作為紋理更新在圓柱狀模型的顯示區(qū)域。2.根據(jù)權(quán)利要求1所述的全景視頻傳輸方法，其特征在于，所述步驟C之后還包括: D、當當前播放窗口發(fā)生變化時，獲取更新的當前播放窗口的窗口參數(shù)，并將更新后的窗口參數(shù)發(fā)送至服務器，并且在新的高頻分量下發(fā)之前，輸出更新的當前播放窗口對應的第二低頻子帶圖像。3.根據(jù)權(quán)利要求1所述的全景視頻傳輸方法，其特征在于，所述窗口參數(shù)為播放窗口在全景視頻幀中的起始位置和播放夾角。4.根據(jù)權(quán)利要求1所述的全景視頻傳輸方法，其特征在于，所述第一或第二低頻子帶圖像的分辨率為原視頻幀分辨率的1 /4。5.根據(jù)權(quán)利要求1所述的全景視頻傳輸方法，其特征在于，所述第一或第二高頻分量包括:垂直高頻分量、水平高頻分量和對角高頻分量。6.一種全景視頻傳輸系統(tǒng)，其特征在于，包括: 低頻子帶圖像處理模塊，用于采集二維圖像，將采集到的二維圖像拼接成全景視頻幀，并通過哈爾小波算法將全景視頻幀分解獲得全景視頻幀的第一低頻子帶圖像以及第一高頻分量，將其中的第一低頻子帶圖像壓縮處理后發(fā)送至客戶端； 高頻分量處理模塊，用于根據(jù)客戶端發(fā)送的當前播放窗口的窗口參數(shù)，從全景視頻幀從提取出當前播放窗口的視頻數(shù)據(jù)，并通過哈爾小波算法將提取的視頻數(shù)據(jù)分解獲得當前播放窗口的第二低頻子帶圖像以及第二高頻分量，將其中的第二高頻分量壓縮處理后發(fā)送至客戶端； 合成模塊，用于解壓縮接收到的第一低頻子帶圖像和第二高頻分量，然后將接收到的第一低頻子帶圖像作為紋理貼在創(chuàng)建的圓柱狀模型的表面，并根據(jù)當前播放窗口的窗口參數(shù)獲取當前播放窗口的第二低頻子帶圖像，并將所述第二低頻子帶圖像與第二高頻分量通過哈爾小波算法進行重構(gòu)，生成當前播放窗口的視頻數(shù)據(jù)，重新作為紋理更新在圓柱狀模型的顯示區(qū)域。7.根據(jù)權(quán)利要求6所述的全景視頻傳輸系統(tǒng)，其特征在于，還包括: 更新模塊，用于當當前播放窗口發(fā)生變化時，獲取更新的當前播放窗口的窗口參數(shù)，并將更新后的窗口參數(shù)發(fā)送至服務器，并且在新的高頻分量下發(fā)之前，輸出更新的當前播放窗口對應的第二低頻子帶圖像。8.根據(jù)權(quán)利要求6所述的全景視頻傳輸系統(tǒng)，其特征在于，所述窗口參數(shù)為播放窗口在全景視頻幀中的起始位置和播放夾角。9.根據(jù)權(quán)利要求6所述的全景視頻傳輸系統(tǒng)，其特征在于，所述第一或第二低頻子帶圖像的分辨率為原視頻幀分辨率的1 /4。10.根據(jù)權(quán)利要求6所述的全景視頻傳輸系統(tǒng)，其特征在于，所述第一或第二高頻分量包括:垂直高頻分量、水平高頻分量和對角高頻分量。
【專利摘要】本發(fā)明公開一種全景視頻傳輸方法及系統(tǒng)。本發(fā)明采用哈爾小波算法將全景視頻視窗外的視頻數(shù)據(jù)和視窗內(nèi)的視頻數(shù)據(jù)進行分解，并將分解的視頻數(shù)據(jù)分別編碼，并在播放器端進行重組，這樣降低了非視窗區(qū)域的傳輸效率，卻極大的提高了視窗區(qū)域的傳輸效率。
【IPC分類】H04N7/18, H04N5/265, H04N5/262
【公開號】CN105323503
【申請?zhí)枴緾N201510730313
【發(fā)明人】王叢華
【申請人】Tcl集團股份有限公司
【公開日】2016年2月10日
【申請日】2015年11月2日