本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域和視頻圖像交互領(lǐng)域，尤其涉及一種基于虛擬現(xiàn)實(shí)的全景視頻交互方法。

背景技術(shù)：

全景視頻是一種囊括了360度和720度全景技術(shù)之上發(fā)展延伸而來(lái)的視頻技術(shù)。全景視頻將靜態(tài)的全景圖片轉(zhuǎn)化為動(dòng)態(tài)的連續(xù)視頻圖像，讓觀看者以拍攝的角度全方位無(wú)死角的任意觀看整個(gè)三維實(shí)景空間，最大限度的保留了場(chǎng)景的真實(shí)性，讓觀看者有一種真正意義上的身臨其境的感覺(jué)。全景視頻擁有立體的景深，360度或720度的動(dòng)態(tài)圖像和立體環(huán)繞聲音，相比傳統(tǒng)視頻的表現(xiàn)形式和播放內(nèi)容有著巨大的提升。

虛擬現(xiàn)實(shí)頭戴顯示器設(shè)備是一種利用仿真技術(shù)與計(jì)算機(jī)圖形學(xué)人機(jī)接口技術(shù)多媒體技術(shù)傳感技術(shù)網(wǎng)絡(luò)技術(shù)等多種技術(shù)集合的產(chǎn)品，這種設(shè)備是現(xiàn)今觀看全景視頻最主要的手段。觀眾可以使用虛擬現(xiàn)實(shí)頭戴顯示器設(shè)備觀賞完整的全景視頻，觀眾可以完全的沉浸入全景視頻展示的三維場(chǎng)景中。

然而觀眾在使用虛擬現(xiàn)實(shí)頭戴顯示器觀看全景視頻時(shí)，雖然可以選擇看向哪里，沉浸在畫面本身中，以及在某種程度上進(jìn)行互動(dòng)，但是視頻中的故事已經(jīng)設(shè)定了基調(diào)，觀眾無(wú)法改變?nèi)耙曨l的情節(jié)只能被動(dòng)接收視頻中故事的劇情發(fā)展。現(xiàn)今的全景視頻只是一種線性的表述方式，觀眾的參與度嚴(yán)重不足，難以給觀眾留下深刻的印象。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是克服現(xiàn)有技術(shù)中存在的不足，提供一種基于虛擬現(xiàn)實(shí)的全景視頻交互方法，該方法能夠有效解決觀眾在觀看全景視頻時(shí)參與度不足，無(wú)法和視頻內(nèi)容互動(dòng)的問(wèn)題。

如上所述，實(shí)現(xiàn)一種基于虛擬現(xiàn)實(shí)的全景視頻交互方法包括如下步驟:

a.獲取全景視頻的圖像信息，通過(guò)解碼獲得全景視頻的圖像紋理序列；

b.創(chuàng)建一個(gè)球體模型Sphere，將全景視頻的圖像紋理序列進(jìn)行UV坐標(biāo)變換，將圖像紋理序列縮放成寬高比為2：1以匹配球體模型Sphere，將2D圖像紋理的橫縱坐標(biāo)轉(zhuǎn)換到(0，1)之間,然后在2D圖像紋理和球體模型表面的點(diǎn)進(jìn)行一一映射來(lái)確定每幀全景圖像紋理的三維空間中垂直和水平方向上的坐標(biāo)以完全匹配球體模型Sphere；

c.將全景視頻的圖像紋理按照UV坐標(biāo)從頂點(diǎn)坐標(biāo)開始投影在Sphere的背面，校準(zhǔn)Sphere中心點(diǎn)位置為圖像紋理的全景空間聚焦點(diǎn)。然后在Sphere上添加著色器Shader，這樣全景視頻就可以完整的在Sphere背面播放；

d.在Sphere內(nèi)部添加一組交互模型組件，設(shè)置交互模型組件的貼圖通道為32位(RGBA)通道，設(shè)置A通道為透明通道。交互模型組件是全景視頻交互方法的主要交互媒介，交互模型組件中包括三種交互式功能模塊：標(biāo)簽交互模塊，觸控交互模塊和特效交互模塊；

e.上述標(biāo)簽交互模塊，通過(guò)設(shè)置UV坐標(biāo)可以在Sphere內(nèi)部的全景圖像紋理上添加文字圖片信息。在標(biāo)簽交互模塊中可以在指定的時(shí)間戳上顯示或隱藏圖文信息，也可以設(shè)置視角觸發(fā)機(jī)制，讓觀眾在轉(zhuǎn)動(dòng)虛擬現(xiàn)實(shí)頭戴顯示器時(shí)觸發(fā)標(biāo)簽交互模塊；

f.上述觸控交互模塊，可以在Sphere內(nèi)部添加3D圖形界面，在3D圖像界面上預(yù)置3D控件，通過(guò)設(shè)置3D控件的z軸數(shù)值調(diào)整3D控件在全景三維空間中的虛擬位置以匹配全景空間交互的真實(shí)感，并在3D圖形界面上添加交互對(duì)話或場(chǎng)景序號(hào)用以對(duì)全景視頻進(jìn)行交互。然后在3D控件上加上虛擬現(xiàn)實(shí)頭戴顯示器的交互模塊，將虛擬現(xiàn)實(shí)設(shè)備的動(dòng)作投射在3D控件的觸控響應(yīng)中，觀眾可以通過(guò)虛擬現(xiàn)實(shí)頭戴顯示器的外設(shè)響應(yīng)3D控件從而實(shí)現(xiàn)對(duì)全景視頻的交互；

g.上述特效交互模塊，可以在全景視頻上添加3D特效，3D特效包括3D模型和3D動(dòng)畫等。特效交互模塊可以在Sphere的著色器中編輯光影粒子特效，觀眾在全景視頻交互過(guò)程中可以響應(yīng)3D特效。使用特效交互模塊還可以在Sphere中添加模型動(dòng)畫，在全景視頻播放過(guò)程中，觀眾可以在虛擬空間中和模型進(jìn)行全方位交互，模型以預(yù)置模型動(dòng)畫的方式來(lái)響應(yīng)觀眾的交互；

h.在Sphere中心點(diǎn)位置添加虛擬現(xiàn)實(shí)顯示模塊，在顯示模塊中添加球形反畸變，根據(jù)全景交互體驗(yàn)的不同自適應(yīng)改變球形投射角度，將最終輸出的結(jié)果傳輸?shù)教摂M現(xiàn)實(shí)頭戴顯示器，用戶就可以在虛擬現(xiàn)實(shí)頭戴顯示器上對(duì)全景視頻進(jìn)行交互了；

本發(fā)明方案是一種基于虛擬現(xiàn)實(shí)的全景視頻交互方法。該方法將交互性體驗(yàn)融入到了線性的視頻內(nèi)容中大大增強(qiáng)了觀眾的主動(dòng)性和選擇性，不僅讓觀眾接收了更加豐富的三維立體影音信息，還吸引了觀眾參與其給全景視頻增添了更多的娛樂(lè)性。

附圖說(shuō)明

圖1是本發(fā)明一種基于虛擬現(xiàn)實(shí)的全景視頻交互方法的流程圖。

具體實(shí)施方式

下面結(jié)合附圖和具體的實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述。

圖1是本發(fā)明一種基于虛擬現(xiàn)實(shí)的全景視頻交互方法的流程圖，具體步驟為：

圖1中的101獲取全景視頻的圖像信息，通過(guò)解碼獲得全景視頻的圖像紋理序列。

本實(shí)施例中，獲取全景視頻的圖像信息可以將全景視頻加載在貼圖繪制中，通過(guò)3D引擎自帶的視頻編解碼功能，將全景視頻解碼成一張張的圖像紋理序列。

圖1中的102創(chuàng)建一個(gè)球體模型Sphere，將全景視頻的圖像紋理序列進(jìn)行UV坐標(biāo)變換，確定每幀全景圖像紋理的三維空間中垂直和水平方向上的坐標(biāo)以完全匹配球體模型Sphere。

本實(shí)施例中，由于全景視頻的圖像紋理只是一張2D的圖像并不具備3D立體空間坐標(biāo)，所以需要對(duì)獲取的全景視頻圖像紋理序列進(jìn)行UV坐標(biāo)變換，確定圖像紋理每個(gè)點(diǎn)的3D立體空間坐標(biāo)。在對(duì)全景視頻圖像紋理序列進(jìn)行UV坐標(biāo)變換前，首先要對(duì)圖像紋理序列進(jìn)行縮放，將圖像紋理序列縮放成寬高比為2：1以匹配球體模型Sphere，將2D圖像紋理的橫縱坐標(biāo)轉(zhuǎn)換到(0，1)之間,然后UV坐標(biāo)變換在2D圖像紋理和球體模型表面的點(diǎn)進(jìn)行一一映射。

圖1中的103將全景視頻的圖像紋理按照UV坐標(biāo)從頂點(diǎn)坐標(biāo)開始投影在Sphere的背面，校準(zhǔn)Sphere中心點(diǎn)位置為圖像紋理的全景空間聚焦點(diǎn)。然后在Sphere上添加著色器Shader，這樣全景視頻就可以完整的在Sphere背面播放。

本實(shí)施例中，將進(jìn)行了UV坐標(biāo)變換的圖像紋理序列從頂點(diǎn)坐標(biāo)開始投影在Sphere的背面，本發(fā)明使用球形投影貼圖，由于球體模型Sphere的大小不固定，所以在投影貼圖中需要在投影間隙用2D圖像紋理進(jìn)行插值使得模型表面和圖像紋理相互吻合。在進(jìn)行球形投影貼圖的過(guò)程中，需要對(duì)圖像紋理進(jìn)行鏡像處理以符合球體Sphere內(nèi)部的圖像顯示。將貼好貼圖的Sphere中心點(diǎn)作為全景視頻的虛擬三維空間聚焦點(diǎn)以用作下列交互模型組件中計(jì)算深度值的原點(diǎn)。最后在Sphere上添加著色器Shader，將全景視頻的每一幀完全呈現(xiàn)在Sphere的內(nèi)部表面上。

圖1中的104在Sphere內(nèi)部添加一組交互模型組件，設(shè)置交互模型組件的貼圖通道為32位(RGBA)通道，設(shè)置A通道為透明通道。交互模型組件是全景視頻交互方法的主要交互媒介，交互模型組件中包括三種交互式功能模塊：標(biāo)簽交互模塊，觸控交互模塊和特效交互模塊。

圖1中的105是標(biāo)簽交互模塊，該模塊通過(guò)設(shè)置UV坐標(biāo)可以在Sphere內(nèi)部的全景圖像紋理上添加文字圖片信息。在標(biāo)簽交互模塊中可以在指定的時(shí)間戳上顯示或隱藏圖文信息，也可以設(shè)置視角觸發(fā)機(jī)制，讓觀眾在轉(zhuǎn)動(dòng)虛擬現(xiàn)實(shí)頭戴顯示器時(shí)觸發(fā)標(biāo)簽交互模塊。

本實(shí)施例中，在Sphere的著色器中Shader可以設(shè)置需要使用圖文信息的UV坐標(biāo)，直接將圖文信息加載在全景視頻的表面上，并且給圖文信息添加狀態(tài)標(biāo)簽，當(dāng)需要顯示圖文信息時(shí)將狀態(tài)標(biāo)簽置為true平常為false。標(biāo)簽交互模塊還可以在全景視頻的時(shí)間戳中設(shè)定圖文信息在指定的時(shí)間內(nèi)顯示或隱藏，也可以配合虛擬現(xiàn)實(shí)頭戴顯示器設(shè)置視角觸發(fā)機(jī)制來(lái)控制圖文信息的狀態(tài)標(biāo)簽。優(yōu)選的本發(fā)明中，可以在虛擬現(xiàn)實(shí)頭戴顯示器的屏幕中心點(diǎn)進(jìn)行射線檢測(cè)，通過(guò)從虛擬現(xiàn)實(shí)頭戴顯示器的屏幕中心點(diǎn)向球體Sphere內(nèi)部表面發(fā)射透明射線來(lái)觸動(dòng)圖文信息的狀態(tài)標(biāo)簽，這樣可以讓觀眾在觀看到指定內(nèi)容時(shí)觸發(fā)圖文信息來(lái)對(duì)全景視頻進(jìn)行交互。

圖1中的106是觸控交互模塊，該模塊可以在Sphere內(nèi)部添加3D圖形界面，在3D圖像界面上預(yù)置3D控件，通過(guò)設(shè)置3D控件的z軸數(shù)值調(diào)整3D控件在全景三維空間中的虛擬位置以匹配全景空間交互的真實(shí)感，并在3D圖形界面上添加交互對(duì)話或場(chǎng)景序號(hào)用以對(duì)全景視頻進(jìn)行交互。然后在3D控件上加上虛擬現(xiàn)實(shí)頭戴顯示器的交互模塊，將虛擬現(xiàn)實(shí)設(shè)備的動(dòng)作投射在3D控件的觸控響應(yīng)中，觀眾可以通過(guò)虛擬現(xiàn)實(shí)頭戴顯示器的外設(shè)響應(yīng)3D控件從而實(shí)現(xiàn)對(duì)全景視頻的交互。

本實(shí)施例中，觸控交互模塊通過(guò)在Sphere內(nèi)部添加3D圖形界面，可以實(shí)現(xiàn)在全景視頻的上層圖像上添加可以交互的選擇對(duì)話框，進(jìn)度條，文本輸入框和各種3D控件，在既不影響全景視頻播放的情況下，讓觀眾對(duì)全景視頻進(jìn)行交互。3D圖形界面上的3D控件可以通過(guò)調(diào)節(jié)z軸數(shù)值來(lái)實(shí)現(xiàn)3D圖形界面在全景視頻中離觀看者的虛擬距離，z軸以Sphere中心點(diǎn)為起始原點(diǎn)，當(dāng)z軸數(shù)值越小則3D控件離Sphere中心點(diǎn)越近，那么3D控件在虛擬現(xiàn)實(shí)頭戴顯示器中離觀看者越近，這樣可以通過(guò)虛擬現(xiàn)實(shí)頭戴顯示器的外設(shè)裝置進(jìn)行如文字輸入和拖動(dòng)等近距離等操作；當(dāng)z軸數(shù)值越大則3D控件離Sphere中心點(diǎn)越遠(yuǎn)，那么3D控件在虛擬現(xiàn)實(shí)頭戴顯示器中離觀看者越遠(yuǎn)，這樣可以實(shí)現(xiàn)選擇對(duì)話框和進(jìn)度條調(diào)節(jié)等操作。

圖1中的107是特效交互模塊，該模塊可以在全景視頻上添加3D特效，3D特效包括3D模型和3D動(dòng)畫等。特效交互模塊可以在Sphere的著色器中編輯光影粒子特效，觀眾在全景視頻交互過(guò)程中可以響應(yīng)3D特效。使用特效交互模塊還可以在Sphere中添加模型動(dòng)畫，在全景視頻播放過(guò)程中，觀眾可以在虛擬空間中和模型進(jìn)行全方位交互，模型以預(yù)置模型動(dòng)畫的方式來(lái)響應(yīng)觀眾的交互。

本實(shí)施例中，特效交互模塊可以使用動(dòng)畫模型等，在觀眾觀看全景視頻時(shí)出現(xiàn)在觀眾的身邊，通過(guò)預(yù)置的模型動(dòng)畫來(lái)指導(dǎo)或者講述全景視頻沒(méi)有表達(dá)的內(nèi)容，還可以設(shè)定手勢(shì)動(dòng)畫等來(lái)和觀眾進(jìn)行互動(dòng)。在特效交互模塊中，3D特效直接渲染在Sphere的著色器Shader中，并不影響觀眾和動(dòng)畫模型的交互并且可以通過(guò)添加響應(yīng)事件來(lái)豐富觀眾的交互體驗(yàn)。

圖1中的108在Sphere中心點(diǎn)位置添加虛擬現(xiàn)實(shí)顯示模塊，在顯示模塊中添加球形反畸變，根據(jù)全景交互體驗(yàn)的不同自適應(yīng)改變球形投射角度，將最終輸出的結(jié)果傳輸?shù)教摂M現(xiàn)實(shí)頭戴顯示器，用戶就可以在虛擬現(xiàn)實(shí)頭戴顯示器上對(duì)全景視頻進(jìn)行交互了。

本實(shí)施例中，由于引入球體Sphere和三種交互式功能模塊，所以在渲染全景視頻的同時(shí)還要對(duì)交互功能進(jìn)行實(shí)時(shí)渲染。在實(shí)時(shí)渲染的過(guò)程中，球體Sphere和三種交互式功能模塊會(huì)隨時(shí)產(chǎn)生變化，因此輸出給虛擬現(xiàn)實(shí)頭戴顯示器的結(jié)果需要進(jìn)行自適應(yīng)的球形反畸變，用以符合虛擬現(xiàn)實(shí)頭戴顯示器的光學(xué)透鏡。在本發(fā)明中使用公式如下：

;

其中，是Sphere的著色器實(shí)際渲染的結(jié)果，包括了全景視頻和交互模塊的輸出結(jié)果，uv是當(dāng)前像素點(diǎn)在屏幕空間的UV坐標(biāo)，UV橫縱坐標(biāo)取值為(0,1)，和是垂直和水平畸變參數(shù)，和是由虛擬現(xiàn)實(shí)頭戴顯示器的光學(xué)鏡頭決定，是計(jì)算UV坐標(biāo)在球面的投影位置，是坐標(biāo)點(diǎn)距離畸變中心的比例，是當(dāng)前UV坐標(biāo)在Sphere中的z軸數(shù)值，R是Sphere的動(dòng)態(tài)半徑。輸出在虛擬現(xiàn)實(shí)頭戴顯示器中圖像的畸變程度會(huì)因?yàn)镾phere的大小和交互模塊在Sphere中的位置關(guān)系而改變，觀眾在虛擬現(xiàn)實(shí)頭戴顯示器中擁有更加良好的交互體驗(yàn)。