專利名稱：基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放方法、系統(tǒng)及移動(dòng)終端的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及移動(dòng)增強(qiáng)現(xiàn)實(shí)領(lǐng)域，尤其涉及基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放方法、系統(tǒng)及移動(dòng)終端。
背景技術(shù)：
背景技術(shù)一移動(dòng)增強(qiáng)現(xiàn)實(shí)(Mobile Augmented Reality),即基于移動(dòng)終端的增強(qiáng)現(xiàn)實(shí),是增強(qiáng)現(xiàn)實(shí)(AR)技術(shù)與移動(dòng)計(jì)算相結(jié)合而產(chǎn)生的研究方向，是近年來人機(jī)交互領(lǐng)域備受關(guān)注的熱點(diǎn)之一。移動(dòng)增強(qiáng)現(xiàn)實(shí)具有傳統(tǒng)增強(qiáng)現(xiàn)實(shí)的本質(zhì)，即在真實(shí)環(huán)境呈現(xiàn)的場(chǎng)景中，借助與
計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)，將虛擬信息實(shí)時(shí)“無縫”與之融合，利用虛擬信息對(duì)真實(shí)場(chǎng)景進(jìn)行補(bǔ)充、增強(qiáng)；同時(shí)與移動(dòng)終端平臺(tái)的結(jié)合，可以最大限度的發(fā)揮增強(qiáng)現(xiàn)實(shí)技術(shù)“可移動(dòng)性”的特點(diǎn)，給予用戶完全區(qū)別于傳統(tǒng)PC平臺(tái)的全新的感知體驗(yàn)和交互模式。然而現(xiàn)有的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，主要是將虛擬三維模型直接疊加到真實(shí)場(chǎng)景中，運(yùn)用范圍有限。
背景技術(shù)：
二 現(xiàn)有移動(dòng)終端視頻播放方式，基本都是通過普通的視頻播放軟件播放，例如當(dāng)用戶需要在手機(jī)上觀看從網(wǎng)絡(luò)搜索來的視頻，只能在網(wǎng)絡(luò)上搜索到該視頻后，用普通播放軟件播放該視頻。傳統(tǒng)的視頻播放方式較為陳舊，沒有新意，不能給予用戶區(qū)別于傳統(tǒng)PC平臺(tái)的感知體驗(yàn)和交互模式。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放方法、系統(tǒng)及移動(dòng)終端，擴(kuò)寬增效現(xiàn)實(shí)技術(shù)運(yùn)用范圍的同時(shí)，解決了傳統(tǒng)視頻播放方式陳舊，無新意的問題，能將報(bào)刊雜志等平面媒體上的圖片信息，通過本系統(tǒng)轉(zhuǎn)化為視頻信息，視頻與圖片在空間位置上完全貼合，使用戶獲得“寓情于景”的全新視聽體驗(yàn)。為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供了一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放方法，包括根據(jù)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像，在圖像數(shù)據(jù)庫(kù)中搜索與當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片匹配的樣本圖像及與所述樣本圖像對(duì)應(yīng)的視頻文件；對(duì)所述樣本圖像對(duì)應(yīng)的視頻文件進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)；對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣；并根據(jù)所述單應(yīng)性矩陣，繪制出能將當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片完全覆蓋的矩形平面3D模型；將所述視頻各幀圖像序列中的視頻幀圖像作為紋理逐幀映射到所述3D模型上，進(jìn)行圖形渲染；
將攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像與渲染的3D模型融合輸出顯示，并同步輸出所述音頻數(shù)據(jù)。優(yōu)選的，所述對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣，可以為實(shí)時(shí)連續(xù)地對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣。優(yōu)選的，所述對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣，還可以為對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，得到初始單應(yīng)性矩陣；根據(jù)圖像配準(zhǔn)成功的圖像特征點(diǎn)、初始單應(yīng)性矩陣及攝像機(jī)實(shí)時(shí)捕獲的當(dāng)前場(chǎng)景圖像，對(duì)目標(biāo)圖片進(jìn)行光流跟蹤，由跟蹤算法得到單應(yīng)性矩陣。優(yōu)選的，在對(duì)目標(biāo)圖片進(jìn)行光流跟蹤時(shí)，所述方法還包括判斷對(duì)目標(biāo)圖片進(jìn)行光流跟蹤是否跟丟，當(dāng)跟蹤丟失時(shí)，再次對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像進(jìn)行特征點(diǎn)檢測(cè)與圖像配準(zhǔn)。優(yōu)選的，所述根據(jù)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像，在圖像數(shù)據(jù)庫(kù)中搜索與當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片匹配的樣本圖像及與所述樣本圖像對(duì)應(yīng)的視頻文件，進(jìn)一步包括攝像機(jī)捕獲包含目標(biāo)圖片的當(dāng)前場(chǎng)景圖像；對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像進(jìn)行特征檢測(cè)，提取出圖像特征點(diǎn)，并對(duì)圖像特征點(diǎn)進(jìn)行特征描述，得到整幅圖像的特征描述數(shù)據(jù)；根據(jù)當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)，在圖像數(shù)據(jù)庫(kù)中進(jìn)行圖像搜索，得到與當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片匹配的樣本圖像及與所述樣本圖像對(duì)應(yīng)的視頻文件。相應(yīng)的，本發(fā)明還提供了一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放系統(tǒng)，包括攝像模塊、圖像特征提取模塊、圖像搜索模塊、圖像配準(zhǔn)模塊、音視頻分離及解碼模塊、圖像渲染模塊、音視頻輸出模塊，其中攝像模塊，用于捕獲包含目標(biāo)圖片的當(dāng)前場(chǎng)景圖像；圖像特征提取模塊，對(duì)攝像模塊捕獲的當(dāng)前場(chǎng)景圖像進(jìn)行特征點(diǎn)檢測(cè)及提取，并生成特征點(diǎn)描述，得到當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)；圖像搜索模塊，接收來自所述圖像特征提取模塊的當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)，在圖像數(shù)據(jù)庫(kù)中進(jìn)行搜索，將匹配成功的樣本圖像的特征描述數(shù)據(jù)傳遞給圖像配準(zhǔn)模塊，同時(shí)將匹配成功的樣本圖像對(duì)應(yīng)的視頻資源的UR I傳遞給音視頻分離及解碼模塊；圖像配準(zhǔn)模塊，根據(jù)圖像搜索模塊返回的樣本圖像的特征描述數(shù)據(jù)及圖像特征提取模塊產(chǎn)生的當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)，對(duì)攝像模塊捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，得到單應(yīng)性矩陣；音視頻分離及解碼模塊，根據(jù)圖像搜索模塊得到的視頻資源的UR I，找到對(duì)應(yīng)的視頻文件，并對(duì)所述視頻文件進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)；將所述視頻各幀圖像序列傳遞給圖形渲染模塊，將所述音頻數(shù)據(jù)傳遞給音視頻輸出模塊；圖形渲染模塊，根據(jù)圖像配準(zhǔn)模塊計(jì)算出的單應(yīng)性矩陣，繪制出能將當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片完全覆蓋的矩形平面3D模型，并將音視頻分離及解碼模塊提取出來的視頻各幀圖像作為紋理逐幀映射到所述3D模型上，完成圖形渲染；
音視頻輸出模塊，將攝像機(jī)模塊捕獲的當(dāng)前場(chǎng)景圖像與圖形渲染模塊渲染的3D模型融合輸出顯示，并同步輸出音頻數(shù)據(jù)。優(yōu)選的，所述圖像配準(zhǔn)模塊實(shí)時(shí)連續(xù)地對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，計(jì)算攝像模塊的姿態(tài)，得到單應(yīng)性矩陣。優(yōu)選的，所述系統(tǒng)還包括連接在所述圖像配準(zhǔn)模塊與圖像渲染模塊之間的跟蹤模塊，所述跟蹤模塊還與攝像模塊相連，所述跟蹤模塊在攝像模塊捕獲的當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片匹配樣本圖片成功后，對(duì)攝像模塊捕獲的當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片進(jìn)行光流跟蹤，計(jì)算單應(yīng)性矩陣。優(yōu)選的，所述跟蹤模塊還用于目標(biāo)圖片跟蹤丟失時(shí)，指令圖像特征提取模塊對(duì)攝
像機(jī)捕獲的當(dāng)前場(chǎng)景圖像再次進(jìn)行特征點(diǎn)檢測(cè)，并指令圖像配準(zhǔn)模塊再次進(jìn)行圖像配準(zhǔn)。相應(yīng)的，本發(fā)明還提供了一種移動(dòng)終端，所述移動(dòng)終端包括上述的基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放系統(tǒng)。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果I、能將視頻疊加到真實(shí)場(chǎng)景中，如能將報(bào)刊雜志等平面媒體上的圖片信息，通過本系統(tǒng)轉(zhuǎn)化為視頻信息，視頻與圖片在空間位置上完全貼合，使用戶獲得“寓情于景”的全新視聽體驗(yàn)；2、能提供精確快速的視頻推送服務(wù)；3、提供移動(dòng)互聯(lián)網(wǎng)用戶一種全新的交互模式，具有科幻色彩的視聽效果。


為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖圖I為本發(fā)明實(shí)施例I中基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放系統(tǒng)的結(jié)構(gòu)示意圖；圖2為本發(fā)明實(shí)施例2中基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放系統(tǒng)的結(jié)構(gòu)示意圖；圖3為本發(fā)明實(shí)施例3中基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放方法流程圖；圖4為本發(fā)明實(shí)施例4中基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放方法流程圖；圖5為本發(fā)明實(shí)施例效果示意圖。
具體實(shí)施例方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。本發(fā)明為增效現(xiàn)實(shí)技術(shù)的擴(kuò)展應(yīng)用，主要解決傳統(tǒng)視頻播放方式陳舊，無新意的問題，能將報(bào)刊雜志等平面媒體上的圖片信息，通過本系統(tǒng)轉(zhuǎn)化為視頻信息，視頻與圖片在空間位置上完全貼合，使用戶獲得“寓情于景”的全新視聽體驗(yàn)，因此本發(fā)明的技術(shù)核心為如何將視頻“疊加”到真實(shí)場(chǎng)景中某一圖像區(qū)域。
下面結(jié)合附圖，詳細(xì)描述本發(fā)明各實(shí)施例。實(shí)施例I參見圖1，為本發(fā)明實(shí)施例I中基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放系統(tǒng)的結(jié)構(gòu)示意圖，該視頻播放系統(tǒng)，包括攝像模塊I (攝像模塊包括移動(dòng)終端中的攝像機(jī))、圖像特征提取模塊2、圖像搜索模塊3、圖像配準(zhǔn)模塊4、音視頻分離及解碼模塊5、圖像渲染模塊6、音視頻輸出模塊7，其中所述攝像模塊I用于捕獲包含目標(biāo)圖片的當(dāng)前場(chǎng)景圖像，其分別與圖像特征提取模塊2和音視頻輸出模塊7相連，將捕獲的圖像傳給圖像特征提取模塊2用于特征提取，同時(shí)將捕獲的圖像傳遞給音視頻輸出模塊7用于融合輸出顯示。所述圖像特征提取模塊2，對(duì)攝像模塊I捕獲的當(dāng)前場(chǎng)景圖像進(jìn)行特征點(diǎn)檢測(cè)及提取，并生成特征點(diǎn)描述，得到當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)，并將其傳遞給圖像搜索模塊3。所述圖像搜索模塊3，接收到來自所述圖像特征提取模塊2傳來的當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)，在服務(wù)器端的圖像數(shù)據(jù)庫(kù)中搜索與其匹配的樣本圖像，并將匹配成功的樣本圖像的特征描述數(shù)據(jù)傳遞給圖像配準(zhǔn)模塊4，同時(shí)將匹配成功的樣本圖像對(duì)應(yīng)的視頻資源的URI傳遞給音視頻分離及解碼模塊5。所述圖像配準(zhǔn)模塊4，根據(jù)圖像搜索模塊3返回的樣本圖像的特征描述數(shù)據(jù)及圖像特征提取模塊2產(chǎn)生的當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)，實(shí)時(shí)連續(xù)地對(duì)攝像模塊捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，計(jì)算攝像模塊的姿態(tài)，得到單應(yīng)性矩陣，并將單應(yīng)性矩陣傳遞給圖形渲染模塊6。所述音視頻分離及解碼模塊7，根據(jù)圖像搜索模塊3得到的視頻資源的URI，找到對(duì)應(yīng)的視頻文件(攝像機(jī)捕獲圖像的相關(guān)視頻)，并對(duì)所述視頻文件進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列(視頻流)和音頻數(shù)據(jù)(音頻流)；對(duì)視頻各幀圖像序列(視頻流)逐一提取視頻各幀的圖像傳遞給圖形渲染模塊6，同時(shí)將所述音頻數(shù)據(jù)傳遞給音視頻輸出模塊7。所述圖形渲染模塊6，根據(jù)圖像配準(zhǔn)模塊4計(jì)算出的單應(yīng)性矩陣，繪制出能將當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片完全覆蓋的矩形平面3D模型，并將音視頻分離及解碼模塊提取出來的視頻各幀圖像作為紋理逐幀映射到所述3D模型上，并實(shí)時(shí)更新，完成圖形渲染；所述與目標(biāo)圖片完全覆蓋包括與目標(biāo)圖片重合，例如當(dāng)目標(biāo)圖片為長(zhǎng)方形時(shí)，可繪制出完全與目標(biāo)圖片重合的長(zhǎng)方形平面3D模型，而當(dāng)目標(biāo)圖片為非矩形形狀時(shí)，則繪制出完全覆蓋該目標(biāo)圖片的矩形平面3D模型。所述音視頻輸出模塊7，將攝像機(jī)模塊I捕獲的當(dāng)前場(chǎng)景圖像與圖形渲染模塊6渲染生成的3D模型融合輸出顯示，并同步輸出音頻數(shù)據(jù)。音頻數(shù)據(jù)和視頻幀圖像能夠?qū)崿F(xiàn)同步，需要在視頻文件分離為視頻流和音頻流之后，對(duì)兩者進(jìn)行數(shù)據(jù)包分割。其中，視頻數(shù)據(jù)包根據(jù)其時(shí)間戳按照先后順序組成鏈表，形成一個(gè)有序隊(duì)列，分別對(duì)每個(gè)數(shù)據(jù)包進(jìn)行解碼并提取其中的圖像，則得到視頻每一幀的圖像序列，用時(shí)間戳控制圖像序列的輸出。圖形渲染模塊則將視頻幀圖像作為紋理映射到3D模型上時(shí)，由于輸出圖像隨時(shí)間有序變化,3D模型的紋理也隨之變化，完成視頻的播放。此外，音頻流也被分為數(shù)據(jù)包，以視頻數(shù)據(jù)包的時(shí)間戳為基準(zhǔn)，調(diào)整音頻數(shù)據(jù)包的輸出，使音視頻同步輸出。在本實(shí)施例中，在一次視頻播放的過程中，圖像搜索模塊3原則上只進(jìn)行一次攝像模塊捕獲圖像與樣本圖像的成功匹配搜索，找到樣本圖像和樣本圖像對(duì)應(yīng)的視頻資源；而攝像模塊I始終持續(xù)不斷地進(jìn)行場(chǎng)景圖像的捕獲，圖像特征提取模塊2也一直在對(duì)攝像模塊所捕獲的場(chǎng)景圖像進(jìn)行特征提取，圖像配準(zhǔn)模塊4則是實(shí)時(shí)連續(xù)地對(duì)攝像模塊I捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，計(jì)算攝像模塊實(shí)時(shí)姿態(tài)，連續(xù)不斷的得到對(duì)應(yīng)攝像模塊I實(shí)時(shí)姿態(tài)的單應(yīng)性矩陣，因此本實(shí)施例系統(tǒng)對(duì)攝像模塊捕獲的每幀圖片都要做特征檢測(cè)與配準(zhǔn)，可能實(shí)際使用時(shí)會(huì)稍微影響速度。參見圖5，為本實(shí)施例視頻疊加的效果示意圖，攝像模塊捕獲的當(dāng)前場(chǎng)景圖像即圖5中攝像機(jī)捕獲的真實(shí)場(chǎng)景圖像，在圖5示例中，真實(shí)場(chǎng)景圖像中包含的目標(biāo)圖片為長(zhǎng)方形圖片，通過本實(shí)施例系統(tǒng)，繪制出與目標(biāo)圖片位置重合的3D模型，將搜索到的與目標(biāo)圖片
相關(guān)的視頻文件分離解碼后，從分離出來視頻幀圖像序列中提取出視頻各幀圖像，并將其作為紋理逐幀映射到長(zhǎng)方形平面3D模型上，并實(shí)時(shí)更新，完成圖形渲染，實(shí)現(xiàn)將視頻疊加到真實(shí)場(chǎng)景中的目標(biāo)圖片上，同時(shí)根據(jù)視頻圖像的渲染進(jìn)度同步輸出從視頻文件中分離出來的音頻數(shù)據(jù)。實(shí)施例2參見圖2，為本發(fā)明實(shí)施例2中基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放系統(tǒng)的結(jié)構(gòu)示意圖，本實(shí)施例中視頻播放系統(tǒng)在圖I (實(shí)施例I)的基礎(chǔ)上增加了一個(gè)跟蹤模塊8，所述跟蹤模塊8連接在所述圖像配準(zhǔn)模塊4與圖像渲染模塊6之間，在本實(shí)施例中，圖像配準(zhǔn)模塊4所計(jì)算出的單應(yīng)性矩陣為初始單應(yīng)性矩陣。所述跟蹤模塊8還與攝像模塊I相連，其在攝像模塊I捕獲的當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片匹配樣本圖片成功后，則停止特征檢測(cè)(即圖像特征提取模塊2停止對(duì)攝像模塊I捕獲圖像進(jìn)行特征點(diǎn)提取)，而對(duì)攝像模塊I捕獲的當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片進(jìn)行光流跟蹤，由跟蹤算法得到單應(yīng)性矩陣。光流是空間運(yùn)動(dòng)物體在觀察成像平面上的像素運(yùn)動(dòng)的瞬時(shí)速度，是利用圖像序列中像素在時(shí)域上的變化以及相鄰幀之間的相關(guān)性來找到上一幀跟當(dāng)前幀之間存在的對(duì)應(yīng)關(guān)系，從而計(jì)算出相鄰幀之間目標(biāo)物體的運(yùn)動(dòng)信息。本實(shí)施例中，圖像配準(zhǔn)模塊4將計(jì)算出的初始單應(yīng)性矩陣及需要跟蹤的特征點(diǎn)傳遞給跟蹤模塊8，同時(shí)跟蹤模塊8實(shí)時(shí)接收攝像模塊I捕獲的當(dāng)前場(chǎng)景圖像，進(jìn)行跟蹤計(jì)算。所述需要跟蹤的特征點(diǎn)指圖像搜索過程中，配準(zhǔn)圖片成功的特征點(diǎn)。為了防止跟蹤丟失，優(yōu)選的，所述跟蹤模塊8還用于目標(biāo)圖片跟蹤丟失時(shí)，指令圖像特征提取模塊對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像再次進(jìn)行特征點(diǎn)檢測(cè)，并指令圖像配準(zhǔn)模塊再次進(jìn)行圖像配準(zhǔn)，以實(shí)現(xiàn)從新跟蹤。判斷跟蹤丟失的條件可以為對(duì)跟蹤成功的點(diǎn)重新計(jì)算其匹配度，并進(jìn)行計(jì)數(shù)，當(dāng)匹配良好的點(diǎn)的數(shù)量在閾值以下時(shí)(閾值范圍一般范圍5 20，優(yōu)選為10)，則判斷跟蹤丟失。本實(shí)施例在加入跟蹤模塊8之后，由于不需要每幀都做特征檢測(cè)與配準(zhǔn)，相對(duì)于實(shí)施例I中系統(tǒng)速度有所提升，且能夠避免配準(zhǔn)過程中單應(yīng)性矩陣計(jì)算結(jié)果的微小偏差帶來的抖動(dòng)，在視覺效果上，疊加的3D模型更加穩(wěn)定。實(shí)施例3參見圖3，為本發(fā)明實(shí)施例3中基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放方法流程圖，本實(shí)施例基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放方法，包括如下步驟SlOl :捕捉場(chǎng)景圖像，即攝像機(jī)捕獲當(dāng)前場(chǎng)景圖像；S102:提取圖像特征點(diǎn)，即對(duì)攝像機(jī)捕獲的圖像進(jìn)行特征檢測(cè)，提取出圖像特征點(diǎn)，對(duì)圖像特征點(diǎn)進(jìn)行特征描述，得到特征點(diǎn)的描述向量，進(jìn)而得到整幅圖像的特征描述數(shù)據(jù)；S103 :圖像搜索，即根據(jù)攝像機(jī)捕獲圖像的特征描述數(shù)據(jù)，在服務(wù)器端的圖像數(shù)據(jù)庫(kù)中進(jìn)行搜索，得到與當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片匹配的樣本圖像及與所述樣本圖像對(duì)應(yīng)的視頻文件(此處得到對(duì)應(yīng)視頻文件可以理解為得到視頻資源標(biāo)識(shí)符)；S104:圖像配準(zhǔn)，即根據(jù)圖像搜索結(jié)果返回的樣本圖像的特征數(shù)據(jù)，實(shí)時(shí)連續(xù)地進(jìn)
行攝像機(jī)捕獲圖像與樣本圖像的配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣，并根據(jù)所述單應(yīng)性矩陣，繪制出能將當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片完全覆蓋的矩形平面3D模型；S105 :音頻、視頻分離，即將步驟S103中得到的視頻文件進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)(當(dāng)步驟S103中搜索到的為視頻資源標(biāo)注符，則首先根據(jù)視頻資源的標(biāo)識(shí)符找到相關(guān)視頻，然后對(duì)視頻進(jìn)行音視頻分離和解碼)，其中視頻各幀圖像序列也稱為視頻流；S106 :獲取視頻巾貞圖像，即對(duì)視頻流逐一提取視頻各巾貞的圖像；S107 :將S106中提取的視頻幀圖像作為紋理逐幀映射到所述3D模型上，實(shí)時(shí)刷新，進(jìn)行圖形渲染；S108 :將攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像與渲染的3D模型融合輸出顯示，并同步進(jìn)行S109步驟；S109:同步輸出所述音頻數(shù)據(jù)，進(jìn)行音頻與視頻的同步播放，實(shí)現(xiàn)將視頻“疊加”到真實(shí)場(chǎng)景中某一圖像區(qū)域。本發(fā)明實(shí)施例的效果，同樣可參看圖5，由于實(shí)施例I中對(duì)圖5進(jìn)行了詳細(xì)說明，此處不贅述。本實(shí)施例中，步驟S101、S102、S104在整個(gè)視頻播放過程中，均連續(xù)不斷的進(jìn)行，而步驟S103在一次視頻播放的過程中，原則上只進(jìn)行一次攝像模塊捕獲圖像與樣本圖像的成功匹配搜索，找到樣本圖像和樣本圖像對(duì)應(yīng)的視頻資源后即不再重復(fù)搜索。實(shí)施例4參見圖4，為本發(fā)明實(shí)施例4中基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放方法流程圖，本實(shí)施例中視頻播放方法在圖3 (實(shí)施例3)的基礎(chǔ)上增加了目標(biāo)圖片跟蹤步驟S1041及跟蹤丟失判斷步驟S1042(參見圖4)，其中S1041 目標(biāo)跟蹤，即在步驟S104圖像配準(zhǔn)成功時(shí)，則停止特征檢測(cè)(即停止步驟S102)，而對(duì)目標(biāo)圖片進(jìn)行光流跟蹤，由跟蹤算法得到單應(yīng)性矩陣，在增加了跟蹤步驟S1041以后，步驟S104得到的單應(yīng)性矩陣為初始單應(yīng)性矩陣，初始單應(yīng)性矩陣不用于直接繪制3D模型，而用于目標(biāo)圖片跟蹤時(shí)，結(jié)合需要跟蹤的特征點(diǎn)及攝像機(jī)實(shí)時(shí)捕獲的當(dāng)前場(chǎng)景圖像，對(duì)目標(biāo)圖片進(jìn)行光流跟蹤，由跟蹤算法得到單應(yīng)性矩陣。所述需要跟蹤的特征點(diǎn)指圖像搜索過程中，配準(zhǔn)圖片成功的特征點(diǎn)。步驟S1042，跟蹤丟失判斷，判斷跟蹤丟失的條件可以為對(duì)跟蹤成功的點(diǎn)重新計(jì)算其匹配度，并進(jìn)行計(jì)數(shù)，當(dāng)匹配良好的點(diǎn)的數(shù)量在閾值以下時(shí)(閾值范圍一般范圍5 20，優(yōu)選為10)，則判斷跟蹤丟失。當(dāng)判斷出跟蹤丟失時(shí)，再次重復(fù)S102、S104進(jìn)行特征檢測(cè)與圖像配準(zhǔn)，然后繼續(xù)進(jìn)行S1041步驟進(jìn)行目標(biāo)圖片跟蹤(步驟S103同實(shí)施例3中相同，一次視頻播放過程原則上只進(jìn)行一次搜索)。本實(shí)施例在加入跟蹤步驟之后，由于不需要每幀都做特征檢測(cè)與配準(zhǔn)，相對(duì)于實(shí)施例3中方法速度有所提升，且能夠避免配準(zhǔn)過程中單應(yīng)性矩陣計(jì)算結(jié)果的微小偏差帶來的抖動(dòng)，在視覺效果上，疊加的3D模型更加穩(wěn)定。本發(fā)明除了上述的視頻播放系統(tǒng)和方法，還提供了一種移動(dòng)終端，所述移動(dòng)終端中包括上述基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放系統(tǒng)。用戶拿著這樣的移動(dòng)終端，能輕松將報(bào)刊雜志等平面媒體上的圖片信息，轉(zhuǎn)化為視頻信息，視頻與圖片在空間位置上完全貼合，使用戶獲得“寓情于景”的全新視聽體驗(yàn)。同時(shí)報(bào)刊雜志等紙面媒體也可以借助本發(fā)明技術(shù)實(shí)現(xiàn)信息的多元化傳播，提供精確快速的視頻推送服務(wù)。本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥
的特征和/或步驟以外，均可以以任何方式組合。本說明書(包括任何附加權(quán)利要求、摘要和附圖)中公開的任一特征，除非特別敘述，均可被其他等效或具有類似目的的替代特征加以替換。即，除非特別敘述，每個(gè)特征只是一系列等效或類似特征中的一個(gè)例子而已。本發(fā)明并不局限于前述的具體實(shí)施方式
。本發(fā)明擴(kuò)展到任何在本說明書中披露的新特征或任何新的組合，以及披露的任一新的方法或過程的步驟或任何新的組合。
權(quán)利要求
1.基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放方法，其特征在于，包括 根據(jù)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像，在圖像數(shù)據(jù)庫(kù)中搜索與當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片匹配的樣本圖像及與所述樣本圖像對(duì)應(yīng)的視頻文件； 對(duì)所述樣本圖像對(duì)應(yīng)的視頻文件進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)； 對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣；并根據(jù)所述單應(yīng)性矩陣，繪制出能將當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片完全覆蓋的矩形平面3D模型； 將所述視頻各幀圖像序列中的視頻幀圖像作為紋理逐幀映射到所述3D模型上，進(jìn)行圖形渲染； 將攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像與渲染的3D模型融合輸出顯示，并同步輸出所述音頻數(shù)據(jù)。
2.如權(quán)利要求I所述的方法，其特征在于，所述對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣，包括 實(shí)時(shí)連續(xù)地對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣。
3.如權(quán)利要求I所述的方法，其特征在于，所述對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣，包括 對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，得到初始單應(yīng)性矩陣； 根據(jù)圖像配準(zhǔn)成功的圖像特征點(diǎn)、初始單應(yīng)性矩陣及攝像機(jī)實(shí)時(shí)捕獲的當(dāng)前場(chǎng)景圖像，對(duì)目標(biāo)圖片進(jìn)行光流跟蹤，由跟蹤算法得到單應(yīng)性矩陣。
4.如權(quán)利要求3所述的方法，其特征在于，所述方法還包括判斷對(duì)目標(biāo)圖片進(jìn)行光流跟蹤是否跟丟，當(dāng)跟蹤丟失時(shí)，再次對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像進(jìn)行特征點(diǎn)檢測(cè)與圖像配準(zhǔn)。
5.如權(quán)利要求I至4中任一項(xiàng)所述的方法，其特征在于，所述根據(jù)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像，在圖像數(shù)據(jù)庫(kù)中搜索與當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片匹配的樣本圖像及與所述樣本圖像對(duì)應(yīng)的視頻文件,進(jìn)一步包括 攝像機(jī)捕獲包含目標(biāo)圖片的當(dāng)前場(chǎng)景圖像； 對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像進(jìn)行特征檢測(cè)，提取出圖像特征點(diǎn)，并對(duì)圖像特征點(diǎn)進(jìn)行特征描述，得到整幅圖像的特征描述數(shù)據(jù)； 根據(jù)當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)，在圖像數(shù)據(jù)庫(kù)中進(jìn)行圖像搜索，得到與當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片匹配的樣本圖像及與所述樣本圖像對(duì)應(yīng)的視頻文件。
6.基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放系統(tǒng)，其特征在于，包括攝像模塊、圖像特征提取模塊、圖像搜索模塊、圖像配準(zhǔn)模塊、音視頻分離及解碼模塊、圖像渲染模塊、音視頻輸出模塊，其中 攝像模塊，用于捕獲包含目標(biāo)圖片的當(dāng)前場(chǎng)景圖像； 圖像特征提取模塊，對(duì)攝像模塊捕獲的當(dāng)前場(chǎng)景圖像進(jìn)行特征點(diǎn)檢測(cè)及提取，并生成特征點(diǎn)描述，得到當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)； 圖像搜索模塊，接收來自所述圖像特征提取模塊的當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)，在圖像數(shù)據(jù)庫(kù)中進(jìn)行搜索，將匹配成功的樣本圖像的特征描述數(shù)據(jù)傳遞給圖像配準(zhǔn)模塊，同時(shí)將匹配成功的樣本圖像對(duì)應(yīng)的視頻資源的UR I傳遞給音視頻分離及解碼模塊； 圖像配準(zhǔn)模塊，根據(jù)圖像搜索模塊返回的樣本圖像的特征描述數(shù)據(jù)及圖像特征提取模塊產(chǎn)生的當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)，對(duì)攝像模塊捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，得到單應(yīng)性矩陣； 音視頻分離及解碼模塊，根據(jù)圖像搜索模塊得到的視頻資源的UR I，找到對(duì)應(yīng)的視頻文件，并對(duì)所述視頻文件進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)；將所述視頻各幀圖像序列傳遞給圖形渲染模塊，將所述音頻數(shù)據(jù)傳遞給音視頻輸出模塊； 圖形渲染模塊，根據(jù)圖像配準(zhǔn)模塊計(jì)算出的單應(yīng)性矩陣，繪制出能將當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片完全覆蓋的矩形平面3D模型，并將音視頻分離及解碼模塊提取出來的視頻各幀圖像作為紋理逐幀映射到所述3D模型上，完成圖形渲染； 音視頻輸出模塊，將攝像機(jī)模塊捕獲的當(dāng)前場(chǎng)景圖像與圖形渲染模塊渲染的3D模型融合輸出顯示，并同步輸出音頻數(shù)據(jù)。
7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述圖像配準(zhǔn)模塊實(shí)時(shí)連續(xù)地對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行配準(zhǔn)，計(jì)算攝像模塊的姿態(tài)，得到單應(yīng)性矩陣。
8.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括連接在所述圖像配準(zhǔn)模塊與圖像渲染模塊之間的跟蹤模塊，所述跟蹤模塊還與攝像模塊相連，所述跟蹤模塊在攝像模塊捕獲的當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片匹配樣本圖片成功后，對(duì)攝像模塊捕獲的當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片進(jìn)行光流跟蹤，計(jì)算單應(yīng)性矩陣。
9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述跟蹤模塊還用于目標(biāo)圖片跟蹤丟失時(shí)，指令圖像特征提取模塊對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像再次進(jìn)行特征點(diǎn)檢測(cè)，并指令圖像配準(zhǔn)模塊再次進(jìn)行圖像配準(zhǔn)。
10.一種移動(dòng)終端，其特征在于，所述移動(dòng)終端包括權(quán)利要求6至9中任一項(xiàng)所述的基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放系統(tǒng)。
全文摘要
本發(fā)明公開了一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放方法，結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)，繪制將當(dāng)前場(chǎng)景圖像中的目標(biāo)圖片完全覆蓋的矩形平面3D模型，同時(shí)將目標(biāo)圖片相關(guān)的視頻文件分離為音頻流和視頻流之后，將視頻流中的視頻幀圖像作為紋理逐幀映射到3D模型上，進(jìn)行圖形渲染；最后將攝像機(jī)捕獲的場(chǎng)景圖像與渲染的3D模型融合輸出，同步輸出音頻流數(shù)據(jù)，相應(yīng)的，本發(fā)明還公開了一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的視頻播放系統(tǒng)及移動(dòng)終端，能輕松將報(bào)刊雜志等平面媒體上的圖片信息轉(zhuǎn)化為視頻信息，視頻與圖片在空間位置上完全貼合，使用戶獲得“寓情于景”的全新視聽體驗(yàn)；報(bào)刊雜志等紙面媒體也可以借助本發(fā)明技術(shù)實(shí)現(xiàn)信息的多元化傳播，提供精確快速的視頻推送服務(wù)。
文檔編號(hào)H04N21/439GK102821323SQ20121027148
公開日2012年12月12日 申請(qǐng)日期2012年8月1日 優(yōu)先權(quán)日2012年8月1日
發(fā)明者柳寅秋, 李薪宇, 宋海濤 申請(qǐng)人:成都理想境界科技有限公司