基于在圖像上無標(biāo)記增強(qiáng)現(xiàn)實(shí)的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)碼應(yīng)用技術(shù)領(lǐng)域，涉及一種圖像識(shí)別技術(shù)，特別是涉及一種基于在圖像上無標(biāo)記增強(qiáng)現(xiàn)實(shí)的系統(tǒng)和方法。
【背景技術(shù)】
[0002]眾所周知，圖像識(shí)別技術(shù)是目前應(yīng)用非常廣泛的一種技術(shù)，其通過對(duì)圖像的特征進(jìn)行識(shí)別從而判斷圖像對(duì)應(yīng)的相關(guān)信息。如條碼加載技術(shù)，每種條碼有其特定的字符集；每個(gè)字符占有一定的寬度；具有一定的校驗(yàn)功能；同時(shí)還具有對(duì)不同行的信息自動(dòng)識(shí)別功能、及處理圖形旋轉(zhuǎn)變化點(diǎn)。如二維碼加載技術(shù)，二維碼是用某種特定的幾何圖形按一定規(guī)律在平面(二維方向上)分布的黑白相間的圖形記錄數(shù)據(jù)符號(hào)信息的；在代碼編制上巧妙地利用構(gòu)成計(jì)算機(jī)內(nèi)部邏輯基礎(chǔ)的“0”、“ I”比特流的概念，使用若干個(gè)與二進(jìn)制相對(duì)應(yīng)的幾何形體來表示文字?jǐn)?shù)值信息，通過圖象輸入設(shè)備或光電掃描設(shè)備自動(dòng)識(shí)讀以實(shí)現(xiàn)信息自動(dòng)處理。盡管條碼加載技術(shù)和二維碼加載技術(shù)在現(xiàn)實(shí)生活中得到了廣泛地應(yīng)用，給人們生產(chǎn)、生活帶來了極大的便利，但是存在有痕跡這一先天的缺陷，一是會(huì)會(huì)破壞畫面的美感；二是可以被仿制。
[0003]增強(qiáng)現(xiàn)實(shí)(Augmented Reality，簡(jiǎn)稱AR)簡(jiǎn)單來說是通過電腦技術(shù)，將虛擬的信息應(yīng)用到真實(shí)世界，真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)地疊加到了同一個(gè)畫面或空間同時(shí)存在。增強(qiáng)現(xiàn)實(shí)提供了在一般情況下，不同于人類可以感知的信息。它不僅展現(xiàn)了真實(shí)世界的信息，而且將虛擬的信息同時(shí)顯示出來，兩種信息相互補(bǔ)充、疊加。增強(qiáng)現(xiàn)實(shí)有多種定義，為大家廣為接受的定義是將虛擬物體添加到現(xiàn)實(shí)世界中，為用戶提供更為豐富的體驗(yàn)和信息，通過增強(qiáng)現(xiàn)實(shí)技術(shù)把計(jì)算機(jī)生成的圖形疊加到真實(shí)世界中。AR(Augmented Reality，增強(qiáng)現(xiàn)實(shí))技術(shù)是一種全新的人機(jī)交互技術(shù)，通過智能終端設(shè)備和可視化技術(shù)將虛擬信息應(yīng)用到真實(shí)世界，使得虛擬信息和真實(shí)世界同時(shí)疊加到同一個(gè)畫面或空間呈現(xiàn)給用戶。隨著智能終端的普及，AR技術(shù)的應(yīng)用愈加廣泛，可以通過在智能終端上安裝AR應(yīng)用進(jìn)行體驗(yàn)。具體的，AR應(yīng)用的工作流程如下:終端通過攝像頭拍攝圖像幀；對(duì)圖像幀進(jìn)行識(shí)別，確定AR目標(biāo)物體；對(duì)圖像幀中的AR目標(biāo)物體進(jìn)行跟蹤，確定AR目標(biāo)物體的位置；獲取與所述AR目標(biāo)物體相關(guān)聯(lián)的AR虛擬信息，對(duì)圖像幀進(jìn)行渲染，將所述AR虛擬信息疊加在AR目標(biāo)物體上進(jìn)行顯示，在終端屏幕上同時(shí)顯示AR目標(biāo)物體和AR虛擬內(nèi)容以供用戶進(jìn)行交互。現(xiàn)有AR應(yīng)用技術(shù)存在計(jì)算量較大、視頻增強(qiáng)效果不穩(wěn)定、系統(tǒng)檢測(cè)準(zhǔn)確率不高的缺限。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于克服現(xiàn)有在圖像上無標(biāo)記增強(qiáng)現(xiàn)實(shí)技術(shù)中的不足，提供一種基于在圖像上無標(biāo)記增強(qiáng)現(xiàn)實(shí)的系統(tǒng)和方法。
[0005]為了實(shí)現(xiàn)上述目的，本發(fā)明是通過以下技術(shù)方案來實(shí)現(xiàn)的:基于在圖像上無標(biāo)記增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，其特征在于:它包括圖像檢索系統(tǒng)，即使用手機(jī)攝像頭掃描場(chǎng)景，在數(shù)據(jù)庫(kù)中檢索場(chǎng)景中出現(xiàn)的圖像，尋找與之一致的圖像作為檢索結(jié)果；和增強(qiáng)現(xiàn)實(shí)系統(tǒng)，即將與該圖像對(duì)應(yīng)的視頻介紹渲染到場(chǎng)景中該圖像的位置，進(jìn)行現(xiàn)實(shí)增強(qiáng)。
[0006]所述的圖像檢索采用不變性描述子ORB來對(duì)圖像進(jìn)行特征點(diǎn)檢測(cè)和描述，具體過程檢索流程如下:
步驟1、利用不變性描述子ORB特征點(diǎn)檢測(cè)器對(duì)數(shù)據(jù)庫(kù)中的每一張圖像和待檢索圖像進(jìn)行特征點(diǎn)檢測(cè)，(0RB是Oriented FAST and Rotated BRIEF的縮寫，ORB特征是將FAST特征點(diǎn)的檢測(cè)方法與BRIEF特征描述子結(jié)合起來，并在它們?cè)瓉淼幕A(chǔ)上做了改進(jìn)與優(yōu)化，F(xiàn)AST 是 features from accelerated segment test 的縮寫，BRIEF 是 Binary RobustIndependent Elementary Features的縮寫)并使用不變性O(shè)RB描述子來描述每個(gè)特征點(diǎn)，得到256bit的二值特征。
[0007]步驟2、對(duì)數(shù)據(jù)庫(kù)中的某張圖像，對(duì)待檢索圖像的每一個(gè)特征點(diǎn)，通過特征點(diǎn)描述子的比較，在數(shù)據(jù)庫(kù)的這個(gè)圖像中尋找近鄰的特征點(diǎn)。
[0008]步驟3、對(duì)得到的特征點(diǎn)匹配對(duì)進(jìn)行初篩選，去除誤匹配的特征點(diǎn)；原則是:(1)、特征點(diǎn)匹配對(duì)的歐式距離大于一定閾值的去除(本文中的距離都是歐式距離)；⑵、最近鄰和次近鄰的特征點(diǎn)匹配對(duì)的歐式距離比值小于一定閾值的去除；如果篩選后的匹配對(duì)少于一定閾值，則表明數(shù)據(jù)庫(kù)中該圖像和待檢索圖像非一致圖像。
[0009]步驟4、對(duì)經(jīng)過篩選后的匹配點(diǎn)對(duì)，運(yùn)用RANSAC算法進(jìn)行仿射矩陣的計(jì)算和內(nèi)點(diǎn)的查找即對(duì)匹配點(diǎn)對(duì)的二次篩選(內(nèi)點(diǎn)是通過RANSAC算法對(duì)匹配點(diǎn)對(duì)的二次篩選后得到的匹配點(diǎn)對(duì)，庫(kù)中圖像的特征點(diǎn)經(jīng)過仿射變換后在檢索圖像上的投影圖像就是內(nèi)點(diǎn)；RANSAC為RANdom SAmple Consensus的縮寫，它是根據(jù)一組包含異常數(shù)據(jù)的樣本數(shù)據(jù)集，計(jì)算出數(shù)據(jù)的數(shù)學(xué)模型參數(shù)，得到有效樣本數(shù)據(jù)的算法。)
步驟5、統(tǒng)計(jì)內(nèi)點(diǎn)個(gè)數(shù)，如果二次篩選后的匹配對(duì)少于一定閾值，則表明數(shù)據(jù)庫(kù)中該圖像和待檢索圖像非一致圖像。
[0010]步驟6、利用步驟4得到的仿射矩陣，對(duì)庫(kù)中圖像的五個(gè)參考點(diǎn)，四角和中心點(diǎn)進(jìn)行仿射變換，得到變換后的五個(gè)點(diǎn)；如果變換后的五個(gè)點(diǎn)不滿足以下關(guān)系，則表明數(shù)據(jù)庫(kù)中該圖像和待檢索圖像非一致圖像。原則是:(1)、變換后，中心點(diǎn)依然在四個(gè)角中心。⑵、待檢索特征點(diǎn)在變換后四個(gè)角點(diǎn)內(nèi)部的數(shù)目要大于一定的閾值。(3)、面積要在一定的允許范圍。
[0011]步驟7、將對(duì)邊的差異作為幾何校驗(yàn)誤差。庫(kù)中圖像都是矩形，經(jīng)過步驟6的仿射變換，得到庫(kù)中圖像在檢索圖像上的投影圖像，該圖像是四邊形，四條邊依次是:edgel，edge2，edge3，edge4.其中 edgel 和 edge3 是對(duì)邊，edge2 和 edge4 是對(duì)邊.Error 表示幾何校驗(yàn)誤差，則:
Error = max (abs (edgel -e d g e 3) / (edgel + e d g e 3),abs (edge2 - edge4) / (edge2 + edge4));
Max表示最大值，abs表示絕對(duì)值。
[0012]步驟8、對(duì)數(shù)據(jù)庫(kù)中的每一個(gè)圖像，重復(fù)步驟2-7，取具有最小幾何校驗(yàn)誤差的圖像作為最終的檢索結(jié)果。
[0013]由圖像檢索可以獲得估計(jì)的仿射矩陣A，為了獲得更加穩(wěn)定的仿射矩陣，需要對(duì)其仿射矩陣進(jìn)行調(diào)優(yōu)；具體調(diào)優(yōu)步驟如下:
步驟1、將仿射矩陣A應(yīng)用到待檢索圖像中(即用仿射矩陣A對(duì)待檢索圖像進(jìn)行仿射變換)，獲得變換后的圖像(仿射矩陣A和待檢索圖像進(jìn)行矩陣乘法的結(jié)果)。
[0014]步驟2、對(duì)步驟I中獲得的變換圖像重新提取特征點(diǎn)和描述子。
[0015]步驟3、估計(jì)變換圖像與庫(kù)中圖像的仿射矩陣B。
[0016]步驟4、將矩陣A與矩陣B相乘，得到最終調(diào)優(yōu)后的仿射矩陣C。
[0017]步驟5、讀入檢索結(jié)果對(duì)應(yīng)的視頻的每一幀，將每一幀圖像應(yīng)用仿射矩陣C，通過OpenGL清染到場(chǎng)景中該圖像的位置，進(jìn)行現(xiàn)實(shí)增強(qiáng)。(OpenGL，全寫Open Graphics Library是個(gè)定義了一個(gè)跨編程語(yǔ)言、跨平臺(tái)的編程接口規(guī)格的專業(yè)的圖形程序接口。它用于三維圖像或二維圖像，是一個(gè)功能強(qiáng)大，調(diào)用方便的底層圖形庫(kù)。)
本發(fā)明中，對(duì)特征點(diǎn)匹配對(duì)通過簡(jiǎn)單的方法進(jìn)行初篩選，以去除誤匹配的點(diǎn)，大大的減少了后續(xù)仿射矩陣估計(jì)的計(jì)算量，誤匹配的特征點(diǎn)匹配對(duì)包括:距離大于一定閾值的特征點(diǎn)匹配對(duì)，最近鄰特征點(diǎn)匹配對(duì)的距離和次近鄰的特征點(diǎn)匹配對(duì)的距離的比值小于一定閾值的特征點(diǎn)匹配對(duì)。
[0018]通過簡(jiǎn)單的幾何校驗(yàn)策略對(duì)估計(jì)的仿射矩陣進(jìn)行校驗(yàn)，取具有最小幾何校驗(yàn)誤差的圖像作為最終的檢索結(jié)果，獲得了非常有效的檢索效果。
[0019]通過求解變換后的圖像的仿射變換，以獲得調(diào)優(yōu)后的仿射矩陣。得到了更穩(wěn)定的視頻增強(qiáng)效果。
[0020]本發(fā)明基于在圖像上無標(biāo)記增強(qiáng)現(xiàn)實(shí)的系統(tǒng)和方法與現(xiàn)有技術(shù)相比，具有如下優(yōu)占.V.1、增強(qiáng)現(xiàn)實(shí)技術(shù)，將真實(shí)世界信息和虛擬世界信息“無縫”集成起來，獲得了超越現(xiàn)實(shí)的感官體驗(yàn)。增強(qiáng)現(xiàn)實(shí)技術(shù)是把原本在現(xiàn)實(shí)世界的一定時(shí)間空間范圍內(nèi)很難體驗(yàn)到的視覺信息，通過電腦等科學(xué)技術(shù)，模擬仿真后再疊加，將虛擬的信息應(yīng)用到真實(shí)世界，被人類感官所感知，從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)地疊加到了同一個(gè)畫面或空間同時(shí)存在。
[0021]2、本系統(tǒng)