一種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)及方法
【專利摘要】本發(fā)明涉及一種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)及方法，包括：處理器、深度信息采集卡、RGB信息采集卡、存儲(chǔ)單元以及顯示屏，利用深度信息采集卡獲得客觀環(huán)境的三維深度信息；利用RGB信息采集卡獲得客觀環(huán)境基本信息；將上述三維深度信息和客觀環(huán)境基本信息輸入處理器進(jìn)行處理，創(chuàng)建客觀世界的三維模型；將處理的結(jié)果數(shù)據(jù)即客觀世界的三維模型數(shù)據(jù)存儲(chǔ)在存儲(chǔ)單元中；利用接口電路進(jìn)行增強(qiáng)虛擬現(xiàn)實(shí)的顯示，實(shí)現(xiàn)人機(jī)交互。本發(fā)明系統(tǒng)設(shè)計(jì)合理，結(jié)構(gòu)簡(jiǎn)單，實(shí)時(shí)性高，所需設(shè)備少，場(chǎng)景信息丟失少，可操作性強(qiáng)，應(yīng)用范圍廣，成本較低等，能使用戶真正體會(huì)到增強(qiáng)虛擬現(xiàn)實(shí)給人們帶了的無(wú)窮魅力，構(gòu)建的三維模型與實(shí)際客觀環(huán)境模型誤差小。
【專利說(shuō)明】一種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)及方法
[0001]

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及一種虛擬現(xiàn)實(shí)系統(tǒng)生成技術(shù)，具體的說(shuō)是一種基于智能移動(dòng)終端的實(shí) 時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)及方法。

【背景技術(shù)】
[0003] 增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality, AR),是通過(guò)電腦技術(shù)將虛擬的信息應(yīng)用到真 實(shí)世界，真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)地疊加到了同一個(gè)畫(huà)面或空間同時(shí)存在。增強(qiáng)現(xiàn)實(shí) 提供了生成一種逼真的視、聽(tīng)、力、觸和動(dòng)等感覺(jué)的虛擬環(huán)境，不同于人類可以感知的信息。 它不僅展現(xiàn)了真實(shí)世界的信息，而且將虛擬的信息同時(shí)顯示出來(lái)，兩種信息相互補(bǔ)充、疊 力口。增強(qiáng)現(xiàn)實(shí)借助計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)產(chǎn)生現(xiàn)實(shí)環(huán)境中不存在的虛擬對(duì)象，并通 過(guò)傳感技術(shù)將虛擬對(duì)象有機(jī)融入真實(shí)環(huán)境中，借助顯示設(shè)備將虛擬對(duì)象與真實(shí)環(huán)境融為一 體，實(shí)現(xiàn)用戶和環(huán)境直接進(jìn)行自然交互。它是一種全新的人機(jī)交互技術(shù)，利用這樣一種技 術(shù)，可以模擬真實(shí)的現(xiàn)場(chǎng)景觀，它是以交互性和構(gòu)想為基本特征的計(jì)算機(jī)高級(jí)人機(jī)界面。使 用者不僅能夠通過(guò)虛擬現(xiàn)實(shí)系統(tǒng)感受到在客觀物理世界中所經(jīng)歷的"身臨其境"的逼真性， 而且能夠突破空間、時(shí)間以及其它客觀限制，感受到在真實(shí)世界中無(wú)法親身經(jīng)歷的體驗(yàn)。因 此，AR具有三個(gè)基本要素，即現(xiàn)實(shí)與虛擬的結(jié)合、實(shí)時(shí)互動(dòng)和三維定位。
[0004] 要達(dá)到AR的虛實(shí)結(jié)合，用戶需要通過(guò)某種裝置來(lái)觀看。目前流行的技術(shù)主要有 透明裝置和不透明裝置兩類，前者是利用透明裝置，如3D眼鏡和3D投影等裝置，將虛擬影 像投影到裝置上，使用戶感受增強(qiáng)虛擬現(xiàn)實(shí)的場(chǎng)景，但需要多個(gè)特殊設(shè)備配合使用，使用的 場(chǎng)所、環(huán)境等都受到限制，已經(jīng)逐漸不能滿足人們隨時(shí)隨地進(jìn)行增強(qiáng)虛擬現(xiàn)實(shí)要求的需要； 后者是利用計(jì)算機(jī)等處理器將處理好的已經(jīng)虛擬現(xiàn)實(shí)結(jié)合的影像，如智能手機(jī)、平板電腦 等智能移動(dòng)終端。由于智能移動(dòng)終端具有復(fù)雜計(jì)算能力、錄影、影像顯示，還有GPS、網(wǎng)路連 線、觸控、傾斜度偵測(cè)等的多項(xiàng)功能，價(jià)格也逐漸降低，于是在智能移動(dòng)終端為平臺(tái)的AR研 究越來(lái)越多。
[0005] 目前基于不透明裝置的增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)主流方法是通過(guò)圖像視頻采集卡進(jìn)行 客觀環(huán)境信息的采集，主要有單目、雙目和多目攝像機(jī)進(jìn)行同一場(chǎng)景的采集，然后利用圖像 處理技術(shù)對(duì)不同攝像機(jī)采集到的同一場(chǎng)景進(jìn)行特征提取，再利用特征匹配等算法進(jìn)行場(chǎng)景 匹配，得到客觀環(huán)境的三維信息，進(jìn)行三維重建得到客觀環(huán)境的三維模型，最后再進(jìn)行增強(qiáng) 虛擬現(xiàn)實(shí)的實(shí)現(xiàn)。這樣的方法缺點(diǎn)是：計(jì)算量巨大，需要進(jìn)行大量的云數(shù)據(jù)處理與計(jì)算，三 維信息的獲取對(duì)于處理器的能力要求非常高，且該方法幾乎不能進(jìn)行實(shí)時(shí)三維建模，且在 場(chǎng)景特征提取和三維重構(gòu)過(guò)程中要丟失很多客觀環(huán)境中有用的信息。
[0006] 為了進(jìn)行實(shí)時(shí)三維模型建立，本發(fā)明采用RGB+D模型進(jìn)行三維模型構(gòu)建，直接利 用深度信息采集卡獲取客觀環(huán)境的三維深度信息（Depth Information),利用(XD視頻圖 像采集卡獲取客觀環(huán)境的基本信息(如色彩（RGB，Red，Green and Blue)、紋理信息、灰度信 息和強(qiáng)度信息等)，這樣將客觀環(huán)境信息中的三維深度信息的計(jì)算從處理器中解放出來(lái)，大 大提高了增強(qiáng)虛擬現(xiàn)實(shí)的實(shí)時(shí)性。
[0007] 在增強(qiáng)現(xiàn)實(shí)的環(huán)境中，使用者可以在看到周?chē)鎸?shí)環(huán)境的同時(shí)，還可以看到計(jì)算 機(jī)產(chǎn)生的增強(qiáng)信息。由于增強(qiáng)現(xiàn)實(shí)在虛擬現(xiàn)實(shí)與真實(shí)世界之間的溝壑上架起了一座橋梁， 因此，增強(qiáng)現(xiàn)實(shí)的應(yīng)用潛力是相當(dāng)巨大的，它可以廣泛應(yīng)用于智能機(jī)器人導(dǎo)航與避障、軍 事、模式駕駛、三維導(dǎo)航、醫(yī)學(xué)、制造與維修、游戲與娛樂(lè)等眾多領(lǐng)域。


【發(fā)明內(nèi)容】

[0008] 針對(duì)現(xiàn)有技術(shù)中三維信息的獲取及計(jì)算對(duì)于處理器的能力要求非常高且、幾乎不 能進(jìn)行實(shí)時(shí)三維建模，且在場(chǎng)景特征提取和三維重構(gòu)過(guò)程中會(huì)丟失很多客觀環(huán)境中有用的 信息等不足，本發(fā)明要解決的技術(shù)問(wèn)題是提供一種可將客觀環(huán)境信息中的三維深度信息的 計(jì)算從處理器中解放出來(lái)，大大提高增強(qiáng)虛擬現(xiàn)實(shí)的實(shí)時(shí)性的基于智能移動(dòng)終端的實(shí)時(shí)增 強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)及方法。
[0009] 為解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案是： 本發(fā)明一種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)包括： 處理器、深度信息采集卡、RGB信息采集卡、存儲(chǔ)單元以及顯示屏，其中處理器接收由深 度信息采集卡和RGB信息采集卡采集的客觀環(huán)境的三維深度信息和客觀環(huán)境基本信息進(jìn) 行處理、三維模型構(gòu)建，將處理的結(jié)果數(shù)據(jù)存儲(chǔ)至存儲(chǔ)單元中；處理器通過(guò)接口電路連接顯 示屏。
[0010] 所述深度信息采集卡為具有深度信息直接運(yùn)算能力的攝像頭，能夠直接讀取客觀 環(huán)境的三維深度信息。
[0011] 本發(fā)明一種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法包括以下步驟： 利用深度信息采集卡獲得客觀環(huán)境的三維深度信息； 利用RGB信息采集卡獲得客觀環(huán)境基本信息； 將上述三維深度信息和客觀環(huán)境基本信息輸入處理器進(jìn)行處理，創(chuàng)建客觀世界的三維 模型； 將處理的結(jié)果數(shù)據(jù)即客觀世界的三維模型數(shù)據(jù)存儲(chǔ)在存儲(chǔ)單元中； 利用接口電路進(jìn)行增強(qiáng)虛擬現(xiàn)實(shí)的顯示，實(shí)現(xiàn)人機(jī)交互。
[0012] 創(chuàng)建客觀世界的三維模型包括以下步驟： 信息濾波：對(duì)三維深度信息和客觀環(huán)境基本信息即RGB+D圖像即同時(shí)進(jìn)行濾波，去除 噪聲圖像； 信息的跟蹤算法：基于去噪后的RGB+ D信息的全部信息進(jìn)行下一圖像的估計(jì)； 基于RGB+ D信息的三維重構(gòu)：利用三維世界信息的估計(jì)參數(shù)和典型的三角拼接法對(duì) 三維重構(gòu)的最d、單元進(jìn)行插值拼接，得到最終的客觀世界三維模型。
[0013] 對(duì)RGB+D圖像同時(shí)進(jìn)行濾波通過(guò)以下公式實(shí)現(xiàn)：

【權(quán)利要求】
1. 一種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)，其特征在于包括： 處理器、深度信息采集卡、RGB信息采集卡、存儲(chǔ)單元以及顯示屏，其中處理器接收由深 度信息采集卡和RGB信息采集卡采集的客觀環(huán)境的三維深度信息和客觀環(huán)境基本信息進(jìn) 行處理、三維模型構(gòu)建，將處理的結(jié)果數(shù)據(jù)存儲(chǔ)至存儲(chǔ)單元中；處理器通過(guò)接口電路連接顯 示屏。
2. 按權(quán)利要求1所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)，其特征在于：所 述深度信息采集卡為具有深度信息直接運(yùn)算能力的攝像頭，能夠直接讀取客觀環(huán)境的三維 深度信息。
3. -種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法，其特征在于包括以下步驟： 利用深度信息采集卡獲得客觀環(huán)境的三維深度信息； 利用RGB信息采集卡獲得客觀環(huán)境基本信息； 將上述三維深度信息和客觀環(huán)境基本信息輸入處理器進(jìn)行處理，創(chuàng)建客觀世界的三維 模型； 將處理的結(jié)果數(shù)據(jù)即客觀世界的三維模型數(shù)據(jù)存儲(chǔ)在存儲(chǔ)單元中； 利用接口電路進(jìn)行增強(qiáng)虛擬現(xiàn)實(shí)的顯示，實(shí)現(xiàn)人機(jī)交互。
4. 按權(quán)利要求1所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法，其特征在于：創(chuàng) 建客觀世界的三維模型包括以下步驟： 信息濾波：對(duì)三維深度信息和客觀環(huán)境基本信息即RGB+D圖像即同時(shí)進(jìn)行濾波，去除 噪聲圖像； 信息的跟蹤算法：基于去噪后的RGB+ D信息的全部信息進(jìn)行下一圖像的估計(jì)； 基于RGB+ D信息的三維重構(gòu)：利用三維世界信息的估計(jì)參數(shù)和典型的三角拼接法對(duì) 三適重最v'ijt進(jìn)行插值拼接，得到最終的客觀世界三維模型。
5. 按權(quán)利要求4所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法，其特征在于對(duì) RGB+D圖像同時(shí)進(jìn)行濾波通過(guò)以下公式實(shí)現(xiàn)：
(1) 其中，Γ(ι,)')為濾波去噪后的RGB+D圖像；E為圖像像素江}〇的鄰域?yàn)闉V波器 的權(quán)重系數(shù)；『(肌η)為含噪聲的RGB+D圖像，》，/?分別為鄰域f中每一點(diǎn)的坐標(biāo)值。
6. 按權(quán)利要求5所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法，其特征在于：采 用典型高斯濾波器，即
其中，(ι·.)0為圖像每個(gè)像素點(diǎn)坐標(biāo)，（m,n)為濾波器在像素點(diǎn)(ι·,"ν)采用鄰域s的集合， CT2為高斯函數(shù)的標(biāo)準(zhǔn)差。
7. 按權(quán)利要求4所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法，其特征在于：對(duì) 于去噪后的三維世界信息的全部信息進(jìn)行下一圖像的估計(jì)為： 采用極大似然估計(jì)，即
其中為當(dāng)前RGB+D圖像；Ii為估計(jì)新RGB+D圖像；G為當(dāng)前圖像和估計(jì)圖像的李群 代數(shù)算子；P e為圖像元素，Ω〇ι3RGB十D 為位姿估計(jì)模型；Di為深度信息采集卡獲 取的深度信息；Vi為ο;的標(biāo)準(zhǔn)差；IHb為范數(shù)，且定義
其中，5為參數(shù)，S為變量，式中
8. 按權(quán)利要求4所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法，其特征在于：通 過(guò)以下公式進(jìn)行基于RGB+ D信息的三維重構(gòu)：
其中，《⑷為三維重構(gòu)的最小單元；Ku)為能量函數(shù)，且m滿足Ku)最??；jt〇[)為智能 移動(dòng)終端三維重構(gòu)的地平面估計(jì)，這里采用簡(jiǎn)單的低通濾波器，即利用RGB+D信息的進(jìn)行 地平面估計(jì)；〇1卩1為能量函數(shù)￡(沁的估計(jì)參數(shù)，物為《的梯度為RGB+D信息集合。 i it
9. 按權(quán)利要求4所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法，其特征在于：還 包括以下步驟： 若移動(dòng)終端的處理器的數(shù)據(jù)處理能力不足，則通過(guò)移動(dòng)網(wǎng)絡(luò)或者wifi將全部處理過(guò)程 上傳到網(wǎng)絡(luò)服務(wù)器或者個(gè)人PC機(jī)中處理，然后將處理后得到的數(shù)據(jù)再通過(guò)移動(dòng)網(wǎng)絡(luò)或者 wifi下載到移動(dòng)智能終端。
10.按權(quán)利要求4所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法，其特征在于：還 包括以下步驟： 若多個(gè)用戶使用移動(dòng)智能終端，則用戶利用聯(lián)網(wǎng)功能共享AR數(shù)據(jù)，多個(gè)用戶在任何地 點(diǎn)、任何時(shí)間享受增強(qiáng)虛擬現(xiàn)實(shí)的應(yīng)用。
【文檔編號(hào)】G06F17/50GK104392045SQ201410688094
【公開(kāi)日】2015年3月4日 申請(qǐng)日期:2014年11月25日 優(yōu)先權(quán)日:2014年11月25日
【發(fā)明者】夏興華 申請(qǐng)人:沈陽(yáng)建筑大學(xué)