亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

一種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)及方法

文檔序號(hào):6635754閱讀:421來(lái)源:國(guó)知局
一種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)及方法
【專利摘要】本發(fā)明涉及一種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)及方法,包括:處理器、深度信息采集卡、RGB信息采集卡、存儲(chǔ)單元以及顯示屏,利用深度信息采集卡獲得客觀環(huán)境的三維深度信息;利用RGB信息采集卡獲得客觀環(huán)境基本信息;將上述三維深度信息和客觀環(huán)境基本信息輸入處理器進(jìn)行處理,創(chuàng)建客觀世界的三維模型;將處理的結(jié)果數(shù)據(jù)即客觀世界的三維模型數(shù)據(jù)存儲(chǔ)在存儲(chǔ)單元中;利用接口電路進(jìn)行增強(qiáng)虛擬現(xiàn)實(shí)的顯示,實(shí)現(xiàn)人機(jī)交互。本發(fā)明系統(tǒng)設(shè)計(jì)合理,結(jié)構(gòu)簡(jiǎn)單,實(shí)時(shí)性高,所需設(shè)備少,場(chǎng)景信息丟失少,可操作性強(qiáng),應(yīng)用范圍廣,成本較低等,能使用戶真正體會(huì)到增強(qiáng)虛擬現(xiàn)實(shí)給人們帶了的無(wú)窮魅力,構(gòu)建的三維模型與實(shí)際客觀環(huán)境模型誤差小。
【專利說(shuō)明】一種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)及方法
[0001]

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及一種虛擬現(xiàn)實(shí)系統(tǒng)生成技術(shù),具體的說(shuō)是一種基于智能移動(dòng)終端的實(shí) 時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)及方法。

【背景技術(shù)】
[0003] 增強(qiáng)現(xiàn)實(shí)技術(shù)(Augmented Reality, AR),是通過(guò)電腦技術(shù)將虛擬的信息應(yīng)用到真 實(shí)世界,真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)地疊加到了同一個(gè)畫(huà)面或空間同時(shí)存在。增強(qiáng)現(xiàn)實(shí) 提供了生成一種逼真的視、聽(tīng)、力、觸和動(dòng)等感覺(jué)的虛擬環(huán)境,不同于人類可以感知的信息。 它不僅展現(xiàn)了真實(shí)世界的信息,而且將虛擬的信息同時(shí)顯示出來(lái),兩種信息相互補(bǔ)充、疊 力口。增強(qiáng)現(xiàn)實(shí)借助計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)產(chǎn)生現(xiàn)實(shí)環(huán)境中不存在的虛擬對(duì)象,并通 過(guò)傳感技術(shù)將虛擬對(duì)象有機(jī)融入真實(shí)環(huán)境中,借助顯示設(shè)備將虛擬對(duì)象與真實(shí)環(huán)境融為一 體,實(shí)現(xiàn)用戶和環(huán)境直接進(jìn)行自然交互。它是一種全新的人機(jī)交互技術(shù),利用這樣一種技 術(shù),可以模擬真實(shí)的現(xiàn)場(chǎng)景觀,它是以交互性和構(gòu)想為基本特征的計(jì)算機(jī)高級(jí)人機(jī)界面。使 用者不僅能夠通過(guò)虛擬現(xiàn)實(shí)系統(tǒng)感受到在客觀物理世界中所經(jīng)歷的"身臨其境"的逼真性, 而且能夠突破空間、時(shí)間以及其它客觀限制,感受到在真實(shí)世界中無(wú)法親身經(jīng)歷的體驗(yàn)。因 此,AR具有三個(gè)基本要素,即現(xiàn)實(shí)與虛擬的結(jié)合、實(shí)時(shí)互動(dòng)和三維定位。
[0004] 要達(dá)到AR的虛實(shí)結(jié)合,用戶需要通過(guò)某種裝置來(lái)觀看。目前流行的技術(shù)主要有 透明裝置和不透明裝置兩類,前者是利用透明裝置,如3D眼鏡和3D投影等裝置,將虛擬影 像投影到裝置上,使用戶感受增強(qiáng)虛擬現(xiàn)實(shí)的場(chǎng)景,但需要多個(gè)特殊設(shè)備配合使用,使用的 場(chǎng)所、環(huán)境等都受到限制,已經(jīng)逐漸不能滿足人們隨時(shí)隨地進(jìn)行增強(qiáng)虛擬現(xiàn)實(shí)要求的需要; 后者是利用計(jì)算機(jī)等處理器將處理好的已經(jīng)虛擬現(xiàn)實(shí)結(jié)合的影像,如智能手機(jī)、平板電腦 等智能移動(dòng)終端。由于智能移動(dòng)終端具有復(fù)雜計(jì)算能力、錄影、影像顯示,還有GPS、網(wǎng)路連 線、觸控、傾斜度偵測(cè)等的多項(xiàng)功能,價(jià)格也逐漸降低,于是在智能移動(dòng)終端為平臺(tái)的AR研 究越來(lái)越多。
[0005] 目前基于不透明裝置的增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)主流方法是通過(guò)圖像視頻采集卡進(jìn)行 客觀環(huán)境信息的采集,主要有單目、雙目和多目攝像機(jī)進(jìn)行同一場(chǎng)景的采集,然后利用圖像 處理技術(shù)對(duì)不同攝像機(jī)采集到的同一場(chǎng)景進(jìn)行特征提取,再利用特征匹配等算法進(jìn)行場(chǎng)景 匹配,得到客觀環(huán)境的三維信息,進(jìn)行三維重建得到客觀環(huán)境的三維模型,最后再進(jìn)行增強(qiáng) 虛擬現(xiàn)實(shí)的實(shí)現(xiàn)。這樣的方法缺點(diǎn)是:計(jì)算量巨大,需要進(jìn)行大量的云數(shù)據(jù)處理與計(jì)算,三 維信息的獲取對(duì)于處理器的能力要求非常高,且該方法幾乎不能進(jìn)行實(shí)時(shí)三維建模,且在 場(chǎng)景特征提取和三維重構(gòu)過(guò)程中要丟失很多客觀環(huán)境中有用的信息。
[0006] 為了進(jìn)行實(shí)時(shí)三維模型建立,本發(fā)明采用RGB+D模型進(jìn)行三維模型構(gòu)建,直接利 用深度信息采集卡獲取客觀環(huán)境的三維深度信息(Depth Information),利用(XD視頻圖 像采集卡獲取客觀環(huán)境的基本信息(如色彩(RGB,Red,Green and Blue)、紋理信息、灰度信 息和強(qiáng)度信息等),這樣將客觀環(huán)境信息中的三維深度信息的計(jì)算從處理器中解放出來(lái),大 大提高了增強(qiáng)虛擬現(xiàn)實(shí)的實(shí)時(shí)性。
[0007] 在增強(qiáng)現(xiàn)實(shí)的環(huán)境中,使用者可以在看到周?chē)鎸?shí)環(huán)境的同時(shí),還可以看到計(jì)算 機(jī)產(chǎn)生的增強(qiáng)信息。由于增強(qiáng)現(xiàn)實(shí)在虛擬現(xiàn)實(shí)與真實(shí)世界之間的溝壑上架起了一座橋梁, 因此,增強(qiáng)現(xiàn)實(shí)的應(yīng)用潛力是相當(dāng)巨大的,它可以廣泛應(yīng)用于智能機(jī)器人導(dǎo)航與避障、軍 事、模式駕駛、三維導(dǎo)航、醫(yī)學(xué)、制造與維修、游戲與娛樂(lè)等眾多領(lǐng)域。


【發(fā)明內(nèi)容】

[0008] 針對(duì)現(xiàn)有技術(shù)中三維信息的獲取及計(jì)算對(duì)于處理器的能力要求非常高且、幾乎不 能進(jìn)行實(shí)時(shí)三維建模,且在場(chǎng)景特征提取和三維重構(gòu)過(guò)程中會(huì)丟失很多客觀環(huán)境中有用的 信息等不足,本發(fā)明要解決的技術(shù)問(wèn)題是提供一種可將客觀環(huán)境信息中的三維深度信息的 計(jì)算從處理器中解放出來(lái),大大提高增強(qiáng)虛擬現(xiàn)實(shí)的實(shí)時(shí)性的基于智能移動(dòng)終端的實(shí)時(shí)增 強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)及方法。
[0009] 為解決上述技術(shù)問(wèn)題,本發(fā)明采用的技術(shù)方案是: 本發(fā)明一種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng)包括: 處理器、深度信息采集卡、RGB信息采集卡、存儲(chǔ)單元以及顯示屏,其中處理器接收由深 度信息采集卡和RGB信息采集卡采集的客觀環(huán)境的三維深度信息和客觀環(huán)境基本信息進(jìn) 行處理、三維模型構(gòu)建,將處理的結(jié)果數(shù)據(jù)存儲(chǔ)至存儲(chǔ)單元中;處理器通過(guò)接口電路連接顯 示屏。
[0010] 所述深度信息采集卡為具有深度信息直接運(yùn)算能力的攝像頭,能夠直接讀取客觀 環(huán)境的三維深度信息。
[0011] 本發(fā)明一種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法包括以下步驟: 利用深度信息采集卡獲得客觀環(huán)境的三維深度信息; 利用RGB信息采集卡獲得客觀環(huán)境基本信息; 將上述三維深度信息和客觀環(huán)境基本信息輸入處理器進(jìn)行處理,創(chuàng)建客觀世界的三維 模型; 將處理的結(jié)果數(shù)據(jù)即客觀世界的三維模型數(shù)據(jù)存儲(chǔ)在存儲(chǔ)單元中; 利用接口電路進(jìn)行增強(qiáng)虛擬現(xiàn)實(shí)的顯示,實(shí)現(xiàn)人機(jī)交互。
[0012] 創(chuàng)建客觀世界的三維模型包括以下步驟: 信息濾波:對(duì)三維深度信息和客觀環(huán)境基本信息即RGB+D圖像即同時(shí)進(jìn)行濾波,去除 噪聲圖像; 信息的跟蹤算法:基于去噪后的RGB+ D信息的全部信息進(jìn)行下一圖像的估計(jì); 基于RGB+ D信息的三維重構(gòu):利用三維世界信息的估計(jì)參數(shù)和典型的三角拼接法對(duì) 三維重構(gòu)的最d、單元進(jìn)行插值拼接,得到最終的客觀世界三維模型。
[0013] 對(duì)RGB+D圖像同時(shí)進(jìn)行濾波通過(guò)以下公式實(shí)現(xiàn):

【權(quán)利要求】
1. 一種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng),其特征在于包括: 處理器、深度信息采集卡、RGB信息采集卡、存儲(chǔ)單元以及顯示屏,其中處理器接收由深 度信息采集卡和RGB信息采集卡采集的客觀環(huán)境的三維深度信息和客觀環(huán)境基本信息進(jìn) 行處理、三維模型構(gòu)建,將處理的結(jié)果數(shù)據(jù)存儲(chǔ)至存儲(chǔ)單元中;處理器通過(guò)接口電路連接顯 示屏。
2. 按權(quán)利要求1所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)系統(tǒng),其特征在于:所 述深度信息采集卡為具有深度信息直接運(yùn)算能力的攝像頭,能夠直接讀取客觀環(huán)境的三維 深度信息。
3. -種基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法,其特征在于包括以下步驟: 利用深度信息采集卡獲得客觀環(huán)境的三維深度信息; 利用RGB信息采集卡獲得客觀環(huán)境基本信息; 將上述三維深度信息和客觀環(huán)境基本信息輸入處理器進(jìn)行處理,創(chuàng)建客觀世界的三維 模型; 將處理的結(jié)果數(shù)據(jù)即客觀世界的三維模型數(shù)據(jù)存儲(chǔ)在存儲(chǔ)單元中; 利用接口電路進(jìn)行增強(qiáng)虛擬現(xiàn)實(shí)的顯示,實(shí)現(xiàn)人機(jī)交互。
4. 按權(quán)利要求1所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法,其特征在于:創(chuàng) 建客觀世界的三維模型包括以下步驟: 信息濾波:對(duì)三維深度信息和客觀環(huán)境基本信息即RGB+D圖像即同時(shí)進(jìn)行濾波,去除 噪聲圖像; 信息的跟蹤算法:基于去噪后的RGB+ D信息的全部信息進(jìn)行下一圖像的估計(jì); 基于RGB+ D信息的三維重構(gòu):利用三維世界信息的估計(jì)參數(shù)和典型的三角拼接法對(duì) 三適重最v'ijt進(jìn)行插值拼接,得到最終的客觀世界三維模型。
5. 按權(quán)利要求4所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法,其特征在于對(duì) RGB+D圖像同時(shí)進(jìn)行濾波通過(guò)以下公式實(shí)現(xiàn):
(1) 其中,Γ(ι,)')為濾波去噪后的RGB+D圖像;E為圖像像素江}〇的鄰域?yàn)闉V波器 的權(quán)重系數(shù);『(肌η)為含噪聲的RGB+D圖像,》,/?分別為鄰域f中每一點(diǎn)的坐標(biāo)值。
6. 按權(quán)利要求5所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法,其特征在于:采 用典型高斯濾波器,即
其中,(ι·.)0為圖像每個(gè)像素點(diǎn)坐標(biāo),(m,n)為濾波器在像素點(diǎn)(ι·,"ν)采用鄰域s的集合, CT2為高斯函數(shù)的標(biāo)準(zhǔn)差。
7. 按權(quán)利要求4所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法,其特征在于:對(duì) 于去噪后的三維世界信息的全部信息進(jìn)行下一圖像的估計(jì)為: 采用極大似然估計(jì),即
其中為當(dāng)前RGB+D圖像;Ii為估計(jì)新RGB+D圖像;G為當(dāng)前圖像和估計(jì)圖像的李群 代數(shù)算子;P e為圖像元素,Ω〇ι3RGB十D 為位姿估計(jì)模型;Di為深度信息采集卡獲 取的深度信息;Vi為ο;的標(biāo)準(zhǔn)差;IHb為范數(shù),且定義
其中,5為參數(shù),S為變量,式中
8. 按權(quán)利要求4所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法,其特征在于:通 過(guò)以下公式進(jìn)行基于RGB+ D信息的三維重構(gòu):
其中,《⑷為三維重構(gòu)的最小單元;Ku)為能量函數(shù),且m滿足Ku)最??;jt〇[)為智能 移動(dòng)終端三維重構(gòu)的地平面估計(jì),這里采用簡(jiǎn)單的低通濾波器,即利用RGB+D信息的進(jìn)行 地平面估計(jì);〇1卩1為能量函數(shù)£(沁的估計(jì)參數(shù),物為《的梯度為RGB+D信息集合。 i it
9. 按權(quán)利要求4所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法,其特征在于:還 包括以下步驟: 若移動(dòng)終端的處理器的數(shù)據(jù)處理能力不足,則通過(guò)移動(dòng)網(wǎng)絡(luò)或者wifi將全部處理過(guò)程 上傳到網(wǎng)絡(luò)服務(wù)器或者個(gè)人PC機(jī)中處理,然后將處理后得到的數(shù)據(jù)再通過(guò)移動(dòng)網(wǎng)絡(luò)或者 wifi下載到移動(dòng)智能終端。
10.按權(quán)利要求4所述的基于智能移動(dòng)終端的實(shí)時(shí)增強(qiáng)虛擬現(xiàn)實(shí)方法,其特征在于:還 包括以下步驟: 若多個(gè)用戶使用移動(dòng)智能終端,則用戶利用聯(lián)網(wǎng)功能共享AR數(shù)據(jù),多個(gè)用戶在任何地 點(diǎn)、任何時(shí)間享受增強(qiáng)虛擬現(xiàn)實(shí)的應(yīng)用。
【文檔編號(hào)】G06F17/50GK104392045SQ201410688094
【公開(kāi)日】2015年3月4日 申請(qǐng)日期:2014年11月25日 優(yōu)先權(quán)日:2014年11月25日
【發(fā)明者】夏興華 申請(qǐng)人:沈陽(yáng)建筑大學(xué)
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1