一種基于點云約減的相機(jī)定位系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于移動增強(qiáng)現(xiàn)實領(lǐng)域，尤其涉及一種基于點云約減的相機(jī)定位系統(tǒng)及方 法。
【背景技術(shù)】
[0002] 近年來出現(xiàn)的城市規(guī)模的三維重建工作為大規(guī)模場景中的相機(jī)定位提供了數(shù)據(jù) 基礎(chǔ)。而利用場景的三維結(jié)構(gòu)進(jìn)行定位，即得到相機(jī)相對于重建得到的場景三維結(jié)構(gòu)的準(zhǔn) 確的姿態(tài)信息，是進(jìn)行大規(guī)模增強(qiáng)現(xiàn)實應(yīng)用的核心步驟，這里的姿態(tài)信息指相機(jī)相對于場 景的旋轉(zhuǎn)矩陣和平移向量。因此解決大規(guī)模點云中的定位問題將極大擴(kuò)展移動增強(qiáng)現(xiàn)實的 適用范圍。移動增強(qiáng)現(xiàn)實目前已廣泛應(yīng)用于醫(yī)學(xué)、教育、制造、娛樂以及軍事等領(lǐng)域，例如在 軍事領(lǐng)域，在真實世界中加入虛擬的戰(zhàn)場訓(xùn)練信息可以進(jìn)行更靈活的軍事演習(xí)及作戰(zhàn)計劃 的制定。
[0003] 通常移動增強(qiáng)現(xiàn)實的方法在進(jìn)行相機(jī)定位時需要建立圖像中提取的特征點及描 述子與數(shù)據(jù)庫中三維空間點的描述子的匹配對應(yīng)關(guān)系，而在大規(guī)模場景下建立對應(yīng)時，需 將圖像中的特征點與城市級別場景數(shù)據(jù)庫中的空間點進(jìn)行匹配。這種規(guī)模的匹配不僅計算 時間長，而且容易造成誤匹配。因此大規(guī)模的定位數(shù)據(jù)也同時給移動增強(qiáng)現(xiàn)實系統(tǒng)帶來了 定位效率、準(zhǔn)確率下降以及存儲壓力等問題。為此，Arth等人提出了基于空間點可見性的 點云處理方法，并進(jìn)一步使用了慣性傳感器作為先驗信息以細(xì)化待匹配的空間點云。Sven 等人為了解決移動增強(qiáng)現(xiàn)實系統(tǒng)的擴(kuò)展性問題，采用了移動端局部定位結(jié)合服務(wù)器端全局 定位的結(jié)構(gòu)。這些方法雖然在各自應(yīng)用場合中發(fā)揮了積極的作用，但要么不具有普適性，要 么需要有服務(wù)器的存在。因此如何克服大規(guī)模數(shù)據(jù)帶來的定位效率和精度問題是移動增強(qiáng) 現(xiàn)實系統(tǒng)走向?qū)嵱玫年P(guān)鍵。
[0004] 點云約減的方法主要有基于二部圖k覆蓋的方法和基于整數(shù)規(guī)劃的方法兩類。在 k覆蓋方法中，Li等人首先利用二部圖G對相機(jī)和空間點之間的關(guān)系進(jìn)行表示。在圖G中， P1表示空間點，C i表示相機(jī)或圖像，P占 C i之間的無向邊e U表示空間點P i在圖像C i下有 匹配?；趫DG，Li等人將點云約減問題描述成G中空間AP1的選擇問題，并將求解目標(biāo) 定義成：在每個相機(jī)下至少能有k個空間點與之關(guān)聯(lián)的條件下，最小化所選空間點的數(shù)量， 也即是二部圖G的k覆蓋問題。k覆蓋的求解是NP-Complete的，因此Li等人采用了貪心 的方法進(jìn)行求解。首先，Li等對空間點P1覆蓋的增益G κε進(jìn)行了定義：
[0006] 其中，I是所有用于重建的圖像集合，C表示已經(jīng)由點云集合P'覆蓋至少k個空 間點的圖像集合，Mu表示點j在圖像i下的可見性。Li等人從空集開始，增量地加入新的 空間點P/吏每次新加入的空間點都使當(dāng)前的目標(biāo)增益最大化，最后通過一個迭代過程，每 次將最大化增益GKe的空間點選擇進(jìn)入模型集合，直到新加入的空間點不再使增益增加為 止。通常，k覆蓋方法保證通過貪心法選擇的空間點能夠盡量多地覆蓋到數(shù)據(jù)庫中的圖像。 但是k覆蓋方法在選擇空間點時是嚴(yán)格的組合方法，因此Cao等人提出了概率的k覆蓋方 法，概率的k覆蓋方法與k覆蓋方法的過程類似，也是使用貪心算法增量地創(chuàng)建緊致的空間 點集合，但是使用了概率框架的增益函數(shù)：選擇一個點的子集，以使定位一張新的圖像時的 概率最大化的同時最小化選擇的空間點數(shù)量。
[0007] 在基于k覆蓋進(jìn)行點云約減的算法中，由于使用了采用貪心策略進(jìn)行求解，所以 最終得到的點云結(jié)果主要受貪心策略設(shè)計的影響。貪心方法的求解通常是次優(yōu)解，并且即 使是對于目標(biāo)函數(shù)很小的修改也需要重新設(shè)計貪心方法的求解過程。
[0008] 為了解決這些問題，Park等人提出了基于整數(shù)規(guī)劃的約減方法。在該方法中，點 云的選擇使用一個0-1向量X表.示，設(shè)Qi是選擇空間點P i的代價，則q 1X是選擇該子集 的代價。為了能夠選擇出在空間中分布比較均勻的點集，Park等人在優(yōu)化目標(biāo)中還引入了 二次項，用于描述兩個空間點同時被選中的代價。
[0009] 雖然Park等人將點云約減問題描述成規(guī)劃問題，并采用分支定界的方法可以求 得理論上的最優(yōu)解。但在目標(biāo)函數(shù)中加入了二次項后極大地增加了問題求解的復(fù)雜程度， 因此帶有二次項的目標(biāo)函數(shù)不適宜求解三維點數(shù)量很多的應(yīng)用。在目標(biāo)函數(shù)中僅使用一次 項的情況下，問題求解的復(fù)雜程度較低，因此求解速度也較快，但此時許多空間點的選擇代 價相同，從而增加了選擇得到更有利于定位的三維空間點的難度，進(jìn)一步降低了求解的質(zhì) 量。

【發(fā)明內(nèi)容】

[0010](一）要解決的技術(shù)問題
[0011] 本發(fā)明的目的在于，提供一種基于點云約減的相機(jī)定位系統(tǒng)及方法，提高了相機(jī) 定位效率和精度。
[0012] (二）技術(shù)方案
[0013] 本發(fā)明提供一種基于點云約減的相機(jī)定位系統(tǒng)，包括：
[0014] 離線重建單元，用于對相機(jī)拍攝的多幅圖像進(jìn)行重建，得到空間三維點云，對空間 三維點云進(jìn)行約減，得到更適宜定位的空間三維點云，其中，空間三維點云包括多個空間點 及其對應(yīng)的特征描述子；
[0015] 在線跟蹤定位單元，用于根據(jù)約減后的點云對相機(jī)進(jìn)行定位。
[0016] 本發(fā)明還提供一種基于點云約減的相機(jī)定位方法，包括：
[0017] S1，對相機(jī)拍攝的多幅圖像進(jìn)行重建，得到空間三維點云，對空間三維點云進(jìn)行約 減，得到更適宜定位的空間三維點云，其中，空間三維點云包括多個空間點及其對應(yīng)的特征 描述子；
[0018] S2，根據(jù)約減后的點云對相機(jī)進(jìn)行定位。
[0019] (三）有益效果
[0020] 本發(fā)明將點云約減方法用于離線重建階段，不僅減少了點云的存儲量，還縮小了 2D-3D匹配的計算量，在點云約減中考慮了空間點幾何特性，從而使得到的空間三維點更有 利于相機(jī)的定位，提尚了相機(jī)定位效率和精度。
【附圖說明】
[0021] 圖1是本發(fā)明實施例提供的基于點云約減的相機(jī)定位系統(tǒng)的結(jié)構(gòu)示意圖。
[0022] 圖2是本發(fā)明實施例提供的基于點云約減的相機(jī)定位方法的流程圖。
【具體實施方式】
[0023] 本發(fā)明提供一種基于點云約減的相機(jī)定位系統(tǒng)，包括離線重建單元及在線跟蹤定 位單元，其中，離線重建單元對相機(jī)拍攝的多幅圖像進(jìn)行重建，得到空間三維點云，并對空 間三維點云進(jìn)行約減，得到約減后的空間三維點云；在線跟蹤定位單元根據(jù)約減后的點云 對相機(jī)進(jìn)行定位。
[0024] 根據(jù)本發(fā)明的一種實施方式，通過求解優(yōu)化問題，對空間三維點云進(jìn)行約減，優(yōu)化 問題如下：
[0027] 其中，X表示一個nX 1的二值向量，η和N均表示空間三維點云中空間點的數(shù)量， ζ+表示正整數(shù)，M表示相機(jī)拍攝的圖像數(shù)量；
[0028] q為空間點選擇代價，它是一個nX 1的向量；
[0029] t為全為1的ηχ1向量；
[0030] A是一個表示圖像和空間點之間關(guān)系的mXn的可見性矩陣，m為圖像數(shù)量；
[0031] 約束條件為已知的圖像與削減后的點云集合之間的對應(yīng)匹配滿足一定的閾值b， 即
b為常量；
[0032] c為定位所需最少點數(shù)；
[0033] ε和λ為松弛變量，其中，λ用于控制約束條件的嚴(yán)格程度，當(dāng)λ趨向于無窮 時，ε的取值趨向〇,此時約束嚴(yán)格，當(dāng)λ趨向于〇時，ε取較大的值，約束變得松弛。從約 束：
可以看出，在松弛變量λ比較小而點特別多的時候，只要ε取足夠大， 所有約束即可滿足。因此在分支定界算法達(dá)到終止條件時，某些圖像上可能完全沒有空間 點對應(yīng)，如此選擇的空間點分布不夠均勻，減小了那些沒有點對應(yīng)的圖像拍攝視角下的圖 像定位率。但