使地基圖像和航拍圖像對準的制作方法
【技術(shù)領(lǐng)域】
[0001]本公開一般地涉及圖像處理，并且更具體地涉及使地基圖像(ground basedimages)和航拍圖像(aerial imagery)對準。
【背景技術(shù)】
[0002]地理區(qū)域的用戶產(chǎn)生的圖像通常從位于或接近地面水平的透視角(perspective)捕獲。這些地基圖像對于精化例如由地理信息系統(tǒng)提供的地理區(qū)域的表示可能是有價值的。例如，用戶產(chǎn)生的圖像可用于在地理信息系統(tǒng)中精化或產(chǎn)生各種地標、建筑物、對象、地形等的高分辨率三維模型。為了用戶產(chǎn)生的圖像是有用的，需要確定準確的相機參數(shù)，諸如圖像的姿勢和/或在圖像中描繪的對象的地理位置。如本文所使用的，圖像的姿勢是指捕獲圖像的像機相對于基準的位置與方向。
[0003]地理信息系統(tǒng)可以包括地理區(qū)域的航拍圖像的數(shù)據(jù)庫。航拍圖像可以從飛機捕獲并可以從各種規(guī)范視點(諸如，北、南、東和西規(guī)范視點)中的一個提供地理區(qū)域的斜視透視角。航拍圖像的數(shù)據(jù)庫可關(guān)聯(lián)于準確的姿勢信息。與航拍圖像相關(guān)聯(lián)的已知姿勢信息對于確定與基于地面的用戶產(chǎn)生的圖像相關(guān)聯(lián)的相機參數(shù)可以是有價值的參考。
[0004]用于確定關(guān)聯(lián)于圖像的相機參數(shù)的各種技術(shù)是已知的，諸如束調(diào)整技術(shù)。為了這些技術(shù)提供良好精度，特征需要在圖像集之間可靠地匹配。由于與地基圖像和航拍圖像相關(guān)聯(lián)的相機視點和成像條件的較大差異，難以可靠地識別地基圖像和航拍圖像之間的匹配特征。

【發(fā)明內(nèi)容】

[0005]本公開的實施例的方面和優(yōu)點將部分在以下描述中闡述，或可從描述中了解，或者可通過實踐實施例而了解。
[0006]本公開的一個示例方面涉及一種使地基圖像與航拍圖像對準的計算機實現(xiàn)的方法。該方法包括:由一個或多個計算設(shè)備獲取從位于或接近地面水平的透視角捕獲的地理區(qū)域的地基圖像。該方法進一步包括:由一個或多個計算設(shè)備識別該地理區(qū)域的候選航拍圖像；以及由一個或多個計算設(shè)備至少部分基于與該地基圖像相關(guān)聯(lián)的幾何數(shù)據(jù)將該地基圖像轉(zhuǎn)換成彎曲圖像，該彎曲圖像具有與該候選航拍圖像相關(guān)聯(lián)的投影。該方法進一步包括:由一個或多個計算設(shè)備識別在該彎曲圖像和該候選航拍圖像之間的一個或多個特征匹配；以及由一個或多個計算設(shè)備至少部分地基于所述一個或多個特征匹配使該地基圖像和該候選航拍圖像對準。
[0007]本公開的其它方面涉及用于使地基圖像和航拍圖像對準的系統(tǒng)、裝置、有形的非瞬時計算機可讀介質(zhì)、用戶接口和設(shè)備。
[0008]各種實施例的這些和其他特征、方面以及優(yōu)點參照以下描述和所附的權(quán)利要求將變得更好理解。附圖(其被并入并構(gòu)成本說明書的一部分)示出本公開的實施例，以及和描述一起用于解釋相關(guān)原理。
【附圖說明】
[0009]針對本領(lǐng)域普通技術(shù)人員的實施例的詳細討論在本說明書中闡述，其參考所附附圖，其中:
[0010]圖1描繪地理區(qū)域的示例地基圖像；
[0011]圖2描繪與地基圖像相關(guān)聯(lián)的不例點75Γ ;
[0012]圖3描繪用于描述地理區(qū)域的示例航拍圖像；
[0013]圖4描繪與航拍圖像相關(guān)聯(lián)的示例幾何數(shù)據(jù)；
[0014]圖5描繪根據(jù)本公開的示例實施例的用于使地基圖像和航拍圖像對準的示例方法的流程圖；
[0015]圖6描繪根據(jù)本公開的示例實施例的用于識別候選航拍圖像的示例方法的流程圖；
[0016]圖7描繪根據(jù)本公開的示例實施例識別的示例候選航拍圖像；
[0017]圖8描述根據(jù)本公開的示例實施例的用于歸一化(normalize)候選航拍圖像的示例方法的流程圖；
[0018]圖9描繪根據(jù)本公開的示例實施例的地基圖像到具有與航拍視圖相關(guān)聯(lián)的透視角的彎曲圖像的示例轉(zhuǎn)換；
[0019]圖10描繪根據(jù)本公開的示例實施例的在彎曲圖像和候選航拍圖像之間的示例特征匹配；
[0020]圖11描繪根據(jù)本公開的示例實施例的至少部分基于一個或多個匹配特征來使地基圖像和候選航拍圖像對準的示例方法的流程圖；
[0021]圖12描繪根據(jù)本公開的示例實施例的用于使候選航拍圖像和地基圖像對準的示例方法的流程圖；以及
[0022]圖13描繪根據(jù)本公開的示例實施例的示例計算系統(tǒng)。
【具體實施方式】
[0023]現(xiàn)在將詳細參考實施例，一個或多個其示例示于附圖中。每個實施例是通過解釋實施例的方式來提供，而非限制本發(fā)明。事實上，對本領(lǐng)域技術(shù)人員顯而易見的是:可對所述實施例進行各種修改和變化，而不脫離本公開的范圍或精神。例如，示出為或描述為一個實施例的一部分的特征可以與另一個實施例一起使用，以產(chǎn)生又一個實施例。因此，可以預(yù)期本發(fā)明的各方面覆蓋這樣的修改和變化。
[0024]概述
[0025]一般而言，本公開的示例方面涉及使從位于或接近地面水平的透視角獲取的地理區(qū)域的地基圖像和從例如傾斜透視角獲取的航拍圖像集合對準。更具體地，可能希望使用與航拍圖像相關(guān)聯(lián)的已知相機參數(shù)信息來確定用于地基圖像的相機參數(shù)信息，諸如相機姿勢。特征需要在地基圖像和航拍圖像之間可靠地匹配，以基于和航拍圖像相關(guān)聯(lián)的相機參數(shù)來準確識別用于地基圖像的相機參數(shù)。給定與地基圖像和航拍圖像相關(guān)聯(lián)的相機透視角和成像條件的較大差異，地基圖像和航拍圖像之間的匹配特征可以是困難的。
[0026]根據(jù)本公開的示例方面，與第一透視角相關(guān)聯(lián)的圖像以及與第二透視角相關(guān)聯(lián)的圖像被對準，使得可以識別和圖像相關(guān)聯(lián)的一個或多個相機參數(shù)和/或其他特性。例如，可使地理區(qū)域的地基圖像和航拍圖像對準。本公開的示例方面參照使地基圖像和航拍圖像對準進行討論。從其他透視角捕獲的圖像也可以被對準，而不偏離本公開的范圍。
[0027]在一個具體示例中，可識別候選航拍圖像以用于與地基圖像對準。候選航拍圖像可以例如使用自動裁剪過程進行識別，所述自動裁剪過程至少部分地基于與地基圖像相關(guān)聯(lián)的地理位置來裁剪航拍圖像。
[0028]一旦候選航拍圖像已被識別，與地基圖像相關(guān)聯(lián)的幾何數(shù)據(jù)可以被獲取，并用來將地基圖像彎曲到與候選航拍圖像相關(guān)聯(lián)的透視角。例如，從用戶生成的圖像和其他地基圖像生成的點云可用于構(gòu)造用戶產(chǎn)生的圖像的深度圖。深度圖可用來將地基圖像重新投影到與航拍視圖相關(guān)聯(lián)的投影。
[0029]彎曲圖像和候選航拍圖像之間的一個或多個特征匹配然后可以使用特征匹配技術(shù)進行識別。在一個實施例中，候選航拍圖像可以被歸一化，以促進彎曲圖像和候選航拍圖像之間的特征匹配。該歸一化可以解決航拍圖像的視覺屬性，諸如陰影朝北的面。
[0030]匹配特征可用于使地基圖像和候選航拍圖像對準。例如，在一個實施例中，所述匹配特征可用于估計地基圖像的相似性轉(zhuǎn)換。該相似性轉(zhuǎn)換可轉(zhuǎn)換與地基圖像相關(guān)聯(lián)的幾何數(shù)據(jù)(例如，至少部分地基于地基圖像確定的點云)，以與和候選航拍圖像相關(guān)聯(lián)的幾何數(shù)據(jù)(例如，從航拍圖像生成的多邊形網(wǎng)格)對準。在其他實施例中，一個或多個相機參數(shù)(例如，姿勢)可使用匹配特征進行確定和/或精化。例如，束調(diào)整算法可用于使用和候選航拍圖像的特征匹配來精化地基圖像的姿態(tài)并地理參考在地基圖像中描繪的特征。
[0031]作為一個示例，用戶可以從位于或接近地面水平的透視角捕獲地標的圖像。具有已知姿勢信息并描繪地標的候選航拍圖像可以被識別。與用戶生成的圖像相關(guān)聯(lián)的幾何數(shù)據(jù)可被獲取，并用于將用戶生成的圖像彎曲到與地標的候選航拍圖像相關(guān)聯(lián)的投影。與地標相關(guān)聯(lián)的特征可在彎曲圖像和候選航拍圖像之間匹配。可以從與用戶生成的圖像相關(guān)聯(lián)的幾何數(shù)據(jù)和從與候選航拍圖像相關(guān)聯(lián)的幾何數(shù)據(jù)確定在匹配特征之間的三維點至點對應(yīng)關(guān)系?？梢酝ㄟ^定位、縮放和旋轉(zhuǎn)與用戶生成的圖像相關(guān)聯(lián)的幾何數(shù)據(jù)來轉(zhuǎn)換與用戶生成的圖像相關(guān)聯(lián)的幾何數(shù)據(jù)，以與和候選航拍圖像相關(guān)聯(lián)的幾何數(shù)據(jù)更對準。用戶生成的圖像的精化相機姿勢/或地理位置信息也可以基于匹配特征進行確定。相機姿勢和/或地理位置信息可用于例如至少部分地基于用戶生成的圖像來產(chǎn)生或增強地標的三維模型。
[0032]將參考使地基圖像和候選航拍圖像對準來討論本公開的示例