專(zhuān)利名稱(chēng)：基于圖像的定位的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及導(dǎo)航領(lǐng)域。
背景技術(shù)：
本原始美國(guó)專(zhuān)利申請(qǐng)第12/313，560號(hào)(在下文中稱(chēng)為“Scherzinger”)是針對(duì)用于獲得精確測(cè)量級(jí)定位數(shù)據(jù)的系統(tǒng)和方法。
發(fā)明概要提供本概要來(lái)介紹在下文詳細(xì)描述中進(jìn)一步描述的概念精選。本概要并非旨在識(shí)別所主張的主題的關(guān)鍵或基本特征，也并非旨在用作幫助確定所主張的主題的范圍。提供一種克服現(xiàn)有技術(shù)中的限制的基于圖像的定位方法。附圖簡(jiǎn)述整合于本說(shuō)明書(shū)中，并形成本說(shuō)明書(shū)的一部分的附示了本技術(shù)的實(shí)施方案，并與描述一起用于解釋原理，如下:

圖1示出“Scherzinger”中公開(kāi)的GIE測(cè)量?jī)x器。圖2圖示了本技術(shù)的基于圖像的定位設(shè)備，其包括被配置來(lái)捕獲包括至少一個(gè)對(duì)象的至少一個(gè)圖像的圖像捕獲裝置，基于特征的過(guò)程和定位確定過(guò)程。圖3描繪了通過(guò)使用基于地理參考圖像的過(guò)程實(shí)施的本技術(shù)的圖2的基于特征的過(guò)程。圖4圖示攝影測(cè)量方法，以從2點(diǎn)之間的已知距離(比例因數(shù))，和至對(duì)向角的像素轉(zhuǎn)換而找到至相機(jī)的距離。圖5圖示了描述通過(guò)使用圖3的地理參考對(duì)象圖像數(shù)據(jù)庫(kù)和圖像處理引擎而實(shí)施圖2的基于特征的過(guò)程的步驟的流程圖。圖6示出出于本技術(shù)的目的而用于基于地理參考圖像的定位的裝置，其包括安裝在桿上的GPS接收器，其中相機(jī)安裝在相同桿上，其光學(xué)中心與桿軸對(duì)準(zhǔn)，以及GIS/測(cè)量數(shù)據(jù)收集器。圖7圖示出于本技術(shù)的目的而被配置來(lái)啟用圖3的圖像處理引擎的計(jì)算機(jī)系統(tǒng)。圖8示出出于本技術(shù)的目的的基于圖像的定位設(shè)備，其包括雙重特征追蹤過(guò)程。圖9圖示出于本技術(shù)的目的的基于圖像的定位設(shè)備，其包括特征和表面追蹤過(guò)程。
具體實(shí)施例方式現(xiàn)在對(duì)本技術(shù)的實(shí)施方案進(jìn)行詳細(xì)參考，其實(shí)施例圖示于附圖中。雖然本技術(shù)將結(jié)合各種實(shí)施方案描述，但是應(yīng)理解，其并非旨在將本技術(shù)限制于這些實(shí)施方案。相反，本技術(shù)旨在覆蓋可包括在如由隨附權(quán)利要求所定義的各種實(shí)施方案的精神和范圍內(nèi)的替代、修改和等效物。此外，在下文詳細(xì)的描述中，闡述許多特定細(xì)節(jié)以提供對(duì)所呈現(xiàn)的實(shí)施方案的徹底理解。然而，所屬領(lǐng)域一般技術(shù)人員顯然了解，可在沒(méi)有這些特定細(xì)節(jié)的情況下實(shí)踐所呈現(xiàn)的實(shí)施方案。在其它情況中，沒(méi)有詳細(xì)描述熟知的方法、程序、組件和電路，以便不會(huì)不必要地模糊所呈現(xiàn)的實(shí)施方案的方面。1.“Scherzinger”圖1示出“Scherzinger”中公開(kāi)的GIE測(cè)量?jī)x器10。I1.單個(gè)對(duì)象追蹤過(guò)程。在本技術(shù)的一個(gè)實(shí)施方案中，圖2圖示基于圖像的定位設(shè)備30，其包括被配置來(lái)捕獲包括至少一個(gè)對(duì)象的至少一個(gè)圖像的圖像捕獲裝置34 ;定位確定過(guò)程38，和基于特征的過(guò)程36，其被配置來(lái)處理至少一個(gè)圖像以追蹤至少一個(gè)捕獲對(duì)象的位置。在本技術(shù)的一個(gè)實(shí)施方案中，對(duì)象可含有一個(gè)或多個(gè)特征；特征本質(zhì)上是可通過(guò)算法檢測(cè)的圖像的一部分。其可以是點(diǎn)，或區(qū)域，或輪廓，或紋理的抽象區(qū)，或任何其它特征。在本文中討論的許多算法中，也具有特征可跨圖像識(shí)別的假設(shè)(找到對(duì)應(yīng))，但這不是特征的定義的一部分。對(duì)應(yīng)尋找是對(duì)特征執(zhí)行的操作，而不是其特性。在本技術(shù)的一個(gè)實(shí)施方案中，圖像捕獲裝置34可來(lái)自由以下項(xiàng)組成的組:數(shù)碼相機(jī)；數(shù)碼攝像機(jī)；數(shù)碼攝錄機(jī)；立體數(shù)碼相機(jī)；立體攝像機(jī)；電影攝像機(jī)；深度相機(jī)和電視攝像機(jī)或類(lèi)似物。仍然參考圖2，在本技術(shù)的一個(gè)實(shí)施方案中，基于圖像的定位設(shè)備30還包括平臺(tái)32。在本技術(shù)的一個(gè)實(shí)施方案中，平臺(tái)32還包括移動(dòng)站。在本技術(shù)的一個(gè)實(shí)施方案中，平臺(tái)32還包括移動(dòng)站RTK系統(tǒng)。在本技術(shù)的一個(gè)實(shí)施方案中，平臺(tái)32還包括GIS/地圖創(chuàng)建手持設(shè)備。仍然參考圖2，在本技術(shù)的一個(gè)實(shí)施方案中，由GNSS定位過(guò)程38確定圖像捕獲裝置34 (或平臺(tái)32)的參考定位的坐標(biāo)。全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)過(guò)程可選自由以下項(xiàng)組成的組:GPS過(guò)程；GL0NASS過(guò)程；組合的GPS/GL0NASS過(guò)程；GALILE0過(guò)程和COMPASS (北斗導(dǎo)航系統(tǒng))過(guò)程，基于陸地的偽衛(wèi)星過(guò)程或類(lèi)似過(guò)程。全球定位系統(tǒng)(GPS)是發(fā)射信息的衛(wèi)星信號(hào)發(fā)射器系統(tǒng)，可從所述信息中確定觀測(cè)者的當(dāng)前位置和/或觀測(cè)時(shí)間。GPS由美國(guó)國(guó)防部(DOD)在其N(xiāo)AVSTAR衛(wèi)星計(jì)劃項(xiàng)目下開(kāi)發(fā)。仍然參考圖2，在本技術(shù)的一個(gè)實(shí)施方案中，作為GNSS過(guò)程的替代，或如果衛(wèi)星信號(hào)無(wú)法獲得或不完整，那么通過(guò)選自由以下項(xiàng)組成的組的基于特征的過(guò)程而確定圖像捕獲裝置34 (或平臺(tái)32)的參考定位坐標(biāo):慣性航位推算；同時(shí)定位與地圖創(chuàng)建(SLAM)過(guò)程；匹配移動(dòng)過(guò)程或類(lèi)似的圖像處理算法；和攝影測(cè)量過(guò)程。在本技術(shù)的一個(gè)實(shí)施方案中，由同時(shí)定位與地圖創(chuàng)建(SLAM)過(guò)程實(shí)施基于特征的過(guò)程36。同時(shí)定位與地圖創(chuàng)建(SLAM)過(guò)程使用來(lái)自一個(gè)或多個(gè)攝像機(jī)的圖像序列以識(shí)別固定特征，并且接著建立這些固定特征的地圖?？蓱?yīng)用兩種圖像處理技術(shù)。同時(shí)定位與地圖創(chuàng)建(SLAM)方法中應(yīng)用的第一種圖像處理技術(shù)是圖像分割和特征提取。SLAM使用這來(lái)識(shí)別已知是靜止的特定對(duì)象，以及因此在三維(3D)空間中的有效參考點(diǎn)。典型選擇是具有合理精確定義的特性的對(duì)象，通常是戶外環(huán)境中的角落或室內(nèi)環(huán)境中的各種壁裝器具(燈、開(kāi)關(guān)、窗臺(tái)或角落)?？山又谲浖刑幚磉@些特性以在算法內(nèi)產(chǎn)生特征。同時(shí)定位與地圖創(chuàng)建(SLAM)方法中應(yīng)用的第二種圖像處理技術(shù)是用于提取深度以及因此范圍至對(duì)象信息的立體成像方法。SLAM在從不同機(jī)器人位置使特征成像時(shí)在三維(3D)坐標(biāo)網(wǎng)格中建立特征的地圖，并且從而在所述網(wǎng)格中確定其自身的定位。在估計(jì)所有變量的卡爾曼(Kalman)濾波器中實(shí)施地圖創(chuàng)建和自定位過(guò)程。在這個(gè)情況中，通過(guò)使用從多個(gè)重疊的二維(2D)圖像立體成像而完成范圍提取。在本技術(shù)的一個(gè)實(shí)施方案中，同時(shí)定位與地圖創(chuàng)建(SLAM)方法利用攝像機(jī)。在本技術(shù)的一個(gè)實(shí)施方案中，同時(shí)定位與地圖創(chuàng)建(SLAM)方法利用電荷耦合裝置(CCD)0 CCD是電荷通常從裝置內(nèi)至可操縱電荷(例如，轉(zhuǎn)換成數(shù)字值)的區(qū)的移動(dòng)的裝置。這通過(guò)在裝置內(nèi)的級(jí)之間一次“移位”一個(gè)信號(hào)而實(shí)現(xiàn)。技術(shù)上，CCD實(shí)施為在裝置中的電容箱之間移動(dòng)電荷的移位寄存器，其中所述移位允許在箱之間的電荷傳遞。通常CCD與圖像傳感器(諸如光電裝置)整合以產(chǎn)生正被讀取的電荷，因此使CCD成為數(shù)字成像的主要技術(shù)。在本技術(shù)的一個(gè)實(shí)施方案中，同時(shí)定位與地圖創(chuàng)建(SLAM)方法利用具有CMOS傳感器的攝像機(jī)。在本技術(shù)的一個(gè)實(shí)施方案中，同時(shí)定位與地圖創(chuàng)建(SLAM)方法利用窄視場(chǎng)(FOV)0對(duì)于給定的傳感器大小，這將提供可見(jiàn)世界的更小總面積的更高分辨率視圖，并且將容許更小的對(duì)象的檢測(cè)。寬FOV允許相機(jī)捕獲更大對(duì)象，或?qū)ο笤诟罂臻g域內(nèi)傳播，但對(duì)于給定傳感器將不會(huì)給出相同分辨率。儀器將包括SLAM處理算法，其以固定幀速率或以由儀器動(dòng)態(tài)所規(guī)定的可變幀速率接收?qǐng)D像，且接著都在適于所述應(yīng)用的坐標(biāo)系中輸出其已識(shí)別的特征的定位和儀器定位。相對(duì)于儀器初始方位的笛卡爾坐標(biāo)，從定義的原點(diǎn)、緯度-經(jīng)度-海拔和地心地固絕對(duì)測(cè)量的笛卡爾坐標(biāo)；相對(duì)于儀器初始方位的球面坐標(biāo)。為進(jìn)一步參考，請(qǐng)參見(jiàn):(i) ThomasLemaire, Cyrille Berger, Il-KyunJung 和 Simon Lacroix, “Vision-BasedSLAM:Stereo and Monocular Approaches，，，International J ournal ofComputer Vision 74(3)，第 343 至 364 頁(yè)，2007 年；和(ii) Moritz Kohler, Shwetak N.Patel, Jay ff.Smrnnet, Erich P.Stuntebeck 和 GregoryD.Abowd, Institute for Pervasive Computing, Department of ComputerScience ETH Zurich, 8092Zurich, Switzerland, “TrackSense:1nfrastructure Free Precise IndoorPositioning Using Projected Patterns，，。在本技術(shù)的一個(gè)實(shí)施方案中，通過(guò)使用匹配移動(dòng)過(guò)程而實(shí)施基于特征的過(guò)程36。所述匹配移動(dòng)過(guò)程包括若干個(gè)步驟。第一步驟是識(shí)別并追蹤對(duì)象。在本技術(shù)的一個(gè)實(shí)施方案中，特征追蹤過(guò)程由兩個(gè)步驟組成。第一步驟是從圖像特征中導(dǎo)出定位和方位參考。這個(gè)步驟通常稱(chēng)為“特征檢測(cè)”。第二步驟涉及三維(3D)運(yùn)動(dòng)求解。這個(gè)過(guò)程嘗試通過(guò)對(duì)圖像特征中檢測(cè)到的從2D圖像平面至圖像捕獲裝置34的3D運(yùn)動(dòng)的估計(jì)的變換的反投影進(jìn)行求解而導(dǎo)出(圖2的)圖像捕獲裝置34的運(yùn)動(dòng)。更明確而言，何時(shí)在二維(2D)坐標(biāo)系中拍攝到三維對(duì)象的表面上的一點(diǎn)的定位可通過(guò)三維(3D)投影函數(shù)來(lái)計(jì)算。
可以介紹抽象相機(jī)的概念。這種抽象相機(jī)在定義上是持有在真實(shí)或虛擬世界中對(duì)圖像捕獲裝置34建模所必需的所有參數(shù)的抽象化。因此，抽象相機(jī)基本上是相機(jī)矢量，其包括作為其元素的圖像捕獲裝置34的定位，其方位、焦距和定義圖像捕獲裝置34如何將光聚焦于膠片平面上的其它可能參數(shù)。只要具有兼容的投影函數(shù)P，這個(gè)相機(jī)矢量究竟如何構(gòu)造并不重要。投影函數(shù)P采用相機(jī)矢量(指示為相機(jī))和另一矢量(空間中三維(3D)點(diǎn)的定位)(指示為xyz)作為其輸入，并返回已投影于相機(jī)前的平面上的二維(2D)點(diǎn)(指示為XY)。表達(dá)為如下:XY=P (相機(jī)，xyz).(方程式 I)例如，在特征投影的情況中，相機(jī)在幀i和j上取決于相機(jī)參數(shù)而將視圖投影至平面上。以這種方式，二維(2D)空間中追蹤的特征對(duì)應(yīng)于三維(3D)空間中的真實(shí)特征。然而，投影函數(shù)變換真實(shí)3D的特征，并減少其含有的信息量。在不知道組件的全部信息內(nèi)容的情況下，反投影函數(shù)P’可能只返回可能的3D點(diǎn)集，其形成從相機(jī)中心放射并經(jīng)過(guò)所投影的2D點(diǎn)的線。類(lèi)似的模糊性出現(xiàn)在包含在投影特征中的任何方位信息的解譯上。反投影表達(dá)為:xyz G P，(相機(jī)，XY).(方程式 2)或{xyz:P(相機(jī)，xyz)=XY}.(方程式 3)在本技術(shù)的一個(gè)實(shí)施方案中，如果特征在剛性對(duì)象表面上，諸如建筑物，那么真實(shí)點(diǎn)xyz將在真實(shí)空間中從圖像的一幀至下一幀保持在相同位置:(xyz) i = (xyz) j ；(方程式 4)其中下標(biāo)i和j指正在被分析的拍攝中的任意幀。由此可知:P，UWZlpXYi) H P，(相機(jī) ^ XYj)關(guān){} (方程式 5)因?yàn)橐褜?duì)特征通過(guò)追蹤程序追蹤的所有幀確定了 XYi的值，所以只要P’ (相機(jī)i，XYi) H P’(相機(jī)j，XYj)是在i和j上解出方程式的可能相機(jī)矢量的較小集合，就可以解出任何兩個(gè)幀之間的反投影函數(shù)(指示為CijXCij=G 相機(jī) i，相機(jī) J:P’ (相機(jī) i，XYi) n P，(相機(jī) p XYj) ^ {});(方程式 6)由(方程式6)可知，具有相機(jī)矢量對(duì)Cij的集合，其兩個(gè)點(diǎn)XYi和XYj的反投影的交集是以靜止點(diǎn)xyz為中心的非空集合。由(方程式6)還可知，對(duì)于圖像捕獲裝置34在空間中的任何定位，具有將以完整相同方式拍攝單點(diǎn)特征的對(duì)應(yīng)參數(shù)(方位、焦距，等等)集。然而，因?yàn)橄鄼C(jī)矢量對(duì)Cu的集合具有無(wú)窮數(shù)量的元素，所以單點(diǎn)特征不足以確定圖像捕獲裝置34的實(shí)際定位。
`
附加點(diǎn)特征或附加方位信息形式的追蹤信息越多，可越精確地確定圖像捕獲裝置34的實(shí)際定位。對(duì)于點(diǎn)集{(xyz)。。,…，(Xyz)i,J 和{(xyz)j，Q,…，(xyz)j，J,其中 i 和 j仍然指中貞，且n是正在被跟蹤的許多追蹤特征的一個(gè)的指標(biāo)，可導(dǎo)出相機(jī)矢量對(duì)集合的一個(gè)集合ICi,使用這種多重追蹤法將減少相機(jī)的可能參數(shù)數(shù)量。合適的可能相機(jī)參數(shù)的集合F是所有集合的交集:
F=Ci^rVHnCun(方程式 7)這個(gè)集合F中的元素?cái)?shù)量越少，越可得以提取圖像捕獲裝置34的實(shí)際參數(shù)。由于引入追蹤過(guò)程的誤差，需要統(tǒng)計(jì)法以確定每個(gè)幀的相機(jī)矢量。可利用最優(yōu)化算法和光束法區(qū)域網(wǎng)平差(bundle block adjustment)以縮小對(duì)相機(jī)運(yùn)動(dòng)的可能解的范圍。三維匹配移動(dòng)工具使得可從二維攝影推斷三維信息。能夠3D匹配移動(dòng)的程序包括但不限于:Voodoo (免費(fèi)軟件；Scenespector VooCAT);Icarus (曼徹斯特大學(xué))；Maya Live;The Pixel Farm PFTrack;PFHoe (基于 PFTrack 算法);REAL VIZ MatchMover;Science.D.V isions 3DEqualizer (其獲得奧斯卡技術(shù)成就獎(jiǎng))；Andersson Technologies SynthEyes;和Boujou (其在2002年獲得艾美獎(jiǎng))在本技術(shù)的一個(gè)實(shí)施方案中，通過(guò)使用攝影測(cè)量過(guò)程而實(shí)施基于特征的過(guò)程36。攝影測(cè)量是從攝影圖像確定對(duì)象的幾何屬性的實(shí)踐。在最簡(jiǎn)單的實(shí)施例中，如果已知圖像的比例S，那么位于平行于攝影圖像平面的平面上的兩點(diǎn)之間的距離可通過(guò)測(cè)量其在圖像上的距離而確定。這通過(guò)將所測(cè)量的距離乘以1/s而完成?！N稱(chēng)為立體攝影測(cè)量的更復(fù)雜的技術(shù)涉及估計(jì)對(duì)象上的點(diǎn)的三維坐標(biāo)。其通過(guò)在從不同定位拍攝的兩個(gè)或多個(gè)攝影圖像中進(jìn)行的測(cè)量來(lái)確定(參見(jiàn)立體學(xué))。在每個(gè)圖像上識(shí)別公共點(diǎn)?？蓮南鄼C(jī)位置至對(duì)象上的所述點(diǎn)構(gòu)造視線(或光線)。正是這些光線的交點(diǎn)(三角測(cè)量)確定了所述點(diǎn)的三維位置。更復(fù)雜的算法可利用事先已知的關(guān)于場(chǎng)景的其它信息，例如對(duì)稱(chēng)性，在 一些情況中允許僅從一個(gè)相機(jī)定位重構(gòu)3D坐標(biāo)。攝影測(cè)量的算法通常將問(wèn)題表達(dá)成使誤差集合的平方和最小化。這種最小化被稱(chēng)作光束法平差，并且通常使用Levenberg-Marquardt算法(LMA)而執(zhí)行,其對(duì)在函數(shù)參數(shù)空間內(nèi)最小化函數(shù)(一般是非線性的)的問(wèn)題提供數(shù)值解。這些最小化問(wèn)題尤其出現(xiàn)在最小二乘曲線擬合和非線性規(guī)劃中。Levenberg-Marquardt算法(LMA)在高斯_牛頓算法(GNA)與梯度下降方法之間內(nèi)插。Levenberg-Marquardt算法(LMA)比高斯_牛頓算法(GNA)更可靠,這意味著在許多情況中，即使其開(kāi)始時(shí)離最終最小值很遠(yuǎn)，其還是能找到解。3D坐標(biāo)定義了 3D空間中對(duì)象點(diǎn)的位置。圖像坐標(biāo)定義膠片或電子成像裝置上的對(duì)象點(diǎn)圖像的位置。相機(jī)的外部方位定義其在空間中的位置和其觀看方向。內(nèi)部方位定義成像過(guò)程的幾何參數(shù)。這主要是鏡頭的焦距，但也可以包括鏡頭失真的描述。更多的附加觀測(cè)起到重要作用:使用比例尺，基本上空間中兩點(diǎn)的已知距離或已知固定點(diǎn)，建立與基本測(cè)量單位的聯(lián)系。攝影測(cè)量數(shù)據(jù)與來(lái)自掃描儀的密集范圍數(shù)據(jù)彼此互補(bǔ)。攝影測(cè)量在接近平行于圖像平面的維度中更準(zhǔn)確，而范圍數(shù)據(jù)一般在垂直于圖像平面的維度中更準(zhǔn)確。這個(gè)范圍數(shù)據(jù)可由像激光雷達(dá)(LiDAR)、激光掃描儀(使用飛行時(shí)間、三角測(cè)量或干涉測(cè)量)、白光數(shù)字化儀的技術(shù)和掃描一個(gè)區(qū)并返回多個(gè)離散點(diǎn)(通常稱(chēng)為“點(diǎn)云”)的x，y, z坐標(biāo)的任何其它技術(shù)提供。可通過(guò)在相同參考系中地理參考照片和激光雷達(dá)數(shù)據(jù)來(lái)建立3D可視化。接著使用諸如自適應(yīng)最小二乘立體匹配的技術(shù)以產(chǎn)生密集對(duì)應(yīng)數(shù)組，其通過(guò)相機(jī)模型變換以產(chǎn)生X, y, z數(shù)據(jù)的密集數(shù)組。仍然參考圖2，在本技術(shù)的一個(gè)實(shí)施方案中，通過(guò)使用基于地理參考圖像的過(guò)程而實(shí)施基于特征的過(guò)程36，如圖3中所圖示。基于地理參考圖像的過(guò)程36使用“Image-BasedGeoreferencing”方法,其在由James M.Janky等人在2009年9月14日申請(qǐng)的專(zhuān)利申請(qǐng)案第12/559，322號(hào)中公開(kāi)。標(biāo)題為“Image-Based Georeferencing”的本原始專(zhuān)利申請(qǐng)案的全部?jī)?nèi)容并入本文中。更明確而言，(圖3的)圖像處理引擎62基本上是一系列計(jì)算機(jī)程序，其從圖像圖像捕獲裝置64取得圖像，通過(guò)使用圖像輪廓器68而在視圖中建立對(duì)象的輪廓，通過(guò)在地理參考對(duì)象圖像本地?cái)?shù)據(jù)庫(kù)66中搜索而搜索類(lèi)似輪廓，識(shí)別相機(jī)圖像70中的特征，并(通過(guò)使用圖案識(shí)別輪廓匹配過(guò)程72)尋找與數(shù)據(jù)庫(kù)中的特征的匹配，并且測(cè)試看由匹配過(guò)程找到的特征是否具有地理參考位置坐標(biāo)。仍然參考圖3，在本技術(shù)的一個(gè)實(shí)施方案中，如果具有與地理參考坐標(biāo)的匹配，那么地理參考檢索程序74從數(shù)據(jù)庫(kù)提取這些坐標(biāo)，且位置確定器76通過(guò)使用基于特征的處理方法，如攝影測(cè)量、匹配移動(dòng)等等而確定圖像捕獲裝置64的位置坐標(biāo)。請(qǐng)參見(jiàn)上文的討論。仍然參考圖3，在本技術(shù)的一個(gè)實(shí)施方案中，圖像捕獲裝置64的初始位置可經(jīng)由方框78以任何精確級(jí)鍵入，例如:(a)經(jīng)由GNSS接收器；或(10手動(dòng)，如對(duì)交點(diǎn)使用兩個(gè)名稱(chēng)；或((3)近似的橫坐標(biāo)/縱坐標(biāo)。在本技術(shù)的這個(gè)實(shí)施方案中，這種輸入圖像捕獲裝置64的初始定位確定的方法可通過(guò)徑直到所關(guān)注的區(qū)域而加速搜索過(guò)程。仍然參考圖3，在本技術(shù)的一個(gè)實(shí)施方案中，手動(dòng)定位輸入可經(jīng)由手持裝置完成，如Trimble TSC2 (Trimble測(cè)量控制器型號(hào)2)。仍然參考圖3，在本技術(shù)的一個(gè)實(shí)施方案中，圖像處理引擎62可被配置成駐留在便攜式計(jì)算裝置中，諸如TSC2數(shù)據(jù)收集器，或筆記本電腦，或個(gè)人數(shù)字助理，或蘋(píng)果iPad。可經(jīng)由這些裝置進(jìn)行圖像捕獲裝置64的初始(種子)位置的輸入。仍然參考圖3，在本技術(shù)的一個(gè)實(shí)施方案中，可利用通信裝置80以提供圖像捕獲裝置64的種子(初始)位置。在本技術(shù)的一個(gè)實(shí)施方案中，可使用無(wú)線系統(tǒng)，包括W1-F1、蜂窩、ZigBee或類(lèi)似系統(tǒng)來(lái)將通信裝置80與外部數(shù)據(jù)庫(kù)連接。在本技術(shù)的一個(gè)實(shí)施方案中，遠(yuǎn)程通用地理參考對(duì)象圖像數(shù)據(jù)庫(kù)82代表適當(dāng)填充的數(shù)據(jù)庫(kù)，其中本地對(duì)象，諸如建筑屋頂邊角、前門(mén)、窗臺(tái)、路牌、消防栓，等等，幾乎地面上的一切都被地理定位，且具有來(lái)自某個(gè)任意有利點(diǎn)的圖像。因此，遠(yuǎn)程通用地理參考對(duì)象圖像數(shù)據(jù)庫(kù)82可用于輸入圖像捕獲裝置64的種子位置。如果是這種情況，那么可從遠(yuǎn)程通用地理參考對(duì)象圖像數(shù)據(jù)庫(kù)82下載對(duì)于本地存儲(chǔ)地理參考對(duì)象圖像數(shù)據(jù)庫(kù)66的更本地化更新。使用圖案識(shí)別輪廓匹配程序72中的特征，可執(zhí)行圖像旋轉(zhuǎn)和平移作為搜索與本地捕獲的圖像的匹配的一部分。在本技術(shù)的一個(gè)實(shí)施方案中，更明確而言，如果通過(guò)使用來(lái)自GPS/GNSS接收器的GPS定位或從其它器件獲得的位置信息而獲得種子定位，那么其可通過(guò)使用可交換圖像文件格式(Exif)而與相機(jī)圖像組合。Exif是數(shù)碼相機(jī)所使用的圖像文件格式的一種規(guī)范。所述規(guī)范使用現(xiàn)有JPEG，TIFF Rev.6.0和RIFF WAV文件格式，添加了特定元數(shù)據(jù)標(biāo)簽。在本技術(shù)的一個(gè)實(shí)施方案中，其中通過(guò)使用來(lái)自GPS/GNSS接收器的GPS定位而獲得種子定位，種子定位的準(zhǔn)確度完全取決于GPS接收器的復(fù)雜性和性能水平。在配有相機(jī)的手機(jī)中使用的簡(jiǎn)單的GPS芯片組接收器在地球上任何位置提供以4至7米數(shù)量級(jí)的絕對(duì)準(zhǔn)確度。另一方面，更復(fù)雜的接收器利用可極大地改進(jìn)準(zhǔn)確度的多種校正技術(shù)。例如，由美國(guó)聯(lián)邦航空管理局提供的廣域增強(qiáng)服務(wù)從2個(gè)同步衛(wèi)星以與GPS信號(hào)相同的頻率發(fā)送信號(hào)(其具有特殊代碼)并且在全國(guó)范圍內(nèi)將準(zhǔn)確度改進(jìn)至約I米。其它差異化服務(wù)提供至約20cm的改進(jìn)。最后，實(shí)時(shí)動(dòng)態(tài)測(cè)量方法與虛擬參考站服務(wù)可相對(duì)于已知參考點(diǎn)提供至約2cm至5cm的準(zhǔn)確度。在本技術(shù)的一個(gè)實(shí)施方案中，仍然參考圖3，將相機(jī)圖像提供至便攜式圖像處理引擎62，以與使用簡(jiǎn)單GPS接收器的完成情況相比更準(zhǔn)確地確定相機(jī)定位。相機(jī)圖像實(shí)時(shí)提供，或可根據(jù)同時(shí)待審的申請(qǐng)案“ Image-Based Georef erencing”中解釋的原理后期處理。在本技術(shù)的一個(gè)實(shí)施方案中，仍然參考圖3，便攜式圖像處理引擎62提供有本地地理參考對(duì)象圖像數(shù)據(jù)庫(kù)66，其含有建筑物和其它對(duì)象的圖像，以及數(shù)據(jù)庫(kù)中識(shí)別的地理參考特征。所述地理參考數(shù)據(jù)可由經(jīng)度、緯度和海拔信息組成，或可按照從本地參考點(diǎn)的“向北和向東”存儲(chǔ)，諸如由美國(guó)地質(zhì)調(diào)查局安裝和維護(hù)的測(cè)量標(biāo)記。也可以使用其它坐標(biāo)系。在本技術(shù)的一個(gè)實(shí)施方案中，本地地理參考對(duì)象圖像數(shù)據(jù)庫(kù)66通過(guò)啟用適當(dāng)標(biāo)簽而被配置成可搜索的。在本技術(shù)的一個(gè)實(shí)施方案中，可通過(guò)使用谷歌街景視圖或類(lèi)似類(lèi)型的服務(wù)而實(shí)施本地地理參考對(duì)象圖像數(shù)據(jù)庫(kù)66。本地地理參考對(duì)象圖像數(shù)據(jù)庫(kù)66將位置信息與經(jīng)度/緯度坐標(biāo)中的位置標(biāo)簽關(guān)聯(lián)，所述經(jīng)度/緯度坐標(biāo)與圖片的每個(gè)部分相關(guān)聯(lián)，因此啟用了搜索引擎。因此，用戶可基于其地址或基于其在經(jīng)度/緯度坐標(biāo)中的位置而找到街景視圖的圖像。街道十字路口也可用于搜索。在本技術(shù)的一個(gè)實(shí)施方案中，可通過(guò)使用地理參考對(duì)象圖像而實(shí)施本地地理參考對(duì)象圖像數(shù)據(jù)庫(kù)66。地理參考對(duì)象圖像數(shù)據(jù)庫(kù)含有多個(gè)涉及建筑物特征和邊緣、停車(chē)標(biāo)志、路牌、消防栓和類(lèi)似物的精確定位數(shù)據(jù)。地理參考對(duì)象圖像數(shù)據(jù)庫(kù)還包括配有適當(dāng)分析軟件的圖像處理引擎，所述分析軟件被配置來(lái)從給定對(duì)象上的已知特征定位推導(dǎo)至可能在捕獲用戶的圖像中的特征?？赏ㄟ^(guò)使用內(nèi)插法執(zhí)行這種推導(dǎo)，其利用適當(dāng)幾何變換以調(diào)整圖像并尋找從已知地理參考特征至未知但更適當(dāng)特征的幾何關(guān)系(距離和方向)。在本技術(shù)的一個(gè)實(shí)施方案中，通過(guò)使用攝影測(cè)量方法而完成從圖像中的數(shù)據(jù)確定相機(jī)定位，且在本領(lǐng)域中是熟知的。請(qǐng)參見(jiàn)上文的討論。在本技術(shù)的一個(gè)實(shí)施方案中，可從處理與捕獲的圖像中所關(guān)注的對(duì)象相關(guān)的地理參考數(shù)據(jù)而找到執(zhí)行攝影測(cè)量解決方案所需的距離比例因數(shù)。兩個(gè)或多個(gè)點(diǎn)的地理參考數(shù)據(jù)立即使得能夠通過(guò)使用熟知公式簡(jiǎn)單地計(jì)算兩個(gè)選定點(diǎn)之間的三維距離而建立距離比例因數(shù):距離=V((Xl-X2)2+(yl-y2)2+(Zl-Z2)2)，(方程式 8)其中x，y和z是與所關(guān)注對(duì)象相關(guān)的點(diǎn)的地理參考坐標(biāo)。在本技術(shù)的一個(gè)實(shí)施方案中，圖像處理引擎(圖3的62)提供現(xiàn)成的攝影測(cè)量圖像處理算法，其接著能夠基于使用所捕獲圖像中的選定參考點(diǎn)而計(jì)算相機(jī)位置。選擇過(guò)程利用在所捕獲圖像中尋找邊緣(兩條線的交點(diǎn))或角的搜索程序。自動(dòng)選擇具有最尖銳的角或點(diǎn)的邊緣或角。如果選定的邊緣/角與地理參考數(shù)據(jù)點(diǎn)不相關(guān)，那么內(nèi)插算法用于估計(jì)所選定點(diǎn)的地理參考數(shù)據(jù)(請(qǐng)參見(jiàn)上文的討論)。

在本技術(shù)的一個(gè)實(shí)施方案中，所捕獲圖像中的選定參考點(diǎn)接著用于計(jì)算相機(jī)64的定位。如果選定三個(gè)或多個(gè)點(diǎn)，那么計(jì)算過(guò)程通過(guò)一系列步驟進(jìn)行以直接計(jì)算所述定位。經(jīng)由選定參考點(diǎn)之間的可計(jì)算距離，按照其地理參考位置數(shù)據(jù)而確定比例因數(shù)。按照以米或英尺計(jì)的物理距離，或在地表的對(duì)向角而找到比例因數(shù)。接著，如圖4中所示，確定前兩個(gè)地理參考點(diǎn)之間的角度。更明確而言，圖4圖示攝影測(cè)量方法以從2個(gè)點(diǎn)匕96與P298之間的已知距離DllOl (比例因數(shù))，和至對(duì)向角的像素轉(zhuǎn)換而找到至相機(jī)92的距離106。在幾何上，由弧所對(duì)的角度是其兩條射線經(jīng)過(guò)所述弧的端點(diǎn)的角度。在數(shù)碼相機(jī)92中，這通過(guò)測(cè)量?jī)牲c(diǎn)P36與P298之間的距離，且接著取該數(shù)值對(duì)相機(jī)視場(chǎng)中像素100的總數(shù)的比而完成。使用一半的這個(gè)角度A 102，和2個(gè)地理參考點(diǎn)之間的一半距離1/2D 104而計(jì)算從2個(gè)選定地理參考點(diǎn)之間的線的中點(diǎn)107至相機(jī)入射光瞳94的距離106，因?yàn)閮蓚€(gè)選定點(diǎn)之間的半角的正切是由與相機(jī)的距離對(duì)一種類(lèi)型的問(wèn)題解的兩個(gè)點(diǎn)之間的已知距離的一半的比而給出。Tan(A)=D1AD2(方程式 9)在本技術(shù)的一個(gè)實(shí)施方案中，可實(shí)行從連接所捕獲圖像中的對(duì)象上的任何兩個(gè)地理參考點(diǎn)的線的中點(diǎn)確定更多距離估計(jì)的這個(gè)過(guò)程。現(xiàn)在，也可以按照地理參考坐標(biāo)系而計(jì)算任何兩個(gè)已知地理參考點(diǎn)之間的中點(diǎn)。剛才描述的距離不是確定相機(jī)定位所需的距離。但是使用這個(gè)信息，針對(duì)一種類(lèi)型的問(wèn)題解，作為從點(diǎn)匕96至相機(jī)入射光瞳94的實(shí)際距離的斜邊(長(zhǎng)邊)108 (和作為從點(diǎn)P298至相機(jī)入射光瞳94的實(shí)際距離的斜邊110)可計(jì)算如下:距離(Pl-相機(jī))=1/2D.Sin(A);(方程式 10)其中1/2D是P1與P2之間的一半距離，且A是兩個(gè)AP1和P2的總角位移的半角。在本技術(shù)的一個(gè)實(shí)施方案中，仍然參考圖4，作為對(duì)理解接下來(lái)步驟的幫助，地理參考點(diǎn)PP6和P298現(xiàn)在用作球體的中心，且從每個(gè)點(diǎn)至相機(jī)入射光瞳94的距離提供每個(gè)球體的半徑。因此，用三個(gè)已知地理參考點(diǎn)的最小值，三條線與三個(gè)點(diǎn)提供表示至相機(jī)的距離的三個(gè)方程式。S卩，三個(gè)球體將將在相機(jī)入射光瞳處相交，存在一些誤差。現(xiàn)在這個(gè)相交位置的解(三個(gè)未知量的三個(gè)方程式)給出了入射光瞳的地理參考點(diǎn)。這是所謂的三角測(cè)量法。在本技術(shù)的一個(gè)實(shí)施方案中，如果具有多于三個(gè)已知點(diǎn)，那么方程組是超定的。大多數(shù)攝影測(cè)量程序使用多得多的點(diǎn)以幫助減小誤差。最小二乘法是針對(duì)超定方程組(S卩，其中方程式比未知量更多的方程組)的近似解的標(biāo)準(zhǔn)法?！白钚《恕币馕吨麄€(gè)解使在解每個(gè)單個(gè)方程式時(shí)造成的誤差的平方和最小化。最重要的應(yīng)用是數(shù)據(jù)擬合。最小二乘意義上的最佳擬合使殘差平方和最小化，殘差是所觀測(cè)的值與由模型提供的值之間的差。最小二乘問(wèn)題取決于所有未知量中的殘差是否為線性而分為兩類(lèi)，線性最小二乘和非線性最小二乘。線性最小二乘問(wèn)題出現(xiàn)在統(tǒng)計(jì)回歸分析中；其具有封閉形式解。非線性問(wèn)題沒(méi)有封閉解，且通常通過(guò)迭代加細(xì)而求解；在每次迭代時(shí)，方程組由線性方程組近似，因此在兩種情況中，核心計(jì)算是類(lèi)似的。如果實(shí)驗(yàn)誤差具有正態(tài)分布，那么最小二乘對(duì)應(yīng)于最大似然準(zhǔn)則，并且也可以衍生為矩估計(jì)法。另外，通過(guò)對(duì)似然迭代地應(yīng)用局部二次逼近，最小二乘法可用于擬合廣義線性模型。具有許多執(zhí)行上文步驟的可用攝影測(cè)量程序。此外，也考慮確定兩個(gè)拍照相機(jī)相對(duì)于地理參考點(diǎn)的確切方位的過(guò)程，以補(bǔ)償線系中存在傾斜的事實(shí)。具有多個(gè)參考點(diǎn)或來(lái)自?xún)蓚€(gè)不同相機(jī)位置的至少兩個(gè)圖像，提供充分?jǐn)?shù)據(jù)以確定相機(jī)定位。在用戶選擇拍攝多張含有所關(guān)注對(duì)象的場(chǎng)景圖片的情況中，附加處理也隨時(shí)可用于處理這些其它主要情況。這個(gè)過(guò)程可經(jīng)由被稱(chēng)作“光束法平差”的方法一次全部完成。給出從不同視角描繪許多3D點(diǎn)的圖像，根據(jù)涉及所有點(diǎn)的對(duì)應(yīng)圖像投影的最優(yōu)性準(zhǔn)則，光束法平差可定義為同時(shí)細(xì)化描述場(chǎng)景幾何以及用于獲取圖像的相機(jī)的相對(duì)運(yùn)動(dòng)和光學(xué)特性的參數(shù)的3D坐標(biāo)的問(wèn)題。光束法平差幾乎總是用作每個(gè)基于特征的3D重構(gòu)算法的最后步驟。其相當(dāng)于是有關(guān)3D結(jié)構(gòu)和觀看參數(shù)(即，相機(jī)姿勢(shì)和可能的內(nèi)部校準(zhǔn)和徑向失真)的最優(yōu)化問(wèn)題，以獲得在關(guān)于有關(guān)于所觀測(cè)到的圖像特征的噪聲的某些假設(shè)情況下是最優(yōu)的重構(gòu)。如果圖像誤差是零均值高斯，那么光束法平差是最大似然估計(jì)。其名稱(chēng)指源自每個(gè)3D特征且會(huì)聚于每個(gè)相機(jī)的光學(xué)中心的光線“束”，其相對(duì)于結(jié)構(gòu)和觀看參數(shù)兩者而最優(yōu)調(diào)整。在光束法平差過(guò)程期間，所觀測(cè)到的圖像位置與預(yù)測(cè)圖像點(diǎn)之間的重投影誤差被最小化，其表達(dá)為大量非線性、實(shí)值函數(shù)的平方和。因此，使用非線性最小二乘算法實(shí)現(xiàn)最小化。通過(guò)使在當(dāng)前估計(jì)的附近將被最小化的函數(shù)迭代地線性化，Levenberg-Marquardt算法涉及被稱(chēng)作正規(guī)方程的線性方程組的解。當(dāng)解決光束法平差的框架中引起的最小化問(wèn)題時(shí)，由于不同3D點(diǎn)和相機(jī)的參數(shù)之間缺乏相互作用，因此正規(guī)方程具有稀疏分組結(jié)構(gòu)。這可通過(guò)利用Levenberg-Marquardt算法的稀疏變量而用于獲取計(jì)算上的益處,其明確利用正規(guī)方程的零模式，避免有關(guān)零元素的存儲(chǔ)和操作。在本技術(shù)的一個(gè)實(shí)施方案中，圖5圖示了描述通過(guò)使用地理參考對(duì)象圖像數(shù)據(jù)庫(kù)66和(圖3的)圖像處理引擎62實(shí)施(圖2的)基于特征的過(guò)程36的步驟的流程圖120。更明確而言在一個(gè)實(shí)施方案中，在步驟124，圖像處理引擎62可用與預(yù)期位置區(qū)域有關(guān)的數(shù)據(jù)集初始化(圖3的)。接著，在步驟126，圖像捕獲裝置64捕獲所關(guān)注區(qū)域中所關(guān)注對(duì)象的至少一個(gè)圖像，且(在步驟128)將至少一個(gè)所關(guān)注的捕獲圖像提供至(圖3的)圖像處理引擎62。執(zhí)行圖案匹配過(guò)程(步驟130)以尋找捕獲圖像中的對(duì)象與地理參考對(duì)象圖像數(shù)據(jù)庫(kù)66中的對(duì)象的輪廓之間的匹配。在所關(guān)注對(duì)象的捕獲圖像中的至少一個(gè)特征被識(shí)別之后(步驟132)，在地理參考對(duì)象圖像數(shù)據(jù)庫(kù)66中對(duì)所捕獲圖像中的選定特征與數(shù)據(jù)庫(kù)66中的地理參考特征之間的匹配執(zhí)行搜索(步驟134)。對(duì)選定數(shù)量的特征匹配重復(fù)搜索過(guò)程(步驟136)。在步驟138，應(yīng)用攝影測(cè)量圖像處理算法以在從地理參考對(duì)象圖像數(shù)據(jù)庫(kù)導(dǎo)出的地理參考坐標(biāo)系中確定相機(jī)入射光瞳定位的位置(圖4的94)。視需要，(步驟140)，此外，初始化圖像處理引擎的步驟124還包括輸入由街道地址、兩條街的交叉口、地標(biāo)或地理參考數(shù)據(jù)定義的本地參考定位。在本技術(shù)的一個(gè)實(shí)施方案中，圖6示出基于圖像的定位裝置150，其包括安裝在桿154上的GNSS接收器152，其中相機(jī)156安裝在相同桿154上。其也示出GIS/測(cè)量數(shù)據(jù)控制器162，如TSC2。在本技術(shù)的一個(gè)實(shí)施方案中，圖7圖示了被配置來(lái)啟用圖3的圖像處理引擎62的計(jì)算機(jī)系統(tǒng)170。硬件部分包括處理器172、計(jì)算機(jī)可用非易失性存儲(chǔ)器(ROM) 174、計(jì)算機(jī)可用易失性存儲(chǔ)器176、數(shù)據(jù)存儲(chǔ)單元178、總線180、圖像數(shù)據(jù)庫(kù)管理系統(tǒng)(IDMS)182、顯示裝置183、字母數(shù)字輸入184、光標(biāo)控制186、1/0裝置188和周邊計(jì)算機(jī)可讀存儲(chǔ)媒體190。軟件模塊192包括操作系統(tǒng)194、應(yīng)用程序196、模塊198和數(shù)據(jù)模塊200。這僅僅意在作為這種計(jì)算機(jī)系統(tǒng)的實(shí)施例。不包括所有列出的組件，或其包括沒(méi)有列出的部分的實(shí)際計(jì)算機(jī)系統(tǒng)仍然可以適于啟用圖像處理引擎。II1.包括雙重對(duì)象追蹤過(guò)程的基于圖像的定位設(shè)備在本技術(shù)的一個(gè)實(shí)施方案中，圖8示出包括雙重特征追蹤過(guò)程212的基于圖像的定位設(shè)備210?？赏ㄟ^(guò)使用通用處理器或通過(guò)使用專(zhuān)用處理器(ASIC、FPGA、PLD等等)而實(shí)施過(guò)程212。在本技術(shù)的一個(gè)實(shí)施方案中，基于圖像的定位設(shè)備210還包括安裝在平臺(tái)211上的至少兩個(gè)圖像捕獲裝置214和216 (第三裝置218是選用的)。在本技術(shù)的一個(gè)實(shí)施方案中，圖像捕獲裝置214和216具有重疊視場(chǎng)。在本技術(shù)的一個(gè)實(shí)施方案中，圖像捕獲裝置214和216具有不重疊視場(chǎng)。在本技術(shù)的一個(gè)實(shí)施方案中，平臺(tái)211包括移動(dòng)站。在本技術(shù)的一個(gè)實(shí)施方案中，平臺(tái)211包括移動(dòng)站RTK系統(tǒng)。在本技術(shù)的一個(gè)實(shí)施方案中，平臺(tái)211包括GIS/地圖創(chuàng)建手持設(shè)備。在本技術(shù)的一個(gè)實(shí)施方案中，每個(gè)圖像捕獲裝置214和216 (和選用的218)被配置來(lái)捕獲包括在平臺(tái)211的第一定位處和平臺(tái)211的第二定位處的至少一個(gè)特征的圖像。在本技術(shù)的一個(gè)實(shí)施方案中，基于圖像的定位設(shè)備210還包括同步模塊226,其被配置來(lái)同步第一圖像捕獲裝置214和第二圖像捕獲裝置216 (和選用的第三圖像捕獲裝置218)。請(qǐng)參見(jiàn)下文的討論。在本技術(shù)的一個(gè)實(shí)施方案中，通過(guò)使用由控制器(沒(méi)有示出)產(chǎn)生的控制信號(hào)而實(shí)施同步模塊226。在本技術(shù)的一個(gè)實(shí)施方案中，基于圖像的定位設(shè)備210還包括定位過(guò)程220，其選自由以下項(xiàng)組成的組=GNSS過(guò)程；圖像匹配攝影測(cè)量過(guò)程；基于地理參考圖像的過(guò)程；匹配移動(dòng)過(guò)程；表面追蹤過(guò)程；和SLAM過(guò)程。GNSS過(guò)程；圖像匹配攝影測(cè)量過(guò)程；基于地理參考圖像的過(guò)程；匹配移動(dòng)過(guò)程；表面追蹤過(guò)程；和SLAM過(guò)程的操作在上文給出的討論中詳細(xì)公開(kāi)。定位過(guò)程220被配置來(lái)獲得平臺(tái)211的定位。在本技術(shù)的一個(gè)實(shí)施方案中，基于雙重特征的過(guò)程212被配置來(lái)處理在平臺(tái)211的第一定位和第二定位處獲得的每個(gè)圖像，以提取至少兩個(gè)特征的追蹤數(shù)據(jù)集?；陔p重特征的過(guò)程212也被配置來(lái)通過(guò)使用對(duì)于每至少兩個(gè)捕獲的特征而獲得的追蹤數(shù)據(jù)集而確定平臺(tái)212的第二定位的位置。在本技術(shù)的一個(gè)實(shí)施方案中，過(guò)程212也被配置來(lái)由第三圖像捕獲裝置218處理包括在平臺(tái)211的第一定位和第二定位處獲得的至少一個(gè)特征的圖像，以提取對(duì)于至少一個(gè)捕獲特征的追蹤數(shù)據(jù)集。在本技術(shù)的這個(gè)實(shí)施方案中，過(guò)程212也被配置來(lái)通過(guò)使用對(duì)于每至少一個(gè)捕獲特征而獲得的追蹤數(shù)據(jù)集而確定平臺(tái)212的第二定位的位置。在本技術(shù)的一個(gè)實(shí)施方案中，基于圖像的定位設(shè)備210還包括卡爾曼濾波器222。卡爾曼濾波器222被配置來(lái)通過(guò)將作為第一噪聲測(cè)量值的至少一個(gè)第一捕獲特征的追蹤數(shù)據(jù)集和作為第二噪聲測(cè)量值的至少一個(gè)第二捕獲特征的追蹤數(shù)據(jù)集組合而獲得平臺(tái)211的第二定位的卡爾曼估計(jì)。視需要，卡爾曼濾波器222被配置來(lái)通過(guò)將作為第一噪聲測(cè)量值的至少一個(gè)第一捕獲特征的追蹤數(shù)據(jù)集、作為第二噪聲測(cè)量值的至少一個(gè)第二捕獲特征的追蹤數(shù)據(jù)集和作為第三噪聲測(cè)量值的至少一個(gè)第三捕獲特征的追蹤數(shù)據(jù)集組合而獲得平臺(tái)211的第二定位的卡爾曼估計(jì)。在本技術(shù)的一個(gè)實(shí)施方案中，基于圖像的定位設(shè)備210還包括外部存儲(chǔ)器模塊224，其被配置來(lái)存儲(chǔ)平臺(tái)的基于至少一個(gè)特征的三維(3D)定位坐標(biāo)，以進(jìn)一步處理。在本技術(shù)的一個(gè)實(shí)施方案中，基于圖像的定位設(shè)備210還包括無(wú)線調(diào)制解調(diào)器228，其被配置來(lái)對(duì)外部存儲(chǔ)器模塊224提供遠(yuǎn)程互聯(lián)網(wǎng)訪問(wèn)。IV.包括雙重對(duì)象追蹤過(guò)程的基于圖像的定位設(shè)備的操作模式A.同步操作在本技術(shù)的一個(gè)實(shí)施方案中，圖8的基于圖像的定位設(shè)備210的同步操作包括通過(guò)使用第一圖像捕獲裝置214在平臺(tái)211的第一定位處捕獲第一圖像(第一-第一圖像)，其中所述第一-第一圖像包括至少一個(gè)第一對(duì)象。在本技術(shù)的一個(gè)實(shí)施方案中，通過(guò)使用(圖8的)定位過(guò)程220而確定平臺(tái)211的定位，所述定位過(guò)程220選自由以下項(xiàng)組成的組:GNSS過(guò)程；表面追蹤過(guò)程；基于特征的過(guò)程；和基于地理參考圖像的過(guò)程。在本技術(shù)的一個(gè)實(shí)施方案中，預(yù)先確定平臺(tái)211的定位。接著，通過(guò)使用第一圖像捕獲裝置214在平臺(tái)211的第二定位處捕獲第二圖像(第二-第一圖像)，其中所述第二-第一圖像包括至少一個(gè)相同第一捕獲對(duì)象。通過(guò)使用過(guò)程212以鎖定和追蹤至少一個(gè)第一捕獲對(duì)象的位置而處理第一-第一圖像和第二 -第一圖像。過(guò)程212被配置來(lái)從處理提供第一捕獲對(duì)象的追蹤數(shù)據(jù)集的第一-第一集和第二-第一圖像而獲得對(duì)于至少一個(gè)第一捕獲對(duì)象的二維定位集。在本技術(shù)的一個(gè)實(shí)施方案中，追蹤算法可用于鎖定至少一個(gè)捕獲的第一對(duì)象，并通過(guò)一系列多個(gè)幀而跟蹤所述鎖定的第一對(duì)象。請(qǐng)參見(jiàn)上文的討論和方程式(I至7)。類(lèi)似地，通過(guò)使用(圖8的)第二圖像捕獲裝置216而在平臺(tái)211的第一定位處捕獲第一圖像(第一-第二圖像)，其中所述第一-第二圖像包括至少一個(gè)第二對(duì)象。在本技術(shù)的一個(gè)實(shí)施方案中，同步模塊226可用于同步(圖8的)第一圖像捕獲裝置214和(圖8的)第二圖像捕獲裝置216的操作，使得兩個(gè)裝置同時(shí)捕獲(分別)位于每個(gè)裝置的對(duì)應(yīng)FOV中的第一對(duì)象和第二對(duì)象，其中平臺(tái)211位于相同定位處。通過(guò)使用(圖8的)第二圖像捕獲裝置216而在平臺(tái)211的第二定位處捕獲第二圖像(第二 -第二圖像)；其中所述第二 -第二圖像包括至少一個(gè)相同的第二捕獲對(duì)象。在本技術(shù)的一個(gè)實(shí)施方案中，同步模塊226可用于同步(圖8的)第一圖像捕獲裝置214和(圖8的)第二圖像捕獲裝置216的操作，使得兩個(gè)裝置同時(shí)捕獲(分別)位于每個(gè)裝置的對(duì)應(yīng)FOV中的第一對(duì)象和第二對(duì)象，其中平臺(tái)211位于相同的第二定位處。通過(guò)使用過(guò)程212追蹤至少一個(gè)第二捕獲對(duì)象的位置而處理第一-第二圖像和第二 -第二圖像。過(guò)程212被配置來(lái)從處理提供第二捕獲對(duì)象的追蹤數(shù)據(jù)集的第一-第二集和第二-第二圖像而獲得對(duì)于至少一個(gè)第二捕獲對(duì)象的二維定位集。在本技術(shù)的一個(gè)實(shí)施方案中，追蹤算法可用于追蹤至少一個(gè)捕獲的第二對(duì)象，并通過(guò)一系列多個(gè)幀而跟蹤第一特征。請(qǐng)參見(jiàn)上文的討論和方程式(I至7)。通過(guò)使用至少一個(gè)第一對(duì)象的追蹤數(shù)據(jù)集和至少一個(gè)第二對(duì)象的追蹤數(shù)據(jù)集而由雙重特征過(guò)程212確定平臺(tái)211的位置。更明確而言，在本技術(shù)的一個(gè)實(shí)施方案中，過(guò)程212對(duì)至少一個(gè)第一捕獲對(duì)象的二維(2D)追蹤數(shù)據(jù)集應(yīng)用反投影函數(shù)以解平臺(tái)211的定位的三維(3D)坐標(biāo)集。更明確而言，在本技術(shù)的一個(gè)實(shí)施方案中，過(guò)程212對(duì)至少一個(gè)第二捕獲對(duì)象的二維(2D)追蹤數(shù)據(jù)集應(yīng)用反投影函數(shù)以解平臺(tái)211的定位的三維(3D)坐標(biāo)集。請(qǐng)參見(jiàn)上文的討論和方程式(I至7)。在本技術(shù)的一個(gè)實(shí)施方案中，將第一權(quán)重分配給至少一個(gè)第一捕獲對(duì)象的追蹤數(shù)據(jù)集，且將第二權(quán)重分配給至少一個(gè)第二捕獲對(duì)象的追蹤數(shù)據(jù)集。在本技術(shù)的這個(gè)實(shí)施方案中，由過(guò)程212通過(guò)使用至少一個(gè)第一捕獲對(duì)象的加權(quán)追蹤數(shù)據(jù)集和至少一個(gè)第二捕獲對(duì)象的加權(quán)追蹤數(shù)據(jù)集而完成平臺(tái)211的定位的位置確定。在本技術(shù)的一個(gè)實(shí)施方案中，卡爾曼濾波器222用于通過(guò)將作為第一噪聲測(cè)量值的至少一個(gè)第一捕獲對(duì)象的追蹤數(shù)據(jù)集和作為第二噪聲測(cè)量值的至少一個(gè)第二捕獲對(duì)象的追蹤數(shù)據(jù)集組合而獲得平臺(tái)211的定位的卡爾曼估計(jì)。B.異步操作在本技術(shù)的一個(gè)實(shí)施方案中，圖8的基于圖像的定位設(shè)備210的異步操作是基于第一圖像捕獲裝置214和第二圖像捕獲裝置216在不同時(shí)間(非同步)捕獲對(duì)應(yīng)圖像。在本技術(shù)的一個(gè)實(shí)施方案中，圖8的基于圖像的定位設(shè)備210的異步操作包括以下步驟:通過(guò)使用第一圖像捕獲裝置214在平臺(tái)211的第一定位處捕獲第一圖像(第一-第一圖像)；其中所述第一-第一圖像包括至少一個(gè)第一對(duì)象；通過(guò)使用第一圖像捕獲裝置214在平臺(tái)211的第二定位處捕獲第二圖像(第二 -第一圖像)；其中所述第二 -第一圖像包括至少一個(gè)捕獲的第一對(duì)象；處理所述第一-第一圖像和所述第二 -第一圖像以追蹤至少一個(gè)捕獲的第一對(duì)象的位置；其中從處理提供捕獲的第一對(duì)象的追蹤數(shù)據(jù)集的第一-第一圖像和第二-第一圖像而獲得對(duì)于至少一個(gè)捕獲的第一對(duì)象的二維定位集。在本技術(shù)的一個(gè)實(shí)施方案中，圖8的基于圖像的定位設(shè)備210的異步操作還包括以下步驟:通過(guò)使用第二圖像捕獲裝置216在平臺(tái)211的第三定位處捕獲第一圖像(第
一-第二圖像)；其中所述第一-第二圖像包括至少一個(gè)第二對(duì)象；通過(guò)使用第二圖像捕獲裝置216在平臺(tái)211的第四定位處捕獲第二圖像(第二 -第二圖像)；其中所述第二 -第二圖像包括至少一個(gè)第二捕獲對(duì)象；處理所述第一-第二圖像和所述第二 -第二圖像以追蹤至少一個(gè)第二對(duì)象的位置；其中從處理提供第二對(duì)象的追蹤數(shù)據(jù)集的第一-第二圖像和第
二-第二圖像而獲得對(duì)于至少一個(gè)第二捕獲對(duì)象的二維定位集。在本技術(shù)的一個(gè)實(shí)施方案中，圖8的基于圖像的定位設(shè)備210的異步操作還包括通過(guò)使用至少一個(gè)第一捕獲對(duì)象的追蹤數(shù)據(jù)集而確定平臺(tái)211的定位。在本技術(shù)的這個(gè)實(shí)施方案中，可通過(guò)定位過(guò)程220確定平臺(tái)211的定位。在本技術(shù)的一個(gè)實(shí)施方案中，圖8的基于圖像的定位設(shè)備210的異步操作還通過(guò)使用至少一個(gè)第二捕獲對(duì)象的追蹤數(shù)據(jù)集而確定平臺(tái)211的第四定位的位置。在本技術(shù)的這個(gè)實(shí)施方案中，可由定位過(guò)程220確定平臺(tái)211的另一定位。在本技術(shù)的這個(gè)“異步”實(shí)施方案中，可在實(shí)際上沒(méi)有由裝置214和216捕獲任何新圖像的情況下通過(guò)執(zhí)行平臺(tái)211的先前定位的線性?xún)?nèi)插而獲得平臺(tái)211的另一定位。進(jìn)一步舉例而言，移動(dòng)平臺(tái)211可簡(jiǎn)單地進(jìn)入“暗”區(qū)，此處第一圖像捕獲裝置214和第二圖像捕獲裝置216兩者不接收產(chǎn)生可用圖像的充分光。因此，可在實(shí)際上沒(méi)有由裝置214和216捕獲所述“暗”區(qū)中的任何新圖像的情況下，通過(guò)執(zhí)行平臺(tái)211的前面兩個(gè)(進(jìn)入“暗”區(qū))定位的線性?xún)?nèi)插而獲得移動(dòng)平臺(tái)211在這個(gè)暗區(qū)中的至少一個(gè)定位(通過(guò)使用裝置214和216兩者而獲得)。內(nèi)插可簡(jiǎn)單依賴(lài)于可用定位之間的線的時(shí)間分割，或其可整合已知關(guān)于速度、加速度和運(yùn)動(dòng)的更高階導(dǎo)數(shù)的信息以及方位和旋轉(zhuǎn)信息。用于內(nèi)插的信息可從雙重特征過(guò)程212或定位過(guò)程220導(dǎo)出。V.包括對(duì)象和表面追蹤過(guò)程的基于圖像的定位設(shè)備在本技術(shù)的Iv實(shí)施方案中，圖9圖不包括特征和表面追蹤過(guò)程270的基于圖像的定位設(shè)備260?？赏ㄟ^(guò)使用通用處理器，或通過(guò)使用專(zhuān)用處理器(ASIC、FPGA、PLD等等)而實(shí)施過(guò)程270。在本技術(shù)的一個(gè)實(shí)施方案中，過(guò)程270包括兩個(gè)子過(guò)程:被配置來(lái)執(zhí)行表面追蹤處理的子過(guò)程270-1 (請(qǐng)參見(jiàn)下文的討論)，和被配置來(lái)執(zhí)行特征追蹤處理的子過(guò)程270-2(請(qǐng)參見(jiàn)上文的討論)。在本技術(shù)的一個(gè)實(shí)施方案中，基于圖像的定位設(shè)備210還包括安裝在平臺(tái)262上的兩個(gè)圖像捕獲裝置264和266。在本技術(shù)的一個(gè)實(shí)施方案中，兩個(gè)圖像捕獲裝置的視場(chǎng)重疊。在本技術(shù)的一個(gè)實(shí)施方案中，兩個(gè)圖像捕獲裝置的視場(chǎng)不重疊。在本技術(shù)的一個(gè)實(shí)施方案中，平臺(tái)262包括移動(dòng)站。在本技術(shù)的一個(gè)實(shí)施方案中，平臺(tái)262包括移動(dòng)站RTK系統(tǒng)。在本技術(shù)的一個(gè)實(shí)施方案中，平臺(tái)262包括GIS/地圖創(chuàng)建手持設(shè)備。在本技術(shù)的一個(gè)實(shí)施方案中，第一圖像捕獲裝置264被配置來(lái)在平臺(tái)262的第一定位處捕獲表面的圖像。在本技術(shù)的一個(gè)實(shí)施方案中，所述表面可選自由以下項(xiàng)組成的組:地表面；頂表面；側(cè)表面；和以任意角傾斜的表面或類(lèi)似表面。在本技術(shù)的一個(gè)實(shí)施方案中，基于圖像的定位設(shè)備260還包括范圍測(cè)量裝置280，其被配置來(lái)獲得選定表面的深度數(shù)據(jù)集。在本技術(shù)的一個(gè)實(shí)施方案中，范圍測(cè)量裝置280可選自由以下項(xiàng)組成的組:點(diǎn)激光束；聲納；雷達(dá)；激光掃描儀；和深度相機(jī)或類(lèi)似物?？赏ㄟ^(guò)使用可持續(xù)照射激光的藍(lán)色固態(tài)激光器、紅色二極管激光器、IR激光器，或脈沖激光器，或測(cè)序激光器或類(lèi)似裝置而實(shí)施點(diǎn)激光束范圍測(cè)量裝置280?？赏ㄟ^(guò)使用包括聲音發(fā)射器和接收器的主動(dòng)聲納而實(shí)施聲納范圍測(cè)量裝置280?？赏ㄟ^(guò)使用發(fā)射器而實(shí)施雷達(dá)范圍測(cè)量裝置280，所述發(fā)射器發(fā)射由表面反射且由通常在與發(fā)射器相同的位置中的接收器檢測(cè)的微波或無(wú)線電波?？赏ㄟ^(guò)使用可捕獲具有深度信息的視頻的攝像機(jī)而實(shí)施深度相機(jī)。這個(gè)相機(jī)具有能夠使用叫做飛行時(shí)間的原理而測(cè)量每個(gè)所捕獲像素的深度的傳感器。其通過(guò)發(fā)射脈沖光(通常是紅外線)至場(chǎng)景中的所有對(duì)象，并感測(cè)從每個(gè)對(duì)象表面反射的光而得到3D信息。通過(guò)計(jì)算光線在其離開(kāi)源并由表面上的對(duì)象反射時(shí)的飛行時(shí)間而測(cè)量深度。往返時(shí)間使用熟知的光速而被轉(zhuǎn)換成距離信息。仍然參考圖9，在本技術(shù)的一個(gè)實(shí)施方案中，第二圖像捕獲裝置266被配置來(lái)捕獲包括在平臺(tái)262的第一定位和第二定位處的至少一個(gè)對(duì)象的圖像。在本技術(shù)的一個(gè)實(shí)施方案中，基于圖像的定位設(shè)備260還包括同步模塊268,其被配置來(lái)同步第一圖像捕獲裝置264和第二圖像捕獲裝置266。在本技術(shù)的一個(gè)實(shí)施方案中，通過(guò)使用由控制器產(chǎn)生的控制信號(hào)而實(shí)施同步模塊266。在本技術(shù)的一個(gè)實(shí)施方案中，基于圖像的定位設(shè)備260還包括定位過(guò)程274，其可選自由以下項(xiàng)組成的組=GNSS過(guò)程；圖像匹配攝影測(cè)量過(guò)程；基于地理參考圖像的過(guò)程；SLAM過(guò)程；匹配移動(dòng)過(guò)程；表面追蹤過(guò)程；或類(lèi)似裝置。GNSS過(guò)程；圖像匹配攝影測(cè)量過(guò)程；基于地理參考圖像的過(guò)程；SLAM過(guò)程；匹配移動(dòng)過(guò)程；表面追蹤過(guò)程的操作在上文給出的討論中詳細(xì)公開(kāi)。定位過(guò)程274被配置來(lái)獲得平臺(tái)262的定位。在本技術(shù)的一個(gè)實(shí)施方案中，表面追蹤子過(guò)程270-1被配置來(lái)處理由第一圖像捕獲裝置264在平臺(tái)262的第一定位處獲得的選定表面的圖像。表面追蹤的方法和設(shè)備在由Hongbo Teng, Gregory C.Best和Sy BorWang的專(zhuān)利申請(qǐng)案第12/459,843號(hào)“IMAGE-BASED TRACKING”中公開(kāi)，該案的全部?jī)?nèi)容并入本文中。更明確而言，仍然參考圖9，根據(jù)美國(guó)專(zhuān)利申請(qǐng)案“IMAGE-BASEDTRACKING”，圖像捕獲裝置264被配置來(lái)執(zhí)行選定表面的圖像捕獲，且范圍測(cè)量裝置280被配置來(lái)獲得選定表面上的深度數(shù)據(jù)集。通過(guò)使用被配置來(lái)通過(guò)使用圖像處理算法282而分析圖像的表面追蹤過(guò)程270-1而執(zhí)行平臺(tái)262的追蹤。在本技術(shù)的一個(gè)實(shí)施方案中，圖像處理算法282假設(shè)全局剛性運(yùn)動(dòng)。通過(guò)用圖像捕獲裝置264的六個(gè)自由度而使全局光學(xué)流參數(shù)化，可通過(guò)解非線性最小二乘問(wèn)題而找到兩個(gè)連續(xù)幀之間的最優(yōu)全局變換。在本技術(shù)的一個(gè)實(shí)施方案中，圖像處理算法282通過(guò)使用幀函數(shù)而匹配像素的光
學(xué)屬性。在本技術(shù)的一個(gè)實(shí)施方案中，在深度信息可獲得的情況下，圖像處理算法282通過(guò)重新定義幀函數(shù)而匹配兩個(gè)幀的深度(而不是像素的光學(xué)屬性)。在本技術(shù)的一個(gè)實(shí)施方案中，可通過(guò)匹配像素光學(xué)屬性和深度信息的組合而改進(jìn)圖像處理算法282。如在下文完全地公開(kāi)，這可通過(guò)使用組合的成本函數(shù)，或用另一過(guò)程幫助一個(gè)過(guò)程而完成。在本技術(shù)的一個(gè)實(shí)施方案中，圖像處理算法282利用若干個(gè)坐標(biāo)系:靜止參考系；附至圖像捕獲裝置264的參考系；和圖像捕獲裝置的傳感器平面上的2D參考系。在靜止參考系中，表面上的點(diǎn)具有坐標(biāo)X= (X，y, z),圖像捕獲裝置264通過(guò)6個(gè)矢量描述，其包括對(duì)于每個(gè)第i幀的裝置的定位坐標(biāo)zci)和裝置的方位坐標(biāo)(Vi, 0 i, ^i)(偏轉(zhuǎn),俯仰和側(cè)傾)。在附至圖像捕獲裝置264的參考系中，表面上的相同點(diǎn)具有相對(duì)于圖像捕獲裝置264 的坐標(biāo) Xi= (xi； Yi, Zi)。在附至圖像捕獲裝置的傳感器平面32的2D參考系中，第i幀中的點(diǎn)的2D像素坐標(biāo)是:Ui= (Ui, Vi)。靜止3D坐標(biāo)系與圖像捕獲裝置所附的3D坐標(biāo)系之間的關(guān)系如下:Xi=(X-Xci)Ri,(方程式 11)
權(quán)利要求
1.一種基于圖像的方法，用于追蹤含有至少一個(gè)圖像捕獲裝置的平臺(tái)的位置，該方法包括: 用所述圖像捕獲裝置捕獲第一圖像；其中所述第一圖像包括至少一個(gè)對(duì)象； 移動(dòng)所述平臺(tái)，并用所述圖像捕獲裝置捕獲第二圖像；其中所述第二圖像包括所述至少一個(gè)對(duì)象； 在所述第一圖像中捕獲表面的圖像； 在所述第二圖像中捕獲所述表面的第二圖像； 使用組合的基于特征的過(guò)程和表面追蹤過(guò)程處理所述對(duì)象和所述表面的所述多個(gè)圖像；和 從所述組合的基于特征的過(guò)程和表面追蹤過(guò)程確定所述平臺(tái)的所述位置。
2.根據(jù)權(quán)利要求1所述的方法，其中所述基于特征的過(guò)程是基于同時(shí)定位與地圖創(chuàng)建(SLAM)追蹤過(guò)程。
3.根據(jù)權(quán)利要求1所述的方法，其中所述基于特征的過(guò)程是基于匹配移動(dòng)追蹤過(guò)程。
4.根據(jù)權(quán)利要求1所述的方法，其中所述基于特征的過(guò)程是基于攝影測(cè)量追蹤過(guò)程。
5.根據(jù)權(quán)利要求1所述的 方法，其中由第一圖像捕獲裝置捕獲所述對(duì)象的所述圖像，且由第二圖像捕獲裝置捕獲所述表面的所述圖像。
6.根據(jù)權(quán)利要求5所述的方法，其還包括: 同步所述第一圖像捕獲裝置和所述第二圖像捕獲裝置。
7.根據(jù)權(quán)利要求1所述的方法，其還包括: 所述平臺(tái)上的GNSS接收器輸出所述平臺(tái)的位置；和 通過(guò)組合由所述組合的基于特征的過(guò)程和表面追蹤過(guò)程輸出的所述位置和由所述GNSS接收器輸出的所述位置而確定所述平臺(tái)的所述位置。
8.根據(jù)權(quán)利要求1所述的方法，其還包括: 訪問(wèn)與所述至少一個(gè)對(duì)象相關(guān)的地理參考數(shù)據(jù)；和 基于所述至少一個(gè)對(duì)象的所述地理參考數(shù)據(jù)而確定所述平臺(tái)的所述位置。
9.一種基于圖像的方法，用于追蹤含有至少一個(gè)圖像捕獲裝置的平臺(tái)的位置，該方法包括: 用所述圖像捕獲裝置捕獲第一圖像；其中所述第一圖像包括至少一個(gè)對(duì)象； 移動(dòng)所述平臺(tái)，并用所述圖像捕獲裝置捕獲第二圖像；其中所述第二圖像包括所述至少一個(gè)對(duì)象； 使用基于特征的過(guò)程處理所述多個(gè)圖像以追蹤所述對(duì)象的位置； 基于所述基于特征的過(guò)程而輸出所述平臺(tái)的坐標(biāo)； 在所述第一圖像中捕獲表面的圖像； 在所述第二圖像中捕獲所述表面的第二圖像； 使用表面追蹤過(guò)程處理所述表面的所述多個(gè)圖像，以追蹤所述表面的位置； 基于所述表面追蹤過(guò)程而輸出所述平臺(tái)的坐標(biāo)；和 通過(guò)處理由所述基于特征的過(guò)程和所述基于表面的過(guò)程輸出的所述坐標(biāo)而確定所述平臺(tái)的所述位置。
10.根據(jù)權(quán)利要求9所述的方法，其中所述基于特征的過(guò)程是基于同時(shí)定位與地圖創(chuàng)建(SLAM)追蹤過(guò)程。
11.根據(jù)權(quán)利要求9所述的方法，其中所述基于特征的過(guò)程是基于匹配移動(dòng)追蹤過(guò)程。
12.根據(jù)權(quán)利要求9所述的方法，其中所述基于特征的過(guò)程是基于攝影測(cè)量追蹤過(guò)程。
13.根據(jù)權(quán)利要求9所述的方法，其中由第一圖像捕獲裝置捕獲所述對(duì)象的所述圖像，且由第二圖像捕獲裝置捕獲所述表面的所述圖像。
14.根據(jù)權(quán)利要求13所述的方法，其還包括: 同步所述第一圖像捕獲裝置和所述第二圖像捕獲裝置。
15.根據(jù)權(quán)利要求9所述的方法，其還包括: 所述平臺(tái)上的GNSS接收器輸出所述平臺(tái)的位置；和 通過(guò)組合由所述基于特征的過(guò)程、所述基于表面的過(guò)程和所述GNSS接收器輸出的所述位置而確定所述平臺(tái)的所述位置。
16.根據(jù)權(quán)利要求9所述的方法，其還包括: 訪問(wèn)與所述至少一個(gè)對(duì)象相關(guān)的地理參考數(shù)據(jù)；和 基于所述至少一個(gè)對(duì)象的所述地理參考數(shù)據(jù)而確定所述平臺(tái)的所述位置。
17.一種基于圖像的方法，用來(lái)估計(jì)含有圖像捕獲裝置和GNSS接收器的平臺(tái)的位置，所述方法包括:` 使用GNSS接收器確定所述平臺(tái)的位置； 在所述圖像捕獲裝置的第一定位處捕獲至少一個(gè)圖像；其中所述第一圖像包括至少一個(gè)對(duì)象；在所述圖像捕獲裝置的第二定位處捕獲至少一個(gè)圖像；其中所述第二圖像包括所述至少一個(gè)對(duì)象； 處理所述多個(gè)圖像以追蹤所述至少一個(gè)捕獲的對(duì)象的位置；其中從處理所述多個(gè)圖像中獲得針對(duì)所述至少一個(gè)捕獲的對(duì)象的二維定位集，提供所述至少一個(gè)對(duì)象的追蹤數(shù)據(jù)集；通過(guò)使用所述至少一個(gè)對(duì)象的所述追蹤數(shù)據(jù)集而確定所述圖像捕獲裝置的位置； 和 通過(guò)將所述圖像捕獲裝置的所述位置與由所述GNSS接收器確定的所述位置組合而計(jì)算所述平臺(tái)的新位置。
18.根據(jù)權(quán)利要求17所述的方法，其還包括: 使用應(yīng)用于所述至少一個(gè)捕獲的對(duì)象的所述二維(2D)追蹤數(shù)據(jù)集的反投影函數(shù)來(lái)求解所述圖像捕獲裝置的所述定位的三維(3D)坐標(biāo)集。
19.根據(jù)權(quán)利要求17所述的方法，其還包括: 獲得至少三個(gè)特征的二維(2D)追蹤數(shù)據(jù)集，其中所述至少三個(gè)特征的所述二維(2D)追蹤數(shù)據(jù)集被配置來(lái)通過(guò)使用三角測(cè)量法而確定所述圖像捕獲裝置的三維(3D)定位坐標(biāo)。
20.根據(jù)權(quán)利要求17所述的方法，其中所述平臺(tái)選自由以下項(xiàng)組成的組: GNSS移動(dòng)站；GNSS移動(dòng)站RTK系統(tǒng)；和GIS/地圖創(chuàng)建手持設(shè)備。
21.根據(jù)權(quán)利要求17所述的方法，其還包括: 所述平臺(tái)上的第二圖像捕獲裝置； 用所述第二圖像捕獲裝置在所述第一定位處捕獲至少一個(gè)圖像；其中所述第二圖像捕獲裝置的所述第一圖像包括至少一個(gè)第二對(duì)象； 用所述第二圖像捕獲裝置在第二定位處捕獲至少一個(gè)圖像；其中所述第二圖像捕獲裝置的所述第二圖像包括所述至少一個(gè)第二對(duì)象； 處理所述多個(gè)圖像以追蹤所述至少一個(gè)第二對(duì)象的位置；其中從處理所述多個(gè)圖像中獲得針對(duì)所述至少一個(gè)第二對(duì)象的二維定位集，提供所述至少一個(gè)第二對(duì)象的追蹤數(shù)據(jù)集；通過(guò)使用所述至少一個(gè)第二對(duì)象的所述追蹤數(shù)據(jù)集而確定所述第二圖像捕獲裝置的位置； 和 通過(guò)將所述第二圖像捕獲 裝置的所述位置和所述圖像捕獲裝置的所述位置與由所述GNSS接收器確定的所述位置組合而計(jì)算所述平臺(tái)的新位置。
22.根據(jù)權(quán)利要求21所述的方法，其還包括: 確定所述平臺(tái)的所述位置的加權(quán)的基于特征的坐標(biāo)。
23.根據(jù)權(quán)利要求22所述的方法，其還包括: 將第一權(quán)重分配給所述至少一個(gè)第一對(duì)象的追蹤數(shù)據(jù)集； 將第二權(quán)重分配給所述至少一個(gè)第二對(duì)象的追蹤數(shù)據(jù)集； 和 通過(guò)使用所述至少一個(gè)第一對(duì)象的所述加權(quán)追蹤數(shù)據(jù)集和所述至少一個(gè)第二對(duì)象的所述加權(quán)追蹤數(shù)據(jù)集而確定所述平臺(tái)的所述位置的基于特征的坐標(biāo)。
24.根據(jù)權(quán)利要求21所述的方法，其還包括: 通過(guò)組合作為第一測(cè)量值的所述至少一個(gè)第一特征的所述追蹤數(shù)據(jù)集和作為第二測(cè)量值的所述至少一個(gè)第二特征的所述追蹤數(shù)據(jù)集使用卡爾曼濾波器來(lái)獲得所述平臺(tái)的所述第二定位的卡爾曼估計(jì)。
25.一種基于圖像的定位設(shè)備，其包括: 圖像捕獲裝置，其被配置來(lái)捕獲包括至少一個(gè)特征和表面的第一圖像；所述圖像捕獲裝置被配置來(lái)捕獲包括所述至少一個(gè)特征和所述表面的第二圖像； 和 處理器，其被配置來(lái)處理每個(gè)所述圖像；其中所述處理器被配置來(lái)通過(guò)使用組合的基于特征的過(guò)程和表面追蹤過(guò)程而確定所述平臺(tái)的位置。
26.一種基于圖像的定位設(shè)備，其包括: 至少兩個(gè)圖像捕獲裝置； 每個(gè)所述圖像捕獲裝置安裝在平臺(tái)上；所述第一圖像捕獲裝置被配置來(lái)捕獲包括至少一個(gè)特征的圖像；所述第一圖像捕獲裝置被配置來(lái)捕獲包括至少一個(gè)特征的第二圖像；所述第二圖像捕獲裝置被配置來(lái)捕獲包括表面的圖像；所述第二圖像捕獲裝置被配置來(lái)捕獲包括所述表面的第二圖像； 和 處理器，其被配置來(lái)處理每個(gè)所述圖像；其中所述處理器被配置來(lái)通過(guò)使用組合的基于特征的過(guò)程和表面追蹤過(guò)程而確定所述平臺(tái)的位置。
全文摘要
提供用于基于圖像的定位的方法和設(shè)備，其包括用圖像捕獲裝置(34)捕獲第一圖像(126)，其中所述第一圖像包括至少一個(gè)對(duì)象。移動(dòng)平臺(tái)，并用所述圖像捕獲裝置捕獲第二圖像，所述第二圖像包括所述至少一個(gè)對(duì)象。在所述第一圖像中捕獲表面的圖像；在所述第二圖像中捕獲所述表面的第二圖像。使用組合的基于特征的過(guò)程和表面追蹤過(guò)程處理所述對(duì)象和所述表面的多個(gè)圖像，以追蹤所述表面的位置(134)。最后，通過(guò)處理所述組合的基于特征的過(guò)程和基于表面的過(guò)程而確定所述平臺(tái)的位置(138)。
文檔編號(hào)G06K9/32GK103119611SQ201180031443
公開(kāi)日2013年5月22日 申請(qǐng)日期2011年6月23日 優(yōu)先權(quán)日2010年6月25日
發(fā)明者O·P·蘇博拉, S·B·王, H·滕, G·C·拜斯特, B·M·舍青格, P·G·弗朗斯, J·M·揚(yáng)基 申請(qǐng)人:天寶導(dǎo)航有限公司