移動(dòng)設(shè)備上的同步定位與映射的制作方法
【專利摘要】本發(fā)明公開了一種在真實(shí)環(huán)境中跟蹤包括至少一個(gè)相機(jī)的移動(dòng)設(shè)備的方法，該方法包括以下步驟：接收與由至少一個(gè)相機(jī)所捕獲的至少一個(gè)圖像相關(guān)聯(lián)的圖像信息；基于由車輛的至少一個(gè)傳感器在采集過程中所采集的環(huán)境數(shù)據(jù)或車輛狀態(tài)數(shù)據(jù)來生成真實(shí)環(huán)境的至少一部分的第一幾何模型，該車輛不同于移動(dòng)設(shè)備；以及基于與至少一個(gè)圖像相關(guān)聯(lián)的圖像信息并且至少部分地根據(jù)第一幾何模型來執(zhí)行跟蹤過程，其中該跟蹤過程確定移動(dòng)設(shè)備相對(duì)于真實(shí)環(huán)境的姿態(tài)的至少一個(gè)參數(shù)。本發(fā)明還涉及一種使用來自移動(dòng)設(shè)備的至少一個(gè)相機(jī)的圖像信息來生成真實(shí)環(huán)境的至少一部分的幾何模型的方法。
【專利說明】
移動(dòng)設(shè)備上的同步定位與映射
【背景技術(shù)】
[0001]本公開涉及一種在真實(shí)環(huán)境中跟蹤包括至少一個(gè)相機(jī)的移動(dòng)設(shè)備的方法，并且涉及一種使用來自移動(dòng)設(shè)備的至少一個(gè)相機(jī)的圖像信息來生成真實(shí)環(huán)境的至少一部分的幾何模型的方法，該方法包括接收與由至少一個(gè)相機(jī)所捕獲的至少一個(gè)圖像相關(guān)聯(lián)的圖像信息。
[0002]真實(shí)環(huán)境的相機(jī)姿態(tài)估計(jì)和/或數(shù)字重組是許多應(yīng)用或領(lǐng)域諸如機(jī)器人導(dǎo)航、3D對(duì)象重建、增強(qiáng)現(xiàn)實(shí)可視化等中常見的富有挑戰(zhàn)性的任務(wù)。例如，已知系統(tǒng)和應(yīng)用諸如增強(qiáng)現(xiàn)實(shí)(AR)系統(tǒng)和應(yīng)用可通過提供將計(jì)算機(jī)生成的虛擬信息與真實(shí)環(huán)境的視圖疊加的可視化來增強(qiáng)真實(shí)環(huán)境的信息。虛擬信息可以是任何類型的視覺感知數(shù)據(jù)，諸如對(duì)象、文本、圖片、視頻或它們的組合。真實(shí)環(huán)境的視圖可作為視覺印象由用戶的眼睛感知和/或作為由用戶所持的相機(jī)捕獲或在用戶所持的設(shè)備上附接的一個(gè)或多個(gè)圖像來采集。
[0003]相機(jī)姿態(tài)估計(jì)的任務(wù)在于計(jì)算相機(jī)和參考對(duì)象(或環(huán)境)之間的空間關(guān)系或變換。相機(jī)運(yùn)動(dòng)估計(jì)在于計(jì)算相機(jī)在一個(gè)位置與相機(jī)在另一位置之間的空間關(guān)系或變換。相機(jī)運(yùn)動(dòng)也被稱為相機(jī)姿態(tài)，該相機(jī)姿態(tài)描述相機(jī)在一個(gè)位置相對(duì)于同一相機(jī)在另一位置的姿態(tài)。相機(jī)姿態(tài)或運(yùn)動(dòng)估計(jì)也被稱為跟蹤相機(jī)?？臻g關(guān)系或變換描述3D空間中的平移、旋轉(zhuǎn)或它們的組合。
[0004]基于視覺的方法被稱為用于計(jì)算相機(jī)姿態(tài)或運(yùn)動(dòng)的穩(wěn)健且受歡迎的方法?；谝曈X的方法基于由相機(jī)所捕獲的環(huán)境的一個(gè)或多個(gè)圖像來計(jì)算相機(jī)相對(duì)于環(huán)境的姿態(tài)(或運(yùn)動(dòng))。此類基于視覺的方法依賴于所捕獲的圖像并且需要圖像中的可檢測(cè)到的視覺特征。
[0005]基于計(jì)算機(jī)視覺(CV)的同步定位與映射(SLAM)(如參考文獻(xiàn)[I]所述的)是用于在無需環(huán)境的任何預(yù)備知識(shí)的情況下確定相機(jī)相對(duì)于真實(shí)環(huán)境的姿態(tài)和/或取向并創(chuàng)建真實(shí)環(huán)境的幾何模型的熟知的技術(shù)。真實(shí)環(huán)境的幾何模型的創(chuàng)建也被稱為環(huán)境的重建?；谝曈X的SLAM可促成許多應(yīng)用，諸如機(jī)器人系統(tǒng)或車輛的導(dǎo)航。具體地，支持未知真實(shí)環(huán)境中的移動(dòng)增強(qiáng)現(xiàn)實(shí)(AR)將是很有前途的技術(shù)。
[0006]許多SLAM系統(tǒng)必須初始化，以便獲得環(huán)境模型的初始部分。初始化必須利用相機(jī)在采集真實(shí)環(huán)境的兩個(gè)圖像之間的不同移動(dòng)來完成。不同移動(dòng)需要從兩個(gè)不同相機(jī)位置捕獲兩個(gè)圖像，該兩個(gè)不同相機(jī)位置相比于到環(huán)境的距離具有足夠的位移。需注意，僅旋轉(zhuǎn)的相機(jī)運(yùn)動(dòng)產(chǎn)生不良結(jié)果(見參考文獻(xiàn)[3])。使用AR中的特別是手持式或移動(dòng)AR中的SLAM設(shè)備的主要限制中的一個(gè)主要限制在于其絕不容易使用而需要用戶以某種方式移動(dòng)設(shè)備以使系統(tǒng)工作。如Gaugl i tz等人在參考文獻(xiàn)[3 ]中所指出的，僅旋轉(zhuǎn)的相機(jī)移動(dòng)是用戶在真實(shí)環(huán)境中環(huán)顧四周的自然運(yùn)動(dòng)并且通常發(fā)生在許多AR應(yīng)用中。然而，僅旋轉(zhuǎn)的相機(jī)運(yùn)動(dòng)對(duì)于單目SLAM可產(chǎn)生不良結(jié)果。
[0007]此外，單個(gè)相機(jī)并不測(cè)量度量尺度。使用AR中的單目SLAM系統(tǒng)的另一限制在于取決于作為待定因數(shù)的尺度的復(fù)原的相機(jī)姿態(tài)和環(huán)境的幾何模型(見參考文獻(xiàn)[4])。待定縮放因數(shù)對(duì)將虛擬視覺信息準(zhǔn)確地疊加到相機(jī)圖像中的真實(shí)環(huán)境提出了挑戰(zhàn)。
[0008]當(dāng)前，許多城市或建筑物的幾何模型是從3D重建或由它們的藍(lán)圖獲得的。然而，由于城市建設(shè)的頻繁發(fā)展或變化，大多數(shù)這些模型并非是最新的。具體地，由于停放車輛隨時(shí)間變化，因此停車場(chǎng)通常沒有幾何模型或最新模型。
[0009]圖4A中示出了示例性場(chǎng)景。用戶4a05將他的車輛4a03停放在停車場(chǎng)。在停放車輛之后，用戶可使用其配備有相機(jī)的移動(dòng)設(shè)備4a04根據(jù)基于視覺的跟蹤例如SLAM來運(yùn)行導(dǎo)航或增強(qiáng)現(xiàn)實(shí)應(yīng)用。相機(jī)的搜索范圍/映射空間由區(qū)域4a06(源于用戶手中的移動(dòng)設(shè)備)可視化地示出。用戶需要在不同移動(dòng)中手動(dòng)地移動(dòng)相機(jī)(S卩，移動(dòng)設(shè)備4a04)，以采集至少兩個(gè)圖像以便初始化SLAM(S卩，根據(jù)所采集的兩個(gè)圖像來創(chuàng)建幾何模型)。另外，尺度和精確配準(zhǔn)對(duì)于初始化可能存在問題。
[0010]針對(duì)AR應(yīng)用并且尤其針對(duì)移動(dòng)手持式AR應(yīng)用，已開發(fā)出各種基于單目視覺的SLAM系統(tǒng)。它們的使用中常見的挑戰(zhàn)和局限性包括SLAM系統(tǒng)的初始化和度量縮放因數(shù)的確定。SLAM系統(tǒng)的初始化需要相機(jī)的不同移動(dòng)以采集真實(shí)環(huán)境的兩個(gè)圖像，使得從兩個(gè)不同的相機(jī)位置捕獲兩個(gè)圖像，該兩個(gè)不同的相機(jī)位置相比于到環(huán)境的距離具有足夠的位移。相機(jī)姿態(tài)估計(jì)和任何所生成幾何模型的質(zhì)量明確地取決于初始化。
[0011 ]實(shí)現(xiàn)相機(jī)的不同移動(dòng)以得到合格的SLAM初始化在手持式AR應(yīng)用中富有挑戰(zhàn)性，其中手持相機(jī)的用戶可能對(duì)相機(jī)移動(dòng)的重要性并無意識(shí)甚至難于實(shí)現(xiàn)不同的移動(dòng)，如圖4A的場(chǎng)景中可能就是這種情況。因此，希望使啟動(dòng)簡(jiǎn)化或乃至使其對(duì)用戶不可見。
[0012]此外，單個(gè)相機(jī)并不測(cè)量度量尺度。相機(jī)姿態(tài)和來自基于單目視覺的SLAM的所重建的環(huán)境模型取決于待定縮放因數(shù)。合適的縮放因數(shù)限定真實(shí)的相機(jī)姿態(tài)和重建環(huán)境模型在真實(shí)世界中的尺寸。
[0013]第一熟知的基于單目視覺的SLAM系統(tǒng)是由Davison等人(參考文獻(xiàn)[I])開發(fā)的。他們需要相機(jī)在采集針對(duì)區(qū)域環(huán)境的每個(gè)新近觀察到的部分的圖像之間具有足夠的位移。為了確定合適的度量縮放因數(shù)，他們引入具有已知幾何尺寸的附加標(biāo)定對(duì)象。
[0014]Lemaire等人在參考文獻(xiàn)[5]中提出使用立體相機(jī)系統(tǒng)來解決要求相機(jī)移動(dòng)和確定縮放因數(shù)的問題。然而，使用立體相機(jī)僅為部分解決方案，因?yàn)閮蓚€(gè)相機(jī)之間的位移相對(duì)于到環(huán)境的距離必須很顯著，以便可靠地計(jì)算出環(huán)境的深度。因此，手持式立體系統(tǒng)將無法完全解決問題，并且需要用戶提供附加的不同移動(dòng)仍為不可或缺的。
[0015]Lieberknecht等人在參考文獻(xiàn)[6]中通過采用提供與圖像像素相關(guān)的深度信息的RGB-D相機(jī)來將深度信息結(jié)合到基于單目視覺的SLAM中，以允許準(zhǔn)確縮放的相機(jī)姿態(tài)估計(jì)。可根據(jù)已知深度信息來確定縮放因數(shù)。然而，相比于正常RGB相機(jī)，RGB-D相機(jī)設(shè)備在手持式設(shè)備例如移動(dòng)電話或PDA中并不常用。另外，應(yīng)作為集成到手持式設(shè)備中的候選者的常見的低成本RGB-D相機(jī)通?；诩t外投影，諸如來自Microsoft的Kinect系統(tǒng)或來自Asus的Xt1n Pro。這些系統(tǒng)為現(xiàn)成的商品廉價(jià)消費(fèi)型設(shè)備。
[0016]US 8 150 142 B2和US 7 433 024 B2描述了RGB-D傳感器的詳細(xì)的可能的實(shí)現(xiàn)方式。然而，在日間于戶外使用時(shí)，由于日光的存在，這些系統(tǒng)存在問題。
[0017]Gauglitz等人在參考文獻(xiàn)[3]中開發(fā)了可用于一般相機(jī)運(yùn)動(dòng)和僅旋轉(zhuǎn)的相機(jī)運(yùn)動(dòng)的相機(jī)姿態(tài)估計(jì)和環(huán)境模型生成系統(tǒng)。對(duì)于僅旋轉(zhuǎn)的運(yùn)動(dòng)，他們的方法創(chuàng)建了真實(shí)環(huán)境的全景地圖，而不是真實(shí)環(huán)境的3D幾何模型。

【發(fā)明內(nèi)容】

[0018]本公開的一個(gè)目的在于提供一種在真實(shí)環(huán)境中跟蹤包括至少一個(gè)相機(jī)的移動(dòng)設(shè)備的方法，以及一種使用來自移動(dòng)設(shè)備的至少一個(gè)相機(jī)的圖像信息來生成真實(shí)環(huán)境的至少一部分的幾何模型的方法，其中使用SLAM方法的挑戰(zhàn)和局限性(諸如初始化)減小并且對(duì)于用戶來說啟動(dòng)得到簡(jiǎn)化。
[0019]根據(jù)一個(gè)方面，提供了一種在真實(shí)環(huán)境中跟蹤包括至少一個(gè)相機(jī)的移動(dòng)設(shè)備的方法，該方法包括:接收與由至少一個(gè)相機(jī)所捕獲的至少一個(gè)圖像相關(guān)聯(lián)的圖像信息;基于由車輛的至少一個(gè)傳感器在采集過程中所采集的環(huán)境數(shù)據(jù)或車輛狀態(tài)數(shù)據(jù)來生成真實(shí)環(huán)境的至少一部分的第一幾何模型，該車輛不同于移動(dòng)設(shè)備；以及基于與至少一個(gè)圖像相關(guān)聯(lián)的圖像信息并且至少部分地根據(jù)第一幾何模型來執(zhí)行跟蹤過程，其中該跟蹤過程確定移動(dòng)設(shè)備相對(duì)于真實(shí)環(huán)境的姿態(tài)的至少一個(gè)參數(shù)。
[0020]根據(jù)另一方面，提供了一種使用來自移動(dòng)設(shè)備的至少一個(gè)相機(jī)的圖像信息來生成真實(shí)環(huán)境的至少一部分的幾何模型的方法，該方法包括:接收與由至少一個(gè)相機(jī)所捕獲的至少一個(gè)圖像相關(guān)聯(lián)的圖像信息;基于由車輛的至少一個(gè)傳感器在采集過程中所采集的環(huán)境數(shù)據(jù)或車輛狀態(tài)數(shù)據(jù)來生成真實(shí)環(huán)境的至少一部分的第一幾何模型，該車輛不同于移動(dòng)設(shè)備；以及基于與至少一個(gè)圖像相關(guān)聯(lián)的圖像信息并且至少部分地根據(jù)第一幾何模型來生成真實(shí)環(huán)境的至少一部分的第二幾何模型。
[0021]根據(jù)本發(fā)明，在真實(shí)環(huán)境中跟蹤配備有至少一個(gè)相機(jī)的移動(dòng)設(shè)備和/或使用至少一個(gè)相機(jī)來生成環(huán)境的幾何模型通過使用與由至少一個(gè)相機(jī)所捕獲的至少一個(gè)圖像相關(guān)聯(lián)的圖像信息來執(zhí)行。跟蹤移動(dòng)設(shè)備或生成第二幾何模型至少部分地根據(jù)已知真實(shí)環(huán)境或真實(shí)環(huán)境的一部分的第一幾何模型來執(zhí)行。第一幾何模型基于由車輛的至少一個(gè)傳感器所采集的環(huán)境數(shù)據(jù)來創(chuàng)建。具體地，在車輛行駛在環(huán)境中時(shí)采集環(huán)境數(shù)據(jù)。
[0022]移動(dòng)設(shè)備可在用于采集環(huán)境數(shù)據(jù)的采集過程或采集過程的一部分期間被車輛傳送。這樣，采集過程在移動(dòng)設(shè)備被車輛傳送時(shí)至少部分地被執(zhí)行。跟蹤移動(dòng)設(shè)備或生成第二幾何模型可在環(huán)境數(shù)據(jù)的采集過程或采集過程的一部分之后的某一時(shí)間段內(nèi)執(zhí)行。某一時(shí)間段可為2小時(shí)、12小時(shí)或24小時(shí)。
[0023]車輛具體地為可運(yùn)送一個(gè)或多個(gè)人或貨物的移動(dòng)式機(jī)器。車輛可以是諸如不限于自行車、摩托車、汽車、卡車、鏟車、飛機(jī)或直升機(jī)。車輛可具有或不具有發(fā)動(dòng)機(jī)。
[0024]采集用于創(chuàng)建第一幾何模型的環(huán)境數(shù)據(jù)可在任何時(shí)間或僅在滿足某些條件時(shí)例如在車輛接近導(dǎo)航系統(tǒng)已知的設(shè)定目的地時(shí)、在車輛的速度低于某一閾值等時(shí)開始。某一條件也可以是車輛的若干種狀態(tài)中的一種狀態(tài)，例如速度、里程儀、發(fā)動(dòng)機(jī)的狀態(tài)、制動(dòng)系統(tǒng)、齒輪的位置、光線、飛機(jī)逃生椅(即，彈射椅)的狀態(tài)等。某一條件還可以是移動(dòng)設(shè)備的若干種狀態(tài)中的一種狀態(tài)，例如移動(dòng)設(shè)備處于車輛內(nèi)部或外部、移動(dòng)設(shè)備到目的地的距離、移動(dòng)設(shè)備與車輛運(yùn)動(dòng)不一致的突發(fā)運(yùn)動(dòng)(例如，相對(duì)于車輛的突發(fā)加速)等。
[0025]根據(jù)一個(gè)實(shí)施方案，第一幾何模型的至少一部分可根據(jù)由至少一個(gè)相機(jī)所捕獲的一個(gè)或多個(gè)圖像而生成。
[0026]根據(jù)一個(gè)實(shí)施方案，生成第二幾何模型在采集過程或采集過程的一部分之后的設(shè)定時(shí)間段內(nèi)被執(zhí)行，優(yōu)選地在24小時(shí)內(nèi)被執(zhí)行。
[0027]根據(jù)另一個(gè)實(shí)施方案，生成第二幾何模型進(jìn)一步基于與由至少一個(gè)相機(jī)所捕獲的至少一個(gè)另外的圖像相關(guān)聯(lián)的所接收的圖像信息或進(jìn)一步基于與至少一個(gè)圖像相關(guān)聯(lián)的所接收的深度信息。
[0028]根據(jù)一個(gè)實(shí)施方案，第二幾何模型通過延伸第一幾何模型而生成。
[0029]優(yōu)選地，采集過程在車輛正在移動(dòng)時(shí)至少部分地被執(zhí)行并且傳感器數(shù)據(jù)是在不同車輛位置處從車輛的至少一個(gè)傳感器采集的。
[0030]根據(jù)一個(gè)實(shí)施方案，根據(jù)車輛的位置和車輛的至少一個(gè)設(shè)定目的地來采集環(huán)境數(shù)據(jù)。例如，環(huán)境數(shù)據(jù)在車輛到達(dá)至少一個(gè)目的地之后被采集，或者環(huán)境數(shù)據(jù)在車輛在距至少一個(gè)目的地的距離內(nèi)的情況下被采集，或者環(huán)境數(shù)據(jù)根據(jù)車輛的位置、車輛的速度和至少一個(gè)目的地而被采集。
[0031]根據(jù)一個(gè)實(shí)施方案，第一幾何模型進(jìn)一步基于與由被放置在真實(shí)環(huán)境中的另外的相機(jī)所捕獲的至少一個(gè)圖像相關(guān)聯(lián)的圖像信息而生成，該另外的相機(jī)不同于移動(dòng)設(shè)備的相機(jī)。
[0032]根據(jù)一個(gè)實(shí)施方案，車輛的至少一個(gè)傳感器包括至少兩個(gè)車用相機(jī)，在車用相機(jī)之間具有已知空間關(guān)系，并且第一幾何模型的度量尺度根據(jù)空間關(guān)系來確定。
[0033]根據(jù)另一個(gè)實(shí)施方案，生成第一幾何模型或第一幾何模型的一部分由車輛的處理設(shè)備來執(zhí)行，并且第一幾何模型從車輛傳輸至移動(dòng)設(shè)備。例如，第一幾何模型經(jīng)由服務(wù)器計(jì)算機(jī)、經(jīng)由車輛和移動(dòng)設(shè)備之間的點(diǎn)到點(diǎn)通信或經(jīng)由廣播或多播通信(例如車輛數(shù)據(jù))從車輛傳輸至移動(dòng)設(shè)備。
[0034]根據(jù)一個(gè)實(shí)施方案，環(huán)境數(shù)據(jù)從車輛傳輸至移動(dòng)設(shè)備，并且生成第一幾何模型或第一幾何模型的一部分在移動(dòng)設(shè)備上執(zhí)行。例如，環(huán)境數(shù)據(jù)經(jīng)由服務(wù)器計(jì)算機(jī)或經(jīng)由車輛和移動(dòng)設(shè)備之間的點(diǎn)到點(diǎn)通信從車輛傳輸至移動(dòng)設(shè)備。
[0035]根據(jù)另一個(gè)實(shí)施方案，環(huán)境數(shù)據(jù)從車輛傳輸至服務(wù)器計(jì)算機(jī)，并且生成第一幾何模型或第一幾何模型的一部分在服務(wù)器計(jì)算機(jī)上執(zhí)行。
[0036]根據(jù)一個(gè)實(shí)施方案，第一幾何模型具有由車載傳感器諸如雷達(dá)、距離傳感器和/或渡越時(shí)間傳感器，和/或加速度計(jì)，和/或陀螺儀，和/或GPS，和/或星體跟蹤器所確定的和/或基于車輛的狀態(tài)諸如車輛的速度的合適的度量尺度。
[0037]例如，提供到目的地的一條或多條路線并采集環(huán)境數(shù)據(jù)，和/或根據(jù)所提供的路線中的一條或多條路線來生成第一幾何模型。
[0038]根據(jù)一個(gè)實(shí)施方案，第一幾何模型和第二幾何模型中的至少一者至少描述了真實(shí)環(huán)境的深度信息。
[0039]優(yōu)選地，移動(dòng)設(shè)備為用戶便攜的設(shè)備，尤其為手持式設(shè)備、移動(dòng)電話、頭戴式眼鏡或頭盔、可穿戴設(shè)備或植入式設(shè)備。
[0040]在優(yōu)選的實(shí)施方案中，該方法被適配為用于用于在移動(dòng)設(shè)備上運(yùn)行的增強(qiáng)現(xiàn)實(shí)和/或?qū)Ш綉?yīng)用的方法。
[0041]根據(jù)一個(gè)實(shí)施方案，在跟蹤過程中或?yàn)榱松傻诙缀文Ｐ?，?zhí)行基于視覺的跟蹤。例如，基于視覺的跟蹤為基于視覺的同步定位與映射(SLAM)?；谝曈X的跟蹤可包括特征提取、特征描述、特征匹配和姿態(tài)確定。例如，所使用的特征為以下各項(xiàng)中的至少一者或它們的組合:強(qiáng)度、梯度、邊緣、線段、區(qū)段、拐角、描述性特征、基元、直方圖、極性和取向。
[0042]因此，本發(fā)明描述了一種支持基于視覺的跟蹤或環(huán)境重建的方法。本發(fā)明所公開的方法還可去除對(duì)不同相機(jī)移動(dòng)的要求，以初始化單目SLAM，如上所述。
[0043]根據(jù)另一方面，本發(fā)明還涉及包括軟件代碼段的計(jì)算機(jī)程序產(chǎn)品，所述軟件代碼段被適配為執(zhí)行根據(jù)本發(fā)明所述的方法。具體地，軟件代碼段被包含在非暫態(tài)計(jì)算機(jī)可讀介質(zhì)上。軟件代碼段可被加載到本文所述的一個(gè)或多個(gè)處理設(shè)備的存儲(chǔ)器中。任何所使用的處理設(shè)備可經(jīng)由通信網(wǎng)絡(luò)例如經(jīng)由本文所述的服務(wù)器計(jì)算機(jī)或點(diǎn)到點(diǎn)通信進(jìn)行通信。
【附圖說明】
[0044]現(xiàn)在將相對(duì)于附圖來描述本發(fā)明的方面和實(shí)施方案，其中:
[0045]圖1示出了根據(jù)本發(fā)明的實(shí)施方案的使用SLAM的方法的流程圖，
[0046]圖2示出了檢測(cè)、描述和匹配可用于跟蹤或重建方法的特征的示例性實(shí)施方案，
[0047]圖3示出了根據(jù)本發(fā)明的實(shí)施方案的基于由車輛的傳感器所采集的環(huán)境數(shù)據(jù)生成環(huán)境的幾何模型并基于所生成的環(huán)境模型來跟蹤設(shè)備的方法的流程圖，
[0048]圖4A示出了用戶將其車輛停放在如上所述的停車場(chǎng)的示例性場(chǎng)景，
[0049]圖4B示出了根據(jù)本發(fā)明的實(shí)施方案的在停放車輛時(shí)的示例性應(yīng)用場(chǎng)景，
[0050]圖5示出了基于相機(jī)的圖像來使一組當(dāng)前特征與一組參考特征相匹配的跟蹤方法的實(shí)施方案的流程圖，
[0051 ]圖6示出了三角測(cè)量的標(biāo)準(zhǔn)概念。
【具體實(shí)施方式】
[0052]雖然下文參考某些部件描述了各種實(shí)施方案，但在實(shí)現(xiàn)這些實(shí)施方案中的任何實(shí)施方案時(shí)，也可使用本文所述或?qū)Ρ绢I(lǐng)域技術(shù)人員顯而易見的部件的任何其他配置。
[0053]在下文中，描述了實(shí)施方案和示例性場(chǎng)景，它們不得理解為限制本發(fā)明。
[0054]增強(qiáng)現(xiàn)實(shí):
[0055]增強(qiáng)現(xiàn)實(shí)系統(tǒng)可通過計(jì)算機(jī)生成信息來呈現(xiàn)真實(shí)環(huán)境的增強(qiáng)信息。真實(shí)環(huán)境可通過提供計(jì)算機(jī)生成的音頻信息來增強(qiáng)。一個(gè)示例為基于使用GPS數(shù)據(jù)或其他跟蹤技術(shù)通過計(jì)算機(jī)生成的口頭指令在真實(shí)環(huán)境中對(duì)視障者進(jìn)行導(dǎo)航。計(jì)算機(jī)生成信息也可以是觸覺反饋，例如移動(dòng)電話的振動(dòng)。在導(dǎo)航應(yīng)用中，AR系統(tǒng)可生成振動(dòng)，以在用戶走錯(cuò)路的情況下警告該用戶。
[0056]公認(rèn)的增強(qiáng)現(xiàn)實(shí)在于通過提供將計(jì)算機(jī)生成的虛擬視覺信息與真實(shí)環(huán)境的視覺印象或圖像疊加的可視化來在視覺上增強(qiáng)真實(shí)環(huán)境。虛擬信息可以是任何類型的視覺感知數(shù)據(jù)，諸如對(duì)象、文本、圖片、視頻或它們的組合。真實(shí)環(huán)境可作為視覺印象由用戶的眼睛捕獲或者作為一個(gè)或多個(gè)圖像由用戶所佩戴的或在用戶所持的設(shè)備上附接的相機(jī)來采集。虛擬視覺信息在適當(dāng)時(shí)間、適當(dāng)?shù)攸c(diǎn)并且以適當(dāng)方式與相機(jī)圖像或視覺印象中的真實(shí)環(huán)境或真實(shí)環(huán)境的一部分相疊合或疊加，以向用戶提供滿意的視覺感知。
[0057]例如在具有半透明玻璃的熟知的光學(xué)透視式顯示器中，用戶可看到虛擬視覺信息與真實(shí)環(huán)境的疊加信息。然后用戶透過半透明玻璃看到利用融入到玻璃中的虛擬視覺信息增強(qiáng)的真實(shí)環(huán)境的對(duì)象。用戶也可在具有相機(jī)和正常顯示設(shè)備諸如顯示屏的熟知的視頻透視式顯示器中看到虛擬信息與真實(shí)環(huán)境的疊加。真實(shí)環(huán)境由相機(jī)來捕獲并且在顯示器中虛擬數(shù)據(jù)與真實(shí)環(huán)境的疊加被顯示給用戶。
[0058]虛擬視覺信息應(yīng)在圖像內(nèi)或視覺印象內(nèi)的期望像素位置處與真實(shí)環(huán)境相疊加，例如以透視式合適方式，即來源于所觀察的真實(shí)環(huán)境。為了實(shí)現(xiàn)這一目標(biāo)，相機(jī)或用戶眼睛的姿態(tài)即相對(duì)于真實(shí)環(huán)境或真實(shí)環(huán)境的一部分的取向和位置必須是已知的(例如，見參考文獻(xiàn)[2])。此外，優(yōu)選虛擬視覺信息與真實(shí)環(huán)境相疊加以實(shí)現(xiàn)虛擬視覺信息與真實(shí)環(huán)境之間的視覺上合適的遮擋感知或深度感知。為此，通常需要真實(shí)環(huán)境的幾何模型或深度地圖，如參考文獻(xiàn)[2]中所述的。
[0059]基于單目視覺(S卩，基于單個(gè)相機(jī))的SLAM是一種用于生成相機(jī)姿態(tài)并創(chuàng)建針對(duì)AR應(yīng)用的幾何環(huán)境模型的有前途的技術(shù)。單目SLAM對(duì)于運(yùn)行在配備有單個(gè)相機(jī)的手持式設(shè)備上的移動(dòng)AR應(yīng)用特別有益，這是因?yàn)椴东@真實(shí)環(huán)境的相機(jī)圖像通常是用于相機(jī)姿態(tài)估計(jì)和環(huán)境模型生成的方式。對(duì)于光學(xué)透視式顯示器，在相機(jī)與眼睛具有固定關(guān)系的情況下，用戶眼睛的姿態(tài)可根據(jù)相機(jī)姿態(tài)而確定。
[0060]本發(fā)明的一個(gè)示例性場(chǎng)景:
[0061]當(dāng)前，人們通常利用從導(dǎo)航系統(tǒng)提供的指導(dǎo)開車到目的地，就像在一個(gè)未知的城市一樣。導(dǎo)航系統(tǒng)可具有運(yùn)行在移動(dòng)計(jì)算設(shè)備上或汽車的嵌入式系統(tǒng)上的導(dǎo)航軟件。導(dǎo)航系統(tǒng)(或軟件)可計(jì)算到目的地的一條或多條路線。然而，通常無法在目的地處或其附近找到停車位。因此，人們不得不將車停放在不同于路線最終目的地的另一地點(diǎn)并切換成其他交通方式(例如，步行)，以到達(dá)最終目的地。在陌生環(huán)境中，人們可能有困難或花更多努力來找到從車輛停放地點(diǎn)通往目的地的路線。針對(duì)這種情況，本發(fā)明提出根據(jù)基于由汽車的傳感器所采集的環(huán)境數(shù)據(jù)所創(chuàng)建的環(huán)境的幾何模型來在配備有相機(jī)的手持式設(shè)備上運(yùn)行導(dǎo)航。
[0062]通常，人們可開車到達(dá)他們可能找不到停車位的目的地，因此他們將可能繼續(xù)開車直到找到免費(fèi)停車位。然后，人們將從車輛停放地返回到目的地?？稍谲囕v到達(dá)目的地之后或時(shí)開始用于采集環(huán)境數(shù)據(jù)(例如，圖像、GPS數(shù)據(jù)等)的采集過程并且在停放車輛時(shí)(例如，關(guān)閉發(fā)動(dòng)機(jī))結(jié)束該采集過程。然后，可基于所采集的環(huán)境數(shù)據(jù)來創(chuàng)建目的地和實(shí)際停放車輛的地點(diǎn)之間的真實(shí)環(huán)境的數(shù)字幾何模型。該幾何模型連同配備有相機(jī)的手持式設(shè)備可用于指導(dǎo)人們通往目的地。
[0063]作為進(jìn)一步的場(chǎng)景，用戶將他的車停放在真實(shí)環(huán)境中，然后可運(yùn)行其配備有相機(jī)的手持式設(shè)備上的導(dǎo)航或增強(qiáng)現(xiàn)實(shí)(AR)應(yīng)用。導(dǎo)航和AR應(yīng)用可能需要設(shè)備相對(duì)于環(huán)境的已知姿態(tài)。為此，環(huán)境的幾何模型可用于確定設(shè)備的姿態(tài)，如本文前面所述的。
[0064]附接至移動(dòng)設(shè)備的相機(jī)是用于跟蹤設(shè)備并重建環(huán)境的幾何模型的適當(dāng)傳感器?；谝曈X的跟蹤常常需要環(huán)境的已知幾何模型并且姿態(tài)估計(jì)可基于幾何模型與相機(jī)圖像之間的對(duì)應(yīng)關(guān)系?；趩文恳曈X的SLAM可執(zhí)行真實(shí)環(huán)境中的相機(jī)的跟蹤并同時(shí)在預(yù)先沒有環(huán)境的幾何模型的情況下生成環(huán)境的幾何模型(見參考文獻(xiàn)[I])。然而，必須通過使相機(jī)移動(dòng)不同位移來創(chuàng)建環(huán)境的初始模型以初始化單目SLAM。
[0065]從頭開始手動(dòng)地初始化單目SLAM很具有挑戰(zhàn)性，因?yàn)閷?duì)于用戶來說，使手持式設(shè)備的相機(jī)移動(dòng)足夠的位移并不直觀。用戶必須手動(dòng)地初始化單目SLAM。具體地，基于尺度和圖像的跟蹤或重建可能存在問題。
[0066]返回到上述示例性場(chǎng)景并且現(xiàn)在參見圖4B，假設(shè)有兩輛車4b21和4b22停放在停車場(chǎng)(見圖4B，描述4b01)。根據(jù)本發(fā)明的實(shí)施方案，在車輛在環(huán)境4bl0中行駛以尋找停車位時(shí)，真實(shí)環(huán)境4bl0的幾何模型4b09是由車輛4bll的車用相機(jī)4bl4的一個(gè)或多個(gè)圖像生成的(見圖4B，描述4b02、4b03和仙04)。41312指示車用相機(jī)4bl4的視野。所生成的幾何模型4b09的范圍由描述4b06中的圓點(diǎn)示意性地表示。在停車之后，環(huán)境的幾何模型4b09在配備有車輛乘客41313的相機(jī)的移動(dòng)設(shè)備41308處是可用的。41307不出了附接至移動(dòng)設(shè)備41308的相機(jī)的視野。然后，乘客可使用幾何模型4b09或模型4b09的一部分以及由移動(dòng)設(shè)備4b08的相機(jī)所捕獲的圖像來跟蹤真實(shí)環(huán)境中的移動(dòng)設(shè)備4b08、創(chuàng)建真實(shí)環(huán)境的另一幾何模型，和/或擴(kuò)展幾何模型4b09。
[0067]圖3示出了根據(jù)本發(fā)明的實(shí)施方案的基于由車輛的傳感器所采集的環(huán)境數(shù)據(jù)來生成真實(shí)環(huán)境的幾何模型并基于所生成的環(huán)境模型來跟蹤移動(dòng)設(shè)備的方法的流程圖。假設(shè)車輛正在真實(shí)環(huán)境中行駛(圖3，步驟301)。
[0068]在環(huán)境中或在整個(gè)環(huán)境中駕駛車輛期間，可由被安裝在車輛上的一個(gè)或多個(gè)傳感器來采集環(huán)境數(shù)據(jù)H)?？捎捎脩羰謩?dòng)地啟動(dòng)、恢復(fù)、暫停/或停止環(huán)境數(shù)據(jù)ED的采集過程。在滿足某些條件的情況下，采集過程也可自動(dòng)地啟動(dòng)、恢復(fù)、暫停/或停止(步驟302)，例如在車輛接近導(dǎo)航系統(tǒng)已知的設(shè)定目的地時(shí)，或者在車輛的速度低于某一閾值時(shí)，等等。某一條件還可以是車輛的若干種狀態(tài)中的一種狀態(tài)，例如速度、里程計(jì)、發(fā)動(dòng)機(jī)的狀態(tài)、制動(dòng)系統(tǒng)、齒輪的位置、光線、另一對(duì)象到車輛前方或后方的距離、駕駛室門的開/關(guān)狀態(tài)、方向盤鎖、手剎、車尾行李箱的開/關(guān)狀態(tài)、飛機(jī)逃生椅(即，彈射椅)的狀態(tài)、飛機(jī)機(jī)艙壓力或上述的組合。某一條件還可以是移動(dòng)設(shè)備408的若干種狀態(tài)中的一種狀態(tài)，例如移動(dòng)設(shè)備處于車輛內(nèi)部或外部、移動(dòng)設(shè)備到目的地的距離、移動(dòng)設(shè)備與車輛運(yùn)動(dòng)不一致的突發(fā)運(yùn)動(dòng)(例如，相對(duì)于車輛的突發(fā)加速)等。
[0069]在滿足啟動(dòng)或恢復(fù)采集環(huán)境數(shù)據(jù)的一個(gè)或多個(gè)條件時(shí)，或者在用戶手動(dòng)地觸發(fā)啟動(dòng)或恢復(fù)時(shí)，環(huán)境數(shù)據(jù)ED的采集被啟動(dòng)或恢復(fù)(步驟303)。然后，如果環(huán)境數(shù)據(jù)ED的采集被自動(dòng)地或手動(dòng)地觸發(fā)而必須停止或暫停(步驟304)，則停止或暫停采集過程(步驟305)。這些步驟在車輛中執(zhí)行。
[0070]如果環(huán)境數(shù)據(jù)ED對(duì)配備有用戶(例如，車輛的駕駛員或乘客)的相機(jī)的手持式設(shè)備可用，則車輛的任何處理器設(shè)備(在附圖中未示出)基于環(huán)境數(shù)據(jù)ED來生成環(huán)境的幾何模型Md(步驟307)，然后將該模型傳輸至手持式設(shè)備(步驟308)，或者將環(huán)境數(shù)據(jù)ED傳輸至手持式設(shè)備(步驟311)，然后基于手持式設(shè)備中的環(huán)境數(shù)據(jù)ED來生成環(huán)境模型Md(步驟312)。
[0071]還可將環(huán)境數(shù)據(jù)ED傳送至另一計(jì)算機(jī)例如遠(yuǎn)離移動(dòng)設(shè)備和車輛的服務(wù)器計(jì)算機(jī)，并且例如由運(yùn)行在服務(wù)器計(jì)算機(jī)上的應(yīng)用基于此類服務(wù)器計(jì)算機(jī)上的環(huán)境數(shù)據(jù)ED來創(chuàng)建環(huán)境的幾何模型Md。在此類配置下，服務(wù)器計(jì)算機(jī)在客戶端-服務(wù)器架構(gòu)中與作為客戶端設(shè)備的移動(dòng)設(shè)備和車輛通信。然后，將環(huán)境數(shù)據(jù)H)和/或幾何模型Md從服務(wù)器計(jì)算機(jī)傳送至移動(dòng)設(shè)備。
[0072]幾何模型Md可在環(huán)境數(shù)據(jù)或環(huán)境數(shù)據(jù)的一部分可用的任何時(shí)候執(zhí)行，例如在環(huán)境數(shù)據(jù)的采集過程期間聯(lián)機(jī)，或在采集環(huán)境數(shù)據(jù)之后脫機(jī)。例如，在新的環(huán)境數(shù)據(jù)可用的任何情況下，集成新的環(huán)境數(shù)據(jù)以用于生成幾何模型Md。
[0073]在必須在環(huán)境中跟蹤手持式設(shè)備的情況下(步驟309)，假設(shè)幾何模型Md在手持式設(shè)備中可用，則至少部分地根據(jù)幾何模型Md來執(zhí)行跟蹤(步驟310)。步驟309和310可在手持式設(shè)備中執(zhí)行。
[0074]可提供或計(jì)算到目的地的一條或多條路線?？筛鶕?jù)車輛或手持式設(shè)備的當(dāng)前位置來進(jìn)一步更新這些路線。目的地可由用戶手動(dòng)地給出或在導(dǎo)航系統(tǒng)中定義?？筛鶕?jù)路線來采集環(huán)境數(shù)據(jù)ED和/或創(chuàng)建幾何模型MD。例如，僅在用戶可能沿路線行進(jìn)的地點(diǎn)采集環(huán)境數(shù)據(jù)ED的相關(guān)部分，和/或創(chuàng)建幾何模型MD的相關(guān)部分。
[0075]環(huán)境的幾何模型使用來自車輛的傳感器的數(shù)據(jù):
[0076]例如，在環(huán)境中駕駛車輛時(shí)，真實(shí)環(huán)境的幾何模型可由車輛的深度傳感器所提供的環(huán)境的深度數(shù)據(jù)生成，例如來自被安裝在車輛中的距離傳感器或渡越時(shí)間相機(jī)?？刹捎弥T如在參考文獻(xiàn)[14，15，16]中所公開的許多方法以根據(jù)深度數(shù)據(jù)來重建真實(shí)環(huán)境的3D表面。可使用推掃式掃描儀來創(chuàng)建3D表面。
[0077]真實(shí)環(huán)境的幾何模型(本文中也被稱為環(huán)境模型)可在環(huán)境中駕駛車輛(例如，汽車)時(shí)并且通過采用被安裝在汽車中的基于視覺的SLAM和至少一個(gè)相機(jī)來創(chuàng)建或生成。已開發(fā)出各種基于視覺的31^^方法(例如，見參考文獻(xiàn)[1，3，4，5，6，11，12，13]中所公開的)并且可采用這些方法以使用由車輛的至少一個(gè)相機(jī)所捕獲的圖像來創(chuàng)建環(huán)境模型。也可采用車輛的其他傳感器來支持對(duì)環(huán)境模型的構(gòu)造。
[0078]來自基于單目視覺的SLAM的環(huán)境的所創(chuàng)建的幾何模型取決于待定縮放因數(shù)。
[0079]使環(huán)境模型達(dá)到度量尺度所需的合適的縮放因數(shù)可通過使用被安裝在車輛中的相機(jī)在環(huán)境中捕獲在其間具有已知距離的兩點(diǎn)的圖像或具有已知物理尺寸的真實(shí)對(duì)象的圖像來有效地確定。例如，可采用交通燈、具有已知3D模型的車輛或其他道路設(shè)施(白線距離、道路邊的“粧”)來估計(jì)縮放因數(shù)。
[0080]合適的縮放因數(shù)也可根據(jù)車輛和環(huán)境之間的距離來恢復(fù)。距離可從車載傳感器諸如雷達(dá)、距離傳感器或渡越時(shí)間相機(jī)來測(cè)量，并且也可用于確定縮放因數(shù)。如果捕獲兩個(gè)圖像的一個(gè)(或兩個(gè))相機(jī)之間的參考距離已知，則也可確定合適的縮放因數(shù)。參考距離例如可從使用車輪的旋轉(zhuǎn)速度的度量里程計(jì)或GPS坐標(biāo)獲得。對(duì)于立體相機(jī)，兩個(gè)相機(jī)中心之間的基線距離可用作參考距離。
[0081]如果車輛在環(huán)境中的位置已知，則也可確定合適的縮放因數(shù)。車輛在環(huán)境中的位置可從GPS或從被固定在環(huán)境中的傳感器(如安全相機(jī))來確定。
[0082]現(xiàn)在參見圖1，給定至少一個(gè)相機(jī)，基于由至少一個(gè)相機(jī)所捕獲的圖像來創(chuàng)建或生成幾何模型和/或計(jì)算相機(jī)姿態(tài)的過程可由特征檢測(cè)(步驟102或105)、特征描述(步驟102或105)、特征匹配(步驟106)、三角測(cè)量(步驟107)和可選的(全局)地圖細(xì)化來構(gòu)成，該地圖細(xì)化調(diào)整三角測(cè)量位置和/或相機(jī)姿態(tài)，和/或從三角測(cè)量移除和/或添加點(diǎn)。
[0083]創(chuàng)建幾何模型和/或計(jì)算相機(jī)姿態(tài)的過程也可基于使用立體相機(jī)系統(tǒng)來實(shí)現(xiàn)。
[0084]還可采用來自相機(jī)的光流來生成幾何模型或支持生成模型。
[0085]為了重建環(huán)境模型，必須由相機(jī)在不同位置處捕獲至少兩個(gè)圖像。例如，在步驟101中由相機(jī)以姿態(tài)PA來捕獲圖像IA，然后相機(jī)移動(dòng)不同位移M，從而以在不同于姿態(tài)PB的位置處的姿態(tài)來捕獲圖像IB(步驟103和104)。
[0086]可使用具有高重復(fù)性的方法來執(zhí)行特征檢測(cè)，以用于識(shí)別圖像IA和IB中的特征。換句話講，該方法將選擇圖像中的與相同物理3D表面對(duì)應(yīng)的一部分作為用于不同視角、不同旋轉(zhuǎn)和/或光照設(shè)定的特征(例如，作為SIFT的局部特征描述符，見參考文獻(xiàn)[7]，形狀描述符，見參考文獻(xiàn)[8]，或技術(shù)人員已知的其他方法)的概率很高。通常在尺度空間中即以不同尺度來提取特征。因此，每個(gè)特征除其二維位置之外，還具有可重復(fù)尺度。此外，可重復(fù)取向(旋轉(zhuǎn))從區(qū)域中的圍繞特征的像素的強(qiáng)度來計(jì)算，例如作為強(qiáng)度梯度的主導(dǎo)方向。
[0087]特征描述是將所檢測(cè)到的圖像區(qū)域變換成典型的特征描述符，這些特征描述符對(duì)某些類型的變化(例如，(不均勻)光照、旋轉(zhuǎn)和遮擋)穩(wěn)健或不變。確定特征描述符，以便允許特征的比較和匹配。常見方法使用特征的所計(jì)算尺度和取向來變換特征描述符的坐標(biāo)，其提供對(duì)旋轉(zhuǎn)和尺度的不變性。例如，描述符可為η維實(shí)數(shù)向量，其通過連接局部圖像強(qiáng)度的函數(shù)諸如梯度的直方圖(如在參考文獻(xiàn)[7]中)來構(gòu)造。另選地，描述符可為η維二元向量(如在參考文獻(xiàn)[9]中)。
[0088]此外，每個(gè)所檢測(cè)到的特征可(任選地)與相對(duì)于環(huán)境和/或相對(duì)于相機(jī)的先前姿態(tài)中的一個(gè)姿態(tài)的(局部)位置和取向相關(guān)聯(lián)。(局部)位置可從GPS傳感器/接收器、IR或RFID三角測(cè)量或者通過使用寬帶或無線基礎(chǔ)結(jié)構(gòu)的定位法來獲得。(局部)取向可從諸如指南針、加速度計(jì)、陀螺儀或重力傳感器獲得。由于相機(jī)被安裝在車輛中，相對(duì)于相機(jī)的先前姿態(tài)中的一個(gè)姿態(tài)的(局部)位置和取向可從車輛的速度或轉(zhuǎn)向來獲得。
[0089]在一個(gè)圖像中，可檢測(cè)到多個(gè)特征。特征匹配是針對(duì)一個(gè)特征集中的每個(gè)特征來找到另一特征集中的具有最相似描述符的特征并將兩個(gè)特征存儲(chǔ)作為對(duì)應(yīng)關(guān)系(匹配)。例如，給定在圖像IA和IB中檢測(cè)到并描述的兩個(gè)特征集FA和FB，目標(biāo)是針對(duì)特征集FA中的每個(gè)特征來找到特征集FB中的具有最相似描述符的一個(gè)特征。就這一點(diǎn)而言，參見圖2，其示出了具有特征c和特征c的相應(yīng)描述符d(c)以及參考特征r的描述符d(r)的圖像Cl。
[0090]使特征集FA與特征集FB匹配可通過確定特征集FA中的每個(gè)相應(yīng)特征描述符和特征集FB中的每個(gè)相應(yīng)特征描述符之間的相應(yīng)相似性測(cè)量來完成。圖像相似性測(cè)量的常見示例包括負(fù)的或反向差值平方和(SSD)、負(fù)的或反向絕對(duì)差值和(SAD)、(標(biāo)準(zhǔn)化)互相關(guān)和交互信息。相似性的結(jié)果為實(shí)數(shù)。相似性測(cè)量結(jié)果越大，兩個(gè)視覺特征越相似。
[0091]特征匹配的最簡(jiǎn)單的方法在于通過窮舉搜索找到當(dāng)前特征描述符的最近鄰并選擇對(duì)應(yīng)參考特征作為匹配。更先進(jìn)的方法采用描述符域中的空間數(shù)據(jù)結(jié)構(gòu)來加速匹配。常見方法使用近似最近鄰搜索來代替，例如由空間分割數(shù)據(jù)結(jié)構(gòu)諸如kd-樹所支持的(見參考文獻(xiàn)[7])。
[0092]在特征匹配之后，創(chuàng)建來自特征集FA和特征集FB的特征之間的對(duì)應(yīng)關(guān)系。對(duì)應(yīng)關(guān)系可為2D-2D或2D-3D。基于對(duì)應(yīng)關(guān)系，確定相對(duì)于環(huán)境或相對(duì)于先前相機(jī)姿態(tài)中的一個(gè)先前相機(jī)姿態(tài)的相機(jī)姿態(tài)。此后，通常(但為可選的)具有(全局)細(xì)化步驟，該(全局)細(xì)化步驟可能重新評(píng)估在初始階段舍棄的對(duì)應(yīng)關(guān)系。存在用于細(xì)化的多種方法和啟發(fā)法(見參考文獻(xiàn)[10，11])。
[0093]特征可不具有相關(guān)聯(lián)的特征描述符(例如，SIFT)，見參考文獻(xiàn)[7]，而可由圖像塊來表示。特征的比較和匹配可通過使用方法諸如差值平方和(SSD)、歸一化互相關(guān)(NCC)、絕對(duì)值差和(SAD)、交互信息(MI)計(jì)算圖像塊之間的差值(例如，像素強(qiáng)度差)來執(zhí)行。
[0094]在以下的三角測(cè)量期間，根據(jù)特征對(duì)應(yīng)關(guān)系來計(jì)算真實(shí)環(huán)境的幾何模型(3D點(diǎn))和相機(jī)姿態(tài)。
[0095]三角測(cè)量是指給定特征在兩個(gè)或更多個(gè)圖像上的投影(圖像特征)的情況下確定特征在3D空間中的位置的過程。參見圖6，例如3D點(diǎn)P通過與每個(gè)相機(jī)焦點(diǎn)01和02相交的線條Lx和Ly在兩個(gè)相機(jī)圖像Ix和Iy上投影成圖像點(diǎn)Px和Py(見圖6)。因此，已知焦點(diǎn)01和02和針對(duì)兩個(gè)相機(jī)圖像所檢測(cè)的特征對(duì)應(yīng)點(diǎn)Px和Py，可計(jì)算線條Lx和Ly并且可由Lx和Ly的交叉點(diǎn)確定點(diǎn)P的3D位置。
[0096]創(chuàng)建模型可通過直接使用它們的強(qiáng)度或色值，即不使用抽象概念諸如點(diǎn)、線或斑點(diǎn)特征來注冊(cè)圖像。致密重建方法可構(gòu)建成本量，其中窮舉地測(cè)試針對(duì)每個(gè)像素的多個(gè)不同假設(shè)(參考文獻(xiàn)[12])。它們也可基于先前的稀疏重建(參考文獻(xiàn)[13])。致密方法通常計(jì)算量很大并且采用GHJ實(shí)時(shí)地運(yùn)行。
[0097]在基于車輛的場(chǎng)景中，來自多個(gè)相機(jī)的圖像可為可用的。常見的設(shè)置包括四個(gè)車用相機(jī)，其中相機(jī)背向車輛左對(duì)齊、右對(duì)齊、前對(duì)齊以及后對(duì)齊。車用相機(jī)可在旋轉(zhuǎn)和平移時(shí)相互參照。集束調(diào)整可用于基于由多個(gè)車用相機(jī)所拍攝的圖像來細(xì)化環(huán)境的重建模型，尤其是對(duì)于具有已知空間關(guān)系的多個(gè)相機(jī)。在參考文獻(xiàn)[23]中已評(píng)述各種集束調(diào)整方法，并且已在參考文獻(xiàn)[24]中公開若干個(gè)實(shí)施細(xì)節(jié)。
[0098]為了生成環(huán)境的幾何模型，被安裝在車輛上的一個(gè)或多個(gè)相機(jī)可為標(biāo)定的或非標(biāo)定的。相機(jī)標(biāo)定計(jì)算非線性系數(shù)和線性系數(shù)，這些系數(shù)將具有已知外觀、幾何結(jié)構(gòu)和姿態(tài)(相對(duì)于相機(jī))的真實(shí)世界對(duì)象映射到圖像傳感器上。在將一個(gè)或多個(gè)相機(jī)用于3D重建之前，通常執(zhí)行標(biāo)定程序以標(biāo)定一個(gè)或多個(gè)相機(jī)。還可同時(shí)使用非標(biāo)定相機(jī)圖像來執(zhí)行3D重建(見參考文獻(xiàn)[21])。還可在采集圖像期間改變相機(jī)的參數(shù)(例如，通過放大或聚焦)，以用于3D重建[22]。
[0099]來自基于車輛的重建的優(yōu)質(zhì)幾何模型:
[0100]在大多數(shù)情況下，基于由車輛的傳感器捕獲的環(huán)境數(shù)據(jù)所創(chuàng)建的未知環(huán)境的幾何模型在準(zhǔn)確性和穩(wěn)定性方面應(yīng)優(yōu)于由手持式移動(dòng)設(shè)備所創(chuàng)建的模型。這是因?yàn)檐囕v中存在可用于交叉檢查重建過程的(中間)結(jié)果的更多個(gè)傳感器。例如，對(duì)應(yīng)關(guān)系可通過來自同一時(shí)間的兩個(gè)相機(jī)圖像之間的疊加或通過根據(jù)里程計(jì)預(yù)測(cè)對(duì)象位置來驗(yàn)證;具體地，前輪的轉(zhuǎn)向角和車輛的速度可用于預(yù)測(cè)某一真實(shí)對(duì)象的圖像可如何從一個(gè)相機(jī)幀(相機(jī)圖像)移動(dòng)到另一相機(jī)幀，其中該預(yù)測(cè)取決于真實(shí)對(duì)象相對(duì)于相機(jī)的深度。
[0101]另外，汽車的運(yùn)動(dòng)比手持式設(shè)備的運(yùn)動(dòng)更受約束。由于更大質(zhì)量并且從而更強(qiáng)慣性(相比于移動(dòng)手持式設(shè)備)，因此可利用少于六個(gè)自由度(即，用于平移的三個(gè)自由度和用于旋轉(zhuǎn)的三個(gè)自由度)和約束性運(yùn)動(dòng)而很好地進(jìn)行近似。由于車輛通常在2D地平面上移動(dòng)并且不“跳躍”或“滾動(dòng)”，因此通常兩個(gè)自由度足以模擬平移運(yùn)動(dòng)，并且一個(gè)自由度足以模擬旋轉(zhuǎn)移動(dòng)。當(dāng)然，如果必要的話，車輛的運(yùn)動(dòng)常常由完整的六個(gè)自由度來模擬。
[0102]基于視覺的跟蹤(可在移動(dòng)設(shè)備中執(zhí)行):
[0103 ]基于視覺的跟蹤的標(biāo)準(zhǔn)方法可被分成四個(gè)主要構(gòu)件:特征檢測(cè)、特征描述、特征匹配和姿態(tài)估計(jì)。具有真實(shí)環(huán)境或真實(shí)環(huán)境的一部分的已知幾何模型可支持基于標(biāo)準(zhǔn)視覺的跟蹤，以確定相機(jī)相對(duì)于環(huán)境的姿態(tài)。
[0104]另外，還可采用來自相機(jī)的光流以計(jì)算環(huán)境中的相機(jī)姿態(tài)或運(yùn)動(dòng)或支持相機(jī)姿態(tài)估計(jì)(見參考文獻(xiàn)[20])。
[0105]特征檢測(cè)也被稱為特征提取。特征是例如但不限于強(qiáng)度、梯度、邊緣、線段、區(qū)段、拐角、描述性特征或任何其他類型的特征、基元、直方圖、極性或取向、或者它們的組合。
[0106]為了確定相機(jī)的姿態(tài)，必須由相機(jī)以待確定的姿態(tài)來捕獲當(dāng)前圖像。首先，執(zhí)行特征檢測(cè)以識(shí)別當(dāng)前圖像中的特征。特征描述是將所檢測(cè)到的圖像區(qū)域變換成典型的特征描述符。確定特征描述符來允許特征的比較和匹配。一個(gè)重要任務(wù)是特征匹配。給定在當(dāng)前圖像中檢測(cè)到并根據(jù)其描述的當(dāng)前特征，目標(biāo)在于找到在將被稱為參考特征的一組所提供特征中的與相同物理3D或2D表面對(duì)應(yīng)的特征。參考特征可從真實(shí)環(huán)境的參考幾何模型中獲得。參考幾何模型基于車輛的傳感器而獲得。參考特征也可來自由相機(jī)所捕獲的其他圖像(例如，由相機(jī)以不同于捕獲當(dāng)前圖像所處的姿態(tài)的姿態(tài)所捕獲的圖像)中的一個(gè)圖像，或來自預(yù)先定義的特征列表。
[0107]使當(dāng)前特征與參考特征相匹配可通過確定每個(gè)相應(yīng)當(dāng)前特征描述符和每個(gè)相應(yīng)參考特征描述符之間的相應(yīng)相似性測(cè)量來完成。在完成特征匹配之后，創(chuàng)建來自當(dāng)前圖像的特征和參考特征之間的對(duì)應(yīng)關(guān)系。對(duì)應(yīng)關(guān)系可為2D-2D或2D-3D?；趯?duì)應(yīng)關(guān)系，確定相對(duì)于環(huán)境或其他相機(jī)姿態(tài)中的一個(gè)其他相機(jī)姿態(tài)的相機(jī)姿態(tài)。
[0108]此外，真實(shí)環(huán)境的第二幾何模型可基于當(dāng)前圖像和由相機(jī)所捕獲的其他圖像中的一個(gè)圖像的特征對(duì)應(yīng)關(guān)系通過三角測(cè)量由參考幾何模型生成或擴(kuò)展。當(dāng)前圖像和其他圖像中的一個(gè)圖像必須具有重疊部分，然后基于三角測(cè)量來重建重疊部分?？蓪⒅亟ú糠痔砑又羺⒖紟缀文Ｐ汀?br>[0109]現(xiàn)在參見圖5(結(jié)合圖2)，圖5示出了用于使一組當(dāng)前特征與一組參考特征相匹配的標(biāo)準(zhǔn)相機(jī)跟蹤方法的流程圖。在步驟501中，提供由相機(jī)所捕獲的真實(shí)環(huán)境的當(dāng)前圖像Cl。然后下一步驟502檢測(cè)并描述當(dāng)前圖像Cl中的特征(可選的:根據(jù)所估計(jì)的模型特征位置的已選擇的提取)，其中每個(gè)所得的當(dāng)前特征c具有特征描述符d(c)和在相機(jī)圖像中的2D位置。在步驟503中提供一組參考特征r，每個(gè)參考特征具有描述符d(r)并且可選地具有相對(duì)于真實(shí)環(huán)境或先前相機(jī)姿態(tài)中的一個(gè)先前相機(jī)姿態(tài)的(局部)位置和/或取向。(局部)位置可從GPS傳感器/接收器、IR或RFID三角測(cè)量或者通過使用寬帶或無線基礎(chǔ)結(jié)構(gòu)的定位法來獲得。(局部)取向可從傳感器設(shè)備諸如指南針、加速度計(jì)、陀螺儀和/或重力傳感器獲得。參考特征可從參考圖像或幾何模型或有關(guān)真實(shí)環(huán)境或環(huán)境的一部分的其他信息提取。需注意，在視覺搜索和分類任務(wù)的情況下，相對(duì)于真實(shí)環(huán)境的位置和/或取向是可選的。在步驟504中，將來自步驟502的當(dāng)前特征c和來自步驟503的參考特征r進(jìn)行匹配。例如，對(duì)應(yīng)每個(gè)當(dāng)前特征，搜索相對(duì)于某一距離測(cè)量具有與當(dāng)前特征的描述符最接近的描述符的參考特征。根據(jù)步驟505，可基于特征匹配(對(duì)應(yīng)關(guān)系)來確定相機(jī)的位置和取向。這可支持使空間注冊(cè)的虛擬3D對(duì)象結(jié)合到相機(jī)圖像中的增強(qiáng)現(xiàn)實(shí)應(yīng)用。
[0110]從車輛到移動(dòng)設(shè)備的數(shù)據(jù)切換(可在移動(dòng)設(shè)備和車輛中執(zhí)行):
[0111]如果在車輛在環(huán)境中行進(jìn)期間由車輛的傳感器所捕獲的環(huán)境數(shù)據(jù)是可用的，則可將環(huán)境數(shù)據(jù)傳輸至準(zhǔn)備下車的用戶(例如，車輛的乘客或駕駛員)的移動(dòng)設(shè)備。將數(shù)據(jù)從車輛傳輸至移動(dòng)設(shè)備可經(jīng)由服務(wù)器計(jì)算機(jī)或基于點(diǎn)到點(diǎn)通信?？苫谝苿?dòng)設(shè)備中所接收的環(huán)境數(shù)據(jù)來重建環(huán)境的幾何模型。用戶繼而可使用幾何模型來進(jìn)行跟蹤。
[0112]也可基于環(huán)境數(shù)據(jù)在車輛中生成幾何模型，然后將其經(jīng)由服務(wù)器計(jì)算機(jī)或基于點(diǎn)到點(diǎn)通信傳輸至移動(dòng)設(shè)備。
[0113]還可基于環(huán)境數(shù)據(jù)來在服務(wù)器計(jì)算機(jī)中生成幾何模型。在這種情況下，將所捕獲的環(huán)境數(shù)據(jù)從車輛傳輸至服務(wù)器計(jì)算機(jī)，然后將所生成的幾何模型從服務(wù)器計(jì)算機(jī)傳輸至移動(dòng)設(shè)備。
[0114]點(diǎn)到點(diǎn)通信可經(jīng)由無線連接或有線連接、基于推送或基于拉取、經(jīng)由單播通信或廣播通信。后者允許例如移動(dòng)設(shè)備的池同時(shí)配備有來自車輛的相同數(shù)據(jù)。這些移動(dòng)設(shè)備例如可為其他乘客的移動(dòng)設(shè)備或用戶的輔助設(shè)備。例如，點(diǎn)到點(diǎn)通信可為基于藍(lán)牙的通信或基于USB纜線的通信。
[0115]從車輛移交數(shù)據(jù)(幾何模型或環(huán)境數(shù)據(jù))或?qū)?shù)據(jù)移交至移動(dòng)設(shè)備可由用戶手動(dòng)地觸發(fā)或自動(dòng)觸發(fā)。數(shù)據(jù)(例如，模型)傳輸?shù)淖詣?dòng)觸發(fā)可基于到導(dǎo)航系統(tǒng)已知的目的地的距離、車輛的速度、發(fā)動(dòng)機(jī)的狀態(tài)、車輛的行駛方向(例如，向后行駛)、車輛與街道的相對(duì)方向(例如，行駛至單向停車位或停車道)、另一對(duì)象到車輛前方或后方的距離、駕駛室門的開/關(guān)狀態(tài)、方向盤鎖、手剎、車尾行李箱的開/關(guān)狀態(tài)，或上述的組合。例如在從有線連機(jī)器將其移除或檢測(cè)到與車輛的一般運(yùn)動(dòng)不兼容的上升運(yùn)動(dòng)(例如，在駕駛員下車時(shí))時(shí)，自動(dòng)觸發(fā)還可基于移動(dòng)設(shè)備的狀態(tài)。用于觸發(fā)數(shù)據(jù)(例如，模型)傳輸?shù)臓顩r的檢測(cè)或確定可由車輛、移動(dòng)設(shè)備或兩者來執(zhí)行。數(shù)據(jù)(模型)傳輸?shù)倪^程可由車輛、移動(dòng)設(shè)備或兩者來發(fā)起。
[0116]在所描述的應(yīng)用示例中，相比于參考圖4A所述的特定場(chǎng)景，本發(fā)明的一個(gè)方面在于在停車場(chǎng)中跟蹤移動(dòng)設(shè)備可由在車輛行駛至停車場(chǎng)期間由車輛的傳感器所采集的環(huán)境數(shù)據(jù)所支持。
[0117]如圖4B所示，用戶4bl3正駕駛車輛4bll行往停車場(chǎng)，即真實(shí)環(huán)境。相機(jī)4bl4(車輛的一個(gè)或多個(gè)傳感器)被安裝在車輛的前方。在搜索停車位并停車時(shí)(見圖4B，描述4b02)，由相機(jī)4bl4捕獲環(huán)境數(shù)據(jù)(例如，停車場(chǎng)的圖像)，并且基于環(huán)境數(shù)據(jù)來生成停車場(chǎng)的幾何模型?？梢院线m的度量尺度來創(chuàng)建幾何模型，例如基于車輛所提供的里程儀和GPS數(shù)據(jù)。合適的縮放因數(shù)可限定真實(shí)的相機(jī)姿態(tài)和重建幾何模型在真實(shí)世界中的尺寸。
[0118]在停車之后(見圖4B，描述4b05)，幾何模型被傳輸至用戶的配備有相機(jī)的移動(dòng)設(shè)備4b08(例如，智能電話)(或從所傳輸?shù)沫h(huán)境數(shù)據(jù)在用戶移動(dòng)設(shè)備4b08處生成)。然后，在停車場(chǎng)中跟蹤移動(dòng)設(shè)備可基于由移動(dòng)設(shè)備4b08的相機(jī)所捕獲的至少一個(gè)圖像在理想情況下無縫地繼續(xù)(見圖4B，描述4b05)。相比于于現(xiàn)有方法，本發(fā)明向用戶在其移動(dòng)設(shè)備上提供環(huán)境的初始幾何模型和最新幾何模型。這便消除了要求約束性相機(jī)移動(dòng)的初始步驟的需要。
[0119]當(dāng)前，通常從3D重建過程來獲得真實(shí)環(huán)境的幾何模型，例如城市或建筑物。然而，由于城市建設(shè)的頻繁發(fā)展或變化，大多數(shù)這些模型并非是最新的。具體地，由于停放車輛隨時(shí)間變化，因此停車場(chǎng)通常沒有幾何模型或最新模型。就這一點(diǎn)而言，本發(fā)明提供了將支持更準(zhǔn)確地跟蹤相機(jī)的最新模型。
[0120]車輛可以是可運(yùn)送人或貨物的移動(dòng)式機(jī)器。車輛可以是例如但不限于自行車、摩托車、汽車、卡車或鏟車。車輛可以具有或不具有發(fā)動(dòng)機(jī)。
[0121]采集用于創(chuàng)建第一幾何模型的環(huán)境數(shù)據(jù)可在任何時(shí)間或僅在滿足某些條件時(shí)例如在車輛接近導(dǎo)航系統(tǒng)已知的目的地時(shí)和/或在車輛的速度低于某一閾值等時(shí)開始。某一條件也可以是車輛的某些狀態(tài)中的一種狀態(tài)，例如速度、發(fā)動(dòng)機(jī)的狀態(tài)、制動(dòng)系統(tǒng)的狀態(tài)、齒輪的位置、光線等。某一條件還可以是移動(dòng)設(shè)備的狀態(tài)中的一種狀態(tài)，例如移動(dòng)設(shè)備處于車輛內(nèi)部或外部、移動(dòng)設(shè)備到目的地的距離等。
[0122]環(huán)境數(shù)據(jù)可根據(jù)車輛的位置和包含至少一個(gè)目的地的預(yù)定義的路線來采集。
[0123]在一個(gè)具體實(shí)施中，在車輛到達(dá)至少一個(gè)目的地之后，采集環(huán)境數(shù)據(jù)或者可開始環(huán)境數(shù)據(jù)的采集過程的至少一部分。在另一個(gè)具體實(shí)施中，在車輛在距至少一個(gè)目的地的距離內(nèi)的情況下，采集環(huán)境數(shù)據(jù)或者可開始環(huán)境數(shù)據(jù)的采集過程的至少一部分。具有了車輛的速度、車輛的位置和至少一個(gè)目的地，可估計(jì)車輛將到達(dá)至少一個(gè)目的地的時(shí)間段。在另一個(gè)具體實(shí)施中，如果時(shí)間段小于閾值，則采集環(huán)境數(shù)據(jù)或者可開始環(huán)境數(shù)據(jù)的采集過程的至少一部分。
[0124]生成第一幾何模型或第一幾何模型的一部分可在車輛的處理設(shè)備處執(zhí)行，并且將第一幾何模型從車輛傳輸至移動(dòng)設(shè)備。第一幾何模型可經(jīng)由服務(wù)器計(jì)算機(jī)或基于點(diǎn)到點(diǎn)通信從車輛傳輸至移動(dòng)設(shè)備。第一幾何模型或第一幾何模型的一部分也可在環(huán)境數(shù)據(jù)經(jīng)由服務(wù)器計(jì)算機(jī)或基于點(diǎn)到點(diǎn)通信從車輛傳輸至移動(dòng)設(shè)備之后，由移動(dòng)設(shè)備的一個(gè)或多個(gè)處理設(shè)備生成。
[0125]生成第一幾何模型或第一幾何模型的一部分可由服務(wù)器計(jì)算機(jī)來執(zhí)行，并且將環(huán)境數(shù)據(jù)從車輛傳輸至服務(wù)器計(jì)算機(jī)。然后，將第一幾何模型例如經(jīng)由車輛或基于點(diǎn)到點(diǎn)通信從服務(wù)器計(jì)算機(jī)傳輸至移動(dòng)設(shè)備。
[0126]車輛的一個(gè)或多個(gè)傳感器可以是能夠捕獲可用于生成幾何模型或其一部分的環(huán)境數(shù)據(jù)的任何類型的傳感器。傳感器的實(shí)例可以是但不限于光學(xué)相機(jī)、基于紅外光譜、光學(xué)光譜、紫外光譜、X射線光譜和/或γ射線光譜的相機(jī)、RGB-D相機(jī)、深度傳感器、渡越時(shí)間相機(jī)和超聲波傳感器。
[0127]環(huán)境數(shù)據(jù)可以是描述真實(shí)環(huán)境的至少一個(gè)視覺特征或幾何特征的任何類型的數(shù)據(jù)。視覺特征或幾何特征可以是形狀、顏色、距離等中的一者。環(huán)境數(shù)據(jù)可以是環(huán)境的光學(xué)圖像、環(huán)境和車輛之間的距離、車輛在環(huán)境中的取向、或者車輛在真實(shí)環(huán)境中的速度。
[0128]生成第一幾何模型可在環(huán)境數(shù)據(jù)或環(huán)境數(shù)據(jù)的一部分可用的任何時(shí)候執(zhí)行，例如在采集環(huán)境數(shù)據(jù)期間聯(lián)機(jī)，或在采集環(huán)境數(shù)據(jù)之后脫機(jī)。
[0129]第一幾何模型可具有合適的度量尺度，該度量尺度根據(jù)車載傳感器諸如雷達(dá)、距離傳感器或渡越時(shí)間相機(jī)來確定。合適的度量尺度可通過使用被安裝在車輛中的相機(jī)在環(huán)境中捕獲其間具有已知距離的兩點(diǎn)的圖像或具有已知物理尺寸的真實(shí)對(duì)象的圖像來確定。
[0130]第一幾何模型也可根據(jù)車輛相對(duì)于環(huán)境的姿態(tài)來生成。車輛相對(duì)于環(huán)境的位置可從GPS獲得。然而，GPS并不準(zhǔn)確，尤其是在車輛處于建筑物內(nèi)部時(shí)。存在類似于相機(jī)(例如，安全相機(jī))的可被安裝在環(huán)境中并且在環(huán)境中具有已知的位置的許多不同的傳感器。可基于由安全相機(jī)所捕獲的車輛圖像來執(zhí)行對(duì)象識(shí)別或姿態(tài)估計(jì)，以便確定車輛相對(duì)于環(huán)境的姿態(tài)。
[0131]此外，被定位在真實(shí)環(huán)境中的視覺系統(tǒng)(例如，一個(gè)或多個(gè)安全相機(jī))可用于捕獲可用于創(chuàng)建第一幾何模型的至少一部分的環(huán)境數(shù)據(jù)。
[0132]在另一具體實(shí)施中，被定位在真實(shí)環(huán)境中的視覺系統(tǒng)(例如，安全相機(jī))也可用于捕獲用于創(chuàng)建第一幾何模型的環(huán)境數(shù)據(jù)，而不使用由車輛的至少一個(gè)傳感器所采集的數(shù)據(jù)。例如，用戶可持有包含相機(jī)的移動(dòng)設(shè)備，并進(jìn)入安置有一個(gè)或多個(gè)安全相機(jī)的真實(shí)環(huán)境。真實(shí)環(huán)境的最新環(huán)境數(shù)據(jù)可在采集過程期間由視覺系統(tǒng)(例如，一個(gè)或多個(gè)安全相機(jī))捕獲并且第一幾何模型可基于所捕獲的環(huán)境數(shù)據(jù)來創(chuàng)建?？稍诓杉^程或采集過程的一部分之后的設(shè)定時(shí)間段內(nèi)(優(yōu)選地，在24小時(shí)內(nèi))根據(jù)所創(chuàng)建的第一幾何模型和移動(dòng)設(shè)備的相機(jī)所捕獲的圖像來跟蹤移動(dòng)設(shè)備。
[0133]車輛相對(duì)于環(huán)境的姿態(tài)還可根據(jù)行駛在路上的車輛的特定特性來獲得。例如，可假設(shè)車輛的移動(dòng)為平行于地平面的。車輛的取向可根據(jù)2D街道地圖來確定。
[0134]在一個(gè)實(shí)施方案中，僅用戶按其路線可能經(jīng)過的地點(diǎn)的環(huán)境數(shù)據(jù)可被采集并被添加至第一幾何模型。
[0135]在另一個(gè)實(shí)施方案中，環(huán)境數(shù)據(jù)可根據(jù)導(dǎo)航數(shù)據(jù)例如路線、起始位置或目的地被采集。例如，可僅采集沿路線的環(huán)境數(shù)據(jù)，從而第一幾何模型可僅針對(duì)沿路線的環(huán)境信息。導(dǎo)航數(shù)據(jù)可由用戶手動(dòng)地輸入到車輛和/或設(shè)備。
[0136]在一個(gè)實(shí)施方案中，第一幾何模型的生成可至少部分地基于在采集過程中由車輛的至少一個(gè)傳感器所采集的車輛狀態(tài)數(shù)據(jù)。例如，用于生成第一幾何模型的環(huán)境數(shù)據(jù)的至少一部分可由并非車輛的一部分的獨(dú)立傳感器采集。所采集的環(huán)境數(shù)據(jù)的至少一部分可與由車輛的一個(gè)或多個(gè)傳感器所采集的車輛狀態(tài)數(shù)據(jù)一起使用，以便創(chuàng)建第一幾何模型的至少一部分。例如，由坐在車?yán)锏某丝退值莫?dú)立于車輛的相機(jī)可捕獲真實(shí)環(huán)境的圖像，而車輛的里程儀和/或速度傳感器可用于采集有關(guān)車輛的里程數(shù)據(jù)或速度數(shù)據(jù)。真實(shí)環(huán)境的圖像和里程數(shù)據(jù)或速度數(shù)據(jù)可一起被使用，以創(chuàng)建第一幾何模型的至少一部分。這便可發(fā)揮乘客所持的相機(jī)具有相對(duì)于車輛的已知移動(dòng)或位置的優(yōu)勢(shì)。移動(dòng)可以是相機(jī)相對(duì)于車輛靜止(無運(yùn)動(dòng))。相機(jī)也可能具有相對(duì)于車輛的運(yùn)動(dòng)。可在車輛的坐標(biāo)系中跟蹤相機(jī)。例如，圖像捕獲設(shè)備可被安裝在車輛中并確定相機(jī)相對(duì)于車輛的姿態(tài)。在另一示例中，可使用由相機(jī)所捕獲的車輛的至少一部分的圖像來確定相機(jī)相對(duì)于車輛的姿態(tài)。
[0137]在另一個(gè)實(shí)施方案中，由車輛的至少一個(gè)傳感器所采集的數(shù)據(jù)可能不足以創(chuàng)建第一幾何模型的至少一部分。類似地，由移動(dòng)設(shè)備的相機(jī)所采集的數(shù)據(jù)也可能不足以創(chuàng)建第一幾何模型的至少一部分。然而，可同時(shí)使用由車輛的至少一個(gè)傳感器和由移動(dòng)設(shè)備的相機(jī)所采集的數(shù)據(jù)來創(chuàng)建第一幾何模型的至少一部分。例如，可能無法通過僅使用由車輛的相機(jī)所捕獲的一個(gè)圖像或通過僅使用由移動(dòng)設(shè)備的相機(jī)所捕獲的一個(gè)圖像來創(chuàng)建第一幾何模型。然而，可通過使用由車輛的相機(jī)所捕獲的圖像和由移動(dòng)設(shè)備的相機(jī)所捕獲的圖像來創(chuàng)建第一幾何模型。
[0138]另外，可能無法使用由車輛的至少一個(gè)傳感器所采集的數(shù)據(jù)或由移動(dòng)設(shè)備的相機(jī)所采集的數(shù)據(jù)來創(chuàng)建具有合適的度量尺度的第一幾何模型的至少一部分。然而，可同時(shí)使用由車輛的至少一個(gè)傳感器和由移動(dòng)設(shè)備的相機(jī)所采集的數(shù)據(jù)來創(chuàng)建具有合適的度量尺度的第一幾何模型的至少一部分。如上述示例，可能無法通過使用由車輛的傳感器所捕獲的速度或里程來創(chuàng)建第一幾何模型?？赡軣o法通過僅使用由移動(dòng)設(shè)備的相機(jī)所捕獲的圖像來創(chuàng)建具有合適的度量尺度的第一幾何模型。然而，可使用由移動(dòng)設(shè)備的相機(jī)所捕獲的圖像和有關(guān)車輛的里程數(shù)據(jù)或速度數(shù)據(jù)來創(chuàng)建具有合適的度量尺度的第一幾何模型。
[0139]將第一幾何模型傳輸至移動(dòng)設(shè)備可由用戶手動(dòng)地觸發(fā)或自動(dòng)觸發(fā)。自動(dòng)觸發(fā)可基于到導(dǎo)航系統(tǒng)已知目的地的距離、車輛的速度、發(fā)動(dòng)機(jī)的狀態(tài)、車輛的方向(例如，向后行駛)、車輛與街道的相對(duì)方向(行駛至單向停車位或停車道)、另一對(duì)象到車輛前方或后方的距離、駕駛室門的開/關(guān)狀態(tài)、方向盤鎖、手剎、車尾行李箱的開/關(guān)狀態(tài)，或上述的組合。
[0140]本發(fā)明對(duì)在設(shè)備上運(yùn)行的移動(dòng)AR和導(dǎo)航應(yīng)用尤其有益。
[0141]根據(jù)本發(fā)明的移動(dòng)設(shè)備可來自用戶可能攜帶的各種設(shè)備，諸如手持式移動(dòng)設(shè)備(例如，移動(dòng)電話)、頭戴式眼鏡或頭盔、和可穿戴設(shè)備。
[0142]在環(huán)境中跟蹤配備有至少一個(gè)相機(jī)的移動(dòng)設(shè)備是為了確定設(shè)備的姿態(tài)，即相對(duì)于環(huán)境的位置和取向，或者為了確定設(shè)備的運(yùn)動(dòng)，即相對(duì)于設(shè)備的其他位置中的一個(gè)其他位置的位置和取向。由于相機(jī)與移動(dòng)設(shè)備具有固定的空間關(guān)系，因此跟蹤移動(dòng)設(shè)備可由基于視覺的跟蹤來實(shí)現(xiàn)，例如使用第一幾何模型和由至少一個(gè)相機(jī)所捕獲的圖像以確定相機(jī)的姿態(tài)。相機(jī)相對(duì)于環(huán)境的姿態(tài)可基于幾何模型和相機(jī)圖像之間的對(duì)應(yīng)關(guān)系來計(jì)算。
[0143]環(huán)境的第二幾何模型可使用第一幾何模型并使用由至少一個(gè)相機(jī)所捕獲的不具有深度數(shù)據(jù)的至少兩個(gè)圖像或使用具有深度數(shù)據(jù)的至少一個(gè)圖像來創(chuàng)建。為此，可首先確定在捕獲至少兩個(gè)圖像或至少一個(gè)圖像時(shí)的相機(jī)姿態(tài)。然后，可使用至少兩個(gè)圖像或使用至少一個(gè)圖像和相關(guān)聯(lián)的深度數(shù)據(jù)基于三角測(cè)量來構(gòu)建第二幾何模型。
[0144]使用不具有深度數(shù)據(jù)的一個(gè)所捕獲相機(jī)圖像來生成環(huán)境的具有待定度量尺度的模型信息。具有待定度量尺度的模型信息可用于在相機(jī)經(jīng)受純旋轉(zhuǎn)時(shí)估計(jì)相機(jī)姿態(tài)。
[0145]第一幾何模型或該模型的一部分可能不覆蓋感興趣的真實(shí)環(huán)境的整個(gè)區(qū)域。第二幾何模型可通過延伸第一幾何模型或第一幾何模型的一部分而創(chuàng)建，以覆蓋環(huán)境的更多區(qū)域。
[0146]基于視覺的跟蹤的標(biāo)準(zhǔn)方法包括特征提取、特征描述、特征匹配和姿態(tài)確定。
[0147]特征為例如強(qiáng)度、梯度、邊緣、線段、區(qū)段、拐角、描述性特征或任何其他類型的特征、基元、直方圖、極性或取向。
[0148]跟蹤移動(dòng)設(shè)備和/或生成第二幾何模型還可由基于單目視覺的同步定位與映射(SLAM)來實(shí)現(xiàn)。生成第二幾何模型還可包括不同時(shí)運(yùn)行但使用成批/準(zhǔn)脫機(jī)重建方法的重建算法。
[0149]基于單目視覺的SLAM是在真實(shí)環(huán)境中移動(dòng)單個(gè)相機(jī)以確定相機(jī)相對(duì)于真實(shí)環(huán)境的姿態(tài)并創(chuàng)建真實(shí)環(huán)境的模型。通常在環(huán)境的至少一部分具有未知幾何模型時(shí)采用SLAM以用于跟蹤。
[0150]相機(jī)在真實(shí)環(huán)境中的姿態(tài)描述了相對(duì)于環(huán)境或環(huán)境的一部分的位置和取向。在3D空間中，由三個(gè)參數(shù)例如沿三個(gè)正交軸的位移來限定位置，并且由三個(gè)歐拉角參數(shù)來限定取向。還可在其他數(shù)學(xué)公式中表示取向，例如軸角和四元數(shù)。通常可使旋轉(zhuǎn)的數(shù)學(xué)表示相互轉(zhuǎn)換。本發(fā)明中的姿態(tài)可由位置和取向在三維空間中的固有的六個(gè)參數(shù)中的至少一個(gè)參數(shù)來限定。
[0151]所提出的發(fā)明可簡(jiǎn)單地被應(yīng)用于被安裝到提供圖像格式(彩色或灰度)的移動(dòng)設(shè)備的任何相機(jī)。并不限于用于提供RGB格式的彩色圖像的捕獲系統(tǒng)。也可適用于任何其他顏色格式并且也適用于單色圖像，例如適用于提供灰度格式圖像的相機(jī)。
[0152]真實(shí)環(huán)境可為真實(shí)世界中的任何真實(shí)場(chǎng)景，諸如自然場(chǎng)景、室內(nèi)環(huán)境場(chǎng)景或城市場(chǎng)景。真實(shí)環(huán)境包括一個(gè)或多個(gè)真實(shí)對(duì)象。真實(shí)對(duì)象諸如地點(diǎn)、建筑物、樹木或山脈位于并占據(jù)真實(shí)環(huán)境中的區(qū)域。
[0153]環(huán)境的幾何模型(也被稱為模型或地圖)至少描述環(huán)境的深度信息。模型還可包括但不限于以下屬性中的至少一個(gè)屬性:形狀、對(duì)稱性、平面性、幾何尺寸、顏色、質(zhì)地和密度。幾何模型可包括各種特征。
[0154]幾何模型還可包括有關(guān)真實(shí)環(huán)境(的一部分)的質(zhì)地、顏色和/或它們的組合(SP，材料)的信息。第一模型的很常見的表示組合用于提供幾何結(jié)構(gòu)的稀疏空間描述的3D點(diǎn)。幾何模型還可具有相關(guān)聯(lián)的特征描述符，該特征描述符描述圍繞3D點(diǎn)的圖像塊中的特征的質(zhì)地(作為材料的一部分)。特征描述符是描述圖像或圖像塊中的局部特征的數(shù)學(xué)表示，諸如SIFT(尺度不變特征轉(zhuǎn)換)、SURF(快速穩(wěn)定特征)和LESH(基于局部能量的形狀直方圖)。特征是例如但不限于強(qiáng)度、梯度、邊緣、線段、區(qū)段、拐角、描述性特征或任何其他類型的特征、基元、直方圖、極性或取向。
[0155]幾何模型可進(jìn)一步被表示為包括3D頂點(diǎn)和由這些頂點(diǎn)所擴(kuò)展成的多邊形面和/或邊緣的模型。模型的邊緣和面還可被表示為樣條或NURBS表面。幾何模型還可由一組3D點(diǎn)來表示。點(diǎn)可承載有關(guān)它們顏色或強(qiáng)度的附加信息。
[0156]貫穿本文檔，其描述了捕獲圖像并提供或接收與圖像相關(guān)聯(lián)的圖像信息。技術(shù)人員已知這可包括提供或接收?qǐng)D像、圖像的一部分和/或圖像的特征的任何經(jīng)處理或未經(jīng)處理的信息(版本)，該信息允許姿態(tài)估計(jì)(跟蹤)或重建。本發(fā)明不需要提供或接收任何未經(jīng)加工的初始圖像數(shù)據(jù)。因此，處理包括壓縮(例如，JPEG、PNG、ZIP)、加密(例如，RSA加密、Schnorr簽名、El-Gamal加密、PGP)、轉(zhuǎn)換成另一色彩空間或灰度、基于特征描述符來修剪或縮放圖像或轉(zhuǎn)換成稀疏表示、提取中的任一者，以及它們的組合。所有這些圖像處理方法可被任選地執(zhí)行并且由與圖像相關(guān)聯(lián)的圖像信息的術(shù)語所涵蓋。
[0157]參考文獻(xiàn):
[0158]I.Davison ,Andrew J.等人 “MonoSLAM: Real-time single camera SLAM.，，Pattern Analysis and Machine Intelligence, IEEE Transact1ns on 29.6(2007):第1052 頁-1067 頁。
[0159]2.SanniSiltanen,Theory and applicat1ns of marker-based augmentedreality.Espoo 2012.VTT Science 3.http://www.vtt.fi/inf/pdf/science/2012/S3.pdf
[0160]3.Gaugl itz，Steffen等人 “Live tracking and mapping from both generaland rotat1n only camera mot1n ,Mixed and Augmented Reality(ISMAR),2012IEEEInternat1nal Symposium on.1EEE,2012.
[0161]4.Strasdat,Hauke,J.M.M.Montiel,and Andrew J.Davison.“Scale drift-aware large scale monocular SLAM ,Proceedings of Robotics: Science and Systems(RSS).第2卷.Νο.3.2010.
[0162]5.Lemaire，Thomas等人 “Vi s1n—based slam: Stereo and monocularapproaches , Internat1nal Journal of Computer Vis1n 74.3(2007):第343頁-364頁。
[0163]6.Lieberknecht,Sebastian等人“RGB-D camera-based parallel tracking andmeshing ,Mixed and Augmented Reality(ISMAR),2011 10th IEEE Internat1nalSymposium on.1EEE,2011.
[0164]7.Lowe ,David G.“Distinctive Image Features from Scale-1nvariantKeypoints.，，Internat1nal Journal of Computer Vis1n 60.2(2004):第91 頁_110頁。
[0165]8.Bosch，A，Andrew Zisserman,and X Munoz.“Representing shape with aspatial pyramid kernel.，，Image Processing 5(2007):第401 頁_408頁。
[0166]9.Leutenegger，Stefan,Margarita Chli,and Roland Y.Siegwart.“BRISK:Binary robust invariant scalable keypoints.，，Computer Vis1n(ICCV),201IIEEEInternat1nal Conference on.1EEE,2011.
[0167]10.Triggs，Bill等人“Bundle ad justment-a modern synthesis ,Vis1nalgorithms:theory and practice(2000):第153頁-177頁。
[0168]11.Klein，Georg，and David Murray.“Parallel tracking and mapping forsmall AR workspaces/’Mixed and Augmented Reality,2007.1SMAR2007.6th IEEE andACM Internat1nal Symposium on.1EEE,2007.
[0169]12.Newcombe,Richard A.,Steven J.Lovegrove,and Andrew J.Davison.uDTAM:Dense tracking and mapping in real-time.，，Computer Vis1n(ICCV),2011IEEEInternat1nal Conference on.1EEE,2011.
[0170]13.Newcombe ,Richard A., and Andrew J.Davison.uLive densereconstruct1n with a single moving camera.，，Computer Vis1n and PatternRecognit1n(CVPR),2010IEEE Conference on.1EEE，2010.
[0171]14.Fuchs，Stefan，and Stefan May.''Calibrat1n and registrat1n forprecise surface reconstruct1n with time-of-flight cameras.，，Internat1nalJournal of Intelligent Systems Technologies and Applicat1ns 5.3(2008):第274頁-284頁。
[0172]15.Hilton，Adrian等人“Reliable surface reconstruct1n from multiplerange images/’Computer Vis1n—ECCV，96(1996):第 117頁_126頁0
[0173]16.WhitakerjRoss Τ.“Α level-set approach to 3D reconstruct1n fromrange data.，，Internat1nal Journal of Computer Vis1n 29.3(1998):第203頁-231頁。
[0174]17.US 8150142 B2
[0175]18.US 7433024 B2
[0176]19.Snavely,Noah,Steven M.Seitz,and Richard Szelisk1.uPhoto tourism:exploring photo collect1ns in 3D.，，ACM Transact1ns on Graphics(TOG).第25卷.N0.3.ACM，2006.
[0177]20.Chojnacki,Michael J.Brooks Wojciech,and Luis Baume la.u3dreconstruct 1n from optical flow generated by an uncalibrated cameraundergoing unknown mot1n.，，
[0178]21.Hartley ,Richard.aEuclidean reconstruct1n from uncalibratedviews ,Applicat1ns of invariance in computer vis1n(1994):第235頁_256頁。
[0179]22.Pollefeys，Marc等人“Automated reconstruct1n of 3D scenes fromsequences of images.，，ISPRS Journal of Photogrammetry and Remote Sensing 55.4(2000):第 251 頁-267 頁。
[0180]23.Triggs，Bi 11 等人 “Bundle adjustment—a modern synthesis ,Vis1nalgorithms:theory and practice.Springer Berlin Heidelberg，2000.第298頁_372頁。
[0181]24.Lourakis,ManoIisjand Antonis Argyros.The design and implementat1nof a generic sparse bundle adjustment software package based on thelevenberg-marquardt algorithm.第I卷.N0.2.Technical Report 340, Institute ofComputer Science-FORTHjHerakl1njCrete,Greece,2004.
【主權(quán)項(xiàng)】
1.一種在真實(shí)環(huán)境中跟蹤包括至少一個(gè)相機(jī)的移動(dòng)設(shè)備的方法，包括: -接收與由所述至少一個(gè)相機(jī)所捕獲的至少一個(gè)圖像相關(guān)聯(lián)的圖像信息， -基于由車輛的至少一個(gè)傳感器在采集過程中所采集的環(huán)境數(shù)據(jù)或車輛狀態(tài)數(shù)據(jù)來生成所述真實(shí)環(huán)境的至少一部分的第一幾何模型，所述車輛不同于所述移動(dòng)設(shè)備， -基于與所述至少一個(gè)圖像相關(guān)聯(lián)的所述圖像信息并且至少部分地根據(jù)所述第一幾何模型來執(zhí)行跟蹤過程，其中所述跟蹤過程確定所述移動(dòng)設(shè)備相對(duì)于所述真實(shí)環(huán)境的姿態(tài)的至少一個(gè)參數(shù)。2.—種使用來自移動(dòng)設(shè)備的至少一個(gè)相機(jī)的圖像信息來生成真實(shí)環(huán)境的至少一部分的幾何模型的方法，包括: -接收與由所述至少一個(gè)相機(jī)所捕獲的至少一個(gè)圖像相關(guān)聯(lián)的圖像信息， -基于由車輛的至少一個(gè)傳感器在采集過程中所采集的環(huán)境數(shù)據(jù)或車輛狀態(tài)數(shù)據(jù)來生成所述真實(shí)環(huán)境的至少一部分的第一幾何模型，所述車輛不同于所述移動(dòng)設(shè)備， -基于與所述至少一個(gè)圖像相關(guān)聯(lián)的所述圖像信息并且至少部分地根據(jù)所述第一幾何模型來生成所述真實(shí)環(huán)境的至少一部分的第二幾何模型。3.根據(jù)權(quán)利要求1或2所述的方法，其中跟蹤所述移動(dòng)設(shè)備或生成所述第二幾何模型在所述采集過程或所述采集過程的一部分之后的設(shè)定時(shí)間段內(nèi)執(zhí)行，優(yōu)選地在24小時(shí)內(nèi)執(zhí)行。4.根據(jù)權(quán)利要求2或3所述的方法，其中生成所述第二幾何模型進(jìn)一步基于與由所述至少一個(gè)相機(jī)所捕獲的至少一個(gè)另外的圖像相關(guān)聯(lián)的所接收的圖像信息或進(jìn)一步基于與所述至少一個(gè)圖像相關(guān)聯(lián)的所接收的深度信息。5.根據(jù)權(quán)利要求2至4中一項(xiàng)所述的方法，其中所述第二幾何模型通過延伸所述第一幾何模型而生成。6.根據(jù)權(quán)利要求1至5中一項(xiàng)所述的方法，其中所述第一幾何模型的至少一部分根據(jù)由所述至少一個(gè)相機(jī)所捕獲的一個(gè)或多個(gè)圖像而生成。7.根據(jù)權(quán)利要求1至6中一項(xiàng)所述的方法，其中所述采集過程在所述移動(dòng)設(shè)備正由所述車輛傳送時(shí)至少部分地被執(zhí)行。8.根據(jù)權(quán)利要求1至7中一項(xiàng)所述的方法，其中所述采集過程在所述車輛正在移動(dòng)時(shí)至少部分地被執(zhí)行并且傳感器數(shù)據(jù)是在不同車輛位置處從所述車輛的所述至少一個(gè)傳感器米集的。9.根據(jù)權(quán)利要求1至8中一項(xiàng)所述的方法，其中所述環(huán)境數(shù)據(jù)根據(jù)所述車輛的位置和所述車輛的至少一個(gè)設(shè)定目的地而被采集。10.根據(jù)權(quán)利要求9所述的方法，其中 -所述環(huán)境數(shù)據(jù)在所述車輛到達(dá)所述至少一個(gè)目的地之后被采集，或者 -所述環(huán)境數(shù)據(jù)在所述車輛在距所述至少一個(gè)目的地的距離內(nèi)的情況下被采集，或者 -所述環(huán)境數(shù)據(jù)根據(jù)所述車輛的所述位置、所述車輛的速度和所述至少一個(gè)目的地而被采集。11.根據(jù)權(quán)利要求1至10中一項(xiàng)所述的方法，其中所述第一幾何模型進(jìn)一步基于與由被放置在所述真實(shí)環(huán)境中的另外的相機(jī)所捕獲的至少一個(gè)圖像相關(guān)聯(lián)的圖像信息而生成。12.根據(jù)權(quán)利要求1至11中一項(xiàng)所述的方法，其中所述車輛的所述至少一個(gè)傳感器包括至少兩個(gè)車用相機(jī)，在車用相機(jī)之間具有已知空間關(guān)系，并且所述第一幾何模型的度量尺度根據(jù)所述空間關(guān)系來確定。13.根據(jù)權(quán)利要求1至12中一項(xiàng)所述的方法，其中生成所述第一幾何模型或所述第一幾何模型的一部分由所述車輛的處理設(shè)備來執(zhí)行，并且所述第一幾何模型從所述車輛傳輸至所述移動(dòng)設(shè)備。14.根據(jù)權(quán)利要求13所述的方法，其中所述第一幾何模型經(jīng)由服務(wù)器計(jì)算機(jī)或經(jīng)由所述車輛和所述移動(dòng)設(shè)備之間的點(diǎn)到點(diǎn)通信從所述車輛傳輸至所述移動(dòng)設(shè)備。15.根據(jù)權(quán)利要求1至14中一項(xiàng)所述的方法，其中所述環(huán)境數(shù)據(jù)從所述車輛傳輸至所述移動(dòng)設(shè)備，并且生成所述第一幾何模型或所述第一幾何模型的一部分在所述移動(dòng)設(shè)備上執(zhí)行。16.根據(jù)權(quán)利要求15所述的方法，其中所述環(huán)境數(shù)據(jù)經(jīng)由服務(wù)器計(jì)算機(jī)或經(jīng)由所述車輛和所述移動(dòng)設(shè)備之間的點(diǎn)到點(diǎn)通信從所述車輛傳輸至所述移動(dòng)設(shè)備。17.根據(jù)權(quán)利要求1至16中一項(xiàng)所述的方法，其中所述環(huán)境數(shù)據(jù)從所述車輛傳輸至服務(wù)器計(jì)算機(jī)，并且生成所述第一幾何模型或所述第一幾何模型的一部分在所述服務(wù)器計(jì)算機(jī)上執(zhí)行。18.根據(jù)權(quán)利要求1至17中一項(xiàng)所述的方法，其中所述第一幾何模型具有從車載傳感器諸如雷達(dá)、距離傳感器和/或渡越時(shí)間傳感器所確定的和/或基于所述車輛的狀態(tài)諸如所述車輛的速度的合適的度量尺度。19.根據(jù)權(quán)利要求1至18中一項(xiàng)所述的方法，其中 -到目的地的一條或多條路線被提供，并且 -根據(jù)所提供的路線中的一條或多條路線，所述環(huán)境數(shù)據(jù)被采集和/或所述第一幾何模型被生成。20.根據(jù)權(quán)利要求1至19中一項(xiàng)所述的方法，其中所述第一幾何模型和所述第二幾何模型中的至少一者至少描述所述真實(shí)環(huán)境的深度信息。21.根據(jù)權(quán)利要求1至20中一項(xiàng)所述的方法，其中所述移動(dòng)設(shè)備為用戶便攜的設(shè)備，尤其為手持式設(shè)備、移動(dòng)電話、頭戴式眼鏡或頭盔、或可穿戴設(shè)備。22.根據(jù)權(quán)利要求1至21中一項(xiàng)所述的方法，其中所述方法被適配為用于用于在所述移動(dòng)設(shè)備上運(yùn)行的增強(qiáng)現(xiàn)實(shí)和/或?qū)Ш綉?yīng)用的方法。23.根據(jù)權(quán)利要求1至22中一項(xiàng)所述的方法，其中在所述跟蹤過程中或?yàn)榱松伤龅诙缀文Ｐ?，?zhí)行基于視覺的跟蹤。24.根據(jù)權(quán)利要求23所述的方法，其中所述基于視覺的跟蹤為基于視覺的同步定位與映射(SLAM)。25.根據(jù)權(quán)利要求23或24所述的方法，其中所述基于視覺的跟蹤包括特征提取、特征描述、特征匹配和姿態(tài)確定。26.根據(jù)權(quán)利要求25所述的方法，其中所使用的特征為以下各項(xiàng)中的至少一者或它們的組合:強(qiáng)度、梯度、邊緣、線段、區(qū)段、拐角、描述性特征、基元、直方圖、極性和取向。27.—種包括軟件代碼段的計(jì)算機(jī)程序產(chǎn)品，所述軟件代碼段被適配為執(zhí)行根據(jù)權(quán)利要求I至26中任一項(xiàng)所述的方法。
【文檔編號(hào)】G06T7/00GK105849771SQ201380081725
【公開日】2016年8月10日
【申請(qǐng)日】2013年12月19日
【發(fā)明人】P·邁耶, S·利伯克內(nèi)希特
【申請(qǐng)人】Metaio有限公司