專利名稱：空間圖像索引和關(guān)聯(lián)的更新功能的制作方法
空間圖像索引和關(guān)聯(lián)的更新功能背景技術(shù)
當(dāng)前，存在用于使查詢圖像匹配參考圖像大全(corpus)的技術(shù)。在一個實例中， 該方法可以被概念化為包括索引創(chuàng)建(和索引更新)階段和搜索階段。在索引創(chuàng)建階段，這種系統(tǒng)從參考圖像提取圖像特征。該系統(tǒng)然后創(chuàng)建(或更新)將圖像特征映射到包含這些特征的參考圖像的反向索引。在搜索階段，該系統(tǒng)可以從查詢圖像提取圖像特征。該系統(tǒng)然后可以使用這些查詢特征連同索引來找可能與該查詢圖像相似的一個或多個參考圖像。
上述操作執(zhí)行起來是復(fù)雜和耗時的。這消極地影響了這種系統(tǒng)的索引創(chuàng)建階段和搜索階段的響應(yīng)性(responsiveness)。出于上文闡述的原因，該問題又降低了這種圖像匹配系統(tǒng)的效用。發(fā)明內(nèi)容
本文描述了一種用于使查詢圖像匹配參考圖像的集合的圖像匹配系統(tǒng)。根據(jù)一個說明性特征，該圖像匹配系統(tǒng)接收查詢圖像連同與該查詢圖像相關(guān)聯(lián)的位置信息。例如，該位置信息可以對應(yīng)于捕獲查詢圖像所在的地理位置。然后，該圖像匹配系統(tǒng)識別與位置信息相關(guān)聯(lián)的包圍(bounding)區(qū)域。然后，該圖像匹配系統(tǒng)通過將參考圖像與僅駐留在包圍區(qū)域內(nèi)的那些參考圖像進行比較來執(zhí)行圖像匹配。這方面有助于降低在由圖像匹配系統(tǒng)提供的處理的搜索階段期間處理的復(fù)雜度，從而使得該搜索階段更敏感(responsive)且可能更精確。即，相比之下，所有參考圖像的窮舉搜索(不參考位置)將花費更長的時間，并且將因此減小搜索操作的速度和隨之而來的效用。
根據(jù)另一個說明性特征，該圖像匹配系統(tǒng)首先例如通過將查詢圖像轉(zhuǎn)換為一組量化特征并且然后使用反向索引識別匹配這些量化特征的參考圖像來識別可以匹配查詢圖像的一組候選參考圖像。然后，該圖像匹配系統(tǒng)使用驗證分析來識別從所述候選參考圖像組中選擇的一個或多個最終匹配圖像。
根據(jù)另一個說明性特征，該圖像匹配系統(tǒng)還可以收集涉及捕獲查詢圖像的設(shè)備的取向信息。該圖像匹配系統(tǒng)可以使用該取向信息改進(refine)其分析(例如，在執(zhí)行驗證分析的過程中)。
根據(jù)另一個說明性特征，該圖像匹配系統(tǒng)可以更新索引以包括與最終匹配圖像相關(guān)聯(lián)的圖像信息條目。即，該最終匹配圖像可以對應(yīng)于已被確定為匹配相應(yīng)參考圖像的查詢圖像，從而提供一種類型的反饋回路，搜索結(jié)果借此被反饋到參考圖像的集合。這提供了增強的學(xué)習(xí)機制。
根據(jù)另一個說明性特征，索引的更新可以近實時地執(zhí)行。例如，根據(jù)功能的觀點， 假設(shè)用戶接連(in quick succession)(例如在距彼此短時間內(nèi))捕獲兩個連續(xù)圖像。該圖像匹配系統(tǒng)在提交第二查詢圖像之前基于第一查詢圖像(如果它匹配一個參考圖像)更新索引，從而在提交第二查詢圖像之前使得第一查詢圖像可用作參考圖像。在一個特定的說明性實現(xiàn)方式中，更新發(fā)生在小于一分鐘內(nèi)。該近實時更新實現(xiàn)了下文將要闡述的該圖像匹配系統(tǒng)的各種新應(yīng)用。
根據(jù)另一個說明性特征，描述了實施上述近實時更新的更新管理功能。例如，該更新操作可能需要將圖像信息條目的尺寸減小的桶(bucket)組傳遞到索引服務(wù)器以便更新。 尺寸減小的桶組的使用允許索引服務(wù)器以迅速的方式整合新條目。根據(jù)另一個說明性特征，該更新管理功能可以跨越索引服務(wù)器分布圖像信息條目，從而兩個連續(xù)捕獲的查詢圖像可以被分配到不同的索引服務(wù)器。出于下文更詳細(xì)闡述的原因，該特征可以有助于在操作的搜索階段期間在多個索引服務(wù)器間分散處理負(fù)擔(dān)。根據(jù)另一個特征，該更新管理功能還可以將每個圖像信息條目轉(zhuǎn)發(fā)到臨時索引服務(wù)器。由該臨時索引服務(wù)器存儲的索引信息然后可立即用于在執(zhí)行搜索時使用。該更新管理功能可以在預(yù)定時間量消逝之后移除臨時索引服務(wù)器中存儲的圖像信息條目(因為，此時，假定非臨時索引服務(wù)器已經(jīng)接收到圖像信息條目)。上述方法可以在多種類型的系統(tǒng)、組件、方法、計算機可讀介質(zhì)、數(shù)據(jù)結(jié)構(gòu)、制造的物品等等中得到證明(manifest)。該發(fā)明內(nèi)容被提供以引入簡化形式的概念的選擇；這些概念在下文的具體實施方式
中被進一步描述。該發(fā)明內(nèi)容不旨在標(biāo)識要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于限制要求保護的主題的范圍。


圖1示出圖像匹配系統(tǒng)可以使查詢圖像匹配參考圖像的集合的說明性環(huán)境。圖2示出可以在圖1的環(huán)境中使用的匹配功能。該匹配功能將查詢圖像與參考圖像匹配。圖3示出用于創(chuàng)建用于將查詢圖像與參考圖像匹配的索引的說明性索引生成模塊。圖4示出用圖3的索引創(chuàng)建模塊創(chuàng)建的索引執(zhí)行圖像匹配的說明性功能。圖5示出用于將圖像信息條目添加到索引的說明性索引更新模塊。該圖像信息條目提供對應(yīng)于要被添加到索引的新參考圖像的描述信息。圖6示出索引更新模塊的另一種實現(xiàn)方式。圖7示出如由關(guān)系管理模塊(如圖1所示)保持的相關(guān)圖像的數(shù)據(jù)存儲的部分。圖8是示出圖1的索引匹配系統(tǒng)的操作的一種說明性方式的流程圖。圖9和10示出可以由圖1的索引匹配系統(tǒng)捕獲并處理的一系列查詢圖像。圖11是示出使用兩階段方法將查詢圖像匹配到參考圖像的一種說明性方式的流程圖。圖12是用于解釋取向信息的概念的車輛；該取向信息描述在捕獲查詢圖像時設(shè)備的取向。圖13是描述在執(zhí)行驗證分析的環(huán)境中取向信息的使用的流程圖。圖14是描述由圖5和6的索引更新模塊執(zhí)行的更新操作的流程圖。圖15是描述由圖6的索引更新模塊執(zhí)行的更新操作的流程圖。圖16示出可以用于實現(xiàn)上述附圖中示出的特征的任意方面的說明性處理功能。貫穿本公開和附圖，相同的數(shù)字用于指代相同的組件和特征。100系列編號指代最初在圖1中找到的特征，200系列編號指代最初在圖2中找到的特征，300系列編號指代最初在圖3中找到的特征，以此類推。
具體實施方式
本公開被組織如下。章節(jié)A描述用于將查詢圖像與參考圖像匹配并且然后將新參考圖像并入索引系統(tǒng)的說明性圖像匹配系統(tǒng)。該圖像匹配系統(tǒng)以迅速的方式執(zhí)行這些操作。章節(jié)B描述解釋章節(jié)A的圖像匹配系統(tǒng)的操作的說明性方法。章節(jié)C描述可以用于實現(xiàn)章節(jié)A和B中描述的特征的任意方面的說明性處理功能。
作為初步事項，一些附圖描述了在一個或多個結(jié)構(gòu)組件的環(huán)境下的概念，所述組件被不同地稱為功能、模塊、特征、元件等。附圖中所示的各種組件可以通過物理和有形機制(例如使用硬件、軟件、固件等或其任意組合)以任何方式實現(xiàn)。在一種情況下，附圖中圖示的各種組件分離成不同的單元可以反映在實際的實現(xiàn)方式中對應(yīng)的不同物理的和有形的組件的使用。可替代地或此外，附圖中所示的任何單個組件可以由多個實際的物理組件實現(xiàn)?？商娲鼗虼送?，附圖中任意兩個或更多單獨的組件的描述可以反映由單個實際物理組件執(zhí)行的不同功能。依次將要討論的圖16提供了關(guān)于附圖中所示功能的一種說明性物理實現(xiàn)方式的附加細(xì)節(jié)。
其他附圖以流程圖形式描述所述概念。在該形式中，某些操作被描述為構(gòu)成以一定順序執(zhí)行的不同的塊。這樣的實現(xiàn)方式是說明性的和非限制性的。本文所述的某些塊可以被集合在一起并且以單個操作執(zhí)行，某些塊可以被分裂為多個組成塊，以及某些塊可以以不同于本文所述的順序(包括執(zhí)行這些塊的并行方式)來執(zhí)行。流程圖中所示的塊可以通過任何物理和有形機制(例如使用硬件、軟件、固件等或其任意組合)以任何方式實現(xiàn)。
關(guān)于術(shù)語，短語“被配置成”包含可以將任意種類的物理和有形功能構(gòu)成執(zhí)行所標(biāo)識的操作的任意方式。該功能可以被配置成使用例如軟件、硬件、固件等和/或其任意組合來執(zhí)行操作。
術(shù)語“邏輯”包含用于執(zhí)行任務(wù)的任何物理和有形的功能。例如，流程圖中所示的每個操作對應(yīng)于用于執(zhí)行該操作的邏輯組件。可以使用例如軟件、硬件、固件等和/或其任意組合來執(zhí)行操作。無論如何實現(xiàn)，邏輯組件在由計算系統(tǒng)實現(xiàn)時表示電子組件，該電子組件是計算系統(tǒng)的物理部分。
下面的解釋可以將一個或多個特征標(biāo)識為“可選的”。該類型的闡述不應(yīng)當(dāng)被解釋為可以被認(rèn)為是可選的特征的窮舉指示；即，其他特征可被認(rèn)為是可選的，盡管在本文中未清楚標(biāo)識。類似地，該解釋可以指示一個或多個特征可以以復(fù)數(shù)方式實現(xiàn)(即，通過提供超過一個特征實現(xiàn))。該敘述不應(yīng)當(dāng)被解釋為可以被復(fù)制的特征的窮舉指示。最后，術(shù)語“示范性”或“說明性的”指代在潛在許多實現(xiàn)方式中的一種實現(xiàn)方式。
A.說明性圖像匹配系統(tǒng)圖1示出包括圖像匹配系統(tǒng)102的說明性環(huán)境100。在該章節(jié)中，圖1將被用作用于闡述圖像匹配系統(tǒng)102的所選屬性的概觀的車輛。稍后的附圖和所附的解釋將更詳細(xì)地闡釋圖像匹配系統(tǒng)102內(nèi)各個模塊的操作。
根據(jù)高水平的觀點，圖像匹配系統(tǒng)102包括匹配功能104和索引管理功能106。匹配功能104通過使查詢圖像(I,)匹配參考圖像(例如，Iri、Irt···)的集合來操作，由此找到被認(rèn)為相似于查詢圖像(I,)的一個或多個參考圖像。在執(zhí)行該功能時，匹配功能104依靠索引系統(tǒng)108。索引系統(tǒng)108保持涉及參考圖像的圖像信息。一個或多個數(shù)據(jù)存儲器(例如， 數(shù)據(jù)存儲器110)可以存儲參考圖像本身。假定匹配功能104標(biāo)識查詢圖像(在時刻tl處取得的)匹配特定參考圖像。在一種實現(xiàn)方式中，索引管理功能106然后操作以將圖像信息條目(對應(yīng)于參考圖像)添加到索引系統(tǒng)108。這允許后續(xù)的查詢圖像(在時刻t2處取得的)可能匹配先前的查詢圖像(在時刻tl處取得的)。此外，關(guān)系管理模塊112可以保持并更新指示參考圖像之間關(guān)系的關(guān)系信息。在一種使用方式中，圖像匹配系統(tǒng)102可以推斷查詢圖像與一個或多個現(xiàn)有參考圖像相關(guān)。 基于該結(jié)論，響應(yīng)于來自索引管理功能106的指令，關(guān)系管理模塊112可以更新其關(guān)系信息以包括由圖像匹配系統(tǒng)102建立的新連接。圖1還圖示了一種闡述圖像匹配系統(tǒng)102可工作的一種方式的場景。在該場景中， 用戶可以使用移動計算設(shè)備114以捕獲查詢圖像(I,)。例如，移動計算設(shè)備114可以對應(yīng)于手持式移動電話設(shè)備、相機或包括圖像捕獲功能的任何其他處理設(shè)備。在該特定場景中， 假定用戶使用移動計算設(shè)備114拍攝特定城市內(nèi)建筑物116的照片。圖像匹配系統(tǒng)102還可以在其他環(huán)境下應(yīng)用。一般地，圖像匹配系統(tǒng)102可以應(yīng)用于用戶使用任何計算設(shè)備(甚至包括固定計算設(shè)備)基于從任何來源獲得的任意類型的查詢圖像、并基于由任何來源提供的任意參考圖像大全(corpus)執(zhí)行圖像搜索的任意場景。 圖像匹配系統(tǒng)102還可以與任意類型的非人類代理交互。例如，任意類型的系統(tǒng)內(nèi)的功能模塊可以出于任何環(huán)境特定原因自動識別并呈現(xiàn)要處理的查詢圖像。然而，為了便于描述， 在下面的描述中將假定呈現(xiàn)查詢的實體是人類用戶。在一種情況下，移動計算設(shè)備114可以使用本地和/或遠(yuǎn)程位置確定機制(未示出)確定位置信息。該位置信息描述用戶捕獲查詢圖像時所在的位置(L)。該位置(L)一般地還可以對應(yīng)于由圖像表示的對象的位置。一般地，該位置信息可以傳達(dá)一個(或多個)位置并且可選地傳達(dá)該一個(或多個)位置的精確度水平。移動計算設(shè)備114可以使用GPS技術(shù)或Wi-Fi定位技術(shù)或蜂窩發(fā)射塔三角測量技術(shù)或任何其他位置確定技術(shù)(或其組合)來確定用戶捕獲查詢圖像所在的位置。在圖1所示的上述場景中，由此提供的位置信息將以一定的誤差容限指示用戶位于特定城市的特定區(qū)域中(其中不同位置確定技術(shù)具有各自不同的精確度水平)。此外或可替代地，用戶(或任何其他代理)可以清楚地將位置標(biāo)簽應(yīng)用到先前捕獲的圖像，該位置標(biāo)簽傳達(dá)與該圖像相關(guān)聯(lián)的位置。該位置標(biāo)簽構(gòu)成位置信息。在一種實現(xiàn)方式中，用戶可以清楚地決定參加(或決定不參加)位置信息的收集。如果被收集，圖像匹配系統(tǒng)102可以提供安全性規(guī)定以保持位置信息的置信度(confidence )。移動計算設(shè)備114還可以捕獲取向信息。該取向信息描述在捕獲查詢圖像的時候移動計算設(shè)備114的取向(0)。例如，移動計算設(shè)備114可以依靠陀螺儀技術(shù)、加速計技術(shù)等(或其任意組合)以捕獲移動計算設(shè)備114的取向。此外或可替代地，用戶(或任何其他代理)可以清楚地將取向標(biāo)簽應(yīng)用到先前捕獲的圖像，該取向標(biāo)簽指示與圖像相關(guān)聯(lián)的取向。 該取向標(biāo)簽構(gòu)成取向信息。在任何情況下，該取向信息可以具有任意維數(shù)。在一種情況下， 該取向信息具有對應(yīng)于關(guān)于相機光軸的滾轉(zhuǎn)角(roll angle)的單個自由度。在其他情況下，該取向信息可以描述滾動(roll)、俯仰(pitch)和偏轉(zhuǎn)(yaw)自由度的任意組合。
如不久更詳細(xì)地闡述，索引匹配系統(tǒng)102可以使用兩階段方法識別匹配查詢圖像的參考圖像。在第一階段，圖像匹配系統(tǒng)102生成可以具有與查詢圖像類似內(nèi)容的一組候選參考圖像。它通過使用索引系統(tǒng)108將被量化的圖像特征映射到潛在的相關(guān)參考圖像來執(zhí)行該任務(wù)。在第二階段，該圖像匹配系統(tǒng)102然后使用驗證分析從候選參考圖像組選擇一個或多個最終匹配圖像。它通過執(zhí)行查詢圖像與(在第一階段識別的)每個候選參考圖像的成對比較來執(zhí)行任務(wù)。在這樣做時，該驗證分析可以以適當(dāng)程度的置信度剔除與查詢圖像不匹配的一個或多個候選參考圖像。
在執(zhí)行其操作的第一階段時，圖像匹配系統(tǒng)102可以識別與位置(L)相關(guān)聯(lián)的包圍區(qū)域118。例如，在一種實現(xiàn)方式中，圖像匹配系統(tǒng)102可以識別圓形包圍區(qū)域118，并以假定的用戶當(dāng)前位置為該圓形包圍區(qū)域的中心點。包圍區(qū)域118的半徑(d)定義包圍區(qū)域 118的空間范圍。這僅僅是一個實例；在其他實現(xiàn)方式中，圖像匹配系統(tǒng)102可以定義具有任何其他形狀的包圍區(qū)域。而且，用戶和/或任何其他授權(quán)的代理可以將半徑d設(shè)置為被認(rèn)為適合實現(xiàn)特定環(huán)境中特定應(yīng)用的目標(biāo)的任何值。
在定義了包圍區(qū)域118之后，圖像匹配系統(tǒng)102將其圖像搜索操作限定在與包圍區(qū)域118相關(guān)聯(lián)的圖像的子集。例如，這些參考圖像可以對應(yīng)于在包圍區(qū)域118內(nèi)的位置捕獲的圖像，和/或隨后與包圍區(qū)域118內(nèi)的位置相關(guān)聯(lián)的圖像。例如，考慮圖1的實例。 假設(shè)，圖像Irl、Ir2> Ir3和Ir4與包圍區(qū)域118相關(guān)聯(lián)。假設(shè)，至少圖像Ir5和Ir6與位于包圍區(qū)域118之外的位置相關(guān)聯(lián)。(在現(xiàn)實中，在包圍區(qū)域118內(nèi)部和外部可能存在更多參考圖像。)在該說明性場景中，圖像匹配系統(tǒng)102通過將查詢圖像(I,)與圖像Iri、Ir2> ‘和Irt 而不與Irf和Irf進行比較來繼續(xù)進行。
為了執(zhí)行上述操作，每個參考圖像用位置信息(如果這種位置信息存在)連同其他元數(shù)據(jù)標(biāo)記。索引系統(tǒng)108保持這種位置信息連同其他元數(shù)據(jù)。圖像匹配系統(tǒng)102然后可以在其使查詢圖像匹配參考圖像之前考慮參考圖像的位置。同樣，在一種實現(xiàn)方式中，該位置信息允許圖形匹配系統(tǒng)102在所述參考圖像大全上執(zhí)行初始過濾操作。
(在搜索操作的第一階段執(zhí)行的)位置信息的上述使用可以被稱為基于位置的范圍界定(scoping)。該基于位置的范圍界定具有至少兩個潛在益處。首先，它可以改進圖像匹配操作的質(zhì)量，因為通過考慮它消除了不可能可靠地匹配查詢圖像的那些參考圖像。例如，在舊金山捕獲的圖像不可能匹配在圣安東尼奧捕獲的圖像。其次，基于位置的范圍界定可以加快圖像匹配操作，因為圖像匹配系統(tǒng)102正將查詢圖像僅與大得多的參考圖形大全的子集進行比較。
在第二階段，圖像匹配系統(tǒng)102可以執(zhí)行驗證分析來識別從所述候選參考圖像組中選擇的最終匹配圖像。在該階段，圖像匹配系統(tǒng)102可以使用取向信息來改進它的查詢圖像與各個參考圖像的成對比較。
然而，在其他場景和實現(xiàn)方式中，圖像匹配系統(tǒng)102可以消除基于位置的范圍界定和/或基于取向的處理的使用。通過省略基于位置的范圍確定，例如，圖像匹配系統(tǒng)102 可以在索引系統(tǒng)108中表示的整組的參考圖像上執(zhí)行匹配。
圖2示出圖1的匹配功能104的一種實現(xiàn)方式。該匹配功能104使用圖像匹配算法(將在下文闡述)使查詢圖像匹配參考圖像的集合。這些圖像匹配算法通過圖示而非限制來闡述；即，其他實現(xiàn)方式可以采取其他算法。作為另一種方式，索引管理功能106的某些方面還可以合并圖2所示的一些功能。自上而下實現(xiàn)該功能，所述匹配功能104首先將興趣點檢測器模塊202應(yīng)用到查詢圖像。該興趣點檢測器模塊202識別查詢圖像中的興趣點。例如，該興趣點檢測器模塊 202可以使用任何技術(shù)(比如通過應(yīng)用拉普拉斯算子興趣點檢測器等)識別查詢圖像中的角落和/或斑點。非量化特征提取模塊204然后識別與興趣點相關(guān)聯(lián)的圖像特征。如本文所使用的特征是指用于典型地與最初原始圖像內(nèi)容相比以更簡明且有用的形式表征圖像的一部分的任何說明信息。例如，該非量化特征提取模塊204可以識別每個興趣點周圍的像斑。該非量化圖像特征提取模塊204然后可以應(yīng)用任何特征提取技術(shù)來將所述像斑表示為圖像特征。尺度不變特征變換(SIFT)技術(shù)是一種這樣的方法其可以用于形成圖像特征。SIFT 將方形像斑細(xì)分成4x4個同樣大小的區(qū)域，并且然后為每個區(qū)域計算圖像梯度的直方圖。 SIFT技術(shù)針對所述圖像區(qū)域產(chǎn)生1 維圖像特征。由非量化特征提取模塊204產(chǎn)生的圖像特征被稱為非量化圖像特征，因為它們的維度(例如簡明)還沒有以接下來要描述的方式進一步減少。此外，在隨后處理特征之前，各種技術(shù)可以可選地用于減少特征的維數(shù)，比如主成分分析(PCA)技術(shù)。量化特征生成模塊206對非量化圖像特征進行操作以產(chǎn)生量化的圖像特征。在一種情況下，該量化的圖像特征表示將非量化圖像特征簡化成整數(shù)描述符。執(zhí)行該簡化的一種方式是使用詞匯樹，如在例如David Nist6r等人的“Salable Recognition with a Vocabulary Tree, ” Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2006， pp. 2161-2168 中所述。在建立階段，通過接連地聚集(cluster)代表性的非量化圖像特征大全來產(chǎn)生詞匯樹，以產(chǎn)生節(jié)點的分層樹(表示群中心)。數(shù)據(jù)存儲器208可以存儲詞匯樹的表示。該詞匯樹此后提供用于將整數(shù)分配給非量化圖像特征的映射機制。該建立階段還涉及創(chuàng)建反向索引。該反向索引將可能的量化特征映射到包含這些量化特征的參考圖像。該索引系統(tǒng)108 (圖1所示的)可以將因此產(chǎn)生的反向索引存儲在數(shù)據(jù)存儲器210 (圖2所示的)中。在圖2所示的搜索操作的上下文中，量化特征生成模塊206使用詞匯樹將非量化特征(其已由非量化特征提取模塊204生成)映射成量化特征。同樣，在一種實現(xiàn)方式中該量化特征可以對應(yīng)到整數(shù)?；谠~匯的匹配模塊212隨后使用該量化特征(與查詢圖像相關(guān)聯(lián))作為查找信息以尋找一組潛在相關(guān)的參考圖像。為了這樣做，基于詞匯的匹配模塊212 詢問(consult)數(shù)據(jù)存儲器210中保持的反向索引。實際上，量化特征生成模塊206將非量化圖像特征轉(zhuǎn)換成“視覺詞語”，就像文本文檔包含文本詞語一樣?；谠~匯的匹配模塊 212然后基于該視覺詞語例如通過將查詢圖像中的視覺詞語與參考圖像中的視覺詞語進行比較而對參考圖像執(zhí)行基于索引的搜索。圖2還指示將位置信息送入(feed into)基于詞匯的匹配模塊212。這意味著基于詞匯的匹配模塊212可以可選地以上述方式執(zhí)行基于位置的范圍界定。即，取代將查詢圖像與所有參考圖像進行比較，基于詞匯的模塊212可以將查詢圖像與僅與相關(guān)包圍區(qū)域 118所關(guān)聯(lián)的那些參考圖像進行比較。同樣，假設(shè)由索引系統(tǒng)108保持的索引信息提供相關(guān)位置信息，并且該位置信息表示可以進行匹配的額外字段?；谠~匯的匹配操作的輸出表示按照在該操作期間確定的分?jǐn)?shù)進行排列(rank)的一組候選參考圖像。上述系列操作還對應(yīng)于上述第一階段處理。
在第二階段處理中，驗證模塊214執(zhí)行附加的驗證分析以確定每個候選參考圖像是否確實是查詢圖像的可行匹配。驗證模塊214可以執(zhí)行用于執(zhí)行該操作的任何技術(shù)或技術(shù)的組合。在一種情況下，驗證模塊214可以通過進行查詢圖像與每個候選參考圖像的逐點的興趣點比較來執(zhí)行該操作。
在另一種方法中，驗證模塊214可以基于在共同懸而未決的且共同轉(zhuǎn)讓的2009年 6月4日提交的發(fā)明人為Michael Kro印f 1等人的題為“Geocoding by Image Matching” 的美國專利申請序列號12/478,569和/或2010年5月20日提交的發(fā)明人為Eyal Ofek 等人的題為 “Spatially Registering User Photographs” 的美國申請序列號 12/783，598 中描述的技術(shù)執(zhí)行驗證分析。這兩個申請各自整體地通過引用合并于此。
例如，假設(shè)驗證模塊214處于比較查詢圖像與一個特定候選參考圖像的過程中。 它可以將與查詢圖像相關(guān)聯(lián)的最初的非量化圖像特征細(xì)分為多個取向面元(bin)，例如每個面元具有5度寬。驗證模塊214然后可以將每個面元中的非量化特征與不同于面元的取向界限(limit)不超過規(guī)定公差τ的參考圖像中的非量化特征匹配。已被收集的取向信息可以進一步改進該匹配過程，例如通過提供關(guān)于查詢圖像相對于參考圖像的取向的糾正澄清來改進。章節(jié)B提供了關(guān)于取向信息的使用的附加細(xì)節(jié)。
此外，驗證模塊214可以應(yīng)用幾何模型以將查詢圖像中的點映射到參考圖像中對應(yīng)的點。例如，驗證模塊214可以應(yīng)用基于單應(yīng)(homography)的模型，其將查詢圖像中的每個點變換為參考圖像中的對應(yīng)點。在一種方法中，已知的隨機采樣一致性(RANSAC)算法可以用于估計單應(yīng)性。該分析允許驗證模塊剔除不可能表示查詢圖像的有效匹配(例如，因為它們不符合由驗證模塊214應(yīng)用的幾何模型)的參考圖像。
在又一種操作中，驗證模塊214可以利用從單應(yīng)性分析搜集的位置信息增加查詢圖像和參考圖像中的非量化特征。例如，驗證模塊214可以將查詢圖像中的非量化特征映射到被投影到參考圖像中時關(guān)聯(lián)的興趣點的位置。查詢圖像中的非量化特征然后可以被增加以包括對應(yīng)于參考圖像中識別的投影位置的位置信息。此外，查詢圖像中的非量化特征可以基于參考圖像中關(guān)聯(lián)興趣點的位置而被增加。驗證模塊214然后可以基于增加的非量化圖像特征重復(fù)其匹配分析。
在一種情況下，驗證模塊214可以向它分析的每個參考圖像分配匹配分?jǐn)?shù)。該匹配分?jǐn)?shù)標(biāo)識查詢圖像與參考圖像之間的相似程度。驗證模塊214可以使用不同的方法生成這種分?jǐn)?shù)。在一種情況下，該匹配分?jǐn)?shù)對應(yīng)于對于RANSAC操作的多個內(nèi)點(inlier)。內(nèi)點是指查詢圖像與參考圖像之間的匹配興趣點。
在本文使用的術(shù)語中，驗證模塊214輸出一組最終匹配圖像。該最終匹配圖像是已被確定為以相對較高的置信度(例如沒有限制，在一種情況下為0. 995或更高)匹配查詢圖像的那些候選參考圖像。在一種應(yīng)用中，高置信度匹配過程的使用改進了由關(guān)系管理模塊112保持的關(guān)系信息的完整性(例如，精確度)。
前進到圖3，該圖示出用于創(chuàng)建(圖1的)索引系統(tǒng)108使用的索引信息的索引生成模塊302。該索引生成模塊302是圖1的索引管理功能106的組件。該索引生成模塊302 可以在它適合將新參考圖像大全轉(zhuǎn)換成可搜索的索引信息時以大量(bulk)索引生成模式被訪問(call on)。
在一種實現(xiàn)方式中，索引生成模塊302以大量索引生成模式應(yīng)用(圖2的)非量化特征提取模塊204以基于所述新參考圖像組生成非量化特征。索引生成模塊302然后使用 (圖2的)量化特征、例如利用詞匯樹生成模塊206生成所述參考圖像組的量化特征。在上述針對所述參考圖像組的過程中提取的該信息集合被稱為組塊(chunk)。更特別地，在一個實例中，組塊可以包括兩個文件。第一文件可以包含在第一階段處理中用于執(zhí)行快速匹配的參考圖像的所有量化特征。第二文件可以包含用于執(zhí)行驗證分析的非量化圖像。第二文件還可以包括關(guān)于參考圖像的元數(shù)據(jù)。該元數(shù)據(jù)可包括與參考圖像關(guān)聯(lián)的標(biāo)簽。該元數(shù)據(jù)還可包括將索引信息的實例(instances)映射到對應(yīng)的參考圖像本身(例如，其可以存儲在數(shù)據(jù)存儲器110中)的鏈路信息。在本文所使用的術(shù)語中，涉及特定參考圖像的索引信息的每個實例被稱為圖像信息條目，也被稱為圖像簽名。因此，該組塊包含一組圖像信息條目(例如，一組圖像簽名)。圖4提供了關(guān)于索引系統(tǒng)108的一種實現(xiàn)方式的附加信息。在一種情況下，索引系統(tǒng)108包括索引服務(wù)器的集合。該索引服務(wù)器的集合又包括不同索引服務(wù)器池，比如服務(wù)器池402、服務(wù)器池404等。每個服務(wù)器池又可以包括多個索引服務(wù)器。特定池內(nèi)的每個索引服務(wù)器包括整個索引的相同(冗余)部分(或“切片”)。因此，索引服務(wù)器的任何特定列 (例如，列406、408等)提供整個索引的表示。這是因為列中提供的切片總體上構(gòu)成整個索引。在所述大量索引生成模式中，索引生成模塊302可以將新創(chuàng)建的組塊轉(zhuǎn)發(fā)到特定服務(wù)器池。該池中的索引服務(wù)器然后將新接收的組塊與由該服務(wù)器池保持的索引切片進行整合。可替代地，索引生成模塊302可以使用不就要被描述的“噴射”方法將組塊中的圖像信息條目分配給多個索引服務(wù)器。在操作的搜索階段，前端模塊410接收查詢圖像。然后，它提取非量化特征(用于驗證分析)和量化特征(用于快速的基于索引的詞匯匹配)。在圖2的上下文中，前端模塊410 執(zhí)行興趣點檢測器模塊202、非量化特征提取模塊204和量化特征生成模塊206的功能。前端模塊410然后將這些特征轉(zhuǎn)發(fā)給每個服務(wù)器池的索引服務(wù)器，比如索引系統(tǒng) 108的特定列中的索引服務(wù)器。被訪問的每個索引服務(wù)器然后執(zhí)行由基于詞匯的匹配模塊 212提供的基于詞匯的匹配和由驗證模塊214提供的驗證分析。前端模塊410然后可以從已被調(diào)用的索引服務(wù)器接收最終匹配圖像的指示。前端模塊410然后可以將搜索結(jié)果轉(zhuǎn)發(fā)給進行查詢的用戶(或其它代理)。在一種情況下，用戶可以經(jīng)由任意類型的網(wǎng)絡(luò)412與前端模塊410交互，所述網(wǎng)絡(luò)比如局域網(wǎng)、廣域網(wǎng)(例如，因特網(wǎng))、點對點連接或其組合。前進到圖5，該圖示出索引更新模塊502，其是圖1的索引管理功能106的另一個組件。在實時索引更新模式中，索引更新模塊502基于用戶提交的查詢圖像將新參考圖像添加到索引系統(tǒng)108。更特別地，在一種實現(xiàn)方式中，倘若該查詢圖像匹配至少一個參考圖像，則圖像匹配系統(tǒng)102被配置成立即將該查詢圖像添加到索引系統(tǒng)108。然后，前一個查詢圖像有效地變成新參考圖像。在這樣做時，圖像匹配系統(tǒng)102形成了一個反饋回路(因為在成功匹配已被執(zhí)行之后查詢圖像被整合到索引系統(tǒng)108中)。在可替代方案中，假設(shè)查詢圖像不匹配任意參考圖像。在一種實現(xiàn)方式中，圖像匹配系統(tǒng)102不將該查詢圖像添加到索引系統(tǒng)108。然而，其他實現(xiàn)方式可能以不同程度放寬該規(guī)則。例如，另一種實現(xiàn)方式可以將查詢圖像添加到索引系統(tǒng)108，而不管它是否匹配由索引系統(tǒng)108表示的任何現(xiàn)有參考圖像。更精確地講，索引更新模塊502不是將查詢圖像本身添加到索引系統(tǒng)108，而是將涉及查詢圖像的圖像信息添加到索引系統(tǒng)108。如上文所述，涉及特定查詢圖像的圖像信息被稱為圖像信息條目。該信息可以描述查詢圖像中的特征、與查詢圖像相關(guān)聯(lián)的元數(shù)據(jù)等等。在實時索引生成模式中，圖像匹配系統(tǒng)102已經(jīng)生成要被添加到索引系統(tǒng)108的每個圖像信息條目(例如，因為該信息已經(jīng)針對圖像在其先前被作為查詢提交和處理時被生成)。通過該介紹，圖5的各個組件將自上而下地描述，接收模塊504接收要被添加到索引系統(tǒng)108的新圖像序列的圖像信息條目。如上所述，這些圖像可以對應(yīng)于已被用戶提交的查詢圖像。分配模塊506將進入的圖像信息條目分配給圖像桶(例如508、510、512等)的集合。該圖像桶表示用于存儲圖像信息條目直到它們被轉(zhuǎn)發(fā)到相應(yīng)的索引服務(wù)器進行處理的緩沖器。更特別地，假設(shè)存在三個圖像桶。分配模塊506可以將進入的圖像信息條目以循環(huán)方式“噴射”到圖像桶，例如使得第一圖像信息條目被發(fā)送到圖像桶1，第二圖像信息條目被發(fā)送到圖像桶2，第三圖像信息條目被發(fā)送到圖像桶3，第四圖像信息條目被發(fā)送到圖像桶1，等等。該處理方式的潛在益處將在下文中解釋。轉(zhuǎn)發(fā)模塊514分析圖像桶中的積累的圖像信息條目并且確定任何圖像桶是否達(dá)到閾值數(shù)量的條目。如果是，則轉(zhuǎn)發(fā)模塊514可以將其中所包含的圖像信息條目的集合轉(zhuǎn)發(fā)到一個或多個對應(yīng)的索引服務(wù)器。更特別地，每個圖像桶與一個或多個特定索引服務(wù)器相關(guān)聯(lián)。例如，圖像桶508與一個或多個索引服務(wù)器516相關(guān)聯(lián)，圖像桶510與一個或多個索引服務(wù)器518相關(guān)聯(lián)，以及圖像桶512與一個或多個索引服務(wù)器520相關(guān)聯(lián)。因此，例如， 轉(zhuǎn)發(fā)模塊514將圖像桶508中的圖像信息條目轉(zhuǎn)發(fā)到一個或多個索引服務(wù)器516。在接收圖像信息條目時，索引服務(wù)器然后對這些項目進行操作以將它們整合到它們的索引信息的特定切片。根據(jù)一種說明性場景，假設(shè)被連續(xù)接收的至少一些圖像信息條目可以對應(yīng)于連續(xù)捕獲的圖像。例如，考慮以下情況用戶在度假中并且對特定地標(biāo)拍攝若干照片?？梢灶A(yù)期這套照片具有相似的圖像內(nèi)容。分配模塊506通過將這些連續(xù)捕獲的圖像分配給不同的圖像桶(這又意味著連續(xù)捕獲的圖像最終將被分配給不同的索引服務(wù)器)來操作。接下來，假設(shè)用戶稍后嘗試使涉及相同地標(biāo)的查詢圖像與由索引系統(tǒng)108表示的參考圖像(其中一些對應(yīng)于地標(biāo))相匹配。圖4的前端模塊410將把該新查詢圖像路由到總的來說表示整個索引的索引服務(wù)器群組。一些索引服務(wù)器將基于查詢圖像與它們的參考圖像的相應(yīng)子集的比較來識別匹配查詢圖像的候選參考圖像。一些搜索服務(wù)器可能沒有找到任何候選參考圖像。那些找到匹配的索引服務(wù)器然后被分派的任務(wù)為負(fù)責(zé)查詢圖像與每個候選參考圖像的成對比較(在第二驗證階段中)，這在計算上是昂貴的操作。通過向不同的索引服務(wù)器分配不同的地標(biāo)相關(guān)的參考圖像，圖5所示的功能將昂貴的驗證分析以有效方式分配給不同的索引服務(wù)器。根據(jù)另一個說明性特征，轉(zhuǎn)發(fā)模塊514可以定義將觸發(fā)轉(zhuǎn)發(fā)操作的圖像信息條目的閾值數(shù)量以便提供索引信息的快速更新?？焖俑碌母拍羁梢砸匀缦孪嚓P(guān)措辭表達(dá)。假設(shè)用戶在度假中再次拍攝地標(biāo)的若干照片。在一種情況下，轉(zhuǎn)發(fā)模塊514以足夠快的速度 (pace)執(zhí)行轉(zhuǎn)發(fā)，使得到用戶捕獲并提交第二查詢圖像的時候第一查詢圖像被添加到索引系統(tǒng)108。在一種特定實現(xiàn)方式中，更新操作可以以少于1分鐘執(zhí)行。在另一種實現(xiàn)方式中，更新操作可以以少于30秒執(zhí)行，等等。這些更新頻率是說明性的；其他環(huán)境可以采用其他(更大或更小)的更新頻率。一般地，轉(zhuǎn)發(fā)模塊514選擇將引起期望的更新頻率的閾值數(shù)量；更新的速度隨著閾值數(shù)量的減小而增加。在一種僅代表性環(huán)境中，轉(zhuǎn)發(fā)模塊514可以將閾值數(shù)量設(shè)置在100個條目。
在本文所使用的術(shù)語中，索引更新模塊502被稱作執(zhí)行近實時更新。章節(jié)B描述了可以影響(leverage)近實時更新的不同的使用場景。
圖6示出索引更新模塊602的另一種實現(xiàn)方式。該版本的功能以上述針對圖5所解釋相同的方式操作，其中具有下述例外。除了基于桶的更新機制之外，接收模塊504將每個接收的圖像信息條目轉(zhuǎn)發(fā)到臨時索引服務(wù)器管理模塊604。該臨時索引服務(wù)器管理模塊 604又立即將圖像信息條目轉(zhuǎn)發(fā)到臨時索引服務(wù)器606。
然后，在搜索操作期間，前端模塊410將(基于查詢圖像的)搜索請求輸送(fan)到圖4所示的非臨時索引服務(wù)器，連同圖6所示的臨時索引服務(wù)器606。每個被調(diào)用的索引服務(wù)器將查詢圖像與整個索引的其特定切片所關(guān)聯(lián)的特定參考圖像進行比較。在臨時索引服務(wù)器606的情況下，它將查詢圖像與表示新接收的參考圖像的一組(a set)進行比較。因此，圖像匹配系統(tǒng)102可以使用臨時索引服務(wù)器606來非?？焖俚貙⑿聟⒖紙D像添加到索弓I fe息O
在一種實現(xiàn)方式中，臨時索引服務(wù)器管理模塊604可以在規(guī)定的時間量之后移除已被添加到臨時索引服務(wù)器606的圖像信息條目。然而，這將不會危害圖像信息條目的可用性，因為相同的圖像信息條目已經(jīng)以上述相對于圖5描述的方式可推測地向下滴流到非臨時索引服務(wù)器。因此，在規(guī)定的一段時間之后，新圖像信息條目可能已經(jīng)被非臨時索引服務(wù)器表不。
在一種情況下，臨時索引服務(wù)器606以與任何其他索引服務(wù)器相同的兩階段方式執(zhí)行關(guān)于查詢圖像的搜索，例如通過首先使用反向索引基于量化特征執(zhí)行匹配且然后基于非量化特征執(zhí)行成對的后驗證。在另一種實現(xiàn)方式中，臨時索引服務(wù)器606可以恰好在由處于用位置信息定義的位置范圍內(nèi)的臨時索引服務(wù)器606表示的所有圖像上執(zhí)行次級成對搜索。如果使用該實現(xiàn)方式，不需要創(chuàng)建反向索引(相對于由臨時索引服務(wù)器606表示的參考圖像)。處理過程中的該修改又可以加快使新參考圖像可用于被搜索的速度(例如，在一種實現(xiàn)方式中，使該圖像在小于一秒內(nèi)可用)。它也使搜索操作本身更精簡。
圖7示出由圖1的關(guān)系管理模塊112保持的圖像關(guān)系信息的一部分。該關(guān)系信息提供表示參考圖像之間關(guān)聯(lián)性的連接信息。該關(guān)系管理模塊112可以從各種源獲得關(guān)于各圖像的關(guān)聯(lián)性的信息。例如，關(guān)系管理模塊112可以基于匹配功能104執(zhí)行的匹配分析來確定兩個或多個圖像是相關(guān)的。此外，關(guān)系管理模塊112可以基于與參考圖像相關(guān)聯(lián)的元數(shù)據(jù)確定兩個或多個圖像是相關(guān)的。例如，匹配功能104可以識別西雅圖的海鮮市場的兩個照片涉及相同的旅游地標(biāo)。除該分析外，用戶可以用諸如“海鮮市場”等之類的相似標(biāo)簽注釋這些照片。該關(guān)系管理模塊112可以以任意類型的數(shù)據(jù)結(jié)構(gòu)(比如圖表)存儲這些類型的關(guān)系。
關(guān)系管理模塊112可以受益于以下在下一章節(jié)中闡述的方式的近實時更新。
B.說明性過程剩余附圖示出解釋圖1的圖像匹配系統(tǒng)102的一種操作方式的說明性過程和所附實例。由于已經(jīng)在章節(jié)A中解釋了圖像匹配系統(tǒng)102的一種操作方式，所以在該章節(jié)中將以總結(jié)方式闡述某些特征。從圖8開始，該圖示出圖1的圖像匹配系統(tǒng)102的一種操作方式的概觀。在塊802 中，圖像匹配系統(tǒng)102接收查詢圖像。在塊804中，圖像匹配系統(tǒng)102接收可推測地標(biāo)識捕獲圖像所在的位置的位置信息。該位置信息可以由位置確定機制自動提供和/或由用戶手動提供。在塊806中，圖像匹配系統(tǒng)102在與查詢圖像相關(guān)聯(lián)的位置周圍標(biāo)識包圍區(qū)域。盡管未被描述，圖像匹配系統(tǒng)102還可以接收指示捕獲查詢圖像的設(shè)備的取向的取向信息。在塊808中，圖像匹配系統(tǒng)102標(biāo)識至少一個與查詢圖像匹配的最終匹配圖像。如上所解釋，該匹配操作可以被限于與包圍區(qū)域相關(guān)聯(lián)的參考圖像的子集。圖11 (下文所描述的)示出一種用于執(zhí)行塊808中的匹配的技術(shù)。塊808結(jié)束于將搜索結(jié)果返回到用戶。該搜索結(jié)果可以提供最終匹配圖像。此夕卜，圖像匹配系統(tǒng)102可以例如通過在最終匹配圖像中適當(dāng)區(qū)域的周圍繪制邊界來可選地加亮在最終匹配圖像中與塊806中識別的包圍區(qū)域匹配的區(qū)域。圖像匹配系統(tǒng)102還可以可選地輸出補充信息，例如與最終匹配圖像相關(guān)聯(lián)的元數(shù)據(jù)(例如，標(biāo)簽、標(biāo)注等)。用戶可以可選地基于由搜索結(jié)果傳遞的內(nèi)容執(zhí)行附加搜索。例如，用戶可以點擊最終匹配圖像中的超鏈接標(biāo)簽以獲取與該標(biāo)簽相關(guān)聯(lián)的附加內(nèi)容。在塊810中，圖像匹配系統(tǒng)102更新(由索引系統(tǒng)108提供的)索引以包括在塊808 中標(biāo)識的最終匹配圖像。如虛線所示，該更新操作可以可選地被足夠快地執(zhí)行，使得在相同圖像捕獲會話中提交的后續(xù)查詢圖像可以與在前查詢圖像(其現(xiàn)在被認(rèn)為是參考圖像之一)匹配。該反饋規(guī)定提供增強的學(xué)習(xí)機制。在塊812中，圖像匹配系統(tǒng)102可以標(biāo)識由塊808中執(zhí)行的匹配揭示的圖像之間的連接。圖像匹配系統(tǒng)102可以將這些連接添加到由關(guān)系管理模塊112保持的關(guān)系信息。圖9和10示出用戶可以在相同查詢會話內(nèi)提交的查詢圖像序列。更特別地，假設(shè)用戶拍攝公寓大樓的照片。用戶以拍攝公寓大樓的路邊照片(在時間tl處)為開始。然后， 用戶進一步接近公寓大樓以拍攝標(biāo)記902 (即“橡木法院”)的特寫照片(在時間t2)中。然后，用戶通過拍攝社區(qū)郵箱904連同前面的辦公室906的照片(在時間t3處)進一步向前發(fā)展。用戶(use)然后進入前面辦公室906的前門1002 (在時間t4處)。用戶然后打開前面辦公室的前門1002以拍攝前面辦公室的大廳的照片(在時間t5處)。在一種實現(xiàn)方式中，圖像匹配系統(tǒng)102足夠快地執(zhí)行匹配，以使得在時間tl處捕獲的查詢圖像到用戶在時間t2處捕獲查詢圖像的時候被添加到索引系統(tǒng)108，等等。以此方式，可以將時間t2處的查詢圖像與在時間tl處的查詢圖像匹配(因為兩個照片具有類似的內(nèi)容)。關(guān)系管理模塊112可以通過形成將公寓樓的街邊照片(在時刻tl拍攝的)與前面辦公室的內(nèi)部照片(在時刻t5拍攝的)相連接圖像的無縫鏈來影響上述行為。現(xiàn)在假設(shè)，在不同的場景中，用戶先前已經(jīng)拍攝了前面辦公室內(nèi)部的若干照片。但是，起初，關(guān)系管理模塊112可能不能將這些圖像鏈接到前面辦公室的外部圖像，因為建立該聯(lián)系(nexus)的查詢圖像尚未被提交。然后，假設(shè)用戶拍攝圖10所示的特定照片。這些新照片可以有效地將這套外部照片與這套內(nèi)部照片鏈接。
圖7以另一種方式圖示了上述概念。假設(shè)這里所示的關(guān)系信息揭示了與相關(guān)圖像的兩個群(cluster)相關(guān)聯(lián)的兩個主題。但是，起初，這兩個主題之間不存在鏈接。然后， 假設(shè)用戶拍攝在這兩個主題之間建立聯(lián)系的橋接照片I,。此后，關(guān)系管理模塊112可以警示用戶這兩個主題之間的潛在連接。
上述(關(guān)于圖9和10)的場景表示本文所述技術(shù)的一個或許多應(yīng)用。在另一種情況下，圖像匹配系統(tǒng)102可以結(jié)合由華盛頓雷蒙德的微軟公司提供的Wiotosynth 技術(shù)來使用。該技術(shù)進一步與2006年7月25日提交的發(fā)明人為Keith Snavely等人的、題為“Navigating Images Using Image Based Geometric Alignment and Object Based Controls"的共同懸而未決的美國申請序列號11/493，436相關(guān)。在該技術(shù)中，用戶可以拍攝特定場景的多個照片；Wiotosynth 技術(shù)然后生成該場景的合成的三維表示。
在另一種情況中，查詢圖像可以結(jié)合增加的現(xiàn)實技術(shù)使用。這種技術(shù)實時為查詢圖像增加了元數(shù)據(jù)和被認(rèn)為與查詢圖像有關(guān)的其他內(nèi)容。例如，使用該技術(shù)，用戶可以將他或她的相機指向特定地標(biāo)并且快速接收解釋該地標(biāo)的信息(例如覆蓋在查詢圖像上)。
在另一種情況中，用戶可以使用圖像匹配系統(tǒng)102執(zhí)行“離線的”圖像匹配。在該場景中，用戶可以識別來自任何遠(yuǎn)程和/或本地數(shù)據(jù)存儲器的任何前期捕獲的(或生成的) 查詢圖像。用戶然后可以使用圖像匹配系統(tǒng)102將該查詢圖像與任何遠(yuǎn)程/或本地數(shù)據(jù)存儲器中的參考圖像的任意集合進行比較。換言之，圖像匹配系統(tǒng)102不限于圖1所示的基于地理匹配的類型(在基于地理匹配的類型中，用戶捕獲物理場景的查詢圖像)。
而且，在上面呈現(xiàn)的許多實例中，用戶的興趣在于找到表示查詢圖像與參考圖像大全之間的最佳匹配的一個或多個參考圖像。在另一種場景中，用戶可能更感興趣的是，列舉包含匹配查詢圖像的對象的所有參考圖像。例如，用戶可以請求匹配功能104識別包含諸如特定標(biāo)記、標(biāo)志、建筑物設(shè)計、公路圖案等之類的特定特征的所有參考圖像。匹配功能 104通過使用其反向索引可以提供該類型的搜索。即，反向索引可以將(例如與特定道路標(biāo)記相關(guān)聯(lián)的)視覺詞語與包含該視覺詞語的參考圖像列表(例如，包含類似道路標(biāo)記的對象的所有參考圖像)相關(guān)聯(lián)。
進展到圖11，該圖示出表示用于執(zhí)行圖像匹配的一種技術(shù)的過程1100。在塊1102 中，圖像匹配系統(tǒng)102接收新查詢圖像。在塊1104中，圖像匹配系統(tǒng)102基于查詢圖像生成特征，其包括非量化的圖像特征和量化的圖像特征。在塊1106中，圖像匹配系統(tǒng)102使用(基于量化特征的)快速的基于詞匯的匹配識別一組候選參考圖像。在塊1108中，圖像匹配系統(tǒng)102使用驗證分析來識別來自所述候選參考組的一個或多個最終匹配圖像，例如通過剔除不滿足必需的置信度的匹配。
圖12示出已經(jīng)基于圖像捕獲設(shè)備的兩個不同取向捕獲的圖像。即，第二取向相對于第一取向偏離。更特別地，在該實例中，用戶已經(jīng)拍攝具有規(guī)則結(jié)構(gòu)的對象的查詢圖像， 比如具有規(guī)則的窗排列的建筑物。在該環(huán)境下，第二圖像中的規(guī)則結(jié)構(gòu)相對于第一查詢圖像中的規(guī)則結(jié)構(gòu)顯現(xiàn)出“傾斜”。在該實例中，取向信息反映單一自由度，但是如章節(jié)A所敘述，取向信息還可以相對于多個自由度來測量。
圖13示出可以用于影響上述類型的取向信息的過程1300。在塊1302中，驗證模塊214可以接收與查詢圖像相關(guān)聯(lián)的取向信息。在塊1304中，驗證模塊214可以使用取向信息改進查詢圖像與每個單獨的候選參考圖像的匹配。例如，如前所述，驗證模塊214可以嘗試將查詢圖像中的圖像內(nèi)容與參考圖像中相似取向的圖像內(nèi)容匹配。取向信息允許該匹配以更精確的方式執(zhí)行，例如通過有效地將與圖12所示的場景相關(guān)聯(lián)的捕獲相關(guān)的偏離歸一化。圖14示出表示圖5的索引更新模塊502 (還有圖6的索引更新模塊602)的一種操作方式的過程1400。在塊1402中，索引更新模塊502接收對應(yīng)于要被添加到索引系統(tǒng) 108的新參考圖像的圖像信息條目。這些新參考圖像可以對應(yīng)于被認(rèn)為匹配其他參考圖像的在前查詢圖像。在塊1404中，索引更新模塊502將連續(xù)接收的圖像信息條目以循環(huán)方式分配到圖像桶。在塊1406中，索引更新模塊502確定任何圖像桶是否包括已經(jīng)達(dá)到預(yù)定數(shù)量的條目的桶組。如果是，在塊1408中，索引更新模塊502將該桶組發(fā)送到對應(yīng)的索引服務(wù)器。在塊1410中，接收索引服務(wù)器然后將所接收的桶組添加到其索引信息的部分。圖15示出表示圖6所示的修改的過程1500。該過程1500可以結(jié)合圖14所示的基于桶的更新來執(zhí)行。在塊1502中，索引更新模塊602接收對應(yīng)于要被添加到索引系統(tǒng)108的新參考圖像的圖像信息條目。在塊1504中，索引更新模塊602將圖像信息條目分配到臨時索引服務(wù)器606，這這里它可用于立即匹配未來的查詢圖像。在塊1506中，在規(guī)定時間后，索引更新模塊602從臨時索引服務(wù)器606中移除該圖像信息條目。C.代表性的處理功能
圖16闡述了可以用于實現(xiàn)上述功能的任意方面的說明性電氣數(shù)據(jù)處理功能1600。該電氣數(shù)據(jù)處理功能1600表示物理的和有形的機器。參照圖1和2，例如，圖16所示的處理功能1600的類型可以用于實現(xiàn)環(huán)境100的任何特征，比如圖像匹配系統(tǒng)102。在一種情況下，處理功能1600可以對應(yīng)于包括一個或多個處理設(shè)備的任意類型的計算設(shè)備。處理功能1600可以包括易失性和非易失性存儲器(比如RAM 1602和ROM 1604) 以及一個或多個處理設(shè)備1606。處理功能1600可選地還包括各種介質(zhì)設(shè)備1608，比如硬盤模塊、光盤模塊等等。當(dāng)處理設(shè)備1606執(zhí)行由存儲器(例如RAM 1602,ROM 1604或其它) 保持的指令時，處理功能1600可以執(zhí)行上文標(biāo)識的各種操作。更一般地，指令和其它信息可以存儲在任何計算機可讀介質(zhì)1610上，該計算機可讀介質(zhì)包括但不限于靜態(tài)存儲器存儲設(shè)備、磁存儲設(shè)備、光學(xué)存儲設(shè)備等等。術(shù)語計算機可讀介質(zhì)還包含多個存儲設(shè)備。在所有情況下，計算機可讀介質(zhì)1610表示某種形式的物理和有形機構(gòu)。處理功能1600還包括用于(經(jīng)由輸入模塊1614)從用戶處接收各種輸入并用于 (經(jīng)由輸出模塊)向用戶提供各種輸出的輸入/輸出模塊1612。一種特定輸出機構(gòu)可以包括呈現(xiàn)模塊1616和關(guān)聯(lián)的圖形用戶接口(⑶1)1618。處理功能1600還可以包括用于經(jīng)由一個或多個通信管道1622與其他設(shè)備交換數(shù)據(jù)的一個或多個網(wǎng)絡(luò)接口 1620。網(wǎng)絡(luò)接口 1620 可以包含用于與無線通信基礎(chǔ)設(shè)施通信的無線通信功能。一個或多個通信總線16M將上述各組件通信地耦合在一起。盡管已經(jīng)以特定于結(jié)構(gòu)特征和/或方法動作的語言描述了上述主題，但是應(yīng)當(dāng)理解所附權(quán)利要求中限定的主題不必限于上述特定特征或動作。相反，上述特定特征和動作作為實現(xiàn)權(quán)利要求的實例形式被公開。
權(quán)利要求
1.一種使用物理圖像匹配系統(tǒng)(102)執(zhí)行基于查詢圖像的搜索的方法，包括 接收(802)查詢圖像；接收(804)指示與查詢圖像相關(guān)聯(lián)的位置的位置信息； 基于位置信息識別(806)與該位置相關(guān)聯(lián)的包圍區(qū)域； 使用索引識別(808，1106)匹配查詢圖像和包圍區(qū)域的一組候選參考圖像； 執(zhí)行(808，1108)驗證分析，以識別從候選參考圖像中選擇的、成功匹配查詢圖像的至少一個最終匹配圖像；以及更新(810)索引以包括分別對應(yīng)于成功匹配查詢圖像的所述至少一個最終匹配圖像的至少一個圖像信息條目。
2.權(quán)利要求1的方法，其中對候選圖像組的所述識別包括 基于查詢圖像生成量化特征；以及使用量化特征連同索引來識別候選參考圖像組。
3.權(quán)利要求1的方法，其中所述執(zhí)行驗證分析包括 基于查詢圖像生成非量化特征；以及通過執(zhí)行查詢圖像與候選參考圖像組的每一個的成對比較，使用非量化特征識別所述至少一個最終匹配圖像。
4.權(quán)利要求3的方法，進一步包括接收指示捕獲查詢圖像的設(shè)備的取向的取向信息；以及使用該取向信息來改進通過所述驗證分析執(zhí)行的匹配。
5.權(quán)利要求1的方法，其中在多個查詢圖像被捕獲的捕獲會話中捕獲查詢圖像，并且其中所述更新發(fā)生在捕獲所述多個查詢圖像之中的下一個查詢圖像之前。
6.權(quán)利要求1的方法，其中，對于特定的最終匹配圖像，所述更新包括 將對應(yīng)于最終匹配圖像的圖像信息條目分配給從多個圖像桶選出的圖像桶； 確定該圖像桶是否已經(jīng)接收到包括預(yù)定數(shù)量的圖像信息條目的桶組；如果該圖像桶已經(jīng)接收到所述預(yù)定數(shù)量的圖像信息條目，則將該桶組轉(zhuǎn)發(fā)給關(guān)聯(lián)的至少一個索引服務(wù)器；以及由所述至少一個索引服務(wù)器基于所述桶組更新索引的部分。
7.權(quán)利要求1的方法，進一步包括更新用以描述查詢圖像與所述至少一個最終匹配圖像之間的至少一個關(guān)系的關(guān)系信息。
8.權(quán)利要求1的方法，進一步包括使用臨時索引服務(wù)器接收一組新參考圖像，其中該臨時索引服務(wù)器執(zhí)行查詢圖像和與包圍區(qū)域相關(guān)聯(lián)的所述新參考圖像組中的任何參考圖像之間的成對驗證分析，而不使用索引。
9.一種由物理數(shù)據(jù)處理功能(1600)實現(xiàn)的索引更新模塊(502)包括接收模塊(504)，其被配置成接收對應(yīng)于要被添加到索引的多個對應(yīng)的新圖像的圖像信息條目；分配模塊(506)，其被配置成將圖像信息條目分配到圖像桶(508，510，512)； 轉(zhuǎn)發(fā)模塊(514)，其被配置成確定任何圖像桶(508，510，512)是否已經(jīng)接收到包括預(yù)定數(shù)量的圖像信息條目的桶組；如果任何圖像桶(508，510，512)已經(jīng)接收到預(yù)定數(shù)量的圖像信息條目，則將由圖像桶 (508，510，512)提供的桶組轉(zhuǎn)發(fā)到至少一個關(guān)聯(lián)的索引服務(wù)器(516，518，520)；以及所述至少一個關(guān)聯(lián)的索引服務(wù)器(516，518，520)基于所述桶組更新索引的一部分。
10. 一種用于存儲計算機可讀指令的物理的和有形的計算機可讀介質(zhì)(1610)，該計算機可讀指令在被一個或多個處理設(shè)備(1606)執(zhí)行時提供圖像匹配系統(tǒng)(102)，該計算機可讀指令包括邏輯(802)，其被配置成接收查詢圖像；邏輯(808)，其被配置成使用索引基于所述查詢圖像識別至少一個最終匹配圖像，每個最終匹配圖像與圖像信息條目相關(guān)聯(lián)；以及邏輯(810)，其被配置成針對每個最終匹配圖像更新所述索引以包括圖像信息條目， 該查詢圖像在多個查詢圖像被捕獲的捕獲會話中被捕獲，并且其中配置成更新的所述邏輯(810)被配置成在捕獲所述多個查詢圖像中的下一個查詢圖像之前更新索引。
全文摘要
描述了用于尋找匹配查詢圖像的參考圖像的圖像匹配系統(tǒng)。該圖像匹配系統(tǒng)通過將該匹配限于包圍區(qū)域而以快速方式執(zhí)行該操作；該包圍區(qū)域又可以與可能已捕獲查詢圖像的位置相關(guān)聯(lián)。此外，該圖像匹配系統(tǒng)提供加快將新參考圖像添加到圖像索引的各種機制，由此提供圖像匹配系統(tǒng)的增強的學(xué)習(xí)機制。
文檔編號G06F17/30GK102521365SQ20111042305
公開日2012年6月27日 申請日期2011年12月16日 優(yōu)先權(quán)日2010年12月16日
發(fā)明者B.H.阿格拉-阿卡斯, D.Z.尼斯特, D.巴赫米勒, E.奧菲克, M.克勒普夫爾, S.V.費恩, V.庫古諾夫斯 申請人:微軟公司