用于視覺搜索的穩(wěn)健特征匹配的制作方法
【專利摘要】本發(fā)明揭示用于針對視覺搜索執(zhí)行穩(wěn)健特征匹配的技術(shù)。一種包括接口和特征匹配單元的設(shè)備可實(shí)施這些技術(shù)。所述接口接收查詢特征描述符。所述特征匹配單元接著計(jì)算查詢特征描述符與參考特征描述符之間的距離，且根據(jù)群集算法確定所述所計(jì)算距離的第一群組和所述所計(jì)算距離的第二群組，其中所計(jì)算距離的此第二群組包括所述所計(jì)算距離中的兩者或兩者以上。所述特征匹配單元接著基于所述所計(jì)算距離的所述所確定第一群組和第二群組來確定所述查詢特征描述符是否與所述參考特征描述符中與所述所計(jì)算距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配。
【專利說明】用于視覺搜索的穩(wěn)健特征匹配
【技術(shù)領(lǐng)域】【背景技術(shù)】
[0001]本發(fā)明涉及圖像處理系統(tǒng)，且更明確地說，涉及用圖像處理系統(tǒng)執(zhí)行視覺搜索。
[0002]在計(jì)算裝置或計(jì)算機(jī)的背景下的視覺搜索涉及使計(jì)算機(jī)或其它裝置能夠在一個(gè)或一個(gè)圖像內(nèi)的其它對象和/或特征之中執(zhí)行對對象和/或特征的搜索的技術(shù)。對視覺搜索的最近興趣已導(dǎo)致使計(jì)算機(jī)能夠在各種各樣的不同圖像條件(包含圖像尺度、噪聲、照度和局部幾何失真的變化)下識別部分遮蔽對象和/或特征的算法。在此相同時(shí)間期間，移動裝置已出現(xiàn)了特征相機(jī)，但其可具有受限的用戶接口來輸入文本或以其它方式與移動裝置介接。移動裝置和移動裝置應(yīng)用程序的開發(fā)者已試圖利用移動裝置的相機(jī)來增強(qiáng)與移動裝置的用戶交互。
[0003]為了說明一種增強(qiáng)，移動裝置的用戶可利用移動裝置的相機(jī)來在商店購物時(shí)捕獲任何給定產(chǎn)品的圖像。移動裝置可接著在用于各種參考圖像的一組所存檔特征描述符內(nèi)起始視覺搜索算法，而基于匹配的參考圖像來識別圖像(其可稱為“搜索圖像”)中所展示的產(chǎn)品。在識別所述產(chǎn)品之后，移動裝置可接著起始因特網(wǎng)的搜索，且呈現(xiàn)關(guān)于所識別產(chǎn)品的含有網(wǎng)頁的信息，包含從附近商戶和/或在線商戶可購買所述產(chǎn)品的最低價(jià)格。以此方式，用戶可避免必須經(jīng)由鍵盤(其在作為用戶與此相互作用的圖像呈現(xiàn)于觸摸屏上的意義上，通常為“虛擬”鍵盤)或其它輸入機(jī)構(gòu)與移動裝置介接，但可僅捕獲搜索圖像來起始視覺搜索和后續(xù)網(wǎng)絡(luò)搜索。
[0004]雖然存在配備有相機(jī)且對視覺搜索的接入權(quán)的移動裝置可使用的若干應(yīng)用程序，但用于實(shí)施視覺搜索的視覺搜索算法(例如尺度不變特征變換(SIFT)算法)在執(zhí)行特征匹配方面可能是有缺陷的。特征匹配涉及視覺搜索算法的一方面，在此期間，對照從參考圖像提取的參考特征描述符，匹配從搜索圖像提取的搜索特征描述符。
[0005]為了說明這些缺陷，考慮SIFT算法，其在搜索特征描述符和參考特征描述符各自從搜索和參考圖像的重復(fù)特征(例如跨建筑物重復(fù)的獨(dú)特的拱門或窗戶)提取時(shí)的例子中，可丟棄原本將與搜索特征描述符匹配的參考特征描述符。此外，SIFT算法通常響應(yīng)于任何給定視覺搜索而僅返回單個(gè)圖像，其中通過SIFT算法在算法上將此所返回的圖像確定為“最佳匹配”。然而，用戶無法以與SIFT算法相同的方式確定什么構(gòu)成“最佳匹配”，這可導(dǎo)致用戶受挫，因?yàn)閱蝹€(gè)SIFT最佳匹配結(jié)果無法匹配用戶的預(yù)期。

【發(fā)明內(nèi)容】

[0006]大體來說，本發(fā)明描述促進(jìn)在執(zhí)行視覺搜索時(shí)的特征匹配的技術(shù)。所述技術(shù)可通過提供能夠提供搜索結(jié)果的等級列表的特征匹配算法來改進(jìn)特征匹配。所述技術(shù)可通過提供適應(yīng)重復(fù)特征的特征匹配算法來改進(jìn)穩(wěn)健性。不是在與當(dāng)前搜索特征描述符匹配的兩個(gè)或兩個(gè)以上參考特征定位成彼此接近時(shí)(如由例如SIFT算法提供(在兩個(gè)或兩個(gè)以上匹配的參考特征描述符太靠近的前提下，這些匹配的參考特征描述符不可能是唯一的且因此不可能促進(jìn)搜索圖像的分類))否決參考特征描述符，所述技術(shù)可利用群集算法來更適當(dāng)?shù)卮_定在執(zhí)行特征匹配時(shí)的唯一性。此外，所述技術(shù)可促進(jìn)匹配的參考圖像的等級列表的產(chǎn)生和返回，而非如常規(guī)視覺搜索算法中常見地簡單地返回單一參考圖像。匹配的參考圖像的等級列表可向用戶提供選擇用戶認(rèn)為“最佳匹配”的內(nèi)容的機(jī)會，而非被迫接受關(guān)于構(gòu)成最佳匹配的內(nèi)容的算法確定。
[0007]在一個(gè)實(shí)例中，一種用于利用視覺搜索裝置執(zhí)行視覺搜索的方法，所述方法包括利用視覺搜索裝置計(jì)算借助視覺搜索查詢提供的查詢特征描述符與多個(gè)參考特征描述符的每一者之間的距離，其中所述視覺搜索查詢起始視覺搜索。所述方法還包括利用視覺搜索裝置根據(jù)群集算法確定所計(jì)算距離的一者或一者以上的第一群組和所計(jì)算距離的第二群組，其中所計(jì)算距離的第一群組包含指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于被確定為在所計(jì)算距離的第二群組中的那些所計(jì)算距離接近查詢特征描述符的那些所計(jì)算距離，且其中所計(jì)算距離的第二群組包含指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于被確定為在所計(jì)算距離的第一群組中的那些所計(jì)算距離遠(yuǎn)離查詢特征描述符的那些所計(jì)算距離。所述方法進(jìn)一步包括利用視覺搜索裝置基于所確定的所計(jì)算距離的第一群組和所計(jì)算距離的第二群組確定查詢特征描述符是否與所述多個(gè)參考特征描述符中的與所計(jì)算距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配。
[0008]在另一實(shí)例中，一種用于執(zhí)行視覺搜索的設(shè)備包括用于計(jì)算借助視覺搜索查詢提供的查詢特征描述符與多個(gè)參考特征描述符的每一者之間的距離的裝置，其中所述視覺搜索查詢起始視覺搜索。所述設(shè)備還包括用于根據(jù)群集算法確定所計(jì)算距離的一者或一者以上的第一群組和所計(jì)算距離的第二群組的裝置，其中所計(jì)算距離的第一群組包含指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于被確定為在所計(jì)算距離的第二群組中的那些所計(jì)算距離接近查詢特征描述符的那些所計(jì)算距離，且其中所計(jì)算距離的第二群組包含指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于被確定為在所計(jì)算距離的第一群組中的那些所計(jì)算距離遠(yuǎn)離查詢特征描述符的那些所計(jì)算距離。所述設(shè)備進(jìn)一步包括用于基于所確定的所計(jì)算距離的第一群組和所計(jì)算距離的第二群組確定查詢特征描述符是否與所述多個(gè)參考特征描述符中 與所計(jì)算距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配的
>J-U ρ?α裝直。
[0009]在另一實(shí)例中，一種用于執(zhí)行視覺搜索的設(shè)備包括:接口，其接收查詢特征描述符；以及特征匹配單元，所述特征匹配單元:計(jì)算借助視覺搜索查詢提供的查詢特征描述符與多個(gè)參考特征描述符的每一者之間的距離，其中所述視覺搜索查詢起始視覺搜索；根據(jù)群集算法確定所計(jì)算距離的一者或一者以上的第一群組和所計(jì)算距離的第二群組，其中所計(jì)算距離的第一群組包含指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于被確定為在所計(jì)算距離的第二群組中的那些所計(jì)算距離接近查詢特征描述符的那些所計(jì)算距離，且其中所計(jì)算距離的第二群組包含指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于被確定為在所計(jì)算距離的第一群組中的那些所計(jì)算距離遠(yuǎn)離查詢特征描述符的那些所計(jì)算距離；以及基于所確定的所計(jì)算距離的第一群組和所計(jì)算距離的第二群組確定查詢特征描述符是否與所述多個(gè)參考特征描述符中與所計(jì)算距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配。
[0010]在另一實(shí)例中，一種包括指令的計(jì)算機(jī)可讀媒體，所述指令在被執(zhí)行時(shí)致使一個(gè)或一個(gè)以上處理器:計(jì)算借助視覺搜索查詢提供的查詢特征描述符與多個(gè)參考特征描述符的每一者之間的距離，其中所述視覺搜索查詢起始視覺搜索；根據(jù)群集算法確定所計(jì)算距離的一者或一者以上的第一群組和所計(jì)算距離的第二群組，其中所計(jì)算距離的第一群組包含指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于被確定為在所計(jì)算距離的第二群組中的那些所計(jì)算距離接近查詢特征描述符的那些所計(jì)算距離，且其中所計(jì)算距離的第二群組包含指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于被確定為在所計(jì)算距離的第一群組中的那些所計(jì)算距離遠(yuǎn)離查詢特征描述符的那些所計(jì)算距離；以及基于所確定的所計(jì)算距離的第一群組和所計(jì)算距離的第二群組確定查詢特征描述符是否與所述多個(gè)參考特征描述符中與所計(jì)算距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配。
[0011]在另一實(shí)例中，一種系統(tǒng)包括:客戶端裝置，其借助搜索查詢發(fā)射查詢特征描述符以起始視覺搜索；數(shù)據(jù)庫，其存儲多個(gè)參考查詢描述符；以及視覺搜索服務(wù)器裝置，其執(zhí)行視覺搜索。所述視覺搜索服務(wù)器裝置包括:接口，其借助搜索查詢接收查詢特征描述符；以及特征匹配單元，所述特征匹配單元:計(jì)算查詢特征描述符與所述多個(gè)參考特征描述符的每一者之間的距離；根據(jù)群集算法確定所計(jì)算距離中的一者或一者以上的第一群組和所計(jì)算距離的第二群組，其中所計(jì)算距離的第一群組包含指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于被確定為在所計(jì)算距離的第二群組中的那些所計(jì)算距離接近查詢特征描述符的那些所計(jì)算距離，且其中所計(jì)算距離的第二群組包含指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于被確定為在所計(jì)算距離的第一群組中的那些所計(jì)算距離遠(yuǎn)離查詢特征描述符的那些所計(jì)算距離；以及基于所確定的所計(jì)算距離的第一群組和所計(jì)算距離的第二群組確定查詢特征描述符是否與所述多個(gè)參考特征描述符的與所計(jì)算距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配。
[0012]一個(gè)或一個(gè)以上實(shí)例的細(xì)節(jié)陳述于附圖和以下描述中。其它特征、目標(biāo)和優(yōu)點(diǎn)將從所述描述和圖式以及從權(quán)利要求書中顯而易見。
【專利附圖】

【附圖說明】
[0013]圖1是說明實(shí)施本發(fā)明中所描述的穩(wěn)健特征描述符匹配技術(shù)的圖像處理系統(tǒng)的框圖。
[0014]圖2是更詳細(xì)地說明圖1的特征匹配單元的框圖。
[0015]圖3A和3B是說明實(shí)施本發(fā)明所描述的特征匹配技術(shù)中的視覺搜索服務(wù)器的示范性操作的流程圖。
[0016]圖4是說明特征提取單元借以確定高斯差(DoG)金字塔以供執(zhí)行關(guān)鍵點(diǎn)提取中使用的過程的圖。
[0017]圖5是說明在確定高斯差(DoG)金字塔之后的對關(guān)鍵點(diǎn)的檢測的圖。
[0018]圖6是說明特征提取單元借以確定梯度分布和定向直方圖的過程的圖。
[0019]圖7是說明特征提取單元借以確定梯度分布和定向直方圖的過程的圖。
【具體實(shí)施方式】
[0020]圖1是說明實(shí)施本發(fā)明中所描述的穩(wěn)健特征匹配技術(shù)的圖像處理系統(tǒng)10的框圖。在圖1的實(shí)例中，圖像處理系統(tǒng)10包含客戶端裝置12、視覺搜索服務(wù)器14和網(wǎng)絡(luò)16?？蛻舳搜b置12在此實(shí)例中表示移動裝置，例如膝上型計(jì)算機(jī)、所謂的筆記本型計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、蜂窩式或移動電話或手持機(jī)(包含所謂的“智能電話”)、全球定位系統(tǒng)(GPS)裝置、數(shù)碼相機(jī)、數(shù)字媒體播放器、游戲裝置，或能夠與視覺搜索服務(wù)器14通信的任何其它移動裝置。雖然本發(fā)明中相對于視覺搜索服務(wù)器14來描述，但本發(fā)明中所描述的技術(shù)不應(yīng)限于視覺搜索服務(wù)器。而是，所述技術(shù)可由能夠?qū)嵤┗诰植刻卣鞯囊曈X搜索算法的特征匹配方面的任何裝置來實(shí)施。
[0021]視覺搜索服務(wù)器14表示服務(wù)器裝置，其接受通常呈傳輸控制協(xié)議(TCP)連接的形式的連接，且以其自己的TCP連接來響應(yīng)，以形成借以接收查詢數(shù)據(jù)且提供識別數(shù)據(jù)的TCP會話。視覺搜索服務(wù)器14可表示視覺搜索服務(wù)器裝置，其中視覺搜索服務(wù)器14執(zhí)行或以其它方式實(shí)施基于局部特征的視覺搜索算法，以識別一個(gè)或一個(gè)以上參考圖像內(nèi)的一個(gè)或一個(gè)以上特征或?qū)ο蟆?br> [0022]網(wǎng)絡(luò)16表示公共網(wǎng)絡(luò)，例如因特網(wǎng)，其互連客戶端裝置12與視覺搜索服務(wù)器14，但網(wǎng)絡(luò)16還可為私人網(wǎng)絡(luò)。通常，網(wǎng)絡(luò)16實(shí)施開放系統(tǒng)互連(OSI)模型的各個(gè)層以促進(jìn)通信或數(shù)據(jù)在客戶端裝置12與視覺搜索服務(wù)器14之間的傳送。網(wǎng)絡(luò)16通常包含任何數(shù)目的網(wǎng)絡(luò)裝置，例如交換機(jī)、集線器、路由器、服務(wù)器，以實(shí)現(xiàn)數(shù)據(jù)在客戶端裝置12與視覺搜索服務(wù)器14之間的傳送。雖然展示為單個(gè)網(wǎng)絡(luò)，但網(wǎng)絡(luò)16可包括經(jīng)互連以形成網(wǎng)絡(luò)16的一個(gè)或一個(gè)以上子網(wǎng)絡(luò)。這些子網(wǎng)絡(luò)可包括服務(wù)提供商網(wǎng)絡(luò)、接入網(wǎng)絡(luò)、后端網(wǎng)絡(luò)或公共網(wǎng)絡(luò)中通常使用的任何其它類型的網(wǎng)絡(luò)，以實(shí)現(xiàn)遍及網(wǎng)絡(luò)16的數(shù)據(jù)傳送。雖然在此實(shí)例中描述為公共網(wǎng)絡(luò)，但網(wǎng)絡(luò)16可包括公眾通常不可接入的私人網(wǎng)絡(luò)。
[0023]如圖1的實(shí)例中所示，客戶端裝置12包含特征提取單元18、特征壓縮單元20、接口 22和顯示器24。特征提取單元18表示根據(jù)特征提取算法(例如尺度不變特征變換算法，或任何其它用于提取特征的特征描述提取算法)執(zhí)行特征提取的單元。通常，特征提取單元18對圖像數(shù)據(jù)26進(jìn)行操作，可使用包含于客戶端裝置12內(nèi)的相機(jī)或其它圖像捕獲裝置(圖1的實(shí)例中未展示)在本地捕獲圖像數(shù)據(jù)26。或者，客戶端裝置12可借助于從網(wǎng)絡(luò)16、在本地經(jīng)由與另一計(jì)算裝置的有線連接，或經(jīng)由任何其它有線或無線形式的通信下載此圖像數(shù)據(jù)26來存儲圖像數(shù)據(jù)26，而不自己捕獲此圖像數(shù)據(jù)。
[0024]雖然下文更詳細(xì)地描述，但概括地說，特征提取單元18可通過高斯模糊圖像數(shù)據(jù)26來提取特征描述符28，以產(chǎn)生兩個(gè)連續(xù)的經(jīng)高斯模糊的圖像。高斯模糊通常涉及以所定義的尺度用高斯模糊函數(shù)來卷積圖像數(shù)據(jù)26。特征提取單元18可遞增地卷積圖像數(shù)據(jù)26，其中通過尺度空間中的常數(shù)將所得經(jīng)高斯模糊圖像彼此分離。特征提取單元18可堆疊這些經(jīng)高斯模糊的圖像，以形成可稱為“高斯金字塔”或“高斯差金字塔”的內(nèi)容。特征提取單元18將兩個(gè)連續(xù)堆疊的經(jīng)高斯模糊的圖像進(jìn)行比較，以產(chǎn)生高斯差(DoG)圖像。DoG圖像可形成稱為“DoG空間”的內(nèi)容。
[0025]基于此DoG空間，特征提取單兀18可檢測關(guān)鍵點(diǎn),其中關(guān)鍵點(diǎn)指代特定樣本點(diǎn)周圍的像素區(qū)或小塊，或圖像數(shù)據(jù)26中從幾何觀點(diǎn)看潛在感興趣的像素。通常，特征提取單元18將關(guān)鍵點(diǎn)識別為所構(gòu)造的DoG空間中的局部最大值和/或局部最小值。特征提取單元18接著基于曾檢測到關(guān)鍵點(diǎn)的小塊的局部圖像梯度的方向來為這些關(guān)鍵點(diǎn)指派一個(gè)或一個(gè)以上定向或方向。為了表征這些定向，特征提取單元18可依據(jù)梯度定向直方圖來界定定向。特征提取單元18接著將特征描述符28界定為位置和定向(例如，借助于梯度定向直方圖)。在界定特征描述符28之后，特征提取單元18將此特征描述符28輸出到特征壓縮單元20。通常，特征提取單元18使用此過程將一組特征描述符28輸出到特征壓縮單元20。
[0026]特征壓縮單元20表示壓縮或以其它方式相對于特征提取單元18用來界定這些特征描述符的數(shù)據(jù)量來減少用以界定特征描述符(例如特征描述符28)的數(shù)據(jù)量的單元。為了壓縮特征描述符28，特征壓縮單元20可執(zhí)行一種形式的量化(稱為類型量化)來壓縮特征描述符28。在此方面中，不是整體發(fā)送由特征描述符28界定的直方圖，而是特征壓縮單元20執(zhí)行類型量化來將直方圖表示為所謂的“類型”。通常，一種類型為直方圖的經(jīng)壓縮表示(例如，在所述類型表示直方圖的形狀而不是整個(gè)直方圖的情況下)。所述類型通常表示符號的一組頻率，且在直方圖的上下文中，可表示直方圖的梯度分布的頻率。換句話說，類型可表示產(chǎn)生特征描述符28中的對應(yīng)一者的來源的真實(shí)分布的估計(jì)。在此方面中，所述類型的編碼和發(fā)射可被視為等效于編碼和發(fā)射分布的形狀，因?yàn)槠淇苫谔囟颖緛砉烙?jì)(即，在此實(shí)例中，其為由特征描述符28中的對應(yīng)一者界定的直方圖)。
[0027]在給定特征描述符28和量化等級(其可在本文中在數(shù)學(xué)上表示為“η”)的情況
下，特征壓縮單元20為特征描述符28中的每一者計(jì)算具有參數(shù)Ic1.....km (其中m表示維
度的數(shù)目)的類型。每一類型可表示具有給定公分母的一組有理數(shù)，其中所述有理數(shù)總計(jì)為一。特征描述符28可接著使用字典式枚舉來將此類型編碼為索引。換句話說，對于具有給定公分母的所有可能類型，特征壓縮單元20基于這些類型的字典式排序?qū)⑺饕行У刂概山o這些類型中的每一者。特征壓縮單元20進(jìn)而將特征描述符28壓縮為單個(gè)經(jīng)字典式布置的索引，且以查詢數(shù)據(jù)30的形式將這些經(jīng)壓縮的特征描述符輸出到接口 22。
[0028]接口 22表示能夠經(jīng)由網(wǎng)絡(luò)16與視覺搜索服務(wù)器14通信的任何類型的接口，包含無線接口和有線接口。接口 22可表示無線蜂窩式接口，且包含必要的硬件或其它組件，例如天線、調(diào)制器等，以經(jīng)由無線蜂窩式網(wǎng)絡(luò)與網(wǎng)絡(luò)16通信，且經(jīng)由網(wǎng)絡(luò)16與視覺搜索服務(wù)器14通信。在此例子中，盡管圖1的實(shí)例中未展示，但網(wǎng)絡(luò)16包含無線蜂窩式接口 22借以與網(wǎng)絡(luò)16通信的無線蜂窩式接入網(wǎng)絡(luò)。顯示器24表示能夠顯示圖像(例如圖像數(shù)據(jù)26，或任何其它類型的數(shù)據(jù))的任何類型的顯示單元。顯示器24可例如表示發(fā)光二極管(LED)顯示裝置、有機(jī)LED(OLED)顯示裝置、液晶顯示器(LCD)裝置、等離子體顯示裝置或任何其它類型的顯示裝置。
[0029]視覺搜索服務(wù)器14包含接口 32、特征重構(gòu)單元34、特征匹配單元36和特征描述符數(shù)據(jù)庫38。視覺搜索服務(wù)器14的接口 32可類似于客戶端裝置12的接口 22，因?yàn)榻涌?2可表示能夠與網(wǎng)絡(luò)(例如網(wǎng)絡(luò)16)通信的任何類型的接口。特征重構(gòu)單元34表示對經(jīng)壓縮特征描述符進(jìn)行解壓縮以從經(jīng)壓縮特征描述符重構(gòu)特征描述符的單元。特征重構(gòu)單元34可執(zhí)行與特征壓縮單元20所執(zhí)行的操作相逆的操作，因?yàn)樘卣髦貥?gòu)單元34執(zhí)行量化的逆操作(通常稱為重構(gòu))，以從經(jīng)壓縮特征描述符重構(gòu)特征描述符。
[0030]特征匹配單元36表示執(zhí)行特征匹配以基于所重構(gòu)的特征描述符來識別圖像數(shù)據(jù)26中的一個(gè)或一個(gè)以上特征或?qū)ο蟮膯卧?。特征匹配單?6可存取特征描述符數(shù)據(jù)庫38以執(zhí)行此特征識別，其中特征描述符數(shù)據(jù)庫38存儲界定特征描述符且使這些特征描述符中的至少一些與包含從圖像數(shù)據(jù)26提取的對應(yīng)特征或?qū)ο蟮膮⒖紙D像相關(guān)聯(lián)的數(shù)據(jù)。這些參考圖像還可與識別參考圖像的一個(gè)或一個(gè)以上主題、特征或?qū)ο蟮淖R別數(shù)據(jù)相關(guān)聯(lián)。數(shù)據(jù)庫38可使用經(jīng)壓縮k維樹(KD樹)來存儲此數(shù)據(jù)。
[0031]在基于經(jīng)重構(gòu)特征描述符(例如經(jīng)重構(gòu)特征描述符40 (其在本文中還可稱為“查詢數(shù)據(jù)40”，因?yàn)榇藬?shù)據(jù)表示用以執(zhí)行視覺搜索或查詢的識別搜索查詢數(shù)據(jù)))成功識別從圖像數(shù)據(jù)26提取的特征或?qū)ο蠛螅卣髌ヅ鋯卧?6即刻返回一個(gè)或一個(gè)以上匹配參考圖像以及任何相關(guān)聯(lián)的識別數(shù)據(jù)，以作為查詢結(jié)果數(shù)據(jù)42。
[0032]最初，客戶端裝置12的用戶與客戶端裝置12交互以起始視覺搜索。所述用戶可與由顯示器24呈現(xiàn)的用戶接口或其它類型的接口交互，以選擇查詢圖像數(shù)據(jù)26，且接著起始視覺搜索以識別一個(gè)或一個(gè)以上特征或?qū)ο螅錇榇鎯椴樵儓D像數(shù)據(jù)26的圖像的焦點(diǎn)。舉例來說，查詢圖像數(shù)據(jù)26可指定地標(biāo)的圖像，例如比薩斜塔。用戶可能已使用客戶端裝置12的圖像捕獲單元(例如，相機(jī))捕獲此圖像，或者從網(wǎng)絡(luò)16下載此圖像，或經(jīng)由與另一計(jì)算裝置的有線或無線連接在本地下載此圖像。在任一情況下，在選擇查詢圖像數(shù)據(jù)26之后，在此實(shí)例中，用戶起始視覺搜索以識別地標(biāo)。
[0033]響應(yīng)于起始視覺搜索，客戶端裝置12調(diào)用特征提取單元18來提取至少一個(gè)特征描述符28，且通常提取若干個(gè)特征描述符28，其描述通過查詢圖像數(shù)據(jù)26的分析而找到的所謂的“關(guān)鍵點(diǎn)”中的一者。特征提取單元18將此查詢特征描述符28轉(zhuǎn)發(fā)到特征壓縮單元20，其繼續(xù)壓縮查詢特征描述符28且產(chǎn)生查詢數(shù)據(jù)30。特征壓縮單元20將查詢數(shù)據(jù)30輸出到接口 22，其經(jīng)由網(wǎng)絡(luò)16將查詢數(shù)據(jù)30轉(zhuǎn)發(fā)到視覺搜索服務(wù)器14。
[0034]視覺搜索服務(wù)器14的接口 32接收查詢數(shù)據(jù)30。響應(yīng)于接收到查詢數(shù)據(jù)30，視覺搜索服務(wù)器14調(diào)用特征重構(gòu)單元34。特征重構(gòu)單元34基于查詢數(shù)據(jù)30重構(gòu)查詢特征描述符28，且輸出經(jīng)重構(gòu)的特征描述符40。特征匹配單元36接收經(jīng)重構(gòu)的查詢特征描述符40，且基于查詢特征描述符40執(zhí)行特征匹配。特征匹配單元36通過針對查詢特征描述符40中的每一者來存取特征描述符數(shù)據(jù)庫38且遍歷由特征描述符數(shù)據(jù)庫38存儲為數(shù)據(jù)的參考特征描述符以識別大體上匹配的特征描述符，而執(zhí)行特征匹配。在基于經(jīng)重構(gòu)的查詢特征描述符40成功地識別從圖像數(shù)據(jù)26提取的特征后，特征匹配單元36即刻輸出與匹配的參考特征描述符相關(guān)聯(lián)的一個(gè)或一個(gè)以上匹配參考圖像以及任何相關(guān)聯(lián)的識別數(shù)據(jù)，以作為查詢結(jié)果數(shù)據(jù)42。接口 32接收此查詢結(jié)果數(shù)據(jù)42，并經(jīng)由網(wǎng)絡(luò)16將查詢結(jié)果數(shù)據(jù)42轉(zhuǎn)發(fā)到客戶端裝置12。
[0035]客戶端裝置12的接口 22接收此查詢結(jié)果數(shù)據(jù)42，且通常將此查詢結(jié)果數(shù)據(jù)42轉(zhuǎn)發(fā)到調(diào)用搜索查詢的任何應(yīng)用程序。就是說，客戶端裝置12通常執(zhí)行一個(gè)或一個(gè)以上應(yīng)用程序，其可調(diào)用視覺搜索且管理所返回的查詢結(jié)果數(shù)據(jù)(例如查詢結(jié)果數(shù)據(jù)42)的呈現(xiàn)。此應(yīng)用程序可與顯示器24介接，以呈現(xiàn)查詢結(jié)果數(shù)據(jù)42。在一些例子中，應(yīng)用程序可執(zhí)行因特網(wǎng)搜索或其它操作，以基于由查詢結(jié)果數(shù)據(jù)42界定的識別數(shù)據(jù)來檢索額外信息，以擴(kuò)充查詢結(jié)果數(shù)據(jù)42。在此例子中，查詢結(jié)果數(shù)據(jù)42的識別數(shù)據(jù)可包括地標(biāo)的名稱(即在此實(shí)例中為比薩斜塔)、建造比薩斜塔的建造者的名字、比薩斜塔的完工日期，以及與此地標(biāo)有關(guān)的任何其它信息。
[0036]雖然視覺搜索可促進(jìn)與具有較小屏幕且/或有限輸入機(jī)構(gòu)(例如，提供可能限制或阻撓用戶對文本的輸入的極少觸覺反饋的虛擬鍵盤)的客戶端裝置的用戶交互，且通常在促進(jìn)各種應(yīng)用方面提供若干益處，但在一些例子中，一些視覺搜索算法，例如尺度不變特征變換(SIFT)算法在執(zhí)行特征匹配方面可能是有缺陷的。為了說明這些缺陷，在查詢特征描述符和參考特征描述符各自從搜索和參考圖像的重復(fù)特征(例如跨建筑物(例如比薩斜塔)重復(fù)的獨(dú)特的拱門或窗戶)提取時(shí)的例子中，SIFT算法可丟棄原本將會與搜索或查詢特征描述符匹配的參考特征描述符。此外，SIFT算法通常響應(yīng)于任何給定視覺搜索而僅返回單個(gè)圖像，其中通過SIFT算法在算法上將此所返回的圖像確定為“最佳匹配”。然而，用戶無法以與SIFT算法相同的方式確定什么構(gòu)成“最佳匹配”，這可導(dǎo)致用戶受挫，因?yàn)閱蝹€(gè)SIFT最佳匹配結(jié)果無法匹配用戶的預(yù)期。
[0037]更具體地說，虛擬搜索算法(包含SIFT算法)使用可被稱為“相似性量度”的東西實(shí)施特征匹配。SIFT算法使用距離比率測試來測量查詢特征描述符與參考特征描述符中的每一者有多相似。此距離比率測量查詢特征描述符中的當(dāng)前一者的最近參考特征描述符與查詢特征描述符的所述當(dāng)前一者的第二近(再次在特征描述符空間中)特征描述符有多遠(yuǎn)。如果最近與第二近參考特征描述符非常近(如閾值所識別)，則SIFT算法確定查詢特征描述符中的當(dāng)前一者不是唯一的，且因此匹配是不可靠的。此距離比率相似性量度可由以下等式⑴表示:
[0038]
【權(quán)利要求】
1.一種用于利用視覺搜索裝置執(zhí)行視覺搜索的方法，所述方法包括: 利用所述視覺搜索裝置來計(jì)算借助視覺搜索查詢提供的查詢特征描述符與多個(gè)參考特征描述符中的每一者之間的距離，其中所述視覺搜索查詢起始所述視覺搜索； 利用所述視覺搜索裝置根據(jù)群集算法確定所述所計(jì)算距離中的一者或一者以上的第一群組和所述所計(jì)算距離的第二群組，其中所述所計(jì)算距離的所述第一群組包含所述所計(jì)算距離中指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于所述所計(jì)算距離中被確定為在所計(jì)算距離的所述第二群組中的那些所述所計(jì)算距離接近所述查詢特征描述符的那些所述所計(jì)算距離，且其中所述所計(jì)算距離的所述第二群組包含所述所計(jì)算距離中指示所述多個(gè)參考特征描述符中的所述相關(guān)聯(lián)一者相對于所述所計(jì)算距離中被確定為在所述所計(jì)算距離中的所述一者或一者以上的所述第一群組中的那些所述所計(jì)算距離遠(yuǎn)離所述查詢特征描述符的那些所述所計(jì)算距離；以及 利用所述視覺搜索裝置基于所述所確定的所述所計(jì)算距離的第一群組和所述所計(jì)算距離的所述第二群組來確定所述查詢特征描述符是否與所述多個(gè)參考特征描述符中與所述所計(jì)算距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配。
2.根據(jù)權(quán)利要求1所述的方法，其中確定所述所計(jì)算距離中的一者或一者以上的所述第一群組和所述所計(jì)算距離的所述第二群組包含根據(jù)k均值群集算法、高斯擬合算法和圖形切割算法中的一者或一者以上來確定所述所計(jì)算距離中的所述一者或一者以上的所述第一群組和所述所計(jì)算距離的所述第二群組。
3.根據(jù)權(quán)利要求1所述的方法，其中確定所述查詢特征描述符是否與所述多個(gè)參考特征描述符中的一者匹配包含: 計(jì)算所述所計(jì)算距離中被確定為在所述第一群組中的兩者或兩者以上的平均值，以產(chǎn)生第一群組距離平均值； 計(jì)算被確定為在所述第二群組中的所述所計(jì)算距離的平均值，以產(chǎn)生第二群組距離平均值； 將所述第一群組距離平均值除以所述第二群組距離平均值，以產(chǎn)生平均距離比率量度； 將所述平均距離比率量度與閾值進(jìn)行比較；以及 基于所述比較來確定所述查詢特征描述符是否與所述多個(gè)參考特征描述符中與所述所計(jì)算距離中的所述最小者相關(guān)聯(lián)的所述一個(gè)參考特征描述符匹配。
4.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 確定參考圖像的唯一群組以包含與所述多個(gè)參考特征描述符中從其根據(jù)參考特征描述符的對應(yīng)群組計(jì)算被確定為在所述第一群組中的所述所計(jì)算距離的那些參考特征描述符相關(guān)聯(lián)的參考圖像，使得所述組參考圖像不包含重復(fù)的參考圖像； 向被確定為在參考圖像的所述唯一群組中的所述參考圖像中的每一者指派選票； 基于所述所指派的選票將所述參考圖像排序；以及 響應(yīng)于所述視覺搜索查詢而返回所述經(jīng)排序的參考圖像。
5.根據(jù)權(quán)利要求4所述的方法，其中向被確定為在參考圖像的所述唯一群組中的所述參考圖像中的每一者指派選票包含以下各者中的一者或一者以上: 向所述參考圖像中的每一者指派恒定選票；指派與所述對應(yīng)的所計(jì)算距離和所述查詢特征描述符與所述多個(gè)參考特征描述符中的最接近一者之間的所計(jì)算距離相比的距離比率成比例的選票；以及 當(dāng)所述第一群組的所述所計(jì)算距離從最小到最大被排序時(shí)，指派與所述第一群組內(nèi)的所述對應(yīng)的所計(jì)算距離的等級成比例的選票。
6.根據(jù)權(quán)利要求1所述的方法， 其中所述查詢特征描述符包括多個(gè)查詢特征描述符中根據(jù)視覺搜索算法從查詢圖像數(shù)據(jù)提取且借助所述視覺搜索查詢提供的一個(gè)查詢特征描述符，且其中所述方法進(jìn)一步包括: 針對所述多個(gè)查詢特征描述符中的每一者，計(jì)算所述多個(gè)查詢特征描述符中的當(dāng)前一者與所述多個(gè)參考特征描述符中的每一者之間的距離以產(chǎn)生所計(jì)算的多個(gè)距離； 針對所述多個(gè)距離中的每一者，根據(jù)所述群集算法確定所述所計(jì)算的多個(gè)距離的所述第一群組和所述所計(jì)算的多個(gè)距離的所述第二群組，其中所述所計(jì)算的多個(gè)距離的所述第一群組包含所述所計(jì)算距離中指示所述多個(gè)參考特征描述符中的所述相關(guān)聯(lián)一者相對于所述所計(jì)算的多個(gè)距離中被確定為在所述所計(jì)算的多個(gè)距離的所述第二群組中的那些距離接近所述查詢特征描述符的那些所述所計(jì)算距離，且其中所述所計(jì)算的多個(gè)距離的所述第二群組包含所述所計(jì)算的多個(gè)距離中指示所述多個(gè)參考特征描述符中的所述相關(guān)聯(lián)一者相對于所述所計(jì)算的多個(gè)距離中被確定為在所計(jì)算的多個(gè)距離的所述第一群組中的那些距離遠(yuǎn)離所述多個(gè)查詢特征描述符中的所述當(dāng)前一者的那些距離；以及 利用所述視覺搜索裝置基于所述所確定的所述所計(jì)算的多個(gè)距離的第一群組和所述所計(jì)算的多個(gè)距離的所述第二群組來確定所述多個(gè)查詢特征描述符中的每一者是否與所述多個(gè)參考特征描述符中與所述所計(jì)算的多個(gè)距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配。
7.根據(jù)權(quán)利要求6所述的方法，其進(jìn)一步包括: 針對所述多個(gè)查詢特征描述符中的每一者確定參考圖像的唯一群組以包含與所述多個(gè)參考特征描述符中從其根據(jù)參考特征描述符的對應(yīng)群組計(jì)算被確定為在所述第一群組中的所述所計(jì)算的多個(gè)距離的那些參考特征描述符相關(guān)聯(lián)的參考圖像，使得所述組參考圖像不包含重復(fù)的參考圖像； 向被確定為在針對所述多個(gè)查詢特征描述符中的每一者而確定的參考圖像的所述唯一群組中的所述參考圖像中的每一者指派選票； 在相對于所述多個(gè)查詢特征描述符中的每一者指派所述選票之后，基于所述所指派的選票將所述參考圖像排序；以及 響應(yīng)于所述視覺搜索查詢而返回所述經(jīng)排序的參考圖像。
8.根據(jù)權(quán)利要求1所述的方法，其中根據(jù)基于局部特征的視覺搜索算法從查詢圖像提取所述查詢特征描述符。
9.根據(jù)權(quán)利要求8所述的方法，其中所述基于局部特征的視覺搜索算法包括尺度不變特征變換SIFT算法。
10.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 經(jīng)由所述視覺搜索裝置的接口從客戶端裝置接收所述查詢特征描述符作為經(jīng)壓縮查詢特征描述符；以及利用所述視覺搜索裝置從所述經(jīng)壓縮查詢特征描述符重構(gòu)所述查詢特征描述符。
11.一種用于執(zhí)行視覺搜索的設(shè)備，所述設(shè)備包括: 用于計(jì)算借助視覺搜索查詢提供的查詢特征描述符與多個(gè)參考特征描述符中的每一者之間的距離的裝置，其中所述視覺搜索查詢起始所述視覺搜索； 用于根據(jù)群集算法確定所述所計(jì)算距離中的一者或一者以上的第一群組和所述所計(jì)算距離的第二群組的裝置，其中所述所計(jì)算距離的所述第一群組包含所述所計(jì)算距離中指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于所述所計(jì)算距離中被確定為在所計(jì)算距離的所述第二群組中的那些所述所計(jì)算距離接近所述查詢特征描述符的那些所述所計(jì)算距離，且其中所述所計(jì)算距離的所述第二群組包含所述所計(jì)算距離中指示所述多個(gè)參考特征描述符中的所述相關(guān)聯(lián)一者相對于所述所計(jì)算距離中被確定為在所述所計(jì)算距離中的所述一者或一者以上的所述第一群組中的那些所述所計(jì)算距離遠(yuǎn)離所述查詢特征描述符的那些所述所計(jì)算距離；以及 用于基于所述所確定的所述所計(jì)算距離的第一群組和所述所計(jì)算距離的所述第二群組來確定所述查詢特征描述符是否與所述多個(gè)參考特征描述符中與所述所計(jì)算距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配的裝置。
12. 根據(jù)權(quán)利要求11所述的設(shè)備，其進(jìn)一步包括用于根據(jù)k均值群集算法、高斯擬合算法和圖形切割算法中的一者或一者以上來確定所述所計(jì)算距離中的所述一者或一者以上的所述第一群組和所述所計(jì)算距離的所述第二群組的裝置。
13.根據(jù)權(quán)利要求11所述的設(shè)備，其進(jìn)一步包括: 用于計(jì)算所述所計(jì)算距離中被確定為在所述第一群組中的兩者或兩者以上的平均值以產(chǎn)生第一群組距離平均值的裝置； 用于計(jì)算被確定為在所述第二群組中的所述所計(jì)算距離的平均值以產(chǎn)生第二群組距離平均值的裝置； 用于將所述第一群組距離平均值除以所述第二群組距離平均值以產(chǎn)生平均距離比率量度的裝置； 用于將所述平均距離比率量度與閾值進(jìn)行比較的裝置；以及 用于基于所述比較來確定所述查詢特征描述符是否與所述多個(gè)參考特征描述符中與所述所計(jì)算距離中的所述最小者相關(guān)聯(lián)的所述一個(gè)參考特征描述符匹配的裝置。
14.根據(jù)權(quán)利要求11所述的設(shè)備，其進(jìn)一步包括: 用于確定參考圖像的唯一群組以包含與所述多個(gè)參考特征描述符中從其根據(jù)參考特征描述符的對應(yīng)群組計(jì)算被確定為在所述第一群組中的所述所計(jì)算距離的那些參考特征描述符相關(guān)聯(lián)的參考圖像以使得所述組參考圖像不包含重復(fù)的參考圖像的裝置； 用于向被確定為在參考圖像的所述唯一群組中的所述參考圖像中的每一者指派選票的裝置； 用于基于所述所指派的選票將所述參考圖像排序的裝置；以及 用于響應(yīng)于所述視覺搜索查詢而返回所述經(jīng)排序的參考圖像的裝置。
15.根據(jù)權(quán)利要求14所述的設(shè)備，其進(jìn)一步包括以下各者中的一者或一者以上: 用于向所述參考圖像中的每一者指派恒定選票的裝置； 用于指派與所述對應(yīng)的所計(jì)算距離和所述查詢特征描述符與所述多個(gè)參考特征描述符中的最接近一者之間的所計(jì)算距離相比的距離比率成比例的選票的裝置；以及 用于當(dāng)所述第一群組的所述所計(jì)算距離從最小到最大被排序時(shí)指派與所述第一群組內(nèi)的所述對應(yīng)的所計(jì)算距離的等級成比例的選票的裝置。
16.根據(jù)權(quán)利要求11所述的設(shè)備， 其中所述查詢特征描述符包括多個(gè)查詢特征描述符中根據(jù)視覺搜索算法從查詢圖像數(shù)據(jù)提取且借助所述視覺搜索查詢提供的一個(gè)查詢特征描述符，且其中所述設(shè)備進(jìn)一步包括: 用于針對所述多個(gè)距離中的每一者計(jì)算所述多個(gè)查詢特征描述符中的當(dāng)前一者與所述多個(gè)參考特征描述符中的每一者之間的距離以產(chǎn)生所計(jì)算的多個(gè)距離的裝置； 用于針對所述多個(gè)距離中的每一者根據(jù)所述群集算法確定所述所計(jì)算的多個(gè)距離的所述第一群組和所述所計(jì)算的多個(gè)距離的所述第二群組的裝置，其中所述所計(jì)算的多個(gè)距離的所述第一群組包含所述所計(jì)算距離中指示所述多個(gè)參考特征描述符中的所述相關(guān)聯(lián)一者相對于所述所計(jì)算的多個(gè)距離中被確定為在所述所計(jì)算的多個(gè)距離的所述第二群組中的那些距離接近所述查詢特征描述符的那些所述所計(jì)算距離，且其中所述所計(jì)算的多個(gè)距離的所述第二群組包含所述所計(jì)算的多個(gè)距離中指示所述多個(gè)參考特征描述符中的所述相關(guān)聯(lián)一者相對于所述所計(jì)算的多個(gè)距離中被確定為在所計(jì)算的多個(gè)距離的所述第一群組中的那些距離遠(yuǎn)離所述多個(gè)查詢特征描述符中的所述當(dāng)前一者的那些距離；以及用于基于所述所確定的所述所計(jì)算的多個(gè)距離的第一群組和所述所計(jì)算的多個(gè)距離的所述第二群組來確定所述多個(gè)查詢特征描述符中的每一者是否與所述多個(gè)參考特征描述符中與所述所計(jì)算的多個(gè)距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配的裝置。
17.根據(jù)權(quán)利要求16所述的設(shè)備，其進(jìn)一步包括: 用于針對所述多個(gè)查詢特征描述符中的每一者確定參考圖像的唯一群組以包含與所述多個(gè)參考特征描述符中從其根據(jù)參考特征描述符的對應(yīng)群組計(jì)算被確定為在所述第一群組中的所述所計(jì)算的多個(gè)距離的那些參考特征描述符相關(guān)聯(lián)的參考圖像以使得所述組參考圖像不包含重復(fù)的參考圖像的裝置； 用于向被確定為在針對所述多個(gè)查詢特征描述符中的每一者而確定的參考圖像的所述唯一群組中的所述參考圖像中的每一者指派選票的裝置； 用于在相對于所述多個(gè)查詢特征描述符中的每一者指派所述選票之后基于所述所指派的選票將所述參考圖像排序的裝置；以及 用于響應(yīng)于所述視覺搜索查詢而返回所述經(jīng)排序的參考圖像的裝置。
18.根據(jù)權(quán)利要求11所述的設(shè)備，其中所述查詢特征描述符是根據(jù)基于局部特征的視覺搜索算法從查詢圖像提取的。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其中所述基于局部特征的視覺搜索算法包括尺度不變特征變換SIFT算法。
20.根據(jù)權(quán)利要求11所述的設(shè)備，其進(jìn)一步包括: 用于經(jīng)由視覺搜索裝置的接口從客戶端裝置接收所述查詢特征描述符作為經(jīng)壓縮查詢特征描述符的裝置；以及 用于利用所述視覺搜索裝置從所述經(jīng)壓縮查詢特征描述符重構(gòu)所述查詢特征描述符的裝置。
21.—種經(jīng)配置以執(zhí)行視覺搜索的設(shè)備，所述設(shè)備包括: 接口，其經(jīng)配置以接收查詢特征描述符； 特征匹配單元，其:經(jīng)配置以計(jì)算借助視覺搜索查詢提供的所述查詢特征描述符與多個(gè)參考特征描述符中的每一者之間的距離，其中所述視覺搜索查詢起始所述視覺搜索；以及經(jīng)配置以根據(jù)群集算法確定所述所計(jì)算距離中的一者或一者以上的第一群組和所述所計(jì)算距離的第二群組，其中所述所計(jì)算距離的所述第一群組包含所述所計(jì)算距離中指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于所述所計(jì)算距離中被確定為在所計(jì)算距離的所述第二群組中的那些所述所計(jì)算距離接近所述查詢特征描述符的那些所述所計(jì)算距離，且其中所述所計(jì)算距離的所述第二群組包含所述所計(jì)算距離中指示所述多個(gè)參考特征描述符中的所述相關(guān)聯(lián)一者相對于所述所計(jì)算距離中被確定為在所述所計(jì)算距離中的所述一者或一者以上的所述第一群組中的那些所述所計(jì)算距離遠(yuǎn)離所述查詢特征描述符的那些所述所計(jì)算距離，且其中所述特征匹配單元進(jìn)一步經(jīng)配置以基于所述所確定的所述所計(jì)算距離的第一群組和所述所計(jì)算距離的所述第二群組來確定所述查詢特征描述符是否與所述多個(gè)參考特征描述符中與所述所計(jì)算距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配。
22.根據(jù)權(quán)利要求21所述的設(shè)備，其中所述特征匹配單元經(jīng)配置以根據(jù)k均值群集算法、高斯擬合算法和圖形切割算法中的一者或一者以上來確定所述所計(jì)算距離中的所述一者或一者以上的所述第一群組和所述所計(jì)算距離的所述第二群組。
23.根據(jù)權(quán)利要求21所述的設(shè)備，其中所述特征匹配單元進(jìn)一步經(jīng)配置以:計(jì)算所述所計(jì)算距離中被確定為在所述第一群組中的兩者或兩者以上的平均值，以產(chǎn)生第一群組距離平均值；計(jì)算被確定為在所述第二群組中的所述所計(jì)算距離的平均值，以產(chǎn)生第二群組距離平均值；將所述第一群組距離平均值除以所述第二群組距離平均值，以產(chǎn)生平均距離比率量度；以及將所述平均距離比率量度與閾值進(jìn)行比較且基于所述比較來確定所述查詢特征描述符是否與所述多個(gè)參考特征描述符中與所述所計(jì)算距離中的所述最小者相關(guān)聯(lián)的所述一個(gè)參考特征描述符匹配。
24.根據(jù)權(quán)利要求21所述的設(shè)備`，其中所述特征匹配單元進(jìn)一步經(jīng)配置以: 確定參考圖像的唯一群組以包含與所述多個(gè)參考特征描述符中從其根據(jù)參考特征描述符的對應(yīng)群組計(jì)算被確定為在所述第一群組中的所述所計(jì)算距離的那些參考特征描述符相關(guān)聯(lián)的參考圖像，使得所述組參考圖像不包含重復(fù)的參考圖像； 向被確定為在參考圖像的所述唯一群組中的所述參考圖像中的每一者指派選票； 基于所述所指派的選票將所述參考圖像排序；以及 響應(yīng)于所述視覺搜索查詢而返回所述經(jīng)排序的參考圖像。
25.根據(jù)權(quán)利要求24所述的設(shè)備，其中所述特征匹配單元經(jīng)配置以通過以下各者中的一者或一者以上指派所述選票:向所述參考圖像中的每一者指派恒定選票；指派與所述對應(yīng)的所計(jì)算距離和所述查詢特征描述符與所述多個(gè)參考特征描述符中的最接近一者之間的所計(jì)算距離相比的距離比率成比例的選票；以及當(dāng)所述第一群組的所述所計(jì)算距離從最小到最大被排序時(shí)指派與所述第一群組內(nèi)的所述對應(yīng)的所計(jì)算距離的等級成比例的選票。
26.根據(jù)權(quán)利要求21所述的設(shè)備， 其中所述查詢特征描述符包括多個(gè)查詢特征描述符中根據(jù)視覺搜索算法從查詢圖像數(shù)據(jù)提取且借助所述視覺搜索查詢提供的一個(gè)查詢特征描述符，且 其中所述特征匹配單元進(jìn)一步經(jīng)配置以: 針對所述多個(gè)查詢特征描述符中的每一者，計(jì)算所述多個(gè)查詢特征描述符中的當(dāng)前一者與所述多個(gè)參考特征描述符中的每一者之間的距離以產(chǎn)生所計(jì)算的多個(gè)距離； 針對所述多個(gè)距離中的每一者，根據(jù)所述群集算法確定所述所計(jì)算的多個(gè)距離的所述第一群組和所述所計(jì)算的多個(gè)距離的所述第二群組，其中所述所計(jì)算的多個(gè)距離的所述第一群組包含所述所計(jì)算距離中指示所述多個(gè)參考特征描述符中的所述相關(guān)聯(lián)一者相對于所述所計(jì)算的多個(gè)距離中被確定為在所述所計(jì)算的多個(gè)距離的所述第二群組中的那些距離接近所述查詢特征描述符的那些所述所計(jì)算距離，且其中所述所計(jì)算的多個(gè)距離的所述第二群組包含所述所計(jì)算的多個(gè)距離中指示所述多個(gè)參考特征描述符中的所述相關(guān)聯(lián)一者相對于所述所計(jì)算的多個(gè)距離中被確定為在所計(jì)算的多個(gè)距離的所述第一群組中的那些距離遠(yuǎn)離所述多個(gè)查詢特征描述符中的所述當(dāng)前一者的那些距離；以及 基于所述所確定的所述所計(jì)算的多個(gè)距離的第一群組和所述所計(jì)算的多個(gè)距離的所述第二群組來確定所述多個(gè)查詢特征描述符中的每一者是否與所述多個(gè)參考特征描述符中與所述所計(jì)算的多個(gè)距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配。
27.根據(jù)權(quán)利要求26所述的設(shè)備，其中所述特征匹配單元進(jìn)一步經(jīng)配置以: 針對所述多個(gè)查詢特征描述符中的每一者確定參考圖像的唯一群組以包含與所述多個(gè)參考特征描述符中從其根據(jù)參考特征描述符的對應(yīng)群組計(jì)算被確定為在所述第一群組中的所述所計(jì)算的多個(gè)距離的那些參考特征描述符相關(guān)聯(lián)的參考圖像，使得所述組參考圖像不包含重復(fù)的參考圖像； 向被確定為在針對所述多個(gè)查詢特征描述符中的每一者而確定的參考圖像的所述唯一群組中的所述參考圖像中的每一者指派選票，在相對于所述多個(gè)查詢特征描述符中的每一者指派所述選票之后基于所述所指派的選票將所述參考圖像排序；且其中所述接口響應(yīng)于所述視覺搜索查詢而返回所述經(jīng)排序的參考圖像。
28.根據(jù)權(quán)利要求21所述的設(shè)備，其中所述查詢特征描述符是根據(jù)基于局部特征的視覺搜索算法從查詢圖像提取的。
29.根據(jù)權(quán)利要求28所述的設(shè)備，其中所述基于局部特征的視覺搜索算法包括尺度不變特征變換SIFT算法。
30.根據(jù)權(quán)利要求21所述的設(shè)備， 其中所述接口經(jīng)配置以從客戶端裝置接收作為經(jīng)壓縮查詢特征描述符的所述查詢特征描述符；且 其中所述設(shè)備包含特征重構(gòu)單元，所述特征重構(gòu)單元經(jīng)配置以利用視覺搜索裝置從所述經(jīng)壓縮查詢特征描述符重構(gòu)所述查詢特征描述符。
31.一種包括指令的計(jì)算機(jī)可讀媒體，所述指令在被執(zhí)行時(shí)致使一個(gè)或一個(gè)以上處理器: 計(jì)算借助視覺搜索查詢提供的查詢特征描述符與多個(gè)參考特征描述符中的每一者之間的距離，其中所述視覺搜索查詢起始視覺搜索 ； 根據(jù)群集算法確定所述所計(jì)算距離中的一者或一者以上的第一群組和所述所計(jì)算距離的第二群組，其中所述所計(jì)算距離的所述第一群組包含所述所計(jì)算距離中指示所述多個(gè)參考特征描述符中的相關(guān)聯(lián)一者相對于所述所計(jì)算距離中被確定為在所計(jì)算距離的所述第二群組中的那些所述所計(jì)算距離接近所述查詢特征描述符的那些所述所計(jì)算距離，且其中所述所計(jì)算距離的所述第二群組包含所述所計(jì)算距離中指示所述多個(gè)參考特征描述符中的所述相關(guān)聯(lián)一者相對于所述所計(jì)算距離中被確定為在所述所計(jì)算距離中的所述一者或一者以上的所述第一群組中的那些所述所計(jì)算距離遠(yuǎn)離所述查詢特征描述符的那些所述所計(jì)算距離；以及 基于所述所確定的所述所計(jì)算距離的第一群組和所述所計(jì)算距離的所述第二群組來確定所述查詢特征描述符是否與所述多個(gè)參考特征描述符中與所述所計(jì)算距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配。
32.根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其進(jìn)一步包括在被執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器進(jìn)行以下操作的指令:根據(jù)k均值群集算法、高斯擬合算法和圖形切割算法中的一者或一者以上來確定所述所計(jì)算距離中的所述一者或一者以上的所述第一群組和所述所計(jì)算距離的所述第二群組。
33.根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其進(jìn)一步包括在被執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器進(jìn)行以下操作的指令: 計(jì)算所述所計(jì)算距離中被確定為在所述第一群組中的兩者或兩者以上的平均值，以產(chǎn)生第一群組距離平均值； 計(jì)算被確定為在所述第二群組中的所述所計(jì)算距離的平均值，以產(chǎn)生第二群組距離平均值； 將所述第一群組距離平均值除以所述第二群組距離平均值，以產(chǎn)生平均距離比率量度； 將所述平均距離比率量度與·閾值進(jìn)行比較；以及 基于所述比較來確定所述查詢特征描述符是否與所述多個(gè)參考特征描述符中與所述所計(jì)算距離中的所述最小者相關(guān)聯(lián)的所述一個(gè)參考特征描述符匹配。
34.根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其進(jìn)一步包括在被執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器進(jìn)行以下操作的指令: 確定參考圖像的唯一群組以包含與所述多個(gè)參考特征描述符中從其根據(jù)參考特征描述符的對應(yīng)群組計(jì)算被確定為在所述第一群組中的所述所計(jì)算距離的那些參考特征描述符相關(guān)聯(lián)的參考圖像，使得所述組參考圖像不包含重復(fù)的參考圖像； 向被確定為在參考圖像的所述唯一群組中的所述參考圖像中的每一者指派選票； 基于所述所指派的選票將所述參考圖像排序；以及 響應(yīng)于所述視覺搜索查詢而返回所述經(jīng)排序的參考圖像。
35.根據(jù)權(quán)利要求34所述的計(jì)算機(jī)可讀媒體，其進(jìn)一步包括在被執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器進(jìn)行以下操作的指令: 向所述參考圖像中的每一者指派恒定選票； 指派與所述對應(yīng)的所計(jì)算距離和所述查詢特征描述符與所述多個(gè)參考特征描述符中的最接近一者之間的所計(jì)算距離相比的距離比率成比例的選票；以及 當(dāng)所述第一群組的所述所計(jì)算距離從最小到最大被排序時(shí)，指派與所述第一群組內(nèi)的所述對應(yīng)的所計(jì)算距離的等級成比例的選票。
36.根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體， 其中所述查詢特征描述符包括多個(gè)查詢特征描述符中根據(jù)視覺搜索算法從查詢圖像數(shù)據(jù)提取且借助所述視覺搜索查詢提供的一個(gè)查詢特征描述符， 其中所述計(jì)算機(jī)可讀媒體進(jìn)一步包括在被執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器進(jìn)行以下操作的指令: 針對所述多個(gè)查詢特征描述符中的每一者，計(jì)算所述多個(gè)查詢特征描述符中的當(dāng)前一者與所述多個(gè)參考特征描述符中的每一者之間的距離以產(chǎn)生所計(jì)算的多個(gè)距離； 針對所述多個(gè)距離中的每一者，根據(jù)所述群集算法確定所述所計(jì)算的多個(gè)距離的所述第一群組和所述所計(jì)算的多個(gè)距離的所述第二群組，其中所述所計(jì)算的多個(gè)距離的所述第一群組包含所述所計(jì)算距離中指示所述多個(gè)參考特征描述符中的所述相關(guān)聯(lián)一者相對于所述所計(jì)算的多個(gè)距離中被確定為在所述所計(jì)算的多個(gè)距離的所述第二群組中的那些距離接近所述查詢特征描述符的那些所述所計(jì)算距離，且其中所述所計(jì)算的多個(gè)距離的所述第二群組包含所述所計(jì)算的多個(gè)距離中指示所述多個(gè)參考特征描述符中的所述相關(guān)聯(lián)一者相對于所述所計(jì)算的多個(gè)距離中被確定為在所計(jì)算的多個(gè)距離的所述第一群組中的那些距離遠(yuǎn)離所述多個(gè)查詢特征描述符中的所述當(dāng)前一者的那些距離；以及 基于所述所確定的所述所計(jì)算的多個(gè)距離的第一群組和所述所計(jì)算的多個(gè)距離的所述第二群組來確定所述多個(gè)查詢特征描述符中的每一者是否與所述多個(gè)參考特征描述符中與所述所計(jì)算的多個(gè)距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配。
37.根據(jù)權(quán)利要求36所述的計(jì)算機(jī)可讀媒體，其進(jìn)一步包括在被執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器進(jìn)行以下操作的指令: 針對所述多個(gè)查詢特征描 述符中的每一者確定參考圖像的唯一群組以包含與所述多個(gè)參考特征描述符中從其根據(jù)參考特征描述符的對應(yīng)群組計(jì)算被確定為在所述第一群組中的所述所計(jì)算的多個(gè)距離的那些參考特征描述符相關(guān)聯(lián)的參考圖像，使得所述組參考圖像不包含重復(fù)的參考圖像； 向被確定為在針對所述多個(gè)查詢特征描述符中的每一者而確定的參考圖像的所述唯一群組中的所述參考圖像中的每一者指派選票； 在相對于所述多個(gè)查詢特征描述符中的每一者指派所述選票之后，基于所述所指派的選票將所述參考圖像排序；以及 響應(yīng)于所述視覺搜索查詢而返回所述經(jīng)排序的參考圖像。
38.根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其中所述查詢特征描述符是根據(jù)基于局部特征的視覺搜索算法從查詢圖像提取的。
39.根據(jù)權(quán)利要求38所述的計(jì)算機(jī)可讀媒體，其中所述基于局部特征的視覺搜索算法包括尺度不變特征變換SIFT算法。
40.根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀媒體，其進(jìn)一步包括在被執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器進(jìn)行以下操作的指令: 經(jīng)由視覺搜索裝置的接口從客戶端裝置接收作為經(jīng)壓縮查詢特征描述符的所述查詢特征描述符；以及 利用所述視覺搜索裝置從所述經(jīng)壓縮查詢特征描述符重構(gòu)所述查詢特征描述符。
41.一種系統(tǒng)，其包括:用以接收從一個(gè)或一個(gè)以上客戶端裝置接收的信息的輸入，其中所述信息包括用以起始視覺搜索的查詢特征描述符； 數(shù)據(jù)庫，其包含指示多個(gè)參考查詢描述符的信息；以及 視覺搜索服務(wù)器裝置，其經(jīng)配置以執(zhí)行所述視覺搜索，所述視覺搜索服務(wù)器裝置包括: 接口，其用以接收所述查詢特征描述符；以及 特征匹配單元，其經(jīng)配置以: 計(jì)算所述查詢特征描述符與所述多個(gè)參考查詢描述符中的每一者之間的距離； 根據(jù)群集算法確定所述所計(jì)算距離中的一者或一者以上的第一群組和所述所計(jì)算距離的第二群組，其中所述所計(jì)算距離的所述第一群組包含所述所計(jì)算距離中指示所述多個(gè)參考查詢描述符中的相關(guān)聯(lián)一者相對于所述所計(jì)算距離中被確定為在所計(jì)算距離的所述第二群組中的那些所述所計(jì)算距離接近所述查詢特征描述符的那些所述所計(jì)算距離，且其中所述所計(jì)算距離的所述第二群組包含所述所計(jì)算距離中指示所述多個(gè)參考查詢描述符中的所述相關(guān)聯(lián)一者相對于所述所計(jì)算距離中被確定為在所述所計(jì)算距離中的所述一者或一者以上的所述第一群組中的那些所述所計(jì)算距離遠(yuǎn)離所述查詢特征描述符的那些所述所計(jì)算距離；以及 基于所述所確定的所述所計(jì)算 距離的第一群組和所述所計(jì)算距離的所述第二群組來確定所述查詢特征描述符是否與所述多個(gè)參考查詢描述符中與所述所計(jì)算距離中的最小者相關(guān)聯(lián)的一個(gè)參考特征描述符匹配。
【文檔編號】G06K9/62GK103582884SQ201280018354
【公開日】2014年2月12日 申請日期:2012年4月13日 優(yōu)先權(quán)日:2011年4月14日
【發(fā)明者】桑迪普·瓦達(dá)迪, 奧努爾·C·哈姆西奇, 尤里婭·列茲尼克, 約翰·H·洪, 重·U·李 申請人:高通股份有限公司