專利名稱：自適應圖像檢索數據庫的制作方法
技術領域：
本發(fā)明涉及檢索，尤其涉及圖像檢索。
背景技術：
隨著因特網技術的發(fā)展，諸如Bing 、Google ·和Yahoo 等搜索引擎當前向因
特網用戶提供基于文本的圖像搜索服務。這些圖像搜索服務允許用戶輸入描述用戶想要尋找的圖像的關鍵字，并基于所輸入的關鍵字檢索一個或多個數據庫圖像。然而，為了檢索所需的圖像，輸入的關鍵字需要準確地和/或充分地描述圖像。此外，這種類型的圖像搜索要求數據庫圖像具有一個或多個文本注釋以便允許對該特定數據庫圖像進行比較和檢索?？紤]到因特網上存在數百萬個圖像，這不可避免地對搜索引擎施加了巨大的工作負擔。而且， 必須用文本注釋準確且完整地標記圖像以便使用文本搜索查詢來發(fā)現圖像。考慮到基于文本的圖像搜索的缺點，一些搜索引擎現在提供基于內容的圖像檢索 (CBIR)服務。用戶向搜索引擎提交查詢圖像，搜索引擎隨后分析查詢圖像的實際內容(例如，顏色、形狀和紋理)。基于分析的結果，搜索引擎檢索與查詢圖像類似或相關的圖像。然而，這種類型的基于內容的圖像檢索仍處于不成熟的階段。正積極地進行研究以確定有效且準確的圖像搜索和檢索策略和/或算法。此外，當前技術水平的基于內容的圖像檢索方法是以數據為中心而不是以用戶為中心的。例如，現有的圖像檢索系統(tǒng)不考慮用戶的偏好。

發(fā)明內容
提供本概述以便介紹將在以下詳細描述中進一步描述的自適應圖像檢索系統(tǒng)的一些簡化概念。本概述并不旨在標識所要求保護的主題的必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。本申請描述了自適應圖像檢索的示例實施例。在一個實施例中，自適應圖像檢索系統(tǒng)從一個或多個客戶機接收圖像查詢日志數據。圖像查詢日志數據包括在預定時間段內由一個或多個客戶機查詢的或提交供查詢的圖像。系統(tǒng)至少基于此接收到的查詢日志數據來更新特征碼本。


參考附圖闡述詳細描述。在附圖中，附圖標記中最左邊的數字標識該附圖標記首次出現的附圖。在不同附圖中使用同一附圖標記指示相似或相同的項。圖1示出了包括示例自適應圖像檢索系統(tǒng)的示例性環(huán)境。圖2更詳細地示出了圖1的示例自適應圖像檢索系統(tǒng)。圖3示出了基于圖像查詢日志數據來更新圖像搜索/檢索算法的示例性方法。圖4示出了響應于由客戶機所提交的圖像查詢來檢索一個或多個數據庫圖像的第一示例性方法。圖5示出了響應于由客戶機所提交的圖像查詢來檢索一個或多個數據庫圖像的第二示例性方法。圖6示出了響應于由客戶機所提交的圖像查詢來檢索一個或多個數據庫圖像的第三示例性方法。
具體實施例方式概覽如上文所指出的，當前技術的CB^(基于內容的圖像檢索)系統(tǒng)不考慮用戶的偏愛，并返回不能反映用戶的偏好和/或興趣的當前趨勢的圖像。這些系統(tǒng)檢索圖像時不考慮某些圖像比較頻繁地被用戶查詢，而其他圖像可能很少被訪問。此外，用戶偏好和興趣會隨著時間而變化。過去用戶感興趣的圖像可能現在用戶沒有興趣。此外，新穎的并且新的圖像查詢不能被并入圖像搜索/檢索算法的構建中。典型示例是關于汽車的圖像查詢。例如，大多數用戶可能對新車型感興趣。如果用戶提交包括汽車的查詢圖像，則搜索引擎需要察覺到用戶可能希望獲得新車型的圖像，而不是舊車型。簡言之，現有技術的圖像搜索不能滿足并反映用戶偏好和/或興趣的這種趨勢。這常常導致返回盡管類似于查詢圖像但是不是用戶所希望的那些圖像。本發(fā)明描述了將圖像查詢日志數據并入到搜索策略和/或算法中并便于反映用戶的當前偏好和興趣的圖像的檢索的自適應圖像檢索。一般而言，自適應圖像檢索系統(tǒng)從一個或多個客戶機接收圖像查詢日志數據。此圖像查詢日志數據可以包括以前由一個或多個客戶機所提交的多個查詢圖像?；谌罩緮祿?，系統(tǒng)更新或重構其搜索策略和/或算法，以便于檢索更加可能與客戶機的當前興趣更為相關的圖像。例如，如果系統(tǒng)使用特征碼本來標識和檢索圖像，則可以基于接收到的圖像查詢日志數據來重構此特征碼本。然后，使得到的重構的碼本的特征偏向代表由用戶最近查詢的圖像的特征。另外地或另選地，可以基于圖像查詢日志數據，更新圖像非相似度度量，以便使重構的碼本的特征偏離與由用戶最近查詢的圖像的特征不同的特征。換句話說， 自適應圖像檢索系統(tǒng)可以被配置成增加將返回具有類似于由用戶最近查詢的圖像的特征的圖像的似然率和/或降低將返回具有與由用戶最近查詢的圖像不同的特征的圖像作為搜索結果的似然率。所描述的系統(tǒng)允許圖像檢索反映用戶偏好和/或興趣的趨勢，因此，降低當將不相關的圖像(盡管類似于查詢圖像)返回給用戶時用戶遇到的挫折感。下面將描述多個不同的實現和實施例。在下面的部分，描述了適于實施各種實現的示例性環(huán)境。在此討論之后，描述了自適應圖像檢索系統(tǒng)的系統(tǒng)、設備和過程的說明性實現。示例性體系結構圖1示出了可被用來實現自適應圖像檢索系統(tǒng)的示例性環(huán)境100。環(huán)境100包括一個或多個用戶102-1，102-2，· · · 102-M (統(tǒng)稱為102)、網絡104和自適應圖像檢索系統(tǒng)106。 用戶102使用一個或多個設備108-1，108-2，. . . 108_N(統(tǒng)稱為108)通過網絡104與自適應圖像檢索系統(tǒng)106進行通信。設備108可以被實現為各種常規(guī)計算設備，包括，例如，服務器、臺式PC、筆記本或便攜式計算機、工作站、大型計算機、移動計算設備、手持式設備、移動電話、因特網設備、網絡路由器等等或其組合。網絡104可以是無線或有線網絡，或其組合。網絡104可以是彼此互連并用作單個大型網絡的各單獨網絡的集合(例如，因特網或內聯網)。這樣的單獨網絡的示例包括， 但不僅限于，局域網(LAN)、廣域網(WAN)、以及城域網(MAN)。此外，各個網絡也可以是無線或有線網絡，或其組合。在一個實施例中，設備108包括耦合到存儲器112的處理器110。存儲器112包括瀏覽器114及其他程序數據116。存儲器112可以耦合到諸如網絡服務器、路由器和/或其他設備108之類的其他設備，或與它們相關聯，和/或可以它們被訪問。在一個實施例中，用戶102使用設備108的瀏覽器114將圖像查詢提交到自適應圖像檢索系統(tǒng)106。在為圖像查詢檢索一個或多個相關圖像之后，自適應圖像檢索系統(tǒng)106 將相關圖像返回給用戶102。圖2更詳細地示出了自適應圖像檢索系統(tǒng)106。在一個實施例中，系統(tǒng)106可以包括，但不限于，處理器202、網絡接口 204、系統(tǒng)存儲器206，以及輸入/輸出接口 208。存儲器206包括諸如隨機存取存儲器(RAM)之類的易失性存儲器形式的計算機可讀介質和/或諸如只讀存儲器(ROM)或閃存RAM之類的非易失性存儲器形式的計算機可讀介質。存儲器206包括程序模塊210和程序數據212。存儲器206是計算機可讀存儲介質的一個示例。程序數據212可以包括圖像查詢日志數據214、圖像數據庫216，及其他程序數據218。雖然此處將圖像數據庫216描述為被包括在系統(tǒng)106的存儲器206中，但是，圖像數據庫216也可以與系統(tǒng)106分開并可被系統(tǒng)106訪問?？梢詮囊粋€或多個客戶機直接收集圖像查詢日志數據214。另選地或另外地，可以從一個或多個其他系統(tǒng)106或搜索引擎(未示出)收集圖像查詢日志數據214。圖像查詢日志數據214可以包括在預定時間段內(例如，可以是一天、一星期或一個月)收集的多個圖像。在一個實施例中，這多個圖像可以包括已經由一個或多個客戶機102查詢或提交供查詢的圖像。在另一實施例中，這多個圖像還可以包括響應于相應的圖像查詢已經返回給一個或多個客戶機102的數據庫圖像。另選地或另外地，這多個圖像可以包括已經實際上被一個或多個客戶機102選定的那些已返回的數據庫圖像。在多個圖像包括所選數據庫圖像的情況下，圖像查詢日志數據214還可以包括所選數據庫圖像的相應的相似度分數。所選數據庫圖像的相似度分數表示所選數據庫圖像相對于對應的查詢圖像的相對相似性，該相對相似性基于，例如，所選數據庫圖像的特征和對應的查詢圖像的特征之間的相似度。例如，第一圖像相對于第二圖像的相對相似性可以基于對于第一和第二圖像共同的特征的數量相對于兩個圖像的特征的平均數的比率。 圖像查詢日志數據214還可以包括在預定時間段內收集的多個圖像的各自的查詢頻率。另選地或另外地，圖像查詢日志數據214還可以包括在預定時間段內收集的多個圖像的各自的查詢時間。在一個實施例中，圖像查詢日志數據214還可以包括已經提交多個圖像的一個或多個客戶機的信息?？蛻魴C的信息可以包括，但不限于，客戶機的標識信息、以及客戶機提交圖像查詢所使用的計算設備的信息。在收集有關客戶機的個人信息的情況下，可以給予客戶機選擇停止將這樣的信息作為個人可識別的信息進行共享的機會。此外，代替將實際圖像存儲在圖像查詢日志數據214中，可以將存儲在圖像數據庫216中的實際圖像的指針、索引或散列值存儲在圖像查詢日志數據214中。程序模塊210可以包括查詢接收模塊220。查詢接收模塊220從客戶機接收圖像查詢。圖像查詢包括客戶機用來查找他/她希望的圖像的查詢圖像。在接收到圖像查詢之后，查詢接收模塊220可以將接收到的查詢圖像記錄到圖像查詢日志數據214中，連同諸如對應的查詢時間之類的額外的信息?？闪磉x地，查詢接收模塊220可以等待直到到達預定的記錄時間，并將所有查詢圖像連同相應的額外的信息記錄到在該預定記錄時間內獲得的圖像查詢日志數據214中。查詢接收模塊220還可以將查詢圖像傳輸到特征提取模塊222， 該特征提取模塊222提取代表查詢圖像的特征。特征提取模塊222可以采用諸如奇異矢量分解(SVD)、視覺關鍵詞袋等等之類的一種或多種特征提取技術。特征的示例包括，但不限于，尺度不變特征變換(SIFT)，以及強度直方圖。取決于系統(tǒng)200在哪一種模式下執(zhí)行，所提取的特征可以被饋送到搜索分層模塊 224、碼本重構模塊226、相似度測量模塊228，或者其任何組合中的任何一個。在一個實施例中，響應于從特征提取模塊222接收到所提取的特征，搜索分層模塊2M將所提取的特征與現有特征碼本進行比較。特征碼本，有時也叫做“視覺關鍵詞”，可以例如通過將圖像特征聚集成多個簇來生成。碼本的特征或視覺關鍵詞可以被定義為，例如多個簇中的一個簇的中心。在此類型的碼本構造之下，可以通過將每一所提取的特征分配到其最近的簇中心，利用視覺關鍵詞/特征的出現次數的直方圖來表示圖像。在將每一所提取的特征分配到碼本的其中一個視覺關鍵詞之后，可以根據圖像相似度度量，將這些分配的視覺關鍵詞與每一數據庫圖像的視覺關鍵詞進行比較。圖像相似度度量是兩個圖像之間的相似度的度量，并可以返回表示數據庫圖像相對于查詢圖像的相對相似性的相似度 /非相似度分數。在一個實施例中，相似度測量模塊2 基于所提取的特征或分配的視覺關鍵詞，計算數據庫圖像相對于查詢圖像的相似度/非相似度分數。例如，相似度測量模塊 2 基于查詢圖像和數據庫圖像的共同的特征或視覺關鍵詞的數量相對于它們的特征或視覺關鍵詞的平均數的比率，來計算相似度/非相似度分數。在另一實施例中，代替與每一數據庫圖像的視覺關鍵詞進行比較，相似度測量模塊2 可以將分配的視覺關鍵詞與每一圖像類(例如，汽車類)的代表性的視覺關鍵詞進行比較，每一圖像類都包括共享預定數量或百分比的共同的視覺關鍵詞的多個數據庫圖像。此預定數量或百分比的共同的視覺關鍵詞可以由系統(tǒng)106的管理員或操作員來進行設置。在又一個實施例中，相似度測量模塊2 可以使用具有多個級別的搜索分層結構。搜索分層結構的每一級別都可以包括η個節(jié)點，其中，η可以是大于零的任何整數。搜索分層結構的每一個節(jié)點都具有代表性的視覺特征集合。在一個實施例中，節(jié)點的代表性的視覺特征集合可以是屬于該節(jié)點以及其子節(jié)點的所有圖像的視覺關鍵詞的簇中心?？梢詫⑺崛〉奶卣骰蚍峙涞囊曈X關鍵詞與一個級別的每一個節(jié)點的代表性的視覺特征集合進行比較。在找到具有該級別的相對于所提取的特征或分配的視覺關鍵詞的最近的視覺特征集合的節(jié)點之后，比較下一級別的對應的一個或多個子節(jié)點，以此類推，直到到達葉節(jié)點。然后，可以將與此葉節(jié)點相關聯的一個或多個數據庫圖像作為圖像查詢的結果返回給客戶機。此外，相似度測量模塊2 還可以獲得這些數據庫圖像相對于查詢圖像的一個或多個相似度/非相似度分數。返回的圖像查詢的結果可以具有根據它們的相似度/非相似度分數排列的一個或多個數據庫圖像，例如，按照它們的相似度分數/非相似度分數的降序排列。雖然被描述為單獨的模塊，但是，搜索分層模塊2 和相似度測量模塊2 可以被視為執(zhí)行其所有上文所描述的操作的單個模塊。當更新或重構系統(tǒng)106的圖像搜索/檢索策略或算法時，可以更新或重構圖像相似度度量、特征碼本或兩者。在一個實施例中，可以定期地，例如，每天、每一星期、每個月或每年，更新或重構系統(tǒng)106的圖像搜索或檢索策略或算法。在另一實施例中，可以響應于圖像查詢日志數據中的圖像的數量達到預定數量閾值來更新或重構系統(tǒng)106的圖像搜索/檢索策略或算法。預定數量閾值可以被設置為圖像數據庫216中的圖像的總數的某一百分比 (例如，)或一絕對值(例如，1000個圖像)。在又一個實施例中，可以響應于圖像查詢日志數據214中的所有選定數據庫圖像的相似度分數的平均值(即，平均相似度分數)小于預定相似度分數閾值，來更新或重構系統(tǒng)106的圖像搜索或檢索策略或算法?？闪磉x地， 可以響應于圖像查詢日志數據214中的所有選定數據庫圖像的非相似度分數的平均值大于預定非相似度分數閾值，來更新或重構系統(tǒng)106的圖像搜索或檢索策略或算法。例如，如果查詢圖像和數據庫圖像之間的完美匹配具有相似度分數1或非相似度分數0，則可以響應于例如平均相似度分數小于0. 7或平均非相似度分數大于0. 3，來更新或重構碼本?？闪磉x地，可以將上面的三個策略組合起來，每當達到上面的預定時間或閾值中的一個，或當達到兩者時，就更新或重構圖像搜索/檢索策略或算法。應該注意，上面的時間、百分比和分數值只用于說明性用途?？梢愿鶕?，例如，準確性和/或計算要求，由系統(tǒng)106的管理員或操作員使用和設置任何值。按如下方式來描述兩個示例性更新/重構算法。所描述的更新/重構算法相對于具有低于第一查詢頻率的第二查詢頻率的第二查詢的圖像的特征，增大了檢索到具有第一查詢頻率的第一查詢的圖像的特征的似然率。然而，下列更新/重構算法只用于說明性用途。當前說明書涵蓋了將圖像查詢日志數據包括到圖像搜索/檢索策略或算法的更新/重構的任何算法。示例圖像相似度度量此算法的一個目的是將來自圖像查詢日志數據的用戶的行為信息包括到視覺關鍵詞加權框架中。直觀地，更頻繁訪問的視覺關鍵詞(來自圖像查詢)將具有更高的權重， 增大檢索到具有更頻繁訪問的視覺關鍵詞的那些數據庫圖像的似然率。更具體而言，根據基于查詢-日志加權和常規(guī)tf-idf加權方案，形成均勻的概率性框架。從用戶的偏好和數據分布的觀點來看，查詢-日志相關的組件和詞頻組件可以被視為互補的先驗信息。視覺關鍵詞的詞頻被定義為視覺關鍵詞出現在圖像中的次數。通過邊緣化相對于數據庫圖像和圖像類的每一詞頻，獲取每一個視覺關鍵詞的查詢-日志相關的先驗概率，并將其充當用于對每一視覺關鍵詞重新加權的重要權重。此新的視覺關鍵詞重要性加權方案被定義為 qf-tf-idf (其中，qf表示查詢頻率)，并可以充當用戶同心CB^系統(tǒng)的重要構件。為了描述，此處首先定義某些記號。令圖像集合表示為D，第i個圖像表示成Ip 圖像集合的大小，即，圖像的數量，被假設為N= |D|0假設圖像數據庫中的圖像類(或概念)的數量為K。通過聚類(例如，K均值聚類)，生成視覺關鍵詞(V)的集合或碼本，被表示為V1, V2, ... VM，其中，M是碼本的大小。在常規(guī)的tf-idf框架中，第j個圖像中的詞頻nf被表示為給定視覺關鍵詞Vi出現在該圖像中的次數。此頻率通常被歸一化，以防止從每一圖像中提取的特征或視覺關鍵詞 (例如，SIFT特征)的數量不平衡。如此，按如下方式來計算歸一化的詞頻
權利要求
1.一種計算機實現的方法，包括從一個或多個客戶機接收G02)圖像查詢日志數據，所述圖像查詢日志數據包括在預定時間段內由一個或多個客戶機查詢的多個圖像；以及至少基于所接收到的查詢日志數據來更新(404)特征碼本。
2.如權利要求1所述的計算機實現的方法，其特征在于，所述方法還包括 從請求客戶機接收包括示例圖像的圖像查詢；以及從所述示例圖像提取多個特征；將所提取的多個特征與所述更新后的特征碼本中的特征進行比較；以及至少基于所述比較從數據庫檢索一個或多個數據庫圖像。
3 如前述權利要求中任一項所述的計算機實現的方法，其特征在于，所述圖像查詢日志數據還包括對應于所查詢的多個圖像的多個查詢頻率，且其中更新所述特征碼本包括相對于具有低于第一查詢頻率的第二查詢頻率的所查詢的第二圖像的特征，增加檢索到具有所述第一查詢頻率的所查詢的第一圖像的特征的似然率。
4.如前述權利要求中任一項所述的計算機實現的方法，其特征在于，所述圖像查詢日志數據還包括對應于所查詢的多個圖像的多個查詢時間，且其中更新所述特征碼本包括相對于具有在第一查詢時間之前的第二查詢時間的所查詢的第二圖像的特征，增加檢索到具有所述第一查詢時間的所查詢的第一圖像的特征的似然率。
5.一種計算機實現的方法，包括從客戶機接收(50 包括示例圖像的圖像查詢； 從所述示例圖像提取(504)多個特征；將多個所提取的特征與特征碼本進行比較(506)，以從所述特征碼本獲取一個或多個特征；至少基于一個或多個所獲取的特征，將一個或多個數據庫圖像提供(508)給所述客戶機；以及至少基于從所述示例圖像提取的多個特征，更新(510)所述特征碼本。
6.如權利要求5所述的計算機實現的方法，其特征在于 接收所述客戶機選擇所述一個或多個數據庫圖像中的數據庫圖像的指示； 進一步基于所選的數據庫圖像的特征來更新所述特征碼本。
7.如前述權利要求中任一項所述的計算機實現的方法，其特征在于，所述方法還包括對所述一個或多個數據庫圖像中的每一個提供分數，所述分數表示基于所提取的所述示例圖像的多個特征所述一個或多個數據庫圖像中的每一個與所述示例圖像的相對相似性。
8.如前述權利要求中任一項所述的計算機實現的方法，其特征在于，更新所述特征碼本包括從所查詢的多個圖像中提取多個特征；以及至少基于從所查詢的多個圖像提取的所述多個特征，更新所述碼本的各特征的權重。
9.如前述權利要求中任一項所述的計算機實現的方法，其特征在于，所述方法還包括響應于更新所述碼本預定的次數，歸一化所述更新后的特征碼本，所述歸一化包括按照縮放因子重定所述碼本的各特征的權重。
10.如前述權利要求中任一項所述的計算機實現的方法，其特征在于，所述查詢日志數據還包括在預定的時間段內由所述一個或多個客戶機選擇的多個數據庫圖像。
全文摘要
本發(fā)明涉及自適應圖像檢索數據庫。自適應圖像檢索圖像允許檢索更有可能反映用戶偏好和/或興趣的當前趨勢的圖像，從而可向圖像搜索提供相關結果。自適應圖像檢索包括從一個或多個客戶機接收圖像查詢日志數據，并基于接收到的查詢日志數據更新特征碼本。圖像查詢日志數據包括在預定時間段內由一個或多個客戶機查詢的圖像。
文檔編號G06F17/30GK102521233SQ20111035269
公開日2012年6月27日 申請日期2011年11月1日 優(yōu)先權日2010年11月2日
發(fā)明者倪冰冰, 楊林軍, 田奇 申請人:微軟公司