專利名稱：基于屬性關(guān)系進(jìn)行圖像排序的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用計(jì)算機(jī)視覺(jué)應(yīng)用,用以依據(jù)視覺(jué)外觀(appearance )特征在人類圖像數(shù)據(jù)中自動(dòng)搜索人。
背景技術(shù)：
可以搜索攝像機(jī)、照相機(jī)和其它圖像數(shù)據(jù)饋送(feed)，以找到目標(biāo)物體和個(gè)人。例如，為了搜索人，可以向視頻檔案的管理者提供指示某些個(gè)人面部視覺(jué)特點(diǎn)的描述信息(例如，戴眼鏡、棒球帽等)，其中可以手動(dòng)地掃描檔案，以尋找具有類似特征的一個(gè)或多個(gè)人。這種手動(dòng)搜索既費(fèi)時(shí)間資源又費(fèi)人力資源。此外，人的視覺(jué)注意力可能是無(wú)效的，尤其對(duì)于大量圖像數(shù)據(jù)。由于許多因素(示例性地包括很少出現(xiàn)感興趣的活動(dòng)、與任務(wù)關(guān)聯(lián)的基本枯燥性、以及具有視覺(jué)混亂和其它分心事物的環(huán)境中對(duì)象追蹤的較差可靠性)，輸入信息的人工分析可能既昂貴又無(wú)效。已知如下自動(dòng)輸入系統(tǒng)和方法計(jì)算機(jī)或其它可編程設(shè)備直接分析視頻數(shù)據(jù)并嘗試通過(guò)計(jì)算機(jī)視覺(jué)應(yīng)用來(lái)識(shí)別關(guān)心的物體、人、事件或活動(dòng)。一些現(xiàn)有方法針對(duì)多個(gè)圖像屬性中的每個(gè)學(xué)習(xí)獨(dú)立的外觀模型,例如,針對(duì)禿頭、髭(mustache)、絡(luò)腮胡子(beard)、帽子、太陽(yáng)鏡、淺膚色等。當(dāng)給定多屬性查詢時(shí)，這樣的系統(tǒng)可以將每個(gè)單獨(dú)查詢屬性的置信度得分(confidencescore)相加。因此,針對(duì)(i)男性(ii)戴眼鏡和(iii)絡(luò)腿胡子的搜 索可以檢索多個(gè)結(jié)果，每個(gè)結(jié)果具有滿足所有三個(gè)屬性的置信度得分，或者每個(gè)結(jié)果滿足一個(gè)或多個(gè)屬性。然而，前一技術(shù)可能錯(cuò)過(guò)結(jié)果，例如，在給定圖像中一個(gè)屬性不清楚，從而導(dǎo)致了該圖像被排除。后一技術(shù)可能返回太多結(jié)果，包括不可能或不太可能滿足所有三個(gè)屬性的結(jié)果，諸如，作為年輕女孩的戴著太陽(yáng)鏡的人的圖像。因此，所返回的結(jié)果可能錯(cuò)過(guò)目標(biāo)，或者返回太多要被高效地分析的命中(hit)。

發(fā)明內(nèi)容
在本發(fā)明的一個(gè)實(shí)施例中，一種用于根據(jù)與多屬性查詢的屬性的相關(guān)性(relevance)而檢索和排序(rank)多屬性查詢結(jié)果的方法包括為每個(gè)在人的圖像的訓(xùn)練數(shù)據(jù)集中注釋的不同屬性訓(xùn)練圖像屬性檢測(cè)器；以及學(xué)習(xí)(通過(guò)處理器等)來(lái)自圖像的訓(xùn)練數(shù)據(jù)集的每對(duì)注釋屬性之間的成對(duì)關(guān)系(pair-wise correlation)。通過(guò)經(jīng)訓(xùn)練的屬性檢測(cè)器在圖像數(shù)據(jù)集中搜索包括多屬性查詢中的屬性的圖像，其中從該搜索檢索圖像，所述圖像各自包括一個(gè)或多個(gè)查詢屬性并且還響應(yīng)于來(lái)自經(jīng)訓(xùn)練的屬性檢測(cè)器的對(duì)應(yīng)于不是查詢的一部分但依據(jù)所學(xué)習(xí)的多個(gè)成對(duì)關(guān)系而與查詢屬性相關(guān)的屬性的信息。依據(jù)所檢索到的圖像的屬性也在多個(gè)屬性的查詢子集中的相應(yīng)總數(shù)，對(duì)所檢索到的圖像進(jìn)行排序。在另一實(shí)施例中，一種系統(tǒng)具有處理單元、計(jì)算機(jī)可讀存儲(chǔ)器、和具有程序指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)設(shè)備，所述程序指令用以為每個(gè)在人的圖像的訓(xùn)練數(shù)據(jù)集中注釋的不同屬性訓(xùn)練圖像屬性檢測(cè)器，以及學(xué)習(xí)來(lái)自圖像的訓(xùn)練數(shù)據(jù)集的每對(duì)注釋屬性之間的成對(duì)關(guān)系。因此，可以通過(guò)經(jīng)訓(xùn)練的屬性檢測(cè)器在圖像數(shù)據(jù)集中搜索包括多屬性查詢中的屬性的圖像，其中從該搜索檢索圖像，所述圖像各自包括一個(gè)或多個(gè)查詢屬性并且還響應(yīng)于來(lái)自經(jīng)訓(xùn)練的屬性檢測(cè)器的對(duì)應(yīng)于不是查詢的一部分但依據(jù)所學(xué)習(xí)的多個(gè)成對(duì)關(guān)系而與查詢屬性相關(guān)的屬性的信息。依據(jù)所檢索到的圖像的屬性也在多個(gè)屬性的查詢子集中的相應(yīng)總數(shù)，對(duì)所檢索到的圖像進(jìn)行排序。在另一實(shí)施例中，一種制品具有計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)設(shè)備，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)設(shè)備中包含計(jì)算機(jī)可讀程序代碼，所述計(jì)算機(jī)可讀程序代碼包括指令，當(dāng)計(jì)算機(jī)處理器執(zhí)行所述指令時(shí)，所述指令使得計(jì)算機(jī)處理器為每個(gè)在人的圖像的訓(xùn)練數(shù)據(jù)集中注釋的不同屬性訓(xùn)練圖像屬性檢測(cè)器，以及學(xué)習(xí)來(lái)自圖像的訓(xùn)練數(shù)據(jù)集的每對(duì)注釋屬性之間的成對(duì)關(guān)系。因此，可以通過(guò)經(jīng)訓(xùn)練的屬性檢測(cè)器在圖像數(shù)據(jù)集中搜索包括多屬性查詢中的屬性的圖像，其中從該搜索檢索圖像，所述圖像各自包括一個(gè)或多個(gè)查詢屬性并且還響應(yīng)于來(lái)自經(jīng)訓(xùn)練的屬性檢測(cè)器的對(duì)應(yīng)于不是查詢的一部分但依據(jù)所學(xué)習(xí)的多個(gè)成對(duì)關(guān)系而與查詢屬性相關(guān)的屬性的信息。依據(jù)所檢索到的圖像的屬性也在多個(gè)屬性的查詢子集中的相應(yīng)總數(shù)，對(duì)所檢索到的圖像進(jìn)行排序。在另一實(shí)施例中，一種用于 根據(jù)與多屬性查詢的屬性的相關(guān)性而檢索多屬性查詢結(jié)果并提供對(duì)所述多屬性查詢結(jié)果進(jìn)行排序的服務(wù)的方法包括提供一個(gè)或多個(gè)物品，所述物品包括圖像屬性檢測(cè)器訓(xùn)練器和屬性映射器設(shè)備，其為每個(gè)在人的圖像的訓(xùn)練數(shù)據(jù)集中注釋的不同屬性訓(xùn)練圖像屬性檢測(cè)器，以及學(xué)習(xí)來(lái)自圖像的訓(xùn)練數(shù)據(jù)集的每對(duì)注釋屬性之間的成對(duì)關(guān)系。還提供多屬性檢索和排序模型，其通過(guò)經(jīng)訓(xùn)練的屬性檢測(cè)器在圖像數(shù)據(jù)集中搜索包括多屬性查詢中的屬性的圖像；從該搜索檢索圖像，所述圖像各自包括一個(gè)或多個(gè)查詢屬性并且還響應(yīng)于來(lái)自經(jīng)訓(xùn)練的屬性檢測(cè)器的對(duì)應(yīng)于不是查詢的一部分但依據(jù)所學(xué)習(xí)的多個(gè)成對(duì)關(guān)系而與查詢屬性相關(guān)的屬性的信息；以及依據(jù)所檢索到的圖像的屬性也在多個(gè)屬性的查詢子集中的相應(yīng)總數(shù)，對(duì)所檢索到的圖像進(jìn)行排序。


從下面結(jié)合附圖對(duì)本發(fā)明的各個(gè)方面的詳細(xì)描述中，將更容易理解本發(fā)明的這些和其它特征，其中圖I是根據(jù)本發(fā)明的用于根據(jù)與多屬性查詢的相關(guān)性而對(duì)多屬性查詢結(jié)果進(jìn)行排序的方法或系統(tǒng)的實(shí)施例的流程圖。圖2A至圖2E是根據(jù)本發(fā)明的實(shí)施例的用于提取特征矢量的圖像場(chǎng)構(gòu)造的概略圖。圖3是根據(jù)本發(fā)明的實(shí)施例的、依據(jù)多屬性查詢的示例圖像檢索和排序的概略圖。圖4是本發(fā)明的實(shí)施例的計(jì)算機(jī)實(shí)施方式的框圖。圖5是本發(fā)明的裝置或設(shè)備實(shí)施例的框圖。這些圖不一定成比例。這些圖僅是示意表示，而不意在刻畫本發(fā)明的具體參數(shù)。這些圖僅意在描述本發(fā)明的典型實(shí)施例，因此不應(yīng)被認(rèn)為是對(duì)本發(fā)明的范圍的限制。在這些圖中，同樣的附圖標(biāo)記表示同樣的要素。
具體實(shí)施方式
本領(lǐng)域的技術(shù)人員知道，本發(fā)明的多個(gè)方面可以體現(xiàn)為系統(tǒng)、方法或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明的多個(gè)方面可以采取以下形式完全的硬件實(shí)施例、完全的軟件實(shí)施例(包括固件、駐留軟件、微代碼等)、或者組合本文一般統(tǒng)稱為“電路”、“模塊”或“系統(tǒng)”的軟件和硬件方面的實(shí)施例。此外，本發(fā)明的方面可以采取體現(xiàn)在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)可讀介質(zhì)中包含計(jì)算機(jī)可讀程序代碼。可以使用一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)的任何組合。計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算機(jī)可讀信號(hào)介質(zhì)或者計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以是一但不限于——電的、磁的、光的、電磁的、紅外線的、或半導(dǎo)體的系統(tǒng)、裝置或器件、或任何以上的合適組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的示例(非窮舉的列表)將包括以下有一個(gè)或多個(gè)導(dǎo)線的電連接、便攜式計(jì)算機(jī)磁盤、硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦除可編程只讀存儲(chǔ)器(EPR0M或閃存)、光纖、便攜式光盤只讀存儲(chǔ)器(CD-ROM)、光存儲(chǔ)器件、磁存儲(chǔ)器件、或者上述的任何合適的組合。在本文件的語(yǔ)境中，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是任何可包含或存儲(chǔ)程序的有形的介質(zhì)，該程序被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。 計(jì)算機(jī)可讀信號(hào)介質(zhì)可包括例如在基帶中或者作為載波的一部分傳播的、其中體現(xiàn)計(jì)算機(jī)可讀程序代碼的數(shù)據(jù)信號(hào)。這種傳播的信號(hào)可以采取多種形式，包括——但不限于——電磁的、光的或其任何合適組合。計(jì)算機(jī)可讀信號(hào)介質(zhì)可以是并非為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、但是可以傳送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序的任何計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳送，包括一但不限于——無(wú)線、電線、光纜、RF等等、或者任何上述合適的組合。用于執(zhí)行本發(fā)明的方面的操作的計(jì)算機(jī)程序碼可以以一種或多種程序設(shè)計(jì)語(yǔ)言的任何組合來(lái)編寫，所述程序設(shè)計(jì)語(yǔ)言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語(yǔ)言(諸如Java、SmalltalKC++之類)、以及常規(guī)的過(guò)程式程序設(shè)計(jì)語(yǔ)言(諸如“C”程序設(shè)計(jì)語(yǔ)言或類似的程序設(shè)計(jì)語(yǔ)言)。程序代碼可以完全地在用戶的計(jì)算上執(zhí)行、部分地在用戶的計(jì)算機(jī)上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶的計(jì)算機(jī)上且部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在后一種情形中，遠(yuǎn)程計(jì)算機(jī)可以通過(guò)任何種類的網(wǎng)絡(luò)(包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN))連接到用戶的計(jì)算機(jī)，或者，可以(例如，利用因特網(wǎng)服務(wù)提供商來(lái)通過(guò)因特網(wǎng))連接到外部計(jì)算機(jī)。以下參照根據(jù)本發(fā)明實(shí)施例的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖來(lái)描述本發(fā)明的方面。要明白的是，流程圖和/或框圖的每個(gè)方框、以及流程圖和/或框圖中方框的組合可以由計(jì)算機(jī)程序指令實(shí)施。這些計(jì)算機(jī)程序指令可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器，從而生產(chǎn)出一種機(jī)器，使得通過(guò)計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置執(zhí)行的這些指令產(chǎn)生實(shí)施流程圖和/或框圖的方框中規(guī)定的功能/動(dòng)作的部件。也可以把這些計(jì)算機(jī)程序指令存儲(chǔ)在可以指示計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置或其它器件以特定方式工作的計(jì)算機(jī)可讀介質(zhì)中，這樣，存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的指令產(chǎn)生一個(gè)包括實(shí)施流程圖和/或框圖的方框中規(guī)定的功能/動(dòng)作的指令的制品。也可以把計(jì)算機(jī)程序指令加載到計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其它器件上，使得在計(jì)算機(jī)、其它可編程裝置或其它器件上執(zhí)行一系列操作步驟，以產(chǎn)生計(jì)算機(jī)實(shí)施的過(guò)程，從而在計(jì)算機(jī)或其它可編程裝置上執(zhí)行的指令提供實(shí)施流程圖和/或框圖的方框中規(guī)定的功能/動(dòng)作的過(guò)程?，F(xiàn)在參照?qǐng)D1，例示了根據(jù)與多屬性查詢的相關(guān)性而對(duì)多屬性查詢結(jié)果進(jìn)行排序的方法、系統(tǒng)或處理。以各種不同的屬性(例如，金發(fā)、長(zhǎng)發(fā)、眼鏡、棒球帽、耳環(huán)、絡(luò)腮胡子等)注釋的人的圖像的訓(xùn)練數(shù)據(jù)集102被用于在104中訓(xùn)練或?qū)W習(xí)圖像檢測(cè)器，并由此產(chǎn)生用于各個(gè)經(jīng)注釋的屬性的單獨(dú)檢測(cè)器的集合106。在108中，例如，經(jīng)由處理器、編程器件等，從圖像的訓(xùn)練數(shù)據(jù)集學(xué)習(xí)來(lái)自屬性集合的每對(duì)屬性之間的多個(gè)成對(duì)關(guān)系。在114中，經(jīng)由經(jīng)訓(xùn)練的屬性檢測(cè)器在輸入圖像數(shù)據(jù)集112中搜索包括至少一個(gè)或滿足該多屬性查詢110的屬性的圖像。輸入圖像數(shù)據(jù)集112的示例包括存儲(chǔ)在存儲(chǔ)部件中的存檔視頻數(shù)據(jù)、通過(guò)計(jì)算機(jī)視覺(jué)處理實(shí)時(shí)處理的現(xiàn)場(chǎng)視頻圖像、靜止照片或圖像檔案或?qū)崟r(shí)饋送，并且還可以實(shí)踐其它圖像數(shù)據(jù)集112。在116中，從圖像數(shù)據(jù)集112的搜索檢 索多個(gè)圖像，每個(gè)所述圖像包括至少一個(gè)查詢屬性，同時(shí)還考慮(因此，響應(yīng)于)來(lái)自經(jīng)訓(xùn)練的屬性檢測(cè)器的對(duì)應(yīng)于不是查詢的一部分但依據(jù)所學(xué)習(xí)的多個(gè)成對(duì)關(guān)系而與查詢屬性相關(guān)的屬性的信息。因此，在118中，依據(jù)所檢索到的結(jié)果的屬性中也是查詢屬性的總數(shù)而對(duì)所檢索到的結(jié)果進(jìn)行排序。例如，排序功能將包含查詢中的最多數(shù)目的屬性的圖像排序在頂部(top)，接下來(lái)是具有次多數(shù)目的匹配屬性的圖像，并依次類推。更具體地，單獨(dú)圖像檢測(cè)器106響應(yīng)于存在于訓(xùn)練數(shù)據(jù)集102中的多屬性樣本的特征矢量輸出被用于通過(guò)在108中學(xué)習(xí)所有屬性對(duì)的成對(duì)關(guān)系而學(xué)習(xí)多屬性檢索和排序模型。因此，本發(fā)明的實(shí)施例提供多屬性檢索和排序模型，其從搜索圖像數(shù)據(jù)檢索多個(gè)結(jié)果圖像，(i)每個(gè)結(jié)果圖像包括至少一個(gè)查詢110的屬性，并且(ii)其中所學(xué)習(xí)的成對(duì)關(guān)系指示所返回的圖像的其它屬性還與查詢屬性和/或所考慮的屬性的完整集合內(nèi)不是查詢的一部分但與查詢屬性相關(guān)的其余屬性共存。該模型還依據(jù)所返回的結(jié)果的屬性也是查詢屬性的總數(shù)而對(duì)所返回的結(jié)果進(jìn)行排序或排列優(yōu)先順序(prioritize)，其中具有較多數(shù)目的查詢屬性的圖像排在具有較低數(shù)目的圖像之前。因此，該模型依據(jù)相關(guān)屬性的總數(shù)以及查詢屬性與其余屬性的成對(duì)關(guān)系，檢索和排序所搜尋的滿足查詢110的目標(biāo)圖像。在一些實(shí)施例中，可以對(duì)屬性加權(quán)，因此排序依據(jù)加權(quán)的屬性的總值。例如，如果兩個(gè)結(jié)果具有相同數(shù)目的匹配屬性、但具有不同的權(quán)重，則具有更重加權(quán)的屬性的結(jié)果將被排在前面。可以提取各種各樣的特征用于表示每個(gè)訓(xùn)練數(shù)據(jù)集102或圖像數(shù)據(jù)集112的圖像。基于顏色的特征包括顏色直方圖、顏色相關(guān)圖、顏色小波和色矩。可以使用小波紋理和局部二值模式(LBP )直方圖來(lái)對(duì)紋理進(jìn)行編碼，同時(shí)使用邊緣直方圖、形狀矩以及基于尺度不變特征變換(SIFT)的視覺(jué)字等表示形狀信息。現(xiàn)在參考圖2A至圖2E，在一個(gè)實(shí)施例中，關(guān)于5個(gè)不同的構(gòu)造而從每個(gè)面部圖像203的圖像場(chǎng)201中提取特征矢量并將它們串接；圖2A的布局構(gòu)造從3乘3陣列網(wǎng)格202的每個(gè)中提取特征；圖2B的中心構(gòu)造僅從中心網(wǎng)格203提取特征(因此，其關(guān)注于下面的(underlying)面部圖像203的面部特征205);圖2C的全局構(gòu)造從整個(gè)圖像場(chǎng)201提取特征而與網(wǎng)格202無(wú)關(guān)；圖2D的垂直構(gòu)造從由網(wǎng)格202形成的三個(gè)垂直列204提取特征；以及圖2E的水平構(gòu)造從由網(wǎng)格202形成的三個(gè)水平行206提取特征。這使得能夠局部化單獨(dú)屬性檢測(cè)器例如，在一個(gè)實(shí)施例中，用于“帽子”或“禿頭”屬性的屬性檢測(cè)器可以對(duì)從圖2E的水平構(gòu)造中的網(wǎng)格202的最上面的行206t、以及在圖2A的布局構(gòu)造中的最上面的三個(gè)網(wǎng)格202tl、202t2和202t3中提取的特征給予
更高的權(quán)重。可以通過(guò)最小化排序損失來(lái)完成對(duì)多屬性檢索和排序模型的訓(xùn)練。在一些實(shí)施例中，在104中的訓(xùn)練包括提取圖像特征和采用Adaboost——自適應(yīng)提升機(jī)學(xué)習(xí)算法，來(lái)為每個(gè)檢測(cè)器屬性學(xué)習(xí)區(qū)別特征。此外，多種提取的屬性可以被用在訓(xùn)練數(shù)據(jù)集102中，以在104中學(xué)習(xí)或訓(xùn)練檢測(cè)器，從而基于語(yǔ)義(semantic)屬性在所學(xué)習(xí)的模型106中排序和檢索圖像。示例包括描述人的物理特點(diǎn)的屬性，包括面部屬性(例如，頭發(fā)顏色，絡(luò)腮胡子或髭的存在、眼鏡或太陽(yáng)鏡的存在，等等)、身體屬性(例如，襯衣和褲子的顏色、條紋襯衣、長(zhǎng)/短袖等)、人口統(tǒng)計(jì)學(xué)屬性(例如，年齡、種族、性別)、以及甚至非視覺(jué)屬性(例如，聲音類型、溫度和氣味)，其可以潛在地從其它傳感器獲得。此外，雖然搜索人的圖像可能僅包括單個(gè)對(duì) 象類(人臉)，但實(shí)施例可被用于對(duì)包含多個(gè)對(duì)象類(例如，衣服、關(guān)聯(lián)的有形物品，諸如背包或自行車等)的圖像的基于屬性的檢索。對(duì)于本領(lǐng)域技術(shù)人員而言，其它類和屬性將也是顯而易見(jiàn)的。現(xiàn)有技術(shù)方法通常為每個(gè)屬性學(xué)習(xí)獨(dú)立的外觀模型，并且，當(dāng)給定多屬性查詢時(shí)，簡(jiǎn)單地將每個(gè)單獨(dú)屬性的置信度得分相加以返回結(jié)果。然而，這樣的方法僅考慮作為查詢的一部分的屬性，用于檢索相關(guān)圖像，并且一般不能考慮這些屬性之間的共存關(guān)系、以及查詢之外的其它不同屬性之間的共存關(guān)系。相反，本發(fā)明的實(shí)施例還考慮與所考慮的屬性的完整集合內(nèi)的不是查詢的一部分但對(duì)排序結(jié)果有用的其余屬性的成對(duì)關(guān)系。例如，亞洲人很不可能具有金發(fā)，但很可能具有黑發(fā)，并且女人極不可能具有絡(luò)腮胡子或髭；在現(xiàn)有技術(shù)方法中僅將獨(dú)立檢測(cè)器的置信度相加將不反映這些共存關(guān)系，因此將不能考慮不是查詢的一部分的屬性。本發(fā)明的實(shí)施例提供多屬性圖像檢索和排序的框架，其不僅基于作為查詢110的一部分的詞，而且還考慮詞匯中可能潛在提供關(guān)于查詢的信息的其余屬性，來(lái)檢索圖像。例如，圖3示出了針對(duì)“戴太陽(yáng)鏡的年輕亞洲女人”的查詢110的一個(gè)應(yīng)用。關(guān)于與作為查詢的一部分的屬性302的相關(guān)性而檢索和排序圖像，并且還考慮不是查詢的一部分的屬性304，通過(guò)成對(duì)屬性關(guān)系推斷如果圖像還具有髭306、絡(luò)腮胡子308、禿頭310或者金發(fā)/淺紅頭發(fā)312的屬性，則它們不太可能相關(guān)(因此，排序?yàn)檩^低或者在某些情況下被剔除)，但是，如果圖像具有黑發(fā)屬性314，則它們更可能相關(guān)(因此，排序更高)，從而產(chǎn)生經(jīng)排列優(yōu)先順序和排序的圖像結(jié)果320。成對(duì)關(guān)系的共同出現(xiàn)可能在排序效果上變化。例如，對(duì)于包含屬性“年輕”的查詢，可以丟棄包含具有灰頭發(fā)的人的照片，因?yàn)榛翌^發(fā)通常僅發(fā)生在年長(zhǎng)的人中，并且具有灰頭發(fā)的人不太可能是“年輕”的；因此，這種圖像結(jié)果可能被從依據(jù)所述特定成對(duì)共存而在116 (圖I)中檢索以及/或者在118 (圖I)中排序的結(jié)果中濾除或者去除。類似地，當(dāng)查詢的構(gòu)成屬性之一是“女人”時(shí)，包含禿頭的人或者具有絡(luò)腮胡子和髭(它們是男人的特定屬性)的人的圖像可以在檢索116和/或在118中的排序期間被丟棄或者很大程度上不考慮(并因此被排序得更低)。雖然用于屬性“女人”的單獨(dú)檢測(cè)器可以隱性地學(xué)習(xí)這樣的特征，但實(shí)驗(yàn)已經(jīng)發(fā)現(xiàn)當(dāng)基于包含精細(xì)粒度部分和屬性的查詢搜索圖像時(shí)，顯性地建模屬性之間的關(guān)系和聯(lián)系可以產(chǎn)生好得多的結(jié)果。
基于單個(gè)屬性的排序有時(shí)可能似乎不必要例如，對(duì)于單個(gè)屬性“絡(luò)腮胡子”的查詢，可以簡(jiǎn)單地將圖像分類為具有絡(luò)腮胡子的人和不具有絡(luò)腮胡子的人。然而，根據(jù)應(yīng)用，多屬性查詢可能對(duì)檢索和排序具有多個(gè)層級(jí)(level)的相關(guān)性。例如，關(guān)于“穿紅襯衣并戴太陽(yáng)鏡的男人”的查詢，因?yàn)榭梢匀菀椎卣?yáng)鏡，所以可以合理地假設(shè)包含穿紅襯衣但不戴太陽(yáng)鏡的男人的圖像也與查詢相關(guān)，因此本發(fā)明的實(shí)施例可以不去除這樣的圖像，而僅將它們排序?yàn)楦停驗(yàn)椴蝗缂却┘t襯衣又戴太陽(yáng)鏡的男人的圖像相關(guān)。在另一示例中，對(duì)于各自具有查詢屬性中的兩個(gè)的兩個(gè)圖像，依據(jù)所學(xué)習(xí)的成對(duì)關(guān)系，具有紅襯衫和太陽(yáng)鏡的女人的圖像可以被排序得比穿紅襯衫但不戴太陽(yáng)鏡的男人的圖像更低，一方面，因?yàn)樘?yáng)鏡可以被容易地摘除，而人的性別卻不容易改變。傳統(tǒng)上，排序被認(rèn)為是信息檢索內(nèi)的獨(dú)特問(wèn)題。然而，本發(fā)明的實(shí)施例在相同結(jié)構(gòu)化的學(xué)習(xí)框架中將排序整合到檢索處理中，其中學(xué)習(xí)排序和檢索是同一模型根據(jù)不同性能度量的簡(jiǎn)單優(yōu)化。支持基于多標(biāo)簽查詢的圖像檢索和排序是重要的，因?yàn)閷?duì)于大小為L(zhǎng)的詞匯量的可能的多標(biāo)簽查詢的數(shù)目是2L。大多數(shù)現(xiàn)有技術(shù)圖像排序/檢索方法通過(guò)為每個(gè)單獨(dú)的標(biāo) 簽學(xué)習(xí)獨(dú)立的分類器并通過(guò)啟發(fā)式地(heuristically)組合單獨(dú)標(biāo)簽的輸出來(lái)檢索多標(biāo)簽查詢，來(lái)處理此問(wèn)題。相反，本發(fā)明的實(shí)施例引入用于多標(biāo)簽查詢的訓(xùn)練和檢索的原理框架106，其中單個(gè)對(duì)象類別內(nèi)以及甚至跨多個(gè)對(duì)象類別的屬性是互相依賴的，從而對(duì)它們之間的關(guān)系建模在檢索和排序上產(chǎn)生顯著的性能提高。本發(fā)明的某些實(shí)施例使用結(jié)構(gòu)化的支持矢量機(jī)(SVM)來(lái)解決涉及復(fù)雜(complex)輸出的預(yù)測(cè)問(wèn)題。結(jié)構(gòu)化的SVM為結(jié)構(gòu)化的輸出問(wèn)題提供高效的解決方案，同時(shí)也對(duì)經(jīng)常出現(xiàn)在這種問(wèn)題的輸出空間中的互相依賴性進(jìn)行建模。它們可以被有效地用于對(duì)象局部化和對(duì)屬性之間的共存聯(lián)系進(jìn)行建模，在108中施加單個(gè)經(jīng)學(xué)習(xí)的框架用于排序和檢索，同時(shí)還對(duì)屬性之間的關(guān)系進(jìn)行建模。本發(fā)明的實(shí)施例基于反向?qū)W習(xí)的概念提供圖像檢索和排序。因此，給定標(biāo)簽集合{X}和訓(xùn)練圖像的集合{Y}，學(xué)習(xí)對(duì)應(yīng)于標(biāo)簽集合內(nèi)的每個(gè)標(biāo)簽IxJ的映射，以預(yù)測(cè)包含所述標(biāo)簽的圖像{/}的集合。因?yàn)榉聪驅(qū)W習(xí)具有結(jié)構(gòu)化的輸出(圖像的集合)，所以其很好地適合結(jié)構(gòu)化的預(yù)測(cè)框架，并且允許基于對(duì)應(yīng)于多種性能度量的損失函數(shù)的最小化而學(xué)習(xí)示例包括漢明損失(hamming loss)、查準(zhǔn)率(precision)和查全率(recall),也可以在本發(fā)明的實(shí)施例中實(shí)踐其它性能度量。本方法以三個(gè)不同方式改進(jìn)了反向?qū)W習(xí)方法。首先，提供單個(gè)框架用于檢索和排序兩者。這通過(guò)采用輸出是由相關(guān)性排次(order)的圖像集合的排序方法來(lái)實(shí)現(xiàn)，從而使得能夠在同一框架內(nèi)整合排序和反向?qū)W習(xí)。第二，基于由多標(biāo)簽構(gòu)成的查詢，促進(jìn)訓(xùn)練以及檢索和排序。最后，針對(duì)檢索和排序，建模、學(xué)習(xí)和充分利用不同標(biāo)簽(屬性)之間的成對(duì)關(guān)系。檢索.給定多屬性查詢中的標(biāo)簽的集合{Q}，其是所有可能屬性標(biāo)簽的集合{X}的子集，本發(fā)明的實(shí)施例從圖像的輸入源(例如，源視頻、數(shù)據(jù)庫(kù)等)檢索圖像作為與多屬性查詢標(biāo)簽集合{Q}相關(guān)的訓(xùn)練圖像的集合{Y}。在反向?qū)W習(xí)公式化下，針對(duì)輸入，可以根據(jù)等式(1)，通過(guò)最大化權(quán)重矢量{w}上的得分的預(yù)測(cè)函數(shù)，來(lái)為包含所有構(gòu)成屬性{Q}的圖像{y*}的集合確定輸出
靠 · f\V = arg max u' ir\Q,y) (I)
ircyx ,
其中權(quán)重矢量{w}由兩個(gè)分量構(gòu)成{wa}，用于建模單獨(dú)屬性的外觀；以及{wp}，用于建模它們之間的依賴性。等式(I)的分量可以如下定義
權(quán)利要求
1.一種用于根據(jù)與多屬性查詢的屬性的相關(guān)性而檢索和排序多屬性查詢結(jié)果的方法，所述方法包括 為在人的圖像的訓(xùn)練數(shù)據(jù)集中注釋的多個(gè)不同屬性中的每個(gè)，訓(xùn)練多個(gè)圖像屬性檢測(cè)器中的每個(gè)； 通過(guò)處理器學(xué)習(xí)來(lái)自圖像的所述訓(xùn)練數(shù)據(jù)集的多個(gè)注釋的屬性中的每對(duì)之間的多個(gè)成對(duì)關(guān)系； 通過(guò)經(jīng)訓(xùn)練的屬性檢測(cè)器在輸入圖像數(shù)據(jù)集中搜索包括多個(gè)所注釋的屬性的多屬性查詢子集中的至少一個(gè)屬性的圖像； 從對(duì)所述輸入圖像數(shù)據(jù)集的搜索檢索多個(gè)圖像，所述多個(gè)圖像各自包括所述查詢子集的多個(gè)屬性中的至少一個(gè)屬性并且響應(yīng)于來(lái)自所述經(jīng)訓(xùn)練的屬性檢測(cè)器的對(duì)應(yīng)于不是所述查詢的一部分但依據(jù)所學(xué)習(xí)的多個(gè)成對(duì)關(guān)系而與所述查詢的屬性相關(guān)的屬性的信息；以及 依據(jù)所檢索到的多個(gè)圖像的屬性也在所述查詢子集的多個(gè)屬性中的相應(yīng)總數(shù)，對(duì)所檢索到的多個(gè)圖像進(jìn)行排序。
2.如權(quán)利要求I所述的方法，其中對(duì)所注釋的屬性中的第一屬性比所注釋的屬性中的第二屬性給予更重的加權(quán)；并且 其中依據(jù)所檢索到的多個(gè)圖像的屬性也在所述查詢子集的多個(gè)屬性中的相應(yīng)總數(shù)而對(duì)所檢索到的多個(gè)圖像進(jìn)行排序還包括將結(jié)果中的具有更重加權(quán)的第一屬性的一個(gè)結(jié)果排序得比所述結(jié)果中的具有所述第二屬性的另一個(gè)結(jié)果更高，并且所述一個(gè)結(jié)果和所述另一個(gè)結(jié)果具有相同總數(shù)的也在所述查詢子集的多個(gè)屬性中的屬性。
3.如權(quán)利要求2所述的方法，其中學(xué)習(xí)所述多屬性查詢的多個(gè)屬性中的每個(gè)與圖像的所述訓(xùn)練數(shù)據(jù)集內(nèi)所注釋的屬性的集合中的其它屬性之間的多個(gè)成對(duì)共存性還包括 反向?qū)W習(xí)所注釋的屬性的標(biāo)簽的集合到圖像的所述訓(xùn)練數(shù)據(jù)集中的圖像的映射，以預(yù)測(cè)各自包含所注釋的屬性標(biāo)簽之一的所述訓(xùn)練數(shù)據(jù)集的圖像的相應(yīng)集合。
4.如權(quán)利要求3所述的方法，其中從對(duì)所述輸入圖像數(shù)據(jù)集的搜索檢索多個(gè)圖像，所述多個(gè)圖像各自包括所述查詢子集的多個(gè)屬性中的至少一個(gè)屬性，并且同時(shí)還考慮來(lái)自所述經(jīng)訓(xùn)練的屬性檢測(cè)器的對(duì)應(yīng)于不是所述查詢的一部分但依據(jù)所學(xué)習(xí)的多個(gè)成對(duì)關(guān)系而與所述查詢的屬性相關(guān)的屬性的信息，還包括 通過(guò)最大化由所訓(xùn)練的圖像屬性檢測(cè)器中的每個(gè)提取的加權(quán)的特征矢量來(lái)預(yù)測(cè)所檢索的多個(gè)圖像，其中所述加權(quán)的特征矢量作為建模所訓(xùn)練的圖像屬性檢測(cè)器中的每個(gè)的屬性的外觀的分量、以及建模所訓(xùn)練的圖像屬性檢測(cè)器中的每個(gè)的屬性與圖像的所述訓(xùn)練數(shù)據(jù)集中所注釋的屬性中的另一屬性之間的依賴性的分量的函數(shù)。
5.如權(quán)利要求4所述的方法，其中所述學(xué)習(xí)所述成對(duì)關(guān)系是最大邊際訓(xùn)練。
6.如權(quán)利要求5所述的方法，其中通過(guò)最大化由所訓(xùn)練的圖像屬性檢測(cè)器中的每個(gè)提取的加權(quán)的特征矢量來(lái)預(yù)測(cè)所檢索的圖像的集合還包括 使用復(fù)雜損失函數(shù)，以將加權(quán)的特征矢量輸出中與基于優(yōu)化的性能量度而度量的正確輸出偏離較多的一個(gè)輸出、比所述加權(quán)的特征矢量輸出中與基于所述優(yōu)化的性能量度而度量的正確輸出偏離較少的另一個(gè)輸出折損得更重。
7.如權(quán)利要求6所述的方法，其中所述最大邊際訓(xùn)練還包括產(chǎn)生多個(gè)限制；以及 向所述優(yōu)化的性能量度迭代地添加所述產(chǎn)生多個(gè)限制的被違反最多的限制。
8.一種用于根據(jù)與多屬性查詢的屬性的相關(guān)性而檢索和排序多屬性查詢結(jié)果的系統(tǒng)，包括 配置用于為在人的圖像的訓(xùn)練數(shù)據(jù)集中注釋的多個(gè)不同屬性中的每個(gè)訓(xùn)練多個(gè)圖像屬性檢測(cè)器中的每個(gè)的部件； 配置用于學(xué)習(xí)來(lái)自圖像的所述訓(xùn)練數(shù)據(jù)集的多個(gè)注釋的屬性中的每對(duì)之間的多個(gè)成對(duì)關(guān)系的部件； 配置用于通過(guò)經(jīng)訓(xùn)練的屬性檢測(cè)器在輸入圖像數(shù)據(jù)集中捜索包括多個(gè)所注釋的屬性的多屬性查詢子集中的至少ー個(gè)屬性的圖像的部件； 配置用于從對(duì)所述輸入圖像數(shù)據(jù)集的搜索檢索多個(gè)圖像的部件，所述多個(gè)圖像各自包括所述查詢子集的多個(gè)屬性中的至少ー個(gè)屬性并且響應(yīng)于來(lái)自所述經(jīng)訓(xùn)練的屬性檢測(cè)器的對(duì)應(yīng)于不是所述查詢的一部分但依據(jù)所學(xué)習(xí)的多個(gè)成對(duì)關(guān)系而與所述查詢的屬性相關(guān)的屬性的信息；以及 配置用于依據(jù)所檢索到的多個(gè)圖像的屬性也在所述查詢子集的多個(gè)屬性中的相應(yīng)總數(shù)而對(duì)所檢索到的多個(gè)圖像進(jìn)行排序的部件。
9.如權(quán)利要求8所述的系統(tǒng)，其中對(duì)所注釋的屬性中的第一屬性比所注釋的屬性中的第二屬性給予更重的加權(quán)；并且 其中配置用于排序的部件還被配置用于通過(guò)將結(jié)果中的具有更重加權(quán)的第一屬性的一個(gè)結(jié)果排序得比所述結(jié)果中的具有所述第二屬性的另ー個(gè)結(jié)果更高而依據(jù)所檢索到的多個(gè)圖像的屬性也在所述查詢子集的多個(gè)屬性中的相應(yīng)總數(shù)來(lái)對(duì)所檢索到的多個(gè)圖像進(jìn)行排序，并且所述ー個(gè)結(jié)果和所述另ー個(gè)結(jié)果具有相同總數(shù)的也在所述查詢子集的多個(gè)屬性中的屬性。
10.如權(quán)利要求9所述的系統(tǒng)，其中配置用于學(xué)習(xí)的部件還被配置用于通過(guò)反向?qū)W習(xí)所注釋的屬性的標(biāo)簽集合到圖像的所述訓(xùn)練數(shù)據(jù)集中的圖像的映射以預(yù)測(cè)各自包含所注釋的屬性標(biāo)簽之一的所述訓(xùn)練數(shù)據(jù)集的圖像的相應(yīng)集合，而學(xué)習(xí)所述多屬性查詢的多個(gè)屬性中的每個(gè)與圖像的所述訓(xùn)練數(shù)據(jù)集內(nèi)所注釋的屬性的集合中的其它屬性之間的多個(gè)成對(duì)共存性。
11.如權(quán)利要求10所述的系統(tǒng)，其中配置用于檢索的部件還被配置用于 通過(guò)最大化由所訓(xùn)練的圖像屬性檢測(cè)器中的每個(gè)提取的加權(quán)的特征矢量來(lái)預(yù)測(cè)所檢索的多個(gè)圖像，其中所述加權(quán)的特征矢量作為建模所訓(xùn)練的圖像屬性檢測(cè)器中的每個(gè)的屬性的外觀的分量、以及建模所訓(xùn)練的圖像屬性檢測(cè)器中的每個(gè)的屬性與圖像的所述訓(xùn)練數(shù)據(jù)集中所注釋的屬性中的另ー屬性之間的依賴性的分量的函數(shù)， 來(lái)從對(duì)所述輸入圖像數(shù)據(jù)集的搜索檢索多個(gè)圖像，所述多個(gè)圖像各自包括所述查詢子集的多個(gè)屬性中的至少ー個(gè)屬性，并且同時(shí)考慮來(lái)自所述經(jīng)訓(xùn)練的屬性檢測(cè)器的對(duì)應(yīng)于不是所述查詢的一部分但依據(jù)所學(xué)習(xí)的多個(gè)成對(duì)關(guān)系而與所述查詢的屬性相關(guān)的屬性的信知、O
12.如權(quán)利要求11所述的系統(tǒng)，其中配置用于檢索的部件還被配置用于通過(guò)使用復(fù)雜損失函數(shù)以將所加權(quán)的特征矢量輸出中與基于優(yōu)化的性能量度而度量的正確輸出偏離較多的ー個(gè)輸出、比所加權(quán)的特征矢量輸出中與基于所述優(yōu)化的性能量度而度量的正確輸出偏離較少的另ー個(gè)輸出折損得更重，來(lái)通過(guò)最大化由所訓(xùn)練的圖像屬性檢測(cè)器中的每個(gè)提取的加權(quán)的特征矢量而預(yù)測(cè)所檢索的圖像的集合；并且 其中配置用于學(xué)習(xí)的部件還被配置用于通過(guò)最大邊際訓(xùn)練來(lái)學(xué)習(xí)所述成對(duì)關(guān)系，所述最大邊際訓(xùn)練包括 產(chǎn)生多個(gè)限制；以及 向所述優(yōu)化的性能量度迭代地添加所述產(chǎn)生多個(gè)限制的被違反最多的限制。
13.ー種提供用于根據(jù)與多屬性查詢的屬性的相關(guān)性而檢索和排序多屬性查詢結(jié)果的服務(wù)的方法，所述方法包括提供 圖像屬性檢測(cè)器訓(xùn)練器和屬性映射器裝置，其為在人的圖像的訓(xùn)練數(shù)據(jù)集中注釋的多個(gè)不同屬性中的每個(gè)訓(xùn)練多個(gè)圖像屬性檢測(cè)器中的每個(gè)，并且學(xué)習(xí)來(lái)自圖像的所述訓(xùn)練數(shù)據(jù)集的多個(gè)注釋的屬性中的每對(duì)之間的多個(gè)成對(duì)關(guān)系；以及 多屬性檢索和排序模型裝置，其與所述圖像屬性檢測(cè)器訓(xùn)練器和屬性映射器裝置通信，所述多屬性檢索和排序模型裝置通過(guò)經(jīng)訓(xùn)練的屬性檢測(cè)器在輸入圖像數(shù)據(jù)集中捜索包括多個(gè)所注釋的屬性的多屬性查詢子集中的至少ー個(gè)屬性的圖像；從對(duì)所述輸入圖像數(shù)據(jù)集的搜索檢索多個(gè)圖像，所述多個(gè)圖像各自包括所述查詢子集的多個(gè)屬性中的至少ー個(gè)屬性并且響應(yīng)于來(lái)自所述經(jīng)訓(xùn)練的屬性檢測(cè)器的對(duì)應(yīng)于不是所述查詢的一部分但依據(jù)所學(xué)習(xí)的多個(gè)成對(duì)關(guān)系而與所述查詢的屬性相關(guān)的屬性的信息；以及依據(jù)所檢索到的多個(gè)圖像的屬性也在所述查詢子集的多個(gè)屬性中的相應(yīng)總數(shù)，對(duì)所檢索到的多個(gè)圖像進(jìn)行排序。
14.如權(quán)利要求13所述的方法，其中對(duì)所注釋的屬性中的第一屬性比所注釋的屬性中的第二屬性給予更重的加權(quán)；并且 其中所述多屬性檢索和排序模型裝置通過(guò)將結(jié)果中的具有更重加權(quán)的第一屬性的一個(gè)結(jié)果排序得比所述結(jié)果中的具有所述第二屬性的另ー個(gè)結(jié)果更高，依據(jù)所檢索到的多個(gè)圖像的屬性也在所述查詢子集的多個(gè)屬性中的相應(yīng)總數(shù)而對(duì)所檢索到的多個(gè)圖像進(jìn)行排序，其中所述ー個(gè)結(jié)果和所述另ー個(gè)結(jié)果具有相同總數(shù)的也在所述查詢子集的多個(gè)屬性中的屬性。
15.如權(quán)利要求14所述的方法，其中所述圖像屬性檢測(cè)器訓(xùn)練器和屬性映射器裝置通過(guò)反向?qū)W習(xí)所述注釋的屬性的標(biāo)簽集合到圖像的所述訓(xùn)練數(shù)據(jù)集中的圖像的映射以預(yù)測(cè)各自包含所注釋的屬性標(biāo)簽之一的所述訓(xùn)練數(shù)據(jù)集的圖像的相應(yīng)集合，來(lái)學(xué)習(xí)所述多屬性查詢的多個(gè)屬性中的每個(gè)與圖像的所述訓(xùn)練數(shù)據(jù)集內(nèi)所注釋的屬性的集合中的其它屬性之間的多個(gè)成對(duì)共存性。
16.如權(quán)利要求15所述的方法，其中所述多屬性檢索和排序模型裝置通過(guò)最大化由所訓(xùn)練的圖像屬性檢測(cè)器中的每個(gè)提取的加權(quán)的特征矢量而預(yù)測(cè)所檢索的多個(gè)圖像，其中所述加權(quán)的特征矢量作為建模所訓(xùn)練的圖像屬性檢測(cè)器中的每個(gè)的屬性的外觀的分量、以及建模所訓(xùn)練的圖像屬性檢測(cè)器中的每個(gè)的屬性與圖像的所述訓(xùn)練數(shù)據(jù)集中所注釋的屬性中的另ー屬性之間的依賴性的分量的函數(shù)， 來(lái)從對(duì)所述輸入圖像數(shù)據(jù)集的搜索檢索多個(gè)圖像，所述多個(gè)圖像各自包括所述查詢子集的多個(gè)屬性中的至少ー個(gè)屬性，并同時(shí)考慮來(lái)自所述經(jīng)訓(xùn)練的屬性檢測(cè)器的對(duì)應(yīng)于不是所述查詢的一部分但依據(jù)所學(xué)習(xí)的多個(gè)成對(duì)關(guān)系而與所述查詢的屬性相關(guān)的屬性的信息。
17.如權(quán)利要求16所述的方法，其中所述多屬性檢索和排序模型裝置還通過(guò)使用復(fù)雜損失函數(shù)以將所述加權(quán)的特征矢量輸出中與基于優(yōu)化的性能量度而度量的正確輸出偏離較多的ー個(gè)輸出、比所述加權(quán)的特征矢量輸出中與基于所述優(yōu)化的性能量度而度量的正確輸出偏離較少的另ー個(gè)輸出折損得更重，來(lái)通過(guò)最大化由所訓(xùn)練的圖像屬性檢測(cè)器中的每個(gè)提取的加權(quán)的特征矢量而預(yù)測(cè)所檢索的圖像的集合；并且 其中所述圖像屬性檢測(cè)器訓(xùn)練器和屬性映射器裝置通過(guò)最大邊際訓(xùn)練來(lái)學(xué)習(xí)所述成對(duì)關(guān)系，所述最大邊際訓(xùn)練包括產(chǎn)生多個(gè)限制，以及向所述優(yōu)化的性能量度迭代地添加所述產(chǎn)生多個(gè)限制的被違反最多的限制。··
全文摘要
通過(guò)為在訓(xùn)練數(shù)據(jù)集中注釋的不同屬性訓(xùn)練圖像屬性檢測(cè)器，根據(jù)與多屬性查詢的屬性的相關(guān)性而檢索和排序圖像。學(xué)習(xí)來(lái)自圖像的訓(xùn)練數(shù)據(jù)集的所注釋的屬性對(duì)之間的成對(duì)關(guān)系。接著可以通過(guò)經(jīng)訓(xùn)練的屬性檢測(cè)器在圖像數(shù)據(jù)集中搜索包括多屬性查詢中的屬性的圖像，其中從該搜索檢索圖像，所述圖像各自包括一個(gè)或多個(gè)查詢屬性并且還響應(yīng)于來(lái)自經(jīng)訓(xùn)練的屬性檢測(cè)器的對(duì)應(yīng)于不是查詢的一部分但依據(jù)所學(xué)習(xí)的多個(gè)成對(duì)關(guān)系而與查詢屬性相關(guān)的屬性的信息。依據(jù)在查詢子集的屬性中的屬性的相應(yīng)總數(shù)而對(duì)所檢索到的圖像進(jìn)行排序。
文檔編號(hào)G06F17/30GK102855268SQ20121017952
公開日2013年1月2日 申請(qǐng)日期2012年6月1日 優(yōu)先權(quán)日2011年6月3日
發(fā)明者A.達(dá)塔, R.S.費(fèi)里斯, S.U.潘坎蒂, B.賽迪奎伊 申請(qǐng)人:國(guó)際商業(yè)機(jī)器公司