一種圖像檢索方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理領(lǐng)域，尤其設(shè)及一種圖像檢索方法。
【背景技術(shù)】
[0002] 目前，基于內(nèi)容的圖像檢索方法已經(jīng)得到了越來(lái)越廣泛的應(yīng)用，其中查詢擴(kuò)展方 法是提高其查詢性能的最有效方法之一，而在查詢擴(kuò)展方法中選擇好的擴(kuò)展圖像是重要一 步?，F(xiàn)有擴(kuò)展圖像的選擇方法是在第一次查詢的基礎(chǔ)上，通過(guò)基于特征點(diǎn)的幾何驗(yàn)證技術(shù) 進(jìn)行擴(kuò)展圖像的選擇。運(yùn)種方法進(jìn)行的擴(kuò)展圖像選擇有擴(kuò)展圖像特征單一、易出錯(cuò)等問(wèn)題。 傳統(tǒng)的基于相關(guān)反饋的圖像檢索技術(shù)側(cè)重于利用多次相關(guān)性反饋的結(jié)果構(gòu)建出一個(gè)更好 的檢索模型。它們一般需要多次反饋和比較大量的人工標(biāo)注，運(yùn)會(huì)使用戶在圖像檢索的過(guò) 程中喪失耐屯、，并不能成為一個(gè)好的交互式檢索解決方案。
[0003] 因此，在市場(chǎng)中急需提供一種能夠減少用戶標(biāo)注，并且更加準(zhǔn)確地實(shí)現(xiàn)圖像檢索 的方法。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明旨在提供一種圖像檢索方法，W解決目前進(jìn)行的圖像檢索過(guò)程中出現(xiàn)的擴(kuò) 展圖像特征單一、易出錯(cuò)等影響圖像檢索準(zhǔn)確度問(wèn)題，W及人工標(biāo)注工作量大的問(wèn)題。
[0005] 本發(fā)明的發(fā)明目的是通過(guò)下述技術(shù)方案來(lái)實(shí)現(xiàn)的：
[0006] -種圖形檢索方法，包括如下步驟：
[0007] 步驟S1:對(duì)被查圖像庫(kù)中的被查圖像抽取圖像特征，并對(duì)所述被查圖像及查詢圖 像進(jìn)行特征描述，W形成被查圖像特征描述及查詢圖像特征描述；
[000引步驟S2:利用卷積神經(jīng)網(wǎng)絡(luò)Ale曲et抽取所述被查圖像和查詢圖像的最后一個(gè)全 連接層的圖像特征，并進(jìn)行特征描述，W形成深度學(xué)習(xí)圖像特征描述；
[0009] 步驟S3:將查詢圖像特征描述同被查圖像特征描述進(jìn)行綜合比對(duì)，利用所述查詢 圖像特征描述對(duì)被查圖像進(jìn)行圖像相似度度量，得到按相似度從大到小排序的圖像查詢反 饋列表；
[0010] 步驟S4:取查詢圖像作為正例，步驟S3中的圖像查詢反饋列表的前η/幅圖像W及 后η"幅偽負(fù)例圖像作為無(wú)標(biāo)數(shù)據(jù)組成訓(xùn)練集，并結(jié)合步驟S2得到的深度學(xué)習(xí)圖像特征描述 訓(xùn)練得到一個(gè)樣本選取分類器；
[0011] 步驟S5:利用步驟S4中得到的樣本選取分類器對(duì)步驟S3中的圖像查詢反饋列表的 前η/幅圖像進(jìn)行分類預(yù)測(cè)W形成樣本選取分類庫(kù)，并根據(jù)步驟S2得到的深度學(xué)習(xí)圖像特征 描述從所述樣本選取分類庫(kù)中取g幅最靠近分類面的圖像；
[0012] 步驟S6:取步驟S3中圖像查詢反饋列表中的前m幅圖像，連同步驟S5中得到的g幅 最靠近分類面的圖像組成一個(gè)待標(biāo)注圖像庫(kù)，將所述待標(biāo)注圖像庫(kù)提交給用戶做標(biāo)注，符 合所述查詢圖像特征描述的標(biāo)為正圖像，否則標(biāo)為負(fù)圖像；
[0013] 步驟S7:將步驟S6中所述正圖像的特征與查詢圖像的特征進(jìn)行特征融合，得到融 合圖像特征描述；
[0014] 步驟S8:利用步驟S7中所述融合圖像特征描述重新對(duì)被查圖像庫(kù)中的被查圖像進(jìn) 行相似度度量，得到最終的查詢結(jié)果。
[0015] 進(jìn)一步的，所述步驟S1:對(duì)被查圖像庫(kù)中的被查圖像抽取圖像特征，并對(duì)被查圖像 及查詢圖像進(jìn)行特征描述，W形成被查圖像特征描述及查詢圖像特征描述，具體包括如下 步驟：
[0016] 步驟S1.1:利用化Feat開源工具對(duì)被查圖像庫(kù)中每個(gè)被查圖像提取SIFT特征點(diǎn)， 將SIFT特征點(diǎn)進(jìn)行L2歸一化處理，隨機(jī)采樣部分特征點(diǎn)，并利用K-Means方法訓(xùn)練D個(gè)聚類 中屯、，所有聚類中屯、構(gòu)成D維詞典；
[0017] 步驟S1.2:利用上一步得到的D維詞典，對(duì)被查圖像及查詢圖像進(jìn)行特征描述，分 別得到被查圖像及查詢圖像的D維的特征向量，設(shè)Q為查詢圖像的特征向量，Ii(i = l，2,…， N)為被查圖像的特征向量。
[0018] 進(jìn)一步的，所述步驟S2:利用卷積神經(jīng)網(wǎng)絡(luò)Alex化t抽取被查圖像和查詢圖像的最 后一個(gè)全連接層的圖像特征，并進(jìn)行特征描述，W形成深度學(xué)習(xí)圖像特征描述，具體包括如 下步驟：
[0019] 利用卷積神經(jīng)網(wǎng)絡(luò)Alex化t抽取被查圖像和查詢圖像的最后一個(gè)全連接層4096維 的圖像特征，并進(jìn)行特征描述，W形成深度學(xué)習(xí)圖像特征描述，得到被查圖像深度學(xué)習(xí)特征 向量Φ?(? = 1，2,…，N)，W及查詢圖像深度學(xué)習(xí)特征向量Φο。
[0020] 進(jìn)一步的，所述步驟S3:將查詢圖像特征描述同被查圖像特征描述進(jìn)行綜合比對(duì)， 利用所述查詢圖像特征描述對(duì)被查圖像進(jìn)行圖像相似度度量，得到按相似度從大到小排序 的圖像查詢反饋列表，具體包括如下步驟：
[0021] 將查詢圖像的特征向量Q同被查圖像的特征向量Ιια = 1，2，···，Ν)進(jìn)行綜合比對(duì)， 利用非對(duì)稱距離度量查詢圖像的特征向量Q與被查圖像的特征向量Ιια = 1，2，···，Ν)的相 似度，得到被查圖像按相似度從大到小排序的圖像查詢反饋列表，其中非對(duì)稱距離度量的 計(jì)算方法為：
[002^ disAs(Q，Ii)=WQ| |Q-min(Q，Ii)|| + | |Xj-min(Q，Ii) I
[0023] 其中，WQ為非對(duì)稱權(quán)重。
[0024] 進(jìn)一步的，所述步驟S4中，采用PU-Learning方法訓(xùn)練樣本選取分類器，所述樣本 選取分類器參數(shù)為：
[0028] 巫 U= [ Φ 1，Φ 2，...，Φη']，
[0029] 巫 Ν=[ ΦΝ-η"+1，ΦΝ-η"+2，...，Φν];
[0030] π和JI*為[ο , 1 ]區(qū)間內(nèi)的參數(shù)，λ為正則化參數(shù)。
[0031] 進(jìn)一步的，所述步驟S5中最靠近分類面的圖像選取方法為:對(duì)步驟S3中的圖像查 詢反饋列表前η/幅圖像進(jìn)行分類預(yù)測(cè)，得到包含有分類相關(guān)度數(shù)值5ι = αΤφι的樣本選取分 類庫(kù)，從樣本選取分類庫(kù)中選取分類相關(guān)度數(shù)值最接近ο的圖像。
[0032] 進(jìn)一步的，所述步驟S7:將步驟S6中所述正圖像的特征與查詢圖像的特征進(jìn)行特 征融合，得到融合圖像特征描述，具體包括如下步驟：
[0033] 將步驟S6中所述正圖像對(duì)應(yīng)的特征向量vi(i = l，2···，ζ)與查詢圖像的特征向量Q 進(jìn)行均值特征融合，得到的融合圖像特征向量為：
[0034]
[0035] 本發(fā)明的有益效果:本發(fā)明利用主動(dòng)學(xué)習(xí)方法實(shí)現(xiàn)圖像檢索中的查詢擴(kuò)展方法， 本發(fā)明利用第一次檢索出的相似度最大的前幾幅圖像與樣本選取分類庫(kù)中最不確定(最含 信息量的）的圖像構(gòu)成反饋標(biāo)注圖像的查詢擴(kuò)展圖像的選擇方法，相比于傳統(tǒng)的相關(guān)反饋 方法，能夠在少量用戶標(biāo)注的前提下，實(shí)現(xiàn)更準(zhǔn)確的圖像檢索；同時(shí)首次提出將第一次檢索 出的相似度最小的偽負(fù)例圖像信息加入到PU-Learning學(xué)習(xí)的過(guò)程中，提高了樣本選取分 類器的訓(xùn)練精度。
【附圖說(shuō)明】
[0036] 圖1為本發(fā)明所述的一種圖像檢索方法流程圖。
【具體實(shí)施方式】
[0037] W下參照附圖1，結(jié)合具體的實(shí)施方式對(duì)本發(fā)明作進(jìn)一步的說(shuō)明。
[0038] 本發(fā)明所述的一種圖形檢索方法，包括如下步驟：
[0039] 步驟S1:對(duì)被查圖像庫(kù)中的被查圖像抽取圖像特征，并對(duì)被查圖像及查詢圖像進(jìn) 行特征描述，W形成被查圖像特征描述及查詢圖像特征描述。
[0040] 步驟S2:利用卷積神經(jīng)網(wǎng)絡(luò)Ale曲et抽取所述被查圖像和查詢圖像的最后一個(gè)全 連接層的圖像特征，并進(jìn)行特征描述，W形成深度學(xué)習(xí)圖像特征描述。
[0041] 步驟S3:將查詢圖像特征描述同被查圖像特征描述進(jìn)行綜合比對(duì)，利用所述查詢 圖像特征描述對(duì)被查圖像進(jìn)行圖像相似度度量，得到按相似度從大到小排序的圖像查詢反 饋列表。
[0042] 步驟S4:取查詢圖像作為正例，步驟S3中的圖像查詢反饋列表的前η/幅圖像W及 后η"幅偽負(fù)例圖像作為無(wú)標(biāo)數(shù)據(jù)組成訓(xùn)練集，并結(jié)合步驟S2得到的深度學(xué)習(xí)圖像特征描述 訓(xùn)練得到一個(gè)樣本選取分類器。
[0043] 樣本選取分類器的本質(zhì)是一個(gè)二分類器，它可W用分類的方法來(lái)判斷被查圖像庫(kù) 中的圖像是否與查詢圖像相關(guān)。本發(fā)明在PU-Learning方法的基礎(chǔ)上，額外考慮了將圖像查 詢反饋列表中后η"幅圖像作為偽負(fù)例信息，從本質(zhì)上最小化了無(wú)標(biāo)數(shù)據(jù)錯(cuò)分類的期望，從 而能夠獲取一個(gè)準(zhǔn)確的二分類器。
[0044] 步驟S5:利用步驟S4中得到的樣本選取分類器對(duì)步驟S3中的圖像查詢反饋列表的 前η/幅圖像進(jìn)行分類預(yù)測(cè)W形成樣本選取分類庫(kù)，并根據(jù)步驟S2得到的深度學(xué)習(xí)圖像特征 描述從所述樣本選取分類庫(kù)中取g幅最靠近分類面的圖像。
[0045] 步驟S6:取步驟S3中圖像查詢反饋列表中的前m幅圖像，連同步驟S5中得到的g幅 最靠近分類面的圖像組成一個(gè)待標(biāo)注圖像庫(kù)，將所述待標(biāo)注圖像庫(kù)提交給用戶做標(biāo)注，符 合所述查詢圖像特征描述的標(biāo)為正圖像，否則標(biāo)為負(fù)圖像。
[0046] 本發(fā)明利用第一次檢索出的相似度最大的前幾幅圖像與樣本選取分類庫(kù)中最不 確定(最含信息量的）的圖像構(gòu)成反饋標(biāo)注圖像的查詢擴(kuò)展圖像的選擇方法，相比于傳統(tǒng)的 相關(guān)反饋方法能夠更加提高圖像檢索的精確度。
[0047] 步驟S7:將步驟S6中所述正圖像的特征與查詢圖像的特征進(jìn)行特征融合，得到融 合圖像特征描述。
[0048] 步驟S8:利用步驟S7中所述融合圖像特征描述重新對(duì)被查圖像庫(kù)中的被查圖像進(jìn) 行相似度度量，得到最終的查詢結(jié)果。
[0049] 本發(fā)明在解決圖像查詢擴(kuò)展中，選擇更適合讓用戶標(biāo)注的擴(kuò)展圖像，實(shí)現(xiàn)了在有 限的人機(jī)交互前提下，達(dá)到了更好的擴(kuò)展圖像選擇的目的。
[0050] 實(shí)施例
[0