本發(fā)明涉及基于內(nèi)容的圖像檢索
技術(shù)領(lǐng)域：
，特別涉及一種基于深度學(xué)習(xí)的多屬性深度哈希編碼圖像檢索方法，具體是指一種基于深度學(xué)習(xí)實(shí)現(xiàn)交通圖像檢索的方法。
背景技術(shù)：
：隨著平安城市、智能交通等工程的推進(jìn)，監(jiān)控?cái)z像為大多數(shù)案件留下了影像資料，給警方破案帶來(lái)了很大的便利。但查找視頻、分析視頻的工作常常會(huì)耗用大量的時(shí)間和人力。在海量視頻中更方便查找到相關(guān)信息的需求越來(lái)越強(qiáng)烈，視頻檢索技術(shù)也越來(lái)越重要。交通監(jiān)控視頻的數(shù)據(jù)量非常之大，在這種海量數(shù)據(jù)中尋找特定目標(biāo)是不易的，因此這種交通應(yīng)用場(chǎng)景下的圖像檢索應(yīng)運(yùn)而生。為了適應(yīng)海量圖像庫(kù)的檢索需求并降低“維數(shù)災(zāi)難”的影響，常采用的方法為圖像哈希的方法。該方法將圖像特征映射成二進(jìn)制哈希碼，再用哈希碼間的漢明距離表示圖像間的相似程度。利用圖像哈希方法能夠快速計(jì)算哈希碼間的漢明距離并大大降低了數(shù)據(jù)的存儲(chǔ)量，但其缺點(diǎn)在于：依賴于圖像特征的提取，一張圖像的復(fù)雜程度往往不能用幾個(gè)特征來(lái)表達(dá)，此時(shí)編碼函數(shù)不能很好的貼近原圖像信息則檢索的精確度會(huì)下降。為解決上述問(wèn)題，研究人員提出了采用多標(biāo)簽圖像中包含的多級(jí)語(yǔ)義進(jìn)行深度哈希學(xué)習(xí)。深度哈希學(xué)習(xí)可以處理圖像中多級(jí)語(yǔ)義相似度而不僅是描述圖像表觀特征。這種方法雖然處理了圖像包含的高級(jí)語(yǔ)義信息，但是沒(méi)有利用上圖中物體的屬性特征信息，這種單一的深度哈希編碼方法還有提升的空間。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，在智能交通應(yīng)用場(chǎng)景下，提出一種基于深度學(xué)習(xí)的交通圖像檢索方法，是一種融合目標(biāo)的多屬性特征與深度哈希編碼進(jìn)行學(xué)習(xí)從而達(dá)到交通監(jiān)控視頻圖像檢索的方法。本方法基于深度卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)加入目標(biāo)屬性分類任務(wù)融合目標(biāo)的多屬性特征與深度哈希編碼進(jìn)行學(xué)習(xí)從而達(dá)到交通監(jiān)控視頻圖像檢索的目的。本方法的特點(diǎn)在于既保留了圖像中豐富的多級(jí)語(yǔ)義信息又利用了各圖像中目標(biāo)特有的屬性信息，通過(guò)共享網(wǎng)絡(luò)結(jié)構(gòu)同時(shí)利用了CNN輸出包含的多種圖像屬性特征的特點(diǎn)，讓深度哈希函數(shù)更加好的表達(dá)圖像信息，使得在交通監(jiān)控中的視頻圖像搜索更為精確有效。本發(fā)明的目的通過(guò)以下的技術(shù)方案實(shí)現(xiàn)：一種基于深度學(xué)習(xí)的交通圖像檢索方法，包括下述步驟：步驟1：將已經(jīng)分離好且具有多屬性標(biāo)簽的運(yùn)動(dòng)目標(biāo)視頻幀數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集兩部分；步驟2：把訓(xùn)練集圖像輸入深度卷積神經(jīng)網(wǎng)絡(luò)中，得到目標(biāo)顏色、類別特征，同時(shí)根據(jù)哈希編碼函數(shù)初始參數(shù)計(jì)算每張圖的哈希編碼；步驟3：對(duì)圖像之間的類標(biāo)進(jìn)行相似度排序；步驟4：計(jì)算目標(biāo)損失函數(shù)，先計(jì)算訓(xùn)練集中圖像哈希編碼之間的漢明距離并進(jìn)行排序，與類標(biāo)的相似度排序比較進(jìn)行檢索分支損失函數(shù)的計(jì)算；該目標(biāo)損失函數(shù)由顏色及類別屬性分類任務(wù)multihinge-loss與哈希函數(shù)學(xué)習(xí)任務(wù)的triplet-loss共同組成，經(jīng)隨機(jī)梯度下降法與后向傳播改變網(wǎng)絡(luò)參數(shù)以得到深度學(xué)習(xí)哈希編碼函數(shù)；步驟5：對(duì)于新的查詢圖像，利用步驟4學(xué)習(xí)到的哈希編碼函數(shù)對(duì)圖像進(jìn)行哈希編碼，計(jì)算查詢圖像與測(cè)試集中圖像的哈希編碼之間的漢明距離，采用該漢明距離表征查詢圖像與測(cè)試集中圖像之間的相似程度；步驟6：根據(jù)查詢圖像與測(cè)試集中圖像的哈希編碼之間的漢明距離得到距離的大小序列進(jìn)行相似度得分排序來(lái)得到檢索圖像列表，根據(jù)被檢索圖像路徑所屬的視頻段得到相應(yīng)視頻的搜索。優(yōu)選地，所述步驟1中，對(duì)交通監(jiān)控視頻數(shù)據(jù)集做運(yùn)動(dòng)物體分割識(shí)別得到分離好的運(yùn)動(dòng)目標(biāo)，并且采用人工標(biāo)注方式標(biāo)注每幀圖像上的目標(biāo)類別與目標(biāo)顏色，目標(biāo)視頻幀數(shù)據(jù)集中的圖片路徑信息包含其所屬的視頻段標(biāo)號(hào)。優(yōu)選地，所述步驟2中，深度卷積神經(jīng)網(wǎng)絡(luò)為alex—net網(wǎng)絡(luò)結(jié)構(gòu)，包含五個(gè)卷積層，兩個(gè)全連接層以及一個(gè)哈希編碼層；哈希編碼函數(shù)表達(dá)為：上式中，k表示函數(shù)計(jì)算的第k個(gè)哈希編碼值，sgn()為符號(hào)函數(shù)，為第k個(gè)哈希編碼值的權(quán)重，xi為第i張圖像；最終第i張圖像的哈希編碼表述為：h(xi)＝[h1(xi),h2(xi),…,hk(xi)]。優(yōu)選地，所述步驟3中，對(duì)圖像之間的類標(biāo)進(jìn)行相似度排序，具體是：對(duì)于訓(xùn)練集中的圖像{X1,X2,X3,…,XN}，每一張圖與其他圖進(jìn)行類標(biāo)的權(quán)重相似度得分排序，N表示訓(xùn)練數(shù)據(jù)集中的圖像數(shù)目；采用以下公式：其中，score(Xi,Xj)代表圖像Xi和Xj進(jìn)行類標(biāo)的帶權(quán)重相似度得分排序；w1與w2分別代表類別類標(biāo)與顏色類標(biāo)的權(quán)重；函數(shù)g[…]輸入兩個(gè)集合，返回兩個(gè)集合相同的個(gè)數(shù)；表示屬于第i張圖像的類別類標(biāo)、顏色類標(biāo)的集合；排序最終得到一個(gè)第i張圖Xi與其他圖比較得到的關(guān)于i的綜合相似度排序列表。優(yōu)選地，所述步驟4中，顏色與類別屬性分類采用SVM分類類器，目標(biāo)損失函數(shù)hinge-loss在SVM分類器的最大化間隔分類中，輸出t＝±1和分類器分?jǐn)?shù)y，預(yù)測(cè)分?jǐn)?shù)值y的損失定義如下：l(y)＝max(0，1-t·y)當(dāng)t和y有相同的符號(hào)時(shí)，即表示y預(yù)測(cè)出正確的分類；|y|≥1此時(shí)的hingelossl(y)＝0但是如果它們的符號(hào)相反，l(y)則會(huì)根據(jù)y線性增加；所屬步驟4中哈希編碼函數(shù)學(xué)習(xí)任務(wù)的目標(biāo)損失函數(shù)是基于圖像類標(biāo)相似度排序三元組的triplet-loss，三元組的三個(gè)元素表示為[h(xi),h(xj),h(xk)]，其中[i,j,k]是由步驟3中通過(guò)類標(biāo)的score計(jì)算得到的排序三元組；通過(guò)學(xué)習(xí)讓表征圖像i與圖像j之間的距離盡可能小，表征圖像i與圖像k之間的距離盡可能大，并讓i、j之間的距離與i、k之間的距離有一個(gè)最小間隔α，目標(biāo)損失函數(shù)表示為：這里距離用漢明距離度量，[·]+表示[·]內(nèi)的值大于零時(shí)取該值為損失，小于零時(shí)損失為零。優(yōu)選地，所述步驟5中，查詢圖像輸入，采用步驟4中得到的深度哈希函數(shù)對(duì)查詢圖像進(jìn)行哈希編碼，數(shù)據(jù)庫(kù)里面的每一幅圖已經(jīng)用哈希編碼方式儲(chǔ)存；漢明距離定義為將其中一個(gè)變?yōu)榱硗庖粋€(gè)所需要作的最小替換次數(shù)，簡(jiǎn)單用矩陣相乘方式得到；漢明距離d(h)公示表達(dá)為：d(h)＝[h(Xi)]*[h(Xj)]h(Xi)，h(Xj)分別表示第i張圖與第j張圖的哈希編碼函數(shù)。本方法與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)和有益效果：1.本方法基于深度卷積神經(jīng)網(wǎng)絡(luò)，使用哈希編碼方法結(jié)合物體類別、顏色等目標(biāo)屬性特征學(xué)習(xí)，得到一個(gè)多屬性監(jiān)督的深度哈希編碼函數(shù)。2.采用多任務(wù)的學(xué)習(xí)方式，加入了圖像的屬性特征學(xué)習(xí)即保留了圖像中豐富的多級(jí)語(yǔ)義信息又利用了各圖像中目標(biāo)特有的屬性信息，改善了傳統(tǒng)基于單一哈希編碼算法在圖像搜索中對(duì)圖像豐富語(yǔ)義信息提取不足讓深度哈希函數(shù)更加好的表達(dá)圖像信息，使得在交通監(jiān)控中的視頻圖像搜索更為精確有效。3.將基于多任務(wù)深度學(xué)習(xí)的圖像搜索技術(shù)應(yīng)用到交通圖像搜索匹配的領(lǐng)域，填補(bǔ)了該技術(shù)在此領(lǐng)域的應(yīng)用。附圖說(shuō)明圖1為本發(fā)明基于深度學(xué)習(xí)實(shí)現(xiàn)交通圖像檢索的方法流程示意圖。圖2為本發(fā)明方法在一般評(píng)價(jià)標(biāo)準(zhǔn)上的性能曲線示意圖。圖3為本發(fā)明檢索效果示意圖。具體實(shí)施方式附圖僅用于示例性說(shuō)明，不能理解為對(duì)本專利的限制；為了更好說(shuō)明本實(shí)施例，附圖某些部件會(huì)有省略、放大或縮小，并不代表實(shí)際產(chǎn)品的尺寸；對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，附圖中某些公知結(jié)構(gòu)及其說(shuō)明可能省略是可以理解的。下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的說(shuō)明。如圖1所示，本發(fā)明公開(kāi)的基于深度學(xué)習(xí)實(shí)現(xiàn)交通圖像檢索的方法，包含以下步驟：步驟1：本發(fā)明實(shí)例采用的交通監(jiān)控視頻數(shù)據(jù)集來(lái)源于廣州大學(xué)城公路監(jiān)控視頻。視頻經(jīng)過(guò)分幀后包含照片12510張圖像。其中包含4610個(gè)目標(biāo)對(duì)象，平均每個(gè)目標(biāo)含有30張圖片。每張圖片已完成運(yùn)動(dòng)物體分割識(shí)別，并且采用了人工標(biāo)注每幀圖像上的目標(biāo)類別與目標(biāo)顏色等預(yù)處理，數(shù)據(jù)集中的圖片路徑設(shè)信息包含其所屬的視頻段標(biāo)號(hào)。從中隨機(jī)選取461個(gè)目標(biāo)當(dāng)作測(cè)試集，其余當(dāng)作訓(xùn)練集與檢索數(shù)據(jù)庫(kù)。步驟2：把訓(xùn)練集圖像輸入深度卷積神經(jīng)網(wǎng)絡(luò)中，得到目標(biāo)顏色、類別特征與根據(jù)哈希編碼函數(shù)初始參數(shù)計(jì)算的每張圖的哈希編碼。如圖1所示網(wǎng)絡(luò)結(jié)構(gòu)圖深度卷積神經(jīng)網(wǎng)絡(luò)包含五個(gè)卷積層，兩個(gè)全連接層以及一個(gè)哈希編碼層。每張圖最后在通過(guò)全連接層以后得到4096維特征向量。該特征向量分兩路輸出，一路輸出到分類器中，另一路輸入到哈希編碼層中進(jìn)行編碼。其中哈希編碼層的哈希函數(shù)表達(dá)為：上式中k表示第k個(gè)哈希函數(shù)，xi為第i中圖像提取得到的特征，為第k個(gè)哈希函數(shù)的權(quán)重。最終第i張圖像的哈希編碼表述為：h(xi)＝[h1(xi),h2(xi)…h(huán)k(xi)]步驟3：根據(jù)圖像之間類標(biāo)權(quán)重相似度進(jìn)行排序。對(duì)于訓(xùn)練數(shù)據(jù)庫(kù)中的圖像{X1,X2,X3,…,XN}，計(jì)算每一張圖與其他圖進(jìn)行兩兩的權(quán)重相似度得分排序，N表示訓(xùn)練數(shù)據(jù)集中的圖像數(shù)目。采用公式：其中w1與w2代表類別類標(biāo)與顏色類標(biāo)的權(quán)重；函數(shù)g(.)輸入兩個(gè)集合，返回兩個(gè)集合相同元素的個(gè)數(shù)；表示屬于第i張圖像的類別類標(biāo)、顏色類標(biāo)的集合，當(dāng)圖像i與圖像j類標(biāo)相似則score(Xi,Xj)得分就越高，此時(shí)就認(rèn)為這兩張圖在語(yǔ)義上是相似的，反之則說(shuō)明兩張圖是不相似的。兩兩輸入計(jì)算得分后得到一個(gè)得分方陣：Score：圖像XX1X2…XNX154…3X243…1……………XN31…5對(duì)這個(gè)得分矩陣的第i行進(jìn)行大小排序，輸出多個(gè)關(guān)于第i張圖的得分排序三元組[i,j,k]。這個(gè)三元組的生成滿足第j張圖的得分比第k張圖得分大，表示圖像i與圖像j的相似度比圖像k要大，通過(guò)這個(gè)三元組的組合計(jì)算tripletloss中特征值之間的距離。步驟4：計(jì)算網(wǎng)絡(luò)的目標(biāo)損失函數(shù)。目標(biāo)損失函數(shù)由屬性分類任務(wù)multihinge-loss與哈希函數(shù)學(xué)習(xí)任務(wù)的triplet-loss共同組成，經(jīng)隨機(jī)梯度下降法與后向傳播改變網(wǎng)絡(luò)參數(shù)以得到深度學(xué)習(xí)哈希編碼函數(shù)。類別與顏色的屬性分類采用SVM分器，損失函數(shù)HingeLoss最常用在SVM中的最大化間隔分類中。哈希函數(shù)學(xué)習(xí)任務(wù)的損失函數(shù)是基于圖像類標(biāo)相似度排序三元組的triplet-loss，三元組的三個(gè)元素表示為[h(xi),h(xj),h(xk)]，其中[i,j,k]是由步驟3中通過(guò)類標(biāo)的score計(jì)算得到的排序三元組。通過(guò)學(xué)習(xí)讓表征圖像i與圖像j之間的距離盡可能小，表征圖像i與圖像k之間的距離盡可能大，并讓i、j之間的距離與i、k之間的距離有一個(gè)最小間隔α。目標(biāo)函數(shù)表示為：這里兩張圖之間的距離度量采用漢明距離dH(a,b)，[a,b]在式中為[h(xi),h(xj)]代表圖像i與圖像j的哈希編碼。[·]+表示[]內(nèi)的值大于零時(shí)取該值為損失，小于零時(shí)損失為零。步驟5：對(duì)于新的查詢圖像，利用經(jīng)過(guò)網(wǎng)絡(luò)學(xué)習(xí)到的哈希編碼函數(shù)對(duì)圖像進(jìn)行哈希編碼，計(jì)算查詢圖像與測(cè)試數(shù)據(jù)集中圖像的哈希編碼之間的漢明距離表征查詢圖像與測(cè)試圖像之間的相似程度。查詢圖像輸入如圖1網(wǎng)絡(luò)輸入圖像所示，采用步驟4中得到的深度哈希函數(shù)對(duì)查詢圖像進(jìn)行哈希編碼，檢索數(shù)據(jù)庫(kù)里面的每一幅圖已經(jīng)用深度哈希函數(shù)進(jìn)行哈希編碼儲(chǔ)存。計(jì)算查詢圖像哈希編碼與數(shù)據(jù)庫(kù)中每一個(gè)哈希編碼的漢明距離，漢明距離定義為將其中一個(gè)變?yōu)榱硗庖粋€(gè)所需要作的最小替換次數(shù)，可以簡(jiǎn)單用矩陣相乘方式得到。漢明距離d(h)公式表達(dá)為：d(h)＝[Xi]*[Xj][Xi]，[Xj]分別表示第i張圖與第j張圖的哈希編碼。步驟6：根據(jù)得到的漢明距離的大小序列進(jìn)行檢索得分排序來(lái)得到檢索圖像列表，根據(jù)被檢索圖像路徑所屬的視頻段得到相應(yīng)視頻的搜索；圖2所示為采用NDCG打分標(biāo)準(zhǔn)對(duì)檢索結(jié)果進(jìn)行打分,這是用來(lái)衡量排序質(zhì)量的指標(biāo)，其計(jì)算公式為：n代表每張圖取排序前n個(gè)檢索圖，r(j)表示檢索出來(lái)第j張圖的真實(shí)排序。在檢索查詢圖像top100的圖像時(shí)，哈希編碼比特?cái)?shù)越高其得分越高，采用多任務(wù)學(xué)習(xí)與單一的深度哈希學(xué)習(xí)相比，多任務(wù)的得分在相同哈希編碼長(zhǎng)度中都比較高，進(jìn)一步說(shuō)明本方法的有效性。圖3所示為比分圖像的檢索示例，每一行的第一列為查詢圖像，其他列是對(duì)應(yīng)檢索結(jié)果做接近的第一到第五張圖。從這些結(jié)果可以看到檢索結(jié)果與查詢圖像是很相近的。顯然，本發(fā)明的上述實(shí)施例僅僅是為清楚地說(shuō)明本發(fā)明所作的舉例，而并非是對(duì)本發(fā)明的實(shí)施方式的限定。對(duì)于所屬領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在上述說(shuō)明的基礎(chǔ)上還可以做出其它不同形式的變化或變動(dòng)。這里無(wú)需也無(wú)法對(duì)所有的實(shí)施方式予以窮舉。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明權(quán)利要求的保護(hù)范圍之內(nèi)。當(dāng)前第1頁(yè)1 2 3