本發(fā)明涉及機器視覺技術(shù)領(lǐng)域，具體而言，涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法及裝置。

背景技術(shù)：

隨著智慧城市建設(shè)的不斷深入，視頻監(jiān)控市場繼續(xù)保持快速增長的態(tài)勢。目前，視頻監(jiān)控主要通過設(shè)置捕獲環(huán)境信息的攝像機來捕獲視頻圖像，并將捕獲到的視頻圖像傳輸至控制平臺以對其進行分析處理，例如對視頻圖像中目標的跟蹤。對于目標跟蹤，其一般過程是：目標進入視頻監(jiān)控區(qū)域后，由于目標是運動的，將系統(tǒng)捕獲到目標在當前幀的圖像作為模板，在視頻圖像的下一幀通過目標匹配找到目標移動后的位置?？梢?，如何精確地進行目標匹配是視頻圖像跟蹤的關(guān)鍵。另外，目標匹配也是圖像識別、圖像檢索、圖像標注等技術(shù)的核心。

其中，目標匹配也就是指，對前后視頻幀或者預(yù)先選定的多個圖像幀進行關(guān)聯(lián)，從后一圖像幀中找到與前一圖像幀中的目標相匹配的匹配目標。其關(guān)聯(lián)的方法主要通過特征進行關(guān)聯(lián)。

在現(xiàn)有技術(shù)中，一般采用點特征模板匹配、線特征模板匹配和面特征模板匹配等目標匹配的方法。然而，點特征匹配方法在目標對比度較低，或沒有明顯的焦點特征時，匹配準確度較差；線特征匹配方法在目標邊緣不明顯，或目標產(chǎn)生較大變形時，匹配的準確度也較差；面特征匹配方法雖然提高了匹配的準確度，但是其運算量較大，效率較低。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明的目的在于提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法及裝置，采用池化特征進行遍歷匹配，匹配的準確度和效率均較高。

第一方面，本發(fā)明實施例提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法，所述方法包括：

獲取第一圖像和第二圖像；

計算所述第一圖像中目標區(qū)域的池化特征；

基于所述池化特征對所述第二圖像進行遍歷匹配，得到對應(yīng)的匹配分值圖；

根據(jù)所述匹配分值圖確定所述第二圖像中的目標區(qū)域。

結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第一種可能的實施方式，其中，所述計算所述第一圖像中目標區(qū)域的池化特征，包括：

基于預(yù)先獲取的卷積神經(jīng)網(wǎng)絡(luò)CNN提取所述第一圖像的第一基礎(chǔ)特征層；

根據(jù)所述第一圖像中目標區(qū)域的位置和所述CNN的降維比率，計算所述第一基礎(chǔ)特征層中相對于目標區(qū)域的第一窗口的位置；

基于預(yù)設(shè)的池化參數(shù)和所述第一窗口的位置，確定所述第一基礎(chǔ)特征層的第二窗口的位置；

將所述第二窗口的第一基礎(chǔ)特征層輸入至所述池化參數(shù)對應(yīng)的池化層進行特征提取，得到池化特征。

結(jié)合第一方面的第一種可能的實施方式，本發(fā)明實施例提供了第一方面的第二種可能的實施方式，其中，所述基于預(yù)設(shè)的池化參數(shù)和所述第一窗口的位置，確定所述第一基礎(chǔ)特征層的第二窗口的位置，包括：

根據(jù)預(yù)設(shè)的池化層的最小窗口尺寸和所述第一窗口的位置，計算池化層的第一輸出尺寸；

根據(jù)預(yù)設(shè)的池化層的最大輸出尺寸和所述第一輸出尺寸，計算所述池化層的第二輸出尺寸；

根據(jù)所述第二輸出尺寸和所述第一窗口的位置，計算所述池化層的窗口尺寸；

根據(jù)所述第二輸出尺寸和所述窗口尺寸，計算所述第一基礎(chǔ)特征層的第二窗口的位置。

結(jié)合第一方面的第二種可能的實施方式，本發(fā)明實施例提供了第一方面的第三種可能的實施方式，其中，所述基于所述池化特征對所述第二圖像進行遍歷匹配，得到對應(yīng)的匹配分值圖，包括：

基于預(yù)先獲取的卷積神經(jīng)網(wǎng)絡(luò)CNN提取所述第二圖像的第二基礎(chǔ)特征層；

為所述第二基礎(chǔ)特征層分別配置匹配卷積層和模值卷積層；其中，所述匹配卷積層和所述模值卷積層使用的卷積核均為取自所述第一圖像的歸一化池化特征，所述歸一化池化特征是對所述池化特征進行歸一化處理得到的；

根據(jù)所述匹配卷積層的輸出和所述模值卷積層的輸出之間的比值關(guān)系，得出所述第二圖像的每個待匹配區(qū)域相對于第一圖像的目標區(qū)域的匹配分值圖。

結(jié)合第一方面的第三種可能的實施方式，本發(fā)明實施例提供了第一方面的第四種可能的實施方式，其中，所述基于預(yù)先獲取的卷積神經(jīng)網(wǎng)絡(luò)CNN提取所述第二圖像的第二基礎(chǔ)特征層，包括：

按照所述第一圖像對所述第二圖像進行縮放處理，得到縮放處理后的第二圖像；

基于預(yù)先獲取的卷積神經(jīng)網(wǎng)絡(luò)CNN提取所述縮放處理后的第二圖像的第二基礎(chǔ)特征層。

結(jié)合第一方面的第三種可能的實施方式，本發(fā)明實施例提供了第一方面的第五種可能的實施方式，其中，為所述第二基礎(chǔ)特征層配置匹配卷積層，包括：

基于所述池化層的窗口尺寸和窗口遍歷顆粒度為所述第二基礎(chǔ)特征層配置待匹配池化層，以根據(jù)所述待匹配池化層對第二基礎(chǔ)特征層的輸出按照所述池化層的窗口尺寸進行池化處理；

根據(jù)所述歸一化池化特征為所述待匹配池化層配置匹配卷積層，以根據(jù)所述匹配卷積層對待匹配池化層的輸出按照所述歸一化池化特征進行卷積處理；

為所述第二基礎(chǔ)特征層配置模值卷積層，包括：

基于模值運算對所述待匹配池化層配置模值計算層，以根據(jù)所述模值計算層對所述待匹配池化層的輸出進行歸一化處理；

根據(jù)所述歸一化池化特征為所述模值計算層配置模值卷積層，以根據(jù)所述模值卷積層對模值計算層的輸出按照歸一化池化特征進行卷積處理。

結(jié)合第一方面的第五種可能的實施方式，本發(fā)明實施例提供了第一方面的第六種可能的實施方式，其中，所述根據(jù)所述歸一化池化特征為所述待匹配池化層配置匹配卷積層，包括：

根據(jù)所述池化層的窗口尺寸和窗口遍歷顆粒度之間的差值運算結(jié)果對所述歸一化池化特征進行加孔處理，得到加孔處理后的歸一化池化特征；

根據(jù)所述加孔處理后的歸一化池化特征為所述待匹配池化層配置匹配卷積層。

結(jié)合第一方面的第五種可能的實施方式，本發(fā)明實施例提供了第一方面的第七種可能的實施方式，其中，所述根據(jù)所述歸一化池化特征為所述模值計算層配置模值卷積層，包括：

根據(jù)所述池化層的窗口尺寸和窗口遍歷顆粒度之間的差值運算結(jié)果對所述歸一化池化特征進行加孔處理，得到加孔處理后的歸一化池化特征；

根據(jù)所述加孔處理后的歸一化池化特征為所述模值計算層配置模值卷積層。

結(jié)合第一方面的第三種可能的實施方式，本發(fā)明實施例提供了第一方面的第八種可能的實施方式，其中，所述根據(jù)所述匹配分值圖確定所述第二圖像中的目標區(qū)域，包括：

選取匹配分值圖中的最高分值對應(yīng)的待匹配區(qū)域作為第二圖像中的目標區(qū)域。

第二方面，本發(fā)明實施例還提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配裝置，所述裝置包括：

獲取模塊，用于獲取第一圖像和第二圖像；

計算模塊，用于計算所述第一圖像中目標區(qū)域的池化特征；

生成模塊，用于基于所述池化特征對所述第二圖像進行遍歷匹配，得到對應(yīng)的匹配分值圖；

確定模塊，用于根據(jù)所述匹配分值圖確定所述第二圖像中的目標區(qū)域。

本發(fā)明實施例提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法及裝置，與現(xiàn)有技術(shù)中的點特征匹配方法和線特征匹配方法的準確度較差，且面特征匹配方法的效率較低相比，其首先獲取第一圖像和第二圖像，其次對第一圖像中的目標區(qū)域進行池化特征的計算，再次基于上述計算得到的池化特征對第二圖像進行遍歷匹配，最后根據(jù)遍歷匹配得到的匹配分值圖確定第二圖像中的目標區(qū)域，其采用第一圖像的池化特征對第二圖像進行遍歷匹配，匹配的準確度較佳、效率也較高。

為使本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應(yīng)當理解，以下附圖僅示出了本發(fā)明的某些實施例，因此不應(yīng)被看作是對范圍的限定，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。

圖1示出了本發(fā)明實施例所提供的一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法的流程圖；

圖2示出了本發(fā)明實施例所提供的另一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法的流程圖；

圖3示出了本發(fā)明實施例所提供的另一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法的流程圖；

圖4示出了本發(fā)明實施例所提供的另一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法的流程圖；

圖5示出了本發(fā)明實施例所提供的另一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法的流程圖；

圖6示出了本發(fā)明實施例所提供的另一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法的流程圖；

圖7示出了本發(fā)明實施例所提供的另一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法的流程圖；

圖8示出了本發(fā)明實施例所提供的另一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法的流程圖；

圖9示出了本發(fā)明實施例所提供的一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法中卷積核加孔后的匹配示意圖；

圖10示出了本發(fā)明實施例所提供的另一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法的流程圖；

圖11示出了本發(fā)明實施例所提供的一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配裝置的結(jié)構(gòu)示意圖。

主要元件符號說明：

11、獲取模塊；22、計算模塊；33、生成模塊；44、確定模塊。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發(fā)明實施例的組件可以以各種不同的配置來布置和設(shè)計。因此，以下對在附圖中提供的本發(fā)明的實施例的詳細描述并非旨在限制要求保護的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實施例。基于本發(fā)明的實施例，本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

考慮到現(xiàn)有技術(shù)中的點特征匹配方法在目標對比度較低，或沒有明顯的焦點特征時，匹配準確度較差；線特征匹配方法在目標邊緣不明顯，或目標產(chǎn)生較大變形時，匹配的準確度也較差；面特征匹配方法雖然提高了匹配的準確度，但是其運算量較大，效率較低?；诖耍景l(fā)明實施例提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法及裝置，其通過池化特征的遍歷匹配，目標匹配的準確度和效率均較高。

參見圖1所示的本發(fā)明實施例提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法的流程圖，所述方法具體包括如下步驟：

S101、獲取第一圖像和第二圖像；

具體的，考慮到本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法的體應(yīng)用場景，本發(fā)明實施例提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法需要對第一圖像和第二圖像進行獲取。另外，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法不僅可以應(yīng)用于圖像檢索中，還可以應(yīng)用于圖像跟蹤中。對于圖像檢索系統(tǒng)而言，第一圖像為用戶輸入的查詢圖像，第二圖像為庫內(nèi)的所有圖像；對于目標跟蹤系統(tǒng)而言，第一圖像為初始幀或當前幀圖像，第二圖像為下一幀圖像。

S102、計算第一圖像中目標區(qū)域的池化特征；

具體的，首先對獲取的上述第一圖像進行目標區(qū)域的框選，然后再對框選的目標區(qū)域進行池化特征的計算。其中，上述目標區(qū)域的框選可以通過手工的方式還可以通過相關(guān)的計算機程序進行目標區(qū)域的確定，且本發(fā)明實施例中優(yōu)選的將目標區(qū)域選擇為矩形。該目標區(qū)域主要包括人、人臉、物體等用戶較為感興趣的區(qū)域。上述池化特征的計算主要通過深度神經(jīng)網(wǎng)絡(luò)對各個計算層進行對應(yīng)的窗口確定，以根據(jù)確定后的窗口的池化特征作為第一圖像中目標區(qū)域的圖像池化特征。對于目標區(qū)域而言同時，在后續(xù)的匹配過程中，將以該圖像池化特征作為卷積核進行第二圖像的遍歷匹配。

S103、基于池化特征對第二圖像進行遍歷匹配，得到對應(yīng)的匹配分值圖；

S104、根據(jù)匹配分值圖確定第二圖像中的目標區(qū)域。

具體的，對于第一圖像計算得到的池化特征而言，其將作為第二圖像的卷積核，且在第二圖像的池化層輸出的特征層上進行卷積，得到各個待匹配區(qū)域相對第一圖像的目標區(qū)域的匹配分值，最后根據(jù)對應(yīng)的匹配分值圖從待匹配區(qū)域中確定第二圖像中的目標區(qū)域。

本發(fā)明實施例提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法，與現(xiàn)有技術(shù)中的點特征匹配方法和線特征匹配方法的準確度較差，且面特征匹配方法的效率較低相比，其首先獲取第一圖像和第二圖像，其次對第一圖像中的目標區(qū)域進行池化特征的計算，再次基于上述計算得到的池化特征對第二圖像進行遍歷匹配，最后根據(jù)遍歷匹配得到的匹配分值圖確定第二圖像中的目標區(qū)域，其采用第一圖像的池化特征對第二圖像進行遍歷匹配，匹配的準確度較佳、效率也較高。

為了更好的計算第一圖像中目標區(qū)域的池化特征，上述S102的計算過程，具體通過如下步驟實現(xiàn)，參見圖2所示的流程圖，所述方法還包括：

S201、基于預(yù)先獲取的卷積神經(jīng)網(wǎng)絡(luò)CNN提取第一圖像的第一基礎(chǔ)特征層；

S202、根據(jù)第一圖像中目標區(qū)域的位置和CNN的降維比率，計算第一基礎(chǔ)特征層中相對于目標區(qū)域的第一窗口的位置；

具體的，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法將第一圖像作為輸入層輸入預(yù)先訓(xùn)練的CNN(Convolutional Neural Networks，卷積神經(jīng)網(wǎng)絡(luò))，以CNN輸出作為基礎(chǔ)特征層。本發(fā)明實施例是根據(jù)第一圖像中目標區(qū)域的位置和CNN的降維比率，計算第一基礎(chǔ)特征層中相對于目標區(qū)域的第一窗口的位置，接下來給出一種具體的實施方式。假設(shè)第一圖像的尺寸為[W1_0，H1_0],卷積神經(jīng)網(wǎng)絡(luò)的降維比率為R，且第一圖像中框選的矩形目標區(qū)域的左上角點坐標為(X0_lt,Y0_lt)，右下角點坐標為(X0_rb,Y0_rb)，則第一圖像的基礎(chǔ)特征層的尺寸為[W1,H1]＝[Floor(W1_0/R)，F(xiàn)loor(H1_0/R)](其中，F(xiàn)loor為向下取整)，對應(yīng)的第一基礎(chǔ)特征層的第一窗口的位置為：

左上點坐標為(X1_lt,Y1_lt)＝(Floor(X0_lt/R)，F(xiàn)loor(Y0_lt/R)),

右下點坐標為(X1_rb,Y1_rb)＝(Floor(X0_rb/R)，F(xiàn)loor(Y0_rb/R))。

另外，隨著大數(shù)據(jù)時代的到來，只有比較復(fù)雜的模型，或者說表達能力強的模型，才能充分發(fā)掘海量數(shù)據(jù)中蘊藏的豐富信息，所以，本發(fā)明實施例中預(yù)先訓(xùn)練的CNN是可以對目標區(qū)域進行特征的深度學(xué)習的神經(jīng)網(wǎng)絡(luò)，由于CNN的特征檢測層通過訓(xùn)練數(shù)據(jù)進行學(xué)習，所以在使用CNN時，避免了顯式的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進行學(xué)習；再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習，這也是卷積網(wǎng)絡(luò)相對于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢。

S203、基于預(yù)設(shè)的池化參數(shù)和所述第一窗口的位置，確定第一基礎(chǔ)特征層的第二窗口的位置；

為了更好根據(jù)第一基礎(chǔ)特征層的第一窗口的位置確定第一基礎(chǔ)特征層的第二窗口的位置，參見圖3，上述第二窗口的位置的確定過程，具體通過如下步驟實現(xiàn)：

S2031、根據(jù)預(yù)設(shè)的池化層的最小窗口尺寸和第一窗口的位置，計算池化層的第一輸出尺寸；

S2032、根據(jù)預(yù)設(shè)的池化層的最大輸出尺寸和第一輸出尺寸，計算池化層的第二輸出尺寸；

S2033、根據(jù)第二輸出尺寸和第一窗口的位置，計算池化層的窗口尺寸；

S2034、根據(jù)第二輸出尺寸和窗口尺寸，計算第一基礎(chǔ)特征層的第二窗口的位置。

具體的，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法對于第一基礎(chǔ)特征層的第二窗口的確定是基于預(yù)設(shè)的池化參數(shù)和上述第一窗口的位置。本發(fā)明實施例的一個具體實施例如下：

首先，根據(jù)預(yù)設(shè)的池化層的最小窗口尺寸和第一窗口的位置，計算池化層的第一輸出尺寸。假設(shè)：池化層的最小窗口尺寸為[MinPoolX,MinPoolY]，由上述計算的第一基礎(chǔ)特征層的第一窗口的左上點坐標(X1_lt,Y1_lt)和右下點坐標(X1_rb,Y1_rb)，可知，池化層的第一輸出尺寸[PoolOutX_1,PoolOutY_1]為：

[Floor((X1_rb-X1_lt)/MinPoolX),Floor((Y1_rb-Y1_lt)/MinPoolY)]。

其次，根據(jù)預(yù)設(shè)的池化層的最大輸出尺寸和第一輸出尺寸，計算池化層的第二輸出尺寸。假設(shè)：池化層的最大輸出尺寸為[MaxPoolOutX,MaxPoolOutY]，由上述第一輸出尺寸[PoolOutX_1,PoolOutY_1]，可知，池化層的第二輸出尺寸[PoolOutX_2,PoolOutY_2]為：

[Max(PoolOutX_1,MaxPoolOutX),Max(PoolOutY_1,MaxPoolOutU)]。

再次，根據(jù)第二輸出尺寸和第一窗口的位置，計算池化層的窗口尺寸。由上述第二輸出尺寸[PoolOutX_2,PoolOutY_2]和第一基礎(chǔ)特征層的第一窗口的左上點坐標(X1_lt,Y1_lt)和右下點坐標(X1_rb,Y1_rb)，可知：池化層的窗口尺寸[PoolSizeX,PoolSizeY]為：

[Floor((X1_rb-X1_lt)/PoolOutX_2),Floor((Y1_rb-Y1_lt)/PoolOutY_2)]。

最后，根據(jù)第二輸出尺寸和窗口尺寸，計算第一基礎(chǔ)特征層的第二窗口的位置。由上述第二輸出尺寸[PoolOutX_2,PoolOutY_2]和池化層的窗口尺寸[PoolSizeX,PoolSizeY]，可知：第一基礎(chǔ)特征層的第二窗口的位置為：

左上點坐標為：(X2_lt,Y2_lt)＝(X1_lt,Y1_lt)，

右下點坐標為：(X1_rb,Y1_rb)＝(X1_lt+PoolOutX_2*PoolSizeX,Y1_lt+PoolOutY_2*PoolSizeY)。

其中，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法還將池化層的池化步長設(shè)置為與池化窗口尺寸相同的值。

S204、將第二窗口的第一基礎(chǔ)特征層輸入至池化參數(shù)對應(yīng)的池化層進行特征提取，得到池化特征。

具體的，根據(jù)上述各個池化參數(shù)來配置池化層，以第二窗口中的第一基礎(chǔ)特征層作為輸入，產(chǎn)生池化特征。設(shè)基礎(chǔ)特征層包含C個通道，則局域池化特征的維度為[PoolOutX,PoolOutY,C]。

考慮到本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法采用的是遍歷匹配的方式實現(xiàn)第二圖像對第一圖像的目標匹配，而本發(fā)明實施例遍歷匹配后得到的是匹配分值圖，即對第二圖像中的待匹配區(qū)域進行遍歷匹配，以得到每個待匹配區(qū)域與第一圖像中的目標區(qū)域的相關(guān)度信息。參見圖4，上述匹配分值圖的生成過程，具體通過如下步驟實現(xiàn)，所述方法還包括：

S301、基于預(yù)先獲取的卷積神經(jīng)網(wǎng)絡(luò)CNN提取第二圖像的第二基礎(chǔ)特征層；

為了更好的進行第二圖像和第一圖像的匹配，在對第二圖像進行特征提取之前，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法將對第二圖像進行縮放處理，因此，參見圖5，上述對第二圖像的特征提取具體通過如下步驟實現(xiàn)：

S3011、按照第一圖像對第二圖像進行縮放處理，得到縮放處理后的第二圖像；

S3012、基于預(yù)先獲取的卷積神經(jīng)網(wǎng)絡(luò)CNN提取縮放處理后的第二圖像的第二基礎(chǔ)特征層。

具體的，首先將第二圖像縮放到與第一圖像相對應(yīng)的尺寸，對于圖像檢索而言，上述第二圖像的尺寸與第一圖像應(yīng)相近，而對于圖像跟蹤而言，上述第二圖像和第一圖像的尺寸相同；然后再利用與第一圖像相同的CNN提取縮放處理后的第二圖像的第二基礎(chǔ)特征層。

S302、為第二基礎(chǔ)特征層分別配置匹配卷積層和模值卷積層；其中，匹配卷積層和模值卷積層使用的卷積核均為取自第一圖像的歸一化池化特征，歸一化池化特征是對池化特征進行歸一化處理得到的；

S303、根據(jù)匹配卷積層的輸出和模值卷積層的輸出之間的比值關(guān)系，得出第二圖像的每個待匹配區(qū)域相對于第一圖像的目標區(qū)域的匹配分值圖。

具體的，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法為第二基礎(chǔ)特征層配置匹配卷基層和模值卷積層分別建立在配置的待匹配池化層和配置的模值計算層的基礎(chǔ)之上，其中，上述為第二基礎(chǔ)特征層配置匹配卷積層，參見圖6，具體通過如下步驟實現(xiàn)：

S401、基于池化層的窗口尺寸和窗口遍歷顆粒度為第二基礎(chǔ)特征層配置待匹配池化層，以根據(jù)待匹配池化層對第二基礎(chǔ)特征層的輸出按照池化層的窗口尺寸進行池化處理；

S402、根據(jù)歸一化池化特征為待匹配池化層配置匹配卷積層，以根據(jù)匹配卷積層對待匹配池化層的輸出按照歸一化池化特征進行卷積處理。

具體的，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法首先在第二基礎(chǔ)特征層之上配置一個待匹配池化層。其中，該待匹配池化層的窗口尺寸與第一圖像池化層的池化窗口尺寸相同。另外，待匹配池化層的池化步長[PoolStepX2,PoolStepY2]代表窗口遍歷的顆粒度，因此步長可為預(yù)設(shè)值，也可為隨池化窗口尺寸增大而增大的整數(shù)。步長的取值范圍在1到池化窗口尺寸之間。本發(fā)明實施例不做具體的限制，以滿足不同用戶的不同需求。

另外，本發(fā)明實施例在上述待匹配池化層上述還配置有匹配卷積層。該匹配卷積層以第一圖像提取的歸一化池化特征作為第二圖像的匹配卷積層的卷積核，維度為[PoolOutX,PoolOutY,C]。設(shè)第二圖像的待匹配池化層輸出的維度為[W2,H2,C]，則匹配卷積層輸出的維度為[W2,H2,1]，每個空間位置代表一個與第一圖像局部特征的匹配值。

其中，上述歸一化池化特征是對池化特征進行歸一化處理得到的結(jié)果，而本發(fā)明實施例通過如下步驟進行歸一化：首先計算池化特征在空間維度[PoolOutX,PoolOutY]中每個位置的C維向量的模，并將每個位置的模累加。然后再將池化特征除以累加模值得到歸一化的池化特征。

另外，上述為第二基礎(chǔ)特征層配置模值卷積層，參見圖7，具體通過如下步驟實現(xiàn)：

S501、基于模值運算對待匹配池化層配置模值計算層，以根據(jù)模值計算層對待匹配池化層的輸出進行歸一化處理；

S502、根據(jù)歸一化池化特征為模值計算層配置模值卷積層，以根據(jù)模值卷積層對模值計算層的輸出按照歸一化池化特征進行卷積處理。

具體的，首先通過模值計算層計算每個位置的C維特征的模值，輸出維度為[PoolOutX,PoolOutY,1]的模值。然后在上述模值計算層上配置模值卷積層，該卷積層的卷積核尺寸、卷積步長等參數(shù)與匹配卷積層相同，輸入及輸出通道數(shù)為1，卷積核值全部為1，偏移量為0。設(shè)第二圖像基礎(chǔ)特征層的維度為[W2,H2,C]，則模值卷積層輸出的維度為[W2,H2,1]。

本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法根據(jù)上述配置后的匹配卷基層和模值卷積層的輸出的兩個標量圖像點對點相除，得出第一圖像中目標區(qū)域的池化特征在第二圖像中各個待匹配區(qū)域的匹配分值圖。

為了保證對第二圖像進行卷積處理所采用的卷積核的各個像素的作用域與第一圖像的目標區(qū)域的作用域相同，參見圖8，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法中的匹配卷積層的配置過程具體通過如下步驟實現(xiàn)：

S601、根據(jù)池化層的窗口尺寸和窗口遍歷顆粒度之間的差值運算結(jié)果對歸一化池化特征進行加孔處理，得到加孔處理后的歸一化池化特征；

S602、根據(jù)加孔處理后的歸一化池化特征為待匹配池化層配置匹配卷積層。

具體的，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法是將第一圖像的歸一化池化特征作為第二圖像的匹配卷積層的卷積核，且對該卷積核加孔，孔的維數(shù)為預(yù)匹配池化層池化窗口尺寸減去預(yù)匹配池化層的池化步長(即窗口遍歷顆粒度)，即[PoolSizeX-PoolStepX2,PoolSizeY-PoolStepY2]。然后再根據(jù)上述加孔處理后的歸一化池化特征對待匹配池化層配置匹配卷積層，匹配卷積層的偏移量為0，卷積步長為1。

其中，所謂加孔，可以等效為將原卷積核每隔一個像素間填充若干個0，填充后等效的卷積核尺寸為[PoolOutX+PoolSizeX-PoolStepX2,PoolOutY+PoolSizeY-PoolStepY2]，而實際卷積運算時程序可跳過充0位置的計算因而不會增加運算量。

參見圖9，本發(fā)明實施例提供了一個卷積核加孔后的匹配示意圖，圖中卷積核尺寸為[2,2]，孔的尺寸為[1,1]。點陣代表基礎(chǔ)特征層。第一圖像(圖9(a))中池化層的池化窗口尺寸、池化步長、池化輸出尺寸均為[2,2]。第二圖像(圖9(b))的待匹配池化層的池化窗口尺寸為[2,2]，池化步長為[1,1]。第二圖像的匹配卷積層卷積核尺寸為[2,2]。當不加孔時，[2,2]卷積核各像素的作用域(如細線框所示)存在重疊，與第一圖像局部特征不同；當加[1,1]的孔時，卷積核作用域(如粗線框所示)與第一圖像局部特征相同。

另外，參見圖10，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法中的模值卷積層的配置過程具體通過如下步驟實現(xiàn)：

S701、根據(jù)池化層的窗口尺寸和窗口遍歷顆粒度之間的差值運算結(jié)果對歸一化池化特征進行加孔處理，得到加孔處理后的歸一化池化特征；

S702、根據(jù)加孔處理后的歸一化池化特征為模值計算層配置模值卷積層。

具體的，本發(fā)明實施例中的模值卷積層的卷積核尺寸、卷積步長、及加孔等參數(shù)與匹配卷積層均相同，同樣的，上述加孔處理的過程也類型，在此不再贅述。然后再根據(jù)加孔處理后的上述加孔處理后的歸一化池化特征對模值計算層配置模值卷積層。

對于遍歷匹配得到的匹配分值圖而言，為了更好的確定第二圖像相對第一圖像的目標區(qū)域，上述S104的確定過程，具體通過如下步驟實現(xiàn)，所述方法還包括：

選取匹配分值圖中的最高分值對應(yīng)的待匹配區(qū)域作為第二圖像中的目標區(qū)域。

具體的，對于生成的匹配分值圖而言，該匹配分值圖是指遍歷第二圖像的每個待匹配區(qū)域相對于第一圖像的目標區(qū)域的匹配相關(guān)度，對應(yīng)像素點的匹配分值越高，則說明該待匹配區(qū)域與第一圖像的目標區(qū)域越相似，本發(fā)明實施例選擇匹配分值圖的最高分值對應(yīng)的待匹配區(qū)域作為第二圖像中的目標區(qū)域。

本發(fā)明實施例提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法，與現(xiàn)有技術(shù)中的點特征匹配方法和線特征匹配方法的準確度較差，且面特征匹配方法的效率較低相比，其首先獲取第一圖像和第二圖像，其次對第一圖像中的目標區(qū)域進行池化特征的計算，再次基于上述計算得到的池化特征對第二圖像進行遍歷匹配，最后根據(jù)遍歷匹配得到的匹配分值圖確定第二圖像中的目標區(qū)域，其采用第一圖像的池化特征對第二圖像進行遍歷匹配，匹配的準確度較佳、效率也較高。

本發(fā)明實施例還提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配裝置，所述裝置用于執(zhí)行上述基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法，參見圖11，所述裝置包括：

獲取模塊11，用于獲取第一圖像和第二圖像；

計算模塊22，用于計算第一圖像中目標區(qū)域的池化特征；

生成模塊33，用于基于池化特征對第二圖像進行遍歷匹配，得到對應(yīng)的匹配分值圖；

確定模塊44，用于根據(jù)匹配分值圖確定第二圖像中的目標區(qū)域。

為了更好的計算第一圖像中目標區(qū)域的池化特征，上述計算模塊22包括：

第一提取子模塊，用于基于預(yù)先獲取的卷積神經(jīng)網(wǎng)絡(luò)CNN提取第一圖像的第一基礎(chǔ)特征層；

計算子模塊，用于根據(jù)第一圖像中目標區(qū)域的位置和CNN的降維比率，計算第一基礎(chǔ)特征層中相對于目標區(qū)域的第一窗口的位置；

確定子模塊，用于基于預(yù)設(shè)的池化參數(shù)和第一窗口的位置，確定第一基礎(chǔ)特征層的第二窗口的位置；

第一生成子模塊，用于將第二窗口的第一基礎(chǔ)特征層輸入至池化參數(shù)對應(yīng)的池化層進行特征提取，得到池化特征。

為了更好根據(jù)第一基礎(chǔ)特征層的第一窗口的位置確定第一基礎(chǔ)特征層的第二窗口的位置，上述確定子模塊包括：

第一計算單元，用于根據(jù)預(yù)設(shè)的池化層的最小窗口尺寸和第一窗口的位置，計算池化層的第一輸出尺寸；

第二計算單元，用于根據(jù)預(yù)設(shè)的池化層的最大輸出尺寸和第一輸出尺寸，計算池化層的第二輸出尺寸；

第三計算單元，用于根據(jù)第二輸出尺寸和第一窗口的位置，計算池化層的窗口尺寸；

第四計算單元，用于根據(jù)第二輸出尺寸和窗口尺寸，計算第一基礎(chǔ)特征層的第二窗口的位置。

考慮到本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配裝置采用的是遍歷匹配的方式實現(xiàn)第二圖像對第一圖像的目標匹配，而本發(fā)明實施例遍歷匹配后得到的是匹配分值圖，即對第二圖像中的待匹配區(qū)域進行遍歷匹配，以得到每個待匹配區(qū)域與第一圖像中的目標區(qū)域的相關(guān)度信息。本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配裝置還包括生成模塊33，上述生成模塊33包括：

第二提取子模塊，用于基于預(yù)先獲取的卷積神經(jīng)網(wǎng)絡(luò)CNN提取第二圖像的第二基礎(chǔ)特征層；

配置子模塊，用于為第二基礎(chǔ)特征層分別配置匹配卷積層和模值卷積層；其中，匹配卷積層和模值卷積層使用的卷積核均為取自第一圖像的歸一化池化特征，歸一化池化特征是對池化特征進行歸一化處理得到的；

第二生成單元子模塊，用于根據(jù)匹配卷積層的輸出和模值卷積層的輸出之間的比值關(guān)系，得出第二圖像的每個待匹配區(qū)域相對于第一圖像的目標區(qū)域的匹配分值圖。

為了更好的進行第二圖像和第一圖像的匹配，在對第二圖像進行特征提取之前，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配裝置將對第二圖像進行縮放處理，因此，上述第二提取子模塊包括：

縮放單元，用于按照第一圖像對第二圖像進行縮放處理，得到縮放處理后的第二圖像；

提取單元，用于基于預(yù)先獲取的卷積神經(jīng)網(wǎng)絡(luò)CNN提取縮放處理后的第二圖像的第二基礎(chǔ)特征層。

其中，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配裝置法為第二基礎(chǔ)特征層配置匹配卷基層和模值卷積層分別建立在配置的待匹配池化層和配置的模值計算層的基礎(chǔ)之上，其中，上述配置子模塊包括：

第一配置單元，用于基于池化層的窗口尺寸和窗口遍歷顆粒度為第二基礎(chǔ)特征層配置待匹配池化層，以根據(jù)待匹配池化層對第二基礎(chǔ)特征層的輸出按照池化層的窗口尺寸進行池化處理；

第二配置單元，用于根據(jù)歸一化池化特征為待匹配池化層配置匹配卷積層，以根據(jù)匹配卷積層對待匹配池化層的輸出按照歸一化池化特征進行卷積處理。

第三配置單元，用于基于模值運算對待匹配池化層配置模值計算層，以根據(jù)模值計算層對待匹配池化層的輸出進行歸一化處理；

第四配置單元，用于根據(jù)歸一化池化特征為模值計算層配置模值卷積層，以根據(jù)模值卷積層對模值計算層的輸出按照歸一化池化特征進行卷積處理。

為了保證對第二圖像進行卷積處理所采用的卷積核的各個像素的作用域與第一圖像的目標區(qū)域的作用域相同，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配裝置中的第二配置單元包括：

第一加孔子單元，用于根據(jù)池化層的窗口尺寸和窗口遍歷顆粒度之間的差值運算結(jié)果對歸一化池化特征進行加孔處理，得到加孔處理后的歸一化池化特征；

第一配置子單元，用于根據(jù)加孔處理后的歸一化池化特征為待匹配池化層配置匹配卷積層。

另外，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配裝置中的第四配置單元包括：

第二加孔子單元，用于根據(jù)池化層的窗口尺寸和窗口遍歷顆粒度之間的差值運算結(jié)果對歸一化池化特征進行加孔處理，得到加孔處理后的歸一化池化特征；

第二配置子單元，用于根據(jù)加孔處理后的歸一化池化特征為模值計算層配置模值卷積層。

對于遍歷匹配得到的匹配分值圖而言，為了更好的確定第二圖像相對第一圖像的目標區(qū)域，上述確定模塊44，還用于選取匹配分值圖中的最高分值對應(yīng)的待匹配區(qū)域作為第二圖像中的目標區(qū)域。

本發(fā)明實施例提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配裝置，與現(xiàn)有技術(shù)中的點特征匹配方法和線特征匹配方法的準確度較差，且面特征匹配方法的效率較低相比，其首先獲取第一圖像和第二圖像，其次對第一圖像中的目標區(qū)域進行池化特征的計算，再次基于上述計算得到的池化特征對第二圖像進行遍歷匹配，最后根據(jù)遍歷匹配得到的匹配分值圖確定第二圖像中的目標區(qū)域，其采用第一圖像的池化特征對第二圖像進行遍歷匹配，匹配的準確度較佳、效率也較高。

另外，本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配方法及裝置還可以應(yīng)用于圖像檢索和圖像跟蹤中，其中，應(yīng)用于圖像檢索中，能夠帶來如下技術(shù)效果：

1.采用深度學(xué)習技術(shù)提高了滑框法定位目標的魯棒性；

2.提出了一種運算效率高且便于并行化的滑窗遍歷方法。

應(yīng)用于圖像跟蹤中，還能夠帶來如下技術(shù)效果：

1.基于深度學(xué)習技術(shù)，提高了跟蹤的成功率和穩(wěn)定性；

2.跟蹤初始階段和跟蹤過程中不需要對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，大幅縮減了單目標跟蹤耗時；

3.多目標跟蹤時，各跟蹤共享基礎(chǔ)特征層，相比于基礎(chǔ)特征層的運算量，每個跟蹤單獨的運算量非常小，因此適合實現(xiàn)視頻實時多目標跟蹤。

本發(fā)明實施例所提供的進行基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配的方法的計算機程序產(chǎn)品，包括存儲了程序代碼的計算機可讀存儲介質(zhì)，所述程序代碼包括的指令可用于執(zhí)行前面方法實施例中所述的方法，具體實現(xiàn)可參見方法實施例，在此不再贅述。

本發(fā)明實施例所提供的基于卷積神經(jīng)網(wǎng)絡(luò)的目標匹配的裝置可以為設(shè)備上的特定硬件或者安裝于設(shè)備上的軟件或固件等。本發(fā)明實施例所提供的裝置，其實現(xiàn)原理及產(chǎn)生的技術(shù)效果和前述方法實施例相同，為簡要描述，裝置實施例部分未提及之處，可參考前述方法實施例中相應(yīng)內(nèi)容。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，前述描述的系統(tǒng)、裝置和單元的具體工作過程，均可以參考上述方法實施例中的對應(yīng)過程，在此不再贅述。

在本發(fā)明所提供的實施例中，應(yīng)該理解到，所揭露裝置和方法，可以通過其它的方式實現(xiàn)。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，又例如，多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明提供的實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。

所述功能如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

應(yīng)注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進行進一步定義和解釋，此外，術(shù)語“第一”、“第二”、“第三”等僅用于區(qū)分描述，而不能理解為指示或暗示相對重要性。

最后應(yīng)說明的是：以上所述實施例，僅為本發(fā)明的具體實施方式，用以說明本發(fā)明的技術(shù)方案，而非對其限制，本發(fā)明的保護范圍并不局限于此，盡管參照前述實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當理解：任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，其依然可以對前述實施例所記載的技術(shù)方案進行修改或可輕易想到變化，或者對其中部分技術(shù)特征進行等同替換；而這些修改、變化或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實施例技術(shù)方案的精神和范圍。都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)所述以權(quán)利要求的保護范圍為準。