一種基于商標(biāo)密度的個(gè)性化商標(biāo)匹配識(shí)別方法
【專利摘要】一種基于商標(biāo)密度的個(gè)性化商標(biāo)匹配識(shí)別方法，包括：建立商標(biāo)圖片樣本庫，提取SIFT特征，計(jì)算商標(biāo)密度，并根據(jù)該商標(biāo)密度，設(shè)定個(gè)性化匹配策略；為樣本庫中的商標(biāo)圖片提取SIFT特征及GSC特征，并建立SIFT詞袋模型和GSC詞袋模型；對(duì)于待識(shí)別圖像區(qū)域，提取SIFT特征和GSC特征，分別在SIFT詞袋模型和GSC詞袋模型中計(jì)算商標(biāo)的相似度列表；根據(jù)個(gè)性化匹配策略，將兩個(gè)商標(biāo)相似度列表結(jié)合，獲得該區(qū)域與所有商標(biāo)的最終相似度列表，相似度最大且滿足相似度閾值的商標(biāo)為該區(qū)域的識(shí)別結(jié)果。本發(fā)明提高了商標(biāo)識(shí)別的速度與精度，同時(shí)對(duì)于商標(biāo)在受到尺度變換、視角變換、光照、遮擋、背景干擾等影響下的檢測具有良好的效果。
【專利說明】一種基于商標(biāo)密度的個(gè)性化商標(biāo)匹配識(shí)別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及目標(biāo)檢測與識(shí)別【技術(shù)領(lǐng)域】，尤其涉及一種基于商標(biāo)密度的個(gè)性化商標(biāo) 匹配識(shí)別方法，可以用于快速商標(biāo)識(shí)別及商標(biāo)檢索。

【背景技術(shù)】
[0002] 特定目標(biāo)識(shí)別是計(jì)算機(jī)視覺中具有挑戰(zhàn)性的工作之一，同時(shí)，隨著目標(biāo)種類的爆 炸式增長，對(duì)于大規(guī)模類別下實(shí)時(shí)目標(biāo)識(shí)別的需求越來越高，尤其是在移動(dòng)應(yīng)用和推薦系 統(tǒng)中的特定區(qū)域識(shí)別。商標(biāo)可以看做是一種平坦表面的目標(biāo)，他們?cè)诂F(xiàn)代市場，廣告和商標(biāo) 注冊(cè)中具有很大的價(jià)值。特別的，商標(biāo)庫可以達(dá)到上萬的種類，這種規(guī)模在普通的目標(biāo)檢測 和識(shí)別領(lǐng)域很少出現(xiàn)。我們的主要目標(biāo)就是給定一個(gè)自然場景下的查詢區(qū)域或者一張未知 圖片，以及一個(gè)大規(guī)模的商標(biāo)庫，識(shí)別出其中的商標(biāo)（如圖1所示）。
[0003] 早期研究主要集中于文本文檔中的商標(biāo)識(shí)別和分類，但是這些場景中的商標(biāo)都是 非彩色，正面視角的并且背景簡單，這些方法不適用于實(shí)際場景中的商標(biāo)識(shí)別。基于內(nèi)容的 商標(biāo)檢索中，形狀是分辨商標(biāo)很重要的信息，因此很多研究采用形狀描述子來進(jìn)行識(shí)別，t匕 如形狀上下文（shape context, SC)，以及后來對(duì)其改進(jìn)的廣義形狀上下文（generalized shape contexts，GSCs)。同時(shí)還有一些將顏色和形狀結(jié)合的全局特征用于檢測實(shí)際場景中 的商標(biāo)。局部特征對(duì)于實(shí)際場景中的商標(biāo)也有很好的檢測和識(shí)別效果，比如SIFT和SURF。 最近很多研究將關(guān)鍵信息中融入了一些空間信息，利用視覺單詞進(jìn)行識(shí)別。
[0004] 盡管這些基于全局和局部描述子的商標(biāo)識(shí)別系統(tǒng)有很好的效果，但是他們都對(duì)所 有的商標(biāo)采用相同的識(shí)別框架，并沒有考慮商標(biāo)的多樣性和差異性。因此，隨著商標(biāo)庫規(guī)模 的增大，這些通用的方法沒有辦法將每一個(gè)商標(biāo)都很好的識(shí)別出。對(duì)于采用基于形狀特征 的方法來說，當(dāng)商標(biāo)的形狀有很多瑣碎的小區(qū)域構(gòu)成，如圖1中的星巴克和聯(lián)合利華，這些 特征無法獲得準(zhǔn)確的形狀特征。因此當(dāng)商標(biāo)復(fù)雜并且邊界信息很難獲得時(shí)，這些基于邊界 的描述子就不合適了。對(duì)于采用局部特征的系統(tǒng)，當(dāng)商標(biāo)由一些平滑的區(qū)域構(gòu)成或者商標(biāo) 非常簡單時(shí)，如圖1中的百度和德士古，局部特征無法獲得足夠多的關(guān)鍵點(diǎn)。因此對(duì)于簡單 商標(biāo)來說，局部特征會(huì)導(dǎo)致較低的召回率和準(zhǔn)確率。因此，在識(shí)別匹配時(shí)要考慮商標(biāo)的多樣 性，對(duì)不同的商標(biāo)采用不同的匹配方案，將形狀和局部特征自適應(yīng)地結(jié)合，利用各自的優(yōu)點(diǎn) 來彌補(bǔ)對(duì)方的缺點(diǎn)，達(dá)到綜合的準(zhǔn)確識(shí)別。


【發(fā)明內(nèi)容】

[0005] 為了達(dá)到快速準(zhǔn)確識(shí)別的目的，本發(fā)明區(qū)別于以上的現(xiàn)有技術(shù)，從商標(biāo)本身的特 點(diǎn)出發(fā)，提出了一種基于商標(biāo)密度的個(gè)性化匹配識(shí)別方法。
[0006] 本發(fā)明提出的一種基于商標(biāo)密度的個(gè)性化商標(biāo)匹配識(shí)別方法，包括以下步驟：
[0007] 建立商標(biāo)圖片樣本庫；
[0008] 對(duì)商標(biāo)圖片樣本庫中的商標(biāo)圖片提取SIFT特征，計(jì)算所有商標(biāo)圖片的商標(biāo)密度 PL ；
[0009] 根據(jù)得到的所述商標(biāo)密度，設(shè)定待識(shí)別的圖像區(qū)域與所述商標(biāo)圖片樣本庫中的商 標(biāo)圖片的個(gè)性化匹配策略；
[0010] 對(duì)所述商標(biāo)圖片樣本庫中的商標(biāo)圖片提取SIFT及GSC特征，并利用這些特征建立 SIFT詞袋模型和GSC詞袋模型；
[0011] 對(duì)所述待識(shí)別的圖像區(qū)域提取SIFT及GSC特征，并利用得到的商標(biāo)圖片的所述 SIFT詞袋模型和GSC詞袋模型，計(jì)算所述待識(shí)別的圖像區(qū)域與所述商標(biāo)圖片樣本庫中的商 標(biāo)圖片的SIFT相似度列表及GSC相似度列表；
[0012] 利用得到的基于商標(biāo)密度的個(gè)性化匹配策略，將所述待識(shí)別的圖像區(qū)域與所述商 標(biāo)圖片樣本庫中的商標(biāo)圖片的SIFT相似度列表及GSC相似度列表融合，得到所述待識(shí)別的 圖像區(qū)域與所述商標(biāo)圖片樣本庫中的商標(biāo)圖片的最終相似度列表；
[0013] 基于所述最終相似度列表中相似度最大且滿足相似度閾值的商標(biāo)，得到所述待識(shí) 別的圖像區(qū)域的識(shí)別結(jié)果。
[0014] 其中，所述的商標(biāo)密度表示單位面積中的平均關(guān)鍵點(diǎn)數(shù)目，如下所示：
[0015] p L = K N/UAN
[0016] UAN = Area/UA
[0017] 其中，KN是對(duì)所述商標(biāo)圖像提取SIFT特征后得到的SIFT關(guān)鍵點(diǎn)數(shù)目，UAN是所述 商標(biāo)中單位面積的數(shù)目，UA設(shè)為100, Area是所述商標(biāo)圖像長寬的乘積。
[0018] 其中，所述的設(shè)定待識(shí)別的圖像區(qū)域與所述商標(biāo)圖片樣本庫中的商標(biāo)圖片的個(gè)性 化匹配策略的步驟進(jìn)一步包括：
[0019] 根據(jù)所述待識(shí)別的圖像區(qū)域與所述商標(biāo)圖片樣本庫中的商標(biāo)圖片的商標(biāo)密度，得 到匹配密度PMi，計(jì)算公式如下：
[0020]

【權(quán)利要求】
1. 一種基于商標(biāo)密度的個(gè)性化商標(biāo)匹配識(shí)別方法，包括以下步驟： 建立商標(biāo)圖片樣本庫； 對(duì)商標(biāo)圖片樣本庫中的商標(biāo)圖片提取SIFT特征，計(jì)算所有商標(biāo)圖片的商標(biāo)密度Pu 根據(jù)得到的所述商標(biāo)密度，設(shè)定待識(shí)別的圖像區(qū)域與所述商標(biāo)圖片樣本庫中的商標(biāo)圖 片的個(gè)性化匹配策略； 對(duì)所述商標(biāo)圖片樣本庫中的商標(biāo)圖片提取SIFT及GSC特征，并利用這些特征建立SIFT 詞袋模型和GSC詞袋模型； 對(duì)所述待識(shí)別的圖像區(qū)域提取SIFT及GSC特征，并利用得到的商標(biāo)圖片的所述SIFT 詞袋模型和GSC詞袋模型，計(jì)算所述待識(shí)別的圖像區(qū)域與所述商標(biāo)圖片樣本庫中的商標(biāo)圖 片的SIFT相似度列表及GSC相似度列表； 利用得到的基于商標(biāo)密度的個(gè)性化匹配策略，將所述待識(shí)別的圖像區(qū)域與所述商標(biāo)圖 片樣本庫中的商標(biāo)圖片的SIFT相似度列表及GSC相似度列表融合，得到所述待識(shí)別的圖像 區(qū)域與所述商標(biāo)圖片樣本庫中的商標(biāo)圖片的最終相似度列表； 基于所述最終相似度列表中相似度最大且滿足相似度閾值的商標(biāo)，得到所述待識(shí)別的 圖像區(qū)域的識(shí)別結(jié)果。
2. 根據(jù)權(quán)利要求1所述的基于商標(biāo)密度的個(gè)性化商標(biāo)匹配識(shí)別方法，其中，所述的商 標(biāo)密度表示單位面積中的平均關(guān)鍵點(diǎn)數(shù)目，如下所示： P L = KN/UAN UAN = Area/UA 其中，KN是對(duì)所述商標(biāo)圖像提取SIFT特征后得到的SIFT關(guān)鍵點(diǎn)數(shù)目，UAN是所述商標(biāo) 中單位面積的數(shù)目，UA設(shè)為100, Area是所述商標(biāo)圖像長寬的乘積。
3. 根據(jù)權(quán)利要求1所述的基于商標(biāo)密度的個(gè)性化商標(biāo)匹配識(shí)別方法，其中，所述的設(shè) 定待識(shí)別的圖像區(qū)域與所述商標(biāo)圖片樣本庫中的商標(biāo)圖片的個(gè)性化匹配策略的步驟進(jìn)一 步包括： 根據(jù)所述待識(shí)別的圖像區(qū)域與所述商標(biāo)圖片樣本庫中的商標(biāo)圖片的商標(biāo)密度，得到匹 配密度PMi，計(jì)算公式如下：
其中，PMi是匹配密度，pQ為待查詢區(qū)域的商標(biāo)密度，PLi為商標(biāo)庫中第i個(gè)商標(biāo)的商 標(biāo)密度，i e {1，…，N} ; α、β是權(quán)重系數(shù)，取α = β = 〇. 5 ; 根據(jù)得到的匹配密度PMi，利用邏輯回歸思想，給出SIFT特征與GSC特征融合的權(quán)重比 例&，計(jì)算公式如下：
其中，Wi是權(quán)重比例，且0 < Wi < 1 ;f (·)是logistic回歸方程，值域是0到1 ;TP是 密度閾值，通過在驗(yàn)證集上進(jìn)行測試，在獲得最佳識(shí)別結(jié)果時(shí)獲得； 根據(jù)得到的所述權(quán)重比例將所述待識(shí)別的圖像區(qū)域與所述商標(biāo)圖片樣本庫中的商標(biāo) 圖片的所述SIFT相似度和GSC相似度進(jìn)行個(gè)性化融合，得到所述待識(shí)別的圖像區(qū)域與所述 商標(biāo)圖片樣本庫中的商標(biāo)圖片的最終相似度SimiQd，計(jì)算公式如下：
其中，Sim&d是查詢Q和商標(biāo)Q的綜合相似度A是所述商標(biāo)圖片樣本庫N個(gè)商標(biāo) 中的第i個(gè)，i e {1，…，N}:
是所述待識(shí)別的圖像區(qū)域與 所述商標(biāo)圖片樣本庫中的商標(biāo)圖片的SIFT和GSCs相似度。
4. 根據(jù)權(quán)利要求1所述的基于商標(biāo)密度的個(gè)性化商標(biāo)匹配識(shí)別方法，其中，所述建立 SIFT詞袋模型及GSC詞袋模型的步驟進(jìn)一步包括： 對(duì)所述商標(biāo)圖片樣本庫中的所有商標(biāo)圖片分別提取SIFT特征及GSC特征； 利用HKM對(duì)所有提取的SIFT特征計(jì)算聚類中心，設(shè)置聚類中心為10, 000,將所有商標(biāo) 的SIFT特征建立詞袋模型，用倒排查找索引表示； 利用HKM對(duì)所有提取的GSC特征計(jì)算聚類中心，設(shè)置聚類中心為10, 000,將所有商標(biāo)的 GSC特征建立GSC詞袋模型，用倒排查找索引表示。
5. 根據(jù)權(quán)利要求1所述的基于商標(biāo)密度的個(gè)性化商標(biāo)匹配識(shí)別方法，其中，所述計(jì)算 待識(shí)別的圖像區(qū)域與所述商標(biāo)圖片樣本庫中的商標(biāo)圖片的SIFT相似度列表及GSC相似度 列表的步驟包括： 利用建立的所述SIFT詞袋模型及GSC詞袋模型，對(duì)所述待識(shí)別的圖像區(qū)域的SIFT特 征及GSC特征在所述倒排查找索引中進(jìn)行查找檢索，得到所述待識(shí)別的圖像區(qū)域與所述商 標(biāo)圖片樣本庫中所有商標(biāo)的相似度降序列表：BOW-SIFT排序表和BOW-GSCs排序表。
6. 根據(jù)權(quán)利要求1所述的基于商標(biāo)密度的個(gè)性化商標(biāo)匹配識(shí)別方法，其中，所述利用 得到的基于商標(biāo)密度的個(gè)性化匹配策略，將所述待識(shí)別的圖像區(qū)域與所述商標(biāo)圖片樣本庫 中的商標(biāo)圖片的SIFT相似度列表及GSC相似度列表融合，得到所述待識(shí)別的圖像區(qū)域與所 述商標(biāo)圖片樣本庫中的商標(biāo)圖片的最終相似度列表的步驟進(jìn)一步包括： 對(duì)于所述B0W-SIFT排序表中的前R個(gè)商標(biāo)，在所述BOW-GSCs排序表中獲得該商標(biāo)的 SiniGsc^QLj，之后按照最終相似度Sin^Qd的計(jì)算公式計(jì)算Sim(QLi》其中r為正 整數(shù)。 對(duì)于所述BOW-GSCs排序表中的前R個(gè)商標(biāo)，在所述B0W-SIFT排序表中獲得該商標(biāo) 的SimSIFT(QLi)，之后按照最終相似度Sirn^h)的計(jì)算公式計(jì)算SimfQq)，由此得到 2XR個(gè)商標(biāo)的綜合列表。
7. 根據(jù)權(quán)利要求6所述的基于商標(biāo)密度的個(gè)性化商標(biāo)匹配識(shí)別方法，其中R = 20。
8. 根據(jù)權(quán)利要求1所述的基于商標(biāo)密度的個(gè)性化商標(biāo)匹配識(shí)別方法，其中所述的基于 所述最終相似度列表中相似度最大且滿足相似度閾值的商標(biāo)，得到所述待識(shí)別的圖像區(qū)域 的識(shí)別結(jié)果的步驟包括： 按照相似度從大到小對(duì)得到的所述綜合列表中的商標(biāo)進(jìn)行排序，如果排序 列表中第一個(gè)商標(biāo)的相似度大于相似度閾值Tsim，則所述商標(biāo)為所述待識(shí)別的圖像區(qū)域的 識(shí)別結(jié)果，否則查詢結(jié)果為空。
9.根據(jù)權(quán)利要求1所述的基于商標(biāo)密度的個(gè)性化商標(biāo)匹配識(shí)別方法，其中所述相似度 閾值Tsim是通過將Tsim從0到1之間變化，獲得最佳F1值時(shí)確定的，其中F1為綜合評(píng)價(jià)指 標(biāo)。
【文檔編號(hào)】G06K9/00GK104156413SQ201410370305
【公開日】2014年11月19日 申請(qǐng)日期:2014年7月30日 優(yōu)先權(quán)日:2014年7月30日
【發(fā)明者】張樹武, 張淵, 梁偉 申請(qǐng)人:中國科學(xué)院自動(dòng)化研究所