一種廣告序列圖像快速檢索和分析方法
【專利摘要】本發(fā)明公開了一種廣告序列圖像快速檢索和分析方法，該方法為：利用圖像復(fù)雜度特征和決策分類樹的方法，對廣告圖像數(shù)據(jù)庫分為LOGO和場景圖像；其次，對廣告數(shù)據(jù)庫中圖像提取和存儲HOG特征和SIFT特征；提取待匹配圖像的HOG特征和SIFT特征，計算待匹配圖像與廣告數(shù)據(jù)庫中所有與其相同類型圖像的HOG特征向量的歐氏距離，并對其歐氏距離由小到大進行排序，篩選出其前S張候選圖像；計算其與待匹配圖像的SIFT特征匹配點對數(shù)并將對數(shù)最多的圖像作為待匹配圖像所對應(yīng)的圖像；針對廣告序列的待匹配圖像，計算每段廣告的時長，獲得廣告播放信息。本發(fā)明不僅保證了匹配的正確率，而且節(jié)省了運算時間，提高了圖像檢索的效率。
【專利說明】
一種廣告序列圖像快速檢索和分析方法
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于圖像匹配和檢索技術(shù)領(lǐng)域，具體涉及一種廣告序列圖像快速檢索和分析方法。
【背景技術(shù)】
[0002]目前，隨著社會經(jīng)濟的高速發(fā)展，廣告已經(jīng)成為了一種十分重要的商業(yè)宣傳和營銷手段，公司和企業(yè)投放大量廣告在電視、電影等公共媒體平臺，以獲得巨大的經(jīng)濟收益。而隨著廣告播放量的增大，廣告品類的繁多，為了監(jiān)督廣告的播放情況，獲取相關(guān)數(shù)據(jù)信息，如何準(zhǔn)確而快速的檢索廣告片段，成為一個亟待解決的問題。目前，廣告檢索大多是通過人工進行，既浪費時間又消耗人力，尤其對于海量數(shù)據(jù)庫，人工和時間成本過高。因此，針對廣告圖像的快速自動檢索方法成為當(dāng)下的一種重要的市場需求。
[0003]對于廣告圖像的檢測，通常采用基于內(nèi)容的圖像檢索技術(shù)。圖像處理中，基于內(nèi)容的圖像檢索關(guān)鍵技術(shù)是特征提取，其目的是獲得圖像本身包含的客觀視覺特性，不需要人為干預(yù)和解釋，能夠通過計算機自動實現(xiàn)對圖像特征的定位、描述和存儲。局部特征是圖像特征的局部表達，它能反映圖像上具有的局部特殊性，具有尺度不變、旋轉(zhuǎn)不變、平移不變等特點，并且對于光照及色彩變化、噪聲等具有一定的魯棒性，因此，適合利用圖像的局部信息進行圖像匹配和檢索。
[0004]角點特征是一種常用的局部特征，相應(yīng)的特征提取算子有SIFT(ScaleInvariantFeature Transform，尺度不變特征變換)、SURF(Speeded Up Robust Features，快速魯棒特征)等，可以實現(xiàn)局部特征的提取和匹配，魯棒性好，但計算復(fù)雜度高，尤其對于海量數(shù)據(jù)，無法做到高效的圖像檢索和匹配。另一種局部特征是H0G(Histogram of OrientedGrad i en t s，方向梯度直方圖)，它是根據(jù)統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征，是目前計算機視覺、模式識別領(lǐng)域很常用的一種描述圖像局部紋理的特征。HOG的計算復(fù)雜度低，對于圖像中簡單目標(biāo)物有較好的識別能力，但在處理復(fù)雜目標(biāo)物時準(zhǔn)確率明顯下降。

【發(fā)明內(nèi)容】

[0005]有鑒于此，本發(fā)明提供了一種廣告序列圖像快速檢索和分析方法，本發(fā)明不僅能夠解決圖像角度、亮度、色彩、尺度等改變帶來的影響，保證了匹配的正確率，而且節(jié)省了運算時間，提尚了圖像檢索的效率。
[0006]實現(xiàn)本發(fā)明的具體實施方案如下:
[0007]—種廣告序列圖像快速檢索和分析方法，具體步驟如下:
[0008]步驟一:廣告數(shù)據(jù)庫中圖像的分類:利用圖像復(fù)雜度特征和決策分類樹的方法，對廣告圖像數(shù)據(jù)庫進行圖像分類處理，即分為LOGO和場景圖像兩大類；
[0009]步驟二:廣告數(shù)據(jù)庫中圖像的特征提取:基于HOG算子，對廣告數(shù)據(jù)庫中圖像提取HOG特征，同時對廣告數(shù)據(jù)庫中圖像的SIFT特征進行提取，并存儲廣告數(shù)據(jù)庫中圖像的HOG特征和SIFT特征信息；
[0010]步驟三:待匹配圖像的分類和特征提取:根據(jù)圖像復(fù)雜度特征和決策分類樹的方法判定待匹配圖像的類型為LOGO或者場景圖像，提取待匹配圖像的HOG特征和SIFT特征；
[0011]步驟四:初步快速篩選廣告數(shù)據(jù)庫圖像:計算待匹配圖像與廣告數(shù)據(jù)庫中所有與其相同類型圖像的HOG特征向量的歐氏距離，并對數(shù)據(jù)庫圖像根據(jù)所獲得的歐氏距離由小到大進行排序，從排序后的數(shù)據(jù)庫中篩選出前S張數(shù)據(jù)庫圖像作為候選圖像；
[0012]步驟五:對候選圖像進行精確檢索:對S張候選圖像分別計算其與待匹配圖像的SIFT特征匹配點對數(shù)，獲得匹配點對數(shù)最多的圖像作為待匹配圖像在廣告數(shù)據(jù)庫中所對應(yīng)的圖像；
[0013]步驟六:對廣告序列的待匹配圖像進行分析:對廣告序列的待匹配圖像進行編號，按照步驟三到五，獲得每張待匹配圖像在廣告數(shù)據(jù)庫中所對應(yīng)的圖像;按數(shù)據(jù)庫中對應(yīng)的圖像所屬廣告片段的標(biāo)號為待匹配圖像進行標(biāo)號，將具有相同標(biāo)號的待匹配圖像歸為一類;針對每一類基于待匹配圖像截圖頻率和編號差，計算每段廣告的時長，最后將各段廣告內(nèi)容以及時長制表統(tǒng)計，獲得廣告播放信息。
[0014]進一步地，S的取值范圍為1<S<30。
[0015]進一步地，步驟一具體步驟包括:
[0016]第I步:利用Canny邊緣檢測的算法提取廣告數(shù)據(jù)庫中圖像的邊緣信息，根據(jù)先驗知識設(shè)置廣告數(shù)據(jù)庫中圖像中心區(qū)域的初始位置(XQ，yQ，V Qd7 O);依據(jù)初始中心區(qū)域內(nèi)的邊緣信息，對廣告數(shù)據(jù)庫中圖像的初始中心區(qū)域進行收縮，假設(shè)初始中心區(qū)域內(nèi)邊緣的坐標(biāo)為(Xi，yi)，其中i = I…L，收縮后的中心區(qū)域的準(zhǔn)確位置為:
[0017]xo=min(xi)
[0018]X7O=HiaX(Xi)
[0019]yo=min(yi)
[0020]0=max(yi)
[0021]第2步:計算收縮后的中心區(qū)域和非中心區(qū)域的邊緣比率，則有:
[0022 ]中心區(qū)域的邊緣比率=中心區(qū)域的邊緣像素數(shù)/中心區(qū)域的面積
[0023]非中心區(qū)域的邊緣比率=(圖像的邊緣像素數(shù)-中心區(qū)域的邊緣像素數(shù))/(圖像的面積-中心區(qū)域的面積)
[0024]第3步:將中心區(qū)域邊緣比率、非中心區(qū)域的邊緣比率和兩者之比作為圖像復(fù)雜度的三個特征量，再利用決策分類樹的方法將圖像分為LOGO和場景圖像兩類。
[0025]進一步地，步驟二提取待匹配圖像的HOG特征具體步驟包括:
[0026]第I步:將數(shù)據(jù)庫中每幅圖像劃分均勻分布的為FXF個相同大小的塊，且相鄰塊間是相互重疊的，每個塊記為一個細胞單元，并計算每個細胞單元的Q個梯度方向直方圖；Q為梯度方向直方圖的條數(shù)；
[0027]第2步:將每個細胞單元的的梯度方向直方圖組合起來構(gòu)成HOG特征向量，則每幅圖像的HOG特征為F X F X Q維向量。
[0028]進一步地，F(xiàn)的取值范圍為2彡F彡4，Q的取值范圍為8彡QS12。
[0029]進一步地，步驟六的具體步驟如下:
[0030]第I步:針對廣告序列的待匹配圖像，對廣告序列的待匹配圖像進行編號，按照步驟三到五，獲得每張待匹配圖像在廣告數(shù)據(jù)庫中所對應(yīng)的圖像，剔除廣告序列中待匹配圖像匹配點對數(shù)少于H的圖像；
[0031]第2步:將其余的待匹配圖像依據(jù)數(shù)據(jù)庫中對應(yīng)的圖像所述廣告片段的標(biāo)號為待匹配圖像進行標(biāo)號，且同一廣告中的圖像具有相同的標(biāo)號;統(tǒng)計具有相同標(biāo)號的圖像個數(shù)，剔除少于連續(xù)K張具有相同標(biāo)號的圖像；
[0032]第3步:根據(jù)廣告序列中待匹配圖像的截圖頻率和編號差，根據(jù)計算每段廣告的時長方法，獲得廣告段播放的時長，最后將各段廣告內(nèi)容以及時長制表統(tǒng)計，獲得廣告播放信息。
[0033]進一步地，K取3，H取4。
[0034]進一步地，每段廣告的時長的計算方法為:將分類好的圖像按照圖像的編號順序排列，選取首尾兩張圖像的編號，假設(shè)首尾兩張圖像的編號分別為ρ4Ρρη，則該段廣告所截取的圖像的數(shù)量N為N = Pn-Pl+l，根據(jù)截圖幀頻f，單位為張/秒，獲得廣告段播放的時長T =
N/f0
[0035]有益效果:
[0036](I)本發(fā)明是基于廣告片段的快速圖像匹配與檢索方法，首先將廣告數(shù)據(jù)庫中圖像和待匹配圖像進行圖像分類處理，即分為LOGO和場景圖像兩類，有利于提高后續(xù)的圖像匹配和檢索的速度及正確率；
[0037](2)本發(fā)明采用SIFT特征可以克服翻拍圖像存在的角度和尺度變化影響，魯棒性好;通過采用HOG特征初步篩選出候選圖像，再將SIFT局部特征用于精確檢索的方法，進一步提升了運算速度，同時保證了檢索正確率;其中，SIFT特征匹配過程采用雙向匹配法，有利于提高檢索結(jié)果的準(zhǔn)確性，并且采用多線程并行計算，充分利用計算機的硬件性能，改善程序運行效率，達到了快速檢索的目的。
[0038](3)本發(fā)明公開的一種廣告序列圖像快速檢索和分析方法，不僅具有較高的商業(yè)實用價值，實現(xiàn)了廣告片段的自動檢索分類和時長計算，而且可以應(yīng)用于廣告監(jiān)督、播放數(shù)據(jù)統(tǒng)計與分析、實時廣告檢索等項目，滿足該領(lǐng)域?qū)嶋H的市場需求，尤其對于海量數(shù)據(jù)庫的廣告檢索，相比于現(xiàn)有的廣告段檢索方法有明顯的速度優(yōu)勢，節(jié)省了大量人力資源和時間成本，對于其他相關(guān)的應(yīng)用也有輔助作用。
【附圖說明】
[0039]圖1為本發(fā)明實施例的序列圖像檢索和分析方法流程示意圖；
[0040]圖2為本發(fā)明實施例的HOG特征提取流程示意圖。
【具體實施方式】
[0041]下面結(jié)合附圖并舉實施例，對本發(fā)明進行詳細描述。下面結(jié)合附圖對本發(fā)明方法的實施方式做詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅用于解釋本發(fā)明，并不限定本發(fā)明。
[0042]圖1是本發(fā)明【具體實施方式】中廣告序列圖像檢索和分析方法的流程圖，具體包括如下步驟:
[0043]步驟一:廣告數(shù)據(jù)庫中圖像的分類，主要包括提取圖像的邊緣信息，確定圖像內(nèi)容的中心區(qū)域(矩形)，計算中心區(qū)域和非中心區(qū)域的邊緣比率，利用決策分類樹的方法將圖像分為LOGO和場景圖像。
[0044]第I步、利用Canny邊緣檢測的方法提取廣告數(shù)據(jù)庫中圖像的邊緣信息，因為LOGO圖像中的前景信息基本位于圖像的中心區(qū)域，因此根據(jù)經(jīng)驗設(shè)置中心區(qū)域的初始位置(xo，70,^0,7^)0根據(jù)初始中心區(qū)域內(nèi)邊緣的分布情況，使中心區(qū)域收縮，假設(shè)初始中心區(qū)域內(nèi)邊緣的坐標(biāo)為(Xl，yi)，其中? = 1...?，根據(jù)下列公式確定中心區(qū)域的準(zhǔn)確位置:
[0045]xo=min(xi)
[0046]X7O=HiaX(Xi)
[0047]yo=min(yi)
[0048]0=max(yi)
[0049 ] 第2步、計算中心區(qū)域和非中心區(qū)域的邊緣比率，公式如下:
[0050]中心區(qū)域的邊緣比率=中心區(qū)域的邊緣像素數(shù)/中心區(qū)域的面積
[0051]非中心區(qū)域的邊緣比率=(圖像的邊緣像素數(shù)-中心區(qū)域的邊緣像素數(shù))/(圖像的面積-中心區(qū)域的面積)
[0052]第3步、將中心區(qū)域邊緣比率、非中心區(qū)域的邊緣比率和兩者之比作為圖像復(fù)雜度的三個特征量，再利用決策分類樹的方法將圖像分為LOGO和場景圖像兩類。
[0053]步驟二、提取并存儲用于匹配的數(shù)據(jù)庫圖像的特征信息，這是對數(shù)據(jù)庫圖像的預(yù)處理，先將圖像大小做歸一化處理，之后提取HOG特征。實現(xiàn)步驟為:
[0054]第I步:將每幅圖像劃分為4X4個相互重疊的塊，“±夬”記為block，每個block當(dāng)做一個單元，“單元”記為cell，并計算其9個梯度方向直方圖；
[0055]第2步:將每個block的梯度方向直方圖組合起來構(gòu)成特征向量，因此每幅圖像的HOG特征為144維向量。
[0056]如圖2所示，設(shè)置HOG的滑動窗數(shù)量為4，即水平和垂直方向均由4個滑動窗填滿(部分重疊)，窗口大小為圖像尺寸的一半，實施例中設(shè)定的圖像尺寸為720 X 576，因此窗口大小為360 X 288，每次滑動的步長為144 X 114(即圖像尺寸的五分之一)。在搜索過程中，對窗口建立方向梯度直方圖，直方圖的bins設(shè)置為9，即每個滑動窗的向量維數(shù)為9，因此整幅圖像所提取到的HOG特征由9 X 4 X 4 = 144維特征向量描述。梯度方向直方圖指的是，將每個滑動窗按角度分成9份，角度步長為40°，統(tǒng)計每個方向平均梯度。將提取到的數(shù)據(jù)庫圖像的HOG特征向量存儲起來便于匹配過程中直接讀取特征信息。
[0057]之后提取數(shù)據(jù)庫圖像的SIFT特征點。本發(fā)明中采用的是DavidLowe在2004年提出的經(jīng)典SIFT特征提取算法，以特征點為中心取16 X 16的鄰域作為采樣窗口，將采樣點與特征點的相對方向通過高斯加權(quán)后歸入包含8個bin的方向直方圖，最后獲得4X4X8的128維特征描述子。將各圖像的SIFT特征點信息(每個特征點包含128維特征向量)存儲在文件中便于匹配過程直接讀取。
[0058]步驟三、待匹配圖像的分類和特征提取:根據(jù)圖像復(fù)雜度特征和決策分類樹的方法判定待匹配圖像的類型為LOGO或者場景圖像，提取待匹配圖像的HOG特征和SIFT特征；
[0059]提取待匹配廣告圖像的特征，先提取廣告截圖或翻拍圖像的SIFT特征，方法同步驟二中數(shù)據(jù)庫圖像SIFT特征提取，參數(shù)設(shè)置不變。之后，在提取HOG特征之前，對待匹配圖像做簡單的預(yù)處理，用5Χ5，σ = 3.6的高斯核對原圖做高斯濾波，再對其做中值濾波，調(diào)整圖像尺寸得到歸一化的待匹配圖像后，提取HOG特征，方法和參數(shù)設(shè)置均同步驟二。實現(xiàn)步驟如下:
[0060]第I步:根據(jù)步驟一的方法判定待匹配圖像的類型為LOGO或者場景圖像；
[0061]第2步:由于待匹配圖像多為翻拍圖像或截圖，圖像質(zhì)量不高，需要對圖像進行降噪處理，即讀取待匹配的廣告圖像，并對所述待匹配的廣告圖像進行高斯平滑和中值濾波；
[0062]第3步:對濾波后的待匹配圖像提取HOG特征和SIFT特征，并分別保存在相應(yīng)的文件中。
[0063]步驟四、初步快速篩選廣告數(shù)據(jù)庫圖像:計算待匹配圖像與廣告數(shù)據(jù)庫中所有與其相同類型圖像的HOG特征向量的歐氏距離，并對數(shù)據(jù)庫圖像根據(jù)所獲得的歐氏距離由小到大進行排序，從排序后的數(shù)據(jù)庫中篩選出前S張數(shù)據(jù)庫圖像作為候選圖像；
[0064]即根據(jù)步驟一的方法判定待匹配圖像的類型為LOGO或者場景圖像，計算待匹配圖像與廣告數(shù)據(jù)庫中所有與其相同類型圖像的HOG特征的歐氏距離，讀取步驟二中存儲的HOG特征向量，與步驟三中得到的待匹配圖像的特征向量計算歐氏距離，得到待匹配圖像與數(shù)據(jù)庫中每幅圖像的歐氏距離，存儲在向量D中。
[0065]對向量D的全部元素排序，根據(jù)距離由小到大排序后，選取前27個對應(yīng)的數(shù)據(jù)庫圖像作為候選圖像。27是本實施例中所取的一個閾值，該閾值越大，運算速率越低，但可靠性越高，其他實例可以根據(jù)具體需求調(diào)整閾值大小。
[0066]步驟五、對候選圖像進行精確檢索:對S張候選圖像分別計算其與待匹配圖像的SIFT特征匹配點對數(shù)，獲得匹配點對數(shù)最多的圖像作為待匹配圖像在廣告數(shù)據(jù)庫中所對應(yīng)的圖像；
[0067]第I步:將上述初步篩選出的S幅候選圖像與待匹配圖像做SIFT特征雙向匹配，找出匹配點對數(shù)最多的一幅圖像作為檢索結(jié)果。
[0068]第2步:為了提高SIFT特征匹配的準(zhǔn)確率，本發(fā)明采用了雙向匹配法。
[0069]第3步:由于圖像中角點數(shù)量較多和SIFT特征向量維數(shù)較大，計算量大，耗時較多，因此，為了提高運算效率，在精確檢索過程中，本發(fā)明在SIFT特征匹配時采用了并行計算的思想，即同時打開多路線程并行運行SIFT匹配過程，將S張圖像的匹配任務(wù)分配給不同線程同步進行，大大減少了運算時間。
[0070]即計算待匹配圖像與候選圖像的匹配點對數(shù)，對待匹配圖像與步驟四選取的27張數(shù)據(jù)庫圖像做SIFT特征匹配，讀取步驟一中存儲的SIFT特征，分別與待匹配圖像的SIFT特征求歐氏距離，尋找匹配點。匹配點的判斷方式如下:
[0071]計算待匹配圖像中SIFT特征Iu與一張數(shù)據(jù)庫圖像中所有SIFT特征的歐氏距離，排序后得到最小距離CU和次小距離d2，若二者滿足:dK0.eXcb，則認為構(gòu)成CU的數(shù)據(jù)庫圖像特征點k2為一個可能匹配點；之后再對可能匹配點做雙向匹配判斷，反向計算該點與待匹配圖像中所有特征點的歐氏距離，找到滿足上述距離關(guān)系式的點，若該點和1^是同一點，則認為雙向匹配成立，判定k2為匹配點。
[0072]在步驟五中，27張候選圖像的篩選過程采用了多線程并行計算的方式，本實施例中同時開啟了 4個線程，運算速度較單線程時可用提升40%?50%。
[0073]步驟六:對廣告序列的待匹配圖像進行分析:對廣告序列的待匹配圖像進行編號，按照步驟三到五，獲得每張待匹配圖像在廣告數(shù)據(jù)庫中所對應(yīng)的圖像;按數(shù)據(jù)庫中對應(yīng)的圖像所屬廣告片段的標(biāo)號為待匹配圖像進行標(biāo)號，將具有相同標(biāo)號的待匹配圖像歸為一類;針對每一類基于待匹配圖像截圖頻率和編號差，計算每段廣告的時長，最后將各段廣告內(nèi)容以及時長制表統(tǒng)計，獲得廣告播放信息。
[0074]第I步:針對廣告序列的待匹配圖像，對廣告序列的待匹配圖像進行編號，按照步驟三到五，獲得每張待匹配圖像在廣告數(shù)據(jù)庫中所對應(yīng)的圖像，剔除廣告序列中待匹配圖像匹配點對數(shù)少于4的圖像;對于匹配點個數(shù)少于4的圖像認為其可靠性較低予以剔除，SP不用來統(tǒng)計廣告段時長；
[0075]第2步:將其余的待匹配圖像進行廣告內(nèi)容的標(biāo)記，由于待匹配圖像的獲取是通過截圖或翻拍得到的，截圖和翻拍由機器按照一個特定的頻率自動完成，因此待匹配圖像序列具有一定的連續(xù)性，即連續(xù)若干張圖像均來自同一個廣告，根據(jù)這一特點將圖像檢索結(jié)果進行廣告分類。由于數(shù)據(jù)庫圖像已預(yù)先按照不同廣告進行分類存儲，提取檢索結(jié)果圖像的廣告類標(biāo)號即可將待匹配圖像序列進行歸類處理；
[0076]即將其余的待匹配圖像依據(jù)匹配結(jié)果進行廣告內(nèi)容的標(biāo)號，且同一廣告中的圖像具有相同的標(biāo)號；統(tǒng)計具有相同標(biāo)號的圖像個數(shù)，剔除少于連續(xù)K張具有相同標(biāo)號的圖像；由于待匹配圖像的獲取是通過截圖或翻拍得到的，截圖和翻拍由機器按照一個特定的頻率自動完成，因此待匹配圖像序列具有一定的連續(xù)性，即連續(xù)若干張圖像均來自同一個廣告，根據(jù)這一特點將圖像檢索結(jié)果進行廣告分類。由于數(shù)據(jù)庫圖像已預(yù)先按照不同廣告進行分類存儲，提取檢索結(jié)果圖像的廣告類標(biāo)號即可將待匹配圖像序列進行歸類處理；
[0077]第3步:針對各類廣告圖像計算廣告段的時長，由于一段廣告在播放過程中會持續(xù)一定的時間，因此所得到的截圖或翻拍圖像所屬某一廣告的張數(shù)可以反映該廣告的大致時長。統(tǒng)計具有相同標(biāo)號的圖像個數(shù)，剔除掉少于連續(xù)3張具有相同標(biāo)號的圖像，即認為同一個廣告至少有3張的連續(xù)圖像。根據(jù)廣告序列中待匹配圖像的標(biāo)號信息以及截圖頻率，基于待匹配圖像的編號差，根據(jù)計算每段廣告的時長方法，獲得廣告段播放的時長，最后將各段廣告內(nèi)容以及時長制表統(tǒng)計，獲得廣告播放信息。
[0078]即對檢索結(jié)果按照不同的廣告進行分段分類，并統(tǒng)計廣告段的長度，具體實現(xiàn)步驟，包括:
[0079 ]第I步、對步驟五中匹配出來的圖像做廣告標(biāo)記:
[0080]若匹配點個數(shù)少于4，則認為匹配結(jié)果可靠性較低，標(biāo)記為-1;
[0081]若匹配點個數(shù)大于等于4，則按照數(shù)據(jù)庫中對各個廣告片段的標(biāo)號為匹配圖像做標(biāo)記，同一廣告中的圖像具有相同的標(biāo)號；
[0082]剔除標(biāo)記為-1的匹配圖像，即后續(xù)處理中不予考慮這些圖像。
[0083]第2步、對其余已經(jīng)經(jīng)過標(biāo)記的匹配圖像進行進一步篩選，篩選方式如下:
[0084]若標(biāo)號孤立，即某張圖像的標(biāo)號和其前后兩張圖像的標(biāo)號均不相同，予以剔除；
[0085]若連續(xù)相同標(biāo)號張數(shù)少于K= 3，即某張圖像的標(biāo)號只連續(xù)出現(xiàn)兩次，則予以剔除；
[0086]對剩下的匹配圖像做下一步處理。
[0087]第3步、按標(biāo)號將匹配圖像分類，根據(jù)步驟I中提到的不同廣告段具有各自標(biāo)號的特點，將具有連續(xù)相同標(biāo)號，且滿足步驟2條件的圖像歸為一類。
[0088]第4步、由于待匹配圖像序列的獲取是通過固定幀頻截取得到的，因此通過待匹配圖像序列的編號差即可計算得到某段廣告的播放時長。將分類好的圖像按照圖像的編號順序排列，選取首尾兩張圖像的編號，假設(shè)為ρ4Ρρη，則Ν = Ρη-Ρ?+1即為該段廣告所截取的圖像的數(shù)量。根據(jù)截圖幀頻f (張/秒)，可以得到T = N/f即為廣告段播放的時長。
[0089]自此，就實現(xiàn)了廣告圖像序列的自動檢索和分類統(tǒng)計的全部過程。實驗驗證，該方法可快速實現(xiàn)圖像的匹配和檢索，廣告檢索正確率可達到90%以上，并比較準(zhǔn)確地估算了廣告片段的時長。
[0090]綜上所述，以上僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【主權(quán)項】
1.一種廣告序列圖像快速檢索和分析方法，其特征在于，具體步驟如下: 步驟一:廣告數(shù)據(jù)庫中圖像的分類:利用圖像復(fù)雜度特征和決策分類樹的方法，對廣告圖像數(shù)據(jù)庫進行圖像分類處理，即分為LOGO和場景圖像兩大類； 步驟二:廣告數(shù)據(jù)庫中圖像的特征提取:基于HOG算子，對廣告數(shù)據(jù)庫中圖像提取HOG特征，同時對廣告數(shù)據(jù)庫中圖像的SIFT特征進行提取，并存儲廣告數(shù)據(jù)庫中圖像的HOG特征和SIFT特征信息； 步驟三:待匹配圖像的分類和特征提取:根據(jù)圖像復(fù)雜度特征和決策分類樹的方法判定待匹配圖像的類型為LOGO或者場景圖像，提取待匹配圖像的HOG特征和SIFT特征； 步驟四:初步快速篩選廣告數(shù)據(jù)庫圖像:計算待匹配圖像與廣告數(shù)據(jù)庫中所有與其相同類型圖像的HOG特征向量的歐氏距離，并對數(shù)據(jù)庫圖像根據(jù)所獲得的歐氏距離由小到大進行排序，從排序后的數(shù)據(jù)庫中篩選出前S張數(shù)據(jù)庫圖像作為候選圖像； 步驟五:對候選圖像進行精確檢索:對S張候選圖像分別計算其與待匹配圖像的SIFT特征匹配點對數(shù)，獲得匹配點對數(shù)最多的圖像作為待匹配圖像在廣告數(shù)據(jù)庫中所對應(yīng)的圖像； 步驟六:對廣告序列的待匹配圖像進行分析:對廣告序列的待匹配圖像進行編號，按照步驟三到五，獲得每張待匹配圖像在廣告數(shù)據(jù)庫中所對應(yīng)的圖像;按數(shù)據(jù)庫中對應(yīng)的圖像所屬廣告片段的標(biāo)號為待匹配圖像進行標(biāo)號，將具有相同標(biāo)號的待匹配圖像歸為一類;針對每一類基于待匹配圖像截圖頻率和編號差，計算每段廣告的時長，最后將各段廣告內(nèi)容以及時長制表統(tǒng)計，獲得廣告播放信息。2.如權(quán)利要求1所述一種廣告序列圖像快速檢索和分析方法，其特征在于，S的取值范圍為 1<S<30。3.如權(quán)利要求1所述一種廣告序列圖像快速檢索和分析方法，其特征在于，步驟一具體步驟包括: 第I步:利用Canny邊緣檢測的算法提取廣告數(shù)據(jù)庫中圖像的邊緣信息，根據(jù)先驗知識設(shè)置廣告數(shù)據(jù)庫中圖像中心區(qū)域的初始位置(XQ，yQ，V Qd7 O);依據(jù)初始中心區(qū)域內(nèi)的邊緣信息，對廣告數(shù)據(jù)庫中圖像的初始中心區(qū)域進行收縮，假設(shè)初始中心區(qū)域內(nèi)邊緣的坐標(biāo)為(Xi，yi)，其中i = I…L，收縮后的中心區(qū)域的準(zhǔn)確位置為:xo=min(xi)X O — ITlclX ( Xi ) yo=min(yi) y7 o=max(yi) 第2步:計算收縮后的中心區(qū)域和非中心區(qū)域的邊緣比率，則有: 中心區(qū)域的邊緣比率=中心區(qū)域的邊緣像素數(shù)/中心區(qū)域的面積非中心區(qū)域的邊緣比率=(圖像的邊緣像素數(shù)-中心區(qū)域的邊緣像素數(shù))/(圖像的面積-中心區(qū)域的面積) 第3步:將中心區(qū)域邊緣比率、非中心區(qū)域的邊緣比率和兩者之比作為圖像復(fù)雜度的三個特征量，再利用決策分類樹的方法將圖像分為LOGO和場景圖像兩類。4.如權(quán)利要求1所述一種廣告序列圖像快速檢索和分析方法，其特征在于，步驟二提取待匹配圖像的HOG特征具體步驟包括: 第I步:將數(shù)據(jù)庫中每幅圖像劃分為均勻分布的FXF個相同大小的塊，且相鄰塊間是相互重疊的，每個塊記為一個細胞單元，并計算每個細胞單元的Q個梯度方向直方圖；Q為梯度方向直方圖的條數(shù)； 第2步:將每個細胞單元的的梯度方向直方圖組合起來構(gòu)成HOG特征向量，則每幅圖像的HOG特征為F X F X Q維向量。5.如權(quán)利要求4所述一種廣告序列圖像快速檢索和分析方法，其特征在于，F(xiàn)的取值范圍為2彡F彡4，Q的取值范圍為8彡QS12。6.如權(quán)利要求1所述一種廣告序列圖像快速檢索和分析方法，其特征在于，步驟六的具體步驟如下: 第I步:對廣告序列的待匹配圖像進行編號，按照步驟三到五，獲得每張待匹配圖像在廣告數(shù)據(jù)庫中所對應(yīng)的圖像，剔除廣告序列中待匹配圖像匹配點對數(shù)少于H的圖像； 第2步:將其余的待匹配圖像依據(jù)數(shù)據(jù)庫中對應(yīng)的圖像所述廣告片段的標(biāo)號為待匹配圖像進行標(biāo)號，且同一廣告中的圖像具有相同的標(biāo)號；統(tǒng)計具有相同標(biāo)號的圖像個數(shù)，剔除少于連續(xù)K張具有相同標(biāo)號的圖像； 第3步:根據(jù)廣告序列中待匹配圖像的截圖頻率和編號差，基于計算每段廣告的時長方法，獲得廣告段播放的時長，最后將各段廣告內(nèi)容以及時長制表統(tǒng)計，獲得廣告播放信息。7.如權(quán)利要求6所述一種廣告序列圖像快速檢索和分析方法，其特征在于，K取3，H取4。8.如權(quán)利要求6所述一種廣告序列圖像快速檢索和分析方法，其特征在于，每段廣告的時長的計算方法為:將分類好的圖像按照圖像的編號順序排列，選取首尾兩張圖像的編號，假設(shè)首尾兩張圖像的編號分別為ρ4Ρρη，則該段廣告所截取的圖像的數(shù)量N為N = Pn-Pl+l，根據(jù)截圖幀頻f，單位為張/秒，獲得廣告段播放的時長T = N/f。
【文檔編號】G06F17/30GK106066887SQ201610407270
【公開日】2016年11月2日
【申請日】2016年6月12日 公開號201610407270.3, CN 106066887 A, CN 106066887A, CN 201610407270, CN-A-106066887, CN106066887 A, CN106066887A, CN201610407270, CN201610407270.3
【發(fā)明人】李慧琦, 汪淑夢, 康杰靚
【申請人】北京理工大學(xué)