一種視頻特征提取方法、視頻匹配方法及裝置的制造方法
【專利摘要】本發(fā)明實施例公開了視頻特征提取方法，包括：將輸入的視頻進行幀率變換，得到預(yù)設(shè)幀率的視頻圖片；將視頻圖片進行灰度處理，并將灰度處理后的圖片進行時域信息代表圖像的轉(zhuǎn)換，得到第一圖片；將第一圖片進行抗噪變化，得到第一圖片對應(yīng)的多張第二圖片；分別對每張第二圖片進行分割，得到各自對應(yīng)的具有相等區(qū)域大小的M個圖片區(qū)域，并分別提取M個圖片區(qū)域的顏色空間特征；M為大于1的整數(shù)；對提取的顏色空間特征進行二值化處理，并按照預(yù)設(shè)的排序規(guī)則進行排序后得到視頻的二值特征序列。本發(fā)明還公開了視頻匹配方法及相關(guān)裝置，采用本發(fā)明有效解決了現(xiàn)有技術(shù)方案提取的視頻特征抗噪能力不佳的技術(shù)問題，可以快速地完成版權(quán)檢測。
【專利說明】
一種視頻特征提取方法、視頻匹配方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計算機通信領(lǐng)域，尤其一種視頻特征提取方法、視頻匹配方法、視頻特 征提取裝置以及視頻匹配裝置。
【背景技術(shù)】
[0002] 隨著多媒體技術(shù)的發(fā)展，特別是互聯(lián)網(wǎng)已成為日常生活不可缺少的一部分，視頻 內(nèi)容變得越來越豐富，同時盜版視頻也成倍出現(xiàn)。在多媒體版權(quán)保護中，版權(quán)鑒別者需要從 大量的視頻數(shù)據(jù)中，快速有效地檢測到可能存在的拷貝并判斷內(nèi)容的所有權(quán)，這就需要對 視頻進行指紋或特征提取等內(nèi)容檢索。
[0003] 現(xiàn)有技術(shù)中利用基于內(nèi)容的版權(quán)檢測(Content-Based Copy Detection，CBQ))對 視頻的版權(quán)進行保護，當(dāng)前基于內(nèi)容的版權(quán)檢測最主要分為兩種:基于空間顏色的視頻指 紋(或視頻特征），以及基于特征提取的視頻指紋(或視頻特征）。
[0004] 基于空間顏色的視頻指紋基本上是利用圖片在某個時間段，特定區(qū)域的直方圖。 但是顏色的特征會根據(jù)視頻的不同格式而改變，從而導(dǎo)致基于顏色的視頻指紋不具有高的 抗噪能力，如添加商標(biāo)，黑邊等的變化。
[0005] 基于特征的視頻指紋具有代表性的有二維離散余弦變換（2D_Discrete Cosine Transform，DCT)的視頻指紋。通過2D-DCT轉(zhuǎn)變后的視頻指紋變成一個二維的向量，從而代 表了視頻在某一個區(qū)域的特征。對比起顏色空間的指紋，基于DCT的特征視頻指紋對于視頻 格式引起的顏色空間有一定的抗噪能力。但DCT的特征指紋對于視頻的壓縮，商標(biāo)，黑邊添 加，旋轉(zhuǎn)等的變化抗噪能力不佳。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明實施例所要解決的技術(shù)問題在于，提供一種視頻特征提取方法、視頻匹配 方法、視頻特征提取裝置以及視頻匹配裝置，有效解決了現(xiàn)有技術(shù)方案提取的視頻特征抗 噪能力不佳的技術(shù)問題。
[0007] 為了解決上述技術(shù)問題，本發(fā)明實施例第一方面公開了一種視頻特征提取方法， 包括：
[0008] 將輸入的視頻進行幀率變換，得到預(yù)設(shè)幀率的視頻圖片；
[0009] 將所述視頻圖片進行灰度處理，并將灰度處理后的圖片進行時域信息代表圖像的 轉(zhuǎn)換，得到第一圖片；
[0010] 將所述第一圖片進行抗噪變化，得到所述第一圖片對應(yīng)的多張第二圖片；
[0011] 分別對每張第二圖片進行分割，得到各自對應(yīng)的具有相等區(qū)域大小的M個圖片區(qū) 域，并分別提取所述M個圖片區(qū)域的顏色空間特征;所述M為大于1的整數(shù)；
[0012] 對提取的所述顏色空間特征進行二值化處理，并按照預(yù)設(shè)的排序規(guī)則進行排序后 得到所述視頻的二值特征序列。
[0013] 本發(fā)明實施例第二方面公開了一種視頻匹配方法，包括：
[0014] 提取輸入的第一視頻的二值特征序列；
[0015] 將所述第一視頻的二值特征序列與特征庫中存儲的第二視頻的二值特征序列進 行匹配，并輸出漢明距離小于預(yù)設(shè)閾值的特征對應(yīng)的視頻信息；
[0016] 其中，所述第一視頻的二值特征序列和所述第二視頻的二值特征序列為通過上述 第一方面中視頻特征提取方法提取出的特征序列。
[0017] 本發(fā)明實施例第三方面公開了一種視頻特征提取裝置，包括：
[0018] 幀率變換模塊，用于將輸入的視頻進行幀率變換，得到預(yù)設(shè)幀率的視頻圖片；
[0019] 灰度處理模塊，用于將所述視頻圖片進行灰度處理；
[0020] 時域變換模塊，用于并將灰度處理后的圖片進行時域信息代表圖像的轉(zhuǎn)換，得到 第一圖片；
[0021] 抗噪變化模塊，用于將所述第一圖片進行抗噪變化，得到所述第一圖片對應(yīng)的多 張第二圖片；
[0022] 分割模塊，用于分別對每張第二圖片進行分割，得到各自對應(yīng)的具有相等區(qū)域大 小的M個圖片區(qū)域；
[0023] 特征提取模塊，用于分別提取所述M個圖片區(qū)域的顏色空間特征;所述M為大于1的 整數(shù)；
[0024]二值化處理模塊，用于對提取的所述顏色空間特征進行二值化處理，并按照預(yù)設(shè) 的排序規(guī)則進行排序后得到所述視頻的二值特征序列。
[0025] 本發(fā)明實施例第四方面公開了一種視頻匹配裝置，特征序列提取模塊，用于提取 輸入的第一視頻的二值特征序列；
[0026] 匹配輸出模塊，用于將所述第一視頻的二值特征序列與特征庫中存儲的第二視頻 的二值特征序列進行匹配，并輸出漢明距離小于預(yù)設(shè)閾值的特征對應(yīng)的視頻信息；
[0027] 其中，所述特征序列提取模塊包括上述第三方面的視頻特征提取裝置;所述第一 視頻的二值特征序列和所述第二視頻的二值特征序列為通過所述視頻特征提取裝置提取 出的特征序列。
[0028] 本發(fā)明實施例第五方面公開了一種電子設(shè)備，包括處理器、存儲器以及輸入裝置 和輸出裝置;其中，所述處理器通過執(zhí)行所述存儲器中存儲的視頻特征提取程序，執(zhí)行上述 第一方面中的視頻特征提取方法的全部步驟。
[0029] 本發(fā)明實施例第六方面公開了一種電子設(shè)備，包括處理器、存儲器以及輸入裝置 和輸出裝置;其中，所述處理器通過執(zhí)行所述存儲器中存儲的視頻匹配程序，執(zhí)行上述第一 方面中的視頻匹配方法的全部步驟。
[0030] 實施本發(fā)明實施例，通過將輸入的視頻進行幀率變換，然后將視頻圖片進行灰度 處理，并進行時域信息代表圖像的轉(zhuǎn)換得到第一圖片，然后將第一圖片進行抗噪變化，得到 第一圖片對應(yīng)的多張第二圖片;并分別對每張第二圖片進行分割，得到各自對應(yīng)的具有相 等區(qū)域大小的M個圖片區(qū)域，并分別提取所述M個圖片區(qū)域的顏色空間特征并進行二值化處 理，最終按照預(yù)設(shè)的排序規(guī)則進行排序后得到視頻的二值特征序列，有效解決了現(xiàn)有技術(shù) 方案提取的視頻特征抗噪能力不佳的技術(shù)問題，相對于現(xiàn)有技術(shù)的基于空間顏色的視頻指 紋，具有更高的抗噪能力，不僅能處理視頻空間的變化，如旋轉(zhuǎn)，縮放等，而且也能很好地處 理局部變化，如商標(biāo)，黑邊等;相對于現(xiàn)有技術(shù)中基于特征的視頻指紋，具有高效的處理能 力，能夠快速地進行特征提取，并便于后續(xù)進行快速地視頻匹配，已快速地完成版權(quán)檢測。
【附圖說明】
[0031] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0032] 圖1是本發(fā)明實施例提供的視頻特征提取方法的流程示意圖；
[0033] 圖2是本發(fā)明實施例提供的圖片分割的示意圖；
[0034] 圖3是本發(fā)明實施例的對圖片進行抗噪變化的流程示意圖；
[0035] 圖4是本發(fā)明實施例提供的特征提取和二值化處理的流程示意圖；
[0036] 圖5是本發(fā)明實施例提供的視頻匹配方法的流程示意圖；
[0037] 圖6是本發(fā)明提供的視頻匹配方法的另一實施例的流程示意圖；
[0038] 圖7是本發(fā)明提供的最小二乘法的幾何意義的原理示意圖；
[0039] 圖8是本發(fā)明實施例提供的視頻特征提取裝置的結(jié)構(gòu)示意圖；
[0040] 圖9是本發(fā)明實施例提供的抗噪變化模塊的結(jié)構(gòu)示意圖；
[0041 ]圖10是本發(fā)明實施例提供的二值化處理模塊的結(jié)構(gòu)示意圖；
[0042]圖11是本發(fā)明提供的二值化處理模塊的另一實施例的結(jié)構(gòu)示意圖；
[0043] 圖12是本發(fā)明提供的視頻特征提取裝置的另一實施例的結(jié)構(gòu)示意圖；
[0044] 圖13是本發(fā)明提供的視頻特征提取裝置的另一實施例的結(jié)構(gòu)示意圖；
[0045] 圖14是本發(fā)明實施例提供的視頻匹配裝置的結(jié)構(gòu)示意圖；
[0046] 圖15是本發(fā)明實施例提供的匹配輸出模塊的結(jié)構(gòu)示意圖；
[0047] 圖16是本發(fā)明提供的視頻匹配裝置的另一實施例的結(jié)構(gòu)示意圖；
[0048] 圖17是本發(fā)明提供的視頻匹配裝置的另一實施例的結(jié)構(gòu)示意圖。
【具體實施方式】
[0049]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；?本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他 實施例，都屬于本發(fā)明保護的范圍。
[0050] 參見圖1，是本發(fā)明實施例提供的視頻特征提取方法的流程示意圖，包括以下步 驟：
[0051] 步驟S100:將輸入的視頻進行幀率變換，得到預(yù)設(shè)幀率的視頻圖片；
[0052]具體地，對輸入的視頻在時間上進行幀率變換，得到每秒J幀(預(yù)設(shè)幀率)的視頻圖 片;該J為正整數(shù)，例如該預(yù)設(shè)幀率J幀/秒可以為5幀/秒，本發(fā)明實施例不限定J的大小，用 戶可以根據(jù)自身需求或經(jīng)驗數(shù)據(jù)等來設(shè)置J的大小。
[0053]步驟S102:將所述視頻圖片進行灰度處理，并將灰度處理后的圖片進行時域信息 代表圖像的轉(zhuǎn)換，得到第一圖片；
[0054]具體地，對J幀圖片進行灰度處理，得到灰度處理后的圖片，例如得到黑白圖片;然 后對該灰度處理后的圖片進行時域信息代表圖像（Temporal Informative Representative Image，TIRI)的轉(zhuǎn)換，其中可以通過以下公式1來轉(zhuǎn)換：
公式1
[0056]其中，pu.p)是第i個圖像的像素值。Wl是系數(shù)，系數(shù)的計算可以是常數(shù)，也可以是 基于其它模形計算出來的值，如直線，指數(shù)曲線等?；赥IRI轉(zhuǎn)換之后，得到每秒僅有一個 TIRI的圖片（即第一圖片），可以為后續(xù)增加視頻指紋的高效性和抗噪能力打下基礎(chǔ)。
[0057]步驟S104:將所述第一圖片進行抗噪變化，得到所述第一圖片對應(yīng)的多張第二圖 片；
[0058] 具體地，本發(fā)明實施例為了提高顏色空間指紋的魯棒性，在視頻特征（即視頻指 紋)提取之前進行抗噪變化，組成具有抗噪的多個樣本（即多張第二圖片）作為后續(xù)指紋匹 配的樣本。
[0059] 步驟S106:分別對每張第二圖片進行分割，得到各自對應(yīng)的具有相等區(qū)域大小的M 個圖片區(qū)域，并分別提取所述M個圖片區(qū)域的顏色空間特征;所述M為大于1的整數(shù)；
[0060] 具體地，可以將第二圖片分割成P*Q個相等區(qū)域的圖片區(qū)域，該P*Q的大小即為該 M，該P和Q為大于等于1的正整數(shù)，且P和Q不同時等于1;如圖2示出的本發(fā)明實施例提供的圖 片分割的示意圖，以P和Q都等于4為例，可以將第二圖片分割成4*4個相等區(qū)域的圖片區(qū)域； 然后分別提取該16個圖片區(qū)域的顏色空間特征。可理解的是，步驟S106是分別對每張第二 圖片進行分割和特征提取，因此分別得到多張第二圖片各自的M個圖片區(qū)域的顏色空間特 征。
[0061]步驟S108:對提取的所述顏色空間特征進行二值化處理，并按照預(yù)設(shè)的排序規(guī)則 進行排序后得到所述視頻的二值特征序列。
[0062]具體地，本發(fā)明實施例中的二值化處理可以包括對特征進行平均分割，或其它分 割方式(如中值分割等)來轉(zhuǎn)變，得到每個圖片區(qū)域?qū)?yīng)的二值特征Bx,y，其中該x的取值可 以依次為0至P-l，y的取值可以依次為1至Q。本發(fā)明實施例中的預(yù)設(shè)的排序規(guī)則可以包括但 不限于如下排序方式：
[0063]以P和Q都等于4為例，排序后的該視頻的二值特征序列可以為 Bl,l，，Bl,2,，Bl,3,，Bl,4,，B2,1，，B2,2,，B2,3,，B2,4,，B3,1，，B3,2,，B3,3,，B3,4。排序后的該視頻的二 值特征序列還可以為1^(),1，131,1，132,1，133,1，，13(),2，，131,2，，132,2，，133,2，，13(),3，，131,3，，132,3，，133,3，， B〇,4,，Bl,4,，B2,4,，B4,4。又或者以上排序的倒序等等。
[0064] 可理解的是，每張第二圖片對應(yīng)的各自的二值特征序列，即多張第二圖片對應(yīng)的 多個二值特征序列，組成該視頻的二值特征序列。
[0065] 實施本發(fā)明實施例，通過將輸入的視頻進行幀率變換，然后將視頻圖片進行灰度 處理，并進行時域信息代表圖像的轉(zhuǎn)換得到第一圖片，然后將第一圖片進行抗噪變化，得到 第一圖片對應(yīng)的多張第二圖片;并分別對每張第二圖片進行分割，得到各自對應(yīng)的具有相 等區(qū)域大小的M個圖片區(qū)域，并分別提取所述M個圖片區(qū)域的顏色空間特征并進行二值化處 理，最終按照預(yù)設(shè)的排序規(guī)則進行排序后得到視頻的二值特征序列，有效解決了現(xiàn)有技術(shù) 方案提取的視頻特征抗噪能力不佳的技術(shù)問題，相對于現(xiàn)有技術(shù)的基于空間顏色的視頻指 紋，具有更高的抗噪能力，不僅能處理視頻空間的變化，如旋轉(zhuǎn)，縮放等，而且也能很好地處 理局部變化，如商標(biāo)，黑邊等;相對于現(xiàn)有技術(shù)中基于特征的視頻指紋，具有高效的處理能 力，能夠快速地進行特征提取，并便于后續(xù)進行快速地視頻匹配，已快速地完成版權(quán)檢測。
[0066] 進一步地，結(jié)合圖3示出的本發(fā)明實施例的對圖片進行抗噪變化的流程示意圖，詳 細說明本發(fā)明如何對該第一圖片進行抗噪變化，得到該第一圖片對應(yīng)的多張第二圖片，可 以包括以下步驟：
[0067] 步驟S300:當(dāng)檢測到所述第一圖片存在黑邊時，刪除所述第一圖片中的黑邊；
[0068] 具體地，可以先對該第一圖片進行黑邊檢測，當(dāng)檢測到該第一圖片存在黑邊（即固 定的黑色區(qū)域時），即刪除該第一圖片中的黑邊，若監(jiān)測不到該第一圖片存在黑邊，可以直 接執(zhí)行步驟S302。
[0069] 步驟S302:對所述第一圖片以預(yù)設(shè)角度和方向進行多次旋轉(zhuǎn)，得到多張第二圖片； 其中每次旋轉(zhuǎn)后的圖片對應(yīng)一張第二圖片；
[0070] 具體地，本發(fā)明實施例不限定預(yù)設(shè)角度R°以及n次旋轉(zhuǎn)的大小，也不限定旋轉(zhuǎn)的方 向。例如可以順時針對該第一圖片進行每次30°的旋轉(zhuǎn)，旋轉(zhuǎn)5次，得到5張第二圖片;或者進 行每次40°的旋轉(zhuǎn)，旋轉(zhuǎn)6次，得到6張第二圖片，等等。其中R*n的大小可以小于360。
[0071] 步驟S304:分別對所述第二圖片進行裁剪和/或縮放處理，得到預(yù)設(shè)寬高的第二圖 片。
[0072] 具體地，本發(fā)明實施例中的第二圖片為矩形圖片，本發(fā)明實施例不限定預(yù)設(shè)寬高 W*H的大小，用戶可以根據(jù)自身需求或經(jīng)驗數(shù)據(jù)等來設(shè)置W和H的大小，該W和H為正數(shù)。若經(jīng) 過步驟S302直接得到的第二圖片的寬高比與該預(yù)設(shè)寬高W*H的寬高比相同時，可以不對該 第二圖片進行裁剪，直接將該第二圖片的寬高縮放成該預(yù)設(shè)寬高W*H即可，否則需要對該第 二圖片經(jīng)過裁剪和縮放后，將寬高調(diào)整為該預(yù)設(shè)寬高W和H;若經(jīng)過步驟S302直接得到的第 二圖片的寬高與該預(yù)設(shè)寬高W*H-致時，可以無需進行裁剪和縮放處理，也就是說本發(fā)明實 施例不一定執(zhí)行步驟S304。
[0073] 需要說明的是，優(yōu)選地通過圖3實施例的方式來實現(xiàn)對圖片進行抗噪變化可以快 速高效地在視頻特征提取之前完成抗噪變化，不但提高了顏色空間指紋的魯棒性，而且提 高了整個視頻提取過程的效率。但本發(fā)明實施例不限定于圖3實施例的方式，其它可以提高 顏色空間指紋(或顏色空間特征）的魯棒性的抗噪變化的實施方式都落入本發(fā)明視頻特征 提取的技術(shù)方案的保護范圍中。
[0074] 再進一步地，結(jié)合圖4示出的本發(fā)明實施例提供的特征提取和二值化處理的流程 示意圖，舉例說明上述步驟S106中分別提取M個圖片區(qū)域的顏色空間特征以及步驟S108的 實施方式，可以包括如下步驟：
[0075]步驟S400:分別計算所述M個圖片區(qū)域的像素平均值；
[0076]具體地，以P和Q都等于4為例，可以將第二圖片分割成4*4個相等區(qū)域的圖片區(qū)域， 也就是說M等于16,分別計算該16個圖片區(qū)域的像素平均值A(chǔ)x,y，其中該x的取值可以依次為 0至P-1，y的取值可以依次為1至Q。
[0077]步驟S402:將屬于同一個第二圖片中的M個圖片區(qū)域的像素平均值分別與整張所 述第二圖片的像素平均值進行對比，轉(zhuǎn)換成二值特征；
[0078]具體地，本實施例通過平均分割為例，來進行二值化處理。系統(tǒng)可以預(yù)先計算整張 第二圖片的像素平均值C，然后通過以下公式2,將特征轉(zhuǎn)變?yōu)槎堤卣鳎?% 紙v>c
[0079] B - < x，)' [L if^y<C： 公式 2
[0080] 在轉(zhuǎn)變之后，為增加局部不相似的抗噪能力，本發(fā)明實施例可以將特征的組合分 為兩種，全局二值特征序列和局部二值特征序列兩種，具體如步驟S404至步驟S410。
[0081] 步驟S404:將得到的M個二值特征按照預(yù)設(shè)的排序規(guī)則進行排序后得到所述視頻 對應(yīng)的全局二值特征序列；
[0082]具體地，將得到的全部二值特征(如步驟S400的舉例為16個二值特征)按照預(yù)設(shè)的 排序規(guī)則進行排序后得到該視頻對應(yīng)的全局二值特征序列，具體的排序方式可以參考上述 圖1實施例中步驟S108中的描述，這里不再贅述。
[0083]步驟S406:從屬于同一個第二圖片中的M個圖片區(qū)域中提取K個圖片區(qū)域;所述K為 大于0,小于所述M的整數(shù)；
[0084] 具體地，同樣地如步驟S400,以M等于16為例，可以提取K個圖片區(qū)域，該K為大于0， 小于16的整數(shù)，例如15、14等。用戶可以根據(jù)視頻的實際情況來確認K的大小以及位置，例如 一般情況下視頻的右上角或左上角存在商標(biāo)圖樣，那么可以提取除該右上角或左上角區(qū)域 的其它區(qū)域作為K個圖片區(qū)域。
[0085]可理解的是，本發(fā)明實施例是通過將第一圖片進行抗噪變化，得到該第一圖片對 應(yīng)的多張第二圖片，那么步驟S406中每次提取的該K個圖片區(qū)域為同屬于一個第二圖片的 圖片區(qū)域，因此后續(xù)得到的每個局部二值特征序列也是對應(yīng)一個第二圖片；而且對同一張 第二圖片提取的位置不同，可以得到不同的K個圖片區(qū)域，例如K為15,但提取的圖片區(qū)域的 位置不同，可以得到不同的長度為15的局部二值特征序列。
[0086]步驟S408:將所述K個圖片區(qū)域的像素平均值分別與整張所述第二圖片的像素平 均值進行對比，轉(zhuǎn)換成二值特征；
[0087] 具體地，同樣可以通過公式2來計算出K個二值特征。
[0088] 步驟S410:將得到的K個二值特征按照預(yù)設(shè)的排序規(guī)則進行排序后得到所述視頻 對應(yīng)的局部二值特征序列；
[0089] 具體地，將得到的K個二值特征(如15或14個二值特征)按照預(yù)設(shè)的排序規(guī)則進行 排序后得到該視頻對應(yīng)的局部二值特征序列，具體的排序方式可以參考上述圖1實施例中 步驟S108中的描述，這里不再贅述。
[0090] 步驟S412:將所述全局二值特征序列和所述局部二值特征序列分層單獨存儲，其 中長度相同的二值特征序列存儲在同一層中。
[0091] 具體地，經(jīng)過全局和局部的二值特征提取后，可以將特征分層來單獨存儲，將長度 相同的二值特征序列存儲在同一層中，也就是說，不同長度的二值特征序列存儲在不同的 層里。以M等于16為例，全局二值特征序列的長度為16,若進行了 K=15個圖片區(qū)域提取后， 并且進行了多次圖片區(qū)域位置不同的提取，那么可以得到多個不同的長度為15的局部二值 特征序列，將該多個長度為15的局部二值特征序列單獨存儲在同一層中，而將長度為14的 局部二值特征序列單獨存儲在另一層中，以實現(xiàn)分層單獨存儲。
[0092]需要說明的是，再以M等于16為例，若分別提取了 15個和14個圖片區(qū)域，且對15個 圖片區(qū)域提取時進行了 3次不同圖片區(qū)域位置的提取，即得到3個不同的長度為15的局部二 值特征序列，而對14個圖片區(qū)域提取時進行了5次不同圖片區(qū)域位置的提取，即得到5個不 同的長度為15的局部二值特征序列，那么對二值特征序列的存儲可以分3層，其中一層存儲 16個全局二值特征序列，另一層存儲3個不同的15個全局二值特征序列，另一層存儲5個不 同的14個全局二值特征序列。
[0093] 還需要說明的是，存儲的視頻特征信息可以包括視頻的標(biāo)識，視頻的時間信息、以 及每個時間點對應(yīng)的視頻特征;本發(fā)明實施例在存儲視頻特征信息時可以通過倒排表的方 式（Invert Index Fi 1 e，IIF)建造索引來進行存儲，也就是說，按照視頻特征、視頻的時間 信息到視頻的標(biāo)識的索引順序來存儲，那么后續(xù)的視頻匹配可以從比較視頻特征開始，然 后再獲取匹配的視頻的時間信息，最終獲取對應(yīng)的哪個視頻。
[0094] 實施本發(fā)明實施例，通過將輸入的視頻進行幀率變換，然后將視頻圖片進行灰度 處理，并進行時域信息代表圖像的轉(zhuǎn)換得到第一圖片，然后將第一圖片進行抗噪變化，得到 第一圖片對應(yīng)的多張第二圖片;并分別對每張第二圖片進行分割，得到各自對應(yīng)的具有相 等區(qū)域大小的M個圖片區(qū)域，并分別提取所述M個圖片區(qū)域的顏色空間特征并進行二值化處 理，最終按照預(yù)設(shè)的排序規(guī)則進行排序后得到視頻的二值特征序列，有效解決了現(xiàn)有技術(shù) 方案提取的視頻特征抗噪能力不佳的技術(shù)問題，相對于現(xiàn)有技術(shù)的基于空間顏色的視頻指 紋，具有更高的抗噪能力，不僅能處理視頻空間的變化，如旋轉(zhuǎn)，縮放等，而且也能很好地處 理局部變化，如商標(biāo)，黑邊等;相對于現(xiàn)有技術(shù)中基于特征的視頻指紋，具有高效的處理能 力，能夠快速地進行特征提取，并便于后續(xù)進行快速地視頻匹配，已快速地完成版權(quán)檢測。
[0095] 再進一步地，如圖5示出的本發(fā)明實施例提供的視頻匹配方法的流程示意圖，詳細 說明本發(fā)明的視頻匹配方法的技術(shù)方案，包括以下步驟：
[0096] 步驟S500:提取輸入的第一視頻的二值特征序列；
[0097] 具體地，對該第一視頻的特征提取為通過上述圖1至圖4任意實施例的方式來提取 出的二值特征序列，這里不再贅述。
[0098]步驟S502:將所述第一視頻的二值特征序列與特征庫中存儲的第二視頻的二值特 征序列進行匹配，并輸出漢明距離小于預(yù)設(shè)閾值的特征對應(yīng)的視頻信息；
[0099] 具體地，該特征庫中存儲的第二視頻的二值特征序列也為通過上述圖1至圖4任意 實施例的方式來提取出并進行存儲的二值特征序列，這里不再贅述;將相同長度的第一視 頻的二值特征序列與第二視頻的二值特征序列進行比對，求漢明距離，從而輸出漢明距離 小于預(yù)設(shè)閾值的特征對應(yīng)的視頻信息，本發(fā)明實施例中該視頻信息可以包括該第一視頻的 時間點與該第二視頻的時間點的時域匹配信息，例如得出第一視頻的第5秒的視頻內(nèi)容（即 視頻圖片)與第二視頻的第1 〇秒的視頻內(nèi)容匹配，第一視頻的第8秒的視頻內(nèi)容與第二視頻 的第23秒的視頻內(nèi)容匹配，等等。
[0100] 實施本發(fā)明實施例，在提取視頻特征的過程中通過將輸入的視頻進行幀率變換， 然后將視頻圖片進行灰度處理，并進行時域信息代表圖像的轉(zhuǎn)換得到第一圖片，然后將第 一圖片進行抗噪變化，得到第一圖片對應(yīng)的多張第二圖片;并分別對每張第二圖片進行分 害J，得到各自對應(yīng)的具有相等區(qū)域大小的M個圖片區(qū)域，并分別提取所述M個圖片區(qū)域的顏 色空間特征并進行二值化處理，最終按照預(yù)設(shè)的排序規(guī)則進行排序后得到視頻的二值特征 序列，有效解決了現(xiàn)有技術(shù)方案提取的視頻特征抗噪能力不佳的技術(shù)問題，相對于現(xiàn)有技 術(shù)的基于空間顏色的視頻指紋，具有更高的抗噪能力，不僅能處理視頻空間的變化，如旋 轉(zhuǎn)，縮放等，而且也能很好地處理局部變化，如商標(biāo)，黑邊等;相對于現(xiàn)有技術(shù)中基于特征的 視頻指紋，具有高效的處理能力，能夠快速地進行特征提取，因此能夠?qū)崿F(xiàn)快速視頻匹配， 已快速地完成版權(quán)檢測。
[0101] 進一步地，當(dāng)該特征庫分層存儲有該第二視頻的全局二值特征序列和局部二值特 征序列時，其中長度相同的二值特征序列存儲在同一層中；那么步驟S502可以具體包括:針 對每個第一視頻的二值特征序列，在該特征庫中查找出對應(yīng)的層數(shù);其中，該層數(shù)中存儲的 該第二視頻的二值特征序列的長度與該第一視頻的二值特征序列的長度相同；分別將每個 第一視頻的二值特征序列與各自對應(yīng)的層數(shù)中的該第二視頻的二值特征序列進行匹配。
[0102] 具體地，如對長度為15的第一視頻的二值特征序列進行匹配時，從該特征庫中查 找出對應(yīng)的層數(shù)，該層數(shù)存儲的第二視頻的二值特征序列的長度都為15,然后將該第一視 頻的二值特征序列與該層數(shù)中的各個第二視頻的二值特征序列進行匹配，輸出匹配結(jié)果。 如對長度為14的第一視頻的二值特征序列進行匹配時，從該特征庫中查找出對應(yīng)的層數(shù)， 該層數(shù)存儲的第二視頻的二值特征序列的長度都為14,然后將該第一視頻的二值特征序列 與該層數(shù)中的各個第二視頻的二值特征序列進行匹配，輸出匹配結(jié)果。由于特征庫中存儲 的局部二值特征序列是從整張原視頻圖片中提取的一些圖片區(qū)域而生成的二值特征序列， 且提取的圖片區(qū)域位置可以是多樣，因此全局二值特征有效解決了現(xiàn)有技術(shù)方案提取的視 頻特征抗噪能力不佳的技術(shù)問題，不僅能處理視頻空間的變化，如旋轉(zhuǎn)，縮放等，而且也能 很好地處理局部變化，如商標(biāo)，黑邊等。
[0103] 再進一步地，如圖6示出的本發(fā)明提供的視頻匹配方法的另一實施例的流程示意 圖，包括以下步驟：
[0104] 步驟S600:提取輸入的第一視頻的二值特征序列；
[0105]步驟S602:將所述第一視頻的二值特征序列與特征庫中存儲的第二視頻的二值特 征序列進行匹配，并輸出漢明距離小于預(yù)設(shè)閾值的特征對應(yīng)的視頻信息；
[0106] 具體地，步驟S600和步驟S602可以對應(yīng)參考上述步驟S500和步驟S502的描述，這 里不再贅述。
[0107] 步驟S604:根據(jù)所述時域匹配信息，通過預(yù)設(shè)的時間點映射算法進行時域匹配分 析，得出所述第一視頻中第一時長與所述第二視頻中第二時長的匹配關(guān)系。
[0108] 具體地，本發(fā)明實施例中的時間點映射算法可以包括但不限于時域縮放和/或偏 移算法、時域曲線算法等，優(yōu)選地，本發(fā)明采用線性的時域縮放和/或偏移算法，例如可以將 多組匹配的該第一視頻的時間點x和該第二視頻的時間點y代入公式ax+by = c，利用最小二 乘法計算出a、b和c，然后根據(jù)a、b和c計算得到該第一視頻中第一時長與該第二視頻中第二 時長的匹配關(guān)系。
[0109] 再具體地，本發(fā)明實施例中以預(yù)設(shè)的時間點映射算法為以下公式3為例進行說明：
[0110] ax+by = c 公式 3
[0111] 其中，該X為輸入的第一視頻的視頻時間點，該y為特征庫中存儲的第二視頻（即原 視頻)的視頻時間點。那么步驟S602中輸出的時域匹配信息至少包括2個以上的匹配信息才 能求解公式3中的未知數(shù)值，例如輸出的時域匹配信息包括:第一視頻的第5秒的視頻內(nèi)容 與第二視頻的第10秒的視頻內(nèi)容匹配，第一視頻的第8秒的視頻內(nèi)容與第二視頻的第23秒 的視頻內(nèi)容匹配，以及第一視頻的第10秒的視頻內(nèi)容與第二視頻的第26秒的視頻內(nèi)容匹 配，那么可以組成一下方程組： 5a+10lr=c
[0112] J 8a+23b=c 、10a+26b=c
[0113] 本發(fā)明實施例可以通過最小二乘法(或最小平方法)來求解方程組，當(dāng)存在超過2 個的匹配信息時，公式ax+by = c可以轉(zhuǎn)換成最小二乘法的矩陣形式：
[0114] x^ = y, ?^l i -^12 ? ^i ? fii y\ ^21 -^22 ** ^2n n Pi 3^2
[0115] 其中X = , . , p ~ , y=, it ? .' ?： ?： > ? "** ^mn _ m _
[0116] m為步驟S602得到的匹配信息的個數(shù)，n為未知數(shù)的個數(shù)（即3)，m大于n;顯然該方 程組一般而言沒有解，所以為了選取最合適的拆上該等式"盡量成立"，引入殘差平方和函數(shù) S：
[0117] S(P)=| |xP-y| |2
[0118] 當(dāng)p = |時，S⑶取最小值，記作：
[0119] p= argmin(S(P))
[0120] 通過對S⑴)進行微分求最值，可以得到：
[0121] xr:x 卜 xry
[0122] 如果矩陣xTx非奇異則0有唯一解：
[0123] 爲(wèi)=:(Xrx)-1xry
[0124] 本發(fā)明實施例利用最小二乘法可以簡便地求得未知的數(shù)據(jù)扒也即可以得到公式 中的a、b和c)，并使得這些求得的數(shù)據(jù)與實際數(shù)據(jù)之間誤差的平方和為最小，具體如圖7所 示的本發(fā)明提供的最小二乘法的幾何意義的原理示意圖，根據(jù)定義中的誤差平方之和最小 化來擬合直線，從而得到該第一視頻中第一時長與該第二視頻中第二時長的匹配關(guān)系，例 如第一視頻的第1至3秒與第二視頻的第2至6秒匹配，相當(dāng)于第二視頻播放該段視頻的速度 與第一視頻的相比線性地放慢了 1倍，從而可以估計視頻時域的變形信息，并得出相同視頻 內(nèi)容的對應(yīng)的時間段。
[0125] 實施本發(fā)明實施例，在提取視頻特征的過程中通過將輸入的視頻進行幀率變換， 然后將視頻圖片進行灰度處理，并進行時域信息代表圖像的轉(zhuǎn)換得到第一圖片，然后將第 一圖片進行抗噪變化，得到第一圖片對應(yīng)的多張第二圖片;并分別對每張第二圖片進行分 害J，得到各自對應(yīng)的具有相等區(qū)域大小的M個圖片區(qū)域，并分別提取所述M個圖片區(qū)域的顏 色空間特征并進行二值化處理，最終按照預(yù)設(shè)的排序規(guī)則進行排序后得到視頻的二值特征 序列，有效解決了現(xiàn)有技術(shù)方案提取的視頻特征抗噪能力不佳的技術(shù)問題，相對于現(xiàn)有技 術(shù)的基于空間顏色的視頻指紋，具有更高的抗噪能力，不僅能處理視頻空間的變化，如旋 轉(zhuǎn)，縮放等，而且也能很好地處理局部變化，如商標(biāo)，黑邊等;相對于現(xiàn)有技術(shù)中基于特征的 視頻指紋，具有高效的處理能力，能夠快速地進行特征提取，因此能夠?qū)崿F(xiàn)快速視頻匹配， 并在視頻匹配過程中進行時域匹配分析，能已快速地完成版權(quán)檢測，得到匹配的視頻對應(yīng) 的時間段，滿足了用戶對視頻的版權(quán)進行初步驗證的需求。
[0126] 為了便于更好地實施本發(fā)明實施例的上述方案，本發(fā)明還對應(yīng)提供了一種視頻特 征提取裝置，如圖8示出的本發(fā)明實施例提供的視頻特征提取裝置的結(jié)構(gòu)示意圖，視頻特征 提取裝置80可以包括:幀率變換模塊800、灰度處理模塊802、時域變換模塊804、抗噪變化模 塊806、分割模塊808、特征提取模塊8010和二值化處理模塊8012，其中，
[0127] 幀率變換模塊800用于將輸入的視頻進行幀率變換，得到預(yù)設(shè)幀率的視頻圖片；
[0128] 灰度處理模塊802用于將所述視頻圖片進行灰度處理；
[0129] 時域變換模塊804用于并將灰度處理后的圖片進行時域信息代表圖像的轉(zhuǎn)換，得 到第一圖片；
[0130]抗噪變化模塊806用于將所述第一圖片進行抗噪變化，得到所述第一圖片對應(yīng)的 多張第二圖片；
[0131] 分割模塊808用于分別對每張第二圖片進行分割，得到各自對應(yīng)的具有相等區(qū)域 大小的M個圖片區(qū)域；
[0132] 特征提取模塊8010用于分別提取所述M個圖片區(qū)域的顏色空間特征;所述M為大于 1的整數(shù)；
[0133] 二值化處理模塊8012用于對提取的所述顏色空間特征進行二值化處理，并按照預(yù) 設(shè)的排序規(guī)則進行排序后得到所述視頻的二值特征序列。
[0134] 具體地，如圖9示出的本發(fā)明實施例提供的抗噪變化模塊的結(jié)構(gòu)示意圖，抗噪變化 模塊806可以包括刪除單元8060和旋轉(zhuǎn)單元8062,其中，
[0135] 刪除單元8060用于當(dāng)檢測到所述第一圖片存在黑邊時，刪除所述第一圖片中的黑 邊；
[0136] 旋轉(zhuǎn)單元8062用于對所述第一圖片以預(yù)設(shè)角度和方向進行多次旋轉(zhuǎn)，得到多張第 二圖片;其中每次旋轉(zhuǎn)后的圖片對應(yīng)一張第二圖片。
[0137] 抗噪變化模塊806還可以包括裁剪縮放單元8064,用于在旋轉(zhuǎn)單元8062對所述第 一圖片以預(yù)設(shè)角度和方向進行多次旋轉(zhuǎn)，得到多張第二圖片之后，分割模塊808分別對每張 第二圖片進行分割之前，分別對所述第二圖片進行裁剪和/或縮放處理，得到預(yù)設(shè)寬高比的 第二圖片。
[0138] 進一步地，本發(fā)明實施例中的特征提取模塊8010具體可以用于分別計算所述M個 圖片區(qū)域的像素平均值；如圖10示出的本發(fā)明實施例提供的二值化處理模塊的結(jié)構(gòu)示意 圖，二值化處理模塊8012可以包括第一對比單元80120和第一排序單元80122,其中，
[0139] 第一對比單元80120用于將屬于同一個第二圖片中的M個圖片區(qū)域的像素平均值 分別與整張所述第二圖片的像素平均值進行對比，轉(zhuǎn)換成二值特征；
[0140] 第一排序單元80122用于將得到的M個二值特征按照預(yù)設(shè)的排序規(guī)則進行排序后 得到所述視頻對應(yīng)的全局二值特征序列。
[0141] 再進一步地，如圖11示出的本發(fā)明提供的二值化處理模塊的另一實施例的結(jié)構(gòu)示 意圖，二值化處理模塊8012包括第一對比單元80120和第一排序單元80122外，還可以包括： 區(qū)域提取單元80124、第二對比單元80126和第二排序單元80128,其中，
[0142] 區(qū)域提取單元80124用于從屬于同一個第二圖片中的M個圖片區(qū)域中提取K個圖片 區(qū)域;所述K為大于0，小于所述M的整數(shù)；
[0143] 第二對比單元80126用于將所述K個圖片區(qū)域的像素平均值分別與整張所述第二 圖片的像素平均值進行對比，轉(zhuǎn)換成二值特征；
[0144] 第二排序單元80128用于將得到的K個二值特征按照預(yù)設(shè)的排序規(guī)則進行排序后 得到所述視頻對應(yīng)的局部二值特征序列。
[0145] 具體地，本發(fā)明實施例的區(qū)域提取單元80124可以執(zhí)行多次所述從屬于同一個第 二圖片中的M個圖片區(qū)域中提取K個圖片區(qū)域的步驟，次執(zhí)行中的K值相同或不同；
[0146] 其中，在K值相同的步驟中，從屬于同一個第二圖片中的M個圖片區(qū)域提取出的圖 片區(qū)域的位置不同。
[0147] 再進一步地，如圖12示出的本發(fā)明提供的視頻特征提取裝置的另一實施例的結(jié)構(gòu) 示意圖，視頻特征提取裝置80包括幀率變換模塊800、灰度處理模塊802、時域變換模塊804、 抗噪變化模塊806、分割模塊808、特征提取模塊8010和二值化處理模塊8012外，還可以包括 存儲模塊8014,用于在二值化處理模塊8012按照預(yù)設(shè)的排序規(guī)則進行排序后得到所述視頻 的二值特征序列之后，將所述全局二值特征序列和所述局部二值特征序列分層單獨存儲， 其中長度相同的二值特征序列存儲在同一層中。
[0148] 請參閱圖13,圖13是本發(fā)明提供的視頻特征提取裝置的另一實施例的結(jié)構(gòu)示意 圖。其中，如圖13所示，視頻特征提取裝置130可以包括:至少一個處理器1301，例如CPU，至 少一個網(wǎng)絡(luò)接口 1304,用戶接口 1303,存儲器1305,至少一個通信總線1302以及顯示屏 1306。其中，通信總線1302用于實現(xiàn)這些組件之間的連接通信。其中，用戶接口 1303可以包 括觸摸屏、鍵盤或鼠標(biāo)等等。網(wǎng)絡(luò)接口 1304可選的可以包括標(biāo)準(zhǔn)的有線接口、無線接口（如 WI-FI接口）。存儲器1305可以是高速RAM存儲器，也可以是非不穩(wěn)定的存儲器（nonvolatile memory) ， 例如至少一個磁盤存儲器， 存儲器1305 包括本發(fā)明實施例中的flash。 存儲器1305可選的還可以是至少一個位于遠離前述處理器1301的存儲系統(tǒng)。如圖13所示， 作為一種計算機存儲介質(zhì)的存儲器1305中可以包括操作系統(tǒng)、網(wǎng)絡(luò)通信模塊、用戶接口模 塊以及視頻特征提取程序;顯示屏1306可以看作輸出裝置，用戶接口 1303可以看作輸入裝 置，網(wǎng)絡(luò)接口 1304即可以看作輸入裝置也可以看作輸出裝置。
[0149] 在圖13所示的視頻特征提取裝置130中，處理器1301可以用于調(diào)用存儲器1305中 存儲的視頻特征提取程序，并執(zhí)行以下操作：
[0150] 將從輸入裝置輸入的視頻進行幀率變換，得到預(yù)設(shè)幀率的視頻圖片；
[0151]將所述視頻圖片進行灰度處理，并將灰度處理后的圖片進行時域信息代表圖像的 轉(zhuǎn)換，得到第一圖片；
[0152] 將所述第一圖片進行抗噪變化，得到所述第一圖片對應(yīng)的多張第二圖片；
[0153] 分別對每張第二圖片進行分割，得到各自對應(yīng)的具有相等區(qū)域大小的M個圖片區(qū) 域，并分別提取所述M個圖片區(qū)域的顏色空間特征;所述M為大于1的整數(shù)；
[0154] 對提取的所述顏色空間特征進行二值化處理，并按照預(yù)設(shè)的排序規(guī)則進行排序后 得到所述視頻的二值特征序列。
[0155] 具體地，處理器1301將所述第一圖片進行抗噪變化，得到所述第一圖片對應(yīng)的多 張第二圖片，可以包括：
[0156] 當(dāng)檢測到所述第一圖片存在黑邊時，刪除所述第一圖片中的黑邊；
[0157] 對所述第一圖片以預(yù)設(shè)角度和方向進行多次旋轉(zhuǎn)，得到多張第二圖片；其中每次 旋轉(zhuǎn)后的圖片對應(yīng)一張第二圖片。
[0158]具體地，處理器1301對所述第一圖片以預(yù)設(shè)角度和方向進行多次旋轉(zhuǎn)，得到多張 第二圖片之后，所述分別對每張第二圖片進行分割之前，還可以執(zhí)行：
[0159]分別對所述第二圖片進行裁剪和/或縮放處理，得到預(yù)設(shè)寬高比的第二圖片。
[0160]具體地，處理器1301分別提取所述M個圖片區(qū)域的顏色空間特征，包括:分別計算 所述M個圖片區(qū)域的像素平均值；
[0161] 處理器1301對提取的所述顏色空間特征進行二值化處理，并按照預(yù)設(shè)的排序規(guī)則 進行排序后得到所述視頻的二值特征序列，可以包括：
[0162] 將屬于同一個第二圖片中的M個圖片區(qū)域的像素平均值分別與整張所述第二圖片 的像素平均值進行對比，轉(zhuǎn)換成二值特征；
[0163] 將得到的M個二值特征按照預(yù)設(shè)的排序規(guī)則進行排序后得到所述視頻對應(yīng)的全局 二值特征序列。
[0164] 具體地，處理器1301對提取的所述顏色空間特征進行二值化處理，并按照預(yù)設(shè)的 排序規(guī)則進行排序后得到所述視頻的二值特征序列，還可以執(zhí)行：
[0165] 從屬于同一個第二圖片中的M個圖片區(qū)域中提取K個圖片區(qū)域;所述K為大于0,小 于所述M的整數(shù)；
[0166] 將所述K個圖片區(qū)域的像素平均值分別與整張所述第二圖片的像素平均值進行對 比，轉(zhuǎn)換成二值特征；
[0167] 將得到的K個二值特征按照預(yù)設(shè)的排序規(guī)則進行排序后得到所述視頻對應(yīng)的局部 二值特征序列。
[0168] 具體地，處理器1301可以執(zhí)行多次所述從屬于同一個第二圖片中的M個圖片區(qū)域 中提取K個圖片區(qū)域的步驟;每次執(zhí)行中的K值相同或不同；
[0169] 其中，在K值相同的步驟中，從屬于同一個第二圖片中的M個圖片區(qū)域提取出的圖 片區(qū)域的位置不同。
[0170]具體地，處理器1301按照預(yù)設(shè)的排序規(guī)則進行排序后得到所述視頻的二值特征序 列之后，還可以執(zhí)行：
[0171]將所述全局二值特征序列和所述局部二值特征序列分層單獨存儲，其中長度相同 的二值特征序列存儲在同一層中。
[0172]需要說明的是，本發(fā)明實施例中的視頻特征提取裝置80或視頻特征提取裝置130 可以為個人計算機或移動智能終端、平板電腦等電子設(shè)備;可理解的是，視頻特征提取裝置 80或視頻特征提取裝置130中各模塊的功能可對應(yīng)參考上述各方法實施例中圖1至圖4任意 實施例的具體實現(xiàn)方式，這里不再贅述。
[0173]再進一步地，本發(fā)明還對應(yīng)提供了一種視頻匹配裝置，如圖14示出的本發(fā)明實施 例提供的視頻匹配裝置的結(jié)構(gòu)示意圖，視頻匹配裝置140可以包括特征序列提取模塊1400 和匹配輸出模塊140 2，其中，
[0174] 特征序列提取模塊1400用于提取輸入的第一視頻的二值特征序列；
[0175] 匹配輸出模塊1402用于將所述第一視頻的二值特征序列與特征庫中存儲的第二 視頻的二值特征序列進行匹配，并輸出漢明距離小于預(yù)設(shè)閾值的特征對應(yīng)的視頻信息；
[0176] 其中，特征序列提取模塊1400可以包括圖7至圖12任一實施例中的視頻特征提取 裝置80;所述第一視頻的二值特征序列和所述第二視頻的二值特征序列為通過視頻特征提 取裝置80提取出的特征序列。
[0177] 具體地，當(dāng)所述特征庫分層存儲有所述第二視頻的全局二值特征序列和局部二值 特征序列時，其中長度相同的二值特征序列存儲在同一層中；如圖15示出的本發(fā)明實施例 提供的匹配輸出模塊的結(jié)構(gòu)示意圖，匹配輸出模塊1402可以包括查找單元14020和序列匹 配單元14022,其中，
[0178] 查找單元14020用于針對每個第一視頻的二值特征序列，在所述特征庫中查找出 對應(yīng)的層數(shù);其中，所述層數(shù)中存儲的所述第二視頻的二值特征序列的長度與所述第一視 頻的二值特征序列的長度相同；
[0179] 序列匹配單元14022用于分別將每個第一視頻的二值特征序列與各自對應(yīng)的層數(shù) 中的所述第二視頻的二值特征序列進行匹配。
[0180] 再進一步地，本發(fā)明實施例中的視頻信息可以包括所述第一視頻的時間點與所述 第二視頻的時間點的時域匹配信息;如圖16示出的本發(fā)明提供的視頻匹配裝置的另一實施 例的結(jié)構(gòu)示意圖，視頻匹配裝置140包括特征序列提取模塊1400和匹配輸出模塊1402外，還 可以包括時域匹配分析模塊1404,用于在匹配輸出模塊1402輸出漢明距離小于預(yù)設(shè)閾值的 特征對應(yīng)的視頻信息之后，根據(jù)所述時域匹配信息，通過預(yù)設(shè)的時間點映射算法進行時域 匹配分析，得出所述第一視頻中第一時長與所述第二視頻中第二時長的匹配關(guān)系。
[0181] 請參閱圖17,圖17是本發(fā)明提供的視頻匹配裝置的另一實施例的結(jié)構(gòu)示意圖。其 中，如圖17所示，視頻匹配裝置170可以包括:至少一個處理器1701，例如CPU，至少一個網(wǎng)絡(luò) 接口 1704,用戶接口 1703,存儲器1705,至少一個通信總線1702以及顯示屏1706。其中，通信 總線1702用于實現(xiàn)這些組件之間的連接通信。其中，用戶接口 1703可以包括觸摸屏、鍵盤或 鼠標(biāo)等等。網(wǎng)絡(luò)接口 1704可選的可以包括標(biāo)準(zhǔn)的有線接口、無線接口（如WI-FI接口）。存儲 器1705可以是高速RAM存儲器，也可以是非不穩(wěn)定的存儲器(non-volatile memory)，例如 至少一個磁盤存儲器，存儲器1705包括本發(fā)明實施例中的flash。存儲器1705可選的還可以 是至少一個位于遠離前述處理器1701的存儲系統(tǒng)。如圖17所示，作為一種計算機存儲介質(zhì) 的存儲器1705中可以包括操作系統(tǒng)、網(wǎng)絡(luò)通信模塊、用戶接口模塊以及視頻匹配程序;顯示 屏1706可以看作輸出裝置，用戶接口 1703可以看作輸入裝置，網(wǎng)絡(luò)接口 1704即可以看作輸 入裝置也可以看作輸出裝置。
[0182] 在圖17所示的視頻匹配裝置170中，處理器1701可以用于調(diào)用存儲器1705中存儲 的視頻匹配程序，并執(zhí)行以下操作：
[0183] 提取從輸入裝置輸入的第一視頻的二值特征序列；
[0184] 將所述第一視頻的二值特征序列與特征庫中存儲的第二視頻的二值特征序列進 行匹配，并輸出漢明距離小于預(yù)設(shè)閾值的特征對應(yīng)的視頻信息；
[0185] 其中，所述第一視頻的二值特征序列和所述第二視頻的二值特征序列為上述圖1 至圖4任一實施例中的視頻特征提取方法提取出的特征序列。
[0186] 具體地，當(dāng)所述特征庫分層存儲有所述第二視頻的全局二值特征序列和局部二值 特征序列時，其中長度相同的二值特征序列存儲在同一層中；處理器1701將所述第一視頻 的二值特征序列與特征庫中存儲的第二視頻的二值特征序列進行匹配，可以包括：
[0187] 針對每個第一視頻的二值特征序列，在所述特征庫中查找出對應(yīng)的層數(shù);其中，所 述層數(shù)中存儲的所述第二視頻的二值特征序列的長度與所述第一視頻的二值特征序列的 長度相同；
[0188] 分別將每個第一視頻的二值特征序列與各自對應(yīng)的層數(shù)中的所述第二視頻的二 值特征序列進行匹配。
[0189] 具體地，所述視頻信息包括所述第一視頻的時間點與所述第二視頻的時間點的時 域匹配信息；處理器1701輸出漢明距離小于預(yù)設(shè)閾值的特征對應(yīng)的視頻信息之后，還可以 執(zhí)行：
[0190] 根據(jù)所述時域匹配信息，通過預(yù)設(shè)的時間點映射算法進行時域匹配分析，得出所 述第一視頻中第一時長與所述第二視頻中第二時長的匹配關(guān)系。
[0191] 需要說明的是，本發(fā)明實施例中的視頻匹配裝置140或視頻匹配裝置170可以為個 人計算機或移動智能終端、平板電腦等電子設(shè)備;可理解的是，視頻匹配裝置140或視頻匹 配裝置170中各模塊的功能可對應(yīng)參考上述各方法實施例中圖5至圖7任意實施例的具體實 現(xiàn)方式，這里不再贅述。
[0192] 綜上所述，實施本發(fā)明實施例，在提取視頻特征的過程中通過將輸入的視頻進行 幀率變換，然后將視頻圖片進行灰度處理，并進行時域信息代表圖像的轉(zhuǎn)換得到第一圖片， 然后將第一圖片進行抗噪變化，得到第一圖片對應(yīng)的多張第二圖片;并分別對每張第二圖 片進行分割，得到各自對應(yīng)的具有相等區(qū)域大小的M個圖片區(qū)域，并分別提取所述M個圖片 區(qū)域的顏色空間特征并進行二值化處理，最終按照預(yù)設(shè)的排序規(guī)則進行排序后得到視頻的 二值特征序列，有效解決了現(xiàn)有技術(shù)方案提取的視頻特征抗噪能力不佳的技術(shù)問題，相對 于現(xiàn)有技術(shù)的基于空間顏色的視頻指紋，具有更高的抗噪能力，不僅能處理視頻空間的變 化，如旋轉(zhuǎn)，縮放等，而且也能很好地處理局部變化，如商標(biāo)，黑邊等;相對于現(xiàn)有技術(shù)中基 于特征的視頻指紋，具有高效的處理能力，能夠快速地進行特征提取，因此能夠?qū)崿F(xiàn)快速視 頻匹配，并在視頻匹配過程中進行時域匹配分析，能已快速地完成版權(quán)檢測，得到匹配的視 頻對應(yīng)的時間段，滿足了用戶對視頻的版權(quán)進行初步驗證的需求。
[0193] 本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分流程，是可以 通過計算機程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一計算機可讀取存儲介質(zhì) 中，該程序在執(zhí)行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質(zhì)可為磁 碟、光盤、只讀存儲記憶體（Read-Only Memory，ROM)或隨機存儲記憶體(Random Access Memory，RAM)等。
[0194] 以上所揭露的僅為本發(fā)明較佳實施例而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范 圍，因此依本發(fā)明權(quán)利要求所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。
【主權(quán)項】
1. 一種視頻特征提取方法，其特征在于，包括： 將輸入的視頻進行幀率變換，得到預(yù)設(shè)幀率的視頻圖片； 將所述視頻圖片進行灰度處理，并將灰度處理后的圖片進行時域信息代表圖像的轉(zhuǎn) 換，得到第一圖片； 將所述第一圖片進行抗噪變化，得到所述第一圖片對應(yīng)的多張第二圖片； 分別對每張第二圖片進行分割，得到各自對應(yīng)的具有相等區(qū)域大小的M個圖片區(qū)域，并 分別提取所述M個圖片區(qū)域的顏色空間特征;所述M為大于1的整數(shù)； 對提取的所述顏色空間特征進行二值化處理，并按照預(yù)設(shè)的排序規(guī)則進行排序后得到 所述視頻的二值特征序列。2. 如權(quán)利要求1所述的方法，其特征在于，所述將所述第一圖片進行抗噪變化，得到所 述第一圖片對應(yīng)的多張第二圖片，包括： 當(dāng)檢測到所述第一圖片存在黑邊時，刪除所述第一圖片中的黑邊； 對所述第一圖片以預(yù)設(shè)角度和方向進行多次旋轉(zhuǎn)，得到多張第二圖片；其中每次旋轉(zhuǎn) 后的圖片對應(yīng)一張第二圖片。3. 如權(quán)利要求2所述的方法，其特征在于，所述對所述第一圖片以預(yù)設(shè)角度和方向進行 多次旋轉(zhuǎn)，得到多張第二圖片之后，所述分別對每張第二圖片進行分割之前，還包括： 分別對所述第二圖片進行裁剪和/或縮放處理，得到預(yù)設(shè)寬高比的第二圖片。4. 如權(quán)利要求1所述的方法，其特征在于，所述分別提取所述M個圖片區(qū)域的顏色空間 特征，包括:分別計算所述M個圖片區(qū)域的像素平均值； 所述對提取的所述顏色空間特征進行二值化處理，并按照預(yù)設(shè)的排序規(guī)則進行排序后 得到所述視頻的二值特征序列，包括： 將屬于同一個第二圖片中的M個圖片區(qū)域的像素平均值分別與整張所述第二圖片的像 素平均值進行對比，轉(zhuǎn)換成二值特征； 將得到的M個二值特征按照預(yù)設(shè)的排序規(guī)則進行排序后得到所述視頻對應(yīng)的全局二值 特征序列。5. 如權(quán)利要求4所述的方法，其特征在于，所述對提取的所述顏色空間特征進行二值化 處理，并按照預(yù)設(shè)的排序規(guī)則進行排序后得到所述視頻的二值特征序列，還包括： 從屬于同一個第二圖片中的M個圖片區(qū)域中提取K個圖片區(qū)域;所述K為大于0,小于所 述M的整數(shù)； 將所述K個圖片區(qū)域的像素平均值分別與整張所述第二圖片的像素平均值進行對比， 轉(zhuǎn)換成二值特征； 將得到的K個二值特征按照預(yù)設(shè)的排序規(guī)則進行排序后得到所述視頻對應(yīng)的局部二值 特征序列。6. 如權(quán)利要求5所述的方法，其特征在于，執(zhí)行多次所述從屬于同一個第二圖片中的M 個圖片區(qū)域中提取K個圖片區(qū)域的步驟;每次執(zhí)行中的K值相同或不同； 其中，在K值相同的步驟中，從屬于同一個第二圖片中的M個圖片區(qū)域提取出的圖片區(qū) 域的位置不同。7. 如權(quán)利要求6所述的方法，其特征在于，所述按照預(yù)設(shè)的排序規(guī)則進行排序后得到所 述視頻的二值特征序列之后，還包括： 將所述全局二值特征序列和所述局部二值特征序列分層單獨存儲，其中長度相同的二 值特征序列存儲在同一層中。8. -種視頻匹配方法，其特征在于，包括： 提取輸入的第一視頻的二值特征序列； 將所述第一視頻的二值特征序列與特征庫中存儲的第二視頻的二值特征序列進行匹 配，并輸出漢明距離小于預(yù)設(shè)閾值的特征對應(yīng)的視頻信息； 其中，所述第一視頻的二值特征序列和所述第二視頻的二值特征序列為通過權(quán)利要求 1-7任一項所述的視頻特征提取方法提取出的特征序列。9. 如權(quán)利要求8所述的方法，其特征在于，當(dāng)所述特征庫分層存儲有所述第二視頻的全 局二值特征序列和局部二值特征序列時，其中長度相同的二值特征序列存儲在同一層中； 所述將所述第一視頻的二值特征序列與特征庫中存儲的第二視頻的二值特征序列進行匹 配，包括： 針對每個第一視頻的二值特征序列，在所述特征庫中查找出對應(yīng)的層數(shù);其中，所述層 數(shù)中存儲的所述第二視頻的二值特征序列的長度與所述第一視頻的二值特征序列的長度 相同； 分別將每個第一視頻的二值特征序列與各自對應(yīng)的層數(shù)中的所述第二視頻的二值特 征序列進行匹配。10. 如權(quán)利要求8所述的方法，其特征在于，所述視頻信息包括所述第一視頻的時間點 與所述第二視頻的時間點的時域匹配信息;所述輸出漢明距離小于預(yù)設(shè)閾值的特征對應(yīng)的 視頻信息之后，還包括： 根據(jù)所述時域匹配信息，通過預(yù)設(shè)的時間點映射算法進行時域匹配分析，得出所述第 一視頻中第一時長與所述第二視頻中第二時長的匹配關(guān)系。11. 如權(quán)利要求10所述的方法，其特征在于，所述時間點映射算法包括時域縮放和/或 偏移算法。12. -種視頻特征提取裝置，其特征在于，包括： 幀率變換模塊，用于將輸入的視頻進行幀率變換，得到預(yù)設(shè)幀率的視頻圖片； 灰度處理模塊，用于將所述視頻圖片進行灰度處理； 時域變換模塊，用于并將灰度處理后的圖片進行時域信息代表圖像的轉(zhuǎn)換，得到第一 圖片； 抗噪變化模塊，用于將所述第一圖片進行抗噪變化，得到所述第一圖片對應(yīng)的多張第 二圖片； 分割模塊，用于分別對每張第二圖片進行分割，得到各自對應(yīng)的具有相等區(qū)域大小的M 個圖片區(qū)域； 特征提取模塊，用于分別提取所述M個圖片區(qū)域的顏色空間特征；所述M為大于1的整 數(shù)； 二值化處理模塊，用于對提取的所述顏色空間特征進行二值化處理，并按照預(yù)設(shè)的排 序規(guī)則進行排序后得到所述視頻的二值特征序列。13. 如權(quán)利要求12所述的裝置，其特征在于，所述抗噪變化模塊包括： 刪除單元，用于當(dāng)檢測到所述第一圖片存在黑邊時，刪除所述第一圖片中的黑邊； 旋轉(zhuǎn)單元，用于對所述第一圖片以預(yù)設(shè)角度和方向進行多次旋轉(zhuǎn)，得到多張第二圖片； 其中每次旋轉(zhuǎn)后的圖片對應(yīng)一張第二圖片。14. 如權(quán)利要求13所述的裝置，其特征在于，所述抗噪變化模塊還包括： 裁剪縮放單元，用于在所述旋轉(zhuǎn)單元對所述第一圖片以預(yù)設(shè)角度和方向進行多次旋 轉(zhuǎn)，得到多張第二圖片之后，所述分割模塊分別對每張第二圖片進行分割之前，分別對所述 第二圖片進行裁剪和/或縮放處理，得到預(yù)設(shè)寬高比的第二圖片。15. 如權(quán)利要求12所述的裝置，其特征在于，所述特征提取模塊具體用于分別計算所述 M個圖片區(qū)域的像素平均值； 所述二值化處理模塊包括： 第一對比單元，用于將屬于同一個第二圖片中的M個圖片區(qū)域的像素平均值分別與整 張所述第二圖片的像素平均值進行對比，轉(zhuǎn)換成二值特征； 第一排序單元，用于將得到的M個二值特征按照預(yù)設(shè)的排序規(guī)則進行排序后得到所述 視頻對應(yīng)的全局二值特征序列。16. 如權(quán)利要求15所述的裝置，其特征在于，所述二值化處理模塊還包括： 區(qū)域提取單元，用于從屬于同一個第二圖片中的M個圖片區(qū)域中提取K個圖片區(qū)域;所 述K為大于O，小于所述M的整數(shù)； 第二對比單元，用于將所述K個圖片區(qū)域的像素平均值分別與整張所述第二圖片的像 素平均值進行對比，轉(zhuǎn)換成二值特征； 第二排序單元，用于將得到的K個二值特征按照預(yù)設(shè)的排序規(guī)則進行排序后得到所述 視頻對應(yīng)的局部二值特征序列。17. 如權(quán)利要求16所述的裝置，其特征在于，所述區(qū)域提取單元執(zhí)行多次所述從屬于同 一個第二圖片中的M個圖片區(qū)域中提取K個圖片區(qū)域的步驟，次執(zhí)行中的K值相同或不同； 其中，在K值相同的步驟中，從屬于同一個第二圖片中的M個圖片區(qū)域提取出的圖片區(qū) 域的位置不同。18. 如權(quán)利要求17所述的裝置，其特征在于，所述裝置還包括： 存儲模塊，用于在所述二值化處理模塊按照預(yù)設(shè)的排序規(guī)則進行排序后得到所述視頻 的二值特征序列之后，將所述全局二值特征序列和所述局部二值特征序列分層單獨存儲， 其中長度相同的二值特征序列存儲在同一層中。19. 一種視頻匹配裝置，其特征在于，包括： 特征序列提取模塊，用于提取輸入的第一視頻的二值特征序列； 匹配輸出模塊，用于將所述第一視頻的二值特征序列與特征庫中存儲的第二視頻的二 值特征序列進行匹配，并輸出漢明距離小于預(yù)設(shè)閾值的特征對應(yīng)的視頻信息； 其中，所述特征序列提取模塊包括權(quán)利要求11-17任一項所述的視頻特征提取裝置;所 述第一視頻的二值特征序列和所述第二視頻的二值特征序列為通過所述視頻特征提取裝 置提取出的特征序列。20. 如權(quán)利要求19所述的裝置，其特征在于，當(dāng)所述特征庫分層存儲有所述第二視頻的 全局二值特征序列和局部二值特征序列時，其中長度相同的二值特征序列存儲在同一層 中；所述匹配輸出模塊包括： 查找單元，用于針對每個第一視頻的二值特征序列，在所述特征庫中查找出對應(yīng)的層 數(shù);其中，所述層數(shù)中存儲的所述第二視頻的二值特征序列的長度與所述第一視頻的二值 特征序列的長度相同； 序列匹配單元，用于分別將每個第一視頻的二值特征序列與各自對應(yīng)的層數(shù)中的所述 第二視頻的二值特征序列進行匹配。21. 如權(quán)利要求19所述的裝置，其特征在于，所述視頻信息包括所述第一視頻的時間點 與所述第二視頻的時間點的時域匹配信息;所述裝置還包括： 時域匹配分析模塊，用于在所述匹配輸出模塊輸出漢明距離小于預(yù)設(shè)閾值的特征對應(yīng) 的視頻信息之后，根據(jù)所述時域匹配信息，通過預(yù)設(shè)的時間點映射算法進行時域匹配分析， 得出所述第一視頻中第一時長與所述第二視頻中第二時長的匹配關(guān)系。22. 如權(quán)利要求21所述的裝置，其特征在于，所述時間點映射算法包括時域縮放和/或 偏移算法D
【文檔編號】H04N19/124GK105959686SQ201610460125
【公開日】2016年9月21日
【申請日】2016年6月22日
【發(fā)明人】徐敘遠
【申請人】騰訊科技（深圳）有限公司