專利名稱：視頻指紋特征提取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻指紋特征提取方法，它是一種特征挑選的視頻指紋提取方法。
背景技術(shù)：
隨著視頻網(wǎng)絡(luò)的發(fā)展，視頻節(jié)目呈海量增長之勢，如何高效且有效地檢索或監(jiān)管視頻內(nèi)容成為一個(gè)重要的問題。視頻指紋技術(shù)的出現(xiàn)為視頻內(nèi)容的監(jiān)管和檢索提供了一種 高效且有效的方法。視頻指紋技術(shù)中的關(guān)鍵技術(shù)之一是如何進(jìn)行視頻指紋的提取。視頻指 紋的提取方法是否有效，直接決定了視頻指紋檢索的效率和精度。在2002年的視覺信息最新進(jìn)展國際會(huì)議上(Proceedings of Recent Advances in Visual Information Systems 2002)，Oostveen 和 Kalker 等人在《視頻指紋的特征 提取方法禾口數(shù)據(jù)庫策略〉〉(Feature Extraction and a Database Strategy for Video Fingerprinting)這篇文章中，提出了一種視頻指紋特征提取方法，但是這種特征提取方法 在實(shí)際使用中精度不高。在2001，Viola和Jones在計(jì)算機(jī)視覺和模式識(shí)別會(huì)議(Proceedings of Computer Vision and Pattern Recognition，2001)上，提出著名的《用增強(qiáng)的層疊式簡 單特征進(jìn)行快速物體識(shí)別》(” Rapid Object Detection Using a Boosted Cascade of Simple”)，他們采用增強(qiáng)(Boosting)方法在大量的人臉圖像中挑選出很小部分的哈爾小 波特征(Harr-like features)，用這些少量的哈爾小波特征可以進(jìn)行快速的人臉定位。受以上思想的啟發(fā)，本發(fā)明提出一種全新的視頻指紋特征提取方法。

發(fā)明內(nèi)容
本發(fā)明提供一種全新的基于特征挑選的視頻指紋提取方法，該方法首先對(duì)視頻文 件進(jìn)行預(yù)處理；然后通過大量的訓(xùn)練樣本集合，并采用增強(qiáng)(Boosting)方法對(duì)哈爾小波特 征(Harr-like features)集合進(jìn)行挑選；最后將挑選出訓(xùn)練誤差最小的M個(gè)哈爾小波特征 作為濾波器；這些濾波器被為視頻文件的指紋提取器，對(duì)視頻文件進(jìn)行視頻指紋提取。本發(fā) 明具體是通過以下技術(shù)方案實(shí)現(xiàn)的—種視頻指紋特征提取方法，包括以下步驟1)挑選M個(gè)哈爾小波特征構(gòu)成M個(gè)濾波器；2)根據(jù)所述M個(gè)濾波器對(duì)視頻文件的每一幀在相同位置上做哈爾小波特征值的 計(jì)算；3)根據(jù)計(jì)算的結(jié)果生成該視頻文件的指紋文件。進(jìn)一步地，在所述步驟1)與所述2)之間，還包括預(yù)處理步驟，用于對(duì)所述視頻文 件進(jìn)行預(yù)處理。進(jìn)一步地，所述預(yù)處理步驟包括以下處理中的多個(gè)或全部縮放到統(tǒng)一視頻尺寸；
幀率統(tǒng)一到同一個(gè)數(shù)值；碼率統(tǒng)一到同一個(gè)數(shù)值。進(jìn)一步地，在所述步驟2)中，所述哈爾小波特征值的計(jì)算方法為，根據(jù)需要設(shè)定 計(jì)算出的哈爾小波特征值在所述指紋文件中對(duì)應(yīng)的比特值。進(jìn)一步地，根據(jù)M個(gè)濾波器分別對(duì)應(yīng)的哈爾小波特征的位置和類型，在視頻每一 幀的相同位置上做哈爾小波特征值的計(jì)算，當(dāng)計(jì)算的值大于0時(shí)，所述指紋文件中對(duì)應(yīng)的 比特值為1 ；當(dāng)計(jì)算的值小于或等于O時(shí)，所述指紋文件中對(duì)應(yīng)的比特值為0，所述步驟3) 中根據(jù)該M個(gè)濾波器計(jì)算得到的M個(gè)比特，該M個(gè)比特即為該幀的指紋，所有幀的指紋為該 視頻文件的指紋。進(jìn)一步地，所述M的取值為32或者64，本發(fā)明不局限于這兩個(gè)整數(shù)。進(jìn)一步地，所述步驟1)包括11)輸入η個(gè)樣本視頻對(duì)，包含匹配的視頻對(duì)和不匹配的視頻對(duì)；其中，匹配的視 頻對(duì)指的是兩個(gè)視頻片段的視頻內(nèi)容相同，但兩個(gè)視頻片段之間包含以下噪聲或者變形 中的一種或多種色度、光強(qiáng)、帶文字、帶標(biāo)記、上下被裁剪、左右裁剪、不同碼率、不同幀率 等視頻剪切或者視頻編碼；不匹配的視頻對(duì)指的是兩個(gè)視頻片段的視頻內(nèi)容不相同；12)用增強(qiáng)方法，根據(jù)誤差最小的挑選準(zhǔn)則，挑選出M個(gè)對(duì)應(yīng)的哈爾小波特征。進(jìn)一步地，所述步驟12)具體包括121)對(duì)輸入的 η 個(gè)視頻樣本對(duì) << (χη, χ12) >，< (χ21, χ22) >，···，< (χη1, χη2) ,每個(gè) 輸入視頻樣本對(duì)帶一個(gè)類別標(biāo)號(hào)Ii e {-1，1}，初始化權(quán)值巧=^ i = l,...,η；122)對(duì)于 m = 1，. . .，Μ，找出假設(shè)函數(shù) hm(Xl，x2)，使得在權(quán)值 w = (W1, ... , wnl) 上的加權(quán)誤差最小，其中過濾器函數(shù)為&和閾值為tm的假設(shè)函數(shù)定義為hm (X1，x2) = sgn ([ (fm (X1) _tm) · (fm (x2) _tm)])124)計(jì)算加權(quán)誤差
η
ν "terr n =5CfeM尹 Jd
i-±124)賦予置信值(^給！^:
11— errmCm = - · log {-■)
2err;n125)對(duì)于匹配對(duì)，按如下方法更新權(quán)值
(^m 如呆‘fei, 〕琺巧 Wj = w； X I
k y~Cm 如果釭m (hi而)=巧126)按如下歸一化權(quán)值
aa
V1 V 1
Z % = Z w^i
吵 二 ι127)最后的假設(shè)為<formula>formula see original document page 6</formula>128)記錄該M個(gè)哈爾小波特征的位置、類型，作為M個(gè)濾波器。本發(fā)明提供的視頻指紋特征提取方法，由于采用哈爾小波特征構(gòu)成濾波器進(jìn)行視 頻指紋特征提取，降低了視頻指紋特征提取的復(fù)雜度，具有提取速度快，且提取出的視頻指 紋特征構(gòu)成的指紋文件存儲(chǔ)空間小，方便了指紋文件 的索引和檢索。


圖1為本發(fā)明視頻指紋特征提取方法實(shí)施例流程圖；圖2為本發(fā)明中挑選M個(gè)哈爾小波特征構(gòu)成M個(gè)濾波器的流程圖。圖3為本發(fā)明實(shí)施例中用到的哈爾小波特征實(shí)施圖。
具體實(shí)施例方式如圖1所示，一種視頻指紋特征提取方法，包括以下步驟1)挑選M個(gè)哈爾小波特征(Harr-like features)構(gòu)成M個(gè)濾波器；2)根據(jù)所述M個(gè)濾波器對(duì)視頻文件的每一幀在相同位置上做哈爾小波特征值的 計(jì)算；3)根據(jù)計(jì)算的結(jié)果生成該視頻文件的指紋文件。其中，在所述步驟1)與所述2)之間，還包括預(yù)處理步驟，用于對(duì)所述視頻文件進(jìn) 行預(yù)處理。所述預(yù)處理包括縮放到統(tǒng)一視頻尺寸(例如160x120)，幀率統(tǒng)一到同一個(gè)數(shù) 值(例如6幀/秒)，碼率統(tǒng)一到同一個(gè)數(shù)值等。進(jìn)一步地，在所述步驟2)中，所述哈爾小波特征值的計(jì)算方法可以根據(jù)需要設(shè)定 計(jì)算出的哈爾小波特征值在所述指紋文件中對(duì)應(yīng)的比特值。本實(shí)施例中，即根據(jù)M個(gè)濾波 器分別對(duì)應(yīng)的哈爾小波特征的位置和類型，在視頻每一幀的相同位置上做哈爾小波特征值 的計(jì)算，當(dāng)計(jì)算的值大于0時(shí)，所述指紋文件中對(duì)應(yīng)的比特值為1 ；當(dāng)計(jì)算的值小于或等于0 時(shí)，所述指紋文件中對(duì)應(yīng)的比特值為0。其中，M的取值通常是32或者64，本發(fā)明不局限于 這兩個(gè)整數(shù)。所述步驟3)中根據(jù)該M個(gè)濾波器計(jì)算得到的M個(gè)比特，該M個(gè)比特即為該幀 的指紋，而所有幀的指紋即為該視頻文件的指紋。其中，所述步驟1)如圖2所示，具體包括步驟11)輸入多個(gè)視頻對(duì)(video pairs)，包含匹配的視頻對(duì)和不匹配的視頻對(duì)；12)用增強(qiáng)(Boosting)方法，根據(jù)誤差最小的挑選準(zhǔn)則(由于涉及匹配和不匹配 的兩種視頻，請具體說明該挑選準(zhǔn)則，謝謝)，挑選出M個(gè)對(duì)應(yīng)的哈爾小波特征(Harr-like features)；記錄該M個(gè)哈爾小波特征(Harr-like features)的位置、類型，作為M個(gè)濾波 器。圖3為本實(shí)施例中用到的哈爾小波特征實(shí)施圖。其中，匹配的視頻對(duì)指的是兩個(gè)視頻片段的視頻內(nèi)容相同，但兩個(gè)視頻片段之間 包含例如色度、光強(qiáng)、帶文字、帶標(biāo)記(logo)、上下被裁剪、左右裁剪等視頻剪切或者視頻 編碼等動(dòng)作帶來的噪聲或者變形。不匹配的視頻對(duì)指的是兩個(gè)視頻片段的視頻內(nèi)容不相 同。
其中，所述步驟12)具體包括以下步驟121)對(duì)輸入的 η 個(gè)視頻樣本對(duì) << (χη, χ12) >，< (χ21, χ22) >，···，< (χη1, χη2) ,每個(gè) 輸入視頻樣本對(duì)帶一個(gè)類別標(biāo)號(hào)Yi e {-1，1}(其中，yi = -ι表示不匹配的視頻對(duì)；yi = 1表示匹配的視頻對(duì))，初 始化權(quán)值》'i i = l，...，n;122)對(duì)于 m = 1，. . .，M，找出假設(shè)函數(shù) hm(Xl，x2)，使得在權(quán)值 w = (W1, ... , wnl) 上的加權(quán)誤差最小，其中過濾器函數(shù)為&和閾值為tm的假設(shè)函數(shù)定義為<formula>formula see original document page 7</formula>125)計(jì)算加權(quán)誤差
<formula>formula see original document page 7</formula>124)賦予置信值(^給！^:
<formula>formula see original document page 7</formula>125)對(duì)于匹配對(duì)，按如下方法更新權(quán)值<formula>formula see original document page 7</formula>126)按如下歸一化權(quán)值
<formula>formula see original document page 7</formula>127)最后的假設(shè)為
<formula>formula see original document page 7</formula>128)記錄該M個(gè)哈爾小波特征的位置、類型，作為M個(gè)濾波器。以上所述的實(shí)施例僅用于說明本發(fā)明的技術(shù)思想及特點(diǎn)，其目的在使本領(lǐng)域內(nèi)的 技術(shù)人員能夠了解本發(fā)明的內(nèi)容并據(jù)以實(shí)施，當(dāng)不能僅以本實(shí)施例來限定本發(fā)明的專利范 圍，即凡依本發(fā)明所揭示的精神所作的同等變化或修飾，仍落在本發(fā)明的專利范圍內(nèi)。
權(quán)利要求
一種視頻指紋特征提取方法，其特征在于包括以下步驟1)挑選M個(gè)哈爾小波特征構(gòu)成M個(gè)濾波器；2)根據(jù)所述M個(gè)濾波器對(duì)視頻文件的每一幀在相同位置上做哈爾小波特征值的計(jì)算；3)根據(jù)計(jì)算的結(jié)果生成該視頻文件的指紋文件。
2.根據(jù)權(quán)利要求1所述的視頻指紋特征提取方法，其特征在于在所述步驟1)與所述2)之間，還包括預(yù)處理步驟，用于對(duì)所述視頻文件進(jìn)行預(yù)處理。
3.根據(jù)權(quán)利要求2所述的視頻指紋特征提取方法，其特征在于所述預(yù)處理步驟包括 以下處理中的多個(gè)或全部縮放到統(tǒng)一視頻尺寸； 幀率統(tǒng)一到同一個(gè)數(shù)值； 碼率統(tǒng)一到同一個(gè)數(shù)值。
4.根據(jù)權(quán)利要求1或2所述的視頻指紋特征提取方法，其特征在于在所述步驟2)中， 所述哈爾小波特征值的計(jì)算方法為，根據(jù)需要設(shè)定計(jì)算出的哈爾小波特征值在所述指紋文 件中對(duì)應(yīng)的比特值。
5.根據(jù)權(quán)利要求4所述的視頻指紋特征提取方法，其特征在于根據(jù)M個(gè)濾波器分別 對(duì)應(yīng)的哈爾小波特征的位置和類型，在視頻每一幀的相同位置上做哈爾小波特征值的計(jì) 算，當(dāng)計(jì)算的值大于O時(shí)，所述指紋文件中對(duì)應(yīng)的比特值為1 ；當(dāng)計(jì)算的值小于或等于O時(shí)， 所述指紋文件中對(duì)應(yīng)的比特值為0，所述步驟3)中根據(jù)該M個(gè)濾波器計(jì)算得到的M個(gè)比特， 該M個(gè)比特即為該幀的指紋，所有幀的指紋為該視頻文件的指紋。
6.根據(jù)權(quán)利要求5所述的視頻指紋特征提取方法，其特征在于所述M的取值為32或 者64。
7.根據(jù)權(quán)利要求5或6所述的視頻指紋特征提取方法，其特征在于所述步驟1)包括11)輸入η個(gè)樣本視頻對(duì)，包含匹配的視頻對(duì)和不匹配的視頻對(duì)；其中，匹配的視頻對(duì) 指的是兩個(gè)視頻片段的視頻內(nèi)容相同，但兩個(gè)視頻片段之間包含以下噪聲或者變形中的 一種或多種色度、光強(qiáng)、帶文字、帶標(biāo)記、上下被裁剪、左右裁剪、不同碼率、不同幀率等視 頻剪切或者視頻編碼；不匹配的視頻對(duì)指的是兩個(gè)視頻片段的視頻內(nèi)容不相同；12)用增強(qiáng)方法，根據(jù)誤差最小的挑選準(zhǔn)則，挑選出M個(gè)對(duì)應(yīng)的哈爾小波特征。
8.根據(jù)權(quán)利要求7所述的視頻指紋特征提取方法，其特征在于所述步驟12)具體包 括121)對(duì)輸入的η個(gè)視頻樣本對(duì)<< (χη，χ12) >, <(χ21, χ22)>, ... , <(χη1, χη2)》，每個(gè)輸入視頻樣本對(duì)帶一個(gè)類別標(biāo)號(hào)Yi e {-1，1}，初始化權(quán)值<formula>formula see original document page 2</formula>122)對(duì)于m= 1，. . .，M，找出假設(shè)函數(shù)hm(Xl，x2)，使得在權(quán)值w = (W1, . . .，wnl)上的 加權(quán)誤差最小，其中過濾器函數(shù)為fm和閾值為tm的假設(shè)函數(shù)定義為<formula>formula see original document page 2</formula>123)計(jì)算加權(quán)誤差<formula>formula see original document page 2</formula>124)賦予置信值(^給！^:<formula>formula see original document page 3</formula>125)對(duì)于匹配對(duì)，按如下方法更新權(quán)值<formula>formula see original document page 3</formula>126)按如下歸一化權(quán)值<formula>formula see original document page 3</formula>127)最后的假設(shè)為<formula>formula see original document page 3</formula>128)記錄該M個(gè)哈爾小波特征的位置、類型，作為M個(gè)濾波器。
全文摘要
視頻指紋特征提取方法，包括以下步驟1)挑選M個(gè)哈爾小波特征構(gòu)成M個(gè)濾波器；2)根據(jù)所述M個(gè)濾波器對(duì)視頻文件的每一幀在相同位置上做哈爾小波特征值的計(jì)算；3)根據(jù)計(jì)算的結(jié)果生成該視頻文件的指紋文件。所述哈爾小波特征值的計(jì)算方法為，根據(jù)需要設(shè)定計(jì)算出的哈爾小波特征值在所述指紋文件中對(duì)應(yīng)的比特值。本發(fā)明提供的視頻指紋特征提取方法，由于采用哈爾小波特征構(gòu)成濾波器進(jìn)行視頻指紋特征提取，降低了視頻指紋特征提取的復(fù)雜度，具有提取速度快，且提取出的視頻指紋特征構(gòu)成的指紋文件存儲(chǔ)空間小，方便了指紋文件的索引和檢索。
文檔編號(hào)G06K9/46GK101819633SQ20091004677
公開日2010年9月1日 申請日期2009年2月27日 優(yōu)先權(quán)日2009年2月27日
發(fā)明者連惠城 申請人:未序網(wǎng)絡(luò)科技(上海)有限公司