本發(fā)明涉及多媒體信息處理技術(shù)領(lǐng)域，特別涉及一種基于SIFT特征聚類的固定鏡頭實(shí)時(shí)監(jiān)控視頻特征提取方法。

背景技術(shù)：

視頻特征是對(duì)視頻內(nèi)容的有效描述，提取視頻特征為海量視頻庫(kù)建立索引，是目前解決在海量視頻中基于內(nèi)容的檢索問(wèn)題的有效方法。

目前的視頻特征提取方法，主要包括圖像的底層特征提取、視頻分割和關(guān)鍵幀提取三個(gè)方面的關(guān)鍵技術(shù)，常見的提取方法是基于鏡頭分割的技術(shù)，發(fā)展得相對(duì)成熟，能有效地實(shí)現(xiàn)對(duì)普通視頻進(jìn)行特征提取。然而監(jiān)控視頻具有特殊性，大部分監(jiān)控視頻長(zhǎng)期處于同一個(gè)鏡頭中，鏡頭切換在監(jiān)控視頻中并不明顯，因此基于鏡頭分割的提取方法不太適用于對(duì)監(jiān)控視頻的特征提取中。因此，多媒體信息處理技術(shù)領(lǐng)域急需一種適合對(duì)監(jiān)控視頻這種無(wú)鏡頭切換類視頻進(jìn)行特征提取的方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于SIFT特征聚類的固定鏡頭實(shí)時(shí)監(jiān)控視頻特征提取方法，該方法通過(guò)以SIFT特征為基礎(chǔ)，實(shí)現(xiàn)了對(duì)無(wú)鏡頭切換的實(shí)時(shí)監(jiān)控視頻的特征提取。

本發(fā)明的目的通過(guò)下述技術(shù)方案實(shí)現(xiàn)：

一種基于SIFT特征聚類的固定鏡頭實(shí)時(shí)監(jiān)控視頻特征提取方法，所述方法包括下列步驟：

S1、對(duì)實(shí)時(shí)產(chǎn)生的監(jiān)控視頻的每一幀通過(guò)SIFT特征提取算法使用并行計(jì)算的方式進(jìn)行特征提?。?/p>

S2、根據(jù)所述步驟S1中每一幀提取到的SIFT特征計(jì)算幀間相似度和區(qū)間平均相似度，將實(shí)時(shí)產(chǎn)生的監(jiān)控視頻流按照每段視頻包含相似內(nèi)容的原則分割成視頻段；

S3、根據(jù)所述步驟S1中每一幀提取到的SIFT特征，對(duì)所述步驟S2中分割后的每一個(gè)視頻片段分別提取特殊關(guān)鍵幀，其中，特殊關(guān)鍵幀是指每個(gè)視頻段中視頻幀畫面變化幅度最大的視頻幀。

進(jìn)一步地，所述步驟S1具體包括：

S101、視頻幀預(yù)處理，將視頻流中獲取的彩色圖像視頻幀轉(zhuǎn)化成灰度圖像視頻幀；

S102、數(shù)據(jù)塊劃分，將完整的視頻幀劃分為若干數(shù)據(jù)塊；

S103、數(shù)據(jù)塊分配，在劃分?jǐn)?shù)據(jù)塊后，將各個(gè)數(shù)據(jù)塊按照數(shù)據(jù)塊分配策略分配給相應(yīng)的處理節(jié)點(diǎn)；

S104、各處理節(jié)點(diǎn)對(duì)數(shù)據(jù)塊進(jìn)行特征提取，各處理節(jié)點(diǎn)以接收的數(shù)據(jù)塊作為輸入采用SIFT特征提取算法提取特征點(diǎn)，并將處理結(jié)果發(fā)送到特征合并節(jié)點(diǎn)；

S105、特征合并節(jié)點(diǎn)合并各數(shù)據(jù)塊的特征點(diǎn)，特征合并節(jié)點(diǎn)根據(jù)特征合并策略對(duì)屬于同一視頻幀的各數(shù)據(jù)塊的處理結(jié)果進(jìn)行特征點(diǎn)合并。

進(jìn)一步地，所述步驟S2具體包括：

S201、確定閥值δ，選擇一定的閥值δ，作為視頻內(nèi)容突變的檢測(cè)值；

S202、確定閥值Δ，選擇一定的閥值Δ，作為判別邊界的檢測(cè)值；

S203、確定N值，選擇一定的值N，作為邊界檢測(cè)連續(xù)幀數(shù)；

S204、獲取視頻幀，從實(shí)時(shí)產(chǎn)生的監(jiān)控視頻流中獲取視頻幀；

S205、設(shè)置視頻分割起點(diǎn)幀，將所述步驟S201中的監(jiān)控視頻流的第一幀作為視頻分割起點(diǎn)幀(第s幀)，s＝1；

S206、提取每一幀的特征點(diǎn)，從視頻分割起點(diǎn)幀(第s幀)開始，順序地獲取視頻中每一幀(第i幀)并對(duì)其進(jìn)行SIFT特征提取，得到其所有特征點(diǎn)和特征點(diǎn)數(shù)量F(i)；

S207、計(jì)算相鄰幀的幀間相似度，在所述步驟S206中對(duì)每一幀(第i幀)進(jìn)行SIFT特征提取的同時(shí)，將該視頻幀與其前一幀(第i-1幀)的SIFT特征點(diǎn)進(jìn)行匹配，得到當(dāng)前第i幀與其前一幀間相匹配的特征點(diǎn)數(shù)量M(i)，并計(jì)算出當(dāng)前第i幀與其前一幀間的相似度R(i)，相似度計(jì)算公式如下：

$R\left(i\right)=\frac{2M\left(i\right)}{F\left(i\right)+F(i-1)};$

S208、計(jì)算幀間相似度平均值，在所述步驟S207計(jì)算出當(dāng)前幀(第i幀)與其前一幀間的相似度R(i)的同時(shí)，計(jì)算從視頻分割起點(diǎn)幀(第s幀)到當(dāng)前幀(第i幀)的幀間相似度的平均值計(jì)算公式如下：

$\stackrel{\‾}{R(s,i)}=\frac{1}{i-s+1}\underset{k=s}{\overset{i}{\Σ}}R\left(k\right);$

S209、尋找疑似邊界幀k，在所述步驟S208中計(jì)算當(dāng)前幀第i幀與其前一幀間的相似度R(i)的同時(shí)，如果遇到某一幀(假設(shè)為第k幀)和其上一幀(第k-1幀)間的相似度R(k)的值低于已選定的視頻內(nèi)容突變閥值δ，即R(k)<δ，則第k幀為疑似邊界幀；

步驟S210、計(jì)算判斷疑似邊界幀是否為邊界幀，對(duì)疑似邊界幀(假設(shè)為第k幀)后面連續(xù)的N幀提取特征點(diǎn)、計(jì)算每一幀與其上一幀的幀間相似度，并計(jì)算從第(k+1)幀到第(k+N)幀的幀間相似度的平均值若則判定第k幀是邊界幀，否則不是邊界幀；若是邊界幀，則將視頻分割起點(diǎn)幀(第s幀)和第k幀之間的所有幀分割出來(lái)成為一個(gè)視頻段，并將第k+1幀作為新的視頻分割起點(diǎn)幀，即s＝k+1，重復(fù)步驟S206至步驟S210，直到整個(gè)監(jiān)控視頻流的所有幀全部處理結(jié)束；若不是邊界幀，則從第k+1幀開始，繼續(xù)尋找下一個(gè)疑似邊界幀，重復(fù)執(zhí)行步驟S209和步驟S210，直到所有幀都處理結(jié)束。

進(jìn)一步地，所述步驟S3具體包括：

S301、獲取視頻幀，從視頻分割片段中獲取視頻幀。

S302、初始特殊關(guān)鍵幀的幀號(hào)，設(shè)置特殊關(guān)鍵幀的幀號(hào)Key，Key值初始為1；

S303、初始特殊關(guān)鍵幀的特征點(diǎn)數(shù)量，設(shè)置特殊關(guān)鍵幀的特征點(diǎn)數(shù)量MAX，初始值為0；

S304、設(shè)置關(guān)鍵起點(diǎn)幀，將所述步驟S301中獲取的視頻幀的第一幀作為關(guān)鍵起點(diǎn)幀(第t幀)；

S305、提取每一幀的特征點(diǎn)，從關(guān)鍵起點(diǎn)幀(第t幀)開始，對(duì)所述步驟S301中獲取的每一幀(第i幀)進(jìn)行特征提取，獲取每一幀的特征點(diǎn)和特征點(diǎn)數(shù)量F(i)；

S306、計(jì)算每一幀與關(guān)鍵起點(diǎn)幀的幀間相似度，在所述步驟S305中對(duì)每一幀進(jìn)行特征提取的同時(shí)，對(duì)該當(dāng)前幀(第i幀)與關(guān)鍵起點(diǎn)幀(第t幀)進(jìn)行匹配，得到這兩幀間相匹配的特征點(diǎn)數(shù)量M(t,i)，并計(jì)算出這兩幀間的相似度R(t,i)；

S307、計(jì)算相鄰幀的幀間相似度，在所述步驟S305中對(duì)每一幀進(jìn)行特征提取的同時(shí)，對(duì)該當(dāng)前幀(第i幀)與其前一幀(第i-1幀)進(jìn)行匹配，得到當(dāng)前幀與其前一幀間相匹配的特征點(diǎn)數(shù)量M(i)，并計(jì)算出當(dāng)前幀與其前一幀的相似度R(i)；

S308、計(jì)算關(guān)鍵起點(diǎn)幀到每一幀的幀間相似度平均值，在所述步驟S307中計(jì)算出當(dāng)前幀(第i幀)與其前一幀的相似度R(i)的同時(shí)，計(jì)算從關(guān)鍵起點(diǎn)幀(第t幀)到當(dāng)前幀(第i幀)的幀間相似度平均值

S309、更新特殊關(guān)鍵幀的幀號(hào)以及該幀的特征點(diǎn)數(shù)量，在所述步驟S308中對(duì)當(dāng)前幀(第i幀)計(jì)算的同時(shí)，若則令Key＝i，

S310、提取每一段包含相似內(nèi)容的視頻片段中的關(guān)鍵幀，在所述步驟S306中計(jì)算每一幀與關(guān)鍵起點(diǎn)幀(第t幀)的幀間相似度R(t,i)時(shí)，R(t,i)會(huì)逐漸減小，假設(shè)當(dāng)i＝j(luò)時(shí)，R(t,i)＝0，則在第t幀到第j幀中找到特征點(diǎn)數(shù)量最大的視頻幀，將其添加到關(guān)鍵幀序列中，并將第j+1幀作為新的關(guān)鍵起點(diǎn)幀，即t＝j(luò)+1，重復(fù)所述步驟S305至所述步驟S310中的操作，直到處理到此視頻分割片段的最后一幀結(jié)束；

S311、確定本段視頻流的特殊關(guān)鍵幀，將第Key幀添加到關(guān)鍵幀序列中，所述Key中保存的是本段視頻段中的特殊關(guān)鍵幀的幀號(hào)。

進(jìn)一步地，所述步驟S102、數(shù)據(jù)塊劃分中數(shù)據(jù)塊的劃分規(guī)則具體如下：

規(guī)定劃分的數(shù)據(jù)塊是L的整數(shù)倍，L的計(jì)算方法如下：

L＝2^α-d，其中d∈{1，2}，

d為高斯金字塔中的第0組第0層圖像與原始圖像之比，α是高斯金字塔的總組數(shù)，由如下計(jì)算公式得出：

α＝log₂min(R，C)-t，其中t∈[0，log₂min(r,c)]；

在上式中，R、C分別為原始圖像像素矩陣的總行數(shù)和總列數(shù)，而r、c則為高斯金字塔中頂層圖像的高度和寬度。

進(jìn)一步地，所述步驟S102、數(shù)據(jù)塊劃分中數(shù)據(jù)塊的重疊規(guī)則具體如下：

b為加上鄰域數(shù)據(jù)后數(shù)據(jù)塊的寬度，b的計(jì)算方法如下：

b＝max(L，4)。

進(jìn)一步地，所述步驟S103、數(shù)據(jù)塊分配中數(shù)據(jù)塊分配策略如下：

設(shè)數(shù)據(jù)塊的數(shù)量為N，集群節(jié)點(diǎn)數(shù)量為M，當(dāng)N≤M時(shí)，應(yīng)把N個(gè)數(shù)據(jù)塊平均分配給M個(gè)節(jié)點(diǎn)中前N個(gè)當(dāng)前負(fù)載最少的處理節(jié)點(diǎn)；當(dāng)N＞M時(shí)，先把M個(gè)數(shù)據(jù)塊平均分配到M個(gè)節(jié)點(diǎn)，剩下的(N-M)個(gè)數(shù)據(jù)塊分配給當(dāng)前負(fù)載最少的前(N-M)個(gè)節(jié)點(diǎn)作處理。

本發(fā)明相對(duì)于現(xiàn)有技術(shù)具有如下的優(yōu)點(diǎn)及效果：

本發(fā)明提出的一種基于SIFT特征聚類的監(jiān)控視頻的特征提取方法，充分利用SIFT特征匹配精度高、穩(wěn)定性和抗噪性良好的優(yōu)點(diǎn)，選擇SIFT特征作為特征類型。針對(duì)監(jiān)控視頻鏡頭固定不變的特點(diǎn)，在視頻分割階段，以SIFT特征匹配作為幀間內(nèi)容相似度的判斷標(biāo)準(zhǔn)，采用基于視頻幀SIFT特征相似度聚類的方法對(duì)監(jiān)控視頻進(jìn)行分割，引入?yún)^(qū)間平均相似度來(lái)表示一個(gè)聚類的總體相似度，以此來(lái)檢測(cè)發(fā)生內(nèi)容突變的邊界幀，保證邊界幀識(shí)別精確度；在關(guān)鍵幀提取階段，采用基于最大特征點(diǎn)策略的關(guān)鍵幀判別方法，以特征點(diǎn)數(shù)量作為關(guān)鍵幀的選取標(biāo)準(zhǔn)，對(duì)于內(nèi)容相似的幀序列，選取具有最多特征點(diǎn)的視頻幀作為關(guān)鍵幀，保證關(guān)鍵幀序列在盡可能少的圖像冗余信息下，實(shí)現(xiàn)對(duì)完整視頻得表達(dá)。該基于SIFT特征聚類的監(jiān)控視頻特征提取方法能有效地從監(jiān)控視頻中分割出內(nèi)容相似的視頻片段，而基于最大特征點(diǎn)策略的關(guān)鍵幀提取方法提取的關(guān)鍵幀冗余度低，實(shí)現(xiàn)了較好的視頻特征提取效果。

附圖說(shuō)明

圖1是本發(fā)明中公開的基于SIFT特征聚類的監(jiān)控視頻的特征提取方法的流程步驟圖；

圖2(a)是實(shí)施例中不按限制規(guī)則劃分?jǐn)?shù)據(jù)塊的效果示意圖；

圖2(b)是實(shí)施例中按限制規(guī)則劃分?jǐn)?shù)據(jù)塊的效果示意圖；

圖3是數(shù)據(jù)塊劃分中加上鄰域數(shù)據(jù)的數(shù)據(jù)塊示意圖；

圖4是數(shù)據(jù)塊中特征點(diǎn)分布圖；

圖5是幀間相似度R-曲線圖；

圖6是整個(gè)監(jiān)控視頻SL05_540P的幀間相似度R-曲線圖；

圖7是視頻SL05_480P中提取的關(guān)鍵幀。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚、明確，以下參照附圖并舉實(shí)施例對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

實(shí)施例一

本發(fā)明實(shí)施例針對(duì)監(jiān)控視頻長(zhǎng)期處于同一個(gè)鏡頭，基本沒有鏡頭切換的特征而提供的一種實(shí)時(shí)視頻特征提取方法，以下簡(jiǎn)稱本方法。

在本方法中需要用到SIFT特征技術(shù)，它是本方法中用到的一項(xiàng)基本技術(shù)。在本方法中它的作用是從每一個(gè)視頻幀中提取出特征點(diǎn)。

下面對(duì)SIFT進(jìn)行簡(jiǎn)單介紹。

SIFT，即尺度不變特征轉(zhuǎn)換(Scale-invariant feature transform，SIFT)簡(jiǎn)稱SIFT特征，是由David G.Lowe教授在1999年提出的一種局部性圖像特征提取算法,并在2004年被進(jìn)一步改進(jìn)。SIFT特征是一種圖像的局部特征，其特征點(diǎn)具有良好的穩(wěn)定性，不受圖像旋轉(zhuǎn)、縮放以及仿射所影響，對(duì)于光線、視角變化等外部干擾因素具有較高的抗干擾能力。

同時(shí)相比于其他特征，SIFT特征點(diǎn)信息量非常豐富，非常適合在海量圖像數(shù)據(jù)庫(kù)中進(jìn)行精準(zhǔn)匹配，所以本方法中使用SIFT特征提取算法對(duì)視頻幀進(jìn)行特征提取。但由于SIFT特征提取的時(shí)間代價(jià)較高的，而實(shí)時(shí)監(jiān)控視頻特征提取對(duì)實(shí)時(shí)性有一定的要求，所以本方法在進(jìn)行每一幀的SIFT特征提取時(shí)對(duì)其進(jìn)行了并行化處理，有效地提高了本方法的實(shí)時(shí)性。

如圖1所示，圖1是本發(fā)明中公開的基于SIFT特征聚類的監(jiān)控視頻的特征提取方法的流程步驟圖，該基于SIFT特征聚類的固定鏡頭實(shí)時(shí)監(jiān)控視頻特征提取方法分三個(gè)步驟有序進(jìn)行。

步驟S1、對(duì)實(shí)時(shí)產(chǎn)生的監(jiān)控視頻的每一幀使用并行計(jì)算的方式進(jìn)行特征提取，這一過(guò)程包含以下步驟。

步驟S101、視頻幀預(yù)處理。從視頻流中獲取的視頻幀實(shí)際上是一個(gè)彩色圖像，在本步中將其轉(zhuǎn)化成灰度圖像。

步驟S102、數(shù)據(jù)塊劃分。把完整的視頻幀劃分為若干數(shù)據(jù)塊，劃分策略如下：

SIFT特征是與圖像位置相關(guān)的特征，隨意劃分?jǐn)?shù)據(jù)將導(dǎo)致錯(cuò)誤的結(jié)果，因此本劃分策略在進(jìn)行數(shù)據(jù)塊劃分時(shí)需要遵循以下規(guī)則。

1、數(shù)據(jù)塊劃分規(guī)則

對(duì)于輸入圖像F，SIFT特征算法的步驟1是構(gòu)建高斯金字塔，高斯金字塔是對(duì)原始圖像連續(xù)采樣得出的，金字塔共α組，每組有β層。第0組的0層圖像是由原始圖像放大2倍獲得的，而隨后的每一組圖像的第0層是從上一組圖像的倒數(shù)第三層下采樣獲得的，圖像的下采樣會(huì)刪除原始圖像像素矩陣的偶數(shù)行和偶數(shù)列。因此數(shù)據(jù)劃分不恰當(dāng)會(huì)造成下采樣過(guò)程誤刪信息點(diǎn)，導(dǎo)致提取出來(lái)的特征點(diǎn)結(jié)果與原算法不一致。

為了說(shuō)明這個(gè)問(wèn)題，現(xiàn)假設(shè)某一圖像分辨率為100x100，其在SIFT特征提取時(shí)經(jīng)過(guò)一個(gè)下采樣過(guò)程后的圖像分辨率變?yōu)?0x50。假設(shè)現(xiàn)在對(duì)原圖像均勻的劃分為4份分別發(fā)向每個(gè)處理節(jié)點(diǎn)處理，每個(gè)節(jié)點(diǎn)執(zhí)行一次下采樣步驟得到的是13x13分辨率的圖像，而合并后的下采樣圖像的大小為52x52，與原方法的下采樣結(jié)果不同。

經(jīng)過(guò)以上分析，可以看出為了保證結(jié)果的準(zhǔn)確性，不能隨意地劃分?jǐn)?shù)據(jù)塊。為了解決這個(gè)問(wèn)題，需要對(duì)數(shù)據(jù)塊的大小進(jìn)行限定。實(shí)際上，建立高斯金字塔的下采樣過(guò)程就是刪除原圖像的偶數(shù)的行和列，經(jīng)過(guò)分析不難得出圖像劃分的數(shù)據(jù)塊高度和寬度只要是偶數(shù)，就不會(huì)被誤刪。因此，現(xiàn)規(guī)定劃分的數(shù)據(jù)塊是L的整數(shù)倍，L的計(jì)算方法如下：

L＝2^α-d，其中d∈{1，2}，

d為高斯金字塔中的第0組第0層圖像與原始圖像之比，在某些算法實(shí)現(xiàn)中，d＝2，在Lowe的算法實(shí)現(xiàn)中，d＝1。α是高斯金字塔的總組數(shù)，由如下計(jì)算公式得出：

α＝log₂min(R，C)-t，其中t∈[0，log₂min(r,c)]；

在上式中，R、C分別為原始圖像像素矩陣的總行數(shù)和總列數(shù)，而r、c則為高斯金字塔中頂層圖像的高度和寬度。為了保證結(jié)果的正確性，在圖像下采樣時(shí)不會(huì)誤刪數(shù)據(jù)，在劃分?jǐn)?shù)據(jù)塊時(shí)，數(shù)據(jù)塊的高度和寬度應(yīng)規(guī)定為L(zhǎng)的整數(shù)倍，但原圖像的每行和每列的最后一個(gè)數(shù)據(jù)塊不需滿足此規(guī)則。

如圖2(a)和圖2(b)所示20x20像素矩陣中，串行算法構(gòu)建高斯金字塔下采樣時(shí)需要?jiǎng)h除的偶數(shù)行r0～r20在圖中標(biāo)出，對(duì)數(shù)據(jù)塊劃分為四份后，從左到右從上到下對(duì)數(shù)據(jù)塊進(jìn)行編號(hào)為1～4。此時(shí)計(jì)算得出L＝2。假如劃分?jǐn)?shù)據(jù)塊時(shí)不按L倍數(shù)的限制規(guī)則處理，如圖2(a)所示，數(shù)據(jù)塊的寬度均為9，則在數(shù)據(jù)塊2中，原圖像中的偶數(shù)行在此塊中對(duì)應(yīng)為[r1、r3、r5、r7、r9]，為奇數(shù)行，在下采樣過(guò)程中沒有被刪除，從而對(duì)此數(shù)據(jù)塊應(yīng)用SIFT特征提取的結(jié)果將與串行方法不一致。假如按照L倍數(shù)的限制規(guī)則劃分，如圖2(b)所示，數(shù)據(jù)塊的高度和寬度均為10，數(shù)據(jù)塊2中，在原圖像中的偶數(shù)行在此塊中對(duì)應(yīng)為[r0、r2、r4、r8、r10]，同為偶數(shù)行，則在分塊中下采樣被刪除的行列與原圖像中一致，由此避免了分布化的算法與原算法不一致的問(wèn)題。

2、數(shù)據(jù)塊重疊規(guī)則

SIFT特征提取時(shí)，檢測(cè)極值點(diǎn)需要比較關(guān)鍵點(diǎn)與鄰域數(shù)據(jù)的大小，所以各節(jié)點(diǎn)除了要保存數(shù)據(jù)塊還需要保存數(shù)據(jù)分塊的鄰域數(shù)據(jù)。鄰域數(shù)據(jù)實(shí)際上是其他數(shù)據(jù)塊的內(nèi)容，因此鄰域數(shù)據(jù)也叫數(shù)據(jù)塊重疊區(qū)域。如圖3，在極值點(diǎn)檢測(cè)和方向分配時(shí)都需要鄰域數(shù)據(jù)，鄰域是關(guān)鍵點(diǎn)周圍4個(gè)像素點(diǎn)?？紤]到數(shù)據(jù)塊的高度和寬度限制，在加上鄰域數(shù)據(jù)后其高度和寬度也應(yīng)該滿足限制條件。如圖3為加上鄰域數(shù)據(jù)的數(shù)據(jù)塊示意圖，b為鄰域數(shù)據(jù)的寬度，b的計(jì)算方法如下：

b＝max(L，4)

當(dāng)L>4時(shí)，即使數(shù)據(jù)塊只需要周圍的4個(gè)像素單位寬度的鄰域數(shù)據(jù)，但由于數(shù)據(jù)塊高度和寬度需要滿足L整數(shù)倍的限制條件，所以鄰域數(shù)據(jù)寬度擴(kuò)展到L以保證執(zhí)行結(jié)果正確。而當(dāng)L<4時(shí)，L只能取2，則4滿足L的倍數(shù)關(guān)系，鄰域數(shù)據(jù)寬度取4。

步驟S103、數(shù)據(jù)塊分配。在劃分?jǐn)?shù)據(jù)塊后，將各個(gè)數(shù)據(jù)塊按照數(shù)據(jù)塊分配策略分配給相應(yīng)的處理節(jié)點(diǎn)，數(shù)據(jù)塊分配策略如下：

在數(shù)據(jù)劃分節(jié)點(diǎn)劃分?jǐn)?shù)據(jù)后，將數(shù)據(jù)塊發(fā)送到各個(gè)節(jié)點(diǎn)處理，這過(guò)程需考慮數(shù)據(jù)塊分配策略。在算法的特征合并環(huán)節(jié)需要等待所有的數(shù)據(jù)塊提取的結(jié)果，算法的處理速度取決于處理過(guò)程最慢的數(shù)據(jù)塊處理節(jié)點(diǎn)。為了達(dá)到最好的處理效果，下面給出考慮負(fù)載均衡的分配策略：設(shè)數(shù)據(jù)塊的數(shù)量為N，集群節(jié)點(diǎn)數(shù)量為M。當(dāng)N≤M時(shí)，應(yīng)把N個(gè)數(shù)據(jù)塊平均分配給M個(gè)節(jié)點(diǎn)中前N個(gè)當(dāng)前負(fù)載最少的處理節(jié)點(diǎn)；當(dāng)N＞M時(shí)，先把M個(gè)數(shù)據(jù)塊平均分配到M個(gè)節(jié)點(diǎn)，剩下的(N-M)個(gè)數(shù)據(jù)塊分配給當(dāng)前負(fù)載最少的前(N-M)個(gè)節(jié)點(diǎn)作處理。

步驟S104、各處理節(jié)點(diǎn)對(duì)數(shù)據(jù)塊進(jìn)行特征提取。各處理節(jié)點(diǎn)以接收的數(shù)據(jù)塊作為輸入采用SIFT特征提取算法提取特征點(diǎn)，并將處理結(jié)果發(fā)送到特征合并節(jié)點(diǎn)。

步驟S105、特征合并節(jié)點(diǎn)合并各數(shù)據(jù)塊的特征點(diǎn)。特征合并節(jié)點(diǎn)根據(jù)特征合并策略對(duì)屬于同一視頻幀的各數(shù)據(jù)塊的處理結(jié)果進(jìn)行特征點(diǎn)合并。特征合并策略如下：

SIFT特征點(diǎn)包含了位置信息，由于對(duì)各個(gè)數(shù)據(jù)塊的特征提取仍然采用原SIFT特征提取算法，在數(shù)據(jù)塊中提取的SIFT特征點(diǎn)的位置信息是基于數(shù)據(jù)塊坐標(biāo)的，因此如將原圖像幀進(jìn)行數(shù)據(jù)分塊分發(fā)給多個(gè)節(jié)點(diǎn)執(zhí)行，必然造成了分塊特征點(diǎn)相對(duì)位置的變化。為了使最終的特征點(diǎn)位置信息與原圖像坐標(biāo)保持一致，在合并過(guò)程中需要對(duì)數(shù)據(jù)塊的特征點(diǎn)位置進(jìn)行調(diào)整。

假設(shè)數(shù)據(jù)分塊i的左上角點(diǎn)在原圖像坐標(biāo)系中的位置為(x_i,y_i)，在該數(shù)據(jù)塊提取出來(lái)的某一特征點(diǎn)位置為(x′,y′)，設(shè)經(jīng)過(guò)位置調(diào)整后的位置坐標(biāo)(x,y)，(x,y)是合并后的正確位置，則(x,y)的計(jì)算公式為：

x＝x′+x_i

y＝y(tǒng)′+y_i

由于每個(gè)數(shù)據(jù)塊都包含了重疊區(qū)域，假如特征點(diǎn)是屬于重疊區(qū)域的，則該特征點(diǎn)不應(yīng)該包括在合并的結(jié)果中。如圖4所示為已提取特征后的數(shù)據(jù)塊，特征點(diǎn)d為其中一個(gè)特征點(diǎn)。假設(shè)tileWidth、tileHeight分別是數(shù)據(jù)塊的寬度和高度，tileIndex是該數(shù)據(jù)塊的編號(hào)，rTiles是原始圖像在行方向上被劃分的總塊數(shù)，(x,y)是點(diǎn)d經(jīng)過(guò)調(diào)整后的特征點(diǎn)位置，假如滿足：

x＜(tileIndex％rTiles)×tileWidth∪(tileIndex％rTiles+1)×tileWidth

y＜(tileIndex/rTiles)×tileHight∪(tileIndex/rTiles+1)×tileHight

則特征點(diǎn)d屬于重疊區(qū)域，由于重疊區(qū)域僅是在提取數(shù)據(jù)塊的特征點(diǎn)時(shí)被利用，而在其本身提取的特征點(diǎn)并不是正確的，應(yīng)該從結(jié)果中剔除。合并過(guò)程中應(yīng)保證滿足以上條件的特征點(diǎn)應(yīng)該被剔除后，最終的合并結(jié)果才是正確的。每幅圖像被分為四個(gè)數(shù)據(jù)塊，編號(hào)為1、2、3、4。每個(gè)數(shù)據(jù)塊由非重疊區(qū)域和重疊區(qū)域構(gòu)成。如圖4所示，圖像被劃分為四個(gè)相等的互不重疊的區(qū)域，分別為S1、S2、S3、S4，重疊區(qū)域A1、A2、A3分別為數(shù)據(jù)塊1與數(shù)據(jù)塊2、數(shù)據(jù)塊3、數(shù)據(jù)塊4重疊的鄰域。S1、A1、A2、A3共同構(gòu)成數(shù)據(jù)塊1，S1、A1、A2、A3中的點(diǎn)為在數(shù)據(jù)塊1中提取的SIFT特征點(diǎn)，其中重疊區(qū)域中的點(diǎn)應(yīng)該被剔除。例如，位于重疊區(qū)域A2中的特征點(diǎn)d(x,y)，應(yīng)該是在數(shù)據(jù)塊3中被提取，因此應(yīng)該將該點(diǎn)從數(shù)據(jù)塊1中提取的點(diǎn)中剔除。

在這個(gè)步驟S1中，不僅對(duì)每一個(gè)視頻幀進(jìn)行了特征提取，而且通過(guò)將每一個(gè)視頻幀的特征提取過(guò)程并行化，提高了本方法對(duì)每一個(gè)視頻幀的特征提取的速度，解決了本方法的實(shí)時(shí)性問(wèn)題。

步驟S2、利用第一個(gè)過(guò)程的處理結(jié)果，將實(shí)時(shí)產(chǎn)生的監(jiān)控視頻流按照每段視頻包含相似內(nèi)容的原則分割成視頻段，步驟如下：

步驟S201、確定閥值δ。選擇一定的閥值δ，作為視頻內(nèi)容突變的檢測(cè)值。

步驟S202、確定閥值Δ。選擇一定的閥值Δ，作為判別邊界的檢測(cè)值。

步驟S203、確定N值。選擇一定的值N，作為邊界檢測(cè)連續(xù)幀數(shù)。

步驟S204、獲取視頻幀。從實(shí)時(shí)產(chǎn)生的監(jiān)控視頻流中獲取視頻幀。

步驟S205、設(shè)置視頻分割起點(diǎn)幀。將步驟S201中的監(jiān)控視頻流的第一幀作為視頻分割起點(diǎn)幀(第s幀)，即s＝1。

步驟S206、提取每一幀的特征點(diǎn)。從視頻分割起點(diǎn)幀(第s幀)開始，順序地獲取視頻中每一幀(第i幀)并對(duì)其進(jìn)行SIFT特征提取，得到其所有特征點(diǎn)和特征點(diǎn)數(shù)量F(i)。

步驟S207、計(jì)算相鄰幀的幀間相似度。在步驟S206中對(duì)每一幀(第i幀)進(jìn)行SIFT特征提取的同時(shí)，將該視頻幀與其前一幀(第i-1幀)的SIFT特征點(diǎn)進(jìn)行匹配，得到第i幀與其前一幀間相匹配的特征點(diǎn)數(shù)量M(i)，并計(jì)算出第i幀與其前一幀間的相似度R(i)。相似度計(jì)算公式如下：

$R\left(i\right)=\frac{2M\left(i\right)}{F\left(i\right)+F(i-1)}$

步驟S208、計(jì)算幀間相似度平均值。在步驟S207計(jì)算出當(dāng)前幀(第i幀)與其前一幀間的相似度R(i)的同時(shí)，計(jì)算從視頻分割起點(diǎn)幀(第s幀)到當(dāng)前幀(第i幀)的幀間相似度的平均值計(jì)算公式如下：

$\stackrel{\&OverBar;}{R(s,i)}=\frac{1}{i-s+1}\underset{k=s}{\overset{i}{\&Sigma;}}R\left(k\right)$

步驟S209、尋找疑似邊界幀k。在步驟S208中計(jì)算當(dāng)前幀(第i幀)與其前一幀間的相似度R(i)的同時(shí)，如果遇到某一幀(假設(shè)為第k幀)和其上一幀(第k-1幀)間的相似度R(k)的值低于已選定的視頻內(nèi)容突變閥值δ，即R(k)<δ，則第k幀為疑似邊界幀。

在步驟S209中，用這樣的方式選擇疑似邊界幀的依據(jù)如下：根據(jù)選擇的視頻內(nèi)容突變閥值δ，當(dāng)R(k)<δ時(shí)，可以得出第k幀和第k-1幀的內(nèi)容相似度較低的結(jié)論，因此可以判定此時(shí)視頻畫面發(fā)生了變化，認(rèn)為第k幀可能是一個(gè)視頻分段的邊界幀，所以第k幀是一個(gè)疑似邊界幀。但是，以上理由不足以確定第k幀是一個(gè)邊界幀。因?yàn)?，可能出現(xiàn)某一個(gè)區(qū)間的視頻幀持續(xù)保持較低的幀間相似度，這可能是視頻中人物持續(xù)變動(dòng)造成的，而這一部分視頻幀應(yīng)該是屬于同一個(gè)視頻片段，因?yàn)樗鼈兌荚诒硎鲋粋€(gè)相同的事件。如圖5所示，圖中第545幀到第1157幀這個(gè)區(qū)間內(nèi)，幀間相似度持續(xù)保持一個(gè)較低的水平，但這是由于第545幀到第1157幀一段視頻描述了一個(gè)人站起身向門口走去的活動(dòng)，所以這個(gè)區(qū)間內(nèi)的幀應(yīng)該屬于一個(gè)視頻片段，而不是被分割。所以從第545幀到第1157幀都只是疑似邊界幀。所以需要進(jìn)一步來(lái)確定疑似邊界幀是否是真正的邊界幀。

步驟S210、計(jì)算判斷疑似邊界幀是否為邊界幀。對(duì)疑似邊界幀(k幀)后面連續(xù)的N幀提取特征點(diǎn)、計(jì)算每一幀與其上一幀的幀間相似度，并計(jì)算從第(k+1)幀到第(k+N)幀的幀間相似度的平均值若則判定第k幀是邊界幀，否則不是邊界幀。若是邊界幀，則將視頻分割起點(diǎn)幀(第s幀)和第k幀之間的所有幀分割出來(lái)成為一個(gè)視頻段，并將第k+1幀作為新的視頻分割起點(diǎn)幀，即s＝k+1，重復(fù)步驟S206至步驟S210，直到整個(gè)監(jiān)控視頻流的所有幀全部處理結(jié)束；若不是邊界幀，則從第k+1幀開始，繼續(xù)尋找下一個(gè)疑似邊界幀，重復(fù)執(zhí)行步驟S209和步驟S210，直到所有幀都處理結(jié)束。

在步驟S210中，選擇這種方式判斷疑似邊界幀的原因如下：

同樣以圖5為例。當(dāng)處理到第545幀時(shí)，發(fā)現(xiàn)這一幀與前一幀的幀間相似度較低，認(rèn)為它是一個(gè)疑似邊界幀。接著檢查它后面連續(xù)的N幀，發(fā)現(xiàn)這幀的幀間相似度的平均值與差距大于Δ，所以確定它就是一個(gè)邊界幀。相應(yīng)地，在視頻中，第s幀到第545幀描述的是一個(gè)基本靜止的室內(nèi)環(huán)境，而第545幀以后，視頻中的人站起身來(lái)向門外走去。由此可見認(rèn)定第545幀是邊界幀的結(jié)論是正確的。此時(shí)，視頻分割起點(diǎn)幀s變成了第546幀(即s＝546)。之后同樣地，當(dāng)處理到第546幀至第1156幀中的某一幀(假設(shè)為第j幀)時(shí)，發(fā)現(xiàn)第j幀與其前一幀的幀間相似度較低，此時(shí)也認(rèn)為它是一個(gè)疑似邊界幀，但當(dāng)檢測(cè)其后相鄰的N幀時(shí)，發(fā)現(xiàn)與相差不大(從圖5中也可以很容易驗(yàn)證這個(gè)結(jié)果)，所以，根據(jù)步驟S210的判斷，可以確定第j幀不是邊界幀。最后，得到第546到第1156都不是邊界幀。相應(yīng)地，在視頻里，這些幀都是描述視頻中人物走動(dòng)的視頻片段的內(nèi)部幀。當(dāng)處理到第1157幀時(shí)，同樣認(rèn)為它是一個(gè)疑似邊界幀。檢查第1157幀后面連續(xù)N幀的過(guò)程中，發(fā)現(xiàn)明顯高于所以確定第1157幀是一個(gè)邊界幀。相應(yīng)地，在視頻中第546幀到第1157幀共同描述了視頻中的人起身向門口走去的活動(dòng)。以上三種情況的分析和描述，充分證明了確定一個(gè)視頻幀是邊界幀的方法的正確性、合理性。

在這個(gè)步驟S2中，一段監(jiān)控視頻按照視頻內(nèi)容被分割成若干視頻片段。

步驟S3、對(duì)步驟S2中得到的每一個(gè)視頻片段分別提取關(guān)鍵幀，具體步驟如下：

步驟S301、獲取視頻幀。從視頻分割片段中獲取視頻幀。

步驟S302、初始特殊關(guān)鍵幀的幀號(hào)。設(shè)置特殊關(guān)鍵幀的幀號(hào)Key，Key值初始為1。

步驟S303、初始特殊關(guān)鍵幀的特征點(diǎn)數(shù)量。設(shè)置特殊關(guān)鍵幀的特征點(diǎn)數(shù)量MAX，初始值為0。

步驟S304、設(shè)置關(guān)鍵起點(diǎn)幀。將步驟S301中獲取的視頻幀的第一幀作為關(guān)鍵起點(diǎn)幀(第t幀)。

步驟S305、提取每一幀的特征點(diǎn)。從關(guān)鍵起點(diǎn)幀(第t幀)開始，對(duì)步驟S301中獲取的每一幀(第i幀)進(jìn)行特征提取，獲取每一幀的特征點(diǎn)和特征點(diǎn)數(shù)量F(i)。

步驟S306、計(jì)算每一幀與關(guān)鍵起點(diǎn)幀的幀間相似度。在步驟S305中對(duì)每一幀進(jìn)行特征提取的同時(shí)，對(duì)該當(dāng)前幀(第i幀)與關(guān)鍵起點(diǎn)幀(第t幀)進(jìn)行匹配，得到這兩幀間相匹配的特征點(diǎn)數(shù)量M(t,i)，并計(jì)算出這兩幀間的相似度R(t,i)。

步驟S307、計(jì)算相鄰幀的幀間相似度。在步驟S305中對(duì)每一幀進(jìn)行特征提取的同時(shí)，對(duì)該當(dāng)前幀(第i幀)與其前一幀(第i-1幀)進(jìn)行匹配，得到當(dāng)前幀與其前一幀間相匹配的特征點(diǎn)數(shù)量M(i)，并計(jì)算出當(dāng)前幀與其前一幀的相似度R(i)。

步驟S308、計(jì)算關(guān)鍵起點(diǎn)幀到每一幀的幀間相似度平均值。在步驟S307中計(jì)算出當(dāng)前幀(第i幀)與其前一幀的相似度R(i)的同時(shí)，計(jì)算從關(guān)鍵起點(diǎn)幀(第t幀)到當(dāng)前幀(第i幀)的幀間相似度平均值

步驟S309、更新特殊關(guān)鍵幀的幀號(hào)以及該幀的特征點(diǎn)數(shù)量。在步驟S308中對(duì)當(dāng)前幀(第i幀)計(jì)算的同時(shí)，若則令Key＝i，

步驟S310、提取每一段包含相似內(nèi)容的視頻片段中的關(guān)鍵幀。在步驟S306中計(jì)算每一幀與關(guān)鍵起點(diǎn)幀(第t幀)的幀間相似度R(t,i)時(shí)，R(t,i)會(huì)逐漸減小。假設(shè)，當(dāng)i＝j(luò)時(shí)，R(t,i)＝0，則在第t幀到第j幀中找到特征點(diǎn)數(shù)量最大的視頻幀，將其添加到關(guān)鍵幀序列中，并將第j+1幀作為新的關(guān)鍵起點(diǎn)幀，即t＝j(luò)+1。重復(fù)步驟S305至步驟S310中的操作，直到處理到此視頻分割片段的最后一幀結(jié)束。

步驟S311、確定本段視頻流的特殊關(guān)鍵幀。步驟S310完成后，Key中保存的是本段視頻段中的特殊關(guān)鍵幀的幀號(hào)，將第Key幀添加到關(guān)鍵幀序列中。特殊關(guān)鍵幀的介紹如下：

特殊關(guān)鍵幀是指整個(gè)視頻段中視頻幀畫面變化幅度最大的視頻幀，這種視頻幀描述了重要的畫面變化信息，所以應(yīng)當(dāng)將其添加到關(guān)鍵幀序列中。

此過(guò)程得到的關(guān)鍵幀序列中的所有視頻幀即為描述其所在視頻段主要內(nèi)容的關(guān)鍵幀。

最后，將所有視頻段中的所有關(guān)鍵幀和這些關(guān)鍵幀的特征點(diǎn)保存下來(lái)，作為整段視頻的視頻特征。

實(shí)施例二

在本實(shí)施例中，以對(duì)一個(gè)視頻段SL05_540P的處理過(guò)程來(lái)展開對(duì)本方法的具體實(shí)施方式和效果的描述。

視頻段SL05_540P是一段包含1801幀的監(jiān)控視頻段，由于無(wú)法將每一幀畫面一一展示，故在此以文字的形式對(duì)其內(nèi)容加以描述：

視頻SL05_540P展示了一段實(shí)驗(yàn)室出口區(qū)域的監(jiān)控視頻，視頻總共1801幀。視頻首先顯示了一段時(shí)間的背景畫面，然后一個(gè)人進(jìn)入監(jiān)控范圍，該人物經(jīng)過(guò)出口區(qū)域，離開實(shí)驗(yàn)室，離開一段時(shí)間后又回從出口區(qū)域返回實(shí)驗(yàn)室，最后人物離開監(jiān)控范圍。整個(gè)過(guò)程被監(jiān)控視頻SL05_540P記錄在視頻中。

直觀的，可以根據(jù)畫面內(nèi)容將這段視頻分為五段：

第一段記錄的是一段時(shí)間的背景畫面。

第二段記錄的是一個(gè)人出現(xiàn)在畫面中，從出口區(qū)域離開實(shí)驗(yàn)室。

第三段記錄的是一段時(shí)間的背景畫面。

第四段記錄的是剛剛離開的人重新出現(xiàn)在畫面中，從出口區(qū)域回到實(shí)驗(yàn)室。

第五段記錄的是一段時(shí)間的背景畫面。

以上是用肉眼直觀地對(duì)視頻進(jìn)行的分段，下面結(jié)合圖6描述本方法對(duì)這段視頻的處理過(guò)程和處理結(jié)果。

(一)對(duì)監(jiān)控視頻SL05_540P的每一幀使用并行計(jì)算的方式進(jìn)行特征提取以及視頻段劃分。

首先，從監(jiān)控視頻SL05_540P的第一幀開始，第1幀作為視頻分割起點(diǎn)幀，從前往后依次對(duì)每一幀使用并行方法進(jìn)行特征提取，得到每一幀的特征點(diǎn)和特征數(shù)量，幀間相似度，平均幀間相似度。如圖5所示，在第1幀到第593幀這個(gè)區(qū)間，計(jì)算得到的幀間相似度穩(wěn)定在0.8左右，高于選取的視頻內(nèi)容突變的檢測(cè)值δ，所以這些幀中沒有疑似邊界幀。當(dāng)處理到第594幀時(shí)，發(fā)現(xiàn)第594幀與第593幀的幀間相似度不在穩(wěn)定在0.8，而是在0.6左右，這低于選取的視頻內(nèi)容突變的檢測(cè)值δ，此時(shí)可以確定視頻畫面在第594幀附近發(fā)生了較大變化，第594幀是一個(gè)邊界疑似幀。

接著，按照本方法對(duì)第594幀之后的N幀(第595幀到第594+N幀)進(jìn)行特征提取，得到這N幀的幀間相似度、平均幀間相似度通過(guò)比較和發(fā)現(xiàn)大于判別邊界的檢測(cè)值Δ，所以確定第594幀是邊界幀。于是，第1幀到第594幀被分割出來(lái)，成為一個(gè)視頻片段。

接著，第595幀作為新的視頻分割起始幀s，繼續(xù)對(duì)第595幀以后(包括第595幀)的視頻幀進(jìn)行處理。對(duì)第595幀進(jìn)行處理時(shí)，發(fā)現(xiàn)第595幀與第594幀的幀間相似度也低于檢測(cè)值δ，所以第595幀也是一個(gè)疑似邊界幀。于是對(duì)其后第596幀到第595+N幀進(jìn)行特征提取，并計(jì)算這N幀的幀間相似度、平均幀間相似度此時(shí)發(fā)現(xiàn)小于檢測(cè)值Δ，所以判定第595幀不是邊界幀。視頻分割起始幀s不變，繼續(xù)處理第596幀，發(fā)現(xiàn)第596幀的情況與第595幀相同，這種情況一直持續(xù)到第1156幀。從第595幀到第1156幀，這個(gè)區(qū)間內(nèi)的每一幀與其前一幀的幀間相似度都很低，都是疑似邊界幀，但經(jīng)過(guò)對(duì)它們后面N幀的檢測(cè)后，判斷它們都不是邊界幀。原因是，這個(gè)區(qū)間的畫面中，有物體持續(xù)變換位置，這使得這些幀的幀間相似度都很低，所以它們是疑似邊界幀；但由于這些幀都在描述一個(gè)人在畫面中走動(dòng)的事件，所以它們應(yīng)當(dāng)屬于同一個(gè)視頻段，所以經(jīng)過(guò)判定，它們都不是真正的邊界幀。

接著，當(dāng)處理到第1157幀時(shí)，同樣確定它是一個(gè)疑似邊界幀。對(duì)其后面的N幀進(jìn)行處理，發(fā)現(xiàn)大于檢測(cè)值Δ，于是確定第1157幀是一個(gè)邊界幀。于是第595幀至第1157幀被分割出來(lái)，成為一個(gè)視頻片段。這是因?yàn)榈?157幀之后的N幀中畫面不在變化，所以的值遠(yuǎn)遠(yuǎn)高于

接著，第1158幀作為新的視頻分割起始幀s，繼續(xù)對(duì)第595幀以后(包括第595幀)的視頻幀進(jìn)行處理。

類似地，按照前面的處理過(guò)程和判斷方法，可以得到以下結(jié)果：

第1158幀至第1469幀中每一幀對(duì)應(yīng)的幀間相似度都較高，所以它們都不是疑似邊界幀，更不是邊界幀；

第1470幀對(duì)應(yīng)的幀間相似度低于檢測(cè)值δ，所以它是疑似邊界幀，經(jīng)過(guò)判定，它也是邊界幀。所以第1158幀至第1470幀被分割成一個(gè)視頻片段。

第1471幀至1649幀中每一幀對(duì)應(yīng)的幀間相似度都低于檢測(cè)值δ，所以它們都是疑似邊界幀，但經(jīng)過(guò)判定，它們都不是邊界幀。

第1650幀對(duì)應(yīng)的幀間相似度低于檢測(cè)值δ，所以它是疑似邊界幀，經(jīng)過(guò)判定，它也是邊界幀。所以第1471幀至第1650幀被分割成一個(gè)視頻片段。

第1651幀至第1800幀中每一幀對(duì)應(yīng)的幀間相似度都較高，所以它們都不是疑似邊界幀，更不是邊界幀；

第1801幀是視頻SL05_540P的最后一幀，第1651幀至第1801幀被分割成一個(gè)視頻片段。

經(jīng)過(guò)以上處理，視頻SL05_540P被分割成五個(gè)片段，分別如下；

第一段第1幀至第594幀，記錄的是一段時(shí)間的背景畫面。

第二段第595幀至第1157幀，記錄的是一個(gè)人出現(xiàn)在畫面中，從出口區(qū)域離開實(shí)驗(yàn)室。

第三段第1158幀至第1470幀，記錄的是一段時(shí)間的背景畫面。

第四段第1471幀至第1650幀，記錄的是剛剛離開的人重新出現(xiàn)在畫面中，從出口區(qū)域回到實(shí)驗(yàn)室。

第五段第1651幀至第1801幀，記錄的是一段時(shí)間的背景畫面。

以上結(jié)果，與用肉眼直觀地對(duì)視頻進(jìn)行的分段完全吻合，這說(shuō)明這方法在視頻分割處理上是正確的。

(二)對(duì)第一部分得到的監(jiān)控視頻SL05_540P的每一個(gè)視頻片段分別提取特征幀。

根據(jù)本方法的視頻分割策略得到的視頻段分為兩種：一種是，由內(nèi)容沒有變化的背景畫面構(gòu)成的視頻段，如本實(shí)施例的第一、三、五段；另一種是，由若干個(gè)活動(dòng)構(gòu)成的視頻段，如第二、四段。

所以第一、三、五段的特征幀提取過(guò)程完全類似，而第二、四段視頻的特征幀提取過(guò)程完全類似，此處以第四段視頻的特征幀提取為例展開描述。

首先，從第四段視頻(第1471至1650幀)的第一幀，即第1471幀開始，以第1471幀作為關(guān)鍵起點(diǎn)幀t，從前往后計(jì)算每一幀對(duì)應(yīng)的特征點(diǎn)、特征點(diǎn)數(shù)量、與前一幀的幀間相似度，同時(shí)計(jì)算每一幀與關(guān)鍵起點(diǎn)幀的幀間相似度。

視頻段中事物的活動(dòng)(如位置變換等)將會(huì)畫面內(nèi)容的變化，隨著時(shí)間的推移，畫面變化程度加深，越靠后的視頻幀與關(guān)鍵起點(diǎn)幀的幀間相似度就會(huì)越低。

所以，在對(duì)第1471幀之后的每一幀進(jìn)行處理時(shí)，發(fā)現(xiàn)它們與關(guān)鍵起點(diǎn)幀(第1471幀)的幀間相似度逐漸降低，直到第1561幀時(shí)，它與關(guān)鍵起點(diǎn)幀的幀間相似度降為0，此時(shí)第1471至第1561幀作為一個(gè)小片段，在這個(gè)小片段中找到其中特征點(diǎn)數(shù)量最多的幀(第1471幀)，則該幀即為這個(gè)小片段中的關(guān)鍵幀。

接著，從第1562幀開始，以第1562幀作為關(guān)鍵起點(diǎn)幀t，按照和前面相同的方法找到下一個(gè)小片段(第1562至第1632幀)，找到其中的關(guān)鍵幀(第1600幀)。

接著，從第1633幀開始，以第1563幀作為關(guān)鍵起點(diǎn)幀t，按照和前面相同的方法確定下一個(gè)小片段。當(dāng)處理到本段視頻的最后一幀(第1650幀時(shí))仍未找到與關(guān)鍵起點(diǎn)幀t的幀間相似度為零的幀，則此時(shí)將第1633至第1650幀作為一個(gè)小片段，找出其中的關(guān)鍵幀(第1645幀)。

經(jīng)過(guò)以上處理，可以得到第四段視頻的所有關(guān)鍵幀，它們分別是：第1471、1600、1645幀。

同樣的方法處理第二段視頻可以得到它的關(guān)鍵幀：第601、642、706、866、921、1037幀。

同樣的方法處理第一、三、五段視頻，每段視頻均得到一個(gè)關(guān)鍵幀，分為是：第148、1158、1654幀。第一、三、五段視頻都只得到一個(gè)關(guān)鍵幀的原因是：從第一部分的結(jié)果中可知，第一、三、五段視頻段都記錄的是一段時(shí)間的背景畫面，整個(gè)視頻段中，沒有畫面變化，所以每個(gè)視頻段都是一個(gè)小片段，所以每個(gè)視頻段都只能得到一個(gè)關(guān)鍵幀，而這一個(gè)關(guān)鍵幀足以描述整個(gè)視頻段的信息。

通過(guò)以上對(duì)監(jiān)控視頻SL05_480P的所有處理，最終通過(guò)本方法，成功地從一段1801幀的監(jiān)控視頻中提取出12個(gè)關(guān)鍵幀，這12個(gè)關(guān)鍵幀如圖7所示，將這12個(gè)關(guān)鍵幀及它們的特征點(diǎn)保存下來(lái)，最為監(jiān)控視頻SL05_480P的視頻特征。

至此，本方法對(duì)監(jiān)控視頻SL05_480P的所有處理結(jié)束。

下面通過(guò)一個(gè)應(yīng)用場(chǎng)景來(lái)介紹本方法的有益效果。

需求及背景：

1.現(xiàn)在有一張監(jiān)控視頻SL05_480P中出現(xiàn)的人物的肖像圖，現(xiàn)需要查詢所有與此人相關(guān)的視頻。

2.有一個(gè)監(jiān)控視頻數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)中存儲(chǔ)了大量監(jiān)控視頻，包括監(jiān)控視頻SL05_480P。

3.監(jiān)控視頻數(shù)據(jù)庫(kù)中的所有視頻都按照本方法進(jìn)行了視頻特征提取，并用這些視頻特征作為各視頻的索引。

傳統(tǒng)解決方案：

在整個(gè)監(jiān)控視頻數(shù)據(jù)庫(kù)中逐個(gè)匹配，直到找到所有與該人物相關(guān)的監(jiān)控視頻。

這種方案需要對(duì)大量的視頻數(shù)據(jù)進(jìn)行處理，效率十分低下。

基于本方法處理結(jié)果的解決方案：

首先，通過(guò)SIFT特征提取方法，提取肖像圖中的特征點(diǎn)。

然后，將肖像圖中的特征點(diǎn)與數(shù)據(jù)庫(kù)中存儲(chǔ)的各監(jiān)控視頻的索引的每一個(gè)關(guān)鍵幀的特征點(diǎn)進(jìn)行匹配。

最后，按照一定的選擇策略從數(shù)據(jù)庫(kù)中選出與肖像圖較為匹配的索引，找到這些索引對(duì)應(yīng)的監(jiān)控視頻。這些找到的監(jiān)控視頻即為數(shù)據(jù)庫(kù)中所有與肖像圖中人物相關(guān)的監(jiān)控視頻。

這種方案只需處理數(shù)據(jù)庫(kù)中存儲(chǔ)的索引信息，計(jì)算量大大減少，效率十分可觀。

通過(guò)以上兩種方法的對(duì)比，可以充分體現(xiàn)出本方法的有益效果。

上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受上述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。