本發(fā)明涉及一種基于局部特征和詞袋模型人體動作識別過程的關(guān)鍵幀選取方法，屬于計算機視覺技術(shù)領(lǐng)域。

背景技術(shù)：

人體動作識別廣泛應(yīng)用于人機交互、智能監(jiān)控、虛擬現(xiàn)實等領(lǐng)域。基于局部特征和詞袋模型的人體動作識別方法由于計算簡單魯棒性高等特點受到廣泛關(guān)注。但人體動作識別的視頻圖像幀數(shù)多，不同幀包含了相同的人體動作特征，存在數(shù)據(jù)量大，用于動作識別的信息冗余等問題，導(dǎo)致識別速度慢和識別準(zhǔn)確率低。因此對人體動作視頻進行有效的關(guān)鍵幀選取可以去除冗余信息，減少動作識別過程中的特征數(shù)目，同時保證人體動作識別準(zhǔn)確率。

目前，常見的關(guān)鍵幀選取方法首先要對原始視頻進行鏡頭分割。zhuang等通過對不同鏡頭中所有幀的顏色直方圖向量聚類選取關(guān)鍵幀，聚類中心個數(shù)即為關(guān)鍵幀選取數(shù)目，但聚類中心數(shù)目需要人為確定。為自動確定關(guān)鍵幀的提取數(shù)目，magda等利用相鄰兩幀的顏色直方圖差分作為適應(yīng)度值通過離散粒子群選取關(guān)鍵幀，但基于全局特征進行人體動作識別，不僅運算量高且對背景及光照變化敏感。zhao等利用局部時空特征的信息熵選取關(guān)鍵幀進行人體動作識別，但該方法無法自動確定關(guān)鍵幀選取數(shù)目，利用該方法選取的關(guān)鍵幀進行人體動作識別的準(zhǔn)確率有所降低。

因此，針對目前關(guān)鍵幀選取方法關(guān)鍵幀選取數(shù)目需人為確定、基于全局特征計算量大且對背景及光照敏感以及動作識別準(zhǔn)確率降低等不足，本發(fā)明提出一種基于局部特征和詞袋模型自動確定關(guān)鍵幀數(shù)目的關(guān)鍵幀選取方法，利用本發(fā)明選取的關(guān)鍵幀進行人體動作識別，保證了較高的準(zhǔn)確率。

技術(shù)實現(xiàn)要素：

本發(fā)明針對局部特征和詞袋模型人體動作識別過程視頻圖像幀數(shù)多，信息量大，不同幀圖像中動作特征冗余，導(dǎo)致識別準(zhǔn)確率低等問題提出一種關(guān)鍵幀選取方法。基于離散粒子群采用夾角余弦值作為適應(yīng)度值評價關(guān)鍵幀選取前后表征人體動作特征相似度，從原始動作視頻中選取與原始動作視頻表征動作特征最相似的一組圖像幀作為關(guān)鍵幀。

本發(fā)明采用的技術(shù)方案為一種基于局部特征和詞袋模型人體動作識別過程的關(guān)鍵幀選取方法，基于局部特征和詞袋模型的人體動作識別過程如下：首先提取人體動作局部特征，將局部特征聚類映射為不同的視覺詞匯，所有視覺詞匯構(gòu)成視覺詞典。

計算每個人體動作視頻所有視覺詞匯出現(xiàn)的概率，得到視覺詞匯分布特征向量直方圖h＝(h1,h2,...,hi,...,hn)。其中hi為第i個視覺詞匯在人體動作視頻中出現(xiàn)的概率，n為視覺詞典大小。將h作為描述人體動作視頻的特征向量輸入分類器進行動作識別。

采用局部特征和詞袋模型基于離散粒子群選取關(guān)鍵幀進行人體動作識別的特征在于：如圖1所示，包括以下步驟：

步驟一設(shè)定初始參數(shù)

利用離散粒子群選取人體動作視頻關(guān)鍵幀的初始參數(shù)設(shè)定包括：種群個數(shù)n，迭代次數(shù)m，隨機粒子及速度：xi，vi，i＝1,2,...,n。

其中隨機粒子xi為二進制向量，長度等于原始人體動作視頻幀數(shù)m。向量中元素值為1表示選取該幀為關(guān)鍵幀，否則為0。速度向量vi的長度和xi相同，向量中的每一項為0-1的隨機數(shù)，表征隨機粒子中元素為1的概率。

步驟二計算每個粒子的適應(yīng)度值

采用原始人體動作視頻和所有選取的關(guān)鍵幀對應(yīng)的局部特征向量直方圖的夾角余弦值作為適應(yīng)度值，計算公式如下：

向量h表示原始動作視頻的特征向量直方圖，向量hi表示隨機粒子xi選取的所有關(guān)鍵幀對應(yīng)的局部特征向量直方圖。

步驟三獲得初始粒子群的最優(yōu)適應(yīng)度和最優(yōu)粒子

計算每個粒子的適應(yīng)度值后，初始粒子群的最優(yōu)適應(yīng)度為：

fmax＝max(f(hi,h))(2)

最優(yōu)適應(yīng)度取值所對應(yīng)的粒子xi即為初始粒子群的最優(yōu)粒子。

步驟四速度更新

對粒子群中所有粒子進行速度更新:

其中，vi^k+1為第i個粒子第k+1次迭代后的速度，vi^k為第i個粒子第k次迭代后的速度，為第i個粒子第k次迭代后的結(jié)果，pbest為粒子的個體最優(yōu)解，即同一粒子在迭代過程中最優(yōu)適應(yīng)度取值所對應(yīng)的粒子。gbest為種群全局最優(yōu)解，即迭代過程中全局最優(yōu)適應(yīng)度值所對應(yīng)的粒子。r1和r2為0-1之間的隨機數(shù)。通過pbest及gbest修正粒子尋優(yōu)路徑，加速尋找最能表征人體動作特征的關(guān)鍵幀。

步驟五速度修正

速度向量中每一項對應(yīng)粒子中該位置元素為1的概率，因此為使得速度向量中的每一項的值在0到1之間，引入標(biāo)準(zhǔn)sigmoid函數(shù)進行速度修正：

其中，vid為第i個粒子的速度向量vi第d個元素的值，d＝1,2,...,m。exp()為指數(shù)函數(shù)。v′id為速度向量vi第d個元素修正后的速度值。

步驟六粒子更新

根據(jù)每個粒子的速度向量對粒子進行更新：

其中，xid為粒子xi中第d個元素的值，rand()為0-1間的隨機數(shù)。

重復(fù)步驟四、步驟五、步驟六，當(dāng)?shù)螖?shù)達到步驟一中設(shè)置的迭代次數(shù)m時，gbest中所有值為1的項對應(yīng)的位置即為人體動作視頻選取的關(guān)鍵幀幀序。

以上就是本發(fā)明提出的關(guān)鍵幀選取步驟。

本發(fā)明的有益效果在于：提出的關(guān)鍵幀選取方法無需對原始視頻進行鏡頭分割，基于局部特征運算量減少且受背景及光照變化影響小，自動確定關(guān)鍵幀選取數(shù)目，保證人體動作識別準(zhǔn)確率。

附圖說明

圖1是本發(fā)明所述的人體動作視頻關(guān)鍵幀選取流程圖。

圖2是本發(fā)明具體實施方式所述的基于關(guān)鍵幀選取的人體動作識別流程圖。

圖3是本發(fā)明具體實施方式所述的kth單人動作數(shù)據(jù)庫6個動作、不同場景的部分圖例。

圖4是本發(fā)明具體實施方式所述的3dharris人體動作視頻時空興趣點提取結(jié)果。

圖5是本發(fā)明具體實施方式所述的關(guān)鍵幀選取結(jié)果圖。

具體實施方式

下面結(jié)合實例及附圖對本發(fā)明作進一步的描述，需要說明的是，實施例并不限定本發(fā)明要求保護的范圍。

選用kth單人動作數(shù)據(jù)庫進行仿真實驗，kth單人數(shù)據(jù)庫包括行走、慢跑、跑步、拳擊、鼓掌、揮手6個動作，每種動作包含25個人4個不同場景共100個動作視頻圖像序列。圖3給出kth數(shù)據(jù)庫中四個場景6個不同動作的示例圖像。

基于局部特征和詞袋模型的關(guān)鍵幀選取和人體動作識別流程如圖2所示：

采用3dharris方法提取時空興趣點作為人體動作識別局部特征，時空興趣點描述器采用hog3d描述法。不同動作圖像時空興趣點局部特征提取結(jié)果如圖4所示。每個動作選取80個動作視頻為訓(xùn)練樣本，其余20個為測試樣本進行人體動作識別。視覺詞典建立過程，采用k-均值聚類法對訓(xùn)練本中所有時空興趣點進行聚類，聚類中心個數(shù)為650。對于測試樣本，采用最近鄰查詢將人體動作視頻時空興趣點映射為視覺詞匯。計算每個人體動作視頻的基于時空興趣點的視覺詞匯分布直方圖特征向量。

對所有人體動作視頻關(guān)鍵幀選取具體實現(xiàn)如下：

s1、設(shè)置初始參數(shù)

利用離散粒子群選取人體動作視頻關(guān)鍵幀，設(shè)定種群個數(shù)n為50，迭代次數(shù)m為100，隨機粒子及速度：xi，vi，i＝1,2,...,50。

s2、計算粒子的適應(yīng)度值

采用式(1)計算原始人體動作視頻對應(yīng)的局部特征向量直方圖與每個粒子選取的關(guān)鍵幀對應(yīng)的局部特征向量直方圖的夾角余弦值作為粒子適應(yīng)度。

s3、獲得初始粒子群的最優(yōu)適應(yīng)度和最優(yōu)粒子

利用式(2)求解初始粒子群的最優(yōu)適應(yīng)度，最優(yōu)適應(yīng)度取值所對應(yīng)的粒子xi即為初始粒子群的最優(yōu)粒子。

s4、速度更新

利用式(3)對粒子群中所有粒子進行速度更新，利用標(biāo)準(zhǔn)sigmoid函數(shù)修正速度向量中的每一項。

s5、粒子更新

利用式(5)根據(jù)速度向量對粒子進行更新。重復(fù)步驟4、5。當(dāng)?shù)螖?shù)達到步驟1中設(shè)置的迭代次數(shù)100時，gbest中所有元素值為1對應(yīng)的位置即為人體動作視頻選取的關(guān)鍵幀幀序。

以一個20幀的跑步原始視頻片段為例，采用本發(fā)明提出的關(guān)鍵幀選取方法共選取了8幀關(guān)鍵幀如圖5所示。

s6、計算選取的關(guān)鍵幀的局部特征向量直方圖

計算經(jīng)過關(guān)鍵幀選取后的人體動作視頻圖像序列新的特征向量直方圖，作為描述人體動作的特征向量利用分類器進行動作識別。

s7、人體動作識別

動作識別分類器采用支持向量機(supportvectormachine,svm)。核函數(shù)選擇卡方核：

其中，hi，hj分別為第i個和第j個人體動作視頻關(guān)鍵幀的特征向量直方圖。d(hi,hj)為兩個特征向量直方圖的卡方距離：

其中，hik,hjk為第i個和第j個人體動作視頻特征向量直方圖第k個元素的值。

采用選取的關(guān)鍵幀進行人體動作識別結(jié)果見表1。

表1關(guān)鍵幀選取及人體動作識別結(jié)果

上述步驟即可完成人體動作視頻關(guān)鍵幀選取。實驗結(jié)果表明，基于局部特征和詞袋模型相結(jié)合的動作識別過程，本發(fā)明提出的關(guān)鍵幀選取方法能夠減少動作識別過程中的圖像幀數(shù)、冗余信息，保證人體動作識別準(zhǔn)確率。