本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，更具體地，涉及一種基于中層特征的行為識(shí)別方法與系統(tǒng)。

背景技術(shù)：

行為識(shí)別技術(shù)是視頻安全監(jiān)控、人機(jī)交互、視頻檢索和分析等應(yīng)用領(lǐng)域的核心技術(shù)，其越來(lái)越受到工業(yè)界和學(xué)術(shù)界的重視。但是因?yàn)橐曨l中的行為中具有極大的干擾，比如運(yùn)動(dòng)模糊、尺度變化、低分辨率、背景噪聲、相機(jī)運(yùn)動(dòng)和視角變化，從而給行為分析帶來(lái)了很大的挑戰(zhàn)。

現(xiàn)有的方法主要包括以下兩條主線：第一個(gè)是低層時(shí)空局部特征，比如：時(shí)空興趣點(diǎn)、基于梯度的特征和軌跡特征。典型地，從視頻訓(xùn)練集中提取大量的局部描述子，然后構(gòu)建“詞袋”，最后采用bow或者fv等編碼技術(shù)構(gòu)建對(duì)行為的全局表達(dá)。第二條主線是高層的基于模板的特征，通過(guò)人為方式或者弱有監(jiān)督等方法選擇特定類(lèi)別的行為的多個(gè)姿態(tài)或者視角的行為模式并組合成行為提取器，最后提取行為的高層表達(dá)。但是，這兩類(lèi)方法都有一些缺點(diǎn)。第一類(lèi)方法雖然能夠在類(lèi)內(nèi)變化具有較好的魯棒性，但是其表達(dá)過(guò)于低層而導(dǎo)致其缺少對(duì)高層的運(yùn)動(dòng)模式的判別性的表達(dá)能力。相反，第二類(lèi)方法能夠很好的提取高層表達(dá)，但是其對(duì)類(lèi)內(nèi)變化具有較大的敏感性。為了在兩類(lèi)方法之間取得平衡，很多學(xué)者提出基于判別部件行為表達(dá)。典型地，利用部件訓(xùn)練部件檢測(cè)器，利用檢測(cè)器從視頻中提取中層特征。

現(xiàn)存的判別部件挖掘技術(shù)需要人工干預(yù)，但是在處理大量的視頻樣本的時(shí)候需要大量的人力物力所以很難達(dá)到實(shí)用的層次；或提前定義的啟發(fā)式規(guī)則一個(gè)個(gè)的選擇，但是這種方法丟失了部件之間的關(guān)聯(lián)性，從而使得最小部件集不能具備最大判別能力。

由此可見(jiàn)，現(xiàn)有行為識(shí)別存在識(shí)別能力弱、需要大量的人力物力、不實(shí)用、丟失了部件之間的關(guān)聯(lián)性的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于中層特征的行為識(shí)別方法與系統(tǒng)，由此解決現(xiàn)有行為識(shí)別存在識(shí)別能力弱、需要大量的人力物力、不實(shí)用、丟失了部件之間的關(guān)聯(lián)性的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種基于中層特征的行為識(shí)別方法，包括：

(1)從樣本圖像序列中，提取a類(lèi)行為類(lèi)別的時(shí)空部件集d和行為類(lèi)別除a類(lèi)外的其他行為類(lèi)別的時(shí)空部件集n，利用時(shí)空部件集d和時(shí)空部件集n訓(xùn)練部件檢測(cè)器，得到候選部件檢測(cè)器集；

(2)將候選部件檢測(cè)器集中的每個(gè)部件檢測(cè)器選取的樣本圖像序列的中層特征組合，得到候選特征向量，利用候選特征向量訓(xùn)練選擇器，得到選擇器的權(quán)重向量；

(3)利用選擇器的權(quán)重向量度量候選部件檢測(cè)器集中的每個(gè)部件檢測(cè)器的判別能力，移除候選部件檢測(cè)器集中b％的判別能力弱的部件檢測(cè)器，得到新的候選部件檢測(cè)器集；

(4)根據(jù)新的候選部件檢測(cè)器集中每個(gè)部件檢測(cè)器的權(quán)重進(jìn)行由大到小的排序，選擇排序靠前的p個(gè)部件檢測(cè)器作為a類(lèi)行為類(lèi)別的中層特征提取器；

(5)獲取行為類(lèi)別中每一類(lèi)行為類(lèi)別的中層特征提取器，組合成詞袋，利用詞袋提取樣本圖像序列的樣本中層特征，利用樣本中層特征訓(xùn)練分類(lèi)器，得到行為識(shí)別分類(lèi)器；

(6)將測(cè)試圖像序列輸入行為識(shí)別分類(lèi)器，得到測(cè)試圖像序列的行為類(lèi)別。

進(jìn)一步的，訓(xùn)練部件檢測(cè)器的具體實(shí)施方式為：正樣本是時(shí)空部件集d中的時(shí)空部件，負(fù)樣本是時(shí)空部件集n中的時(shí)空部件，針對(duì)時(shí)空部件集d中的每一個(gè)時(shí)空部件，利用一個(gè)正樣本和多個(gè)負(fù)樣本訓(xùn)練部件檢測(cè)器。

進(jìn)一步的，候選特征向量f^c為：

其中，di為第i個(gè)部件檢測(cè)器，為第1個(gè)部件檢測(cè)器d1在樣本圖像序列中的圖像υ中利用最大池化量化函數(shù)提取的中層特征，為第2個(gè)部件檢測(cè)器d2在樣本圖像序列中的圖像υ中利用最大池化量化函數(shù)提取的中層特征，為第m個(gè)部件檢測(cè)器dm在樣本圖像序列中的圖像υ中利用最大池化量化函數(shù)提取的中層特征，1≤i≤m，m表示候選部件檢測(cè)器集d^c中部件檢測(cè)器的個(gè)數(shù)。

進(jìn)一步的，選擇器的權(quán)重向量為：

其中，φ^c(f^c)表示選擇器，w為選擇器的權(quán)重向量，b為選擇器的偏置，損失函數(shù)c是懲罰因子，yn表示樣本圖像序列中第n個(gè)圖像的類(lèi)別標(biāo)簽，xn表示樣本圖像序列中第n個(gè)圖像的中層特征，n表示樣本圖像序列中圖像的總個(gè)數(shù)。

進(jìn)一步的，步驟(3)的具體實(shí)現(xiàn)方式為：

利用選擇器的權(quán)重向量度量候選部件檢測(cè)器集中的每個(gè)部件檢測(cè)器的判別能力，采用遞歸移除，候選中層特征矩陣當(dāng)k＝1時(shí)，初始化f⁰＝f^c，當(dāng)k＞1時(shí)，第k次遞歸可以如下表示：

其中，s^k＝[s1，s2…sm]，si∈{0，1}，表示部件選擇標(biāo)志位，如果si＝1，則第i個(gè)部件檢測(cè)器被選擇，如果si＝0，則第i個(gè)部件檢測(cè)器未被選擇，y表示樣本圖像序列的類(lèi)別標(biāo)簽向量，w^k表示第k次遞歸后的權(quán)重向量，f^k-1表示第k-1次遞歸后的候選中層特征矩陣，f^k表示第k次遞歸后的候選中層特征矩陣，表示第k次遞歸后根據(jù)權(quán)重向量w^k和移除率為τ＝b％進(jìn)行移除，總共進(jìn)行h次遞歸得到的新的候選部件檢測(cè)器集。

按照本發(fā)明的另一方面，提供了一種基于中層特征的行為識(shí)別系統(tǒng)，包括：

獲取候選部件檢測(cè)器集模塊，用于從樣本圖像序列中，提取a類(lèi)行為類(lèi)別的時(shí)空部件集d和行為類(lèi)別除a類(lèi)外的其他行為類(lèi)別的時(shí)空部件集n，利用時(shí)空部件集d和時(shí)空部件集n訓(xùn)練部件檢測(cè)器，得到候選部件檢測(cè)器集；

訓(xùn)練選擇器模塊，用于將候選部件檢測(cè)器集中的每個(gè)部件檢測(cè)器選取的樣本圖像序列的中層特征組合，得到候選特征向量，利用候選特征向量訓(xùn)練選擇器，得到選擇器的權(quán)重向量；

移除部件檢測(cè)器模塊，用于利用選擇器的權(quán)重向量度量候選部件檢測(cè)器集中的每個(gè)部件檢測(cè)器的判別能力，移除候選部件檢測(cè)器集中b％的判別能力弱的部件檢測(cè)器，得到新的候選部件檢測(cè)器集；

獲取中層特征提取器模塊，用于根據(jù)新的候選部件檢測(cè)器集中每個(gè)部件檢測(cè)器的權(quán)重進(jìn)行由大到小的排序，選擇排序靠前的p個(gè)部件檢測(cè)器作為a類(lèi)行為類(lèi)別的中層特征提取器；

訓(xùn)練分類(lèi)器模塊，用于獲取行為類(lèi)別中每一類(lèi)行為類(lèi)別的中層特征提取器，組合成詞袋，利用詞袋提取樣本圖像序列的樣本中層特征，利用樣本中層特征訓(xùn)練分類(lèi)器，得到行為識(shí)別分類(lèi)器；

行為識(shí)別模塊，用于將測(cè)試圖像序列輸入行為識(shí)別分類(lèi)器，得到測(cè)試圖像序列的行為類(lèi)別。

進(jìn)一步的，訓(xùn)練部件檢測(cè)器的具體實(shí)施方式為：正樣本是時(shí)空部件集d中的時(shí)空部件，負(fù)樣本是時(shí)空部件集n中的時(shí)空部件，針對(duì)時(shí)空部件集d中的每一個(gè)時(shí)空部件，利用一個(gè)正樣本和多個(gè)負(fù)樣本訓(xùn)練部件檢測(cè)器。

進(jìn)一步的，候選特征向量f^c為：

其中，di為第i個(gè)部件檢測(cè)器，為第1個(gè)部件檢測(cè)器d1在樣本圖像序列中的圖像υ中利用最大池化量化函數(shù)提取的中層特征，為第2個(gè)部件檢測(cè)器d2在樣本圖像序列中的圖像υ中利用最大池化量化函數(shù)提取的中層特征，為第m個(gè)部件檢測(cè)器dm在樣本圖像序列中的圖像υ中利用最大池化量化函數(shù)提取的中層特征，1≤i≤m，m表示候選部件檢測(cè)器集d^c中部件檢測(cè)器的個(gè)數(shù)。

進(jìn)一步的，選擇器的權(quán)重向量為：

其中，φ^c(f^c)表示選擇器，w為選擇器的權(quán)重向量，b為選擇器的偏置，損失函數(shù)c是懲罰因子，yn表示樣本圖像序列中第n個(gè)圖像的類(lèi)別標(biāo)簽，xn表示樣本圖像序列中第n個(gè)圖像的中層特征，n表示樣本圖像序列中圖像的總個(gè)數(shù)。

進(jìn)一步的，移除部件檢測(cè)器模塊的具體實(shí)現(xiàn)方式為：

利用選擇器的權(quán)重向量度量候選部件檢測(cè)器集中的每個(gè)部件檢測(cè)器的判別能力，采用遞歸移除，候選中層特征矩陣當(dāng)k＝1時(shí)，初始化f⁰＝f^c，當(dāng)k＞1時(shí)，第k次遞歸可以如下表示：

其中，s^k＝[s1，s2…sm]，si∈{0，1}，表示部件選擇標(biāo)志位，如果si＝1，則第i個(gè)部件檢測(cè)器被選擇，如果si＝0，則第i個(gè)部件檢測(cè)器未被選擇，y表示樣本圖像序列的類(lèi)別標(biāo)簽向量，w^k表示第k次遞歸后的權(quán)重向量，f^k-1表示第k-1次遞歸后的候選中層特征矩陣，f^k表示第k次遞歸后的候選中層特征矩陣，表示第k次遞歸后根據(jù)權(quán)重向量w^k和移除率為τ＝b％進(jìn)行移除，總共進(jìn)行h次遞歸得到的新的候選部件檢測(cè)器集。

總體而言，通過(guò)本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，能夠取得下列有益效果：

(1)本發(fā)明將候選部件檢測(cè)器集中的每個(gè)部件檢測(cè)器選取的樣本圖像序列的中層特征組合，得到候選特征向量，利用候選特征向量訓(xùn)練選擇器，得到選擇器的權(quán)重向量，全面考慮了部件檢測(cè)器之間的相關(guān)性，能夠使得候選部件檢測(cè)器集在整體上具有較強(qiáng)的判別能力。

(2)本發(fā)明利用選擇器的權(quán)重向量度量候選部件檢測(cè)器集中的每個(gè)部件檢測(cè)器的判別能力，移除候選部件檢測(cè)器集中b％的判別能力弱的部件檢測(cè)器，得到新的候選部件檢測(cè)器集，移除明顯不具判別能力的行為部件，在新的候選部件檢測(cè)器集中進(jìn)行部件選擇能夠使得本發(fā)明具有更強(qiáng)的泛化能力。

(3)本發(fā)明從樣本圖像序列中得到候選部件檢測(cè)器集；移除候選部件檢測(cè)器集中b％的判別能力弱的部件檢測(cè)器，得到新的候選部件檢測(cè)器集；在新的候選部件檢測(cè)器集中獲取中層特征提取器；得到詞袋，利用詞袋提取樣本圖像序列的樣本中層特征，利用樣本中層特征訓(xùn)練分類(lèi)器，得到行為識(shí)別分類(lèi)器；可應(yīng)用于行為類(lèi)別。本發(fā)明識(shí)別能力強(qiáng)、識(shí)別準(zhǔn)確率高、實(shí)用性強(qiáng)、保留了部件之間的關(guān)聯(lián)性。本發(fā)明能夠以弱有監(jiān)督的方式挖掘最小行為部件檢測(cè)器，能夠很好的處理光照變化、運(yùn)動(dòng)模糊、相機(jī)運(yùn)動(dòng)、視角變化，更能容易滿(mǎn)足實(shí)際應(yīng)用需求。

(4)優(yōu)選的，本發(fā)明考慮了候選部件檢測(cè)器集的復(fù)雜度，采用遞歸移除能夠迭代的移除明顯不具判別能力的部件檢測(cè)器，得到新的候選部件檢測(cè)器集，在新的候選部件檢測(cè)器集中進(jìn)行部件檢測(cè)器選擇能夠使得本發(fā)明具有更強(qiáng)的泛化能力。

附圖說(shuō)明

圖1是本發(fā)明實(shí)施例提供的一種基于中層特征的行為識(shí)別方法的流程圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

如圖1所示，一種基于中層特征的行為識(shí)別方法，包括：

(1)從樣本圖像序列中，提取a類(lèi)行為類(lèi)別的時(shí)空部件集d和行為類(lèi)別除a類(lèi)外的其他行為類(lèi)別的時(shí)空部件集n，利用時(shí)空部件集d和時(shí)空部件集n訓(xùn)練部件檢測(cè)器，得到候選部件檢測(cè)器集；

(2)將候選部件檢測(cè)器集中的每個(gè)部件檢測(cè)器選取的樣本圖像序列的中層特征組合，得到候選特征向量，利用候選特征向量訓(xùn)練選擇器，得到選擇器的權(quán)重向量；

(3)利用選擇器的權(quán)重向量度量候選部件檢測(cè)器集中的每個(gè)部件檢測(cè)器的判別能力，移除候選部件檢測(cè)器集中b％的判別能力弱的部件檢測(cè)器，得到新的候選部件檢測(cè)器集；

(4)根據(jù)新的候選部件檢測(cè)器集中每個(gè)部件檢測(cè)器的權(quán)重進(jìn)行由大到小的排序，選擇排序靠前的p個(gè)部件檢測(cè)器作為a類(lèi)行為類(lèi)別的中層特征提取器；

(5)獲取行為類(lèi)別中每一類(lèi)行為類(lèi)別的中層特征提取器，組合成詞袋，利用詞袋提取樣本圖像序列的樣本中層特征，利用樣本中層特征訓(xùn)練分類(lèi)器，得到行為識(shí)別分類(lèi)器；

(6)將測(cè)試圖像序列輸入行為識(shí)別分類(lèi)器，得到測(cè)試圖像序列的行為類(lèi)別。

進(jìn)一步的，步驟(1)還包括：

(1-1)采用密集采樣和多尺度采樣從樣本圖像序列中提取時(shí)空部件集，首先丟棄平滑和靜態(tài)的時(shí)空部件，對(duì)于每個(gè)時(shí)空部件，提取光流直方圖(hof)描述子、白化的梯度直方圖(hog)描述子和運(yùn)動(dòng)框直方圖(mbh)描述子；

(1-2)在行為類(lèi)別給定的a類(lèi)中，提取時(shí)空部件集d，從行為類(lèi)別除a類(lèi)外的其他類(lèi)中提取的時(shí)空部件集n，在時(shí)空部件集d和時(shí)空部件集n中，利用交叉驗(yàn)證聚類(lèi)策略來(lái)構(gòu)建具有表達(dá)能力的候選部件檢測(cè)器集d^c；

(1-3)正樣本是時(shí)空部件集d中的時(shí)空部件，負(fù)樣本是時(shí)空部件集n中的時(shí)空部件，針對(duì)時(shí)空部件集d中的每一個(gè)時(shí)空部件，利用一個(gè)正樣本和多個(gè)負(fù)樣本訓(xùn)練部件檢測(cè)器，得到訓(xùn)練好的部件檢測(cè)器，所有的訓(xùn)練好的部件檢測(cè)器構(gòu)成候選部件檢測(cè)器集d^c。

優(yōu)選的，部件檢測(cè)器為線性判別分析lda或者支撐向量機(jī)svm。

優(yōu)選的，密集采樣和多尺度采樣從樣本圖像序列中提取時(shí)空部件集，2ⁱ×2^j，i，j＝{0，1，2}，在每個(gè)尺度上，采用的時(shí)空部件的大小為80×80×20，對(duì)應(yīng)的采樣間隔設(shè)置為20×20×10，考慮到這樣會(huì)產(chǎn)生大量的沒(méi)有信息的時(shí)空部件，會(huì)降低效率，因此，需要預(yù)先剔除一些不含運(yùn)動(dòng)信息的時(shí)空塊。對(duì)于每個(gè)時(shí)空部件p，首先計(jì)算其平均光流強(qiáng)度f(wàn)p和梯度大小gp，然后對(duì)于所有fp＞tf和gp＞tp的時(shí)空部件，其中tf＝0.6×f^max，tp＝0.7×g^max，f^max和g^max為時(shí)空部件中的最大光流值和最大梯度值，交叉驗(yàn)證聚類(lèi)時(shí)聚類(lèi)類(lèi)心數(shù)目設(shè)置為k＝s/10，其中s是每次參與聚類(lèi)的部件檢測(cè)器總數(shù)，每次保留類(lèi)心數(shù)目大于3的部件檢測(cè)器，同時(shí)檢測(cè)交叉過(guò)程，檢測(cè)出前5個(gè)部件檢測(cè)器組成新類(lèi)心。

進(jìn)一步的，步驟(2)還包括：

(2-1)將候選部件檢測(cè)器集中的每個(gè)部件檢測(cè)器選取的樣本圖像序列的中層特征組合，得到樣本圖像序列中的圖像υ的候選特征向量f^c為：

其中，為第i個(gè)部件檢測(cè)器di在圖像υ中利用最大池化量化函數(shù)提取的中層特征，7≤i≤m，m表示候選部件檢測(cè)器集d^c中部件檢測(cè)器的個(gè)數(shù)；

(2-2)利用候選特征向量訓(xùn)練選擇器φ^c(f^c)，得到選擇器的權(quán)重向量，

其中，w為選擇器的權(quán)重向量，b為選擇器的偏置，損失函數(shù)c是懲罰因子，yn表示樣本圖像序列中第n個(gè)圖像的類(lèi)別標(biāo)簽，xn表示樣本圖像序列中第n個(gè)圖像的中層特征，n表示樣本圖像序列中圖像的總個(gè)數(shù)；

部件檢測(cè)器di的權(quán)重wi為：

表示第i個(gè)部件檢測(cè)器di的中層特征，選擇器的權(quán)重向量由候選部件檢測(cè)器集中的所有部件檢測(cè)器的權(quán)重組成。

優(yōu)選的，c＝1。

進(jìn)一步的，步驟(3)的具體實(shí)現(xiàn)方式為：

利用選擇器的權(quán)重向量度量候選部件檢測(cè)器集中的每個(gè)部件檢測(cè)器的判別能力，移除候選部件檢測(cè)器集中b％的判別能力弱的部件檢測(cè)器，b＝3；移除候選部件檢測(cè)器集中b％的判別能力弱的部件檢測(cè)器采用遞歸移除，候選中層特征矩陣當(dāng)k＝1時(shí)，初始化f⁰＝f^c，當(dāng)k＞1時(shí)，第k次遞歸可以如下表示：

其中，s^k＝[s1，s2…sm]，si∈{0，1}，表示部件選擇標(biāo)志位，如果si＝1，則第i個(gè)部件檢測(cè)器被選擇，如果si＝0，則第i個(gè)部件檢測(cè)器未被選擇，y表示所有樣本圖像序列的類(lèi)別標(biāo)簽向量，w^k表示第k次遞歸后的權(quán)重向量，f^k-1表示第k-1次遞歸后的候選中層特征矩陣，f^k表示第k次遞歸后的候選中層特征矩陣，設(shè)置部件檢測(cè)器移除率τ＝0.03，即每次丟棄候選部件檢測(cè)器集中判別力最低的3％部件檢測(cè)器，表示第k次遞歸后根據(jù)權(quán)重向量w^k和移除率為τ進(jìn)行移除，總共進(jìn)行h次遞歸得到的新的候選部件檢測(cè)器集d^c[s^h]。

優(yōu)選的，h＝3。

優(yōu)選的，p＝300。

優(yōu)選的，分類(lèi)器為svm分類(lèi)器。

本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。