人體動作識別中的基于空時能量分解的關(guān)鍵點檢測方法
【專利摘要】本發(fā)明公開了人體動作識別中一種基于空時能量分解的關(guān)鍵點檢測方法，該包括以下步驟：步驟一、對人體動作視頻進(jìn)行空時能量分解，計算空時能量分解矩陣；步驟二、計算空時能量矩陣中每一點鄰域內(nèi)的和值，并設(shè)置閾值因子α，鄰域內(nèi)能量和值大于該閾值的點就被選入關(guān)鍵點的候選集合；步驟三、將候選集中的點按能量和值從大到小排列，然后依次將候選集中空時距離過近的點去除；步驟四、設(shè)置關(guān)鍵點數(shù)目k，選取步驟三所確定的點集中前k個點作為最終的關(guān)鍵點。本發(fā)明所提取關(guān)鍵點相比與經(jīng)典方法包含更豐富的相應(yīng)于HOE特征的有效信息并且有較低的冗余度，它的關(guān)鍵點選取結(jié)果也更加具有穩(wěn)定性和可重復(fù)性。
【專利說明】人體動作識別中的基于空時能量分解的關(guān)鍵點檢測方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻信號處理和模式識別【技術(shù)領(lǐng)域】，涉及一種人體動作識別中的基于 空時能量分解的特征點檢測方法。

【背景技術(shù)】
[0002] 局部特征描述子的光照和視角不變性等優(yōu)點使得局部特征描述方法逐漸成為近 年來人體動作識別研究中的熱點。局部特征描述方法主要包含關(guān)鍵點檢測、特征提取以及 訓(xùn)練和分類等步驟。在這個過程中，關(guān)鍵點的檢測方法會一定程度上影響到特征描述子的 性能。
[0003] 目前人體動作識別中經(jīng)典的關(guān)鍵點檢測器有HarriS3D檢測器，Gabor檢測器和 Hessian3D檢測器。其中基于一對正交三角函數(shù)的Gabor檢測器應(yīng)用較為廣泛，并且該檢測 器所檢測的關(guān)鍵點可以實現(xiàn)對視頻的稠密覆蓋。而在特征描述方法中，基于對視頻中的動 作進(jìn)行空時能量分解的方向能量直方圖（Histogram of Oriented Energy, Η0Ε)特征因其 較好的描述性能成為近年來較為常用的特征描述方法。但是，在將經(jīng)典的檢測器如Gabor 檢測器與該特征描述進(jìn)行結(jié)合的過程中，Gabor檢測器所檢測到的關(guān)鍵點的卻無法有效地 捕捉到相應(yīng)于Η0Ε特征的信息，導(dǎo)致識別的準(zhǔn)確率較低。所以，為了充分發(fā)揮Η0Ε的性能， 需要使用一種與之相匹配的關(guān)鍵點檢測方法。


【發(fā)明內(nèi)容】

[0004] 技術(shù)問題：本發(fā)明提供一種能夠有效地捕捉到相應(yīng)于Η0Ε特征的信息，相比于經(jīng) 典的關(guān)鍵點檢測方法提高了識別率的人體動作識別中的基于空時能量分解的特征點檢測 方法。
[0005] 技術(shù)方案：本發(fā)明的人體動作識別中的基于空時能量分解關(guān)鍵點檢測的方法，包 括以下步驟：
[0006] 步驟一、對人體動作視頻進(jìn)行空時能量分解，然后計算得到空時能量分解矩陣；
[0007] 步驟二、計算所述步驟一得到的空時能量分解矩陣中每一點鄰域內(nèi)的能量和值， 并設(shè)置閾值因子α，然后將鄰域內(nèi)的能量和值大于該閾值因子α的點選入關(guān)鍵點候選集 合；
[0008] 步驟三、將所述關(guān)鍵點候選集合中的點按能量和值從大到小排列，然后將候選集 合中空時距離過近的點剔除，得到篩選后的關(guān)鍵點候選集合；
[0009] 步驟四、設(shè)置關(guān)鍵點數(shù)目k，選取步驟三所確定的新的關(guān)鍵點候選集合中前k個點 作為最終的關(guān)鍵點。
[0010] 本發(fā)明中，步驟一的具體方法是：首先定義不同的空時方向，將每一個空時方向在 不同的空間坐標(biāo)軸上進(jìn)行分解得到對應(yīng)的方向分量，然后使用三維高斯三階濾波器在所得 的方向分量上對人體動作視頻進(jìn)行分解，最后將各個方向分量上的分解結(jié)果合并得到空時 能量分解矩陣。 toon] 本發(fā)明中，步驟三的具體方法是：將關(guān)鍵點候選集合中的關(guān)鍵點按該點處的能量 和值從大到小進(jìn)行排序，然后按照順序，分別把每一個點作為參考點，進(jìn)行如下處理：依次 計算該參考點與集合中其他點之間的距離并設(shè)置最小空時距離1，若集合中的點與該參考 點的距離小于1，則將該點從關(guān)鍵點候選集合中剔除。在對關(guān)鍵點候選集合中每一個點都進(jìn) 行上述處理之后，即得到。
[0012] 本發(fā)明的優(yōu)選方案中，人體動作視頻來自Weizmann數(shù)據(jù)庫。
[0013] 有益效果：本發(fā)明方法選取空時分解矩陣中鄰域能量和值較大的點作為候選點并 將空時距離較為接近的冗余點去除。與現(xiàn)有技術(shù)如Gabor關(guān)鍵點檢測器相比，本發(fā)明中方 法有如下優(yōu)勢：
[0014] (l)Gabor關(guān)鍵點檢測器選取的是對Gabor濾波器響應(yīng)較高的點，但所選點處并不 一定包含較多的空時能量信息，而本方法則針對Η0Ε特征直接選取鄰域內(nèi)空時能量和值較 高的點，在同樣使用Η0Ε特征的情況下，本方法選取的關(guān)鍵點包含更豐富的相應(yīng)于該特征 的有效信息；
[0015] (2)在關(guān)鍵點選擇的過程中，因候選關(guān)鍵點較多，Gabor關(guān)鍵點檢測器采用隨機(jī)選 點的方式得到最終的關(guān)鍵點集合，在這個過程中所選關(guān)鍵點可能包含冗余信息且關(guān)鍵點的 選取結(jié)果并不穩(wěn)定，而本方法首先去除空間上的冗余點從而降低了關(guān)鍵點集中包含冗余信 息的可能性，同時本方法使用排序選點來代替隨機(jī)選點，使得關(guān)鍵點的選取結(jié)果更加具有 穩(wěn)定性和可重復(fù)性。

【專利附圖】

【附圖說明】
[0016] 圖1為本發(fā)明的流程圖。
[0017] 圖2為人體動作識別流程圖。
[0018] 圖3為聚集（pooling)算法的過程。

【具體實施方式】
[0019] 下面結(jié)合說明書附圖和實施例來對本發(fā)明進(jìn)行詳細(xì)闡述。
[0020] 關(guān)鍵點檢測實施步驟：
[0021] 圖1為本發(fā)明的流程圖。由圖1可見，該方法構(gòu)建于空時能量分解的基礎(chǔ)之上，所 以下面先介紹空時能量分解方法，然后在此基礎(chǔ)上介紹關(guān)鍵點選取的方法。
[0022] 1.空時能量分解
[0023] 對一個動作在空時方向上進(jìn)行分解可以通過三維高斯三階濾波器（3D Gaussian Third Derivative Filters)處理得到。對于一個三維高斯三階濾波器^^(x)，單位向量鄉(xiāng)

【權(quán)利要求】
1. 一種人體動作識別中基于空時能量分解關(guān)鍵點檢測的方法，其特征在于，該方法包 括以下步驟： 步驟一、對人體動作視頻進(jìn)行空時能量分解，然后計算得到空時能量分解矩陣； 步驟二、計算所述步驟一得到的空時能量分解矩陣中每一點鄰域內(nèi)的能量和值，并設(shè) 置閾值因子α，然后將鄰域內(nèi)的能量和值大于該閾值因子α的點選入關(guān)鍵點候選集合； 步驟三、將所述關(guān)鍵點候選集合中的點按能量和值從大到小排列，然后將候選集合中 空時距離過近的點剔除，得到篩選后的關(guān)鍵點候選集合； 步驟四、設(shè)置關(guān)鍵點數(shù)目k，選取步驟三所確定的新的關(guān)鍵點候選集合中前k個點作為 最終的關(guān)鍵點。
2. 根據(jù)權(quán)利要求1所述的人體動作識別中一種基于空時能量分解的關(guān)鍵點檢測方法， 其特征在于：所述步驟一的具體方法是：首先定義不同的空時方向，將每一個空時方向在 不同的空間坐標(biāo)軸上進(jìn)行分解得到對應(yīng)的方向分量，然后使用三維高斯三階濾波器在所得 的方向分量上對人體動作視頻進(jìn)行分解，最后將各個方向分量上的分解結(jié)果合并得到空時 能量分解矩陣。
3. 根據(jù)權(quán)利要求1所述的人體動作識別中一種基于空時能量分解的關(guān)鍵點檢測方法， 其特征在于：所述步驟三的具體方法是：將關(guān)鍵點候選集合中的關(guān)鍵點按該點處的能量和 值從大到小進(jìn)行排序，然后按照順序，分別把每一個點作為參考點，進(jìn)行如下處理：依次計 算該參考點與集合中其他點之間的距離并設(shè)置最小空時距離1，若集合中的點與該參考點 的距離小于1，則將該點從關(guān)鍵點候選集合中剔除；在對關(guān)鍵點候選集合中每一個點都進(jìn) 行上述處理之后，即得到。
4. 根據(jù)權(quán)利要求1所述的人體動作識別中一種基于空時能量分解的關(guān)鍵點檢測方法， 其特征在于：所述步驟一中的人體動作視頻來自Weizmann數(shù)據(jù)庫。
【文檔編號】G06K9/00GK104143089SQ201410364346
【公開日】2014年11月12日 申請日期:2014年7月28日 優(yōu)先權(quán)日:2014年7月28日
【發(fā)明者】王海賢, 張桐 申請人:東南大學(xué)