專利名稱：一種基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種人體姿態(tài)識別方法。
背景技術(shù)：
近幾年來，隨著中國及其它新興經(jīng)濟(jì)體城鎮(zhèn)化建設(shè)加速，人口流動增大的同時(shí)伴隨著城市化所引發(fā)的一系列交通、治安等城市管理問題，視頻監(jiān)控越來越普及，對視頻監(jiān)控智能化的需求也越來越高。人們希望通過智能分析從視頻中提取更多的信息應(yīng)用于人們的生活和工作中的各個(gè)應(yīng)用領(lǐng)域，例如安防監(jiān)控、智能家居、人機(jī)交互、運(yùn)動員輔助訓(xùn)練等。安防行業(yè)，如銀行、鐵軌、倉庫等場所中，需要自動實(shí)現(xiàn)運(yùn)動目標(biāo)的檢測和跟蹤，及異常報(bào)警情況，從而減少各類損失；在家居安全系統(tǒng)和醫(yī)療監(jiān)護(hù)系統(tǒng)中，能夠及時(shí)檢測出家中老人或病 人是否發(fā)生異常情況；在智能機(jī)器人領(lǐng)域中，希望能夠?qū)σ曨l中人的姿態(tài)、手勢、語言的分析，與人進(jìn)行交流和互動；在體育運(yùn)動、舞蹈訓(xùn)練等ー些運(yùn)動訓(xùn)練中，系統(tǒng)能夠分析運(yùn)動員的關(guān)節(jié)運(yùn)動參數(shù)，用于改進(jìn)運(yùn)動員的訓(xùn)練方式?，F(xiàn)有的人體姿態(tài)識別通常采用兩種方法模板匹配法和狀態(tài)空間法。模板匹配法是將圖像序列轉(zhuǎn)換為一組靜態(tài)形狀模式，然后在識別過程中用預(yù)先存儲的行為標(biāo)本來解釋圖像序列中人的運(yùn)動，該算法的優(yōu)點(diǎn)是計(jì)算復(fù)雜度低，實(shí)現(xiàn)簡單，但是對行為的時(shí)間間隔敏感，魯棒性差。狀態(tài)空間法用狀態(tài)空間模型定義每個(gè)靜態(tài)姿勢并作為ー個(gè)狀態(tài)，這些狀態(tài)之間通過某種概率聯(lián)系起來，每個(gè)運(yùn)動序列可以看作為這些靜態(tài)姿勢不同狀態(tài)之間的一次遍歷，并計(jì)算其聯(lián)合概率的過程，該算法能夠避免對時(shí)間間隔建模的問題，但是需要訓(xùn)練樣本大，計(jì)算復(fù)雜度高。關(guān)鍵巾貞是指在視頻序列中信息量最大、有代表性的一副或多幅圖像，能夠反映一段視頻的內(nèi)容梗概，同時(shí)要盡量做到簡潔、數(shù)據(jù)量少，因此在視頻分析過程中提取關(guān)鍵幀進(jìn)行姿態(tài)識別很大程度的提高視頻分析效率。常用的關(guān)鍵幀提取技術(shù)大致可以分為基于鏡頭邊界的方法，是將視頻按照場景分割成若干個(gè)獨(dú)立鏡頭，取每組鏡頭的第一幀、最后ー幀或者中間幀作為關(guān)鍵幀，此算法簡單、快捷，但未考慮視覺內(nèi)容的復(fù)雜性，無法表示內(nèi)容較長的視頻片段；基于視頻內(nèi)容分析的方法，是利用圖像特征，判斷視頻圖像幀與當(dāng)前幀的特征差異度，差異越大則為關(guān)鍵幀，這類算法對于不同長度和內(nèi)容的視頻能得到較好的效果，但對于鏡頭運(yùn)動和視頻內(nèi)容變化較劇烈時(shí)，提取的關(guān)鍵幀將會很不穩(wěn)定；基于運(yùn)動分析的方法，這類算法的典型代表有光流法，該類算法的計(jì)算量較大，對于局部的運(yùn)動信息依賴性強(qiáng)；基于聚類的方法，該類算法通過聚類分析，提取聚類中心作為關(guān)鍵幀，其優(yōu)點(diǎn)是能較好地反映視頻內(nèi)容，但其算法復(fù)雜，且穩(wěn)定性差。

發(fā)明內(nèi)容
為了克服已有的人體姿態(tài)識別方法的算法復(fù)雜、穩(wěn)定性差、魯棒性差的不足，本發(fā)明提供ー種簡化計(jì)算、穩(wěn)定性良好、魯棒性良好的基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是
—種基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法，所述人體姿態(tài)識別方法包括以下步驟(I)對視頻圖像提取Hu不變矩特征，計(jì)算圖像序列的覆蓋率，提取覆蓋率最高的設(shè)定覆蓋百分?jǐn)?shù)為候選關(guān)鍵幀，然后計(jì)算候選關(guān)鍵幀的失真率，以提取其中最小的失真百分?jǐn)?shù)為關(guān)鍵幀；(2)對關(guān)鍵幀進(jìn)行前景圖像的抽取，得到運(yùn)動人體的前景圖像后；(3)提取關(guān)鍵幀的特征信息，所述特征信息為六星模型、六星角度和離心率；得到多特征融合的圖像特征向量；(4)使用一対一的訓(xùn)練好的分類模型，所述分類模型為基于SVM的姿態(tài)分類器，對姿態(tài)進(jìn)行識別。進(jìn)ー步，所述步驟(4)中，針對N類姿態(tài)，在任意兩類樣本之間設(shè)計(jì)ー個(gè)SVM，因此就需要設(shè)計(jì)N* (N-I) /2個(gè)SVM。再進(jìn)ー步，所述步驟(4)中，分類模型的訓(xùn)練過程如下(4. I)首先對人體的前景圖像進(jìn)行預(yù)處理，對于不同的行為視頻片段，先對其進(jìn)行基于碼本的背景訓(xùn)練，通過視頻序列幀與背景模型的圖像差分，得到運(yùn)動人體的前景圖像，并進(jìn)行形態(tài)學(xué)的圖像處理，去除圖像噪聲；(4. 2)提取包含11種姿態(tài)的訓(xùn)練數(shù)據(jù)的特征，組成標(biāo)準(zhǔn)樣本的特征庫，使用多姿態(tài)融合的方法對運(yùn)動人體進(jìn)行姿態(tài)特征描述，所述11種姿態(tài)分別為行走、小跳躍、大跳躍、側(cè)走、蹲下、彎腰、爬行、俯臥撐、仰臥起坐和坐下；(4. 3)通過對標(biāo)準(zhǔn)樣本的學(xué)習(xí)，構(gòu)建基于SVM的多類分類模型；(4. 4)利用測試樣本對模型進(jìn)行驗(yàn)證，如果低于預(yù)計(jì)的正確率則調(diào)整訓(xùn)練樣本，返回到(4. I)，直到高于預(yù)計(jì)的正確率，得到訓(xùn)練后的分類模型。更進(jìn)一歩，所述步驟(3)中，所述六星模型的提取過程提取人體前景圖像的質(zhì)心后，得到的人體側(cè)影輪廓點(diǎn)與質(zhì)心點(diǎn)之間的距離，將人體側(cè)影圖分為左右兩部分，分別計(jì)算其兩部分側(cè)影的最上、最下和最左邊點(diǎn)、最右邊點(diǎn)與質(zhì)心的距離；在六星模型得到了六個(gè)輪廓點(diǎn)到之心點(diǎn)的軸線后，計(jì)算軸線與相鄰軸線之間的角度信息；計(jì)算人體側(cè)影的離心率。所述步驟⑴中，計(jì)算覆蓋率的過程首先計(jì)算每兩幀的相似性系數(shù)，當(dāng)前幀和視頻中的其他幀的相似性大于當(dāng)前幀與其他幀的相似性系數(shù)平均值的則列入當(dāng)前幀的相關(guān)幀集合中；則相關(guān)幀集合中幀與視頻中所有幀數(shù)的比例即當(dāng)前幀的覆蓋率，求取視頻中每一幀圖像的覆蓋率，并取覆蓋率最高的30%的幀作為候選關(guān)鍵幀；計(jì)算失真率的過程首先計(jì)算圖像的灰度值的估計(jì)概率，及圖像的灰度級均值，然后計(jì)算每一幀圖像的ー階、ニ階、三階矩，分表表示均值、方差和偏斜度，用此三維向量表示圖像的特征，并計(jì)算關(guān)鍵幀的相關(guān)幀集合的平均矩和視頻中所有幀的平均矩；最后計(jì)算候選關(guān)鍵幀的相關(guān)幀集合的平均矩與所有幀的平均矩的目標(biāo)函數(shù)最大值，從而得到候選關(guān)鍵幀的失真率，取最小的50%作為該視頻的最終關(guān)鍵幀。本發(fā)明的有益效果主要表現(xiàn)在(I)在算法中采用多特征融合的姿態(tài)描述算子，能夠更好的描述人體姿態(tài)，加強(qiáng)描述算子的對姿態(tài)的體現(xiàn)能力，能夠建立更精確的姿態(tài)模型和識別結(jié)果；(2)在視頻分析過程中加入了關(guān)鍵幀的概念，通過關(guān)鍵幀來描述視頻的整體內(nèi)容，對關(guān)鍵幀的姿態(tài)分析能夠使視頻分析更加高效。


圖I是基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法的流程圖。圖2是基于視頻內(nèi)容的關(guān)鍵幀提取方法的流程圖。圖3是多特征模型的六星模型特征示意圖。圖4是多特征模型的六星角度特征示意圖。圖5是多特征模型的離心率示意圖。
圖6是ー對一設(shè)計(jì)的SVM的示意圖。
具體實(shí)施例方式下面結(jié)合附圖對本發(fā)明作進(jìn)ー步描述。參照圖I 圖6，一種基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法，所述人體姿態(tài)識別方法包括以下步驟(I)對視頻圖像提取Hu不變矩特征，計(jì)算圖像序列的覆蓋率，提取覆蓋率最高的設(shè)定覆蓋百分?jǐn)?shù)為候選關(guān)鍵幀，然后計(jì)算候選關(guān)鍵幀的失真率，以提取其中最小的失真百分?jǐn)?shù)為關(guān)鍵幀；(2)對關(guān)鍵幀進(jìn)行前景圖像的抽取，得到運(yùn)動人體的前景圖像后；(3)提取關(guān)鍵幀的特征信息，所述特征信息為六星模型、六星角度和離心率；得到多特征融合的圖像特征向量；(4)使用一対一的訓(xùn)練好的分類模型，所述分類模型為基于SVM的姿態(tài)分類器，對姿態(tài)進(jìn)行識別。本實(shí)施例中，姿態(tài)模型的訓(xùn)練過程包括姿態(tài)標(biāo)準(zhǔn)樣本的多特征提取、姿態(tài)描述算子的表示和基于支持向量機(jī)(SVM :Support Vector Machine)的多類分類器的學(xué)習(xí)；姿態(tài)識別的過程包括基于內(nèi)容的關(guān)鍵幀提取、關(guān)鍵幀的多特征提取、姿態(tài)描述算子的表示和姿態(tài)識別，方法結(jié)構(gòu)如圖I所示，其中基于內(nèi)容的關(guān)鍵幀提取、基于多特征融合的姿態(tài)表示和基于SVM的姿態(tài)識別為本方法中的關(guān)鍵技術(shù)?；趦?nèi)容的關(guān)鍵巾貞提取考慮算法的復(fù)雜性和穩(wěn)定性，本發(fā)明提出一種基于視頻內(nèi)容分析的關(guān)鍵幀提取算法，通過計(jì)算視頻幀序列的覆蓋率和失真率選擇視頻序列中包含信息最多的關(guān)鍵幀序列。由于視頻圖像在拍攝過程中會存在一定的幾何失真，而幾何失真對于圖像識別將帶來很大的影響，因此需要ー種具有旋轉(zhuǎn)和比例不變性的方法，本方法中使用Hu不變矩的圖像特征來提取關(guān)鍵幀，基于不變矩的關(guān)鍵幀提取算法流程如圖2所示。(I)Hu 不變矩Hu不變矩是1962年提出來的，具有平移、旋轉(zhuǎn)和尺度不變形，能夠用矩空間中相應(yīng)的變換來表達(dá)和分析圖像坐標(biāo)變換。對于圖像離散狀態(tài)下，求圖像多階普通矩和中心矩。當(dāng)圖像發(fā)生變化時(shí)，普通矩會發(fā)生變化，但是中心距則具有平移不變性但對旋轉(zhuǎn)依然敏感。直接用普通矩或中心矩進(jìn)行特征表示，不能使特征同時(shí)具有平移、旋轉(zhuǎn)和比例不變性。如果利用歸ー化中心矩，則特征不僅具有平移不變性，而且還具有比例不變性。Hu利用ニ階和三階中心矩構(gòu)造了七個(gè)不變矩，它們在連續(xù)圖像條件下可保持平移、縮放和旋轉(zhuǎn)不變。對視頻圖像提取Hu不變矩，得到圖像的特征描述算子。(2)覆蓋率計(jì)算得到圖像的Hu不變矩特征后，利用該特征計(jì)算每副圖像的覆蓋率，提取視頻的候選關(guān)鍵幀。計(jì)算覆蓋率的過程，首先計(jì)算每兩幀的相似性系數(shù)，當(dāng)前幀和視頻中的其他幀的相似性大于當(dāng)前幀與其他幀的相似性系數(shù)平均值的則列入當(dāng)前幀的相關(guān)幀集合中。則相關(guān)幀集合中幀與視頻中所有幀數(shù)的比例即當(dāng)前幀的覆蓋率，求取視頻中每一幀圖像的覆蓋率，并取覆蓋率最高的30%的幀作為候選關(guān)鍵幀。(3)失真率覆蓋率計(jì)算了每一幀能夠代表其他幀的信息的概率，但是無法從候選關(guān)鍵幀中分辨出哪些幀是最好的關(guān)鍵幀，因此我們通過計(jì)算每ー候選幀與視頻中其他幀之間的失真率，失真率越低的被選為關(guān)鍵幀。首先計(jì)算圖像的灰度值的估計(jì)概率，及圖像的灰度級均值，然后計(jì)算每一幀圖像的ー階、ニ階、三階矩，分表表示均值、方差和偏斜度，用此三維向量表示圖像的特征，并計(jì)算關(guān)鍵幀的相關(guān)幀集合的平均矩和視頻中所有幀的平均矩。最后計(jì)算候選關(guān)鍵幀的相關(guān)幀集合的平均矩與所有幀的平均矩的目標(biāo)函數(shù)最大值，從而得到候選關(guān)鍵幀的失真率，取最小的50%作為該視頻的最終關(guān)鍵幀?；诙嗵卣魅诤系淖藨B(tài)表示通過以上計(jì)算得到視頻序列的關(guān)鍵幀后，提取關(guān)鍵幀的特征信息，并進(jìn)行姿態(tài)識別。本文采用的特征信息為六星模型、六星角度和離心率多特征融合的人體姿態(tài)特征，從而得到多特征融合的圖像特征向量。用多特征融合的姿態(tài)描述和模板匹配相結(jié)合的算法，多特征融合的姿態(tài)描述算法能夠較為準(zhǔn)確地描述出人體姿態(tài)，克服了模板匹配法對時(shí)間間隔的敏感，增強(qiáng)了方法的魯棒性。(I)六星模型對于人體的不同行為，其輪廓中包含了能夠描述該行為的最豐富的信息，因此本方法選用六星模型作為其中ー個(gè)特征。六星模型即提取人體前景圖像的質(zhì)心后，得到的人體側(cè)影輪廓點(diǎn)與質(zhì)心點(diǎn)之間的距離。將人體側(cè)影圖分為左右兩部分，分別計(jì)算其兩部分側(cè)影的最上、最下和最左(右)邊點(diǎn)與質(zhì)心的距離，如圖3所示。(2)六星角度多特征中第二個(gè)特征為六星的角度，即在六星模型得到了六個(gè)輪廓點(diǎn)到之心點(diǎn)的軸線后，計(jì)算軸線與相鄰軸線之間的角度信息，得到六個(gè)角度，如圖4所示。⑶離心率本方法提取人體輪廓的離心率作為特征之一，通過公式計(jì)算人體側(cè)影離心率，從而得到了多特征融合的圖像特征向量，如圖5所示?；赟VM的姿態(tài)分類器本方法選擇支持向量的多類分類器對人體行為進(jìn)行建模和分類。支持向量機(jī)(Support Vector Machine, SVM)能夠在小樣本的情況下,得到泛化能カ較好的分類器。SVM能夠通過核函數(shù)將非線性的特征空間轉(zhuǎn)化到ー個(gè)線性空間，然后在轉(zhuǎn)化后的特征空間中構(gòu)造超平面，得到類與類之間的最優(yōu)模式。由于本文提取的是融合的多特征，因此是ー個(gè)非線性的空間，選擇使用徑向基核函數(shù)(Radial Basis Function,RBF) 進(jìn)行特征空間轉(zhuǎn)換，最終得到各類之間的最優(yōu)分類面。
由于采集的訓(xùn)練樣本會因?yàn)椴杉^程中的誤差而存在一定的噪音，因此在支持向量機(jī)中定義了懲罰因子和核參數(shù)Y來解決由于噪音引起的過學(xué)習(xí)和不可分問題，訓(xùn)練過程中通過參數(shù)調(diào)優(yōu)的方法確定懲罰因子和核參數(shù)，從而得到ー個(gè)最優(yōu)分類面，最后構(gòu)造得至丨J SVM多類目標(biāo)分類器。
通過核函數(shù)對特征向量進(jìn)行高維轉(zhuǎn)化后，對訓(xùn)練樣本進(jìn)行監(jiān)瞀學(xué)習(xí)，用低維空間里的函數(shù)來計(jì)算分類器。本發(fā)明中使用一対一(one-versus-one)的多類分類器設(shè)計(jì)方法，針對N類姿態(tài)，在任意兩類樣本之間設(shè)計(jì)ー個(gè)SVM，因此就需要設(shè)計(jì)N*(N-I)/2個(gè)SVM，如圖6所示，有三種姿態(tài)類，姿態(tài)類I和姿態(tài)類2之間設(shè)計(jì)一個(gè)分類器fuOO，姿態(tài)類2和姿態(tài)類3之間設(shè)計(jì)分類器f2,3(x)，姿態(tài)類I和姿態(tài)類3之間的分類器f\,3(X)，共3個(gè)分類器。當(dāng)對ー個(gè)未知樣本進(jìn)行分類時(shí)，針對每ー個(gè)分類器得到ー個(gè)分類結(jié)果，最后分得票最多的類別即為該未知樣本的類別。共采集了 400多個(gè)視頻片段(720*576，30fps)，包括了自拍攝的運(yùn)動人體視頻數(shù)據(jù)和Weizmann人體行為公共數(shù)據(jù)庫，并將視頻數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)集，其比例為2 1，總共包括了 11種姿態(tài)，分別為行走(walk)、跳躍l(jumpl)、跳躍2(jump2)、側(cè)走(sidewalk)、蹲下(squat)、彎腰(stoop)、爬行(crawl)、俯臥撐(push-up)、仰臥起坐(sit-up)、坐下(sit)。分類模型的訓(xùn)練階段(I)首先對人體前景進(jìn)行預(yù)處理，對于不同的行為視頻片段，先對其進(jìn)行基于碼本的背景訓(xùn)練，通過視頻序列幀與背景模型的圖像差分，得到運(yùn)動人體的前景圖像，并進(jìn)行形態(tài)學(xué)的圖像處理，去除圖像噪聲；(2)提取包含11種姿態(tài)的訓(xùn)練數(shù)據(jù)的特征(如圖3、4、5所示)，組成標(biāo)準(zhǔn)樣本的特征庫，使用多姿態(tài)融合的方法對運(yùn)動人體進(jìn)行姿態(tài)特征描述；(3)通過對標(biāo)準(zhǔn)樣本的學(xué)習(xí)，構(gòu)建基于SVM的多類分類模型；(4)利用測試樣本對模型進(jìn)行驗(yàn)證其正確性，低于預(yù)計(jì)的正確率則調(diào)整訓(xùn)練樣本。對輸入視頻中進(jìn)行識別，包含四個(gè)動作的，共有214幀圖像，算法提取32個(gè)關(guān)鍵幀，實(shí)現(xiàn)姿態(tài)序列的識別，如圖8所示，具體過程如下(I)對圖像提取Hu不變矩特征，用于計(jì)算視頻中圖像序列的覆蓋率，提取覆蓋率最聞的30%為候選關(guān)鍵巾貞,然后計(jì)算候選關(guān)鍵巾貞的失真率，以提取其中的50%為關(guān)鍵巾貞；(2)對關(guān)鍵幀進(jìn)行前景圖像的抽取，得到運(yùn)動人體的前景圖像后；(3)算法中使用多姿態(tài)融合人體姿態(tài)描述算子；(4)用訓(xùn)練好的分類模型，對姿態(tài)進(jìn)行識別。
權(quán)利要求
1.一種基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法，其特征在于所述人體姿態(tài)識別方法包括以下步驟 (1)對視頻圖像提取Hu不變矩特征，計(jì)算圖像序列的覆蓋率，提取覆蓋率最高的設(shè)定覆蓋百分?jǐn)?shù)為候選關(guān)鍵幀，然后計(jì)算候選關(guān)鍵幀的失真率，以提取其中最小的失真百分?jǐn)?shù)為關(guān)鍵巾貞； (2)對關(guān)鍵幀進(jìn)行前景圖像的抽取，得到運(yùn)動人體的前景圖像后； (3)提取關(guān)鍵幀的特征信息，所述特征信息為六星模型、六星角度和離心率；得到多特征融合的圖像特征向量； (4)使用一対一的訓(xùn)練好的分類模型，所述分類模型為基于SVM的姿態(tài)分類器，對姿態(tài)進(jìn)行識別。
2.如權(quán)利要求I所述的基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法，其特征在干所述步驟(4)中，針對N類姿態(tài)，在任意兩類樣本之間設(shè)計(jì)ー個(gè)SVM，因此就需要設(shè)計(jì)N*(N-I)/2 個(gè) SVM。
3.如權(quán)利要求I或2所述的基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法，其特征在于所述步驟(4)中，分類模型的訓(xùn)練過程如下 (4. I)首先對人體的前景圖像進(jìn)行預(yù)處理，對于不同的行為視頻片段，先對其進(jìn)行基于碼本的背景訓(xùn)練，通過視頻序列幀與背景模型的圖像差分，得到運(yùn)動人體的前景圖像，并進(jìn)行形態(tài)學(xué)的圖像處理，去除圖像噪聲； (4. 2)提取包含11種姿態(tài)的訓(xùn)練數(shù)據(jù)的特征，組成標(biāo)準(zhǔn)樣本的特征庫，使用多姿態(tài)融合的方法對運(yùn)動人體進(jìn)行姿態(tài)特征描述，所述11種姿態(tài)分別為行走、小跳躍、大跳躍、側(cè)走、蹲下、彎腰、爬行、俯臥撐、仰臥起坐和坐下； (4. 3)通過對標(biāo)準(zhǔn)樣本的學(xué)習(xí)，構(gòu)建基于SVM的多類分類模型； (4. 4)利用測試樣本對模型進(jìn)行驗(yàn)證，如果低于預(yù)計(jì)的正確率則調(diào)整訓(xùn)練樣本，返回到(4. I)，直到高于預(yù)計(jì)的正確率，得到訓(xùn)練后的分類模型。
4.如權(quán)利要求I或2所述的基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法，其特征在干所述步驟(3)中，所述六星模型的提取過程提取人體前景圖像的質(zhì)心后，得到的人體側(cè)影輪廓點(diǎn)與質(zhì)心點(diǎn)之間的距離，將人體側(cè)影圖分為左右兩部分，分別計(jì)算其兩部分側(cè)影的最上、最下和最左邊點(diǎn)、最右邊點(diǎn)與質(zhì)心的距離；在六星模型得到了六個(gè)輪廓點(diǎn)到之心點(diǎn)的軸線后，計(jì)算軸線與相鄰軸線之間的角度信息；計(jì)算人體側(cè)影的離心率。
5.如權(quán)利要求I或2所述的基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法，其特征在干所述步驟(I)中，計(jì)算覆蓋率的過程首先計(jì)算每兩幀的相似性系數(shù)，當(dāng)前幀和視頻中的其他幀的相似性大于當(dāng)前幀與其他幀的相似性系數(shù)平均值的則列入當(dāng)前幀的相關(guān)幀集合中；則相關(guān)幀集合中幀與視頻中所有幀數(shù)的比例即當(dāng)前幀的覆蓋率，求取視頻中每ー幀圖像的覆蓋率，并取覆蓋率最高的30%的幀作為候選關(guān)鍵幀； 計(jì)算失真率的過程首先計(jì)算圖像的灰度值的估計(jì)概率，及圖像的灰度級均值，然后計(jì)算每ー幀圖像的ー階、ニ階、三階矩，分表表示均值、方差和偏斜度，用此三維向量表示圖像的特征，并計(jì)算關(guān)鍵幀的相關(guān)幀集合的平均矩和視頻中所有幀的平均矩；最后計(jì)算候選關(guān)鍵幀的相關(guān)幀集合的平均矩與所有幀的平均矩的目標(biāo)函數(shù)最大值，從而得到候選關(guān)鍵幀的失真率，取最小的50%作為該視頻的最終關(guān)鍵幀。
全文摘要
一種基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法，包括以下步驟(1)對視頻圖像提取Hu不變矩特征，計(jì)算圖像序列的覆蓋率，提取覆蓋率最高的設(shè)定覆蓋百分?jǐn)?shù)為候選關(guān)鍵幀，然后計(jì)算候選關(guān)鍵幀的失真率，以提取其中最小的失真百分?jǐn)?shù)為關(guān)鍵幀；(2)對關(guān)鍵幀進(jìn)行前景圖像的抽取，得到運(yùn)動人體的前景圖像后；(3)提取關(guān)鍵幀的特征信息，所述特征信息為六星模型、六星角度和離心率；得到多特征融合的圖像特征向量；(4)使用一對一的用訓(xùn)練好的分類模型，所述分類模型為基于SVM的姿態(tài)分類器，對姿態(tài)進(jìn)行識別。本發(fā)明簡化計(jì)算、穩(wěn)定性良好、魯棒性良好。
文檔編號G06K9/62GK102682302SQ20121006389
公開日2012年9月19日 申請日期2012年3月12日 優(yōu)先權(quán)日2012年3月12日
發(fā)明者梁榮華, 鄭莉莉, 黃鮮萍 申請人:浙江工業(yè)大學(xué)