結(jié)合置信度和貢獻(xiàn)度的基于時(shí)空上下文的行為識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及基于內(nèi)容的視頻分析，智能監(jiān)控與人體行為識(shí)別領(lǐng)域，尤其涉及結(jié)合 置信度和貢獻(xiàn)度的基于時(shí)空上下文的行為識(shí)別方法。
【背景技術(shù)】
[0002] 基于視覺的人體行為分析有著廣闊的應(yīng)用前景，因?yàn)槿梭w所獲得的八成W上的信 息都是視覺信息，面對(duì)如此龐大的信息量，人工處理顯然是不切實(shí)際的，因此急需研究開發(fā) 能替代人力的計(jì)算機(jī)相關(guān)方面的能力。人體行為識(shí)別在視頻監(jiān)控，基于內(nèi)容的檢索W及人 機(jī)交互方面具有廣泛的應(yīng)用價(jià)值，已經(jīng)成為計(jì)算機(jī)視覺的熱口研究領(lǐng)域。行為分析有兩大 關(guān)鍵問題：行為描述和行為識(shí)別，其中行為描述是通過提取有判別力的，魯棒的特征來表達(dá) 行為；行為識(shí)別則是選取與之相應(yīng)的分類模型，利用所提取的特征對(duì)行為進(jìn)行分類識(shí)別。
[0003] 目前行為識(shí)別最常用的特征有靜態(tài)特征（例如形狀和輪廓）和動(dòng)態(tài)特征（例如光 流和局部時(shí)空特征）。近些年，局部時(shí)空特征+詞袋模型度0W)因其出色的識(shí)別能力和較低 的復(fù)雜度，成為行為識(shí)別領(lǐng)域廣泛應(yīng)用的方法。詞袋模型利用一系列無序且相互獨(dú)立的時(shí) 空單詞對(duì)人體行為進(jìn)行建模，在構(gòu)建直方圖時(shí)只保留每個(gè)單詞在詞典中的類別標(biāo)號(hào)。雖然， 該模型對(duì)視角和尺度變化不敏感并且不需要對(duì)人體進(jìn)行跟蹤，但是它有自身的局限性。如 此建模方法，不僅損失了興趣點(diǎn)的時(shí)空分布信息與上下文交互信息，而且每個(gè)單詞都被認(rèn) 為對(duì)行為具有相同的貢獻(xiàn)程度。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是克服傳統(tǒng)的局部特征+詞袋模型用于行為識(shí)別時(shí)的局限性，從而 提出結(jié)合置信度和貢獻(xiàn)度的基于時(shí)空上下文的行為識(shí)別方法。
[0005] 本發(fā)明有如下的創(chuàng)新點(diǎn)：
[0006] ①將時(shí)空上下文作為一種補(bǔ)充信息，用來描述3D局部特征點(diǎn)之間的相互關(guān)系，并 且設(shè)計(jì)了一種簡(jiǎn)單但不失判別力的局部上下文描述子。
[0007] ②從關(guān)聯(lián)規(guī)則中計(jì)算置信度，挖掘單詞與行為之間的統(tǒng)計(jì)關(guān)系；從線性支持向量 機(jī)SVM中計(jì)算貢獻(xiàn)度，學(xué)習(xí)單詞與行為之間的因果關(guān)系。
[0008] ⑨基于置信度和貢獻(xiàn)度，為每個(gè)單詞計(jì)算其對(duì)應(yīng)不同行為的關(guān)聯(lián)權(quán)值，該權(quán)值在 分類過程中，使模型更具判別性和魯棒性。
[0009] 本發(fā)明包括如下步驟：
[0010] 步驟1;為每個(gè)視頻序列，提取時(shí)空興趣點(diǎn)STIP，送些點(diǎn)是在時(shí)間域和空間域中變 化劇烈的角點(diǎn)；
[0011] 步驟2 ;利用梯度方向直方圖HOG和光流方向直方圖H0F，對(duì)每個(gè)興趣點(diǎn)進(jìn)行描述， 生成特征向量；
[0012] 步驟3 ;利用K均值聚類，對(duì)提取的所有興趣點(diǎn)進(jìn)行聚類，形成碼本；
[0013] 步驟4 ;為每個(gè)興趣點(diǎn)分配單詞標(biāo)號(hào)，計(jì)算興趣點(diǎn)與碼本中各單詞的距離，選取最 近單詞的標(biāo)號(hào)作為該點(diǎn)的類別標(biāo)號(hào)，送樣每個(gè)興趣點(diǎn)就可W表示為一個(gè)四元組lx, y，t，c}， 其中X，y，t是該興趣點(diǎn)在時(shí)空域中的位置，c是該點(diǎn)的單詞類別標(biāo)號(hào)；
[0014] 步驟5 ;利用數(shù)據(jù)挖掘相關(guān)技術(shù)，挖掘各單詞與各行為之間的統(tǒng)計(jì)關(guān)系，得到各單 詞對(duì)應(yīng)各行為的置信度；
[0015] 步驟5-1 ;挖掘樣本集中的頻繁項(xiàng)集，得到每個(gè)單詞的支持度，當(dāng)支持度大于闊 值，進(jìn)行步驟5-2,否則將該單詞的置信度置0,跳轉(zhuǎn)進(jìn)行步驟6,此步驟的目的在于保證挖 掘到的關(guān)聯(lián)規(guī)則在樣本集中頻繁出現(xiàn)，去除噪聲影響；
[0016] 步驟5-2 ;挖掘樣本集中的關(guān)聯(lián)規(guī)則，得到每個(gè)單詞的置信度，當(dāng)置信度大于闊 值，即表示為一個(gè)關(guān)聯(lián)規(guī)則，此關(guān)聯(lián)規(guī)則的置信度即為該單詞對(duì)應(yīng)該行為的置信度，否則將 該單詞的置信度置0,此步驟的意義在于保證挖掘到的關(guān)聯(lián)規(guī)則在該行為中頻繁出現(xiàn)，保證 其判別性；
[0017] 步驟6;利用機(jī)器學(xué)習(xí)技術(shù)，學(xué)習(xí)各單詞與各行為之間的因果關(guān)系，得到各單詞所 對(duì)應(yīng)的貢獻(xiàn)度，利用傳統(tǒng)的BOW模型為每類行為訓(xùn)練一個(gè)線性SVM，從SVM的判別函數(shù)中計(jì) 算得到各單詞的貢獻(xiàn)度；
[0018] 步驟7 ;利用一個(gè)指數(shù)函數(shù)聯(lián)合置信度和貢獻(xiàn)度，經(jīng)歸一化后得到各單詞對(duì)應(yīng)各 行為的關(guān)聯(lián)權(quán)值；
[0019] 步驟8 ;-個(gè)興趣點(diǎn)不是孤立存在的，它是受其上下文相互影響的，在一個(gè)時(shí)空鄰 域內(nèi)計(jì)算兩個(gè)興趣點(diǎn)的相互影響關(guān)系，得到上下文的關(guān)聯(lián)系數(shù)，送個(gè)關(guān)聯(lián)系數(shù)有兩部分的 意義巧此點(diǎn)即為此鄰域的中也點(diǎn)，則關(guān)聯(lián)系數(shù)即為此興趣點(diǎn)的關(guān)聯(lián)權(quán)值，否則定義為兩點(diǎn) 間的距離函數(shù)與送兩個(gè)單詞對(duì)兒的置信度的乘積；
[0020] 步驟9;累積興趣點(diǎn)與其鄰域內(nèi)所有點(diǎn)的關(guān)聯(lián)系數(shù)作為該點(diǎn)的局部上下文描述 子，此描述子不僅描述了該興趣點(diǎn)的自身屬性，還對(duì)其時(shí)空上下文信息進(jìn)行了表示；
[002。 步驟10 ;在整個(gè)視頻序列里進(jìn)行直方圖統(tǒng)計(jì)，累積的值不再是BOW模型中的頻次， 而是每個(gè)興趣點(diǎn)的上下文描述子，所得的直方圖即為視頻樣本的特征序列；
[0022] 步驟11 ;利用提取的特征序列，使用K近鄰方法對(duì)行為進(jìn)行匹配分類。
【附圖說明】
[0023] 圖1為本發(fā)明方法的流程圖；
【具體實(shí)施方式】
[0024] 下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明加 m兌明。
[002引本發(fā)明所涉及到的時(shí)空興趣點(diǎn)，H0G\H0F描述子，BOW模型，K-Means聚類，K近鄰 分類等均是成熟技術(shù)，都有公開文獻(xiàn)發(fā)表，本發(fā)明中不再賞述。
[0026] 參考圖1，在步驟Ss從關(guān)聯(lián)規(guī)則中挖掘各單詞的置信度中，為了得到特征內(nèi)部潛在 的關(guān)聯(lián)關(guān)系，利用統(tǒng)計(jì)方法挖掘各單詞與各行為之間的關(guān)聯(lián)規(guī)則。一個(gè)關(guān)聯(lián)規(guī)則X二Y， 表示送樣一種模式當(dāng)X發(fā)生時(shí)，Y也會(huì)同時(shí)發(fā)生。如果X為單詞集合，Y為行為集合，則此關(guān) 聯(lián)規(guī)則即可描述單詞與行為間的關(guān)聯(lián)關(guān)系。關(guān)聯(lián)規(guī)則的置信度和支持度定義如下：
[0027] ConMence (XY)/support(X)=P(XuY)/P(X)= wm (1)
[0028] 支持度是為了尋找頻繁項(xiàng)集，從而保證挖掘到的單詞在樣本集中頻繁出現(xiàn)，去除 噪聲影響。頻繁項(xiàng)集的搜索可W利用數(shù)據(jù)挖掘中的相關(guān)技術(shù)得到。置信度是為了評(píng)估關(guān)聯(lián) 規(guī)則，保證挖掘到的單詞在該行為中頻繁出現(xiàn)，保證其判別性。置信度定義為支持度的一個(gè) 條件概率，它表示單詞與行為間的正相關(guān)關(guān)系。只有當(dāng)支持度和置信度都大于闊值時(shí)，該單 詞的置信度才為關(guān)聯(lián)規(guī)則中的置信度，否則將其置0.
[0029] 當(dāng)X集合中包含多個(gè)單詞，則此關(guān)聯(lián)規(guī)則不僅能描述單詞與行為間的關(guān)系，還能 反映一些特征間的上下文交互信息。特別的，當(dāng)X中包含兩個(gè)單詞時(shí)，即為單詞對(duì)兒的置信 度，表示當(dāng)兩個(gè)單詞聯(lián)合出現(xiàn)時(shí)，行為出現(xiàn)的概率。單詞對(duì)兒的置信度在步驟S2計(jì)算上下 文關(guān)聯(lián)系數(shù)時(shí)會(huì)被用到，其計(jì)算公式如下：
[0030]
[0031] 在步驟S4從SVM中學(xué)習(xí)貢獻(xiàn)度中，利用傳統(tǒng)的BOW模型為每個(gè)視頻序列生成一個(gè) 直方圖作為輸入特征，為每類行為訓(xùn)練一個(gè)線性SVM。當(dāng)訓(xùn)練某一種行為時(shí)，該行為的樣本 即為正樣本，其他