基于遷移學(xué)習(xí)的動(dòng)物行為識(shí)別方法和裝置的制造方法
【專利摘要】本發(fā)明提出了一種基于遷移學(xué)習(xí)的目標(biāo)動(dòng)物行為識(shí)別方法和裝置，即訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本包括人的行為樣本、非目標(biāo)動(dòng)物的行為樣本和目標(biāo)動(dòng)物的行為樣本中的一種或幾種的組合，測試數(shù)據(jù)集為目標(biāo)動(dòng)物的行為樣本。該發(fā)明步驟包括：步驟101，針對訓(xùn)練數(shù)據(jù)集中的每一個(gè)訓(xùn)練樣本和測試數(shù)據(jù)集中的每一測試樣本，提取原始特征；步驟102，采用遷移學(xué)習(xí)中的領(lǐng)域適應(yīng)學(xué)習(xí)法將所述原始特征映射到共同空間中，得到新的特征；步驟103，利用所述新的特征訓(xùn)練SVM分類器，得到行為識(shí)別模型，同時(shí)對所述目標(biāo)動(dòng)物行為識(shí)別模型進(jìn)行測試；步驟104，利用所述動(dòng)物行為識(shí)別模型對目標(biāo)動(dòng)物的待識(shí)別行為進(jìn)行識(shí)別。本發(fā)明提出的基于遷移學(xué)習(xí)的行為識(shí)別方法能有效的識(shí)別動(dòng)物的行為。
【專利說明】
基于遷移學(xué)習(xí)的動(dòng)物行為識(shí)別方法和裝置
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺的技術(shù)在動(dòng)物行為的自動(dòng)識(shí)別方面的應(yīng)用，適 用于動(dòng)物行為的自動(dòng)識(shí)別、動(dòng)物異常行為分析等動(dòng)物行為學(xué)的各項(xiàng)研究。
【背景技術(shù)】
[0002] 隨著監(jiān)控視頻和網(wǎng)絡(luò)視頻的數(shù)量日漸增多，視頻中自動(dòng)識(shí)別行為的技術(shù)變得越來 越重要。如人的行為識(shí)別一樣，動(dòng)物的行為識(shí)別也很重要，它的應(yīng)用包括野生動(dòng)物行為分 析、寵物的監(jiān)控等。但是，獲取動(dòng)物行為視頻的訓(xùn)練數(shù)據(jù)比較困難，特別是對某些稀有動(dòng)物。
[0003] -些哲學(xué)家和行為研究者認(rèn)為，不同種類之間的行為是相似的?？紤]到人的行為 的訓(xùn)練數(shù)據(jù)容易獲取，于是我們提出一個(gè)新的問題，能否用人的行為的數(shù)據(jù)來幫助識(shí)別動(dòng) 物的行為?或者進(jìn)一步，能否用人和某些動(dòng)物的數(shù)據(jù)幫助識(shí)別另外一些動(dòng)物的行為？
[0004] 考慮到不同的種類的動(dòng)物或者人，行為的表現(xiàn)方式不同，這些差別對應(yīng)到所提取 的特征上，就是特征的分布不一樣。傳統(tǒng)機(jī)器學(xué)習(xí)中的分類方法假設(shè)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù) 的分布是一致的，所以不能直接采用人的行為的特征做訓(xùn)練來幫助做動(dòng)物的行為識(shí)別。因 為迀移學(xué)習(xí)（transfer learning，簡稱TL)針對訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的分布不一致的情況， 所以我們正好利用TL來解決這個(gè)問題。

【發(fā)明內(nèi)容】

[0005] 針對動(dòng)物的行為識(shí)別中訓(xùn)練數(shù)據(jù)獲取困難這個(gè)問題，本發(fā)明提出了一種基于迀移 學(xué)習(xí)的動(dòng)物的行為識(shí)別方法和裝置。
[0006] 根據(jù)本發(fā)明一方面，提供了一種基于迀移學(xué)習(xí)的目標(biāo)動(dòng)物行為識(shí)別方法，其包括：
[0007] 步驟101，針對訓(xùn)練數(shù)據(jù)集中的每一個(gè)訓(xùn)練樣本和測試數(shù)據(jù)集中的每一測試樣本， 提取原始特征；
[0008] 步驟102,采用迀移學(xué)習(xí)中的領(lǐng)域適應(yīng)學(xué)習(xí)法將所述原始特征映射到共同空間中， 得到新的特征；
[0009] 步驟103,利用所述新的特征訓(xùn)練SVM分類器，得到目標(biāo)動(dòng)物行為識(shí)別模型，同時(shí)對 所述目標(biāo)動(dòng)物行為識(shí)別模型進(jìn)行測試；
[0010] 步驟104,利用所述動(dòng)物行為識(shí)別模型對目標(biāo)動(dòng)物的待識(shí)別行為進(jìn)行識(shí)別。
[0011] 根據(jù)本發(fā)明另一方面，提供了一種基于迀移學(xué)習(xí)的目標(biāo)動(dòng)物行為識(shí)別裝置，其包 括：
[0012] 特征提取模塊，用于針對訓(xùn)練數(shù)據(jù)集中的每一個(gè)訓(xùn)練樣本和測試數(shù)據(jù)集中的每一 測試樣本，提取原始特征；
[0013] 特征優(yōu)化模塊，用于采用迀移學(xué)習(xí)中的領(lǐng)域適應(yīng)學(xué)習(xí)法將所述原始特征映射到共 同空間中，得到新的特征；
[0014] 訓(xùn)練和測試模塊，用于利用所述新的特征訓(xùn)練SVM分類器，得到目標(biāo)動(dòng)物行為識(shí)別 模型，同時(shí)對所述目標(biāo)動(dòng)物行為識(shí)別模型進(jìn)行測試；
[0015] 分類和識(shí)別模塊，用于利用所述動(dòng)物行為識(shí)別模型對目標(biāo)動(dòng)物的待識(shí)別行為進(jìn)行 識(shí)別。
【附圖說明】
[0016] 圖1為本發(fā)明的主要四個(gè)步驟，即特征提取、特征優(yōu)化、訓(xùn)練和測試和分類和識(shí)別。
[0017] 圖2是本發(fā)明中所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本僅為人的行為樣本時(shí)，目標(biāo)動(dòng)物行 為識(shí)別的算法流程圖。行為識(shí)別的算法如下：
[0018] 步驟1:分別對訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)提取原始特征；
[0019] 步驟2:采用迀移學(xué)習(xí)中領(lǐng)域適應(yīng)學(xué)習(xí)（domain adaption learning，簡稱DALMC 訓(xùn)練數(shù)據(jù)的特征和測試數(shù)據(jù)的特征一起映射到一個(gè)共同的空間，得到新的特征，以減小來 自人和動(dòng)物的兩類特征在概率分布上的差異；
[0020] 步驟3:采用新特征訓(xùn)練、測試，識(shí)別目標(biāo)動(dòng)物的行為。
[0021]圖3是本發(fā)明中所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本為人的行為樣本和非目標(biāo)動(dòng)物的行 為樣本的組合時(shí)，目標(biāo)動(dòng)物行為識(shí)別的算法流程圖。行為識(shí)別的算法如下：
[0022]步驟1:分別對訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)提取原始特征；
[0023]步驟2:對每一個(gè)來源(人或者某一類動(dòng)物）的數(shù)據(jù)的特征和測試數(shù)據(jù)的特征，經(jīng)過 DAL，得到新的特征，采用這部分訓(xùn)練數(shù)據(jù)訓(xùn)練得到某個(gè)行為識(shí)別模型，最后得到多個(gè)從不 同來源迀移的行為識(shí)別的模型；
[0024] 步驟3:采用集成迀移學(xué)習(xí)（ensemble transfer learning，簡稱ETL)的方法融合 多個(gè)不同來源的迀移學(xué)習(xí)模型，以此識(shí)別目標(biāo)動(dòng)物的行為。
[0025]圖4是本發(fā)明中所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本為人的行為樣本、非目標(biāo)動(dòng)物的行 為樣本和目標(biāo)動(dòng)物的行為樣本的組合時(shí)，目標(biāo)動(dòng)物行為識(shí)別的算法流程圖。這里通過三種 策略解決這個(gè)問題。第一種策略只采用目標(biāo)動(dòng)物的部分有標(biāo)注的數(shù)據(jù)做訓(xùn)練。第二種策略 用人和多類其它動(dòng)物的行為的數(shù)據(jù)做訓(xùn)練。第三種策略是前兩種的結(jié)合，本發(fā)明中通過對 前兩種策略所預(yù)測的行為的概率分布做后融合。
[0026]圖5是A2D數(shù)據(jù)庫中人和部分動(dòng)物對應(yīng)的行為示意圖。
【具體實(shí)施方式】
[0027]下面結(jié)合實(shí)例，并參照附圖，敘述本發(fā)明的具體細(xì)節(jié)，并給出實(shí)驗(yàn)結(jié)果和相關(guān)分 析。
[0028]本發(fā)明提出了一種基于迀移學(xué)習(xí)的目標(biāo)動(dòng)物行為識(shí)別方法，其包括：
[0029]步驟101，針對訓(xùn)練數(shù)據(jù)集中的每一個(gè)訓(xùn)練樣本和測試數(shù)據(jù)集中的每一測試樣本， 提取原始特征；
[0030] 步驟102,采用迀移學(xué)習(xí)中的領(lǐng)域適應(yīng)學(xué)習(xí)法將所述原始特征映射到共同空間中， 得到新的特征；
[0031] 步驟103，利用所述新的特征訓(xùn)練SVM分類器，得到目標(biāo)動(dòng)物行為識(shí)別模型，同時(shí)對 所述目標(biāo)動(dòng)物行為識(shí)別模型進(jìn)行測試；
[0032] 步驟104,利用所述動(dòng)物行為識(shí)別模型對目標(biāo)動(dòng)物的待識(shí)別行為進(jìn)行識(shí)別。
[0033] 上述方法中，所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本包括人的行為樣本、非目標(biāo)動(dòng)物的行 為樣本和目標(biāo)動(dòng)物的行為樣本中的一種或幾種的組合。
[0034] 上述方法中，所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本僅為人的行為樣本時(shí)，步驟103包括：
[0035] 對于人的行為樣本，訓(xùn)練得到第一目標(biāo)動(dòng)物識(shí)別模型；
[0036] 利用第一目標(biāo)動(dòng)物識(shí)別模型識(shí)別待識(shí)別行為，得到最終的識(shí)別結(jié)果。
[0037] 上述方法中，所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本為人的行為樣本和非目標(biāo)動(dòng)物的行為 樣本的組合時(shí)，步驟103包括：
[0038] 對于不同種類的行為樣本，分別訓(xùn)練得到不同的中間識(shí)別模型，利用集成迀移學(xué) 習(xí)法將所述不同的中間識(shí)別模型融合成一個(gè)目標(biāo)動(dòng)物識(shí)別模型。
[0039] 上述方法中，所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本為人的行為樣本、非目標(biāo)動(dòng)物的行為 樣本和目標(biāo)動(dòng)物的行為樣本的組合時(shí)，步驟103包括：
[0040] 對于目標(biāo)動(dòng)物的行為樣本，訓(xùn)練得到第一目標(biāo)動(dòng)物識(shí)別模型；
[0041] 對于出目標(biāo)動(dòng)物的其他不同種類的行為樣本，分別訓(xùn)練得到不同的中間識(shí)別模 型；
[0042]對于利用集成迀移學(xué)習(xí)法將所述中間識(shí)別模型融合成第二目標(biāo)動(dòng)物識(shí)別模型；
[0043] 利用第一目標(biāo)動(dòng)物識(shí)別模型和第二目標(biāo)動(dòng)物識(shí)別模型分別識(shí)別待識(shí)別行為，并結(jié) 合兩個(gè)識(shí)別結(jié)果得到最終的識(shí)別結(jié)果。
[0044] 對輸入視頻，第一步要提取原始特征。我們采用在當(dāng)前行為識(shí)別研究中比較流行 的密集軌跡（dense trajectory)方法。首先，提取 TRJ (trajec tori es)、HOG (hi stograms of oriented gradients)、H0F(histograms of optical flow)、MBH(motion boundary histogram)四種局部特征，經(jīng)過主成分分析(principal component analysis，簡稱PCA)把 特征維度降到原來的一半，然后采用詞袋模型(bag of words)對每一種局部特征編碼，視 覺詞典(visual words)的個(gè)數(shù)設(shè)置為2000,于是對每個(gè)視頻得到了幻、!106、!10?、冊!1四種局 部特征的直方圖特征，最后把它們串接起來，作為視頻的原始特征。本發(fā)明不限于上述四種 原始特征，本方法對原始特征沒有限定，適用任何有效的行為識(shí)別的特征。
[0045] 由于來自人和動(dòng)物的原始特征的概率分布不同，我們采用迀移學(xué)習(xí)的方法把原始 特征轉(zhuǎn)化為新的特征，最后采用線性支持向量機(jī)(support vector machine，SVM)作為最后 特征的分類器，設(shè)置參數(shù)C = 500。迀移學(xué)習(xí)的方法具體如下所述。
[0046] 圖2中，用人的行為的數(shù)據(jù)訓(xùn)練，把訓(xùn)練好的模型迀移到目標(biāo)動(dòng)物，以識(shí)別該動(dòng)物 的行為。在提取原始特征之后，我們采用TL中迀移稀疏編碼(transfer sparse coding，簡 稱TSC)的方法(Long等人提出），為了減小訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)在特征分布上的差異性，把 訓(xùn)練和測試數(shù)據(jù)的原始特征一起映射到一個(gè)共同的空間，得到新的特征。該方法具體步驟 如下。
[0047] 記H= [lu，…，hN] GRdxn為原始特征矩陣，其中D表示特征維度，N表示總的特征數(shù) 目，N=NMt，H的前Ns列為訓(xùn)練數(shù)據(jù)的特征，后Nt列為測試數(shù)據(jù)的特征。U= [m，…，uK] e Rdxk 為稀疏編碼的詞典，基的個(gè)數(shù)為LV= [V1，…，VN] e Rkxn為原始特征經(jīng)過稀疏編碼后的新特 征所組成的矩陣。迀移稀疏編碼TSC的目標(biāo)函數(shù)如下所示：
(J)
[0048]
[0049] 式中，λ，μ，γ為模型系數(shù)，實(shí)驗(yàn)中取固定的值，矩陣M，L為迀移學(xué)習(xí)相關(guān)參數(shù)，解釋 如下。
[0050] 該目標(biāo)函數(shù)由三項(xiàng)組成。第一項(xiàng)是稀疏編碼的重構(gòu)誤差，第二項(xiàng)是對編碼的L1E 貝1J，使得新特征產(chǎn)生稀疏的效果，前兩項(xiàng)是傳統(tǒng)的稀疏編碼方法。第三項(xiàng)是針對迀移學(xué)習(xí) 的，由兩部分組成，即最大均值差異(maximum mean discrepancy，簡稱MMD)正則化和圖拉 普拉斯(graph Laplacian，簡稱GL)正規(guī)化。
[0051] MMD是對概率分布的一種非參數(shù)度量方法，它采用兩個(gè)不同概率分布的均值之間 的距離作為這兩個(gè)概率分布之間的距離度量，計(jì)算如下：
[0052] (2)
[0053]
[0054] (3)
[0055] MMD正則化能夠減小來自不同分布的特征經(jīng)過編碼后的差異，當(dāng)且僅當(dāng)兩類分布 相同的時(shí)候，MMD漸進(jìn)趨近于0，相當(dāng)于沒有加約束。
[0056]如果兩個(gè)特征在原始空間距離近，那么在編碼的特征在新的空間距離也應(yīng)該近， GL正規(guī)化正是基于這個(gè)思路。它采用K近鄰對特征在原始空間的鄰近關(guān)系建模，構(gòu)建鄰接矩 陣W如下：
[0057]
(4>
[0058] 定義GL矩陣L=W-D，其中
灃最小化以下函數(shù)：
[0059]
(5)
[0060] 對于公式（1)中的目標(biāo)函數(shù)，可以采用兩步走的優(yōu)化方法求解。第一步，固定詞典 U，計(jì)算最優(yōu)的編碼V;第二步，固定編碼V，計(jì)算最優(yōu)的詞典U。這兩個(gè)步驟交替迭代，一直到 目標(biāo)函數(shù)值不再下降或者誤差在可接受的范圍之內(nèi)。
[0061] 對于新特征V，采用來自人的訓(xùn)練數(shù)據(jù)做訓(xùn)練，得到行為識(shí)別的模型，，然后采用測 試數(shù)據(jù)對所述目標(biāo)動(dòng)物進(jìn)行測試，用于識(shí)別目標(biāo)動(dòng)物的行為，測試過程中分類器參數(shù)不變。 作為對比方法，我們對原始特征做類似的處理。
[0062] 圖3中，用人和多類其它動(dòng)物的行為的數(shù)據(jù)訓(xùn)練，把多個(gè)訓(xùn)練好的模型迀移到同一 類目標(biāo)動(dòng)物。對每一個(gè)來源(人或者某一類動(dòng)物）的訓(xùn)練數(shù)據(jù)，采用圖1中所述的方法，得到 從這個(gè)來源迀移的行為識(shí)別模型。集成迀移學(xué)習(xí)（ensemble transfer IearningJI^lETL) 是把多個(gè)TL模型的結(jié)果整合到一起的一類機(jī)器學(xué)習(xí)方法，正好針對我們的這個(gè)問題。這里， 我們采用局部加權(quán)集成（locally weighted ensemble，簡稱LWE)的方法(Gao等人提出）。具 體過程如下所述。
[0063] 假設(shè)已知1個(gè)從不同來源迀移的識(shí)別模型彳和測試數(shù)據(jù)集合DT，根據(jù)貝葉斯法 貝IJ，測試樣本的后驗(yàn)概率估計(jì)如下：
[0064] (6)
[0065] 式中，P(y|h，Mk)表示模型Mk判斷樣本heDT是行為y的概率，P(MkIh)表示樣本h選 擇模型Mk來分類的概率，我們可以把P(Mk|h)看做對某一個(gè)樣本h的權(quán)重系數(shù)，即，并作 為模型需要估計(jì)的參數(shù)。
[0066] 測試樣本h的真實(shí)標(biāo)簽是未知的，f(h)表示測試數(shù)據(jù)的概率密度函數(shù)。我們認(rèn)為以 下兩條假設(shè)是合理的:假設(shè)1，對某個(gè)測試樣本，如果某個(gè)模型的預(yù)測概率(P(y|h，M k))的分 布和該樣本真實(shí)的概率(P(y Ih))的分布接近，那么這個(gè)模型應(yīng)該擁有對這個(gè)樣本相對較大 的權(quán)重系數(shù);假設(shè)2,在概率密度f(h)值較大的區(qū)域，該密度函數(shù)的變化相對平緩，也就是 說，分類的邊界應(yīng)該在概率密度值較小的區(qū)域。
[0067] 但是，對于高維數(shù)據(jù)，概率密度函數(shù)f(h)很難準(zhǔn)確估計(jì)，特別是樣本數(shù)目缺乏的情 況下。這里，我們采用一種替代的辦法。首先，對測試樣本聚類，并認(rèn)為聚類中心的邊界處對 應(yīng)概率密度低的區(qū)域。對于樣本h，如果模型M k預(yù)測的分類邊界和聚類中心的邊界一致，我 們認(rèn)為P(y I h，Mk)和標(biāo)簽真實(shí)的分布很像，也就是說，的值較大。
[0068] 因此，我們采用一種聚類的方法來估計(jì)模型對于樣本的權(quán)重系數(shù)。首先，把測試數(shù) 據(jù)聚為c個(gè)類別，并構(gòu)造圖61=%辦）^表示測試樣本集合辦表示測試樣本之間的連接關(guān) 系，當(dāng)且僅當(dāng)兩個(gè)不同的樣本屬于同一個(gè)聚類中心時(shí)，它們之間才會(huì)有邊相連接。接著，對 于每一個(gè)模型M k，我們構(gòu)造類似的圖= (Fr，EMk)，不同之處在于邊的集合EMk，這里，當(dāng) 且僅當(dāng)兩個(gè)不同的樣本被模型M k判為同一個(gè)類別時(shí)，它們之間才會(huì)有邊相連接?；谝陨?的分析，我們可以認(rèn)為，對于樣本h，模型Mk的權(quán)重系數(shù)》和該樣本在圖Gt和圖G lvlk中共同 相鄰的節(jié)點(diǎn)的個(gè)數(shù)成正比，即：
[0069]
(7)
[0070] 式中VT,h，分別表示樣本h節(jié)點(diǎn)在圖Gt，GMk中的相鄰節(jié)點(diǎn)的集合。
[0071 ]對每一個(gè)樣本h，由此估計(jì)％%> ?并按照公式(6)計(jì)算屬于某行為的概率，從而判斷 該樣本的行為。
[0072] 圖4中，用人和多類其它動(dòng)物的行為的數(shù)據(jù)，以及目標(biāo)動(dòng)物的部分有標(biāo)注的數(shù)據(jù)做 訓(xùn)練，以識(shí)別該動(dòng)物的行為。我們采用三種策略，并比較它們的結(jié)果。第一種策略是傳統(tǒng)的 行為識(shí)別方法，即只采用目標(biāo)動(dòng)物的有標(biāo)注的數(shù)據(jù)做訓(xùn)練。第二種策略是圖2中所述的方 法，即用人和多類其它動(dòng)物的數(shù)據(jù)做訓(xùn)練。第三中策略是前兩種的結(jié)合，我們簡單的對前兩 種策略所預(yù)測的行為的概率分布做后融合，即把這兩個(gè)預(yù)測概率相加。
[0073] 下面通過具體實(shí)施例詳細(xì)說明本發(fā)明提出的上述方案，并借助實(shí)驗(yàn)結(jié)果來驗(yàn)證本 發(fā)明的有效性?；谝陨纤l(fā)明的方法，實(shí)驗(yàn)設(shè)置分為以下三種情況：
[0074] 情況I:用人的數(shù)據(jù)做訓(xùn)練，把訓(xùn)練好的模型迀移到目標(biāo)動(dòng)物，以識(shí)別該動(dòng)物的行 為；
[0075] 情況2:用人和多類其它動(dòng)物的數(shù)據(jù)做訓(xùn)練，把多個(gè)訓(xùn)練好的模型迀移到同一類目 標(biāo)動(dòng)物，以識(shí)別該動(dòng)物的行為；
[0076] 情況3 :用人和多類其它動(dòng)物的數(shù)據(jù)，以及該目標(biāo)動(dòng)物的部分有標(biāo)注的數(shù)據(jù)做訓(xùn) 練，以識(shí)別該動(dòng)物的行為。
[0077]針對目標(biāo)動(dòng)物有部分訓(xùn)練數(shù)據(jù)的情況，本發(fā)明采用三種策略解決這個(gè)問題，即簡 易的行為識(shí)別方法，基于迀移學(xué)習(xí)的行為識(shí)別方法，以及兩者結(jié)合的方法。
[0078] 由于這是一個(gè)新的問題，需要數(shù)據(jù)庫中既有人的行為視頻，也有不同動(dòng)物的行為 視頻。幸運(yùn)的是，我們不需要自己構(gòu)建數(shù)據(jù)庫，美國密西根大學(xué)2015年公布了一個(gè)新的行為 識(shí)別的數(shù)據(jù)庫，即A2D數(shù)據(jù)庫，該數(shù)據(jù)庫同時(shí)包含動(dòng)物和人的行為視頻。Xu等人構(gòu)建這個(gè)數(shù) 據(jù)庫是為了做本體(指行為的主體)和行為的共同分類、分割，我們正好用這個(gè)數(shù)據(jù)庫來做 基于迀移學(xué)習(xí)的動(dòng)物的行為識(shí)別。
[0079] 圖5顯示了A2D數(shù)據(jù)庫中人和部分動(dòng)物對應(yīng)的部分行為，從中可以看出，動(dòng)物和人 的行為是相似的。
[0080] 實(shí)驗(yàn)設(shè)置如下所述。
[0081] 對于情況1，我們把A2D中成人的全部視頻作為訓(xùn)練集合，分別把鳥、貓、狗這三類 動(dòng)物的視頻作為測試集合。我們采用原始特征直接分類，作為非迀移學(xué)習(xí)方法和實(shí)驗(yàn)中的 迀移學(xué)習(xí)方法做對比。結(jié)果如表格1所示。
[0082] 對于情況2,考慮到有四類視頻，成人、鳥、貓、狗，我們分別把鳥、貓、狗這三類動(dòng)物 的視頻作為測試集合，而把其它所有視頻作為訓(xùn)練集合。舉個(gè)例子，用鳥的視頻做測試的時(shí) 候，采用成人、貓和狗的視頻做訓(xùn)練。類似于情況1，我們也用原始特征做分類，作為對比試 驗(yàn)。因?yàn)槲覀冡槍η闆r2采用了集成迀移學(xué)習(xí)的融合方法，為驗(yàn)證效果，我們采用后融合(把 多個(gè)分類器的預(yù)測概率相加)方法作為對比實(shí)驗(yàn)。結(jié)果如表格2所示。
[0083] 對于情況3,對于鳥、貓、狗中的某一類目標(biāo)動(dòng)物，我們首先把它所有的數(shù)據(jù)隨機(jī)劃 分訓(xùn)練集合測試集合，實(shí)驗(yàn)中，采用20%的數(shù)據(jù)做訓(xùn)練，其余做測試，另外，采用其它動(dòng)物以 及成人的全部數(shù)據(jù)作為額外的訓(xùn)練集合。我們對比了三種不同的策略，即傳統(tǒng)的行為識(shí)別 方法，基于迀移學(xué)習(xí)的行為識(shí)別方法，以及兩者結(jié)合的方法。結(jié)果如表格3所示。
[0084] 表格1情況1的行為識(shí)別精度，從人迀移到動(dòng)物
[0086]表格2情況2的行為識(shí)別精度，從人和其它動(dòng)物共同迀移到該動(dòng)物，并經(jīng)過模型融 合
Luuvi j 從衣格i的結(jié)米η」以有出，It秒字 >」的力ViK非Xt秒字 >」的結(jié)米壯。田此諷明，人 的行為可以迀移到動(dòng)物，并幫助動(dòng)物的行為識(shí)別，特別是針對動(dòng)物沒有訓(xùn)練樣本的情況下。 [0092]從表格2的結(jié)果可以看出，迀移學(xué)習(xí)的方法比非迀移學(xué)習(xí)的結(jié)果好，集成迀移學(xué)習(xí) 要比后融合的結(jié)果好。同時(shí)，我們發(fā)現(xiàn)，表格2中的最好結(jié)果比表格1中的最好結(jié)果好。由此 說明，不僅人的行為可以迀移到動(dòng)物，不同動(dòng)物的行為也可以互相迀移。如果要識(shí)別某一類 動(dòng)物的行為而沒有訓(xùn)練數(shù)據(jù)，我們可以采用人和其它動(dòng)物的數(shù)據(jù)做訓(xùn)練，提取特征之后，先 采用迀移學(xué)習(xí)的方法減少特征之間的差異，再采用集成迀移學(xué)習(xí)的方法融合多個(gè)模型，這 樣可以獲得最好的識(shí)別效果。
[0093]從表格3的結(jié)果可以看出，針對有部分標(biāo)注的樣本的情況，迀移學(xué)習(xí)方法依舊是很 有效的，特別是當(dāng)有標(biāo)注的數(shù)據(jù)不夠多時(shí)候(比如，低于20%)。另外，把傳統(tǒng)的行為識(shí)別方 法和基于迀移學(xué)習(xí)的行為識(shí)別方法結(jié)合起來，我們可以進(jìn)一步提高識(shí)別精度。
[0094]綜上，針對動(dòng)物的行為識(shí)別中訓(xùn)練數(shù)據(jù)獲取困難這個(gè)問題，我們提出了提出了一 種新的解決思路，即基于迀移學(xué)習(xí)的動(dòng)物的行為識(shí)別。該方法能有效的識(shí)別動(dòng)物的行為，適 用于目標(biāo)動(dòng)物沒有訓(xùn)練樣本的情況，以及訓(xùn)練樣本不夠多的情況。
【主權(quán)項(xiàng)】
1. 一種基于迀移學(xué)習(xí)的動(dòng)物行為識(shí)別方法，其包括： 步驟101，針對訓(xùn)練數(shù)據(jù)集中的每一個(gè)訓(xùn)練樣本和測試數(shù)據(jù)集中的每一測試樣本，提取 原始特征； 步驟102,采用迀移學(xué)習(xí)中的領(lǐng)域適應(yīng)學(xué)習(xí)法將所述原始特征映射到共同空間中，得到 新的特征； 步驟103，利用所述新的特征訓(xùn)練SVM分類器，得到目標(biāo)動(dòng)物行為識(shí)別模型，同時(shí)對所述 目標(biāo)動(dòng)物行為識(shí)別模型進(jìn)行測試； 步驟104,利用所述動(dòng)物行為識(shí)別模型對目標(biāo)動(dòng)物的待識(shí)別行為進(jìn)行識(shí)別。2. 根據(jù)權(quán)利要求1所述的方法，其中所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本包括人的行為樣本、 非目標(biāo)動(dòng)物的行為樣本和目標(biāo)動(dòng)物的行為樣本中的一種或幾種的組合。3. 根據(jù)權(quán)利要求2所述的方法，其中，所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本僅為人的行為樣本 時(shí)，步驟103包括： 對于人的行為樣本，訓(xùn)練得到第一目標(biāo)動(dòng)物識(shí)別模型； 利用第一目標(biāo)動(dòng)物識(shí)別模型識(shí)別待識(shí)別行為，得到最終的識(shí)別結(jié)果。4. 根據(jù)權(quán)利要求2所述的方法，其中所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本為人的行為樣本和 非目標(biāo)動(dòng)物的行為樣本的組合時(shí)，步驟103包括： 對于不同種類的行為樣本，分別訓(xùn)練得到不同的中間識(shí)別模型，利用集成迀移學(xué)習(xí)法 將所述不同的中間識(shí)別模型融合成一個(gè)目標(biāo)動(dòng)物識(shí)別模型。5. 根據(jù)權(quán)利要求2所述的方中，其中所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本為人的行為樣本、非 目標(biāo)動(dòng)物的行為樣本和目標(biāo)動(dòng)物的行為樣本的組合時(shí)，步驟103包括： 對于目標(biāo)動(dòng)物的行為樣本，訓(xùn)練得到第一目標(biāo)動(dòng)物識(shí)別模型； 對于目標(biāo)動(dòng)物的其他不同種類的行為樣本，分別訓(xùn)練得到不同的中間識(shí)別模型； 對于利用集成迀移學(xué)習(xí)法將所述中間識(shí)別模型融合成第二目標(biāo)動(dòng)物識(shí)別模型； 利用第一目標(biāo)動(dòng)物識(shí)別模型和第二目標(biāo)動(dòng)物識(shí)別模型分別識(shí)別待識(shí)別行為，并結(jié)合兩 個(gè)識(shí)別結(jié)果得到最終的識(shí)別結(jié)果。6. 根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其中，步驟103還包括： 利用測試樣本得到的新特征對所述目標(biāo)動(dòng)物行為識(shí)別模型進(jìn)行測試。7. 根據(jù)權(quán)利要求1所述的方法，其中，步驟101具體包括： 提取TRJ、HOG、HOF和MBH四種局部特征； 經(jīng)過主成分分析方法將所述四種局部特征的維度降到原來一半； 采用詞袋模型對每一種局部特征編碼，針對每個(gè)視頻得到上述四種局部特征的直方圖 特征； 將得到的直方圖特征串接起來，得到原始特征。8. 根據(jù)權(quán)利要求4所述的方法，其中，步驟103還包括： 對測試樣本進(jìn)行聚類為c個(gè)類別，并構(gòu)造圖61=%而）^表示測試樣本集合而表示測 試樣本之間的連接邊集合，當(dāng)且僅當(dāng)兩個(gè)不同的測試樣本屬于同一個(gè)聚類中心時(shí)，它們之 間才會(huì)有邊相連接； 對于每一個(gè)待測試的目標(biāo)動(dòng)物行為識(shí)別模型Mk，構(gòu)造圖= )，EKtk表示測試 樣本之間的連接邊集合，當(dāng)且僅當(dāng)兩個(gè)不同的測試樣本被待測試的目標(biāo)動(dòng)物行為識(shí)別模型 Mk判為同一個(gè)類別時(shí)，它們之間才會(huì)有邊相連接； 基于以上的分析，對于測試樣本h，待測試的目標(biāo)動(dòng)物行為識(shí)別模型Mk的權(quán)重系數(shù)>%^ 和該測試樣本在圖GT和圖〇4中共同相鄰的節(jié)點(diǎn)的個(gè)數(shù)成正比，即：式中VT, h，.a分別表示樣本h節(jié)點(diǎn)在圖GT，中的相鄰節(jié)點(diǎn)的集合； 對每一個(gè)測試樣本h，利用估計(jì)得到的1^^?計(jì)算測試樣本屬于某行為的概率，從而判 斷該測試樣本的行為。9. 根據(jù)權(quán)利要求8所述的方法，其中，如下計(jì)算測試樣本屬于某行為的概率：其中，P(y | h，Mk)表示Mk判斷樣本h e Dt是行為y的概率，P (Mk | h)表示樣本h選擇Mk來分類 的概率，把P(Mk I h)看做對某一個(gè)樣本h的權(quán)重系數(shù)，即1為Mk的個(gè)數(shù)。10. -種基于迀移學(xué)習(xí)的目標(biāo)動(dòng)物行為識(shí)別裝置，其包括： 特征提取模塊，用于針對訓(xùn)練數(shù)據(jù)集中的每一個(gè)訓(xùn)練樣本和測試數(shù)據(jù)集中的每一測試 樣本，提取原始特征； 特征優(yōu)化模塊，用于采用迀移學(xué)習(xí)中的領(lǐng)域適應(yīng)學(xué)習(xí)法將所述原始特征映射到共同空 間中，得到新的特征； 訓(xùn)練和測試模塊，用于利用所述新的特征訓(xùn)練SVM分類器，得到目標(biāo)動(dòng)物行為識(shí)別模 型，同時(shí)對所述目標(biāo)動(dòng)物行為識(shí)別模型進(jìn)行測試； 分類和識(shí)別模塊，用于利用所述動(dòng)物行為識(shí)別模型對目標(biāo)動(dòng)物的待識(shí)別行為進(jìn)行識(shí) 別。
【文檔編號(hào)】G06K9/62GK106056043SQ201610339756
【公開日】2016年10月26日
【申請日】2016年5月19日
【發(fā)明人】王亮, 王威, 王洪松
【申請人】中國科學(xué)院自動(dòng)化研究所