基于行為學習的多目標跟蹤方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提出一種基于行為學習的多目標跟蹤方法及系統(tǒng)，該方法包括：獲取目標視頻序列，對目標視頻序列進行檢測，并根據檢測結果獲得跟蹤目標候選框的大小及位置信息；對多目標實時跟蹤問題進行建模，并建立多目標實時跟蹤問題的產生式概率模型；針對產生式概率模型中的全局條件概率項，在已進行正確標注的訓練集上進行離線訓練，進行普適于各種場景的全局行為預測，針對產生式概率模型中的局部條件概率項利用每個目標在當前幀之前的跟蹤數據，實時在線訓練適用于該目標的局部行為預測；結合全局行為預測及局部行為預測得到目標的行為預測，并根據預測的目標行為進行多目標跟蹤。本發(fā)明在多目標跟蹤時能保持跟蹤率，同時能明顯的減少跟蹤錯誤率。
【專利說明】
基于行為學習的多目標跟蹤方法及系統(tǒng)
技術領域
[0001] 本發(fā)明設及計算機視覺及機器人導航技術領域，特別設及一種基于行為學習的多 目標跟蹤方法及系統(tǒng)。
【背景技術】
[0002] 目標跟蹤一直是計算機視覺領域的重要問題和研究熱點，目標跟蹤根據同時跟蹤 的目標數分為單目標跟蹤W及多目標跟蹤(M0T，Multi-0bject化acking)。近年來，由于在 視頻監(jiān)控、運動分析、自動駕駛W及機器人導航等視頻分析場景有更廣泛的應用，對于多目 標跟蹤的研究變得更加重要并擁有更多的現(xiàn)實意義。下面簡述一些多目標跟蹤的重要應用 場景：
[0003] (1)智能視頻監(jiān)控:基于運動識別（例如基于步法的人類識別，自動物體檢測等）， 自動化監(jiān)測（監(jiān)視一個場景W檢測可疑行為）；交通監(jiān)視(實時收集交通數據用來指揮交通 流動）。
[0004] (2)人機交互:傳統(tǒng)人機交互是通過計算鍵盤和鼠標進行的。而人們期望計算機更 智能地W自然方式與人交流。實現(xiàn)運一目標的方式之一是使計算機具有識別和理解人的姿 態(tài)、動作、手勢等能力，跟蹤是完成運些任務的關鍵一步。
[0005] (3)機器人導航:視覺傳感器是智能機器人一種重要的信息源，為能自主運動，智 能機器人須認識和跟蹤環(huán)境中的物體。在機器人手眼應用中，跟蹤技術用安裝在機器人手 上的攝像機拍攝物體，計算其運動軌跡，選擇最佳姿態(tài)抓取物體。
[0006] (4)虛擬現(xiàn)實:虛擬環(huán)境中3D交互和虛擬角色動作模擬直接得益于視頻人體運動 分析的研究成果，可給參與者提供更加豐富的交互形式。從視頻中獲取人體運動數據，用新 的虛擬人物或具有類似關節(jié)模型的物體替換原視頻中的人物，W得到意想不到的特殊效 果。其關鍵技術是人體運動跟蹤分析。
[0007] 多目標跟蹤指從視頻序列中獲取感興趣的多個目標(一般是某一類)的位置、大小 W及運動軌跡的過程。隨著深度學習等更加先進的算法成功的應用到物體檢測領域，物體 檢測的準確度進一步提高。運也就為基于檢測的多目標跟蹤算法的產生提供了基礎和依 據?；跈z測的多目標跟蹤簡單來說就是將每一帖的檢測結果對應連接起來形成每個目標 在視頻空間的"軌跡(trajectoriesT。為了確定運個軌跡，就要解決檢測之間歧義鏈接W 及錯誤檢測問題(多檢一一假陽，漏檢一一假陰）。
[000引為了更好的解決上述問題，較為直接的想法是用整體(batch)模式，即在整段視頻 序列上進行循環(huán)迭代，不斷優(yōu)化求得的軌跡。由于運種方法只能處理已有的整段視頻，無法 實時跟蹤，也被稱為離線(offline)模式。顯而易見，整體模式的實用性并不強，無法應用到 實時監(jiān)控W及自動駕駛等需要實時處理的領域。因此，與之相對的實時(online)模式就成 為了現(xiàn)在研究的主要方向。

【發(fā)明內容】

[0009] 本發(fā)明旨在至少在一定程度上解決上述相關技術中的技術問題之一。
[0010] 為此，本發(fā)明的一個目的在于提出一種基于行為學習的多目標跟蹤方法，該方法 在多目標跟蹤時能保持跟蹤率，同時能明顯的減少跟蹤錯誤率。
[0011] 本發(fā)明的另一個目的在于提出一種基于行為學習的多目標跟蹤系統(tǒng)。
[0012] 為了實現(xiàn)上述目的，本發(fā)明第一方面的實施例提出了一種基于行為學習的多目標 跟蹤方法，包括W下步驟:Sl:獲取目標視頻序列，對所述目標視頻序列進行檢測，并根據檢 測結果獲得跟蹤目標候選框的大小及位置信息;S2:對多目標實時跟蹤問題進行建模，并建 立所述多目標實時跟蹤問題的產生式概率模型；S3:針對所述產生式概率模型中的全局條 件概率項，在已進行正確標注的訓練集上進行離線訓練，進行普適于各種場景的全局行為 預測，針對所述產生式概率模型中的局部條件概率項利用每個目標在當前帖之前的跟蹤數 據，實時在線訓練適用于該目標的局部行為預測；W及S4:結合所述全局行為預測及所述局 部行為預測得到目標的行為預測，并根據預測的目標行為進行多目標跟蹤。
[0013] 根據本發(fā)明實施例的基于行為學習的多目標跟蹤方法，在應用于多目標跟蹤場景 時，既能保持跟蹤率，同時能明顯的減少跟蹤錯誤率，提高跟蹤準確性。
[0014] 另外，根據本發(fā)明上述實施例的基于行為學習的多目標跟蹤方法還可W具有如下 附加的技術特征：
[0015] 在一些示例中，所述S2中，所述產生式概率模型建立過程如下：
[0016] 采用公式(I)所示的概率模型來表示求解多目標跟蹤問題：
[0017]
(I)，
[001引其中，X表示所跟蹤目標的狀態(tài)的集合，Z表示所有的檢測結果的信息集合；
[0019] 具體到所述目標視頻序列中每一帖t的所有目標的狀態(tài)，所述公式(I)可變形為：
[0020]
)，
[0021] 其中，ZtW及Xt分別表示第t帖的所有觀測和目標狀態(tài)，所述公式（E)相當于逐帖 求得最優(yōu)解；
[0028] 其中，P(Xi)是在第一帖初始化目標狀態(tài)，P(ZtlXt)是觀測目標框W及目標狀態(tài)信 息所決定的目標框的圖像特征相似性，巧X, i例巧巧是所有目標共性行為的全局先驗知識
[0022] 根據多目標跟蹤問題的馬爾科夫性，Xt可W被看作是由前一帖的目標狀態(tài)Xt-iW 及關于目標行為的預測或者先驗知識巧共同產生的，則所述公式（n)就可W被進一步推導 為：
[0023]
[0024] 濁立的，具體為：
[0025]
[00%] i-步的變形為：
[0027] (IV)， 對目標狀態(tài)的預測，巧X/1 為每一個目標在前一帖的狀態(tài)產生當前帖狀態(tài)的概率， '試 相當于根據目標自身的行為對該目標的狀態(tài)預測。
[0029] 在一些示例中，在所述S3中，所述全局行為預測具體包括:利用數據變形的方法， 將原始的探測數據結合訓練集的標注結果產生訓練數據，并利用所述訓練數據訓練神經網 絡，W使訓練出的神經網絡能夠根據目標前Tg帖的狀態(tài)信息預測出目標當前帖的狀態(tài)信 息，其中，所述訓練數據的結構為：目標前Tg帖的狀態(tài)信息W及對應的當前帖的狀態(tài)信息。
[0030] 在一些示例中，在所述S3中，所述局部行為預測具體包括:在進行目標跟蹤的過程 中，實時進行訓練，并將目標之前的跟蹤信息進行變形，產生出訓練數據，并利用所述訓練 數據訓練神經網絡，W使訓練出的神經網絡能夠根據目標前Tl帖的狀態(tài)信息預測出目標當 前帖的狀態(tài)信息，其中，訓練數據的結構為，目標前Tl帖的狀態(tài)信息W及對應的當前帖的狀 態(tài)fs息。
[0031] 為了實現(xiàn)上述目的，本發(fā)明第二方面的實施例還提供了一種基于行為學習的多目 標跟蹤系統(tǒng)，包括:獲取模塊，所述獲取模塊用于獲取目標視頻序列，對所述目標視頻序列 進行檢測，并根據檢測結果獲得跟蹤目標候選框的大小及位置信息;建模模塊，所述建模模 塊用于對多目標實時跟蹤問題進行建模，并建立所述多目標實時跟蹤問題的產生式概率模 型;預測模塊，所述預測模塊用于針對所述產生式概率模型中的全局條件概率項，在已進行 正確標注的訓練集上進行離線訓練，進行普適于各種場景的全局行為預測，針對所述產生 式概率模型中的局部條件概率項利用每個目標在當前帖之前的跟蹤數據，實時在線訓練適 用于該目標的局部行為預測；W及跟蹤模塊，所述跟蹤模塊用于結合所述全局行為預測及 所述局部行為預測得到目標的行為預測，并根據預測的目標行為進行多目標跟蹤。
[0032] 根據本發(fā)明實施例的基于行為學習的多目標跟蹤系統(tǒng)，在應用于多目標跟蹤場景 時，既能保持跟蹤率，同時能明顯的減少跟蹤錯誤率，提高跟蹤準確性。
[0033] 另外，根據本發(fā)明上述實施例的基于行為學習的多目標跟蹤系統(tǒng)還可W具有如下 附加的技術特征：
[0034] 在一些示例中，所述產生式概率模型建立過程如下：
[0035] 采用公式(I)所示的概率模型來表示求解多目標跟蹤問題：
[0036]
(1)，
[0037] 其中，X表示所跟蹤目標的狀態(tài)的集合，S表示所有的檢測結果的信息集合；
[003引且化面I斷冰曰驚抑麻席別由錠一帖t的所有目標的狀態(tài)，所述公式（I)可變形為：
[0039] 。。'
[0040] 其中，ZtW及Xt分別表示第t帖的所有觀測和目標狀態(tài)，所述公式（E)相當于逐帖 求得最優(yōu)解；
[0041 ]根據多目標跟蹤問題的馬爾科夫性，Xt可W被看作是由前一帖的目標狀態(tài)Xt-I W 及關于目標行為的預測或者先驗知識技共同產生的，則所述公式（n)就可W被進一步推導 為：
[0042]
[0043] 其中，所述先驗知識技W及前一帖目標的狀態(tài)Xt-I是相互獨立的，具體為：
[0044]
(III);
[0045] 利用一階馬爾科夫性進行逐帖遞推，所述公式(m)可W進一步的變形為：
[0046；
UV )，
[0047] 其中，P(Xi)是在第一帖初始化目標狀態(tài)，P(ZtlXt)是觀測目標框W及目標狀態(tài)信 息所決定的目標框的圖像特征相似性，巧XJ錢巧巧是所有目標共性行為的全局先驗知識 對目標狀態(tài)的預測
I每一個目標在前一帖的狀態(tài)產生當前帖狀態(tài)的概率， 相當于根據目標自身的行為對該目標的狀態(tài)預測。
[0048] 在一些示例中，所述全局行為預測具體包括:利用數據變形的方法，將原始的探測 數據結合訓練集的標注結果產生訓練數據，并利用所述訓練數據訓練神經網絡，W使訓練 出的神經網絡能夠根據目標前Tg帖的狀態(tài)信息預測出目標當前帖的狀態(tài)信息，其中，所述 訓練數據的結構為：目標前Tg帖的狀態(tài)信息W及對應的當前帖的狀態(tài)信息。
[0049] 在一些示例中，所述局部行為預測具體包括:在進行目標跟蹤的過程中，實時進行 訓練，并將目標之前的跟蹤信息進行變形，產生出訓練數據，并利用所述訓練數據訓練神經 網絡，W使訓練出的神經網絡能夠根據目標前Tl帖的狀態(tài)信息預測出目標當前帖的狀態(tài)信 息，其中，訓練數據的結構為，目標前Tl帖的狀態(tài)信息W及對應的當前帖的狀態(tài)信息。
[0050] 本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實踐了解到。
【附圖說明】
[0051] 本發(fā)明的上述和/或附加的方面和優(yōu)點從結合下面附圖對實施例的描述中將變得 明顯和容易理解，其中：
[0052] 圖1是根據本發(fā)明一個實施例的基于行為學習的多目標跟蹤方法的流程圖；
[0053] 圖2是根據本發(fā)明一個實施例的基于行為學習的多目標跟蹤方法的整體流程圖； 圖3是本發(fā)明一個實施例的基于行為學習的多目標跟蹤方法的全局跟蹤的流程框圖；
[0054] 圖4是本發(fā)明一個實施例的基于行為學習的多目標跟蹤方法局部跟蹤的流程框 圖；
[0055] 圖5是本發(fā)明一個具體實施例的基于行為學習的多目標跟蹤方法的目標大小的預 測結果與實際結果比較示意圖；
[0056] 圖6是本發(fā)明一個具體實施例的基于行為學習的多目標跟蹤方法的目標位置的預 測結果與實際結果比較示意圖；W及
[0057] 圖7是本發(fā)明一個實施例的基于行為學習的多目標跟蹤系統(tǒng)的結構框圖。
【具體實施方式】
[0058] 下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。
[0059] W下結合附圖描述根據本發(fā)明實施例的基于行為學習的多目標跟蹤方法及系統(tǒng)。
[0060] 圖1是根據本發(fā)明一個實施例的基于行為學習的多目標跟蹤方法的流程圖。圖2是 根據本發(fā)明一個實施例的基于行為學習的多目標跟蹤方法的整體流程圖。如圖1所示，并結 合圖2,根據本發(fā)明一個實施例的基于行為學習的多目標跟蹤方法，包括W下步驟：
[0061] 步驟Sl:獲取目標視頻序列，對目標視頻序列進行檢測，并根據檢測結果獲得跟蹤 目標候選框的大小及位置信息。
[0062] 步驟S2:對多目標實時跟蹤問題進行建模，并建立多目標實時跟蹤問題的產生式 概率模型。
[0063] 其中，在步驟S2中，產生式概率模型建立過程如下：
[0064] 采用公式（I)所示的概率模型來表示求解多目標跟蹤問題：
[00化]
0)，
[0066] 其中，X表示所跟蹤目標的狀態(tài)的集合，Z表示所有的檢測結果的信息集合，其中， 所跟蹤目標的狀態(tài)包括大小和位置。因此多目標跟蹤問題就是求得能使得到觀測結果的概 率達到最大的目標狀態(tài)。
[0067] 具體到目標視頻序列中每一帖t的所有目標的狀態(tài)，公式(I)可變形為：
[006引
（U )'
[0069] 其中，ZtW及Xt分別表示第t帖的所有觀測和目標狀態(tài)，公式（n)相當于逐帖求得 最優(yōu)解。由于實時多目標跟蹤要求得到當前帖的最優(yōu)解，公式（n)的運一特性就可W有效 的處理實時多目標跟蹤問題，因此可W應用到更廣泛的場景中，例如自動駕駛W及機器人 導航等。
[0076] 其中，P(Xi)是在第一帖初始化目標狀態(tài)，P(ZtlXt)是觀測目標框W及目標狀態(tài)信 息所決定的目標框的圖像特征相似性，i 6)巧6)是所有目標共性行為的全局先驗知識
[0070] 根據多目標跟蹤問題的馬爾科夫性，Xt可W被看作是由前一帖的目標狀態(tài)Xt-iW 及關于曰標斤責的麗娜Il遺若先胳細巧巧最同產年的.則公立（TT )就可U被進一步推導為；
[0071]
[007^ ，具體為：
[007；3] (川）；
[0074] 的變形為：
[0075] (IV). 對目標狀態(tài)的預測，巧馬I Xy)為每一個目標在前一帖的狀態(tài)產生當前帖狀態(tài)的概率， ';-_氣 1.-Z 相當于根據目標自身的行為對該目標的狀態(tài)預測。
[0077] 步驟S3:針對產生式概率模型中的全局條件概率項，在已進行正確標注的訓練集 上進行離線訓練，進行普適于各種場景的全局行為預測（即目標的位置W及大小的變化趨 勢預測），針對產生式概率模型中的局部條件概率項利用每個目標在當前帖之前的跟蹤數 據，實時在線訓練適用于該目標的局部行為預測。
[0078] 其中，結合圖3所示，全局行為預測具體包括:利用數據變形的方法，將原始的探測 數據結合訓練集的標注結果產生訓練數據，并利用訓練數據訓練神經網絡，W使訓練出的 神經網絡能夠根據目標前Tg帖的狀態(tài)信息預測出目標當前帖的狀態(tài)信息，其中，訓練數據 的結構為：目標前Tg帖的狀態(tài)信息W及對應的當前帖的狀態(tài)信息。具體的訓練過程如下：
[0079] 通過產生的前Tg帖的狀態(tài)信息，在神經網絡的前向過程中算出預測值將預測 值帶入到下式的損失函數中：
[0080]
(V)，
[0081] 通過后向過程得到殘差，并不斷迭代直到達到設定值。利用運些數據訓練神經網 絡，使得訓練出的神經網絡能夠根據目標前Tg帖的狀態(tài)信息預測出目標當前帖的狀態(tài)信 息。
[0082] 另一方面，結合圖4所示，局部行為預測具體包括:在進行目標跟蹤的過程中，實時 進行訓練，并將目標之前的跟蹤信息進行變形，產生出訓練數據，并利用訓練數據訓練神經 網絡，W使訓練出的神經網絡能夠根據目標前Tl帖的狀態(tài)信息預測出目標當前帖的狀態(tài)信 息，其中，訓練數據的結構為，目標前Tl帖的狀態(tài)信息W及對應的當前帖的狀態(tài)信息。與全 局離線訓練不同的是，實時訓練的數據集僅僅產生自當前的跟蹤目標，是對當前跟蹤目標 自身的行為進行的學習。
[0083] 步驟S4:結合全局行為預測及局部行為預測得到目標的行為預測，并根據預測的 目標行為進行多目標跟蹤。具體地說，即將兩種方式（即全局預測和局部預測)得到的預測 進行加權結合，得到目標最終的預測狀態(tài)。圖5和圖6所展示的結果證明了本發(fā)明實施例預 測的準確性。將檢測結果與預測狀態(tài)的歐氏距離作為相似特征的一個數值標準，結合圖像 特征等其他特征進行多目標跟蹤。
[0084] 綜上，根據本發(fā)明實施例的基于行為學習的多目標跟蹤方法，在應用于多目標跟 蹤場景時，既能保持跟蹤率，同時能明顯的減少跟蹤錯誤率，提高跟蹤準確性。
[0085] 本發(fā)明的進一步實施例還提供了一種基于行為學習的多目標跟蹤系統(tǒng)。
[0086] 圖7是根據本發(fā)明一個實施例的基于行為學習的多目標跟蹤系統(tǒng)的結構框圖。如 圖7所示，該系統(tǒng)100包括:獲取模塊110、建模模塊120、預測模塊130和跟蹤模塊140。
[0087] 具體地，獲取模塊110用于獲取目標視頻序列，對目標視頻序列進行檢測，并根據 檢測結果獲得跟蹤目標候選框的大小及位置信息。
[0088] 建模模塊120用于對多目標實時跟蹤問題進行建模，并建立多目標實時跟蹤問題 的產生式概率模型。
[0089] 其中，產生式概率模型建立過程如下：
[0090] 采用公式(I)所示的概率模型來表示求解多目標跟蹤問題：
[0091]
[0092] 其中，X表示所跟蹤目標的狀態(tài)的集合，Z表示所有的檢測結果的信息集合，其中， 所跟蹤目標的狀態(tài)包括大小和位置。因此多目標跟蹤問題就是求得能使得到觀測結果的概 率達到最大的目標狀態(tài)。
[0093] 具體到目標視頻序列中每一帖t的所有目標的狀態(tài)，公式(I)可變形為：
[0094]
(I。，
[0095] 其中，ZtW及Xt分別表示第t帖的所有觀測和目標狀態(tài)，公式（n)相當于逐帖求得 最優(yōu)解。由于實時多目標跟蹤要求得到當前帖的最優(yōu)解，公式（n)的運一特性就可W有效 的處理實時多目標跟蹤問題，因此可W應用到更廣泛的場景中，例如自動駕駛W及機器人 導航等。
[0096] 根據多目標跟蹤問題的馬爾科夫性，Xt可W被看作是由前一帖的目標狀態(tài)Xt-I W 及關于目標行為的預測或者先驗知識巧共同產生的，則公式（n)就可W被進一步推導為：
[0097]
[009引 勺，具體為；
[0099] (IIU;
[0100] 職變形為：
[0101] (IV).
[0102] 其中，P(Xi)是在第一帖初始化目標狀態(tài)，P(ZtlXt)是觀測目標框W及目標狀態(tài)信 息所決定的目標框的圖像特征相似性，巧X, i例巧心)是所有目標共性行為的全局先驗知識 對目標狀態(tài)的預測，n巧X, IX,.為每一個目標在前一帖的狀態(tài)產生當前帖狀態(tài)的概率， /二.2' 相當于根據目標自身的行為對該目標的狀態(tài)預測。
[0103] 預測模塊130用于針對產生式概率模型中的全局條件概率項，在已進行正確標注 的訓練集上進行離線訓練，進行普適于各種場景的全局行為預測，針對產生式概率模型中 的局部條件概率項利用每個目標在當前帖之前的跟蹤數據，實時在線訓練適用于該目標的 局部行為預測。
[0104] 其中，全局行為預測具體包括:利用數據變形的方法，將原始的探測數據結合訓練 集的標注結果產生訓練數據，并利用訓練數據訓練神經網絡，W使訓練出的神經網絡能夠 根據目標前Tg帖的狀態(tài)信息預測出目標當前帖的狀態(tài)信息，其中，訓練數據的結構為：目標 前Tg帖的狀態(tài)信息W及對應的當前帖的狀態(tài)信息。
[01化]具體的訓練過程如下：
[0106] 通過產生的前了8帖的狀態(tài)信息，在神經網絡的前向過程中算出預測值：^^1&將預測 值帶入到下式的損失函數中：
[0107]
(V)，
[0108] 通過后向過程得到殘差，并不斷迭代直到達到設定值。利用運些數據訓練神經網 絡，使得訓練出的神經網絡能夠根據目標前Tg帖的狀態(tài)信息預測出目標當前帖的狀態(tài)信 息。
[0109] 另一方面，局部行為預測具體包括:在進行目標跟蹤的過程中，實時進行訓練，并 將目標之前的跟蹤信息進行變形，產生出訓練數據，并利用訓練數據訓練神經網絡，W使訓 練出的神經網絡能夠根據目標前Tl帖的狀態(tài)信息預測出目標當前帖的狀態(tài)信息，其中，訓 練數據的結構為，目標前Tl帖的狀態(tài)信息W及對應的當前帖的狀態(tài)信息。與全局離線訓練 不同的是，實時訓練的數據集僅僅產生自當前的跟蹤目標，是對當前跟蹤目標自身的行為 進行的學習。
[0110] 跟蹤模塊140用于結合全局行為預測及局部行為預測得到目標的行為預測，并根 據預測的目標行為進行多目標跟蹤。具體地說，即將兩種方式（即全局預測和局部預測)得 到的預測進行加權結合，得到目標最終的預測狀態(tài)。
[0111] 綜上，根據本發(fā)明實施例的基于行為學習的多目標跟蹤系統(tǒng)，在應用于多目標跟 蹤場景時，既能保持跟蹤率，同時能明顯的減少跟蹤錯誤率，提高跟蹤準確性。
[0112] 在本發(fā)明的描述中，需要理解的是，術語"中屯、"、"縱向"、"橫向"、"長度"、"寬度"、 "厚度"、"上"、"下"、"前"、"后左"、"右"、"豎直"、"水平"、"頂"、"底""內"、"外"、"順時 針"、"逆時針"、"軸向"、"徑向"、"周向"等指示的方位或位置關系為基于附圖所示的方位或 位置關系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必 須具有特定的方位、W特定的方位構造和操作，因此不能理解為對本發(fā)明的限制。
[0113] 此外，術語"第一"、"第二"僅用于描述目的，而不能理解為指示或暗示相對重要性 或者隱含指明所指示的技術特征的數量。由此，限定有"第一"、"第二"的特征可W明示或者 隱含地包括至少一個該特征。在本發(fā)明的描述中，"多個"的含義是至少兩個，例如兩個，= 個等，除非另有明確具體的限定。
[0114] 在本發(fā)明中，除非另有明確的規(guī)定和限定，術語"安裝"、"相連"、"連接"、"固定"等 術語應做廣義理解，例如，可W是固定連接，也可W是可拆卸連接，或成一體;可W是機械連 接，也可W是電連接;可W是直接相連，也可W通過中間媒介間接相連，可W是兩個元件內 部的連通或兩個元件的相互作用關系，除非另有明確的限定。對于本領域的普通技術人員 而言，可W根據具體情況理解上述術語在本發(fā)明中的具體含義。
[0115] 在本發(fā)明中，除非另有明確的規(guī)定和限定，第一特征在第二特征"上"或"下"可W 是第一和第二特征直接接觸，或第一和第二特征通過中間媒介間接接觸。而且，第一特征在 第二特征"之上"、"上方"和"上面"可是第一特征在第二特征正上方或斜上方，或僅僅表示 第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"可W是第 一特征在第二特征正下方或斜下方，或僅僅表示第一特征水平高度小于第二特征。
[0116] 在本說明書的描述中，參考術語"一個實施例"、"一些實施例"、"示例"、"具體示 例"、或"一些示例"等的描述意指結合該實施例或示例描述的具體特征、結構、材料或者特 點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不 必須針對的是相同的實施例或示例。而且，描述的具體特征、結構、材料或者特點可W在任 一個或多個實施例或示例中W合適的方式結合。此外，在不相互矛盾的情況下，本領域的技 術人員可W將本說明書中描述的不同實施例或示例W及不同實施例或示例的特征進行結 合和組合。
[0117] 盡管上面已經示出和描述了本發(fā)明的實施例，可W理解的是，上述實施例是示例 性的，不能理解為對本發(fā)明的限制，本領域的普通技術人員在本發(fā)明的范圍內可W對上述 實施例進行變化、修改、替換和變型。
【主權項】
1. 一種基于行為學習的多目標跟蹤方法，其特征在于，包括以下步驟： S1:獲取目標視頻序列，對所述目標視頻序列進行檢測，并根據檢測結果獲得跟蹤目標 候選框的大小及位置信息； S2:對多目標實時跟蹤問題進行建模，并建立所述多目標實時跟蹤問題的產生式概率 豐旲型； S3:針對所述產生式概率模型中的全局條件概率項，在已進行正確標注的訓練集上進 行離線訓練，進行普適于各種場景的全局行為預測，針對所述產生式概率模型中的局部條 件概率項利用每個目標在當前幀之前的跟蹤數據，實時在線訓練適用于該目標的局部行為 預測；以及 S4:結合所述全局行為預測及所述局部行為預測得到目標的行為預測，并根據預測的 目標行為進行多目標跟蹤。2. 根據權利要求1所述的基于行為學習的多目標跟蹤方法，其特征在于，所述S2中，所 述產生式概率模型建立過程如下： 采用公式(I)所示的概率模型來表示求解多目標跟蹤問題：其中，X.表示所跟蹤目標的狀態(tài)的集合，2表示所有的檢測結果的信息集合； 具體到所述目標視頻序列中每一幀t的所有目標的狀態(tài)，所述公式(I)可變形為：其中，Zt以及Xt分別表示第t幀的所有觀測和目標狀態(tài)，所述公式（Π)相當于逐幀求得 最優(yōu)解； 根據多目標跟蹤問題的馬爾科夫性，Xt可以被看作是由前一幀的目標狀態(tài)Xt-iW及關于 目標行為的預測或者先驗知識B共同產生的，則所述公式（Π )就可以被進一步推導為：其中，所述先驗知識B:以及前一幀目標的狀態(tài)Xt-i是相互獨立的，具體為：利用一階馬爾科夫性進行逐幀遞推，所述公式0Π)可以進一步的變形為：其中，P(X〇是在第一幀初始化目標狀態(tài)，P(Zt|Xt)是觀測目標框以及目標狀態(tài)信息所 決定的目標框的圖像特征相似性，八X, i妁/5舊)是所有目標共性行為的全局先驗知識對目 標狀態(tài)的預測，I ΧΜ)為每一個目標在前一幀的狀態(tài)產生當前幀狀態(tài)的概率，相當 ?^2 于根據目標自身的行為對該目標的狀態(tài)預測。3. 根據權利要求1所述的基于行為學習的多目標跟蹤方法，其特征在于，在所述S3中， 所述全局行為預測具體包括： 利用數據變形的方法，將原始的探測數據結合訓練集的標注結果產生訓練數據，并利 用所述訓練數據訓練神經網絡，以使訓練出的神經網絡能夠根據目標前仏幀的狀態(tài)信息預 測出目標當前幀的狀態(tài)信息，其中，所述訓練數據的結構為：目標前Tg幀的狀態(tài)信息以及對 應的當前幀的狀態(tài)信息。4. 根據權利要求1所述的基于行為學習的多目標跟蹤方法，其特征在于，在所述S3中， 所述局部行為預測具體包括： 在進行目標跟蹤的過程中，實時進行訓練，并將目標之前的跟蹤信息進行變形，產生出 訓練數據，并利用所述訓練數據訓練神經網絡，以使訓練出的神經網絡能夠根據目標前h 幀的狀態(tài)信息預測出目標當前幀的狀態(tài)信息，其中，訓練數據的結構為，目標前Τι幀的狀態(tài) 信息以及對應的當前幀的狀態(tài)信息。5. -種基于行為學習的多目標跟蹤系統(tǒng)，其特征在于，包括： 獲取模塊，所述獲取模塊用于獲取目標視頻序列，對所述目標視頻序列進行檢測，并根 據檢測結果獲得跟蹤目標候選框的大小及位置信息； 建模模塊，所述建模模塊用于對多目標實時跟蹤問題進行建模，并建立所述多目標實 時跟蹤問題的產生式概率模型； 預測模塊，所述預測模塊用于針對所述產生式概率模型中的全局條件概率項，在已進 行正確標注的訓練集上進行離線訓練，進行普適于各種場景的全局行為預測，針對所述產 生式概率模型中的局部條件概率項利用每個目標在當前幀之前的跟蹤數據，實時在線訓練 適用于該目標的局部行為預測；以及 跟蹤模塊，所述跟蹤模塊用于結合所述全局行為預測及所述局部行為預測得到目標的 行為預測，并根據預測的目標行為進行多目標跟蹤。6. 根據權利要求5所述的基于行為學習的多目標跟蹤系統(tǒng)，其特征在于，所述產生式概 率模型建立過程如下： 采用公式(I)所示的概率模型來表示求解多目標跟蹤問題：其中，X表示所跟蹤目標的狀態(tài)的集合，1表示所有的檢測結果的信息集合； 具體到所述目標視頻序列中每一幀t的所有目標的狀態(tài)，所述公式(I)可變形為：其中，Zt以及Xt分別表示第t幀的所有觀測和目標狀態(tài)，所述公式（Π)相當于逐幀求得 最優(yōu)解； 根據多目標跟蹤問題的馬爾科夫性，Xt可以被看作是由前一幀的目標狀態(tài)Xt-iW及關于 目標行為的預測或者先驗知識B共同產生的，則所述公式（Π)就可以被進一步推導為：其中，所述先驗知識S以及前一幀目標的狀態(tài)Xt-i是相互獨立的，具體為：利用一階馬爾科夫性進行逐幀遞推，所述公式(m)可以進一步的變形為：其中，P(Xi)是在第一幀初始化目標狀態(tài)，P(Zt|Xt)是觀測目標框以及目標狀態(tài)信息所 決定的目標框的圖像特征相似性，汽X, I的八奶是所有目標共性行為的全局先驗知識對目 標狀態(tài)的預領為每一個目標在前一幀的狀態(tài)產生當前幀狀態(tài)的概率，相當 于根據目標自身的行為對該目標的狀態(tài)預測。7. 根據權利要求5所述的基于行為學習的多目標跟蹤系統(tǒng)，其特征在于，所述全局行為 預測具體包括： 利用數據變形的方法，將原始的探測數據結合訓練集的標注結果產生訓練數據，并利 用所述訓練數據訓練神經網絡，以使訓練出的神經網絡能夠根據目標前仏幀的狀態(tài)信息預 測出目標當前幀的狀態(tài)信息，其中，所述訓練數據的結構為：目標前T g幀的狀態(tài)信息以及對 應的當前幀的狀態(tài)信息。8. 根據權利要求5所述的基于行為學習的多目標跟蹤系統(tǒng)，其特征在于，所述局部行為 預測具體包括： 在進行目標跟蹤的過程中，實時進行訓練，并將目標之前的跟蹤信息進行變形，產生出 訓練數據，并利用所述訓練數據訓練神經網絡，以使訓練出的神經網絡能夠根據目標前h 幀的狀態(tài)信息預測出目標當前幀的狀態(tài)信息，其中，訓練數據的結構為，目標前Τι幀的狀態(tài) 信息以及對應的當前幀的狀態(tài)信息。
【文檔編號】G06T7/20GK105957105SQ201610258466
【公開日】2016年9月21日
【申請日】2016年4月22日
【發(fā)明人】季向陽, 但樂, 趙澤奇, 戴瓊海
【申請人】清華大學, 清華大學深圳研究生院