一種耦合目標(biāo)檢測與數(shù)據(jù)關(guān)聯(lián)的實時在線多目標(biāo)跟蹤方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及一種耦合目標(biāo)檢測與數(shù)據(jù)關(guān)聯(lián)的實時在線多目標(biāo)跟蹤方法，用于快速 定位視頻中感興趣的目標(biāo)，并實時恢復(fù)其運動軌跡，屬于計算機(jī)視覺和視頻監(jiān)控技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 視覺多目標(biāo)跟蹤是計算機(jī)視覺領(lǐng)域許多高層視覺任務(wù)的重要基礎(chǔ)技術(shù)，如場景理 解、事件檢測、行為識別等，在視頻監(jiān)控、人機(jī)交互、輔助駕駛等系統(tǒng)有廣泛的應(yīng)用?；跈z 測的多目標(biāo)跟蹤方法是視覺多目標(biāo)跟蹤的主流方法之一，其思路是使用目標(biāo)檢測器在視頻 的每一幀圖像中獲取檢測結(jié)果，然后采用數(shù)據(jù)關(guān)聯(lián)的方式將檢測結(jié)果關(guān)聯(lián)成完整的目標(biāo)軌 跡。
[0003] 根據(jù)處理視頻數(shù)據(jù)的方式不同，基于檢測的多目標(biāo)跟蹤方法可分為在線和離線兩 大類。在線方法是逐幀地處理視頻數(shù)據(jù)，每一時刻的數(shù)據(jù)關(guān)聯(lián)發(fā)生在現(xiàn)有目標(biāo)軌跡和新獲 取的檢測結(jié)果之間。離線方法是對一個視頻段或整個視頻同時進(jìn)行處理，利用多個時刻的 檢測結(jié)果進(jìn)行全局的數(shù)據(jù)關(guān)聯(lián)，尋求最優(yōu)的目標(biāo)軌跡。離線方法同時考慮了多幀數(shù)據(jù)，因此 對檢測結(jié)果出現(xiàn)誤檢、漏檢的情況不敏感。離線方法在實際應(yīng)用中存在的問題主要是優(yōu)化 過程耗時，計算效率低，而且不能直接用于在線獲取和處理視頻數(shù)據(jù)場合，如最常見的智能 監(jiān)控攝像機(jī)或智能體育攝像機(jī)的視頻流。相比之下，在線方法更符合實時在線實際應(yīng)用的 要求，但其性能很大程度上受限于目標(biāo)檢測的結(jié)果。場景中復(fù)雜背景、目標(biāo)之間近距離交 互、光照變化、頻繁遮擋等因素都容易引起檢測結(jié)果的不準(zhǔn)確，進(jìn)而影響跟蹤的精度。本發(fā) 明建立目標(biāo)檢測與數(shù)據(jù)關(guān)聯(lián)之間的緊密聯(lián)系，突破了目前已有技術(shù)受到目標(biāo)檢測性能的限 制，實現(xiàn)高效、魯棒的在線多目標(biāo)跟蹤。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明設(shè)計了一種耦合目標(biāo)檢測與數(shù)據(jù)關(guān)聯(lián)的實時在線多目標(biāo)跟蹤方法，用于實 時在線跟蹤視頻中多個感興趣的目標(biāo)。本發(fā)明包含如下步驟：
[0005] 步驟一:對每一幀視頻圖像使用目標(biāo)檢測器進(jìn)行目標(biāo)檢測，將圖像本身和目標(biāo)檢 測器輸出的中間結(jié)果作為當(dāng)前時刻的觀測數(shù)據(jù)；中間結(jié)果指圖像中所有被檢測器分類為 "正"的檢測窗口，用一系列矩形區(qū)域表示。
[0006] 步驟二:從已跟蹤目標(biāo)的軌跡中提取序貫軌跡先驗，結(jié)合步驟一中獲得的觀測數(shù) 據(jù)，使用最大后驗估計尋找最優(yōu)的目標(biāo)檢測結(jié)果；
[0007] 步驟三:根據(jù)序貫軌跡先驗，通過最大后驗估計獲得所有已跟蹤目標(biāo)和檢測結(jié)果 之間關(guān)于數(shù)據(jù)關(guān)聯(lián)的后驗概率；
[0008] 步驟四：根據(jù)關(guān)聯(lián)后驗概率計算所有已跟蹤目標(biāo)和檢測結(jié)果之間的關(guān)聯(lián)代價，尋 找整體關(guān)聯(lián)代價最小的數(shù)據(jù)關(guān)聯(lián)；
[0009] 步驟五:根據(jù)關(guān)聯(lián)結(jié)果，更新已有目標(biāo)的狀態(tài)，更新序貫軌跡先驗，并處理新目標(biāo) 出現(xiàn)和已有目標(biāo)消失的情況;若該目標(biāo)并沒有獲得與之關(guān)聯(lián)的檢測結(jié)果，則使用卡爾曼濾 波器(Kalman Filter)對當(dāng)前時刻的目標(biāo)狀態(tài)進(jìn)行預(yù)測，將預(yù)測狀態(tài)加入該目標(biāo)的軌跡中， 并更新軌跡的置信度;若該目標(biāo)由數(shù)據(jù)關(guān)聯(lián)獲得了新的觀測數(shù)據(jù)，亦即當(dāng)前時刻有一個檢 測結(jié)果與之關(guān)聯(lián)，此時使用卡爾曼濾波器對目標(biāo)狀態(tài)進(jìn)行更新，并將與之關(guān)聯(lián)的檢測結(jié)果 加入該目標(biāo)的軌跡中，并更新軌跡的置信度;另外，若一個目標(biāo)在長時間內(nèi)持續(xù)沒有獲得關(guān) 聯(lián)數(shù)據(jù)，則認(rèn)為該目標(biāo)為從場景中消失，將其從已跟蹤目標(biāo)列表中刪除;若有檢測結(jié)果長時 間未與已有目標(biāo)獲得關(guān)聯(lián)，則使用匈牙利算法進(jìn)行數(shù)據(jù)關(guān)聯(lián)，形成軌跡片段，若形成較長的 軌跡片段，則認(rèn)為有新目標(biāo)出現(xiàn)，使用軌跡片段中包含的信息初始化新目標(biāo)的狀態(tài)，并賦予 一個初始置信度;判斷跟蹤是否結(jié)束，若不是則轉(zhuǎn)步驟一繼續(xù)下一視頻幀的跟蹤。
[0010] 有益效果：
[0011] 本發(fā)明與已有多目標(biāo)跟蹤方法相比，具有以下有益效果：
[0012] 1、本發(fā)明通過引入序貫軌跡先驗，從目標(biāo)檢測器提供的中間結(jié)果出發(fā)，在跟蹤過 程中同時優(yōu)化了目標(biāo)檢測結(jié)果，能有效緩解目標(biāo)檢測器檢測結(jié)果不精確的問題；
[0013] 2、本發(fā)明采用最大后驗估計的概率框架計算目標(biāo)和檢測結(jié)果之間的關(guān)聯(lián)代價，提 高了數(shù)據(jù)關(guān)聯(lián)的準(zhǔn)確性，能有效處理目標(biāo)之間的相互干擾;是傳統(tǒng)方法的一種突破。
[0014] 3、本發(fā)明在目標(biāo)檢測和數(shù)據(jù)關(guān)聯(lián)之間建立了緊密的聯(lián)系，使得兩者成為兩個相互 促進(jìn)的過程，提高了多目標(biāo)跟蹤的性能。
【附圖說明】
[0015] 圖1是本發(fā)明提出的序貫軌跡先驗的示意圖；
[0016]圖2是本發(fā)明的多目標(biāo)跟蹤方法的流程圖。
【具體實施方式】
[0017] 本發(fā)明主要設(shè)計一種耦合目標(biāo)檢測和數(shù)據(jù)關(guān)聯(lián)的實時在線多目標(biāo)跟蹤方法。通過 從已有目標(biāo)軌跡包含的歷史信息中提取了一種序貫軌跡先驗，同時作用于目標(biāo)檢測和數(shù)據(jù) 關(guān)聯(lián)這兩個關(guān)鍵任務(wù)，并在兩者之間建立了緊密的聯(lián)系，進(jìn)而大大提尚了多目標(biāo)跟蹤的性 能。
[0018] 本發(fā)明將目標(biāo)檢測器輸出的中間結(jié)果作為觀測數(shù)據(jù)，在跟蹤過程中通過最大后驗 估計獲得針對多目標(biāo)跟蹤任務(wù)最優(yōu)的目標(biāo)檢測結(jié)果。與已有技術(shù)不同的是，本發(fā)明在目標(biāo) 檢測與多目標(biāo)跟蹤之間建立了緊密的聯(lián)系，而不是將其視為與跟蹤完全獨立的過程，能夠 有效地緩解跟蹤精度受限于目標(biāo)檢測器性能的問題。本發(fā)明同時提出利用已有目標(biāo)軌跡中 的先驗信息指導(dǎo)數(shù)據(jù)關(guān)聯(lián)，在計算目標(biāo)與檢測結(jié)果之間的匹配程度的基礎(chǔ)上，使用最大后 驗估計的概率框架計算數(shù)據(jù)關(guān)聯(lián)的后驗概率，能夠有效地處理目標(biāo)之間的相互干擾。此外， 本發(fā)明在最大后驗估計這個統(tǒng)一的概率框架下求解目標(biāo)檢測和數(shù)據(jù)關(guān)聯(lián)問題，通過序貫軌 跡先驗建立兩者之間的聯(lián)系，實現(xiàn)了目標(biāo)檢測和數(shù)據(jù)關(guān)聯(lián)的聯(lián)合優(yōu)化。
[0019] 下面描述本發(fā)明的多目標(biāo)跟蹤方法的框架，具體為序貫軌跡先驗在概率模型中的 形式化定義。然后通過具體實施例詳細(xì)描述本發(fā)明的實施方式。
[0020] 1.多目標(biāo)跟蹤方法框架
[0021] 給定時刻t之前獲得的觀測數(shù)據(jù)，以目標(biāo)軌跡和目標(biāo)檢測為隨機(jī)變量， 本發(fā)明采用基于貝葉斯估計的概率框架建模多目標(biāo)跟蹤問題，形式化為最大化目標(biāo)軌跡 和目標(biāo)檢測的聯(lián)合后驗概率：
[0022]
(1)
[0023] 其中？分別表示時刻tt之前最優(yōu)的目標(biāo)軌跡和目標(biāo)檢測結(jié)果。顯然直接優(yōu) 化公式（1)中的目標(biāo)函數(shù)是不可行的，考慮到在線跟蹤的特點，采用順序優(yōu)化的方式展開目 標(biāo)函數(shù)。具體地，每一個時刻t的目標(biāo)軌跡X f和目標(biāo)檢測％的優(yōu)化，都以當(dāng)前時刻的圖像觀 測在和前一時刻的軌跡優(yōu)化結(jié)果為條件，表示為
[0024]
(2)
[0025] 其中￥和ΥΓ分別表示t時刻最優(yōu)的目標(biāo)軌跡和目標(biāo)檢測結(jié)果，第二個等式使用了 條件概率的定義。傳統(tǒng)的在線多目標(biāo)跟蹤方法通過相互獨立的目標(biāo)檢測和數(shù)據(jù)關(guān)聯(lián)求解式 (2)的目標(biāo)函數(shù)，目標(biāo)檢測的優(yōu)化與數(shù)據(jù)關(guān)聯(lián)沒有聯(lián)系，實際上獲得的優(yōu)化結(jié)果并不是式 (2)中所述問題的最優(yōu)解。本發(fā)明引入一種序貫軌跡先驗求解式(2)，采用最大后驗估計的 概率框架將問題分解為兩個由序貫軌跡先驗緊密聯(lián)系在一起的最大后驗估計問題，表示為
[0026]
[0027]
[0028] 其中序貫軌跡先驗由檢測先驗和關(guān)聯(lián)先驗兩部分組成，將同時作用于目標(biāo)檢測和 數(shù)據(jù)關(guān)聯(lián)兩個過程，使得檢測結(jié)果的優(yōu)化會受到跟蹤結(jié)果的影響，同時目標(biāo)跟蹤又依賴于 檢測結(jié)果。進(jìn)一步地，序貫軌跡先驗在最大后驗估計的框架下，以順序的方式聯(lián)合優(yōu)化了目 標(biāo)