一種基于改進(jìn)網(wǎng)絡(luò)流圖的多目標(biāo)跟蹤方法
【專利摘要】本發(fā)明提供一種基于改進(jìn)網(wǎng)絡(luò)流圖的多目標(biāo)跟蹤方法，該方法通過改進(jìn)了網(wǎng)絡(luò)流圖模型，充分利用了臨近目標(biāo)對(duì)的信息，對(duì)每條假設(shè)軌跡內(nèi)部的所有關(guān)聯(lián)值求和來構(gòu)建秩一張量，通過張量迭代確定所有單位向量，把單位向量作為代價(jià)消耗，并用匈牙利算法進(jìn)行二值化處理，得到多目標(biāo)跟蹤的結(jié)果，減少了計(jì)算時(shí)間，提高了目標(biāo)跟蹤準(zhǔn)確率。
【專利說明】
-種基于改進(jìn)網(wǎng)絡(luò)流圖的多目標(biāo)跟蹤方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及圖像處理領(lǐng)域，更具體地，設(shè)及一種基于改進(jìn)網(wǎng)絡(luò)流圖的多目標(biāo)跟蹤 方法。
【背景技術(shù)】
[0002] 在多目標(biāo)跟蹤器的設(shè)計(jì)過程中，對(duì)標(biāo)的運(yùn)動(dòng)過程進(jìn)行較為完整的建模成為一種常 用且有效的解決方法。例如，倫敦大學(xué)的化OStow副教授通過對(duì)單個(gè)目標(biāo)的特征點(diǎn)進(jìn)行聚類 概率建模來獲得目標(biāo)的運(yùn)行軌跡。利用濾波器針對(duì)性地設(shè)計(jì)統(tǒng)計(jì)軌跡模型，對(duì)跟蹤過程的 每個(gè)位置進(jìn)行先驗(yàn)概率統(tǒng)計(jì)計(jì)算，獲得目標(biāo)在大概率下的跟蹤似然軌跡等。然而，運(yùn)類方法 大多需要許多的限定假設(shè)條件來滿足模型環(huán)境，有些還會(huì)出現(xiàn)NP完全問題。將運(yùn)種策略與 進(jìn)化算法相結(jié)合構(gòu)造出一種基于分解的多目標(biāo)進(jìn)化算法(Multiobjective Evolutionary Algorithm Based on Decomposition，MOEA/D)。該算法將逼近整個(gè)化reto前沿面的問題分 解為一定數(shù)量的單目標(biāo)跟蹤優(yōu)化問題，然后用進(jìn)化算法同時(shí)求解運(yùn)些單目標(biāo)跟蹤優(yōu)化問 題。利用K最短路徑算法化化ortest Path,KSP)松她多目標(biāo)跟蹤問題的整數(shù)規(guī)劃，并獲得 全局最優(yōu)解。上述方法存在W下缺陷：
[0003] (1)對(duì)于復(fù)雜背景和高密度人群的場景，多目標(biāo)跟蹤的準(zhǔn)確率不高；（2)計(jì)算速度 慢，上述方法大都在整個(gè)視頻集中確定目標(biāo)運(yùn)動(dòng)軌跡，需要較長的計(jì)算時(shí)間，對(duì)于一些對(duì)時(shí) 間要求高的應(yīng)用不能達(dá)到要求。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明為提供一種基于改進(jìn)網(wǎng)絡(luò)流圖的多目標(biāo)跟蹤方法，該方法可減少檢測(cè)多個(gè) 運(yùn)動(dòng)目標(biāo)的計(jì)算時(shí)間，提高目標(biāo)跟蹤準(zhǔn)確率。
[0005] 為了達(dá)到上述技術(shù)效果，本發(fā)明的技術(shù)方案如下：
[0006] -種基于改進(jìn)網(wǎng)絡(luò)流圖的多目標(biāo)跟蹤方法，包括W下步驟：
[0007] Sl:用DPM算法在視頻的每帖中檢測(cè)出運(yùn)動(dòng)目標(biāo)，并保留每個(gè)運(yùn)動(dòng)目標(biāo)的檢測(cè)準(zhǔn)確 率.
[000引S2:構(gòu)建整個(gè)視頻的改進(jìn)的網(wǎng)絡(luò)流圖模型，在時(shí)間域內(nèi)計(jì)算視頻的每帖中相鄰運(yùn) 動(dòng)目標(biāo)對(duì)的關(guān)聯(lián)值；
[0009] S3:對(duì)每個(gè)運(yùn)動(dòng)目標(biāo)的每條假設(shè)軌跡的所有關(guān)聯(lián)值求和來構(gòu)建秩一張量，秩一張 量的每一元素對(duì)應(yīng)一條軌跡的關(guān)聯(lián)值和；
[0010] S4:用若干個(gè)單位向量相乘近似秩一張量，通過張量迭代確定所有單位向量；
[0011] S5:把單位向量作為代價(jià)消耗，并用匈牙利算法進(jìn)行二值化處理，得到多目標(biāo)跟蹤 的結(jié)果。
[0012] 進(jìn)一步地，所述步驟S2中改進(jìn)的網(wǎng)絡(luò)流圖的計(jì)算過程如下：
[001引
山
[0014]
(包》
[0015] 其中，表示一條假設(shè)軌跡的關(guān)系值的和八,心,表示一種關(guān)系假設(shè)，也是一條 軌跡的假設(shè)，要確定:的值，式(2)是約束條件，一個(gè)目標(biāo)至多屬于一個(gè)人，軌跡假設(shè)的 值為0或1，關(guān)系值和.k_,作為張量中的元素，則可W引用K-2階張量S中的元素表示所有的 軌跡假設(shè)結(jié)果。
[0016] 進(jìn)一步地，K-2階秩一張量可W表示為K-2個(gè)單位向量的乘積，對(duì)于步驟S3中的秩 一張量S，尋找K-2個(gè)單位向量集n = {n W，n W，...，n 巧日常數(shù)A最小化F范數(shù)：
[0017]
[0018] 其中，< 表示單位向量nw中的第k個(gè)元素，上式可W用拉格朗日算法或最小二乘 法處理，將式（3)轉(zhuǎn)化成如下形式：
[0019]
[0020] 式(3)的最小值等價(jià)于求下面g(口）的最大值：
[0021]
[0022] 通過張量能量迭代可W快速確定K-2個(gè)單位向量，單位向量反應(yīng)的是軌跡的選擇 結(jié)果。
[0023] 與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：
[0024] 本發(fā)明通過改進(jìn)了網(wǎng)絡(luò)流圖模型，充分利用了臨近目標(biāo)對(duì)的信息，對(duì)每個(gè)運(yùn)動(dòng)目 標(biāo)的每條假設(shè)軌跡的所有關(guān)聯(lián)值求和來構(gòu)建秩一張量，通過張量迭代確定所有單位向量， 把單位向量作為代價(jià)消耗，并用匈牙利算法進(jìn)行二值化處理，得到多目標(biāo)跟蹤的結(jié)果，減少 了計(jì)算時(shí)間，提高了目標(biāo)跟蹤準(zhǔn)確率。
【附圖說明】
[0025] 圖1為改進(jìn)的網(wǎng)絡(luò)流圖；
[0026] 圖2為現(xiàn)有的網(wǎng)絡(luò)流圖；
[0027] 圖3為本發(fā)多目標(biāo)跟蹤方法的流程圖。
【具體實(shí)施方式】
[0028] 附圖僅用于示例性說明，不能理解為對(duì)本專利的限制；
[0029] 為了更好說明本實(shí)施例，附圖某些部件會(huì)有省略、放大或縮小，并不代表實(shí)際產(chǎn)品 的尺寸；
[0030] 對(duì)于本領(lǐng)域技術(shù)人員來說，附圖中某些公知結(jié)構(gòu)及其說明可能省略是可W理解 的。
[0031] 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的說明。
[0032] 實(shí)施例1
[0033] 本發(fā)明方法采用改進(jìn)的網(wǎng)絡(luò)流圖模型做多目標(biāo)跟蹤運(yùn)動(dòng)目標(biāo)，改進(jìn)的網(wǎng)絡(luò)流圖如 圖1所示，有4列點(diǎn)，表示連續(xù)=帖圖片中的運(yùn)動(dòng)目標(biāo)，左右兩列點(diǎn)各表示第一帖和第=帖圖 片中的運(yùn)動(dòng)目標(biāo)，中間兩列的點(diǎn)都表示第二帖圖片中的運(yùn)動(dòng)目標(biāo)。虛線框?yàn)橐粋€(gè)基本單位， 是一個(gè)目標(biāo)對(duì)的關(guān)聯(lián)假設(shè)，圓點(diǎn)是輸入點(diǎn)，正方形點(diǎn)是輸出點(diǎn)。計(jì)算時(shí)間軸上相鄰虛線框的 關(guān)聯(lián)值，對(duì)一條軌跡假設(shè)的關(guān)聯(lián)值求和，作為秩一張量的一個(gè)元素，秩一張量中的元素涵蓋 了所有軌跡假設(shè)情況。用若干個(gè)單位向量相乘近似逼近秩一張量，通過張量能量迭代確定 單位向量的值，再用匈牙利算法進(jìn)一步確定所有目標(biāo)的運(yùn)動(dòng)軌跡。
[0034] 如圖3,本發(fā)明基于改進(jìn)網(wǎng)絡(luò)流圖的多目標(biāo)跟蹤方法的流程為：
[0035] (1)用DPM算法在視頻的每帖中檢測(cè)出運(yùn)動(dòng)目標(biāo)，并保留每個(gè)檢測(cè)目標(biāo)的準(zhǔn)確率。
[0036] (2)構(gòu)建改進(jìn)的網(wǎng)絡(luò)流圖模型，在時(shí)間域內(nèi)計(jì)算相鄰目標(biāo)對(duì)的關(guān)聯(lián)值。
[0037] (3)構(gòu)建秩一張量，對(duì)每條假設(shè)軌跡的所有關(guān)聯(lián)值求和，秩一張量的元素對(duì)應(yīng)一條 軌跡的關(guān)聯(lián)值和。
[0038] (4)用若干個(gè)單位向量相乘近似秩一張量，通過張量迭代確定所有單位向量。
[0039] (5)把單位向量作為代價(jià)消耗，轉(zhuǎn)化為二值問題，用匈牙利算法求二值結(jié)果，即是 多目標(biāo)跟蹤的結(jié)果。
[0040] 下面詳細(xì)介紹（2)至(5)步驟：
[0041] 步驟(2):如圖2所示，在傳統(tǒng)的網(wǎng)絡(luò)流圖中，S列圓點(diǎn)代表連續(xù)S帖圖片的運(yùn)動(dòng)目 標(biāo)，運(yùn)些目標(biāo)的關(guān)系式未知的，需要確定哪些目標(biāo)屬于同一個(gè)人。在步驟(2)中改進(jìn)了網(wǎng)絡(luò) 流圖模型，圖1把圖2中的所有匹配假設(shè)作為一個(gè)基本點(diǎn)，例如圖2中的點(diǎn)1和點(diǎn)4對(duì)應(yīng)圖1中 包含點(diǎn)1和點(diǎn)2的虛線框(匹配假設(shè)）。藍(lán)色點(diǎn)代表輸入點(diǎn)，紅色點(diǎn)代表輸出點(diǎn)。在時(shí)間域上計(jì) 算相鄰的兩個(gè)匹配假設(shè)的關(guān)系值，關(guān)系值基于外貌相似性和動(dòng)作平滑性。
[0042] 步驟(3):假設(shè)有視頻中有K帖圖片，每帖圖片有N個(gè)目標(biāo)，改進(jìn)的網(wǎng)絡(luò)流圖的計(jì)算 公式如下：
[0043]
[0044]
[0045] 其中，0" .<1_^表示一條假設(shè)軌跡的關(guān)系值的和，聽^_,表示一種關(guān)系假設(shè)，也是一條 軌跡的假設(shè)，要確定X,,...,,-:的值。式(2)是約束條件，一個(gè)目標(biāo)至多屬于一個(gè)人，軌跡假設(shè)的 值為0或1。為了減少計(jì)算時(shí)間，本發(fā)明引用秩一張量解決上述問題。把關(guān)系值和A,...:作為 張量中的元素，則可W用K-2階張量S中的元素表示所有的軌跡假設(shè)結(jié)果。
[0046] 步驟(4) :K-2階秩一張量可W表示層K-2個(gè)單位向量的乘積，對(duì)于步驟(3)中的張 量5，尋找1(-2個(gè)單位向量集口 = {n W，n W，...，n 巧日常數(shù)A最小化F范數(shù)：
[0047]
[004引其中，兩J表示單位向量nw中的第k個(gè)元素，上式可W用拉格朗日算法或者最小二 乘法解決，經(jīng)過推倒，式(3)轉(zhuǎn)化成如下形式：
[0049]
[0050] 運(yùn)樣，求式(3)的最小值等價(jià)于求下面g(n)的最大值：
[0化1 ]
[0052] 式巧)與式（1)的表達(dá)方式相同，通過張量能量迭代可W快速確定K-2個(gè)單位向量， 單位向量反應(yīng)的是軌跡的選擇結(jié)果。但得到的單位向量不是二值結(jié)果，確定軌跡需要明確 的而直接過
[0053] 步驟(5):在上步中得到K-2個(gè)單位向量，把單位向量的元素作為代價(jià)消耗，轉(zhuǎn)化為 二值分布問題，用匈牙利算法確定最后的解，得到所有的運(yùn)動(dòng)軌跡。
[0054] 相同或相似的標(biāo)號(hào)對(duì)應(yīng)相同或相似的部件；
[0055] 附圖中描述位置關(guān)系的用于僅用于示例性說明，不能理解為對(duì)本專利的限制；
[0056] 顯然，本發(fā)明的上述實(shí)施例僅僅是為清楚地說明本發(fā)明所作的舉例，而并非是對(duì) 本發(fā)明的實(shí)施方式的限定。對(duì)于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可 W做出其它不同形式的變化或變動(dòng)。運(yùn)里無需也無法對(duì)所有的實(shí)施方式予W窮舉。凡在本 發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明權(quán)利要求 的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于改進(jìn)網(wǎng)絡(luò)流圖的多目標(biāo)跟蹤方法，其特征在于，包括以下步驟： S1:用DPM算法在視頻的每幀中檢測(cè)出運(yùn)動(dòng)目標(biāo)，并保留每個(gè)運(yùn)動(dòng)目標(biāo)的檢測(cè)準(zhǔn)確率； S2:構(gòu)建整個(gè)視頻的改進(jìn)的網(wǎng)絡(luò)流圖模型，在時(shí)間域內(nèi)計(jì)算視頻的每幀中相鄰運(yùn)動(dòng)目 標(biāo)對(duì)的關(guān)聯(lián)值； S3:對(duì)每個(gè)運(yùn)動(dòng)目標(biāo)的每條假設(shè)軌跡的所有關(guān)聯(lián)值求和來構(gòu)建秩一張量，秩一張量的 每一元素對(duì)應(yīng)一條軌跡的關(guān)聯(lián)值和； S4:用若干個(gè)單位向量相乘近似秩一張量，通過張量迭代確定所有單位向量； S5:把單位向量作為代價(jià)消耗，并用匈牙利算法進(jìn)行二值化處理，得到多目標(biāo)跟蹤的結(jié) 果。2. 根據(jù)權(quán)利要求1所述的基于改進(jìn)網(wǎng)絡(luò)流圖的多目標(biāo)跟蹤方法，其特征在于，所述步驟 S2中改進(jìn)的網(wǎng)絡(luò)流圖的計(jì)算過程如下：其中，表示一條假設(shè)軌跡的關(guān)系值的和表示一種關(guān)系假設(shè)，也是一條軌跡 的假設(shè)，要確定的值，式(2)是約束條件，一個(gè)目標(biāo)至多屬于一個(gè)人，軌跡假設(shè)的值為0 或1，關(guān)系值和氣％作為張量中的元素，則可以引用K-2階張量S中的元素表示所有的軌跡 假設(shè)結(jié)果。3. 根據(jù)權(quán)利要求2所述的基于改進(jìn)網(wǎng)絡(luò)流圖的多目標(biāo)跟蹤方法，其特征在于，K-2階秩 一張量可以表示為K-2個(gè)單位向量的乘積，對(duì)于步驟S3中的秩一張量S，尋找K-2個(gè)單位向量 集Π = {Π(1)，Π(2)，...，Π (κ_2)}和常數(shù)λ最小化F范數(shù)： Μ 'K-2其中，< 表示單位向量n(k)中的第k個(gè)元素，上式可以用拉格朗日算法或最小二乘法處 理，將式(3)轉(zhuǎn)化成如下形式：式(3)的最小值等價(jià)于求下面g (Π)的最大值：通過張量能量迭代可以快速確定K-2個(gè)單位向量，單位向量反應(yīng)的是軌跡的選擇結(jié)果。
【文檔編號(hào)】G06T7/20GK105957104SQ201610255448
【公開日】2016年9月21日
【申請(qǐng)日】2016年4月22日
【發(fā)明人】胡海峰, 潘瑜, 曹向前, 肖翔, 顧建權(quán), 張偉, 胡偉鵬, 李昊曦
【申請(qǐng)人】廣東順德中山大學(xué)卡內(nèi)基梅隆大學(xué)國際聯(lián)合研究院