一種時空約束的監(jiān)控視頻行人重識別結(jié)果的二次優(yōu)化方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻分析技術(shù)領(lǐng)域，涉及監(jiān)控視頻行人重識別分析，具體涉及一種時 空約束的監(jiān)控視頻行人重識別結(jié)果的二次優(yōu)化方法。 技術(shù)背景
[0002] 近年來，隨著視頻監(jiān)控系統(tǒng)大量普及，視頻監(jiān)控系統(tǒng)在打擊犯罪、維護(hù)穩(wěn)定實踐中 正發(fā)揮著越來越重要的作用，視頻偵查已成為公安機(jī)關(guān)偵查破案的新手段。在視頻偵查應(yīng) 用中，針對特定嫌疑目標(biāo)（尤其是人）的檢索是重要需求。目前這一過程主要通過人工完 成，耗費大量的人力物力以及時間，影響破案效率。特定目標(biāo)監(jiān)控視頻檢索的核心關(guān)鍵問 題一一行人重識別，是指判斷不同監(jiān)控攝像頭下出現(xiàn)的行人圖像是否屬于同一行人。隨著 技術(shù)發(fā)展和應(yīng)用需求的增加，這一問題正逐漸發(fā)展為學(xué)術(shù)研究和行業(yè)應(yīng)用的熱點。
[0003] 為了在多攝像頭畫面下準(zhǔn)確匹配同一行人，相關(guān)學(xué)者分別在時空線索、生物特征 和外貌視覺特征的基礎(chǔ)上開展行人重識別研究。雖然特定應(yīng)用條件下人臉識別等技術(shù)被用 于行人身份識別，然而在實際視頻監(jiān)控環(huán)境下，存在監(jiān)控視頻畫面的分辨率較差、行人對象 尺度較小以及行人對象姿態(tài)的隨意性等因素，導(dǎo)致人臉、步態(tài)等生物特征難以提取。相對于 時空線索和生物特征，行人的外貌視覺特征容易提取并且具有一定的個體辨識力。而且在 一定的時空范圍內(nèi)，行人對象往往不會換裝。因此，現(xiàn)有研究大多采用行人圖像的外貌特 征。
[0004] 在現(xiàn)有基于外貌的行人重識別研究中，研究者圍繞特征提取及相似性度量發(fā)展了 許多方法。前者重點在于設(shè)計魯棒可靠的行人圖像特征表示模型，即能夠區(qū)分不同行人，同 時能夠不受光照和視角變化的影響；后者重點在于學(xué)習(xí)符合行人圖像特征分布特性的距離 函數(shù)，從而使同一行人圖像特征距離較小，不同行人圖像特征距離較大。然而，這些方法應(yīng) 用到實際監(jiān)控業(yè)務(wù)中仍存在巨大的挑戰(zhàn)。主要表現(xiàn)為，行人重識別問題中的圖片來源于不 同的攝像頭，由于不同攝像頭所處的角度、光照等環(huán)境的影響，同一個行人的不同圖片中， 外貌特征會有一定程度的變化；相反，由于行人姿勢及攝像頭角度的變化，在不同攝像頭 中，不同行人的外貌特征可能比同一個人的外貌特征更相似。
[0005] 為了盡量減少不可控監(jiān)控環(huán)境因素的干擾，現(xiàn)有的行人重識別技術(shù)不得不在每個 監(jiān)控點的識別結(jié)果中都提供一組圖像供人選擇，再通過交互的相關(guān)反饋方法提煉識別結(jié) 果。這種處理方式不僅增加了人工研判的工作量、降低了視頻分析的自動化程度，而且，由 于視角和光照差異，行人的外貌特征會發(fā)生很大的變化，可能導(dǎo)致提供的排序靠前的結(jié)果 并不一定更可信。

【發(fā)明內(nèi)容】

[0006] 為了解決上述技術(shù)問題，本發(fā)明提供了一種時空約束的監(jiān)控視頻行人重識別結(jié)果 的二次優(yōu)化方法。
[0007] 本發(fā)明所采用的技術(shù)方案是：一種時空約束的監(jiān)控視頻行人重識別結(jié)果的二次優(yōu) 化方法，其特征在于，包括以下步驟：
[0008] 步驟1 :基于視覺特征的行人重識別；
[0009] 根據(jù)輸入的行人圖像及行進(jìn)路徑上N個監(jiān)控點的監(jiān)控視頻錄像，采用基于人體外 貌視覺特征的行人重識別算法，逐一識別每個監(jiān)控點錄像中視覺特征最相似的Μ幅候選行 人圖像，并按照視覺識別概率由高到低的順序排序，同時記錄每幅行人圖像的時間戳和視 覺概率；
[0010] 步驟2 :時間序列參數(shù)獲??；
[0011] 根據(jù)監(jiān)控點之間的物理距離及上述步驟得到的行人圖像時間戳，計算兩兩相鄰監(jiān) 控點之間的距離時間，以及對應(yīng)的兩組Μ幅候選圖像中任意兩幅圖像之間的時間差，對于 行進(jìn)路徑上的第一個監(jiān)控點，則相對于輸入圖像來自的案發(fā)監(jiān)控點計算；
[0012] 步驟3 :視覺匹配概率計算；
[0013] 根據(jù)步驟1保存的每幅圖像的視覺概率參數(shù)，對于（Μ+1)Ν-1種可能的路徑組合， 計算每種組合下的視覺匹配概率Ρν;
[0014] 步驟4 :路徑匹配概率計算；
[0015] 根據(jù)步驟2得到的監(jiān)控點之間的距離時間及候選圖像間的時間差參數(shù)，對于 (M+l)N_1種可能的路徑組合，計算每種組合下的路徑匹配概率Ρρ;
[0016] 步驟5:聯(lián)合概率計算；
[0017] 根據(jù)步驟3和4的計算結(jié)果，以及給定的經(jīng)驗加權(quán)系數(shù)，采用加權(quán)平均法計算路 徑-視覺聯(lián)合概率Ρ;
[0018] 步驟6 :基于聯(lián)合概率的二次識別；
[0019] 根據(jù)上述步驟計算的（Μ+1)Ν_1種路徑組合各自的聯(lián)合概率，按從大到小的順序排 序，選取排在首位的路徑作為優(yōu)選路徑，路徑上的行人圖像作為行人重識別的優(yōu)化結(jié)果。
[0020] 作為優(yōu)選，步驟1中所述的行人重識別算法為多尺度學(xué)習(xí)的行人重識別算法。
[0021] 作為優(yōu)選，步驟1中所述的行人圖像的時間戳為行人圖像所在的原始視頻幀的時 間戳的平均值。
[0022] 作為優(yōu)選，步驟2中所述的兩相鄰監(jiān)控點之間的距離時間h，通過監(jiān)控點之間的物 理距離山除以行人平均行進(jìn)速度v計算，即*其中行人平均行進(jìn)速度v為經(jīng)驗值；步 V 驟2中所述的兩幅圖像之間的時間差h，通過行進(jìn)路徑上后面監(jiān)控點中圖像的時間戳減去 前面監(jiān)控點中圖像的時間戳計算。
[0023] 作為優(yōu)選，步驟3中所述的路徑組合下的視覺匹配概率是用路徑上所有行人圖像 的概率相加計算，即尺=，:這里PiS路徑上行人圖像的視覺匹配概率，K為路徑上的 農(nóng)仁1 監(jiān)控點數(shù)目，對于每個確定的路徑，K為一固定常數(shù)。
[0024] 作為優(yōu)選，步驟4中所述的路徑匹配概率的具體計算過程包含如下子步驟：
[0025] 步驟4. 1 :通過公式今計算路徑上任意相鄰監(jiān)控點中兩幅行人圖像的路 徑偏移概率ei，這里ljPti分別為步驟2得到的距離時間和時間差參數(shù)；
[0026] 步驟4. 2 :將路徑上所有監(jiān)控點的偏移概率ei相加，得到總體路徑偏移概率Ep，即 /-1 ，如果Ερ〉1，則令EP=L即行人的出現(xiàn)時序有違行進(jìn)順序；
[0027] 步驟4. 3 :按式Pp= 1-Ep計算路徑匹配概率，當(dāng)Pp= 0時，即該路徑是無效路徑。
[0028] 作為優(yōu)選，步驟5中所述的路徑-視覺聯(lián)合概率P的計算公式為：
[0029] P=wPp+(l-w)Pv,
[0030] 其中w為一預(yù)先設(shè)定的經(jīng)驗加權(quán)系數(shù)。
[0031] 作為優(yōu)選，步驟6所述的基于聯(lián)合概率的二次識別的具體實現(xiàn)過程包含如下子步 驟：
[0032] 步驟6· 1 :路徑組合排序；
[0033] 將（M+l)N_1條路徑按聯(lián)合概率排序，選擇排序靠前的L條路徑組成候選路徑集；
[0034] 步驟6. 2 :路徑合并；
[0035] 當(dāng)某條短路徑從屬于另外一條長路徑且短路徑的聯(lián)合概率不大于長路徑的聯(lián)合 概率時，將短路徑從候選集中去掉，只保留長路徑；
[0036] 步驟6. 3 :從路徑合并后的候選集中輸出排序第一的路徑及路徑所對應(yīng)的行人圖 像。
[0037] 本發(fā)明方法提出的路徑匹配概率的思路是一種降低搜索空間的有效措施，具有較 好的推廣價值，對海量監(jiān)控視頻大數(shù)據(jù)中的嫌疑目標(biāo)的檢測、跟蹤和檢索問題均具有借鑒 作用。相比于傳統(tǒng)的基于人體外貌視覺特征的行人重識別方法，本發(fā)明方法還具有如下優(yōu) 點和積極效果：
[0038] 1)本發(fā)明方法通過巧妙利用行進(jìn)路徑上監(jiān)控點中行人出現(xiàn)的時序約束關(guān)系，在原 有的視覺匹配概率的基礎(chǔ)上，引入路徑匹配概率來聯(lián)合度量各種行人路徑組合出現(xiàn)的可能 性，以此作為對第一次識別結(jié)果的優(yōu)選依據(jù)，顯著提升了行人重識別結(jié)果的可信度；
[0