本發(fā)明涉及計(jì)算機(jī)圖像處理中的視覺目標(biāo)跟蹤技術(shù)領(lǐng)域，特別涉及一種基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤方法及裝置。

背景技術(shù)：

視頻目標(biāo)跟蹤是指給定目標(biāo)在視頻中的初始位置，然后輸出該目標(biāo)在視頻中的每一個(gè)時(shí)刻的位置。物體跟蹤是計(jì)算機(jī)視覺中一個(gè)重要的問題，通常是視頻分析處理的第一步。因此有大量學(xué)者從事物體跟蹤的研究，以及眾多有效的物體跟蹤的算法被提出來(lái)。在一些監(jiān)控場(chǎng)景下，需要在一個(gè)復(fù)雜的場(chǎng)景下同時(shí)跟蹤多個(gè)物體。多個(gè)物體之間的相互遮擋增加了物體跟蹤的難度，這一點(diǎn)在行人的跟蹤經(jīng)常出現(xiàn)。當(dāng)一大群人同時(shí)出現(xiàn)在攝像設(shè)備畫面中時(shí)，每個(gè)人之間相互重疊使得無(wú)法準(zhǔn)確的獲取其實(shí)際位置。目前多目標(biāo)追蹤方法主要分為兩類：基于單攝像頭的多目標(biāo)追蹤和基于多攝像相機(jī)的多目標(biāo)的追蹤方法

基于單攝像頭的多目標(biāo)追蹤方法主要有基于幀間tracklet拼接的方法和全局優(yōu)化的方法。tracklet拼接和基于線性規(guī)劃的lp跟蹤是在整個(gè)序列同時(shí)優(yōu)化所有的軌跡另外兩種方法。首先生成跟蹤小片段，這是由傳統(tǒng)群體檢測(cè)結(jié)果形成軌跡片段。然后，這些跟蹤小片段通過匈牙利分區(qū)算法進(jìn)行連接。這種方法假定所有跟蹤小片段都是正確的軌跡，因此很難擴(kuò)展到在每個(gè)原始軌跡片段中許多誤檢測(cè)的情形。對(duì)每個(gè)對(duì)象的軌跡與它們之間的邊生成子圖，每個(gè)對(duì)象之間通過邊進(jìn)行交互。在子圖中利用近似線性規(guī)劃和舍入解決一個(gè)多路徑搜索問題。它假設(shè)物件相對(duì)關(guān)系位置相對(duì)穩(wěn)定的，以及目標(biāo)的數(shù)量是固定的。

基于多攝像頭的方法，目前主要關(guān)注如何進(jìn)行多攝像頭的數(shù)據(jù)融合，主要有基于攝像設(shè)備標(biāo)定的方法和特征匹配的方法?；跀z像設(shè)備標(biāo)定的方法主要是利用攝像設(shè)備投影矩陣，將不同的攝像設(shè)備畫面投影到同一個(gè)畫面上。對(duì)于基于特征匹配的方法，主要是通過尋找高效的表觀特征和時(shí)空信息來(lái)提高匹配結(jié)果。多攝像設(shè)備的追蹤問題由于不同鏡頭間有較大的光照和視角差異，相比于攝像設(shè)備的跟蹤問題，具有更大的挑戰(zhàn)性。

然而，針對(duì)于復(fù)雜場(chǎng)景下多個(gè)物體的跟蹤問題，其中一個(gè)有效途徑是利用多攝像頭監(jiān)控系統(tǒng)。在多個(gè)攝像設(shè)備重合的監(jiān)控區(qū)域，可以借助多個(gè)攝像設(shè)備的信息來(lái)較為準(zhǔn)確的獲取物體的位置。隨著傳感器和處理器價(jià)格的下降，在很多場(chǎng)景下多攝像頭配合使用也變得越來(lái)越普遍。多攝像頭實(shí)時(shí)跟蹤問題主要有兩個(gè)部分：攝像頭內(nèi)部的跟蹤和跨攝像頭跟蹤。其中跨攝像頭跟蹤問題中的重復(fù)覆蓋區(qū)域，以及未覆蓋區(qū)域的處理方法，在很多文章中都有討論隨著安保和行人數(shù)據(jù)分析等需求，基于多攝像頭的多目標(biāo)的跟蹤是很有意義的，但同時(shí)由于其問題的復(fù)雜性，這項(xiàng)工作也具有很大的挑戰(zhàn)性。最近有學(xué)者提出了多種利用多個(gè)攝像頭的信息來(lái)提高物體跟蹤的魯棒性，但是它們忽略了幾何約束等問題，違反了幾何假設(shè)，需要更復(fù)雜的方法來(lái)解決由此帶來(lái)的誤差。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

為此，本發(fā)明的一個(gè)目的在于提出一種基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤方法，該方法可以在提高物體跟蹤的魯棒性的同時(shí)，減少跟蹤誤差，提高跟蹤的準(zhǔn)確性。

本發(fā)明的另一個(gè)目的在于提出一種基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤裝置。

為達(dá)到上述目的，本發(fā)明一方面實(shí)施例提出了一種基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤方法，包括以下步驟：對(duì)不同的色彩空間進(jìn)行圖像預(yù)處理，使圖片在色溫和色調(diào)上一致，以獲取多個(gè)攝像設(shè)備的攝像信息；通過攝像設(shè)備的投影矩陣建立2d點(diǎn)的對(duì)應(yīng)關(guān)系，以獲取所述多個(gè)攝像設(shè)備之間的幾何信息，其中，所述投影矩陣為關(guān)于3d世界的投影矩陣；根據(jù)所述攝像信息和所述幾何信息進(jìn)行多個(gè)攝像頭之間的人體特征匹配，以利用跟蹤目標(biāo)的表觀和時(shí)空特征獲取每個(gè)攝像設(shè)備畫面以及實(shí)時(shí)的跟蹤結(jié)果。

本發(fā)明實(shí)施例的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤方法，通過攝像信息和幾何信息進(jìn)行多個(gè)攝像頭之間的人體特征匹配，實(shí)現(xiàn)目標(biāo)的跟蹤，有效結(jié)合目前的多目標(biāo)跟蹤算法和多攝像頭處理方法，并且利用攝像設(shè)備網(wǎng)絡(luò)位姿關(guān)系矩陣，從而實(shí)現(xiàn)基于多攝像頭的多目標(biāo)物體跟蹤目的，在提高物體跟蹤的魯棒性的同時(shí)，減少跟蹤誤差，提高跟蹤的準(zhǔn)確性。

另外，根據(jù)本發(fā)明上述實(shí)施例的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤方法還可以具有以下附加的技術(shù)特征：

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述根據(jù)所述攝像信息和所述幾何信息進(jìn)行多個(gè)攝像頭之間的人體特征匹配，進(jìn)一步包括：在所述多個(gè)攝像設(shè)備中任意一個(gè)攝像設(shè)備檢測(cè)到跟蹤目標(biāo)時(shí)，通過所述投影矩陣將所述跟蹤目標(biāo)的位置投影到地面對(duì)應(yīng)的坐標(biāo)系中；將所有的點(diǎn)進(jìn)行聚類分析，以獲取所述多個(gè)攝像設(shè)備中其它攝像設(shè)備中的同一個(gè)跟蹤目標(biāo)。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述獲取所述多個(gè)攝像設(shè)備中其它攝像設(shè)備中的同一個(gè)跟蹤目標(biāo)，進(jìn)一步包括：獲取所有結(jié)果中最優(yōu)的組，所述最優(yōu)的組為攝像設(shè)備數(shù)目最多且相位位置誤差最?。煌ㄟ^所述最優(yōu)的組確定所述跟蹤目標(biāo)的3d坐標(biāo)，以根據(jù)所述跟蹤目標(biāo)的3d坐標(biāo)去除組中所選的偏差大于第一預(yù)設(shè)值的點(diǎn)，并且在剩余的點(diǎn)中選擇偏差小于第二預(yù)設(shè)值的點(diǎn)，移除集合，直至所有的點(diǎn)選出集合。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，采用hough投票方法，并且根據(jù)人體多個(gè)攝像設(shè)備的位置以及攝像設(shè)備的位姿信息確定行人的位置。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，在跟蹤中，還包括：將所述跟蹤結(jié)果與行人模型進(jìn)行匹配，以消除誤匹配、遮擋和漏檢測(cè)問題，其中，行人模型包含速度、當(dāng)前位置、色彩特征、第一次出現(xiàn)時(shí)間、軌跡和當(dāng)前狀態(tài)中的一種或多種參數(shù)。

為達(dá)到上述目的，本發(fā)明另一方面實(shí)施例提出了一種基于時(shí)空約束的跨境頭多目標(biāo)跟蹤裝置，包括：預(yù)處理模塊，用于對(duì)不同的色彩空間進(jìn)行圖像預(yù)處理，使圖片在色溫和色調(diào)上一致，以獲取多個(gè)攝像設(shè)備的攝像信息；采集模塊，用于通過攝像設(shè)備的投影矩陣建立2d點(diǎn)的對(duì)應(yīng)關(guān)系，以獲取所述多個(gè)攝像設(shè)備之間的幾何信息，其中，所述投影矩陣為關(guān)于3d世界的投影矩陣；跟蹤模塊，用于根據(jù)所述攝像信息和所述幾何信息進(jìn)行多個(gè)攝像頭之間的人體特征匹配，以利用跟蹤目標(biāo)的表觀和時(shí)空特征獲取每個(gè)攝像設(shè)備畫面以及實(shí)時(shí)的跟蹤結(jié)果。

本發(fā)明實(shí)施例的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤裝置，通過攝像信息和幾何信息進(jìn)行多個(gè)攝像頭之間的人體特征匹配，實(shí)現(xiàn)目標(biāo)的跟蹤，有效結(jié)合目前的多目標(biāo)跟蹤算法和多攝像頭處理方法，并且利用攝像設(shè)備網(wǎng)絡(luò)位姿關(guān)系矩陣，從而實(shí)現(xiàn)基于多攝像頭的多目標(biāo)物體跟蹤目的，在提高物體跟蹤的魯棒性的同時(shí)，減少跟蹤誤差，提高跟蹤的準(zhǔn)確性。

另外，根據(jù)本發(fā)明上述實(shí)施例的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤裝置還可以具有以下附加的技術(shù)特征：

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述跟蹤模塊還用于在所述多個(gè)攝像設(shè)備中任意一個(gè)攝像設(shè)備檢測(cè)到跟蹤目標(biāo)時(shí)，通過所述投影矩陣將所述跟蹤目標(biāo)的位置投影到地面對(duì)應(yīng)的坐標(biāo)系中，并且將所有的點(diǎn)進(jìn)行聚類分析，以獲取所述多個(gè)攝像設(shè)備中其它攝像設(shè)備中的同一個(gè)跟蹤目標(biāo)。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述跟蹤模塊還用于獲取所有結(jié)果中最優(yōu)的組，所述最優(yōu)的組為攝像設(shè)備數(shù)目最多且相位位置誤差最小，并且通過所述最優(yōu)的組確定所述跟蹤目標(biāo)的3d坐標(biāo)，以根據(jù)所述跟蹤目標(biāo)的3d坐標(biāo)去除組中所選的偏差大于第一預(yù)設(shè)值的點(diǎn)，并且在剩余的點(diǎn)中選擇偏差小于第二預(yù)設(shè)值的點(diǎn)，移除集合，直至所有的點(diǎn)選出集合。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，還包括：定位模塊，用于采用hough投票方法，并且根據(jù)人體多個(gè)攝像設(shè)備的位置以及攝像設(shè)備的位姿信息確定行人的位置。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，還包括：匹配模塊，用于將所述跟蹤結(jié)果與行人模型進(jìn)行匹配，以消除誤匹配、遮擋和漏檢測(cè)問題，其中，行人模型包含速度、當(dāng)前位置、色彩特征、第一次出現(xiàn)時(shí)間、軌跡和當(dāng)前狀態(tài)中的一種或多種參數(shù)。

本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。

附圖說明

本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1為根據(jù)本發(fā)明實(shí)施例的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤方法的流程圖；

圖2為根據(jù)本發(fā)明一個(gè)具體實(shí)施例的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤方法的流程圖；

圖3為根據(jù)本發(fā)明一個(gè)實(shí)施例的某一時(shí)刻的檢測(cè)結(jié)果示意圖；

圖4為根據(jù)本發(fā)明一個(gè)實(shí)施例的定位和聚類結(jié)果示意圖；

圖5為根據(jù)本發(fā)明一個(gè)實(shí)施例的攝像機(jī)檢測(cè)結(jié)果示意圖；

圖6為根據(jù)本發(fā)明一個(gè)實(shí)施例的定位結(jié)果示意圖；

圖7為根據(jù)本發(fā)明一個(gè)實(shí)施例的實(shí)際跟蹤結(jié)果示意圖；

圖8為根據(jù)本發(fā)明實(shí)施例的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。

下面參照附圖描述根據(jù)本發(fā)明實(shí)施例提出的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤方法及裝置，首先將參照附圖描述根據(jù)本發(fā)明實(shí)施例提出的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤方法。

圖1是本發(fā)明實(shí)施例的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤方法的流程圖。

如圖1所示，該基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤方法包括以下步驟：

在步驟s101中，對(duì)不同的色彩空間進(jìn)行圖像預(yù)處理，使圖片在色溫和色調(diào)上一致，以獲取多個(gè)攝像設(shè)備的攝像信息。

具體地，首先攝像設(shè)備(下面均以攝像機(jī)為例)需要進(jìn)行預(yù)處理。其中，在色彩學(xué)中，可以利用很多種色彩模型來(lái)描述一種顏色，常用的有rgb色彩空間，lab色彩空間，cmyk圖像預(yù)處理，減少不同攝像機(jī)的差異很有必要色彩空間，hsv色彩空間等。在原始的多個(gè)攝像機(jī)畫面中，由于攝像機(jī)朝向，光照以及設(shè)備差異的影響，同一物體在不同的攝像機(jī)畫面中有不同的顏色，而且由于在后面進(jìn)行目標(biāo)跟蹤時(shí)，本發(fā)明實(shí)施例利用到了行人的顏色統(tǒng)計(jì)信息作為其重要特征，所以在不同的色彩空間進(jìn)行了圖像預(yù)處理。

舉例而言，目前四個(gè)攝像頭雖然畫面顯示的是同一個(gè)地面，同一時(shí)刻的照片，但是四張圖片在色溫和色調(diào)上有較大的差異，這將影響以后的多個(gè)攝像頭之間的人體特征匹配。因此，本發(fā)明實(shí)施例采取一種簡(jiǎn)單有效的算法，在lab色彩空間進(jìn)行同均值，同方差處理后的結(jié)果最好，這是由于lab色彩空間三個(gè)通道的耦合度最小，而且處理后圖像無(wú)噪點(diǎn)出現(xiàn)，也無(wú)嚴(yán)重的色彩失真。

其中，首先固定mt，α，β作為各通道的目標(biāo)均值和方差，同時(shí)對(duì)于記錄每個(gè)相機(jī)背景畫面(剛開始的一幀，或者是利用背景構(gòu)建算法得到背景)的均值和方差，mi，α，β。然后每一幀利用下面的公式，對(duì)每個(gè)攝像機(jī)每一幀進(jìn)行同均值同方差歸一化處理，這樣可以避免視頻中行人的出現(xiàn)影響歸一化處理：

在步驟s102中，通過攝像設(shè)備的投影矩陣建立2d點(diǎn)的對(duì)應(yīng)關(guān)系，以獲取多個(gè)攝像設(shè)備之間的幾何信息，其中，投影矩陣為關(guān)于3d世界的投影矩陣。

在步驟s103中，根據(jù)攝像信息和幾何信息進(jìn)行多個(gè)攝像頭之間的人體特征匹配，以利用跟蹤目標(biāo)的表觀和時(shí)空特征獲取每個(gè)攝像設(shè)備畫面以及實(shí)時(shí)的跟蹤結(jié)果。

其中，在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)攝像信息和幾何信息進(jìn)行多個(gè)攝像頭之間的人體特征匹配，進(jìn)一步包括：在多個(gè)攝像設(shè)備中任意一個(gè)攝像設(shè)備檢測(cè)到跟蹤目標(biāo)時(shí)，通過投影矩陣將跟蹤目標(biāo)的位置投影到地面對(duì)應(yīng)的坐標(biāo)系中；將所有的點(diǎn)進(jìn)行聚類分析，以獲取多個(gè)攝像設(shè)備中其它攝像設(shè)備中的同一個(gè)跟蹤目標(biāo)。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，獲取多個(gè)攝像設(shè)備中其它攝像設(shè)備中的同一個(gè)跟蹤目標(biāo)，進(jìn)一步包括：獲取所有結(jié)果中最優(yōu)的組，最優(yōu)的組為攝像設(shè)備數(shù)目最多且相位位置誤差最??；通過最優(yōu)的組確定跟蹤目標(biāo)的3d坐標(biāo)，以根據(jù)跟蹤目標(biāo)的3d坐標(biāo)去除組中所選的偏差大于第一預(yù)設(shè)值的點(diǎn)，并且在剩余的點(diǎn)中選擇偏差小于第二預(yù)設(shè)值的點(diǎn)，移除集合，直至所有的點(diǎn)選出集合。

具體地，基于多攝像頭的多目標(biāo)跟蹤，本發(fā)明實(shí)施例在綜合比較多種物體檢測(cè)算法后，利用faster-r-cnn進(jìn)行物體檢測(cè)，然后圖像中的2d點(diǎn)和世界中的3d點(diǎn)有如下的對(duì)應(yīng)關(guān)系，h稱為攝像機(jī)的投影矩陣：

其中，兩個(gè)攝像機(jī)可以通過其關(guān)于3d世界的投影矩陣建立關(guān)系，即建立2d點(diǎn)的對(duì)應(yīng)關(guān)系：

在本發(fā)明的實(shí)施例中，可以把大地看作一個(gè)巨大的相機(jī)，然后求解出所有相機(jī)關(guān)于大地的投影矩陣。已知攝像機(jī)i到大地的投影矩陣hi→g，攝像機(jī)i中的任意一點(diǎn)(xi，yi)，則其在大地對(duì)應(yīng)的坐標(biāo)可由如下的公式推出：

在第i個(gè)攝像機(jī)畫面中檢測(cè)到了ni個(gè)人，其位置為則通過對(duì)應(yīng)的投影矩陣將其投射到地面對(duì)應(yīng)的坐標(biāo)系中，接下來(lái)需要將所有的點(diǎn)進(jìn)行聚類分析，即找到不同攝像機(jī)中的同一個(gè)人。對(duì)此需要求解如下的一個(gè)優(yōu)化問題：

其中，是第k幀所有攝像機(jī)中檢測(cè)到人總數(shù)。表示第i和j之間相似程度，包含兩個(gè)因素，首先是人體特征之間的相似程度φ(i，k)是第i個(gè)人色彩特征，然后通過k(a，b)計(jì)算協(xié)方差系數(shù)。第二個(gè)是位置相似程度是示性函數(shù)，若e為真,則反之δ是距離控制系數(shù)。表示第i和j檢測(cè)目標(biāo)之間的關(guān)系，若則二者是同一個(gè)人，若則二者不是同一個(gè)人，考慮到在攝像機(jī)內(nèi)部檢測(cè)到的兩個(gè)人不可能是同一個(gè)人，以及攝像機(jī)畫面中出現(xiàn)每個(gè)物體在另一個(gè)攝像機(jī)畫面中最多有一個(gè)匹配。最后一列的三角不等式表示，若l和i，l和j都是同一人，那么i，j也是同一個(gè)人，即環(huán)路約束。該優(yōu)化問題是一個(gè)整數(shù)型優(yōu)化問題，在實(shí)際系統(tǒng)中無(wú)法準(zhǔn)確的求解全局最優(yōu)解，在實(shí)際的算法中，本發(fā)明實(shí)施例設(shè)計(jì)了一種近似最優(yōu)解的方法：

(1)先找到所有結(jié)果中最優(yōu)的組(攝像機(jī)數(shù)目最多，且相對(duì)位置誤差較小)。具體為，首先利用位置和色彩信息對(duì)備選集進(jìn)行聚類。然后利用聚類中心特征信息進(jìn)行篩選，然后利用剩余可靠的元素，計(jì)算最優(yōu)的位置，具體計(jì)算算法在下面的章節(jié)給出。

(2)利用這組中的結(jié)果確定該人的3d坐標(biāo)，然后根據(jù)該坐標(biāo)去除組中所選的偏差比較大的點(diǎn)，并在剩余的點(diǎn)中選擇偏差較小的點(diǎn)，移除集合。具體為，利用上面的計(jì)算結(jié)果得到該人的位置以及色彩特征，然后在剩余集合中尋找可能是這個(gè)人的元素但是由于之前聚類算法并沒有聚到該類的元素，并移除備選集合。然后利用色彩特征和位置去除該類中不是該人的元素，重新放回備選集合中。

(3)重復(fù)(1)，(2)的操作，直到所有的點(diǎn)選出集合。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，采用hough投票方法，并且根據(jù)人體多個(gè)攝像設(shè)備的位置以及攝像設(shè)備的位姿信息確定行人的位置。

具體地，對(duì)于hough投票方法實(shí)現(xiàn)，人體在兩個(gè)攝像機(jī)中大地上的方向投影的線段的交點(diǎn)更有可能是真實(shí)的行人在大地上的位置，按照這個(gè)思路，可以采用hough投票的思想，綜合考慮人體多個(gè)攝像機(jī)的位置以及該攝像機(jī)的位姿信息確定行人的位置。假設(shè)所有的攝像機(jī)畫面都是水平的，即在攝像畫面中，每個(gè)人頭部和腳部x坐標(biāo)的數(shù)值是一樣的，根據(jù)式，將攝像機(jī)畫面中的立足點(diǎn)(x，y)和(x，y+∈)投影到地面上得到(x′1，y′1)和(x′2，y′2)。則為投影后的方向，而為該攝像機(jī)(x，y)投影到地面上時(shí)scale的變化，這一點(diǎn)將在后面可視化跟蹤結(jié)果小時(shí)用到。

從上面計(jì)算中可以得到在攝像機(jī)i，與大地平面的映射矩陣為hi→g，中任意一個(gè)點(diǎn)(x，y)，在大地平面上的坐標(biāo)為(x′，y′)，且投影方向是然后讓∈→0，從而得到ω′2→ω′1＝ω′，投影方向?yàn)?imgfile="bda0001299698200000081.gif"wi="700"he="74"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>

如圖3所示，在實(shí)際的人體檢測(cè)的輸出中，立足點(diǎn)的估計(jì)往往是帶有一定誤差的。第三個(gè)攝像機(jī)右邊第二個(gè)人的檢測(cè)結(jié)果的矩形框。

從圖4中，圓形表示hough投票，星星表示傳統(tǒng)方法結(jié)果，cam1用4號(hào)實(shí)線表示，cam2用3號(hào)實(shí)線表示，cam3用2號(hào)實(shí)線表示，cam4用1號(hào)實(shí)線表示，其中，每條線的中心是在該攝像機(jī)下行人立足點(diǎn)投影在地面的位置。可以看出利用hough投票的方法得到的結(jié)果一般出現(xiàn)在多個(gè)攝像機(jī)投影方向的匯聚處。例如在大地坐標(biāo)下左下角的人，他在cam1，cam2，cam3中出被檢測(cè)到了，其中cam1，cam2中檢測(cè)的位置準(zhǔn)確的，而cam3檢測(cè)的立足點(diǎn)偏差較大，但是在每個(gè)攝像機(jī)中檢測(cè)到的人體的方向是準(zhǔn)確的，即矩形框的左右位置是可靠地。可以注意到在大地平面上三個(gè)攝像機(jī)中心點(diǎn)并不重合而且位置相差很大，但是三條直線幾乎交于一點(diǎn)，說明通過hough投票確定的位置可信度大大提高。為了處理可能出現(xiàn)的如cam2中左邊第二個(gè)矩形框左右定位不準(zhǔn)的情況，在算法中利用了randsec思想，即并不是所有的數(shù)據(jù)全部聯(lián)合到一起是最優(yōu)的，而可以找到一個(gè)最優(yōu)的數(shù)據(jù)組合，其結(jié)果可信度最高，方差最小。在平面上，兩條直線可以確定一個(gè)點(diǎn)，所以在算法中，隨機(jī)從集合中選取2個(gè)攝像機(jī)然后求解出對(duì)應(yīng)的位置，然后計(jì)算在這個(gè)位置下的全局損失函數(shù)，然后在多個(gè)組合中選取損失函數(shù)最小的位置，這樣可以去除個(gè)別誤差較大的定位信息影響。這一點(diǎn)在攝像機(jī)數(shù)目有限(通常小于等于4個(gè))時(shí)，能很好地提高定位的準(zhǔn)確性。

圖5中所示是攝像機(jī)覆蓋區(qū)域有7個(gè)人時(shí)的情形。其中有三個(gè)人被四個(gè)攝像機(jī)同時(shí)看到，即在大地中間偏右的兩人，以及在cam1最左邊，cam3最右邊的男子。中間的剩余兩個(gè)人被三個(gè)攝像機(jī)同時(shí)看到。剩下的除了最上面只在cam4中被檢測(cè)到的，兩人都在兩個(gè)攝像機(jī)畫面中出現(xiàn)。在圖6的定位結(jié)果中可以看到利用hough投票的方法得到的結(jié)果是非常準(zhǔn)確的，這一點(diǎn)可以由每個(gè)人之間的相對(duì)位置以及，投影線的匯聚程度看出。除了最上面的只被cam4檢測(cè)到那個(gè)人之外，其余的行人每個(gè)攝像機(jī)的投影直線都幾乎相交于一點(diǎn)。注意到其中有兩個(gè)檢測(cè)框的位置有較大的誤差，第一個(gè)是cam4中左邊第二個(gè)較小的矩形框，由于腳步被遮擋導(dǎo)致識(shí)別結(jié)果偏上，而且由于該人距離cam4的距離較遠(yuǎn)，誤差通過投射時(shí)分辨率的放大，可以看到在大地平面上(左上角的紅線，中心是基于cam4立足點(diǎn)估計(jì)投射到地面的結(jié)果)，其與真實(shí)結(jié)果相差100多個(gè)像素值，但是注意到其方向的誤差是很小的，其延長(zhǎng)線幾乎通過了利用另外三個(gè)攝像機(jī)確定的位置。cam2中最右邊的矩形框，立足點(diǎn)識(shí)別也帶有一定的誤差。而且由于距離cam2較遠(yuǎn)，誤差通過分辨率放大，導(dǎo)致在實(shí)際中地面坐標(biāo)中，該攝像機(jī)立足點(diǎn)估計(jì)誤差為50多個(gè)像素值，但是投影方向的誤差很小，可以看到最最后行人的定位結(jié)果是同時(shí)用到了兩個(gè)攝像機(jī)畫面的信息實(shí)現(xiàn)了精準(zhǔn)定位。

數(shù)學(xué)描述：為所有相鄰幀中出現(xiàn)的行人。φ(i，k)為第k幀中的第i個(gè)人的色彩特征，k為相關(guān)函數(shù)，分別為位置和速度的相關(guān)函數(shù)。θ1，θ2，θ3為閾值參數(shù)，即處理行人消失和出現(xiàn)的情形，消除錯(cuò)誤匹配。

其中，表示當(dāng)前幀和前一幀關(guān)系的鄰接矩陣，若則兩個(gè)行人是同一個(gè)人，若則二者不是同一個(gè)人。注意到最后一個(gè)約束條件可以表述為矩陣f^k中的每一行每一列至多有一個(gè)元素是1。

上面的問題可以轉(zhuǎn)化一個(gè)最小費(fèi)用流的優(yōu)化問題，求取全局最優(yōu)解可以利用最小費(fèi)用流求解算法得到。但是注意到一個(gè)實(shí)際的跟蹤問題是要求實(shí)時(shí)性和因果性，即預(yù)測(cè)當(dāng)前幀時(shí)只能考慮之前幀的，而不能受到后面結(jié)果的影響。

(1)先找到置信度最該的匹配---遮擋最少，人群密度稀疏的點(diǎn)。具體為在當(dāng)前檢測(cè)到所有行人和前一幀的行人進(jìn)行匹配，找到匹配分?jǐn)?shù)最高的一組。

(2)將其移除集合e。

(3)在剩余的集合中重復(fù)上述操作。

(4)若當(dāng)前集合所有的中的置信度最高的低于給定閾值，則判斷剩余的點(diǎn)無(wú)相關(guān)關(guān)系，判斷之前行人從畫面中消失，或當(dāng)前幀出現(xiàn)新的人。

上述方法可以在固定的線性時(shí)間內(nèi)求得可行解，而且只用到了當(dāng)前幀和之前幀的信息。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，在跟蹤中，還包括：將跟蹤結(jié)果與行人模型進(jìn)行匹配，以消除誤匹配、遮擋和漏檢測(cè)問題，其中，行人模型包含速度、當(dāng)前位置、色彩特征、第一次出現(xiàn)時(shí)間、軌跡和當(dāng)前狀態(tài)中的一種或多種參數(shù)。

可以理解的是，由于在跟蹤中，每一步只是簡(jiǎn)單考慮了間隔幀之間的關(guān)系，所以出現(xiàn)錯(cuò)誤匹配的可能性較大，而且在實(shí)際的視頻中由于遮擋以及誤檢測(cè)和漏檢測(cè)的影響，導(dǎo)致可能會(huì)出現(xiàn)跟蹤丟失等問題?；谏鲜龅膯栴}，本發(fā)明實(shí)施例提出一個(gè)行人模型，充分利用前面的跟蹤結(jié)果，消除誤匹配，并且允許目標(biāo)短時(shí)間內(nèi)消失已解決遮擋和漏檢測(cè)問題。

舉例而言，每個(gè)行人模型包含以下參數(shù)：

(1)速度：v

(2)當(dāng)前位置：(x，y)

(3)色彩特征：hist統(tǒng)計(jì)特征

(4)第一次出現(xiàn)時(shí)間：tappear

(5)軌跡(歷史坐標(biāo))：

(6)當(dāng)前：state

然后，在進(jìn)行多目標(biāo)跟蹤的時(shí)候就是當(dāng)前幀和已經(jīng)構(gòu)建好的行人模型進(jìn)行上述基于式的匹配。在得到最后的匹配結(jié)果后對(duì)每個(gè)行人模型進(jìn)行更新。具體更新分兩種情況，即在當(dāng)前幀中找到了與之對(duì)應(yīng)的匹配，則認(rèn)為改行人在這一幀被檢測(cè)到，若沒有找到符合要求的匹配，則認(rèn)為改行人在這一幀丟失。

若檢測(cè)到進(jìn)行如下的信息更新：

(1)速度：υ＝α*υ+(1-α)*υnew，υnew＝(xnew-ynew)(x，y)

(2)位置：(x，y)＝(x，y)+υ

(3)色彩特征：hist＝β*hist+(1-β)*histnew

(4)當(dāng)前狀態(tài)：state＝1

(5)軌跡更新：(xt，yy)＝(x，y)

其中，α是指數(shù)平滑項(xiàng)，來(lái)對(duì)行人的速度進(jìn)行平滑處理，減少每一幀估計(jì)誤差中噪聲對(duì)跟蹤結(jié)果的影響。而且注意到對(duì)行人位置不是直接利用當(dāng)前幀的位置進(jìn)行更新，而是先更新速度，然后通過速度在更新位置，這樣做的好處是可以利用之前的速度信息，而且由于有最大速度限制，也會(huì)減少某一幀誤匹配帶來(lái)的問題，但會(huì)有一定的滯后性，即若物體的速度發(fā)生較大的變化，該模型需要較長(zhǎng)的時(shí)間來(lái)進(jìn)行修正，但是考慮到實(shí)際跟蹤問題中很少出現(xiàn)類似的情形，所以采取這種策略是利大于的。α的設(shè)定需要綜合考慮，若過小則無(wú)法起到濾波的效果，若過大則會(huì)對(duì)速度改變的響應(yīng)時(shí)間非常長(zhǎng)，在實(shí)驗(yàn)中經(jīng)過測(cè)試0.8-0.9之間是比較合理的。第三個(gè)是對(duì)行人模型進(jìn)行色彩特征進(jìn)行修正，β是修正系數(shù)，課已通過長(zhǎng)時(shí)間的修正是得模型中的色彩特征更符合該人原有的色彩特征，其中β不易過小，在本次試驗(yàn)中為β＝0.99，第四項(xiàng)是狀態(tài)的更新，行人模型的狀態(tài)有丟失和激活兩種狀態(tài)，若前一幀該行人處于丟失狀態(tài)，則需要修改狀態(tài)為激活。最后將這一幀的位置記錄到軌跡信息中。

若未檢測(cè)到進(jìn)行信息更新：

(1)速度：υ＝γ*υ，0≤γ≤1

(2)位置：(x，y)＝(x，y)+υ

(3)色彩特征：不變

(4)軌跡更新：(xt，yy)＝(x，y)

(5)當(dāng)前狀態(tài)：state＝state-1

未檢測(cè)到行人有兩種情況，一種是該行人從攝像機(jī)畫面中消失，另外一種是由于遮擋或者誤檢測(cè)和誤匹配導(dǎo)致的未檢測(cè)到該行人。對(duì)于前一種情形只需要?jiǎng)h除該行人就可以。對(duì)于第二種情形需要保留該行人的所有信息，而且盡可能的為下次檢測(cè)匹配做好準(zhǔn)備。在實(shí)際中，首先有一個(gè)速度衰減項(xiàng)γ，行人在丟失后可以繼續(xù)按照原先的速度前進(jìn)，這樣下一幀進(jìn)行匹配的時(shí)候可以出現(xiàn)在合適的位置，容易得到正確匹配，另外需要對(duì)速度進(jìn)行衰減，這樣做的好處是可以增加系統(tǒng)的穩(wěn)定性，在實(shí)驗(yàn)中γ不易選的過大，過大容易使得行人在丟失后由于沒有真實(shí)的信息對(duì)其進(jìn)行修正，移動(dòng)速度過快不僅會(huì)導(dǎo)致自己本身很難再次別檢測(cè)到，也會(huì)影響到其他人的匹配，但也不易過小，過小則丟失后該模型很快停在原地，同樣會(huì)帶來(lái)上述的問題，在實(shí)際過程中一般去γ＝0.9。然后利用速度更新位置信息。同樣的將當(dāng)前位置添加到軌跡中。最后是十分重要的狀態(tài)調(diào)整環(huán)節(jié)，state經(jīng)過上述的調(diào)整，可以反映該行人丟失幀數(shù)，若一個(gè)行人在較長(zhǎng)的一段時(shí)間內(nèi)都沒有被激活，則算法會(huì)認(rèn)為該行人已經(jīng)永遠(yuǎn)的從監(jiān)控區(qū)域消失，可以將該行人從列表中移除。

最終，將每個(gè)攝像機(jī)畫面以及實(shí)時(shí)的跟蹤結(jié)果顯示到一起，如圖7所示。

根據(jù)本發(fā)明實(shí)施例提出的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤方法，結(jié)合多個(gè)相機(jī)的信息，同時(shí)考慮攝像機(jī)間的幾何信息，以及目標(biāo)的表觀和時(shí)空特征實(shí)現(xiàn)更有效的數(shù)據(jù)融合，并且利用hough投票確定行人3d位置，利用攝像機(jī)先驗(yàn)，消除傳統(tǒng)方法基于立足點(diǎn)估計(jì)不準(zhǔn)確的影響，且直接跟蹤行人的3d位置實(shí)現(xiàn)以更有效的人分析，以及引入行人模型，綜合考慮多幀的跟蹤結(jié)果，并且考慮行人空間位置和行走軌跡，實(shí)現(xiàn)更加魯棒的多目標(biāo)跟蹤，其中，通過攝像信息和幾何信息進(jìn)行多個(gè)攝像頭之間的人體特征匹配，實(shí)現(xiàn)目標(biāo)的跟蹤，有效結(jié)合目前的多目標(biāo)跟蹤算法和多攝像頭處理方法，并且利用攝像設(shè)備網(wǎng)絡(luò)位姿關(guān)系矩陣，從而實(shí)現(xiàn)基于多攝像頭的多目標(biāo)物體跟蹤目的，在提高物體跟蹤的魯棒性的同時(shí)，減少跟蹤誤差，提高跟蹤的準(zhǔn)確性。

其次參照附圖描述根據(jù)本發(fā)明實(shí)施例提出的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤裝置。

圖8是本發(fā)明實(shí)施例的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖。

如圖8所示，該基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤裝置10包括：預(yù)處理模塊100、采集模塊200和跟蹤模塊300。

其中，預(yù)處理模塊100用于對(duì)不同的色彩空間進(jìn)行圖像預(yù)處理，使圖片在色溫和色調(diào)上一致，以獲取多個(gè)攝像設(shè)備的攝像信息。采集模塊200用于通過攝像設(shè)備的投影矩陣建立2d點(diǎn)的對(duì)應(yīng)關(guān)系，以獲取多個(gè)攝像設(shè)備之間的幾何信息，其中，投影矩陣為關(guān)于3d世界的投影矩陣。跟蹤模塊300用于根據(jù)攝像信息和幾何信息進(jìn)行多個(gè)攝像頭之間的人體特征匹配，以利用跟蹤目標(biāo)的表觀和時(shí)空特征獲取每個(gè)攝像設(shè)備畫面以及實(shí)時(shí)的跟蹤結(jié)果。本發(fā)明實(shí)施例的裝置10通過結(jié)合目前的多目標(biāo)跟蹤算法和多攝像頭處理方法，并且利用攝像設(shè)備網(wǎng)絡(luò)位姿關(guān)系矩陣，從而實(shí)現(xiàn)基于多攝像頭的多目標(biāo)物體跟蹤目的，在提高物體跟蹤的魯棒性的同時(shí)，減少跟蹤誤差，提高跟蹤的準(zhǔn)確性。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，跟蹤模塊300還用于在多個(gè)攝像設(shè)備中任意一個(gè)攝像設(shè)備檢測(cè)到跟蹤目標(biāo)時(shí)，通過投影矩陣將跟蹤目標(biāo)的位置投影到地面對(duì)應(yīng)的坐標(biāo)系中，并且將所有的點(diǎn)進(jìn)行聚類分析，以獲取多個(gè)攝像設(shè)備中其它攝像設(shè)備中的同一個(gè)跟蹤目標(biāo)。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，跟蹤模塊300還用于獲取所有結(jié)果中最優(yōu)的組，最優(yōu)的組為攝像設(shè)備數(shù)目最多且相位位置誤差最小，并且通過最優(yōu)的組確定跟蹤目標(biāo)的3d坐標(biāo)，以根據(jù)跟蹤目標(biāo)的3d坐標(biāo)去除組中所選的偏差大于第一預(yù)設(shè)值的點(diǎn)，并且在剩余的點(diǎn)中選擇偏差小于第二預(yù)設(shè)值的點(diǎn)，移除集合，直至所有的點(diǎn)選出集合。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，本發(fā)明實(shí)施例的裝置10還包括：定位模塊。其中，定位模塊用于采用hough投票方法，并且根據(jù)人體多個(gè)攝像設(shè)備的位置以及攝像設(shè)備的位姿信息確定行人的位置。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，本發(fā)明實(shí)施例的裝置10還包括：匹配模塊。其中，匹配模塊用于將跟蹤結(jié)果與行人模型進(jìn)行匹配，以消除誤匹配、遮擋和漏檢測(cè)問題，其中，行人模型包含速度、當(dāng)前位置、色彩特征、第一次出現(xiàn)時(shí)間、軌跡和當(dāng)前狀態(tài)中的一種或多種參數(shù)。

需要說明的是，前述對(duì)基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤方法實(shí)施例的解釋說明也適用于該實(shí)施例的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤裝置，此處不再贅述。

根據(jù)本發(fā)明實(shí)施例提出的基于時(shí)空約束的跨鏡頭多目標(biāo)跟蹤裝置，結(jié)合多個(gè)相機(jī)的信息，同時(shí)考慮攝像機(jī)間的幾何信息，以及目標(biāo)的表觀和時(shí)空特征實(shí)現(xiàn)更有效的數(shù)據(jù)融合，并且利用hough投票確定行人3d位置，利用攝像機(jī)先驗(yàn)，消除傳統(tǒng)方法基于立足點(diǎn)估計(jì)不準(zhǔn)確的影響，且直接跟蹤行人的3d位置實(shí)現(xiàn)以更有效的人分析，以及引入行人模型，綜合考慮多幀的跟蹤結(jié)果，并且考慮行人空間位置和行走軌跡，實(shí)現(xiàn)更加魯棒的多目標(biāo)跟蹤，其中，通過攝像信息和幾何信息進(jìn)行多個(gè)攝像頭之間的人體特征匹配，實(shí)現(xiàn)目標(biāo)的跟蹤，有效結(jié)合目前的多目標(biāo)跟蹤算法和多攝像頭處理方法，并且利用攝像設(shè)備網(wǎng)絡(luò)位姿關(guān)系矩陣，從而實(shí)現(xiàn)基于多攝像頭的多目標(biāo)物體跟蹤目的，在提高物體跟蹤的魯棒性的同時(shí)，減少跟蹤誤差，提高跟蹤的準(zhǔn)確性。

在本發(fā)明的描述中，需要理解的是，術(shù)語(yǔ)“中心”、“縱向”、“橫向”、“長(zhǎng)度”、“寬度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”“內(nèi)”、“外”、“順時(shí)針”、“逆時(shí)針”、“軸向”、“徑向”、“周向”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。

此外，術(shù)語(yǔ)“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個(gè)該特征。在本發(fā)明的描述中，“多個(gè)”的含義是至少兩個(gè)，例如兩個(gè)，三個(gè)等，除非另有明確具體的限定。

在本發(fā)明中，除非另有明確的規(guī)定和限定，術(shù)語(yǔ)“安裝”、“相連”、“連接”、“固定”等術(shù)語(yǔ)應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或成一體；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通或兩個(gè)元件的相互作用關(guān)系，除非另有明確的限定。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解上述術(shù)語(yǔ)在本發(fā)明中的具體含義。

在本發(fā)明中，除非另有明確的規(guī)定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接觸，或第一和第二特征通過中間媒介間接接觸。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或僅僅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或僅僅表示第一特征水平高度小于第二特征。

在本說明書的描述中，參考術(shù)語(yǔ)“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對(duì)上述術(shù)語(yǔ)的示意性表述不必須針對(duì)的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。此外，在不相互矛盾的情況下，本領(lǐng)域的技術(shù)人員可以將本說明書中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié)合和組合。

盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對(duì)本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。