本發(fā)明涉及一種基于稠密軌跡小片段的異常行為檢測方法，屬于圖像處理技術的領域。

背景技術：

近年來擁擠環(huán)境下的公共安全正在被高度關注。視頻監(jiān)控系統(tǒng)正在被廣泛應用在例如街道安全，交通分析，地鐵運輸安全等領域。由于在擁擠和動態(tài)環(huán)境下的行人遮擋和光照條件等的變化，傳統(tǒng)的機器視覺方法已經(jīng)不能滿足檢測需求。這其中，一個主要的挑戰(zhàn)就是在擁擠的環(huán)境下，根據(jù)時空域來進行異常行為分析。以上的情況說明了異常行為檢測的挑戰(zhàn)性和難度。

異常行為檢測的首要問題是它沒有明確的定義。因此，所有異常行為檢測方法都是基于檢測出罕見的發(fā)生事件，并視為異常。視頻序列被分為時空組成部分來提取上下文信息，并根據(jù)這些上下文信息來進行異常行為分析。由此可見異常行為的定義取決于上下文信息。換句話說，在一個特定上下文中的異常行為放在其他上下文環(huán)境下可能就成了正常行為。

現(xiàn)有的檢測方法在檢測過程中，通常對整幅圖片進行異常行為的檢測，并沒有判定圖像中可能發(fā)生異常的區(qū)域。由于搜索區(qū)域的維度較大，傳統(tǒng)方法無法有效地保證檢測的準確性和快速性。

技術實現(xiàn)要素：

本發(fā)明所要解決的技術問題在于克服現(xiàn)有技術的不足，提供一種基于稠密軌跡小片段的異常行為檢測方法，解決現(xiàn)有的檢測方法在檢測過程中，搜索區(qū)域的維度較大，無法有效地保證檢測的準確性和快速性的問題。

本發(fā)明具體采用以下技術方案解決上述技術問題：

一種基于稠密軌跡小片段的異常行為檢測方法，包括以下步驟：

步驟a、將視頻劃分為時空小方塊；

步驟b、在時空小方塊內構建稠密光流域以獲取稠密軌跡小片段；及利用軌跡小片段方向直方圖從角度和幅值量化軌跡小片段，得到軌跡小片段所對應的hot描述子；

步驟c、將所得軌跡小片段的hot描述子作為碼本單詞構建碼本，根據(jù)碼本單詞及構建的碼本建立軌跡小片段的相似性拓撲結構，并利用先驗概率檢測方法計算每個時空小方塊中的軌跡小片段是否異常，及根據(jù)碼本中碼本單詞的相似性判定所對應的軌跡小片段是否為異常。

進一步地，作為本發(fā)明的一種優(yōu)選技術方案：所述步驟b獲取稠密軌跡小片段包括：

從構建稠密光流域獲取興趣點，跟蹤光流域的興趣點獲取跟蹤軌跡；

由跟蹤軌跡在時空小方塊的若干個幀內形成稠密軌跡小片段。

進一步地，作為本發(fā)明的一種優(yōu)選技術方案：所述步驟b計算軌跡小片段的方向和幅值采用公式：

其中，表示時空小方塊i中軌跡小片段t的角度；mag^t,i時空小方塊i中軌跡小片段t的幅值；和表示時空小方塊i中軌跡小片段t的進出點；f和f+1表示時空小方塊的鄰域幀。

進一步地，作為本發(fā)明的一種優(yōu)選技術方案：所述步驟c包括將相似的hot描述子歸為同一個碼本單詞來構建碼本。

進一步地，作為本發(fā)明的一種優(yōu)選技術方：所述步驟c還包括利用歐式距離權重升級碼本單詞。

進一步地，作為本發(fā)明的一種優(yōu)選技術方案：所述步驟c建立軌跡小片段的相似性拓撲結構包括：

定義軌跡小片段的集合，確定每個軌跡小片段至集合中心軌跡小片段的相對位置；

根據(jù)每個軌跡小片段以及其與中心軌跡小片段的相對位置，確定軌跡小片段的集合以及軌跡小片段的拓撲結構。

本發(fā)明采用上述技術方案，能產生如下技術效果：

本發(fā)明公開了一種基于分析稠密軌跡小片段的視頻異常行為檢測方法。首先，為了獲取上下文信息，本方法將視頻劃分為時空小方塊。其次，構建稠密光流域以獲取稠密軌跡小片段。然后利用軌跡小片段方向直方圖從方向和幅值來量化軌跡小片段。最后，本發(fā)明建立軌跡片段的拓撲結構，采用拓撲構建方法來分組相似的時空軌跡小片段來構建碼本來減少搜索區(qū)域的維度，并利用概率機制檢測異常行為。不同于傳統(tǒng)的光流方法，稠密跟蹤軌跡方法更加有效地表示視頻序列。公共數(shù)據(jù)集ucsd,subway和mall等的測試體現(xiàn)出了本算法的檢測效率。實驗表明本算法在實時性和準確性等的性能優(yōu)于傳統(tǒng)的基于光流法等的方法。

附圖說明

圖1為本發(fā)明方法的流程示意圖。

圖2為本發(fā)明中時空小方塊的構建示意圖。

圖3為本發(fā)明中在w的像素尺寸內得到稠密軌跡小片段示意圖。

圖4(a)至圖4(c)為本發(fā)明中hot的形成過程示意圖。其中圖4(a)中圓圈大小表示軌跡小片段的幅值。圖4(b)為只考慮出入點的情況來計算角度信息。圖4(c)為hot直方圖的表示示意圖。

圖5為本發(fā)明中上半部分表示數(shù)據(jù)集中的幾幀圖像。下半部分表示hot描述子的方向和幅值投影。

圖6為本發(fā)明中碼本單詞的構建的示意圖。

圖7(a)為本發(fā)明中集合中一個軌跡小片段的時空關系。圖7(b)碼本單詞對應于集合ei中的軌跡小片段的示意圖。

圖8為本發(fā)明視頻中時空小方塊的相似性地圖構建的示意圖。

圖9(a)至圖9(p)為ucsd數(shù)據(jù)集異常行為檢測過程示意圖，其中檢測出的異常行為用黑色方框表示。

圖10(a)至圖10(p)為本發(fā)明中地鐵入口和出口的異常行為檢測過程示意圖。其中圖10(a)至10(h)顯示了入口檢測幀，圖10(h)至10(p)顯示了出口檢測幀。異常行為被黑色方框標記出。

圖11(a)至圖11(l)為本發(fā)明中mall數(shù)據(jù)集的異常行為檢測過程示意圖。其中，異常行為在圖中由黑色方框顯示。

具體實施方式

下面結合說明書附圖對本發(fā)明的實施方式進行描述。

如圖1所示，本發(fā)明提供一種基于稠密軌跡小片段的異常行為檢測方法，方法具體包括以下步驟：

步驟a、為了獲取上下文信息，將視頻劃分為時空小方塊。

本發(fā)明提出了一個快速在線無監(jiān)督學習檢測方法。首先要進行時空小方塊的構建，這充分利用了物體的運動信息。構建的3d時空小方塊的尺寸是vx*vy*vt。其中vx*vy是空間窗口的大小，vt是時間域的深度。以上的步驟產生了一系列視頻金字塔結構。圖2顯示了時空小方塊的構建過程示意圖。在空間上，時空小方塊分割為許多不重疊的窗口，每幀圖片被分為幾個部分：f＝fx*fy，并且每個小方塊由vt幀組成。本發(fā)明的描述子即是在這些時空小方塊中對軌跡小片段進行量化。

步驟b、在時空小方塊內構建稠密光流域以獲取稠密軌跡小片段；及利用軌跡小片段方向直方圖從角度和幅值量化軌跡小片段，確定獲得軌跡小片段所對應的hot描述子。

本發(fā)展中稠密軌跡的提取通過跟蹤光流域的興趣點來得出。一旦稠密光流域被建立起來，興趣點的數(shù)量就可以輕松得到。除此之外，本發(fā)明引入了平滑約束來讓軌跡免得更加魯棒。稠密軌跡可以從多種空間尺寸獲得。興趣點在一個包含w個像素的窗口中被取樣并跟蹤，通過實驗發(fā)現(xiàn)當w＝5時，可以獲得較好的效果。根據(jù)興趣點跟蹤的到的軌跡由下式表示：

其中ptn表示在t幀中第n個軌跡的2d坐標

為了提取稠密光流域，本發(fā)明利用了opencv庫中實現(xiàn)的算法。該算法被證明在速度和準確性上達到了較好的平衡。

在跟蹤的過程中，軌跡傾向于從它們的初始位置產生漂移。為了避免此現(xiàn)象，本發(fā)明將軌跡的長度限制在vt幀里。這就是要建立時空小方塊的原因。一旦軌跡的長度達到了vt，就將它從跟蹤的過程中移除，并形成軌跡小片段，其過程如圖3所示。可以發(fā)現(xiàn)稠密軌跡法比通過klt方法得出的軌跡小片段更加魯棒。為了更好地提取運動信息，本發(fā)明在軌跡周圍的時空小方塊內對描述子進行計算。

以及，所述軌跡小片段的hot描述子的獲取過程為：在3d視頻時空小方塊內的興趣點周圍利用局部描述子進行計算。軌跡小片段在時空上代表可剛性物體的運動信息。為了達到行人運動的行為理解目的，本發(fā)明引入了方向軌跡小片段直方圖hot來描述運動信息。

由于不用的區(qū)域通常展現(xiàn)出不同的運動模式，本發(fā)明引入的描述子就是在時空小方塊中描述運動軌跡的統(tǒng)計信息，所示圖4(a)至圖4(c)為本發(fā)明中hot的形成過程示意圖。其中圖4(a)中圓圈大小表示軌跡小片段的幅值。圖4(b)為只考慮出入點的情況來計算角度信息。圖4(c)為hot直方圖的表示示意圖。

由圖4(a)所示，在第一步中，利用光流域提取所有稠密軌跡小片段。對于每一幀，在興趣點處生成新的軌跡小片段。對于一個給定的視頻序列，含有n個軌跡小片段{t¹,...,t^k,...,tⁿ}。軌跡小片段的長度取決于視頻序列的幀率，攝像機的相關位置和場景中運動模式的緊密度。這個過程產生了一大堆用來描述運動模式的軌跡小片段。

圖4(b)所示的第二個步驟中，視頻序列被分為vx*vy*vt大小的時空小方塊。對于每個小方塊，軌跡小片段的幅值和角度的計算公式如下：

其中，表示時空小方塊i中軌跡小片段t的角度；mag^t,i時空小方塊i中軌跡小片段t的幅值；和表示時空小方塊i中軌跡小片段t的進出點。f和f+1表示指控小方塊的鄰域幀。圖4(a)和圖4(b)描述了軌跡小片段的概念。

最后，幅值和方向由符號mag和分別表示。直方圖槽bα,mag的形成由簡單統(tǒng)計幅值角度對的出現(xiàn)次數(shù)得出。對直方圖進行標準化過程以便量化運動信息。

本發(fā)明引入的描述子是基于幀來計算的。為了獲取運動上下文信息，考慮時空小方塊中幀的范圍為k-vt/2到k+vt/2。hot描述子的符號由來表示。由于(1)未來幀信息的需要；(2)異常開始發(fā)生時描述子仍然包含前幾個正常幀的信息，本方法的異常檢測會存在不確定性。但是由于引入了vt，這是可接受的。hot描述子表示了每個子區(qū)域的期望運動模式，這包含了運動的方向和幅值。圖5展示了ucsd數(shù)據(jù)集中的6幀hot描述子的投影圖像。幅值的大小由白的深度來表示。最終由實驗所示，在特定場景中方向可以被統(tǒng)計出。具體的參數(shù)選擇會在實驗部分給出。

步驟c、由軌跡小片段的hot描述子作為碼本單詞構建碼本，根據(jù)碼本單詞及構建的碼本建立軌跡小片段的相似性拓撲結構，并利用先驗概率檢測方法計算每個時空小方塊中的軌跡小片段是否異常，根據(jù)碼本中碼本單詞的相似性判定所對應的軌跡小片段是否為異常，即為將與碼本中的碼本單詞的相似性較低的軌跡小片段確定為異常。具體如下：

步驟c1、首先，構建碼本過程。具體為：在本發(fā)明上述步驟中，一系列軌跡小片段已經(jīng)形成。但是，所形成的描述子數(shù)量非常龐大。例如，在一個一分鐘的視頻片段內可包含10⁶個軌跡小片段。因此，采用以下方法的原因是提高算法的效率。而且，雖然這些hot描述子具有很豐富的信息，它們仍然是獨立的。因此，將相似的槽分成一組來減少搜索區(qū)域的維度。

在本算法中，行人的行為由hot描述子描述，與此同時用碼本單詞和碼本來描述可視特征。本發(fā)明中，可以將相似的hot描述子歸為同一個碼本單詞來構建碼本，將無序的碼本單詞放在一起構建成為碼本。相似的hot描述子組成了一個碼本，由字母b表示。hot描述子與碼本構建的邏輯關系即是將包含相似信息的hot描述子放在一起，形成一個碼本單詞。每個hot描述子都包含了視頻片段中的運動軌跡信息。利用這個碼本單詞來描述此類具有較相似信息的描述子。由圖6所示。

第一個碼本單詞等于第一個b1。此后，通過比較軌跡小片段和碼本單詞的相似性來構建或升級碼本單詞。每個碼本單詞由權重di,j來升級。本發(fā)明使用了歐式距離權重。碼本單詞ci與bi的距離由下式所示：

本方法中，碼本單詞的更新頻率fj非常重要。最后得出一系列符合要求的碼本單詞c＝{ci}ni＝1來表示軌跡小片段。由于算法的目的是衡量新發(fā)現(xiàn)的集合與已經(jīng)發(fā)現(xiàn)的正常行為的相似性，碼本單詞的構建需要包含正常行為的視頻段。

初始碼本構建完成后，根據(jù)相似性di,j，bi就對應于其中一個碼本單詞cj。碼本單詞n的數(shù)量遠遠小于軌跡小片段n。另外，其他聚類方法例如k均值法也可用于碼本構建。對于不同的數(shù)據(jù)集，碼本構建的數(shù)目也不同，碼本構建的數(shù)目大約為20個左右。

步驟c2、建立軌跡小片段的相似性拓撲結構，本發(fā)明采用拓撲構建方法來分組相似的時空軌跡小片段來構建碼本來減少搜索區(qū)域的維度。其具體過程為：對于異常行為檢測，上下文時空信息是非常重要的。傳統(tǒng)的異常行為檢測方法得出的是一系列無關時空信息的軌跡小片段。本發(fā)明引用了概率機制來量化軌跡小片段?？紤]hot描述子產生的碼本單詞，b代表hot描述子，c代表所構建的碼本。

本發(fā)明引用了一個新的可視發(fā)現(xiàn)：疑問。引入它的目的就是估計疑問中的每個軌跡小片段為正常的可能性。為了完成此工作，考慮每個軌跡小片段的周圍區(qū)域r，通過衡量疑問中軌跡小片段的排列的相似性來計算異?？赡苄?。r中包含了許多軌跡小片段，將其稱之為視頻中軌跡小片段的集合?？紤]到軌跡小片段集合的表示，異常行為檢測即建立新發(fā)現(xiàn)的集合和舊集合之間的相似性地圖。為此，本發(fā)明考慮了軌跡小片段集合的拓撲相似性來獲取它們的上下文信息。引入疑問的目的即是為了在r范圍內使用不同時空尺度來獲取軌跡小片段信息。即疑問屬于發(fā)現(xiàn)的一種，為了在不同的時空尺度上獲取軌跡小片段而引入。

軌跡小片段的集合用ei表示。它的空間中點為(xi,yi,ti)，包含了k個軌跡小片段。具體來說，ei以bi代表的軌跡小片段為中心，這個軌跡小片段的中點坐標即(xi,yi,ti)，也是軌跡小片段所在視頻小方塊的中心坐標。圖7(a)顯示了軌跡小片段集合的相對時空坐標。定義是第k個軌跡小片段的相對位置，bk的中點是(xk,yk,tk)。的定義由下式給出：

其中k是集合中軌跡小片段的總數(shù)。

然后每個位置為(xi,yi,ti)的軌跡小片段集合由一系列軌跡小片段以及它們與中心軌跡小片段的相對位置來表示：

碼本單詞c∈c對應于每一個軌跡小片段。每個軌跡小片段集合bk的相似性有公式(4)得出?？紤]軌跡小片段對應的碼本單詞，每個軌跡小片段的集合可由一系列碼本單詞和他們的時空關系決定。假設是軌跡小片段的描述子的空間，c是上個部分建立的碼本。定義c：b→c為一個隨機變量，這將一個碼本單詞對應于一個軌跡小片段。假設c：b→c是表示將碼本單詞對應于集合中的中心軌跡小片段，則δ：r³→r³是表示碼本單詞c和中心軌跡小片段c'的相對位置。給定上述一系列假設后，軌跡小片段的集合可由碼本單詞和他們的時空關系圖表示。由圖7(b)所示。定義過軌跡小片段的表示方法，并給出對應于hot描述子的碼本單詞后，一系列描述每個碼本單詞的拓撲的假設可被定義。這些假設用來建立新舊發(fā)現(xiàn)中碼本單詞的拓撲之間的相似性地圖。考慮每個假設，h，表示成拓撲即h＝(c,c’,δ)。因此，一系列假設h表示每個hot描述子的拓撲。定義如下式：

假設現(xiàn)在考慮對每幀視頻進行取樣。假設表示一個新發(fā)現(xiàn)，其中bk表示集合ei中任意發(fā)現(xiàn)的軌跡小片段，bi表示集合的中心軌跡小片段，是bk和bi的相對位置，目的是衡量每個發(fā)現(xiàn)中假設的概率。因此，給定一個發(fā)現(xiàn)o，每個假設h的先驗概率是：

給定發(fā)現(xiàn)了的軌跡小片段公式(8)中的先驗概率定義了發(fā)現(xiàn)碼本單詞c,c’和它們相對位置δ的概率。那么公式(8)可重寫為：

由于一個軌跡小片段bk被發(fā)現(xiàn)，并替換為一個假設的解釋c，那么公式(9)中右半部分的第一個因子可以被視為與bk無關。并且，假設軌跡小片段bk和bi是獨立的。因此，(9)中右半邊的第二個因子bi可以被移除。因此(9)可以重寫為：

另一方面，對應于一個軌跡小片段的碼本單詞與它的位置無關，所以(10)可以重寫為：

將(11)重寫得到：

類似地，假設碼本單詞和它們的位置無關，那么(12)可以重寫為：

給定對應于軌跡小片段的碼本單詞c，以及對應于中心軌跡小片段的碼本單詞c’，公式(13)中等式右邊的第一個因子是時空位置δ的概率。因此，給出一系列軌跡小片段集合，可以建立參數(shù)模型和非參數(shù)估計。本發(fā)明中運用了混合高斯模型。高斯模型的參數(shù)利用一個期望值來優(yōu)化。在公式(13)的等式右邊的第二第三個因子p(c’|bi)和p(c|bk)表示了每個碼本單詞的入口，它們由碼本單詞的分配過程來得出。

利用本發(fā)明方法，上述集合組成的可能性可簡單計算得出，而不是比較數(shù)據(jù)集中的所有其他軌跡小片段。本發(fā)明接下來介紹了異常行為的檢測方法，即選擇出發(fā)生可能性低的事件。本發(fā)明方法更能保持軌跡小片段的時空排列信息同時減少系統(tǒng)配置要求。

步驟c3、利用先驗概率檢測方法計算每個時空小方塊中的軌跡小片段是否異常，將碼本中的碼本單詞的相似性較低的軌跡小片段確定為異常行為，即通過比較碼本中的碼本單詞的相似性來區(qū)分行人行為是否異常。

本發(fā)明考慮了一系列連續(xù)的監(jiān)控系統(tǒng)場景。對于每個空間樣本t，一個簡單圖片被添加到已發(fā)現(xiàn)視頻幀中，從而形成了疑問q。每個疑問中的時空小方塊的先驗概率用它周圍的軌跡小片段集合來計算，并決定該時空小方塊是否為異常。

公式(5)詳細描述了集合h的拓撲假設。疑問中的軌跡小片段的集合的先驗概率表示為期中，表示以(xi,yi,ti)為中點的疑問中的軌跡小片段的集合。因此，給出新舊集合的相似性就被計算出了。也就是說，先驗概率應該被最大化：

由于本發(fā)明用中心軌跡小片段和它與周圍軌跡小片段的相對位置來表示每個集合，并假設每個發(fā)現(xiàn)的軌跡小片段是獨立的，那么上述公式等式的右側可重寫為集合中每個軌跡小片段的先驗概率的產物：

其中，tk是中的軌跡小片段。ti是的中心軌跡小片段。是tk的相對位置，k是集合中軌跡小片段的總數(shù)。比較于(13)，公式(15)中的明顯可以重寫為：

因此(14)中的最大先驗概率可以寫為：

疑問中每個軌跡小片段的先驗概率在碼本單詞分配過程中被直接地計算出了。先驗概率的計算使用了概率分布估計函數(shù)。

總結來說，一開始疑問q在不同的時空尺度上被稠密取樣來建立時空小方塊來獲取不同尺度的軌跡信息。q與發(fā)現(xiàn)o的關系即q是o的其中一種。o即表示一種拓撲關系，但是q是在不同時空尺度上構建拓撲關系。利用公式(4),每個軌跡小片段tk被對應于一個碼本單詞c。然后每個時空小方塊是否異常的概率由集合中軌跡小片段的時空排列來計算。計算過程包含了新發(fā)現(xiàn)和舊發(fā)現(xiàn)的數(shù)據(jù)。異常行為的位置信息由閾值化的相似性地圖得出,如圖8所示。

眾所周知，包含異常行為的視頻段與已發(fā)現(xiàn)視頻之間的相似性較低。因此本發(fā)明利用相似性地圖來判定異常行為。相似性地圖的構建基于一個閾值。在本發(fā)明的實驗部分，本發(fā)明統(tǒng)一采用了一個閾值來應用在所有測試集上，并畫出相似性地圖。并且在相似性地圖構建前，本發(fā)明引入了時空中值濾波來減小了噪聲的影響。

為了驗證本發(fā)明的方法能夠通過建立軌跡片段的拓撲結構，并利用概率機制檢測異常行為，特列舉驗證例進行說明。

本發(fā)明引入了許多數(shù)據(jù)集來衡量本異常行為算法的效率和準確性。本發(fā)明用了三個異常行為數(shù)據(jù)集：ucsd行人數(shù)據(jù)集，此數(shù)據(jù)集最近公布并包含兩個集合；subway數(shù)據(jù)集；mall監(jiān)控數(shù)據(jù)集。除了第一個數(shù)據(jù)集，另外兩個都是在真事場景下采集的。為了評判算法性能，本發(fā)明將所提出算法與其他算法進行比較。例如組成推理法(ibc)，混合動態(tài)紋理法(mdt)，時空馬可夫隨機域法(st-mrf),局部光流法，以及時空方向能量濾波法。其中ibc法近年來被視為基于像素法的較精確方法之一，與本算法具有相似性能。ibc法通過驗證時空小方塊和它周圍區(qū)域的排列來計算圖像中每個點的異?？赡苄?。st-mrf法用局部光流的多重概率pca模型來建模正常行為，而mdt法可視為基于紋理的動態(tài)模型延伸，并且能夠同時檢測時空異常。雖然后者需要較龐大的訓練數(shù)據(jù)集，但由于其在ucsd數(shù)據(jù)集上有較好的表現(xiàn)，所以仍用于本發(fā)明的算法比較。

本發(fā)明使用的第一個數(shù)據(jù)集為ucsd數(shù)據(jù)集。此數(shù)據(jù)集包含了兩個行人行走的子數(shù)據(jù)集，期中含有隨機的異常行為發(fā)生。此數(shù)據(jù)集含有不同的擁擠場景，它其中的異常行為是非正常的行人行走方式，例如騎行、輪滑、推車前行以及輪椅前行。ucsd數(shù)據(jù)集的第一個子數(shù)據(jù)集ped1包含了34個正常的子視頻和36個包含異常的子視頻；第二個子數(shù)據(jù)集ped2包含了16個正常的子視頻和14個測試視頻。圖9(a)至圖9(p)顯示了本算法在這兩個子數(shù)據(jù)集上的異常行為檢測結果，檢測出的異常行為用黑色方框表示。圖中騎行，輪滑以及駕駛被標記為異常行為。

第二個數(shù)據(jù)集包含了地鐵站的兩個真實場景視頻。分別是入口和出口的監(jiān)控視頻。入口監(jiān)控視頻時長為96分鐘，它包含的正常行為包括下行穿過門禁進入站臺。入口視頻還包含了共66個異常行為，主要是行走方向錯誤，不規(guī)律的行人運動(突然行下、快速跑動)等。出口視頻的時長為43分鐘，包含了19個異常行為。主要是行走方向錯誤以及在出口處閑逛逗留。此數(shù)據(jù)集沒有標記訓練以及測試數(shù)據(jù)。圖10(a)至圖10(p)顯示了此數(shù)據(jù)集中的一些幀的異常行為檢測結果，其中圖10(a)至(h)顯示了入口檢測幀，圖10(h)至(p)顯示了出口檢測幀。異常行為被黑色方框標記出。異常行為檢測結果為：圖10(a)至(d)為一個行人不合法規(guī)地翻越入口；圖10(e)至10(h)一個人從入口走出；圖10(i)至(p)行人從出口進入。

第三個數(shù)據(jù)集mall數(shù)據(jù)集也是在真事實景下采集的，它的場景較前兩個場景更加擁擠，包含了2000個視頻幀中超過60000數(shù)量的行人。盡管此數(shù)據(jù)集的行人變化很復雜，但是異常行為的模式比較簡單，例如摔倒或者突然改變運動方向等。本實驗選用了其中的一個數(shù)據(jù)集，與subway數(shù)據(jù)集相似的是，此數(shù)據(jù)集也沒有訓練和測試序列。圖11(a)至圖11(l)顯示了此數(shù)據(jù)集的異常行為檢測結果，圖11(a)至(b)表示向遠離攝像機方向奔跑。圖11(c)至(e)表示向攝像機方向快速奔跑。圖11(f)至(k)表示一個人不停地來回踱步。圖11(l)表示一個女人彎腰撿物品。異常行為在圖中由黑色方框顯示。

最后，性能估計：衡量異常行為檢測算法的性能可以基于兩個層面：幀級和像素級。在幀級上檢測意味著只要此幀任意像素包含異常行為，則將此幀視為異常幀而不管它的位置。而像素級則將異常行為發(fā)生的位置精確到像素。本發(fā)明使用了基于像素級的檢測方法，將異常的時空小方塊作為異常檢測單位。很明顯，這在難度上要大于幀級檢測。

本發(fā)明在uscd數(shù)據(jù)集上進行了異常行為檢測，并將異常在正確結果圖上標記出來。因此檢測的異常時空小方塊會與正確結果圖進行比較。對于ucsd行人數(shù)據(jù)集，當實際異常行為的40％像素被檢測出時，就視為本方法檢測結果正確。否則視為誤檢。表格1顯示了本算法正確檢測的視頻幀檢測百分比，并與其它方法進行比較。本算法分別與其它7種方法做了比較，分別是mdt法,zaharescuandwildes,bertinietal,reddyetal,st-mrf,localopticalflow,ibc。

表格1

表格1的結果顯示出本方法和ibc方法在性能上優(yōu)于其它方法。而且，當空間發(fā)生變形時(ped1)本方法可檢測異常行為的魯棒性較高.實驗結果表明光流法在此數(shù)據(jù)集上的檢測結果不佳。相對于其它實時性算法，本算法在計算效率上也具有一定的優(yōu)勢。此外，本算法需要的初始化訓練幀也明顯少于其它算法?？梢钥闯觯昧藭r空上下文信息的方法例如時空方向能量濾波法以及本算法在速度上要優(yōu)于其它算法。

本發(fā)明也在其他真實場景數(shù)據(jù)集上做了實驗，即subway數(shù)據(jù)集。由于沒有提供只包含正常行為的訓練集，此數(shù)據(jù)集的訓練策略不同于ucsd數(shù)據(jù)集。因此本發(fā)明選擇了入口視頻的前5分鐘和出口視頻的前15分鐘作為初始化訓練集。實驗結果展示在表格2中。本發(fā)明將本算法與其它3中異常行為方法進行了比較。分別是稀疏重建法，st-mrf和局部光流法。實驗結果表明本方法在性能上達到了較好的效果。

表格2

在數(shù)據(jù)集subway上的對比實驗。表格中第四列的第一個數(shù)字表示檢測到的異常行為個數(shù)，第二個數(shù)字表示實際的異常行為個數(shù)。

雖然上述實驗結果表明本算法能在不同場景下檢測出復雜的異常行為，本發(fā)明仍然引入了mall數(shù)據(jù)集。此數(shù)據(jù)集采用了類似于subway數(shù)據(jù)集的初始化方法。本發(fā)明將本算法與其它兩個基于像素級的檢測方法進行了比較：時空方向能量法以及局部光流法。由于方法在此數(shù)據(jù)集中的檢測結果不理想，本發(fā)明沒有與它進行比較。表格3顯示了此數(shù)據(jù)集的實驗結果。實驗結果表明本算法在性能上優(yōu)于另外兩個對比算法。

表3

在數(shù)據(jù)集mall上的對比實驗。表格中第三列的第一個數(shù)字表示檢測到的異常行為個數(shù)，第二個數(shù)字表示實際的異常行為個數(shù)。

綜上，本發(fā)明的方法，利用稠密跟蹤軌跡更加有效地表示視頻序列。公共數(shù)據(jù)集ucsd,subway和mall等的測試體現(xiàn)出了本算法的檢測效率。實驗表明本算法的性能優(yōu)于傳統(tǒng)的基于光流法等的方法。

上面結合附圖對本發(fā)明的實施方式作了詳細說明，但是本發(fā)明并不限于上述實施方式，在本領域普通技術人員所具備的知識范圍內，還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。