一種針對視頻中運動目標檢測與跟蹤的解決方案的制作方法
【專利摘要】本發(fā)明公開一種針對視頻中運動目標檢測與跟蹤的解決方案，主要解決了視頻中指定感興趣區(qū)域的出現(xiàn)目標或者物體闖入的實時報警問題；視頻中多個目標的檢測與跟蹤問題。該方案將背景減除與GMM方法進行交替結(jié)合對背景圖像的更新與暫停更新，使得視頻中指定ROI區(qū)域的運動目標的運動與靜止狀態(tài)都能夠得到有效地捕捉，為異常目標檢測與持續(xù)實時報警提供一種新的解決方案。
【專利說明】
一種針對視頻中運動目標檢測與跟蹤的解決方案
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種計算機視覺、模式識別與智能系統(tǒng)、圖像處理技術(shù)。
【背景技術(shù)】
[0002] 對視頻圖像的運動分析是目前計算機視覺、模式識別領(lǐng)域的一個重要方向。視頻 圖像的分析也被廣泛應(yīng)用于高級人機交互、智能監(jiān)控如異常目標檢測與跟蹤、視頻會議、醫(yī) 療診斷、基于視頻內(nèi)容的檢索等等。視頻圖像的智能化分析主要包括目標檢測、跟蹤及目標 行為識別等。
[0003] 智能化的視頻圖像分析目的是將原始視頻圖像轉(zhuǎn)化為可供監(jiān)控人員判斷的有效 信息，輔助監(jiān)控人員及時并全面地了解視頻中所發(fā)生的事件，以達到系統(tǒng)智能化的目的，如 在什么地方、什么時間、目標具有什么樣的行為。
[0004] 基于視頻的目標檢測，主要是從視頻圖像幀中將運動變化的圖像區(qū)域，將其從背 景圖像中分割并提取。運動目標的有效分割（前景、背景提取）是視頻圖像分析的重要基 礎(chǔ)性工作。也是當今國內(nèi)外學者研究的熱點問題。
[0005] 按照不同標準，可將視頻運動分析的方法進行分類：（1)根據(jù)攝像機的數(shù)目，可 分為單攝像機與多攝像機。（2)根據(jù)攝像機是否運動，可分為攝像機靜止與攝像機運動。（3) 根據(jù)視頻圖像場景中運動目標的數(shù)量，可分為單目標分析與多目標分析。在本專利中，重點 關(guān)注的是靜態(tài)相機的單目標或者多目標分析問題，目標主要是關(guān)于如行人或者運動物體。
[0006] 動態(tài)視頻目標檢測技術(shù)是智能化視頻分析的研究基礎(chǔ)，在此，簡要分析目前應(yīng)用 非常廣發(fā)的動態(tài)視頻目標檢測方法：
[0007] 1、背景減除：該方法是運動目標檢測非常常用的一種，利用當前圖像與背景圖像 的差的方式，檢測出視頻序列中的前景目標。對于動態(tài)變化的場景，比如在光照變化較大或 其他噪聲的干擾情況下，背景減除的方式則比較敏感。背景減除方法的關(guān)鍵技術(shù)是背景的 建模，較為簡單的背景模型是對時序圖像的求平均，即對同一個場景在某一時間序列段內(nèi) 的圖像幀的灰度平均?；谏鲜鰰r序平均的背景建模方式，由于背景模型是固定不變的，故 視頻序列中，場景圖像的任何變化如噪聲干擾，都易當作前景目標并提取出，因而背景減除 的方式會導致前景目標提取的抗噪聲能力較差。
[0008] 2、高斯背景建模：高斯背景建模是一種經(jīng)典的自適應(yīng)混合高斯背景提取方法，是 一種基于背景建模的方法。建模過程中，背景圖像不斷地更新，以適應(yīng)多變的復雜背景。高 斯背景建模是根據(jù)視頻中的每個像素在時域上的分布情況來構(gòu)建各個像素的顏色分布，以 達到背景建模?；旌细咚贡尘澳Ｐ停℅MM)是有限個高斯函數(shù)的加權(quán)和，它能描述像素的多 峰狀態(tài)，更加適用于多光照漸變、小目標的干擾運動等，并對復雜背景進行準確建模。經(jīng) 過許多研究人員的不斷改進，混合高斯背景建模方法也已經(jīng)成為非常常用的前景/背景提 取。
[0009] 3、光流法：光流的概念是空間運動物體在觀察成像平面上的像素運動的瞬時速 度，是利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關(guān)性來找到上一幀跟當 前幀圖像之間存在的對應(yīng)關(guān)系，從而計算出相鄰幀之間物體的運動信息的一種方法。一般 而言，光流是由于場景中前景目標本身的移動、相機的運動，或者兩者的共同運動所產(chǎn)生 的。其計算方法可以分為三類：
[0010] (1)基于區(qū)域或者基于特征的匹配方法；
[0011] (2)基于頻域的方法；
[0012] ⑶基于梯度的方法；
[0013] 簡單來說，光流是空間運動物體在觀測成像平面上的像素運動的"瞬時速度"。光 流的研究是利用圖像序列中的像素強度數(shù)據(jù)的時域變化和相關(guān)性來確定各自像素位置的 "運動"。研究光流場的目的就是為了從圖像序列中近似得到不能直接得到的運動場。此外， 光流法的前提假設(shè)包含：
[0014] (1)相鄰視頻圖像幀之間的亮度恒定；
[0015] (2)相鄰視頻圖像幀的取幀時間連續(xù)，或者，相鄰視頻圖像幀之間物體的運動比較 "微小"；
[0016] (3)保持空間一致性；即，同一子圖像的像素點具有相同的運動。
[0017] 在攝像機固定不變時，對拍攝的視頻圖像的目標檢測與跟蹤的分析，共包含2個 主要的技術(shù)問題：
[0018] 1.視頻中指定感興趣區(qū)域的出現(xiàn)目標或者物體闖入的實時報警問題。
[0019] 2.視頻中多個目標的檢測與跟蹤問題。

【發(fā)明內(nèi)容】

[0020] 為解決上述技術(shù)問題，本發(fā)明提供了一種針對視頻中運動目標檢測與跟蹤的解決 方案。
[0021] 為達成以上所述的目的，本發(fā)明采取如下技術(shù)方案：
[0022] 1.針對攝像機靜止時所拍攝的視頻圖像幀，結(jié)合背景減除與GMM的交替方式，分 析視頻圖像在指定R0I區(qū)域是否有運動目標出現(xiàn)。當出現(xiàn)運動目標時，算法采用GMM對運動 目標進行分割，而當目標在R0I內(nèi)停止運動時，由于GMM無法切割目標的前景，此時則停止 GMM的背景更新，并利用GMM停止背景更新之前所獲得的最新背景圖像，作為背景減除的背 景，用于提取R0I區(qū)域的靜止目標，當目標從靜止狀態(tài)轉(zhuǎn)為運動狀態(tài)時，則繼續(xù)GMM的背景 更新過程，如此交替。通過這樣的方式，可有效捕捉目標在進入R0I區(qū)域后的任何狀態(tài)（靜 止或運動）的位置。
[0023] 2.結(jié)合圖像形態(tài)學的腐蝕、膨脹處理，對采用GMM獲取的前景目標圖像，利用腐蝕 處理，消除小顆粒狀的連通區(qū)域，進而采用膨脹處理，合并相鄰的大連通區(qū)域，最終利用大 連通區(qū)域，估計目標的最大外接矩形，從而切割出多個前景目標。此外，對目標運動軌跡的 跟蹤，則利用光流法，估計每個前景目標的最大外接矩形內(nèi)光流點的運動方向，并統(tǒng)計光 流點的方向直方圖，最強響應(yīng)方向即為目標運動方向。目標運動方向的估計，有助于當兩個 或多個目標的運動過程重疊時，可根據(jù)兩個或多個目標對應(yīng)的光流運動方向，使得重疊目 標在分離后，根據(jù)各個目標運動方向的慣性，使得對各個目標的判斷不產(chǎn)生混亂。
[0024] 采用如上技術(shù)方案的本發(fā)明，具有如下有益效果：
[0025] 1.相比單獨使用背景減除與GMM方法，將兩者進行交替結(jié)合對背景圖像的更新 與暫停更新，使得視頻中指定ROI區(qū)域的運動目標的運動與靜止狀態(tài)都能夠得到有效地捕 捉，為異常目標檢測與持續(xù)實時報警提供一種新的解決方案。
[0026] 2.利用二值形態(tài)學，通過提取前景圖像的連通區(qū)域，獲取視頻中出現(xiàn)的多個目標 及其最大外接矩形。同時，采用光流法，對各個目標的最大外界矩形內(nèi)的光流點的方向進行 直方圖統(tǒng)計，以判斷各個目標的運動方向，在目標間的運動出現(xiàn)重疊時，可通過方向信息， 使得各個重疊的運動目標在分離后的判斷不產(chǎn)生混亂。
【附圖說明】
[0027] 圖1異常目標實時檢測報警；
[0028] 圖2目標運動及跟蹤。
【具體實施方式】
[0029] 為了進一步說明本發(fā)明，下面進一步進行說明：
[0030] 1.異常目標檢測與報警方案：預(yù)先設(shè)定視頻圖像中需要被監(jiān)視的感興趣區(qū)域 (R0I)。若存在運動目標在某一個時刻進入R0I區(qū)域或者在某一段時間內(nèi)持續(xù)在R0I區(qū)域 內(nèi)出現(xiàn)，則系統(tǒng)自動警報。處理過程如下：
[0031] (1)系統(tǒng)初始化，初始化過程中需不包含異常目標出現(xiàn)在R0I區(qū)域內(nèi)。初始化過程 首先將第一幀圖像作為初始的背景幀，然后采用GMM的方式對背景圖像進行動態(tài)建模。在 高斯背景建模過程中，視頻場景圖像中的每一個像素的值可以由K個高斯成分組成的混合 分布來表示，即圖像中像素j在t的取值為\的概率為： K
[0032] = )其中表示t時刻像素j的混合高斯模型中第i 個高斯分類的權(quán)重，滿足這里和;分別表示第i個高斯成分的均值及 協(xié)方差，n表示高斯概率密度函數(shù)：
[0034] 其中d為Xj的維數(shù)。對于RGB顏色空間而言，可視為相互獨立，則協(xié)方差矩陣定 義為其中。表示標準差，I代表單位矩陣。
[0035] 在初始階段，如果對混合高斯參數(shù)初始化速度要求不高，那么像素點每個顏色通 道范圍為[0, 255]，可以對K個高斯分布直接初始化較大的，對每個高斯分布的權(quán)重取 winit=l/K，取第一幀圖像的每個像素的值來對混合高斯模型中的K個高斯分布的均值進行 初始化。
[0036] 隨著視頻場景圖像的不斷變化，每個像素的混合高斯模型都要不斷地被學習更 新。將混合高斯模型中的每個高斯分布按照由大到小排序，檢驗新獲取的圖像幀的 像素與混合高斯模型中的K個高斯分布是否匹配，假如新獲取的像素和混合高斯分布的某 個成分滿足下式就認為該像素與高斯分布相匹配（S為匹配閾值）
[0037]
[0038] 對于混合高斯模型而言，高斯成分的個數(shù)K是一個及其重要的變量，因為它直接 影響了算法的性能與計算效率，K的取值需大于等于2,通常在實時性要求較高或者視頻圖 像幀的分辨率較高時，K的取值通?？扇?或者3即可。
[0039] (2)R0I區(qū)域的異常目標檢測：經(jīng)過上述GMM的方式對R0I區(qū)域進行背景建模后， 即系統(tǒng)進入目標監(jiān)測中。倘若R0I區(qū)域無異常目標出現(xiàn)，則背景圖像（BK)不斷地通過GMM 實時更新。倘若R0I區(qū)域在某一時刻T存在運動目標進入，則轉(zhuǎn)入步驟（3)。
[0040] (3)提取R0I區(qū)域內(nèi)的前景圖像（FG)，由于前景圖像為二值圖（白色像素為運動 目標），因此，可統(tǒng)計二值R0I圖像中前景目標（白色像素）的面積area，area占圖像R0I 的總面積（area_image)的比例為 ratio = area/area_image。設(shè)定一個閾值 threshold， threshold的值需較小，以保證在目標進入R0I區(qū)域的瞬間可被捕捉到。當ratio > threshold，此時系統(tǒng)做持續(xù)報警處理，說明有異常目標進入R0I內(nèi)，并且，GMM停止對背景 圖像BK的更新。背景圖像BK停止更新后，對T時刻之后的前景圖像的分割，采用背景減除 的方式，如T時刻之后獲得的視頻圖像幀為IM，則將IM與BK進行對應(yīng)像素點的減法操作， 以提取前景目標。利用這樣的方式，可有效避免運動目標在R0I區(qū)域內(nèi)出現(xiàn)的GMM無法提 取靜止狀態(tài)下的目標。
[0041] (4)當目標在R0I內(nèi)持續(xù)運動或者靜止時，通過步驟（3)，可持續(xù)監(jiān)測到目標所 處的位置和時間段并做持續(xù)報警處理。當目標離開R0I區(qū)域時，ratio的值會不斷減小，當 ratio < threshold時，說明目標基本離開了 R0I區(qū)域，此時系統(tǒng)報警消除，并重新采用GMM 對背景圖像進行實時更新，并進入步驟（2)。
[0042] 通過上述四個步驟的方式，可有效自動監(jiān)測視頻圖像中的R0I區(qū)域內(nèi)出現(xiàn)異常目 標的持續(xù)實時報警處理。
[0043] 2.視頻中多個目標的檢測與跟蹤：
[0044] (1)對視頻中的運動目標，采用GMM的前景分割方式，提取視頻圖像幀的前景FG， GMM分割出的前景FG包含較多的顆粒連通區(qū)域。因此，可以采用二值形態(tài)學的方式，利用腐 蝕操作，將小顆粒連通區(qū)域進行消除，在通過膨脹的方式，將相鄰的較大連通區(qū)域合并成一 個更大的連通區(qū)域（相對完整的運動目標區(qū)域），通常，膨脹的結(jié)構(gòu)元素的大小較腐蝕的結(jié) 構(gòu)元素要大。上述腐蝕、膨脹以及連通區(qū)域的合并處理，依不同視頻圖像中運動目標情況的 不同，需設(shè)定不同的最優(yōu)值。
[0045] (2)提取前景圖像中的連通區(qū)域獲得對應(yīng)目標，對應(yīng)第i個連通區(qū)域面積為 area;。設(shè)定一個閾值threshold,當area;> threshold時，提取該區(qū)域?qū)?yīng)的最大外接矩 形MaxRecti，MaxRecti即為在視頻中尋找到的前景運動目標的位置。
[0046] (3)對最大外界矩形MaxRech，采用光流法，提取運動目標的運動方向。光流法的 目的是找到圖像中每個像素點的速度向量：度向量不僅有運動大小信息，還 包括了運動的方向信息。根據(jù)光流的微小運動和亮度恒定假設(shè)，對t時刻圖像位置，可以 得到I (X，y，t) = I (x+dx，y+dy，t+dt)。對該式用一階泰勒級數(shù)展開，可得到：
[0048] 即：Ixdx+Iydy+Itdt = 0,令 則 Ixu+Iyv = _It，即 ^
? L J 9 假設(shè)（u，V)的一個小的局部領(lǐng)域內(nèi)的亮度為恒定，則： 'xl '少1「~]人 1
[0049] JX2 Iy2 v=~ It2艮P =辦光流計算的目的是使得辦最小。 ? ? I J ?
[0052] 根據(jù)對MaxRecti內(nèi)的光流點的方向與大小，統(tǒng)計所有光流點在0~360°方向上 的直方圖分布（將〇~360°進行bin的量化），統(tǒng)計最大的方向，作為目標i的運動方向。
[0053] 通過上述三個步驟，可有效將視頻中每一個運動目標進行分割并賦予對應(yīng)目標i 的運動方向。當多個目標產(chǎn)生運動重疊時，可根據(jù)各個運動目標的方向運動慣性，在多個目 標分離時，提高對各個目標的判斷準確率。
[0054] 以上是對本發(fā)明的具體說明，本方案不僅僅局限在以上實施例中，針對在本方案 發(fā)明構(gòu)思下所做的任何改變都將落入本發(fā)明保護范圍內(nèi)。
【主權(quán)項】
1. 一種針對視頻中運動目標檢測與跟蹤的解決方案，其特征在于：提供了一種針對視 頻中運動目標檢測與跟蹤的解決方案。2. 根據(jù)權(quán)利要求1所述的解決方案，其特征在于：該方案解決了異常目標檢測與報警 問題。詳細方案如下：預(yù)先設(shè)定視頻圖像中需要被監(jiān)視的感興趣區(qū)域（ROI)。若存在運動目 標在某一個時刻進入ROI區(qū)域或者在某一段時間內(nèi)持續(xù)在ROI區(qū)域內(nèi)出現(xiàn)，則系統(tǒng)自動警 報。處理過程如下：（1)系統(tǒng)初始化，初始化過程中需不包含異常目標出現(xiàn)在ROI區(qū)域內(nèi)。 初始化過程首先將第一幀圖像作為初始的背景幀，然后采用GMM的方式對背景圖像進行動 態(tài)高斯建模。（2)R0I區(qū)域的異常目標檢測：經(jīng)過上述GMM的方式對ROI區(qū)域進行背景建模 后，即系統(tǒng)進入目標監(jiān)測中。倘若ROI區(qū)域無異常目標出現(xiàn)，則背景圖像（BK)不斷地通過 GMM實時更新。倘若ROI區(qū)域在某一時刻T存在運動目標進入，則轉(zhuǎn)入步驟（3)。（3)提取 ROI區(qū)域內(nèi)的前景圖像（FG)，由于前景圖像為二值圖（白色像素為運動目標），因此，可統(tǒng) 計二值ROI圖像中前景目標（白色像素）的面積area, area占圖像ROI的總面積（area_ image)的比例為 ratio = area/area_image。設(shè)定一個閾值 threshold，threshold 的值需 較小，以保證在目標進入ROI區(qū)域的瞬間可被捕捉到。當ratio > threshold,此時系統(tǒng)做持 續(xù)報警處理，說明有異常目標進入ROI內(nèi)，并且，GMM停止對背景圖像BK的更新。背景圖像 BK停止更新后，對T時刻之后的前景圖像的分割，采用背景減除的方式，如T時刻之后獲得 的視頻圖像幀為頂，則將頂與BK進行對應(yīng)像素點的減法操作，以提取前景目標。利用這樣 的方式，可有效避免運動目標在ROI區(qū)域內(nèi)出現(xiàn)的GMM無法提取靜止狀態(tài)下的目標。（4)當 目標在ROI內(nèi)持續(xù)運動或者靜止時，通過步驟（3)，可持續(xù)監(jiān)測到目標所處的位置和時間段 并做持續(xù)報警處理。當目標離開ROI區(qū)域時，ratio的值會不斷減小，當ratio < threshold 時，說明目標基本離開了 ROI區(qū)域，此時系統(tǒng)報警消除，并重新采用GMM對背景圖像進行實 時更新，并進入步驟（2)。3. 根據(jù)權(quán)利要求1所述的解決方案，其特征在于：該方案解決了視頻中多個目標的檢 測與跟蹤問題。詳細方案如下：（1)對視頻中的運動目標，采用GMM的前景分割方式，提取 視頻圖像幀的前景FG ;采用二值形態(tài)學的方式，利用腐蝕操作，對GMM分割出的前景FG連 通區(qū)域的小顆粒進行消除，然后通過膨脹的方式，將相鄰的較大連通區(qū)域合并成一個更大 的連通區(qū)域（相對完整的運動目標區(qū)域）。（2)提取前景圖像中的連通區(qū)域獲得對應(yīng)目標， 對應(yīng)第i個連通區(qū)域面積為area;。設(shè)定一個閾值threshold,當area;> threshold時，提 取該區(qū)域?qū)?yīng)的最大外接矩形MaxRect1, MaxRect1即為在視頻中尋找到的前景運動目標的 位置。（3)對最大外界矩形MaxRect1，采用光流法，提取運動目標的運動方向。
【文檔編號】G06T7/20GK105894530SQ201410753754
【公開日】2016年8月24日
【申請日】2014年12月11日
【發(fā)明人】曾慶蓉
【申請人】深圳市阿圖姆科技有限公司