一種混合運(yùn)動目標(biāo)檢測方法
【專利說明】一種混合運(yùn)動目標(biāo)檢測方法 【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺、圖像視頻處理和人工智能結(jié)合的技術(shù)領(lǐng)域。 【【背景技術(shù)】】
[0002] 智能視頻監(jiān)控的定義為：在無需人為干預(yù)的條件下，通過計(jì)算機(jī)視覺的相關(guān)技術(shù) 對監(jiān)控系統(tǒng)中的視頻序列圖像進(jìn)行處理、分析和理解，實(shí)現(xiàn)對所監(jiān)控區(qū)域中目標(biāo)物體的檢 測、定位、跟蹤與識別，并在此基礎(chǔ)上對目標(biāo)的行為進(jìn)行分析與判斷。智能視頻監(jiān)控系統(tǒng)按 需求與功能一般分為四大模塊，目標(biāo)檢測、目標(biāo)跟蹤、目標(biāo)識別以及目標(biāo)行為分析。
[0003] 運(yùn)動目標(biāo)檢測，是指自動化的去除監(jiān)控視頻圖像序列中的背景，把人們感興趣的 目標(biāo)從視頻圖像序列中提取出來。運(yùn)動目標(biāo)檢測作為智能視頻監(jiān)控中的關(guān)鍵環(huán)節(jié)，主要包 括相鄰幀間差分法、背景差分法、光流法和Canny邊緣檢測法等，以及對圖像利用混合高斯 模型進(jìn)行建模，并對視頻圖像序列進(jìn)行更新和處理。
[0004] 相鄰幀間差分法，其基本思想是根據(jù)相鄰兩幀圖像之間的差異，來提取場景中的 運(yùn)動目標(biāo)。具體方法是幀間做差，差值為0的部分可以認(rèn)定為圖像的背景，即目標(biāo)運(yùn)動狀態(tài) 沒有發(fā)生改變；而差值不為零是由于物體的狀態(tài)發(fā)生改變所導(dǎo)致的，由此可提取出運(yùn)動目 標(biāo)。
[0005] 背景差分法，其基本思想也是對圖像幀進(jìn)行差分運(yùn)算，但需要事先設(shè)定背景，然后 將輸入的圖像與設(shè)定的背景進(jìn)行差分運(yùn)算，差值即為運(yùn)動目標(biāo)輪廓。對背景的提取與設(shè)定 是此方法的首要任務(wù)，一般來說對背景的提取有兩種方式：一種是設(shè)定圖像的第一幀為背 景；另一種是用統(tǒng)計(jì)學(xué)方法將前k幀圖像進(jìn)行取均值運(yùn)算，將運(yùn)算后得到的圖像幀設(shè)定為 背景。
[0006] 運(yùn)動目標(biāo)在被檢測過程中出現(xiàn)的不利因素往往都是由光照和噪聲等引起的，為了 解決這些問題，我們用到圖像處理技術(shù)。圖像處理技術(shù)主要包括顏色模型分析、灰度化、消 除噪聲、二值化、形態(tài)學(xué)處理。其中顏色模型分析包括RGB顏色模型、YUV顏色模型、HSV顏 色模型；灰度化包括灰度圖的表示、真彩色位圖和灰度圖的轉(zhuǎn)換；噪聲消除的方法包括頻 域?yàn)V波和時(shí)域?yàn)V波；二值化就是利用某一閾值將圖像劃分為前景目標(biāo)和背景兩部分。形態(tài) 學(xué)處理是對所得目標(biāo)圖像消除孤立噪聲，填充邊緣孔洞等，包括腐蝕和膨脹等處理方式。
[0007] 顏色模型分析，一般可分為RGB、YUV與HSV等。RGB顏色模型由立方體表示其屬性 特征，如圖1所示，三個(gè)坐標(biāo)參數(shù)分別為R、G、B，其中，黑色由（0,0,0)表示，白色由（1，1，1) 表示，其它顏色的分布則介于這兩種顏色之間，包括224種不同的顏色，具體的配色方程如 下：
[0008] F(物體的顏色）=RX(紅色的比例）+GX(綠色的比例）+BX(藍(lán)色的比例）
[0009] YUV色彩模型主要應(yīng)用于SECAM和PAL彩色電視制式。其中Y表示亮度信息，U和 V用于表示色差特性，在應(yīng)用中分別對基色分量（紅色和藍(lán)色）與亮度分量的差值信號進(jìn)行 傳輸。從RGB模型轉(zhuǎn)換到Y(jié)UV模型的公式如下：
[0011] 灰度化，灰度圖像通常指那些僅包含亮度元素而沒有色彩元素的圖像，連續(xù)性是 其圖像變化的最顯著特征。由此可知，通?；叶葓D像的表示方法就是通過灰度值的量化來 實(shí)現(xiàn)，一般被定義為256個(gè)不同的級別，對應(yīng)灰度值的取值范圍為0~255,其中兩端的端點(diǎn) 值分別對應(yīng)全黑和全白（全黑為〇,全白為255)。用灰度值表示BMP格式圖像時(shí)，把R、G、B所 對應(yīng)的值綁定對待，即三個(gè)變量都取相同的值，同256個(gè)灰度級相匹配，也就是用（0, 0, 0)、 (1，1，1)到（255, 255, 255)的值來對每一個(gè)像素點(diǎn)進(jìn)行表示。
[0012] 將真彩色位圖轉(zhuǎn)換成灰度圖時(shí)，使用YUV模型，Y表示亮度，它包含了灰度圖所需 的全部特征，因此僅Y分量就可以將一幅灰度圖表示出來。利用灰度與顏色的關(guān)系計(jì)算出 每一顏色相應(yīng)的灰度值：
[0013]Y= 0. 299R+0. 587G+0. 114B
[0014] 消除噪聲，在圖像獲取時(shí)會產(chǎn)生許多噪聲，這些噪聲會影響到目標(biāo)檢測的正確率。 從統(tǒng)計(jì)學(xué)角度來講，同一圖像的絕大部分相鄰像素的灰度差異很小、相關(guān)性很高，這種特性 決定了圖像的大部分能量匯聚于低頻區(qū)域中，與此相對，高頻區(qū)域則主要集中了圖像的細(xì) 節(jié)信息以及在圖像轉(zhuǎn)化與傳輸過程中產(chǎn)生的噪聲等。這種特性為我們?nèi)コ龍D像噪聲提供了 思路，即對高頻分量進(jìn)行衰減，對低頻分量進(jìn)行增強(qiáng)，這就是圖像的平滑去噪。平滑去噪主 要包括頻域?yàn)V波和時(shí)域?yàn)V波兩種方法。其中，時(shí)域?yàn)V波處理有如下幾種方法：
[0015] ⑴多圖像平均法：基本思想是獲取多幅目標(biāo)圖像，取所獲圖像的加權(quán)平均值。該 方法的運(yùn)算復(fù)雜度較高，耗時(shí)較長，因此對實(shí)時(shí)性要求較高的場景適應(yīng)度較低。
[0016] (2)中值濾波法：該方法在進(jìn)行信號處理時(shí)為非線性處理，能夠比較有效的降低 噪聲干擾對圖像的影響。傳統(tǒng)的中值濾波處理需要對所選取的窗口內(nèi)的像素灰度值進(jìn)行排 序，處理速度難以達(dá)到人們的需求水平。針對以上缺點(diǎn)，研宄人員對該方法進(jìn)行了適當(dāng)?shù)母?進(jìn)，假設(shè)選取窗口的尺寸為mXn，執(zhí)行如下流程：首先從統(tǒng)計(jì)學(xué)角度出發(fā)，利用直方圖計(jì)算 所選窗口內(nèi)像素灰度值的平均值；其次，在中值濾波由某一個(gè)窗口過度到下一窗口的輸出 過程中，窗口將向右平移一列，而其它的像素則維持原狀態(tài)。因此，這種方式不僅能夠修正 原直方圖的偏差也能計(jì)算出新窗口的中值。
[0017] (3)鄰域平均法：用某像素點(diǎn)相鄰區(qū)域內(nèi)所有點(diǎn)灰度值的加權(quán)平均值來取代所選 區(qū)域的所有點(diǎn)的灰度值。此方法運(yùn)算復(fù)雜度較低，實(shí)時(shí)性較好，但容易導(dǎo)致圖像邊緣不清 晰。
[0018] (4)保持邊緣濾波法：在保持去除噪聲干擾的同時(shí)，還能保證圖像高頻成分的完 整性，但是在運(yùn)算過程中復(fù)雜度較高，實(shí)時(shí)性較差。
[0019] 二值化，目的就是把目標(biāo)物體從圖像中提取出來。具體過程可以描述為，針對圖像 f(X，y)的特性，選取某一閾值T，則將出現(xiàn)兩個(gè)集合，其中一個(gè)為大于或等于T的集合，另一 個(gè)為小于T的集合。把大于或等于T的集合中的像素灰度值設(shè)定為255,即白色，則另一個(gè) 集合中對應(yīng)的像素灰度值設(shè)定為0,即黑色，此時(shí)圖像被轉(zhuǎn)換成了黑白圖像。具體的閾值化 變換公式如下：
[0021] 其中T為指定的閾值，x為圖像中點(diǎn)的像素灰度值。
[0022] 形態(tài)學(xué)處理圖像，是為了消除圖像中的孤立噪聲，填充目標(biāo)邊緣輪廓的孔洞等。其 方法包括腐蝕的處理方式，膨脹處理方式等。一般采用腐蝕的處理方式對圖像的孤立噪聲 進(jìn)行抑制與消除，用膨脹的處理方式對圖像進(jìn)行邊界孔洞的填充。
[0023] 腐蝕的處理方式對圖像進(jìn)行孤立噪聲的抑制與消除，定義某二值圖像的表達(dá)函數(shù) 為A(X，y)，模板的表達(dá)函數(shù)為B(X，y)，腐蝕的定義如下：
[0025] 利用模板B對圖像A進(jìn)行腐蝕處理的過程如下：
[0026] (1)對模板的原點(diǎn)（0,0)進(jìn)行移位處理，移動至目標(biāo)點(diǎn)（x，y)，得到圖像Bxy，其中 (x，y)是圖像A中的點(diǎn)。
[0027] (2)若圖像Bxy完全包含于圖像A中，則B原點(diǎn)所在位置屬于腐蝕處理后E中的點(diǎn)， 否則不是。
[0028] (3)遍歷圖像A中所有可能的（x，y)點(diǎn)之后，所得B原點(diǎn)的運(yùn)動路線就構(gòu)成了腐蝕 的結(jié)果。
[0029] 膨脹的處理方式對圖像進(jìn)行邊界孔洞的填充，定義某二值圖像的表達(dá)函數(shù)為 A(X，y)，模板的表達(dá)函數(shù)為B(X，y)，膨脹的定義如下：
[0031] 利用模板B對圖像A進(jìn)行膨脹處理的過程如下：
[0032] (1)對模板的原點(diǎn)（0,0)進(jìn)行移位處理，移動至目標(biāo)點(diǎn)（x，y)，得到圖像Bxy，其中 (x，y)是圖像A中的點(diǎn)。
[0033] (2)若圖像Bxy與圖像A有交集且非空，且B中存在一點(diǎn)與A中相對應(yīng)點(diǎn)全為1，則 B原點(diǎn)所在位置屬于膨脹處理后D中的點(diǎn)，否則不是。
[0034] (3)遍歷圖像A中所有可能的（x，y)點(diǎn)之后，所得B原點(diǎn)的運(yùn)動路線就構(gòu)成了膨脹 的結(jié)果。
[0035] 上述研宄所提出的相鄰幀間差分法、背景差分法和光流法等，會由于光照變化、背 景擾動而出現(xiàn)孤立噪聲、目標(biāo)檢測不準(zhǔn)確、邊緣檢測不完整、孔洞、陰影等問題。相鄰幀間差 分法容易產(chǎn)生孔洞現(xiàn)象，且當(dāng)運(yùn)動目標(biāo)移動緩慢時(shí)容易出現(xiàn)誤判的情況；背景差分法對復(fù) 雜背景的處理效率非常低；光流法的算法復(fù)雜度高、實(shí)時(shí)性差、執(zhí)行效率低、抗干擾性差。 【
【發(fā)明內(nèi)容】
】
[0036] 本發(fā)明的目的是解決智能視頻監(jiān)控系統(tǒng)中運(yùn)動目標(biāo)檢測不準(zhǔn)確、邊緣檢測不完 整、孔洞和陰影等問題，提高運(yùn)動目標(biāo)檢測精度。本發(fā)明在了解傳統(tǒng)運(yùn)動目標(biāo)檢測方法的基 礎(chǔ)上重點(diǎn)研宄了混合高斯模型、Canny邊緣檢測法和連續(xù)幀間差分法，提出了一種混合運(yùn)動 目標(biāo)檢測新方法。該方法可以用在不同的智能視頻監(jiān)控中，如社區(qū)安防、交通監(jiān)管、銀行、商 場等，能夠有效解決目標(biāo)檢測不完整等問題并提尚運(yùn)動目標(biāo)檢測精度。
[0037] 本發(fā)明的技術(shù)方案
[0038] -種混合目標(biāo)運(yùn)動檢測方法，該方法主要包括如下關(guān)鍵步驟：
[0039] 第1、用連續(xù)幀間差分法與Canny邊緣檢測法相結(jié)合的算法檢測出運(yùn)動目標(biāo)輪廓； [0040]第2、用Canny邊緣檢測法與混合高斯模型相結(jié)合的算法檢測出運(yùn)動目標(biāo)輪廓； [0041]第3、將第1步和第2步得到的兩個(gè)運(yùn)動目標(biāo)輪廓進(jìn)行邏輯"或"運(yùn)算，得到完整目 標(biāo)輪廓；
[0042] 第4、對第3步得到的完整目標(biāo)輪廓進(jìn)行形態(tài)學(xué)處理，消除圖像中的孤立噪聲，填 充目標(biāo)輪廓邊緣的孔洞，得到最終目標(biāo)輪廓。
[0043] 第1步所述的連續(xù)幀間差分法與Canny邊緣檢測法相結(jié)合的算法包括以下關(guān)鍵步 驟：
[0044] 第1. 1、在監(jiān)控視頻中隨機(jī)選取連續(xù)的7幀視頻圖像；
[0045] 第1. 2、對隨機(jī)選取的連續(xù)7幀視頻圖像分別進(jìn)行平滑去噪；
[0046] 第1. 3、對經(jīng)過平滑去噪處理后的圖像進(jìn)行Canny邊緣檢測；
[0047] 第1. 4、對經(jīng)過Canny邊緣檢測后的圖像進(jìn)行幀間差分，并進(jìn)行邏輯"與"和邏輯 "或"運(yùn)算，得到運(yùn)動目標(biāo)輪廓。
[0048] 第2步所述的Canny邊緣檢測法與混合高斯模型相結(jié)合的算法包括以下關(guān)鍵步 驟：
[0049] 第2. 1、用混合高斯模型進(jìn)行背景的建模；
[0050] 第2. 2、對用混合高斯模型提取出的運(yùn)動目標(biāo)輪廓，在RGB顏色空間進(jìn)行陰影檢測 與消除；
[0051] 第2. 3、用Canny邊緣檢測法檢測出運(yùn)動目標(biāo)輪廓；
[0052] 第2. 4、將第2. 2和第2. 3得到的兩個(gè)目標(biāo)輪廓進(jìn)行邏輯"與"運(yùn)算，得到運(yùn)動目標(biāo) 輪廓。
[0053] 本發(fā)明的優(yōu)點(diǎn)和積極效果