專利名稱：監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對(duì)人流分析和人群聚集過(guò)程進(jìn)行檢測(cè)的方法與系統(tǒng)，尤其涉及一種應(yīng)用計(jì)算機(jī)圖像處理技術(shù)自動(dòng)監(jiān)測(cè)人群運(yùn)動(dòng)狀態(tài)和及時(shí)準(zhǔn)確輸出人群運(yùn)動(dòng)狀態(tài)統(tǒng)計(jì)數(shù)值的方法及系統(tǒng)。

背景技術(shù)：
目前我國(guó)各大中型城市中開始分期分批大量安裝社會(huì)公共安全視頻監(jiān)控系統(tǒng)，主要有“街道治安視頻監(jiān)控系統(tǒng)”、“金融機(jī)構(gòu)視頻治安監(jiān)控系統(tǒng)”、“重要公共場(chǎng)所(車站、機(jī)場(chǎng)、商業(yè)街區(qū)、大型運(yùn)動(dòng)場(chǎng)、大型超市等)治安視頻監(jiān)控系統(tǒng)”。這些系統(tǒng)的投入使用為保障社會(huì)治安的穩(wěn)定和人民的安定生活服務(wù)奠定了堅(jiān)實(shí)的基礎(chǔ)，在實(shí)際工作中取得了很大的成效。
在一些監(jiān)控系統(tǒng)中，對(duì)人群運(yùn)動(dòng)狀態(tài)人流方向、人數(shù)統(tǒng)計(jì)和人群聚集過(guò)程等檢測(cè)十分重要。例如(1)對(duì)政府大院樓門前、重要廣場(chǎng)人流、人群聚集過(guò)程的檢測(cè)可以預(yù)先告警非法聚眾鬧事、非法游行上訪請(qǐng)?jiān)傅仁聭B(tài)出現(xiàn)；(2)對(duì)奧運(yùn)場(chǎng)館、世博會(huì)場(chǎng)等大型群體活動(dòng)廣場(chǎng)的人流、人群聚集過(guò)程的檢測(cè)可以預(yù)先告警公共安全管理部門對(duì)聚眾鬧事事態(tài)的防止、警力調(diào)配、人群疏導(dǎo)；(3)對(duì)銀行金庫(kù)保管工作人員的人數(shù)檢測(cè)，可以防止違規(guī)操作如一人冒領(lǐng)兩人打開庫(kù)門等；(4)對(duì)大型超市、車站、碼頭、機(jī)場(chǎng)的人流、人群聚集和人數(shù)統(tǒng)計(jì)檢測(cè)可以預(yù)先告警公共安全管理部門對(duì)擁擠事態(tài)的防止、人群疏導(dǎo)以及突發(fā)事件的預(yù)案啟動(dòng)。
目前的檢測(cè)方法僅停留在對(duì)視頻圖像的存儲(chǔ)記錄，需要人工長(zhǎng)時(shí)間的監(jiān)控，由人的主觀經(jīng)驗(yàn)來(lái)判斷人群的運(yùn)動(dòng)狀態(tài)人多、人少、擁擠還是疏散。這種人工方式存在以下缺點(diǎn)(1)不能做到數(shù)量上的統(tǒng)計(jì)；(2)存在難以適應(yīng)長(zhǎng)時(shí)間的繁重瀏覽工作及因眼睛疲勞而遺漏重要信息的問(wèn)題；(3)不能做到統(tǒng)計(jì)意義上的人群數(shù)量估計(jì)。


發(fā)明內(nèi)容
本發(fā)明的目的在于解決上述問(wèn)題，提供了一種監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，通過(guò)計(jì)算機(jī)圖像處理技術(shù)實(shí)現(xiàn)機(jī)器自動(dòng)監(jiān)測(cè)人群運(yùn)動(dòng)狀態(tài)，及時(shí)準(zhǔn)確地輸出人群運(yùn)動(dòng)狀態(tài)統(tǒng)計(jì)數(shù)值，為傳統(tǒng)的視頻監(jiān)控系統(tǒng)帶來(lái)新的突破。
本發(fā)明的又一目的在于提供了一種監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，通過(guò)計(jì)算機(jī)圖像處理技術(shù)實(shí)現(xiàn)機(jī)器自動(dòng)監(jiān)測(cè)人群運(yùn)動(dòng)狀態(tài)，及時(shí)準(zhǔn)確地輸出人群運(yùn)動(dòng)狀態(tài)統(tǒng)計(jì)數(shù)值，為傳統(tǒng)的視頻監(jiān)控系統(tǒng)帶來(lái)新的突破。
本發(fā)明的技術(shù)方案為本發(fā)明提出了一種監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，包括 (1)進(jìn)行背景圖像的提取，建立背景圖像的數(shù)學(xué)模型； (2)計(jì)算視頻流中的每一幀圖像與該背景圖像的差分圖像； (3)從差分圖像中提取運(yùn)動(dòng)目標(biāo)； (4)對(duì)多運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤和分析，建立運(yùn)動(dòng)目標(biāo)的顏色空間分布模型，為每個(gè)目標(biāo)建立至少一個(gè)顏色區(qū)域?qū)ο?，以多運(yùn)動(dòng)顏色塊及其組合結(jié)構(gòu)為描述搜索運(yùn)動(dòng)目標(biāo)的主要特征，并在跟蹤目標(biāo)的過(guò)程中對(duì)檢測(cè)到的目標(biāo)進(jìn)行特征匹配以判斷是否是需要跟蹤的目標(biāo)； (5)根據(jù)對(duì)多運(yùn)動(dòng)目標(biāo)的跟蹤結(jié)果統(tǒng)計(jì)分析人群的運(yùn)動(dòng)狀態(tài)，輸出視頻流中的人數(shù)、人流密度或人群聚集過(guò)程預(yù)警。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其中，步驟(1)進(jìn)一步包括 選擇視頻流的前N幀來(lái)構(gòu)建初始化背景，設(shè)λ(x)和σ(x)分別為連續(xù)N幀圖像中像素點(diǎn)上的中值和均方差，以λ(x)為背景圖像的像素值來(lái)構(gòu)建背景，在初始化背景中，初始化背景像素點(diǎn)B(x)＝λ(x)，其中N為預(yù)設(shè)的自然數(shù)； 利用一階Kalman濾波模型更新背景圖像 Bt+1(x)＝(1-α)Bt(x)+αFt(x) 其中Bt(x)為t時(shí)刻x點(diǎn)上的背景像素值，F(xiàn)t(x)為t時(shí)刻x點(diǎn)上的當(dāng)前像素值，σt(x)為t時(shí)刻背景圖像上x點(diǎn)上的均方差值，α是更新因子，且0＜α＜1。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其中，步驟(2)進(jìn)一步包括 根據(jù)當(dāng)前幀圖像上某點(diǎn)的像素值，計(jì)算出差分圖像值，由下式確定差分圖像的二值掩膜
其中Th＝2.5σt(x)，其中Bt(x)為t時(shí)刻x點(diǎn)上的背景像素值，F(xiàn)t(x)為t時(shí)刻x點(diǎn)上的當(dāng)前像素值，σt(x)為t時(shí)刻背景圖像上x點(diǎn)的均方差值； 對(duì)得到的二值掩膜圖像進(jìn)行濾波處理； 應(yīng)用形態(tài)學(xué)算子對(duì)二值掩膜圖像中的斷裂或空洞進(jìn)行處理，同時(shí)使運(yùn)動(dòng)目標(biāo)區(qū)域的邊界變得更加光滑； 利用構(gòu)成獨(dú)立運(yùn)動(dòng)部件的像素是相互連接的而獨(dú)立的像素是相互孤立的小串這一特點(diǎn)，采用基于前景區(qū)域的面積閾值法去除噪聲若相互連接部件的像素總數(shù)超過(guò)設(shè)定閾值，則該部件為獨(dú)立運(yùn)動(dòng)部件，剩下的像素為隨機(jī)噪聲。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其中，步驟(3)中，根據(jù)步驟(2)得到的對(duì)象二值模板，清除當(dāng)前幀內(nèi)不在模板內(nèi)的像素點(diǎn)，得到運(yùn)動(dòng)目標(biāo)的分割結(jié)果。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其中，步驟(3)中，對(duì)于多運(yùn)動(dòng)目標(biāo)的場(chǎng)景，將多個(gè)運(yùn)動(dòng)目標(biāo)分割成多個(gè)單運(yùn)動(dòng)目標(biāo)并加以提取。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其中，步驟(4)進(jìn)一步包括 (a)在跟蹤前通過(guò)初始幀與背景差分獲得初始的運(yùn)動(dòng)目標(biāo)，通過(guò)區(qū)域生長(zhǎng)法獲得跟蹤運(yùn)動(dòng)目標(biāo)的顏色分布模型，如果是多運(yùn)動(dòng)目標(biāo)的跟蹤，可以在初始狀態(tài)為每個(gè)跟蹤運(yùn)動(dòng)目標(biāo)建立顏色分布模型 為每個(gè)運(yùn)動(dòng)目標(biāo)提取N個(gè)顏色區(qū)域?qū)ο?，并按區(qū)域的相對(duì)位置編號(hào)ROi＝(avci，ri，i)，其中N為自然數(shù)，i為1至N的任一自然數(shù)，ROi為顏色區(qū)域?qū)ο螅琣vci為區(qū)域?qū)ο蟮拇砩?，ri為區(qū)域面積比率即區(qū)域像素?cái)?shù)目占運(yùn)動(dòng)目標(biāo)總像素?cái)?shù)目的比率，ri＝ni/Avop，ni為區(qū)域包含的像素?cái)?shù)目，Avop為運(yùn)動(dòng)目標(biāo)的總像素?cái)?shù)目，i為區(qū)域編號(hào)； (b)建立待跟蹤運(yùn)動(dòng)目標(biāo)VOP的顏色區(qū)域特征向量Svop＝(RO1，RO2，......，RON)，計(jì)算運(yùn)動(dòng)目標(biāo)的中心坐標(biāo)(x，y) (c)對(duì)當(dāng)前每一幀圖像，與背景圖像做差分后提取到n個(gè)候選的運(yùn)動(dòng)目標(biāo)，計(jì)算每個(gè)候選目標(biāo)k的中心坐標(biāo)

，假設(shè)前一幀中跟蹤到的運(yùn)動(dòng)目標(biāo)為vopi-1G，其顏色區(qū)域特征向量Svopi-1＝(RO1G，RO2G，......，RONG)，中心坐標(biāo)


，計(jì)算跟蹤到的運(yùn)動(dòng)目標(biāo)vopi-1G與所有候選的待跟蹤運(yùn)動(dòng)目標(biāo)的中心坐標(biāo)的距離k＝1......n，選取距離最小的候選目標(biāo)vopiD； (d)根據(jù)前一幀中跟蹤到的目標(biāo)vopi-1G的顏色區(qū)域?qū)ο?RO1G，RO2G，......，RONG)的平均顏色(avc1G，avc2G，......，avcNG)，遍歷候選目標(biāo)vopiD的所有像素，把所有和顏色avc1G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n1，計(jì)算此區(qū)域的平均顏色值avc1D，編號(hào)為1；把所有和顏色avc2G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n2，計(jì)算此區(qū)域的平均顏色值avc2D，編號(hào)為2；依次類推得到候選目標(biāo)vopiD的N個(gè)顏色區(qū)域?qū)ο驲OiD＝(avciD，ri，i)，并得到特征向量SvopD＝(RO1D，RO2D，......，ROND)； (e)計(jì)算跟蹤到的目標(biāo)vopi-1G和候選目標(biāo)vopiD的顏色區(qū)域?qū)ο缶嚯x
其中i表示跟蹤到的目標(biāo)vopi-1G，j表示候選目標(biāo)vopiD，m為顏色區(qū)域編號(hào)，s(avcm(i)，avcm(j))是顏色avcm(i)與顏色avcm(j)的相似度量，Th為顏色相似度的閾值； (f)計(jì)算聯(lián)合距離的公式為djoint(i，j)＝d1(i，j)×d2(i，j)×......×dN(i，j)，在當(dāng)前幀中，如果djoint(vopi-1G，vopiD)小于預(yù)設(shè)的距離門限值ηd，則兩者匹配，此候選目標(biāo)即為跟蹤到的目標(biāo)；否則認(rèn)為不匹配，選取下一個(gè)與目標(biāo)vopi-1G距離較小的候選目標(biāo)，做相同的匹配，如此重復(fù)直到匹配到目標(biāo)； (g)在當(dāng)前幀中找到被跟蹤的目標(biāo)后進(jìn)入目標(biāo)顏色分布模型的更新過(guò)程對(duì)于顏色區(qū)域?qū)ο驲O＝(color，ratio，number)的主分量color，使用自適應(yīng)顏色更新模型ci＝(1-α)c+αci-1，ci為第i幀的區(qū)域顏色值，ci-1為第i-1幀的區(qū)域顏色值，c為前i幀區(qū)域顏色均值，α為權(quán)重因子，ratio分量，用當(dāng)前幀正確跟蹤到的目標(biāo)的顏色區(qū)域?qū)ο蟮南鄳?yīng)的ratio分量作為新的值。而對(duì)應(yīng)的編號(hào)number則保持不變。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其中，在步驟(4)中，如果當(dāng)前幀候選運(yùn)動(dòng)目標(biāo)的集合中沒(méi)有匹配到目標(biāo)，則繼續(xù)處理下面的若干幀圖像，若連續(xù)的若干幀匹配不到目標(biāo)則認(rèn)為目標(biāo)已經(jīng)消失，若能找到目標(biāo)則又重新進(jìn)入目標(biāo)跟蹤階段，其中幀數(shù)是預(yù)設(shè)的。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其中，在步驟(5)中，根據(jù)人群聚集面積確定是否進(jìn)行人群聚集預(yù)警。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其中，在人群運(yùn)動(dòng)狀態(tài)的檢測(cè)過(guò)程中，對(duì)視頻流中的人群運(yùn)動(dòng)現(xiàn)象進(jìn)行大量的數(shù)學(xué)統(tǒng)計(jì)以形成經(jīng)驗(yàn)數(shù)學(xué)模型，建立攝像角度、焦距、空間坐標(biāo)、人的像素面積和形狀的特征矢量值，以數(shù)學(xué)表格的形式存儲(chǔ)該些特征矢量值和該經(jīng)驗(yàn)數(shù)學(xué)模型以在檢測(cè)過(guò)程中使用。
基于上述方法，本發(fā)明另外提出了一種監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，包括 背景提取裝置，進(jìn)行背景圖像的提取，建立背景圖像的數(shù)學(xué)模型； 差分圖像計(jì)算裝置，計(jì)算視頻流中的每一幀圖像與背景圖像的差分圖像； 運(yùn)動(dòng)目標(biāo)提取裝置，從差分圖像中提取運(yùn)動(dòng)目標(biāo)； 運(yùn)動(dòng)目標(biāo)跟蹤與分析裝置，對(duì)多運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤和分析，建立運(yùn)動(dòng)目標(biāo)的顏色空間分布模型，為每個(gè)目標(biāo)建立至少一個(gè)顏色區(qū)域?qū)ο?，以多運(yùn)動(dòng)顏色塊及其組合結(jié)構(gòu)為描述搜索運(yùn)動(dòng)目標(biāo)的主要特征，并在跟蹤目標(biāo)的過(guò)程中對(duì)檢測(cè)到的目標(biāo)進(jìn)行特征匹配以判斷是否是需要跟蹤的目標(biāo)； 人群運(yùn)動(dòng)狀態(tài)統(tǒng)計(jì)分析裝置，根據(jù)對(duì)多運(yùn)動(dòng)目標(biāo)的跟蹤結(jié)果統(tǒng)計(jì)分析人群的運(yùn)動(dòng)狀態(tài)，輸出視頻流中的人數(shù)、人流密度或人群聚集過(guò)程預(yù)警。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其中，該背景提取裝置進(jìn)一步包括 初始化背景像素點(diǎn)模塊，選擇視頻流的前N幀來(lái)構(gòu)建初始化背景，設(shè)λ(x)和σ(x)分別為連續(xù)N幀圖像中像素點(diǎn)上的中值和均方差，以λ(x)為背景圖像的像素值來(lái)構(gòu)建背景，在初始化背景中，初始化背景像素點(diǎn)B(x)＝λ(x)，其中N為預(yù)設(shè)的自然數(shù)； 濾波更新模塊，利用一階Kalman濾波模型更新背景圖像 Bt+1(x)＝(1-α)Bt(x)+αFt(x) 其中Bt(x)為t時(shí)刻x點(diǎn)上的背景像素值，F(xiàn)t(x)為t時(shí)刻x點(diǎn)上的當(dāng)前像素值，σt(x)為t時(shí)刻背景圖像上x點(diǎn)上的均方差值，α是更新因子，且0＜α＜1。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其中，該差分圖像計(jì)算裝置進(jìn)一步包括 二值掩膜計(jì)算模塊，根據(jù)當(dāng)前幀圖像上某點(diǎn)的像素值，計(jì)算出差分圖像值，由下式確定差分圖像的二值掩膜
其中Th＝2.5σt(x)，其中Bt(x)為t時(shí)刻x點(diǎn)上的背景像素值，F(xiàn)t(x)為t時(shí)刻x點(diǎn)上的當(dāng)前像素值，σt(x)為t時(shí)刻背景圖像上x點(diǎn)的均方差值； 濾波處理模塊，對(duì)得到的二值掩膜圖像進(jìn)行濾波處理； 斷裂空洞處理模塊，應(yīng)用形態(tài)學(xué)算子對(duì)二值掩膜圖像中的斷裂或空洞進(jìn)行處理，同時(shí)使運(yùn)動(dòng)目標(biāo)區(qū)域的邊界變得更加光滑； 噪聲去除模塊，利用構(gòu)成獨(dú)立運(yùn)動(dòng)部件的像素是相互連接的而獨(dú)立的像素是相互孤立的小串這一特點(diǎn)，采用基于前景區(qū)域的面積閾值法去除噪聲若相互連接部件的像素總數(shù)超過(guò)設(shè)定閾值，則該部件為獨(dú)立運(yùn)動(dòng)部件，剩下的像素為隨機(jī)噪聲。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其中，該運(yùn)動(dòng)目標(biāo)提取裝置清除當(dāng)前幀內(nèi)不在模板內(nèi)的像素點(diǎn)，得到運(yùn)動(dòng)目標(biāo)的分割結(jié)果；對(duì)于多運(yùn)動(dòng)目標(biāo)的場(chǎng)景，通過(guò)內(nèi)設(shè)的分割模塊將多個(gè)運(yùn)動(dòng)目標(biāo)分割成多個(gè)單運(yùn)動(dòng)目標(biāo)并加以提取。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其中，該運(yùn)動(dòng)目標(biāo)跟蹤與分析裝置進(jìn)一步包括 顏色分布模型建立模塊，建立待跟蹤運(yùn)動(dòng)目標(biāo)VOP的顏色區(qū)域特征向量Svop＝(RO1，RO2，......，RON)，其中ROi＝(avci，ri，i)，N為自然數(shù)，i為1至N的任一自然數(shù)，ROi為顏色區(qū)域?qū)ο?，avci為區(qū)域?qū)ο蟮拇砩?，ri為區(qū)域面積比率即區(qū)域像素?cái)?shù)目占運(yùn)動(dòng)目標(biāo)總像素?cái)?shù)目的比率，ri＝ni/Avop，ni為區(qū)域包含的像素?cái)?shù)目，Avop為運(yùn)動(dòng)目標(biāo)的總像素?cái)?shù)目，i為區(qū)域編號(hào)； 中心坐標(biāo)計(jì)算模塊，計(jì)算運(yùn)動(dòng)目標(biāo)的中心坐標(biāo)(x，y) 候選目標(biāo)選取模塊，對(duì)當(dāng)前每一幀圖像，與背景圖像做差分后提取到n個(gè)候選的運(yùn)動(dòng)目標(biāo)，通過(guò)該中心坐標(biāo)計(jì)算模塊計(jì)算每個(gè)候選目標(biāo)k的中心坐標(biāo)

，假設(shè)前一幀中跟蹤到的運(yùn)動(dòng)目標(biāo)為vopi-1G，具有通過(guò)該顏色分布模型建立模塊得到的顏色區(qū)域特征向量Svopi-1＝(RO1G，RO2G，......，RONG)，通過(guò)該中心坐標(biāo)計(jì)算模塊得到的中心坐標(biāo)

，計(jì)算跟蹤到的運(yùn)動(dòng)目標(biāo)vopi-1G與所有候選的待跟蹤運(yùn)動(dòng)目標(biāo)的中心坐標(biāo)的距離k＝1......n，選取距離最小的候選目標(biāo)vopiD； 特征向量形成模塊，根據(jù)前一幀中跟蹤到的目標(biāo)vopi-1G的顏色區(qū)域?qū)ο?RO1G，RO2G，......，RONG)的平均顏色(avc1G，avc2G，......，avcNG)，遍歷候選目標(biāo)vopiD的所有像素，把所有和顏色avc1G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n1，計(jì)算此區(qū)域的平均顏色值avc1D，編號(hào)為1；把所有和顏色avc2G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n2，計(jì)算此區(qū)域的平均顏色值avc2D，編號(hào)為2；依次類推得到候選目標(biāo)vopiD的N個(gè)顏色區(qū)域?qū)ο驲OiD＝(avciD，ri，i)，并得到特征向量SvopD＝(RO1D，RO2D，......，ROND)； 顏色區(qū)域?qū)ο缶嚯x計(jì)算模塊，計(jì)算跟蹤到的目標(biāo)vopi-1G和候選目標(biāo)vopiD的顏色區(qū)域?qū)ο缶嚯x

其中i表示跟蹤到的目標(biāo)vopi-1G，j表示候選目標(biāo)vopiD，m為顏色區(qū)域編號(hào)，s(avcm(i)，avcm(j))是顏色avcm(i)與顏色avcm(j)的相似度量，Th為顏色相似度的閾值； 匹配判斷模塊，計(jì)算聯(lián)合距離的公式為djoint(i，j)＝d1(i，j)×d2(i，j)×......×dN(i，j)，在當(dāng)前幀中，如果djoint(vopi-1G，vopiD)小于預(yù)設(shè)的距離門限值ηd，則兩者匹配，此候選目標(biāo)即為跟蹤到的目標(biāo)；否則認(rèn)為不匹配，選取下一個(gè)與目標(biāo)vopi-1G距離較小的候選目標(biāo)，做相同的匹配，如此重復(fù)直到匹配到目標(biāo)； 顏色分布模型更新模塊，在當(dāng)前幀中找到被跟蹤的目標(biāo)后進(jìn)入目標(biāo)顏色分布模型的更新過(guò)程對(duì)于顏色區(qū)域?qū)ο驲O＝(color，ratio，number)的主分量color，使用自適應(yīng)顏色更新模型ci＝(1-α)c+αci-1，ci為第i幀的區(qū)域顏色值，ci-1為第i-1幀的區(qū)域顏色值，c為前i幀區(qū)域顏色均值，α為權(quán)重因子，ratio分量，用當(dāng)前幀正確跟蹤到的目標(biāo)的顏色區(qū)域?qū)ο蟮南鄳?yīng)的ratio分量作為新的值。而對(duì)應(yīng)的編號(hào)number則保持不變。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其中，如果匹配判斷模塊判斷出當(dāng)前候選運(yùn)動(dòng)目標(biāo)的集合中沒(méi)有匹配到目標(biāo)，則繼續(xù)處理下面的若干幀圖像，若連續(xù)的若干幀匹配不到目標(biāo)則認(rèn)為目標(biāo)已經(jīng)消失，若能找到目標(biāo)則又重新進(jìn)入目標(biāo)跟蹤階段，其中幀數(shù)是預(yù)設(shè)的。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其中，該人群運(yùn)動(dòng)狀態(tài)統(tǒng)計(jì)分析裝置是根據(jù)人群聚集面積確定是否需要進(jìn)行人群聚集預(yù)警。
上述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其中，系統(tǒng)還包括 供檢測(cè)過(guò)程使用的人群運(yùn)動(dòng)特征數(shù)據(jù)庫(kù)，與該差分圖像計(jì)算裝置、該運(yùn)動(dòng)目標(biāo)提取裝置、該運(yùn)動(dòng)目標(biāo)跟蹤與分析裝置以及該人群運(yùn)動(dòng)狀態(tài)統(tǒng)計(jì)分析裝置連接，以數(shù)學(xué)表格的形式存儲(chǔ)了對(duì)視頻流中的人群運(yùn)動(dòng)現(xiàn)象進(jìn)行大量的數(shù)學(xué)統(tǒng)計(jì)而形成的經(jīng)驗(yàn)數(shù)學(xué)模型以及攝像角度、焦距、空間坐標(biāo)、人的像素面積和形狀的特征矢量值。
本發(fā)明對(duì)比現(xiàn)有技術(shù)有如下的有益效果本發(fā)明通過(guò)提取背景圖像，從每一幀圖像與背景圖像的差分圖像中提取運(yùn)動(dòng)目標(biāo)，然后為運(yùn)動(dòng)目標(biāo)建立顏色空間分布模型，為每個(gè)目標(biāo)建立至少一個(gè)顏色區(qū)域?qū)ο螅远噙\(yùn)動(dòng)顏色塊及其組合結(jié)構(gòu)為描述搜索運(yùn)動(dòng)目標(biāo)的主要特征，并在跟蹤目標(biāo)的過(guò)程中對(duì)檢測(cè)到的目標(biāo)進(jìn)行特征匹配以判斷是否為需要跟蹤的目標(biāo)，最后根據(jù)對(duì)多運(yùn)動(dòng)目標(biāo)的跟蹤結(jié)果統(tǒng)計(jì)分析人群的運(yùn)動(dòng)狀態(tài)，輸出視頻流中的人數(shù)、人流密度或人群聚集過(guò)程預(yù)警。



圖1是本發(fā)明的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法的一個(gè)較佳實(shí)施例的流程圖。
圖2是圖1實(shí)施例中步驟S10的子流程圖。
圖3是圖1實(shí)施例中步驟S20的子流程圖。
圖4是圖1實(shí)施例中步驟S40的子流程圖。
圖5是本發(fā)明的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)的一個(gè)較佳實(shí)施例的框圖。
圖6是圖5實(shí)施例的背景提取裝置的子框圖。
圖7是圖5實(shí)施例的差分圖像計(jì)算裝置的子框圖。
圖8是圖5實(shí)施例的運(yùn)動(dòng)目標(biāo)跟蹤與分析裝置的子框圖。

具體實(shí)施例方式 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的描述。
圖1示出了本發(fā)明的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法的一個(gè)較佳實(shí)施例的流程。請(qǐng)參見(jiàn)圖1，下面是對(duì)該流程中各步驟的詳細(xì)描述。在視頻序列中，運(yùn)動(dòng)使得目標(biāo)不同于背景，運(yùn)動(dòng)信息成為從背景中提取目標(biāo)(VideoObject Plane，VOP)的重要依據(jù)。常見(jiàn)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法主要有基于相鄰幀差分的算法和基于背景圖像和當(dāng)前幀差分的算法。針對(duì)獲取視頻流的攝像機(jī)是靜止的情況，本發(fā)明采用基于背景圖像和當(dāng)前幀差分的算法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)和提取。
步驟S10進(jìn)行背景圖像的提取，建立背景圖像的數(shù)學(xué)模型。
請(qǐng)同時(shí)參見(jiàn)圖2，示出了背景提取的子流程。
步驟S100構(gòu)建初始化背景。選擇視頻流的前N幀來(lái)構(gòu)建初始化背景，設(shè)λ(x)和σ(x)分別為連續(xù)N幀圖像中像素點(diǎn)上的中值和均方差，以λ(x)為背景圖像的像素值來(lái)構(gòu)建背景，在初始化背景中，初始化背景像素點(diǎn)B(x)＝λ(x)，其中N為預(yù)設(shè)的自然數(shù)。
步驟S110濾波更新背景圖像?？紤]到光照變化、攝像頭的抖動(dòng)等不可測(cè)的因素的影響，會(huì)使背景發(fā)生變化，導(dǎo)致運(yùn)動(dòng)目標(biāo)的檢測(cè)出現(xiàn)誤差，因此必須對(duì)背景模型進(jìn)行更新以使之具有魯棒性與自適應(yīng)性。
采用一階Kalman濾波模型來(lái)更新背景圖像，如下公式所示 Bt+1(x)＝(1-α)Bt(x)+αFt(x) 其中Bt(x)為t時(shí)刻x點(diǎn)上的背景像素值，F(xiàn)t(x)為t時(shí)刻x點(diǎn)上的當(dāng)前像素值，σt(x)為t時(shí)刻背景圖像上x點(diǎn)上的均方差值，α是更新因子，且0＜α＜1。背景模型需要定時(shí)更新，更新頻率的策略與具體的應(yīng)用環(huán)境有關(guān)。
步驟S20計(jì)算視頻流中的每一幀圖像與背景圖像的差分圖像。
請(qǐng)參見(jiàn)圖3，示出了差分圖像的計(jì)算過(guò)程。
步驟S200根據(jù)當(dāng)前幀圖像上某點(diǎn)的像素值，計(jì)算出差分圖像值，由下式確定差分圖像的二值掩膜
其中Th＝2.5σt(x)，Bt(x)為t時(shí)刻x點(diǎn)上的背景像素值，F(xiàn)t(x)為t時(shí)刻x點(diǎn)上的當(dāng)前像素值，σt(x)為t時(shí)刻背景圖像上x點(diǎn)的均方差值。
由于目標(biāo)與背景區(qū)域可能存在顏色相近的像素，這樣提取出的前景區(qū)域可能發(fā)生斷裂或者出現(xiàn)空洞，同時(shí)背景區(qū)域也會(huì)出現(xiàn)孤立的噪聲。因此需要進(jìn)行以下步驟。
步驟S210對(duì)得到的二值掩膜圖像進(jìn)行濾波處理。
步驟S220應(yīng)用形態(tài)學(xué)算子對(duì)二值掩膜圖像中的斷裂或空洞進(jìn)行處理，同時(shí)形態(tài)學(xué)濾波還可以使得運(yùn)動(dòng)目標(biāo)區(qū)域的邊界變得更加光滑。
步驟S230利用構(gòu)成獨(dú)立運(yùn)動(dòng)部件的像素是相互連接的而獨(dú)立的像素是相互孤立的小串這一特點(diǎn)，采用基于前景區(qū)域的面積閾值法去除噪聲若相互連接部件的總數(shù)超過(guò)設(shè)定的閾值，則該部件為獨(dú)立運(yùn)動(dòng)部件，剩下的為隨機(jī)噪聲。
步驟S30從差分圖像中提取運(yùn)動(dòng)目標(biāo)。根據(jù)對(duì)象二值模板，清除當(dāng)前幀不在模板內(nèi)的像素點(diǎn)就可以得到運(yùn)動(dòng)圖像的分割結(jié)果。對(duì)于多目標(biāo)的場(chǎng)景，可以將多個(gè)目標(biāo)分割成一個(gè)個(gè)的單運(yùn)動(dòng)目標(biāo)區(qū)域，并提取出運(yùn)動(dòng)目標(biāo)。
步驟S40對(duì)多運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤和分析。主要過(guò)程是建立運(yùn)動(dòng)目標(biāo)的顏色分布模型，為每個(gè)目標(biāo)建立至少一個(gè)顏色區(qū)域?qū)ο螅远噙\(yùn)動(dòng)顏色塊及其組合結(jié)構(gòu)為描述搜索運(yùn)動(dòng)目標(biāo)的主要特征，并在跟蹤目標(biāo)的過(guò)程中對(duì)檢測(cè)到的目標(biāo)進(jìn)行特征匹配以判斷是否為需要跟蹤的目標(biāo)。
請(qǐng)參見(jiàn)圖4，示出了對(duì)多運(yùn)動(dòng)目標(biāo)的跟蹤和分析流程。
步驟S400在跟蹤前通過(guò)初始幀與背景差分獲得初始的運(yùn)動(dòng)目標(biāo)，通過(guò)區(qū)域生長(zhǎng)法獲得跟蹤運(yùn)動(dòng)目標(biāo)的顏色分布模型。如果是多運(yùn)動(dòng)目標(biāo)的跟蹤，可以在初始狀態(tài)為每個(gè)跟蹤運(yùn)動(dòng)目標(biāo)建立顏色分布模型。
為每個(gè)運(yùn)動(dòng)目標(biāo)提取N個(gè)顏色區(qū)域?qū)ο?，并按區(qū)域的相對(duì)位置編號(hào)ROi＝(avci，ri，i)，其中N為自然數(shù)，i為1至N的任一自然數(shù)，ROi為顏色區(qū)域?qū)ο?，avci為區(qū)域?qū)ο蟮拇砩瑀i為區(qū)域面積比率即區(qū)域像素?cái)?shù)目占運(yùn)動(dòng)目標(biāo)總像素?cái)?shù)目的比率，ri＝ni/Avop，ni為區(qū)域包含的像素?cái)?shù)目，Avop為運(yùn)動(dòng)目標(biāo)的總像素?cái)?shù)目，i為區(qū)域編號(hào)。
舉例來(lái)說(shuō)，在視頻監(jiān)控系統(tǒng)中獲得圖像序列所包含的目標(biāo)(人物、車輛等)常常具有某種較明顯的顏色分布，人眼很容易給出運(yùn)動(dòng)目標(biāo)的一個(gè)或者幾個(gè)主色調(diào)，分辨出感興趣目標(biāo)所在的位置。參考這一現(xiàn)象，可以將運(yùn)動(dòng)目標(biāo)表示成一個(gè)或多個(gè)主色區(qū)域組成，這些主色同時(shí)構(gòu)成一種固定的分布關(guān)系。如果以一幅視頻圖像中的人作為運(yùn)動(dòng)目標(biāo)，主色可分辨為黑色的頭發(fā)，上身為黃色上衣，下身為黑色褲子等。因此將運(yùn)動(dòng)目標(biāo)通過(guò)一個(gè)或幾個(gè)顏色區(qū)域?qū)ο驲O來(lái)表示，并對(duì)區(qū)域按相對(duì)位置編號(hào)。RO包括區(qū)域的代表色、區(qū)域面積比率(區(qū)域像素?cái)?shù)目占目標(biāo)總像素?cái)?shù)目的比率)以及區(qū)域的編號(hào)，即RO＝(color，ratio，number)。
在跟蹤前通過(guò)初始幀與背景差分獲得初始的運(yùn)動(dòng)目標(biāo)，通過(guò)區(qū)域生長(zhǎng)法來(lái)獲得待跟蹤目標(biāo)的顏色分布模型。當(dāng)然，對(duì)多運(yùn)動(dòng)目標(biāo)跟蹤的情形，可以在初始狀態(tài)為每個(gè)目標(biāo)建立顏色分布模型。
定義顏色之間的距離閾值T1，若空間位置相鄰的兩像素(使用8連通方式)，顏色距離低于閾值T1，則此兩個(gè)像素可以合并成一個(gè)區(qū)域，此區(qū)域一直增長(zhǎng)到?jīng)]有相鄰像素可以合并為止。為避免同一區(qū)域里存在著顏色差異太大的像素，我們另外設(shè)定一個(gè)閾值T2，在區(qū)域生長(zhǎng)的過(guò)程中，若某像素的顏色與此區(qū)域的所有像素的距離大于閾值T2，則不合并此像素。若目標(biāo)還有未被合并的像素，則繼續(xù)新的區(qū)域生長(zhǎng)，直到所有的像素屬于某個(gè)區(qū)域?yàn)橹?。?duì)于過(guò)小的區(qū)域，我們采用的作法是，將之與周圍的區(qū)域比較，并歸入到顏色距離最小的區(qū)域中去。計(jì)算每個(gè)區(qū)域的平均顏色，以及區(qū)域包含的像素?cái)?shù)目占目標(biāo)像素總數(shù)的比率，這樣得到最終的幾個(gè)顏色區(qū)域?qū)ο驲O。
步驟S410建立待跟蹤運(yùn)動(dòng)目標(biāo)VOP的顏色區(qū)域特征向量Svop＝(RO1，RO2，......，RON)，計(jì)算運(yùn)動(dòng)目標(biāo)的中心坐標(biāo)(x，y) 在本實(shí)施例中，以提取2個(gè)顏色區(qū)域?qū)ο鬄槔凑諈^(qū)域的相對(duì)位置編號(hào)，RO1＝(avc1，r1，1)和RO2＝(avc2，r2，2)。建立運(yùn)動(dòng)目標(biāo)VOP的顏色區(qū)域特征向量svop＝(RO1，RO2)。并計(jì)算目標(biāo)的中心坐標(biāo)(x，y)，其中Avop為目標(biāo)包含的象素?cái)?shù)目，ri＝ni/Avop，i＝1，2。
在步驟S400和S410中，采用區(qū)域生長(zhǎng)方式建立運(yùn)動(dòng)目標(biāo)的顏色分布模型，由目標(biāo)的初始像素點(diǎn)開始，將所有像素合并到兩個(gè)大的區(qū)域中，得到兩個(gè)顏色區(qū)域?qū)ο驲O，并建立顏色區(qū)域特征向量，進(jìn)入跟蹤狀態(tài)。
步驟S420選取距離最小的候選目標(biāo)。對(duì)當(dāng)前每一幀圖像，與背景圖像做差分后提取到n個(gè)候選的運(yùn)動(dòng)目標(biāo)，計(jì)算每個(gè)候選目標(biāo)k的中心坐標(biāo)

假設(shè)前一幀中跟蹤到的運(yùn)動(dòng)目標(biāo)為vopi-1G，其顏色區(qū)域特征向量Svopi-1＝(RO1G，RO2G，......，RONG)，中心坐標(biāo)

，計(jì)算跟蹤到的運(yùn)動(dòng)目標(biāo)vopi-1G與所有候選的待跟蹤運(yùn)動(dòng)目標(biāo)的中心坐標(biāo)的距離k＝1......n，選取距離最小的候選目標(biāo)vopiD。
在本實(shí)施例中，假定第i-1幀跟蹤到的目標(biāo)表示為vopi-1G，并得到目標(biāo)的顏色區(qū)域特征向量及中心坐標(biāo)

。對(duì)當(dāng)前第i幀圖像，與背景做差分，提取n個(gè)候選目標(biāo)，并計(jì)算每個(gè)候選目標(biāo)k的中心坐標(biāo)


。計(jì)算待跟蹤目標(biāo)與所有候選目標(biāo)的中心坐標(biāo)的距離k＝1...n，選取距離最小的候選目標(biāo)vopiD。
步驟S430根據(jù)前一幀中跟蹤到的目標(biāo)vopi-1G的顏色區(qū)域?qū)ο?RO1G，RO2G，......，RONG)的平均顏色(avc1G，avc2G，......，avcNG)，遍歷候選目標(biāo)vopiD的所有像素，把所有和顏色avc1G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n1，計(jì)算此區(qū)域的平均顏色值avc1D，編號(hào)為1；把所有和顏色avc2G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n2，計(jì)算此區(qū)域的平均顏色值avc2D，編號(hào)為2；依次類推得到候選目標(biāo)vopiD的N個(gè)顏色區(qū)域?qū)ο驲OiD＝(avciD，ri，i)，并得到特征向量SvopD＝(RO1D，RO2D，......，ROND)。
在本實(shí)施例中，根據(jù)i-1幀跟蹤到的目標(biāo)vopi-1G顏色區(qū)域?qū)ο?ROi-1G，ROi-1G)的平均顏色(avc1G，avc2G)，遍歷當(dāng)前幀與目標(biāo)vopi-1G距離最小的目標(biāo)vopiD的所有像素，把所有和顏色avc1G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n1，計(jì)算此區(qū)域的平均顏色值avc1D，編號(hào)為1；把所有和顏色avc2G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n2，計(jì)算此區(qū)域的平均顏色值avc2D，編號(hào)為2。這樣得到候選目標(biāo)vopiD的兩個(gè)顏色區(qū)域?qū)ο蟛⒌玫教卣飨蛄? 步驟S440計(jì)算跟蹤到的目標(biāo)vopi-1G和候選目標(biāo)vopiD的顏色區(qū)域?qū)ο缶嚯x
其中i表示跟蹤到的目標(biāo)vopi-1G，j表示候選目標(biāo)vopiD，m為顏色區(qū)域編號(hào)，s(avcm(i)，avcm(j))是顏色avcm(i)與顏色avcm(j)的相似度量，Th為顏色相似度的閾值。在本實(shí)施例中m可取1和2。
步驟S450計(jì)算聯(lián)合距離的公式為djoint(i，j)＝d1(i，j)×d2(i，j)×......×dN(i，j)，在當(dāng)前幀中，如果djoint(vopi-1G，vopiD)小于預(yù)設(shè)的距離門限值ηd，則兩者匹配，此候選目標(biāo)即為跟蹤到的目標(biāo)；否則認(rèn)為不匹配，回到步驟S420中選取下一個(gè)與目標(biāo)vopi-1G距離較小的候選目標(biāo)，做相同的匹配，如此重復(fù)直到匹配到目標(biāo)。
在本實(shí)施例中聯(lián)合距離的計(jì)算為djoint(i，j)＝d1(i，j)×d2(i，j)。如果重復(fù)到找完所有的候選目標(biāo)仍然沒(méi)有合適的匹配目標(biāo)，則當(dāng)前幀跟蹤失敗。
實(shí)際上，相鄰兩幀的VOP跟蹤會(huì)有如下三種結(jié)果 (a)對(duì)前一幀跟蹤得到的VOP，若當(dāng)前幀VOP候選集合里只有一個(gè)VOP，直接匹配，如果成功即為跟蹤到的目標(biāo)； (b)對(duì)前一幀跟蹤得到的VOP，在當(dāng)前幀VOP候選集合里找到最匹配的VOP，跟蹤成功； (c)若當(dāng)前幀VOP候選集合沒(méi)有匹配到合適的目標(biāo)，可能是由于目標(biāo)被遮擋或者目標(biāo)運(yùn)動(dòng)到鏡頭之外引起的，并不能認(rèn)為目標(biāo)已經(jīng)消失，繼續(xù)處理下幾幀(是預(yù)設(shè)的，通常是5幀)，若連續(xù)幾幀匹配不到合適的目標(biāo)，認(rèn)為目標(biāo)已經(jīng)消失，若能找到目標(biāo)則又重新進(jìn)入正常的目標(biāo)跟蹤階段。
步驟S460在當(dāng)前幀中找到被跟蹤的目標(biāo)后進(jìn)入目標(biāo)顏色分布模型的更新過(guò)程對(duì)于顏色區(qū)域?qū)ο驲O＝(color，ratio，number)的主分量color，使用自適應(yīng)顏色更新模型ci＝(1-α)c+αci-1，ci為第i幀的區(qū)域顏色值，ci-1為第i-1幀的區(qū)域顏色值，c為前i幀區(qū)域顏色均值，α為權(quán)重因子，ratio分量，用當(dāng)前幀正確跟蹤到的目標(biāo)的顏色區(qū)域?qū)ο蟮南鄳?yīng)的ratio分量作為新的值。而對(duì)應(yīng)的編號(hào)number則保持不變。這樣顏色區(qū)域?qū)ο笤诿恳粋€(gè)新幀中不斷得到更新。
對(duì)接下來(lái)的視頻序列中的每一幀都重復(fù)上述的步驟S400～S460，成功實(shí)現(xiàn)了視頻流中的運(yùn)動(dòng)目標(biāo)的跟蹤分析。
步驟S50根據(jù)對(duì)多運(yùn)動(dòng)目標(biāo)的跟蹤結(jié)果統(tǒng)計(jì)分析人群的運(yùn)動(dòng)狀態(tài)，輸出視頻流中的人數(shù)、人流密度或人群聚集過(guò)程預(yù)警。
在步驟S40中得到了運(yùn)動(dòng)目標(biāo)的準(zhǔn)確跟蹤結(jié)果，根據(jù)跟蹤結(jié)果能夠方便得出視頻流中的人數(shù)統(tǒng)計(jì)，人數(shù)統(tǒng)計(jì)可以應(yīng)用在銀行金庫(kù)的監(jiān)視系統(tǒng)中，對(duì)進(jìn)出金庫(kù)大門的人數(shù)進(jìn)行檢測(cè)，并接口報(bào)警系統(tǒng)。根據(jù)跟蹤結(jié)果也能夠獲知視頻流中的人流密度，可應(yīng)用于預(yù)先提示公共安全管理部門對(duì)擁擠事態(tài)的防止、人群疏導(dǎo)以及突發(fā)事件的預(yù)案啟動(dòng)。同樣地，根據(jù)跟蹤結(jié)果確定人群聚集面積，再由人群聚集面積的大小判斷是否進(jìn)行人群聚集預(yù)警，可應(yīng)用于對(duì)政府大樓門前，重要廣場(chǎng)的人群聚集過(guò)程的預(yù)警，這樣可以預(yù)先防止非法聚眾鬧事、非法游行上訪請(qǐng)?jiān)傅仁聭B(tài)的出現(xiàn)。
為了更為準(zhǔn)確的進(jìn)行檢測(cè)(例如在運(yùn)動(dòng)目標(biāo)的提取中，需要根據(jù)目標(biāo)的形狀、面積等因素判斷運(yùn)動(dòng)目標(biāo)是否為人)，需要一個(gè)數(shù)據(jù)庫(kù)供檢測(cè)過(guò)程(步驟S20～S50)使用。這個(gè)數(shù)據(jù)庫(kù)存儲(chǔ)了數(shù)學(xué)統(tǒng)計(jì)人群運(yùn)動(dòng)現(xiàn)象的經(jīng)驗(yàn)數(shù)學(xué)模型和計(jì)算處理使用的特征矢量值，這些特征矢量值包括攝像角度、焦距、空間坐標(biāo)和人的像素面積等。如果沒(méi)有這樣的一個(gè)數(shù)據(jù)庫(kù)，則通過(guò)步驟S60來(lái)形成數(shù)據(jù)庫(kù)即通過(guò)對(duì)視頻流中的人群運(yùn)動(dòng)現(xiàn)象進(jìn)行大量的數(shù)學(xué)統(tǒng)計(jì)以形成經(jīng)驗(yàn)數(shù)學(xué)模型，同時(shí)建立攝像角度、焦距、空間坐標(biāo)、人的像素面積等計(jì)算處理用的特征矢量值，將這些特征矢量值和經(jīng)驗(yàn)數(shù)學(xué)模型用數(shù)學(xué)表格的形式存儲(chǔ)在系統(tǒng)中以供檢測(cè)過(guò)程使用。
圖5示出了本發(fā)明的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)的一個(gè)較佳實(shí)施例的框圖結(jié)構(gòu)。請(qǐng)參見(jiàn)圖5，檢測(cè)系統(tǒng)主要包括背景提取裝置10、差分圖像計(jì)算裝置20、運(yùn)動(dòng)目標(biāo)提取裝置30、運(yùn)動(dòng)目標(biāo)跟蹤與分析裝置40、人群運(yùn)動(dòng)狀態(tài)統(tǒng)計(jì)分析裝置50和人群運(yùn)動(dòng)特征數(shù)據(jù)庫(kù)60。
背景提取裝置10進(jìn)行背景圖像的提取，建立背景圖像的數(shù)學(xué)模型。圖6示出了背景提取裝置10的結(jié)構(gòu)，請(qǐng)同時(shí)參見(jiàn)圖6。背景提取裝置10進(jìn)一步包括初始化背景像素點(diǎn)模塊100和濾波更新模塊110。初始化背景像素點(diǎn)模塊100選擇視頻流的前N幀來(lái)構(gòu)建初始化背景，設(shè)λ(x)和σ(x)分別為連續(xù)N幀圖像中像素點(diǎn)上的中值和均方差，以λ(x)為背景圖像的像素值來(lái)構(gòu)建背景，在初始化背景中，初始化背景像素點(diǎn)B(x)＝λ(x)，其中N為預(yù)設(shè)的自然數(shù)。濾波更新模塊110利用一階Kalman濾波模型更新背景圖像Bt+1(x)＝(1-α)Bt(x)+αFt(x)，其中Bt(x)為t時(shí)刻x點(diǎn)上的背景像素值，F(xiàn)t(x)為t時(shí)刻x點(diǎn)上的當(dāng)前像素值，σt(x)為t時(shí)刻背景圖像上x點(diǎn)上的均方差值，α是更新因子，且0＜α＜1。
差分圖像計(jì)算裝置計(jì)算視頻流中的每一幀圖像與背景圖像的差分圖像。圖7示出了差分圖像計(jì)算裝置20的結(jié)構(gòu)，請(qǐng)同時(shí)參見(jiàn)圖7。差分圖像計(jì)算裝置20進(jìn)一步包括二值掩膜計(jì)算模塊200、濾波處理模塊210、斷裂空洞處理模塊220和噪聲去除模塊230。二值掩膜計(jì)算模塊200根據(jù)當(dāng)前幀圖像上某點(diǎn)的像素值，計(jì)算出差分圖像值，由下式確定差分圖像的二值掩膜
其中Th＝2.5σt(x)，其中Bt(x)為t時(shí)刻x點(diǎn)上的背景像素值，F(xiàn)t(x)為t時(shí)刻x點(diǎn)上的當(dāng)前像素值，σt(x)為t時(shí)刻背景圖像上x點(diǎn)的均方差值。濾波處理模塊210對(duì)得到的二值掩膜圖像進(jìn)行濾波處理。斷裂空洞處理模塊220應(yīng)用形態(tài)學(xué)算子對(duì)二值掩膜圖像中的斷裂或空洞進(jìn)行處理，同時(shí)使運(yùn)動(dòng)目標(biāo)區(qū)域的邊界變得更加光滑。噪聲去除模塊230利用構(gòu)成獨(dú)立運(yùn)動(dòng)部件的像素是相互連接的而獨(dú)立的像素是相互孤立的小串這一特點(diǎn)，采用基于前景區(qū)域的面積閾值法去除噪聲若相互連接部件的像素總數(shù)超過(guò)設(shè)定閾值，則該部件為獨(dú)立運(yùn)動(dòng)部件，剩下的像素為隨機(jī)噪聲。
運(yùn)動(dòng)目標(biāo)提取裝置30基于得到的二值模板，清除當(dāng)前幀內(nèi)不在模板內(nèi)的像素點(diǎn)，得到運(yùn)動(dòng)目標(biāo)的分割結(jié)果。如果遇到多運(yùn)動(dòng)目標(biāo)的場(chǎng)景，通過(guò)內(nèi)設(shè)的分割模塊將多個(gè)運(yùn)動(dòng)目標(biāo)分割成多個(gè)單運(yùn)動(dòng)目標(biāo)并加以提取。
運(yùn)動(dòng)目標(biāo)跟蹤與分析裝置40對(duì)多運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤與分析。總的原理是該裝置建立運(yùn)動(dòng)目標(biāo)的顏色分布模型，為每個(gè)運(yùn)動(dòng)目標(biāo)建立至少一個(gè)顏色區(qū)域?qū)ο?，以多運(yùn)動(dòng)顏色塊及其組合結(jié)構(gòu)為描述搜索運(yùn)動(dòng)目標(biāo)的主要特征，并在跟蹤目標(biāo)的過(guò)程中對(duì)檢測(cè)到的目標(biāo)進(jìn)行特征匹配以判斷是否為需要跟蹤的目標(biāo)。
圖8示出了運(yùn)動(dòng)目標(biāo)跟蹤與分析裝置40的結(jié)構(gòu)，請(qǐng)同時(shí)參見(jiàn)圖8。運(yùn)動(dòng)目標(biāo)跟蹤與分析裝置40進(jìn)一步包括顏色分布模型建立模塊400、中心坐標(biāo)計(jì)算模塊410、候選目標(biāo)選取模塊420、特征向量形成模塊430、顏色區(qū)域?qū)ο缶嚯x計(jì)算模塊440、匹配判斷模塊450和顏色分布模型更新模塊460。
顏色分布模型建立模塊400建立待跟蹤運(yùn)動(dòng)目標(biāo)VOP的顏色區(qū)域特征向量Svop＝(RO1，RO2，......，RON)，其中ROi＝(avci，ri，i)，N為自然數(shù)，i為1至N的任一自然數(shù)，ROi為顏色區(qū)域?qū)ο?，avci為區(qū)域?qū)ο蟮拇砩?，ri為區(qū)域面積比率即區(qū)域像素?cái)?shù)目占運(yùn)動(dòng)目標(biāo)總像素?cái)?shù)目的比率，ri＝ni/Avop，ni為區(qū)域包含的像素?cái)?shù)目，Avop為運(yùn)動(dòng)目標(biāo)的總像素?cái)?shù)目，i為區(qū)域編號(hào)。
在顏色分布模型建立模塊400中，在跟蹤前通過(guò)初始幀與背景差分獲得初始的運(yùn)動(dòng)目標(biāo)，通過(guò)區(qū)域生長(zhǎng)法來(lái)獲得待跟蹤目標(biāo)的顏色分布模型。當(dāng)然，對(duì)多運(yùn)動(dòng)目標(biāo)跟蹤的情形，可以在初始狀態(tài)為每個(gè)目標(biāo)建立顏色分布模型。
定義顏色之間的距離閾值T1，若空間位置相鄰的兩像素(使用8連通方式)，顏色距離低于閾值T1，則此兩個(gè)像素可以合并成一個(gè)區(qū)域，此區(qū)域一直增長(zhǎng)到?jīng)]有相鄰像素可以合并為止。為避免同一區(qū)域里存在著顏色差異太大的像素，我們另外設(shè)定一個(gè)閾值T2，在區(qū)域生長(zhǎng)的過(guò)程中，若某像素的顏色與此區(qū)域的所有像素的距離大于閾值T2，則不合并此像素。若目標(biāo)還有未被合并的像素，則繼續(xù)新的區(qū)域生長(zhǎng)，直到所有的像素屬于某個(gè)區(qū)域?yàn)橹?。?duì)于過(guò)小的區(qū)域，我們采用的作法是，將之與周圍的區(qū)域比較，并歸入到顏色距離最小的區(qū)域中去。計(jì)算每個(gè)區(qū)域的平均顏色，以及區(qū)域包含的像素?cái)?shù)目占目標(biāo)像素總數(shù)的比率，這樣得到最終的幾個(gè)顏色區(qū)域?qū)ο驲O。
中心坐標(biāo)計(jì)算模塊410計(jì)算運(yùn)動(dòng)目標(biāo)的中心坐標(biāo)(x，y) 候選目標(biāo)選取模塊420對(duì)當(dāng)前幀圖像，與背景圖像做差分后提取到n個(gè)候選的運(yùn)動(dòng)目標(biāo)，通過(guò)中心坐標(biāo)計(jì)算模塊410計(jì)算每個(gè)候選目標(biāo)k的中心坐標(biāo)

。假設(shè)前一幀中跟蹤到的運(yùn)動(dòng)目標(biāo)為vopi-1G，具有通過(guò)該顏色分布模型建立模塊得到的顏色區(qū)域特征向量Svopi-1＝(RO1G，RO2G，......，RONG)，已經(jīng)通過(guò)中心坐標(biāo)計(jì)算模塊410得到的中心坐標(biāo)

，計(jì)算跟蹤到的運(yùn)動(dòng)目標(biāo)vopi-1G與所有候選的待跟蹤運(yùn)動(dòng)目標(biāo)的中心坐標(biāo)的距離k＝1......n，選取距離最小的候選目標(biāo)vopiD。
特征向量形成模塊430根據(jù)前一幀中跟蹤到的目標(biāo)vopi-1G的顏色區(qū)域?qū)ο?RO1G，RO2G，......，RONG)的平均顏色(avc1G，avc2G，......，avcNG)，遍歷候選目標(biāo)vopiD的所有像素，把所有和顏色avc1G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n1，計(jì)算此區(qū)域的平均顏色值avc1D，編號(hào)為1；把所有和顏色avc2G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n2，計(jì)算此區(qū)域的平均顏色值avc2D，編號(hào)為2；依次類推得到候選目標(biāo)vopiD的N個(gè)顏色區(qū)域?qū)ο驲OiD＝(avciD，ri，i)，并得到特征向量SvopD＝(RO1D，RO2D，......，ROND)。
顏色區(qū)域?qū)ο缶嚯x計(jì)算模塊440計(jì)算跟蹤到的目標(biāo)vopi-1G和候選目標(biāo)vopiD的顏色區(qū)域?qū)ο缶嚯x

其中i表示跟蹤到的目標(biāo)vopi-1G，j表示候選目標(biāo)vopiD，m為顏色區(qū)域編號(hào)，s(avcm(i)，avcm(j))是顏色avcm(i)與顏色avcm(j)的相似度量，Th為顏色相似度的閾值。
匹配判斷模塊450計(jì)算聯(lián)合距離的公式為djoint(i，j)＝d1(i，j)×d2(i，j)×......×dN(i，j)，在當(dāng)前幀中，如果djoint(vopi-1G，vopiD)小于預(yù)設(shè)的距離門限值ηd，則兩者匹配，此候選目標(biāo)即為跟蹤到的目標(biāo)；否則認(rèn)為不匹配，再返回到候選目標(biāo)選取模塊420選取下一個(gè)與目標(biāo)vopi-1G距離較小的候選目標(biāo)，做相同的匹配，如此重復(fù)直到匹配到目標(biāo)。
實(shí)際上，相鄰兩幀的VOP跟蹤會(huì)有如下三種結(jié)果 (a)對(duì)前一幀跟蹤得到的VOP，若當(dāng)前幀VOP候選集合里只有一個(gè)VOP，直接匹配，如果成功即為跟蹤到的目標(biāo)； (b)對(duì)前一幀跟蹤得到的VOP，在當(dāng)前幀VOP候選集合里找到最匹配的VOP，跟蹤成功； (c)若當(dāng)前幀VOP候選集合沒(méi)有匹配到合適的目標(biāo)，可能是由于目標(biāo)被遮擋或者目標(biāo)運(yùn)動(dòng)到鏡頭之外引起的，并不能認(rèn)為目標(biāo)已經(jīng)消失，繼續(xù)處理下幾幀(幀數(shù)是預(yù)設(shè)的，通常是5幀)，若連續(xù)幾幀匹配不到合適的目標(biāo)，認(rèn)為目標(biāo)已經(jīng)消失，若能找到目標(biāo)則又重新進(jìn)入正常的目標(biāo)跟蹤階段。
顏色分布模型更新模塊460在當(dāng)前幀中找到被跟蹤的目標(biāo)后進(jìn)入目標(biāo)顏色分布模型的更新過(guò)程對(duì)于顏色區(qū)域?qū)ο驲O＝(color，ratio，number)的主分量color，使用自適應(yīng)顏色更新模型ci＝(1-α)c+αci-1，ci為第i幀的區(qū)域顏色值，ci-1為第i-1幀的區(qū)域顏色值，c為前i幀區(qū)域顏色均值，α為權(quán)重因子，ratio分量，用當(dāng)前幀正確跟蹤到的目標(biāo)的顏色區(qū)域?qū)ο蟮南鄳?yīng)的ratio分量作為新的值。而對(duì)應(yīng)的編號(hào)number則保持不變。
人群運(yùn)動(dòng)狀態(tài)統(tǒng)計(jì)分析裝置50根據(jù)運(yùn)動(dòng)目標(biāo)跟蹤與分析裝置40所得到的運(yùn)動(dòng)目標(biāo)的準(zhǔn)確跟蹤結(jié)果，基于跟蹤結(jié)果能夠方便得出視頻流中的人數(shù)統(tǒng)計(jì)，人數(shù)統(tǒng)計(jì)可以應(yīng)用在銀行金庫(kù)的監(jiān)視系統(tǒng)中，對(duì)進(jìn)出金庫(kù)大門的人數(shù)進(jìn)行檢測(cè)，并接口報(bào)警系統(tǒng)。根據(jù)跟蹤結(jié)果也能夠獲知視頻流中的人流密度，可應(yīng)用于預(yù)先提示公共安全管理部門對(duì)擁擠事態(tài)的防止、人群疏導(dǎo)以及突發(fā)事件的預(yù)案啟動(dòng)。同樣地，根據(jù)跟蹤結(jié)果確定人群聚集面積，再由人群聚集面積的大小判斷是否進(jìn)行人群聚集預(yù)警，可應(yīng)用于對(duì)政府大樓門前，重要廣場(chǎng)的人群聚集過(guò)程的預(yù)警，這樣可以預(yù)先防止非法聚眾鬧事、非法游行上訪請(qǐng)?jiān)傅仁聭B(tài)的出現(xiàn)。
為了更為準(zhǔn)確的進(jìn)行檢測(cè)(例如在運(yùn)動(dòng)目標(biāo)的提取中，需要根據(jù)目標(biāo)的形狀、面積等因素判斷運(yùn)動(dòng)目標(biāo)是否為人)，需要一個(gè)數(shù)據(jù)庫(kù)供檢測(cè)系統(tǒng)中的其他裝置使用。人群運(yùn)動(dòng)特征數(shù)據(jù)庫(kù)60連接差分圖像計(jì)算裝置20、運(yùn)動(dòng)目標(biāo)提取裝置30、運(yùn)動(dòng)目標(biāo)跟蹤與分析裝置40和人群運(yùn)動(dòng)狀態(tài)統(tǒng)計(jì)分析裝置50以供這些裝置檢測(cè)之用。該數(shù)據(jù)庫(kù)60以數(shù)學(xué)表格的形式存儲(chǔ)了數(shù)學(xué)統(tǒng)計(jì)人群運(yùn)動(dòng)現(xiàn)象的經(jīng)驗(yàn)數(shù)學(xué)模型和計(jì)算處理使用的特征矢量值，這些特征矢量值包括攝像角度、焦距、空間坐標(biāo)和人的像素面積等。
應(yīng)理解，本發(fā)明的發(fā)明點(diǎn)在于(1)采用HSV顏色空間算法，應(yīng)用色彩量化統(tǒng)計(jì)分析技術(shù)，將顏色距離矢量化；(2)采用背景減除技術(shù)得到對(duì)象活動(dòng)區(qū)域，再利用數(shù)學(xué)形態(tài)學(xué)運(yùn)算處理，最后利用面積閥值法和區(qū)域生長(zhǎng)法獲得目標(biāo)所在的最小外接矩形區(qū)域，同時(shí)采用自適應(yīng)背景更新策略來(lái)逐漸更新用到的背景模型。這種算法可以得到運(yùn)動(dòng)目標(biāo)較為精確的特征，并且算法簡(jiǎn)捷、快速、有效。(3)在檢測(cè)與提取出視頻對(duì)象的基礎(chǔ)上，建立目標(biāo)的顏色空間分布模型，提出顏色區(qū)域?qū)ο蟮母拍?，為每個(gè)目標(biāo)建立一個(gè)或幾個(gè)顏色區(qū)域?qū)ο螅远噙\(yùn)動(dòng)顏色塊及其組合結(jié)構(gòu)為描述搜索目標(biāo)的主要特征，并在跟蹤目標(biāo)的過(guò)程中，對(duì)檢測(cè)到的目標(biāo)進(jìn)行特征匹配，以此判斷是否是需要跟蹤的目標(biāo)。(4)采用基于顏色特征匹配的視頻流檢索算法來(lái)實(shí)現(xiàn)目標(biāo)的更加可靠有效的跟蹤。
上述實(shí)施例是提供給本領(lǐng)域普通技術(shù)人員來(lái)實(shí)現(xiàn)或使用本發(fā)明的，本領(lǐng)域普通技術(shù)人員可在不脫離本發(fā)明的發(fā)明思想的情況下，對(duì)上述實(shí)施例做出種種修改或變化，因而本發(fā)明的保護(hù)范圍并不被上述實(shí)施例所限，而應(yīng)該是符合權(quán)利要求書提到的創(chuàng)新性特征的最大范圍。
權(quán)利要求
1一種監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，包括
(1)進(jìn)行背景圖像的提取，建立背景圖像的數(shù)學(xué)模型；
(2)計(jì)算視頻流中的每一幀圖像與該背景圖像的差分圖像；
(3)從差分圖像中提取運(yùn)動(dòng)目標(biāo)；
(4)對(duì)多運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤和分析，建立運(yùn)動(dòng)目標(biāo)的顏色空間分布模型，為每個(gè)目標(biāo)建立至少一個(gè)顏色區(qū)域?qū)ο?，以多運(yùn)動(dòng)顏色塊及其組合結(jié)構(gòu)為描述搜索運(yùn)動(dòng)目標(biāo)的主要特征，并在跟蹤目標(biāo)的過(guò)程中對(duì)檢測(cè)到的目標(biāo)進(jìn)行特征匹配以判斷是否是需要跟蹤的目標(biāo)；
(5)根據(jù)對(duì)多運(yùn)動(dòng)目標(biāo)的跟蹤結(jié)果統(tǒng)計(jì)分析人群的運(yùn)動(dòng)狀態(tài)，輸出視頻流中的人數(shù)、人流密度或人群聚集過(guò)程預(yù)警。
2據(jù)權(quán)利要求1所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其特征在于，步驟(1)進(jìn)一步包括
選擇視頻流的前N幀來(lái)構(gòu)建初始化背景，設(shè)λ(x)和σ(x)分別為連續(xù)N幀圖像中像素點(diǎn)上的中值和均方差，以λ(x)為背景圖像的像素值來(lái)構(gòu)建背景，在初始化背景中，初始化背景像素點(diǎn)B(x)＝λ(x)，其中N為預(yù)設(shè)的自然數(shù)；
利用一階Kalman濾波模型更新背景圖像
Bt+1(x)＝(1-α)Bt(x)+αFt(x)
其中Bt(x)為t時(shí)刻x點(diǎn)上的背景像素值，F(xiàn)t(x)為t時(shí)刻x點(diǎn)上的當(dāng)前像素值，σt(x)為t時(shí)刻背景圖像上x點(diǎn)上的均方差值，α是更新因子，且0＜α＜1。
3根據(jù)權(quán)利要求1所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其特征在于，步驟(2)進(jìn)一步包括
根據(jù)當(dāng)前幀圖像上某點(diǎn)的像素值，計(jì)算出差分圖像值，由下式確定差分圖像的二值掩膜
其中Th＝2.5σt(x)，其中Bt(x)為t時(shí)刻x點(diǎn)上的背景像素值，F(xiàn)t(x)為t時(shí)刻x點(diǎn)上的當(dāng)前像素值，σt(x)為t時(shí)刻背景圖像上x點(diǎn)的均方差值；
對(duì)得到的二值掩膜圖像進(jìn)行濾波處理；
應(yīng)用形態(tài)學(xué)算子對(duì)二值掩膜圖像中的斷裂或空洞進(jìn)行處理，同時(shí)使運(yùn)動(dòng)目標(biāo)區(qū)域的邊界變得更加光滑；
利用構(gòu)成獨(dú)立運(yùn)動(dòng)部件的像素是相互連接的而獨(dú)立的像素是相互孤立的小串這一特點(diǎn)，采用基于前景區(qū)域的面積閾值法去除噪聲若相互連接部件的像素總數(shù)超過(guò)設(shè)定閾值，則該部件為獨(dú)立運(yùn)動(dòng)部件，剩下的像素為隨機(jī)噪聲。
4根據(jù)權(quán)利要求1所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其特征在于，步驟(3)中，根據(jù)步驟(2)得到的對(duì)象二值模板，清除當(dāng)前幀內(nèi)不在模板內(nèi)的像素點(diǎn)，得到運(yùn)動(dòng)目標(biāo)的分割結(jié)果。
5根據(jù)權(quán)利要求4所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其特征在于，步驟(3)中，對(duì)于多運(yùn)動(dòng)目標(biāo)的場(chǎng)景，將多個(gè)運(yùn)動(dòng)目標(biāo)分割成多個(gè)單運(yùn)動(dòng)目標(biāo)并加以提取。
6根據(jù)權(quán)利要求1所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其特征在于，步驟(4)進(jìn)一步包括
(a)在跟蹤前通過(guò)初始幀與背景差分獲得初始的運(yùn)動(dòng)目標(biāo)，通過(guò)區(qū)域生長(zhǎng)法獲得跟蹤運(yùn)動(dòng)目標(biāo)的顏色分布模型，如果是多運(yùn)動(dòng)目標(biāo)的跟蹤，可以在初始狀態(tài)為每個(gè)跟蹤運(yùn)動(dòng)目標(biāo)建立顏色分布模型
為每個(gè)運(yùn)動(dòng)目標(biāo)提取N個(gè)顏色區(qū)域?qū)ο?，并按區(qū)域的相對(duì)位置編號(hào)ROi＝(avci，ri，i)，其中N為自然數(shù)，i為1至N的任一自然數(shù)，ROi為顏色區(qū)域?qū)ο螅琣vci為區(qū)域?qū)ο蟮拇砩?，ri為區(qū)域面積比率即區(qū)域像素?cái)?shù)目占運(yùn)動(dòng)目標(biāo)總像素?cái)?shù)目的比率，ri＝ni/Avop，ni為區(qū)域包含的像素?cái)?shù)目，Avop為運(yùn)動(dòng)目標(biāo)的總像素?cái)?shù)目，i為區(qū)域編號(hào)；
(b)建立待跟蹤運(yùn)動(dòng)目標(biāo)VOP的顏色區(qū)域特征向量Svop＝(RO1，RO2，......，RON)，計(jì)算運(yùn)動(dòng)目標(biāo)的中心坐標(biāo)(x，y)
(c)對(duì)當(dāng)前每一幀圖像，與背景圖像做差分后提取到n個(gè)候選的運(yùn)動(dòng)目標(biāo)，計(jì)算每個(gè)候選目標(biāo)k的中心坐標(biāo)
假設(shè)前一幀中跟蹤到的運(yùn)動(dòng)目標(biāo)為vopi-1G，其顏色區(qū)域特征向量Svopi-1＝(RO1G，RO2G，......，RONG)，中心坐標(biāo)
計(jì)算跟蹤到的運(yùn)動(dòng)目標(biāo)vopi-1G與所有候選的待跟蹤運(yùn)動(dòng)目標(biāo)的中心坐標(biāo)的距離k＝1......n，選取距離最小的候選目標(biāo)vopiD；
(d)根據(jù)前一幀中跟蹤到的目標(biāo)vopi-1G的顏色區(qū)域?qū)ο?RO1G，RO2G，......，RONG)的平均顏色(avc1G，avc2G，......，avcNG)，遍歷候選目標(biāo)vopiD的所有像素，把所有和顏色avc1G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n1，計(jì)算此區(qū)域的平均顏色值avc1D，編號(hào)為1；把所有和顏色avc2G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n2，計(jì)算此區(qū)域的平均顏色值avc2D，編號(hào)為2；依次類推得到候選目標(biāo)vopiD的N個(gè)顏色區(qū)域?qū)ο驲OiD＝(avciD，ri，i)，并得到特征向量SvopD＝(RO1D，RO2D，......，ROND)；
(e)計(jì)算跟蹤到的目標(biāo)vopi-1G和候選目標(biāo)vopiD的顏色區(qū)域?qū)ο缶嚯x
其中i表示跟蹤到的目標(biāo)vopi-1G，j表示候選目標(biāo)vopiD，m為顏色區(qū)域編號(hào)，s(avcm(i)，avcm(j))是顏色avcm(i)與顏色avcm(j)的相似度量，Th為顏色相似度的閾值；
(f)計(jì)算聯(lián)合距離的公式為djoint(i，j)＝d1(i，j)×d2(i，j)×......×dN(i，j)，在當(dāng)前幀中，如果djoint(vopi-1G，vopiD)小于預(yù)設(shè)的距離門限值ηd，則兩者匹配，此候選目標(biāo)即為跟蹤到的目標(biāo)；否則認(rèn)為不匹配，選取下一個(gè)與目標(biāo)vopi-1G距離較小的候選目標(biāo)，做相同的匹配，如此重復(fù)直到匹配到目標(biāo)；
(g)在當(dāng)前幀中找到被跟蹤的目標(biāo)后進(jìn)入目標(biāo)顏色分布模型的更新過(guò)程對(duì)于顏色區(qū)域?qū)ο驲O＝(color，ratio，number)的主分量color，使用自適應(yīng)顏色更新模型ci＝(1-α)c+αci-1，ci為第i幀的區(qū)域顏色值，ci-1為第i-1幀的區(qū)域顏色值，c為前i幀區(qū)域顏色均值，α為權(quán)重因子，ratio分量，用當(dāng)前幀正確跟蹤到的目標(biāo)的顏色區(qū)域?qū)ο蟮南鄳?yīng)的ratio分量作為新的值。而對(duì)應(yīng)的編號(hào)number則保持不變。
7根據(jù)權(quán)利要求6所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其特征在于，在步驟(4)中，如果當(dāng)前幀候選運(yùn)動(dòng)目標(biāo)的集合中沒(méi)有匹配到目標(biāo)，則繼續(xù)處理下面的若干幀圖像，若連續(xù)的若干幀匹配不到目標(biāo)則認(rèn)為目標(biāo)已經(jīng)消失，若能找到目標(biāo)則又重新進(jìn)入目標(biāo)跟蹤階段，其中幀數(shù)是預(yù)設(shè)的。
8根據(jù)權(quán)利要求1所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其特征在于，在步驟(5)中，根據(jù)人群聚集面積確定是否進(jìn)行人群聚集預(yù)警。
9根據(jù)權(quán)利要求1所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法，其特征在于，在人群運(yùn)動(dòng)狀態(tài)的檢測(cè)過(guò)程中，對(duì)視頻流中的人群運(yùn)動(dòng)現(xiàn)象進(jìn)行大量的數(shù)學(xué)統(tǒng)計(jì)以形成經(jīng)驗(yàn)數(shù)學(xué)模型，建立攝像角度、焦距、空間坐標(biāo)、人的像素面積和形狀的特征矢量值，以數(shù)學(xué)表格的形式存儲(chǔ)該些特征矢量值和該經(jīng)驗(yàn)數(shù)學(xué)模型以在檢測(cè)過(guò)程中使用。
10一種監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，包括
背景提取裝置，進(jìn)行背景圖像的提取，建立背景圖像的數(shù)學(xué)模型；
差分圖像計(jì)算裝置，計(jì)算視頻流中的每一幀圖像與背景圖像的差分圖像；
運(yùn)動(dòng)目標(biāo)提取裝置，從差分圖像中提取運(yùn)動(dòng)目標(biāo)；
運(yùn)動(dòng)目標(biāo)跟蹤與分析裝置，對(duì)多運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤和分析，建立運(yùn)動(dòng)目標(biāo)的顏色空間分布模型，為每個(gè)目標(biāo)建立至少一個(gè)顏色區(qū)域?qū)ο螅远噙\(yùn)動(dòng)顏色塊及其組合結(jié)構(gòu)為描述搜索運(yùn)動(dòng)目標(biāo)的主要特征，并在跟蹤目標(biāo)的過(guò)程中對(duì)檢測(cè)到的目標(biāo)進(jìn)行特征匹配以判斷是否是需要跟蹤的目標(biāo)；
人群運(yùn)動(dòng)狀態(tài)統(tǒng)計(jì)分析裝置，根據(jù)對(duì)多運(yùn)動(dòng)目標(biāo)的跟蹤結(jié)果統(tǒng)計(jì)分析人群的運(yùn)動(dòng)狀態(tài)，輸出視頻流中的人數(shù)、人流密度或人群聚集過(guò)程預(yù)警。
11根據(jù)權(quán)利要求10所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其特征在于，該背景提取裝置進(jìn)一步包括
初始化背景像素點(diǎn)模塊，選擇視頻流的前N幀來(lái)構(gòu)建初始化背景，設(shè)λ(x)和σ(x)分別為連續(xù)N幀圖像中像素點(diǎn)上的中值和均方差，以λ(x)為背景圖像的像素值來(lái)構(gòu)建背景，在初始化背景中，初始化背景像素點(diǎn)B(x)＝λ(x)，其中N為預(yù)設(shè)的自然數(shù)；
濾波更新模塊，利用一階Kalman濾波模型更新背景圖像
Bt+1(x)＝(1-α)Bt(x)+αFt(x)
其中Bt(x)為t時(shí)刻x點(diǎn)上的背景像素值，F(xiàn)t(x)為t時(shí)刻x點(diǎn)上的當(dāng)前像素值，σt(x)為t時(shí)刻背景圖像上x點(diǎn)上的均方差值，α是更新因子，且0＜α＜1。
12根據(jù)權(quán)利要求10所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其特征在于，該差分圖像計(jì)算裝置進(jìn)一步包括
二值掩膜計(jì)算模塊，根據(jù)當(dāng)前幀圖像上某點(diǎn)的像素值，計(jì)算出差分圖像值，由下式確定差分圖像的二值掩膜
其中Th＝2.5σt(x)，其中Bt(x)為t時(shí)刻x點(diǎn)上的背景像素值，F(xiàn)t(x)為t時(shí)刻x點(diǎn)上的當(dāng)前像素值，σt(x)為t時(shí)刻背景圖像上x點(diǎn)的均方差值；
濾波處理模塊，對(duì)得到的二值掩膜圖像進(jìn)行濾波處理；
斷裂空洞處理模塊，應(yīng)用形態(tài)學(xué)算子對(duì)二值掩膜圖像中的斷裂或空洞進(jìn)行處理，同時(shí)使運(yùn)動(dòng)目標(biāo)區(qū)域的邊界變得更加光滑；
噪聲去除模塊，利用構(gòu)成獨(dú)立運(yùn)動(dòng)部件的像素是相互連接的而獨(dú)立的像素是相互孤立的小串這一特點(diǎn)，采用基于前景區(qū)域的面積閾值法去除噪聲若相互連接部件的像素總數(shù)超過(guò)設(shè)定閾值，則該部件為獨(dú)立運(yùn)動(dòng)部件，剩下的像素為隨機(jī)噪聲。
13根據(jù)權(quán)利要求10所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其特征在于，該運(yùn)動(dòng)目標(biāo)提取裝置清除當(dāng)前幀內(nèi)不在模板內(nèi)的像素點(diǎn)，得到運(yùn)動(dòng)目標(biāo)的分割結(jié)果；對(duì)于多運(yùn)動(dòng)目標(biāo)的場(chǎng)景，通過(guò)內(nèi)設(shè)的分割模塊將多個(gè)運(yùn)動(dòng)目標(biāo)分割成多個(gè)單運(yùn)動(dòng)目標(biāo)并加以提取。
14根據(jù)權(quán)利要求10所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其特征在于，該運(yùn)動(dòng)目標(biāo)跟蹤與分析裝置進(jìn)一步包括
顏色分布模型建立模塊，建立待跟蹤運(yùn)動(dòng)目標(biāo)VOP的顏色區(qū)域特征向量Svop＝(RO1，RO2，......，RON)，其中ROi＝(avci，ri，i)，N為自然數(shù)，i為1至N的任一自然數(shù)，ROi為顏色區(qū)域?qū)ο?，avci為區(qū)域?qū)ο蟮拇砩?，ri為區(qū)域面積比率即區(qū)域像素?cái)?shù)目占運(yùn)動(dòng)目標(biāo)總像素?cái)?shù)目的比率，ri＝ni/Avop，ni為區(qū)域包含的像素?cái)?shù)目，Avop為運(yùn)動(dòng)目標(biāo)的總像素?cái)?shù)目，i為區(qū)域編號(hào)；
中心坐標(biāo)計(jì)算模塊，計(jì)算運(yùn)動(dòng)目標(biāo)的中心坐標(biāo)(x，y)
候選目標(biāo)選取模塊，對(duì)當(dāng)前每一幀圖像，與背景圖像做差分后提取到n個(gè)候選的運(yùn)動(dòng)目標(biāo)，通過(guò)該中心坐標(biāo)計(jì)算模塊計(jì)算每個(gè)候選目標(biāo)k的中心坐標(biāo)
假設(shè)前一幀中跟蹤到的運(yùn)動(dòng)目標(biāo)為vopi-1G，具有通過(guò)該顏色分布模型建立模塊得到的顏色區(qū)域特征向量Svopi-1＝(RO1G，RO2G，......，RONG)，通過(guò)該中心坐標(biāo)計(jì)算模塊得到的中心坐標(biāo)
計(jì)算跟蹤到的運(yùn)動(dòng)目標(biāo)vopi-1G與所有候選的待跟蹤運(yùn)動(dòng)目標(biāo)的中心坐標(biāo)的距離k＝1......n，選取距離最小的候選目標(biāo)vopiD；
特征向量形成模塊，根據(jù)前一幀中跟蹤到的目標(biāo)vopi-1G的顏色區(qū)域?qū)ο?RO1G，RO2G，......，RONG)的平均顏色(avc1G，avc2G，......，avcNG)，遍歷候選目標(biāo)vopiD的所有像素，把所有和顏色avc1G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n1，計(jì)算此區(qū)域的平均顏色值avc1D，編號(hào)為1；把所有和顏色avc2G相似的并在空間上相鄰的點(diǎn)合并成一個(gè)大的區(qū)域，并記錄區(qū)域的像素?cái)?shù)目n2，計(jì)算此區(qū)域的平均顏色值avc2D，編號(hào)為2；依次類推得到候選目標(biāo)vopiD的N個(gè)顏色區(qū)域?qū)ο驲OiD＝(avciD，ri，i)，并得到特征向量SvopD＝(RO1D，RO2D，......，ROND)；
顏色區(qū)域?qū)ο缶嚯x計(jì)算模塊，計(jì)算跟蹤到的目標(biāo)vopi-1G和候選目標(biāo)vopiD的顏色區(qū)域?qū)ο缶嚯x
其中i表示跟蹤到的目標(biāo)vopi-1G，j表示候選目標(biāo)vopiD，m為顏色區(qū)域編號(hào)，s(avcm(i)，avcm(j))是顏色avcm(i)與顏色avcm(j)的相似度量，Th為顏色相似度的閾值；
匹配判斷模塊，計(jì)算聯(lián)合距離的公式為djoint(i，j)＝d1(i，j)×d2(i，j)×......×dN(i，j)，在當(dāng)前幀中，如果djoint(vopi-1G，vopiD)小于預(yù)設(shè)的距離門限值ηd，則兩者匹配，此候選目標(biāo)即為跟蹤到的目標(biāo)；否則認(rèn)為不匹配，選取下一個(gè)與目標(biāo)vopi-1G距離較小的候選目標(biāo)，做相同的匹配，如此重復(fù)直到匹配到目標(biāo)；
顏色分布模型更新模塊，在當(dāng)前幀中找到被跟蹤的目標(biāo)后進(jìn)入目標(biāo)顏色分布模型的更新過(guò)程對(duì)于顏色區(qū)域?qū)ο驲O＝(color，ratio，number)的主分量color，使用自適應(yīng)顏色更新模型ci＝(1-α)c+αci-1，ci為第i幀的區(qū)域顏色值，ci-1為第i-1幀的區(qū)域顏色值，c為前i幀區(qū)域顏色均值，α為權(quán)重因子，ratio分量，用當(dāng)前幀正確跟蹤到的目標(biāo)的顏色區(qū)域?qū)ο蟮南鄳?yīng)的ratio分量作為新的值。而對(duì)應(yīng)的編號(hào)number則保持不變。
15根據(jù)權(quán)利要求10所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其特征在于，如果匹配判斷模塊判斷出當(dāng)前候選運(yùn)動(dòng)目標(biāo)的集合中沒(méi)有匹配到目標(biāo)，則繼續(xù)處理下面的若干幀圖像，若連續(xù)的若干幀匹配不到目標(biāo)則認(rèn)為目標(biāo)已經(jīng)消失，若能找到目標(biāo)則又重新進(jìn)入目標(biāo)跟蹤階段，其中幀數(shù)是預(yù)設(shè)的。
16根據(jù)權(quán)利要求10所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其特征在于，該人群運(yùn)動(dòng)狀態(tài)統(tǒng)計(jì)分析裝置是根據(jù)人群聚集面積確定是否需要進(jìn)行人群聚集預(yù)警。
17根據(jù)權(quán)利要求10所述的監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)系統(tǒng)，其特征在于，系統(tǒng)還包括
供檢測(cè)過(guò)程使用的人群運(yùn)動(dòng)特征數(shù)據(jù)庫(kù)，與該差分圖像計(jì)算裝置、該運(yùn)動(dòng)目標(biāo)提取裝置、該運(yùn)動(dòng)目標(biāo)跟蹤與分析裝置以及該人群運(yùn)動(dòng)狀態(tài)統(tǒng)計(jì)分析裝置連接，以數(shù)學(xué)表格的形式存儲(chǔ)了對(duì)視頻流中的人群運(yùn)動(dòng)現(xiàn)象進(jìn)行大量的數(shù)學(xué)統(tǒng)計(jì)而形成的經(jīng)驗(yàn)數(shù)學(xué)模型以及攝像角度、焦距、空間坐標(biāo)、人的像素面積和形狀的特征矢量值。
全文摘要
本發(fā)明公開了一種監(jiān)控視頻流中人流分析與人群聚集過(guò)程的檢測(cè)方法和系統(tǒng)，自動(dòng)監(jiān)測(cè)人群運(yùn)動(dòng)狀態(tài)輸出人群運(yùn)動(dòng)狀態(tài)統(tǒng)計(jì)數(shù)值。其技術(shù)方案為該檢測(cè)方法包括提取背景圖像，建立背景圖像的數(shù)學(xué)模型；計(jì)算視頻流中的每一幀圖像與背景圖像的差分圖像；從差分圖像中提取運(yùn)動(dòng)目標(biāo)；對(duì)多運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤和分析，建立運(yùn)動(dòng)目標(biāo)的顏色空間分布模型，為每個(gè)目標(biāo)建立至少一個(gè)顏色區(qū)域?qū)ο?，以多運(yùn)動(dòng)顏色塊及其組合結(jié)構(gòu)為描述搜索運(yùn)動(dòng)目標(biāo)的主要特征，并在跟蹤目標(biāo)過(guò)程中對(duì)檢測(cè)到的目標(biāo)進(jìn)行特征匹配以判斷是否是需要跟蹤的目標(biāo)；根據(jù)對(duì)多運(yùn)動(dòng)目標(biāo)的跟蹤結(jié)果統(tǒng)計(jì)分析人群的運(yùn)動(dòng)狀態(tài)，輸出視頻流中的人數(shù)、人流密度或人群聚集過(guò)程預(yù)警。本發(fā)明應(yīng)用于視頻監(jiān)控領(lǐng)域。
文檔編號(hào)H04N7/18GK101325690SQ200710041860
公開日2008年12月17日 申請(qǐng)日期2007年6月12日 優(yōu)先權(quán)日2007年6月12日
發(fā)明者張憲民 申請(qǐng)人:上海正電科技發(fā)展有限公司