專利名稱：基于無線紅外監(jiān)控的全天候多路通道人流量監(jiān)測系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及計算機視覺領域的監(jiān)控技術，尤其是一種全天候多路通道人流量監(jiān)測 系統(tǒng)。
背景技術：
隨著社會不斷的進步，視頻監(jiān)控系統(tǒng)的應用范圍越來越廣泛。在超市、地鐵、碼頭 以及車站等公共場所的出入口處通常安裝有監(jiān)控設備。通過這些監(jiān)控設備，管理人員可以 實時了解掌握監(jiān)控區(qū)域的安全運行情況。但是，隨著通道人流量的增加，管理者很多時候需 要掌握相應通道在一定時間段內(nèi)的人流量信息。就這個需要目前主要有以下幾種方法第一種，通過人工清點的方式。這種方式一方面需要長時間的消耗人力資源；另一方 面，隨著時間的推移和清點人員的疲勞加劇，人工清點的效果會逐漸變差，導致最終得到的 清點數(shù)據(jù)可靠性大打折扣。第二種，機械腳踏傳感器方式。這種方式在需要進行人流量統(tǒng)計的通道口地面上 安裝機械腳踏踏板，通過的行人踩踏這些踏板，然后通過與踏板想連接的傳感器把踩踏信 息傳遞到處理端，通過在信息處理端進行踩踏信息處理和人流量轉化和統(tǒng)計來達到人流量 統(tǒng)計的目的。這種方式處理準確度會嚴重依賴于踏板的排布情況。另外，當進出人流分布 不均勻時，該種方法的累積精度會進一步的降低。第三種，采用紅外線感應方式。該種方式在通道出入口的兩側安裝紅外線發(fā)射裝 置(如紅外二極管)和紅外信號感應接收裝置(如光敏二極管)，通過貫穿通的通道的紅外信 號遮擋情況，來分析行人通過情況。這種方式在當個行人進出時，上課得到較準確的統(tǒng)計信 息。但是，對于人流遮擋等情況，會出現(xiàn)嚴重的漏檢情況。第四種，基于視頻監(jiān)控的技術。基于的計算機視覺的人流量統(tǒng)計方面的專利，也已 有人提出。但是目前現(xiàn)有的這些基于計算機視覺的方法，存在各種各樣的推廣限制。比如， 通過基于Haar特征Adaboost方法進行人頭的檢測，雖然提出針對不同發(fā)色、不同發(fā)型、不 同頭部裝飾(如毛子、頭巾等)分別進行訓練對應的分類器，然后用這些分類器組合成級聯(lián) 分類器進行不同形貌通道人頭的檢測。但是，實際人流頭飾千奇百怪，要分別訓練出對應的 分類器幾乎不現(xiàn)實。

發(fā)明內(nèi)容
為了克服已有人流量監(jiān)測方法的自適應能力差、可靠性差的不足，本發(fā)明提供一 種具有良好自適應能力、可靠性良好的基于無線紅外監(jiān)控的全天候多路通道人流量監(jiān)測系 統(tǒng)。本發(fā)明解決其技術問題所采用的技術方案是一種基于無線紅外監(jiān)控的全天候多路通道人流量監(jiān)測系統(tǒng)，包括視頻采集終端，所述 視頻采集終端包括安裝在各個人流監(jiān)控通道口處的紅外監(jiān)控攝像頭和用以采集視頻圖像 的視頻采集模塊，所述監(jiān)控攝像頭采用主動式紅外監(jiān)控攝像頭，所述視頻采集終端還包括碼本背景模塊，用以對視頻獲取的圖像中每一個像素進行碼素搭建，如果當前幀對應位置 像素點顏色灰度落在已有碼素的有效容忍范圍內(nèi)，判定當前像素點對應背景區(qū)域；如果當 前顏色值沒有落在現(xiàn)有的任何一個碼素范圍內(nèi)，則進行建立一個新的含有上下浮動邊界的 碼素；對當前幀整個監(jiān)控圖像中的所有像素點進行同樣的評估處理，實現(xiàn)運動行人的分割 和提取，得到目標區(qū)域圖像；圖像預處理模塊，用以對目標區(qū)域圖像進行去噪處理；無線發(fā) 射模塊，用以將人流采集視頻數(shù)據(jù)通過無線網(wǎng)絡發(fā)送；所述多路通道人流量監(jiān)測系統(tǒng)還包括用以接收人流采集數(shù)據(jù)，并進行投影、跟蹤和計 數(shù)處理的中心服務器端；所述中心服務器端包括無線接收模塊，用以接收各個視頻采集終端的人流采集視頻數(shù)據(jù)； 新進人流檢測模塊，用以采用在投影區(qū)域進行投影的方法實現(xiàn)新進行人流中人身區(qū)域 的檢測和定位，對行人人身在二維方向上進行顏色信息投影，通過二維極值檢測和交叉定 位實現(xiàn)有效人頭的初始定位；人流跟蹤和計數(shù)模塊，用以對當前通道終端監(jiān)控范圍內(nèi)的已檢測到的每個行人目標， 建立一個對應的Kalman跟蹤器，依靠Kalman預測實現(xiàn)對應行人的位置區(qū)域預測，然后采用 關聯(lián)矩陣方法在Kalman預測區(qū)域內(nèi)進行行人的目標匹配定位，采用關聯(lián)矩陣匹配定位得 到的位置對對應的Kalman進行狀態(tài)測量值的更新；在跟蹤區(qū)域中，設定進門方向的外投影 區(qū)域和出門方向的內(nèi)投影區(qū)域，當該目標從內(nèi)投影區(qū)域進入，且從外投影區(qū)域消失監(jiān)控范 圍時系統(tǒng)出門人次累加1次；同理，當該目標從外投影區(qū)域進入，且從內(nèi)投影區(qū)域消失監(jiān)控 范圍時系統(tǒng)進門人次累加1次；并匯總各個人流監(jiān)控通道口的人流量信息。作為優(yōu)選的一種方案在所述人流跟蹤和計數(shù)模塊中，關聯(lián)矩陣方法包括以下匹 配情況(a)關聯(lián)矩陣中出現(xiàn)新的目標該目標為新進入監(jiān)控范圍的目標，為該目標建立對應的 目標跟蹤初始信息，采用該目標在投影區(qū)域求得的身體位置信息進行Kalman和關聯(lián)矩陣 的跟蹤信息的初始化，并以此信息為該行人的初始位置；(b)關聯(lián)矩陣中前后目標相匹配假設行人i在前一幀的位置跟蹤區(qū)框S相應的高度、 寬度和中心位置分別為Hi、Wi和Pi，通過Kalman預測和關聯(lián)矩陣匹配后對應的新的跟蹤 框S’高度、寬度和中心位置分別為Hi’、Wi’和Pi’，則S和S’的重疊面積是所有其他與S 有重疊關系的重疊面的最大的一個；并根據(jù)此時的S’信息進行對應目標Kalman和關聯(lián)矩 陣跟蹤信息的更新；(c)關聯(lián)矩陣中某目標消失當關聯(lián)矩陣中的某個前幀目標在當前幀沒有匹配目標與 之匹配時，對該消失目標根據(jù)其前一幀的位置坐標信息和初始位置信息來求取其路徑矢量 fn息ο再進一步，在所述圖像預處理模塊中，采用形態(tài)學中的開、閉運算進行去噪處理。本發(fā)明的技術構思為在系統(tǒng)架構上包括基于嵌入式ARM平臺的視頻采集終端和 中心信息處理服務器。在嵌入式視頻監(jiān)控終端，進行對應通道的視頻實時采集和視頻的初 步預處理；在系統(tǒng)的中心服務器端，對各路視頻采集終端發(fā)送來的經(jīng)預處理的監(jiān)控視頻進 行對應視頻人流量的統(tǒng)計和所有通道全部人流量的匯總。終端和中心服務器之間采用WiFi 等無線網(wǎng)絡實現(xiàn)連接和通信。本發(fā)明的有益效果主要表現(xiàn)在(1)在各通道口的無線視頻采集終端，采用主動式紅外監(jiān)控攝像頭進行監(jiān)控視頻的獲 取，避免了系統(tǒng)對可見光線的依賴和光線變化干擾，滿足了系統(tǒng)的全天候應用需求。(2) 整套方法系統(tǒng)分為基于嵌入式ARM平臺的通道視頻采集終端和信息處理中 心服務器等部分，實現(xiàn)了分布式多通道的并行人流同步統(tǒng)計。(3)采用碼本背景建模方法，這樣實現(xiàn)了對監(jiān)控背景變化的自適應能力，排除了 進入監(jiān)控處理范圍的非有效行人目標的干擾。(4)在攝像頭監(jiān)控區(qū)域的內(nèi)外邊界附近，分別劃分了內(nèi)投影區(qū)和外投影區(qū)，采用 二維投影方法實現(xiàn)行人上身的檢測和位置定位。(5)采用Kalman與關聯(lián)矩陣相結合的辦法實現(xiàn)行人的連續(xù)跟蹤，由于Kalman具 有很強的狀態(tài)信息預測和反饋能力。因此，避免了但村實用關聯(lián)矩陣的目標匹配在高速運 動目標的漏檢漏跟情況的發(fā)生。


圖1是基于無線紅外監(jiān)控的全天候多路通道人流量監(jiān)測系統(tǒng)的架構圖。圖2是背景碼本的構建示意圖。圖3是監(jiān)控投影區(qū)域行人定位示意圖。圖4是人流檢測跟蹤示意圖。圖5是基于無線紅外監(jiān)控的全天候多路通道人流量統(tǒng)計處理流程圖。
具體實施例方式下面結合附圖對本發(fā)明作進一步描述。參照圖1 圖5，一種基于無線紅外監(jiān)控的全天候多路通道人流量監(jiān)測系統(tǒng)包括 基于嵌入式ARM平臺的紅外視頻采集終端1和中心信息服務器端2，在嵌入式視頻監(jiān)控終 端，進行對應通道的視頻實時采集和視頻的初步預處理；在系統(tǒng)的中心服務器端，對各路視 頻采集終端發(fā)送來的經(jīng)預處理的監(jiān)控視頻進行對應視頻人流量的統(tǒng)計和所有通道全部人 流量的匯總。視頻采集終端1和中心服務器端2之間采用WiFi等無線網(wǎng)絡3實現(xiàn)連接和ififn。視頻采集終端基于以上系統(tǒng)架構，在各個人流監(jiān)控通道口處，采用連接于嵌入式 ARM處理平臺的主動式紅外監(jiān)控攝像頭在通道上方中心俯視的角度進行全天候紅外視頻的 采集和預處理。為了能排除監(jiān)控背景的變換干擾，在視頻采集終端采用碼本背景評估方法 實現(xiàn)監(jiān)控場景的建立和周期性更新。在背景評估的同時就能判斷出視頻幀各像素點是處于 背景區(qū)域還是行人區(qū)域，從而達到運動行人的分割檢測，在此基礎上，采用形態(tài)學開、閉運 算和直方圖均衡化等實現(xiàn)圖像的預處理。在視頻采集終端進行視頻采集、碼本背景建模和 前景行人圖像的預處理，具體過程如下。(1)碼本背景建模在采集得到監(jiān)控視頻后，采用碼本(codebook)方法實現(xiàn)檢測區(qū)域的周期性場景建模。 對視頻獲取的圖像中每一個像素進行碼素搭建，如果當前幀對應位置像素點顏色灰度落在 已有碼素的有效容忍范圍內(nèi)，則說明當前像素點對應背景區(qū)域；如果當前顏色值沒有落在 現(xiàn)有的任何一個碼素范圍內(nèi)，則進行建立一個新的含有上下浮動邊界(稱作容忍度)的碼5素；同樣的道理，對當前幀圖像中的所有像素點進行同樣的評估處理，就實現(xiàn)了監(jiān)控區(qū)域的 背景評估。背景碼本的構建如下圖2所示。然后周期性的進行碼本的更新，實現(xiàn)有對新進 背景的添加和過時無效背景信息的剔除。在碼本背景評估的同時，我們知道哪些像素屬于 背景，哪些像素屬于運動檢測目標，這樣就也就實現(xiàn)了類似圖像差分式的目標分割檢測。(2)圖像預處理通過碼本周期性的有效背景更新和運動目標的檢測分割，我們得到了監(jiān)控范圍內(nèi)的人 流運動目標。但是受噪聲的干擾等，目標區(qū)域信息并不都很明朗和完整，因此，需要采用形 態(tài)學中的開、閉運算等預處理方法實現(xiàn)運動目標區(qū)域的噪聲消除、粘連目標的分割。中心服務器端在系統(tǒng)中心服務器端，中心處理處理服務器通過WiFi等無線網(wǎng)絡 從分布于各通道上的視頻采集終端接收經(jīng)過預處理的人流采集視頻，并分別為每個采集終 端建立一個對應的視頻后續(xù)處理子進程，這些子進程分別對各自對口終端傳來的通道人流 視頻進行投影、跟蹤和人流量的計數(shù)處理等。最后，服務器父進程通過綜合各子進程求得的 人流計數(shù)值來更新全局人流統(tǒng)計值，這樣就實現(xiàn)了基于無線紅外監(jiān)控的多路通道的人流量 的統(tǒng)計。服務器端的各視頻人流處理子進程分別通過新進人流投影檢測、現(xiàn)有行人目標匹 配跟蹤和人流量計數(shù)等步驟實現(xiàn)各對口無線終端通道人流的統(tǒng)計，具體步驟如下。(1)新進人流檢測新進入通道終端攝像頭監(jiān)控視野的行人，可能存在身體遮擋的情況，這也是基于計算 機視覺技術實現(xiàn)有效精準人流統(tǒng)計的難點和突破重點。目前現(xiàn)有的基于計算機視覺方法人 流統(tǒng)計的難點。目前，已有的基于計算機視覺的人流統(tǒng)計方面的專利和方法對遮擋人流的 統(tǒng)計處理仍不理想，都存在著各種問題。針對這些問題，我們采用在投影區(qū)域進行投影的 方法實現(xiàn)新進行人流中人身區(qū)域的檢測和定位，如下圖3所示。對行人人身在二維方向上 進行顏色信息投影，通過二維極值檢測和交叉定位實現(xiàn)有效人頭(包括被遮擋的)的初始定 位，為后續(xù)的Kalman和關聯(lián)矩陣人流跟蹤提供新進目標的跟蹤初始信息。(2)人流跟蹤與計數(shù)對當前通道終端監(jiān)控范圍內(nèi)的已檢測到的每個行人目標，建立一個對應的Kalman跟 蹤器，依靠Kalman預測實現(xiàn)對應行人的位置區(qū)域預測，然后采用關聯(lián)矩陣方法在Kalman 預測區(qū)域內(nèi)進行行人的目標匹配定位。然后，采用關聯(lián)矩陣匹配定位得到的位置對對應的 Kalman進行狀態(tài)測量值的更新。依次循環(huán)下來，就實現(xiàn)了監(jiān)控行人目標的連續(xù)跟蹤。采用 關聯(lián)矩陣進行行人目標跟蹤時候，有以下幾種匹配情況(a).關聯(lián)矩陣中出現(xiàn)新的目標說明該目標為新進入監(jiān)控范圍的目標，目標還沒有建 立對應的Kalman濾波器和信息記錄。因此，為該目標建立對應的目標跟蹤初始信息。采用 該目標在投影區(qū)域求得的身體位置信息進行Kalman和關聯(lián)矩陣的跟蹤信息的初始化，并 以此信息為該行人的初始位置。(b).關聯(lián)矩陣中前后目標相匹配假設行人i在前一幀的位置跟蹤區(qū)框(圖2所 示，在這里記為S)相應的高度、寬度和中心位置分別為Hi、Wi和Pi，通過Kalman預測和關 聯(lián)矩陣匹配后對應的新的跟蹤框(記為S’)高度、寬度和中心位置分別為Hi’、Wi ’和Pi’， 則S和S’的重疊面積是所有其他與S有重疊關系的重疊面的最大的一個。并根據(jù)此時的 S’信息進行對應目標Kalman和關聯(lián)矩陣跟蹤信息的更新。(c).關聯(lián)矩陣中某目標消失當關聯(lián)矩陣中的某個前幀目標在當前幀沒有匹配目標與之匹配時，說明該目標在當前幀發(fā)生消失。此時，對該消失目標根據(jù)其前一幀的位置坐 標信息和初始位置信息來求取其路徑矢量信息。進而，當該目標從內(nèi)投影區(qū)域進入，且從外 投影區(qū)域消失監(jiān)控范圍時系統(tǒng)出門人次累加1次；同理，當該目標從外投影區(qū)域進入，且從 內(nèi)投影區(qū)域消失監(jiān)控范圍時系統(tǒng)進門人次累加1次。服務器端各處理子進程人對口監(jiān)控終端視頻人流檢測統(tǒng)計如下圖4所示。通過以上無線紅外監(jiān)控終端的視頻采集和預處理以及中心服務器端的對口子進 程人流統(tǒng)計后，就得到了各通道的進出人流信息，在以上基礎上，中心服務器端的人流處理 父進程通過匯總統(tǒng)計各子進程的統(tǒng)計值，便得到了整個系統(tǒng)當前時刻的全部通道的進出人 流信息?；跓o線紅外監(jiān)控的全天候多路通道人流量統(tǒng)計方法處理流程如下圖5所示。
權利要求
1.一種基于無線紅外監(jiān)控的全天候多路通道人流量監(jiān)測系統(tǒng)，包括紅外視頻采集終 端，所述視頻采集終端包括安裝在各個人流監(jiān)控通道口處的紅外監(jiān)控攝像頭和用以采集視 頻圖像的視頻采集模塊，其特征在于所述監(jiān)控攝像頭采用主動式紅外監(jiān)控攝像頭，所述視 頻采集終端還包括碼本背景模塊，用以對視頻獲取的紅外圖像中每一個像素進行碼素搭建，如果當前幀 對應位置像素點顏色灰度落在已有碼素的有效容忍范圍內(nèi)，判定當前像素點對應背景區(qū) 域；如果當前顏色值沒有落在現(xiàn)有的任何一個碼素范圍內(nèi)，則進行建立一個新的含有上下 浮動邊界的碼素；對當前幀整個監(jiān)控圖像中的所有像素點進行同樣的評估處理，實現(xiàn)運動 行人的分割和提取，得到目標區(qū)域圖像；圖像預處理模塊，用以對目標區(qū)域圖像進行去噪處理； 無線發(fā)射模塊，用以將人流采集視頻數(shù)據(jù)通過無線網(wǎng)絡發(fā)送； 所述多路通道人流量監(jiān)測系統(tǒng)還包括用以接收人流采集數(shù)據(jù)，并進行投影、跟蹤和計 數(shù)處理的中心服務器端；所述中心服務器端包括無線接收模塊，用以接收各個視頻采集終端的人流采集視頻數(shù)據(jù)； 新進人流檢測模塊，用以采用在投影區(qū)域進行投影的方法實現(xiàn)新進行人流中人身區(qū)域 的檢測和定位，對行人人身在二維方向上進行顏色信息投影，通過二維極值檢測和交叉定 位實現(xiàn)有效人頭的初始定位；人流跟蹤和計數(shù)模塊，用以對當前通道終端監(jiān)控范圍內(nèi)的已檢測到的每個行人目標， 建立一個對應的Kalman跟蹤器，依靠Kalman預測實現(xiàn)對應行人的位置區(qū)域預測，然后采用 關聯(lián)矩陣方法在Kalman預測區(qū)域內(nèi)進行行人的目標匹配定位，采用關聯(lián)矩陣匹配定位得 到的位置對對應的Kalman進行狀態(tài)測量值的更新；在跟蹤區(qū)域中，設定進門方向的外投影 區(qū)域和出門方向的內(nèi)投影區(qū)域，當該目標從內(nèi)投影區(qū)域進入，且從外投影區(qū)域消失監(jiān)控范 圍時系統(tǒng)出門人次累加1次；同理，當該目標從外投影區(qū)域進入，且從內(nèi)投影區(qū)域消失監(jiān)控 范圍時系統(tǒng)進門人次累加1次；并匯總各個人流監(jiān)控通道口的人流量信息。
2.如權利要求1所述的基于無線紅外監(jiān)控的全天候多路通道人流量監(jiān)測系統(tǒng)，其特征 在于在所述人流跟蹤和計數(shù)模塊中，關聯(lián)矩陣方法包括以下匹配情況(a)關聯(lián)矩陣中出現(xiàn)新的目標該目標為新進入監(jiān)控范圍的目標，為該目標建立對應的 目標跟蹤初始信息，采用該目標在投影區(qū)域求得的身體位置信息進行Kalman和關聯(lián)矩陣 的跟蹤信息的初始化，并以此信息為該行人的初始位置；(b)關聯(lián)矩陣中前后目標相匹配假設行人i在前一幀的位置跟蹤區(qū)框S相應的高度、 寬度和中心位置分別為Hi、Wi和Pi，通過Kalman預測和關聯(lián)矩陣匹配后對應的新的跟蹤 框S’高度、寬度和中心位置分別為Hi’、Wi’和Pi’，則S和S’的重疊面積是所有其他與S 有重疊關系的重疊面的最大的一個；并根據(jù)此時的S’信息進行對應目標Kalman和關聯(lián)矩 陣跟蹤信息的更新。
3.(c)關聯(lián)矩陣中某目標消失當關聯(lián)矩陣中的某個前幀目標在當前幀沒有匹配目標 與之匹配時，對該消失目標根據(jù)其前一幀的位置坐標信息和初始位置信息來求取其路徑矢 M.fn 息。
4.如權利要求1或2所述的基于無線紅外監(jiān)控的全天候多路通道人流量監(jiān)測系統(tǒng)，其 特征在于在所述圖像預處理模塊中，采用形態(tài)學中的開、閉運算進行去噪處理。
全文摘要
一種基于無線紅外監(jiān)控的全天候多路通道人流量監(jiān)測系統(tǒng)，包括視頻采集終端，視頻采集終端包括安裝在各個人流監(jiān)控通道口處的主動式紅外監(jiān)控攝像頭和視頻采集模塊、以及碼本背景模塊，圖像預處理模塊以及無線發(fā)射模塊；還包括用以接收人流采集數(shù)據(jù)，并進行投影、跟蹤和計數(shù)處理的中心服務器端；中心服務器端包括無線接收模塊、新進人流檢測模塊和人流跟蹤和計數(shù)模塊。本發(fā)明提供一種具有良好自適應能力、可靠性良好的基于無線紅外監(jiān)控的全天候多路通道人流量監(jiān)測系統(tǒng)。
文檔編號G06T5/00GK102054167SQ20101058616
公開日2011年5月11日 申請日期2010年12月14日 優(yōu)先權日2010年12月14日
發(fā)明者劉向東, 梁榮華, 毛劍飛, 田青, 馬祥音 申請人:浙江工業(yè)大學