專利名稱：基于視頻人數(shù)統(tǒng)計的智能管理方法及其系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及視頻圖像處理及模式識別技術領域，尤其涉及 一種基 于視頻人數(shù)統(tǒng)計的智能管理方法及其系統(tǒng)。
背景技術：
在信息化管理水平曰益提高的今天，對于超巿、商場、車站、銀行等人流量巨大的場所進行客流量實時估計、客流分布分析、擁擠程 度估計等客流量資料統(tǒng)計成為為公共區(qū)域管理提供第一手背景資料的有效途徑。要解決這一問題，單純依賴監(jiān)視設備以及人為的判斷處 理是遠遠不能滿足高效管理的需要的，有效地視頻圖像處理和數(shù)據(jù)統(tǒng) 計方法和技術成為提高公共區(qū)域管理水平的關鍵。在借助動態(tài)視頻資料進行目標統(tǒng)計方面，申請?zhí)枮?3109626.3、 名稱為"微小昆蟲自動計數(shù)系統(tǒng)"的發(fā)明專利公開了一種微小昆蟲的 自動計數(shù)系統(tǒng)，該發(fā)明屬于自動測量、計數(shù)領域，其中的自動計數(shù)系 統(tǒng)按照以下步驟進行操作，1.圖像釆集，利用數(shù)碼相機或CCD攝 像頭與圖像釆集卡的組合設備將昆蟲的圖像釆集到并送入計算機輸 入端；2.利用計算機程序處理圖像數(shù)據(jù)，將彩色圖轉(zhuǎn)化為灰度圖； 3.對灰度圖進行閾值分割，變?yōu)槎祱D；4.對二值圖進行連通區(qū) 域標記；5.進行目標體識別和非目標體過濾；6.計數(shù)連通區(qū)域所 含昆蟲的個數(shù)；7.將計數(shù)結果顯示給用戶。然而，上述發(fā)明僅僅是在特定的背景環(huán)境及特定區(qū)域中實現(xiàn)對特 定目標體的自動計數(shù)，這種針對特定目標體的計數(shù)技術并不能滿足公 共區(qū)域各種不同背景環(huán)境下對不斷變化的人流量的統(tǒng)計需求。發(fā)明內(nèi)容本發(fā)明正是為了解決上述問題而提出的。本發(fā)明的目的是提供一種基于視頻人數(shù)統(tǒng)計的智能管理方法和 系統(tǒng)。所述方法包括如下步驟Sl:獲取視頻流圖像作為輸入圖像；S2:對輸入圖像進行人數(shù)統(tǒng)計處理，得到各區(qū)域單位時間的人流 分布數(shù)據(jù)；S3:控制中心根據(jù)步驟S2中獲得的人流分布數(shù)據(jù)進行工作人員的 其中在步驟S2中，首先構建出待監(jiān)測區(qū)域的背景模型；然后根據(jù)背景模型對當前輸入圖像進行運動檢測；再根據(jù)運動檢測結果對每個運動區(qū)域進行分析和人數(shù)估計；最后記錄各區(qū)域單位時間的人流分布數(shù)據(jù)。所述系統(tǒng)包括視頻釆集模塊、人數(shù)檢測統(tǒng)計模塊和控制中心，其 特征在于所述人數(shù)檢測統(tǒng)計模塊對輸入圖像進行人數(shù)統(tǒng)計處理，得到 各區(qū)域單位時間的人流分布數(shù)據(jù)；控制中心根據(jù)所述人流分布數(shù)據(jù)進 行工作人員的調(diào)控。本發(fā)明提出的基于視頻人數(shù)統(tǒng)計的智能管理方法和系統(tǒng)可應用 于超巿、商場、車站、銀行等多種場合下的顧客數(shù)量實時估計、客流 分布分析、擁擠程度估計等，此類智能視頻監(jiān)控的重要應用能夠大大 提高諸如公共區(qū)域的管理水平。


圖i表示本發(fā)明的系統(tǒng)框圖；圖2表示本發(fā)明的人數(shù)檢測統(tǒng)計模塊的結構框圖。
具體實施方式
以下實施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。 本發(fā)明針對一般的視頻監(jiān)控場景，通過運動檢測的方法獲取視頻流中的運動區(qū)域，在區(qū)域分析的基礎上，初步估計每個運動區(qū)域的人 體數(shù)目并對多人區(qū)域進行分割，然后釆用目標跟蹤的方法對視野中的 所有運動區(qū)域進行跟蹤，準確統(tǒng)計圖像中的人數(shù)，根據(jù)單位時間段內(nèi) 的場景中人流統(tǒng)計數(shù)值，合理地安排不同崗位的員工上崗人數(shù)，更好 的合理節(jié)約人力成本，減少顧客排隊等候時間。圖l是本發(fā)明的系統(tǒng)框圖。如圖所示，系統(tǒng)主要包括視頻釆集模 塊，人數(shù)檢測統(tǒng)計模塊和控制中心。此外，系統(tǒng)還包括員工呼叫設備， 以及收款臺，倉庫和促銷等。視頻釆集模塊的主要功能是對監(jiān)控場景進行拍攝并獲取視頻流 圖像，可以通過諸如專用的監(jiān)控攝像頭或者傳統(tǒng)攝像頭拍攝并捕獲視 頻流圖像來實現(xiàn)該模塊的功能。人數(shù)檢測模塊的主要功能是檢測出單位時間段內(nèi)輸入圖像中的 人員的數(shù)目，可以采用多種現(xiàn)有的運動檢測技術，如背景差分法、幀 間差分法、混合高斯背景差分等，根據(jù)輸入的視頻流通過一系列的數(shù) 據(jù)處理將輸入圖像中的人員數(shù)目統(tǒng)計輸出，并且得到各區(qū)域單位時間 的人流分布數(shù)據(jù)。通過網(wǎng)絡攝像頭或者攝像機獲取的視頻流圖像分別作為輸入圖 像，通過人數(shù)檢測統(tǒng)計模塊，得到超巿各個地段的單位時間的人流分 布，根據(jù)此分布，控制中心進行工作人員的調(diào)控。比如，控制中心向 員工隨身攜帶的呼叫裝置發(fā)送信息，安排其到工作人手相對緊張的部 門，如高峰期的收款臺等，或者安排到倉庫向貨架上貨，保證貨架上 待售的貨物充足，或者去向顧客宣傳商品的特點，進行商品促銷等。相應的，本發(fā)明提出的基于視頻人數(shù)統(tǒng)計的智能管理方法通過如下步驟實現(xiàn)Sl:獲取視頻流圖像作為輸入圖像；S2:對輸入圖像進行人數(shù)統(tǒng)計處理，得到各區(qū)域單位時間的人流 分布數(shù)據(jù)；S3:控制中心根據(jù)步驟S2中獲得的人流分布數(shù)據(jù)進行工作人員的 調(diào)控。
圖2表示本發(fā)明的人數(shù)檢測統(tǒng)計模塊的結構框圖。如圖2所示，在 本發(fā)明中，人數(shù)檢測統(tǒng)計模塊包括背景構建模塊、運動檢測模塊、區(qū) 域分析模塊和數(shù)據(jù)統(tǒng)計模塊。
其中背景構建模塊用于構建出待監(jiān)測區(qū)域的背景模型，最簡單的 背景模型是時間平均圖像，即利用同一場景在一個時段的平均圖像作 為該場景的背景模型。
在本發(fā)明的一個優(yōu)選實施方案中，背景構建模塊由背景建模模塊 和背景更新模塊組成。其中，背景建模模塊用于根據(jù)從圖象釆集設備 采集的若干幀得出初始背景圖象中每個像素點灰度值；背景更新模塊 用于判斷所述當前幀與其前一幀中坐標相同的像素點灰度值的差值 絕對值是否大于設定的閎值，若是，則令^"力= ^"力，若否，則 令S(x,力^o^,(x,力+ (1-a)/(x,力。其中5(x,力為所述當前幀的背景圖象
中坐標為"，力的像素點灰度值；若當前幀為背景建模模塊中圖象釆集 設備采集的若干幀之后的第l幀，則^"力為所述初始背景圖象中坐 標為"，力的像素點灰度值，否則為所述當前幀的前l(fā)幀的背景圖象中
坐標為"力的像素點灰度值；y"力是所述當前幀中坐標為"力的像 素點灰度值，"是設定的參數(shù)，取值滿足o^""。
在運動檢測模塊中，對于當前輸入圖像，首先將其分別與背景圖 象及前一幀圖像相減得到差分圖象，使用閾值化方法對兩幅差分圖像 分別進行二值化處理。然后，使用數(shù)學形態(tài)學方法(比如膨脹運算、 腐蝕運算、開運算、關運算等)對兩幅二值化圖像進行濾波處理，填 充前景區(qū)域中的空洞，同時去除面積較小的孤立區(qū)域、非連通區(qū)域， 只保留連通區(qū)域的面積大于給定閾值的連通部分。最后，對上述兩幅 濾波后的二值化圖像進行邏輯與操作，并對運算后的圖像進行數(shù)學形 態(tài)學濾波處理，得到最終的運動檢測結果。得到運動檢測結果后，按照背景差分法的更新模式對非運動區(qū)域進行更新。區(qū)域分析模塊的主要功能是分析每個運動區(qū)域是單人區(qū)域還是 多人區(qū)域，如果是多人區(qū)域則估計區(qū)域中的人數(shù)并將區(qū)域分割為多個 單人區(qū)域。本發(fā)明通過識別人的頭頂位置來實現(xiàn)人數(shù)估計。通常情況下，視 頻圖像中人的頭頂點一般是可見的，我們結合運動區(qū)域的幾何形狀和 垂直投影來確定場景中的人頭頂?shù)奈恢?，估計圖像中的人數(shù)進而實現(xiàn) 分割人群。首先，計算每個二值區(qū)域的垂直投影，找到垂直投影的所 有局部極值點。然后，考察所有的局部極值點，如果某極值點的投影 的值比一個給定的閾值大，則認為是可能的頭頂點。最后，對所有的 可能頭頂點進行合并，即將水平方向上相距很近的可能頭頂點合并為 一個頭頂點，得到最終的頭頂點。實現(xiàn)區(qū)域中的人數(shù)估計之后，還需要對多人區(qū)域進行分割。在本發(fā)明的一個優(yōu)選實施方式中，釆用橢圓擬和的方法分割多人區(qū)域。設人體的寬度和高度的比例為一固定值Z,以人體的頭頂點為端點，使用一個長軸和人體的高度相同，寬長比為/的橢圓包圍人體區(qū)域即可 得到一個單人區(qū)域。在視頻監(jiān)控過程中，作為監(jiān)控目標的人體一般處于運動狀態(tài)，因 此同 一 目標人體在不同視頻圖像幀尤其是相鄰圖像幀中可能處于不 同的位置，從而就需要解決視頻圖像相鄰兩幀間的目標匹配問題。在 本發(fā)明中釆用單人區(qū)域匹配模塊來解決相鄰兩幀間的目標匹配問題。 其中主要釆用重疊度計算和相似度計算的方法來實現(xiàn)目標的匹配。重疊度計算本發(fā)明利用相鄰兩幀兩目標所在區(qū)域的重疊系數(shù)來判斷兩目標 是否匹配，在一般的視頻監(jiān)控系統(tǒng)中，人體的運動速度不會太大，同 一個人體區(qū)域在相鄰兩幀中重疊的程度還是很高的。設任意兩個區(qū)域所占的矩形分別為《和& ,計算出《和&的重合區(qū)《1^,則這兩個區(qū)域的重疊系數(shù)按照下式計算:其中，x②是表示計算面積的算子。實際計算時，可以根據(jù)需要設定一個大于0小于1的閾值Thl,當^>77/1時即可認為兩個區(qū)域具有匹 配的可能。單純的依靠面積重疊進行目標關聯(lián)，往往不夠準確，所以可以借 助更多的目標特征，在本發(fā)明的 一 個優(yōu)選實施里中選用顏色特征相似 度匹配來進一步目標關聯(lián)。相似度計算設人體目標橢圓區(qū)域像點集合為<formula>formula see original document page 10</formula>中心為A,橢 圓長短軸參數(shù)矩陣^7。，其中長軸參數(shù)h以及短軸參數(shù)w,定義函數(shù) ^ ^U，…，W表示像素^的顏色值。則橢圓目標區(qū)域中，像點《的顏色概率分布<formula>formula see original document page 10</formula>附.可表示為其中，5是kroneckerdelta函數(shù)，C為規(guī)范化常數(shù),且有^^!'=1 ， ^"為高斯核函數(shù)，u為顏色分量離散化等級。假定兩個重疊度大于門限的目標人體區(qū)域分別為Q和a ,兩者的 顏色概率分布分別為么'1與L ，它們的相似度可以用Bhattacharrya系數(shù)來度量，即<formula>formula see original document page 10</formula>設定一個大于O小于1的閾值Th2，當/^W2時即可認為兩個目標區(qū) 域關聯(lián)，為同一目標。數(shù)據(jù)統(tǒng)計模塊建立一個人體區(qū)域數(shù)據(jù)庫數(shù)據(jù)庫，主要負責記錄單位時間段內(nèi)某場景內(nèi)的大小、位置、圖像特征以及該區(qū)域中的人數(shù)， 供后期應用處理使用。
由于因為超巿的出入口具有單向性的特點，因此在本發(fā)明的一個 具體實施例中，區(qū)域分析模塊僅在初始階段對整個圖像進行人數(shù)統(tǒng) 計，后期的統(tǒng)計僅對圖像的邊界區(qū)域進行，輔助以卡爾曼濾波和模板 匹配等工程性強的方法，根據(jù)得到進出場景的人數(shù)，推導出整個場景 的人員數(shù)目。
其中，w'", w。'"分別為單位時間進出場景的人員數(shù)。 根據(jù)本發(fā)明的基于視頻人數(shù)統(tǒng)計的智能管理系統(tǒng)基于計算機視 覺技術對監(jiān)控場景內(nèi)的視頻圖像進行分析，統(tǒng)計提取場景中的人數(shù)信 息，合理的安排工作人員的工作分布，對于節(jié)約人力成本、方便顧客、 減少人流擁擠、避免付款排隊時間長久等不合理的情形發(fā)生有著積極 有效的作用。
與現(xiàn)有技術相比，本發(fā)明的顯著優(yōu)點包括
1. 本發(fā)明提出的基于視頻人數(shù)統(tǒng)計的智能管理系統(tǒng)集成度高， 使用方便，易于安裝維護。
2. 本發(fā)明提出的基于視頻人數(shù)統(tǒng)計的智能管理系統(tǒng)，將背景更 新、人數(shù)檢測及分析嵌入在前端，只向控制中心發(fā)送人數(shù)統(tǒng)計值，占 用帶寬小，所需存儲空間小，實時性好，系統(tǒng)效率高、穩(wěn)定性。
3. 系統(tǒng)中的人數(shù)統(tǒng)計檢測模塊結構清晰，各部分分工明確，獨 立性強，計算簡便、速度快、易于硬件實現(xiàn)。
4. 本發(fā)明所述系統(tǒng)中的控制中心模塊考慮周到，更好的合理節(jié) 約人力成本，方便顧客購物。
5. 此外，本發(fā)明結合目標跟蹤的方法對單幀人數(shù)統(tǒng)計的方法進 行優(yōu)化，進一步提高了人數(shù)統(tǒng)計的精確性。
雖然本發(fā)明是結合一個具體實施方式
表述的，但本領域技術人員可以對其中的某些特征加以適當改變或者將其應用到其它領域以解 決上述問題，因此本領域技術人員在本實施例的基礎上進行的所有相 關的擴展和應用都應落入本申請的保護范圍。
權利要求
1、一種基于視頻人數(shù)統(tǒng)計的智能管理方法，其特征在于該方法包括如下步驟S1獲取監(jiān)控區(qū)域的視頻流圖像作為輸入圖像；S2對輸入圖像進行人數(shù)統(tǒng)計處理，得到各區(qū)域單位時間的人流分布數(shù)據(jù)；S3控制中心根據(jù)步驟S2中獲得的人流分布數(shù)據(jù)進行工作人員的調(diào)控。
2、 如權利要求l所述的基于視頻人數(shù)統(tǒng)計的智能管理方法，其特 征在于在步驟S2中，首先構建出待監(jiān)測區(qū)域的背景模型； 然后根據(jù)背景模型對當前輸入圖像進行運動檢測； 再根據(jù)運動檢測結果對每個運動區(qū)域進行分析和人數(shù)估計； 最后記錄各區(qū)域單位時間的人流分布數(shù)據(jù)。
3、 如權利要求2所述的基于視頻人數(shù)統(tǒng)計的智能管理方法，其特 征在于在構建待監(jiān)測區(qū)域的背景模型的過程中，對背景進行定時更 新。
4、 如權利要求2所述的基于視頻人數(shù)統(tǒng)計的智能管理方法，其 特征在于在運動檢測過程中，采用差分圖象、二值化處理以及濾波處 理的方法得到最終的運動檢測結果。
5、 如權利要求2所述的基于視頻人數(shù)統(tǒng)計的智能管理方法，其 特征在于在對每個運動區(qū)域進行分析的過程中，首先分析每個運動區(qū) 域是單人區(qū)域還是多人區(qū)域，然后估計多人區(qū)域中的人數(shù)并將其分割 為多個單人區(qū)域。
6、 如權利要求5所述的基于視頻人數(shù)統(tǒng)計的智能管理方法，其 特征在于在對多人區(qū)域進行分割時，釆用橢圓擬和的方法分割多人區(qū) 域。
7、 如權利要求2所述的基于視頻人數(shù)統(tǒng)計的智能管理方法，其 特征在于在區(qū)域分析過程中，釆用重疊度計算和相似度計算的方法來 實現(xiàn)相鄰兩幀間的目標匹配問題。
8、 一種基于視頻人數(shù)統(tǒng)計的智能管理系統(tǒng)，其特征在于該系統(tǒng) 包括視頻釆集模塊、人數(shù)檢測統(tǒng)計模塊和控制中心，其特征在于所述 人數(shù)檢測統(tǒng)計模塊對輸入圖像進行人數(shù)統(tǒng)計處理，得到各區(qū)域單位時間的人流分布數(shù)據(jù)；控制中心根據(jù)所述人流分布數(shù)據(jù)進行工作人員的
9、 如權利要求8所述的基于視頻人數(shù)統(tǒng)計的智能管理系統(tǒng)，其 特征在于所述人數(shù)檢測統(tǒng)計模塊包括背景構建模塊，用于構建出待監(jiān)測區(qū)域的背景模型； 運動檢測模塊，根據(jù)背景模型對當前輸入圖像進行運動檢測； 區(qū)域分析模塊，用于根據(jù)運動檢測結果對每個運動區(qū)域進行分析 和人數(shù)估計；和數(shù)據(jù)統(tǒng)計模塊，用于記錄各區(qū)域單位時間的人流分布數(shù)據(jù)。
10、 如權利要求8所述的基于視頻人數(shù)統(tǒng)計的智能管理系統(tǒng)，其特征在于所述背景構建模塊包括用于根據(jù)從視頻采集模塊釆集的若 干幀得出初始背景圖象中每個像素點灰度值的背景建模模塊，以及用 于對背景進行定時更新的背景更新模塊。
11、 如權利要求8所述的基于視頻人數(shù)統(tǒng)計的智能管理系統(tǒng)，其 特征在于所述運動檢測模塊釆用差分圖象、二值化處理以及濾波處理 的方法得到最終的運動檢測結果。
12、 如權利要求8所述的基于視頻人數(shù)統(tǒng)計的智能管理系統(tǒng)，其特征在于所述區(qū)域分析模塊用于分析每個運動區(qū)域是單人區(qū)域還是 多人區(qū)域，并且估計多人區(qū)域中的人數(shù)并將其分割為多個單人區(qū)域。
13、 如權利要求8所述的基于視頻人數(shù)統(tǒng)計的智能管理系統(tǒng)，其 特征在于區(qū)域分析模塊包括單人區(qū)域匹配模塊，以解決相鄰兩幀間的目標匹配問題。
14、如權利要求8所述的基于視頻人數(shù)統(tǒng)計的智能管理系統(tǒng)，其 特征在于所述區(qū)域分析模塊在初始階段對整個圖像進行人數(shù)統(tǒng)計，在 后期的統(tǒng)計僅對圖像的邊界區(qū)域進行，輔助以卡爾曼濾波和模板匹配 等工程性強的方法，根據(jù)得到進出場景的人數(shù)，推導出整個場景的人 員數(shù)目。
全文摘要
本發(fā)明涉及視頻圖像處理及模式識別技術領域，本發(fā)明公開的基于視頻人數(shù)統(tǒng)計的智能管理方法包括如下步驟S1獲取視頻流圖像作為輸入圖像；S2對輸入圖像進行人數(shù)統(tǒng)計處理，得到各區(qū)域單位時間的人流分布數(shù)據(jù)；S3控制中心根據(jù)步驟S2中獲得的人流分布數(shù)據(jù)進行工作人員的調(diào)控。相應的系統(tǒng)包括視頻采集模塊和人數(shù)檢測統(tǒng)計模塊，其中的人數(shù)檢測統(tǒng)計模塊包括背景構建模塊、運動檢測模塊、區(qū)域分析模塊和數(shù)據(jù)統(tǒng)計模塊。通過本發(fā)明，能夠根據(jù)單位時間段內(nèi)的場景中人流統(tǒng)計數(shù)值，合理地安排不同崗位的員工上崗人數(shù)，更好的合理節(jié)約人力成本，有效提高公共區(qū)域管理水平。
文檔編號G06K9/00GK101303727SQ20081011631
公開日2008年11月12日 申請日期2008年7月8日 優(yōu)先權日2008年7月8日
發(fā)明者盧曉鵬, 磊 王 申請人:北京中星微電子有限公司