人流統(tǒng)計系統(tǒng)及方法
【專利摘要】本發(fā)明提供一種基于視頻圖像分析的人流統(tǒng)計系統(tǒng)及方法，該人流統(tǒng)計系統(tǒng)包括：放置在檢測線的正上方的單一影像攝取單元，用于自上而下地攝取行人頂部的一路視頻圖像；速度估計單元，用于使用光流法計算視頻圖像中每一個行人經(jīng)過檢測線時的速度信息；拼圖生成單元，根據(jù)速度信息，計算出每一幀視頻圖像中行人經(jīng)過檢測線的距離，作為切片的厚度，通過不斷累積切片以還原行人的完整拼圖；決策模型單元，根據(jù)拼圖生成單元所還原的拼圖，利用線性回歸分析，計算出拼圖內(nèi)像素點個數(shù)和邊緣信息個數(shù)，統(tǒng)計出拼圖內(nèi)的人數(shù)。相較于現(xiàn)有技術(shù)，可避免行人之間相互遮擋問題的發(fā)生，有利于增強人流密集時的計數(shù)準確性。
【專利說明】人流統(tǒng)計系統(tǒng)及方法
【技術(shù)領域】
[0001]本發(fā)明涉及人流統(tǒng)計技術(shù)，特別是涉及一種基于視頻圖像分析的人流統(tǒng)計系統(tǒng)及方法。
【背景技術(shù)】
[0002]在很多行業(yè)，人流信息可以為人流管理、資源管理、管理決策提供關(guān)鍵的依據(jù)。例如在地鐵站，通過行人計數(shù)可以實時了解每個站點的人流大小，靈活調(diào)度地鐵列車密度，實施人流控制，實時發(fā)布人流密集地區(qū)信息，有利于加強人群運輸效率，確保地鐵運營平穩(wěn)有效。在商場，人流量是體現(xiàn)其商業(yè)價值的重要依據(jù)，對人流量的準確計算，有利于掌握客人的購物偏好，從而實現(xiàn)更好的物流安排，還可以根據(jù)各區(qū)域的人群密集程度，有效調(diào)配服務人員。人流量還關(guān)系到人流密集場所的安全問題，有效控制場內(nèi)人群數(shù)量，可以在火警等緊急情況下迅速疏導人群，避免踩踏、推擠等情況發(fā)生。
[0003]傳統(tǒng)的行人人數(shù)統(tǒng)計技術(shù)一般可依靠機械手段進行行人統(tǒng)計。一種常用的方法是利用機械的運動來進行人流統(tǒng)計，例如:行人走過閘門的同時推動機械轉(zhuǎn)動，如此，通過統(tǒng)計機械轉(zhuǎn)動的次數(shù)即可統(tǒng)計出人流信息。這種方法建設成本高昂，設備投入費用巨大，而且設備體積較大，一般是固定在出入口處，使用起來不夠靈活，對于人流信息的管理也不夠方便，還有一個最大的缺點就是阻礙了人流的行進速度。另一種常用方法是使用光電傳感器，通過行人觸發(fā)光電傳感器，從而實現(xiàn)對行人的計數(shù)。這種方法是在地鐵需要檢票的基礎上進行的人流統(tǒng)計，雖然準確率高，附加成本低，但是這種方法只適合用于需要檢票的場所，而且一般部署在室內(nèi)環(huán)境，適用范圍有一定局限性。
[0004]隨著通信技術(shù)的發(fā)展，業(yè)界有提出了多種基于視頻圖像的行人統(tǒng)計技術(shù)。一種是例如Xi Zhao等人提出利用人臉特征識別行人并進行跟蹤的技術(shù)(X.Zhao，E.Dellandreaj L.Chen, A People Counting System based on Face Detection and Trackingin a Video, Advanced Video and Signal Based Surveillance，2009，67-72)
[0005]整個方法可以分為人臉檢測、人臉跟蹤和行人計數(shù)三個模塊，并使用同步算法實現(xiàn)三個模塊之間的交互(如圖1所示)。首先系統(tǒng)的人臉檢測模塊采用人臉檢測算法檢測場景中出現(xiàn)的人臉，然后人臉跟蹤模塊會將檢測到的人臉與之前已跟蹤的人臉相匹配，若匹配則歸屬到已跟蹤人臉并進行跟蹤，否則初始化為新人臉開始跟蹤。跟蹤算法采用基于核的跟蹤方法，結(jié)合Kalman濾波器。最后將人臉跟蹤模塊得到的行人軌跡傳遞給行人計數(shù)模塊作為計數(shù)依據(jù)。基于人臉特征的方法通過對行人的臉部進行識別和跟蹤，從而實現(xiàn)行人計數(shù)，實驗證明該方法計數(shù)準確率較高。由于需要拍攝到人的臉部，所以攝像機采用60度或45度，但是斜角度又會帶來人臉遮擋的問題，一旦遮擋情況嚴重，將影響計數(shù)準確率。 另外，G.G.Lee等人提出了利用紅外線探測行人高度方法的行人計數(shù)方 ^(G.G.Leej H.Kimj J.Y.Yoon, J.J.Kimj W.Y.Kimj Pedestrian Counting using anIR Line Laser,International Conference on Convergence and Hybrid InformationTechnology, 2008，482 - 485)，該方法使用了攝像機和激光發(fā)射器(如圖2所示)，釆用60度或45度的斜向下部署方式，利用激光發(fā)射器發(fā)射激光線照射到行人身上，然后使用攝像機獲取紅外線信號，根據(jù)紅外線信號的波動情況，確定行人數(shù)量。基于紅外線檢測高度的行人計數(shù)方法準確率較高，但是在實際應用中局限性較大，在室外環(huán)境會受到太陽光中的紅外線影響，遇到反光地面或反光物體也會影響系統(tǒng)檢測高度的準確度。再有，G.J.Brostow等人提出了基于人的特征跟蹤方法(G.J.Brostow and R.Cipolla, UnsupervisedBayesian Detection of Independent Motion in Crowds, IEEE Comput er SocietyConference, 2006, 17 - 22)，該方法采用垂直向下的部署方式(如圖3所示)，系統(tǒng)首先檢測圖像序列中行人的穩(wěn)定特征點，特征點可以使用角點或SIFT點等等。隨著時間的推移，系統(tǒng)在每一幀中通過匹配新特征點和原有特征點，跟蹤特征點的運行軌跡。同一個行人身上會有多個穩(wěn)定特征點，而這些特征點會具有相似的運行軌跡，通過驗證所有特征點的運行軌跡，將具有空間一致性的特征點聚成一類，最后使用判別式函數(shù)判斷行人個數(shù)?；谔卣鞲櫟姆椒ㄍㄟ^跟蹤行人身上的穩(wěn)定特征點，結(jié)合特征點運行軌跡的空間一致性，判斷行人個數(shù)。此方法不存在遮擋問題，行人計數(shù)準確率較高，但是在人流密集和行人之間距離太近、行走速度一致的情況下，檢測效果會受到一定地影響。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于提供一種人流統(tǒng)計系統(tǒng)及方法，用于解決現(xiàn)有技術(shù)中應用場景受限、因應用場景或檢測效果而影響計數(shù)準確率等問題。
[0007]為解決上述問題及其他問題，本發(fā)明在一方面提供一種人流統(tǒng)計系統(tǒng)，包括:放置在作為檢測點的檢測線的正上方的單一影像攝取單元，用于自上而下地攝取行人頂部的一路視頻圖像；速度估計單元，用于使用光流法計算所述視頻圖像中每一個行人經(jīng)過所述檢測線時的速度信息，所述速度信息描述了行人在每一幀視頻圖像中掃過檢測線的圖像大小；拼圖生成單元，根據(jù)所述速度估計單元計算得到的速度信息，計算出每一幀視頻圖像中行人經(jīng)過檢測線的距離，作為切片的厚度，并通過不斷累積切片以還原行人的完整拼圖；在所述拼圖中，拼圖內(nèi)的人數(shù)與拼圖的像素點和邊緣信息個數(shù)是成正比的；決策模型單元，根據(jù)所述拼圖生成單元所還原的拼圖，利用線性回歸分析，計算出所述拼圖內(nèi)像素點個數(shù)和邊緣信息個數(shù)，統(tǒng)計出所述拼圖內(nèi)的人數(shù)。
[0008]可選地，所述人流統(tǒng)計系統(tǒng)還包括與所述速度估計單元連接，用于對所述速度估計單元計算得到的速度信息進行速度修正的速度修正單元。
[0009]可選地，所述人流統(tǒng)計系統(tǒng)還背景建模單元，用于通過獲取所述視頻圖像中的視頻點信息而建立背景模型以供檢測行人目標前景，并將前景檢測結(jié)果傳輸至所述拼圖生成單元以令所述拼圖生成單元結(jié)合所述前景檢測結(jié)果和所述速度信息還原行人的完整拼圖。
[0010]可選地，所述背景建模單元建立背景模型采用視覺背景抽取算法ViBe并結(jié)合動態(tài)區(qū)域采樣技術(shù)來實現(xiàn)的。
[0011]本發(fā)明在另一方面提供一種人流統(tǒng)計方法，包括:利用單一影像攝取設備自上而下地攝取行人頂部的一路視頻圖像；所述影像攝取設備放置在作為檢測點的檢測線的正上方；使用光流法計算每一個行人經(jīng)過所述檢測線時的速度信息，所述速度信息描述了行人在每一幀視頻圖像中掃過檢測線的圖像大??；根據(jù)計算得到的所述速度信息，計算出每一幀視頻圖像中行人經(jīng)過檢測線的距離，作為切片的厚度，并通過不斷累積切片以還原行人的完整拼圖；在所述拼圖中，拼圖內(nèi)的人數(shù)與拼圖的像素點和邊緣信息個數(shù)是成正比的；根據(jù)還原的所述拼圖，利用線性回歸分析，計算出所述拼圖內(nèi)像素點個數(shù)和邊緣信息個數(shù)，統(tǒng)計出所述拼圖內(nèi)的人數(shù)。
[0012]可選地，在計算得到每一個行人經(jīng)過所述檢測線時的速度信息之后以及還原拼圖之前還包括用于對計算得到的所述速度信息進行速度修正的步驟。
[0013]可選地，所述速度修正的步驟包括:對于檢測線上的每一個速度值Ui，設定參考范圍為2 τ且以該速度值Ui為中點；統(tǒng)計出在所述參考范圍[i_ τ，i+ τ ]內(nèi)的所有速度值作為參考，并根據(jù)參考范圍內(nèi)的速度集合對該點速度值Ui進行調(diào)整。
[0014]可選地,統(tǒng)計出所述參考范圍在[1-τ，i+τ ]內(nèi)的所有速度值作為參考，并根據(jù)參考范圍內(nèi)的速度集合對該點速度值Ui進行調(diào)整，包括:對于檢測線上每一個速度值Ui,首先統(tǒng)計參考范圍[1-T，i+T]內(nèi)的速度值分別為正和負的個數(shù)、平均速度值以及速度值的絕對值之和；針對速度值Ui為O或非0，對該點速度值Ui進行調(diào)整:a、當前速度值Ui為非O時，若該速度方向與參考范圍內(nèi)的大部分速度方向相反，則認為該點是速度反向點，并改變該速度方向；若參考范圍內(nèi)速度值非O的點不超過總數(shù)的三分之一，則認為該點是噪聲點，并將該速度值清零山、當前速度值Ui為O時，若參考范圍內(nèi)速度值非O的點超過總數(shù)的一半，則認為該點是速度估計失敗點，重新給該點賦值，新速度值等于參考范圍內(nèi)速度值的均值。
[0015]可選地，所述人流統(tǒng)計方法還包括通過獲取所述視頻圖像中的視頻點信息而建立背景模型以供檢測行人目標前景后得到前景檢測結(jié)果作為后續(xù)還原拼圖的參考信息的步驟。
[0016]可選地，在所述建立背景模型的步驟中，前景檢測采用視覺背景抽取算法ViBe并結(jié)合動態(tài)區(qū)域采樣技術(shù)來計算出一幅采樣掩膜實現(xiàn)的；在動態(tài)區(qū)域采樣技術(shù)中，先處理所述采樣掩膜的輪廓區(qū)域，后處理所述采樣掩膜的內(nèi)部區(qū)域；所述采樣掩膜的范圍包含了整個前景圖像，在所述采樣掩膜中，處于輪廓區(qū)域的像素點的接觸度要大于處于內(nèi)部區(qū)域的像素點的接觸度。
[0017]如上所述，本發(fā)明的一種人流統(tǒng)計系統(tǒng)及方法，相對于現(xiàn)有技術(shù)具有如下優(yōu)點:
[0018]1、影像攝取裝置采用垂直的部署角度，即使在人流密集的情況下，依然可以自上而下地獲取到完整的行人頂部圖像(主要包含人的頭部和肩)，可避免行人之間相互遮擋問題的發(fā)生，提高行人計數(shù)的準確性。
[0019]2、對于還原的拼圖，采用線性回歸分析，對同一時間內(nèi)經(jīng)過檢測線的行人統(tǒng)一計數(shù)，不需要將行人分開處理，有利于增強人流密集時的計數(shù)準確性。
[0020]3、采用了視覺背景抽取算法ViBe建立背景模型，有利于提高前景檢測的準確性，避免光照變化、前背景相似和運動背景的影響，并通過結(jié)合改進的動態(tài)區(qū)域采樣技術(shù)，提高背景建模模塊的實時性。
【專利附圖】

【附圖說明】
[0021]圖1為現(xiàn)有技術(shù)在一個實施例中的原理示意圖。
[0022]圖2為現(xiàn)有技術(shù)在另一個實施例中的原理示意圖。
[0023]圖3為現(xiàn)有技術(shù)在再一個實施例中的原理示意圖。[0024]圖4為本發(fā)明人流統(tǒng)計系統(tǒng)在一個實施方式中的結(jié)構(gòu)示意圖。
[0025]圖5為本發(fā)明進行速度修正的示意圖。
[0026]圖6為本發(fā)明建立背景模型以進行前景檢測的過程示意圖。
[0027]圖7為本發(fā)明人流統(tǒng)計方法在一個實施方式中的流程示意圖。
【具體實施方式】
[0028]本發(fā)明的發(fā)明人發(fā)現(xiàn):傳統(tǒng)采用機械手段的行人人數(shù)統(tǒng)計技術(shù)，存在適用場景受限、建設成本高昂、使用不靈活等問題，以及采用基于視頻圖像的行人人數(shù)統(tǒng)計技術(shù)則存在帶來人臉遮擋、光線干擾而影響計數(shù)準確率等問題。因此，本發(fā)明的發(fā)明人對現(xiàn)有技術(shù)進行了改進，提出了一種新型的基于視頻圖像分析的人流統(tǒng)計系統(tǒng)及方法，克服上述問題的產(chǎn)生，擴大場景適用性并提高計數(shù)準確率。
[0029]以下通過特定的具體實例說明本發(fā)明的實施方式，本領域技術(shù)人員可由本說明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點與功效。本發(fā)明還可以通過另外不同的【具體實施方式】加以實施或應用，本說明書中的各項細節(jié)也可以基于不同觀點與應用，在沒有背離本發(fā)明的精神下進行各種修飾或改變。
[0030]需要說明的是，本實施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構(gòu)想，遂圖式中僅顯示與本發(fā)明中有關(guān)的組件而非按照實際實施時的組件數(shù)目、形狀及尺寸繪制，其實際實施時各組件的型態(tài)、數(shù)量及比例可為一種隨意的改變，且其組件布局型態(tài)也可能更為復雜。
[0031]圖4顯示了本發(fā)明人流統(tǒng)計系統(tǒng)在一個實施方式中的功能模塊示意圖。在實際應用中，本發(fā)明的人流統(tǒng)計系統(tǒng)是應用于室內(nèi)或室外的各類場景(例如車站、展覽館、地鐵站、機場或廣場等)中，以實時且準確地獲得該場景中人數(shù)的實時數(shù)量。如圖4所示，在本方明的人流統(tǒng)計系統(tǒng)中，包括:單一影像攝取單元11、速度估計單元12、速度修正單元13、背景建模單元14、拼圖生成單元15、以及決策模型單元16。
[0032]以下對上述各個單元進行詳細描述。
[0033]影像攝取單元11用于獲取行人的一路視頻圖像。在本實施例中，影像攝取單元11的數(shù)量為單一個，且采用垂直的部署角度。具體而言，本發(fā)明人流統(tǒng)計系統(tǒng)的檢測方式是基于感興趣線(Line Of Interest，L0I)，檢測線作為行人計數(shù)的標準，因此，本實施例中的影像攝取單元11放置在作為檢測點的檢測線的正上方的(即，影像攝取單元11中的攝像頭正對于所述檢測線)，用于自上而下地攝取行人頂部的一路視頻圖像，如此，即使在人流密集的情況下，影像攝取單元11依然可以獲取到完整的行人頂部圖像(主要包含人的頭部和肩)，避免行人之間相互遮擋問題的發(fā)生，當行人從兩個方向上(視頻圖像的上方和下方)經(jīng)過檢測線時，即可統(tǒng)計行人整體走過檢測線的數(shù)目以及方向，從而提高后續(xù)行人計數(shù)的準確性。在本實施例中，影像攝取單元11可為一般應用的攝像機，例如:一體化攝像機、槍式攝像機、槍式攝像機鏡頭、半球攝像機、球形攝像機、特殊外形攝像機、或網(wǎng)絡攝像機，且所攝取的一路視頻圖像可以通過有線通信方式或無線通信方式傳輸出去。另外，由于在本實施例中僅通過使用影像攝取單元11來獲取一路視頻圖像，在所述視頻圖像中可利用的信息只有視頻的顏色信息和空間時間信息。
[0034]速度估計單元12用于使用光流法計算所述視頻圖像中每一個行人經(jīng)過所述檢測線時的速度信息，所述速度信息描述了行人在每一幀視頻圖像中掃過檢測線的圖像大小。在本實施例中，計算每一個行人經(jīng)過所述檢測線時的速度信息就是計算出行人經(jīng)過檢測線時的垂直速度(行人的走動表現(xiàn)在視頻圖像上即是:由視頻圖像的上方移向下方，或由視頻圖像的下方移向上方)，速度表示了每一幀行人經(jīng)過檢測線的圖像大小。我們知道，將三維空間中的目標和場景對應于二維圖像平面運動時，他們在二維圖像平面的投影就形成了運動，這種運動以圖像平面亮度模式表現(xiàn)出來的流動就稱為光流。光流法是對運動序列圖像進行分析的一個重要方法，光流不僅包含圖像中目標的運動信息，而且包含了三維物理結(jié)構(gòu)的豐富信息，因此可用來確定目標的運動情況以及反映圖像其它等信息。光流法用于目標檢測的原理主要在于:給圖像中的每個像素點賦予一個速度矢量，這樣就形成了一個運動矢量場。在某一特定時刻，圖像上的點與三維物體上的點一一對應，這種對應關(guān)系可以通過投影來計算得到。根據(jù)各個像素點的速度矢量特征，可以對圖像進行動態(tài)分析。如果圖像中沒有運動目標，則光流矢量在整個圖像區(qū)域是連續(xù)變化的。當圖像中有運動物體時，目標和背景存在著相對運動。運動物體所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以計算出運動物體的位置。由于利用光流法來確定視頻圖像中的目標對象的運動已為本領域技術(shù)人員所熟知的現(xiàn)有技術(shù)，故不再在此贅述。
[0035]速度修正單元13與速度估計單元12連接,用于對速度估計單元12計算得到的速度信息進行速度修正。由于使用光流估計速度的過程中會受到很多外來因素的干擾，速度信息不能很好地描述行人經(jīng)過檢測線的距離，因此有必要對所述速度信息進行修正。為此，本發(fā)明提供了一種速度修正算法，由于檢測線上的速度是利用光流法對運動行人進行速度估計得到的，相鄰的速度應該具有相似的分布特征。因此，可以選取鄰近像素點的速度值，并將當前速度值與之作對比，判斷該點的速度值和方向是否與鄰近像素點相一致，進而發(fā)現(xiàn)差異較大的速度值，并對存在差異較大的這一速度值進行調(diào)整。
[0036]在本實施例中，如圖5所示，對于檢測線上的每一個速度值Ui,設定參考范圍為2 τ，以該速度值為中點，選取范圍在[i_ τ，i+ τ ]內(nèi)所有速度值作為參考，并根據(jù)參考范圍內(nèi)的速度集合對該點速度值進行調(diào)整。
[0037]首先，對于檢測線上每一個速度值Ui，首先統(tǒng)計參考范圍[i_ τ，i+ τ ]內(nèi)的速度值分別為正和負的個數(shù)、平均速度值以及速度值的絕對值之和，其中P (positive)表示參考范圍內(nèi)速度值為正的個數(shù)，n (nagative)表示參考范圍內(nèi)速度值為負的個數(shù)，U表示參考范圍內(nèi)速度值的絕對值之和。
[0038]即，對于每一個速度值Ui
[0039]遍歷參考范圍[i_ τ，i+τ ]內(nèi)的速度值ui+j(j e [-τ，τ ])
[0040]gui+j>0,p++;
[0041]Sui+j〈0,n++;
[0042]U+=abs (ui+J)；
[0043]之后，針對速度值Ui為0或非0，對該點速度值Ui進行調(diào)整。
[0044]若Ui 關(guān) O
[0045]若p>n 且屮〈0，Ui=-Ui ；
[0046]若p〈n 且 UiX), Ui=-Ui ；
[0047]若ρ+η< τ /3, Ui=O ；[0048]若Ui=O
[0049]若p>n 且 ρ+η> τ /2，Ui=U/ (2 τ +1)；
[0050]若ρ〈η 且 ρ+η> τ /2, Ui=-U/ (2 τ +1)。
[0051]即:a、當前速度值Ui為非O時，若該速度方向與參考范圍內(nèi)的大部分速度方向相反，則認為該點是速度反向點，并改變該速度方向；若參考范圍內(nèi)速度值非O的點不超過總數(shù)的三分之一，則認為該點是噪聲點，并將該速度值清零；b、當前速度值Ui為O時，若參考范圍內(nèi)速度值非O的點超過總數(shù)的一半，則認為該點是速度估計失敗點，重新給該點賦值，新速度值等于參考范圍內(nèi)速度值的均值。
[0052]需特別說明的是，在本實施例中，在一種情形下，速度估計單元12和速度修正單元13可以是兩個單獨的器件，但并不以此為限，在另外的情形下，速度估計單元12和速度修正單元13也可以集成在一起構(gòu)成一個速度估計和修正器件。
[0053]背景建模單元14，用于通過獲取所述單一影像攝取單元11攝取的視頻圖像中的視頻點信息而建立背景模型以供檢測行人目標前景，并將前景檢測結(jié)果傳輸至拼圖生成單元15。在本發(fā)明中，由于視頻場景在實際應用中非常復雜，常常會出現(xiàn)光照變化、運動背景、前背景相似等問題，因此需要排除視頻場景的干擾因素。當新一幀視頻圖像來臨時，根據(jù)背景模型檢測行人目標前景，排除場景背景的干擾因素，只有屬于前景部分的圖像才會被拼圖生成單元15獲取，前景檢測結(jié)果將會傳遞給拼圖生成單元15。
[0054]在本實施例中，背景建模單元14建立背景模型采用視覺背景抽取算法ViBe(Visual Background ex-tractor)并結(jié)合動態(tài)區(qū)域采樣技術(shù)來實現(xiàn)的,通過計算出一幅采樣掩膜，減少需要檢測前景的像素點個數(shù)，從而提高背景建模模塊的實時性。
[0055]對于動態(tài)區(qū)域采樣技術(shù)，本實施例采用的是輪廓優(yōu)先算法，通過調(diào)整檢測順序，可以進一步提高背景模型檢測前景的速度。采樣掩膜的范圍包含了整個前景圖像，只有采樣掩膜覆蓋的范圍，才會被背景建模模塊進行前景檢測。因為前景目標是一個連通區(qū)域，一旦目標的外圍輪廓被正確檢測，其內(nèi)部必定也是屬于目標的前景區(qū)域，因此，不必對內(nèi)部像素點進行檢測處理而直接將其判定為前景。通過改變目標檢測的像素點處理順序，從掩膜的外圍輪廓逐漸向內(nèi)部檢測，減少需要檢測的像素點，達到加速的效果。
[0056]具體檢測過程可請參閱圖6a至圖6f:
[0057]首要地，需要定義一個參數(shù)接觸度:在每個像素點的上下左右四個相鄰像素點(四鄰域)中，若有N個像素點屬于采樣掩膜或目標前景區(qū)域，則稱該點的接觸度為N。
[0058]根據(jù)計算所得到的動態(tài)區(qū)域采樣掩膜，對于掩膜區(qū)域內(nèi)的每一個像素點，計算每一個像素點接觸度。如圖6a所示，藍色部分為采樣掩膜，里面的數(shù)字表示每一個像素點的接觸度，黑色部分為非采樣掩膜部分，黑色部分直接判斷為背景，白色部分為經(jīng)檢測后的目標前景。
[0059]輪廓優(yōu)先檢測的具體處理方法如下:
[0060]在前景檢測過程中，因為要達到先處理掩膜的輪廓區(qū)域，后處理掩膜的內(nèi)部區(qū)域的目的，所以我們采取了先處理接觸度小、后處理接觸度大的像素點的檢測順序原則。
[0061]在圖6a中，先處理接觸度最小的像素點，即圖6a右上角紅框所標出的接觸度為O的像素點。假設該點經(jīng)過檢測判斷為背景，則把該點標為背景(黑色)，同時將鄰近四個像素點(若有)的接觸度減I。然后處理剩下的接觸度最小的像素點，即圖6a右下角紅框所標出的接觸度為I的像素點，檢測判斷為背景，同樣標為背景(黑色)，同時左邊的像素點接觸度減1，即圖6b右下角紅框所標出的像素點，接觸度由4變?yōu)?。
[0062]如果存在多個同樣的最小接觸度的像素點，如圖6b中存在多個接觸度為2的點，則隨機選取其中一個，如圖6b右上角紅框所標出的像素點，若檢測判斷為前景，則標為前景(白色)，而鄰近四個像素的接觸度不變。
[0063]繼續(xù)處理下一個點，如圖6c右上角紅框所標出的像素點，檢測判斷為背景，鄰近四個像素(若有)的接觸度減1，即圖6d右上角兩個紅框標出的像素點。
[0064]根據(jù)以上原則按順序逐個處理像素點，當剩下的像素點的接觸度均為4時，如圖6e，則表示這些像素點均為物體內(nèi)部區(qū)域，物體外圍輪廓已經(jīng)被成功檢測，內(nèi)部像素點無需判斷，直接全部判定為前景，得到圖6f，從而減少需要檢測的像素點的數(shù)量，達到加速的目的。
[0065]拼圖生成單元15根據(jù)速度估計單元12和速度修正單元13處理得到的速度信息，計算出每一幀視頻圖像中行人經(jīng)過檢測線的距離，作為切片的厚度，不斷累積切片，并結(jié)合背景建模單元14建立背景模型而得到的前景檢測結(jié)果，還原行人的完整拼圖。在本實施例中，所述速度信息表示了每一幀視頻圖像中行人經(jīng)過檢測線的圖像大小，因為根據(jù)檢測線上的平均速度作為厚度獲取每一幀的行人切片。在行人越過檢測線的過程中，不斷累積這些切片，并且結(jié)合背景建模的前景檢測結(jié)果，排除背景的影響因素，拼接成完成的行人拼圖，這樣系統(tǒng)就可以獲取到行人越過檢測線時的頂部行人拼圖，在所述拼圖中，拼圖內(nèi)的人數(shù)與拼圖的像素點和邊緣信息個數(shù)是成正比的。
[0066]決策模型單元16根據(jù)拼圖生成單元15所還原的拼圖，利用線性回歸分析，計算出所述拼圖內(nèi)像素點個數(shù)和邊緣信息個數(shù)，從而統(tǒng)計出所述拼圖內(nèi)的人數(shù)。在本實施例中，由于在拼圖中，拼圖的像素點個數(shù)和邊緣信息個數(shù)是與拼圖內(nèi)的人數(shù)成正比，因此可以使用回歸分析的方法，使用大量行人拼圖作為樣本，訓練出一組回歸分析方程的系數(shù)。在實際應用時，根據(jù)拼圖的像素點個數(shù)和邊緣信息個數(shù)計算出行人個數(shù)，從而實現(xiàn)行人計數(shù)。
[0067]本發(fā)明還提供了一種人流統(tǒng)計方法，請參閱圖XX，其顯示了本發(fā)明人流統(tǒng)計方法在一個實施方式中的流程示意圖。
[0068]如圖7所示,所述人流統(tǒng)計方法包括:
[0069]步驟S201，利用單一影像攝取設備自上而下地攝取行人頂部的一路視頻圖像。
[0070]在本實施例中，所述影像攝取設備放置在作為檢測點的檢測線的正上方(B卩，影像攝取設備中的攝像頭正對于所述檢測線)，用于自上而下地攝取行人頂部的一路視頻圖像，如此，即使在人流密集的情況下，所述影像攝取設備依然可以獲取到完整的行人頂部圖像(主要包含人的頭部和肩)，避免行人之間相互遮擋問題的發(fā)生，當行人從兩個方向上(視頻圖像的上方和下方)經(jīng)過檢測線時，即可統(tǒng)計行人整體走過檢測線的數(shù)目以及方向，從而提高后續(xù)行人計數(shù)的準確性。
[0071]步驟S203，使用光流法計算每一個行人經(jīng)過所述檢測線時的速度信息，所述速度信息描述了行人在每一幀視頻圖像中掃過檢測線的圖像大小。
[0072]在本實施例中，計算每一個行人經(jīng)過所述檢測線時的速度信息就是計算出行人經(jīng)過檢測線時的垂直速度(行人的走動表現(xiàn)在視頻圖像上即是:由視頻圖像的上方移向下方，或由視頻圖像的下方移向上方)，速度表示了每一幀行人經(jīng)過檢測線的圖像大小。光流法用于目標檢測的原理主要在于:給圖像中的每個像素點賦予一個速度矢量，這樣就形成了一個運動矢量場。在某一特定時刻，圖像上的點與三維物體上的點一一對應，這種對應關(guān)系可以通過投影來計算得到。根據(jù)各個像素點的速度矢量特征，可以對圖像進行動態(tài)分析。如果圖像中沒有運動目標，則光流矢量在整個圖像區(qū)域是連續(xù)變化的。當圖像中有運動物體時，目標和背景存在著相對運動。運動物體所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以計算出運動物體的位置。由于利用光流法來確定視頻圖像中的目標對象的運動已為本領域技術(shù)人員所熟知的現(xiàn)有技術(shù)，故不再在此贅述。
[0073]步驟S205，用于對步驟S203中計算得到的速度信息進行速度修正。
[0074]在本實施例中，由于使用光流估計速度的過程中會受到很多外來因素的干擾，速度信息不能很好地描述行人經(jīng)過檢測線的距離，因此有必要對所述速度信息進行修正。為此，本發(fā)明提供了一種速度修正算法，由于檢測線上的速度是利用光流法對運動行人進行速度估計得到的，相鄰的速度應該具有相似的分布特征。因此，可以選取鄰近像素點的速度值，并將當前速度值與之作對比，判斷該點的速度值和方向是否與鄰近像素點相一致，進而發(fā)現(xiàn)差異較大的速度值，并對存在差異較大的這一速度值進行調(diào)整。
[0075]如圖5所示，對于檢測線上的每一個速度值Ui,設定參考范圍為2 τ，以該速度值為中點，選取范圍在[1- τ，i+ τ ]內(nèi)所有速度值作為參考,并根據(jù)參考范圍內(nèi)的速度集合對該點速度值進行調(diào)整。
[0076]首先，對于檢測線上每一個速度值Ui，首先統(tǒng)計參考范圍[i_ τ，i+ τ ]內(nèi)的速度值分別為正和負的個數(shù)、平均速度值以及速度值的絕對值之和，其中P (positive)表示參考范圍內(nèi)速度值為正的個數(shù)，n (nagative)表示參考范圍內(nèi)速度值為負的個數(shù)，U表示參考范圍內(nèi)速度值的絕對值之和。
[0077]即，對于每一個速度值Ui
[0078]遍歷參考范圍[i_ τ， i+τ ]內(nèi)的速度值ui+j(j e [-τ，τ ])
[0079]若ui+j>0,p++;
[0080]若ui+j〈0，η++ ；
[0081]U+=abs (ui+J)；
[0082]之后，針對速度值Ui為O或非0，對該點速度值Ui進行調(diào)整。
[0083]若Ui ^ O
[0084]若p>n 且 ι^〈0, Ui=-Ui ；
[0085]若p〈n 且 UiX), Ui=-Ui ；
[0086]若ρ+η< τ /3，Ui=O ；
[0087]若Ui=O
[0088]若ρ>η 且 ρ+η> τ /2, Ui=U/ (2 τ +1)；
[0089]若ρ〈η 且 ρ+η> τ /2, Ui=-U/ (2 τ +1)。
[0090]即:a、當前速度值Ui為非O時，若該速度方向與參考范圍內(nèi)的大部分速度方向相反，則認為該點是速度反向點，并改變該速度方向；若參考范圍內(nèi)速度值非O的點不超過總數(shù)的三分之一，則認為該點是噪聲點，并將該速度值清零；b、當前速度值Ui為O時，若參考范圍內(nèi)速度值非O的點超過總數(shù)的一半，則認為該點是速度估計失敗點，重新給該點賦值，新速度值等于參考范圍內(nèi)速度值的均值。[0091]步驟S207，通過步驟S201中獲取的所述視頻圖像中的視頻點信息而建立背景模型以供檢測行人目標前景后得到前景檢測結(jié)果。在本發(fā)明中，由于視頻場景在實際應用中非常復雜，常常會出現(xiàn)光照變化、運動背景、前背景相似等問題，因此需要排除視頻場景的干擾因素。
[0092]在本實施例中，建立背景模型采用視覺背景抽取算法ViBe (Visual Backgroundex-tractor)并結(jié)合動態(tài)區(qū)域采樣技術(shù)來實現(xiàn)的,通過計算出一幅采樣掩膜,減少需要檢測前景的像素點個數(shù)，從而提高背景建模模塊的實時性。對于動態(tài)區(qū)域采樣技術(shù)，本實施例采用的是輪廓優(yōu)先算法，通過調(diào)整檢測順序，可以進一步提高背景模型檢測前景的速度。采樣掩膜的范圍包含了整個前景圖像，只有采樣掩膜覆蓋的范圍，才會被背景建模模塊進行前景檢測。因為前景目標是一個連通區(qū)域，一旦目標的外圍輪廓被正確檢測，其內(nèi)部必定也是屬于目標的前景區(qū)域，因此，不必對內(nèi)部像素點進行檢測處理而直接將其判定為前景。通過改變目標檢測的像素點處理順序，從掩膜的外圍輪廓逐漸向內(nèi)部檢測，減少需要檢測的像素點，達到加速的效果。
[0093]具體檢測過程可請參閱圖6a至圖6f:
[0094]首要地，需要定義一個參數(shù)接觸度:在每個像素點的上下左右四個相鄰像素點(四鄰域)中，若有N個像素點屬于采樣掩膜或目標前景區(qū)域，則稱該點的接觸度為N。
[0095]根據(jù)計算所得到的動態(tài)區(qū)域采樣掩膜，對于掩膜區(qū)域內(nèi)的每一個像素點，計算每一個像素點接觸度。如圖6a所示，藍色部分為采樣掩膜，里面的數(shù)字表示每一個像素點的接觸度，黑色部分為非采樣掩膜部分，黑色部分直接判斷為背景，白色部分為經(jīng)檢測后的目標前景。
[0096]輪廓優(yōu)先檢測的具體處理方法如下:
[0097]在前景檢測過程中，因為要達到先處理掩膜的輪廓區(qū)域，后處理掩膜的內(nèi)部區(qū)域的目的，所以我們采取了先處理接觸度小、后處理接觸度大的像素點的檢測順序原則。
[0098]在圖6a中，先處理接觸度最小的像素點，即圖6a右上角紅框所標出的接觸度為O的像素點。假設該點經(jīng)過檢測判斷為背景，則把該點標為背景(黑色)，同時將鄰近四個像素點(若有)的接觸度減I。然后處理剩下的接觸度最小的像素點，即圖6a右下角紅框所標出的接觸度為I的像素點，檢測判斷為背景，同樣標為背景(黑色)，同時左邊的像素點接觸度減1，即圖6b右下角紅框所標出的像素點，接觸度由4變?yōu)?。
[0099]如果存在多個同樣的最小接觸度的像素點，如圖6b中存在多個接觸度為2的點，則隨機選取其中一個，如圖6b右上角紅框所標出的像素點，若檢測判斷為前景，則標為前景(白色)，而鄰近四個像素的接觸度不變。
[0100]繼續(xù)處理下一個點，如圖6c右上角紅框所標出的像素點，檢測判斷為背景，鄰近四個像素(若有)的接觸度減1，即圖6d右上角兩個紅框標出的像素點。
[0101]根據(jù)以上原則按順序逐個處理像素點，當剩下的像素點的接觸度均為4時，如圖6e，則表示這些像素點均為物體內(nèi)部區(qū)域，物體外圍輪廓已經(jīng)被成功檢測，內(nèi)部像素點無需判斷，直接全部判定為前景，得到圖6f，從而減少需要檢測的像素點的數(shù)量，達到加速的目的。
[0102]步驟S209，根據(jù)步驟S205中修正處理得到的速度信息，計算出每一幀視頻圖像中行人經(jīng)過檢測線的距離，作為切片的厚度，不斷累積切片，并結(jié)合步驟S207中建立背景模型而得到的前景檢測結(jié)果，還原行人的完整拼圖。
[0103]在本實施例中，所述速度信息表示了每一幀視頻圖像中行人經(jīng)過檢測線的圖像大小，因為根據(jù)檢測線上的平均速度作為厚度獲取每一幀的行人切片。在行人越過檢測線的過程中，不斷累積這些切片，并且結(jié)合背景建模的前景檢測結(jié)果，排除背景的影響因素，拼接成完成的行人拼圖，這樣系統(tǒng)就可以獲取到行人越過檢測線時的頂部行人拼圖，在所述拼圖中，拼圖內(nèi)的人數(shù)與拼圖的像素點和邊緣信息個數(shù)是成正比的。
[0104]步驟S211，根據(jù)步驟S209中還原的所述拼圖，利用線性回歸分析，計算出所述拼圖內(nèi)像素點個數(shù)和邊緣信息個數(shù)，統(tǒng)計出所述拼圖內(nèi)的人數(shù)。在本實施例中，由于在拼圖中，拼圖的像素點個數(shù)和邊緣信息個數(shù)是與拼圖內(nèi)的人數(shù)成正比，因此可以使用回歸分析的方法，使用大量行人拼圖作為樣本，訓練出一組回歸分析方程的系數(shù)。在實際應用時，根據(jù)拼圖的像素點個數(shù)和邊緣信息個數(shù)計算出行人個數(shù)，從而實現(xiàn)行人計數(shù)。
[0105]綜上所述，本發(fā)明的一種人流統(tǒng)計系統(tǒng)及方法，相對于現(xiàn)有技術(shù)具有如下優(yōu)點:
[0106]1、影像攝取裝置采用垂直的部署角度，即使在人流密集的情況下，依然可以自上而下地獲取到完整的行人頂部圖像(主要包含人的頭部和肩)，可避免行人之間相互遮擋問題的發(fā)生，提高行人計數(shù)的準確性。
[0107]2、對于還原的拼圖，采用線性回歸分析，對同一時間內(nèi)經(jīng)過檢測線的行人統(tǒng)一計數(shù)，不需要將行人分開處理，有利于增強人流密集時的計數(shù)準確性。
[0108]3、采用了視覺背景抽取算法ViBe建立背景模型，有利于提高前景檢測的準確性，避免光照變化、前背景相似和運動背景的影響，并通過結(jié)合改進的動態(tài)區(qū)域采樣技術(shù)，提高背景建模模塊的實時性。
[0109]上述實施例僅例示性說明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何熟悉此技術(shù)的人士皆可在不違背本發(fā)明的精神及范疇下，對上述實施例進行修飾或改變。因此，舉凡所屬【技術(shù)領域】中具有通常知識者在未脫離本發(fā)明所揭示的精神與技術(shù)思想下所完成的一切等效修飾或改變，仍應由本發(fā)明的權(quán)利要求所涵蓋。
【權(quán)利要求】
1.一種人流統(tǒng)計系統(tǒng)，其特征在于，包括: 放置在作為檢測點的檢測線的正上方的單一影像攝取單元，用于自上而下地攝取行人頂部的一路視頻圖像； 速度估計單元，用于使用光流法計算所述視頻圖像中每一個行人經(jīng)過所述檢測線時的速度信息，所述速度信息描述了行人在每一幀視頻圖像中掃過檢測線的圖像大??； 拼圖生成單元，根據(jù)所述速度估計單元計算得到的速度信息，計算出每一幀視頻圖像中行人經(jīng)過檢測線的距離，作為切片的厚度，并通過不斷累積切片以還原行人的完整拼圖；在所述拼圖中，拼圖內(nèi)的人數(shù)與拼圖的像素點和邊緣信息個數(shù)是成正比的； 決策模型單元，根據(jù)所述拼圖生成單元所還原的拼圖，利用線性回歸分析，計算出所述拼圖內(nèi)像素點個數(shù)和邊緣信息個數(shù)，統(tǒng)計出所述拼圖內(nèi)的人數(shù)。
2.根據(jù)權(quán)利要求1所述的人流統(tǒng)計系統(tǒng)，其特征在于，還包括:與所述速度估計單元連接，用于對所述速度估計單元計算得到的速度信息進行速度修正的速度修正單元。
3.根據(jù)權(quán)利要求1或2所述的人流統(tǒng)計系統(tǒng)，其特征在于，還包括:背景建模單元，用于通過獲取所述視頻圖像中的視頻點信息而建立背景模型以供檢測行人目標前景，并將前景檢測結(jié)果傳輸至所述拼圖生成單元以令所述拼圖生成單元結(jié)合所述前景檢測結(jié)果和所述速度信息還原行人的完整拼圖。
4.根據(jù)權(quán)利要求3所述的人流統(tǒng)計系統(tǒng)，其特征在于，所述背景建模單元建立背景模型采用視覺背景抽取算法ViBe并結(jié)合動態(tài)區(qū)域采樣技術(shù)來實現(xiàn)的。
5.一種人流統(tǒng)計方法，其特征在于，包括: 利用單一影像攝取設備自上而下地攝取行人頂部的一路視頻圖像；所述影像攝取設備放置在作為檢測點的檢測線的正上方； 使用光流法計算每一個行人經(jīng)過所述檢測線時的速度信息，所述速度信息描述了行人在每一幀視頻圖像中掃過檢測線的圖像大??； 根據(jù)計算得到的所述速度信息，計算出每一幀視頻圖像中行人經(jīng)過檢測線的距離，作為切片的厚度，并通過不斷累積切片以還原行人的完整拼圖；在所述拼圖中，拼圖內(nèi)的人數(shù)與拼圖的像素點和邊緣信息個數(shù)是成正比的； 根據(jù)還原的所述拼圖，利用線性回歸分析，計算出所述拼圖內(nèi)像素點個數(shù)和邊緣信息個數(shù)，統(tǒng)計出所述拼圖內(nèi)的人數(shù)。
6.根據(jù)權(quán)利要求5所述的人流統(tǒng)計方法，其特征在于，在計算得到每一個行人經(jīng)過所述檢測線時的速度信息之后以及還原拼圖之前還包括用于對計算得到的所述速度信息進行速度修正的步驟。
7.根據(jù)權(quán)利要求6所述的人流統(tǒng)計方法，其特征在于，所述速度修正的步驟包括: 對于檢測線上的每一個速度值Ui，設定參考范圍為2 τ且以該速度值Ui為中點； 統(tǒng)計出在所述參考范圍[i-T，i+T]內(nèi)的所有速度值作為參考,并根據(jù)參考范圍內(nèi)的速度集合對該點速度值Ui進行調(diào)整。
8.根據(jù)權(quán)利要求6所述的人流統(tǒng)計方法，其特征在于，統(tǒng)計出所述參考范圍在[i-τ,i+τ]內(nèi)的所有速度值作為參考，并根據(jù)參考范圍內(nèi)的速度集合對該點速度值Ui進行調(diào)整，包括: 對于檢測線上每一個速度值Ui,首先統(tǒng)計參考范圍[i-τ,i+τ]內(nèi)的速度值分別為正和負的個數(shù)、平均速度值以及速度值的絕對值之和； 針對速度值Ui為O或非O，對該點速度值Ui進行調(diào)整:a、當前速度值Ui為非O時，若該速度方向與參考范圍內(nèi)的大部分速度方向相反，則認為該點是速度反向點，并改變該速度方向；若參考范圍內(nèi)速度值非O的點不超過總數(shù)的三分之一，則認為該點是噪聲點，并將該速度值清零；b、當前速度值Ui為O時，若參考范圍內(nèi)速度值非O的點超過總數(shù)的一半，則認為該點是速度估計失敗點，重新給該點賦值，新速度值等于參考范圍內(nèi)速度值的均值。
9.根據(jù)權(quán)利要求5所述的人流統(tǒng)計方法，其特征在于，還包括通過獲取所述視頻圖像中的視頻點信息而建立背景模型以供檢測行人目標前景后得到前景檢測結(jié)果作為后續(xù)還原拼圖的參考信息的步驟。
10.據(jù)權(quán)利要求9所述的人流統(tǒng)計方法，其特征在于，在所述建立背景模型的步驟中，前景檢測采用視覺背景抽取算法ViBe并結(jié)合動態(tài)區(qū)域采樣技術(shù)來計算出一幅采樣掩膜實現(xiàn)的；在動態(tài)區(qū)域采樣技術(shù)中，先處理所述采樣掩膜的輪廓區(qū)域，后處理所述采樣掩膜的內(nèi)部區(qū)域；所述采樣掩膜的范圍包含了整個前景圖像，在所述采樣掩膜中，處于輪廓區(qū)域的像素點的接觸度要大于處于內(nèi)部 區(qū)域的像素點的接觸度。
【文檔編號】G07C9/00GK103473554SQ201310364541
【公開日】2013年12月25日 申請日期:2013年8月19日 優(yōu)先權(quán)日:2013年8月19日
【發(fā)明者】張宏俊, 劉寧, 張韜, 黃奕國, 楊進參, 林治強, 王作輝 申請人:上海匯納網(wǎng)絡信息科技有限公司