專利名稱：視頻中貨運列車車廂自動檢測方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻監(jiān)控技術(shù)領(lǐng)域，尤其是一種視頻中貨運列車車廂自動檢測方法，本發(fā)明利用計算機視覺技術(shù)，結(jié)合視頻圖像的頻域信息和空間域信息，對貨運列車車廂進行自動地前景分割、速度檢測和前景拼接。
背景技術(shù)：
隨著視頻監(jiān)控技術(shù)的發(fā)展，視頻攝像機已經(jīng)被廣泛用來對各種環(huán)境、區(qū)域和目標進行實時監(jiān)控和檢測。在智能鐵路運輸系統(tǒng)中，視頻傳感器已經(jīng)用于對列車車廂、輪軸和鐵軌的監(jiān)控和檢測。貨運列車是由一節(jié)一節(jié)的集裝箱車廂組成的，每節(jié)集裝箱車箱長約35-40米，一輛列車一般由幾十節(jié)車廂組成，這樣一輛列車的長度往往超過I公里。這種火車的速度可以達到100-120千米/小時。由于具有如此長的長度和如此高的行駛速度，每兩節(jié)車廂之間的空隙會帶來很強的空氣阻力，從而造成巨大的燃料消耗。但是，由于火車的長度太長、車廂太多，人工地檢查裝載的情況是非常費時費力的。因此，研發(fā)一種自動、可靠和有效的集裝箱裝載模式檢測方法是非常有意義和應用價值的工作。經(jīng)對現(xiàn)有技術(shù)文獻的檢索發(fā)現(xiàn)，目前在視頻中檢測運動目標的方法主要分為三類一類是基于高斯混合模型(Gaussian Mixture Model)的方法，如C. Stauffer和W.E. L. Grimsonl999年發(fā)表在〈〈Proceedings of IEEE Conference on Computer Vision andPattern Recognition (IEEE計算機視覺和模式識別會議論文集)》中的論文“Adaptivebackground mixture models for real-time tracking(用于實時跟蹤的自適應背景混合模型)”。對于這種方法來說，由于火車車廂經(jīng)常包含與背景相似的顏色像素，因此車廂的部分區(qū)域經(jīng)常會被分類成背景區(qū)域，從而產(chǎn)生誤檢。一類是能量最小化方法，如Y.Boykov 等人 2001 年發(fā)表在〈〈IEEE Transactions on Pattern Analysis and MachineIntelligence (IEEE模式分析與機器智能會刊)》中的論文“Fast approximate energyminimization via graph cuts (通過圖切割的快速近似能量最小化)”。這種方法雖然能獲得比較高的檢測準確率，但是其優(yōu)化過程需要耗費大量的計算時間，因此不能滿足快速檢測系統(tǒng)的應用需求。最后一類是基于邊緣檢測的方法，如A. Kumar等人2007年發(fā)表在((Proceedings of IEEE Workshop on Applications of Computer Vision (IEEE 計算機視覺應用研討會論文集)》中的論文“A vision system for monitoring intermodal freighttrains (用于監(jiān)控聯(lián)邦貨運列車的視覺系統(tǒng))”。這種方法所檢測出來的邊緣特征不總是所需的車廂與背景之間的邊緣，還經(jīng)常包含車廂表面圖案和紋理的邊緣特征，準確地區(qū)分開它們是非常困難的，因此也達不到所要求的檢測準確率和魯棒性。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種貨運列車車廂的自動視頻檢測方法，能在背景轉(zhuǎn)換、光照變化、檢測噪聲等實際工程應用的復雜環(huán)境下，實時準確地檢測出貨運列車車廂，得以實現(xiàn)對車廂裝載情況的自動監(jiān)控和識別。
為實現(xiàn)上述目的，本發(fā)明提出一種視頻中貨運列車車廂自動檢測方法，該方法包括以下步驟步驟1，分割得到視頻每一幀圖像中列車車廂的運動前景；步驟2，根據(jù)不同幀圖像中車廂邊界的變化，估計列車的行駛速度；步驟3，根據(jù)所述列車的行駛速度對所述步驟I得到的列車車廂前景圖像進行拼接，得到所述列車車廂的全景圖像，完成視頻中對于列車車輛的自動檢測。本發(fā)明與現(xiàn)有技術(shù)相比的顯著效果在于不需要對攝像機鏡頭進行事先標定，對實際監(jiān)控視頻中所出現(xiàn)的背景改變、光照變化、攝像機抖動、檢測噪聲等干擾同時具有較高的魯棒性。由于克服了這些現(xiàn)有技術(shù)在實際工程應用方面難以解決的困難，因此真正實現(xiàn)了對視頻中貨運列車車廂的自動檢測。本發(fā)明針對智能火車視頻監(jiān)控系統(tǒng)中自動檢測貨運列車車廂的需要，利用計算機視覺技術(shù)，實現(xiàn)了對貨運列車車廂的自動檢測，具有不需要人工參與、精確度高、魯棒性強等優(yōu)點。特別是不需要事先對攝像機鏡頭進行標定，自動實現(xiàn)車廂檢測，克服了以往技術(shù)方法都難以克服的難點，也消除了實現(xiàn)真正工程應用的主要障礙。本發(fā)明使用計算機視覺理論中的運動目標前景分割技術(shù)，實現(xiàn)了貨運列車車廂的自動檢測，最終為智能火車視頻監(jiān)控系統(tǒng)中貨運列車車廂裝載情況的檢測和識別提供了可靠的關(guān)鍵技術(shù)。


圖1是本發(fā)明檢測方法的流程圖。圖2是根據(jù)本發(fā)明一實施例的區(qū)域B中某位置像素的時間序列值及其功率譜。圖3是根據(jù)本發(fā)明一實施例的車廂區(qū)域檢測流程及結(jié)果。圖4是根據(jù)本發(fā)明一實施例的背景窗選擇及其灰度特征提取示意圖。圖5是根據(jù)本發(fā)明一實施例的背景檢測與去除示意圖。圖6是根據(jù)本發(fā)明一實施例的單層集裝箱檢測示意圖。圖7是根據(jù)本發(fā)明一實施例檢測得到的三種車廂的全景圖像。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進一步詳細說明。為了更好地理解本發(fā)明所提出的方法，接下來選取一段監(jiān)控攝像機拍攝的視頻片段為例對本發(fā)明的檢測方法進行說明，所述視頻片段中有一列貨運列車從視域中經(jīng)過，這段視頻中記錄了這輛列車從車頭進入該監(jiān)控場景開始，到車尾離開該場景為止的全過程，所述視頻圖像的大小為640 X 480，幀率為15幀/秒。圖1是本發(fā)明檢測方法的流程圖，如圖1所示，所述檢測方法包括以下步驟步驟1，分割得到視頻每一幀圖像中列車車廂的運動前景；所述步驟I進一步包括以下步驟步驟11，利用列車車廂所經(jīng)過區(qū)域的像素值變化的周期性特征來檢測每一幀圖像中列車的運動區(qū)域；由于視頻的每一幀圖像中列車車廂所經(jīng)過的區(qū)域的像素與背景區(qū)域的像素呈現(xiàn)出不同的周期變化規(guī)律，因此該步驟可利用列車車廂所經(jīng)過區(qū)域的像素值變化的周期性特征來檢測得到列車的運動區(qū)域。如圖2(a)所示，圖中，區(qū)域B為列車車廂在視頻圖像中的運動區(qū)域，該區(qū)域的視頻圖像像素值呈周期性變化；區(qū)域A為像素值不呈周期性變化的其它像素區(qū)域。具體地，所述步驟11進一步包括以下步驟:步驟111，隨著視頻的播放，記錄每一幀視頻圖像中每一個像素位置上的像素的灰度值，得到與每一幀視頻圖像對應的一個時間序列信號，如圖2(b)所示。令I(lǐng) (i，j) (t)表示第t幀視頻圖像第i行、第j列位置上像素的灰度值，由于視頻圖像的尺寸為MXN(比如640X480)，且每一個像素位置上都可以獲得一個時間序列信號，這樣就得到MXN個時間序列信號。步驟112，利用下式對所述時間序列信號進行濾波，以去除其中的噪聲:
權(quán)利要求
1.一種視頻中貨運列車車廂自動檢測方法，其特征在于，該方法包括以下步驟: 步驟1，分割得到視頻每一幀圖像中列車車廂的運動前景； 步驟2，根據(jù)不同幀圖像中車廂邊界的變化，估計列車的行駛速度； 步驟3，根據(jù)所述列車的行駛速度對所述步驟I得到的列車車廂前景圖像進行拼接，得到所述列車車廂的全景圖像，完成視頻中對于列車車輛的自動檢測。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟I進一步包括以下步驟: 步驟11，利用列車車廂所經(jīng)過區(qū)域的像素值變化的周期性特征來檢測每一幀圖像中列車的運動區(qū)域； 步驟12，去除每一幀圖像中列車車廂間的背景區(qū)域； 步驟13，對于視頻中出現(xiàn)單層列車車廂的幀圖像進行檢測。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟11進一步包括以下步驟: 步驟111，記錄每一幀視頻圖像中每一個像素位置上的像素的灰度值，得到與每一幀視頻圖像對應的一個時間序列信號； 步驟112，對所述時間序列信號進行濾波，以去除其中的噪聲； 步驟113，對每一個經(jīng)過濾波的時間序列信號進行快速傅立葉變換，得到每個時間序列信號的周期和功率譜； 步驟114，對于每一個時間序列信號只選擇功率最大的頻率作為其固有頻率，得到與每一幀視頻圖像對應的頻率圖像； 步驟115，計算所述頻率圖像像素值的直方圖； 步驟116，基于所述像素值的直方圖中的頻率值，利用閾值法得到每一幀圖像中列車所在的運動區(qū)域； 步驟117，對所述步驟116得到的列車所在的運動區(qū)域進行腐蝕和膨脹處理，將處理后的圖像的像素值累加映射到I軸上，得到準確的列車車廂區(qū)域。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟12進一步包括以下步驟: 步驟121，在所述視頻中截取一幀列車到來前的背景圖像，作為背景建模的參考圖像； 步驟122，根據(jù)所述步驟11得到的列車運動區(qū)域，在所述背景圖像中對應于所述列車運動區(qū)域的天空背景的位置處選擇一個矩形背景區(qū)域作為檢測窗； 步驟123，計算所述背景區(qū)域中背景的灰度直方圖； 步驟124，利用閾值法獲得所述背景區(qū)域的主要灰度范圍，作為背景模型，以實現(xiàn)對車廂間背景區(qū)域的檢測； 步驟125，將當前幀圖像中與所述背景區(qū)域位置相應區(qū)域中的像素的灰度值與所述主要灰度范圍進行比較，得到當前幀中屬于背景的區(qū)域； 步驟126，從當前幀圖像中去除檢測到的屬于背景的區(qū)域，得到當前幀圖像中的列車車廂區(qū)域； 步驟127，利用每一幀圖像中檢測到的車廂間的背景區(qū)域?qū)λ霾襟E121中的背景圖像進行更新，重復所述步驟122-126，得到更為精準的當前幀圖像中的列車車廂區(qū)域。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述步驟125中，在對灰度值進行比較之前，先用中值濾波器對當前幀進行濾波，來去除圖像中由攝像機產(chǎn)生的噪聲；且所述步驟125進一步包括對于當前幀圖像中屬于背景的像素區(qū)域進行腐蝕膨脹處理的步驟。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述步驟127中，利用每一幀圖像中檢測到的車廂間的背景區(qū)域?qū)λ霾襟E121中的背景圖像進行更新具體為:把在每一幀圖像中檢測到的車廂間的背景區(qū)域拼接起來，形成一副新的背景圖像。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟13進一步包括以下步驟: 步驟131，在視頻圖像中出現(xiàn)單層列車車廂的位置處設(shè)置一檢測窗，所述檢測窗的寬度與圖像的寬度一致，高度不超過單層列車車廂中最低車廂的高度； 步驟132，在所述檢測窗內(nèi)對當前幀圖像進行減背景計算，即在檢測窗區(qū)域的原始圖像中將背景圖像減掉，只保留每一幀中的前景圖像，得到單層列車車廂的檢測結(jié)果。
8.根據(jù)權(quán)利要求4或7所述的方法，其特征在于，利用檢測窗進行檢測時，還結(jié)合每一像素的顏色信息進行檢測: 對于所述檢測窗中的每一個像素，如果其被分類為背景，就令它的值為I ;反之，令它的值為O ; 然后利用下式來綜合三個顏色通道的類別結(jié)果，從而得到一個綜合的分類結(jié)果: c(i，j) = cE(i, j) n cG(i, j) η cB(i, j) 其中:CK/G/B(i，j)分別表示RGB三個通道中像素(i，j)的類別標簽:0或I ; η表示“與”運算。
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，列車行駛的速度利用下式來計算:V (It, Ih) = It (j+v)-1t-Jj) 其中:It(j+v)表示當前幀中，車廂的左邊界或右邊界在圖像平面X軸上的像素坐標位置表示前一幀中，該邊界在圖像平面X軸上的像素坐標位置。
10.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟3中，根據(jù)所述列車的行駛速度對所述步驟I得到的列車車廂前景圖像進行拼接具體為:根據(jù)所述列車的行駛速度，在視頻圖像的中間部分選擇一定寬度的區(qū)域作為 子圖像采集區(qū)域，該區(qū)域的高度與圖像幀一致，然后在所述步驟I得到的車廂前景分割的結(jié)果中，逐幀采集區(qū)域內(nèi)的圖像，并把采集得到的圖像拼接得到車廂的全景圖像。
全文摘要
本發(fā)明公開了一種視頻中貨運列車車廂前景的自動檢測方法，該方法基于計算機視覺技術(shù)，對貨運列車車廂進行自動視頻檢測，其包括以下步驟分割得到視頻每一幀圖像中列車車廂的運動前景；根據(jù)不同幀圖像中車廂邊界的變化，估計列車的行駛速度；根據(jù)所述列車的行駛速度對所述步驟1得到的列車車廂前景圖像進行拼接，得到所述列車車廂的全景圖像，完成視頻中對于列車車輛的自動檢測。本發(fā)明具有易于實現(xiàn)、魯棒性強、精確度高、實時性強等優(yōu)點，可以為智能火車視頻監(jiān)控系統(tǒng)中貨運列車車廂裝載情況的檢測和識別提供可靠的關(guān)鍵技術(shù)。
文檔編號G06T7/20GK103077387SQ20131004986
公開日2013年5月1日 申請日期2013年2月7日 優(yōu)先權(quán)日2013年2月7日
發(fā)明者王飛躍, 孔慶杰, 熊剛, 朱鳳華, 周昰昱, 李元濤 申請人:東莞中國科學院云計算產(chǎn)業(yè)技術(shù)創(chuàng)新與育成中心, 中國科學院自動化研究所