專利名稱：一種基于運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識別領(lǐng)域，涉及圖像處理和計算機(jī)視覺等技術(shù)，特別是涉及智能視覺監(jiān)控。

背景技術(shù)：
隨著技術(shù)的發(fā)展以及硬件設(shè)備價格的逐漸降低，大量的監(jiān)控攝像頭被安裝到各種場合，特別是那些對安全要求敏感的場合，如機(jī)場、社區(qū)、銀行、停車場、軍事基地等。動態(tài)場景的視覺監(jiān)控是近年來備受關(guān)注的前沿研究方向，它從攝像機(jī)捕捉的圖像序列中檢測、識別、跟蹤目標(biāo)并對其行為進(jìn)行理解。盡管目前作為人類視覺延伸的監(jiān)控攝像機(jī)在商業(yè)應(yīng)用中已經(jīng)普遍存在，但目前的監(jiān)控系統(tǒng)一般只能錄相用于事后取證，而不能實時的分析視頻數(shù)據(jù)并實時報警。因此，開發(fā)出具有實際意義的自動性、智能性的視覺監(jiān)控系統(tǒng)日益變得迫切和必要。這就要求不僅能用攝像機(jī)代替人眼，而且能用計算機(jī)協(xié)助人、代替人，以完成監(jiān)視或控制任務(wù)。
任何智能視覺監(jiān)控系統(tǒng)都需要用攝像機(jī)來采集視頻作為系統(tǒng)的輸入。攝像機(jī)的作用在于將真實的三維場景投影到二維圖像平面，并持續(xù)采集形成視頻。從三維世界到二維圖像的變換是一個透視投影，透視變形不可避免。若要獲得三維世界中的真實點(diǎn)和二維圖像平面點(diǎn)之間的對應(yīng)關(guān)系，則必須進(jìn)行攝像機(jī)標(biāo)定。
目前已經(jīng)有很多算法對路面交通場景的攝像機(jī)標(biāo)定進(jìn)行了研究，但是往往都存在著一定的缺點(diǎn)。目前的主流方法需要對整個場景進(jìn)行測量，并手動獲得大量三維點(diǎn)和二維圖像點(diǎn)之間的對應(yīng)關(guān)系。手動測量工作量和難度都很大。而目前的自標(biāo)定方法主要是采用行人檢測并精確定位頭頂、腳底位置方法來獲得消失點(diǎn)。但是，監(jiān)控場景往往視野較大，監(jiān)控視頻往往分辨率很低。這給精確的行人檢測和頭、腳定位帶來了巨大的挑戰(zhàn)。所以這類方法的準(zhǔn)確性很差。


發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)攝像機(jī)標(biāo)定往往需要手動測量和點(diǎn)對應(yīng)，帶來了巨大的工作量，并影響了監(jiān)控算法在不同場景中的推廣，而現(xiàn)有自標(biāo)定方法準(zhǔn)確性很差的問題，本發(fā)明的目的是如何能夠準(zhǔn)確、便捷、自動地實現(xiàn)監(jiān)控場景攝像機(jī)標(biāo)定。
為了實現(xiàn)上述目的，本發(fā)明提供基于運(yùn)動目標(biāo)表象和運(yùn)動信息的監(jiān)控場景攝像機(jī)自標(biāo)定方法。該方法無需進(jìn)行大規(guī)模的手動測量和對應(yīng)點(diǎn)標(biāo)記。僅僅通過測量攝像機(jī)高度，就可以實現(xiàn)攝像機(jī)的完全標(biāo)定。該方法的具體步驟如下所示 步驟S1通過背景建模和前景提取方法，檢測監(jiān)控場景中的運(yùn)動目標(biāo)區(qū)域； 步驟S2對檢測到的每個運(yùn)動目標(biāo)區(qū)域提取圖像平面上運(yùn)動目標(biāo)區(qū)域的速度方向和運(yùn)動目標(biāo)區(qū)域的主軸方向； 步驟S3根據(jù)每個運(yùn)動目標(biāo)區(qū)域所提取的圖像平面上運(yùn)動目標(biāo)區(qū)域的速度方向和運(yùn)動目標(biāo)區(qū)域的主軸方向，對運(yùn)動目標(biāo)區(qū)域進(jìn)行粗分類； 步驟S4根據(jù)運(yùn)動目標(biāo)區(qū)域的梯度、形狀表象特征和速度運(yùn)動特征估計三個對應(yīng)相互垂直方向的消失點(diǎn)； 步驟S5根據(jù)三個相互垂直的消失點(diǎn)和攝像機(jī)高度，估計出攝像機(jī)的內(nèi)外參數(shù)。
根據(jù)本發(fā)明的實施例，所述提取消失點(diǎn)步驟如下 步驟S41如果運(yùn)動目標(biāo)區(qū)域被粗分類為車輛，則通過兩步梯度方向直方圖算子HOG提取運(yùn)動目標(biāo)區(qū)域的兩個主方向，并通過速度方向區(qū)分這兩個主方向為第一主方向和第二主方向； 步驟S42如果運(yùn)動目標(biāo)區(qū)域被粗分類為人，則提取運(yùn)動目標(biāo)區(qū)域的主軸方向作為該運(yùn)動目標(biāo)區(qū)域的主方向。
步驟S43對于被分類為車輛的運(yùn)動目標(biāo)區(qū)域的第一主方向，假設(shè)該方向與x軸夾角為θ1，則遍歷所有與x軸夾角為θ1且與此運(yùn)動目標(biāo)區(qū)域相交的直線，求取每條直線和此運(yùn)動目標(biāo)區(qū)域的相關(guān)值，以相關(guān)值最大的那條直線為此運(yùn)動目標(biāo)區(qū)域提取的對應(yīng)于第一主方向的直線； 步驟S44對于被分類為車輛的運(yùn)動目標(biāo)區(qū)域的第二主方向，假設(shè)該方向與x軸夾角為θ2，則遍歷所有與x軸夾角為θ2且與此運(yùn)動目標(biāo)區(qū)域相交的直線，求取每條直線和此運(yùn)動目標(biāo)區(qū)域的相關(guān)值，以相關(guān)值最大的那條直線為此運(yùn)動目標(biāo)區(qū)域提取的對應(yīng)于第二主方向的直線； 步驟S45對于被分類為人的運(yùn)動目標(biāo)區(qū)域，假設(shè)該運(yùn)動目標(biāo)區(qū)域的主軸方向和x軸的夾角為α，則遍歷所有與x軸夾角為α的直線，以其中那條過此運(yùn)動目標(biāo)區(qū)域質(zhì)心位置的直線為該運(yùn)動目標(biāo)區(qū)域提取的直線； 步驟S46通過一段時間積累，收集所有該時間段內(nèi)的被分類為車的運(yùn)動目標(biāo)區(qū)域?qū)?yīng)于第一主方向的直線，作為第一直線集；收集所有該時間段內(nèi)的被分類為車的運(yùn)動目標(biāo)區(qū)域?qū)?yīng)于第二主方向的直線，作為第二直線集；收集所有該時間段內(nèi)的被分類為人的運(yùn)動目標(biāo)區(qū)域所提取的直線，作為第三直線集； 步驟S47針對這三個直線集，分別估計集合內(nèi)所有直線的公共交點(diǎn)作為消失點(diǎn)的魯棒估計，從而得到三個對應(yīng)相互垂直方向的消失點(diǎn)。
根據(jù)本發(fā)明的實施例，所述粗分類，是提取運(yùn)動目標(biāo)區(qū)域的速度方向和主軸方向，以速度方向和主軸方向之間的差異來進(jìn)行人和車輛的粗分類。
根據(jù)本發(fā)明的實施例，所述求取車輛區(qū)域的兩個主方向，分別對應(yīng)三維空間中車輛的對稱軸方向和對稱軸的垂直方向。
根據(jù)本發(fā)明的實施例，對于行人區(qū)域，以主軸方向?qū)?yīng)三維世界的垂直于地平面方向。
根據(jù)本發(fā)明的實施例，還包括通過三個相互垂直的消失點(diǎn)求取攝像機(jī)內(nèi)參數(shù)矩陣K和外參數(shù)旋轉(zhuǎn)矩陣R。
根據(jù)本發(fā)明的實施例，所述估計攝像機(jī)參數(shù)，是通過任意選取圖像平面上一點(diǎn)作為坐標(biāo)原點(diǎn)，確定一組關(guān)于攝像機(jī)參數(shù)的約束關(guān)系為 式中任意選取的對應(yīng)三維世界坐標(biāo)原點(diǎn)的圖像平面上一點(diǎn)坐標(biāo)為[u4 v4 1]T，K為攝像機(jī)內(nèi)參數(shù)矩陣，R為攝像機(jī)的外參數(shù)旋轉(zhuǎn)矩陣，T為攝像機(jī)的外參數(shù)平移矩陣，λ4為縮放因子。
根據(jù)本發(fā)明的實施例，所述估計攝像機(jī)參數(shù)，是由攝像機(jī)高度平面上任意一點(diǎn)在圖像上的投影在兩個水平消失點(diǎn)連線上，得到一組攝像機(jī)參數(shù)的約束關(guān)系為 (u-u1)(v1-v2)-(v-v1)(u1-u2)＝0 式中[u v 1]T為任意一個攝像機(jī)高度平面上的點(diǎn)在圖像上投影的齊次坐標(biāo)，[u1 v1 1]T為由第一直線集估計的消失點(diǎn)的齊次坐標(biāo)，[u2 v2 1]T為由第二直線集估計的消失點(diǎn)的齊次坐標(biāo)。
根據(jù)本發(fā)明的實施例，所述估計攝像機(jī)參數(shù)，是通過攝像機(jī)光心位置在三維坐標(biāo)系的攝像機(jī)高度平面上，得到一組攝像機(jī)參數(shù)的約束關(guān)系為 式中[xc yc H]T為光心位置在三維坐標(biāo)系下的坐標(biāo)，R為攝像機(jī)的外參數(shù)旋轉(zhuǎn)矩陣，T為攝像機(jī)的外參數(shù)平移矩陣。
根據(jù)本發(fā)明的實施例，所述運(yùn)動目標(biāo)區(qū)域的速度方向是通過計算單位時間內(nèi)運(yùn)動目標(biāo)區(qū)域質(zhì)心位置的偏移。
攝像機(jī)標(biāo)定是智能視覺監(jiān)控中的關(guān)鍵技術(shù)，是很多智能視覺監(jiān)控系統(tǒng)中不可或缺的關(guān)鍵環(huán)節(jié)。攝像機(jī)自標(biāo)定可大大提高智能視覺監(jiān)控算法的可擴(kuò)展性，替代手工標(biāo)定的工作量和誤差。用于監(jiān)控場景中的物體分類識別，補(bǔ)償二維圖像特征固有的透視變形。用于監(jiān)控場景中的基于三維模型的物體識別，獲得三維姿態(tài)和軌跡，有效幫助系統(tǒng)理解場景中發(fā)生的行為。
本發(fā)明攝像機(jī)自標(biāo)定的方法不需要對大場景進(jìn)行大規(guī)模的手工測量，可大大提高智能視覺監(jiān)控算法的可擴(kuò)展性，替代手工標(biāo)定的工作量和誤差?；谝曨l，僅僅需要知道攝像機(jī)高度，無需測量其他點(diǎn)、線距離，即可實現(xiàn)攝像機(jī)的完全標(biāo)定。該方法準(zhǔn)確、便捷，且具有一定的魯棒性。監(jiān)控場景的自標(biāo)定可以應(yīng)用在如下方面 (1)用于基于圖像或視頻的測量，通過圖像或視頻中的點(diǎn)距離、線夾角估計三維世界中真實的點(diǎn)距離、線夾角。
(2)用于智能監(jiān)控中的目標(biāo)分類，首先補(bǔ)償二維圖像特征的透視變形，提高分類準(zhǔn)確率。
(3)用于智能監(jiān)控系統(tǒng)中的基于三維模型的物體識別，提供三維世界和二維圖像之間的對應(yīng)關(guān)系，有效幫助系統(tǒng)理解場景中發(fā)生的行為。



圖1示出本發(fā)明基于在線學(xué)習(xí)方法的運(yùn)動目標(biāo)分類的流程框圖。
圖2a示出本發(fā)明運(yùn)動視頻中的一幀示例。
圖2b示出本發(fā)明背景建模方法獲得背景圖 圖2c示出本發(fā)明前景檢測獲得的運(yùn)動區(qū)域。
圖3a示出本發(fā)明實施例車輛運(yùn)動區(qū)域的特征示意圖。
圖3b示出本發(fā)明實施例行人運(yùn)動區(qū)域的特征示意圖。

具體實施例方式 下面結(jié)合附圖詳細(xì)說明本發(fā)明技術(shù)方案中所涉及的各個細(xì)節(jié)問題。應(yīng)指出的是，所描述的實施例僅旨在便于對本發(fā)明的理解，而對其不起任何限定作用。
基于運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法，對于監(jiān)控系統(tǒng)的搭建，監(jiān)控算法在不同場景中的推廣各方面都具有重要意義。利用運(yùn)動目標(biāo)的表象和運(yùn)動信息，本發(fā)明實現(xiàn)了一個交通場景下的攝像機(jī)自標(biāo)定系統(tǒng)，僅僅通過測量攝像機(jī)的高度值，實現(xiàn)攝像機(jī)的完全標(biāo)定，如圖1示出基于自標(biāo)定方法的流程框圖。
本發(fā)明方法的實例采用了硬件最低配置為P4 3.0G CPU，512M內(nèi)存的計算機(jī)；最低分辨率為320 x 240的監(jiān)控攝像頭；幀率為25幀每秒的視頻采集卡。在此配置水平的硬件上，采用C++語言編程實現(xiàn)本方法，除此之外還可以采用其他配置，在此不詳細(xì)敘述。
下面對本發(fā)明的方法涉及的關(guān)鍵步驟進(jìn)行逐一詳細(xì)說明，具體形式如下所述 首先，是運(yùn)動目標(biāo)的提取 要對運(yùn)動目標(biāo)區(qū)域進(jìn)行處理，第一步就需要將運(yùn)動目標(biāo)區(qū)域從背景中分離出來，這是很關(guān)鍵的一步。這里由于運(yùn)動目標(biāo)的提取往往是用于室外場景，所以需要其算法對光照的劇烈變化魯棒，同時對往往存在的強(qiáng)陰影魯棒。這里我們改進(jìn)了傳統(tǒng)的混合高斯建模方法，是結(jié)合傳統(tǒng)高斯背景建模和同態(tài)濾波方法，對每個象素值首先進(jìn)行同態(tài)濾波，提取出反射分量，并對反射分量進(jìn)行傳統(tǒng)的混合高斯背景建模。通過這樣的改進(jìn)，可以去除陰影區(qū)域，獲得準(zhǔn)確的前景目標(biāo)，并能夠適應(yīng)光照的劇烈變化。
通過混合高斯模型方法得到的前景圖像中，往往有一些噪聲點(diǎn)以及一些空洞。使用形態(tài)學(xué)操作來過濾噪聲點(diǎn)，通過一次腐蝕操作和一次膨脹操作，可以消除噪聲點(diǎn)和小的空洞。如附圖2a示出一個典型的交通場景視頻中的一幀圖像，對這個視頻用上述方法進(jìn)行背景建?？梢缘玫綄庹蒸敯舻谋尘皥D像如圖2b所示，同時可以得到對應(yīng)于圖2a這一幀圖像的前景目標(biāo)。如圖2c所示，背景區(qū)域被標(biāo)記為黑色，前景區(qū)域被標(biāo)記為白色。
其二，是運(yùn)動目標(biāo)區(qū)域特征提取 對于每個運(yùn)動目標(biāo)區(qū)域，我們這里僅僅提取兩個方向信息。其一是該運(yùn)動目標(biāo)區(qū)域在圖像平面上的速度方向。該方向是通過求取在單位時間內(nèi)運(yùn)動區(qū)域質(zhì)心位置的偏移值來獲得。假設(shè)該運(yùn)動目標(biāo)區(qū)域在t時刻的質(zhì)心位置為(xt，yt)，在t+1時刻的質(zhì)心位置為(xt+1，yt+1)，則其速度方向為 α＝arctan((yt+1-yt)/(xt+1-xt)) (1) 其二是該運(yùn)動區(qū)域的主軸方向。這個方向可以通過對運(yùn)動區(qū)域輪廓的矩分析來完成 β＝arctan(2μ11/(μ20-μ02))(2) 這里的μpq是運(yùn)動目標(biāo)區(qū)域輪廓的(p，q)階的中心矩值。
我們提取速度方向和主軸方向之間的差異作為特征用于接下來的目標(biāo)粗分類。如圖3a示出車輛區(qū)域所提出的兩個方向的示意圖。如圖3b示出行人區(qū)域所提出的兩個方向的示意圖。這兩個圖中的標(biāo)號為1的箭頭是用來標(biāo)記運(yùn)動目標(biāo)區(qū)域的速度方向，標(biāo)號為2的箭頭是用來標(biāo)記運(yùn)動目標(biāo)區(qū)域的主軸方向。
其三，是運(yùn)動目標(biāo)粗分類 由圖3可以看出，車輛區(qū)域的速度方向和主軸方向的差異較小，而行人區(qū)域的速度方向和主軸方向的差異較大。所述粗分類，是提取運(yùn)動目標(biāo)區(qū)域的速度方向和主軸方向，以速度方向和主軸方向之間的差異來進(jìn)行行人和運(yùn)動物的粗分類。我們可以通過K均值算法將運(yùn)動目標(biāo)區(qū)域分為兩類。但是為了更為嚴(yán)格，我們設(shè)定了兩個閾值φ1＝5°，φ2＝20°。對于方向差異小于φ1的我們將其分類為車輛，對于方向差異大于φ2的我們將其分類為行人。而在這兩個閾值之間的運(yùn)動目標(biāo)區(qū)域則被拋棄，以避免其對后面的消失點(diǎn)估計產(chǎn)生不好的影響。
其四，是消失點(diǎn)估計 對于被分類為車輛的運(yùn)動目標(biāo)區(qū)域，首先求取該區(qū)域的第一次梯度方向直方圖HOG，直方圖的簇數(shù)為N。對于值最大的一簇，在其所對應(yīng)的方向范圍內(nèi)再次求取簇數(shù)為N的梯度方向直方圖。以值最大的一簇所對應(yīng)方向范圍的中值作為該運(yùn)動目標(biāo)區(qū)域的一個主方向。對于第一次梯度直方圖中值其次大的一簇，在其所對應(yīng)的方向范圍內(nèi)求取簇數(shù)為N的梯度方向直方圖，以值最大的一簇所對應(yīng)方向范圍的中值作為該運(yùn)動目標(biāo)區(qū)域的另一個主方向。
在車輛運(yùn)動目標(biāo)區(qū)域的兩個主方向中，其中一個方向應(yīng)對于三維空間中車輛的對稱軸方向；而另一個方向則對應(yīng)于三維空間中車輛對稱軸的垂直方向。我們通過速度方向?qū)⑦@兩個方向區(qū)分開來。其中與速度方向相近的方向被認(rèn)為對應(yīng)于車輛的對稱軸方向，而與速度方向相差較遠(yuǎn)的方向被認(rèn)為對應(yīng)于車輛對稱軸的垂直方向。我們定義對應(yīng)于車輛對稱軸方向的主方向為該運(yùn)動目標(biāo)區(qū)域的第一主方向，對應(yīng)于車輛對稱軸垂直方向的主方向為該運(yùn)動目標(biāo)區(qū)域的第二主方向。對于該運(yùn)動目標(biāo)區(qū)域的第一主方向，假設(shè)該方向與x軸夾角為θ1，則遍歷所有與x軸夾角為θ1且與此運(yùn)動目標(biāo)區(qū)域相交的直線，求取每條直線和此運(yùn)動目標(biāo)區(qū)域的相關(guān)值，以相關(guān)值最大的那條直線為此運(yùn)動目標(biāo)區(qū)域提取的對應(yīng)于第一主方向的直線；對于該運(yùn)動目標(biāo)區(qū)域的第二主方向，假設(shè)該方向與x軸夾角為θ2，則遍歷所有與x軸夾角為θ2且與此運(yùn)動目標(biāo)區(qū)域相交的直線，求取每條直線和此運(yùn)動目標(biāo)區(qū)域的相關(guān)值，以相關(guān)值最大的那條直線為此運(yùn)動目標(biāo)區(qū)域提取的對應(yīng)于第二主方向的直線。這里的相關(guān)值是通過象素平均梯度投影值來求取。對于直線上與運(yùn)動目標(biāo)區(qū)域相交的每個象素點(diǎn)，求取該象素點(diǎn)的梯度值在與該直線垂直方向上的投影的絕對值。以直線上與運(yùn)動目標(biāo)區(qū)域相交的所有象素點(diǎn)上絕對值的平均值作為該直線和運(yùn)動目標(biāo)區(qū)域的相關(guān)值。
對于被分類為人的運(yùn)動目標(biāo)區(qū)域，假設(shè)該運(yùn)動目標(biāo)區(qū)域的主軸方向和x軸的夾角為α，則遍歷所有與x軸夾角為α的直線，以其中那條過此運(yùn)動目標(biāo)區(qū)域質(zhì)心位置的直線為該運(yùn)動目標(biāo)區(qū)域提取的直線。
通過一段時間積累，收集所有該時間段內(nèi)的被分類為車的運(yùn)動目標(biāo)區(qū)域?qū)?yīng)于第一主方向的直線，作為第一直線集；收集所有該時間段內(nèi)的被分類為車的運(yùn)動目標(biāo)區(qū)域?qū)?yīng)于第二主方向的直線，作為第二直線集；收集所有該時間段內(nèi)的被分類為人的運(yùn)動目標(biāo)區(qū)域所提取的直線，作為第三直線集。
由于路面交通監(jiān)控場景中的車道方向往往是直的，而大多數(shù)車輛都是沿著車道行駛，所以大多數(shù)車輛的對稱軸方向是相互平行的。所以我們認(rèn)為第一直線集中的絕大多數(shù)直線對應(yīng)于三維空間中的直線是相互平行的。由于第二直線集中的絕大多數(shù)直線對應(yīng)于三維世界中車輛對稱軸的垂直方向，所以第二直線集中的絕大多數(shù)直線對應(yīng)于三維空間中的直線也是相互平行的。
由于在監(jiān)控場景中行人在絕大多數(shù)情形下是直立行走的，我們認(rèn)為對于被分類為人的區(qū)域提取的主方向?qū)?yīng)于三維世界的地平面的垂直方向，所以第三直線集中的絕大多數(shù)直線對應(yīng)于三維空間中的直線也是相互平行的。
由于攝像機(jī)的透視變形，平行直線在圖像平面中的投影相交于消失點(diǎn)。所以，對于每一個直線集，我們可以通過投票的方法求取其交點(diǎn)，即為對應(yīng)于三維方向上的消失點(diǎn)。我們認(rèn)為直線集內(nèi)的每個直線上的點(diǎn)在投票空間中都以該點(diǎn)為中心在其鄰域內(nèi)產(chǎn)生一個高斯脈沖，這樣該直線集內(nèi)的所有直線在投票空間中就形成了一個投影曲面，曲面的全局極值點(diǎn)所對應(yīng)的圖像平面上的坐標(biāo)被認(rèn)為是消失點(diǎn)坐標(biāo)。這樣就可以求出三個相互垂直的消失點(diǎn)。
其五，是攝像機(jī)參數(shù)估計 通過三個相互垂直的消失點(diǎn)求取攝像機(jī)內(nèi)參數(shù)矩陣K和外參數(shù)旋轉(zhuǎn)矩陣R。對于針孔攝像機(jī)模型而言，三維世界點(diǎn)的齊次坐標(biāo)到二維圖像點(diǎn)的齊次坐標(biāo)的投影關(guān)系如下 這里的[ui vi 1]T為二維圖像點(diǎn)的齊次坐標(biāo)，[Xi Yi Zi 1]T為三維世界點(diǎn)的齊次坐標(biāo)，K為攝像機(jī)內(nèi)參數(shù)矩陣，R為攝像機(jī)的外參數(shù)旋轉(zhuǎn)矩陣，T為攝像機(jī)的外參數(shù)平移矩陣，λi為縮放參數(shù)，P為三維世界到二維圖像的投影矩陣。這里的K有如下形式 其中αu和αv分別為攝像機(jī)在u軸和v軸上的尺度因子，s為傾斜因子，(u0，v0)為攝像機(jī)在圖像平面上的主點(diǎn)。對于智能視覺監(jiān)控場景的攝像機(jī)而言，我們可以認(rèn)為αu＝αv，s＝0。
對于上述步驟所獲得的消失點(diǎn)[u1 v1 1]T，[u2 v2 1]T和[u3 v3 1]T，根據(jù)消失點(diǎn)性質(zhì)，我們可以得到如下約束關(guān)系 其中λ1，λ2，λ3為縮放因子。由旋轉(zhuǎn)矩陣R的正交性，我們可以得到如下約束關(guān)系 根據(jù)約束方程(6)，我們可以求出K和λ1，λ2，λ3。將K和λ1，λ2，λ3代入約束方程(5)，我們可以求出R。
以下三個約束可以用來求解外參數(shù)T。
第一個約束為圖像上任一點(diǎn)和坐標(biāo)原點(diǎn)的對應(yīng)關(guān)系。假設(shè)圖像平面上一點(diǎn)[u4 v4 1]T對應(yīng)于三維世界的坐標(biāo)原點(diǎn)，則我們可以得到以下約束方程 假設(shè)攝像機(jī)高度為H，第二個約束為三維世界任意在平面z＝H上的點(diǎn)在圖像上的投影在[u1 v1 1]T和[u2 v2 1]T的連線上。這樣我們又可以得到一個關(guān)于T的線性約束方程 (u-u1)(v1-v2)-(v-v1)(u1-u2)＝0 (8) 式中任意一個攝像機(jī)高度平面上的點(diǎn)在圖像上投影的齊次坐標(biāo)為[u v 1]T，[u1 v1 1]T為由第一直線集估計的消失點(diǎn)的齊次坐標(biāo)，[u2 v2 1]T為由第二直線集估計的消失點(diǎn)的齊次坐標(biāo)。
第三個約束是攝像機(jī)光心位于z＝H平面上，則 這里的[xc yc H]T為光心位置在三維坐標(biāo)系下的坐標(biāo)。
聯(lián)立以上約束關(guān)系，我們可以用最小二乘方法求出T。
實施例子如下 為了詳細(xì)說明該發(fā)明的具體實施方式
，以路面交通場景下的攝像機(jī)自標(biāo)定為例進(jìn)行說明，我們事先測得其攝像機(jī)高度H。
其步驟如下 運(yùn)動目標(biāo)檢測步驟S1通過背景建模和前景提取方法，檢測監(jiān)控場景中的運(yùn)動目標(biāo)區(qū)域； 運(yùn)動目標(biāo)特征提取步驟S2對檢測到的每個運(yùn)動目標(biāo)區(qū)域提取圖像平面上運(yùn)動目標(biāo)區(qū)域的速度方向和運(yùn)動目標(biāo)區(qū)域的主軸方向； 運(yùn)動目標(biāo)粗分類步驟S3根據(jù)每個運(yùn)動目標(biāo)區(qū)域所提取的圖像平面上運(yùn)動目標(biāo)區(qū)域的速度方向和運(yùn)動目標(biāo)區(qū)域的主軸方向，對運(yùn)動目標(biāo)區(qū)域進(jìn)行粗分類； 消失點(diǎn)估計步驟S4根據(jù)運(yùn)動目標(biāo)區(qū)域的梯度、形狀表象特征和速度運(yùn)動特征估計三個對應(yīng)相互垂直方向的消失點(diǎn)；包括 車輛區(qū)域主方向提取步驟S41如果運(yùn)動目標(biāo)區(qū)域被粗分類為車輛，則通過兩步梯度方向直方圖算子HOG提取運(yùn)動目標(biāo)區(qū)域的兩個主方向，并通過速度方向區(qū)分這兩個主方向為第一主方向和第二主方向； 人區(qū)域主方向提取步驟S42如果運(yùn)動目標(biāo)區(qū)域被粗分類為人，則提取運(yùn)動目標(biāo)區(qū)域的主軸方向作為該運(yùn)動目標(biāo)區(qū)域的主方向。
車輛區(qū)域第一主方向直線估計步驟S43對于被分類為車輛的運(yùn)動目標(biāo)區(qū)域的第一主方向，假設(shè)該方向與x軸夾角為θ1，則遍歷所有與x軸夾角為θ1且與此運(yùn)動目標(biāo)區(qū)域相交的直線，求取每條直線和此運(yùn)動目標(biāo)區(qū)域的相關(guān)值，以相關(guān)值最大的那條直線為此運(yùn)動目標(biāo)區(qū)域提取的對應(yīng)于第一主方向的直線； 車輛區(qū)域第二主方向直線估計步驟S44對于被分類為車輛的運(yùn)動目標(biāo)區(qū)域的第二主方向，假設(shè)該方向與x軸夾角為θ2，則遍歷所有與x軸夾角為θ2且與此運(yùn)動目標(biāo)區(qū)域相交的直線，求取每條直線和此運(yùn)動目標(biāo)區(qū)域的相關(guān)值，以相關(guān)值最大的那條直線為此運(yùn)動目標(biāo)區(qū)域提取的對應(yīng)于第二主方向的直線； 人區(qū)域主方向直線估計步驟S45對于被分類為人的運(yùn)動目標(biāo)區(qū)域，假設(shè)該運(yùn)動目標(biāo)區(qū)域的主軸方向和x軸的夾角為α，則遍歷所有與x軸夾角為α的直線，以其中那條過此運(yùn)動目標(biāo)區(qū)域質(zhì)心位置的直線為該運(yùn)動目標(biāo)區(qū)域提取的直線； 直線集產(chǎn)生步驟S46通過一段時間積累，收集所有該時間段內(nèi)的被分類為車的運(yùn)動目標(biāo)區(qū)域?qū)?yīng)于第一主方向的直線，作為第一直線集；收集所有該時間段內(nèi)的被分類為車的運(yùn)動目標(biāo)區(qū)域?qū)?yīng)于第二主方向的直線，作為第二直線集；收集所有該時間段內(nèi)的被分類為人的運(yùn)動目標(biāo)區(qū)域所提取的直線，作為第三直線集； 消失點(diǎn)估計步驟S47針對這三個直線集，分別估計集合內(nèi)所有直線的公共交點(diǎn)作為消失點(diǎn)的魯棒估計，從而得到三個對應(yīng)相互垂直方向的消失點(diǎn)。
攝像機(jī)參數(shù)估計步驟S5根據(jù)三個相互垂直的消失點(diǎn)和攝像機(jī)高度H，估計出攝像機(jī)的內(nèi)外參數(shù)。
總之，本發(fā)明提出了一種便捷有效的基于運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法。本發(fā)明易于實現(xiàn)、性能穩(wěn)定。本發(fā)明在眾多智能視覺監(jiān)控應(yīng)用中具有廣泛的應(yīng)用前景，能夠提高智能監(jiān)控系統(tǒng)對監(jiān)控場景的理解能力，是下一代智能監(jiān)控系統(tǒng)里的關(guān)鍵技術(shù)。
以上所述，僅為本發(fā)明中的具體實施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在本發(fā)明的包含范圍之內(nèi)，因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1.一種基于運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法，其特征在于其包括如下步驟
步驟S1通過背景建模和前景提取方法，檢測監(jiān)控場景中的運(yùn)動目標(biāo)區(qū)域；
步驟S2對檢測到的每個運(yùn)動目標(biāo)區(qū)域提取圖像平面上運(yùn)動目標(biāo)區(qū)域的速度方向和運(yùn)動目標(biāo)區(qū)域的主軸方向；
步驟S3根據(jù)每個運(yùn)動目標(biāo)區(qū)域所提取的圖像平面上運(yùn)動目標(biāo)區(qū)域的速度方向和運(yùn)動目標(biāo)區(qū)域的主軸方向，對運(yùn)動目標(biāo)區(qū)域進(jìn)行粗分類；
步驟S4根據(jù)運(yùn)動目標(biāo)區(qū)域的梯度、形狀表象特征和速度運(yùn)動特征估計三個對應(yīng)相互垂直方向的消失點(diǎn)；
步驟S5根據(jù)三個相互垂直的消失點(diǎn)和攝像機(jī)高度，估計出攝像機(jī)的內(nèi)外參數(shù)。
2.按權(quán)利要求1所述的基于運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法，其特征在于所述提取消失點(diǎn)步驟如下
步驟S41如果運(yùn)動目標(biāo)區(qū)域被粗分類為車輛，則通過兩步梯度方向直方圖算子HOG提取運(yùn)動目標(biāo)區(qū)域的兩個主方向，并通過速度方向區(qū)分這兩個主方向為第一主方向和第二主方向；
步驟S42如果運(yùn)動目標(biāo)區(qū)域被粗分類為人，則提取運(yùn)動目標(biāo)區(qū)域的主軸方向作為該運(yùn)動目標(biāo)區(qū)域的主方向。
步驟S43對于被分類為車輛的運(yùn)動目標(biāo)區(qū)域的第一主方向，假設(shè)該方向與x軸夾角為θ1，則遍歷所有與x軸夾角為θ1且與此運(yùn)動目標(biāo)區(qū)域相交的直線，求取每條直線和此運(yùn)動目標(biāo)區(qū)域的相關(guān)值，以相關(guān)值最大的那條直線為此運(yùn)動目標(biāo)區(qū)域提取的對應(yīng)于第一主方向的直線；
步驟S44對于被分類為車輛的運(yùn)動目標(biāo)區(qū)域的第二主方向，假設(shè)該方向與x軸夾角為θ2，則遍歷所有與x軸夾角為θ2且與此運(yùn)動目標(biāo)區(qū)域相交的直線，求取每條直線和此運(yùn)動目標(biāo)區(qū)域的相關(guān)值，以相關(guān)值最大的那條直線為此運(yùn)動目標(biāo)區(qū)域提取的對應(yīng)于第二主方向的直線；
步驟S45對于被分類為人的運(yùn)動目標(biāo)區(qū)域，假設(shè)該運(yùn)動目標(biāo)區(qū)域的主軸方向和x軸的夾角為α，則遍歷所有與x軸夾角為α的直線，以其中那條過此運(yùn)動目標(biāo)區(qū)域質(zhì)心位置的直線為該運(yùn)動目標(biāo)區(qū)域提取的直線；
步驟S46通過一段時間積累，收集所有該時間段內(nèi)的被分類為車的運(yùn)動目標(biāo)區(qū)域?qū)?yīng)于第一主方向的直線，作為第一直線集；收集所有該時間段內(nèi)的被分類為車的運(yùn)動目標(biāo)區(qū)域?qū)?yīng)于第二主方向的直線，作為第二直線集；收集所有該時間段內(nèi)的被分類為人的運(yùn)動目標(biāo)區(qū)域所提取的直線，作為第三直線集；
步驟S47針對這三個直線集，分別估計集合內(nèi)所有直線的公共交點(diǎn)作為消失點(diǎn)的魯棒估計，從而得到三個對應(yīng)相互垂直方向的消失點(diǎn)。
3.按權(quán)利要求1所述的基于運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法，其特征在于所述粗分類，是提取運(yùn)動目標(biāo)區(qū)域的速度方向和主軸方向，以速度方向和主軸方向之間的差異來進(jìn)行人和車輛的粗分類。
4.按權(quán)利要求2所述的基于運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法，其特征在于所述求取車輛區(qū)域的兩個主方向，分別對應(yīng)三維空間中車輛的對稱軸方向和對稱軸的垂直方向。
5.按權(quán)利要求2所述的基于運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法，其特征在于對于行人區(qū)域，以主軸方向?qū)?yīng)三維世界的垂直于地平面方向。
6.按權(quán)利要求1所述的基于運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法，其特征在于還包括通過三個相互垂直的消失點(diǎn)求取攝像機(jī)內(nèi)參數(shù)矩陣K和外參數(shù)旋轉(zhuǎn)矩陣R。
7.按權(quán)利要求1所述的基于運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法，其特征在于所述估計攝像機(jī)參數(shù)，是通過任意選取圖像平面上一點(diǎn)作為坐標(biāo)原點(diǎn)，確定第一組關(guān)于攝像機(jī)參數(shù)的約束關(guān)系為
式中任意選取的對應(yīng)三維世界坐標(biāo)原點(diǎn)的圖像平面上一點(diǎn)坐標(biāo)為[u4 v4 1]T，K為攝像機(jī)內(nèi)參數(shù)矩陣，R為攝像機(jī)的外參數(shù)旋轉(zhuǎn)矩陣，T為攝像機(jī)的外參數(shù)平移矩陣，λ4為縮放因子。
8.按權(quán)利要求1所述的基于運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法，其特征在于所述估計攝像機(jī)參數(shù)，是由攝像機(jī)高度平面上任意一點(diǎn)在圖像上的投影在兩個水平消失點(diǎn)連線上，得到第二組攝像機(jī)參數(shù)的約束關(guān)系為
(u-u1)(v1-v2)-(v-v1)(u1-u2)＝0
式中[u v 1]T為任意一個攝像機(jī)高度平面上的點(diǎn)在圖像上投影的齊次坐標(biāo)，[u1 v1 1]T為由第一直線集估計的消失點(diǎn)的齊次坐標(biāo)，[u2 v2 1]T為由第二直線集估計的消失點(diǎn)的齊次坐標(biāo)。
9.按權(quán)利要求1所述的基于運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法，其特征在于所述估計攝像機(jī)參數(shù)，是通過攝像機(jī)光心位置在三維坐標(biāo)系的攝像機(jī)高度平面上，得到第三組攝像機(jī)參數(shù)的約束關(guān)系為
式中[xc yc H]T為光心位置在三維坐標(biāo)系下的坐標(biāo)，R為攝像機(jī)的外參數(shù)旋轉(zhuǎn)矩陣，T為攝像機(jī)的外參數(shù)平移矩陣。
10.按權(quán)利要求2所述的基于運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法，其特征在于所述運(yùn)動目標(biāo)區(qū)域的速度方向是通過計算單位時間內(nèi)運(yùn)動目標(biāo)區(qū)域質(zhì)心位置的偏移。
全文摘要
本發(fā)明基于視頻中運(yùn)動目標(biāo)表象和運(yùn)動信息的攝像機(jī)自標(biāo)定方法，對包含運(yùn)動目標(biāo)的視頻進(jìn)行前景檢測，提取運(yùn)動目標(biāo)區(qū)域；對每一個運(yùn)動目標(biāo)區(qū)域提取特征；對運(yùn)動目標(biāo)區(qū)域進(jìn)行粗略分類；從海量運(yùn)動目標(biāo)區(qū)域的表象和運(yùn)動信息中，提取相互垂直的三個消失點(diǎn)；結(jié)合攝像機(jī)高度信息完成監(jiān)控場景攝像機(jī)的完全標(biāo)定。本發(fā)明替代手工標(biāo)定的工作量和誤差。用于基于圖像或視頻的測量，通過圖像中的點(diǎn)距離獲得三維世界的真實點(diǎn)距離，通過圖像中的線夾角獲得三維世界的真實線夾角。用于監(jiān)控場景中的物體分類識別，補(bǔ)償二維圖像特征固有的透視變形。用于監(jiān)控場景中的基于三維模型的物體識別，獲得三維姿態(tài)和軌跡，有效幫助系統(tǒng)理解場景中發(fā)生的行為。
文檔編號G06T7/00GK101488222SQ200810056258
公開日2009年7月22日 申請日期2008年1月16日 優(yōu)先權(quán)日2008年1月16日
發(fā)明者譚鐵牛, 黃凱奇, 張兆翔, 敏 李 申請人:中國科學(xué)院自動化研究所