專利名稱：一種單攝像機下的場景建模方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及場景建模領(lǐng)域，尤其涉及一種單攝像機下的場景建模方法及系統(tǒng)。
背景技術(shù)：
為了從二維圖像中獲取三維空間信息，場景建模是必不可少的步驟，它被廣泛用 于三維重建、導(dǎo)航、視覺監(jiān)控等領(lǐng)域。由非標定圖像序列重建物體真實尺寸是一項非常有意 義的技術(shù)，具有廣泛的應(yīng)用前景。例如，機器人的自動導(dǎo)航任務(wù)中，機器人通過觀察獲得環(huán) 境的二維圖像，然后通過計算得到環(huán)境的三維信息來確定行走的方向、距離、視場中目標的 高度等；又如在視頻監(jiān)控中，通過場景建模，可以計算出場景中運動目標的尺寸，運動速度 等信息，便于及時對異常速度等事件進行監(jiān)控和報警。目前，基于單攝像機的場景建模的方法都是需要人工干預(yù)的，實現(xiàn)起來比較麻煩， 不夠靈活。在單攝像機拍攝環(huán)境下，最具代表性且被廣泛應(yīng)用于實際中的方法就是張正友 的基于平面模板的攝像機標定法，具體的實施辦法是繪制一個具有精確定位點陣的模板 (形狀類似于棋盤)，將之貼在一個平板上構(gòu)成一個標定板，然后讓標定板在兩個以上不同 的方位被拍攝，分別記錄標定板上所有的點在各個方位處的圖像坐標，最后通過確定圖像 坐標和標定板上的點的匹配關(guān)系，計算出圖像和標定板之間的轉(zhuǎn)換矩陣，并利用該矩陣線 性解出攝像機內(nèi)參數(shù)，從而建立起場景模型。顯然，這種做法主要是依賴于人工干預(yù)的方 法，存在如下一些缺點(1)需要人拿著標定板進入場景中，在有些應(yīng)用環(huán)境中可能是不方便或者不能實 現(xiàn)的。(2)需要人工輔助選取標定板上所有的點在每個方位下的成像點，以確定這些點 的圖像坐標，操作麻煩，易出錯。(3)選取的圖像坐標不能達到最佳。特別是當標定板較小時，板上的點陣成像更不 明顯，會嚴重影響圖像坐標的定位。(4)不能自適應(yīng)場景的變化。一旦模型建立成功就要求攝像頭不能再變化，當攝 像頭發(fā)生變化導(dǎo)致拍攝場景發(fā)生了變化時(如攝像頭的位置發(fā)生偏移，或焦距發(fā)生變化 等)，必須重新建立模型，否則會嚴重影響計算的結(jié)果。(5)不能同時處理不同場景的多段視頻。在某些事后視頻分析中，可能需要在同一 個監(jiān)視器畫面上不停的切換多個不同拍攝場景的攝像頭，是不可能每切換一次就進行一次 人工干預(yù)下的場景建模的。通過以上五點可以看出，目前的場景建模技術(shù)是不靈活的，甚至在有些場合中是 不能實施的，這給監(jiān)控等視頻應(yīng)用帶來了巨大的困難。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種單攝像機下的場景建模方法及系統(tǒng)，無須人工輔助標定，可自動建模，能自適應(yīng)場景的變化，可同時處理不同場景的多段視頻。
為了解決上述問題，本發(fā)明提供了一種單攝像機下的場景自動建模系統(tǒng)，包括運動目標檢測子系統(tǒng)，用于從視頻幀中檢測出運動目標；運動目標跟蹤子系統(tǒng)，用于對檢測到的運動目標進行跟蹤，得到所述運動目標的 運動軌跡；確定標定物目標子系統(tǒng)，用于從所有運動目標的運動軌跡中篩選出滿足以下條件的運動目標作為標定物目標所述運動目標的特征值與預(yù)設(shè)的特征值匹配、該運動目標的 運動軌跡中包括至少三個位置點，且這些位置點不共線、無重合而且兩兩之間的距離大于 一個預(yù)設(shè)的距離閾值；篩選成功則啟動所述場景建模子系統(tǒng)，不成功則指示所述運動目標 檢測子系統(tǒng)讀入下一視頻幀；場景建模子系統(tǒng)，用于從所篩選出的標定物目標的運動軌跡中選取至少三個位置 作為標定點位置，提取所述標定物目標成像的最高點和最低點在這些標定點位置上的圖像 坐標，由這些坐標計算出垂直消失點和水平消失線的位置，以及攝像機的安裝高度，建立高 度模型。進一步地，所述場景建模子系統(tǒng)包括選取模塊，用于從所述標定物目標的運動軌跡中，選出滿足以下條件的至少三個 標定點標定點兩兩之間的位置距離均大于所述距離閾值、標定物目標在被選出來的標定 點位置處的成像面積與上一幀相比沒有發(fā)生突變、標定點不在一條直線上；定位模塊，用于分別根據(jù)各所述標定點的圖像坐標，定位在該標定點位置上的標 定物目標的最高點和最低點的圖像坐標；建立矩陣模塊，用于根據(jù)各所述最高點和最低點的圖像坐標計算垂直消失點位 置、水平消失線位置和攝像機的安裝高度三個信息，根據(jù)這三個信息建立投影矩陣作為高 度模型。進一步地，所述建立矩陣模塊根據(jù)各所述最高點和最低點的圖像坐標計算垂直消
失點位置是指根據(jù)下式獲得垂直消失點\其中N為標定點個數(shù)屯為最高點坐標，&為最低點坐標，Σ ~和2]/是最高點和
最低點的協(xié)方差矩陣，(Wi, bi)是經(jīng)過Hli和Vy的直線，且I Wi I I = 1，Hli是hi和fi的中點； i = 1,2,…，N。進一步地，所述建立矩陣模塊根據(jù)各所述最高點和最低點的圖像坐標計算水平消 失線位置是指根據(jù)下式獲得水平消失線(WVl ,bVi) = arg min ^ ( ‘ ^ '/2)
(W，i) tt (w 2j<w)其中^、= ，且^^I = I =是由2對最高點和最低點(h」，fj)和(hk，
fk)所組成的線段W和f/k相交而成；i = 1,2,…，N, j ^ k ；i的協(xié)方差矩陣由下式計 算得到Y(jié)jl=J' diagC^ ^,YJ K ,YJ ^,YJ h )· JT ,
其中<formula>formula see original document page 7</formula>
進一步地，所述建立矩陣模塊根據(jù)各所述最高點和最低點的圖像坐標計算攝像機 的安裝高度是指根據(jù)下式獲得攝像機的安裝高度<formula>formula see original document page 7</formula>
其中，χ是標定物目標的最低點坐標、X’是標定物的最高點坐標，c是所述垂直消 失點與所述最低點或最高點的連線，和所述水平消失線之間的交點的坐標；若所述垂直消 失點與所述最低點之間的連線、所述垂直消失點與所述最高點之間的連線分別與水平消失 線交于不同的兩個點，則取這兩個點的中點的坐標作為c，Zc是攝像機的安裝高度，Z是預(yù) 定的標定物目標的高度，d(x, y)是圖像上任意兩點χ和y之間的圖像距離。本發(fā)明還提供了一種單攝像機下的場景自動建模方法，包括A、根據(jù)視頻幀圖像檢測出運動目標；B、對每個被檢測到的運動目標進行跟蹤，得到所述運動目標的運動軌跡；C、從所有運動目標的運動軌跡中篩選出滿足以下條件的運動目標作為標定物目 標，所述運動目標的特征值與預(yù)設(shè)的特征值匹配，且該運動目標的運動軌跡中包括至少三 個位置點，這些位置點不共線，無重合且兩兩之間的距離大于一個預(yù)設(shè)的距離閾值；篩選成功則進行步驟D，如果篩選不成功，則讀取下一幀的視頻幀，然后返回步驟 A；D、從所篩選出的標定物目標的運動軌跡中選取至少三個位置作為標定點位置，提 取所述標定物目標成像的最高點和最低點在這些標定點位置上的圖像坐標，由這些坐標計 算出當前場景下垂直消失點和水平消失線的位置，以及攝像機的安裝高度，建立高度模型。進一步地，所述步驟D包括D1、用于從所述標定物目標的運動軌跡中，選出滿足以下條件的至少三個標定點 標定點兩兩之間的位置距離均大于所述距離閾值、標定物目標在被選出來的標定點位置處 的成像面積與上一幀相比沒有發(fā)生突變、標定點不在一條直線上；D2、定位出所述標定物目標在這些標定點位置處的最高點和最低點的圖像坐標；D3、使用所述最高點和最低點的圖像坐標計算得到垂直消失點位置、水平消失線 位置和攝像機的安裝高度，建立投影矩陣作為高度模型。進一步地，步驟D3中，根據(jù)下式獲得垂直消失點Vy位置<formula>formula see original document page 7</formula>
其中N為標定點個數(shù)屯為最高點坐標，&為最低點坐標，ΣΑ,和Σ/i是最高點和
最低點的協(xié)方差矩陣，(Wi, bi)是經(jīng)過Hli和Vy的直線，且I Wi I I = 1，Hli是hi和fi的中點； i = 1,2,…，N。進一步地，步驟D3中，根據(jù)下式獲得水平消失線位置<formula>formula see original document page 7</formula>
其中<formula>formula see original document page 8</formula>,且<formula>formula see original document page 8</formula>是由2對最高點和最低點(h」，fj)和(hk，
fk)所組成的線段W和f/k相交而成；i = 1,2,…，N, j ^ k ；的協(xié)方差矩陣由下式計 算得到<formula>formula see original document page 8</formula>
其中<formula>formula see original document page 8</formula>
進一步地，步驟D3中，根據(jù)下式獲得攝像機的安裝高度<formula>formula see original document page 8</formula>
其中，χ是標定物目標的最低點坐標、X’是標定物的最高點坐標，c是所述垂直消 失點與所述最低點或最高點的連線，和所述水平消失線之間的交點的坐標；若所述垂直消 失點與所述最低點之間的連線、所述垂直消失點與所述最高點之間的連線分別與水平消失 線交于不同的兩個點，則取這兩個點的中點的坐標作為c，Zc是攝像機的安裝高度，Z是預(yù) 定的標定物目標的高度，d(x, y)是圖像上任意兩點χ和y之間的圖像距離。本發(fā)明的技術(shù)方案利用場景的視頻幀的2D信息，提取出有用的特征，通過一系列 幾何學(xué)和投影變換，自動建立對應(yīng)的3D模型，從而達到對該場景中任意位置上的任意目標 計算其真實高度的目的；本發(fā)明計算準確，原理簡單，且不需要計算出攝像機的內(nèi)外參數(shù)； 能夠很好的滿足視頻監(jiān)控、重建等的要求，同時無需標定板，整個過程無人工干預(yù)，能自適 應(yīng)場景的變化，可同時處理不同場景的多段視頻，更智能地適應(yīng)了現(xiàn)場實時操作的需要，克 服了傳統(tǒng)的手動場景建模中一些固有的缺點，更好的滿足了實際應(yīng)用的要求。


圖1是實施例一的單攝像機下的場景自動建模系統(tǒng)的示意框圖；圖2是實施例一中例子里身體各部分占身高的比例；圖3是實施例一中例子里消失點和消失線的示意圖；圖4是實施例一中例子里交比法計算攝像機安裝高度的原理圖；圖5是實施例二的單攝像機下的場景自動建模方法的流程示意圖；圖6是實施例二中運動目標檢測步驟的流程示意圖；圖7是實施例二的運動目標跟蹤步驟的流程示意圖；圖8是實施例二的場景自動建模子系統(tǒng)的示意框圖；圖9是實施例二中單攝像機下的場景自動建模方法應(yīng)用流程的框圖。
具體實施例方式下面將結(jié)合附圖及實施例對本發(fā)明的技術(shù)方案進行更詳細的說明。需要說明的是，如果不沖突，本發(fā)明實施例以及實施例中的各個特征可以相互結(jié) 合，均在本發(fā)明的保護范圍之內(nèi)。另外，在附圖的流程圖示出的步驟可以在諸如一組計算機 可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況 下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
若無特殊說明，本文中所說的建模都是對目標的3D高度進行的建模。因為運動目 標的形狀等特征是難于精確描述的，因此，本文中“運動目標”是用視頻幀圖像中的運動目 標區(qū)域來描述的，即本文中的運動目標就是運動目標的外接矩形，當然也可以采用其他的 描述方式來描述運動目標。實施例一，一種單攝像機下的場景自動建模系統(tǒng)，如圖1所示，包括運動目標檢測子系統(tǒng)，用于從當前場景下拍攝的視頻幀圖像中檢測出運動目標；
運動目標跟蹤子系統(tǒng)，用于對檢測到的運動目標進行跟蹤，得到所述運動目標的 運動軌跡；確定標定物目標子系統(tǒng)，用于從所有運動目標的運動軌跡中篩選出標定物目標， 篩選成功則啟動所述場景建模子系統(tǒng)；篩選出的標定物目標是指滿足以下條件的運動目 標所述運動目標的特征值與預(yù)設(shè)的特征值匹配，且該運動目標的運動軌跡中包括至少三 個位置點，這些位置點不共線，無重合且兩兩之間的距離大于一個預(yù)設(shè)的距離閾值；場景建模子系統(tǒng)，用于從所篩選出的標定物目標的運動軌跡中選取至少三個位置 作為標定點位置，提取在這些標定點位置上所述標定物目標的圖像坐標，由這些圖像坐標 計算出當前場景下垂直消失點和水平消失線的位置，以及此時攝像機的安裝高度，從而得 到全部的高度模型信息，建立高度模型。其中，如果確定標定物目標子系統(tǒng)未能成功篩選出標定物目標，則指示運動目標 檢測子系統(tǒng)讀入新的視頻幀，繼續(xù)檢測運動目標，并對運動軌跡進行更新，然后重新進行篩 選，直到成功。本實施例中，所述確定標定物目標子系統(tǒng)篩選出標定物目標時所用的預(yù)設(shè)的特征 值根據(jù)該標定物的特征設(shè)置；考慮到監(jiān)控場景中，直立單人是頻繁出現(xiàn)的運動目標，因此本 實施例中選擇了單人作為標定物目標；單人與非單人(這里的非單人主要是指人群和機動 車)之間有著一些明顯的特征，可以很好的將之區(qū)別開。根據(jù)實驗經(jīng)驗，滿足下面條件的標定物目標可以讓重建的結(jié)果更準確在真實世 界中，該標定物目標在場景中各個標定點位置都是相互平行或近似平行的，且多個不同標 定物目標之間的真實高度差異不會過大。本實施例中，所述確定標定物目標子系統(tǒng)所用的預(yù)設(shè)的特征值可以是單一特征也 可以是組合特征。本實施例中采用了組合特征并預(yù)設(shè)了苛刻的閾值，具體包括高寬比特征 及頭肩特征；兩種特征均為選用，選用的依據(jù)是單人有明顯高于人群和機動車的高寬比 特征，且具有明顯的頭肩特征；而且這兩個特征計算較簡單，能比較好的描述出單人與非單 人之間的區(qū)別。另外，如果標定物目標選擇了除單人外的其他運動目標，則標定物的特征的選擇 和提取根據(jù)該標定物目標特點的不同而不同。本實施例中，所述運動目標檢測子系統(tǒng)可以是通過對輸入的每個視頻幀進行學(xué) 習(xí)，建立一個背景模型，可以但不限于為GMM(混合高斯分布)模型，當學(xué)習(xí)時間到達預(yù)定的 時間閾值Tt后，用背景差分法得到當前幀中包含運動目標的區(qū)域(即大致的運動目標)，對 這些區(qū)域進行去噪和連通處理，最終檢測出當前幀中的運動目標，包括運動目標的個數(shù)、每 個運動目標的圖像數(shù)據(jù)信息、外接矩形的中心點坐標、長、寬等特征信息。本實施例中，所述運動目標檢測子系統(tǒng)具體可以包括
學(xué)習(xí)模塊、更新模塊、獲取模塊以及后處理模塊；所述學(xué)習(xí)模塊用于通過對輸入的每幀視頻進行學(xué)習(xí)，建立一個GMM背景模型；當 學(xué)習(xí)時間到達預(yù)定的時間閾值Tt后啟動所述更新模塊；本實施例中，設(shè)用來描述每個像素點Zuv的顏色的高斯分布共K個，則該像素點的 概率表示為
<formula>formula see original document page 10</formula>其中，K是混合模型中描述像素顏色特征的高斯分布的模型個數(shù)，K值越大，則計 算量越大，一般K取值3到5 ;ω“ν是第j個高斯分布的權(quán)值，K個高斯模型的權(quán)重和為1 ； μ j,uv，Σ “,分別為第j個高斯分布的均值和協(xié)方差矩陣；N為高斯概率密度函數(shù)；η是特征 向量的維數(shù)。本實施例中，取K = 4。實際應(yīng)用時也可以用其他背景模型建立算法代替。所述更新模塊用于將所述學(xué)習(xí)模塊所建立的背景模型作為背景幀輸出；所述獲取模塊用于將當前幀與背景幀差分，獲得當前幀中包含運動目標的區(qū)域； 這里獲得的包含運動目標的區(qū)域是一個可能的區(qū)域，不一定是運動目標，即使是運動目標 也可能不是精確的運動目標；所述后處理模塊用于將當前幀中的所有運動目標，通過多次的膨脹和腐蝕，濾掉 小面積區(qū)域，連通斷開的大面積區(qū)域，并對得到的運動目標區(qū)域進行標注，最終得到當前幀 中可能的運動目標個數(shù)，以及每個運動目標，發(fā)送給所述運動目標跟蹤子系統(tǒng)；每個運動目 標以圖像數(shù)據(jù)、外接矩形的中心點坐標和長、寬等特征值描述。實際應(yīng)用時可以用其他運動目標檢測算法代替本運動目標檢測子系統(tǒng)中涉及到 的全部模塊的算法。本實施例中，所述運動目標跟蹤子系統(tǒng)具體可以包括匹配模塊、分類模塊、定位更新模塊以及預(yù)測模塊；所述匹配模塊用于使用預(yù)測模塊輸入的運動目標的特征值，與當前幀中檢測到的 運動目標的特征值兩兩進行匹配，建立各運動目標的特征匹配矩陣；由該特征匹配矩陣的 值找到上一幀運動目標在當前幀的匹配目標；可以但不限于按照匹配時取值“1”、不匹配 時取值“0”設(shè)置所述特征匹配矩陣中各元素的值；也可以用具體的匹配值作為所述特征匹 配矩陣中各元素的值；具體匹配的實現(xiàn)不限于以上例子；所述分類模塊用于根據(jù)所述特征匹配矩陣的值判斷各運動目標的狀態(tài)；所述運動 目標狀態(tài)包括正常、產(chǎn)生、消失、分裂、融合；所述定位更新模塊用于分別根據(jù)各運動目標在當前幀的狀態(tài)進行該運動目標的 主色等特征數(shù)據(jù)及運動軌跡的更新，輸出各運動目標的運動軌跡，以及當前的運動狀態(tài)，如 正常，產(chǎn)生、融合、消失、分裂等狀態(tài)；所述預(yù)測模塊用于根據(jù)當前運動目標的特征值預(yù)測出該運動目標在下一幀的運 動軌跡，根據(jù)預(yù)測的運動軌跡獲取該運動目標在下一幀的某些特征值如外接矩形的坐標 等，輸入給所述匹配模塊；
本實施例中，所述匹配模塊當兩個運動目標同時滿足以下兩個條件時判斷其匹配，否則判斷其不匹配(1)兩個運動目標重疊的面積超過一預(yù)定的面積閾值；(2)兩個運動目標的主色相同或兩主色的像素值之差的絕對值小于一預(yù)定的色差 閾值；所述主色是指將運動目標的顏色值進行量化后，量化值像素點足夠多的那些顏色。本實施例中，所述分類模塊根據(jù)特征匹配矩陣的值判斷運動目標的運動狀態(tài)具體 可以是指設(shè)所述特征匹配矩陣Match第i行的和為rowN(i)，第j列的和為colN(j)，所述 分類模塊當rowN⑴=1且colN(j) = 1且Matchij = 1時判斷運動目標的運動狀態(tài)為a 類；r0WN(j) = 0時判斷運動目標的運動狀態(tài)為b類；colN(i) = 0時判斷運動目標的運動 狀態(tài)為c類；colN(i) > 1時判斷運動目標的運動狀態(tài)為d類；rowN(j) > 1時判斷運動目 標的運動狀態(tài)為e類；所述a類是指運動目標持續(xù)在場景內(nèi)運動且未與任何其它目標相互干擾(正常)； 所述b類是指產(chǎn)生的新目標(產(chǎn)生)；所述c類是指運動目標消失(消失，比如被遮擋，或 運動目標出了場景)；所述d類是指運動目標發(fā)生分裂(分裂)；所述e類是指運動目標發(fā) 生融合(融合)。本實施例中所述預(yù)測模塊可以但不限于通過Kalman濾波器來進行運動狀態(tài)的預(yù) 測。Kalman濾波器利用反饋控制的原理實現(xiàn)對運動狀態(tài)的估計。濾波器估計每一時刻的運 動狀態(tài)，且以觀測的方式獲得相應(yīng)的反饋值，對估計的運動狀態(tài)進行修正，更新狀態(tài)參數(shù)， 并被反饋到濾波器的下一步迭代中；在進入下一次迭代之前，執(zhí)行預(yù)測和參數(shù)修正。濾波器主要依賴兩個方程一個是關(guān)于狀態(tài)過程的狀態(tài)方程，一個是關(guān)于觀測過 程的觀測方程，分別如下狀態(tài)方程<formula>formula see original document page 11</formula>(2.1 )觀測方程<formula>formula see original document page 11</formula> (2.2)本實施例中令狀態(tài)矢量Xk= [x(k), y(k)，vx (k), vy(k)]T，觀測矢量 Zk= [x(k), y(k)]T，(x(k), y(k))對應(yīng)運動目標外接矩形的中心點坐標，(vx(k)，vy(k))對應(yīng)該中心點 在χ方向和y方向上的速度分量。A和H分別是狀態(tài)轉(zhuǎn)移矩陣和觀測矩陣，表達式如下<formula>formula see original document page 11</formula>(2.3)<formula>formula see original document page 11</formula>(2.4)這里Δ t是指連續(xù)兩幀的時間間隔。Wk、Vk分別是狀態(tài)噪聲和觀測噪聲，為簡化處理，通常假設(shè)它們是常量，本實施例中 設(shè)定Q = I1, R = I2, I1為4X4的單位矩陣，I2為2X2的單位矩陣。實際應(yīng)用中也可用其他濾波器和運動狀態(tài)預(yù)測算法替代，而且可以用其他運動目 標跟蹤算法代替本運動目標跟蹤子系統(tǒng)涉及到的全部算法。本實施例中，所述場景建模子系統(tǒng)具體可以包括
選取模塊、定位模塊以及建立矩陣模塊；所述選取模塊用于選取標定點，通過分析標定物目標的運動軌跡，從中選出幾個 標定點(通常是3個以上)；所述標定點要滿足以下條件(1)標定點兩兩之間的位置距離 均大于預(yù)先設(shè)置的距離閾值；(2)與上一幀相比，標定物目標在被選出來的標定點位置處 成像面積沒有發(fā)生突變；(3)所有被選出來的標定點位置不在一條直線上；本實施例中選 取4個標定點。所述位置閾值可以根據(jù)仿真或?qū)嶒炦x取，比如使用能使最后結(jié)果盡量接近實際情 況時所采用的位置閾值。所述定位模塊用于分別根據(jù)各所述標定點的圖像坐標，定位在該標定點位置上的 標定物目標的最高點和最低點的圖像坐標；比如對于直立單人的標定物目標，最高點和最 低點分別就是人的頭頂點和腳底點。
所述建立矩陣模塊用于根據(jù)各所述最高點和最低點的圖像坐標建立投影矩陣作 為最終得到的高度模型；該投影矩陣主要包括了垂直消失點位置、水平消失線位置和攝像 機的安裝高度三個關(guān)鍵信息。實際應(yīng)用時也可用其他方法建立投影矩陣。本實施例中，滿足上述標定點條件的標定點可能會有一到多組，此時，可以選擇兩 兩標定點之間的位置距離(或總距離)最大的一組，或者是標定點分布最廣的一組，也可以 選擇多組，然后得到多個計算結(jié)果，加權(quán)平均得到最終的結(jié)果，權(quán)值可以根據(jù)實驗或仿真確 定。下面用一個具體的例子說明所述建立矩陣模塊如何根據(jù)各所述最高點和最低點 計算垂直消失點位置、水平消失線位置和攝像機的安裝高度；該例子中以直立單人作為標 定物目標作為說明，但實際應(yīng)用時用其它標定物目標也可以按照下列算式計算通常，人身體的各部分占身高的比例是一定的，如圖2所示，頭頸部約占身體的上 部18%的部分，膝蓋以下(即小腿和腳)約占下部30%的部分，根據(jù)這一比例再結(jié)合實際 實驗的結(jié)果，對標定物目標對應(yīng)的灰度圖做豎直加權(quán)投影直方圖。本實施例假設(shè)該目標區(qū) 域就是標定物目標的外接矩形區(qū)域。具體的做法為對標定物目標的上0. 18和下0. 3區(qū)域分別做豎直加權(quán)投影直方 圖，選出直方圖中大于閾值T的點對應(yīng)的橫坐標，取均值，即得到頭頂點和腳底點的橫坐 標，縱坐標直接取標定物外接矩形上下邊的縱坐標即可；可以但不限于取加權(quán)投影直方圖 的均值作為閾值T。直方圖的加權(quán)系數(shù)是結(jié)合了標定物目標的形狀而確定的。若選取了其 他類型的目標作為標定物目標，需要根據(jù)該目標類型的形狀特點，改變定位對象“最高點和 最低點”的方法。實際應(yīng)用時也可以用其它方式定位最高點和最低點的圖像坐標。圖3所示是單人在攝像機視場中站立的任意3個不共線的位置(即三個標定點的 位置)，線段的兩個端點分別表示作為標定物目標的單人的腳底點和頭頂點。某個方向的消 失點就是該方向兩條以上的平行線在無窮遠處的交點于成像平面的像點，或者可以理解為 該方向平行線的像在成像平面的交點。這樣，垂直方向的消失點就是標定物目標的各對最 高點(頭頂點)和最低點(腳底點)連線的交點。在實際應(yīng)用中，由于噪聲的影響，垂直消 失點往往都不會交于一點。對于這種情況，本實施例中采用非線性最小二乘法來擬合垂直 消失點位置，具體方法如下假設(shè)共有N個標定點，則有N對最高點和最低點，每對最高點和最低點之間有一連線，共得到N條垂直方向上的參考線段，其最高點(頭頂點)和最低點(腳底點)坐標分別 為比和&(1 = 1，...，Ν)，Σ/>,.和Σ/是最高點(頭頂點)和最低點(腳底點)的協(xié)方差矩 陣，一般情況下最高點(頭頂點)和最低點(腳底點)的噪聲是獨立同分布的，因此可以認 為ΣZ ,和Σ /相等；(W” bi)是經(jīng)過Hii和Vy的直線，且I IwiI I = 1，11^是比和4的中點，Vy 是垂直消失點。使下式最小的點，即為所求的垂直消失點的位置。<formula>formula see original document page 13</formula>實際應(yīng)用時也可用其他擬合方法替代。如圖3所示，最高點(頭頂點)之間的連線和最低點(腳底點)之間的連線相交 可以確定一個水平方向消失點。當存在2個以上的水平方向消失點時，就可以確定水平消 失線。在實際應(yīng)用中往往會得到2個以上的水平消失點，且由于噪聲的影響，這些點并不共 線。對于這種情況，本實施例中采用了非線性最小二乘法來擬合水平消失線的位置，具體方 法如下假設(shè)^^化，只/“二丨，…，吣，是由？對最高點(頭頂點)和最低點(腳底點) (h^fj)和(hk，fk)所組成的線段hjhk和fjfk相交而成，j Φ k。$的協(xié)方差矩陣由下式計算 得到<formula>formula see original document page 13</formula><formula>formula see original document page 13</formula>那么水平消失線的位置可以通過使下式最小得到(<formula>formula see original document page 13</formula>
其中爐=\ ,且I |二1。 實際應(yīng)用時也可用其他擬合方法替代。本實施例中由交比法計算出攝像機的安裝高度。原理如圖4所示，用下式表示<formula>formula see original document page 13</formula>
其中，χ是標定物目標的最低點(腳底點)的坐標、X’是標定物的最高點(頭頂 點)的坐標，V是垂直消失點的坐標，C是所述垂直消失點與所述最低點及最高點的連線，和 所述水平消失線之間的交點的坐標；若所述垂直消失點與所述最低點之間的連線，與所述 垂直消失點與所述最高點之間的連線分別與水平消失線交于不同的兩個點，則取這兩個點 的中點的坐標作為C，大多數(shù)實際場景的計算都是屬于這種情況；Zc是攝像機的安裝高度， Z是預(yù)定的標定物目標的高度，可根據(jù)該標定物目標的真實的平均高度或一般高度等來設(shè) 定；d(x，y)是圖像上任意兩點χ和y之間的圖像距離。該式不用考慮x、x’、c和ν之間的 順序問題。在本例子中，令Z為一個定值170cm，該值約等于成年亞洲人的平均身高。實際應(yīng)用時，可以采用其它擬合方法；選擇交比法的原因在于交比法是一個重要的射影定理，原理簡單，計算結(jié)果準確，不需要任何攝像機的參數(shù)信息就可以計算出場景圖像上任意位置處目標的真實高度。實施例二，一種單攝像機下的場景自動建模方法，包括首先對進入場景中的運動目標進行檢測和跟蹤，記錄下它們在場景中的運動軌 跡；對這些運動軌跡進行分析，篩選出滿足條件的最佳目標作為標定物，若選擇標定物不成 功，則繼續(xù)處理下一幀，否則進入建模階段；建模時，需確定出標定物軌跡中分布最均勻的 幾個位置，提取出標定物在這些位置上的頭腳點圖像坐標，結(jié)合投影學(xué)和幾何學(xué)的知識便 可以建立場景建模了。所述方法如圖5所示，具體包括以下步驟A、根據(jù)當前場景中拍攝的視頻幀圖像，檢測出運動目標；B、對每個被檢測到的運動目標進行跟蹤，得到所述運動目標的運動軌跡；C、從所有運動目標的運動軌跡中篩選出標定物目標，篩選成功則進行步驟D，如果 篩選不成功，則讀取下一幀的視頻幀，然后返回步驟A，以更新運動目標檢測結(jié)果和運動軌 跡；篩選出的標定物目標是指滿足以下條件的運動目標所述運動目標的特征值與預(yù)設(shè)的 特征值匹配，且該運動目標的運動軌跡中包括至少三個位置點，這些位置點不共線，無重合 且兩兩之間的距離大于一個預(yù)設(shè)的距離閾值；D、從所篩選出的標定物目標的運動軌跡中選取至少三個位置作為標定點位置，提 取所述標定物目標在這些標定點位置上成像的最高點和最低點的圖像坐標，由這些坐標計 算出當前場景下垂直消失點和水平消失線的位置，以及攝像機的安裝高度，從而得到全部 的高度模型信息，建立高度模型。本實施例中，所述步驟A如圖6所示，具體可以包括Al、讀入視頻圖像；通過對輸入的視頻圖像進行學(xué)習(xí)，建立一個GMM背景模型；A2、更新當前時刻的背景幀；A3、通過判斷當前時刻與開始學(xué)習(xí)的時刻之間的時間間隔是否到達時間閾值Tt， 來判斷是否超過學(xué)習(xí)時間；沒有則返回步驟Al繼續(xù)處理下一幀，否則進行步驟A4 ；A4、將當前視頻幀與背景幀做差分，得到當前幀中包含運動目標的區(qū)域；A5、進行連通性分析，對當前幀中包含運動目標的區(qū)域做形態(tài)學(xué)變化，濾掉面積小 的噪聲區(qū)域，連通距離較近的目標區(qū)域，最終得到當前幀中運動目標的信息，包括運動目標 的個數(shù)、每個運動目標的圖像數(shù)據(jù)信息、外接矩形的中心點坐標、長、寬等特征信息。本實施例中，所述步驟B如圖7所示，具體可以包括Bi、用預(yù)測得到的所有運動目標的特征值，和當前幀中所有運動目標的特征值進 行匹配，建立一個特征匹配矩陣，由該特征匹配矩陣的值找到上一幀運動目標在當前幀的 匹配目標；B2、根據(jù)步驟A的結(jié)果，得到各個運動目標在當前時刻的軌跡點(在本實施例中為 外接矩形)；并判斷出各個運動目標的運動狀態(tài)；所述運動目標狀態(tài)包括正常、產(chǎn)生、消失、 分裂、融合；判斷方式可同實施例一；將所有軌跡點連接起來便可輸出各個運動目標在視 頻中的運動軌跡；B3、分別根據(jù)各運動目標的狀態(tài)進行該運動目標的主色等特征數(shù)據(jù)及運動軌跡的 更新；
B4、根據(jù)此刻這些運動目標的特征值，對運動目標在下一幀的運動狀態(tài)進行預(yù)測。本實施例中，所述步驟D如圖8所示，具體可以包括D1、首先從標定物目標的運動軌跡中選出分布均勻的多個位置(3個或3個以上) 作為標定點；選擇方式同實施例一；D2、然后定位出標定物目標在這些標定點位置處的最高點和最低點的圖像坐標；D3、使用所述最高點和最低點的圖像坐標，根據(jù)實施例一中的3. 1 3. 4式計算得 到垂直消失點位置、水平消失線位置和攝像機的安裝高度，建立投影矩陣作為高度模型。其它實現(xiàn)細節(jié)可同實施例一中的一致。
模型建立成功后，馬上就可以應(yīng)用于當前視頻場景下的高度重建計算了。場景模型建立成功后，立即被保存，一旦有需要就被運用到實際的實時視頻監(jiān)控 中了。實際視頻監(jiān)控中的應(yīng)用如圖9所示，工作流程為用相位相關(guān)法判斷當前的視頻場景 是否發(fā)生了改變，若無改變，則用已有模型對場景中的目標進行高度重建，高度重建同樣采 用交比法，見等式(3.4)。否則，場景發(fā)生變化，系統(tǒng)按照上述步驟自動重建新的場景模型。 實際應(yīng)用中也可用其它方法來判斷當前視頻場景是否發(fā)生了改變。本實施例中采用了相位 相關(guān)法，該方法計算快速準確，靈敏度高。另外，需說明的是，為了適應(yīng)魚眼鏡等有較大畸變的攝像機的拍攝場景，在攝像機 開始監(jiān)控工作之前可以先做一個畸變判斷，若視頻發(fā)生了嚴重畸變則需要對以后的每幀視 頻先進行一個矯正。由于畸變因子是由攝像機的工藝等造成的，只與焦距有關(guān)，對焦距固定 的攝像機來說是一個恒定值，只需計算一次，因此，最方便的辦法是在實驗室環(huán)境下計算得 到一個比較準確的值后再架設(shè)使用，當然也可以在架設(shè)完成后再計算畸變因子。當系統(tǒng)自 動檢測到焦距發(fā)生明顯變化時，重新計算。利用得到的畸變因子就可以對任意畸變場景進 行畸變矯正了。本發(fā)明采用拍攝的素材進行測試，素材包括了不同場景，不同拍攝角度，不同身高 和不同走路姿勢的人，為了對比結(jié)果，截取了同一場景在兩個不同拍攝角度下的重建結(jié)果， 第一個角度下被測試對象的真實身高是157cm，計算值是155. 88cm ；第二個角度下被測試 對象的真實身高是164cm，計算值是163. 69cm?？梢?，本發(fā)明的結(jié)果是比較準確且適合實際 應(yīng)用的。顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用 的計算裝置來實現(xiàn)，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成 的網(wǎng)絡(luò)上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲 在存儲裝置中由計算裝置來執(zhí)行，或者將它們分別制作成各個集成電路模塊，或者將它們 中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的 硬件和軟件結(jié)合。當然，本發(fā)明還可有其他多種實施例，在不背離本發(fā)明精神及其實質(zhì)的情況下，熟 悉本領(lǐng)域的技術(shù)人員當可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變 形都應(yīng)屬于本發(fā)明的權(quán)利要求的保護范圍。
權(quán)利要求
一種單攝像機下的場景自動建模系統(tǒng)，其特征在于，包括運動目標檢測子系統(tǒng)，用于從視頻幀中檢測出運動目標；運動目標跟蹤子系統(tǒng)，用于對檢測到的運動目標進行跟蹤，得到所述運動目標的運動軌跡；確定標定物目標子系統(tǒng)，用于從所有運動目標的運動軌跡中篩選出滿足以下條件的運動目標作為標定物目標所述運動目標的特征值與預(yù)設(shè)的特征值匹配、該運動目標的運動軌跡中包括至少三個位置點，且這些位置點不共線、無重合而且兩兩之間的距離大于一個預(yù)設(shè)的距離閾值；篩選成功則啟動所述場景建模子系統(tǒng)，不成功則指示所述運動目標檢測子系統(tǒng)讀入下一視頻幀；場景建模子系統(tǒng)，用于從所篩選出的標定物目標的運動軌跡中選取至少三個位置作為標定點位置，提取所述標定物目標成像的最高點和最低點在這些標定點位置上的圖像坐標，由這些坐標計算出垂直消失點和水平消失線的位置，以及攝像機的安裝高度，建立高度模型。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述場景建模子系統(tǒng)包括選取模塊，用于從所述標定物目標的運動軌跡中，選出滿足以下條件的至少三個標定 點標定點兩兩之間的位置距離均大于所述距離閾值、標定物目標在被選出來的標定點位 置處的成像面積與上一幀相比沒有發(fā)生突變、標定點不在一條直線上；定位模塊，用于分別根據(jù)各所述標定點的圖像坐標，定位在該標定點位置上的標定物 目標的最高點和最低點的圖像坐標；建立矩陣模塊，用于根據(jù)各所述最高點和最低點的圖像坐標計算垂直消失點位置、水 平消失線位置和攝像機的安裝高度三個信息，根據(jù)這三個信息建立投影矩陣作為高度模 型。
3.如權(quán)利要求2所述的系統(tǒng)，其特征在于所述建立矩陣模塊根據(jù)各所述最高點和最低點的圖像坐標計算垂直消失點位置是指 根據(jù)下式獲得垂直消失點\<formula>formula see original document page 2</formula>其中n為標定點個數(shù)屯為最高點坐標，&為最低點坐標，和是最高點和最低 點的協(xié)方差矩陣，Ov b》是經(jīng)過m,和VY的直線，且| | | = 1，mi是h,和f,的中點；i = 1,2, ...，N。
4.如權(quán)利要求3所述的系統(tǒng)，其特征在于所述建立矩陣模塊根據(jù)各所述最高點和最低點的圖像坐標計算水平消失線位置是指 根據(jù)下式獲得水平消失線<formula>formula see original document page 2</formula>其中 且<formula>formula see original document page 2</formula>是由2對最高點和最低點(hpfp和(hk，fk)所 組成的線段hjhk和fjfk相交而成；i = 1,2,…，N，j乒k ；i的協(xié)方差矩陣由下式計算得到<formula>formula see original document page 3</formula>其中<formula>formula see original document page 3</formula>
5.如權(quán)利要求2到4中任一項所述的系統(tǒng)，其特征在于所述建立矩陣模塊根據(jù)各所述最高點和最低點的圖像坐標計算攝像機的安裝高度是 指根據(jù)下式獲得攝像機的安裝高度 <formula>formula see original document page 3</formula>其中，X是標定物目標的最低點坐標、X’是標定物的最高點坐標，C是所述垂直消失點 與所述最低點或最高點的連線，和所述水平消失線之間的交點的坐標；若所述垂直消失點 與所述最低點之間的連線、所述垂直消失點與所述最高點之間的連線分別與水平消失線交 于不同的兩個點，則取這兩個點的中點的坐標作為C，Zc是攝像機的安裝高度，Z是預(yù)定的 標定物目標的高度，d(x, y)是圖像上任意兩點x和y之間的圖像距離。
6.一種單攝像機下的場景自動建模方法，包括A、根據(jù)視頻幀圖像檢測出運動目標；B、對每個被檢測到的運動目標進行跟蹤，得到所述運動目標的運動軌跡；C、從所有運動目標的運動軌跡中篩選出滿足以下條件的運動目標作為標定物目標，所 述運動目標的特征值與預(yù)設(shè)的特征值匹配，且該運動目標的運動軌跡中包括至少三個位置 點，這些位置點不共線，無重合且兩兩之間的距離大于一個預(yù)設(shè)的距離閾值；篩選成功則進行步驟D，如果篩選不成功，則讀取下一幀的視頻幀，然后返回步驟A ；D、從所篩選出的標定物目標的運動軌跡中選取至少三個位置作為標定點位置，提取所 述標定物目標成像的最高點和最低點在這些標定點位置上的圖像坐標，由這些坐標計算出 當前場景下垂直消失點和水平消失線的位置，以及攝像機的安裝高度，建立高度模型。
7.如權(quán)利要求6所述的方法，其特征在于，所述步驟D包括D1、用于從所述標定物目標的運動軌跡中，選出滿足以下條件的至少三個標定點標定 點兩兩之間的位置距離均大于所述距離閾值、標定物目標在被選出來的標定點位置處的成 像面積與上一幀相比沒有發(fā)生突變、標定點不在一條直線上；D2、定位出所述標定物目標在這些標定點位置處的最高點和最低點的圖像坐標；D3、使用所述最高點和最低點的圖像坐標計算得到垂直消失點位置、水平消失線位置 和攝像機的安裝高度，建立投影矩陣作為高度模型。
8.如權(quán)利要求7所述的方法，其特征在于，步驟D3中，根據(jù)下式獲得垂直消失點VY位置<formula>formula see original document page 3</formula>其中n為標定點個數(shù)屯為最高點坐標，fi為最低點坐標，∑hi和∑fi是最高點和最低 點的協(xié)方差矩陣，(Wi， bi)是經(jīng)過m,和VY的直線，且| Wi | = 1，mi是h,和f,的中點；i = 1,2, ...，N。
9.如權(quán)利要求8所述的方法，其特征在于，步驟D3中，根據(jù)下式獲得水平消失線位置<formula>formula see original document page 4</formula>其中<formula>formula see original document page 4</formula>是由2對最高點和最低點(h」，fj)和(hk，fk)所組成的線段hjhk和f/k相交而成；i = 1,2,…，N, j ^ k ；〒的協(xié)方差矩陣由下式計算得 到<formula>formula see original document page 4</formula>其中"<formula>formula see original document page 4</formula>
10.如權(quán)利要求7到9中任一項所述的系統(tǒng)，其特征在于，步驟D3中，根據(jù)下式獲得攝像機的安裝高度<formula>formula see original document page 4</formula>其中，X是標定物目標的最低點坐標、X’是標定物的最高點坐標，C是所述垂直消失點 與所述最低點或最高點的連線，和所述水平消失線之間的交點的坐標；若所述垂直消失點 與所述最低點之間的連線、所述垂直消失點與所述最高點之間的連線分別與水平消失線交 于不同的兩個點，則取這兩個點的中點的坐標作為C，Zc是攝像機的安裝高度，Z是預(yù)定的 標定物目標的高度，d(x, y)是圖像上任意兩點x和y之間的圖像距離。
全文摘要
一種單攝像機下的場景建模方法及系統(tǒng)；方法包括根據(jù)視頻幀圖像檢測出運動目標；對每個被檢測到的運動目標進行跟蹤，得到所述運動目標的運動軌跡；從所有運動目標的運動軌跡中篩選出標定物目標，從所篩選出的標定物目標的運動軌跡中選取至少三個位置作為標定點位置，提取所述標定物目標成像的最高點和最低點在這些標定點位置上的圖像坐標，由這些坐標計算出當前場景下垂直消失點和水平消失線的位置，以及攝像機的安裝高度，建立高度模型。本發(fā)明無須人工輔助標定，可自動建模，能自適應(yīng)場景的變化，可同時處理不同場景的多段視頻。
文檔編號G06T17/05GK101833791SQ20101017291
公開日2010年9月15日 申請日期2010年5月11日 優(yōu)先權(quán)日2010年5月11日
發(fā)明者潘巧海, 蔣敏, 譚穎, 譚驍彧 申請人:成都索貝數(shù)碼科技股份有限公司