,yl)時, 校正模型的高度可以是15個像素(或者可以通過一些其他的測量方式進行測量)。當校 正模型的中心在位置(x2,y2)時,校正模型的高度可以是27個像素。因此,視頻監(jiān)控系統(tǒng) 101可以通過將二維視頻圖像大小與校正模型的已知大?。ɡ?,高度)關(guān)聯(lián)上而將二維視 頻圖像中特定位置(例如,(x,y)坐標)的二維視頻圖像的尺寸與真實世界中的大?。ɡ?如,高度)關(guān)聯(lián)上?;谡鎸嵤澜绲拇笮∨c二維圖像中特定位置(例如,(x,y)坐標)的二 維視頻圖像中的尺寸之間的(通過這種校正獲得的)已知相互關(guān)系,可以針對二維視頻圖 像內(nèi)的各個位置((x,y)坐標)計算二維視頻圖像空間內(nèi)的人物模型的二維大小以對應(yīng)于 真實的三維世界中的平均人物大小。
[0073] 對于校正過程的實例,參見授予Lipton等人的美國專利第7, 932, 923號以及授予 Zhang等人的美國專利第7, 801,330號,這兩份專利通過引用的方式全部并入本發(fā)明中。一 般而言,使用通過校正過程輸入或獲得的參數(shù),例如攝像機高度(H)、垂直和水平攝像機視 野角度(9H,9V)以及攝像機傾角U)和其他信息,例如對象的檢測到的外邊界(例如, 人物的頂部和底部),攝像機系統(tǒng)為了識別目的一般可以確定目標在真實世界中的大小和 形狀。
[0074] 基于人物的攝像機校正模型304可以連同視頻圖像空間內(nèi)合適的對應(yīng)位置一起 從一般人物模型模塊303接收并存儲具有合適大小的人物模型。這些人物模型和對應(yīng)的位 置可以存儲在查找表中。例如,視頻圖像空間內(nèi)外的各個坐標(x,y)可以用于識別對應(yīng)的 人物模型。例如,當(x,y)識別坐標與人物模型的形心對應(yīng)時,在估計以位置(xl,yl)為中 心的視頻圖像內(nèi)存在人物對象時,基于人物的攝像機校正模型304的查找表可以接收位置 (xl,yl)為輸入,并且提供對應(yīng)的人物模型(包括它在二維圖像空間內(nèi)的大小和位置)。例 如,輸出可以包括二維圖像空間內(nèi)的邊界,或者可以包括圖像空間內(nèi)的整個像素集(例如, 所有像素的(x,y)坐標)以描述對應(yīng)的人物模型。
[0075] 圖3B圖示了幾個人物模型占用二維視頻圖像的實例,每個人相對于二維視頻圖 像與不同的位置對應(yīng)。如圖所示,四個人物模型320a、320b、320c和320d與相對于二維視 頻圖像的不同的(x,y)識別坐標相關(guān)。人物模型320a是最小的,與三維真實世界中距離視 頻源最遠的位置對應(yīng)。人物模型320b、320c和320d與依次越來越靠近視頻源的三維真實 世界中的位置對應(yīng)。人物模型320a、320b、320c和320d可以全部是從相同的完整人物形狀 模型得到的。然而,可以估計到,僅一部分完整人物形狀模型可以在某些位置占據(jù)二維視頻 圖像。這里,估計到與人物形狀320c和320d對應(yīng)的完整人物形狀模型僅部分占據(jù)二維視 頻圖像空間330 ;估計到人物模型320c作為完整人物形狀模型的軀干和頭部的組合,此時 人物模型320d僅與完整人物形狀模型的頭部對應(yīng)。
[0076] 各人物模型320a、320b、320c和320d與相對于二維視頻圖像的(x,y)識別坐標相 關(guān)。在此實例中,人物模型320a、320b和320c的識別坐標與人物模型的形心對應(yīng)。與估計 的形狀320a、320b和320c相關(guān)的(x,y)識別坐標分別是321a、321b和321c,并且落入視 頻圖像的(x,y)坐標內(nèi)。與估計的形狀320d相關(guān)的(x,y)識別坐標落入視頻圖像的(X, y)坐標外。也就是說,與320d相關(guān)的人物形狀模型的形心位于視頻圖像下方,并且因此其 識別(x,y)坐標具有負y軸值,這在此實例中位于視頻圖像的坐標外(并且圖3B未示出)。 為了容易計算,(x,y)識別坐標可以以像素為單位增大,使得識別坐標321a、321b和321c 也識別視頻圖像的像素。
[0077] 為了便于說明,圖3B僅圖示了與四個對應(yīng)的識別坐標相關(guān)的四個人物模型。然 而,基于人物的攝像機校正模型304可以存儲人物模型的大量(x,y)識別坐標,幾個人物模 型可以彼此重疊。圖3C圖示了均與對應(yīng)的人物模型320相關(guān)的單行(x,y)識別坐標321。 為了便于說明,僅圖示了單行,但是可以給多行(x,y)識別坐標提供人物模型,這些人物模 型可以規(guī)則地分布在圖像空間330中的x和y方向。按照所討論的,形狀的大小可以因位置 的不同而不同(盡管它們在圖3C中被圖示為具有相同大?。├?,基于人物的攝像機校正 模型304可以將二維圖像空間330中每個像素的人物形狀存儲為二維圖像空間330的(X, y)識別坐標以及與至少部分地在二維圖像空間330內(nèi)的人物模型相關(guān)的二維圖像空間330 外的(x,y)坐標。例如,對于視頻圖像空間330內(nèi)的所有(x,y)像素坐標,當人物模型的形 心在視頻圖像的視頻圖像空間330內(nèi)位于該(x,y)識別坐標處時,基于人物的攝像機校正 模型304可以存儲預(yù)料到人物將會占據(jù)的視頻圖像空間330內(nèi)的子空間的(x,y)識別坐標 和相關(guān)人物模型(可以包括邊界或像素集)。(x,y)識別坐標也可以包括與視頻圖像空間 330內(nèi)的子空間中的人物模型相關(guān)的視頻圖像空間330外的所有(x,y)識別坐標(也就是 說,完整人物模型的一部分可以位于視頻圖像空間330的子空間內(nèi))。對于一些情形,上述 子空間可以包括整個視頻圖像空間330 (與估計何時人物的位置完全占據(jù)視頻圖像對應(yīng))。 基于人物的攝像機校正模型304可以存儲(x,y)識別坐標和相關(guān)人物模型為查找表。在完 整人物形狀模型的形心與本實例中人物模型的(x,y)識別坐標對應(yīng)時,可以使用人物形狀 模型的其他識別點(例如,眼睛、鼻子、頭部中心、頭部頂部、腳趾、腳底等)。
[0078] 人物概率映射計算模塊305使用前景斑點檢測模塊105輸出的視頻圖像的特定幀 的前景斑點集以及人物模型(其對應(yīng)的識別坐標由基于人物的攝像機校正模型304輸出), 以針對二維視頻圖像內(nèi)的各個位置(例如各圖像像素位置)計算人物目標概率。多個計算 的概率可以與多個位置相關(guān)以構(gòu)建概率映射。多個位置可以與人物模型的(x,y)識別坐標 相同。
[0079]對于各(x,y)識別坐標,進行計算以確定視頻圖像中存在人物模型的相應(yīng)概率。 當(x,y)識別坐標與視頻圖像的像素具有一一對應(yīng)關(guān)系時,針對視頻圖像的各像素進行概 率計算。例如,對于每個圖像像素,對應(yīng)的人物概率可以計算為存在人物目標(其圖像中心 處于所考慮的像素中)的可能性??梢詣?chuàng)建概率映射,從而將每個概率計算值映射到每個 (X,y)識別坐標。查找表中可以存儲概率映射,從而使各(X,y)坐標(作為輸入)與相關(guān) 的計算概率關(guān)聯(lián)上。查找表可以與基于人物的攝像機校正模型模塊304的查找表(存儲人 物模型作為條目)相同,或者可以是單獨的第二查找表。
[0080] 如上所述,識別坐標可以落入視頻圖像空間外,并且因此可以進行計算以確定在 視頻圖像內(nèi)存在人物目標的相應(yīng)概率(關(guān)于落入與這些識別坐標相關(guān)的圖像空間(人物模 型)內(nèi)的部分對應(yīng)完整人物二維模型)。例如,如果二維完整人物模型的形心與識別坐標 對應(yīng),那么該形心可能在視頻圖像空間外,但是可能與作為完整人物模型的一部分的視頻 圖像空間內(nèi)的二維人物模型對應(yīng)。例如,完整人物模型的肩部和頭部可以構(gòu)成二維人物模 型(肩部和頭部落入圖像空間內(nèi)),即使此完整人物模型的形心(例如,完整人物模型的肚 臍附近)落入圖像空間外(與用于識別對應(yīng)的肩部/頭部二維人物模型的識別坐標對應(yīng)的 形心)。在一些實例中,某一百分比的完整人物二維模型必須落入將要(或者考慮)進行概 率計算的圖像空間內(nèi)。例如,當?shù)陀?0%或低于20%的完整人物二維模型在圖像空間內(nèi)時 (或者,當人物模型低于完整人物二維模型的10%或20%時),與識別坐標相關(guān)的概率值可 以設(shè)置為零或被忽略。在一些實例中,當不到40%的完整人物二維模型在圖像空間內(nèi)時,與 識別坐標相關(guān)的概率值可以設(shè)置為零。
[0081] 各(X,y)識別坐標的概率計算可以調(diào)用與對應(yīng)的(X,y)識別坐標和前景斑點集 相關(guān)的人物模型。例如,各(x,y)識別坐標的概率計算可以調(diào)用與對應(yīng)的(x,y)識別坐標 相關(guān)的人物模型內(nèi)的人體像素和人物邊界像素。與對應(yīng)的(x,y)識別坐標相關(guān)的人物模型 可以從(例如,存儲在模塊304的查找表中)的基于人物的攝像機校正模型模塊304輸出。 前景斑點集可以從前景斑點檢測模塊105輸出。用前景斑點集調(diào)用的估計形狀可以計算為 與前景斑點集重疊的人物模型區(qū)域與人物模型區(qū)域的比值??梢院雎圆怀^某一閾值的概 率計算值。例如,計算的概率小于〇. 4 (在0至1的量級)可以表示沒有人物目標以該位置 為中心??梢赃M行除調(diào)用計算之外的計算以確定在與各個估計的形狀對應(yīng)的視頻圖像中存 在人物對象的概率。應(yīng)當理解,計算的概率是估計值。因此,計算的概率為1(在0至1的 量級)并不表示絕對確定在相關(guān)的對應(yīng)位置存在人物。
[0082] 圖3D圖示了用于計算人物概率映射的示例性方法,該方法可以由圖3A的系統(tǒng)實 施。在步驟S340中,在304中校正的攝像機模型可以用于將二維圖像空間的圖像平面映射 到真實世界的地面上。在步驟S342中,對二維圖像空間中的N個位置可以獲得人物模型 (N是等于或大于2的整數(shù))。校正的攝像機模型304可以用于獲得對應(yīng)的凸殼形狀的人物 模型,作為二維圖像空間中每個圖像像素位置的人物模型。各人物模型可以與二維圖像空 間中的識別坐標相關(guān)。例如,當執(zhí)行映射到識別坐標時,人物模型的人物形心點可以用作參 考點。假設(shè)二維圖像空間的識別坐標是圖像空間中人物的形心,通過校正的攝像機模型可 以計算真實世界的地面上人物的對應(yīng)物理腳印位置(例如,如圖5所示)。然后將一般的 三維(例如,多個圓柱體)人物模型放置在該腳印位置。三維模型的大小可以與此前獲得