國專利第7, 825, 954號，該專利的內(nèi)容通過引用的方式全部并入本發(fā)明中。深度傳感器信 息可以任選地用于估計(jì)作為潛在的人類檢測的每個對象的真實(shí)世界的高度或大小，并且因 此，可以更加準(zhǔn)確地識別與潛在的人物目標(biāo)對應(yīng)的斑點(diǎn)（與不感興趣的斑點(diǎn)形成對比）。深 度傳感器信息可以任選地用于估計(jì)陰影、高光、作為感興趣的區(qū)域之外檢測的對象、太遠(yuǎn)的 對象（例如，可能靠得不夠近，以至于不允許進(jìn)行精確分析）或者會增加視頻圖像錯誤分析 的風(fēng)險(xiǎn)的視頻圖像的其他要素。使用深度信息的示例性細(xì)節(jié)可以詳見于授予Zhang等人的 美國專利申請序列號13/744, 254,該申請的內(nèi)容通過引用的方式全部并入本發(fā)明中。隨時 跟蹤斑點(diǎn)以在目標(biāo)跟蹤模塊107中形成時空目標(biāo)，并且最后，事件檢測模塊108使用目標(biāo)檢 測和跟蹤處理的輸出來檢測使用者定義的感興趣的事件。并非或者除了將前景像素簡單地 在空間上集合成斑點(diǎn)之外，人物檢測模塊106使用校正信息和凸形區(qū)域形狀的人物模型以 便甚至在擁擠的場景中檢測人物。在一些實(shí)例中，不需要或者需要最低限度的提前訓(xùn)練來 檢測場景中的人物對象。并且在事件檢測模塊108中，可以實(shí)施一些新的事件檢測方法，這 些方法可以使用人物檢測模塊106中的人物檢測結(jié)果。
[0064]圖2圖示了與IVS系統(tǒng)101的一些典型應(yīng)用場景（包括戶外廣場、街道、旅游景點(diǎn)、 火車站、大型購物中心、地鐵站等）對應(yīng)的視頻圖像?？梢钥闯?，根據(jù)相對于被拍攝的場景 的攝像機(jī)的位置，占據(jù)視頻圖像的人物的相對大小和形狀并不相同。
[0065]圖3A圖示了提供視頻監(jiān)控系統(tǒng)101的更多示例性細(xì)節(jié)的框圖。前景斑點(diǎn)檢測模 塊105可以與圖1的模塊相同。模塊301、302、303、304、305和306可以是圖1的人物檢測 模塊106的要素。人體像素檢測模塊301根據(jù)來自變化檢測模塊103的變化像素結(jié)果檢測 人體像素。這些像素或明顯不同于背景圖像模型（例如，亮度差和/或色差超過各自的閾 值），或位于高度確信的前景邊緣像素之間。它們最可能被認(rèn)為是圖像中合理的人體像素。 例如參見圖6A的301a，該圖圖示了檢測的人體像素的實(shí)例。可以從進(jìn)一步的人物檢測處理 排除其他變化像素，因?yàn)樗鼈冏羁赡艽黻幱盎蚍瓷?。人體邊界像素檢測模塊302檢測前 景斑點(diǎn)的邊界與當(dāng)前視頻幀的圖像邊界對齊的人體邊界像素。例如參見圖6A的302a，該圖 圖示了檢測的人物邊界像素的實(shí)例。當(dāng)進(jìn)行人物檢測時，可以實(shí)施其他分析（除了上述分 析之外或者用于代替上述分析）來幫助確定已經(jīng)檢測到人體。例如，可能要求各潛在人物 斑點(diǎn)必須包含某一數(shù)量的邊界前景邊緣像素。作為另一個實(shí)例，其他處理可以識別斑點(diǎn)為 很可能與除人物之外的對象（例如，車輛）相關(guān)，并且排除這些斑點(diǎn)進(jìn)行進(jìn)一步的人物檢測 處理?？梢詮那熬鞍唿c(diǎn)集排除不認(rèn)為是潛在人物的其他前景斑點(diǎn)?？商娲兀魏螜z測的 斑點(diǎn)可以是前景斑點(diǎn)集的一部分。
[0066] 一般人物模型模塊303提供一般的人物三維和二維模型。例如，一般人物模型模 塊303可以通過將真實(shí)世界的三維人物模型映射或投射到視頻圖像的二維圖像平面，從而 將三維人物模型轉(zhuǎn)換成二維人物模型。圖4圖示了映射到圖像平面330上對應(yīng)的二維人物 模型303b的示例性三維模型303a。三維人物模型303a可以是一組簡單的三維形狀，例如 一組圓柱體（例如，一個圓柱體代表腿，一個圓柱體代表軀干，一個圓柱體代表頭）。同一個 三維人物模型303a(例如，圓柱體模型）可以與各種攝像機(jī)位置一起使用使得攝像機(jī)相對 于地面（真實(shí)世界的地平面）的不同角度可以用于在攝像機(jī)的圖像平面中獲得不同形狀的 二維人體模型303b。例如，以三維圓柱體人物模型為例，提供特定位置的俯視圖的攝像機(jī)視 角可以在二維圖像平面中映射成圓，然而具有同一位置的傾斜視圖的攝像機(jī)視角可以將三 維圓柱體人物模型映射成具有細(xì)長形式的不同形狀。在圖17所示的實(shí)例中，攝像機(jī)1702 可以比攝像機(jī)1704具有更多俯視的三維人物模型303a，而后者可以比前者具有更多側(cè)視 的三維人物模型303a。如果攝像機(jī)1702和1704到三維人物模型303a的距離相同，那么映 射到攝像機(jī)1702的圖像平面上對應(yīng)的二維人物模型可以具有比映射到攝像機(jī)1704的圖像 平面上的二維人物模型更緊湊（例如，更矮）。二維人物模型可以具有三維人物模型投射到 二維圖像平面的外邊緣的內(nèi)插點(diǎn)而獲得的凸形形狀。
[0067]圖4圖示了一般人物模型，包括三維圓柱體模型303a以及映射到二維圖像平面 330的對應(yīng)的二維凸殼模型303b。三維人物模型303a由腿圓柱體、軀干圓柱體和頭部圓柱 體組成。各圓柱體的長度和半徑可以與代表典型的普通人的典型尺寸的物理統(tǒng)計(jì)數(shù)據(jù)對 應(yīng)。如圖4所示，這三個圓柱體具有四個關(guān)鍵平面：頭部平面、肩部平面、臀部平面和腳平 面。為了獲得在特定位置的對應(yīng)的二維人物模型，我們可以沿著四個關(guān)鍵平面的周界統(tǒng)一 取樣并且通過使用攝像機(jī)校正參數(shù)將各三維樣本點(diǎn)投射到二維圖像平面，以確定相對于二 維圖像空間內(nèi)的特定位置的合適大小和取向。這些對應(yīng)的圖像樣本點(diǎn)然后可以用于通過凸 形形成方法在圖像上形成凸殼，該凸殼可以用作二維圖像人物模型。
[0068]圖5圖示了可以使用幾個人物圖像樣本校正的一般平地?cái)z像機(jī)模型。攝像機(jī)模型 可以僅包括三個參數(shù)：攝像機(jī)相對于地面的高度、攝像機(jī)的傾轉(zhuǎn)角以及攝像機(jī)的焦距。通 過使用來自視頻幀的三個或更多個人物樣本可以估計(jì)這些參數(shù)，詳見于"ARobustHuman DetectionandTrackingSystemUsingaHuman-Model-BasedCameraCalibration"（第 八屆國際視頻監(jiān)控研討會，2008，Z.Zhang,P.L.Venetianer和A.J.Lipton)以及于2010年 9月21日公布的授予Zhang等人的美國專利第7,801，330號，上述內(nèi)容通過引用的方式全 部并入本發(fā)明中。
[0069] 在替代形式中，或者此外，一般人物模型模塊303可以具有能夠響應(yīng)于拍攝視頻 圖像的攝像機(jī)的相機(jī)角度進(jìn)行修改（例如，伸長、收縮、相對于二維圖像平面的垂直軸傾斜 等）的預(yù)定的二維模型。通過一般人物模型模塊303可以提供幾個一般人物模型。人物模 型還可以包括用于典型配件的建模。例如，當(dāng)在戶外使用系統(tǒng)時，第一個人物模型可以在溫 暖的天氣使用，第二個更大的人物模型可以在寒冷的天氣使用（此時可以預(yù)料到穿上了外 套并外套是人物模型的一部分），并且第三個人物模型可以在下雨的天氣使用（此時可以 預(yù)料到使用了雨傘并且雨傘是人物模型的一部分）。
[0070] -般人物模型模塊303還提供估計(jì)在圖像空間內(nèi)對應(yīng)位置的各種大小的二維人 物模型。圖像空間可以與視頻源102提供的視頻幀中圖像的二維空間對應(yīng)。圖像空間可以 通過像素增量來測量，使得圖像空間內(nèi)的位置通過像素坐標(biāo)來識別。攝像機(jī)可以拍攝視頻 圖像，包括三維真實(shí)世界的二維圖像。當(dāng)人物出現(xiàn)在真實(shí)世界的某一位置時，可以預(yù)料到人 物在二維視頻圖像內(nèi)的某一位置處占用一定量的前景。如果人物遠(yuǎn)離攝像機(jī)，可以預(yù)料到 人物的圖像大小會比靠近攝像機(jī)的人物的圖像大小更小。對于二維視頻圖像空間內(nèi)的各個 位置，一般人物模型模塊303可以提供具有與二維圖像空間內(nèi)的位置對應(yīng)的大小的人物模 型。對于每個位置，二維人物模型可以具有響應(yīng)于二維視頻圖像的圖像空間內(nèi)的各位置的 尺寸和/或大小。這些人物模型的取向也可以響應(yīng)于二維圖像空間內(nèi)的位置。例如，一些 攝像機(jī)鏡頭（例如，廣角鏡頭）可以代表真實(shí)世界中的垂直方向，視頻圖像幀的一側(cè)為第一 方向，視頻圖像幀的第二側(cè)為不同的第二方向。二維人物模型響應(yīng)于真實(shí)世界的垂直方向 的不同表不可以在視頻圖像幀的不同側(cè)（和其他位置）具有不同的取向。
[0071] 二維視頻圖像空間內(nèi)各個人物模型的位置可以與二維視頻圖像空間內(nèi)的識別坐 標(biāo)關(guān)聯(lián)。識別坐標(biāo)可以與具有二維視頻圖像空間的視頻的像素位置對應(yīng)。例如，與像素陣 列第10行第22列對應(yīng)的位置可以與識別坐標(biāo)（10,22)對應(yīng)。對于二維視頻圖像空間內(nèi)的 各個位置，一般人物模型模塊303可以將人物模型的特定點(diǎn)映射到相關(guān)的識別坐標(biāo)。例如， 人物模型的特定點(diǎn)可以是與人物頭部對應(yīng)的人物模型的頂部、與人物的腳對應(yīng)的人物模型 的底部、與人物的中心對應(yīng)的人物模型形狀的形心。人物模型的剩余部分可以基于人物模 型的特定點(diǎn)與人物模型的剩余部分之間的固定關(guān)系相對于人物模型的相關(guān)識別坐標(biāo)和大 小映射到二維視頻圖像空間。舉例來說，假設(shè)人物模型是一個圓。對于二維視頻圖像空間 內(nèi)的每個像素，對應(yīng)圓的中心經(jīng)過映射（例如，與二維視頻圖像空間的（x，y)坐標(biāo)相關(guān)）， 此時考慮到圓形的對應(yīng)大?。ㄒ约皥A與其中心的已知關(guān)系），圓形形狀的剩余部分映射到 二維視頻圖像空間。三維真實(shí)世界中人物的特定部分（例如，人物頭部的頂部、人物腳的底 部、人物的中心）的位置可以與它在二維視頻圖像中的位置具有唯一對應(yīng)關(guān)系，并且因此， 在二維視頻圖像內(nèi)存在人物的這個特定點(diǎn)可以用于確定人物在三維真實(shí)世界的位置。
[0072] -般人物模型模塊303也可以針對二維圖像空間內(nèi)的每個識別位置確定人物模 型的大小。也可以從視頻監(jiān)控系統(tǒng)101的校正獲得人物模型的大小。例如，在視頻監(jiān)控系統(tǒng) 101為了校正目的而拍攝視頻的同時，已知大小的校正模型可以在待檢測區(qū)域周圍運(yùn)動。校 正模型可以是檢測區(qū)域周圍走動的已知身高的人。在校正期間，系統(tǒng)可以識別視頻中的校 正模型為前景斑點(diǎn)并且（例如，通過訪問提供給視頻監(jiān)控系統(tǒng)101的有關(guān)校正模型的大小 的校正信息）辨認(rèn)出前景斑點(diǎn)與預(yù)定大小對應(yīng)（例如，預(yù)定高度）。這里，隨著校正模型在 視頻校正期間移動經(jīng)過待監(jiān)控的區(qū)域，對于視頻圖像內(nèi)的各個位置，系統(tǒng)可以將校正模型 的已知高度與二維視頻圖像中的大小關(guān)聯(lián)上。例如，當(dāng)校正模型的中心在位置（xl