的校正數(shù)據(jù)對(duì)應(yīng)。一般的三維人物模型可以投射或映射到二維圖像平面上以獲得二維圖像 空間中的人物模型。例如，投射三維多圓柱體人物模型可以用于形成對(duì)應(yīng)的二維圖像凸殼， 因?yàn)閳D像人物模型的形心在相關(guān)的識(shí)別坐標(biāo)（例如，所考慮的圖像點(diǎn)）。這樣，各有效的圖 像像素可以具有表示在該圖像位置合適的人物大小和形狀的對(duì)應(yīng)的凸形區(qū)域形狀的人物 模型（作為人物模型）。為了降低計(jì)算成本，在初始化系統(tǒng)時(shí)可以提前計(jì)算凸形區(qū)域形狀 的人物模型，人物凸形模型的矩形邊界框通過使用積分圖像可以用于獲得近似的人物調(diào)用 率。在步驟S344中，可以從視頻圖像提取前景斑點(diǎn)集。前景斑點(diǎn)集可以包括使用由模塊 301提取的人物前景像素和/或由模塊302提取的人物邊界像素所檢測(cè)到的一個(gè)或多個(gè)前 景斑點(diǎn)。在步驟S346中，對(duì)于各N個(gè)位置，計(jì)算在各個(gè)位置存在人物的概率以獲得概率映 射。假設(shè)在圖像人物凸形模型中存在足夠多的人物邊界像素，人物概率測(cè)量可以限定為人 物調(diào)用率。該實(shí)例中的人物調(diào)用率是圖像人物凸形模型中在301計(jì)算的人物前景像素的數(shù) 量與該人物凸形模型的總面積的比值?？梢园凑张c圖示順序不同的順序執(zhí)行圖3D的處理 的步驟順序。例如，可以在步驟340和342之一或兩者之前執(zhí)行步驟344。
[0083] 參見圖3A，基于在305計(jì)算的人物概率映射，人物目標(biāo)估計(jì)模塊306可以找到視頻 圖像中最佳數(shù)量的人物模型（例如，人物對(duì)象）及其位置。全局優(yōu)化方法可以用于找到最 佳數(shù)量的人物模型及其位置。如果mOiii，...，!％)代表圖像空間內(nèi)所有潛在人物模型中的M 組人物模型，那么目的是找到最佳組n*，使得臨界函數(shù)f(n*)達(dá)到全局最大值。也就是說， 目的是找到：
【主權(quán)項(xiàng)】
1. 一種檢測(cè)視頻中的人物對(duì)象的方法，包括： 確定作為前景像素的視頻圖像的像素，所述前景像素的組構(gòu)成一個(gè)或多個(gè)前景斑點(diǎn)的 前景斑點(diǎn)集； 對(duì)于所述視頻圖像中N個(gè)位置的每個(gè)位置，其中N是整數(shù)，將預(yù)定形狀與所述前景斑 點(diǎn)集進(jìn)行比較以獲得人物在所述位置的對(duì)應(yīng)概率，從而獲得與所述N個(gè)位置對(duì)應(yīng)的N個(gè)概 率； 使用所述N個(gè)概率，確定由所述前景斑點(diǎn)集代表的X個(gè)人物，其中X是整數(shù)。
2. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括使用概率映射以確定所述X個(gè)人物的每個(gè) 人物的位置。
3. 根據(jù)權(quán)利要求2所述的方法，其中，所述X個(gè)人物的每個(gè)人物的確定的所述位置是與 所述視頻圖像對(duì)應(yīng)的圖像平面中的位置。
4. 根據(jù)權(quán)利要求2所述的方法，其中，所述X個(gè)人物的每個(gè)人物的確定的所述位置是相 對(duì)于與真實(shí)世界對(duì)應(yīng)的物理地平面的位置。
5. 根據(jù)權(quán)利要求1所述的方法，其中，確定所述視頻圖像的前景像素包括將沒有前景 對(duì)象的所述視頻圖像的第一幀與包括所述前景對(duì)象的所述視頻圖像的第二幀進(jìn)行比較。
6. 根據(jù)權(quán)利要求1所述的方法，其中，所述N個(gè)位置的每個(gè)位置的所述預(yù)定形狀相同。
7. 根據(jù)權(quán)利要求1所述的方法，其中，所述N個(gè)位置的至少一些位置的所述預(yù)定形狀具 有不同大小。
8. 根據(jù)權(quán)利要求7所述的方法， 其中，響應(yīng)于視頻系統(tǒng)的校正來確定所述N個(gè)位置的每個(gè)位置的所述預(yù)定形狀的大 小，并且 其中，所述視頻系統(tǒng)用于獲得所述視頻圖像。
9. 根據(jù)權(quán)利要求8所述的方法， 其中，所述視頻系統(tǒng)的校正包括確定所述視頻圖像的與所述N個(gè)位置的每個(gè)位置的平 均人物大小對(duì)應(yīng)的一部分的圖像大小，并且 其中，響應(yīng)于對(duì)應(yīng)的所述圖像大小來確定所述N個(gè)位置的每個(gè)位置的所述預(yù)定形狀的 大小。
10. 根據(jù)權(quán)利要求1所述的方法，其中，對(duì)于所述N個(gè)位置的每個(gè)位置，對(duì)應(yīng)的所述預(yù)定 形狀包括如果在對(duì)應(yīng)位置存在人物時(shí)在所述視頻圖像中要被占據(jù)的前景圖像部分的估計(jì)。
11. 根據(jù)權(quán)利要求10所述的方法，其中，所述N個(gè)位置的每個(gè)位置的所述前景圖像部分 的估計(jì)是根據(jù)將真實(shí)世界中的人物模型投影到所述視頻圖像的圖像平面上來進(jìn)行計(jì)算的。
12. 根據(jù)權(quán)利要求1所述的方法， 其中，所述視頻圖像包括多個(gè)圖像幀，每個(gè)圖像幀包括具有所述N個(gè)位置的二維圖像， 所述N個(gè)位置的每個(gè)位置通過所述二維圖像中的對(duì)應(yīng)x，y坐標(biāo)對(duì)進(jìn)行識(shí)別。
13. 根據(jù)權(quán)利要求12所述的方法， 其中，所述N個(gè)位置的每個(gè)位置與相對(duì)于與所述視頻圖像對(duì)應(yīng)的圖像平面的對(duì)應(yīng)預(yù)定 形狀相關(guān)。
14. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括，對(duì)于所述N個(gè)位置的每個(gè)位置，計(jì)算對(duì)應(yīng) 的所述預(yù)定形狀和所述前景斑點(diǎn)的調(diào)用率以確定相關(guān)的概率。
15. 根據(jù)權(quán)利要求14所述的方法，其中，對(duì)于所述N個(gè)位置的每個(gè)位置，計(jì)算所述調(diào)用 率包括確定（a)包括所述預(yù)定形狀和所述前景斑點(diǎn)占據(jù)的重疊面積的面積與（b)所述前景 斑點(diǎn)的面積的比值。
16. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括： 使用所述N個(gè)概率創(chuàng)建概率映射； 確定所述概率映射的概率的局部最大值。
17. 根據(jù)權(quán)利要求16所述的方法，進(jìn)一步包括： 選擇所述N個(gè)位置中的與所述概率映射的局部最大值對(duì)應(yīng)的第一位置； 獲得與所述第一位置對(duì)應(yīng)的第一預(yù)定形狀； 計(jì)算（a)包括所述第一預(yù)定形狀和所述前景斑點(diǎn)占據(jù)的重疊面積的面積與（b)所述前 景斑點(diǎn)的面積的第一比值；以及 計(jì)算（a)包括所述第一預(yù)定形狀和所述前景斑點(diǎn)占據(jù)的重疊面積的面積與（b)所述第 一預(yù)定形狀占據(jù)的與所述前景斑點(diǎn)不重疊的剩余面積的第二比值。
18. 根據(jù)權(quán)利要求17所述的方法，進(jìn)一步包括： 選擇所述N個(gè)位置中的與所述概率映射的局部最大值對(duì)應(yīng)的第二位置； 獲得與所述第二位置對(duì)應(yīng)的第二預(yù)定形狀； 計(jì)算（a)包括所述第二預(yù)定形狀和所述前景斑點(diǎn)占據(jù)的重疊面積的面積與（b)所述前 景斑點(diǎn)的面積的第三比值；以及 計(jì)算（a)包括所述第二預(yù)定形狀和所述前景斑點(diǎn)占據(jù)的重疊面積的面積與（b)所述第 二預(yù)定形狀占據(jù)的與所述前景斑點(diǎn)不重疊的剩余面積的第四比值。
19. 根據(jù)權(quán)利要求18所述的方法，其中，所述第一比值、所述第二比值、所述第三比值 和所述第四比值用于確定由所述前景斑點(diǎn)代表的X個(gè)人物。
20. 根據(jù)權(quán)利要求18所述的方法，進(jìn)一步包括： 計(jì)算（a)所述第二預(yù)定形狀占據(jù)的面積和所述第一預(yù)定形狀占據(jù)的面積的重疊面積 與（b)所述第二預(yù)定形狀的面積的第五比值。
21. 根據(jù)權(quán)利要求16所述的方法，進(jìn)一步包括計(jì)算所述N個(gè)位置中的m個(gè)位置中的每 個(gè)位置的精度值和調(diào)用值，m是整數(shù)，所述m個(gè)位置中的每個(gè)位置與所述概率映射的局部最 大值對(duì)應(yīng)。
22. 根據(jù)權(quán)利要求21所述的方法，其中，所述m個(gè)位置中的每個(gè)位置被依序選擇為第1 至第m，第m-1個(gè)位置的選擇排除了對(duì)于落入所述第m-1個(gè)位置的第一預(yù)定距離內(nèi)的第m個(gè) 位置的選擇。
23. 根據(jù)權(quán)利要求22所述的方法，其中，所述m個(gè)位置中的每個(gè)位置被依序選擇為第 1至第m，其中對(duì)所述m個(gè)位置中的下一個(gè)位置的選擇包括選擇最靠近所述視頻圖像的底部 邊緣的位置，因?yàn)檫@些位置與尚未排除的局部最大值對(duì)應(yīng)。
24. -種檢測(cè)視頻中的人物對(duì)象的方法，包括： 將真實(shí)世界場(chǎng)景的視頻圖像的像素確定為前景像素，所述前景像素的組構(gòu)成一個(gè)或多 個(gè)前景斑點(diǎn)的前景斑點(diǎn)集； 對(duì)于所述視頻圖像中N個(gè)位置的每個(gè)位置，其中N是整數(shù)，將預(yù)定形狀與所述前景斑點(diǎn) 集進(jìn)行比較以確定由所述前景斑點(diǎn)集代表的X個(gè)人物，其中X是整數(shù)，并且所述X個(gè)人物的 每個(gè)人物的位置被確定為所述真實(shí)世界的水平面上的位置。
25. 根據(jù)權(quán)利要求24所述的方法，進(jìn)一步包括通過回顧所述X個(gè)人物的位置中的至少 一些位置來檢測(cè)人群的存在。
26. 根據(jù)權(quán)利要求24所述的方法，進(jìn)一步包括當(dāng)確定所述X個(gè)人物中的Y個(gè)人物位于 所述真實(shí)世界的水平面的第一區(qū)域內(nèi)時(shí)確定人群的存在。
27. 根據(jù)權(quán)利要求26所述的方法，其中，所述第一區(qū)域包括在所述真實(shí)世界內(nèi)具有預(yù) 定面積大小的預(yù)定幾何形狀。
28. 根據(jù)權(quán)利要求26所述的方法，其中，所述第一區(qū)域包括由圓限定的區(qū)域。
29. 根據(jù)權(quán)利要求26所述的方法，進(jìn)一步包括確定所述第一區(qū)域內(nèi)的人群密度。
30. 根據(jù)權(quán)利要求29所述的方法，進(jìn)一步包括將所述人群密度與閾值進(jìn)行比較并且當(dāng) 所述人群密度超過所述閾值時(shí)發(fā)送報(bào)告和警報(bào)中的至少一個(gè)。
31. 根據(jù)權(quán)利要求24所述的方法，進(jìn)一步包括： 確定與所述視頻圖像的第一幀對(duì)應(yīng)的第一區(qū)域內(nèi)的第一人群密度； 確定與所述視頻圖像的第二幀對(duì)應(yīng)的所述第一區(qū)域內(nèi)的第二人群密度； 響應(yīng)于所述第一人群密度和所述第二人群密度確定人群聚集事件。
32. 根據(jù)權(quán)利要求24所述的方法，進(jìn)一步包括： 確定與所述視頻圖像的第一幀對(duì)應(yīng)的第一區(qū)域內(nèi)的第一人群密度； 確定與所述視頻圖像的第二幀對(duì)應(yīng)的所述第一區(qū)域內(nèi)的第二人群密度； 響應(yīng)于所述第一人群密度和所述第二人群密度確定人群分散事件。
【專利摘要】公開了用于進(jìn)行視頻內(nèi)容分析以檢測(cè)視頻圖像中感興趣的人物或其他對(duì)象的方法、設(shè)備和系統(tǒng)。檢測(cè)人物可以用于對(duì)人數(shù)進(jìn)行計(jì)數(shù)、確定每個(gè)人的位置并且/或者對(duì)監(jiān)測(cè)區(qū)域進(jìn)行人群分析。
【IPC分類】G06K9-00
【公開號(hào)】CN104813339
【申請(qǐng)?zhí)枴緾N201380047668
【發(fā)明人】張忠, 尹衛(wèi)紅, 彼得·為奈蒂阿奈爾
【申請(qǐng)人】威智倫富智堡公司
【公開日】2015年7月29日
【申請(qǐng)日】2013年9月12日
【公告號(hào)】CA2884383A1, EP2895986A2, US20140072170, US20150178571, WO2014043353A2, WO2014043353A3