專利名稱：視頻監(jiān)視的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)視。
背景技術(shù)：
視頻監(jiān)視系統(tǒng)通常使用固定空間位置處的視頻相機(jī)來生成表示監(jiān)視下的場(chǎng)景的視頻信號(hào)。這種類型的系統(tǒng)尤其是在多個(gè)相機(jī)被使用時(shí)會(huì)生成大量視頻數(shù)據(jù)。之前，兩種主要的解決方案已被用來處理該數(shù)據(jù)量。一種解決方案是存儲(chǔ)所有東西，即是說，來自每個(gè)相機(jī)的視頻信號(hào)通常被存儲(chǔ)在保存(例如)在前七天的素材的滾動(dòng)存儲(chǔ)布置中。這意味著如果在存儲(chǔ)介質(zhì)被更近期的視頻素材覆寫之前發(fā)現(xiàn)事件，則可從所存儲(chǔ)素材中獲得與該事件有關(guān)的視頻素材。另一種解決方案是讓操作人員實(shí)時(shí)地觀看一個(gè)或多個(gè)視頻顯示，以察看事件或其它感興趣點(diǎn)。

發(fā)明內(nèi)容
本發(fā)明提供了一種視頻監(jiān)視系統(tǒng)，包括兩個(gè)或更多個(gè)視頻相機(jī)，每個(gè)視頻相機(jī)提供視頻信號(hào)，各個(gè)相機(jī)被定位于各自的已知位置處；運(yùn)動(dòng)檢測(cè)器，該運(yùn)動(dòng)檢測(cè)器檢測(cè)在視頻相機(jī)中的一個(gè)相機(jī)的視野內(nèi)的圖像特征的、用于得出由該圖像特征表示的對(duì)象的對(duì)應(yīng)物理運(yùn)動(dòng)的圖像運(yùn)動(dòng)；以及運(yùn)動(dòng)預(yù)測(cè)器，該運(yùn)動(dòng)預(yù)測(cè)器預(yù)測(cè)該對(duì)象相對(duì)于相機(jī)的已知位置的物理運(yùn)動(dòng)，以得出能在視頻相機(jī)中的另一相機(jī)的視野中觀看到該對(duì)象的預(yù)期時(shí)間；其中，運(yùn)動(dòng)預(yù)測(cè)器對(duì)路線安排數(shù)據(jù)(routing data)作出響應(yīng)，路線安排數(shù)據(jù)定義了從對(duì)象被觀看到的位置到另一相機(jī)的視野的可能路線。本發(fā)明認(rèn)識(shí)到，如果感興趣對(duì)象的圖像被監(jiān)視相機(jī)捕獲到，則對(duì)于能夠估計(jì)出同一對(duì)象(例如，罪犯或跑開的孩子)何時(shí)何處可在另一相機(jī)上被看到來說是極其有用的。該信息可被用來構(gòu)建感興趣對(duì)象的整體運(yùn)動(dòng)的知識(shí)。本發(fā)明巧妙地從兩個(gè)相機(jī)的已知位置以及對(duì)對(duì)象速度的估計(jì)得出預(yù)期可在另一相機(jī)的視野中看到該對(duì)象的預(yù)測(cè)時(shí)間。本發(fā)明的另外的各個(gè)方面和特征在所附權(quán)利要求中限定。


現(xiàn)在將察看附圖僅通過示例的方式來描述本發(fā)明的實(shí)施例，在附圖中圖1是視頻監(jiān)視系統(tǒng)的示意圖；圖2是視頻處理器的示意圖；圖3A-3J示意性地圖示出十個(gè)圖像(分別為圖像A-J)的序列；
圖4是示意性地圖示出視頻處理方法的流程圖；圖5示意性地圖示出對(duì)象比較步驟；圖6示意性地圖示出對(duì)檢測(cè)到的對(duì)象的標(biāo)識(shí)；圖7示意性地圖示出對(duì)象路徑的輸出；圖8是示意性地圖示出視頻處理方法的另一示例的流程圖；圖9A-9L示意性地圖示出十二個(gè)圖像(分別為圖像A_L)的序列以論述圖4和圖 8所示的視頻處理方法的操作；圖10示意性地圖示出對(duì)象中心；圖11示意性地圖示出對(duì)象跟蹤處理的結(jié)果；圖12是視頻處理器的另一實(shí)施例的示意圖；圖13示意性地圖示出一監(jiān)視情形；圖14示意性地圖示出由圖13所示的相機(jī)捕獲的圖像；圖15示意性地圖示出一對(duì)相機(jī)；圖16A和圖16B示意性地圖示出由圖15的一對(duì)相機(jī)捕獲的同一場(chǎng)景的圖像；圖17示意性地圖示出具有位置檢測(cè)器的相機(jī)；圖18示意性地圖示出具有范圍(range)檢測(cè)器的相機(jī)；圖19示意性地圖示出立體相機(jī)；圖20示意性地圖示出相機(jī)和圖像分析器；圖21至圖M是路線安排數(shù)據(jù)的示意圖示；以及圖25是圖示出視頻監(jiān)視方法的示意流程圖。
具體實(shí)施例方式現(xiàn)在參考圖1，視頻監(jiān)視系統(tǒng)包括兩個(gè)視頻相機(jī)10(盡管一般地，可以使用各自提供視頻信號(hào)并且各自位于分別的已知位置的兩個(gè)或更多個(gè)視頻相機(jī))、20 ；視頻處理器30 ； 圖像緩沖器40 ；顯示裝置50和用戶控制裝置60。視頻相機(jī)10、20向視頻處理器30提供視頻信號(hào)。視頻信號(hào)包括一般為固定圖像速率的連續(xù)圖像。與錄播相機(jī)相比，監(jiān)視相機(jī)不必以足以提供平滑的運(yùn)動(dòng)描繪的圖像速率來操作；實(shí)際上，在一些系統(tǒng)中，監(jiān)視相機(jī)可能每秒僅輸出圖像(例如)一次，或者每0. 25 秒輸出圖像一次。替代地，相機(jī)可以以常規(guī)圖像速率(例如，每秒25個(gè)圖像)操作，在該情況中，視頻處理器可以利用所有的所捕獲圖像或者可以丟棄它們中的一些(例如，從每個(gè)相機(jī)接收的每十個(gè)圖像中的九個(gè)圖像)以便降低要經(jīng)過存儲(chǔ)和處理的圖像的圖像速率。相機(jī)可以是黑白或彩色相機(jī)。它們可以具有固定焦距和空間朝向，或者它們可遠(yuǎn)程地操作以改變它們的搖攝位置(它們的視野的左右變化)、它們的傾斜位置(它們的視野的上下變化)和它們的“變焦”或焦距中的一者或多者。具有遠(yuǎn)程可變搖攝、傾斜和變焦的相機(jī)在本領(lǐng)域中是已知的。在本發(fā)明的實(shí)施例中，具有固定搖攝、傾斜和變焦設(shè)置的(一個(gè)或多個(gè))相機(jī)位于固定位置處。圖1所示的系統(tǒng)實(shí)際上將根據(jù)下面描述的技術(shù)僅利用一個(gè)相機(jī)來操作。然而，這些技術(shù)可應(yīng)用于多個(gè)相機(jī)系統(tǒng)。來自相機(jī)10、20的圖像被傳遞給視頻處理器30和/或直接傳遞給圖像緩沖器40。每個(gè)相機(jī)位于各自的已知位置處(通過手動(dòng)校準(zhǔn)、通過與相機(jī)相關(guān)聯(lián)的GPS定位等而得知)?；驹頌閳D像實(shí)時(shí)地被接收(基本上在每個(gè)圖像被捕獲時(shí)被接收)并被存儲(chǔ)在圖像緩沖器中供以后取回和處理。因此，圖像可被引導(dǎo)至視頻處理器并且圖像處理器隨后將它們存儲(chǔ)在圖像緩沖器中，或者它們可被引導(dǎo)至圖像緩沖器并由圖像處理器從那里取回。下面將詳細(xì)描述視頻處理器30的操作。視頻處理器可被實(shí)現(xiàn)為在軟件控制下操作的通用數(shù)據(jù)處理器(其中適當(dāng)?shù)牟僮鬈浖芍T如光盤之類的存儲(chǔ)介質(zhì)提供，或者由視頻處理器內(nèi)的存儲(chǔ)器提供，或者由諸如因特網(wǎng)連接之類的網(wǎng)絡(luò)連接提供，或者由這些的組合提供)，或者被實(shí)現(xiàn)為硬件，或者被實(shí)現(xiàn)為可編程硬件，例如一個(gè)或多個(gè)專用集成電路或者一個(gè)或多個(gè)現(xiàn)場(chǎng)可編程門陣列，或者由這些項(xiàng)的組合或其中的兩個(gè)或更多個(gè)來實(shí)現(xiàn)。將理解，使視頻處理器操作的軟件或固件被考慮作為本發(fā)明的一個(gè)實(shí)施例。類似地，存儲(chǔ)這樣的軟件的存儲(chǔ)介質(zhì)(例如非瞬變存儲(chǔ)介質(zhì))被考慮為本發(fā)明的一個(gè)實(shí)施例。下面要討論的實(shí)施例的其它方面可以類似地用硬件、軟件或這些的組合來實(shí)現(xiàn)，并且以上闡述的類似考慮適用于這些實(shí)施例中涉及的軟件或固件。視頻處理器對(duì)用戶控制裝置60進(jìn)行響應(yīng)，下面將描述用戶控制裝置60的操作。用戶控制裝置60可以采取鍵盤、鼠標(biāo)控制裝置、一組定制按鈕等的形式。圖像緩沖器(存儲(chǔ)器)40可以提供對(duì)所捕獲圖像的長(zhǎng)期存儲(chǔ)(在視頻監(jiān)視系統(tǒng)領(lǐng)域中存儲(chǔ)一周或兩周或者甚至更長(zhǎng)時(shí)間是常見的)或者可以僅提供在滾動(dòng)緩沖器布置中的充分存儲(chǔ)以存儲(chǔ)在時(shí)間上早至參考圖像(參見下面)的圖像。圖像緩沖器可以存儲(chǔ)得自于圖像的數(shù)據(jù)，例如運(yùn)動(dòng)數(shù)據(jù)。圖像緩沖器存儲(chǔ)與在至少一參考時(shí)段中捕獲的圖像有關(guān)的其數(shù)據(jù)，該時(shí)段包括參考圖像(參見下面)的捕獲時(shí)間。視頻處理器的輸出被顯示在諸如平板視頻顯示器之類的顯示屏幕50上。圖2是視頻處理器、用戶控制裝置60和圖像緩沖器40的更詳細(xì)示意圖。視頻處理器包括比較器100、與對(duì)象跟蹤器120協(xié)同操作的檢測(cè)器110和顯示控制器130。首先參考圖3A-3J和圖4描述這些單元的操作方式。圖3A-3J示意性地圖示出以向前的(forward)時(shí)間順序被標(biāo)為圖像A至圖像J的十個(gè)圖像的序列。這些圖像可以是由一個(gè)相機(jī)以每0. 5秒一個(gè)圖像的示例圖像速率捕獲的十個(gè)連續(xù)圖像。實(shí)際上，下面將描述的處理可在大得多的一組圖像中執(zhí)行，但是在圖3中僅十個(gè)圖像作為示意示例被示出以允許更清楚地圖示和說明。十個(gè)圖像示出了房子180的示例場(chǎng)景，其中人190將對(duì)象200遞送到該房子。在圖像A至D中，可見到人和對(duì)象，并且在各個(gè)圖像中正在移動(dòng)。在圖像E中，對(duì)象位于其最終的靜止位置(就被關(guān)注的該圖像序列而言)并且人正離開相機(jī)的視野。在圖像F至J中， 人不再可見但是對(duì)象位于靜態(tài)位置處。將參考圖4的流程圖描述對(duì)象200被檢測(cè)并被跟蹤的方式。在步驟300，對(duì)象200被識(shí)別為當(dāng)前圖像(例如最新近捕獲的圖像，如圖3的圖像 J)與參考圖像之間的差別。參考圖像被定義為該相機(jī)在當(dāng)前圖像之前特定時(shí)段(或者特定數(shù)目的圖像)時(shí)捕獲的圖像。之前的該時(shí)段或該數(shù)目的圖像可由用戶通過操作用戶控制裝置60來設(shè)置或者可在該系統(tǒng)內(nèi)被預(yù)先確定。例如，參考圖像可被定義為在當(dāng)前圖像之前五分鐘時(shí)捕獲的圖像或者可以是在當(dāng)前圖像之前100個(gè)圖像時(shí)捕獲的圖像。以這種方式，作為參考圖像的圖像的定義是一種滾動(dòng)定義；當(dāng)每個(gè)新圖像被捕獲時(shí)，作為參考圖像的圖像的選擇也改變，這是因?yàn)閰⒖紙D像是根據(jù)離新捕獲圖像的位移來定義的。在其它實(shí)施例中，參考圖像可以是存儲(chǔ)在圖像緩沖器的單獨(dú)區(qū)域中的固定圖像， 或者參考圖像可以以稍微更復(fù)雜的方式來定義，以使得參考圖像的身份(dentity)的改變與每一圖像時(shí)段改變一次相比更加不頻繁。例如，某個(gè)圖像可被定義為參考圖像直到該參考圖像變?yōu)榱昼娨陨夏敲蠢吓f，此時(shí)新參考圖像被選為在當(dāng)前圖像之前五分鐘時(shí)捕獲的圖像。以這種方式，參考圖像總是在五分鐘和六分鐘之間那么老舊，并且在約一分鐘時(shí)段期間保持為同一參考圖像。在圖3的當(dāng)前示例的討論中，圖像J是當(dāng)前圖像，并且圖像A可以是參考圖像，或者替代地，在人190到達(dá)之前的圖像(未示出)可以是參考圖像。在任一情況中，在步驟 300 (圖4)，視頻處理器的比較器100將對(duì)象200識(shí)別為當(dāng)前圖像J與參考圖像之間的差別。 換言之，通過兩個(gè)圖像(圖像J與參考圖像)之間的簡(jiǎn)單逐像素比較，對(duì)象200被發(fā)現(xiàn)不存在于參考圖像中的圖像位置處。在步驟310，檢測(cè)器110檢測(cè)上面識(shí)別出的差別是否一直存在于(即，作為差別) 至少閾值數(shù)目(η)個(gè)圖像中。閾值數(shù)目η可由用戶利用用戶控制裝置60來設(shè)置，或者可在該系統(tǒng)內(nèi)預(yù)先被確定。例如，數(shù)目η可以是25個(gè)圖像(以每0.5秒一個(gè)圖像的示例圖像速率)。步驟310中的閾值數(shù)目的目的是避免檢測(cè)每個(gè)短暫的、短期改變。圖像數(shù)目η是指緊鄰當(dāng)前圖像之前的η個(gè)圖像。然而，在其它實(shí)施例中，本系統(tǒng)可以涉及不同的一組η個(gè)圖像，例如在當(dāng)前圖像與參考圖像之間的任何η個(gè)連續(xù)圖像或者甚至在當(dāng)前圖像與參考圖像之間的任何η個(gè)圖像。如果差別(即，在此情況中，對(duì)象200在該圖像位置的存在)存在于至少η個(gè)圖像中，則處理傳遞到步驟320。如果差別未存在于至少η個(gè)圖像中，則處理停止(就被關(guān)注的當(dāng)前圖像而言)并且下一被接收的當(dāng)前圖像被測(cè)驗(yàn)。在步驟320，檢測(cè)器110在參考圖像與當(dāng)前圖像之間按向前的時(shí)間順序檢測(cè)在其中發(fā)現(xiàn)了步驟300中識(shí)別出的差別的第一圖像。這可以涉及從當(dāng)前圖像起按逆時(shí)間順序逐個(gè)圖像的向后搜索(可能地，省略已在步驟310中被發(fā)現(xiàn)包含該差別的η個(gè)圖像)?；蛘呦到y(tǒng)可以測(cè)驗(yàn)間隔時(shí)間位置處的圖像以建立并縮窄差別第一次出現(xiàn)的圖像的范圍，或者系統(tǒng)可以按向前的時(shí)間順序從參考圖像起向前搜索。假定對(duì)于下一個(gè)當(dāng)前圖像以及其后的下一個(gè)圖像等，可能執(zhí)行相同的處理，則系統(tǒng)可以存儲(chǔ)定義了圖像緩沖器40所存儲(chǔ)的圖像中的對(duì)象200的位置和/或存在的元數(shù)據(jù) (例如，存儲(chǔ)在圖像緩沖器40中)。元數(shù)據(jù)可以針對(duì)每個(gè)當(dāng)前圖像容易地被擴(kuò)充，因?yàn)樵诓襟E300中差別(在此示例中，是對(duì)象200的存在)被檢測(cè)到。以這種方式，無需執(zhí)行用于執(zhí)行步驟320的圖像處理操作；其可以通過參考已存儲(chǔ)的元數(shù)據(jù)來執(zhí)行。一旦圖像緩沖器中具有所識(shí)別差別的第一圖像被檢測(cè)到，則系統(tǒng)通過步驟330和 340開始跟蹤對(duì)象200的到達(dá)。在步驟330，對(duì)象跟蹤器120檢測(cè)到對(duì)象200存在于接近最終位置(即，接近當(dāng)前圖像中同一對(duì)象的位置)的圖像位置處。這里，術(shù)語(yǔ)“接近”可以指每個(gè)在前圖像在任意方向上在離下一隨后圖像中的該對(duì)象位置預(yù)定(或者甚至用戶可調(diào)節(jié))數(shù)目的像素范圍內(nèi)被搜索。像素的數(shù)目例如在64x 480像素圖像的情況中可以為30個(gè)像素。因此，一旦包含有在其最終位置處的對(duì)象的第一圖像(在圖3的示例中，為圖像E) 被圖像跟蹤器識(shí)別出(在圖3的示例中，為圖像E)，則處理在步驟330中開始以識(shí)別圖像D 中在略微不同位置中的同一對(duì)象。圖像D中被搜索的圖像區(qū)域(利用傳統(tǒng)的圖像匹配和對(duì)象檢測(cè)技術(shù))基于圖像E中的對(duì)象位置在任何方向上加上與上述像素?cái)?shù)目相等的裕量331。 (注意，因?yàn)閷?duì)象200在圖像E中接近圖像邊緣，所以原則上裕量將延伸到該圖像之外。該圖像之外的任何裕量區(qū)域簡(jiǎn)單地被忽略)。對(duì)象200已被定位在圖像D中略微不同的位置處。因此，在步驟340，對(duì)象已經(jīng)被定位，因此控制傳遞回步驟330以重復(fù)關(guān)于圖像D中的對(duì)象位置加上裕量的搜索。該循環(huán)被重復(fù)直到對(duì)象不再被找到為止，每次的搜索區(qū)域基于最后識(shí)別出的位置加上裕量。(在圖3的示例中，對(duì)象可被跟蹤回到圖像A)。然而，在諸如遮擋或移除對(duì)象之類的其它示例中，將出現(xiàn)對(duì)象不能再被找到的時(shí)間，在該情況中，控制將從步驟340傳遞到步驟350。為了考慮到對(duì)象在參考圖像后面的不同位置中被找到的可能性，如果搜索就參考圖像而言向后進(jìn)行或者(為了避免生成太多數(shù)據(jù)并且因此給出不清楚結(jié)果)如果搜索向后進(jìn)行了在其最終位置處第一次出現(xiàn)之前的預(yù)定(或者用戶可調(diào)節(jié))數(shù)目個(gè)圖像，則步驟 340可被考慮為將控制傳遞到步驟350。在步驟350，指示對(duì)象200的到達(dá)的路徑被生成。這是通過在對(duì)象200在最終位置處的第一圖像之前的每個(gè)圖像中被檢測(cè)到時(shí)(即，在步驟320中被找到時(shí))檢測(cè)對(duì)象200 的中點(diǎn)來執(zhí)行的。對(duì)象的中點(diǎn)的生成可以使用本領(lǐng)域中已知的技術(shù)，例如通過檢測(cè)被認(rèn)為形成了被跟蹤對(duì)象部分的那些像素的平均像素位置(或“重心”)。示例中點(diǎn)在圖10中圖示出并且將在下面描述。在步驟360，第一圖像(在步驟320中找到的)之前的那些圖像中的對(duì)象中點(diǎn)的路徑被準(zhǔn)備用于由顯示控制器130顯示并被顯示在顯示裝置50上，例如顯示為彩色線在當(dāng)前圖像上的重疊。用戶可以操作用戶控制裝置60來開關(guān)該重疊的顯示和/或(當(dāng)若干個(gè)對(duì)象以這種方式被跟蹤時(shí))選擇應(yīng)當(dāng)顯示其重疊的感興趣對(duì)象。因此，比較器100作用來將當(dāng)前圖像與在參考時(shí)段內(nèi)捕獲的視頻信號(hào)的參考圖像相比較，以檢測(cè)表示相對(duì)于參考圖像中對(duì)應(yīng)位置的圖像改變的圖像特征(例如其可能涉及新增對(duì)象或被移除對(duì)象)。檢測(cè)器110作用來檢測(cè)在當(dāng)前圖像中檢測(cè)到的圖像特征是否在至少包含當(dāng)前圖像之前(緊鄰或者其它方式)閾值數(shù)目個(gè)圖像的一組圖像中都基本上保持位于相同圖像位置處(例如，在相同圖像位置處或者在位置的小閾值變化內(nèi))。顯示裝置 50在顯示控制器130的控制下作用來顯示具有對(duì)關(guān)于該圖像位置的圖像特征的存在持續(xù)時(shí)段的指示以及任何這樣的圖像特征的指示的當(dāng)前圖像。因此，當(dāng)前圖像中的圖像特征可以是當(dāng)前圖像中的新增對(duì)象(相對(duì)于參考圖像) 和/或當(dāng)前圖像中相對(duì)于參考圖像的對(duì)象的缺失。用戶可調(diào)節(jié)(利用用戶控制裝置60)圖像特征必須存在于其上的連續(xù)圖像的數(shù)目和/或參考圖像相對(duì)于當(dāng)前圖像的時(shí)間位置。圖5示意性地圖示出與步驟300相對(duì)應(yīng)的對(duì)象比較步驟。這里，參考圖像(未在圖3中示出)被與當(dāng)前圖像(圖3的圖像J)相比較以識(shí)別出對(duì)象200在圖像J中的存在是這兩個(gè)圖像之間的差別。在任何方向上小于閾值數(shù)目像素(例如，在640x480像素圖像中小于10個(gè)像素) 的圖像特征所對(duì)應(yīng)的圖像差別可被設(shè)置為被系統(tǒng)忽略，因?yàn)樗鼈兛赡苁怯捎诒徽J(rèn)為不重要的物理特征(如抖動(dòng))或噪聲引起的。圖6示意性地圖示出作為顯示裝置50上的標(biāo)識(shí)重疊400的、由顯示控制器對(duì)被檢測(cè)對(duì)象的標(biāo)識(shí)。在此示例中，顯示控制器可以通過在步驟300中所檢測(cè)到的對(duì)象的周圍繪制彩色邊來標(biāo)識(shí)它。這與對(duì)象的路徑的顯示不同，并且實(shí)際上如果若干對(duì)象以此方式被突出顯示為差別，則用戶可使用用戶控制裝置來選擇它們中的一個(gè)或多個(gè)。響應(yīng)于這樣的選擇，如果對(duì)象路徑已經(jīng)被識(shí)別出，則對(duì)象路徑可被顯示。替代地，對(duì)感興趣對(duì)象的選擇可使得系統(tǒng)執(zhí)行步驟320至360，從而使得系統(tǒng)避免跟蹤除被用戶標(biāo)識(shí)為感興趣的對(duì)象以外的對(duì)象。圖7示意性地圖示出如上所述的對(duì)象路徑的顯示。這里，可由顯示控制器重疊一線條(可選地，帶有指示對(duì)象在向前的時(shí)間方向上的運(yùn)動(dòng)方向的箭頭)來指示所檢測(cè)到的對(duì)象朝著其當(dāng)前位置的運(yùn)動(dòng)。到此為止的討論涉及存在于當(dāng)前圖像中但未存在于參考圖像中的對(duì)象的檢測(cè)。這涉及檢測(cè)可疑對(duì)象，例如被放置于一區(qū)域中的垃圾或者甚至可疑爆炸物。幾乎相同的技術(shù)可被應(yīng)用于存在于參考圖像中但不再存在于當(dāng)前圖像中的對(duì)象。這種布置涉及檢測(cè)盜竊等。圖8是示意性地圖示出與圖4所示的方法類似的、但被應(yīng)用于檢測(cè)從場(chǎng)景中移除對(duì)象的視頻處理方法的流程圖。圖8的許多步驟實(shí)際上與圖4中的相同。具體地，步驟310、340、350和360分別與圖4所示的這些步驟相同并且將不再詳細(xì)描述。即使其余步驟不同，也具有與圖4中對(duì)應(yīng)步驟的高度類似性。在步驟305，當(dāng)前圖像與參考圖像之間的差別由比較器100識(shí)別為當(dāng)前圖像中缺失曾存在于參考圖像中的對(duì)象。如果(由檢測(cè)器110)(在步驟310)發(fā)現(xiàn)檢測(cè)到的差別存在于η個(gè)圖像中(如上所述)，則控制傳遞到步驟325，在步驟325，示出了該對(duì)象的最后(最新近捕獲的)存儲(chǔ)的圖像被圖像跟蹤器識(shí)別。在步驟335，由圖像跟蹤器開始在附近位置處對(duì)對(duì)象進(jìn)行搜索(如以上定義的)，但是這次在在步驟325中被識(shí)別的圖像后面(按向前的時(shí)間順序)的圖像中尋找該對(duì)象。一旦對(duì)對(duì)象的跟蹤發(fā)現(xiàn)對(duì)象離開了該場(chǎng)景(或者至少離開了其在參考圖像中的位置)，則軌跡可在步驟360中被顯示，如上所述。在實(shí)踐中，系統(tǒng)的實(shí)施例將執(zhí)行這兩個(gè)處理。即是說，系統(tǒng)可以識(shí)別出當(dāng)前圖像中的新對(duì)象以及失蹤的對(duì)象。圖9示意性地圖示出十二個(gè)圖像A至L的序列以一起論述圖4 和圖8所示的視頻處理方法的操作。在圖9中，三角形對(duì)象400存在于圖像A中(在此示例中被當(dāng)作參考圖像)但是不存在于當(dāng)前圖像L中。因此，通過步驟305，其被識(shí)別為被移除對(duì)象。類似地，正方形對(duì)象 410不存在于參考圖像A中但是存在于當(dāng)前圖像L中，因此其被識(shí)別為所增加對(duì)象。這兩個(gè)差別(通過步驟310)被檢測(cè)為存在于當(dāng)前圖像L之前的至少η個(gè)圖像中 (其中，在此示例中，η為幻。正方形對(duì)象410出現(xiàn)在其當(dāng)前位置處的第一圖像被找到為圖像F，并且三角形對(duì)象400在其參考位置的最后圖像被找到為圖像F。在圖像D和E中正方形對(duì)象靠近其當(dāng)前位置的路徑因此被跟蹤，并且在圖像G、H和I中三角形對(duì)象離開其參考位置的路徑被跟蹤。圖10示意性地圖示出在步驟350中利用如上所述的平均像素位置技術(shù)確定的對(duì)象中心420。圖11示意性地圖示出應(yīng)用于圖9所示的示例時(shí)的對(duì)象跟蹤處理的結(jié)果。這里，帶有運(yùn)動(dòng)或移動(dòng)軌跡的新增對(duì)象410被顯示在其當(dāng)前位置處(因?yàn)閷?shí)際上其是當(dāng)前圖像L的一部分)，該運(yùn)動(dòng)或移動(dòng)軌跡將在圖像D和E中其中點(diǎn)的到達(dá)示出為一組連續(xù)對(duì)象位置的表示。帶有類似的運(yùn)動(dòng)或移動(dòng)軌跡的被省略對(duì)象400被顯示為在其原始位置處的重疊(例如， 以降低的對(duì)比度和/或透明度，和/或以閃爍格式)，該類似運(yùn)動(dòng)或移動(dòng)軌跡示出了在圖像 G、H和I中其中點(diǎn)離開的路徑。圖像特征的存在持續(xù)時(shí)間，例如，新到達(dá)特征410已存在的時(shí)間(在此示例中為5分鐘)和/或新近被移除對(duì)象曾持續(xù)存在的時(shí)間(在此示例中為2 分鐘)可以在顯示控制器130的控制下被顯示在對(duì)象附近或預(yù)定顯示位置處。上面的討論涉及當(dāng)前圖像與參考圖像之間的比較。將理解，當(dāng)前圖像不必是在處理被執(zhí)行時(shí)最新近被捕獲的圖像。出于上述處理的目的，用戶可以將一個(gè)所存儲(chǔ)圖像定義為“當(dāng)前圖像”。即是說，例如，如果用戶想要回顧所存儲(chǔ)視頻素材以檢測(cè)對(duì)象的到達(dá)或離開，則用戶可以找到新到達(dá)對(duì)象存在的先前圖像，并且執(zhí)行上述處理以建立其到達(dá)路徑。用戶改變參考圖像的位置(相對(duì)于當(dāng)前圖像)和/或改變必須存在于其中的圖像的數(shù)目n(在步驟310中)的能力使得用戶能夠識(shí)別出以不同速率發(fā)生的改變，或者換言之，能夠改變系統(tǒng)的靈敏性和對(duì)噪聲的易感性。上述實(shí)施例涉及具有固定搖攝、傾斜和變焦的一個(gè)或多個(gè)相機(jī)。可以使用具有可變搖攝、傾斜和變焦的一個(gè)或多個(gè)相機(jī)。實(shí)現(xiàn)此的一種方式是當(dāng)在當(dāng)前圖像之外的圖像中搜索對(duì)象時(shí)，存儲(chǔ)定義搖攝、傾斜和變焦的與每個(gè)圖像相關(guān)聯(lián)的元數(shù)據(jù)，并且利用該元數(shù)據(jù)來逐個(gè)圖像地補(bǔ)償搖攝、傾斜和變焦的改變。圖12是視頻處理器30的另一實(shí)施例的示意圖并且示出了運(yùn)動(dòng)檢測(cè)器1100、運(yùn)動(dòng)預(yù)測(cè)器1110以及顯示控制器1120，可選地，運(yùn)動(dòng)預(yù)測(cè)器1110對(duì)路線安排數(shù)據(jù)作出響應(yīng)，該路線安排數(shù)據(jù)定義從所觀察到的對(duì)象位置到相機(jī)中的另一相機(jī)的視野的各種可能路線。圖12所示的并且下面將描述的實(shí)施例的特征可以與圖2所示的并且在上面描述的實(shí)施例的特征協(xié)同操作。即是說，單個(gè)視頻處理器30可以包括這兩組功能，或者這兩者的置換?？梢詫?shí)現(xiàn)此的方式的示例將在下面討論。由兩個(gè)或更多個(gè)視頻相機(jī)10、20捕獲的圖像被提供給圖像緩沖器40和/或運(yùn)動(dòng)檢測(cè)器1100。圖像緩沖器40作為用于存儲(chǔ)與來自相機(jī)的視頻信號(hào)的圖像有關(guān)的數(shù)據(jù)的圖像存儲(chǔ)器。運(yùn)動(dòng)檢測(cè)器檢測(cè)所捕獲圖像中的，即是說，至少一個(gè)視頻相機(jī)的視野內(nèi)的運(yùn)動(dòng) (例如運(yùn)動(dòng)對(duì)象或圖像特征)，并且還檢測(cè)圖像特征是否與感興趣對(duì)象有關(guān)。例如，在通常的視頻監(jiān)視區(qū)域中，對(duì)跟蹤家貓的運(yùn)動(dòng)的興趣可能很小，而對(duì)跟蹤可疑罪犯的運(yùn)動(dòng)的興趣很大。運(yùn)動(dòng)檢測(cè)器可使用已知對(duì)象識(shí)別技術(shù)來檢測(cè)運(yùn)動(dòng)的圖像特征是否與感興趣對(duì)象有關(guān)。在這樣做時(shí)，運(yùn)動(dòng)檢測(cè)器可參考可由用戶設(shè)置的感興趣對(duì)象的類別集合，例如，人、機(jī)動(dòng)車、自行車(如果運(yùn)動(dòng)被檢測(cè)到，則其隱含了它們伴隨有騎車人)以及摩托車的類別。通過檢查視頻信號(hào)的連續(xù)圖像之間的圖像改變來檢測(cè)運(yùn)動(dòng)。就此而言，運(yùn)動(dòng)檢測(cè)器使用已知運(yùn)動(dòng)檢測(cè)技術(shù)，例如圖像之間的塊匹配。因此，運(yùn)動(dòng)檢測(cè)器1100可操作來在視頻相機(jī)之一的視野內(nèi)檢測(cè)圖像特征的圖像運(yùn)動(dòng)并且得出該圖像特征所表示的對(duì)象的對(duì)應(yīng)物理運(yùn)動(dòng)。當(dāng)運(yùn)動(dòng)被檢測(cè)時(shí)，運(yùn)動(dòng)檢測(cè)器被布置為檢測(cè)對(duì)象的對(duì)應(yīng)物理運(yùn)動(dòng)(方向和/或速度)，并且將定義正在運(yùn)動(dòng)的對(duì)象以及該運(yùn)動(dòng)的數(shù)據(jù)傳遞給運(yùn)動(dòng)預(yù)測(cè)器。運(yùn)動(dòng)預(yù)測(cè)器被布置來預(yù)測(cè)對(duì)象相對(duì)于相機(jī)的已知位置的物理運(yùn)動(dòng)，以得出可在另一相機(jī)的視野中觀看到該對(duì)象時(shí)的預(yù)期時(shí)間。這可以在向前或向后的(或兩者)方向上操作，即是說，其基于當(dāng)前運(yùn)動(dòng)(在本發(fā)明的實(shí)施例中，其包括所檢測(cè)到的對(duì)象的運(yùn)動(dòng)方向)和對(duì)象的性質(zhì)來預(yù)測(cè)所檢測(cè)到的運(yùn)動(dòng)對(duì)象在稍后的時(shí)間時(shí)所在的位置或者運(yùn)動(dòng)對(duì)象在先前時(shí)間時(shí)可能所處的位置， 或者它們兩者。在任一情況中，預(yù)測(cè)都涉及檢測(cè)可在(或者可能曾在)另一相機(jī)的視野中觀看到對(duì)象的時(shí)間。對(duì)象的性質(zhì)以較簡(jiǎn)單的方式影響該預(yù)測(cè)。例如，如果運(yùn)動(dòng)對(duì)象是行人，則可預(yù)期行人從起點(diǎn)經(jīng)過的預(yù)期距離小于運(yùn)動(dòng)對(duì)象是汽車或摩托車的情況。下面將描述可將運(yùn)動(dòng)對(duì)象的性質(zhì)考慮在內(nèi)的方式。運(yùn)動(dòng)預(yù)測(cè)器的目的在于預(yù)測(cè)感興趣的運(yùn)動(dòng)對(duì)象何時(shí)進(jìn)入另一相機(jī)的視野(在向前預(yù)測(cè)的情況中)和/或感興趣的運(yùn)動(dòng)對(duì)象先前可能何時(shí)進(jìn)入了另一相機(jī)的視野(在向后預(yù)測(cè)的情況中)。這些預(yù)測(cè)可針對(duì)當(dāng)前捕獲的圖像執(zhí)行，在該情況中，向前預(yù)測(cè)在它們被進(jìn)行時(shí)將涉及將來的某個(gè)時(shí)間?；蛘?，預(yù)測(cè)可以針對(duì)在預(yù)測(cè)處理發(fā)生的時(shí)間之前的某個(gè)時(shí)間被捕獲的所存儲(chǔ)圖像執(zhí)行。例如，這作為在犯罪發(fā)生之后警察對(duì)犯罪事件的分析的一部分來說是有用的。在這樣的情形中，即使運(yùn)動(dòng)的向前預(yù)測(cè)也仍然可能指向在運(yùn)動(dòng)預(yù)測(cè)處理被執(zhí)行之前的時(shí)刻所捕獲的視頻素材，因此向前預(yù)測(cè)的結(jié)果可以指向圖像緩沖器中或者其它地方的另一裝置的等同緩沖器中存儲(chǔ)的其它素材。運(yùn)動(dòng)預(yù)測(cè)器因此可以提供各種類型的輸出。如果預(yù)測(cè)出的運(yùn)動(dòng)結(jié)果是在將來(在預(yù)測(cè)被執(zhí)行時(shí))，則該系統(tǒng)可以顯示對(duì)預(yù)期可以在何時(shí)何處看到感興趣對(duì)象的指示，并且系統(tǒng)可以設(shè)置定時(shí)器(未示出)以使得來自所預(yù)期的感興趣對(duì)象的位置的視頻素材在適當(dāng)?shù)臅r(shí)間被顯示出。然而，如果向前預(yù)測(cè)指向所存儲(chǔ)視頻素材，則所存儲(chǔ)素材可以被訪問并立即被顯示。就向后預(yù)測(cè)來說(感興趣對(duì)象何時(shí)來自何處)，假設(shè)適當(dāng)視頻素材已被存儲(chǔ)，則該素材可被訪問并立即被顯示。視頻信號(hào)在運(yùn)動(dòng)預(yù)測(cè)器預(yù)測(cè)出對(duì)象可能存在時(shí)的閾值時(shí)間內(nèi)被訪問，或者替代地，運(yùn)動(dòng)預(yù)測(cè)器可以輸出用于訪問的時(shí)間范圍(預(yù)測(cè)時(shí)間加上或減去不確定閾值)。顯示控制器處理被恢復(fù)視頻素材的顯示。因此，運(yùn)動(dòng)預(yù)測(cè)器可操作來預(yù)測(cè)對(duì)象相對(duì)于已知相機(jī)位置的物理運(yùn)動(dòng)，以便得出可以在另一個(gè)相機(jī)的視野中觀看到該對(duì)象的預(yù)期時(shí)間。從一般意義上講，運(yùn)動(dòng)預(yù)測(cè)器可針對(duì)所考慮圖像中的圖像特征操作來預(yù)測(cè)在對(duì)象在所考慮圖像中被觀看到之前對(duì)象的運(yùn)動(dòng)，以便得出所考慮圖像的時(shí)間之前的、對(duì)象可能在另一個(gè)視頻相機(jī)的視野中被觀看到時(shí)的預(yù)期時(shí)間；和/或預(yù)測(cè)在對(duì)象在所考慮圖像中被觀看到之后對(duì)象的運(yùn)動(dòng)，以便得出在所考慮圖像的時(shí)間之后的、對(duì)象可能在另一個(gè)視頻相機(jī)的視野中被觀看到時(shí)的預(yù)期時(shí)間。在本發(fā)明的實(shí)施例中，當(dāng)針對(duì)對(duì)象可在一相機(jī)的視野中被觀看到時(shí)的預(yù)期時(shí)間的該相機(jī)的視頻信號(hào)被存儲(chǔ)在圖像存儲(chǔ)器中時(shí)，運(yùn)動(dòng)預(yù)測(cè)器可操作來檢測(cè)該相機(jī)在該預(yù)期時(shí)間的閾值時(shí)段內(nèi)捕獲的圖像中對(duì)象的存在。由運(yùn)動(dòng)檢測(cè)器針對(duì)被檢測(cè)為運(yùn)動(dòng)(并且被檢測(cè)為上述類別之一內(nèi)的對(duì)象)的每個(gè)對(duì)象來執(zhí)行這種類型的分析可能是不切實(shí)際的。這將導(dǎo)致生成令人困惑的大量數(shù)據(jù)。因此， 在本發(fā)明的一些實(shí)施例中，存在通過用戶控制裝置60來操作的用戶選項(xiàng)，以選擇要經(jīng)過該分析的對(duì)象。該選擇例如可以由用戶利用鼠標(biāo)或類似控制裝置來選擇顯示在顯示屏幕上的對(duì)象。該選擇可以從檢測(cè)到的一組對(duì)象中進(jìn)行，其中，用戶從該組中選擇用于分析的一個(gè)或多個(gè)對(duì)象。下面將給出由圖12的裝置執(zhí)行的處理的進(jìn)一步細(xì)節(jié)。圖12的裝置的一個(gè)重要方面在于其估計(jì)感興趣對(duì)象的當(dāng)前速度以便得出對(duì)該對(duì)象在某個(gè)其它時(shí)間曾在何處或?qū)⒃诤翁幍念A(yù)測(cè)?？梢詫?shí)現(xiàn)這一點(diǎn)的一種方式是根據(jù)對(duì)象的類別來估計(jì)速度。對(duì)于行人，估計(jì)出的速度可以為5km/h(千米每小時(shí))。對(duì)于跑步者，估計(jì)出的速度可以為10km/h。對(duì)于機(jī)動(dòng)車，與車輛本身的類型相比，估計(jì)出的速度更多地取決于車輛將經(jīng)過的道路的性質(zhì)。對(duì)預(yù)期速度的第一估計(jì)可以為車輛將沿著如路線安排數(shù)據(jù)所定義的每條道路以合法速度限制行進(jìn)。如果交通狀況繁忙，則這可能是較高估計(jì)，或者在肇事逃逸犯罪的情況中可能是較低估計(jì)。但是其提供有用的估計(jì)?？梢酝ㄟ^允許車輛具有用于通過沿著假定路線的每個(gè)交叉路口的短時(shí)間段來細(xì)化該估計(jì)，其中比如說，與左轉(zhuǎn)相比更多時(shí)間被允許用于右轉(zhuǎn)(在車輛在左側(cè)行駛的國(guó)家)，并且與沒有交叉點(diǎn)等相比更多的時(shí)間被允許用于受交通燈控制的交叉點(diǎn)。與本地道路速度限制有關(guān)的信息可被提供作為路線安排數(shù)據(jù)的一部分。對(duì)機(jī)動(dòng)車的預(yù)期行進(jìn)速度的進(jìn)一步細(xì)化是使用路線安排數(shù)據(jù)，該路線安排數(shù)據(jù)包含可在多個(gè)因特網(wǎng)源上獲得的交通狀況數(shù)據(jù)并且指示出一些道路的平均車速。如果該數(shù)據(jù)被使用，則在本發(fā)明的一些實(shí)施例中，該數(shù)據(jù)與視頻素材一起被存檔(在適當(dāng)?shù)拇鎯?chǔ)布置中，其可以是或者可以不是圖像緩沖器40的一部分，并且可操作來將路線安排數(shù)據(jù)與在該路線安排數(shù)據(jù)相關(guān)時(shí)刻捕獲的圖像相關(guān)聯(lián)地存儲(chǔ))，以使得如果以后需要， 可以訪問歷史交通狀況數(shù)據(jù)。與視頻素材一起存檔并不要求這兩組數(shù)據(jù)以相同方式被存儲(chǔ)或者甚至通過相同存儲(chǔ)介質(zhì)或布置被存儲(chǔ)。但是，其意味著關(guān)聯(lián)數(shù)據(jù)以這樣的方式被存儲(chǔ) 當(dāng)其被需要時(shí)或者如果其被需要，則可以基于時(shí)間(即在與視頻素材相關(guān)的時(shí)間處)將該數(shù)據(jù)與視頻素材相關(guān)聯(lián)或重新關(guān)聯(lián)。即是說，與特定時(shí)間或時(shí)間段有關(guān)的視頻素材可被訪問，并且與該相同時(shí)間段有關(guān)的關(guān)聯(lián)數(shù)據(jù)可被訪問以使得這兩者可被運(yùn)動(dòng)預(yù)測(cè)器和顯示控制器協(xié)同使用。以類似方式，其它數(shù)據(jù)可與視頻素材一起被存檔。這里的示例是地圖數(shù)據(jù)(充當(dāng)路線安排數(shù)據(jù))，其提供捕獲視頻素材時(shí)的所討論相機(jī)附近的道路、路徑等的布局。一些地圖數(shù)據(jù)源被更新得較慢，意味著在道路或路徑布局改變與地圖數(shù)據(jù)被改變來反映此改變之間可能存在巨大的時(shí)間滯差。然而，存在可以快得多地被更新的其它地圖數(shù)據(jù)源，示例(在提交申請(qǐng)時(shí)，并且至少涉及英國(guó)的多個(gè)部分)通過http://WWW. openstreetmap. org/來提 {共。另一選項(xiàng)是行人對(duì)于行程的一部分利用公共交通到達(dá)另一相機(jī)的視野。這里，路線安排數(shù)據(jù)可以包括諸如公交車或列車服務(wù)之類的本地公共交通服務(wù)或線路的細(xì)節(jié)。在一些情況中，實(shí)況出發(fā)數(shù)據(jù)可被獲得以指示這些服務(wù)的實(shí)際(而非計(jì)劃的)出發(fā)并且還可以被存檔用于以后參考，如上所述。一般地，運(yùn)動(dòng)預(yù)測(cè)器1110對(duì)定義了從對(duì)象的被觀看位置到另一相機(jī)的視野的可能路線的路線安排數(shù)據(jù)作出響應(yīng)。路線安排數(shù)據(jù)可以包括定義了從對(duì)象的被觀看位置到另一相機(jī)的視野的可能路線的含日期的地圖。替代地或者另外，路線安排數(shù)據(jù)可以定義對(duì)象的被觀看位置與另一相機(jī)的視野之間的行程的至少一部分的運(yùn)輸線路。在本發(fā)明的實(shí)施例中，路線安排數(shù)據(jù)可以提供通過那些運(yùn)輸線路的實(shí)際行程時(shí)間。在本發(fā)明的實(shí)施例中，路線安排數(shù)據(jù)可以包括速度數(shù)據(jù)，該速度數(shù)據(jù)定義在對(duì)象被觀看到的位置與另一相機(jī)的視野之間的對(duì)象的預(yù)期速度。現(xiàn)在討論運(yùn)動(dòng)檢測(cè)器1100對(duì)對(duì)象速度的評(píng)估。圖13示意性地圖示出了這樣的監(jiān)視情形，其中，相機(jī)1200被安裝在已知位置處并且在該相機(jī)的視野內(nèi)具有兩個(gè)行人1210。如上面提到的，行人的速度v(參見圖14，其是相機(jī)1200所捕獲的圖像的示意表示)可以簡(jiǎn)單地從他們是行人的事實(shí)被估計(jì)出。然而，現(xiàn)在將描述用于評(píng)估速度的其它技術(shù)(其可被單獨(dú)地或組合地使用)。在一種技術(shù)中，速度估計(jì)作為諸如行人的圖像高度(圖14中的h)之類的所估計(jì)出的距離的函數(shù)，從行人前進(jìn)越過圖像的速率來得出。如果h被估計(jì)為比如說1. 6m,則與h 相對(duì)應(yīng)的圖像大小(以像素單位的高度)可被用來估計(jì)水平距離1. 6m。行人沿著該距離行進(jìn)所花的時(shí)間給出了對(duì)其速度的估計(jì)。在另一技術(shù)中，相機(jī)可被預(yù)先校準(zhǔn)為位于間隔已知距離處的物理位置1220處，并且行人經(jīng)過這些點(diǎn)之間所花的時(shí)間可以給出速度的估計(jì)。當(dāng)行人被約束為一條(或少數(shù)條)可能路徑1230(圖1 時(shí)，這種布置作用更好。一般地，如果相機(jī)根據(jù)地面上的特征被校準(zhǔn)(可以通過手動(dòng)處理，或者可以通過相機(jī)的已知位置和/或與相機(jī)相關(guān)聯(lián)的GPS接收機(jī)，和/或通過基于地圖數(shù)據(jù)及相機(jī)已知位置而對(duì)附近特征的圖像識(shí)別來校準(zhǔn))，則可以在相機(jī)視野內(nèi)在更寬的或者可能基本上不受限制的范圍的位置之間來跟蹤運(yùn)動(dòng)對(duì)象的速度和/或方向。運(yùn)動(dòng)檢測(cè)器可以以多種方式來檢測(cè)監(jiān)視下的運(yùn)動(dòng)對(duì)象是人(正步行或奔跑)還是車輛。一種方式是考慮對(duì)象的速度。如果速度非常慢，則該測(cè)驗(yàn)無法單獨(dú)地得出結(jié)果，但是如果速度超過(可能每小時(shí)10英里的)閾值速度，則作出對(duì)象是車輛的假設(shè)。第二因素是對(duì)象的大小。再次地，如果大小較小，則該測(cè)驗(yàn)不太能得出結(jié)果，因?yàn)榇嬖隍T在小型摩托車上的、可能與小孩類似大小的大人。但是如果大小高于(可能從側(cè)面看時(shí)兩平方米的)閾值大小，則系統(tǒng)可以作出對(duì)象是車輛的假設(shè)。另一示例是使用對(duì)象識(shí)別技術(shù)，這些對(duì)象識(shí)別技術(shù)是大家都知道的技術(shù)并且可以基于將所檢測(cè)對(duì)象的形狀和特征匹配到不同對(duì)象類型的已知特性來提供對(duì)象類型的指示(人、車輛等)。圖15示意性地圖示出已知位置處的一對(duì)間隔開的相機(jī)1240、1250，以及可操作來通過兩個(gè)相機(jī)所捕獲的圖像之間的已知三角測(cè)量技術(shù)來得出位置和估計(jì)速度信息的處理器1260。圖16A和圖16B是各自捕獲的圖像的示意示例。注意，在本發(fā)明的一些實(shí)施例的特征中，在每個(gè)圖像(如顯示在顯示裝置50上的， 未被存儲(chǔ))上設(shè)置有圖標(biāo)1270、1觀0(參見圖16a、16b)來指示另一相機(jī)具有同一場(chǎng)景的重疊視圖并且圖示出該視圖的大體方向。用戶可以選擇(例如，點(diǎn)擊)一圖標(biāo)以使顯示裝置示出來自新選擇相機(jī)的圖像。每個(gè)相機(jī)的已知位置可由操作員手動(dòng)建立，但是作為替代，圖17示意性地圖示出具有耦合到處理器1310的位置檢測(cè)器1300(例如全球定位系統(tǒng)(GPQ接收機(jī))的相機(jī)1290o GPS接收機(jī)1300提供相機(jī)的地理位置。處理器1310可以使用該信息來得出相機(jī)離已知地理特征(例如圖13中的路徑1230)的距離。利用該距離信息以及相機(jī)的焦距，對(duì)象經(jīng)過路徑1230的速度可以從其前進(jìn)越過相機(jī)所捕獲的圖像的速率來估計(jì)出。圖18示意性地圖示出具有范圍檢測(cè)器1330的相機(jī)1320。范圍檢測(cè)器可使用已知的光學(xué)、超聲或雷達(dá)技術(shù)來檢測(cè)范圍1(圖13)或者甚至運(yùn)動(dòng)對(duì)象的速度。再次地，利用該范圍以及相機(jī)的焦距，對(duì)象在該范圍中的速度可以從其前進(jìn)越過圖像的速率來得出。圖19示意性地圖示出由兩個(gè)圖像捕獲設(shè)備1340、1350形成的立體感(立體)相機(jī)以及可操作來生成針對(duì)立體相機(jī)所捕獲圖像中的對(duì)象的范圍信息的處理器1360。注意， 該相機(jī)不必輸出立體圖像；提供給視頻處理器30的圖像可以是單視場(chǎng)的，而立體信息僅由圖19的相機(jī)用來生成范圍信息。圖20示意性地圖示出相機(jī)1370以及可操作來例如從圖像高度或類似信息得出所估計(jì)速度信息(如參考圖14討論的)的處理器1380。在以上示例中，處理器的功能的至少一部分可由運(yùn)動(dòng)檢測(cè)器1100執(zhí)行，或者可被定位于攝像頭處，在該情況中，速度或范圍信息可以作為元數(shù)據(jù)與相機(jī)發(fā)送給視頻處理器 30的圖像一起被返回。這些示例涉及行人，但是類似技術(shù)適用于諸如機(jī)動(dòng)車之類的其它對(duì)象的運(yùn)動(dòng)的檢測(cè)。一旦(在給出相機(jī)的已知位置的情況下，簡(jiǎn)單地通過檢測(cè)對(duì)象前進(jìn)越過圖像的方式所獲得的方向以及)速度被估計(jì)出，則處理的下一部分是運(yùn)動(dòng)預(yù)測(cè)器1110從該速度和/ 或方向數(shù)據(jù)中預(yù)測(cè)感興趣對(duì)象的將來或過去的運(yùn)動(dòng)。對(duì)于此，路線安排數(shù)據(jù)可以是有用的。路線安排數(shù)據(jù)可以包括如下中的一者或多者示出了相機(jī)站點(diǎn)附近的可能地理路線的地圖數(shù)據(jù)；諸如時(shí)間表、路線和實(shí)況定時(shí)數(shù)據(jù)之類的公共交通設(shè)施的細(xì)節(jié)；以及交通速度限制、實(shí)況實(shí)際平均速度、交叉點(diǎn)等的細(xì)節(jié)。圖21至圖M是路線安排數(shù)據(jù)的示意圖示。圖21示意性地圖示出地圖的一部分，該部分示出了感興趣對(duì)象在監(jiān)視相機(jī)上被捕獲的位置㈧、其它附近相機(jī)的位置⑶、(C)和⑶、相機(jī)站點(diǎn)之間的可能路線，以及兩個(gè)火車站(在位置⑶和(C)處)。將描述的技術(shù)允許預(yù)測(cè)出相對(duì)于圖像的捕獲被分析的時(shí)間，感興趣對(duì)象曾位于某個(gè)位置(向后預(yù)測(cè))和/或?qū)⑽挥诘哪硞€(gè)位置(向前預(yù)測(cè))的時(shí)間。示例將涉及預(yù)測(cè)對(duì)象曾經(jīng)/將位于另一相機(jī)站點(diǎn)的時(shí)間，但是作為替代，可應(yīng)用于諸如警察路障等之類的其它站點(diǎn)。參考圖22，感興趣的行人在站點(diǎn)(A)處被檢測(cè)到，并且對(duì)該行人何時(shí)可能位于站點(diǎn)(C)進(jìn)行預(yù)測(cè)。從(A)至(C)僅存在一條實(shí)際路線，因此該路線的距離(從路線安排時(shí)間以及兩個(gè)相機(jī)的已知地理位置得知的)被與如上那樣得出的行人的估計(jì)速度相組合來得到位于點(diǎn)(C)處的估計(jì)時(shí)間。該時(shí)間處或該時(shí)間附近(比如說，位于(A)時(shí)的時(shí)間與位于(C)時(shí)的預(yù)測(cè)時(shí)間之間的時(shí)間差的10%裕量?jī)?nèi))的視頻素材被訪問以檢測(cè)位于站點(diǎn)(C) 處的該行人。注意，該系統(tǒng)無法檢測(cè)行人的意圖。行人可能不希望移動(dòng)到站點(diǎn)(C)。該系統(tǒng)僅在行人選擇去往站點(diǎn)(C)時(shí)形成對(duì)該行人可能位于站點(diǎn)(C)的時(shí)間的預(yù)測(cè)。
在圖23中還考慮到其它選項(xiàng)。行人可能希望去往站點(diǎn)⑶。存在去往站點(diǎn)⑶的兩條路線，或者替代地，行人可能行進(jìn)到站點(diǎn)(C)趕火車。兩條路線從行人的速度以及各自距離被估計(jì)出?；疖嚨竭_(dá)時(shí)間從預(yù)期行人到達(dá)站點(diǎn)(C)的時(shí)間、與火車離開(C)去往(B) 的計(jì)劃或?qū)嶋H時(shí)間相組合地被估計(jì)出，要記住，如果火車有可能在步行至(C)的預(yù)期到達(dá)時(shí)間的較短時(shí)間(例如兩分鐘)內(nèi)離開，則行人可能要非常匆忙以試圖趕上該火車。圖M示出了受交通燈控制的交叉點(diǎn)400，如前所述，如果感興趣對(duì)象是沿著該路線的機(jī)動(dòng)車，則受交通燈控制的交叉點(diǎn)400將被考慮在內(nèi)。圖25是圖示出視頻監(jiān)視方法的示意流程圖。在步驟1500，運(yùn)動(dòng)檢測(cè)器1100檢測(cè)感興趣對(duì)象的圖像運(yùn)動(dòng)。在步驟1510，運(yùn)動(dòng)檢測(cè)器檢測(cè)或估計(jì)對(duì)象的速度，如上所述。在步驟1520，運(yùn)動(dòng)預(yù)測(cè)器1110預(yù)測(cè)對(duì)象在某一時(shí)間的將來位置或過去位置。如果另一可能路線可被獲得(步驟1530)，則該處理被重復(fù)。這基于在步驟1500中對(duì)對(duì)象運(yùn)動(dòng)的估計(jì)而生成了對(duì)象可能位于/可能曾經(jīng)位于的地點(diǎn)方面的大量可能結(jié)果。最后，運(yùn)動(dòng)預(yù)測(cè)器訪問與預(yù)測(cè)出的位置和時(shí)間有關(guān)的視頻素材(一旦可獲得)以供顯示在顯示裝置50上。如果在步驟1520中得出了多于一個(gè)結(jié)果，則用戶可以選擇一次觀看一組視頻素材。在此階段中可用的其它選項(xiàng)(除了訪問視頻素材以外或者取代訪問視頻素材)是訪問與感興趣對(duì)象的所預(yù)測(cè)時(shí)間和地理位置有關(guān)的其它內(nèi)容或信息。這里的示例可以包括來自由其它提供者運(yùn)行的相機(jī)(一個(gè)示例是肇事快速逃逸犯罪的情況中的車速執(zhí)法相機(jī))的視頻素材、所使用的公共交通智能卡的記錄、商店忠誠(chéng)卡使用記錄、移動(dòng)電話位置跟際寺?，F(xiàn)在將描述上述各種實(shí)施例和技術(shù)可一起操作的方式。作為一個(gè)示例，在相對(duì)于圖2-圖11描述的技術(shù)中，一種手段被提供(例如參見圖 4中的步驟350和360)來得出指示對(duì)象到達(dá)其當(dāng)前位置時(shí)或者離開其先前位置時(shí)的該對(duì)象的運(yùn)動(dòng)的運(yùn)動(dòng)路徑。這樣的運(yùn)動(dòng)軌跡的示例在圖7中示出。從其得出運(yùn)動(dòng)軌跡的數(shù)據(jù)可以形成參考圖12至圖25描述的處理的輸入。即是說，從其得出運(yùn)動(dòng)軌跡的數(shù)據(jù)(實(shí)際上其可以通過操作提供了對(duì)象跟蹤器 120的一些或所有功能的運(yùn)動(dòng)檢測(cè)器1100被得出，或者反之亦然)可以充當(dāng)運(yùn)動(dòng)預(yù)測(cè)器 1110的輸入數(shù)據(jù)。在對(duì)象當(dāng)前存在于圖像中但是未曾存在于參考圖像中的情況中，運(yùn)動(dòng)軌跡數(shù)據(jù)可以指示對(duì)象首次到達(dá)的時(shí)間(或者，圖像身份或圖像范圍)以使得運(yùn)動(dòng)預(yù)測(cè)器可以在向后時(shí)間方向上操作，以預(yù)測(cè)該同一對(duì)象的早前運(yùn)動(dòng)并且利用圖25的方法訪問可能與該早前運(yùn)動(dòng)有關(guān)的視頻素材(其可能來自其它相機(jī))。在對(duì)象曾存在于參考圖像但已不再存在的情況中，運(yùn)動(dòng)軌跡數(shù)據(jù)可以指示對(duì)象離開其先前位置的圖像或圖像范圍。再次地，在對(duì)象根本不再在圖像中的實(shí)例中，運(yùn)動(dòng)預(yù)測(cè)器 1110可以對(duì)如上所述的這樣的數(shù)據(jù)進(jìn)行操作，以便預(yù)測(cè)出對(duì)象在稍后的時(shí)間點(diǎn)時(shí)可能位于明口兒，并且因此訪問可能與對(duì)象的稍后視圖有關(guān)的視頻素材(其可能來自其它相機(jī))。參考圖16a和16b討論的多相機(jī)布置也可有用地應(yīng)用于參考圖2至圖11描述的實(shí)施例，因?yàn)樵诰o鄰對(duì)象進(jìn)入圖像(如運(yùn)動(dòng)軌跡數(shù)據(jù)所示的)之前或者在緊鄰對(duì)象離開圖像之后，或者如果對(duì)象被遮擋或未在覆蓋范圍內(nèi)，則來自正觀察同一大體場(chǎng)景的其它相機(jī)(例如參考圖16a和16b討論的兩個(gè)相機(jī))的視圖可以自動(dòng)地和/或手動(dòng)地被訪問，以提供當(dāng)對(duì)象在第一相機(jī)上不可見時(shí)該對(duì)象的其它可能視圖。
權(quán)利要求
1.一種視頻監(jiān)視系統(tǒng)，包括兩個(gè)或更多個(gè)視頻相機(jī)，每個(gè)視頻相機(jī)提供視頻信號(hào)，各個(gè)相機(jī)被定位于各自的已知位置處；運(yùn)動(dòng)檢測(cè)器，該運(yùn)動(dòng)檢測(cè)器檢測(cè)在所述視頻相機(jī)中的一個(gè)相機(jī)的視野內(nèi)的圖像特征的、用于得出由該圖像特征表示的對(duì)象的對(duì)應(yīng)物理運(yùn)動(dòng)的圖像運(yùn)動(dòng)；以及運(yùn)動(dòng)預(yù)測(cè)器，該運(yùn)動(dòng)預(yù)測(cè)器預(yù)測(cè)該對(duì)象相對(duì)于相機(jī)的已知位置的物理運(yùn)動(dòng)，以得出能在所述視頻相機(jī)中的另一相機(jī)的視野中觀看到該對(duì)象的預(yù)期時(shí)間；其中，所述運(yùn)動(dòng)預(yù)測(cè)器對(duì)路線安排數(shù)據(jù)作出響應(yīng)，所述路線安排數(shù)據(jù)定義了從對(duì)象被觀看到的位置到所述另一相機(jī)的視野的可能路線。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，包括圖像存儲(chǔ)器，用于存儲(chǔ)與來自相機(jī)的視頻信號(hào)的圖像有關(guān)的數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述運(yùn)動(dòng)預(yù)測(cè)器針對(duì)所考慮圖像中的圖像特征操作來預(yù)測(cè)在對(duì)象在所考慮圖像中被觀看到之前該對(duì)象的運(yùn)動(dòng)，以便得出在所考慮圖像的時(shí)間之前的、該對(duì)象能在所述視頻相機(jī)中的另一個(gè)相機(jī)的視野中被觀看到的預(yù)期時(shí)間；和/ 或預(yù)測(cè)在對(duì)象在所考慮圖像中被觀看到之后該對(duì)象的運(yùn)動(dòng)，以便得出在所考慮圖像的時(shí)間之后的、該對(duì)象能在所述視頻相機(jī)中的另一個(gè)相機(jī)的視野中被觀看到的預(yù)期時(shí)間。
4.根據(jù)權(quán)利要求2或3所述的系統(tǒng)，其中，當(dāng)針對(duì)對(duì)象能在一相機(jī)的視野中被觀看到的預(yù)期時(shí)間的該相機(jī)的視頻信號(hào)被存儲(chǔ)在所述圖像存儲(chǔ)器中時(shí)，所述運(yùn)動(dòng)預(yù)測(cè)器可操作來檢測(cè)該相機(jī)在該預(yù)期時(shí)間的閾值時(shí)段內(nèi)捕獲的圖像中該對(duì)象的存在。
5.根據(jù)前面權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，其中，所述路線安排數(shù)據(jù)包括定義了從該對(duì)象被觀看到的位置到另一相機(jī)的視野的可能路線的地圖數(shù)據(jù)。
6.根據(jù)前面權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，其中，所述路線安排數(shù)據(jù)定義對(duì)象被觀看到的位置與另一相機(jī)的視野之間的行程的至少一部分的運(yùn)輸線路。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，所述路線安排數(shù)據(jù)包括定義通過所述運(yùn)輸線路的實(shí)際行程時(shí)間的數(shù)據(jù)。
8.根據(jù)前面權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，其中，所述路線安排數(shù)據(jù)包括速度數(shù)據(jù)， 該速度數(shù)據(jù)定義在對(duì)象被觀看到的位置與另一相機(jī)的視野之間的對(duì)象的預(yù)期速度。
9.根據(jù)前面權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，包括存儲(chǔ)布置，可操作來將所述路線安排數(shù)據(jù)與在該路線安排數(shù)據(jù)相關(guān)時(shí)間處捕獲的圖像相關(guān)聯(lián)地存儲(chǔ)。
10.根據(jù)前面權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，其中所述運(yùn)動(dòng)檢測(cè)器可操作來檢測(cè)該對(duì)象的運(yùn)動(dòng)方向；以及所述運(yùn)動(dòng)預(yù)測(cè)器對(duì)檢測(cè)到的運(yùn)動(dòng)方向作出響應(yīng)。
11.根據(jù)前面權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，其中所述運(yùn)動(dòng)檢測(cè)器可操作來檢測(cè)所述圖像特征是否表示正步行或奔跑的人；或車輛。
12.一種視頻相機(jī)，包括速度估計(jì)器，該速度估計(jì)器用于估計(jì)由所述視頻相機(jī)捕獲的圖像中的對(duì)象的速度。
13.—種視頻監(jiān)視系統(tǒng)的操作方法，該視頻監(jiān)視系統(tǒng)具有各自提供視頻信號(hào)的兩個(gè)或更多個(gè)視頻相機(jī)，各個(gè)相機(jī)被定位于各自的已知位置處；所述方法包括檢測(cè)在所述視頻相機(jī)中的一個(gè)相機(jī)的視野內(nèi)的圖像特征的、用于得出由該圖像特征表示的對(duì)象的對(duì)應(yīng)物理運(yùn)動(dòng)的圖像運(yùn)動(dòng)；以及響應(yīng)于路線安排數(shù)據(jù)，預(yù)測(cè)該對(duì)象相對(duì)于相機(jī)的已知位置的物理運(yùn)動(dòng)，以得出能在所述視頻相機(jī)中的另一相機(jī)的視野中觀看到該對(duì)象的預(yù)期時(shí)間，所述路線安排數(shù)據(jù)定義了從對(duì)象被觀看到的位置到所述另一相機(jī)的視野的可能路線。
14.一種計(jì)算機(jī)軟件，用于執(zhí)行根據(jù)權(quán)利要求13所述的方法。
全文摘要
本發(fā)明公開了視頻監(jiān)視。一種視頻監(jiān)視系統(tǒng)包括兩個(gè)或更多個(gè)視頻相機(jī)，每個(gè)視頻相機(jī)提供視頻信號(hào)，各個(gè)相機(jī)被定位于各自的已知位置處；運(yùn)動(dòng)檢測(cè)器，檢測(cè)在視頻相機(jī)中的一個(gè)相機(jī)的視野內(nèi)的圖像特征的、用于得出由該圖像特征表示的對(duì)象的對(duì)應(yīng)物理運(yùn)動(dòng)的圖像運(yùn)動(dòng)；以及運(yùn)動(dòng)預(yù)測(cè)器，該運(yùn)動(dòng)預(yù)測(cè)器預(yù)測(cè)該對(duì)象相對(duì)于相機(jī)的已知位置的物理運(yùn)動(dòng)，以得出能在視頻相機(jī)中的另一相機(jī)的視野中觀看到該對(duì)象的預(yù)期時(shí)間；其中，運(yùn)動(dòng)預(yù)測(cè)器對(duì)路線安排數(shù)據(jù)作出響應(yīng)，路線安排數(shù)據(jù)定義了從對(duì)象被觀看到的位置到另一相機(jī)的視野的可能路線。
文檔編號(hào)B65D73/02GK102469303SQ20111036921
公開日2012年5月23日 申請(qǐng)日期2011年11月14日 優(yōu)先權(quán)日2010年11月12日
發(fā)明者格勒瑟·約翰·劉易斯, 邁克爾·約翰·威廉斯 申請(qǐng)人:索尼公司