用于使用多個攝像機進行對象和事件識別的系統(tǒng)和方法
【專利說明】
[00011優(yōu)先權(quán)聲明
[0002] 本申請要求2013年5月 10 日提交的、題為 "SYSTEM AND METHOD FOR OBJECT AND EVENT IDENTIFICATION USING MULTIPLE CAMERAS"的美國臨時專利申請No.61/822051 的 優(yōu)先權(quán)，其全部內(nèi)容通過引用并入本文。
技術(shù)領(lǐng)域
[0003] 本公開總體涉及視頻監(jiān)控的領(lǐng)域，且更特別地涉及用于使用圍繞場景以不同角度 布置的多個攝像機監(jiān)控對象和事件的系統(tǒng)和方法。
【背景技術(shù)】
[0004] 視頻監(jiān)控系統(tǒng)出于包括安保和公共安全的各種目的而被廣泛地部署。在通常的視 頻監(jiān)控系統(tǒng)中，在不同的位置上部署一個或多個攝像機來監(jiān)控活動。例如，視頻監(jiān)控系統(tǒng)生 成公共場所、運輸設(shè)施、零售商店、工業(yè)設(shè)施和住宅以及其他私有物業(yè)的圖像。監(jiān)控系統(tǒng)通 常包括:數(shù)據(jù)存儲裝置，其將記錄的視頻中的某些或全部存檔，以便以后查閱；和一個或多 個視頻輸出裝置，其能夠回放實時的和存檔的視頻數(shù)據(jù)。
[0005] 在某些監(jiān)控系統(tǒng)中，攝像機生成視頻數(shù)據(jù)，該視頻數(shù)據(jù)由一個或多個操作人員監(jiān) 控，該操作人員可查看視頻中的活動并在查看到事件時采取適當(dāng)?shù)男袆?。例如，在零售商?處的監(jiān)控系統(tǒng)中，操作者查看商店中的個人的實時視頻，并在個人試圖盜取商品的情況下 通知安保人員。在某些視頻監(jiān)控系統(tǒng)中，多個攝像機從不同位置和角度記錄單個場景的視 頻。盡管從多個角度生成視頻可有助于收集關(guān)于場景的附加細(xì)節(jié)，但是多個視頻記錄使操 作人員難以以高效的方式觀察。另外，在聯(lián)網(wǎng)的視頻監(jiān)控系統(tǒng)中，多個視頻流耗費大量帶寬 和網(wǎng)絡(luò)資源，尤其是在無線視頻監(jiān)控系統(tǒng)中。因此，改進視頻監(jiān)控系統(tǒng)、從而以自動的方式 在記錄的視頻數(shù)據(jù)識別所關(guān)注的事件并以高效的方式利用網(wǎng)絡(luò)帶寬是有益的。

【發(fā)明內(nèi)容】

[0006] -種視頻監(jiān)視系統(tǒng)包括與中心處理站通信的分布式攝像機。中心處理站與使用背 景減除方法來提取前景對象的多個攝像機通信。我們的系統(tǒng)中的攝像機將元數(shù)據(jù)傳輸至中 心處理站。將對應(yīng)于人的元數(shù)據(jù)從對應(yīng)于其他對象的元數(shù)據(jù)過濾出來。通過中心處理站來 分析對應(yīng)于人的前景元數(shù)據(jù)，以便識別由人實施的動作和事件。攝像機使用無線通信網(wǎng)絡(luò) 或其他合適的通信通道與中心處理站通信。
[0007] 在一個實施例中，視頻監(jiān)視系統(tǒng)包括：多個攝像機，其位于多個位置以便記錄場 景。每個攝像機包括:傳感器，其配置成生成場景的視頻數(shù)據(jù)，該視頻數(shù)據(jù)包括一系列幀;第 一網(wǎng)絡(luò)裝置，其配置成將視頻數(shù)據(jù)和與視頻數(shù)據(jù)相關(guān)的特征向量傳輸至處理站;和特征提 取處理器，其操作性地連接至所述傳感器和所述網(wǎng)絡(luò)裝置。所述特征提取處理器配置成:識 別由所述傳感器生成的視頻數(shù)據(jù)中的多個特征向量;在第一網(wǎng)絡(luò)裝置處于第一操作模式的 情況下僅將所述多個特征向量傳輸至處理站;和在第一網(wǎng)絡(luò)裝置處于第二操作模式的情況 下僅響應(yīng)于處理站對視頻數(shù)據(jù)的請求而將視頻數(shù)據(jù)傳輸至處理站。視頻監(jiān)視系統(tǒng)還包括處 理站，其具有:第二網(wǎng)絡(luò)裝置;視頻輸出裝置;和處理器，其操作性地連接至第二網(wǎng)絡(luò)裝置和 所述視頻輸出裝置。該處理器配置成:通過第二網(wǎng)絡(luò)裝置接收由所述多個攝像機中的每個 攝像機生成的所述多個特征向量;參考從所述多個攝像機中的至少兩個接收的所述多個特 征向量而識別場景中的對象和對象動作;參考事件的預(yù)定數(shù)據(jù)庫而識別與場景中的對象動 作對應(yīng)的事件;生成傳送來自所述多個攝像機中的至少一個攝像機的視頻數(shù)據(jù)的請求;和 通過視頻輸出裝置生成來自所述至少一個攝像機的視頻數(shù)據(jù)的圖形顯示，以顯示與所述事 件相關(guān)的對象。
[0008] 在另一實施例中，發(fā)展了一種用于實施場景監(jiān)視的方法。該方法包括:通過第一攝 像機中的傳感器生成場景的第一視頻數(shù)據(jù)，第一視頻數(shù)據(jù)包括第一系列幀;通過第一攝像 機中的特征提取處理器識別第一視頻數(shù)據(jù)中的第一多個特征向量;在第一操作模式中通過 第一攝像機中的網(wǎng)絡(luò)裝置僅將第一多個特征向量傳輸至處理站;在第二操作模式中僅響應(yīng) 于處理站對第一視頻數(shù)據(jù)的請求通過第一攝像機中的網(wǎng)絡(luò)裝置將第一視頻數(shù)據(jù)傳輸至處 理站;通過第二攝像機中的另一傳感器生成場景的第二視頻數(shù)據(jù)，第二視頻數(shù)據(jù)包括第二 系列幀，第二攝像機與第一攝像機相比從不同的位置生成場景的第二視頻數(shù)據(jù);通過第二 攝像機中的另一特征提取處理器識別第二視頻數(shù)據(jù)中的第二多個特征向量;在第一操作模 式中通過第二攝像機中的另一網(wǎng)絡(luò)裝置僅將第二多個特征向量傳輸至處理站;在第二操作 模式中僅響應(yīng)于處理站對第二視頻數(shù)據(jù)的請求通過第二攝像機中所述另一網(wǎng)絡(luò)裝置將第 二視頻數(shù)據(jù)傳輸至處理站;通過處理站中的另一網(wǎng)絡(luò)裝置接收來自第一攝像機的第一多個 特征向量和來自第二攝像機的第二多個特征向量;通過處理站中的事件處理器參考第一和 第二多個特征向量來識別場景中的對象和對象動作;通過處理站中的事件處理器參考事件 的預(yù)定數(shù)據(jù)庫來識別對應(yīng)于場景中的對象動作的事件;通過處理站中的事件處理器生成用 于傳送來自第一攝像機和第二攝像機中的至少一個的視頻數(shù)據(jù)的請求;和通過視頻顯示裝 置生成從第一攝像機和第二攝像機中的至少一個接收的視頻數(shù)據(jù)的圖形顯示，并通過視頻 輸出裝置顯示與所述事件相關(guān)的對象。
【附圖說明】
[0009] 圖1是視頻監(jiān)控系統(tǒng)的示意圖。
[0010] 圖2是示出了用于使用從觀察場景的多個攝像機傳輸?shù)脑獢?shù)據(jù)來識別事件的流程 圖的圖。
[0011] 圖3是在多數(shù)票決配置中針對從多個攝像機生成的事件的特征向量節(jié)點圖表的 圖。
[0012] 圖4是在多鏈條配置中針對從多個攝像機生成的事件的特征向量節(jié)點圖表的圖。
[0013] 圖5是在多視場配置中針對從多個攝像機生成的事件的特征向量節(jié)點圖表的圖。
[0014] 圖6是由監(jiān)視系統(tǒng)中的多個攝像機生成的場景的一組圖像。
【具體實施方式】
[0015] 為了有助于理解本文所述實施例的原理的目的，現(xiàn)在將參照附圖和隨后的書面說 明中的描述。并非由此意圖對主題的范圍進行限制。說明書還包括對所示出的實施例的任 意改變和修改，且包括本公開所屬領(lǐng)域的普通技術(shù)人員通常會想到的所述實施例的原理其 他應(yīng)用。
[0016] 在本文中，術(shù)語"場景"描繪了由監(jiān)視系統(tǒng)使用多個攝像機監(jiān)控的單個區(qū)域，所述 多個攝像機位于多個位置處以便從不同方向查看場景。場景的示例包括、但不限于房間、門 廳、廣場、出入路線、街道、十字路口、零售商店、停車場設(shè)施等。
[0017] 在本文中，術(shù)語"稀疏編碼"涉及用于生成相應(yīng)于大量輸入的數(shù)據(jù)的方法，所述數(shù) 據(jù)使用多個"基向量"和"稀疏權(quán)重向量"而編碼為向量。基向量使用懲罰優(yōu)化過程 (penalized optimization process)生成，所述懲罰優(yōu)化過程應(yīng)用于在訓(xùn)練過程期間提供 的多個預(yù)定輸入向量。在一個實施例中，現(xiàn)有技術(shù)已知的1:優(yōu)化過程用于生成相應(yīng)于多個 輸入訓(xùn)練向量的基向量和稀疏權(quán)重向量。所使用的涉及向量或者矩陣的術(shù)語"稀疏"描述具 有多個元素的向量或矩陣，其中給大多元素分配零值。在本文中，當(dāng)應(yīng)用于向量時術(shù)語"維 度"涉及向量中的元素的數(shù)量。例如，具有三個元素的行向量或者列向量稱為具有維度3,而 另一個具有四個元素的行向量或者列向量稱為具有維度4。
[0018] 在本文中，術(shù)語"元數(shù)據(jù)"涉及在視頻或者其它傳感器數(shù)據(jù)中所辨識的對象的特 性。例如，如果對象沿隨路徑穿過視頻攝像機的視場，則相應(yīng)于對象的元數(shù)據(jù)可選地包括對 象在視頻數(shù)據(jù)的幀中的二維位置、對象的速度、對象的動作方向、對象的大小以及對象存在 于攝像機的視場中的時間持續(xù)。如以下所描述的那樣，參照對象的所觀察的元數(shù)據(jù)來辨識 事件。元數(shù)據(jù)不要求以特定性來辨識對象。在一個實施例中，元數(shù)據(jù)不辨識對象是特定的人 或者甚至不辨識人類。然而，如果事件與預(yù)期的人動作相似，則替代的實施例推斷出元數(shù)據(jù) 相應(yīng)于人、如朝一個方向并且以相應(yīng)于人走過攝像機的速度動作的對象的元數(shù)據(jù)。附加地， 僅僅對于短的時間追蹤單個對象并且元數(shù)據(jù)不在延長的時間期間上辨識相同的對象。因 此，除為了以后的調(diào)取存儲視頻數(shù)據(jù)拍攝以外，所存儲的元數(shù)據(jù)和高興趣事件根據(jù)元數(shù)據(jù) 的辨識不需要個人可辨識信息(PII)的收集和存儲。
[0019] 在本文中，術(shù)語"特征向量"或更簡單地說"特征"是指與對象中的、在對象的視頻 數(shù)據(jù)中識別的區(qū)別結(jié)構(gòu)對應(yīng)的元數(shù)據(jù)向量。元數(shù)據(jù)中的每個元素也被稱為"特征描述符"， 且特征向量包括多個特征描述符。例如，人體或人體部分（比如臂和腿）的近似形狀在視頻 數(shù)據(jù)中被識別。人體不同于周圍環(huán)境，且特征向量包括在視頻數(shù)據(jù)中描述人體的方面的數(shù) 據(jù)，視頻數(shù)據(jù)例如包括場景中的對象的大小、位置和方位。如果視頻數(shù)據(jù)包括多個人，且每 個人可使用單個特征向量來描述，或每個人可使用用于不同身體部分(比如臂、腿、軀干等） 的多個特征向量來描述。
[0020] 在本文中，術(shù)語"詞典"是指使用稀疏編碼過程生成的多個基礎(chǔ)向量。當(dāng)詞典在訓(xùn) 練過程期間生成后，詞典中的基礎(chǔ)向量用于識別任意輸入向量與用于在訓(xùn)練過程期間生成 詞典中的基礎(chǔ)向量的輸入向量之間的相似度。優(yōu)化技術(shù)用于使用稀疏權(quán)重向量選擇基礎(chǔ)向 量的組合，以生成估計任意輸入向量的重構(gòu)向量。重構(gòu)的估計向量和實際的輸入向量之間 的識別誤差提供了輸入向量與詞典之間的相似度的度量。
[0021] 在本文中，術(shù)語"關(guān)鍵幀"是指在由場景中人或其他對象實施的動作的視頻序列中 被看做是代表整個動作的圖像幀。動作的視頻序列通常包括兩個或多個關(guān)鍵幀，且下文更 詳細(xì)描述的訓(xùn)練過程包括識別視頻序列中的有限的N個關(guān)鍵幀。特定事件的每個視頻序列 包括相同數(shù)量的N個關(guān)鍵幀，每個關(guān)鍵幀所出現(xiàn)的時間可根據(jù)視頻序列的角度以及在用作 訓(xùn)練數(shù)據(jù)的不同視頻序列之間變化。在訓(xùn)練過程期間從一個或多個角度記錄的受關(guān)注事件 包括視頻數(shù)據(jù)的一系列幀。例如，描述人從座位站立起來的視頻序列是事件。注釋者在來自 圍繞人定位的多個攝像機的視頻流中的人站立的視頻序列中識別關(guān)鍵幀。然后，事件處理 器或另一合適的處理裝置從所識別的關(guān)鍵幀提取特征，以便識別對應(yīng)于事件的一系列特征 向量。從不同視角描述由一個或多個人或?qū)ο髮嵤┑南嗤录囊唤M訓(xùn)練的多個視頻序列 形成了用于從視頻序列中的每個選擇關(guān)鍵幀的基礎(chǔ)。在訓(xùn)練數(shù)據(jù)中從視頻序列中選擇的關(guān) 鍵幀提取的特征形成了用于詞典的基礎(chǔ)，該詞典并入數(shù)據(jù)庫中，以用于識別由視頻監(jiān)視系 統(tǒng)所監(jiān)控的不同場景中的其他人或?qū)ο髮嵤┑念愃苿幼鳌?br>[0022] 在本文中，術(shù)語"同步幀"是指視頻數(shù)據(jù)的一幀，該幀在攝像機中生成且包括由攝 像機中的特征提取處理器提取的特征以形成完全特征向量。完全特征向量包括與視頻數(shù)據(jù) 的幀中的被識別特征對應(yīng)的所有數(shù)據(jù)。當(dāng)對象（比如人)移動通過場景時，隨后的圖像幀中 的視頻數(shù)據(jù)捕獲該移動，且特征提取處理器生成稀疏特征向量，所述稀疏特征向量僅包括 被識別特征中相對于包括該特征的先前幀、比如同步幀的變化。在一些實施例中，視頻攝像 機以定期間隔(例如視頻數(shù)據(jù)的每60幀一次)生成同步幀。本領(lǐng)域已知的特征向量提取技術(shù) 包括、但不限于維數(shù)約減技術(shù)，包括主分量分析、邊緣檢測和尺度不變特征變換。在一些實 施例中，場景中的被識別對象被編碼以方向梯度直方圖（H0G)外觀特征描