代?；ㄔ谶\動位置上生長，并且活動越多長得就越快越 r II〇
[0244] 在默認模式中，路人可以抬頭看顯示器，該顯示器顯示花正在他所走過的公共空 間中離奇地生長。付出更多的注意力，他可以發(fā)現(xiàn)花正沿著它自己的路徑和正在移動的人 的其他位置生長。他可以繼續(xù)或停止更主動地參與游戲。通過進行盡可能多的運動以嘗試 用花充滿空間來玩這個游戲。更多的游戲者會更快地填充屏幕。當他和/或人群成功地創(chuàng) 造出足夠大和漂亮的花園時，游戲停止，顯示游戲時間和視頻獎勵。
[0245] 接下來可以清除花朵空間，以準備下一次"種植"。下表顯示了在游戲期間收集的 統(tǒng)計數(shù)據(jù)的例子。
[0246]
[0247] 圖21顯示了游戲的截屏。在該截屏中，顯示的視頻幀包括戶外廣場的背景，該戶 外廣場是紐約大學理工學院校園的一部分。背景圖像中的人被移除并由花朵替代。就每一 幀而言，以逐漸變大的比例來從上到下對花進行渲染，以匹配相機視角并給出花從地面長 出的幻覺。
[0248] 在背景圖像的右側(cè)顯示兩個其他的可選視頻窗口。右下方的窗口顯示當前視頻， 右上方的窗口將實時場景活動向量特征顯示為顏色覆蓋，該顏色覆蓋表明運動的不同方向 (在該情況下，8種顏色對應(yīng)于8個方向）。在該窗口中可以看見活動區(qū)域的對應(yīng)關(guān)系，方向 特征，以及不同生長階段的花。可以實施附加的游戲以實現(xiàn)教育目的。
[0249] 廣告/數(shù)字招牌。前述方法實施方式還可以用于數(shù)字招牌，數(shù)字招牌是用于廣告， 信息和/或娛樂目的。舉例來說，當應(yīng)用于數(shù)字廣告簽名時，前述方法實施方式可以確定對 招牌上顯示的產(chǎn)品或服務(wù)的興趣等級。例如，當檢測到一大群人時，可以假定產(chǎn)品或服務(wù)對 公眾的吸引力很大。這種應(yīng)用因此可以作為營銷策略的一部分來實施。（實施方式還可以 用于非數(shù)字招牌）。
[0250] 此外，數(shù)字招牌正從單向（被動）信息流轉(zhuǎn)變?yōu)榫哂幸欢ǔ潭鹊碾p向（主動）信 息傳輸能力。例如，主動招牌可以是這樣的：主動招牌中的顯示系統(tǒng)捕獲與正在觀看招牌的 人相關(guān)的信息。捕獲的信息可以被處理以進行面部識別，從而確定觀看者的身份，年齡，和 /或性別，以及確定觀看者對招牌內(nèi)容，例如，廣告產(chǎn)品或服務(wù)的注意力程度或感興趣程度。 但是，在這些情況下，不與觀看者進行互動。
[0251] 根據(jù)一個實施方式，提供不同類型的，形式為互動顯示系統(tǒng)的招牌。該系統(tǒng)使一個 或多個觀看者-舉例來說-控制顯示器和/或與顯示系統(tǒng)的管理方進行交流。一個實施 方式對應(yīng)于互動公共相機系統(tǒng)，該系統(tǒng)是基于對于公眾可用的相機網(wǎng)絡(luò)的無所不在這一特 性。
[0252] 該實施方式的一個例子在圖22中顯示，它顯示了在一個或多個觀看者和數(shù)字招 牌之間發(fā)生的互動交流。在該示例中，智能相機捕捉包括觀看者的場景，觀看者通過相機積 極交流以控制顯示器的內(nèi)容。
[0253] 在另一個實施方式中，可以借助相機視頻以互動方式使用傳統(tǒng)的招牌。此外，在前 面的實施方式中，互動可以通過公共監(jiān)視器，智能電話，音頻系統(tǒng)發(fā)生，或者甚至人可以在 用戶的視覺請求下出現(xiàn)。這些實施方式的互動性還適合于與多群人一起使用，而不僅是一 個或兩個人。
[0254] 因此，前述實施方式提供了方法，該方法用于執(zhí)行運動特征過濾，從而對各種環(huán)境 和應(yīng)用中的擁擠或不擁擠場景的視頻中的事件進行檢測和/或分類。與其他方法不同，這 些實施方式中的至少一個是基于運動邊緣而非區(qū)域來檢測事件。也就是說，一個或多個運 動邊緣在視頻幀中，而非固定的像素塊區(qū)域中檢測到。為這些邊緣生成場景活動向量，并且 這些向量接下來被用于檢測和/或分類視頻中的事件。
[0255] 通過該方法，與光流技術(shù)和其他技術(shù)相比，可以根據(jù)時空梯度在統(tǒng)計學意義上計 算更高水平的運動特征，從而增加關(guān)于照明變化的魯棒性。
[0256] 根據(jù)這些方法中的一個或多個，考慮到和人及人群的復雜性和數(shù)量，采用自上而 下法。這些實施方式也可以用于顯示運動特征，事件檢測和多尺度表達是如何適合于檢測 不同類型的事件或事件特征的。這些方法中的至少一個涉及使用與在一定時間（或者多個 視頻幀）內(nèi)測量的場景活動向量一起生成的分數(shù)（或活動的幅度），多尺度位置，方向，和分 數(shù)的事件周期。
[0257] 圖23顯示了用于實施上述互動式實施方式的系統(tǒng)的圖。如圖所示，一個或多個視 頻源裝置2300可以相對于一個或多個反饋裝置2340共置。反饋裝置2340可以是音頻裝 置（揚聲器），視頻顯示器等。處理裝置2310從視頻源裝置2300接收視覺信息，并向反饋 生成器借口 2320發(fā)送輸出。處理裝置2300可以是圖1所示的裝置，其中視頻源50是視頻 源裝置2300,顯示器70可以形成反饋生成器借口 2320的一部分?；诟鶕?jù)處理裝置2310 的輸出的事件檢測，反饋生成器借口 2320可以控制反饋裝置2340生成反饋信息。例如，在 公共照片電話實施方式中，反饋生成器借口 2320處的官員可以從處理裝置2300 (例如，顯 示器70)接收告警，并且官員可以使告警在揚聲器（反饋裝置）上播放。與人工干預不同， 反饋生成器借口 2320可以是全自動化的。例如，在游戲應(yīng)用中，在反饋接口 2320(例如，計 算機系統(tǒng)）上運行的游戲應(yīng)用程序?qū)⑻幚硌b置2310的輸出轉(zhuǎn)換為視頻模式（例如，花），并 在顯示器（反饋裝置）上顯示這些視頻模式。
[0258] 因此，事件檢測實施方式的上述應(yīng)用使用來自一個或多個相機的視頻，從而在包 括公共安全，信息，監(jiān)控和跟蹤，以及游戲的多種環(huán)境中實現(xiàn)雙向通信。
[0259] 描述了示例實施方式，很明顯，這些示例實施方式可以不同方式變化。這些變化不 應(yīng)該被視為偏離了示例實施方式的精神和范圍，對于本領(lǐng)域技術(shù)人員而言顯而易見的所有 這些修改包括在權(quán)利要求的保護范圍內(nèi)。
【主權(quán)項】
1. 一種用于處理信息的方法，該方法包括： 接收包括至少一個運動中的對象的視覺信息； 定位所述視覺信息中的所述對象的至少一個空間邊緣； 在N個幀上為所述至少一個空間邊緣生成多個時空梯度，其中N> 3 ; 根據(jù)所述時空梯度生成運動模糊圖像； 對所述運動模糊圖像執(zhí)行回歸分析，以確定所述對象在所述N個幀中的運動方向信 息； 基于所述運動方向信息為所述N個幀生成場景活動向量；以及 基于為所述N個幀生成的場景活動向量在所述視覺信息中檢測事件。2. 如權(quán)利要求1所述的方法，其中生成所述時空梯度包括： 獲得所述N個幀中的每一個幀的空間邊緣圖像；以及 基于所述空間邊緣圖像中的一個相應(yīng)空間邊緣圖像和移動平均線確定所述時空梯度。3. 如權(quán)利要求2所述的方法，其中所述移動平均線是基于背景邊緣圖像的。4. 如權(quán)利要求2所述的方法，其中包括至少一個空間邊緣的區(qū)域小于所述N個幀的尺 寸。5. 如權(quán)利要求1所述的方法，其中所述對象的位置在所述N個幀中的一個或多個幀中 變化。6. 如權(quán)利要求1所述的方法，其中為所述N個幀生成所述場景活動向量包括： 將所述N個幀中的每一個幀劃分為塊； 確定每個塊的特征參數(shù)； 為每個塊生成場景活動向量；以及 基于為所述N個幀的每個塊生成的場景活動向量確定所述N個幀的場景活動向量。7. 如權(quán)利要求6所述的方法，其中所述特征參數(shù)包括以下參數(shù)中的一個或多個： 基于所述塊中的一個相應(yīng)塊中的非零方向值的和的第一參數(shù)； 基于所述塊中的一個相應(yīng)塊中的主導方向的第二參數(shù)； 基于所述塊中的一個相應(yīng)塊中的主導顏色的第三參數(shù)； 基于所述塊中的一個相應(yīng)塊中的運動的平均速度的第四參數(shù)； 基于所述塊中的一個相應(yīng)塊中的所述對象的運動方向的一致度或均勻度的第五參 數(shù)； 基于密度的第六參數(shù)；或 基于時頻的第七參數(shù)。8. 如權(quán)利要求7所述的方法，其中所述第二參數(shù)是基于所述塊中的一個相應(yīng)塊的運動 向量信息的。9. 如權(quán)利要求1所述的方法，其中檢測事件包括： 識別所述N個幀的場景活動向量的變化；以及 當所述場景活動向量的變化超過閾值至少K個幀時，確定發(fā)生了事件。10. 如權(quán)利要求1所述的方法，該方法還包括： 當M個幀的場景活動向量小于所述閾值時，確定所述事件的結(jié)束，其中M<N。11. 如權(quán)利要求1所述的方法，其中： 所述對象是一個或多個人，并且 所述事件對應(yīng)于所述一個或多個人的運動。12. 如權(quán)利要求1所述的方法，其中： 所述對象是交通，并且 所述事件對應(yīng)于一種類型的交通流量。13. 如權(quán)利要求1所述的方法，其中： 所述對象是游戲中的對象，并且 所述事件對應(yīng)于所述游戲中的活動。14. 一種用于處理信息的裝置，該裝置包括： 被配置為存儲控制程序的存儲區(qū)域；以及 被配置為基于所述控制程序?qū)σ曈X信息進行處理的控制器，所述控制器被配置通過通 過以下步驟處理所述視覺信息： 定位所述視覺信息中的所述對象的至少一個空間邊緣； 在N個幀上為所述至少一個空間邊緣生成多個時空梯度，其中N> 3 ; 根據(jù)所述時空梯度生成運動模糊圖像； 執(zhí)行回歸分析，以確定所述對象在所述N個幀中的運動方向信息； 基于所述運動方向信息為所述N個幀生成場景活動向量；以及 基于為所述N個幀生成的場景活動向量在所述視覺信息中檢測事件。15. 如權(quán)利要求14所述的裝置，其中所述控制器被配置為通過以下步驟生成所述時空 梯度： 獲得所述N個幀中的每一個幀的空間邊緣圖像；以及 基于所述空間邊緣圖像中的一個相應(yīng)空間邊緣圖像和移動平均線確定所述時空梯度。16. 如權(quán)利要求14所述的裝置，其中所述控制器被配置為通過以下步驟為所述N個幀 生成所述場景活動向量： 將所述N個幀中的每一個幀劃分為塊； 確定每個塊的特征參數(shù)； 為每個塊生成場景活動向量；以及 基于為所述N個幀的每個塊生成的場景活動向量確定所述N個幀的場景活動向量。17. 如權(quán)利要求16所述的裝置，其中所述特征參數(shù)包括以下參數(shù)中的一個或多個： 基于所述塊中的一個相應(yīng)塊中的非零方向值的和的第一參數(shù)； 基于所述塊中的一個相應(yīng)塊中的主導方向的第二參數(shù)； 基于所述塊中的一個相應(yīng)塊中的主導顏色的第三參數(shù)； 基于所述塊中的一個相應(yīng)塊中的運動的平均速度的第四參數(shù)； 基于所述塊中的一個相應(yīng)塊中的所述對象的運動方向的一致度或均勻度的第五參 數(shù)； 基于密度的第六參數(shù)；或 基于時頻的第七參數(shù)。18. 如權(quán)利要求14所述的裝置，其中所述控制器被配置為通過以下步驟在所述視覺信 息中檢測事件： 識別所述N個幀的場景活動向量的變化；以及 當所述場景活動向量的變化超過閾值至少K個幀時，確定發(fā)生了事件。19. 一種系統(tǒng)，該系統(tǒng)包括： 如權(quán)利要求16所述的裝置； 被配置為提供所述視覺信息的一個或多個視頻源； 被配置為生成反饋信息的一個或多個反饋裝置；以及 被配置為呈現(xiàn)來自所述處理裝置的輸出、并且被配置為控制所述反饋裝置生成所述反 饋信息的反饋生成器接口。20. 如權(quán)利要求19所述的系統(tǒng)，其中所述反饋裝置是音頻呈現(xiàn)裝置和視頻呈現(xiàn)裝置中 的至少一者。21. -種非瞬時性計算機可讀介質(zhì)，該非瞬時性計算機可讀介質(zhì)存儲一組可執(zhí)行指令， 當執(zhí)行時，所述指令將處理裝置被配置為執(zhí)行如權(quán)利要求1所述的方法。
【專利摘要】系統(tǒng)和方法處理包括至少一個運動中的對象的視覺信息。通過以下步驟對所述視覺信息進行處理：定位所述視覺信息中的所述對象的至少一個空間邊緣；在N個幀上為所述至少一個空間邊緣生成多個時空梯度；接下來根據(jù)所述時空梯度生成運動模糊圖像。對所述運動模糊圖像執(zhí)行回歸分析，以確定所述對象的運動方向信息，接下來基于所述運動方向信息為所述N個幀生成場景活動向量?；谒鰣鼍盎顒酉蛄吭谒鲆曈X信息中檢測事件。
【IPC分類】G06T7/20, H04N5/14
【公開號】CN105027550
【申請?zhí)枴緾N201380057713
【發(fā)明人】L·奧戈爾曼, T·K·霍, Y·殷
【申請人】阿爾卡特朗訊公司
【公開日】2015年11月4日
【申請日】2013年3月13日
【公告號】EP2918071A1, US20150235379, WO2014074139A1, WO2014074139A9