專利名稱：用于在圖像中識別虛擬視覺信息的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于在至少兩幅圖像中識別虛擬視覺信息(virtual visualinformation)的方法和裝置，所述至少兩幅圖像來自包括真實視覺信息及所述虛擬視覺信息的視覺場景的連續(xù)圖像的一個序列。
背景技術(shù)：
當(dāng)使用一個或多個攝像頭捕獲真實世界場景的時候，僅捕獲實際存在的而不是如通過投影來虛擬呈現(xiàn)的場景對象是滿足需要的。一種示例可以是未來的視頻會議系統(tǒng)用于使得多人之間能夠視頻會議，這些人物理上位于多個不同的會議室中。在該系統(tǒng)中，全部參與者被置于其中的虛擬環(huán)境可以通過在屏幕上的投影來呈現(xiàn)或者在真實會議室中存在的可用可視化設(shè)備中的一個或多個上被渲染。為捕獲所需的信息，比如哪些人正在參與、他們的運動、他們的表情等，諸如此類以使得該虛擬環(huán)境能夠被渲染，放置于不同會議室中的攝像頭被使用。然而，這些攝像頭不僅追蹤會議室中的真實人物和對象，還追蹤比如在這些相同會議室中的大屏幕上，被虛擬渲染的人物和對象。當(dāng)真實人物當(dāng)然需要被追蹤來使得能夠獲得更好的視頻會議體驗時，他們的投影卻不應(yīng)該被追蹤，或者至少應(yīng)該在隨后的步驟中被過濾出來。對該問題可能的現(xiàn)有解決方案使用固定放置的可視化設(shè)備，其與可導(dǎo)致簡單規(guī)則的校準攝像頭合作，以過濾不需要的虛擬信息。這可以被使用于在會議室中被固定放置的傳統(tǒng)屏幕。該解決方案的問題在于，其僅對相對靜態(tài)的場景有效，這些場景的組成是事先已知的。該解決方案也需要手動校準步驟，其在這些情況中呈現(xiàn)一個缺點，要求容易部署。另一個缺點關(guān)于該項事實，即與被投影的虛擬內(nèi)容的屏幕區(qū)域相對應(yīng)的被捕獲圖像的區(qū)域?qū)⒈贿^濾，而不考慮其內(nèi)容。當(dāng)該方案適合于較舊類型的屏幕時，其可能不再適合較新的屏幕技術(shù)，比如當(dāng)存在需要被顯示的事物時，如顯示一個人物講話的剪輯視頻，僅在特定區(qū)域處變?yōu)椴煌该鞯陌胪该髌聊?。在該情形中，對特定攝像頭被分配為“虛擬”的區(qū)域并非在全部時序?qū)嵗?instances in time)上均是如此。使用該方案更難以支持移動攝像頭。

發(fā)明內(nèi)容
本發(fā)明實施例的一個目的因此在于提供一種用于在至少兩幅圖像中識別虛擬視覺信息的方法，該至少兩幅圖像來自包括真實視覺信息和該虛擬視覺信息的視覺場景的連續(xù)圖像的一個序列，但該方法不存在現(xiàn)有技術(shù)方法的固有缺點。根據(jù)本發(fā)明的實施例，該目的通過包括以下步驟的方法來實現(xiàn):-對所述至少兩幅圖像中的至少一幅執(zhí)行特征檢測，-確定所檢測的特征在所述至少兩幅圖像之間的運動，由此獲得一個運動組，-識別所述組中屬于在基本垂直平面中的運動的運動，由此獲得一組垂直運動，-將屬于所述垂直運動的特征與所述至少兩幅圖像中的所述虛擬視覺信息關(guān)聯(lián)，以此來識別所述虛擬視覺信息。
通過該方式，垂直平面中的特征的運動檢測將被使用來識別與這些特征關(guān)聯(lián)的圖像部分的虛擬內(nèi)容。這些特征可以是所識別的對象，比如人物、或一個桌子、或一面墻、一個屏幕、一個椅子、或者它們的部分諸如嘴、耳朵、眼睛......這些特征也可以是角落、或線條、或梯度、或更復(fù)雜的特征比如由算法提供的特征，算法如眾所周知的尺度不變特征變換算法。
由于會議室內(nèi)的虛擬屏幕信息通常將包括會議參與者的圖像，其通常如通過說話、寫字、轉(zhuǎn)動他們的頭部等來顯示一些運動，并且由于屏幕位置可以被視為基本垂直的，對存在于該垂直平面中的運動的檢測，以下被標(biāo)識為垂直運動，可以作為將圖像中的虛擬視覺內(nèi)容識別為真實對象的真實運動的一種簡單方法，因此非投影的人物，通常是三維運動，從而不處于垂直平面中。由此所識別的虛擬視覺信息則可以進一步在下一圖像或視頻處理步驟中從圖像中過濾出來。
在本發(fā)明方法的一個實施例中，垂直運動被識別為所述運動組中通過單應(yīng)性與第二運動組中屬于所述特征的運動相關(guān)的運動，所述第二運動組是從第二圖像序列中的至少兩幅其它圖像獲得，并且所述至少兩幅其它圖像與所述第一圖像序列中的所述至少兩幅圖像屬于相同的時序?qū)嵗?timing instances)。
由于確定兩個運動組之間的單應(yīng)性是一種略微直接及簡單的操作，這些實施例提供了 一種簡單的在垂直平面中的運動檢測。這些運動通常對應(yīng)于被投影在垂直屏幕上的運動，因此作為虛擬視覺信息的運動的代表。
第一運動組在第一影像序列上被確定，同時第二運動組也從由第二攝像頭所捕獲的相同場景的圖像的第二序列被確定，或替代地，從僅包括虛擬信息的預(yù)定序列被確定。該預(yù)定序列可以比如對應(yīng)于被投影在屏幕上的序列，并且可以單獨影像或電視頻道的方式被提供至該裝置。
通過將第一序列的運動與第二序列的運動進行比較，并且識別哪些運動是單應(yīng)性相關(guān)的，可以推出，與第二序列中的一些運動具有單應(yīng)性關(guān)系的這些運動，因此是一個平面內(nèi)的運動，因為這是一種單應(yīng)性關(guān)系的特征。如果從場景信息中得知平面中不存在其它運動，比如全部人都在運動但仍坐在桌子周圍，可以得出，所檢測的運動是對應(yīng)于屏幕上運動的運動，由于平面中不存在其它運動，因此與存在于垂直平面中的運動相對應(yīng)。
然而，如果人物也在會議室周圍運動，運動也可以在地面的水平平面上被檢測。對于這些情況，一個額外的過濾出水平運動的過濾步驟，或替代地，一個額外的自平面中檢測到的全部運動中僅選擇在垂直平面中的運動的選擇步驟，是合適的。
一旦垂直運動被發(fā)現(xiàn)，屬于垂直運動的對應(yīng)特征的各個圖像部分則可以被識別為該虛擬視覺信息。
需要注意，垂直將相對于水平參考平面來被確定的，水平參考平面比如可以對應(yīng)于會議室的地面或?qū)?yīng)于第一攝像頭的水平參考平面。垂直角度典型地為相對該參考水平平面90度，在垂直角度上允許的誤差典型地為10度上下于該90度。
本發(fā)明也涉及用于執(zhí)行本發(fā)明方法實施例的裝置的實施例，并涉及包括用于執(zhí)行本發(fā)明方法的代碼的計算機程序產(chǎn)品，涉及包括該裝置的圖像分析裝置。
需要注意，術(shù)語“耦合”，用于權(quán)利要求中，不應(yīng)該被解釋為僅限制于直接連接。因此，表述“設(shè)備A與設(shè)備B相耦合”的范圍不應(yīng)該被限制為其中設(shè)備A的輸出直接連接至設(shè)備B的輸入的設(shè)備或系統(tǒng)。這意味著A的輸出與B的輸入之間存在一條路徑,其可以是包括其他設(shè)備或者裝置的路徑。需要注意，術(shù)語“包括”，用于權(quán)利要求中，不應(yīng)該被解釋為限制于其后所列出的裝置。因此，表述“設(shè)備包括裝置A和B”的范圍不應(yīng)該被限制為僅由元件A和B組成的設(shè)備。這意味著關(guān)于本發(fā)明，該設(shè)備的相關(guān)元件僅是A和B。


本發(fā)明的上述和其他目的和特征將變得更明顯，并且本發(fā)明自身將通過參閱以下結(jié)合附圖的實施例描述來被最好地理解。圖1示出本發(fā)明的方法的第一變形的高度概括實施例，圖2a_b示出了圖1中模塊200的更具體實現(xiàn)，圖3-6示出了本發(fā)明方法的其它變形的更具體實現(xiàn)。
具體實施例方式描述和附圖僅說明本發(fā)明的原理。因此它將被理解為本領(lǐng)域技術(shù)人員將能夠設(shè)計，盡管未在此被明確地描述或示出，體現(xiàn)本發(fā)明的原理并被包含于其精神和范圍內(nèi)的各種裝置。進一步地，在此所述的全部例子主要意在明確地僅用于教學(xué)目的來幫助讀者理解本發(fā)明的原理與發(fā)明人所貢獻的概念以促進本領(lǐng)域，并且將被解釋為沒有對這些具體列舉的例子和條件的限制。此外，在此所有列舉本發(fā)明的原理、方面及實施例的陳述，以及它們的具體示例，意在包括它們的等同方式。本領(lǐng)域技術(shù)人員應(yīng)能理解，任何框圖在此表示體現(xiàn)本發(fā)明原理的示例性電路的概念圖。類似地，還將理解，任何流程表、流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼，諸如此類，代表各種過程，其可以被充分地描述于計算機可讀介質(zhì)內(nèi)并因此被計算機或處理器執(zhí)行，無論這些計算機或處理器是否被明確示出。圖1示出本發(fā)明方法的第一實施例的高度概括圖解方案。自一個圖像序列中的兩幅圖像IOtO及IOti上，運動特征被提取。該圖像序列由一個源，比如單獨或內(nèi)置攝像頭、
網(wǎng)絡(luò)攝像頭，......被標(biāo)識為源O,來提供或記錄。在時序的兩個實例(two instances in
time),這些時序?qū)嵗?timing instances)被標(biāo)識為t0及ti,被標(biāo)識為100及101的步驟中，各自的圖像從該序列中獲取或選擇。兩個時序?qū)嵗浞值叵嗷シ蛛x，以檢測有意義的運動。這可以包括人類的運動，以及比如會議室中的其它項目的其它運動。典型值在0.1和2秒之間。運動特征提取發(fā)生在步驟200中，運動特征可以與特征的運動相關(guān)，比如運動矢量本身，或替代地，與屬于單個特征的運動矢量的起點和終點的集合有關(guān)，因此與關(guān)于運動本身的特征更相關(guān)。參照圖2來解釋用于確定特征的運動的方法。一旦特征的運動被確定，將在步驟300中被檢查其是否屬于垂直運動，因此本文檔中在垂直平面中的有意義運動。垂直平面被定義為在特定允許誤差內(nèi)與水平參考平面相對的平面。該水平參考面可以比如對應(yīng)于會議室的地面，或?qū)?yīng)于攝像頭或提供圖像的第一序列的源的水平參考平面。相對水平參考平面，垂直平面的典型值為80至100。垂直運動的確定是怎樣實現(xiàn)的，將參照如圖3來解釋。垂直運動被搜索，由于這涉及該項事實:待識別的虛擬信息通常與人物或被投影在垂直平面上的他們的化身的圖像相關(guān)。因此檢測垂直運動將使得能夠識別被投影的圖像/房間中人物的代表，其之后將被識別為虛擬信息。
用于確定特征運動是否存在于垂直平面中的方法將參照圖3-4被描述。
一旦特征在垂直平面中的運動被確定，這些特征將被識別并被關(guān)聯(lián)回至源的捕獲圖像中它們各自的圖像部分。這在步驟400及500中被執(zhí)行。這些圖像部分之后將被識別或被標(biāo)識為虛擬信息，如果合適，其可以被過濾出來。
圖2a_b示出了用于提取特征的運動的更具體實施例。在第一階段201和202，特征在兩幅圖像IOtO和IOti中被檢測和提取。特征可以涉及對象,也可以涉及更抽象的項，比如角落、線條、梯度、或更復(fù)雜特征如由算法提供的特征，算法如尺度不變特征變換算法，簡稱為Sift。特征提取可以使用標(biāo)準方法比如canny邊緣角落探測器或之前提到的Sift方法來完成。由于兩幅圖像IOtO和IOti均來自記錄相同場景的單個源所提供的相同序列，通過在兩幅圖像中識別相似或匹配特征來檢測運動是可能的。然而也可以(在圖中未被示出)僅在這些圖像中的一幅上檢測特征，并且之后通過對屬于該圖像中被檢測特征的全部像素確定運動矢量的傳統(tǒng)方法，通過用于確定像素或宏塊(macroblocks)之間的運動矢量的慣用塊匹配技術(shù)，確定特征的運動。
如圖2a_b所示的實施例中，特征提取因此在兩幅圖像中被執(zhí)行，所匹配特征之間的位移則提供了這些匹配特征之間的運動或運動矢量。這可以是每個特征有一個單個運動矢量，比如匹配對象的重力點的位移，或替代地，可以是一組用于識別組成對象的像素的位移的運動矢量。這也可以是用于替代方法的情形，其中特征提取僅在一幅圖像上被執(zhí)行，并且組成該特征的全部像素的位移被計算。同樣在此例中，單個運動矢量可以從該組運動矢量中選擇出來，用于表示該特征的運動矢量。
圖2a_b中一幅圖像與另一幅之間的特征匹配以及相應(yīng)的特征的運動的確定在步驟203中被執(zhí)行，因此導(dǎo)致每個匹配特征具有一個或多個運動矢量。該結(jié)果在圖2a-b中被標(biāo)識為運動矢量。為了僅選擇有意義的運動，可選的過濾步驟204可以存在。這可以被用于比如過濾掉如可歸于噪音的小的運動。該過濾步驟通常通過排除所有檢測到的低于特定閾值的運動來進行，該閾值通常與攝像頭的特征相關(guān)。
該可選過濾步驟的結(jié)果是可以作為有意義的運動的代表的運動矢量，因此處于特定噪音閾值之上。運動矢量可以據(jù)此被提供，如以圖2a中的方式，或，如圖2b中的可替代實施例，對每個特征集合其運動矢量起點及終點是合適的。
在下一階段，由此所檢測的特征運動，或替代地，與特征的運動相關(guān)的特征，將經(jīng)歷用于確定它們是否屬于在垂直平面中的運動的檢查。
圖3示出用于確定特征的運動是否處于垂直平面中的優(yōu)選實施例。在圖3的實施例中，這通過識別在所識別的特征的運動與相同特征的第二組運動之間是否存在單應(yīng)性關(guān)系的方法來進行。該第二運動組可以類似方法從由第二攝像頭或源所記錄的相同場景的圖像的第二序列來確定。該實施例在圖3中示出，其中第二源被標(biāo)識為源1，并且從第二源中選擇的圖像被標(biāo)識為IItO和Ilti。圖像IOtO及IItO將在相同的時序?qū)嵗?same instancein time)被獲取及標(biāo)識。同樣處理圖像IOti和Ilti,其時序?qū)嵗?timing instance)在此被標(biāo)識為ti。
替代地，第二序列可以由外部提供，比如來自適于創(chuàng)建用于被投影在垂直屏幕上的虛擬序列的合成應(yīng)用。該合成應(yīng)用可以作為提供待顯示在屏幕上的內(nèi)容的源被提供至該裝置，并因此僅包括虛擬信息，比如在大會議室中一起開會的全部人物的虛擬場景。從該僅包括虛擬信息的序列，圖像將在實例to和ti再一次被獲取，同時特征提取和特征運動確定操作被執(zhí)行。兩個所識別的特征運動組之后被提交至確定兩組的多個運動之間是否存在單應(yīng)性關(guān)系的步驟。單應(yīng)性關(guān)系的存在是屬于同一平面的指示。在此方面，多個運動組中的每個組各自關(guān)聯(lián)至將被獲得的各自的平面。圖3示出單應(yīng)性關(guān)系是如何被獲得的示例，即使用眾所周知的RANSAC算法，RANSAC為隨機抽樣一致性的縮寫。然而，替代的方法比如窮舉搜索(exhaustive searching)也可以被使用。該步驟的結(jié)果因此是一組或多組運動，每組屬于一個平面中的運動。跟隨該步驟之后的可以是僅選擇屬于垂直平面的運動組的可選的過濾或選擇步驟，尤其對于那些其它平面中的運動也將被期待的情形。這可以是，比如用于在房間中走動的人的情形，其也將創(chuàng)建在水平地面上的運動。在一些實施例中，攝像頭可以被假設(shè)為水平放置，因此代表參考水平平面，平面相對攝像頭的方向可以基于單應(yīng)性通過單應(yīng)性分解方法被計算，單應(yīng)性分解方法對于本領(lǐng)域技術(shù)人員是已知的并且比如公開于http://hal.archives-ouvertes.fr/docs/00/17/47/39/PDF/RR-6303.pdfo這些技術(shù)可以之后被用于自平面中的全部運動的組中選擇垂直運動。當(dāng)確定垂直運動，與它們有關(guān)的特征也再次被確定，隨后通過它們在圖像IOtO和IOti中各自部分上的映射，這些圖像部分于是被識別為屬于虛擬信息。在使用記錄相同場景的第二攝像頭或源的實施例的情形下，所識別的垂直運動也可以被關(guān)聯(lián)回至圖像IltO和Ilti中的特征和圖像部分。圖4示出與圖3相似的一個實施例，但包括額外的集合之前實例的步驟。該集合步驟使用之前時序?qū)嵗兴_定的特征，其在單應(yīng)性的確定時可能有幫助。圖5示出另一個實施例，但其中用于兩個源的多個時序?qū)嵗热缫曨l序列的多個幀，被追蹤來用于發(fā)現(xiàn)匹配特征。自追蹤個體特征的個體運動獲得的合成運動矢量之后將用于兩個序列。單應(yīng)性關(guān)系則將被搜索來用于沿合成的路徑運動的特征。這具有知曉相同運動路徑中的特征應(yīng)在相同單應(yīng)性的優(yōu)點。這降低了該問題的不受約束的程度，便于更容易的確定通過單應(yīng)性相關(guān)的特征。圖6示出通過追蹤沿著運動路徑的特征，合成運動矢量可以怎樣被使用的示例。這允許來執(zhí)行中間過濾操作，比如用于過小的運動。當(dāng)本發(fā)明的原理已經(jīng)結(jié)合具體的裝置被描述如上，可清楚地理解該描述僅通過舉例方式進行，且并非對本發(fā)明的范圍的限制，該范圍由所附的權(quán)利要求所限定。
權(quán)利要求
1.用于在至少兩幅圖像中識別虛擬視覺信息的方法，所述至少兩幅圖像來自包括真實視覺信息及所述虛擬視覺信息的視覺場景的連續(xù)圖像的第一序列，所述方法包括以下步驟: -對所述至少兩幅圖像中的至少一幅執(zhí)行特征檢測， -確定所檢測的特征在所述至少兩幅圖像之間的運動，由此獲得一個運動組， -識別所述組中屬于在基本垂直平面中的運動的運動，由此獲得一組垂直運動， -將屬于所述垂直運動的特征與所述至少兩幅圖像中的所述虛擬視覺信息關(guān)聯(lián)，以此來識別所述虛擬視覺信息。
2.根據(jù)權(quán)利要求1所述的方法，其中垂直運動被識別為所述運動組中通過單應(yīng)性與第二運動組中屬于所述特征的運動相關(guān)的運動，所述第二運動組是從第二圖像序列中的至少兩幅其它圖像獲得，并且所述至少兩幅其它圖像與所述第一圖像序列中的所述至少兩幅圖像屬于相同的時序?qū)嵗?br> 3.根據(jù)權(quán)利要求2所述的方法，其中所述第二圖像序列由記錄所述相同視覺場景的第二攝像頭提供。
4.根據(jù)權(quán)利要求2所述的方法，其中所述第二圖像序列中的所述至少兩幅圖像僅包括所述虛擬信息。
5.根據(jù)權(quán)利要求2所述的方法，進一步包括選擇垂直平面內(nèi)通過單應(yīng)性相關(guān)的運動的步驟。
6.根據(jù)權(quán)利要求1所述的方法，其中進一步包括基于在時間上相互分離來自所述第一序列選擇所述至少兩幅圖像，以此來使得所述特征的運動能夠確定。
7.根據(jù)權(quán)利要 求1所述的方法，其中所述基本垂直平面相對所述場景的水平參考平面具有80至100度的傾角。
8.用于在至少兩幅圖像中識別虛擬視覺信息的裝置，所述至少兩幅圖像來自包括真實視覺信息及所述虛擬視覺信息的視覺場景的連續(xù)圖像的第一序列，所述裝置適用于接收所述連續(xù)圖像的第一序列以及適用于 -對所述至少兩幅圖像中的至少一幅執(zhí)行特征檢測， -確定所檢測的特征在所述至少兩幅圖像之間的運動，由此獲得一個運動組， -識別所述組中屬于在基本垂直平面中的運動的運動，由此獲得一組垂直運動， -將屬于所述垂直運動的特征與所述至少兩幅圖像中的所述虛擬視覺信息關(guān)聯(lián)，以此來識別所述虛擬視覺信息。
9.根據(jù)權(quán)利要求8所述的裝置，進一步適用于將垂直運動識別為所述組中通過單應(yīng)性與第二運動組中屬于所述特征的運動相關(guān)的運動，其中所述裝置進一步適用于從提供給所述裝置的第二序列中的至少兩幅其它圖像獲得所述第二運動組，并且所述至少兩幅其它圖像與所述第一序列中的所述至少兩幅圖像屬于相同的時序?qū)嵗?br> 10.根據(jù)權(quán)利要求9所述的裝置，進一步適用于自第二攝像頭接收所述第二圖像序列，所述第二攝像頭與提供所述第一圖像序列至所述裝置的第一攝像頭同時記錄所述相同視覺場景。
11.根據(jù)權(quán)利要求9所述的裝置，其中所述第二圖像序列僅包括所述虛擬信息，從而所述裝置適用于自在所述裝置注冊為僅提供虛擬信息的視頻源接收所述第二圖像序列。
12.根據(jù)權(quán)利要求9所述的裝置，進一步適用于選擇垂直平面內(nèi)通過單應(yīng)性相關(guān)的運動。
13.根據(jù)權(quán)利要求8所述的裝置，進一步適用于自所述第一序列選擇所述至少兩幅圖像，以致所述至少兩幅圖像在時間上相互分離，以此來使得所述特征的運動能夠確定。
14.根據(jù)權(quán)利要求8所述的裝置，其中所述基本垂直平面相對所述場景的水平參考平面具有80至100度的傾角。
15.計算機程序，包括當(dāng)在數(shù)據(jù)處理裝置上被執(zhí)行時，適用于執(zhí)行如在先權(quán)利要求1至7中任一項所述的任何步驟的軟件。`
全文摘要
用于在至少兩幅圖像中識別虛擬視覺信息的方法，所述至少兩幅圖像來自包括真實視覺信息及所述虛擬視覺信息的視覺場景的連續(xù)圖像的第一序列，該方法包括以下步驟對所述至少兩幅圖像中的至少一幅執(zhí)行特征檢測，確定所檢測的特征在所述至少兩幅圖像之間的運動，由此獲得一個運動組，識別所述組中屬于在基本垂直平面中的運動的運動，由此獲得一組垂直運動，將屬于所述垂直運動的特征與所述至少兩幅圖像中的所述虛擬視覺信息關(guān)聯(lián)，以此來識別所述虛擬視覺信息。用于執(zhí)行該方法的實施例的裝置也被公開。
文檔編號G06K9/00GK103155002SQ201180048807
公開日2013年6月12日 申請日期2011年10月3日 優(yōu)先權(quán)日2010年10月6日
發(fā)明者唐尼·媞加替, 薩米·利芬斯, 馬滕·阿茲 申請人:阿爾卡特朗訊