專利名稱：三維場景的分析的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體涉及用于三維(3D)繪圖(mapping)的方法和系統(tǒng)，并特別涉及3D圖 (map)數(shù)據(jù)的處理。
背景技術(shù)：
在本領(lǐng)域中已知許多用于產(chǎn)生深度圖(depth map)的不同方法和系統(tǒng)。在本專利申請和權(quán)利要求中，術(shù)語“深度圖”是指場景的二維像素矩陣表示，其中每個像素分別對應(yīng)于場景中的一個位置并分別具有指示從某一參考位置到各自的場景位置的距離的像素值。 (換句話說，深度圖是圖像的形式，其中像素值指示場景中目標(biāo)的形貌信息，而不是亮度和 /或顏色)。通過例如向目標(biāo)投射激光斑紋圖案并檢測和處理該目標(biāo)的圖像，可以生成深度圖，如在PCT國際申請W02007/043036A1中所述，該申請的公開內(nèi)容以參引方式被納入本文。深度圖可以被處理，以分割和識別場景中的目標(biāo)。深度圖中人形形狀(指的是結(jié)構(gòu)類似于人的3D形狀)的識別以及從一個場景到另一個場景這些形狀的改變可以被用作控制計算機(jī)應(yīng)用(application)的手段。例如，PCT國際申請W02007/132451描述了一種計算機(jī)實現(xiàn)方法，其中深度圖被分割，以便發(fā)現(xiàn)人形身體的輪廓，該申請的公開內(nèi)容以參引方式被納入本文。輪廓被處理，以識別身體的軀干以及一個或多個肢體。通過分析深度圖中的至少一個被識別出的肢體的布置，產(chǎn)生一個輸入以控制運(yùn)行在計算機(jī)上的應(yīng)用程序。

發(fā)明內(nèi)容
本發(fā)明的實施方案提供用于從深度圖中提取信息的方法、裝置和軟件。因此，根據(jù)本發(fā)明的一個實施方案提供一種用于處理數(shù)據(jù)的方法，該方法包括接收場景的暫時的深度圖序列，所述場景包括靜態(tài)背景和隱藏所述背景一部分的一個或多個移動的前景目標(biāo)，所述深度圖包括像素矩陣，所述像素的至少一些具有各自的像素深度值并對應(yīng)于所述場景中的各自位置。數(shù)字處理器處理所述序列中的第一深度圖，以識別沒有被所述第一圖中所述移動的前景目標(biāo)所隱藏的所述靜態(tài)背景的第一部分。所述序列中至少一個第二深度圖被處理，以識別所述靜態(tài)背景的至少一個第二部分，由于所述前景目標(biāo)中的至少一個在所述序列上的運(yùn)動，所述第二部分不同于所述第一部分。所述處理器通過組合所述靜態(tài)背景中的至少所述第一部分和所述第二部分，構(gòu)造所述場景的背景模型。在一些實施方案中，所述方法包括基于所述背景模型，通過發(fā)現(xiàn)比所述背景模型更接近的像素來產(chǎn)生前景圖?？梢园l(fā)現(xiàn)人形體形，其包括屬于所述前景圖的像素和被發(fā)現(xiàn)屬于前一幀中人形體形的像素。在一個公開的實施方案中，所述方法包括識別所述深度圖中的平面地板(planar floor)。所述目標(biāo)中的一個的陰影可以在所述深度圖中被識別，并且投射陰影的目標(biāo)的深度可以被用于評估所述背景模型。通常，構(gòu)造所述背景模型包括響應(yīng)于在所述深度圖序列上所述背景中出現(xiàn)的變化，來更新所述背景模型。在一個公開的實施方案中，所述深度圖被成像組件所捕獲，并且所述方法包括評估所述序列中深度圖之間所述背景模型變化的程度，并且當(dāng)所述變化的程度超過預(yù)定閾值時，檢測所述成像組件已經(jīng)移動。根據(jù)本發(fā)明的一個實施方案，還提供一種用于處理數(shù)據(jù)的方法，包括接收場景的深度圖，所述場景包含一個或多個關(guān)于表面定位的目標(biāo)。數(shù)字處理器處理所述深度圖，以識別并產(chǎn)生所述表面的參數(shù)模型；以及通過將由所述參數(shù)模型表示的所述表面從所述深度圖中移除，分割所述場景中所述一個或多個目標(biāo)。在一個公開的實施方案中，所述表面是對應(yīng)于地板的平面表面，在所述地板上定位有所述目標(biāo)中的至少一個。處理所述深度圖包括計算所述深度圖中所述像素的局部法線 (local normal)，并且根據(jù)由所述局部法線所預(yù)測的平面來聚集所述像素，以識別所述平面表面。通常，所述深度圖被成像組件所捕獲，并且所述聚集操作包括處理所述像素的至少一些的各自深度值，以預(yù)測所述成像組件相對于每個像素的高度，以及聚集具有相同的所述成像組件預(yù)測高度的像素。附加地，根據(jù)本發(fā)明的一個實施方案提供一種用于處理數(shù)據(jù)的方法，包括接收包含人形形狀的場景的深度圖。數(shù)字處理器處理所述深度圖，以識別所述場景中的三維連接分量(3D connected component)。每個連接分量包括一組相互鄰近并具有相互鄰近深度值的像素。所述處理器將分離的連接分量識別為屬于所述人形形狀，并產(chǎn)生包括一些連接分量的所述人形形狀的表示。在一個公開實施方案中，處理所述深度圖包括定位所述深度圖的邊緣和所述邊緣之間的像素塊，并且聚集相鄰的三維像素塊以識別所述3D集群(cluster)。在一些實施方案中，接收所述深度圖包括接收暫時的深度圖序列，并且識別所述連接分量包括在所述序列中的多個連續(xù)深度圖上跟蹤所述連接分量。跟蹤所述連接分量可以包括為屬于所述序列中第一深度圖中的相同人形形狀的連接分量分配公共標(biāo)識符 (common identifier)，并使用所述公共標(biāo)識符來確定所述連接分量屬于隨后的第二深度圖中的所述人形形狀。通常，分配所述公共標(biāo)識符包括用所述公共標(biāo)識符標(biāo)注所述深度圖中所述連接分量的像素。當(dāng)所述第二深度圖中的所述人形形狀與另一個目標(biāo)接觸時，由此導(dǎo)致所述第二連接分量包含其他目標(biāo)，可以使用所述公共標(biāo)識符將屬于所述人形形狀的所述第二連接分量的被標(biāo)注像素從屬于其他目標(biāo)的像素中分離，以產(chǎn)生出現(xiàn)在所述第二深度圖中的所述人形形狀的表示。額外地或可替代地，跟蹤所述連接分量包括估計所述連接分量的運(yùn)動速度，以及產(chǎn)生所述表示包括使用被估計的速度保持所述人形形狀的被遮擋部分的識別。在一個實施方案中，所述深度圖中的所述人形形狀被另一個目標(biāo)部分地遮擋，并且所述連接分量對應(yīng)于被該遮擋目標(biāo)分離的所述人形形狀的各部分，并且產(chǎn)生所述表示包括識別這種情況并將所述連接分量保留在所述人形形狀的表示中。再者，根據(jù)本發(fā)明的一個實施方案提供一種用于處理數(shù)據(jù)的裝置，包括成像組件， 該成像組件被配置為產(chǎn)生場景的深度圖，所述場景包含一個或多個關(guān)于表面定位的目標(biāo)。 處理器被配置為處理所述深度圖，以識別并產(chǎn)生所述表面的參數(shù)模型，并通過將由所述參數(shù)模型表示的所述表面從所述深度圖中移除來分割所述場景中所述一個或多個目標(biāo)。根據(jù)本發(fā)明的一個實施方案，還提供一種用于處理數(shù)據(jù)的裝置，包括成像組件，該成像組件被配置為產(chǎn)生包含人形形狀的場景的深度圖。處理器被配置為處理深度圖，以識別所述場景中的三維(3D)連接分量，每個連接分量包括一組相互鄰近并具有相互鄰近深度值的像素，將分離的連接分量都識別為屬于所述人形形狀，并且產(chǎn)生包括一些連接分量的所述人形形狀的表示。根據(jù)本發(fā)明的一個實施方案，還提供一種計算機(jī)軟件產(chǎn)品，包括有形的計算機(jī)可讀介質(zhì)，其中程序指令被儲存在所述計算機(jī)可讀介質(zhì)中，當(dāng)指令被計算機(jī)讀取時，計算機(jī)接收場景的暫時的深度圖序列，所述場景包含靜態(tài)背景和隱藏所述背景一部分的一個或多個移動的前景目標(biāo)，并且執(zhí)行上述方法中的一個或多個。參照附圖，從下文實施方案的詳細(xì)描述中能夠更完整地理解本發(fā)明。


圖1是根據(jù)本發(fā)明的一個實施方案的用于3D繪圖和場景分析的系統(tǒng)的示意性圖示；圖2是示意性示出根據(jù)本發(fā)明的一個實施方案的3D成像組件和相關(guān)計算機(jī)的元件的框圖；圖3是示意性示出根據(jù)本發(fā)明的一個實施方案的用于3D場景分析的方法的流程圖；圖4是示意性示出根據(jù)本發(fā)明的一個實施方案的用于識別3D場景中地板的流程圖；圖5是根據(jù)本發(fā)明的一個實施方案的深度圖的示意性正面表示，所述深度圖示出了對應(yīng)于已經(jīng)在深度圖中被識別的目標(biāo)的塊；圖6是根據(jù)本發(fā)明的一個實施方案的深度圖的示意性俯視圖，所述深度圖示出了已經(jīng)在深度圖中被識別的塊的集群；以及圖7是根據(jù)本發(fā)明的一個實施方案的深度圖的示意性正面表示，所述深度圖示出了目標(biāo)在深度圖中的分割。
具體實施方案概述深度圖提供有價值的信息，尤其是當(dāng)深度圖被連續(xù)呈現(xiàn)時。然而，基于深度圖的游戲和其他應(yīng)用僅因為從這些深度圖中捕獲、處理和提取高級信息的固有困難而發(fā)展緩慢。下文中描述的本發(fā)明的實施方案通過提供用于處理深度圖，尤其是用于定位和跟蹤深度圖序列中人形形狀的強(qiáng)健、有效的方法來解決這些困難。這些深度圖通常表示包含靜止背景和一個或多個移動的前景目標(biāo)(隱藏了背景的一部分)的場景。在公開的實施方案中，數(shù)字處理器識別和建模背景，該背景包括通常在室內(nèi)場景的背景中出現(xiàn)的地板和墻壁。處理器使用模型，以便于檢測遮擋了背景模型的前景中的人形形狀的各部分(并因此會被認(rèn)為從此屬于前景)，并可以將它與不在前景中的形狀的其他部分關(guān)聯(lián)。為了識別和跟蹤感興趣的形狀，尤其是人形形狀，處理器分析移動的前景目標(biāo)。在一些公開的實施方案中，處理器通過識別每個深度圖中不被前景目標(biāo)隱藏的靜態(tài)背景的各部分來構(gòu)造背景模型。由于前景目標(biāo)從一個圖移動到另一個圖，所以背景中的不同部分通常在不同圖中顯現(xiàn)。處理器通過組合序列中的不同圖的靜態(tài)背景的不同部分來創(chuàng)建背景模型。附加地，處理器可以特別地識別具有可以被參數(shù)建模的特定幾何形狀的表面，尤其是平坦表面，例如地板和墻壁，這些表面構(gòu)成背景的一部分。為此，在一個實施方案中，通過考慮相鄰像素處的深度值，處理器計算深度圖中像素的局部法線。為了識別地板和其他可能的平面表面，處理器使其局部法線大致指向相同方向的像素聚集。通過識別深度圖中3D連接分量，處理器從場景中提取人形形狀(以及其他可能感興趣的目標(biāo))。每個連接分量包括一組相互鄰近并具有相互鄰近深度值的像素，這意味著相鄰像素的深度值不能偏離多于(小)預(yù)定的閾值量。為了計算人形形狀的幾何模型，處理器識別和跟蹤這些連接分量，所述幾何模型然后可以被進(jìn)一步處理，以識別高級特征，例如身體姿勢、移動和手勢。盡管理想地，每個人形形狀應(yīng)該作為單個連接分量出現(xiàn)，但由于場景本身的各方面原因，常常會發(fā)生的是給定的人形形狀會作為一組兩個或更多個分離的連接分量出現(xiàn)。 這個分離使得完全識別人形形狀變得困難，更不要說對高級特征建模。例如，在一些深度圖中，人形形狀可以被另一個目標(biāo)部分地遮擋，從而該形狀被分成兩個或更多個分離的連接分量。在其他情況中，人形形狀的一個部分可以部分地遮擋深度圖中另一個部分。然而， 在下文描述的實施方案中，處理器為構(gòu)成給定人形形狀的所有連接分量分配一個公共標(biāo)識符，并且在跟蹤這些連接分量時使用該標(biāo)識符，即使當(dāng)這些連接分量變得分離或者彼此遮擋時也是如此。這些實施方案的方法使得處理器能夠解決異常情況并產(chǎn)生人形形狀的連續(xù)表示(即使面對遮擋時)。系統(tǒng)描述圖1是根據(jù)本發(fā)明的一個實施方案的3D用戶界面系統(tǒng)20的示意性圖示。用戶界面基于3D成像組件22，該成像組件22捕獲包括用戶觀和用戶30的身體的至少一部分的 3D場景信息。組件22也可以捕獲場景的彩色視頻圖像。組件22輸出包含3D圖數(shù)據(jù)(以及可能的彩色圖像數(shù)據(jù))的幀序列到計算機(jī)對，計算機(jī)M從圖數(shù)據(jù)中提取高級信息。該高級信息經(jīng)由API被提供給在計算機(jī)M上運(yùn)行的應(yīng)用，計算機(jī)M相應(yīng)地驅(qū)動顯示器26。在畫出的實施例中，例如，用戶觀和用戶30通過移動他們的肢體和改變身體姿勢與在計算機(jī) 24上運(yùn)行的游戲軟件互動。為了重新構(gòu)造包含用戶觀和用戶30的場景的深度圖(也被稱為“3D圖”)，計算機(jī)M處理由組件22產(chǎn)生的數(shù)據(jù)。在一個實施方案中，組件22在場景上投射斑點圖案并且捕獲被投射圖案的圖像。接著，基于圖案中斑點的橫向位移，組件22或計算機(jī)M通過三角測量(triangulation)計算場景中各點(包括用戶身體表面上的點)的3D坐標(biāo)。該方法的優(yōu)勢是不需要用戶持有或佩戴任何類型的信標(biāo)、傳感器或其他標(biāo)記。該方法給出相對于離組件22特定距離處的預(yù)定參考平面的場景中各點的深度坐標(biāo)。用于此類使用投射圖案的、 基于三角測量的3D繪圖的方法和設(shè)備例如在PCT國際申請W02007/043036、W02007/105205 和TO2008/120217中描述，這些申請的公開內(nèi)容以參引方式被納入本文。或者，基于單個或多個本領(lǐng)域公知的攝像機(jī)或其他類型的傳感器，系統(tǒng)20可以使用其他3D繪圖方法。在本實施方案中，在用戶移動他們身體的同時，系統(tǒng)20捕獲和處理包含用戶觀和用戶30的三維(3D)圖序列。在組件22和/或計算機(jī)M上運(yùn)行的軟件處理3D圖數(shù)據(jù)，以提取對應(yīng)于場景中用戶的人形形狀。為此(如將在下文詳細(xì)描述的)，軟件識別和建模靜態(tài)場景背景，包括平面表面——例如地板32和墻壁34，以及其他背景目標(biāo)，例如在該實施例中的窗戶36。為了檢測和跟蹤用戶觀和用戶30的人形形狀以及其他前景目標(biāo)(例如椅子 38)，該軟件將圖像中的前景部分與所檢測的人形形狀的部分結(jié)合。為了提取每個身體的骨架，組件22或計算機(jī)M通常分析人形形狀的幾何特征，包括用戶的手和關(guān)節(jié)的3D位置以及方向。為了識別手描繪的手勢，也可以分析手在多個幀上的軌跡。然而，系統(tǒng)20的這些操作方面超出了本專利申請的范圍。骨架和手勢信息經(jīng)API 提供給運(yùn)行在計算機(jī)M上的應(yīng)用程序。作為對骨架和/或手勢信息的響應(yīng)，該程序例如可以移動和修改呈現(xiàn)在顯示器26上的圖像。計算機(jī)M通常包括通用計算機(jī)處理器，該處理器被用軟件編程以執(zhí)行下文描述的功能。所述軟件例如可以經(jīng)網(wǎng)絡(luò)以電子形式被下載到處理器，或者可以作為替代地在有形的、非短暫介質(zhì)——例如光、磁或電子存儲介質(zhì)——上提供。替代地或額外的，所描述的計算機(jī)的部分或全部功能可以在專用硬件——例如定制集成電路或者半定制集成電路或者可編程數(shù)字信號處理器(DSP)——中實施。盡管在圖1中以實施例方式將計算機(jī)M顯示為成像組件22的分離單元，但是計算機(jī)的部分或全部處理功能可以由合適的微處理器和軟件執(zhí)行，或者由成像組件殼內(nèi)或者與成像組件相關(guān)聯(lián)的專用電路執(zhí)行。作為另一個替代，至少部分的處理功能可以由合適的處理器執(zhí)行，所述處理器與顯示屏沈(例如在電視機(jī)中)或者任何其他合適類型的計算機(jī)化設(shè)備——例如游戲控制器或媒體播放器——集成。組件22的感應(yīng)功能同樣可以集成到計算機(jī)或其他被傳感器輸出控制的計算機(jī)化裝置。圖2是示意性示出根據(jù)本發(fā)明的一個實施方案的系統(tǒng)20中成像組件22和計算機(jī) 24的元件的框圖。成像組件22包括照射子組件42，照射子組件42在感興趣的場景上投射圖案。深度成像子組件44——例如合適配置的攝像機(jī)，捕獲場景上圖案的圖像。通常，照射子組件42和成像子組件44在紅外范圍內(nèi)運(yùn)行，盡管也可以使用其他頻譜范圍。可選地，彩色攝像機(jī)46捕獲場景的2D彩色圖像，并且麥克風(fēng)48也可捕獲聲音。處理器50從子組件44接收圖像，并且將每個圖像中的圖案與存儲器52中存儲的參考圖案對比。參考圖案通常通過預(yù)先投射圖案到距離組件22 —已知距離的參考平面來捕獲。一般來說，該平面垂直于子組件44的光軸。處理器50計算子組件44捕獲的圖像中圖案的各部分相對于參考圖案的局部位移，并將這些位移轉(zhuǎn)化為深度坐標(biāo)。該過程的細(xì)節(jié)例如在PCT國際申請WO 2010/004542中描述，該申請的公開內(nèi)容以參引方式被納入本文。 作為替代地，如前文注意到的，組件22可以被配置為通過本領(lǐng)域公知的其他手段——例如立體成像或飛行時間(time-of-flight)測量——產(chǎn)生深度圖。處理器50經(jīng)由通信鏈路54——例如通用串行總線(USB)連接，將深度圖輸出到計算機(jī)M合適的接口 56。計算機(jī)包括帶有存儲器60和用戶接口 62的中央處理單元(CPU) 58， 該計算機(jī)驅(qū)動顯示器26并且也可以包括其他部件。如上文注意到的，成像組件22可以替代地僅輸出來自子組件44的原始圖像，并且上文描述的深度圖計算可以由CPU 58用軟件執(zhí)行，或者下文中提到的CPU 58所具有的功能的至少一部分可以由處理器50執(zhí)行。用于從深度圖中提取高級信息的軟件可以運(yùn)行在處理器50、CPU 58或者二者上；并且在本專利申請和權(quán)利要求中的所提到的CPU或處理器應(yīng)該被理解為指的是這些元件中的一個或二者。如下文將詳細(xì)描述的，CPU 58通常運(yùn)行一個或多個應(yīng)用程序，所述應(yīng)用程序基于經(jīng)API由中間件提供的信息驅(qū)動用戶接口 62。場景分析方法圖3是示意性示出根據(jù)本發(fā)明的一個實施方案的用于3D場景分析的方法的流程圖。為了清楚，參考上文描述的系統(tǒng)20的部件以及圖1和圖2示出的元件來描述該方法。 然而，該方法的原理基本可以在任何合適的用于深度繪圖和分析的系統(tǒng)中實施。同樣為了描述的方便和清楚，假設(shè)該方法的步驟由CPU 58在軟件中執(zhí)行，但是替代地，這些步驟的一部分或全部可以由處理器50或另外的合適的數(shù)字處理器執(zhí)行。在深度圖輸入步驟70，計算機(jī)M從成像組件22接收暫時的深度圖序列。深度圖通常由成像組件在固定的幀速率下以視頻圖像的通用格式輸出，帶有光柵順序的像素值。 (因此在本文中的序列中的圖也被稱作圖幀(map frame)，或者簡化為幀)。深度圖中的像素值可以是實際的深度坐標(biāo)值或圖案視差(disparity)值(以像素為單位)，所述像素值與實際的深度值有已知的單調(diào)關(guān)系。該方法在序列中每個圖幀上迭代執(zhí)行。在地板建模步驟72，CPU 58分析每個深度圖以定位和建模地板32。該步驟將在下文參考圖4詳細(xì)描述。地板位置(或者靜態(tài)背景的其他部分)的明顯變化可以給CPU提供攝像機(jī)已經(jīng)移動的指示，例如由于被一個用戶偶然或故意的接觸。CPU將已經(jīng)被識別屬于地板平面的像素從深度圖中除去，通常通過將這些像素的深度值賦值為零來實現(xiàn)。在背景構(gòu)造步驟74，遍經(jīng)圖幀序列，CPU 58逐漸建立場景背景的模型。對于每一個像素，CPU存儲整個序列上的最大深度值(或者等價地，與參考圖像比較的最大視差)。 背景中的像素的深度值是該像素隨時間的最大視差值。如果對于多于特定數(shù)量的連續(xù)幀， 像素都沒有可提供的深度值(不是因為陰影)，則背景模型會在此像素處丟失其值。如果像素是由于陰影不具有深度值，并且投射該陰影的目標(biāo)比當(dāng)前背景深度值還要遠(yuǎn)，則像素會失去其當(dāng)前背景值。如果背景模型中的像素不具有深度值且在當(dāng)前幀中具有一個值，并且包含該像素的前景連接分量與背景相鄰，則該像素的背景值會變成當(dāng)前值。對于屬于給定圖中移動目標(biāo)的像素，CPU 58可以在這些像素被前景目標(biāo)阻擋之前或者在前景目標(biāo)已經(jīng)移走之后為這些像素存儲背景值。例如，在圖1示出的場景中，窗36 的區(qū)域被用戶30的頭部遮掩，但是當(dāng)用戶在隨后的圖幀中改變其姿勢時，同一區(qū)域可以顯現(xiàn)給成像組件22。因此，遍經(jīng)多個幀，作為在每個幀中顯現(xiàn)的背景的不同部分的組合，CPU 58累積地建立背景模型。如上文示出的，前景目標(biāo)——例如用戶觀和用戶30的身體——可以在其后面的目標(biāo)上投射陰影，結(jié)果是成像組件22將不能提取陰影中的深度值。為了避免由于陰影而造成的深度圖中的假象，CPU 58將鄰近一個目標(biāo)的沒有深度值的區(qū)域識別為屬于該目標(biāo)。陰影被允許包括只到特定最大陰影寬度的像素，而特定最大陰影寬度是由深度圖中前景部分和背景部分之間的圖案位移差所決定。幾何上示出最大陰影寬度(以像素為單位)是前景目標(biāo)和背景目標(biāo)之間圖案位移差的最大值的1/8。CPU 58可以計算陰影圖像，指示圖的陰影區(qū)，以在控制背景模型的更新時作為屏蔽(mask)使用。為了消除隨后處理中可能增加噪聲的假象，CPU 58可以“轉(zhuǎn)儲(dump)”背景模型。例如，如果CPU檢測給定區(qū)域中的連接分量處于的深度接近在該區(qū)域中背景模型的深度，則它可以根據(jù)所述連接分量的值來修正背景模型的深度值。另一方面，如果CPU已經(jīng)跟蹤前面幀的連接分量，并且識別它為人形形狀的一部分(或者至少是人形形狀一部分的候選)，則保持分離，即使當(dāng)連接分量接觸背景時也是如此。遍經(jīng)特定數(shù)量的幀，帶有前景深度值的且沒有被識別作為移動目標(biāo)一部分的像素同樣可以被附到背景中。在分量檢測步驟76，CPU 58移走地板，并隨后試圖在前景像素和仍留在圖中的之前被檢測的像素之中發(fā)現(xiàn)可以對應(yīng)于人形形狀各部分的3D連接分量。CPU可以將之前沒有被識別作為人形形狀各部分并且不是前景的像素“移除”到前景深度值的范圍外(通過分配所述像素人為深度值)，以使得這些像素不被認(rèn)為是前景像素的分割，但是仍被認(rèn)為是用于其它用途(將在下文描述)的場景分量。CPU分配標(biāo)識符來標(biāo)注它已經(jīng)發(fā)現(xiàn)的每個3D連接分量，并計算連接分量的屬性， 包括1.像素數(shù)量；2.包含所述連接分量的邊界框；3.質(zhì)量中心；4.面積；5.前景像素的數(shù)量(假設(shè)連接分量的一部分具有背景深度值)；6.其他附近連接分量的標(biāo)識符。作為替代或額外的，可以計算和存儲其他屬性。 CPU在跟蹤人形形狀從一幀到另一幀的移動中使用標(biāo)識符和連接分量屬性。因此，給定幀中的連接分量通常由前景像素和被發(fā)現(xiàn)屬于前一幀中人形形狀的像素組成。在集群檢測步驟78，CPU 58處理深度圖以識別新的3D集群。這些集群可以對應(yīng)于沒有在前面的幀中識別的人形身體，并且當(dāng)系統(tǒng)開始運(yùn)行時，其本身被用于在人形形狀的初始識別中。步驟78在下文中會參考圖5和圖6做更詳細(xì)地描述。在步驟78，識別的集群由具有近似相同深度值的相鄰的像素塊構(gòu)成，所述塊被聚集成具有相互鄰近深度值的3D集群。跟蹤在連續(xù)幀中出現(xiàn)的且具有不大于預(yù)定閾值(例如，IOcm)的相對移動的集群。CPU在每個候選集群周圍建立邊界框并跟蹤它在多個連續(xù)圖幀上的移動。CPU將累積移動大于一些最小閾值(例如，20cm)的候選識別為移動目標(biāo)。為此，移動被定義為集群的兩個邊緣的移動，即左側(cè)和右側(cè)都應(yīng)大體在相同方向上移動。在分割步驟80，CPU 58處理在步驟76和步驟78發(fā)現(xiàn)的連接分量和集群，為的是分割和識別可以對應(yīng)于人形身體各部分的分量。在分量集合步驟82，它將相鄰的分量集合在一起，以重構(gòu)人形身體形狀。該步驟可以包括若干子操作。在簡單的情況中，人形形狀會作為單個3D連接分量出現(xiàn)，并且以此被標(biāo)注。這種形狀可以很容易被識別，例如通過執(zhí)行校準(zhǔn)過程，其中用戶以規(guī)定的姿勢面對成像組件22站立。所述過程幫助CPU 58在計算機(jī) 24上運(yùn)行游戲或其他應(yīng)用的同時，隨著用戶隨后的移動而跟蹤用戶身體各部分，在其他情況中，在粘合(gluing)子步驟84，CPU 58可能需要集合不同深度的兩個或更多個連接分量，以構(gòu)成單個人形身體形狀。如上文注意到的，如果整個形狀在前一個圖幀中被識別，則公共標(biāo)識符和元數(shù)據(jù)可以被用于保持各分量之間的聯(lián)系。額外地或作為替代地，互相鄰近的未標(biāo)注的移動的連接分量可以被集合，并且被分配一個公共標(biāo)識符(即使之前沒有被標(biāo)注)。另一方面，當(dāng)用戶接觸前景目標(biāo)(包括另一個用戶)時，所述用戶和目標(biāo)可以暫時地作為單個3D連接分量出現(xiàn)在所述圖幀的一個或多個中。在這種情況中，CPU 58可以錯誤地分配給它們一個公共標(biāo)識符。隨后，當(dāng)用戶從目標(biāo)處移開時，在深度圖中可以有兩個帶有相同標(biāo)識符的獨立的連接分量。在這種情況中，CPU可以重設(shè)標(biāo)識符并重建實際對應(yīng)于用戶身體的3D連接分量(或多個分量)。作為替代地，在這類情況中，CPU 58可以使用在前一個幀中分配的標(biāo)識符，以將屬于用戶身體的合并連接分量的被標(biāo)注像素從屬于與所述身體接觸的其他目標(biāo)的像素中分離。因此，盡管有接觸，但CPU能夠正確地分割身體。特別是當(dāng)所述其他目標(biāo)是另一個用戶時，CPU會為屬于場景中兩個(或更多個)不同人形形狀中的每一個的像素分配不同的特定標(biāo)識符。然后，已經(jīng)被分配到一個幀的不同標(biāo)識符可以被用在隨后的幀中，以將合并連接分量的像素中的每一個分配到正確的身體。當(dāng)在一個或多個深度圖中一部分人形形狀被另一個目標(biāo)遮擋時，會出現(xiàn)一些具體的困難。在遮擋檢測步驟86，CPU 58檢測并解決這些異常。該步驟會在下文參考圖7做更詳細(xì)地描述。在總結(jié)步驟82，在大部分情況中，所有的人形形狀已經(jīng)被識別。對于這些人形形狀的每一個，CPU 58分配一個公共標(biāo)識符，以標(biāo)注組成所述形狀的所有3D連接分量。CPU用合適的標(biāo)識符標(biāo)注屬于這些連接分量的所有像素。(不屬于任何人形形狀的像素接受空的標(biāo)識符。)結(jié)果是得到了分割的深度圖，該深度圖隨后可以被進(jìn)一步處理，以提取人形形狀的骨架。同時，在圖3方法的下一次迭代中，在處理CPU在步驟70接收的下一個深度圖時， 被標(biāo)注的像素的矩陣被用作偏差(cbparture)點。地板檢測圖4是示意性示出根據(jù)本發(fā)明的一個實施方案的在步驟72中使用的用于檢測3D 場景中地板的方法的詳情的流程圖。該地板在場景中被限定為平面表面，其被期望位于深度圖的下部。場景中的任何平面都滿足形式為AX+BY+CZ+D = 0的方程，其中(X，Y，Z)是空間中坐標(biāo)，并且Α，B，C和D是常量。對于基于投射圖案的視差值s的深度圖(在每個像素 (x，y)處計算)，平面方程可以關(guān)于像素坐標(biāo)和位移值(x，y，s)進(jìn)行重鑄，其中常量被適當(dāng)調(diào)整。因此，圖4的方法以及圖2中示出的方法的其他方面可以在原始圖數(shù)據(jù)上執(zhí)行，甚至在計算實際深度值之前。在(x，y，s)域中的計算細(xì)節(jié)在上文提及的臨時專利申請中描述。在地板發(fā)現(xiàn)步驟90，對于每個連續(xù)的深度圖，通過檢查是否已經(jīng)在之前的圖幀中發(fā)現(xiàn)地板模型，CPU 58開始發(fā)現(xiàn)地板的過程。如果是這樣，在新模型計算步驟92，CPU為存在的地板計算新模型。為此，CPU創(chuàng)建包含深度圖中所有像素的地板圖像，所述像素在存在的地板的平面(在預(yù)定公差內(nèi))上，或低于所述平面。(在步驟74，地板圖像隨后可以從深度圖中移除。)在模型標(biāo)記步驟94，CPU計算新模型的置信度分?jǐn)?shù)(confidence score)，并且在模型評估步驟96使用所述分?jǐn)?shù)，以決定接受或拒絕當(dāng)前圖幀的地板平面。所述置信度分?jǐn)?shù)例如可以基于地板平面中像素的數(shù)量與低于該地板平面的像素數(shù)量的比較(并因此看得出是錯誤的)。在地板替換步驟98，如果存在的地板平面是可接受的，則CPU可以基于地板圖像調(diào)整平面參數(shù)。例如，CPU可以對地板圖像中的像素執(zhí)行平面的最小二乘方擬合， 以調(diào)整平面參數(shù)。在步驟96，如果在地板圖像中有太多的像素(例如，多于像素的1/6)低于存在的地板平面，則CPU拒絕新的地板模型。地板模型失效的原因可以是，例如由于用戶觀和用戶30中一個有意或無意的接觸，使得成像組件22已經(jīng)移動。在攝像機(jī)運(yùn)動檢查步驟100，
13CPU估計被移動的可能性。CPU例如可以計算背景模型中深度值的變化速率。如果在變化速率中發(fā)現(xiàn)大的、突然的增加，則CPU得出攝像機(jī)已經(jīng)被移動的結(jié)論。否則，地板模型被保留到下一幀。如果在步驟100，CPU發(fā)現(xiàn)攝像機(jī)已經(jīng)移動，并且新的地板模型是無效的，則在地板無效步驟102，CPU將當(dāng)前地板模型設(shè)置為錯誤，并隨后繼續(xù)發(fā)現(xiàn)新的地板。CPU類似地在任何新圖幀序列開始處開始新的地板搜索。緊隨步驟102，在窮盡搜索步驟104，CPU首先可以嘗試窮盡性地板搜索。在該步驟，CPU識別深度圖中(或者為了計算效率，可能在深度圖的抽取版本(decimated version)中)所有水平像素，即，局部法線指向上的像素。局部法線是通過比較相鄰像素的深度值來計算?；谕敢曇?guī)則，每個水平像素的空間坐標(biāo)預(yù)測特定攝像機(jī)離地板的高度，假設(shè)該點在地板上。根據(jù)各自的攝像機(jī)高度預(yù)測值，CPU聚集水平像素。隨后，CPU在那些包含多于一個預(yù)定最小區(qū)域的集群中選擇位于空間中最低平面的集群作為地板基準(zhǔn)。在搜索檢查步驟106，CPU檢查是否發(fā)現(xiàn)合適的集群。如果發(fā)現(xiàn)，如下文描述的，通過遍經(jīng)集群中像素的線性回歸，CPU計算地板平面并且進(jìn)入標(biāo)記步驟112。如果沒有發(fā)現(xiàn)合適的集群，則在模型猜測步驟108，CPU采用粗略估計的替代過程。在該步驟中，CPU隨機(jī)地從深度圖的下三分之一中選擇三個像素，并計算空間中包含這三個對應(yīng)點的平面。在模型檢查步驟110，CPU檢查該平面是否水平(法線指向上)。如果水平，則CPU接受該平面作為地板。否則，直到下一個幀才終止地板搜索。在模型標(biāo)記步驟112，CPU 58評估在步驟104或步驟108發(fā)現(xiàn)的地板模型。該步驟以和上文描述的步驟94基本相同的方式進(jìn)行。在新模型計算步驟114，為了比較，CPU計算新模型。該步驟以和上文描述的步驟92基本相同的方式執(zhí)行。在新模型標(biāo)記步驟116， CPU評估該新模型，在模型比較步驟118，CPU將評估結(jié)果與從步驟112得到的之前的模型分?jǐn)?shù)比較，并且如果新模型分?jǐn)?shù)更好則用新模型代替之前模型。CPU可以重復(fù)步驟114-118， 直到其不能獲得對模型的進(jìn)一步改進(jìn)，此時過程直到下一個幀才終止。盡管上文描述的方法特別涉及識別深度圖中的地板(并在后續(xù)的分析中將地板移走)，對該方法進(jìn)行稍加改進(jìn)，則可以使用它來發(fā)現(xiàn)(以及移除，如果期望)其他平面表面，例如墻壁、天花板、甚至桌面。再者，上文描述的方法可適合識別其他類型的能夠參數(shù)表示的非平面表面，例如可以出現(xiàn)在深度圖中的球面表面和拋物線表面。這些表面的參數(shù)可以從深度圖中得出，例如，通過對深度圖中點的合適的3D函數(shù)的線性最小二乘方擬合。可以用于此目的的擬合技術(shù)例如在Flannery等人的Numerical Recipesin C =The Art of Scientific Computing,第二版(Cambridge University Press, 1992), 671-681 頁中描述， 該內(nèi)容以參引方式被納入本文。提取人形形狀圖5和圖6分別示意性示出根據(jù)本發(fā)明的一個實施方案的深度圖120的主視圖和俯視圖。圖5示出深度圖中對應(yīng)于目標(biāo)的塊122、124和126。圖6示出了基于所述塊在)(Z 平面上的投影的塊的集群。這些圖示出了連接分量檢測步驟74的實施方式(圖3)。為了發(fā)現(xiàn)圖5中示出的塊，CPU 58沿著X(水平)方向區(qū)分深度圖。為此，可被發(fā)現(xiàn)的沒有深度值的像素被分配一個隨機(jī)的、非常大的深度值。導(dǎo)數(shù)值大于特定閾值的像素被歸類為邊緣。為了避免邊緣假象，在區(qū)分深度圖之前，前景目標(biāo)(如上所述)的陰影被分配與投射該陰影的目標(biāo)相同的深度值。隨后，CPU搜索被區(qū)分的深度圖的行，以發(fā)現(xiàn)被之間沒有邊緣的左邊正邊緣和右邊負(fù)邊緣定界的像素行程(rim)。CPU創(chuàng)建包含這類行程的塊122、124、126，所述行程在多個相鄰行發(fā)生，并且符合下列標(biāo)準(zhǔn) 行程在至少最小數(shù)量(例如，五個)的連續(xù)行中發(fā)生。 行之間的深度值差不大于預(yù)定閾值。 行程在X方向至少重疊最小的重疊比例(例如，塊中至少80%的最短行程)。CPU計算每個塊的幾何特征，例如邊界坐標(biāo)、中間深度值、質(zhì)量中心和面積。如圖6中示出的，CPU 58隨后將塊集合成3D集群。該圖示出了深度圖在X_Z平面的視圖，其中深度(Z)從圖的頂部增加到底部。三角形區(qū)域1 表示成像組件22的觀察范圍。這里塊122、124和1 可以被看作處于各自不同的深度范圍的集群。塊122對應(yīng)于中間深度處的人形形狀的各部分，如在圖5右側(cè)看到的。塊IM對應(yīng)于前景中的椅子，而塊 126是背景的一部分。如果塊符合特定幾何標(biāo)準(zhǔn)，則CPU將這些塊集合在一個集群中。例如，CPU可以要求塊的各自邊界框在X-Z平面至少被一些最小量重疊，并且每個塊的質(zhì)量中心被包含在集群中其他塊的邊界框內(nèi)。如果塊的面積和至少是矮小的人的面積，則集群被標(biāo)記為屬于人形形狀的候選。如之前注意的，除了符合上述幾何標(biāo)準(zhǔn)以外，如果經(jīng)過多個圖幀集群通常保持一些移動，則集群被認(rèn)為是人形形狀的候選。因此，如果給定的集群出現(xiàn)在和前一幀中被識別的人形形狀相同的大體位置，則CPU保持該識別并且使用與前一幀相同的標(biāo)識符標(biāo)注該集群。否則，為了確定集群是否是人形形狀(已經(jīng)持續(xù)若干連續(xù)幀)，計算機(jī)將集群中的塊投射在地板平面上(在步驟72發(fā)現(xiàn))，并且計算投影的幾何屬性，例如面積、質(zhì)量中心和邊界框。深度圖中所有落入邊界框的連接分量被假設(shè)為屬于相同的候選形狀。如果所有這些連接分量的累積面積大于給定閾值，則CPU集合集群和其相關(guān)的連接分量，并為它們分配公共的標(biāo)識符作為人形形狀。CPU計算和存儲該形狀的屬性，并且在后續(xù)的圖幀中跟蹤該形狀，如上文描述的。因此，再次參考圖5和圖6，CPU將發(fā)現(xiàn)塊122的集群符合幾何標(biāo)準(zhǔn)，并且將識別該集群屬于計算機(jī)用戶的人形形狀。塊124的集群太小，將被丟棄。盡管塊126的集群大小足夠，但是由于其是靜態(tài)的因此最終也會被丟棄。圖7是根據(jù)本發(fā)明的一個實施方案的深度圖130的示意性正面表示，所述深度圖 130示出了深度圖中目標(biāo)的分割。該圖基于一個人的實際深度圖，例如可能在實際計算機(jī)游戲中發(fā)生的，該人迅速提起他的右腿，以進(jìn)行空手道中的跳踢。人的身體作為3D連接分量 132出現(xiàn)，3D連接分量132在之前的圖幀中出現(xiàn)而因此具有標(biāo)識符，并被用計算的幾何特性標(biāo)注。新的連接分量134——對應(yīng)于腿——突然出現(xiàn)在該圖中的大體比身體其他部位更短的距離處。連接分量134部分地遮擋身體分量132并且將該分量從另一個對應(yīng)于人的手臂的連接分量136中切去。為了處理這類情況，當(dāng)連接分量——例如分量134——突然出現(xiàn)在圖幀中(并因此沒有預(yù)先分配的標(biāo)識符)時，CPU 58搜索附近其他的已經(jīng)預(yù)先被識別并被標(biāo)注為人形形狀的連接分量。如果新的連接分量在X和Y(圖7中的水平和豎直方向)中相鄰，并且深度接近預(yù)先識別的連接分量(在該實施例中為分量132)，且在其之間沒有深度不同的區(qū)域 (除了無深度區(qū)域和遮擋目標(biāo))，則CPU將連接分量聯(lián)系在一起并且為二者分配公共的標(biāo)識符。因此，在圖7示出的實施例中，CPU會將分量134和分量136附接到分量132。CPU會分配分量132的標(biāo)識符給分量134和分量136，并且會因此辨認(rèn)并跟蹤屬于單個人形形狀的這些分量。在這類情況中，可以使用在結(jié)合連接分量到單個身體單元的其他考慮，包括各自邊界框的交叉和他們質(zhì)量中心之間的距離。在步驟86 (圖3)，系統(tǒng)20異常處理的另一類型是一個人形形狀被另一人形形狀或其他前景目標(biāo)遮擋。這類情況在圖1中示出，其中用戶觀的左腿遮住了用戶30的身體。 這類情況的結(jié)果是當(dāng)CPU 58分析畫出的場景中的深度圖中的3D連接分量時，用戶30的右腿的下部分會與身體的其他部分分離。CPU 58使用上文描述的數(shù)據(jù)結(jié)構(gòu)處理這類情況。假設(shè)在之前的圖幀中用戶30的身體被完全識別而沒有遮擋，則CPU會將一個與用戶30身體的其他部位相同的公共標(biāo)識符與該用戶30的右腿區(qū)域中的連接分量相關(guān)聯(lián)。再者，CPU會認(rèn)出對應(yīng)于用戶30右腿的連接分量和對應(yīng)于用戶30身體的連接分量位于相同的深度范圍，而對應(yīng)于用戶觀身體的連接分量——包括分離用戶30身體各部分的左腿——則處在較小的深度。在這些情況下， CPU會得出結(jié)論對應(yīng)于用戶30的腿和身體的分離的連接分量實際上是同一人形形狀的不同部分，并且會將各連接分量用一個公共標(biāo)識符“粘合”在一起。一旦已經(jīng)檢測并解決了這類遮擋，對于每個人形形狀，CPU 58存儲遮擋所述人形形狀的其他人形形狀(以及其他前景目標(biāo))的記錄和所述人形形狀遮擋的其他人形形狀的記錄。這些記錄對于解決發(fā)生在隨后幀中的遮擋是有用的。類似的技術(shù)可以用在檢測和解決一個人觸碰另一個人的情況?？蛇x地，CPU 58可以跟蹤人形形狀各部分從一幀到另一幀的運(yùn)動，并由此估計這些身體部分運(yùn)動的速度。CPU可以使用該速度推斷用戶身體各部分的位置(即使當(dāng)他們被其他目標(biāo)遮擋時)，并且因此可以保持對人形形狀被遮擋的各部分在深度圖中的恰當(dāng)識別。如之前注意到的，盡管為了解釋的清楚和方便，上文的實施方案是參考特定類型的深度繪圖系統(tǒng)和特定類型的計算機(jī)應(yīng)用來描述，但是本發(fā)明的原理可以類似地被應(yīng)用到基本任何合適系統(tǒng)的任何類型的深度圖中，而不管其要求如何。具體地，上文描述的3D連接分量分析和分割的方法可以用于從深度圖中提取其他類型目標(biāo)，并且不只是人形形狀。 作為結(jié)果的被分割的深度圖可以直接顯示給用戶以用于用戶觀察，并且可以被用作基本任何類型的應(yīng)用程序的輸入，所述應(yīng)用程序接受分割的深度圖或其他圖像作為其輸入。因此，應(yīng)理解，上述實施方案是通過實施例的方式來敘述，但本發(fā)明不限于上文所具體示出和描述的內(nèi)容。相反，本發(fā)明的范圍包括上述各種特征的組合和子組合及其變化和變型，這些對于閱讀了前文描述的本領(lǐng)域技術(shù)人員是可以想到的，并且沒有在現(xiàn)有技術(shù)中公開。
權(quán)利要求
1.一種用于處理數(shù)據(jù)的方法，包括接收場景的暫時的深度圖序列，所述場景包括靜態(tài)背景和隱藏所述背景一部分的一個或多個移動的前景目標(biāo)，所述深度圖包括像素矩陣，所述像素的至少一些具有各自的像素深度值并對應(yīng)于所述場景中的各自位置；使用數(shù)字處理器，處理所述序列中的第一深度圖，以識別沒有被所述第一圖中所述移動的前景目標(biāo)所隱藏的所述靜態(tài)背景的第一部分；處理所述序列中至少一個第二深度圖，以識別所述靜態(tài)背景的至少一個第二部分，由于所述前景目標(biāo)中的至少一個在所述序列上的運(yùn)動，所述第二部分不同于所述第一部分； 以及通過至少組合所述靜態(tài)背景的所述第一部分和所述第二部分，構(gòu)造所述場景的背景模型。
2.根據(jù)權(quán)利要求1所述的方法，還包括基于所述背景模型，通過將一個或多個背景目標(biāo)從所述深度圖中移除來產(chǎn)生一個或多個前景圖。
3.根據(jù)權(quán)利要求2所述的方法，其中所述移動的前景目標(biāo)中的至少一個是人形體形， 并且其中所述方法包括從前景圖中提取所述人形體形，所述前景圖從所述第二深度圖連同與所述第一深度圖中所述人形體形相關(guān)的信息中得出。
4.根據(jù)權(quán)利要求3所述的方法，其中提取所述人形體形包括檢測屬于正在觸摸所述背景目標(biāo)的其中之一的人形體形的區(qū)域，并將該區(qū)域識別為所述人形體形的一部分。
5.根據(jù)權(quán)利要求1所述的方法，還包括識別所述深度圖中的平面表面。
6.根據(jù)權(quán)利要求1所述的方法，還包括識別所述深度圖中的目標(biāo)的陰影。
7.根據(jù)權(quán)利要求1所述的方法，其中構(gòu)造所述背景模型包括響應(yīng)于在所述深度圖序列上所述背景中出現(xiàn)的變化，來更新所述背景模型。
8.根據(jù)權(quán)利要求7所述的方法，其中所述深度圖被成像組件捕獲，并且其中所述方法包括評估所述序列中深度圖之間所述背景模型變化的程度，并且當(dāng)所述變化的程度超過預(yù)定閾值時，檢測所述成像組件已經(jīng)移動。
9.一種用于處理數(shù)據(jù)的方法，包括接收場景的深度圖，所述場景包含一個或多個關(guān)于表面定位的目標(biāo)，所述深度圖包括像素矩陣，所述像素的至少一些具有各自的像素深度值并對應(yīng)于在所述場景中的各自位置；使用數(shù)字處理器，處理所述深度圖，以識別并產(chǎn)生所述表面的參數(shù)模型；以及通過將由所述參數(shù)模型表示的所述表面從所述深度圖中移除，分割所述場景中所述一個或多個目標(biāo)。
10.根據(jù)權(quán)利要求9所述的方法，其中所述目標(biāo)中的至少一個是人形體形，并且其中所述分割所述一個或多個目標(biāo)包括從所述深度圖中提取所述人形體形。
11.根據(jù)權(quán)利要求9所述的方法，其中所述表面是對應(yīng)于地板的平面表面，在所述地板上定位有所述目標(biāo)中的至少一個。
12.根據(jù)權(quán)利要求11所述的方法，其中處理所述深度圖包括計算所述深度圖中所述像素的局部法線，并且根據(jù)所述局部法線聚集所述像素以識別所述平面表面。
13.根據(jù)權(quán)利要求12所述的方法，其中所述深度圖被成像組件捕獲，并且其中聚集所述局部法線包括處理所述像素的至少一些的各自深度值以便于預(yù)測所述成像組件相對于每個像素的高度，以及聚集具有相同的所述成像組件預(yù)測高度的像素。
14.一種用于處理數(shù)據(jù)的方法，包括接收包含人形形狀的場景的深度圖，所述深度圖包括像素矩陣，所述像素的至少一些具有各自的像素深度值并對應(yīng)于在所述場景中的各自位置；使用數(shù)字處理器，處理所述深度圖，以識別所述場景中的三維(3D)連接分量，每個連接分量包括一組相互鄰近并具有相互鄰近深度值的像素；將分離的第一連接分量和第二連接分量都識別為屬于所述人形形狀；以及產(chǎn)生包括所述第一連接分量和所述第二連接分量的所述人形形狀的表示。
15.根據(jù)權(quán)利要求14所述的方法，其中處理所述深度圖包括基于所述深度圖構(gòu)造所述場景的背景模型，將所述背景模型從所述深度圖中移除以產(chǎn)生前景圖，以及識別所述前景圖中的所述3D連接分量。
16.根據(jù)權(quán)利要求14所述的方法，其中處理所述深度圖包括定位所述深度圖的邊緣和所述邊緣之間的像素塊，并且聚集相鄰的三維像素塊以識別所述3D連接分量。
17.根據(jù)權(quán)利要求14所述的方法，其中接收所述深度圖包括接收暫時的深度圖序列， 并且其中識別所述第一連接分量和所述第二連接分量包括在所述序列中的多個連續(xù)深度圖上跟蹤所述連接分量。
18.根據(jù)權(quán)利要求17所述的方法，其中跟蹤所述連接分量包括為所述序列中第一深度圖中的所述第一連接分量和所述第二連接分量分配公共標(biāo)識符，并使用所述公共標(biāo)識符來確定所述第一連接分量和所述第二連接分量屬于隨后的第二深度圖中的所述人形形狀， 在所述隨后的第二深度圖中，所述第一連接分量和所述第二連接分量已經(jīng)被分離。
19.根據(jù)權(quán)利要求18所述的方法，其中分配所述公共標(biāo)識符包括用所述公共標(biāo)識符標(biāo)注所述深度圖中所述第一連接分量和所述第二連接分量的像素。
20.根據(jù)權(quán)利要求19所述的方法，其中所述第二深度圖中的所述人形形狀與另一個目標(biāo)接觸，由此導(dǎo)致所述第二連接分量包含其他目標(biāo)，并且其中使用所述公共標(biāo)識符包括將屬于所述人形形狀的所述第二連接分量的被標(biāo)注像素從屬于其他目標(biāo)的像素中分離，以產(chǎn)生出現(xiàn)在所述第二深度圖中的所述人形形狀的表示。
21.根據(jù)權(quán)利要求17所述的方法，其中跟蹤所述連接分量包括估計所述連接分量的運(yùn)動速度，并且其中產(chǎn)生所述表示包括使用被估計的速度保持所述人形形狀的被遮擋部分的識別。
22.根據(jù)權(quán)利要求14所述的方法，其中所述深度圖中的所述人形形狀被另一個目標(biāo)部分地遮擋，并且其中所述第一連接分量和所述第二連接分量對應(yīng)于被該遮擋目標(biāo)所分離的所述人形形狀的各部分，并且其中產(chǎn)生所述表示包括將所述第一連接分量和所述第二連接分量都包含在所述人形形狀的表示中。
23.根據(jù)權(quán)利要求14所述的方法，其中所述第一連接分量和所述第二連接分量對應(yīng)于所述人形形狀的第一部分和第二部分，其中在所述深度圖中所述第二部分部分地遮擋所述第一部分，并且其中產(chǎn)生所述表示包括將所述第一連接分量和所述第二連接分量都包含在所述人形形狀的表示中。
24.一種用于處理數(shù)據(jù)的裝置，包括成像組件，其被配置為產(chǎn)生場景的暫時的深度圖序列，所述場景包括靜態(tài)背景和隱藏所述背景一部分的一個或多個移動的前景目標(biāo)，所述深度圖包括像素矩陣，所述像素的至少一些具有各自的像素深度值并對應(yīng)于所述場景中的各自位置；以及處理器，其被配置為處理所述序列中的第一深度圖，以識別沒有被所述第一圖中所述移動的前景目標(biāo)所隱藏的所述靜態(tài)背景的第一部分，并且處理所述序列中至少一個第二深度圖，以識別所述靜態(tài)背景的至少一個第二部分，由于所述前景目標(biāo)中的至少一個在所述序列上的運(yùn)動，所述第二部分不同于所述第一部分，以及通過至少組合所述靜態(tài)背景的所述第一部分和所述第二部分，構(gòu)造所述場景的背景模型。
25.根據(jù)權(quán)利要求M所述的裝置，其中所述處理器被配置為基于所述背景模型，通過將一個或多個背景目標(biāo)從所述深度圖中移除來產(chǎn)生一個或多個前景圖。
26.根據(jù)權(quán)利要求25所述的裝置，其中所述移動的前景目標(biāo)中的至少一個是人形體形，并且其中所述處理器被配置為從前景圖中提取所述人形體形，所述前景圖從所述第二深度圖連同與所述第一深度圖中所述人形體形相關(guān)的信息中得出。
27.根據(jù)權(quán)利要求沈所述的裝置，其中所述處理器被配置為檢測屬于正在觸摸所述背景目標(biāo)的其中之一的人形體形的區(qū)域，并將該區(qū)域識別為所述人形體形的一部分。
28.根據(jù)權(quán)利要求M所述的裝置，其中所述處理器被配置為識別所述深度圖中的平面地板。
29.根據(jù)權(quán)利要求M所述的裝置，其中所述處理器被配置為識別所述深度圖中的目標(biāo)的陰影。
30.根據(jù)權(quán)利要求M所述的裝置，其中所述處理器被配置為響應(yīng)于在所述深度圖序列上所述背景中出現(xiàn)的變化，來更新所述背景模型。
31.根據(jù)權(quán)利要求30所述的裝置，其中所述處理器被配置為評估所述序列中深度圖之間所述背景模型變化的程度，并且當(dāng)所述變化的程度超過預(yù)定閾值時，檢測所述成像組件已經(jīng)移動。
32.一種用于處理數(shù)據(jù)的裝置，包括成像組件，其被配置為生成場景的深度圖，所述場景包含一個或多個關(guān)于表面定位的目標(biāo)，所述深度圖包括像素矩陣，所述像素的至少一些具有各自的像素深度值并對應(yīng)于在所述場景中的各自位置；以及處理器，其被配置為處理所述深度圖，以識別并產(chǎn)生所述表面的參數(shù)模型，并通過將由所述參數(shù)模型表示的所述表面從所述深度圖中移除，分割所述場景中所述一個或多個目標(biāo)。
33.根據(jù)權(quán)利要求32所述的裝置，其中所述目標(biāo)中的至少一個是人形體形，并且其中所述處理器被配置為從所述深度圖中提取所述人形體形。
34.根據(jù)權(quán)利要求32所述的裝置，其中所述表面是對應(yīng)于地板的平面表面，在所述地板上定位有所述目標(biāo)中的至少一個。
35.根據(jù)權(quán)利要求34所述的裝置，其中所述處理器被配置為計算所述深度圖中所述像素的局部法線，并且根據(jù)所述局部法線聚集所述像素以識別所述平面表面。
36.根據(jù)權(quán)利要求35所述的裝置，其中所述處理器被配置為處理所述像素的至少一些的各自深度值以便于預(yù)測所述成像組件相對于每個像素的高度，以及聚集具有相同的所述成像組件預(yù)測高度的像素。
37.一種用于處理數(shù)據(jù)的裝置，包括成像組件，其被配置為生成包含人形形狀的場景的深度圖，所述深度圖包括像素矩陣， 所述像素的至少一些具有各自的像素深度值并對應(yīng)于在所述場景中的各自位置；以及處理器，其被配置為處理所述深度圖，以識別所述場景中的三維(3D)連接分量，每個連接分量包括一組相互鄰近并具有相互鄰近深度值的像素，將分離的第一連接分量和第二連接分量都識別為屬于所述人形形狀，并且產(chǎn)生包括所述第一連接分量和所述第二連接分量的所述人形形狀的表示。
38.根據(jù)權(quán)利要求37所述的裝置，其中所述處理器被配置為基于所述深度圖構(gòu)造所述場景的背景模型，將所述背景模型從所述深度圖中移除以產(chǎn)生前景圖，以及識別所述前景圖中的所述3D連接分量。
39.根據(jù)權(quán)利要求37所述的裝置，其中所述處理器被配置為定位所述深度圖的邊緣和所述邊緣之間的像素塊，并且聚集相鄰的三維像素塊以識別所述3D連接分量。
40.根據(jù)權(quán)利要求37所述的裝置，其中所述成像組件被配置為生成暫時的深度圖序列，并且其中所述處理器被配置為在所述序列中的多個連續(xù)深度圖上跟蹤所述連接分量。
41.根據(jù)權(quán)利要求40所述的裝置，其中所述處理器被配置為向所述序列中第一深度圖中的所述第一連接分量和所述第二連接分量分配公共標(biāo)識符，并使用所述公共標(biāo)識符來確定所述第一連接分量和所述第二連接分量屬于隨后的第二深度圖中的所述人形形狀，在所述隨后的第二深度圖中，所述第一連接分量和所述第二連接分量已經(jīng)被分離。
42.根據(jù)權(quán)利要求41所述的裝置，其中所述處理器被配置為用所述公共標(biāo)識符來標(biāo)注所述深度圖中所述第一連接分量和所述第二連接分量的像素。
43.根據(jù)權(quán)利要求42所述的裝置，其中所述第二深度圖中的所述人形形狀與另一個目標(biāo)接觸，由此導(dǎo)致所述第二連接分量包含其他目標(biāo)，并且所述處理器被配置為將屬于所述人形形狀的所述第二連接分量的被標(biāo)注像素從屬于其他目標(biāo)的像素中分離，以產(chǎn)生出現(xiàn)在所述第二深度圖中的所述人形形狀的表示。
44.根據(jù)權(quán)利要求40所述的裝置，其中所述處理器被配置為估計所述連接分量的運(yùn)動速度，并且使用被估計的速度保持所述人形形狀的被遮擋部分的識別。
45.根據(jù)權(quán)利要求37所述的裝置，其中所述深度圖中的所述人形形狀被另一個目標(biāo)部分地遮擋，并且其中所述第一連接分量和所述第二連接分量對應(yīng)于被該遮擋目標(biāo)所分離的所述人形形狀的各部分，并且其中所述處理器被配置為將所述第一連接分量和所述第二連接分量都包含在所述人形形狀的表示中。
46.根據(jù)權(quán)利要求37所述的裝置，其中所述第一連接分量和所述第二連接分量對應(yīng)于所述人形形狀的第一部分和第二部分，其中在所述深度圖中所述第二部分部分地遮擋所述第一部分，并且其中所述處理器被配置為將所述第一連接分量和所述第二連接分量都包含在所述人形形狀的表示中。
全文摘要
一種用于處理數(shù)據(jù)的方法和裝置，包括接收包含人形形狀的場景的深度圖。所述深度圖被處理，以識別所述場景中的三維(3D)連接分量，每個連接分量都包括一組相互鄰近并具有相互鄰近深度值的像素。將分離的第一連接分量和第二連接分量都識別為屬于所述人形形狀，并且產(chǎn)生包括所述第一連接分量和所述第二連接分量的所述人形形狀的表示。
文檔編號G06T7/20GK102262725SQ201110132428
公開日2011年11月30日 申請日期2011年5月20日 優(yōu)先權(quán)日2010年5月31日
發(fā)明者A·格曼, E·顧恩德曼, M·布蘭德, T·亞尼爾 申請人:普萊姆森斯有限公司