專利名稱：對2d圖像的掃描束深度映射的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，尤其涉及圖像處理中三維圖像的構(gòu)建。
背景技術(shù)：
在各種應(yīng)用中，某種形式的深度映射被用于構(gòu)建對象或環(huán)境的三維(3D)模型。這些應(yīng)用的范圍從例如飛行器導(dǎo)航到機(jī)器人到視頻游戲。在某些深度映射方法中，以可接受的高二維QD)映射分辨率和可接受的高幀率來詢問該對象或環(huán)境可能成為挑戰(zhàn)。其他挑戰(zhàn)包括通過淺的深度范圍來提供精細(xì)的、不變的深度分辨率，并且將深度映射與低成本的 2D映射技術(shù)結(jié)合。

發(fā)明內(nèi)容
因此，本發(fā)明的一個實(shí)施例提供了一種用于構(gòu)建對象的3D表示的方法，該表示包括亮度以及深度信息。該方法包括用相機(jī)捕捉對象的2D圖像，該2D圖像包括像素陣列以及每一像素的至少一個亮度值。該方法還包括在對象上掃描已調(diào)制照射束，以便一次照射該對象的多個目標(biāo)區(qū)域，并且從反射自每一目標(biāo)區(qū)域的照射束中測試光的調(diào)制方面。如此處公開的，可以使用移動反射鏡光束掃描儀來掃描照射束，并且可以使用光檢測器來測量調(diào)制方面。該方法還包括基于為每一目標(biāo)區(qū)域所測量的調(diào)制方面來計(jì)算深度方面，并且將深度方面與2D圖像的對應(yīng)像素相關(guān)聯(lián)。應(yīng)該理解，提供以上發(fā)明內(nèi)容以通過簡化形式介紹以下詳細(xì)描述中進(jìn)一步描述的概念的精選。這并不旨在標(biāo)識所要求保護(hù)主題的關(guān)鍵或必要特征，所要求保護(hù)主題的范圍由詳細(xì)描述所附的權(quán)利要求書來定義。此外，要求保護(hù)的主題不限于解決本文所述的任何缺點(diǎn)的實(shí)現(xiàn)。


FIG.圖1示意性示出根據(jù)本發(fā)明實(shí)施例的3d模型器的平面圖。圖2示意性示出根據(jù)本發(fā)明實(shí)施例的由照射束掃描的對象的視圖。圖3示意性示出根據(jù)本發(fā)明實(shí)施例的來自圖2的詳細(xì)描述具有相關(guān)聯(lián)的深度方面的2D圖像的示例像素結(jié)構(gòu)的部分。圖4示出根據(jù)本發(fā)明實(shí)施例的用于校準(zhǔn)3D模型器的示例方法。圖5示出根據(jù)本發(fā)明實(shí)施例的用于構(gòu)建對象的3D表示的示例方法。
具體實(shí)施例方式現(xiàn)在參照所示的特定實(shí)施例，通過示例來描述本發(fā)明的主題。在一個或多個實(shí)施例中基本相同的組件、過程步驟和其它元素被協(xié)調(diào)地標(biāo)識并且以重復(fù)最小的方式描述。然而應(yīng)該注意，協(xié)調(diào)地標(biāo)識的元素還可以在某種程度上不同。還應(yīng)該注意，本發(fā)明中包括的附圖是示意性的并且通常未按照比例繪制。相反，附圖中所示的各種繪制比例、縱橫比和組件數(shù)量可以有目的地失真，以使特定特征或關(guān)系更加顯見。圖1示例性示出一個實(shí)施例中3D模型器10的平面圖。3D模型器被安排成與對象12相對，并且被配置成構(gòu)建一對象的3D表示——即用于編碼該對象的3D模型，這包括亮度和深度信息兩者。3D模型器10包括相機(jī)14——數(shù)碼相機(jī)，它被配置成捕捉對象12的2D圖像并且將該圖像編碼成像素陣列，每一像素具有至少一個可變亮度和/或色彩值。此處使用的術(shù)語‘像素’符合數(shù)碼成像領(lǐng)域中的常見使用；圖像的像素可相應(yīng)地被排列在跨笛卡爾坐標(biāo)X 和Y的矩形陣列中。在圖1中示出的實(shí)施例中，相機(jī)包括透鏡16、光圈18以及光檢測器陣列20。透鏡通過光圈對來自對象的光進(jìn)行聚焦，并且聚焦于形成2D圖像的檢測器陣列上。 光檢測器可以是例如CMOS、CCD、和/或光電二極管陣列。在一個實(shí)施例中，光檢測器陣列可包括各種色敏光檢測器元件。因此，相機(jī)14可以是彩色相機(jī)，并且2D圖像可以是每一像素具有兩個、三個或更多顏色專用亮度值的彩色圖像。此外，相機(jī)的波長敏感度可擴(kuò)展到紅外或近紅外。在一個實(shí)施例中，相機(jī)14可被配置以供標(biāo)準(zhǔn)SVGA分辨率——即，它可形成具有沿第一軸的800或更多像素以及沿與第一軸正交的第二軸的600或更多像素的2D圖像。在其他實(shí)施例中，相機(jī)可被配置以供更高或更低的分辨率——例如640x480的VGA分辨率。在一個實(shí)施例中，相機(jī)可被配置成不僅捕捉該對象的靜態(tài)2D圖像，還捕捉一系列快速連續(xù)的 2D圖像。因此，相機(jī)可以是攝像機(jī)，該攝像機(jī)按適用于視頻應(yīng)用的幀速率來捕捉圖像——例如，按每秒三十至六十幀。在圖1中示出的實(shí)施例中，濾光器22覆蓋光圈18，使得只有穿過濾光器的光到達(dá)光檢測器陣列20。其他實(shí)施例可包括一系列這樣排列的濾光器——例如，偏振、干涉、和/ 或色彩濾光器。以此方式，相機(jī)14可被配置成對一個或多個預(yù)定義的偏振狀態(tài)或波長范圍的光進(jìn)行成像。在圖1中示出的實(shí)施例中，相機(jī)14在操作上被耦合到控制器24?？刂破鞅慌渲贸擅畈⑶铱刂葡鄼C(jī)的2D圖像捕捉，并且接收所捕捉的2D圖像?？刂破鱉還可控制3D模型器10或其中安裝3D模型器的系統(tǒng)的其他功能。例如，控制器可包括被配置成執(zhí)行視頻游戲應(yīng)用的玩游戲設(shè)備。因此，3D模型器構(gòu)建的對象12的3D表示可以編碼視頻游戲應(yīng)用的輸入數(shù)據(jù)。在一個實(shí)施例中，對象可以是視頻游戲應(yīng)用的用戶(即，玩家)。3D表示可以編碼例如對象的手臂運(yùn)動、手勢和/或姿勢。在這些應(yīng)用中，合適的深度感測范圍可以在1 至5米的數(shù)量級，這與當(dāng)前公開的示例配置一致。然而，可以注意到本發(fā)明決不限于視頻游戲應(yīng)用，并且同樣可以設(shè)想其他應(yīng)用和深度感測范圍。在此處考慮的實(shí)施例中，由相機(jī)14捕捉的2D圖像可能無法對與X和Y軸正交的 Z方向中的對象12的輪廓進(jìn)行具體地編碼。因此，3D模型器10包括被配置成將深度方面與所捕捉的2D圖像的每一像素相關(guān)聯(lián)的附加元件部分。為此，3D模型器被配置成將在時間上的已調(diào)制光投射到對象上，并且檢測從對象反射回的在時間上的已調(diào)制光?？蓪⒃诜瓷涔獾恼{(diào)制中相對于投射光的滯后和/或延遲與已調(diào)制光被投射的對象的區(qū)域以外的距離相關(guān)。此外，通過將已調(diào)制光投射到對象的非常小的目標(biāo)區(qū)域上，并且通過在整個對象上掃描該目標(biāo)區(qū)域，3D模型器可被配置成將對象的輪廓映射在Z方向上。為了啟用這一功能，3D 模型器包括移動反射鏡光束掃描儀，如以下進(jìn)一步描述的。與深度分辨率隨著深度增加而減少的其他方法形成對比，在該方法中，按基本上不變的分辨率來感測深度。現(xiàn)在繼續(xù)圖1，3D模型器10包括激光器沈，該激光器沈被排列成將其發(fā)射引導(dǎo)到低發(fā)散照射束觀上。在一個實(shí)施例中，激光器可以是配置成發(fā)射紅外光的二極管激光器。 如圖1所示，激光器在操作上被耦合到控制器M ；因此，控制器可被配置成通過控制當(dāng)前或施加于激光器的電流或電壓或按任何其他合適方式來調(diào)制照射束的強(qiáng)度。3D模型器還可包括機(jī)械地耦合到底座32的反射鏡30。反射鏡可以包括任何合適的鏡面反射器。在一個實(shí)施例中，反射鏡可以是具有0. 1至10毫米的直徑的基本圓形。在其他實(shí)施例中，可協(xié)作地使用兩個或多個反射鏡，并且這些反射鏡可以是圓形、橢圓形和/或另一合適形狀。底座可以是支持反射鏡并允許反射鏡關(guān)于兩個不同轉(zhuǎn)動軸偏轉(zhuǎn)的任何彈性裝備。例如，底座可以是彎曲底座。在一個實(shí)施例中，反射鏡和底座可以實(shí)現(xiàn)共振機(jī)械系統(tǒng)。例如，反射鏡-底座系統(tǒng)可以呈現(xiàn)幾百的共振品質(zhì)因數(shù)。圖1示出在操作上耦合到控制器M的第一換能器34和第二換能器36。第一和第二換能器被配置成使反射鏡分別繞第一轉(zhuǎn)動軸38 (垂直附圖平面定向)和第二轉(zhuǎn)動軸40 偏轉(zhuǎn)。第一和第二轉(zhuǎn)動軸彼此并不平行，而且在某些實(shí)施例中可以垂直，如圖1所示。在此處所示的實(shí)施例中，位于雙軸底座上的單個反射鏡繞垂直轉(zhuǎn)動軸偏轉(zhuǎn)。在其他實(shí)施例中，相同的效果可以通過使用各自位于單軸底座上的串聯(lián)排列的兩個反射鏡來實(shí)現(xiàn)。在本文所預(yù)期的實(shí)施例中，第一換能器34和第二換能器36可以包括諸如壓電、電磁或靜電換能器?？刂破鱉被配置成向每個換能器施加驅(qū)動信號(即，改變換能器的驅(qū)動電壓或電流)并由此影響反射鏡30的偏轉(zhuǎn)。在一個特定實(shí)施例中，換能器34和36是當(dāng)跨緊密間隔的板或梳施加高電壓時向反射鏡提供偏轉(zhuǎn)力的靜電換能器。缺乏鐵磁或壓電材料，靜電換能器可以使用標(biāo)準(zhǔn)微機(jī)電系統(tǒng)(MEMQ工藝來制造并且可以相對的低成本獲得。如圖1所示，照射束觀從反射鏡30向?qū)ο?2反射。相應(yīng)地，控制反射鏡繞第一轉(zhuǎn)動軸38和第二轉(zhuǎn)動軸40的偏轉(zhuǎn)允許照射束在對象上行進(jìn)以照射對象的目標(biāo)區(qū)域42、背景或前景。更精確地，控制反射鏡繞第一旋轉(zhuǎn)軸的偏轉(zhuǎn)確定照射目標(biāo)區(qū)域沿X軸的位置，以及控制反射鏡繞第二旋轉(zhuǎn)軸偏轉(zhuǎn)確定照射目標(biāo)區(qū)域沿Y軸的位置。在按以上描述的方式中，換能器34和36可被驅(qū)動以使反射鏡30偏轉(zhuǎn)，使得照射束觀在對象12上掃描。為了映射對象的輪廓，控制器M被配置成在照射束正在對象上掃描的同時與施加到換能器34和36的驅(qū)動信號同步地尋址2D圖像的各種像素。尋址2D圖像的像素包括將所計(jì)算的深度方面與該像素相關(guān)聯(lián)，如以下進(jìn)一步描述的。在一個實(shí)施例中，換能器34和36可通過按接近反射鏡底座系統(tǒng)的共振頻率的脈沖列頻率的脈沖來驅(qū)動。因此，照射束觀可按沿李薩圖周期性地變化的速率來掃描該對象——即，X(t) = ax*sin(2* π *fx*t+(J)x)，(1)Y(t) = aY*sin(2* π *fY*t+(J)Y)，(2)其中X(t)和Y(t)定義了根據(jù)掃描幅度因子％和％、掃描頻率&和仁、相位項(xiàng)Φχ 和Φγ以及時間t的照射目標(biāo)區(qū)域42的坐標(biāo)。為了示出某些掃描特征，圖2示出描繪出對象12上的李薩圖44的照射目標(biāo)區(qū)域42。圖2示出相對于圖1的對象旋轉(zhuǎn)并且如同在所捕捉的2D圖像中出現(xiàn)一樣定向的對象。當(dāng)然，照射目標(biāo)區(qū)域可以繪制出用于適當(dāng)高分辨率的更高階李薩圖。
圖3示意性示出使用相關(guān)聯(lián)的深度方面來詳細(xì)描述2D圖像的示例像素結(jié)構(gòu)的來自圖2的一部分。具體而言，2D圖像的每一像素被示為具有紅色(red)亮度方面、綠色 (green)亮度方面、藍(lán)色(blue)亮度方面以及深度(d印th)方面?，F(xiàn)在返回圖1，3D模型器10包括對象光檢測器46，該對象光檢測器46被安排成與對象12相對并被配置成接收來自從對象反射的照射束觀的光。對象光檢測器可以包括光電二極管或光電倍增管，并且可以無透鏡以在廣角上檢測光。在另一實(shí)施例中，廣角反射或折射光學(xué)器件可被用于收集來自照射束的光并且將其引導(dǎo)到檢測器上。在又一些實(shí)施例中，可出于此目的使用經(jīng)由全內(nèi)反射操作的一個或多個光導(dǎo)。在圖1所示的實(shí)施例中，光通過濾光器47透射到對象光檢測器，濾光器可以是例如干涉濾光器或?yàn)V色器。對象光檢測器被配置成檢測來自照射束的窄帶光，使得該對象光檢測器對由環(huán)境光造成的干涉較不敏感。在一個實(shí)施例中，濾光器可被配置成使由激光器發(fā)射的波長或偏振狀態(tài)范圍的光透過， 并且阻擋不是由激光器發(fā)射的波長或偏振狀態(tài)范圍的光。3D模型器還包括傳感器板48和參考光檢測器50。參考光檢測器被安排成接收一小部分來自照射束觀的光。傳感器板將該小部分朝參考光檢測器反射，同時將大部分光朝向反光鏡30傳送。在一個實(shí)施例中，參考光檢測器可與對象光檢測器基本相同，并且可接收通過濾光器52的光——濾光器52與濾光器47基本相同。如圖1所示，對象光檢測器46和參考光檢測器50兩者在操作上被耦合到控制器 24。通過接收并處理來自兩個光檢測器的輸出，控制器可被配置成測量從對象12反射的光相對于從傳感器板48反射的光的調(diào)制滯后和/或延遲。通過推斷，這一滯后或延遲將與從傳感器板到對象的照射目標(biāo)區(qū)域42的光程長度直接相關(guān)。當(dāng)照射束在對象的接近區(qū)域上掃描時，控制器將測量相對短的調(diào)制滯后或延遲；當(dāng)照射束在對象的遠(yuǎn)離區(qū)域上掃描時，控制器將測量較長的調(diào)制滯后或延遲。因此，控制器可被配置成基于所測量的滯后或延遲來計(jì)算照射目標(biāo)區(qū)域的深度方面。在其他實(shí)施例中，3D模型器可包括附加的光檢測器，并且可按任何合適方式對來自各個光檢測器的信號進(jìn)行平均或以其他方式組合，以便計(jì)算深度方在某些實(shí)施例中，3D模型器的準(zhǔn)確度可經(jīng)由校準(zhǔn)來改進(jìn)。因此，如圖1所示，在3D 模型器的校準(zhǔn)期間，校準(zhǔn)對象M可被安排成與3D模型器相對。在一個實(shí)施例中，校準(zhǔn)對象可包括垂直定向的漫反射屏——即，垂直于X、Y平面。在校準(zhǔn)期間，校準(zhǔn)對象可被安排在距 3D模型器預(yù)先確定的或已知的距離(例如1米)。如下文進(jìn)一步描述的，校準(zhǔn)對象可被用于至少兩個不同模式的校準(zhǔn)第一模式，用于將每一所計(jì)算的深度方面映射到所捕捉的2D 圖像的對應(yīng)像素，以及第二模式，用于定義所計(jì)算的深度方面。注意，相機(jī)的X、Y與掃描圖案的X’、Y’之間的匹配將取決于通過掃描束確定的Ζ，除非2D相機(jī)和掃描儀是光學(xué)對齊的。 這是由于視差。對于Z的每個值，在X、Y與X’、Y’之間存在直接匹配。在另一個實(shí)施例中，被安排在不同深度位置的多個校準(zhǔn)元件可被用于作為校準(zhǔn)對象M的替代或附加。這些校準(zhǔn)元件可提供相對于背景的較大亮度對比。例如，白色和/或灰色校準(zhǔn)元素可與黑色背景一起使用。以此方式，可容易地將由相機(jī)成像的校準(zhǔn)元件與經(jīng)由光檢測器和掃描束系統(tǒng)所檢測的對應(yīng)調(diào)制方面相關(guān)。校準(zhǔn)元件的2D(X、Y)空間位置由此可在來自相機(jī)的圖像中容易地標(biāo)識。在其余為空的場景中的這些校準(zhǔn)元件的深度允許為每一對象建立確定的深度方面(Z)。因此，在合適的校準(zhǔn)過程中，表示校準(zhǔn)元素的配置的數(shù)據(jù)可與所成像的場景幾何相關(guān)。因此，上述示例配置允許用于對象的3D模型的編碼各種方法?，F(xiàn)在繼續(xù)參照以上配置，通過示例來描述一些此類方法。然而，應(yīng)該理解，本文所述的方法以及完全落在本發(fā)明范圍內(nèi)的其它等效方案也可以經(jīng)由其它配置來實(shí)現(xiàn)。圖4示出根據(jù)本發(fā)明的用于校準(zhǔn)3D模型器的示例方法56。方法利用如上所述的校準(zhǔn)對象。在58，調(diào)制照射束并在校準(zhǔn)對象上掃描以便在校準(zhǔn)對象上照射校準(zhǔn)圖案。在校準(zhǔn)期間，可按通過整數(shù)劃分的fx和/或fy導(dǎo)出的頻率對照射束進(jìn)行脈沖調(diào)制。如此獲得的校準(zhǔn)圖案可包括一系列線或點(diǎn)。在60，捕捉在這樣形成圖案的照射下的校準(zhǔn)對象的2D圖像。圖像可由3D模型器的相機(jī)來捕捉——例如相機(jī)14。在62，校準(zhǔn)圖案的一個或多個特征(例如線和點(diǎn))位于2D圖像中，以便定義2D映射函數(shù)。換言之，確定特征的X和/或Y 坐標(biāo)。在64，基于這些坐標(biāo)，定義2D映射函數(shù)，用于將照射束下的每一目標(biāo)區(qū)域映射到2D 圖像的像素。在一個實(shí)施例中，2D映射函數(shù)可以如上述等式1和2中描述的，帶有所定義的幅度因子和相位項(xiàng)，使得X(t)和Y(t)與此處確定的X和Y坐標(biāo)重合。在校準(zhǔn)圖案的多個特征的坐標(biāo)被定位的實(shí)施例中，可使用全局最小平方適應(yīng)來獲得幅度因子和相位項(xiàng)的最優(yōu)集合，以供在2D映射函數(shù)中使用。繼續(xù)圖4，在66，測量從校準(zhǔn)對象反射的光的調(diào)制方面，以便定義深度映射函數(shù)。 所測量的具體調(diào)制方面在本發(fā)明的各實(shí)施例有所不同。以下將參考圖5描述諸如相位延遲和脈沖延遲等某些示例調(diào)制方面。無論所測量的具體調(diào)制方面如何，在方法56的68，定義深度映射函數(shù)用于將每一所測量的調(diào)制方面變換成對應(yīng)的深度方面。為定義深度映射函數(shù)，將所測量的調(diào)制方面與深度方面相關(guān)的可調(diào)整參數(shù)可以被設(shè)置或調(diào)整，使得在校準(zhǔn)期間所測量的深度方面與3D模型器10與校準(zhǔn)對象M之間預(yù)先確定的或已知的距離相對應(yīng)。 68之后，該方法返回。圖5示出在一個實(shí)施例中用于構(gòu)建對象的3D表示的示例方法70。在72，捕捉對象的2D圖像?；救缟纤觯?D圖像可由3D模型器的相機(jī)來捕捉。在74，在對象上掃描調(diào)制照射束，以便一次照射對象的多個目標(biāo)區(qū)域?；救缟纤觯墒褂靡苿臃瓷溏R光束掃描儀來在對象上掃描照射束。在本發(fā)明的不同實(shí)施例中，照射束可被不同地調(diào)制。在一個實(shí)施例中，照射束可以是脈沖調(diào)制的——即相對窄的脈沖串，具有小于百分之五十的占空比。 例如，脈沖串可包括200MHz頻率的2納秒脈沖。在其他實(shí)施例中，照射束可以被波調(diào)制成任何周期性函數(shù)。在一個這樣的實(shí)施例中，照射束可以被調(diào)制成正弦波；在一個示例中，可使用30MHz的正弦波調(diào)制。在76，使用一個或多個光檢測器來測量從每一目標(biāo)區(qū)域反射的光的調(diào)制方面。如以上注意的，在本發(fā)明的不同實(shí)施例中，可以測量不同的調(diào)制方面。在一個實(shí)施例中，其中照射束是脈沖調(diào)制的，可以在76測量脈沖延遲(即相對脈沖定時)并且用于計(jì)算深度方面。例如，如果參考光檢測器50在時間tK檢測到調(diào)制脈沖， 并且對象光檢測器46在時間ts檢測到相同的調(diào)制脈沖，則從傳感器板48到照射目標(biāo)區(qū)域 42以及回到對象光檢測器46的光程的長度L將由下式給出L = (ts-tE)/c, (3)其中c是光在空氣中的速度。由此，通過同時監(jiān)視兩個光檢測器的輸出以及通過對延遲ts-tK估計(jì)，可以確定的L值。
在另一個實(shí)施例中，其中照射束是波調(diào)制的，可以在76測量相位延遲(即相對調(diào)制相位)并且用于計(jì)算深度方面。例如，如果對照射束的強(qiáng)度進(jìn)行正弦調(diào)制，則參考光檢測器50的輸出會是PK*sin(co*t)，(4)但對象光檢測器46的輸出會是Pi^sin (co>Kt+ω >KL/c), (5)其中P1^PPs是常數(shù)，并且ω是調(diào)制的角頻率。由此，通過同時監(jiān)視光檢測器的輸出以及通過應(yīng)用合適的相位檢測方法，可以確定的L值。在78，基于所測量的調(diào)制方面來計(jì)算每一目標(biāo)區(qū)域的深度方面。在反射鏡30相對于對象12更接近于傳感器板48的實(shí)施例中，L ^ 2*sqrt (( Δ X)2+ ( Δ Y)2+ ( Δ Ζ)2)，(6)其中ΔΧ、ΔΥ和Δ Z是從反射鏡30分別沿X、Y和Z軸到照射目標(biāo)區(qū)域42的距離。經(jīng)由等式1和2，可為正掃描的照射目標(biāo)區(qū)域確定ΔΧ和ΔΥ。因此，可以容易地為該目標(biāo)區(qū)域計(jì)算深度方面ΔΖ。在80，為每一目標(biāo)區(qū)域所計(jì)算的深度方面與2D圖像的對應(yīng)像素相關(guān)聯(lián)。在一個實(shí)施例中，2D映射函數(shù)可用于此目的——在先前方法的64處定義2D映射函數(shù)。因此，將深度方面與2D圖像的對應(yīng)像素相關(guān)聯(lián)可包括將多個目標(biāo)區(qū)域映射到2D 圖像的對應(yīng)多個像素。在又一實(shí)施例中，經(jīng)由校準(zhǔn)所確定的深度映射函數(shù)(例如在方法56的68處)可被用于細(xì)化根據(jù)方法70來計(jì)算的深度方面。非理想的控制器電路可引起對參考光檢測器與對象光檢測器的不相等的響應(yīng)時間，這在所計(jì)算的脈沖延遲或相位延遲中可導(dǎo)致系統(tǒng)錯誤。因此，深度映射函數(shù)可被用于將所測量的脈沖延遲或相位延遲從明顯變換成細(xì)化值，盡管有這樣的非理想性。在此處設(shè)想的實(shí)施例中，調(diào)制方面隨著照射束在對象上掃描被周期性地測量，由此定義了沿X軸的深度采樣分辨率、以及沿Y軸的深度采樣分辨率。換言之，當(dāng)照射束觀正在對象上被掃描時，對沿X軸的給定分辨率以及對于沿Y軸的給定分辨率，照射目標(biāo)區(qū)域 42的位置可能是已知的。這些分辨率可受各種因素的限制，例如，包括反射鏡30的偏轉(zhuǎn)幅度、照射束觀的散度以及驅(qū)動換能器34和36的時鐘脈沖頻率。在某些實(shí)施例中，沿一個軸或兩個軸的深度采樣分辨率可以低于沿相同軸的2D圖像的分辨率。在這些實(shí)施例中，鑒于以上參考的2D映射函數(shù)，將深度方面與所捕捉的2D圖像的每一像素相關(guān)聯(lián)可包括將所計(jì)算的深度方面與幾何上最接近于照射目標(biāo)區(qū)域的像素相關(guān)聯(lián)。深度方面隨后可通過對幾何上不是最接近于目標(biāo)區(qū)域的像素的內(nèi)插來估計(jì)。由此，可基于與圖像的其他像素相關(guān)聯(lián)的兩個或更多深度方面來對2D圖像的像素內(nèi)插一深度方面。此外，在所捕捉的2D圖像在相同對象的一系列所捕捉的視頻幀之中的實(shí)施例中，與該系列所捕捉的視頻幀中對應(yīng)像素相關(guān)聯(lián)的深度方面可被一起平均，以便在所計(jì)算的深度方面實(shí)現(xiàn)更好的信噪比。應(yīng)該理解，在某些實(shí)施例中，可以省略本文所述和/或所示的某些進(jìn)程步驟而不背離本公開的范圍。類似地，可以不總是要求所述的進(jìn)程步驟序列實(shí)現(xiàn)目標(biāo)結(jié)果，而是為了示出和描述簡單而提供的。所示動作、功能或操作中的一個或多個可以重復(fù)執(zhí)行，這取決于所使用的特定策略。最后，可以理解，此處描述的制品、系統(tǒng)和方法在本質(zhì)上是示例性的，并且這些具體實(shí)施例或示例不被認(rèn)為是限制意義，因?yàn)槎鄠€變型是可能的。因此，本公開包括此處所公開的各種系統(tǒng)和方法的所有新穎和非顯而易見的組合和子組合，及其任何和所有的等效方案。
權(quán)利要求
1.一種用于構(gòu)建對象(12)的3D表示的方法(70)，所述表示包括亮度和深度信息，所述方法包括用相機(jī)(14)捕捉(7 所述對象的2D圖像，所述2D圖像包括像素陣列以及每一像素的至少一個亮度值；用移動反射鏡光束掃描儀(10)在對象上掃描(74)調(diào)制照射束08)，以便一次照射所述對象的多個目標(biāo)區(qū)域G2)；用光檢測器G6)測量(76)來自從所述目標(biāo)區(qū)域的每一個所反射的照射束的光的調(diào)制方面；基于所測量的調(diào)制方面為所述目標(biāo)區(qū)域的每一個計(jì)算(78)深度方面；以及將為所述目標(biāo)區(qū)域的每一個所計(jì)算的深度方面與所述2D圖像的對應(yīng)像素相關(guān)聯(lián) (80)。
2.如權(quán)利要求1所述的方法，其特征在于，測量所述調(diào)制方面包括測量相位延遲。
3.如權(quán)利要求1所述的方法，其特征在于，測量所述調(diào)制方面包括測量脈沖延遲。
4.如權(quán)利要求1所述的方法，其特征在于，將所述深度方面與所述2D圖像的對應(yīng)像素相關(guān)聯(lián)包括將多個目標(biāo)區(qū)域映射到所述2D圖像的對應(yīng)的多個像素。
5.如權(quán)利要求4所述的方法，其特征在于，將所述多個目標(biāo)區(qū)域映射到所述2D圖像的對應(yīng)的多個像素包括在校準(zhǔn)對象上調(diào)制并掃描所述照射束，以便將校準(zhǔn)圖案投射在所述校準(zhǔn)對象上； 捕捉所述校準(zhǔn)對象的2D圖像；將所述校準(zhǔn)圖案的一個或多個特征定位在所述2D圖像中，以便定義2D映射函數(shù)；以及應(yīng)用所述2D映射函數(shù)以將所述多個目標(biāo)區(qū)域映射到所述對應(yīng)的多個像素。
6.如權(quán)利要求5所述的方法，其特征在于，還包括測量從所述校準(zhǔn)對象反射的光的調(diào)制方面以定義深度映射函數(shù)，其中計(jì)算所述深度方面包括將所述深度映射函數(shù)應(yīng)用于為所述目標(biāo)區(qū)域的每一個所測量的調(diào)制方面。
7.如權(quán)利要求4所述的方法，其特征在于，隨所述照射束在所述對象上掃描周期性地測量所述調(diào)制方面，由此定義沿軸的深度采樣分辨率，其中所述深度采樣分辨率低于沿相同軸的2D圖像的分辨率，并且所述方法還包括基于與所述對應(yīng)的多個像素相關(guān)聯(lián)的兩個或多個深度方面來為所述2D圖像的像素內(nèi)插一深度方面。
8.如權(quán)利要求1所述的方法，其特征在于，捕捉所述2D圖像包括捕捉具有每一像素兩個或更多色彩專用亮度值的色彩圖像。
9.如權(quán)利要求1所述的方法，其特征在于，所捕捉的2D圖像在一系列所捕捉的相同對象的視頻幀之中。
10.一種用于構(gòu)建對象(12)的3D表示的系統(tǒng)(10)，所述表示包括亮度和深度信息，所述系統(tǒng)包括相機(jī)(14)，被設(shè)置成與所述對象相對，并且被配置成捕捉所述對象的2D圖像； 至少一個激光器(沈)，被設(shè)置成引導(dǎo)光進(jìn)入照射束08)； 控制器(M)，被配置成調(diào)制所述照射束的強(qiáng)度，并且接收來自所述相機(jī)的2D圖像； 反射鏡(30)，被耦合到底座(32)，并且被配置成反射所述照射束； 換能器(34、36)，操作上被耦合到所述控制器并且被配置成偏轉(zhuǎn)所述反射鏡，使得調(diào)制照射束在所述對象上掃描從而一次照射所述對象的多個目標(biāo)區(qū)域G2)；以及第一光檢測器(60)，操作上被耦合到所述控制器，并且被配置成測量來自從所述目標(biāo)區(qū)域的每一個所反射的照射束的光的調(diào)制方面，其中，所述控制器還被配置成基于為所述目標(biāo)區(qū)域的每一個所測量的調(diào)制方面來計(jì)算深度方面，并且將為所述目標(biāo)區(qū)域的每一個所計(jì)算的深度方面與所述2D圖像的對應(yīng)像素相關(guān)聯(lián)。
11.如權(quán)利要求10所述的系統(tǒng)，其特征在于，還包括傳感器板，被設(shè)置在所述激光與所述反射鏡之間，并且被配置成將所述照射束的一部分反射到第二光檢測器，所述第二光檢測器在操作上被耦合到所述控制器并且被配置成為所述對象的多個目標(biāo)區(qū)域的每一個測量從所述傳感器板反射的光的調(diào)制方面。
12.如權(quán)利要求10所述的系統(tǒng)，其特征在于，還包括光通過濾光器，通過所述濾光器光被允許射入所述第一光檢測器，所述濾光器被配置成使由所述激光器發(fā)射的波長或偏振狀態(tài)范圍的光透過、并且阻擋不是由所述激光器發(fā)射的波長或偏振狀態(tài)范圍的光。
13.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述激光器是紅外發(fā)射激光器。
14.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述相機(jī)是紅外的以及可見光敏感的相機(jī)。
15.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述控制器被進(jìn)一步配置成執(zhí)行視頻游戲應(yīng)用，其中所述對象的3D表示是所述視頻游戲應(yīng)用的輸入數(shù)據(jù)。
全文摘要
本發(fā)明公開了對2D圖像的掃描束深度映射。一種用于構(gòu)建對象的3D表示的方法，包括用相機(jī)捕捉該對象的2D圖像。該方法還包括在對象上掃描已調(diào)制照射束，以便一次照射該對象的多個目標(biāo)區(qū)域，并且從反射自每一目標(biāo)區(qū)域的照射束中測試光的調(diào)制方面。使用移動反射鏡光束掃描儀來掃描該照射束，并且可以使用光檢測器來測量該調(diào)制方面。該方法還包括基于為每一目標(biāo)區(qū)域所測量的調(diào)制方面來計(jì)算深度方面，并且將該深度方面與2D圖像的對應(yīng)像素相關(guān)聯(lián)。
文檔編號G06T11/00GK102314707SQ20111012882
公開日2012年1月11日 申請日期2011年5月11日 優(yōu)先權(quán)日2010年5月12日
發(fā)明者D·伊, J·R·劉易斯, J·盧蒂安, S·巴斯徹 申請人:微軟公司