本發(fā)明涉及(i)用于測(cè)量場(chǎng)景的對(duì)象和飛行時(shí)間(Time-Of-Flight)相機(jī)系統(tǒng)之間的距離的方法，以及(ii)與之相關(guān)聯(lián)的飛行時(shí)間相機(jī)系統(tǒng)。具體而言，本發(fā)明涉及場(chǎng)景內(nèi)光線的直接和間接反射問(wèn)題，以及由這些多個(gè)反射所引起的深度測(cè)量的錯(cuò)誤。應(yīng)當(dāng)理解，場(chǎng)景意指圍繞該對(duì)象的光線可以直接或間接反射于其上的所有表面。

發(fā)明背景

飛行時(shí)間技術(shù)(TOF)是用于深度感知的頗具前景的技術(shù)。圖1中解說(shuō)了標(biāo)準(zhǔn)TOF相機(jī)系統(tǒng)3的公知的基本操作原理。TOF相機(jī)系統(tǒng)3通過(guò)分析光從專用照明單元18飛行到對(duì)象的飛行時(shí)間來(lái)捕捉場(chǎng)景15的3D圖像。TOF相機(jī)系統(tǒng)3包括相機(jī)(例如，像素矩陣1)和數(shù)據(jù)處理裝置4。場(chǎng)景15使用專用照明單元18來(lái)用預(yù)定波長(zhǎng)的經(jīng)調(diào)制光16來(lái)進(jìn)行有源照明，例如用一些具有至少一個(gè)預(yù)定頻率的光脈沖。經(jīng)調(diào)制的光被從場(chǎng)景內(nèi)的對(duì)象反射回去。鏡頭2收集反射光17并且將對(duì)象的圖像形成到相機(jī)的成像傳感器1上。取決于對(duì)象到相機(jī)的距離，在經(jīng)調(diào)制光(例如，所謂的光脈沖)的發(fā)射與在相機(jī)處對(duì)那些反射的光脈沖的接收之間經(jīng)歷了延遲。反射對(duì)象以及相機(jī)之間的距離可以被確定為所觀察到的時(shí)間延遲以及光速常量值的函數(shù)。

該技術(shù)的一個(gè)缺點(diǎn)由圖2來(lái)解說(shuō)并且涉及所謂的多徑現(xiàn)象。示出了標(biāo)準(zhǔn)TOF相機(jī)系統(tǒng)9，其包括用于在多個(gè)方向上照亮場(chǎng)景24的照明單元8、用于檢測(cè)所發(fā)射的光的反射的TOF傳感器6，以及用于處理由TOF傳感器6所獲得的數(shù)據(jù)的處理裝置7。

TOF傳感器6的像素(未示出)測(cè)量從照明單元8到場(chǎng)景24以及從場(chǎng)景24返回像素的直接路徑25。但是，二次反射26或更高階的反射也可以在相同的像素上被捕捉到并且破壞第一直接反射25所感知到的延遲。傳感器6所捕獲的光可以源自直接路徑25和二次反射26二者，所測(cè)得的深度圖27(表示與場(chǎng)景的每一點(diǎn)相關(guān)聯(lián)的深度)由此是錯(cuò)誤的。

在現(xiàn)有技術(shù)中，已經(jīng)實(shí)現(xiàn)了多種方法來(lái)恢復(fù)入射光的直接分量。例如，通過(guò)用不同調(diào)制頻率來(lái)獲得一組深度測(cè)量實(shí)現(xiàn)了多頻率辦法，但是所獲得的分辨率仍然較低。

另一種辦法使用了由例如數(shù)字光處理(DLP)投影機(jī)生成的一組不同空間圖案。通過(guò)在場(chǎng)景中創(chuàng)建暗斑塊和明斑塊，直接和間接分量可以被分開(kāi)，因?yàn)閺膱D案的黑暗部分獲得的深度僅由源自多路徑的間接信號(hào)產(chǎn)生。用場(chǎng)景的每一部分在黑暗情形中捕獲的方式來(lái)選擇不同的圖案。通過(guò)用足夠的交疊來(lái)定義圖案抵消了邊際效應(yīng)。然而，這些不同圖案的產(chǎn)生是昂貴的。

仍然要提出一種方案來(lái)用最有成本效益的方式來(lái)僅檢索反射光的直接分量，從而執(zhí)行對(duì)于場(chǎng)景的對(duì)象和TOF相機(jī)系統(tǒng)之間的距離的更為準(zhǔn)確的測(cè)量。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明涉及用于測(cè)量場(chǎng)景對(duì)象和飛行時(shí)間相機(jī)系統(tǒng)之間的距離以及提供該對(duì)象的深度圖的方法，該飛行時(shí)間相機(jī)系統(tǒng)包括照明單元、具有像素矩陣的成像傳感器以及圖像處理裝置，該方法的特征在于以下步驟：

-以離散方式修改該照明單元的照度從而分別用不同入射亮度來(lái)照亮該場(chǎng)景的基本區(qū)域，以用于區(qū)分直接入射光束和間接入射光束；

-將由該基本區(qū)域反射的光束接收到該傳感器的矩陣的像素上，以及為該圖像處理裝置提供對(duì)應(yīng)的數(shù)據(jù)；

-處理該對(duì)應(yīng)的數(shù)據(jù)來(lái)消除該間接光束在該對(duì)象的深度圖中的影響。

有利地，當(dāng)處理數(shù)據(jù)時(shí)，該方法可包括例如在中間深度圖上(但并非僅在中間深度圖上)標(biāo)識(shí)與僅有間接入射光束能照射于其上的基本區(qū)域相關(guān)聯(lián)的尖峰。通過(guò)標(biāo)識(shí)此類尖峰，該數(shù)據(jù)可以被處理以供消除間接光束的影響以及獲得場(chǎng)景的最終準(zhǔn)確的深度圖。

本發(fā)明還涉及用于測(cè)量場(chǎng)景的對(duì)象和TOF相機(jī)系統(tǒng)之間的距離以及用于提供該對(duì)象的深度圖的飛行時(shí)間(TOF)相機(jī)系統(tǒng)，該TOF相機(jī)系統(tǒng)包括：

-用于用經(jīng)調(diào)制光照亮該場(chǎng)景的照明單元；

-具有像素矩陣的成像傳感器，其用于將由該場(chǎng)景反射的光束接收到該傳感器的矩陣的像素上；

-圖像處理裝置，其用于從該成像傳感器接收對(duì)應(yīng)于所反射的光束的數(shù)據(jù)以及用于處理該對(duì)應(yīng)的數(shù)據(jù)；

其特征在于，其進(jìn)一步包括：

-圖案裝置，其用于以離散方式修改該照明單元的照度從而分別用不同入射亮度來(lái)照亮該場(chǎng)景的基本區(qū)域，以用于將直接入射光束和間接入射光束區(qū)分開(kāi)來(lái)，以及用于在處理該對(duì)應(yīng)數(shù)據(jù)的過(guò)程中消除該間接光束在該對(duì)象的深度圖中的影響。

有利地，照明的修改由以離散方式遮蔽該照明單元來(lái)執(zhí)行。該圖案裝置可以例如是避免直接入射光束照射到該場(chǎng)景的一些基本區(qū)域的遮罩。

更為有利地，該圖案裝置可包括用于使得能夠進(jìn)行該數(shù)據(jù)更簡(jiǎn)便處理的一系列相同的圖案群。

當(dāng)結(jié)合所附附圖來(lái)理解以下具體描述時(shí)，本發(fā)明的其他優(yōu)點(diǎn)和新穎特征將會(huì)變得更為明顯。

附圖說(shuō)明

參照以下描述和所附附圖，本發(fā)明將會(huì)被更好地理解。

圖1解說(shuō)了TOF相機(jī)系統(tǒng)的基本操作原理；

圖2解說(shuō)了多徑現(xiàn)象；

圖3解說(shuō)了根據(jù)本發(fā)明實(shí)施例的TOF相機(jī)系統(tǒng)；

圖4解說(shuō)了圖案裝置的示例；

圖5解說(shuō)了場(chǎng)景的中間深度圖以及TOF相機(jī)系統(tǒng)的相關(guān)聯(lián)的像素；

圖6解說(shuō)了場(chǎng)景和投影在場(chǎng)景上的光圖案，該光圖案包括兩個(gè)不同的空間區(qū)域。

當(dāng)結(jié)合所附附圖來(lái)理解以下具體描述時(shí)，本發(fā)明的優(yōu)點(diǎn)和新穎特征將會(huì)變得更為明顯。

發(fā)明詳述

圖3解說(shuō)了根據(jù)本發(fā)明實(shí)施例的TOF相機(jī)系統(tǒng)10。飛行時(shí)間相機(jī)系統(tǒng)10包括用于用經(jīng)調(diào)制光來(lái)照亮場(chǎng)景24的照明單元20。由該照明單元20發(fā)射的光被布置成適用于使用飛行時(shí)間技術(shù)測(cè)量距離。例如，照明單元20可以被布置成用于發(fā)射具有恰適脈沖寬度的光脈沖。事實(shí)上，當(dāng)使用脈沖時(shí)，每個(gè)光脈沖的脈沖寬度決定了相機(jī)射程(camera range)。例如，對(duì)于50ns的脈沖寬度，該射程被限定于7.5m。結(jié)果，場(chǎng)景照明對(duì)TOF相機(jī)系統(tǒng)的操作變得至關(guān)重要，并且照明單元的高速驅(qū)動(dòng)頻率要求使得必需使用專業(yè)光源(諸如，發(fā)光二極管(LED)或激光)來(lái)生成此類短光脈沖。照明單元被布置成用于發(fā)射多向光，如圖3中表示的多個(gè)發(fā)射光射線25、26和28所表示的。

TOF相機(jī)系統(tǒng)進(jìn)一步包括成像傳感器21，該成像傳感器21通常包括像素矩陣陣列，該成像傳感器用于接收并檢測(cè)反射光束以及形成場(chǎng)景24的圖像。出于清楚及解說(shuō)的目的，圖3中僅表示了兩個(gè)像素22和23，但是本發(fā)明不應(yīng)當(dāng)限于兩個(gè)像素的矩陣。應(yīng)當(dāng)理解，像素是指對(duì)光電磁輻射敏感的圖元及其相關(guān)的電子電路系統(tǒng)。像素的輸出能夠被用于確定光從照明單元20到場(chǎng)景24中對(duì)象以及從該對(duì)象反射回成像TOF傳感器21的飛行時(shí)間。

TOF相機(jī)系統(tǒng)10進(jìn)一步包括用于在場(chǎng)景24上產(chǎn)生光圖案的圖案裝置30。光圖案可以是直接從激光干擾獲得的，或者從可放置在照明單元20前面的圖案裝置獲得的，或者從激光散斑和圖案裝置30二者的組合獲得的本地激光散斑圖。當(dāng)使用圖案裝置30時(shí)，照明單元20所發(fā)射的光通過(guò)這些圖案裝置，使得這些光被修改以及在場(chǎng)景上形成光圖案，該光圖案具有不同亮度的定界基本區(qū)域31、32。在照射場(chǎng)景24之前，照明單元20所發(fā)射的光可以在圖案裝置30的給定區(qū)域上被阻礙或者在該給定區(qū)域上其亮度可以被降低，并且在其他區(qū)域上不被阻礙，這導(dǎo)致了在場(chǎng)景上產(chǎn)生了分別具有低光強(qiáng)的區(qū)域31和高光強(qiáng)的區(qū)域32。出于解說(shuō)的目的，這些區(qū)域已經(jīng)用粗直線31和32來(lái)表示，但是應(yīng)當(dāng)理解，在場(chǎng)景上產(chǎn)生的光圖案并不是附著于場(chǎng)景24上的實(shí)體圖案或物理圖案，而是源自放置在照明單元20前的圖案裝置30的光效果的結(jié)果。光圖案是由照明單元20投影在場(chǎng)景上的。圖案裝置30可以是濾鏡裝置、遮罩、網(wǎng)格或?qū)崿F(xiàn)以離散方式修改照明的任何裝置。理想地，圖案裝置應(yīng)當(dāng)在場(chǎng)景上提供在空間上具有周期性的光圖案31、32、45、46，以用于簡(jiǎn)單地檢索僅測(cè)得二次反射的區(qū)域31。圖案裝置30也可以包括如圖4中所表示的一系列相同的圖案群50或者可以隨后在時(shí)間上與多個(gè)TOF相機(jī)幀速率同步使用的一系列不同圖案群。

重要的是要注意到，本發(fā)明不要求具有100％對(duì)比度的圖案，以及不需要將圖案裝置與成像傳感器對(duì)齊。

TOF相機(jī)系統(tǒng)10進(jìn)一步包括用于確定照明20發(fā)射的光的飛行時(shí)間，以及藉此確定場(chǎng)景24的對(duì)象和成像傳感器21之間的距離的處理裝置5。處理裝置30被布置用于從成像傳感器21的像素接收數(shù)據(jù)以及用于處理它們以供消除間接光束在對(duì)象的深度圖中的影響。在以下段落中將描述用于確定該距離的方法以及對(duì)象的最終和準(zhǔn)確的深度圖?？稍诜珠_(kāi)的處理單元中計(jì)算飛行時(shí)間，該分開(kāi)的處理單元可耦合到TOF傳感器21或可直接集成到TOF傳感器本身中。在圖3中，處理裝置5被表示為耦合到照明單元20，但是本發(fā)明不限于此。

現(xiàn)在將參照?qǐng)D3、圖4、圖5和圖6來(lái)描述一種用于測(cè)量場(chǎng)景的對(duì)象和飛行時(shí)間相機(jī)系統(tǒng)之間的距離以及提供該對(duì)象的深度圖的方法，所述飛行時(shí)間相機(jī)系統(tǒng)10包括照明單元20、具有像素22、23矩陣的成像傳感器21以及圖像處理裝置30。

該方法包括，以離散方式修改照明單元20的照明從而分別用不同入射亮度來(lái)照亮場(chǎng)景的基本區(qū)域31、32以將直接入射光束25和間接入射光束26、28區(qū)分開(kāi)來(lái)。該修改可以例如通過(guò)在場(chǎng)景上創(chuàng)建光圖案來(lái)執(zhí)行，該光圖案包括具有高光強(qiáng)和低光強(qiáng)的定界基本區(qū)域。該光圖案可以通過(guò)將圖案裝置30放置在照明單元20前，以及由此將光圖案投影到場(chǎng)景上來(lái)創(chuàng)建。

傳感器21的像素接收由這些基本區(qū)域31、32反射的光束以及為圖像處理裝置30提供對(duì)應(yīng)的數(shù)據(jù)。

這些數(shù)據(jù)隨后被處理用于消除間接光束的影響以及獲得對(duì)象的準(zhǔn)確的深度圖。

投影在場(chǎng)景上的光圖案可以在中間深度圖29上檢索。這是由圖3和圖5來(lái)解說(shuō)的。通過(guò)比較圖2的深度圖27和圖3的29(分別為不使用圖案裝置及使用了圖案裝置的情形)，可以注意到尖峰33的出現(xiàn)。尖峰33對(duì)應(yīng)于場(chǎng)景24的僅測(cè)得二次反射的區(qū)域31。事實(shí)上，在這些區(qū)域中，在沒(méi)有二次反射的情況下，成像傳感器21的像素不應(yīng)當(dāng)測(cè)到光，或者僅測(cè)得具有小的亮度的光，因?yàn)楦鶕?jù)定義，這些區(qū)域31與光被阻礙或者光強(qiáng)被降低的圖案裝置30的區(qū)域相關(guān)聯(lián)。像素23上測(cè)得的光更主要是二次反射28，而像素22上測(cè)得的光對(duì)應(yīng)于直接和間接分量25、26二者。例如在中間深度圖29上標(biāo)識(shí)沒(méi)有直接入射光束可以照射于其上的基本區(qū)域31的事實(shí)可以被用于消除間接光束的影響以及獲得對(duì)象的最終的且準(zhǔn)確的深度圖?？梢岳鐝耐ㄟ^(guò)像素22中的直接和間接分量二者獲得的復(fù)數(shù)據(jù)中減去以像素23中的間接分量為主的光的飛行時(shí)間測(cè)量獲得的復(fù)數(shù)據(jù)來(lái)形成新的復(fù)數(shù)據(jù)NC。若像素22和23中間接分量對(duì)于復(fù)數(shù)據(jù)的貢獻(xiàn)相等，那么最終的復(fù)數(shù)據(jù)NC僅包括來(lái)自直接分量的信息。即使由于圖案裝置30受限的對(duì)比度，像素23仍然接收到了小的直接分量，最終的復(fù)數(shù)據(jù)NC將會(huì)具有較小的振幅但是仍將會(huì)具有正確的表示直接分量的飛行時(shí)間的相位。

圖5解說(shuō)了場(chǎng)景29的對(duì)象的中間深度圖以及TOF相機(jī)系統(tǒng)的相關(guān)聯(lián)的像素。像素40僅測(cè)量了間接分量并且與較高的深度和尖峰33相關(guān)聯(lián)，而像素41測(cè)量了直接分量和間接分量二者，并且與深度圖29的區(qū)域34相關(guān)聯(lián)。對(duì)應(yīng)于區(qū)域31的像素的標(biāo)識(shí)也可以使用信號(hào)強(qiáng)度圖來(lái)完成，其中由于直接分量的缺失，這些像素將會(huì)具有較低的強(qiáng)度。置信度圖或噪聲圖也可以被用來(lái)標(biāo)識(shí)與區(qū)域31相關(guān)聯(lián)的像素。

通過(guò)參照?qǐng)D3，為了僅確定反射光的直接分量25，對(duì)于例如像素22，像素23測(cè)得的復(fù)數(shù)值可以減去像素22測(cè)得的復(fù)數(shù)值以形成新的復(fù)數(shù)值NC。

在實(shí)際系統(tǒng)中，將會(huì)存在2個(gè)以上像素，以及間接分量函數(shù)將會(huì)由區(qū)域31上取得的樣本來(lái)構(gòu)建。該間接分量函數(shù)可以隨后針對(duì)具有直接和間接分量二者的所有像素而被內(nèi)插，并且從這些像素中被減去，僅留下直接分量。

當(dāng)場(chǎng)景相當(dāng)簡(jiǎn)單，并且場(chǎng)景的反射率理想時(shí)，與間接分量相關(guān)聯(lián)的值是連續(xù)函數(shù)，其可以由所有區(qū)域31簡(jiǎn)單地采樣，因?yàn)殚g接分量源自場(chǎng)景24的朗伯(Lambertian)反射。

當(dāng)場(chǎng)景較復(fù)雜時(shí)，該計(jì)算可以被不同地執(zhí)行。圖6的場(chǎng)景40包括例如有門(mén)的第一墻壁43和第二墻壁41，在該第二墻壁41上安裝有具有給定深度的櫥柜42。在該示例中，源自櫥柜42的反射或源自墻壁43的間接反射并不導(dǎo)致類似的測(cè)量。為了確定所反射的光的直接分量，可以確定場(chǎng)景40上的光圖案的不同空間區(qū)域45、46。出于解說(shuō)的目的，圖6中使用了不同的形狀，但是應(yīng)當(dāng)理解光子圖案45和46二者源自相同的圖案裝置30，該圖案裝置放置在TOF相機(jī)系統(tǒng)10的照明單元20的前面。該場(chǎng)景首先被使用可用深度數(shù)據(jù)或?qū)τ趯⒃搱?chǎng)景分段有用的任何附加數(shù)據(jù)來(lái)進(jìn)行分段。對(duì)于該場(chǎng)景的每一段，再次，一連續(xù)函數(shù)可以與間接分量相關(guān)聯(lián)，其可以分別由屬于每一段的諸區(qū)域31來(lái)采樣。聯(lián)系到每個(gè)區(qū)段的該間接分量函數(shù)可以隨后被用來(lái)補(bǔ)償具有直接和間接分量二者的像素中呈現(xiàn)的不想要的間接分量。