具有主動(dòng)照明的傳感器系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及基于主動(dòng)照明的視覺(jué)傳感器。本發(fā)明改善了主動(dòng)成像系統(tǒng)的圖像質(zhì)量，改善了動(dòng)態(tài)范圍和它的背景光穩(wěn)定性。這樣的傳感器通常被用于檢測(cè)和測(cè)量它們的周圍環(huán)境、對(duì)象或人。
【背景技術(shù)】
[0002]主動(dòng)照明被實(shí)現(xiàn)于許多相機(jī)設(shè)計(jì)中來(lái)改善相機(jī)測(cè)量結(jié)果。相機(jī)被理解為包含具有像素陣列的圖像傳感器的光電器件。
[0003]在許多機(jī)器視覺(jué)應(yīng)用中，主動(dòng)照明被用于相機(jī)系統(tǒng)上來(lái)保證一定的光亮度水平。通過(guò)這么做，主動(dòng)系統(tǒng)的性能變得不易受它的周圍環(huán)境的光照變化的影響。穩(wěn)定性和可靠性被提升。此外，通過(guò)向系統(tǒng)增加照明電源，可設(shè)置更短的曝光并實(shí)現(xiàn)更高的幀速率。
[0004]具有主動(dòng)照明相機(jī)系統(tǒng)的其他傳感器使用場(chǎng)景中的感興趣對(duì)象的特定屬性，例如應(yīng)用可利用場(chǎng)景中的反射物，該反射物能夠被容易地識(shí)別并且可能進(jìn)行跟蹤。
[0005]其他應(yīng)用利用感興趣對(duì)象的特定反射屬性，例如眼睛的反射屬性。由具有主動(dòng)照明的系統(tǒng)捕獲的眼睛的典型背向反射能夠被用于檢測(cè)和跟蹤眼睛并且對(duì)眼睛眨動(dòng)進(jìn)行計(jì)數(shù)來(lái)例如檢查駕駛者的睡意和建立疲勞測(cè)量傳感器。
[0006]在干涉儀中，主動(dòng)系統(tǒng)對(duì)感興趣對(duì)象和參考目標(biāo)進(jìn)行照明?；诜瓷涞母缮嫘?，能夠?qū)ι疃冗M(jìn)行測(cè)量和分析。
[0007]其他主動(dòng)系統(tǒng)對(duì)照明進(jìn)行調(diào)制來(lái)取得關(guān)于它的周圍環(huán)境的更多信息。這樣的照明通常在時(shí)間上被調(diào)制(時(shí)間調(diào)制)或者在空間上被調(diào)制，并且能夠被應(yīng)用來(lái)例如測(cè)量距離以繪制3D環(huán)境。時(shí)間調(diào)制被實(shí)現(xiàn)在所謂的飛行時(shí)間(TOF)相機(jī)中(間接或直接地)；空間調(diào)制被用于基于三角測(cè)量的深度測(cè)量系統(tǒng)，也被稱作結(jié)構(gòu)光技術(shù)。
[0008]飛行時(shí)間圖像傳感器像素是專用像素設(shè)計(jì)來(lái)保證光生電荷到它們的存儲(chǔ)節(jié)點(diǎn)的極度快速轉(zhuǎn)移。更高的調(diào)制頻率產(chǎn)生更好的深度噪聲性能。因此，TOF解調(diào)像素通常工作在數(shù)十MHz至高達(dá)數(shù)百M(fèi)Hz的范圍內(nèi)。另外，TOF像素一般包括像素級(jí)的背景光抑制，從而增加TOF成像系統(tǒng)的動(dòng)態(tài)范圍。在大多數(shù)實(shí)現(xiàn)中，TOF像素的每個(gè)像素包括兩個(gè)存儲(chǔ)節(jié)點(diǎn)來(lái)存儲(chǔ)和集成兩個(gè)采樣信號(hào)。

【發(fā)明內(nèi)容】

[0009]如果諸如太陽(yáng)光之類的背景光信號(hào)可被去除，則對(duì)所有的主動(dòng)式照明成像系統(tǒng)的穩(wěn)健性有益。大多數(shù)時(shí)間里，背景光信號(hào)消除是通過(guò)兩個(gè)連續(xù)圖像的采集來(lái)實(shí)現(xiàn)的，一個(gè)圖像具有開(kāi)啟的照明，一個(gè)圖像具有關(guān)閉的照明。兩個(gè)圖像的減除產(chǎn)生了僅包括主動(dòng)照明的亮度信息的圖像。這樣的方法的缺陷首先在于系統(tǒng)需要獲得兩個(gè)分離的圖像。場(chǎng)景或場(chǎng)景中的對(duì)象可能從圖像到圖像改變并且在此情形中的背景減除是不理想的。另外，兩個(gè)獲得圖像需要根據(jù)背景光和主動(dòng)光處置全動(dòng)態(tài)信號(hào)范圍。即使不需要背景光信號(hào)，它也會(huì)吃掉系統(tǒng)的動(dòng)態(tài)范圍。
[0010]本發(fā)明的一個(gè)目的是提供具有改善的動(dòng)態(tài)范圍的成像系統(tǒng)。本發(fā)明的另一目的是提供用于三維測(cè)量的成像系統(tǒng)，其具有改善分辨率和更少的光功率消耗。本發(fā)明的另一目的是提供二維亮度和三維成像系統(tǒng)。
[0011 ]根據(jù)本發(fā)明，這些目的是具體通過(guò)獨(dú)立權(quán)利要求的特征實(shí)現(xiàn)的。此外，根據(jù)從屬權(quán)利要求和說(shuō)明書得到其他有利的實(shí)施例。
[0012]根據(jù)本發(fā)明，一種成像系統(tǒng)包括成像傳感器。該成像系統(tǒng)適于處理由至少兩個(gè)不同的照明源照明的場(chǎng)景的圖像，每個(gè)照明源具有處于近紅外范圍的波長(zhǎng)。優(yōu)選地，波長(zhǎng)在800與100nm之間。照明源被放置為緊接著成像傳感器并且可與圖形傳感器同步。至少兩個(gè)照明源可被放置以最小化遮擋。
[0013]在一些實(shí)施例中，該至少兩個(gè)不同的照明源的波長(zhǎng)是不同的，例如至少一個(gè)照明源在850nm左右處，并且至少一個(gè)照明源在940nm左右處。
[0014]在一些實(shí)施例中，所述至少兩個(gè)不同的照明源包括至少一個(gè)結(jié)構(gòu)化照明源。例如，在圖像傳感器是飛行時(shí)間圖像傳感器的情形中，這提供了由飛行時(shí)間測(cè)量和結(jié)構(gòu)化照明源測(cè)量所提供的優(yōu)點(diǎn)的益處。
[0015]在一些實(shí)施例中，所述至少兩個(gè)不同的照明源包括至少一個(gè)均勻照明源。
[0016]在一些實(shí)施例中，該至少兩個(gè)不同的照明源各自處于近紅外范圍中但包括至少一個(gè)均勻照明源和至少一個(gè)結(jié)構(gòu)化照明源。基于結(jié)構(gòu)化照明源的圖像的采集可與基于均勻照明源的采集相交插?；诮Y(jié)構(gòu)化照明源的實(shí)際原始圖像不以傳統(tǒng)的色彩或亮度(intensity)的表現(xiàn)形式表現(xiàn)它所獲得的環(huán)境。為此，基于結(jié)構(gòu)化照明源的當(dāng)前技術(shù)的系統(tǒng)增加第二圖像傳感設(shè)備，通常是RGB傳感器。通過(guò)實(shí)現(xiàn)如本發(fā)明所提出的兩個(gè)不同照明源(例如，一個(gè)結(jié)構(gòu)化照明源和一個(gè)均勻照明源)，成像系統(tǒng)可通過(guò)相同的圖像傳感器推導(dǎo)出深度信息并生成代表性的亮度(或黑白)圖像。這還允許3D地圖到2D亮度圖像上的容易且一對(duì)一的映射。在圖像傳感器是TOF圖像傳感器的情形中，TOF圖像傳感器和兩個(gè)不同的照明源還可被時(shí)間調(diào)制并被同步。
[0017]在一些實(shí)施例中，成像系統(tǒng)包括結(jié)構(gòu)化照明源和均勻照明源，各自具有類似的中心波長(zhǎng)，二者優(yōu)選地在800nm和100nm之間。在這樣的實(shí)施例中，來(lái)自結(jié)構(gòu)化照明源的圖像和來(lái)自均勻照明源的圖像各自可通過(guò)相同的光路被成像并且可在光路中應(yīng)用較窄的帶通濾波器。較窄的帶通濾波器的應(yīng)用允許光學(xué)上盡可能多地阻擋背景光信號(hào)。
[0018]在一些實(shí)施例中，圖像傳感器是飛行時(shí)間傳感器。
[0019]在一些實(shí)施例中，所述至少兩個(gè)不同的照明源包括在曝光期間被時(shí)間調(diào)制的至少一個(gè)照明源。適當(dāng)?shù)臅r(shí)間調(diào)制方案使得能夠減少在采集期間由變化的場(chǎng)景或移動(dòng)的對(duì)象引起的偽差(artifact)，并且還使得能夠避免來(lái)自區(qū)域中的其他成像系統(tǒng)的干擾。
[0020]在一些實(shí)施例中，所述至少兩個(gè)不同的照明源在相同的發(fā)光管芯上。這在至少兩個(gè)照明源是結(jié)構(gòu)化照明源并且二者都被時(shí)間調(diào)制的情形中具有特殊益處。在相同的發(fā)射管芯上設(shè)置有所述至少兩個(gè)結(jié)構(gòu)化照明源并且對(duì)它們與圖像傳感器同步地進(jìn)行調(diào)制的系統(tǒng)允許結(jié)構(gòu)化圖像上的更高信息亮度等級(jí)。
[0021]另外，本發(fā)明涉及使用成像傳感器的成像方法。由至少兩個(gè)不同的照明源照明的場(chǎng)景的圖像被處理，每個(gè)照明源具有處于近紅外范圍的波長(zhǎng)。在變體中，所述至少兩個(gè)不同的照明源的波長(zhǎng)是不同的。在變體中，所述至少兩個(gè)不同的照明源包括至少一個(gè)結(jié)構(gòu)化照明源。在變體中，所述至少兩個(gè)不同的照明源包括至少一個(gè)均勻照明源。在變體中，所使用的圖像傳感器是飛行時(shí)間傳感器。在變體中，所述至少兩個(gè)不同的照明源包括至少一個(gè)均勻照明源，該均勻照明源是用低于飛行時(shí)間測(cè)量中使用的調(diào)制頻率的調(diào)制頻率進(jìn)行調(diào)制的。在變體中，所述至少兩個(gè)不同的照明源包括在曝光期間被時(shí)間調(diào)制的至少一個(gè)結(jié)構(gòu)化照明源。在變體中，所述至少兩個(gè)不同的照明源在相同的發(fā)光管芯上。
[0022]根據(jù)本發(fā)明，包括飛行時(shí)間傳感器的成像系統(tǒng)適于使用具有低于用于進(jìn)行3D飛行時(shí)間測(cè)量所使用的調(diào)制頻率的調(diào)制頻率的照明源。
[0023]在優(yōu)選的特定實(shí)施例中，本發(fā)明提出在成像系統(tǒng)中實(shí)現(xiàn)飛行時(shí)間傳感器或者通常每個(gè)像素具有兩個(gè)存儲(chǔ)節(jié)點(diǎn)的架構(gòu)，優(yōu)選地甚至包含某一類型的像素中背景抑制能力。另夕卜，在主動(dòng)照明成像系統(tǒng)中，飛行時(shí)間圖像傳感器和照明源是用低調(diào)制頻率來(lái)控制的，該調(diào)制頻率如此低以使得信號(hào)的實(shí)際飛行時(shí)間對(duì)采樣的信號(hào)的影響可忽略。另外，本發(fā)明提出在成像系統(tǒng)上實(shí)現(xiàn)采集時(shí)序，其導(dǎo)致一定數(shù)量的樣本和采集，該數(shù)量不足以執(zhí)行實(shí)際的飛行時(shí)間測(cè)量并僅基于那些采集進(jìn)行圖像評(píng)估。飛行時(shí)間像素在大多數(shù)實(shí)際實(shí)現(xiàn)中包括兩個(gè)存儲(chǔ)節(jié)點(diǎn)并且捕獲至少兩個(gè)但最常用四個(gè)連續(xù)但相位延遲的圖像來(lái)推導(dǎo)深度信息。在此實(shí)施例中，像素的一個(gè)存儲(chǔ)節(jié)點(diǎn)被優(yōu)選地用于僅對(duì)背景光進(jìn)行積分，其然后被從另一存儲(chǔ)節(jié)點(diǎn)中減除，在該另一存儲(chǔ)節(jié)點(diǎn)中，背景光信號(hào)與主動(dòng)發(fā)射的和反射的光一起被積分。信號(hào)的采集和積分，以及它們到兩個(gè)飛行時(shí)間像素存儲(chǔ)節(jié)點(diǎn)的轉(zhuǎn)移在采集期間被優(yōu)選地重復(fù)和交插多次。得到的差分像素輸出然后將僅是主動(dòng)發(fā)射的信號(hào)的表示，這使得系統(tǒng)相對(duì)于周圍環(huán)境中的變化光條件更加穩(wěn)健。
[0024]在一些實(shí)施例中，調(diào)制頻率在10Hz至IMHz之間。與當(dāng)前技術(shù)的飛行時(shí)間測(cè)量系統(tǒng)中數(shù)十MHz的轉(zhuǎn)換相比，更緩慢的調(diào)制減少了成像系統(tǒng)的功率消耗。另外，