具有主動照明的傳感器系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及基于主動照明的視覺傳感器。本發(fā)明改善了主動成像系統(tǒng)的圖像質(zhì)量，改善了動態(tài)范圍和它的背景光穩(wěn)定性。這樣的傳感器通常被用于檢測和測量它們的周圍環(huán)境、對象或人。
【背景技術(shù)】
[0002]主動照明被實現(xiàn)于許多相機設(shè)計中來改善相機測量結(jié)果。相機被理解為包含具有像素陣列的圖像傳感器的光電器件。
[0003]在許多機器視覺應(yīng)用中，主動照明被用于相機系統(tǒng)上來保證一定的光亮度水平。通過這么做，主動系統(tǒng)的性能變得不易受它的周圍環(huán)境的光照變化的影響。穩(wěn)定性和可靠性被提升。此外，通過向系統(tǒng)增加照明電源，可設(shè)置更短的曝光并實現(xiàn)更高的幀速率。
[0004]具有主動照明相機系統(tǒng)的其他傳感器使用場景中的感興趣對象的特定屬性，例如應(yīng)用可利用場景中的反射物，該反射物能夠被容易地識別并且可能進行跟蹤。
[0005]其他應(yīng)用利用感興趣對象的特定反射屬性，例如眼睛的反射屬性。由具有主動照明的系統(tǒng)捕獲的眼睛的典型背向反射能夠被用于檢測和跟蹤眼睛并且對眼睛眨動進行計數(shù)來例如檢查駕駛者的睡意和建立疲勞測量傳感器。
[0006]在干涉儀中，主動系統(tǒng)對感興趣對象和參考目標(biāo)進行照明?；诜瓷涞母缮嫘裕軌?qū)ι疃冗M行測量和分析。
[0007]其他主動系統(tǒng)對照明進行調(diào)制來取得關(guān)于它的周圍環(huán)境的更多信息。這樣的照明通常在時間上被調(diào)制(時間調(diào)制)或者在空間上被調(diào)制，并且能夠被應(yīng)用來例如測量距離以繪制3D環(huán)境。時間調(diào)制被實現(xiàn)在所謂的飛行時間(TOF)相機中(間接或直接地)；空間調(diào)制被用于基于三角測量的深度測量系統(tǒng)，也被稱作結(jié)構(gòu)光技術(shù)。
[0008]飛行時間圖像傳感器像素是專用像素設(shè)計來保證光生電荷到它們的存儲節(jié)點的極度快速轉(zhuǎn)移。更高的調(diào)制頻率產(chǎn)生更好的深度噪聲性能。因此，TOF解調(diào)像素通常工作在數(shù)十MHz至高達數(shù)百MHz的范圍內(nèi)。另外，TOF像素一般包括像素級的背景光抑制，從而增加TOF成像系統(tǒng)的動態(tài)范圍。在大多數(shù)實現(xiàn)中，TOF像素的每個像素包括兩個存儲節(jié)點來存儲和集成兩個采樣信號。

【發(fā)明內(nèi)容】

[0009]如果諸如太陽光之類的背景光信號可被去除，則對所有的主動式照明成像系統(tǒng)的穩(wěn)健性有益。大多數(shù)時間里，背景光信號消除是通過兩個連續(xù)圖像的采集來實現(xiàn)的，一個圖像具有開啟的照明，一個圖像具有關(guān)閉的照明。兩個圖像的減除產(chǎn)生了僅包括主動照明的亮度信息的圖像。這樣的方法的缺陷首先在于系統(tǒng)需要獲得兩個分離的圖像。場景或場景中的對象可能從圖像到圖像改變并且在此情形中的背景減除是不理想的。另外，兩個獲得圖像需要根據(jù)背景光和主動光處置全動態(tài)信號范圍。即使不需要背景光信號，它也會吃掉系統(tǒng)的動態(tài)范圍。
[0010]本發(fā)明的一個目的是提供具有改善的動態(tài)范圍的成像系統(tǒng)。本發(fā)明的另一目的是提供用于三維測量的成像系統(tǒng)，其具有改善分辨率和更少的光功率消耗。本發(fā)明的另一目的是提供二維亮度和三維成像系統(tǒng)。
[0011 ]根據(jù)本發(fā)明，這些目的是具體通過獨立權(quán)利要求的特征實現(xiàn)的。此外，根據(jù)從屬權(quán)利要求和說明書得到其他有利的實施例。
[0012]根據(jù)本發(fā)明，一種成像系統(tǒng)包括成像傳感器。該成像系統(tǒng)適于處理由至少兩個不同的照明源照明的場景的圖像，每個照明源具有處于近紅外范圍的波長。優(yōu)選地，波長在800與100nm之間。照明源被放置為緊接著成像傳感器并且可與圖形傳感器同步。至少兩個照明源可被放置以最小化遮擋。
[0013]在一些實施例中，該至少兩個不同的照明源的波長是不同的，例如至少一個照明源在850nm左右處，并且至少一個照明源在940nm左右處。
[0014]在一些實施例中，所述至少兩個不同的照明源包括至少一個結(jié)構(gòu)化照明源。例如，在圖像傳感器是飛行時間圖像傳感器的情形中，這提供了由飛行時間測量和結(jié)構(gòu)化照明源測量所提供的優(yōu)點的益處。
[0015]在一些實施例中，所述至少兩個不同的照明源包括至少一個均勻照明源。
[0016]在一些實施例中，該至少兩個不同的照明源各自處于近紅外范圍中但包括至少一個均勻照明源和至少一個結(jié)構(gòu)化照明源。基于結(jié)構(gòu)化照明源的圖像的采集可與基于均勻照明源的采集相交插?；诮Y(jié)構(gòu)化照明源的實際原始圖像不以傳統(tǒng)的色彩或亮度(intensity)的表現(xiàn)形式表現(xiàn)它所獲得的環(huán)境。為此，基于結(jié)構(gòu)化照明源的當(dāng)前技術(shù)的系統(tǒng)增加第二圖像傳感設(shè)備，通常是RGB傳感器。通過實現(xiàn)如本發(fā)明所提出的兩個不同照明源(例如，一個結(jié)構(gòu)化照明源和一個均勻照明源)，成像系統(tǒng)可通過相同的圖像傳感器推導(dǎo)出深度信息并生成代表性的亮度(或黑白)圖像。這還允許3D地圖到2D亮度圖像上的容易且一對一的映射。在圖像傳感器是TOF圖像傳感器的情形中，TOF圖像傳感器和兩個不同的照明源還可被時間調(diào)制并被同步。
[0017]在一些實施例中，成像系統(tǒng)包括結(jié)構(gòu)化照明源和均勻照明源，各自具有類似的中心波長，二者優(yōu)選地在800nm和100nm之間。在這樣的實施例中，來自結(jié)構(gòu)化照明源的圖像和來自均勻照明源的圖像各自可通過相同的光路被成像并且可在光路中應(yīng)用較窄的帶通濾波器。較窄的帶通濾波器的應(yīng)用允許光學(xué)上盡可能多地阻擋背景光信號。
[0018]在一些實施例中，圖像傳感器是飛行時間傳感器。
[0019]在一些實施例中，所述至少兩個不同的照明源包括在曝光期間被時間調(diào)制的至少一個照明源。適當(dāng)?shù)臅r間調(diào)制方案使得能夠減少在采集期間由變化的場景或移動的對象引起的偽差(artifact)，并且還使得能夠避免來自區(qū)域中的其他成像系統(tǒng)的干擾。
[0020]在一些實施例中，所述至少兩個不同的照明源在相同的發(fā)光管芯上。這在至少兩個照明源是結(jié)構(gòu)化照明源并且二者都被時間調(diào)制的情形中具有特殊益處。在相同的發(fā)射管芯上設(shè)置有所述至少兩個結(jié)構(gòu)化照明源并且對它們與圖像傳感器同步地進行調(diào)制的系統(tǒng)允許結(jié)構(gòu)化圖像上的更高信息亮度等級。
[0021]另外，本發(fā)明涉及使用成像傳感器的成像方法。由至少兩個不同的照明源照明的場景的圖像被處理，每個照明源具有處于近紅外范圍的波長。在變體中，所述至少兩個不同的照明源的波長是不同的。在變體中，所述至少兩個不同的照明源包括至少一個結(jié)構(gòu)化照明源。在變體中，所述至少兩個不同的照明源包括至少一個均勻照明源。在變體中，所使用的圖像傳感器是飛行時間傳感器。在變體中，所述至少兩個不同的照明源包括至少一個均勻照明源，該均勻照明源是用低于飛行時間測量中使用的調(diào)制頻率的調(diào)制頻率進行調(diào)制的。在變體中，所述至少兩個不同的照明源包括在曝光期間被時間調(diào)制的至少一個結(jié)構(gòu)化照明源。在變體中，所述至少兩個不同的照明源在相同的發(fā)光管芯上。
[0022]根據(jù)本發(fā)明，包括飛行時間傳感器的成像系統(tǒng)適于使用具有低于用于進行3D飛行時間測量所使用的調(diào)制頻率的調(diào)制頻率的照明源。
[0023]在優(yōu)選的特定實施例中，本發(fā)明提出在成像系統(tǒng)中實現(xiàn)飛行時間傳感器或者通常每個像素具有兩個存儲節(jié)點的架構(gòu)，優(yōu)選地甚至包含某一類型的像素中背景抑制能力。另夕卜，在主動照明成像系統(tǒng)中，飛行時間圖像傳感器和照明源是用低調(diào)制頻率來控制的，該調(diào)制頻率如此低以使得信號的實際飛行時間對采樣的信號的影響可忽略。另外，本發(fā)明提出在成像系統(tǒng)上實現(xiàn)采集時序，其導(dǎo)致一定數(shù)量的樣本和采集，該數(shù)量不足以執(zhí)行實際的飛行時間測量并僅基于那些采集進行圖像評估。飛行時間像素在大多數(shù)實際實現(xiàn)中包括兩個存儲節(jié)點并且捕獲至少兩個但最常用四個連續(xù)但相位延遲的圖像來推導(dǎo)深度信息。在此實施例中，像素的一個存儲節(jié)點被優(yōu)選地用于僅對背景光進行積分，其然后被從另一存儲節(jié)點中減除，在該另一存儲節(jié)點中，背景光信號與主動發(fā)射的和反射的光一起被積分。信號的采集和積分，以及它們到兩個飛行時間像素存儲節(jié)點的轉(zhuǎn)移在采集期間被優(yōu)選地重復(fù)和交插多次。得到的差分像素輸出然后將僅是主動發(fā)射的信號的表示，這使得系統(tǒng)相對于周圍環(huán)境中的變化光條件更加穩(wěn)健。
[0024]在一些實施例中，調(diào)制頻率在10Hz至IMHz之間。與當(dāng)前技術(shù)的飛行時間測量系統(tǒng)中數(shù)十MHz的轉(zhuǎn)換相比，更緩慢的調(diào)制減少了成像系統(tǒng)的功率消耗。另外，