用于匹配自適應(yīng)顏色濾波器的濾波器特性以及用于運行圖像攝取裝置的方法和設(shè)備的制作方法
【專利摘要】本發(fā)明涉及一種用于匹配攝像機（102）的圖像攝取裝置的像點（220）的自適應(yīng)顏色濾波器（223）的濾波器特性的方法。所述方法包括求?。?45）所述像點的所需檢測特性的步驟、確定（447）所述顏色濾波器的所需濾波器特性以便實現(xiàn)所述像點的所需檢測特性的步驟以及相應(yīng)于所需濾波器特性提供（449）用于調(diào)節(jié)所述顏色濾波器的濾波器特性的調(diào)節(jié)信號的步驟。
【專利說明】用于匹配自適應(yīng)顏色濾波器的濾波器特性以及用于運行圖像攝取裝直的方法和設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于匹配攝像機的圖像攝取裝置的像點的自適應(yīng)顏色濾波器的濾波器特性的方法、一種用于運行車輛的攝像機的圖像攝取裝置的方法、一種相應(yīng)的設(shè)備以及一種相應(yīng)的計算機程序。
【背景技術(shù)】
[0002]為了能夠借助攝像機求取顏色信息，使攝像機的圖像攝取裝置的不同像素設(shè)有不同的顏色濾波器。然而，為了得到彩色圖像，需要在各個像素之間進行插值。這再次導(dǎo)致攝像機圖像的分析處理方面的測量精確度。
[0003]文件DE10254806B4示出一種用于機動車中的至少兩個信息源的信息處理的方法。

【發(fā)明內(nèi)容】

[0004]在這種背景下，借助本發(fā)明提出根據(jù)主權(quán)利要求的一種用于匹配攝像機的圖像攝取裝置的像點的自適應(yīng)顏色濾波器的濾波器特性的方法、一種用于運行車輛的攝像機的圖像攝取裝置的方法、使用所述方法的設(shè)備以及一種相應(yīng)的計算機程序產(chǎn)品。有利的構(gòu)型由相應(yīng)的從屬權(quán)利要求和以下的說明書得到。
[0005]借助自適應(yīng)顏色濾波器可以連續(xù)匹配攝像機的圖像攝取裝置的顏色敏感度。通過這種方式可以使圖像攝取裝置與待檢測的場景上最優(yōu)地協(xié)調(diào)。
[0006]有利地，也可以將自適應(yīng)顏色濾波器用于防止:像點進入飽和中并且因此可能丟失重要信息。通過這種方式例如可以避免光系統(tǒng)的通過反射引起的誤探測。
[0007]在車輛中的所有基于攝像機的測量算法中可以使用通過圖像攝取裝置檢測的顏色信息。例如需要顏色信息用于尾燈識別、路牌識別或者用于黃色的車道信息的識別。
[0008]本發(fā)明涉及一種用于匹配攝像機的圖像攝取裝置的像點的自適應(yīng)顏色濾波器的濾波器特性的方法，所述方法包括以下步驟:
[0009]求取像點的所需檢測特性；
[0010]確定顏色濾波器的所需濾波器特性，以便實現(xiàn)像點的所需檢測特性；
[0011]相應(yīng)于所需濾波器特性提供用于調(diào)節(jié)顏色濾波器的濾波器特性的調(diào)節(jié)信號。
[0012]攝像機可以涉及車輛的攝像機。攝像機可以構(gòu)造用于檢測車輛的周圍環(huán)境區(qū)域——例如車輛的前方區(qū)域——以及產(chǎn)生一個圖像或多個對周圍環(huán)境區(qū)域成像的連續(xù)地彼此相繼的圖像。圖像攝取裝置或者成像器構(gòu)造用于將射到圖像攝取裝置上的光轉(zhuǎn)換成電信號。對此，圖像攝取裝置具有多個像點或像素。每一個像點構(gòu)造用于探測入射到所述像點上的光并且提供一個圖像信號，所述圖像信號包括入射到所述像點上的光的光信息。所述圖像信號例如可以包括入射到所述像點上的光的亮度值或強度值。借助自適應(yīng)顏色濾波器可以在入射到所述像點上的光射到所述像點的傳感器面上之前對所述光濾波。顏色濾波器構(gòu)造用于讓一個確定的顏色或波長的光或者多個確定的顏色或波長的光通過或者將其濾除?？梢詫㈩伾珵V波器調(diào)節(jié)到一個確定顏色或多個確定的顏色上。在運行圖像攝取裝置期間可以進行顏色濾波器的調(diào)節(jié)。附加地或替代地，顏色濾波器的穿透性可以是可標度的，以便例如可以針對所有顏色提高或降低顏色濾波器的穿透性。顏色濾波器可以在一個像點上或者在多個相鄰設(shè)置的像點上延伸。自適應(yīng)顏色濾波器可以是所謂的微透鏡。例如可以使用液體的微透鏡。也可以根據(jù)實施方式將這種液體的微透鏡用于根據(jù)溫度并且因此根據(jù)控制器來調(diào)節(jié)圖像攝取裝置的焦距。自適應(yīng)顏色濾波器也可以基于顏色濾波器和微透鏡的技術(shù)以單片式集成到CMOS圖像傳感器陣列中。像點的所需檢測特性可以涉及所期望的顏色，所述顏色應(yīng)通過像點來探測。所需檢測特性例如可以取決于攝像機的當前運行方式、由攝像機當前所檢測的場景或者分析處理攝像機圖像的圖像分析處理的要求?？梢愿鶕?jù)像點的哪種檢測特性是當前所期望的來調(diào)節(jié)顏色濾波器的適合的濾波器特性。例如可以計算或者由查找表讀取顏色濾波器的適合的濾波器特性。調(diào)節(jié)信號可以是電信號，所述電信號被輸出給自適應(yīng)顏色濾波器的接口。所述調(diào)節(jié)信號例如可以具有確定的電壓值，所述電壓值適合用于調(diào)節(jié)所需濾波器特性。
[0013]根據(jù)一種實施方式，可以在提供的步驟中提供調(diào)節(jié)信號以便調(diào)節(jié)實施為微透鏡的自適應(yīng)顏色濾波器的濾波器特性。由于其較小的尺寸，微透鏡適合作為自適應(yīng)顏色濾波器。
[0014]在求取的步驟中，可以求取確定的顏色的光檢測作為像點的所需檢測特性。在這種情形中，在確定的步驟中可以如此確定所需濾波器特性，使確定的顏色的光能夠通過所述顏色濾波器。通過這種方式例如可以使用同一像點，以便探測白色的光或者根據(jù)所調(diào)節(jié)的濾波器特性探測不同顏色的光。有利地，可以由此減小固定地調(diào)節(jié)到一個確定的顏色的像點的數(shù)量或者可以完全放棄這種固定調(diào)節(jié)的像點。由此可以避免各個像點提供以下圖像信息:所述圖像信息對于圖像的確定的區(qū)域不是重要相關(guān)的，因為例如由各個像點探測的確定的顏色不包含在圖像的所述區(qū)域中或者對于后續(xù)的圖像分析處理不感興趣。
[0015]對此，所述方法例如可以包括檢查像點是否設(shè)置在圖像攝取裝置的區(qū)域中的步驟，通過所述區(qū)域?qū)︻伾匾嚓P(guān)的對象成像。在這種情形中，在求取的步驟中可以求取對象的顏色的光檢測作為所需檢測特性。如果例如在檢查的步驟中識別出在所述區(qū)域中對行車道標記成像，則可以如此調(diào)節(jié)像點的顏色濾波器，使得像點可以探測到顏色“黃色”。因此，可以首先檢查，哪個圖像信息是感興趣的并且隨后可以預(yù)處理像點以探測所述圖像信息。通過這種方式，可以使圖像攝取裝置的像點連續(xù)地與當前的需求匹配。所述對象可以通過圖像分析處理來求取。對此，例如可以分析處理光對象的位置或運動?；趫D像分析處理也可以確定對象的可能的顏色。所述可能的顏色可以通過顏色濾波器的濾波器特性的調(diào)節(jié)來校驗。對此例如可以如此調(diào)節(jié)顏色濾波器，使得可能的顏色能夠通過顏色濾波器并且其他顏色被濾除。
[0016]在求取的步驟中也可以求取像點的所需測量靈敏度作為像點的所需檢測特性。在這種情形下，在確定的步驟中可以相應(yīng)于所需測量靈敏度確定顏色濾波器的穿透性作為所需濾波器特性。關(guān)于測量靈敏度可以定義如下:像點有多靈敏地對入射光作出反應(yīng)。相比較高的測量靈敏度，在較小的測量靈敏度的情況下像點在較高的光強度時才響應(yīng)。通過這種方式，可以使像點例如與通過圖像攝取裝置檢測的場景中的不同的全局的或局部的亮度或者對比度相匹配。如果像點例如位于具有高光強度的反射的影響區(qū)域中，則可以降低所述像點的測量靈敏度。與此相反，沒有位于反射的影響區(qū)域中的相鄰像點的測量靈敏度可以保持不變。
[0017]在這種情形中，所述方法包括識別像點的即將到來的飽和的步驟。當識別出即將到來的飽和時，在求取的步驟中可以降低所需測量靈敏度。通過這種方式可以防止:由于像點的飽和而丟失圖像信息。即將到來的飽和例如可以通過分析處理由像點輸出的圖像信號來識別。
[0018]本發(fā)明還涉及以一種用于運行車輛的攝像機的圖像攝取裝置的方法，所述方法包括以下步驟:
[0019]分析處理圖像攝取裝置的圖像，以便求取圖像的在顏色分析方面重要相關(guān)的圖像區(qū)域；
[0020]調(diào)節(jié)至少一個像點的至少一個自適應(yīng)顏色濾波器的濾波器特性，所述至少一個像點設(shè)置在圖像攝取裝置的分配給重要相關(guān)的圖像區(qū)域的區(qū)域中。
[0021]所述方法能夠?qū)崿F(xiàn)，使圖像攝取裝置連續(xù)地與變化著的場景或者與車輛的輔助系統(tǒng)的變化著的要求相匹配。
[0022]本發(fā)明實現(xiàn)一種設(shè)備，所述設(shè)備被構(gòu)造來在相應(yīng)的裝置中實施或?qū)崿F(xiàn)根據(jù)本發(fā)明的方法的步驟。通過本發(fā)明的以設(shè)備形式的實施變型方案可以快速和高效地解決本發(fā)明所基于的任務(wù)。
[0023]設(shè)備在此可以理解為處理傳感器信號并且據(jù)此輸出控制信號的電設(shè)備。所述設(shè)備可以具有按硬件方式和/或按軟件方式構(gòu)造的接口。在按硬件方式的構(gòu)造中，接口例如可以是所謂的系統(tǒng)ASIC的包括所述設(shè)備的最不同功能的一部分。然而，還可能的是，接口是單獨的集成電路或至少部分地由分立部件組成。在按軟件方式的構(gòu)造中，接口可以是軟件模塊，其例如與其他軟件模塊共存在微控制器上。
[0024]具有程序代碼的計算機程序產(chǎn)品也是有利的，所述程序代碼可以存儲在機器可讀的載體，如半導(dǎo)體存儲器、硬盤存儲器或光學存儲器上并且用于當在與計算機相應(yīng)的設(shè)備上執(zhí)行程序時根據(jù)先前描述的實施方式之一來實施所述方法。
【專利附圖】

【附圖說明】
[0025]以下借助附圖示例性地進一步闡述本發(fā)明。附圖示出:
[0026]圖1:根據(jù)本發(fā)明的一個實施例的車輛的示意圖；
[0027]圖2:根據(jù)本發(fā)明的一個實施例的圖像攝取裝置的示意圖；
[0028]圖3:根據(jù)本發(fā)明的一個實施例的用于調(diào)節(jié)可調(diào)節(jié)的顏色濾波器的設(shè)備的框圖；
[0029]圖4:本發(fā)明的一個實施例的流程圖。
[0030]在以下對本發(fā)明的優(yōu)選實施例的描述中對于不同示圖中所示出的并且相似作用的元素使用相同或相似的參考標記，其中，不再贅述這些元素。
【具體實施方式】
[0031]圖1示出根據(jù)本發(fā)明的一個實施例的車輛100的示意圖。車輛100具有攝像機102、圖像分析處理裝置104和駕駛輔助系統(tǒng)106。另一個車輛110位于車輛100的前方區(qū)域中。所述另一個車輛110具有紅色的尾燈112。駕駛輔助系統(tǒng)106涉及一種系統(tǒng)，對于所述系統(tǒng)而言所述另一個車輛110的尾燈112的識別是重要相關(guān)的。在此，尾燈112應(yīng)代表任何顏色的對象，其顏色對于車輛100的任何系統(tǒng)106是重要相關(guān)的。
[0032]如果所述另一個車輛110位于攝像機102的檢測區(qū)域中，則攝像機102可以產(chǎn)生以下圖像:在所述圖像中成像有尾燈112。根據(jù)這個實施例，由攝像機102檢測由尾燈112發(fā)射的光。圖像分析處理裝置104構(gòu)造用于分析處理攝像機102的圖像，以便用于確定以下圖像區(qū)域:在所述圖像區(qū)域中成像有尾燈112。如果在圖像中示出各個不同的亮度等級或灰度等級，則圖像分析處理裝置104在某些情況下可能不能區(qū)分尾燈112涉及發(fā)射紅色的光的尾燈還是發(fā)射白色的光的尾燈。如果在圖像中對尾燈112的顏色成像，則尾燈112可能由于紅色而由圖像分析處理裝置104明確地這樣分類。為了能夠在圖像中示出尾燈112的紅色，攝像機可以構(gòu)造用于如此匹配攝像機102的圖像攝取裝置的對尾燈112成像的像點的檢測特性，使得紅色的光可以被探測到。
[0033]圖2示出根據(jù)本發(fā)明的一個實施例的圖像攝取裝置的或者圖像攝取裝置的區(qū)段的示意圖。圖像攝取裝置可以用在圖1中所描述的攝像機中。圖像攝取裝置具有多個像點220或像素。在此示例性地示出九個像點220，其彼此相鄰地設(shè)置成三行和三列。每一個像點220分配有一個自適應(yīng)顏色濾波器223。顏色濾波器223分別設(shè)置在射到像點220的光束的光路中。因此，通過這些顏色濾波器223中的以下顏色濾波器濾波的光分別到達這些像點220中的一個上:該顏色濾波器分配給相應(yīng)的像點220。
[0034]顏色濾波器223中的每一個具有接口，通過所述接口可以調(diào)節(jié)相應(yīng)的顏色濾波器223的濾波器特性。通過濾波器特性的調(diào)節(jié)可以影響射到所分配的像點220上的光。
[0035]如果例如在第一時刻通過所示像點220的中間像點對車輛的尾燈成像，則可以如此調(diào)節(jié)分配給中間像點220的顏色濾波器223的濾波器特性，使得所述顏色濾波器223讓紅色的光通過。
[0036]如果例如在第二時刻通過所示像點220的中間像點對行車道標記的區(qū)段成像，則可以如此調(diào)節(jié)分配給中間像點220的顏色濾波器223的濾波器特性，使得所述顏色濾波器223讓黃色的光通過，從而例如可以由分析處理像點220的圖像信號的圖像分析處理識別出，行車道標記涉及黃色標記的行車道標記，例如在建筑工地區(qū)域中。
[0037]根據(jù)所述實施例，自適應(yīng)顏色濾波器223中的每一個實現(xiàn)為液體的微透鏡。在此，借助電子潤濕方法(所謂的Electrowetting-Verfahren:電子潤濕方法)產(chǎn)生每個像點220的顏色濾波器223。
[0038]除液體的透鏡以外，也可以機械地實現(xiàn)顏色濾波器。在此，可以機械地重疊放置多個濾波器。對于這些像點220中的所有或多個可以同時確定這種顏色濾波器。
[0039]圖3示出根據(jù)本發(fā)明的一個實施例的用于匹配攝像機的圖像攝取裝置的像點220的自適應(yīng)顏色濾波器223的濾波器特性的設(shè)備。攝像機可以涉及圖1中所示出的攝像機。
[0040]所述設(shè)備構(gòu)造用于基于像點220的所需檢測特性來產(chǎn)生用于調(diào)節(jié)顏色濾波器223的濾波器特性的調(diào)節(jié)信號并且通過接口向顏色濾波器223或者用于控制顏色濾波器223的濾波器特性的控制裝置輸出所述調(diào)節(jié)信號。對此，所述設(shè)備具有求取裝置331、確定裝置333和提供裝置335。
[0041]求取裝置331構(gòu)造用于求取像點220的所需檢測特性。例如可以基于時間上事先由圖像攝取裝置產(chǎn)生的圖像的分析處理來實現(xiàn)所需檢測特性。求取裝置331構(gòu)造用于向確定裝置333輸出關(guān)于所需檢測特性的信息。確定裝置333構(gòu)造用于基于所需檢測特性確定顏色濾波器223的所需濾波器特性。通過所需濾波器特性可以如此運行像點220，使得所述像點具有所需檢測特性。為了確定所需濾波器特性，確定裝置333可以構(gòu)造用于訪問存儲器，在所述存儲器中存儲有顏色濾波器223的針對像點220的不同檢測特性分別分配的濾波器特性。確定裝置333構(gòu)造用于向提供裝置335輸出關(guān)于所需濾波器特性的信息。提供裝置335構(gòu)造用于，基于關(guān)于顏色濾波器223的所需濾波器特性的信息產(chǎn)生用于調(diào)節(jié)顏色濾波器223的濾波器特性的調(diào)節(jié)信號并且向至顏色濾波器223的接口輸出所述調(diào)節(jié)信號。
[0042]濾波器特性223構(gòu)造用于接收調(diào)節(jié)信號并且響應(yīng)于所述調(diào)節(jié)信號改變其濾波器特性，以便實現(xiàn)所需濾波器特性。
[0043]對于圖像攝取裝置的每一個顏色濾波器223可以確定和提供自身的調(diào)節(jié)信號。也可以針對一組顏色濾波器223提供一個調(diào)節(jié)信號，所述一組顏色濾波器分配給具有相同的檢測特性的像點。
[0044]根據(jù)一個實施例，用于匹配濾波器特性的設(shè)備實現(xiàn)為處理器單元或計算單元。借助處理器單元可以改變微透鏡223的顏色穿透性。因此，還可能的是，在推測有彩色對象的區(qū)域中激活相應(yīng)的透鏡223。由此，可以在這些區(qū)域中實現(xiàn)更高的色彩分辨率。
[0045]處理器單元構(gòu)造用于，接收具有經(jīng)濾波的和未經(jīng)濾波的像素作為輸入信號。可以事先確定圖像的濾波的程度。處理器單元還構(gòu)造用于基于光對象在圖像中的運動和位置實施以下估計:所述光對象是涉及紅色對象還是白色對象。為了證實所述推測或者估計，處理器單元構(gòu)造用于改變顏色穿透性，以便因此得到關(guān)于光對象的實際顏色的信息。為了改變顏色穿透性，可以相應(yīng)調(diào)節(jié)圖像攝取裝置的顏色濾波器223。尤其可以改變分配給圖像的以下區(qū)域的顏色濾波器223:所述光對象位于所述區(qū)域中，所述光對象的顏色當前被求取。
[0046]也可以控制相應(yīng)的透鏡223的穿透性。因此，可以控制像點220中的各個像點飽和的危險。因此，可以在基于攝像機的光系統(tǒng)中使用自適應(yīng)濾波器223以避免飽和。在處理器單元中可以識別出飽和。對此，處理器單元構(gòu)造用于，當像點220的亮度值達到確定的大小時，緩慢地改變顏色濾波器223的濾波器特性并且觀察像素值的相應(yīng)的行為或者像點220的亮度值。
[0047]圖4示出根據(jù)本發(fā)明的一個實施例的用于運行車輛的攝像機的圖像攝取裝置的方法的流程圖。攝像機可以涉及借助圖1所描述的攝像機。在步驟441中分析處理攝像機的圖像以便求取圖像區(qū)域，所述圖像區(qū)域應(yīng)關(guān)于可能或肯定存在于圖像區(qū)域中的顏色來分析處理。在步驟443中選擇圖像攝取裝置的像點，所述像點位于圖像區(qū)域中。隨后，如此調(diào)節(jié)分配給在步驟443中所選擇的像點的自適應(yīng)顏色濾波器的濾波器特性，使得可以由所選擇的像點探測待在所述圖像區(qū)域中分析處理的顏色。對此，在步驟445中可以根據(jù)待分析處理的顏色求取所選擇的像點的所需檢測特性。在步驟447中可以確定所選擇的像點的顏色濾波器的所需濾波器特性，以便實現(xiàn)所選擇的像點的所需檢測特性。在步驟449中，相應(yīng)于所需濾波器特性輸出用于調(diào)節(jié)所選擇的像點的顏色濾波器的濾波器特性的調(diào)節(jié)信號。如果對于所述顏色濾波器需要不同的濾波器特性，則在步驟449中可以提供不同的調(diào)節(jié)信號?？梢詫τ趫D像的一個或多個圖像區(qū)域執(zhí)行所述方法。
[0048]所描述的和在附圖中示出的實施例僅僅是示例性地選擇的。不同的實施例可以完整地或關(guān)于各個特征彼此組合。一個實施例也可以通過另一個實施例的特征來補充。此外，可以重復(fù)以及以不同于所描述的順序的順序執(zhí)行根據(jù)本發(fā)明的方法步驟。
【權(quán)利要求】
1.一種用于匹配攝像機(102)的圖像攝取裝置的像點(220)的自適應(yīng)顏色濾波器(223)的濾波器特性的方法，所述方法包括以下步驟: 求取(445)所述像點的所需檢測特性； 確定(447)所述顏色濾波器的所需濾波器特性，以便實現(xiàn)所述像點的所需檢測特性； 相應(yīng)于所需濾波器特性提供(449)用于調(diào)節(jié)所述顏色濾波器的濾波器特性的調(diào)節(jié)信號。
2.根據(jù)權(quán)利要求1所述的方法，其中，在所述提供(449)的步驟中提供所述調(diào)節(jié)信號，以便調(diào)節(jié)實施為微透鏡的自適應(yīng)顏色濾波器(223)的濾波器特性。
3.根據(jù)以上權(quán)利要求中任一項所述的方法，其中，在所述求取(445)的步驟中求取確定的顏色的光檢測作為所述像點(220)的所需檢測特性，其中，在所述確定(447)的步驟中如此確定所需濾波器特性，使得所述確定的顏色的光能夠通過所述顏色濾波器(223)。
4.根據(jù)權(quán)利要求3所述的方法，所述方法具有檢查(443)所述像點(220)是否設(shè)置在所述圖像攝取裝置的區(qū)域中的步驟，通過所述區(qū)域?qū)︻伾匾嚓P(guān)的對象(112)成像，其中，在所述求取(445)的步驟中求取所述對象的顏色的光檢測作為所需檢測特性。
5.根據(jù)以上權(quán)利要求中任一項所述的方法，其中，在所述求取(445)的步驟中求取所述像點(220)的所需測量靈敏度作為所述像點的所需檢測特性，其中，在所述確定(447)的步驟中相應(yīng)于所需測量靈敏度確定所述顏色濾波器(223)的穿透性作為所需濾波器特性。
6.根據(jù)權(quán)利要求5所述的方法，所述方法具有識別所述像點(220)的即將到來的飽和的步驟，其中，當識別出即將到來的飽和時，在所述求取(445)的步驟中降低所需測量靈敏度。
7.一種用于運行車輛(100)的攝像機(102)的圖像攝取裝置的方法，所述方法包括以下步驟: 分析處理(441)所述圖像攝取裝置的圖像，以便求取所述圖像的在顏色分析方面重要相關(guān)的圖像區(qū)域； 根據(jù)以上權(quán)利要求中任一項所述地調(diào)節(jié)(445，447，449)至少一個像點(220)的至少一個自適應(yīng)顏色濾波器(223)的濾波器特性，所述至少一個像點設(shè)置在所述圖像攝取裝置的分配給所述重要相關(guān)的圖像區(qū)域的區(qū)域中。
8.一種設(shè)備，其構(gòu)造用于實施根據(jù)權(quán)利要求1至7中任一項所述的方法的步驟。
9.一種具有程序代碼的計算機程序產(chǎn)品，其用于當在設(shè)備上執(zhí)行程序時實施根據(jù)權(quán)利要求I至7中任一項所述的方法。
【文檔編號】H04N9/07GK103891274SQ201280051337
【公開日】2014年6月25日 申請日期:2012年7月17日 優(yōu)先權(quán)日:2011年8月23日
【發(fā)明者】T·埃爾根 申請人:羅伯特·博世有限公司