用于動(dòng)態(tài)后視鏡的眩光減少的制作方法
【專利摘要】本申請涉及用于動(dòng)態(tài)后視鏡的眩光減少。一種用于從主車輛的攝像設(shè)備捕獲到的圖像產(chǎn)生眩光減少的圖像的方法包括獲得短曝光圖像和長曝光圖像并且基于短曝光圖像和長曝光圖像產(chǎn)生所得高動(dòng)態(tài)范圍圖像。監(jiān)測短曝光圖像和長曝光圖像內(nèi)的像素值。基于監(jiān)測的像素值在短曝光圖像和長曝光圖像內(nèi)識別光源區(qū)域。基于識別的光源區(qū)域以及長曝光圖像和短曝光圖像的監(jiān)測的像素值之間的計(jì)算的像素比和計(jì)算的像素差之一來識別眩光區(qū)域。所得高動(dòng)態(tài)范圍圖像上識別的眩光區(qū)域通過短曝光圖像內(nèi)識別的光源區(qū)域來修改?；谒肏DR圖像上修改的識別的眩光區(qū)域來產(chǎn)生眩光減少的圖像。
【專利說明】用于動(dòng)態(tài)后視鏡的眩光減少
[0001]相關(guān)申請的交叉引用
此申請要求2013年I月7日提交的序號為61/749，783的美國臨時(shí)申請權(quán)益，該申請以引用的方式并入本文。
【技術(shù)領(lǐng)域】
[0002]此披露涉及減少從直接和反射照明源捕獲到的圖像中的眩光效果。
【背景技術(shù)】
[0003]這個(gè)部分中的陳述僅提供與本披露有關(guān)的背景信息。因此，這些陳述并不意欲構(gòu)成對現(xiàn)有技術(shù)的承認(rèn)。
[0004]車輛系統(tǒng)可以使用車載視覺系統(tǒng)來用于后視場景檢測、側(cè)視場景檢測以及前視場景檢測。車載視覺系統(tǒng)所捕獲到的圖像中的眩光效果可能通過直接照明源和通過反射而存在。直接照明源可以包括前燈并且反射可以來自路面、交通基礎(chǔ)設(shè)施標(biāo)志或車載視覺系統(tǒng)內(nèi)的其他結(jié)構(gòu)。
[0005]已知的是，對攝像設(shè)備進(jìn)行硬件實(shí)施來減少圖像眩光。例如，可以對攝像設(shè)備的透鏡和/或護(hù)罩玻璃應(yīng)用極化。然而，在應(yīng)用極化時(shí)眩光可能僅在一個(gè)平面中減少，并且因此，可能僅適用于減少由從路面反射導(dǎo)致的眩光而不減少從豎直建筑物反射導(dǎo)致的眩光，且反之亦然。此外或者替代地，可以對攝像設(shè)備的透鏡和/或護(hù)罩玻璃應(yīng)用染色；然而，雖然可以減少眩光，但是在捕獲到的圖像中不希望地減少了顏色信息和/或圖像敏感度。

【發(fā)明內(nèi)容】

[0006]一種用于從主車輛的攝像設(shè)備捕獲到的圖像產(chǎn)生眩光減少的圖像的方法包括獲得短曝光圖像和長曝光圖像并且基于短曝光圖像和長曝光圖像產(chǎn)生所得高動(dòng)態(tài)范圍圖像。監(jiān)測短曝光圖像和長曝光圖像內(nèi)的像素值?；诒O(jiān)測的像素值在短曝光圖像和長曝光圖像內(nèi)識別光源區(qū)域?；谧R別的光源區(qū)域以及長曝光圖像和短曝光圖像的監(jiān)測的像素值之間的計(jì)算的像素比和計(jì)算的像素差之一來識別眩光區(qū)域。所得高動(dòng)態(tài)范圍圖像上識別的眩光區(qū)域通過短曝光圖像內(nèi)識別的光源區(qū)域來修改?；谒肏DR圖像上的修改的識別的眩光區(qū)域來產(chǎn)生眩光減少的圖像。
[0007]方案1.用于從主車輛的攝像設(shè)備捕獲到的圖像產(chǎn)生眩光減少的圖像的方法，包括:
獲得由攝像設(shè)備捕獲到的短曝光圖像和長曝光圖像；
基于短曝光圖像和長曝光圖像廣生所得聞動(dòng)態(tài)范圍(HDR)圖像；
監(jiān)測短曝光圖像和長曝光圖像內(nèi)的像素值；
基于監(jiān)測的像素值在短曝光圖像和長曝光圖像內(nèi)識別光源區(qū)域；
計(jì)算長曝光圖像和短曝光圖像的監(jiān)測的像素值之間的像素比和像素差之一；
基于識別的光源區(qū)域以及計(jì)算的像素比和計(jì)算的像素差之一來識別眩光區(qū)域； 通過短曝光圖像內(nèi)識別的光源區(qū)域修改所得高動(dòng)態(tài)范圍圖像上的識別的眩光區(qū)域；以
及
基于所得HDR圖像上的修改的識別的眩光區(qū)域來產(chǎn)生眩光減少的圖像。
[0008]方案2.如方案I所述的方法，其中當(dāng)攝像設(shè)備利用并入用于每個(gè)像素的短曝光子像素和長曝光子像素的分離子像素成像芯片時(shí)，同時(shí)獲得短曝光圖像和長曝光圖像。
[0009]方案3.如方案I所述的方法，其中當(dāng)攝像設(shè)備利用具有每個(gè)像素每次在短曝光時(shí)間和長曝光時(shí)間中的一個(gè)之間可調(diào)的像素陣列的成像芯片時(shí)，在不同的時(shí)間周期期間獲得短曝光圖像和長曝光圖像。
[0010]方案4.如方案3所述的方法，其中獲得短曝光圖像和長曝光圖像包括:
對于每個(gè)像素，在第一時(shí)間周期期間利用短曝光時(shí)間從而獲得短曝光圖像并且在第二
時(shí)間周期期間利用長曝光時(shí)間從而獲得長曝光圖像。
[0011]方案5.如方案I所述的方法，其中在短曝光圖像和長曝光圖像內(nèi)識別光源區(qū)域包括:
將監(jiān)測的像素值與光源閾值進(jìn)行比較；以及
識別短曝光圖像和長曝光圖像內(nèi)對應(yīng)于其中監(jiān)測的像素值超過光源閾值的區(qū)域的光源區(qū)域。
[0012]方案6.如方案I所述的方法，其中監(jiān)測的像素值至少包括用于短曝光圖像和長曝光圖像內(nèi)的每個(gè)像素的強(qiáng)度值。
[0013]方案7.如方案6所述的方法，其中監(jiān)測的像素值進(jìn)一步包括用于短曝光圖像和長曝光圖像內(nèi)的每個(gè)像素的顏色信息。
[0014]方案8.如方案I所述的方法，其中識別眩光區(qū)域包括:
將計(jì)算的像素比與眩光閾值進(jìn)行比較；
識別對應(yīng)于圍繞其中計(jì)算的像素比超過眩光閾值的識別的光源周邊的區(qū)域的眩光區(qū)域。
[0015]方案9.如方案I所述的方法，其中識別眩光區(qū)域包括:
將計(jì)算的像素差與眩光閾值進(jìn)行比較；
識別對應(yīng)于圍繞其中計(jì)算的像素差超過眩光閾值的識別的光源周邊的區(qū)域的眩光區(qū)域。
[0016]方案10.如方案I所述的方法，其中產(chǎn)生眩光減少的圖像進(jìn)一步包括:
在未識別為眩光區(qū)域的所有其他區(qū)域中，應(yīng)用高動(dòng)態(tài)范圍處理以增強(qiáng)用于所得高動(dòng)態(tài)范圍圖像的圖像質(zhì)量。
[0017]方案11.如方案10所述的方法，其中應(yīng)用高動(dòng)態(tài)范圍處理包括應(yīng)用的調(diào)和映射、調(diào)整的曝光時(shí)間、圖像灰度校正以及像素位深轉(zhuǎn)換中的至少一個(gè)。
[0018]方案12.如方案I所述的方法，其中修改所得高動(dòng)態(tài)范圍圖像上的識別的眩光區(qū)域包括:
修改識別的眩光區(qū)域以包括大于長曝光區(qū)域內(nèi)的識別的光源區(qū)域部分的短曝光圖像內(nèi)的識別的光源區(qū)域部分。
[0019]方案13.如方案12所述的方法，其中短曝光圖像內(nèi)的識別的光源區(qū)域部分從識別的眩光區(qū)域的中心朝向識別的眩光區(qū)域的周邊逐漸減小。[0020]方案14.用于從主車輛的攝像設(shè)備捕獲到的圖像產(chǎn)生眩光減少的圖像的方法，包括:
獲得由攝像設(shè)備捕獲到的短曝光圖像和長曝光圖像；
基于獲得的短曝光圖像和長曝光圖像廣生所得聞動(dòng)態(tài)范圍(HDR)圖像；
監(jiān)測短曝光圖像和長曝光圖像內(nèi)的像素值，每個(gè)像素值至少包括強(qiáng)度值；
基于監(jiān)測的像素值在短曝光圖像和長曝光圖像內(nèi)識別光源區(qū)域；
基于長曝光圖像和短曝光圖像的監(jiān)測的像素值之間計(jì)算的像素比來識別圍繞識別的光源周邊的眩光區(qū)域；
通過短曝光圖像內(nèi)相應(yīng)的識別的光源區(qū)域修改所得高動(dòng)態(tài)范圍圖像上的識別的眩光區(qū)域；
應(yīng)用高動(dòng)態(tài)范圍處理以在未識別為眩光區(qū)域的所有其他區(qū)域中獲得用于所得高動(dòng)態(tài)范圍圖像的最佳圖像質(zhì)量；以及
基于所得高動(dòng)態(tài)范圍圖像上的修改的識別的眩光區(qū)域來產(chǎn)生眩光減少的圖像。
[0021]方案15.如方案14所述的方法，其中識別的光源區(qū)域包括直接光源區(qū)域和反射光源區(qū)域中的一個(gè)。
[0022]方案16.如方案14所述的方法，其中獲得短曝光圖像和長曝光圖像包括以下之
當(dāng)攝像設(shè)備利用并入用于每個(gè)像素的短曝光子像素和長曝光子像素的分離子像素成像芯片時(shí)，空間上同時(shí)獲得短曝光圖像和長曝光圖像；以及
當(dāng)攝像設(shè)備利用具有每個(gè)像素每次在短曝光時(shí)間和長曝光時(shí)間中的一個(gè)之間可調(diào)的像素陣列的成像芯片時(shí)，在不同的時(shí)間周期期間在時(shí)間上獲得短曝光圖像和長曝光圖像。
[0023]方案17.如方案14所述的方法，其中基于監(jiān)測的像素值來識別短曝光圖像和長曝光圖像內(nèi)的光源區(qū)域包括:
將監(jiān)測的像素值與光源閾值進(jìn)行比較，光源閾值包括指示光源的最小強(qiáng)度；
識別短曝光圖像和長曝光圖像內(nèi)對應(yīng)于其中監(jiān)測的像素值超過光源閾值的區(qū)域的光源區(qū)域。
[0024]方案18.如方案14所述的方法，其中識別圍繞識別的光源的周邊的眩光區(qū)域包括:
將計(jì)算的像素比與眩光閾值進(jìn)行比較，眩光閾值包括指示眩光效果的最小強(qiáng)度值；以
及
識別對應(yīng)于其中計(jì)算的像素比超過眩光閾值的識別的光源周邊的區(qū)域的眩光區(qū)域。
[0025]方案19.如方案14所述的方法，其中攝像設(shè)備包括用于捕獲主車輛后方視場的后視攝像設(shè)備。
[0026]方案20.—種用于從主車輛的攝像設(shè)備捕獲到的圖像產(chǎn)生眩光減少的圖像的裝置，包括:
捕獲從主車輛投射出的視場的攝像設(shè)備；以及 處理設(shè)備，其被配置成:
獲得由攝像設(shè)備捕獲到的短曝光圖像和長曝光圖像；
基于獲得的短曝光圖像和長曝光圖像廣生所得聞動(dòng)態(tài)范圍(HDR)圖像；監(jiān)測短曝光圖像和長曝光圖像內(nèi)的像素值；
基于監(jiān)測的像素值在短曝光圖像和長曝光圖像內(nèi)識別光源區(qū)域；
計(jì)算長曝光圖像和短曝光圖像的監(jiān)測的像素值之間的像素比；
基于識別的光源區(qū)域和像素比來識別眩光區(qū)域；
通過短曝光圖像內(nèi)識別的光源區(qū)域修改所得高動(dòng)態(tài)范圍圖像上的識別的眩光區(qū)
域，以及
基于所得高動(dòng)態(tài)范圍圖像上的修改的識別的眩光區(qū)域來產(chǎn)生眩光減少的圖像。
【專利附圖】

【附圖說明】
[0027]現(xiàn)在將參照附圖通過示例來描述一個(gè)或多個(gè)實(shí)施例，附圖中:
圖1示出根據(jù)本披露的包括基于視覺的周圍視野的成像系統(tǒng)的主車輛；
圖2示出根據(jù)本披露的表示車輛后方視場的從圖1的后視攝像設(shè)備捕獲到的短曝光圖
像；
圖3示出根據(jù)本披露的表示車輛后方視場的從圖1的后視攝像設(shè)備捕獲到的長曝光圖
像；
圖4示出根據(jù)本披露的非限制的示例性眩光減少的圖像，其中具有來自前燈的眩光效果的識別的區(qū)域通過短曝光區(qū)域修改；
圖5示出根據(jù)本披露的分離子像素成像芯片的示例性實(shí)施例；
圖6示出根據(jù)本披露的具有每次在短曝光時(shí)間和長曝光時(shí)間中的一個(gè)之間可調(diào)的像素陣列的成像芯片的示例性實(shí)施例；以及
圖7示出根據(jù)本披露的用于產(chǎn)生眩光減少的圖像的示例性流程。
【具體實(shí)施方式】
[0028]現(xiàn)在參照圖式，其中展示僅用于示出某些示例性實(shí)施例的目的而并不用于對其限制，圖1示出根據(jù)本披露的包括基于視覺的周圍視野的成像系統(tǒng)12的主車輛(車輛)10。該車輛沿道路行駛并且基于視覺的成像系統(tǒng)12捕獲道路圖像。基于視覺的成像系統(tǒng)12基于一個(gè)或多個(gè)基于視覺的攝像設(shè)備的位置來捕獲車輛周圍的圖像。在本文描述的實(shí)施例中，基于視覺的成像系統(tǒng)將被描述為捕獲車輛后方的圖像；然而，還應(yīng)理解，基于視覺的成像系統(tǒng)12可以延伸為捕獲車輛前方和車輛側(cè)方的圖像。
[0029] 基于視覺的成像系統(tǒng)12可以包括用于捕獲車輛10的前方視場(FOV)的前視攝像設(shè)備14、用于捕獲車輛10的后方FOV的后視攝像設(shè)備16、用于捕獲車輛10的左側(cè)FOV的左側(cè)視攝像設(shè)備18以及用于捕獲車輛10的右側(cè)FOV的右側(cè)視攝像機(jī)的任何組合。攝像機(jī)14-18可以是適用于本文描述的實(shí)施例的任何攝像機(jī)，其中一些是汽車技術(shù)中已知的，它們能夠接收光或其他輻射并且使用例如電荷耦合設(shè)備(CCD)傳感器或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器中的一個(gè)來將光能轉(zhuǎn)換成像素格式的電信號。攝像機(jī)14-18以一定數(shù)據(jù)幀速率產(chǎn)生圖像數(shù)據(jù)幀，這些幀可以被存儲(chǔ)以用于隨后處理。攝像機(jī)14-18可以安裝在是車輛零件的任何適合結(jié)構(gòu)內(nèi)或其上，諸如保險(xiǎn)杠、擾流板、車尾行李箱蓋、儀表板、格柵、側(cè)視鏡、門板等，如本領(lǐng)域技術(shù)人員將很好理解和了解的。來自攝像機(jī)14-18的圖像數(shù)據(jù)被發(fā)送到處理器22 (即，永久性處理設(shè)備)，該處理器處理圖像數(shù)據(jù)以產(chǎn)生可以顯示在后視鏡顯示設(shè)備24上的圖像。
[0030]控制模塊、模塊、控制、控制器、控制單元、處理器以及類似術(shù)語意味著以下各項(xiàng)中的一個(gè)或多個(gè)的任一個(gè)或各種組合:(多個(gè))特定用途集成電路(ASIC)、(多個(gè))電子電路、執(zhí)行一個(gè)或多個(gè)軟件或固件程序或例行程序的(多個(gè))中央處理單元(優(yōu)選地微處理器)和相關(guān)的內(nèi)存和存儲(chǔ)器(只讀、可編程只讀、隨機(jī)存取、硬盤驅(qū)動(dòng)器等)、(多個(gè))組合邏輯電路、(多個(gè))輸入/輸出電路和設(shè)備、適當(dāng)?shù)男盘栒{(diào)節(jié)和緩沖器電路以及用以提供所述功能性的其他部件。軟件、固件、程序、指令、例行程序、代碼、算法和類似術(shù)語意味著包括校準(zhǔn)和查找表的任何指令集。控制模塊具有執(zhí)行以提供所需功能的一組控制例行程序。例行程序通過諸如中央處理單元來執(zhí)行，并且可操作以監(jiān)測來自感測設(shè)備和其他聯(lián)網(wǎng)控制模塊的輸入，并且執(zhí)行控制和診斷例行程序以控制致動(dòng)器的操作。例行程序可以以規(guī)則的時(shí)間間隔(例如在前進(jìn)的發(fā)動(dòng)機(jī)和車輛操作過程中每3.125,6.25,12.5,25以及100微秒)執(zhí)行。或者，可以響應(yīng)于事件的發(fā)生來執(zhí)行例行程序。
[0031]圖2-4示出根據(jù)本披露的表示車輛10的后方視場(FOV)的由圖1的后視攝像設(shè)備16捕獲到的示例性圖像100、200、300。在非限制的示例性實(shí)施例中，后視攝像設(shè)備16被配置成以向下縱傾捕獲車輛后方180° FOV0攝像設(shè)備能夠捕獲短曝光和長曝光圖像數(shù)據(jù)。來自攝像設(shè)備16的圖像數(shù)據(jù)可以由圖1的處理器22處理以產(chǎn)生可以顯示在包括圖1的后視鏡顯示設(shè)備24的任何適合的車輛顯示單元上。在一個(gè)實(shí)施例中，后視鏡顯示設(shè)備集成在車輛的人機(jī)界面(HMI)內(nèi)。在另一個(gè)實(shí)施例中，后視顯示設(shè)備與安裝在車輛內(nèi)部內(nèi)的后視鏡集成。雖然本文描述的實(shí)施例涉及配置成捕獲車輛后方FOV的后視攝像設(shè)備16，但是將理解，本文實(shí)施例可以類似地應(yīng)用于捕獲表示車輛前方和/或車輛側(cè)方FOV的圖像的攝像設(shè)備。
[0032]參照圖2，示出從攝像設(shè)備16捕獲到的短曝光圖像100。短曝光圖像100在低光或夜間行駛條件下具有不良的最佳圖像質(zhì)量。然而，存在來自行駛車輛的前燈的光源202和204，而不會(huì)在短曝光圖像中產(chǎn)生任何顯著的眩光效果。
[0033]參照圖3，示出從攝像設(shè)備16捕獲到的長曝光圖像200。長曝光圖像200表示與圖2的示例性短曝光圖像100相同的場景。長曝光圖像200增強(qiáng)了在低光或夜間行駛條件下的最佳圖像質(zhì)量，因?yàn)檩^長曝光時(shí)間允許更多光進(jìn)入攝像設(shè)備16的成像芯片。然而，來自行駛車輛的前燈的光源202和204在成像芯片上產(chǎn)生過多光，這在長曝光圖像200中產(chǎn)生眩光效果203和205。
[0034]圖4示出非限制的示例性眩光減少的圖像300，其中所得高動(dòng)態(tài)范圍(HDR)圖像上具有來自前燈的眩光效果的識別的區(qū)域由短曝光區(qū)域替代。將了解，產(chǎn)生的HDR圖像是基于所獲得的短曝光圖像和長曝光圖像。在所示示例中，眩光減少的圖像300的在圖3的長曝光圖像200中存在眩光效果的區(qū)域被識別并且由對應(yīng)于從圖2的短曝光圖像100識別的光源(例如，前燈202和204)的區(qū)域的短曝光區(qū)域替代。雖然圖4所示的非限制性實(shí)施例用短曝光圖像替代識別的眩光效果，但是本文實(shí)施例是針對用短曝光圖像內(nèi)識別的光源區(qū)域來修改識別的眩光效果。例如，所得HDR圖像可以包括獲得的長曝光圖像和短曝光圖像的每個(gè)的相等部分。識別的眩光效果可以通過增加短曝光圖像內(nèi)識別的光源區(qū)域部分并減小應(yīng)用到其的長曝光圖像內(nèi)識別的光源區(qū)域部分來修改。
[0035]示例性實(shí)施例是針對產(chǎn)生眩光減少的圖像。產(chǎn)生眩光減少的圖像可以由圖1的處理器22來執(zhí)行，其中必須首先識別短曝光圖像和長曝光圖像內(nèi)的光源區(qū)域。處理器22可以識別光源區(qū)域作為飽和區(qū)域，其中高強(qiáng)度值(即，光)的檢測指示潛在飽和。隨后，在一個(gè)實(shí)施例中，處理器22可以計(jì)算長曝光圖像和短曝光圖像的監(jiān)測的像素值之間的像素比來識別眩光區(qū)域。在另一個(gè)實(shí)施例中，處理器22可以計(jì)算長曝光圖像和短曝光圖像的監(jiān)測的像素值之間的像素差來識別眩光區(qū)域。在一個(gè)實(shí)施例中，術(shù)語“像素值”是至少指用于短曝光圖像和長曝光圖像內(nèi)的每個(gè)像素的強(qiáng)度值。在另一個(gè)實(shí)施例中，術(shù)語“像素值”另外是指用于短曝光圖像和長曝光圖像內(nèi)的每個(gè)像素的顏色信息。當(dāng)圍繞短曝光圖像和長曝光圖像內(nèi)識別的光源周邊的像素比(或像素差)大時(shí)，處理器22檢測到指示眩光效果的區(qū)域。在一個(gè)實(shí)施例中，當(dāng)像素比超過眩光閾值時(shí)，存在指示眩光效果的區(qū)域。在另一個(gè)實(shí)施例中，當(dāng)像素差超過眩光閾值時(shí)，存在指示眩光效果的區(qū)域。將了解，關(guān)于像素差的眩光閾值是與關(guān)于像素比的眩光閾值不同的值。下文中，此披露將描述基于計(jì)算的像素比來識別眩光區(qū)域；然而，將理解，可以基于計(jì)算的像素差來類似地識別眩光區(qū)域。因此，存在眩光效果的這些區(qū)域可以被稱為圍繞光源周邊的“眩光區(qū)域”。最后，使用處理器22通過對應(yīng)于短曝光圖像中識別的光源區(qū)域的短曝光區(qū)域來修改指示眩光效果的識別的眩光區(qū)域。因此，眩光減少的圖像(例如，圖4的眩光減少的圖像300)包括已經(jīng)通過所得HDR圖像上的短曝光區(qū)域修改眩光效果從而減少用于最佳(即，增強(qiáng)的)圖像質(zhì)量的所有其他區(qū)域中的眩光的區(qū)域。
[0036]攝像設(shè)備16利用具有像素傳感器陣列的集成電路的顏色敏感的成像芯片，每個(gè)傳感器包括光檢測器和有源放大器。在一個(gè)實(shí)施例中，成像芯片是互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器。在另一個(gè)實(shí)施例中，成像芯片是電荷耦合設(shè)備(CCD)傳感器并且安裝到攝像設(shè)備的攝像機(jī)板上。CXD傳感器和CMOS傳感器都通過使用對光起反應(yīng)并且將光轉(zhuǎn)換成電荷的光敏電路來起作用。傳感器中的模擬數(shù)字電路可以將來自光伏電荷的模擬信號(例如，電壓或電流)轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)(例如，捕獲到的圖像)。
[0037]CCD傳感器是將光記錄為其像素或單元的每一個(gè)中的小電荷的光敏模擬設(shè)備。本質(zhì)上，CCD是CCD單元的集合。CCD電路可以包括用于將模擬信號傳輸?shù)接糜诖鎯?chǔ)由時(shí)鐘信號控制的數(shù)據(jù)的觸發(fā)器陣列的多層電容器(例如，級)。因此，當(dāng)CCD傳感器接收到光時(shí)，CCD傳感器根據(jù)多少光已經(jīng)碰撞到具體的CCD單元來獲得電荷，其中每個(gè)CCD單元可以將其電荷傳遞到其鄰近單元并且隨后傳遞到外部電路。可以使用模擬數(shù)字轉(zhuǎn)換器以在一定范圍上讀取整數(shù)的電荷。
[0038]在CMOS傳感器中，每個(gè)像素具有局部地執(zhí)行模擬數(shù)字轉(zhuǎn)換的鄰近晶體管。在一個(gè)實(shí)施例中，每個(gè)像素可以是有源像素傳感器(APS)。成像邏輯集成在CMOS傳感器本身上，從而代替對CCD傳感器要求額外電路來執(zhí)行模擬數(shù)字轉(zhuǎn)換的需要。因此，可以降低用于操作CMOS傳感器的功率消耗。雖然CMOS傳感器的設(shè)計(jì)可能由于集成電路而比CCD傳感器昂貴，但是CMOS傳感器可以在任何標(biāo)準(zhǔn)硅生產(chǎn)線上便宜地制造。CMOS傳感器的一個(gè)缺點(diǎn)在于它們由于集成在傳感器上的額外電路而比CCD傳感器更加雜亂。
[0039]在一些實(shí)施例中，處理器22可以利用并入用于每個(gè)像素的短曝光子像素(S)和長曝光子像素(L)的分離子像素成像芯片來在空間上獲得短曝光圖像和長曝光圖像。分離子像素成像芯片使得能夠同時(shí)獲得短曝光圖像和長曝光圖像。在其他實(shí)施例中，處理器22可以利用具有每個(gè)像素每次在短曝光時(shí)間(S)和長曝光時(shí)間(L)中的一個(gè)之間可調(diào)的像素陣列的成像芯片來在時(shí)間上獲得短曝光圖像和長曝光圖像。因此，當(dāng)使用具有像素陣列的成像芯片來在時(shí)間上獲得短曝光圖像和長曝光圖像時(shí)，每個(gè)像素可以在獲得用于給定時(shí)間周期的短曝光圖像和長曝光圖像之間進(jìn)行調(diào)整。將理解，與短曝光像素或子像素(S)相比，具有較高光亮度的傳送進(jìn)入長曝光像素或子像素(L)，因?yàn)殚L曝光圖像具有較長快門時(shí)間(或較大區(qū)域)來增加進(jìn)入每個(gè)像素的光的聚集。通常，短曝光像素或子像素(S)增強(qiáng)彩色保真度并且在白天行駛條件下在捕獲到的圖像中獲得較高分辨率。而長曝光像素或子像素(L)通過增加進(jìn)入相應(yīng)像素或子像素的光的聚集而增加圖像敏感度，并且因此可以用來增加捕獲到的圖像的動(dòng)態(tài)范圍。因此，基于獲得的短曝光圖像和獲得的長曝光圖像產(chǎn)生所得HDR圖像。
[0040]參照圖5，示出根據(jù)本披露的分離子像素成像芯片400的示例性實(shí)施例。分離子像素成像芯片400包括濾色器部分402和電路部分404。雖然并不單獨(dú)區(qū)分，但是濾色器部分402和電路部分404僅為了說明目的而分離以描述本文描述的示例性實(shí)施例。像素450包括綠色(Gr和Gb)、藍(lán)色(B)和紅色(R)像素，這些像素由于不同的濾色器而各自具有對光的相應(yīng)響應(yīng)。參照電路部分404，每個(gè)像素450是包括短曝光子像素(S)451和長曝光子像素(L)452的分離子像素。在非限制性實(shí)施例中，每個(gè)子像素451和452是3 ym x 6 μ m。使用分離子像素成像芯片400，處理器22可以在空間上同時(shí)獲得短曝光圖像和長曝光圖像。
[0041]參照圖6，示出根據(jù)本披露的包括像素陣列550的成像芯片500的示例性實(shí)施例。成像芯片500包括濾色器部分502和電路部分504。雖然并不單獨(dú)區(qū)分，但是濾色器部分502和電路部分504僅為了說明目的而分離以描述本文描述的示例性實(shí)施例。像素550包括綠色(Gr和Gb)、藍(lán)色(B)和紅色(R)像素，這些像素由于不同的濾色器而各自具有對光的相應(yīng)響應(yīng)。參照電路部分504，每個(gè)像素550能夠每次在短曝光時(shí)間和長曝光時(shí)間中的一個(gè)之間進(jìn)行調(diào)整。使用成像芯片500，處理器22可以在時(shí)間上獲得用于給定時(shí)間周期的短曝光和長曝光。例如，每個(gè)像素550可以在第一時(shí)間周期期間包括短曝光時(shí)間從而獲得短曝光圖像并且隨后每個(gè)像素550可以被調(diào)整成在第二時(shí)間周期期間包括長曝光時(shí)間從而獲得長曝光圖像。
[0042]圖7示出根據(jù)本披露的用于產(chǎn)生眩光減少的圖像的示例性流程。示例性流程600可以由圖1中所示的處理器22 (即，永久性處理設(shè)備)執(zhí)行并且在其內(nèi)實(shí)施。表I是提供作為圖7的關(guān)鍵字，其中標(biāo)記數(shù)字的方框和相應(yīng)功能如下闡述。
[0043]表I
方框方框內(nèi)容 602獲得短曝光圖像 604獲得長曝光圖像
606基于監(jiān)測的像素值來識別短曝光圖像和長曝光圖像內(nèi)的光源區(qū)域 608計(jì)算長曝光圖像和短曝光圖像的監(jiān)測的像素值之間的像素比 610基于識別的光源區(qū)域和像素比來識別眩光區(qū)域
612在未指示識別的光源區(qū)域的短曝光圖像和長曝光圖像內(nèi)的所有其他區(qū)域中獲得
最佳圖像質(zhì)量
614通過對應(yīng)于短曝光圖像中識別的光源區(qū)域的短曝光區(qū)域來修改所得HDR圖像上的眩光區(qū)域
616基于所得HDR圖像上修改的所識別的眩光區(qū)域來產(chǎn)生眩光減少的圖像。[0044]參照方框602，獲得短曝光圖像603并將其提供給方框606、608和612。在所示實(shí)施例中，短曝光圖像603對應(yīng)于圖2中所示的短曝光圖像100并且由圖1中所示的后視攝像設(shè)備16捕獲。在方框604，獲得長曝光圖像605并將其提供給方框606、608和612。在所示實(shí)施例中，長曝光圖像605對應(yīng)于圖3中所示的長曝光圖像200并且由圖1中所示的后視攝像設(shè)備16捕獲。此外，處理器22所獲得的短曝光圖像和長曝光圖像在低光和夜間周圍行駛條件之一過程中由攝像設(shè)備捕獲。
[0045]在一個(gè)實(shí)施例中，當(dāng)攝像設(shè)備利用并入用于每個(gè)像素的短曝光子像素和長曝光子像素的分離子像素成像芯片時(shí)，分別同時(shí)獲得短曝光圖像603和長曝光圖像605。在另一個(gè)實(shí)施例中，當(dāng)攝像設(shè)備利用具有每個(gè)像素每次在短曝光時(shí)間和長曝光時(shí)間中的一個(gè)之間可調(diào)的像素陣列的成像芯片時(shí)，分別在不同的時(shí)間周期期間獲得短曝光圖像603和長曝光圖像605。分別基于短曝光圖像603和長曝光圖像605產(chǎn)生HDR圖像。
[0046]參照方框606，基于監(jiān)測的像素值在短曝光圖像和長曝光圖像內(nèi)識別光源區(qū)域。僅為了說明目的描繪識別的光源圖像607，其包括兩個(gè)識別的光源區(qū)域，例如，行駛車輛的一對前燈。因此，所示示例包括來自行駛車輛的前燈的直接光源；然而，識別的光源區(qū)域可以包括來自路面或交通基礎(chǔ)設(shè)施標(biāo)志的反射光源。在方框606，分別監(jiān)測短曝光圖像603和長曝光圖像605內(nèi)的像素值。隨后將監(jiān)測的像素值與光源閾值進(jìn)行比較。光源區(qū)域(例如，對應(yīng)于該對前燈中的一個(gè)的第一區(qū)域和對應(yīng)于該對前燈中的另一個(gè)的第二區(qū)域)在短曝光圖像和長曝光圖像中被識別為對應(yīng)于其中監(jiān)測的像素值超過光源閾值的區(qū)域。在一個(gè)實(shí)施例中，光源閾值可以包括指示光源的最小強(qiáng)度值并且每個(gè)像素值可以包括強(qiáng)度值。例如，包括高強(qiáng)度值的監(jiān)測的像素值可以被檢測為飽和區(qū)域。短曝光圖像和長曝光圖像內(nèi)識別的光源區(qū)域被提供給方框610。
[0047]參照方框608，計(jì)算長曝光圖像和短曝光圖像的監(jiān)測的像素值之間的像素比(例如，像素強(qiáng)度比)。為了說明描繪像素比圖像609。計(jì)算的像素比被提供給方框610。方框608可以額外地或者替代地計(jì)算長曝光圖像和短曝光圖像的監(jiān)測的像素值之間的像素強(qiáng)度差。
[0048]參照方框610，基于短曝光圖像和長曝光圖像內(nèi)識別的光源區(qū)域和短曝光圖像與長曝光圖像之間的像素比來識別眩光區(qū)域。為了說明描繪識別的眩光區(qū)域圖像611。在方框610，將計(jì)算的像素比與眩光閾值相比較。在一個(gè)實(shí)施例中，計(jì)算的像素比指示強(qiáng)度比并且眩光閾值對應(yīng)于指示具有上述眩光效果的最小比。將了解，在檢測的光源區(qū)域的周圍區(qū)域內(nèi)，長曝光圖像中的高像素值和短曝光圖像中的低像素值指示眩光效果。因此，眩光區(qū)域可以被識別為對應(yīng)于圍繞計(jì)算的像素比超過眩光閾值的識別的光源周邊的區(qū)域。在所示實(shí)施例中，兩個(gè)眩光區(qū)域被識別為對應(yīng)于行駛車輛的該對前燈中的相應(yīng)的燈。(多個(gè))識別的眩光區(qū)域被提供給方框612和614。此外或者替代地，可以基于短曝光圖像和長曝光圖像內(nèi)識別的光源區(qū)域和超過眩光閾值的短曝光圖像和長曝光圖像之間的像素差來識別眩光區(qū)域。
[0049]參照方框612，未指示光源區(qū)域的短曝光圖像和長曝光圖像內(nèi)的其他區(qū)域包括應(yīng)用HDR處理來獲得用于HDR成像(例如，所得HDR圖像)的最佳圖像質(zhì)量。如上所述，分別基于方框602、604的獲得的短曝光圖像和長曝光圖像來產(chǎn)生所得HDR圖像。例如，可以使用長曝光時(shí)間來保留暗區(qū)域的細(xì)節(jié)并且可以使用短曝光時(shí)間來保留來自飽和的亮區(qū)域的細(xì)節(jié)(例如，亮的動(dòng)態(tài)范圍)。可以組合長曝光時(shí)間和短曝光時(shí)間來產(chǎn)生具有延伸的HDR的所得HDR圖像以展示未指示光源區(qū)域的暗和亮區(qū)域的細(xì)節(jié)。方框612的HDR處理可以包括應(yīng)用的調(diào)和映射、調(diào)整的曝光時(shí)間、圖像灰度校正和像素位深中的至少一個(gè)以獲得這些其他區(qū)域中的最佳圖像質(zhì)量。在所示的非限制性實(shí)施例中，圖像613包括用于所得HDR圖像的其他區(qū)域的獲得的最佳圖像質(zhì)量。隨后，未指示識別的光源區(qū)域的最佳圖像質(zhì)量的其他區(qū)域被提供給方框616。
[0050]參照方框614，執(zhí)行眩光區(qū)域增強(qiáng)。眩光區(qū)域增強(qiáng)包括從方框610中識別出的識別的眩光區(qū)域減少眩光效果。在眩光區(qū)域中減少眩光效果包括通過對應(yīng)于短曝光圖像中識別的光源區(qū)域的短曝光區(qū)域來在修改所得HDR圖像上的眩光區(qū)域。將了解，當(dāng)在所得HDR圖像上存在眩光區(qū)域時(shí)，短曝光區(qū)域和長曝光區(qū)域可以相等部分應(yīng)用到該眩光區(qū)域。例如，所得HDR圖像上的眩光區(qū)域可以包括短曝光圖像內(nèi)識別的光源區(qū)域的一半和長曝光圖像內(nèi)識別的光源區(qū)域的一半。在所示的非限制性實(shí)施例中，修改該對前燈中的相應(yīng)燈的眩光區(qū)域包括通過短曝光圖像中識別的光源區(qū)域中的相應(yīng)區(qū)域來替代眩光區(qū)域。然而，修改眩光區(qū)域的其他實(shí)施例可以包括增加短曝光圖像中識別的光源區(qū)域部分同時(shí)減小長曝光圖像中識別的光源區(qū)域部分。換句話說，長曝光圖像中識別的光源區(qū)域可以分擔(dān)比短曝光圖像中識別的光源區(qū)域部分小的某個(gè)部分。為了說明描繪包括通過用對應(yīng)于短曝光圖像中識別的光源區(qū)域的短曝光區(qū)域來替代修改的眩光區(qū)域的增強(qiáng)的眩光區(qū)域圖像615。增強(qiáng)的眩光區(qū)域圖像615被提供給方框616。
[0051]將了解，僅通過短曝光區(qū)域替代所得HDR圖像上的眩光區(qū)域可能產(chǎn)生不希望的“強(qiáng)度跳躍”。因此，該對前燈中的對應(yīng)燈的眩光區(qū)域可以通過改變應(yīng)用到眩光區(qū)域的短曝光區(qū)域部分的分擔(dān)額度來修改。例如，眩光區(qū)域的中心可以包括與長曝光區(qū)域相比增加分擔(dān)額度的短曝光區(qū)域部分，其中短曝光區(qū)域部分分擔(dān)額度朝向識別的眩光區(qū)域的周邊逐漸減少。在非限制性示例中，識別的眩光區(qū)域的中心可以包括95%的短曝光區(qū)域部分和5%的長曝光區(qū)域部分，而識別的眩光區(qū)域的周邊可以包括相等的短曝光區(qū)域和長曝光區(qū)域分擔(dān)額度。
[0052]在方框616，基于所得HDR圖像上修改的識別的眩光區(qū)域來產(chǎn)生眩光減少的圖像617。在所示實(shí)施例中，眩光減少的圖像617對應(yīng)于圖4的眩光減少的圖像300。眩光減少的圖像617包括由方框614的短曝光區(qū)域替代的眩光區(qū)域并且向未指示方框612的眩光區(qū)域的區(qū)域應(yīng)用HDR處理以獲得最佳圖像質(zhì)量。
[0053]本披露已經(jīng)描述了某些優(yōu)選實(shí)施例和其修改。其他人可以在閱讀和理解說明書之后想到其他修改和變更。因此，本披露并不意欲限于作為考慮用于實(shí)現(xiàn)本披露的最佳模式所披露的(多個(gè))具體實(shí)施例，而是本披露將包括落入隨附權(quán)利要求范圍內(nèi)的所有實(shí)施例。
【權(quán)利要求】
1.用于從主車輛的攝像設(shè)備捕獲到的圖像產(chǎn)生眩光減少的圖像的方法，包括: 獲得由攝像設(shè)備捕獲到的短曝光圖像和長曝光圖像； 基于短曝光圖像和長曝光圖像廣生所得聞動(dòng)態(tài)范圍(HDR)圖像； 監(jiān)測短曝光圖像和長曝光圖像內(nèi)的像素值； 基于監(jiān)測的像素值在短曝光圖像和長曝光圖像內(nèi)識別光源區(qū)域； 計(jì)算長曝光圖像和短曝光圖像的監(jiān)測的像素值之間的像素比和像素差之一； 基于識別的光源區(qū)域以及計(jì)算的像素比和計(jì)算的像素差之一來識別眩光區(qū)域； 通過短曝光圖像內(nèi)識別的光源區(qū)域修改所得高動(dòng)態(tài)范圍圖像上的識別的眩光區(qū)域；以及 基于所得HDR圖像上的修改的識別的眩光區(qū)域來產(chǎn)生眩光減少的圖像。
2.如權(quán)利要求1所述的方法，其中當(dāng)攝像設(shè)備利用并入用于每個(gè)像素的短曝光子像素和長曝光子像素的分離子像素成像芯片時(shí)，同時(shí)獲得短曝光圖像和長曝光圖像。
3.如權(quán)利要求1所述的方法，其中當(dāng)攝像設(shè)備利用具有每個(gè)像素每次在短曝光時(shí)間和長曝光時(shí)間中的一個(gè)之間可調(diào)的像素陣列的成像芯片時(shí)，在不同的時(shí)間周期期間獲得短曝光圖像和長曝光圖像。
4.如權(quán)利要求3所述的方法，其中獲得短曝光圖像和長曝光圖像包括: 對于每個(gè)像素，在第一時(shí)間周期期間利用短曝光時(shí)間從而獲得短曝光圖像并且在第二時(shí)間周期期間利用長曝光時(shí)間從而獲得長曝光圖像。
5.如權(quán)利要求1所述的方法，其中在短曝光圖像和長曝光圖像內(nèi)識別光源區(qū)域包括: 將監(jiān)測的像素值與光源閾值進(jìn)行比較；以及 識別短曝光圖像和長曝光圖像內(nèi)對應(yīng)于其中監(jiān)測的像素值超過光源閾值的區(qū)域的光源區(qū)域。
6.如權(quán)利要求1所述的方法，其中監(jiān)測的像素值至少包括用于短曝光圖像和長曝光圖像內(nèi)的每個(gè)像素的強(qiáng)度值。
7.如權(quán)利要求6所述的方法，其中監(jiān)測的像素值進(jìn)一步包括用于短曝光圖像和長曝光圖像內(nèi)的每個(gè)像素的顏色信息。
8.如權(quán)利要求1所述的方法，其中識別眩光區(qū)域包括: 將計(jì)算的像素比與眩光閾值進(jìn)行比較； 識別對應(yīng)于圍繞其中計(jì)算的像素比超過眩光閾值的識別的光源周邊的區(qū)域的眩光區(qū)域。
9.用于從主車輛的攝像設(shè)備捕獲到的圖像產(chǎn)生眩光減少的圖像的方法，包括: 獲得由攝像設(shè)備捕獲到的短曝光圖像和長曝光圖像； 基于獲得的短曝光圖像和長曝光圖像廣生所得聞動(dòng)態(tài)范圍(HDR)圖像； 監(jiān)測短曝光圖像和長曝光圖像內(nèi)的像素值，每個(gè)像素值至少包括強(qiáng)度值； 基于監(jiān)測的像素值在短曝光圖像和長曝光圖像內(nèi)識別光源區(qū)域； 基于長曝光圖像和短曝光圖像的監(jiān)測的像素值之間計(jì)算的像素比來識別圍繞識別的光源周邊的眩光區(qū)域； 通過短曝光圖像內(nèi) 相應(yīng)的識別的光源區(qū)域修改所得高動(dòng)態(tài)范圍圖像上的識別的眩光區(qū)域；應(yīng)用高動(dòng)態(tài)范圍處理以在未識別為眩光區(qū)域的所有其他區(qū)域中獲得用于所得高動(dòng)態(tài)范圍圖像的最佳圖像質(zhì)量；以及 基于所得高動(dòng)態(tài)范圍圖像上的修改的識別的眩光區(qū)域來產(chǎn)生眩光減少的圖像。
10.一種用于從主車輛的攝像設(shè)備捕獲到的圖像產(chǎn)生眩光減少的圖像的裝置，包括: 捕獲從主車輛投射出的視場的攝像設(shè)備；以及 處理設(shè)備，其被配置成:
獲得由攝像設(shè)備捕獲到的短曝光圖像和長曝光圖像；
基于獲得的短曝光圖像和長曝光圖像廣生所得聞動(dòng)態(tài)范圍(HDR)圖像；
監(jiān)測短曝光圖像和長曝光圖像內(nèi)的像素值；
基于監(jiān)測的像素值在短曝光圖像和長曝光圖像內(nèi)識別光源區(qū)域；
計(jì)算長曝光圖像和短曝光圖像的監(jiān)測的像素值之間的像素比；
基于識別的光源區(qū)域和像素比來識別眩光區(qū)域；
通過短曝光圖像內(nèi)識別的光源區(qū)域修改所得高動(dòng)態(tài)范圍圖像上的識別的眩光區(qū)域，以及 基于所得高動(dòng)態(tài)范圍圖像上的修改的識別的眩光區(qū)域來產(chǎn)生眩光減少的圖像。
【文檔編號】H04N1/40GK103916610SQ201410005997
【公開日】2014年7月9日 申請日期:2014年1月7日 優(yōu)先權(quán)日:2013年1月7日
【發(fā)明者】W.張, J.王, K.S.利貝克, J.S.皮亞塞基, R.M.弗拉克斯, T.S.赫斯特 申請人:通用汽車環(huán)球科技運(yùn)作有限責(zé)任公司