專利名稱：用于移動式應用的cmos圖像傳感器的動態(tài)范圍擴展的制作方法
技術領域：
本發(fā)明的某些實施例涉及圖像處理。更確切地說，本發(fā)明的某些實施例涉及用于移動式應用的CMOS圖像傳感器的動態(tài)范圍擴展。
背景技術：
在數(shù)碼相機中，光穿過相機鏡頭而曝光在具有光電二極管的像素陣列上，使得每個像素中所捕獲的光量可被轉換成模擬電信號。來自每個像素的模擬電信號被放大并且經由模數(shù)轉換被轉換成數(shù)字信號。數(shù)字信號隨后可用于進一步的數(shù)字處理，以產生所捕獲的圖像。數(shù)碼相機或者其他數(shù)字成像系統(tǒng)中的圖像傳感器執(zhí)行從像素捕獲光到數(shù)字圖像輸出的圖像產生過程。因此，圖像傳感器是數(shù)字圖像系統(tǒng)中用于確定最終圖像質量的重要部件。CMOS圖像傳感器廣泛地使用于要求高速性能和低功耗的應用中，因為CMOS圖像傳感器通常比電荷耦合器件(CCD)提供更高的幀速率操作。CMOS圖像傳感器也可被形成在尺寸非常緊湊的低功耗芯片中，并且被用在諸如移動電話、個人數(shù)字助理、便攜式計算機等的不同應用中的數(shù)碼相機實施方案中。然而，CMOS圖像傳感器可能遭受高讀取噪聲、即低信噪比(SNR)和高固定模式噪聲、即低動態(tài)范圍(DR)。CMOS圖像傳感器提供比電荷耦合器件更低的信噪比(SNR)和更小的動態(tài)范圍(DR)。動態(tài)范圍是諸如光的可測量量的最小可能值與最大可能值之比，被表達為以10為底的對數(shù)值(分貝，dB)。該動態(tài)范圍量化了使在場景中高光和暗影兩者均充分成像的能力。例如，人類視覺具有非常高的動態(tài)范圍，因為人眼可在明亮日光下并且也可在無月光的黑晚看到物體。人眼具有約200dB的動態(tài)范圍。由于典型的移動式傳感器的動態(tài)范圍通常約60dB，所以對于現(xiàn)今的電子數(shù)字成像設備而言似乎幾乎不可能再現(xiàn)人眼體驗的全部動態(tài)范圍。盡管如此，增強圖像傳感器的動態(tài)范圍仍是業(yè)界的研究目標之一。通常，可以通過在芯片上添加更多硬件以在模擬域或者數(shù)字域中儲存更多的光信息來擴展動態(tài)范圍，諸如在每個像素中添加更多器件以增加電荷收集能力，或者添加更多幀和/或線存儲器以保存曝光不同的圖像，或者添加光學掩模以改變不同像素的靈敏度。這些種類的硬件解決方案在移動應用中具有嚴重的局限性，因為像素尺寸太小以至于不能允許在該像素中更多的晶體管，并且移動器件的小模塊尺寸也限制芯片上的額外存儲器的尺寸，而且像素的小尺寸也限制光學掩模的性能和均勻性。更確切地說，已提出如下的包括多重積分、對數(shù)傳感器、雙重靈敏度像素和空間變化靈敏度像素的技術來改善圖像傳感器的動態(tài)范圍。然而，所有這些技術被認為還不足夠。多重積分方法需要額外的存儲器以在處理不同積分的所有或部分圖像之前對其進行儲存。對數(shù)傳感器方案具有高像素響應非均勻性，使得其彩色響應差。雙重靈敏度像素方案在像素內部需要額外的晶體管和/或儲存，因此像素尺寸難以變小。空間變化靈敏度像素方法在不同像素上使用不同光學掩模，以對同一像素陣列上的光信息進行二次采樣，并且每個像素的靈敏度不能在不同照明條件下變化。而且，像素響應是非線性的。因此，像素響應是非線性的，而且出于這個原因，像素響應技術要求傳感器的光響應被完全校準并且創(chuàng)建查找表。額外的濾波器也增加成本。通過將這些系統(tǒng)與本發(fā)明的如在本發(fā)明的其余部分參考附圖闡述的某些方面進行比較，常規(guī)的和傳統(tǒng)的方法的其他局限性和缺點對于本領域技術人員將變得明顯
發(fā)明內容
本發(fā)明的某些實施例提供用于移動式應用的CMOS圖像傳感器的動態(tài)范圍擴展。本發(fā)明的實施例可包括針對像素陣列中的每個像素設置多個積分時間之一和多個信號增益之一，其中該設置可被用來針對像素陣列中的每個像素生成相應的數(shù)字數(shù)據(jù)。同一彩色平面的相鄰像素的相應的數(shù)字數(shù)據(jù)隨后可被分組成超級像素，其中每個像素使其與積分時間和信號增益的不同組合相關聯(lián)。一種用于處理圖像的系統(tǒng)可包括像素配置電路，所述像素配置電路被使能為針對像素陣列中的每個像素設置多個積分時間之一和多個信號增益之一。該系統(tǒng)也可包括多個列模數(shù)轉換器，所述多個列模數(shù)轉換器被使能為針對像素陣列中的每個像素生成相應的數(shù)字數(shù)據(jù)。也可有數(shù)字處理電路，所述數(shù)字處理電路被使能為將同一彩色平面的相鄰像素的相對應的數(shù)字數(shù)據(jù)分組成超級像素，其中每個像素使其與積分時間和信號增益的不同組合相關聯(lián)。在研究下列附圖和詳細描述后，本發(fā)明的其他系統(tǒng)、方法、特征和優(yōu)點對于本領域技術人員將是明顯的或變得明顯。所有這些額外的系統(tǒng)、方法、特征和優(yōu)點應涵蓋于說明書內，在本發(fā)明的范圍內并且受所附權利要求保護。


參考本說明書的其余部分和附圖可實現(xiàn)對本公開內容提供的實例的本質和優(yōu)點的進一步理解，其中同樣的附圖標記在各個附圖用于表示類似的部件。在某些實例中，下標與附圖標記相關聯(lián)以表示多個相似部件之一。當引用相似的標記而沒有說明已有的下標時，附圖標記指代所有這樣類似的部件。圖I是根據(jù)本發(fā)明的一個實施例的可使用的用于模數(shù)轉換的示例性系統(tǒng)的框圖。圖2是根據(jù)本發(fā)明的一個實施例的可使用的用于列并行模數(shù)轉換器的示例性系統(tǒng)的框圖。圖3是根據(jù)本發(fā)明的一個實施例的用于模數(shù)轉換的示例性系統(tǒng)的框圖。圖4是根據(jù)本發(fā)明的一個實施例的用于模數(shù)轉換的示例性系統(tǒng)的時序圖。圖5是根據(jù)本發(fā)明的一個實施例的像素響應的示例性曲線圖。圖6是根據(jù)本發(fā)明的一個實施例的示例性像素處理配置的圖。
圖7是根據(jù)本發(fā)明的一個實施例的示例性像素響應的曲線圖。圖8是根據(jù)本發(fā)明的一個實施例的示例性像素處理配置的示圖。圖9是根據(jù)本發(fā)明的一個實施例的示例性的改進的圖像輸出的示圖。圖10是根據(jù)本發(fā)明的一個實施例的針對圖9的改進的圖像輸出的輸出響應的示圖。
具體實施例方式下列描述僅提供示例性實施例并且并不意圖限制本發(fā)明的范圍、適用性或配置。 相反，隨后對這些實施例的描述將為本領域技術人員提供用能夠實施本發(fā)明實施例的描述。在不脫離本發(fā)明的如在隨附的權利要求書中所闡述的精神和范圍的情況下，可對元件的功能和布局進行不同的改變。因此，不同實施例可適當?shù)厥∪?、替換或添加不同的過程或者部件。例如，應理解的是，在替選的實施例中，這些方法可以不同于所描述的順序來執(zhí)行，并且可添加、省去或組合不同的步驟。相對于某些實施例描述的特征也可被組合到不同的其他實施例中。這些實施例的不同方面和元件可以以類似的方式來組合。還應理解的是，以下系統(tǒng)和方法可以是大型系統(tǒng)的部件，其中其他過程可優(yōu)先于或修改其應用。而且，可在以下實施例之前、之后或同時要求多個步驟。將參考附圖詳細描述本發(fā)明的實施例，使得本發(fā)明的范圍可容易地被本領域技術人員實現(xiàn)。本發(fā)明的某些實施例可涉及用于(但不限于)移動式應用的CMOS圖像傳感器的動態(tài)范圍擴展的方法和系統(tǒng)。具有低像素動態(tài)范圍和有限的模數(shù)轉換(ADC)分辨率的CMOS圖像傳感器的動態(tài)范圍被擴展，特別是針對像素數(shù)目小的移動成像傳感器。圖I是根據(jù)本發(fā)明的一個實施例的可使用的用于模數(shù)轉換的示例性系統(tǒng)的框圖。參考圖1，示出了用于處理輸入數(shù)據(jù)的電路的一部分，其包括ADC 101、處理器102和控制邏輯 103。ADC 101將諸如來自例如視頻圖像傳感器(圖I中未示出)的像素信號的輸入模擬信號轉換成等同的數(shù)字信號。ADC 101輸出的數(shù)字信號可被處理器102進一步處理。處理器102可使用例如數(shù)字信號處理方法將來自ADC 101的數(shù)字信號壓縮成諸如H. 263或H. 264的標準視頻格式。處理器102也可包括存儲器塊102a，其中可儲存碼。所述碼可由處理器102運行，以執(zhí)行諸如數(shù)字信號處理的不同功能。存儲器塊102a也可用來儲存來自ADC 101的數(shù)字信號和/或由處理來自ADC 101的數(shù)字信號而得到的數(shù)字信號。控制邏輯103可包括生成時鐘、控制和使能信號、用于諸如ADC 101的各種模塊的命令的電路。例如，控制邏輯103可生成用于在ADC 101中進行計數(shù)的時鐘信號，其中該時鐘信號不是連續(xù)運行。運行時鐘包括脈沖，而非運行時鐘或處于低態(tài)或處于高態(tài)?？刂七壿?03也可輸出使能信號并且也輸出復位信號，其中所述使能信號使能ADC 101中的計數(shù)器，以在特定時間部分期間進行計數(shù)。圖2是根據(jù)本發(fā)明的一個實施例的可使用的示例性列并行模數(shù)轉換器的框圖。參考圖2，示出了像素陣列200和ADC陣列210。像素陣列200可包括像素元件201和開關元件202。像素元件201可包括例如輸出與像素元件201所檢測到的光量成比例的電壓的合適電路。像素元件201可以對于特定波長的入射光敏感。ADC陣列210可包括例如ADC元件211的陣列，其中每個ADC元件211可對應于像素元件201的列。ADC元件211的輸出可被儲存在存儲器塊212中。在操作中，來自例如控制邏輯103的適當?shù)目刂菩盘柨墒鼓荛_關元件202以適當?shù)財嚅_和接通，使得來自特定像素元件201的輸出電壓被傳送給ADC陣列210。因此，對于每列Column_l到Column_m,所有行Row_l到Row_n中的僅一個特定開關元件202可在行掃描時間期間接通，使得來自相對應的像素元件201的輸出電壓在該掃描時間期間被傳送到ADC陣列210。因此，當針對該列僅選擇一個像素時，真實的像素電壓可被傳送到相對應的ADC 元件 211。來自列Column_l到Column_m的每列中的像素元件201之一的輸出電壓可以被相對應的ADC元件211轉換成等同的數(shù)字值。然而，由于有多個ADC元件211，所以可能需要校準每個ADC元件211，使得每個ADC元件211針對給定的輸入而輸出相似的數(shù)字值。校準可定期進行，例如諸如在行掃描時間期間進行一次或者在幀期間進行一次。校準的特定周期可與設計和/或實施方案有關。出于清楚的原因，圖2可被繪制和描述為像素陣列200具有開關元件202，而本發(fā)明不需要如此限制。例如，開關元件202可以是ADC陣列210的部分。圖3是根據(jù)本發(fā)明的一個實施例的用于模數(shù)轉換的示例性系統(tǒng)的框圖。參考圖3，示出了模數(shù)轉換系統(tǒng)300，其包括像素陣列310、行驅動器320、ADC模塊330、線存儲器340、數(shù)字邏輯塊350和斜坡發(fā)生器360。ADC模塊330包括列CDS 332和列ADC 334。像素陣列310可類似于例如圖2中所示的像素陣列200。行驅動器320可包括可生成字線的合適電路，所述字線可被用來選擇特定行、例如圖2中的Row_l以輸出信號。ADC模塊330可包括可適于對來自像素陣列310的模擬信號進行采樣的列⑶S 332。ADC模塊330中的列ADC 334可被用來將來自列⑶S 332的經采樣的信號轉換成數(shù)字數(shù)據(jù)。線存儲器340可包括諸如用于儲存來自ADC模塊330的數(shù)字數(shù)據(jù)的鎖存電路的合適電路。數(shù)字邏輯塊350可包括用于處理來自線存儲器340的數(shù)字數(shù)據(jù)的合適電路。數(shù)字邏輯塊350可包括例如不同的邏輯電路和/或數(shù)字信號處理器。斜坡發(fā)生器360可生成基準斜坡信號，所述基準斜坡信號可被用來確定與經采樣的信號等同的數(shù)字數(shù)據(jù)。在操作中，像素陣列310中的像素行由行驅動器320所輸出的水平字線尋址。像素陣列310的行、例如圖2中的Row_l輸出的電荷或電壓信號經由列位線被傳送到ADC模塊330。像素陣列310中的像素元件被布置成類似于圖2的二維結構，其中行驅動器320控制特定行以將其像素信號輸出到列位線上。因此，行中的每個像素將并行輸出其信號。ADC模塊330中的多個列⑶S 332對列位線上的像素信號進行采樣，并且經采樣的像素信號隨后被列ADC 334轉換成等同的數(shù)字數(shù)據(jù)。列⑶S 332可使用例如相關雙采樣， 相關雙采樣是用于測量諸如電壓或電流的電學值的技術，其允許去除不期望的偏移。在測量傳感器輸出時該技術被十分頻繁地使用。像素的輸出被測量兩次，第一次是像素的復位電平，而第二次是像素的信號電平。兩者的差表示入射光強度。這兩個電平均包括由熱噪聲和器件失配引起的偏移。通過取這兩者的差，消除此偏移。像素陣列310中的像素元件201的二維陣列被組織成行和列。給定行中的像素元件201共享復位線，使得行中的所有像素元件201被同時復位。行中的像素元件201也連接到字線，并且通常，可選擇像素陣列310中的僅一行。因此，盡管像素陣列310中的多個像素元件210、例如圖2中的Column_l共享相同的列位線，但是由于在任何給定時間僅選擇一行，所以列位線上的像素信號不會由于與來自該列的其他像素元件201的信號相混合而劣化。ADC模塊330中的每個列⑶S 332首先對復位信號進行采樣，然后接收來自像素陣列310的像素信號。列⑶S 332然后獲得復位信號與像素信號之間的差。相對應的列ADC334然后將差信號與可由斜坡發(fā)生器360輸出的基準斜坡信號進行比較。當基準斜坡信號首先開始斜變時，可以使能在ADC模塊330中的每個列ADC 334中的計數(shù)器(未示出)。當差信號的電平與基準斜坡信號的電平相同時，相對應的計數(shù)器將停止，并且計數(shù)將被儲存在線存儲器340的相對應的部分中。該計數(shù)是等同于輸入像素信號的數(shù)字數(shù)據(jù)。數(shù)字邏輯塊350可讀取儲存在線存儲器340中的數(shù)字數(shù)據(jù)，并且可處理這些數(shù)字信號。例如，在本發(fā)明的實施例中，數(shù)字邏輯塊350可執(zhí)行數(shù)字信號處理以將數(shù)字數(shù)據(jù)轉換成諸如札263或H. 264的不同視頻格式之一。因此，數(shù)字邏輯塊350可輸出數(shù)字數(shù)據(jù)ImageOut0本發(fā)明的不同實施例可允許由列ADC 334所轉換的信號的不同模擬增益。該增益例如可來自列CDS 332中的可變增益放大器，或者來自列ADC 334的基準斜坡信號的變化斜率，其中所述列ADC 334可以是單斜率ADC。其他類型的ADC可要求其他調整增益的方法。例如，SAR或者循環(huán)ADC可能需要不同基準來調整其增益。使用了兩種增益值的本發(fā)明的不同實施例可涉及如“低增益”和“高增益”的兩種增益值。盡管出于示例性目的具體指出兩種增益值，但是本發(fā)明不需如此限制。不同的實施例可使用三種或更多種增益值。圖3中所描述的用于不同模塊的控制信號可假定在每個塊內生成，或者由全方位(catch-all)數(shù)字邏輯塊350生成。該假設使得描述更簡單并且也將被用于其余的圖。圖4是根據(jù)本發(fā)明的一個實施例的可使用的用于模數(shù)轉換的示例性系統(tǒng)的時序圖。參考圖4，示出了三個示例性行m、m+1和m+2，其中水平軸線表示時間。三個行m、m+1和m+2均具有相似的發(fā)生事件，并且這些行針對相對的定時差被示出。因此，僅討論對應于行m的行為。在時間tl，行m可以處于幀N的開始處。在從時間t2到時間t3的時間段期間，行m可被第一復位脈沖402復位。第一復位脈沖402將會使像素陣列310的行m中的像素元件201清除到已知狀態(tài)，使得像素元件201可針對本幀而積累光電子。此外，在斷言(assert)第一復位脈沖402之后，由列ADC 334從用于前一幀的行m的像素元件201的模擬信號所轉換的等同數(shù)字數(shù)據(jù)可被讀出到線存儲器340。從時間t3到時間t4的時間段可變化以允許在不同行中的像素元件201有不同積分時間。本發(fā)明的實施例可允許兩個不同的積分時間。兩個積分時間可稱為“短積分時間”和“長積分時間”?？煞Q為預積分段的從時間t3到時間t4的時間段對于長積分時間比對于短積分時間更短。長積分時間可有利于弱光場景，而對于高光場景，積分時間可被設置得更短。盡管出于示例性目的規(guī)定兩個積分時間，本發(fā)明無需如此限制。例如，不同實施例可使用三個或更多個積分時間。在從時間t4到時間t5的時間段期間，行m可在積分之前被第二復位脈沖404復位。第二復位脈沖404用于與第一復位脈沖402類似的目的，以將像素元件201復位到已知狀態(tài)使得像素元件201可準備好積累光電子。然而，在第二復位脈沖404期間沒有數(shù)字數(shù)據(jù)的讀出。在時間t5到時間t6期間，行m中的像素元件201可積累光電子，直至積分段在時間t6處結束。從時間t5到時間t6的積分時間對于長積分時間比對于短積分時間更長，因為預積分段對于長積分時間比對于短積分時間更短。在行m的每個像素元件201處的電荷然后將被每個列⑶S 332傳送到相對應的列ADC 334。每個ADC 334中的計數(shù)器然后將如結合圖3所描述的那樣進行計數(shù)，以生成等同的數(shù)字數(shù)據(jù)。在時間t6之后將讀出該計數(shù)。本發(fā)明的不同實施例可使用第三復位脈沖406在時間t7處的起始以讀出數(shù)字數(shù)據(jù)，用于儲存在線存儲器340中。圖5是根據(jù)本發(fā)明的一個實施例的像素響應的示例性曲線圖。參考圖5，示出了曲線圖500，其中水平軸線表示亮度，垂直軸線表示像素響應?？梢允莵碜韵袼卦?01的模擬信號的像素響應也可被表達為來自列ADC 334的經轉換的數(shù)字數(shù)據(jù)。因此，可校準列ADC 334以能夠從像素響應的ADC最小電平計數(shù)到像素響應的ADC最大電平。然而，由于電路中的固有噪聲，列ADC 334可能不能區(qū)分低于讀取噪聲電平的像素響應。因此，與讀取噪聲電平相關聯(lián)的亮度Lmin可以是所檢測到的最小亮度。所檢測到的最大売度可以是売度Lmax。因此，列ADC 334的動態(tài)范圍可以被表達為DR = 201og(Lmax/Lmin)= 201og[ (ADC Max)/(讀取噪聲)](等式 I)為了擴展傳感器的動態(tài)范圍，可修改讀出定時，使得相同彩色平面中的相鄰行可具有不同的積分時間。一個行可具有長積分時間，而相鄰的行可具有短積分時間。具有長積分時間的像素將捕獲場景的低光信息，而具有短積分時間的像素將捕獲場景的高光信息。并且，由于列ADC具有有限的分辨率，在列讀出時間期間，不同的模擬增益可被應用于相鄰的列。例如，一個列可具有高增益，而相鄰的列可具有低增益。可根據(jù)場景的全局或局部亮度來選擇特定的積分時間和增益設置。全局或局部亮度可以由能夠處理來自一個或多個先前幀的數(shù)字數(shù)據(jù)的電路來確定，諸如處理器102或數(shù)字邏輯塊350。例如可由諸如處理器102、控制邏輯103和/或數(shù)字邏輯350在每個幀之后或者在給定數(shù)目的幀之后來動態(tài)地調整積分時間和增益設置，其中，一個或多個先前幀中的場景的全局或局部亮度被用來確定積分時間和增益設置。積分時間和增益設置也可采用缺省值。圖6是根據(jù)本發(fā)明的一個實施例的示例性像素處理配置的示圖。參考圖6，示出了包括各個像素元件602的像素陣列600，像素元件602可類似于像素元件201。每個像素元件602可被配置為對表示為R、B、Gr和Gb的彩色平面的特定頻率敏感。像素陣列600的行可具有如所示出的不同的積分時間。例如，行RowO、Rowl、Row4和Row5可具有長積分時間，而Row2、Row3、Row6和Row7可具有短積分時間。像素陣列600的列可被配置為具有不同的模擬增益。例如，列ColO、Coll、Col4和Col5可具有高增益，而列Col2、Col3、Col6和Col7可具有低增益。 因此，可以看出的是，像素元件602可根據(jù)控制像素元件602和處理其輸出的特定方式而關聯(lián)到四種類型的像素響應之一。像素元件602可與例如長積分時間和高增益、長積分時間和低增益、短積分時間和高增益以及短積分時間和低增益相關聯(lián)。例如，RowO和ColO的交叉點處的Gr像素元件602與長積分時間和高增益相關聯(lián)。在RowO和Col2的交叉點處的Gr像素元件602與長積分時間和低增益相關聯(lián)。Row2和ColO的交叉點處的Gr像素元件602與短積分時間和高增益相關聯(lián)。Row2和Col2的交叉點處的Gr像素元件602與短積分時間和低增益相關聯(lián)。
如果使用基準斜坡信號的斜率來改變增益設置，則斜坡發(fā)生器360可能需要為要求高增益的相應的列ADC 334提供高增益斜坡信號，而為要求低增益的相應的列ADC 334提供低增益斜坡信號。圖7是根據(jù)本發(fā)明的一個實施例的示例性像素響應的曲線圖。參考圖7，示出了具有針對四種不同類型的像素響應的像素響應的曲線圖700。像素響應702針對與長積分時間和高增益相關聯(lián)的像素元件602。像素響應704針對與長積分時間和低增益相關聯(lián)的像素元件602。像素響應706針對與短積分時間和高增益相關聯(lián)的像素元件602。像素響應708針對與短積分時間和低增益相關聯(lián)的像素元件602。每個像素響應具有由等式I定義的動態(tài)范圍。因此，被組合的四個像素的擴展的動態(tài)范圍可被表達為DRext = 201og(Lmax_SL/Lmin_LH)= DR+201og[(長積分時間/短積分時間)* (高增益/低增益))] (等式2)由于在讀出期間通過改變增益和積分時間設置來生成輸出圖像，所以每個像素的輸出需要被標準化，以反應其真實的亮度信息。圖8描述了通過創(chuàng)建在相同彩色平面上集合了不同設置的四個相鄰像素的超級像素來重構最終圖像的本發(fā)明的一個實施例。因此，最終圖像具有被減少四分之三的分辨率。圖8是根據(jù)本發(fā)明的一個實施例的示例性像素處理配置的圖。圖8類似于圖6，除了每個像素802被標記有行號和列號以便于圖9的描述。圖9示出了圖8中的像素在其相應的彩色平面中被分組而使得每個組包括所有四個像素響應。圖9是根據(jù)本發(fā)明的一個實施例的示例性的改進圖像輸出的示圖。參考圖9，示出了改進的圖像輸出900，其中相同彩色平面中的四個像素形成超級像素902。每個超級像素902包括具有結合圖7所描述的像素響應之一的像素。超級像素902的動態(tài)范圍是四個像素的動態(tài)范圍之和。因此，可以看出的是，超級像素902的動態(tài)范圍增加，如通過關于各個像素的動態(tài)范圍的等式2所確定的那樣。圖10是根據(jù)本發(fā)明的一個實施例的針對圖9的改進的圖像輸出的輸出響應的示圖。參考圖10，示出了針對圖9的超級像素902的像素響應的曲線圖1000。該像素響應可以是超級像素902中的四個像素的分段線性像素響應。因此，本發(fā)明的實施例公開了一種新讀出方案，其尤其旨在將至少兩個積分時間和至少兩個ADC輸入范圍應用于讀出路徑，以捕獲場景的高動態(tài)范圍信息。為了擴展在移動式成像傳感器上的動態(tài)范圍，將不同的積分時間應用于不同的像素行，并且將不同的增益應用于不同的像素列?？筛鶕?jù)圖像的局部和全局亮度而改變積分時間和增益設置。相鄰的像素可被組合到一起來創(chuàng)建高動態(tài)范圍像素。結果，輸出圖像是減少了空間分辨率的較高動態(tài)范圍的圖像。該新讀出方案允許高場景內動態(tài)范圍的圖像而不會改變像素架構。該方案適用于所有尺寸的像素，并且也很好地與移動式傳感器一起工作，即使像素尺寸變小，芯片尺寸有限并且不得不保持低成本。本發(fā)明的不同實施例被描述成在針對幀的所有像素應用不同的增益和積分時間。然而，本發(fā)明不需限制如此。例如，當幀的局部部分非常亮時，本發(fā)明的不同實施例可僅針對該幀的所述局部部分來提供動態(tài)范圍擴展。然而，這可能要求在用于整個幀的動態(tài)范圍擴展所需的電路之外的附加電路。盡管已描述了本發(fā)明 的不同實施例，但本發(fā)明并不限制如此。例如，雖然示例性的實施例已討論了兩個積分時間和兩個增益值，但本發(fā)明的其他實施例可具有兩個或更多個積分時間和/或兩個或更多個增益值。雖然已參考某些實施例描述了本發(fā)明，但是本領域技術人員將理解的是，可在不脫離本發(fā)明的范圍的情況下進行不同的改變和等同替換。此外，在不脫離本發(fā)明的范圍的情況下可進行多種修改以將特定情形或材料適用到本發(fā)明的教導。因此，本發(fā)明意圖不將本發(fā)明限制于所公開的特定實施例，而是本發(fā)明將包括落入隨附的權利要求書之內的所有實施例。
權利要求
1.一種用于處理圖像的方法，該方法包括針對像素陣列中的每個像素設置多個積分時間之一和多個信號增益之一；針對像素陣列中的每個像素生成相應的數(shù)字數(shù)據(jù)；以及針對同一彩色平面的相鄰像素將所述相應的數(shù)字數(shù)據(jù)分組成超級像素，其中每個像素使其與積分時間和信號增益的不同組合相關聯(lián)。
2.根據(jù)權利要求I所述的方法，其中，所述積分時間是長積分時間和短積分時間之一。
3.根據(jù)權利要求I所述的方法，其中，所述積分時間的設置取決于全局亮度信息和局部亮度信息中的至少一個。
4.根據(jù)權利要求I所述的方法，其中，所述信號增益是高增益和低增益之一。
5.根據(jù)權利要I所述的方法，其中，所述信號增益的設置取決于全局亮度信息和局部亮度信息中的至少一個。
6.根據(jù)權利要求I所述的方法，其中，有積分時間和信號增益的四個組合。
7.根據(jù)權利要求I所述的方法，其中，所述超級像素具有對入射光強度的分段線性響應。
8.根據(jù)權利要求I所述的方法，其中，動態(tài)地設置針對像素的積分時間和信號增益。
9.根據(jù)權利要求I所述的方法，其中，通過改變可變增益放大器的增益來控制所述信號增益。
10.根據(jù)權利要求I所述的方法，其中，通過改變列模數(shù)轉換器的斜坡信號的斜率來控制所述信號增益。
11.一種用于處理圖像的系統(tǒng)，所述系統(tǒng)包括像素配置電路，其被使能為針對像素陣列中的每個像素設置多個積分時間之一和多個信號增益之一；列模數(shù)轉換器，其被使能為針對像素陣列中的每個像素生成相應的數(shù)字數(shù)據(jù)；以及數(shù)字處理電路，其被使能為針對同一彩色平面的相鄰像素將所述相應的數(shù)字數(shù)據(jù)分組成超級像素，其中每個像素使其與積分時間和信號增益的不同組合相關聯(lián)。
12.根據(jù)權利要求11所述的系統(tǒng)，其中，所述積分時間是長積分時間和短積分時間之一。
13.根據(jù)權利要求11所述的系統(tǒng)，其中，所述積分時間的設置取決于全局亮度信息和局部亮度信息中的至少一個。
14.根據(jù)權利要求11所述的系統(tǒng)，其中，所述信號增益是高增益和低增益之一。
15.根據(jù)權利要求11所述的系統(tǒng)，其中，所述信號增益的設置取決于全局亮度信息和局部亮度信息中的至少一個。
16.根據(jù)權利要求11所述的系統(tǒng)，其中，有積分時間和信號增益的四個組合。
17.根據(jù)權利要求11所述的系統(tǒng)，其中，所述超級像素具有對入射光強度的分段線性響應。
18.根據(jù)權利要求11所述的系統(tǒng)，其中，動態(tài)地設置針對像素的積分時間和信號增益。
19.根據(jù)權利要求11所述的系統(tǒng)，其中，通過改變可變增益放大器的增益來控制所述信號增益。
20.根據(jù)權利要求11所述的方法，其中，通過改變列模數(shù)轉換器的斜坡信號的斜率來控制所述信號增益。
全文摘要
本發(fā)明的各個方面提供用于移動式應用的CMOS圖像傳感器的動態(tài)范圍擴展。本發(fā)明的實施例可包括針對像素陣列中的每個像素設置多個積分時間之一和多個信號增益之一，其中所述設置可被用來針對像素陣列中的每個像素生成相應的數(shù)字數(shù)據(jù)。相同彩色平面的相鄰數(shù)據(jù)的相應的數(shù)字數(shù)據(jù)可被分組成超級像素，其中每個像素使其與積分時間和信號增益的不同組合相關聯(lián)。
文檔編號H04N5/378GK102625059SQ20121002154
公開日2012年8月1日 申請日期2012年1月31日 優(yōu)先權日2011年1月31日
發(fā)明者一兵·米歇爾·王, 杰夫·雷辛斯基, 王洪規(guī) 申請人:海力士半導體有限公司