專(zhuān)利名稱(chēng)：具有改進(jìn)的光靈敏度的圖像傳感器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及具有改進(jìn)的光靈敏度(light sensitivity)的二維圖像傳感器。

背景技術(shù)：
電子成像系統(tǒng)依賴(lài)于電子圖像傳感器來(lái)產(chǎn)生視覺(jué)圖像的電子表示。這種電子圖像傳感器的示例包括電荷耦合器件(CCD)圖像傳感器和有源像素傳感器(APS)器件(APS器件通常被稱(chēng)為CMOS傳感器，因?yàn)槟軌蛟诨パa(bǔ)金屬氧化物半導(dǎo)體工藝中制造它們)。典型地，這些圖像傳感器包括通常以行和列的規(guī)則圖案排列的許多光敏感像素。為了捕獲彩色圖像，通常在像素的圖案上制作濾色器的圖案，不同的濾色器材料被用于使得個(gè)體像素僅對(duì)可見(jiàn)光譜的一部分敏感。濾色器必要地減少到達(dá)每個(gè)像素的光量，從而減少了每個(gè)像素的光靈敏度。持續(xù)存在改進(jìn)電子彩色圖像傳感器的光敏感度，或者照相感速率的需求，以便允許以較低的光等級(jí)(light level)捕獲圖像，或者允許以更短的曝光時(shí)間來(lái)捕獲較高光等級(jí)的圖像。
圖像傳感器或者是線性的，或者是二維的。一般，這些傳感器具有兩種不同類(lèi)型的應(yīng)用。二維傳感器通常適合于諸如數(shù)字相機(jī)，蜂窩電話(huà)和其它應(yīng)用的圖像捕獲裝置。線性傳感器通常用于掃描文件。在任一種情況中，當(dāng)采用濾色器時(shí)，圖像傳感器的敏感度被降低。
一種線性圖像傳感器，Eastman Kodak公司制造的KLI-4104，包括四條直線的(linear)、單像素寬的像素陣列，濾色器被施加到這些陣列中的三條，使得每條陣列以其整體對(duì)紅色，綠色，或者藍(lán)色敏感，并且沒(méi)有濾色器陣列被施加到第四陣列；此外，三條彩色陣列具有較大的像素來(lái)補(bǔ)償由于濾色器引起的光敏感度降低，第四陣列具有較小的像素來(lái)捕獲高分辨率單色圖像。當(dāng)使用該圖像傳感器捕獲圖像時(shí)，圖像被表示為高分辨率，高照相敏感度單色圖像，隨同具有大致相同的照相敏感度的三個(gè)較低分辨率圖像，這三個(gè)圖像中的每一個(gè)對(duì)應(yīng)于來(lái)自圖像的紅色，綠色或者藍(lán)色光；因此，電子圖像中的每個(gè)點(diǎn)包括單色值，紅色值，綠色值，和藍(lán)色值。然而，由于這是線性圖像傳感器，它需要圖像傳感器和圖像之間的相對(duì)機(jī)械運(yùn)動(dòng)，以便跨過(guò)四條直線的像素陣列掃描圖像。這限制了掃描圖像的速度，并排除了將該傳感器用于手持相機(jī)或者捕獲包括移動(dòng)目標(biāo)的場(chǎng)景。
Akira Muramatsu的美國(guó)專(zhuān)利4823186中描述的包括兩個(gè)傳感器的電子成像系統(tǒng)也是本領(lǐng)域中已知的，其中每個(gè)傳感器包括像素的二維陣列，但是一個(gè)傳感器沒(méi)有濾色器而另一個(gè)傳感器包括像素內(nèi)包含的濾色器的圖案，并且具有光束分光器來(lái)為每個(gè)圖像傳感器提供圖像。由于彩色傳感器應(yīng)用了濾色器的圖案，彩色傳感器中的每個(gè)像素僅提供單個(gè)色彩。當(dāng)用該系統(tǒng)捕獲圖像時(shí)，電子圖像中的每個(gè)點(diǎn)包括單色值和一個(gè)彩色值，并且彩色圖像必須從附近的色彩內(nèi)插每個(gè)像素位置處缺失的色彩。盡管該系統(tǒng)相比于單個(gè)傳統(tǒng)圖像傳感器改進(jìn)了光敏感度，該系統(tǒng)的總體復(fù)雜性，尺寸和成本較大，因?yàn)樾枰獌蓚€(gè)傳感器和光束分光器。此外，光束分光器僅將光的一半從圖像導(dǎo)向至每個(gè)傳感器，限制了照相感速率的提高。
除了上述的線性圖像傳感器之外，具有像素的二維陣列的圖像傳感器在本領(lǐng)域中也是已知的，其中這些像素包括不具有施加到其上的濾色器的像素。例如，參見(jiàn)Sato等人的美國(guó)專(zhuān)利4390895，Yamagami等人的美國(guó)專(zhuān)利5323233，以及Gindele等人的美國(guó)專(zhuān)利6476865。在每個(gè)所引用的專(zhuān)利中，沒(méi)有濾色的或者單色的像素的敏感度明顯高于彩色像素，需要將增益應(yīng)用到彩色像素，以便匹配來(lái)自像素陣列的彩色和單色信號(hào)。提高增益增加了噪聲以及信號(hào)，導(dǎo)致得到的圖像總體信噪比的降低。Frame在美國(guó)專(zhuān)利申請(qǐng)2003/0210332中揭示了一種像素陣列，其中大部分的像素沒(méi)有濾色，但是彩色像素受到與如上所述相同的敏感度不足。
因此，持續(xù)存在對(duì)于改進(jìn)采用具有像素的二維陣列的單個(gè)傳感器的電子捕獲裝置的光敏感度的需求。


發(fā)明內(nèi)容
本發(fā)明旨在提供一種具有彩色和全色像素的二維陣列的圖像傳感器，其提供高敏感度并且在產(chǎn)生全色圖像方面是有效的。
簡(jiǎn)要地總結(jié)，根據(jù)本發(fā)明的一個(gè)方面，本發(fā)明提供一種用于捕獲彩色圖像的圖像傳感器，包括 a)二維陣列，其具有按行和列布置的第一和第二組像素，其中來(lái)自第一組像素的像素具有比來(lái)自第二組像素的像素更窄的光譜光響應(yīng)，并且其中第一組像素包括具有對(duì)應(yīng)于至少兩種色彩的集合的光譜光響應(yīng)的像素； b)第一和第二組像素的放置定義具有最小重復(fù)單位的圖案，所述最小重復(fù)單位包括至少六個(gè)像素，使得最小重復(fù)單位的至少一些行或者列僅由來(lái)自第二組的像素構(gòu)成，以及 c)用于組合來(lái)自至少兩個(gè)相鄰的最小重復(fù)單位的相似定位的像素的裝置，用于組合來(lái)自至少三個(gè)相鄰的最小重復(fù)單位的相同色彩(oflike color)的像素的裝置，或者用于將第一組像素與第二組像素組合的裝置。
在本發(fā)明的另一方面，提供一種用于捕獲彩色圖像的圖像傳感器，包括 a)二維陣列，其具有第一和第二組像素，其中來(lái)自第一組像素的像素具有比來(lái)自第二組像素的像素更窄的光譜光響應(yīng)，并且其中第一組像素包括具有對(duì)應(yīng)于至少兩種色彩的集合的光譜光響應(yīng)的個(gè)體像素； b)第一和第二組像素的放置定義具有最小重復(fù)單位的圖案，所述最小重復(fù)單位包括至少十二個(gè)像素，最小重復(fù)單位具有多個(gè)單元，其中每個(gè)單元具有從第一組像素中選擇的表示特定色彩的至少兩個(gè)像素，以及從第二組像素中選擇的多個(gè)像素，布置為允許再現(xiàn)在不同光照條件下捕獲的彩色圖像；以及 c)用于組合該至少兩個(gè)像素中的至少兩個(gè)的裝置，用于組合來(lái)自最小重復(fù)單位內(nèi)該多個(gè)單元中的至少兩個(gè)的相同色彩的像素的裝置，或者用于將第一組像素與第二組像素組合的裝置。
根據(jù)本發(fā)明的圖像傳感器特別適合于低等級(jí)光照條件，其中這種低等級(jí)光照條件是低場(chǎng)景光照，短曝光時(shí)間，小光圈，或者其它對(duì)到達(dá)傳感器的光的限制的結(jié)果。它們具有廣泛的應(yīng)用，并且很多類(lèi)型的圖像捕獲裝置可以有效地使用這些傳感器。
通過(guò)閱讀優(yōu)選實(shí)施例的下列詳細(xì)描述以及所附權(quán)利要求書(shū)，并且參考附圖，將更清楚地理解和認(rèn)識(shí)本發(fā)明的這些和其它方面，目標(biāo)，特征和優(yōu)點(diǎn)。



圖1是傳統(tǒng)數(shù)字靜態(tài)相機(jī)系統(tǒng)的框圖，其可以采用傳統(tǒng)傳感器和處理方法，或者本發(fā)明的傳感器和處理方法； 圖2(現(xiàn)有技術(shù))是傳統(tǒng)Bayer濾色器陣列圖案，示出最小重復(fù)單位和非最小重復(fù)單位； 圖3提供紅色，綠色和藍(lán)色像素的代表性光譜量子效率曲線，以及更寬的光譜全色量子效率，所有這些都乘以了紅外截止(cut)濾色器的透射特性； 圖4A-D提供使得具有同色光響應(yīng)的彩色像素布置在行或列中的，本發(fā)明的濾色器陣列圖案的幾種變化的最小重復(fù)單位； 圖5示出來(lái)自圖4A的最小重復(fù)單位的單元結(jié)構(gòu)； 圖6A是對(duì)于圖4A內(nèi)插的全色圖像； 圖6B是對(duì)應(yīng)于圖4A和圖5中的單元的低分辨率彩色圖像； 圖7A-C示出組合圖4A的像素的幾種方式； 圖8A-E提供用于本發(fā)明濾色器陣列圖案的六像素的最小重復(fù)單位，包括幾種鋪設(shè)(tiling)布置以及最小重復(fù)單位的可選取向； 圖9A-C提供本發(fā)明的濾色器陣列圖案的幾種最小重復(fù)單位，它們是圖8的最小重復(fù)單位的變體； 圖10A-F提供本發(fā)明濾色器陣列圖案的八像素的最小重復(fù)單位，并且包括鋪設(shè)布置，以及利用具有可選彩色光響應(yīng)特性的彩色像素的變體，包括基色，補(bǔ)色，三色，以及四色替代； 圖11A-B提供本發(fā)明的濾色器陣列的最小重復(fù)單位，其中超過(guò)一半的像素具有全色光響應(yīng)； 圖12A-B提供本發(fā)明的濾色器陣列的最小重復(fù)單位并且包括鋪設(shè)布置，其中像素位于被旋轉(zhuǎn)了45度的矩形網(wǎng)格上； 圖13A-B提供本發(fā)明的濾色器陣列的最小重復(fù)單位并且包括鋪設(shè)布置，其中像素布置在六角形圖案中； 圖14提供了本發(fā)明的濾色器陣列的最小重復(fù)單位，其是圖13的可選方案； 圖15提供了本發(fā)明的濾色器陣列的最小重復(fù)單位，其是圖13的可選方案； 圖16是圖4A的最小重復(fù)單位，最小重復(fù)單位中的個(gè)體像素具有下標(biāo)； 圖17A-E示出圖16的一個(gè)單元的全色像素和彩色像素，以及組合彩色像素的不同方式； 圖18是本發(fā)明的過(guò)程圖，示出處理來(lái)自本發(fā)明的傳感器的彩色和全色像素?cái)?shù)據(jù)的方法； 圖19A-D示出本發(fā)明的內(nèi)插圖18的低分辨率部分彩色圖像中缺失色彩的方法； 圖20提供圖8A中所示類(lèi)型的兩個(gè)最小重復(fù)單位，示出在相鄰的最小重復(fù)單位之間以及在最小重復(fù)單位內(nèi)組合像素； 圖21A-D每個(gè)提供了是圖10A的變體的兩個(gè)最小重復(fù)單位，示出了在水平相鄰的最小重復(fù)單位之間和在最小重復(fù)單位內(nèi)組合像素的幾種方式； 圖22提供了是圖10A的變體的兩個(gè)最小重復(fù)單位，示出了在垂直相鄰的最小重復(fù)單位之間組合像素； 圖23提供了是圖10A的變體的三個(gè)最小重復(fù)單位，示出了組合來(lái)自三個(gè)水平相鄰的最小重復(fù)單位的像素； 圖24提供了是圖10A的變體的五個(gè)最小重復(fù)單位，示出了組合來(lái)自五個(gè)水平相鄰的最小重復(fù)單位的像素； 圖25A-B提供了是圖10A的變體的幾個(gè)最小重復(fù)單位，示出了最小重復(fù)單位的多個(gè)重疊的組用于組合來(lái)自相鄰的最小重復(fù)單位的像素的目的； 圖26A-B提供了圖8A所示類(lèi)型的幾個(gè)最小重復(fù)單位，示出了組合來(lái)自多個(gè)相互相鄰的最小重復(fù)單位的像素； 圖27提供了是圖10A的變體的最小重復(fù)單位，示出了將彩色像素與全色像素組合； 圖28提供了是本發(fā)明變體的包括多個(gè)單元的兩個(gè)最小重復(fù)單位，示出在最小重復(fù)單位之間，在單元之間，以及在單元內(nèi)組合像素，以及組合彩色和全色像素；以及 圖29A-C提供了是本發(fā)明變體的包括多個(gè)單元的最小重復(fù)單位，示出在最小重復(fù)單位之間，在單元之間，以及在單元內(nèi)組合像素的特定示例。

具體實(shí)施例方式 因?yàn)椴捎贸上裱b置以及用于信號(hào)捕獲和校正以及用于曝光控制的相關(guān)電路的數(shù)字相機(jī)是熟知的，本描述將特別針對(duì)形成根據(jù)本發(fā)明的方法和設(shè)備的一部分，或者更直接地與根據(jù)本發(fā)明的方法和設(shè)備協(xié)作的特征。這里沒(méi)有具體說(shuō)明或者描述的特征是從本領(lǐng)域中已知的那些中選擇的。要描述的實(shí)施例的特定方面以軟件來(lái)提供。給定在下面的材料中根據(jù)本發(fā)明說(shuō)明和描述的系統(tǒng)，對(duì)于實(shí)施本發(fā)明有用的、這里沒(méi)有特別說(shuō)明、描述或者暗示的軟件是傳統(tǒng)的并且在這種領(lǐng)域的普通技術(shù)之內(nèi)。
現(xiàn)在轉(zhuǎn)到圖1，示出了顯示為體現(xiàn)本發(fā)明的數(shù)字相機(jī)的圖像捕獲裝置的框圖。盡管現(xiàn)在將說(shuō)明數(shù)字相機(jī)，很清楚本發(fā)明可適用于其它類(lèi)型的圖像捕獲裝置。在所揭示的相機(jī)中，來(lái)自目標(biāo)場(chǎng)景的光10輸入到成像級(jí)11中，在成像級(jí)11中光由鏡頭12聚焦，從而在固態(tài)圖像傳感器20上形成圖像。圖像傳感器20將入射光轉(zhuǎn)換成電信號(hào)用于每個(gè)相片元素(像素)。該優(yōu)選實(shí)施例的圖像傳感器20是電荷耦合器件(CCD)型或者有源像素傳感器(APS)型(APS器件通常被稱(chēng)為CMOS傳感器，因?yàn)槟軌蛟诨パa(bǔ)金屬氧化物半導(dǎo)體工藝中制造它們)。其它類(lèi)型的具有二維像素陣列的圖像傳感器也可以被使用，只要它們采用本發(fā)明。本發(fā)明還利用具有彩色和全色像素的二維陣列的圖像傳感器20，如在描述圖1之后本說(shuō)明書(shū)中后面將變得清楚的。與圖像傳感器20一起使用的本發(fā)明的彩色和全色像素的圖案的示例在圖4A-D，圖8A，圖8E，圖9A-C，圖10A，圖10C-F，圖11A-B，圖12，圖13，圖14和圖15中可見(jiàn)，不過(guò)在本發(fā)明的精神內(nèi)也使用其它圖案。
到達(dá)傳感器20的光的量由改變光圈的光闌(iris)模塊14，以及包括插在光路中的一個(gè)或者多個(gè)中性密度(ND)濾光器的ND濾光器模塊13調(diào)節(jié)。還調(diào)節(jié)總體光等級(jí)的是快門(mén)模塊18打開(kāi)的時(shí)間。曝光控制器模塊40響應(yīng)于如亮度傳感器模塊16所測(cè)量的場(chǎng)景中可用的光量，并控制所有這三個(gè)調(diào)節(jié)功能。
特定相機(jī)結(jié)構(gòu)的該描述對(duì)于本領(lǐng)域技術(shù)人員是熟悉的，并且很明顯存在很多變型和額外的特征。例如，添加自動(dòng)對(duì)焦系統(tǒng)，或者鏡頭是可拆離的并且可互換的。將理解本發(fā)明適用于任何類(lèi)型的數(shù)字相機(jī)，其中類(lèi)似的功能由可選部件提供。例如，數(shù)字相機(jī)是相對(duì)簡(jiǎn)單的對(duì)準(zhǔn)就拍(point and shoot)數(shù)字相機(jī)，其中快門(mén)18是相對(duì)簡(jiǎn)單的可移動(dòng)葉片(movable blade)快門(mén)之類(lèi)，而不是更復(fù)雜的焦平面配置。本發(fā)明也可以在諸如移動(dòng)電話(huà)和機(jī)動(dòng)車(chē)輛之類(lèi)的非相機(jī)設(shè)備中包括的成像部件上實(shí)施。
來(lái)自圖像傳感器20的模擬信號(hào)由模擬信號(hào)處理器22處理，并施加到模數(shù)(A/D)轉(zhuǎn)換器24。定時(shí)發(fā)生器(timing generator)26產(chǎn)生各種時(shí)鐘信號(hào)來(lái)選擇行和像素，并同步模擬信號(hào)處理器22和A/D轉(zhuǎn)換器24的操作。圖像傳感器級(jí)28包括圖像傳感器20，模擬信號(hào)處理器22，A/D轉(zhuǎn)換器24，以及定時(shí)發(fā)生器26。圖像傳感器級(jí)28的這些組件是分開(kāi)制造的集成電路，或者它們被制造為單個(gè)集成電路，如CMOS圖像傳感器通常所做的那樣。從A/D轉(zhuǎn)換器24得到的數(shù)字像素值的流被存儲(chǔ)在與數(shù)字信號(hào)處理器(DSP)36關(guān)聯(lián)的存儲(chǔ)器32中。
除了系統(tǒng)控制器50和曝光控制器40之外，數(shù)字信號(hào)處理器36是該實(shí)施例中的三個(gè)處理器或控制器中的一個(gè)。盡管這種在多個(gè)控制器和處理器之間劃分相機(jī)功能控制是典型的，在不影響相機(jī)的功能操作以及本發(fā)明應(yīng)用的前提下可以各種方式組合這些控制器或處理器。這些控制器或處理器可以包括一個(gè)或者多個(gè)數(shù)字信號(hào)處理器裝置，微控制器，可編程邏輯器件，或者其他數(shù)字邏輯電路。盡管已經(jīng)描述了這種控制器或處理器的組合，應(yīng)該顯而易見(jiàn)的是可選實(shí)施例指定一個(gè)控制器或者處理器執(zhí)行所有需要的功能。所有這些變型可以執(zhí)行相同的功能并落入本發(fā)明的范圍內(nèi)，術(shù)語(yǔ)“處理級(jí)”將按照需要被用來(lái)包含一個(gè)階段內(nèi)的所有這種功能性，例如在圖1中的處理級(jí)38中。
在所示出的實(shí)施例中，DSP 36根據(jù)永久地存儲(chǔ)在程序存儲(chǔ)器54中并在圖像捕獲期間復(fù)制到存儲(chǔ)器32供執(zhí)行的軟件程序，操縱其存儲(chǔ)器32中的數(shù)字圖像數(shù)據(jù)。DSP 36執(zhí)行實(shí)施圖18中所示的圖像處理所必須的軟件。存儲(chǔ)器32包括任何類(lèi)型的存儲(chǔ)器，諸如SDRAM。包括地址和數(shù)據(jù)信號(hào)的路徑的總線30將DSP 36連接到其相關(guān)的存儲(chǔ)器32，A/D轉(zhuǎn)換器24和其它相關(guān)的設(shè)備。
系統(tǒng)控制器50基于程序存儲(chǔ)器54中存儲(chǔ)的軟件程序，控制相機(jī)的總體操作，程序存儲(chǔ)器54可以包括閃存EEPROM或者其他非易失性存儲(chǔ)器。該存儲(chǔ)器還用于存儲(chǔ)圖像傳感器校準(zhǔn)數(shù)據(jù)，用戶(hù)設(shè)置選擇和其他在相機(jī)關(guān)閉時(shí)必須保存的數(shù)據(jù)。系統(tǒng)控制器50通過(guò)指揮曝光控制器40操作如前所述的鏡頭12，ND濾光器13，光闌14以及快門(mén)18，指揮定時(shí)發(fā)生器26操作圖像傳感器20和關(guān)聯(lián)的元件，以及指揮DSP 36處理捕獲的圖像數(shù)據(jù)，控制圖像捕獲的序列。在圖像被捕獲和處理之后，存儲(chǔ)在存儲(chǔ)器32中的最終圖像文件經(jīng)由接口57被發(fā)送到主計(jì)算機(jī)，存儲(chǔ)在可移動(dòng)存儲(chǔ)卡64或者其它存儲(chǔ)裝置上，并在圖像顯示器88上為用戶(hù)顯示。
總線52包括地址，數(shù)據(jù)和控制信號(hào)的路徑，并將系統(tǒng)控制器50連接到DSP 36，程序存儲(chǔ)器54，系統(tǒng)存儲(chǔ)器56，主機(jī)接口57，存儲(chǔ)卡接口60以及其它相關(guān)裝置。主機(jī)接口57提供到個(gè)人計(jì)算機(jī)(PC)或者其它主計(jì)算機(jī)的高速連接，以便傳輸圖像數(shù)據(jù)供顯示，存儲(chǔ)，操縱或打印。該接口為IEEE1394或者USB2.0接口或者任何其它適合的數(shù)字接口。存儲(chǔ)卡64典型地為緊湊式閃存(CF)卡，其插入插槽62中并經(jīng)由存儲(chǔ)卡接口60連接到系統(tǒng)控制器50。利用的其它類(lèi)型的存儲(chǔ)器包括但不限于PC卡，多媒體卡(MMC)，或者安全數(shù)字(SD)卡。
經(jīng)過(guò)處理的圖像被復(fù)制到系統(tǒng)存儲(chǔ)器56中的顯示緩存器，并經(jīng)由視頻編碼器80持續(xù)地讀出以產(chǎn)生視頻信號(hào)。該信號(hào)直接從相機(jī)輸出以顯示在外部監(jiān)視器上，或者由顯示控制器82處理并呈現(xiàn)在圖像顯示器88上。該顯示器通常為有源矩陣彩色液晶顯示器(LCD)，然而同樣可以使用其它類(lèi)型的顯示器。
用戶(hù)控制和界面狀態(tài)68包括取景器顯示器70，曝光顯示器72，狀態(tài)顯示器76，圖像顯示器88，以及用戶(hù)輸入74的全部或者任意組合，用戶(hù)控制和界面狀態(tài)68由在曝光控制器40和系統(tǒng)控制器50上執(zhí)行的軟件程序的組合控制。用戶(hù)輸入74典型地包括按鈕，翹板開(kāi)關(guān)，操縱桿，旋轉(zhuǎn)撥盤(pán)或觸摸屏的某種組合。曝光控制器40操作光測(cè)量，曝光模式，自動(dòng)對(duì)焦，以及其它曝光功能。系統(tǒng)控制器50管理在一個(gè)或多個(gè)顯示器(例如圖像顯示器88)上呈現(xiàn)的圖形用戶(hù)界面(GUI)。GUI典型地包括用于進(jìn)行各種選項(xiàng)選擇的菜單以及用于檢查所捕獲的圖像的查看模式。
曝光控制器40接受選擇曝光模式，鏡頭光圈，曝光時(shí)間(快門(mén)速度)，以及曝光指數(shù)或者ISO速度(ISO speed rating)的用戶(hù)輸入，并且相應(yīng)地指揮(direct)鏡頭和快門(mén)來(lái)進(jìn)行之后的捕獲。采用亮度傳感器16來(lái)測(cè)量場(chǎng)景的亮度，并提供曝光計(jì)功能，供用戶(hù)參考何時(shí)手動(dòng)設(shè)置ISO速度、光圈和快門(mén)速度。在此情況下，當(dāng)用戶(hù)改變一個(gè)或者多個(gè)設(shè)置時(shí)，取景器顯示器70上呈現(xiàn)的測(cè)光表(light meter)指示器告訴用戶(hù)圖像將會(huì)過(guò)度曝光或者曝光不足的程度。在自動(dòng)曝光模式下，用戶(hù)改變一個(gè)設(shè)置，曝光控制器40自動(dòng)改變另一個(gè)設(shè)置來(lái)保持正確的曝光，例如，對(duì)于給定的ISO速度，當(dāng)用戶(hù)減小鏡頭光圈時(shí)，曝光控制器40自動(dòng)增加曝光時(shí)間來(lái)保持相同的總體曝光。
ISO速度是數(shù)字靜態(tài)相機(jī)的重要屬性。曝光時(shí)間，鏡頭光圈，鏡頭透射率，場(chǎng)景照度的等級(jí)和光譜分布，以及場(chǎng)景反射率確定數(shù)字靜態(tài)相機(jī)的曝光等級(jí)。當(dāng)使用不足的曝光從數(shù)字靜態(tài)相機(jī)獲得圖像時(shí)，可以通過(guò)增加電子或數(shù)字增益來(lái)大致維持正確的色調(diào)再現(xiàn)，但是圖像將包含不可接受的噪聲量。隨著曝光增加，該增益降低，因此一般可以將圖像噪聲減少到可接受的程度。如果過(guò)度地增加曝光，圖像的明亮區(qū)域中得到的信號(hào)會(huì)超過(guò)圖像傳感器或者相機(jī)信號(hào)處理的最大信號(hào)等級(jí)容量。這會(huì)導(dǎo)致圖像加亮區(qū)域(highlight)被修剪而形成均勻明亮的區(qū)域，或者浮散到(bloom into)圖像中的周邊區(qū)域。指導(dǎo)用戶(hù)設(shè)定正確的曝光是重要的。ISO速度意圖是作為這樣的指導(dǎo)。為了拍攝者容易理解，數(shù)字靜態(tài)相機(jī)的ISO速度應(yīng)當(dāng)直接與照相膠卷相機(jī)的ISO速度相關(guān)。例如，如果數(shù)字靜態(tài)相機(jī)的ISO速度為ISO200，那么相同的曝光時(shí)間和光圈對(duì)于標(biāo)定ISO200的膠片/處理系統(tǒng)應(yīng)當(dāng)是合適的。
ISO速度打算與膠卷ISO速度一致。然而，電子成像系統(tǒng)和基于膠卷的成像系統(tǒng)之間存在妨礙精確等同的差異。數(shù)字靜態(tài)相機(jī)可以包括可變的增益，并且可以在捕獲了圖像數(shù)據(jù)之后提供數(shù)字處理，使得能夠在相機(jī)曝光的一個(gè)范圍上實(shí)現(xiàn)色調(diào)再現(xiàn)。因此，數(shù)字靜態(tài)相機(jī)能夠具有一個(gè)速度范圍。該范圍被定義為ISO速度范圍。為了防止混淆，將單個(gè)值指定為固有ISO速度，而ISO速度范圍上下限指示速度范圍，即包括不同于固有ISO速度的有效速度的范圍。謹(jǐn)記此概念，固有ISO速度是根據(jù)在數(shù)字靜態(tài)相機(jī)的焦平面處提供的曝光計(jì)算的、產(chǎn)生特定的相機(jī)輸出信號(hào)特性的數(shù)值。該固有速度通常是給定的相機(jī)系統(tǒng)對(duì)常規(guī)場(chǎng)景(normal scene)產(chǎn)生峰值圖像質(zhì)量的曝光指數(shù)值，其中曝光指數(shù)是反比于提供給圖像傳感器的曝光的數(shù)值。
前面對(duì)數(shù)字相機(jī)的描述對(duì)于本領(lǐng)域技術(shù)人員是熟悉的。很明顯該實(shí)施例的很多變型是可能的，并且被選擇用來(lái)減少成本，增加特征，或改進(jìn)相機(jī)的性能。下面的描述將詳細(xì)揭示根據(jù)本發(fā)明的用于捕獲圖像的該相機(jī)的操作。盡管本描述參照數(shù)字相機(jī)，將理解本發(fā)明適合與任何類(lèi)型的包含具有彩色和全色像素的圖像傳感器的圖像捕獲裝置一起使用。
圖1中所示的圖像傳感器20典型地包括在硅襯底上制造的光敏感像素的二維陣列，所述光敏感像素提供了將每個(gè)像素處的入射光轉(zhuǎn)換成被測(cè)量的電信號(hào)的方式。當(dāng)傳感器暴露于光，自由電子在每個(gè)像素處的電子結(jié)構(gòu)中產(chǎn)生并被捕獲。在某段時(shí)間內(nèi)捕獲這些自由電子并接著測(cè)量捕獲的電子數(shù)量，或者測(cè)量產(chǎn)生自由電子的速率，允許測(cè)量每個(gè)像素處的光等級(jí)。在前一種情況下，將累積的電荷移出像素陣列到電荷到電壓測(cè)量電路，如在電荷耦合器件(CCD)中，或者接近每個(gè)像素的區(qū)域包含電荷到電壓測(cè)量電路的元件，如在有源像素傳感器中(APS或者CMOS傳感器)。
在下面的描述中，無(wú)論何時(shí)提到圖像傳感器，將理解它表示圖1的圖像傳感器20。還將理解本說(shuō)明書(shū)中揭示的本發(fā)明的圖像傳感器架構(gòu)和像素圖案的所有示例和它們的等價(jià)物用于圖像傳感器20。
在圖像傳感器的背景下，像素(“照片元素”的縮寫(xiě))指的是離散的光感測(cè)區(qū)域以及與該光感測(cè)區(qū)域關(guān)聯(lián)的電荷轉(zhuǎn)移或者電荷測(cè)量電路。在數(shù)字彩色圖像的背景下，術(shù)語(yǔ)像素通常指圖像中具有關(guān)聯(lián)的色彩值的特定位置。
為了產(chǎn)生彩色圖像，圖像傳感器中的像素陣列通常具有放置在其上的濾色器的圖案。圖2示出通常使用的紅色，綠色和藍(lán)色濾色器的圖案。該特定的圖案通常以US3971065中揭示的其發(fā)明人Bryce Bayer的名字命名為Bayer濾色器陣列(CFA)而為人所知。該圖案在具有彩色像素的二維陣列的圖像傳感器中有效地使用。結(jié)果，每個(gè)像素具有特定的彩色光響應(yīng)，在該情況下，該特定的光響應(yīng)是對(duì)于紅色，綠色或者藍(lán)色光的主要敏感度。彩色光響應(yīng)的另一種有用的變種是對(duì)于品紅，黃色或者青色光的主要敏感度。在每種情況下，該特定的彩色光響應(yīng)對(duì)于可見(jiàn)光譜的某些部分具有高敏感度，而同時(shí)對(duì)于可見(jiàn)光譜的其它部分具有低敏感度。術(shù)語(yǔ)彩色像素指的是具有彩色光響應(yīng)的像素。
選擇用于傳感器中的彩色光響應(yīng)的集合通常具有三種色彩，如Bayer CFA中所示的，但是它也可以包括四種或者更多。如這里所使用的，全色光響應(yīng)指的是具有比所選擇的彩色光響應(yīng)的集合中表現(xiàn)的那些光譜敏感度更寬的光譜敏感度的光響應(yīng)。全色光敏感度可以具有跨整個(gè)可見(jiàn)光譜的高敏感度。術(shù)語(yǔ)全色像素指的是具有全色光響應(yīng)的像素。盡管全色像素一般具有比彩色光響應(yīng)的集合更寬的光譜敏感度，每個(gè)全色像素可以具有關(guān)聯(lián)的濾色器。這種濾色器或者是中性密度濾光器或者是彩色濾光器。
當(dāng)彩色和全色像素的圖案是在圖像傳感器的表面上時(shí)，每個(gè)這種圖案具有是像素的連續(xù)子陣列的、作為基本構(gòu)成塊的重復(fù)單位。通過(guò)并置重復(fù)單位的多個(gè)復(fù)制體，產(chǎn)生整個(gè)傳感器圖案。重復(fù)單位的多個(gè)復(fù)制體的并置是在對(duì)角線方向以及水平和垂直方向進(jìn)行的。
最小重復(fù)單位是沒(méi)有其它重復(fù)單位具有更少的像素的重復(fù)單位。例如，圖2中的CFA包括的最小重復(fù)單位是兩個(gè)像素長(zhǎng)，兩個(gè)像素寬，如圖2中的像素塊100所示。該最小重復(fù)單位的多個(gè)復(fù)制體被鋪設(shè)，以覆蓋圖像傳感器中的整個(gè)像素陣列。最小重復(fù)單位用處于右上角的綠色像素示出，但是通過(guò)將粗輪廓線的區(qū)域向右移動(dòng)一個(gè)像素，向下移動(dòng)一個(gè)像素，或者對(duì)角線地向右和向下移動(dòng)一個(gè)像素，可以容易地看出三種可選的最小重復(fù)單位。盡管像素塊102是重復(fù)單位，它不是最小重復(fù)單位，因?yàn)橄袼貕K100是重復(fù)單位并且像素塊100比塊102的像素少。
使用具有帶有圖2的CFA的二維陣列的圖像傳感器捕獲的圖像在每個(gè)像素處只有一個(gè)色彩值。為了產(chǎn)生全色圖像，存在多種技術(shù)來(lái)推斷或者內(nèi)插每個(gè)像素處缺失的色彩。這些CFA內(nèi)插技術(shù)在本領(lǐng)域中是熟知的，并對(duì)以下的專(zhuān)利進(jìn)行參考US5506619，US5629734和US5652621。
圖3示出在典型的相機(jī)應(yīng)用中具有紅色，綠色和藍(lán)色濾色器的像素的相對(duì)光譜敏感度。圖3中的X軸表示以納米為單位的光波長(zhǎng)，Y軸表示效率。在圖3中，曲線110表示用于阻止紅外和紫外光到達(dá)圖像傳感器的典型濾色器的光譜透射特性。需要這種濾色器，因?yàn)橛糜趫D像傳感器的濾色器通常不阻斷紅外光，因此像素不能區(qū)別紅外光和在它們關(guān)聯(lián)的濾色器的通帶內(nèi)的光。曲線110所示的紅外阻斷特性防止紅外光惡化可見(jiàn)光信號(hào)。對(duì)于施加了紅色，綠色和藍(lán)色濾光器的典型的硅傳感器的光譜量子效率(即入射光子被捕獲并轉(zhuǎn)換成可測(cè)量的電信號(hào)的比例)被乘以曲線110表示的紅外阻斷濾色器的光譜透射特性，以產(chǎn)生組合的系統(tǒng)量子效率，該系統(tǒng)量子效率由用于紅色的曲線114，用于綠色的曲線116和用于藍(lán)色的曲線118表示。從這些曲線將理解每種彩色光響應(yīng)僅對(duì)于一部分可見(jiàn)光譜敏感。相反，沒(méi)有施加濾色器(但是包括紅外阻斷濾色器特性)的同一硅傳感器的光響應(yīng)由曲線112所示；其是全色光響應(yīng)的示例。通過(guò)將彩色光響應(yīng)曲線114，116和118與全色光響應(yīng)曲線112比較，很顯然全色光響應(yīng)對(duì)于寬光譜光的敏感度是任意的彩色光響應(yīng)的三到四倍。
圖3中所示的較大的全色敏感度允許通過(guò)混合包括濾色器的像素和不包括濾色器的像素而改進(jìn)圖像傳感器的總體敏感度。然而，濾色器像素相比于全色像素不敏感得多。在這種情況下，如果全色像素合適地暴露于光，使得來(lái)自場(chǎng)景的光強(qiáng)度的范圍覆蓋全色像素的整個(gè)測(cè)量范圍，那么彩色像素將明顯欠曝光。因此，有利的是調(diào)節(jié)濾色器像素的敏感度，使得它們具有與全色像素大致相同的敏感度。例如，通過(guò)增加彩色像素相對(duì)于全色像素的尺寸，伴隨關(guān)聯(lián)的空間像素的減少，增加彩色像素的敏感度。
圖4A表示具有兩個(gè)組的像素的二維陣列。來(lái)自第一組像素的像素相比于來(lái)自第二組像素的像素具有更窄的光譜光響應(yīng)。第一組像素包括與對(duì)應(yīng)于至少兩種濾色器的至少兩種不同的光譜光響應(yīng)相關(guān)的個(gè)體像素。這兩組像素被混合來(lái)改進(jìn)傳感器的總體敏感度。如在本說(shuō)明書(shū)中將變得更清楚的，第一和第二組像素的放置定義了具有包括至少12個(gè)像素的最小重復(fù)單位的圖案。該最小重復(fù)單位包括布置為允許在不同的光照條件下再現(xiàn)捕獲的彩色圖像的第一和第二組像素。
圖4A中所示的完整圖案表示被鋪設(shè)以覆蓋整個(gè)像素陣列的最小重復(fù)單位。如同與圖2一樣，存在用于描述該彩色和全色像素總體布置的幾種其它最小重復(fù)單位，但是它們?cè)谄涮匦陨隙蓟镜葍r(jià)并且每個(gè)都是像素的子陣列，該子陣列在范圍上是8像素寬，8像素長(zhǎng)。這種圖案的一個(gè)重要特征是交替的全色和彩色像素的行，其中彩色行使得具有相同彩色光響應(yīng)的像素成組在一起。具有相同光響應(yīng)的像素的組與它們的相鄰全色像素中的一些，被認(rèn)為形成構(gòu)成最小重復(fù)單位的四個(gè)單元，單元是具有比最小重復(fù)單位少的像素的連續(xù)的像素子陣列。
這四個(gè)單元在圖4A中由粗線畫(huà)出，并示出為圖5中的單元120，122，124和126，它們圍住每個(gè)都4×4像素的四個(gè)組，其中120表示左上單元，122表示右上單元，124表示左下單元，126表示右下單元。這四個(gè)單元中的每個(gè)包括八個(gè)全色像素和八個(gè)具有相同彩色光響應(yīng)的彩色像素。單元中的彩色像素被組合來(lái)表示該整個(gè)單元的色彩。因此，圖5中的單元120被認(rèn)為是綠色單元，單元122被認(rèn)為是紅色單元，以此類(lèi)推。每個(gè)單元包括至少兩個(gè)相同色彩的像素，從而允許相同色彩的像素被組合，以克服彩色像素和全色像素之間光敏感度的差異。
在具有四個(gè)不重疊的單元且其中每個(gè)單元具有相同色彩的兩個(gè)像素和兩個(gè)全色像素的最小重復(fù)單位的情況下，很清楚最小重復(fù)單位包括16個(gè)像素。在具有三個(gè)不重疊的單元且其中每個(gè)單元具有相同色彩的兩個(gè)像素和兩個(gè)全色像素的最小重復(fù)單位的情況下，很清楚最小重復(fù)單位包括12個(gè)像素。
根據(jù)本發(fā)明，當(dāng)按照?qǐng)D5中指出的單元結(jié)構(gòu)考慮時(shí)，圖4A的最小重復(fù)單位可以表示布置為允許再現(xiàn)在不同光照條件下捕獲的彩色圖像的高分辨率全色圖像和低分辨率Bayer圖案彩色圖像的組合。Bayer圖案圖像的個(gè)體元素表示對(duì)應(yīng)的單元中的彩色像素的組合。第一組像素定義低分辨率濾色器陣列圖像，并且第二組像素定義高分辨率全色圖像。參見(jiàn)圖6A和圖6B。圖6A表示對(duì)應(yīng)于圖4A的高分辨率全色圖像，包括來(lái)自圖4A的全色像素P以及內(nèi)插的全色像素P’；圖6B表示低分辨率Bayer圖案彩色圖像，其中R’，G’和B’表示對(duì)于圖5中加輪廓線的每個(gè)單元，與該單元中組合的彩色像素關(guān)聯(lián)的單元色彩。
在下面的討論中，圖4B-D中的所有單元由粗線繪出，如同它們?cè)趫D4A中那樣。
除了圖4A的可選最小重復(fù)單位，該圖案的每個(gè)單元被旋轉(zhuǎn)90度來(lái)產(chǎn)生圖4B中所示的圖案。這是基本相同的圖案，但是它將最高的全色采樣頻率放置在垂直方向而不是水平方向。使用圖4A或圖4B的選擇依賴(lài)于是否期望分別在水平或者垂直方向上具有更高的全色空間采樣。然而，很清楚得到的構(gòu)成兩種圖案中最小重復(fù)單位的單元對(duì)于這兩種圖案都產(chǎn)生相同的低分辨率彩色圖像。因此，從彩色的觀點(diǎn)看圖4A和圖4B是等價(jià)的。一般而言，圖4A和圖4B是全色像素直線地布置在行或者列中而實(shí)施本發(fā)明的示例。此外，圖4A具有全色像素的單行，其中每行由一行彩色像素與相鄰的全色像素的行隔開(kāi)；圖4B在列方向上具有相同的特性。
圖4C表示具有基本上相同的單元色彩特性的圖4A的又一個(gè)可選最小重復(fù)單位。然而，圖4C示出在逐單元的基礎(chǔ)上交錯(cuò)的全色和彩色行。這可以改進(jìn)垂直全色分辨率。圖4A的再一個(gè)可選最小重復(fù)單位表示在圖4D中，其中全色和彩色行逐列對(duì)地交錯(cuò)(staggered by columnpairs)。這也具有改進(jìn)垂直全色分辨率的潛力。圖4A-D中所有這些最小重復(fù)單位的特性是兩個(gè)或者更多個(gè)相同色彩像素的組并排地布置在行或者列中。
圖4A-D都具有相同的彩色結(jié)構(gòu)，其中構(gòu)成最小重復(fù)單位的單元表示低分辨率Bayer圖案。因此可看到在本發(fā)明的精神內(nèi)構(gòu)造了全色像素和成組的彩色像素的各種布置。
為了增加彩色光敏感度來(lái)克服全色光敏感度和彩色光敏感度之間的不一致，以各種方式組合每個(gè)單元內(nèi)的彩色像素。例如，在CCD圖像傳感器或者允許裝倉(cāng)(binning)的有源像素傳感器的類(lèi)型(見(jiàn)圖1，圖像傳感器20)中，來(lái)自相同色彩的像素的電荷被組合或者裝倉(cāng)。可選地，對(duì)應(yīng)于在相同色彩的像素中測(cè)量的電荷量的電壓被平均，例如通過(guò)并聯(lián)連接被充電到這些電壓的電容器(見(jiàn)圖1，圖像傳感器20)。在通過(guò)并聯(lián)連接電容器來(lái)平均電壓的情況下，電容器可以是相等大小以進(jìn)行簡(jiǎn)單的平均，或者它們可以是不同大小以便進(jìn)行加權(quán)平均。在又一種方案中，相同色彩的像素處的光等級(jí)的數(shù)字表示被求和，平均，或者數(shù)字濾波，來(lái)提供組合的結(jié)果，例如在圖1中的數(shù)字信號(hào)處理器36。組合或者裝倉(cāng)來(lái)自?xún)蓚€(gè)像素的電荷使得信號(hào)電平加倍，同時(shí)與采樣和讀出組合信號(hào)關(guān)聯(lián)的噪聲保持不變，從而以因子2增加了信噪比，表示組合像素的光敏感度上兩倍的增加。在對(duì)來(lái)自?xún)蓚€(gè)像素的光等級(jí)的數(shù)字表示求和的情況下，得到的信號(hào)按照因子2增加，但是來(lái)自讀取這兩個(gè)像素的對(duì)應(yīng)的噪聲等級(jí)正交(in quadrature)組合，從而以2的平方根增加了噪聲；因此得到的組合像素的信噪比相對(duì)于未組合的信號(hào)以2的均方根增加。類(lèi)似的分析適用于電壓或者數(shù)字平均。
之前提到的組合來(lái)自單元內(nèi)相同色彩的像素的信號(hào)的方案被單獨(dú)地或者組合地使用。例如，以?xún)蓚€(gè)的組垂直組合來(lái)自圖4A中相同色彩的像素的電荷，產(chǎn)生具有圖7A中所示的組合信號(hào)R’，G’和B’的組合像素。在此情況下，每個(gè)R’，G’和B’具有未組合像素的兩倍的敏感度。可選地，通過(guò)以四個(gè)的組對(duì)從圖4A中相同色彩的像素測(cè)量的值(電壓或者數(shù)字)進(jìn)行求和的水平組合，產(chǎn)生具有7B中所示的組合信號(hào)R’，G’和B’的組合像素。在此情況下，由于信號(hào)按照因子4增加而噪聲增加2倍，每個(gè)R’，G’和B’具有未組合像素的兩倍的敏感度。在另一種可選組合方案中，如在圖7A中那樣以?xún)蓚€(gè)的組垂直組合來(lái)自相同色彩的像素的電荷，并且以四個(gè)的組水平地求和或者平均圖7A的組合像素的測(cè)量值，產(chǎn)生圖7C的最終組合的彩色像素，其中R”，G”和B”表示最終的相同色彩的像素的組合。在這種組合布置中，圖7C的最終組合的彩色像素每個(gè)具有未組合像素的四倍的敏感度。一些傳感器架構(gòu)，尤其是特定的CCD結(jié)構(gòu)，可以允許來(lái)自每個(gè)單元內(nèi)的所有八個(gè)相同色彩的像素的電荷以圖7C的方式被組合，得到對(duì)于組合的彩色像素敏感度上八倍的增加。
根據(jù)前述，現(xiàn)在將理解在為了調(diào)節(jié)彩色像素的光響應(yīng)的目的而組合彩色像素中，存在幾種自由度。熟知的組合方案對(duì)于本領(lǐng)域技術(shù)人員將是容易想到的，它們基于場(chǎng)景內(nèi)容，場(chǎng)景光源，總體光等級(jí)，或者其它標(biāo)準(zhǔn)。此外，選擇組合方案來(lái)有意地允許組合像素具有或者高于或者低于全色像素的敏感度。上面討論的組合像素的各種方式與采用本揭示和相關(guān)揭示中描述的任何圖案的圖像傳感器一起使用。
到目前為止，圖像傳感器已經(jīng)被描述為采用紅色，綠色，和藍(lán)色濾色器，使得對(duì)于每個(gè)紅色和藍(lán)色像素有兩個(gè)綠色像素。本發(fā)明還可被實(shí)施為具有相等比例的紅色，綠色和藍(lán)色濾色器，如圖8A所示。圖8A的最小重復(fù)單位用于以幾種不同的方式鋪設(shè)傳感器陣列，其中的一些方式示于圖8B-D中。將理解可以使用這些圖案的幾何上相似的變型，諸如圖8A的最小重復(fù)單位。圖8E示出圖8A的最小重復(fù)單位的旋轉(zhuǎn)形式。
本發(fā)明還可以與具有超過(guò)三種彩色光響應(yīng)的像素一起使用。圖9A示出除了全色像素之外使用四種色彩的圖8A的最小重復(fù)的變型。圖9B-C示出這兩種圖案的額外的變型，其中全色像素的單行由全色像素的雙行替代。所有這些圖案不具有相同色彩的多個(gè)像素。這個(gè)事實(shí)以及使用這種圖案的優(yōu)選方法將在稍后討論。
另一種最小重復(fù)單位示于圖10A中，其包含一個(gè)紅色，兩個(gè)綠色，和一個(gè)藍(lán)色像素。使用該圖案的鋪設(shè)示例示于圖10B中。
采用青色，品紅色，和黃色傳感器的圖像傳感器在本領(lǐng)域中是熟知的，且本發(fā)明利用青色，品紅色，和黃色濾色器實(shí)施。圖10C示出圖10A的青色，品紅色，和黃色等價(jià)體，其中C代表青色像素，M代表品紅色像素，Y代表黃色像素。
圖10D示出包括青色像素(由C表示)，品紅色像素(由M表示)，黃色像素(由Y表示)，和綠色像素(由G表示)的本發(fā)明的最小重復(fù)單位。圖10E示出又一種可選的四色布置，包括紅色像素(由R表示)，藍(lán)色像素(由B表示)，具有一種彩色光響應(yīng)的綠色像素(由G表示)，以及具有不同的彩色光響應(yīng)的可選的綠色像素(由E表示)。圖10F示出再一種可選的四色布置，其中圖10A的其中一個(gè)綠色單元由黃色單元替代，其中黃色像素由Y表示。
圖11A示出圖10A的圖案的變型，其中每行全色像素由全色像素的雙行替代。示于圖11B中的額外的示例是對(duì)圖10E的圖案應(yīng)用的相同的變型。
本發(fā)明用除了矩形陣列之外的像素陣列實(shí)施。圖12A示出圖8A的圖案的變型，其中像素是八角形的并且布置在對(duì)角線行上。因?yàn)橄袼貛缀涡螤钍前私切?，存在位于水平和垂直相鄰者之間的小方塊空隙，該空隙可以用于需要的傳感器功能，諸如數(shù)據(jù)傳輸電路。圖12B示出使用圖12A的最小重復(fù)單位的鋪設(shè)圖案的示例。在圖12B中，全色像素出現(xiàn)在本質(zhì)上是對(duì)角線的行中。類(lèi)似地，彩色像素也出現(xiàn)在對(duì)角線取向的行中。
圖13A示出圖8A的圖案的另一種變型，其中像素是六角形的并且垂直地布置。圖13B示出使用圖13A的最小重復(fù)單位的鋪設(shè)圖案的示例。在圖13B中，全色像素在列中出現(xiàn)。類(lèi)似地，彩色像素也在列中出現(xiàn)。
圖14示出使用比彩色像素少的全色像素的另一種最小重復(fù)單位，其中像素是六角形地包裝的，并且其中全色像素出現(xiàn)在本質(zhì)上是對(duì)角線的行中。另外，在圖14中，彩色像素在對(duì)角地取向的行中出現(xiàn)。圖15示出圖13A的圖案的另一種變型。在本發(fā)明的范圍內(nèi)，應(yīng)當(dāng)注意像素的行和列不一定相互垂直，如圖12A-15中所示的那樣。
現(xiàn)在轉(zhuǎn)到圖16，圖5的最小重復(fù)單位被示出為細(xì)分成四個(gè)單元，單元是具有比最小重復(fù)單位少的像素的連續(xù)子陣列。提供下面的處理所需要的軟件被包括在圖1的DSP 36中。單元220，224，226和228是單元的示例，其中這些單元包含分別具有綠色，紅色，藍(lán)色和綠色光響應(yīng)的像素。在該示例中，單元220包含全色像素和綠色像素兩者，綠色像素被標(biāo)識(shí)為像素組222。最終目的是通過(guò)組合來(lái)自像素組222中的綠色像素的八個(gè)綠色信號(hào)，產(chǎn)生單元220的單個(gè)綠色信號(hào)。取決于圖像傳感器的操作模式，通過(guò)在模擬域組合所有八個(gè)綠色信號(hào)(例如通過(guò)電荷裝倉(cāng))，產(chǎn)生單個(gè)綠色信號(hào)，或者通過(guò)組合從像素組222中取的較小的像素組，產(chǎn)生多個(gè)綠色信號(hào)。單元220的全色像素示于圖17中。在下面的示例中，來(lái)自這些全色像素的所有八個(gè)信號(hào)被單獨(dú)地?cái)?shù)字化。單元220的綠色像素示于圖17B-17E中，其中根據(jù)它們的信號(hào)如何被組合而將它們分組在一起。圖17B描繪了其中所有八個(gè)綠色像素被組合以產(chǎn)生單元220(圖16)的單個(gè)綠色信號(hào)的情況。傳感器可以產(chǎn)生兩個(gè)綠色信號(hào)，例如通過(guò)首先組合來(lái)自像素G21，G22，G23和G24的信號(hào)，并接著組合來(lái)自像素G41，G42，G43和G44的信號(hào)，如圖17C中所示。也可以其他方式產(chǎn)生兩個(gè)信號(hào)。傳感器可以首先組合來(lái)自像素G21、G22、G41和G42的信號(hào)，然后組合來(lái)自像素G23、G24、G43和G44的信號(hào)，如圖17D所示。傳感器還可以通過(guò)組合四對(duì)信號(hào)，例如，將像素G21與G22組合，接著將G23與G24組合，接著將G41與G42組合，最后將G43與G44組合，產(chǎn)生單元220的四個(gè)綠色信號(hào)，如圖17E中所示。很清楚有很多其它的方式來(lái)組合單元220(圖16)中的多對(duì)綠色信號(hào)。如果傳感器不進(jìn)行任何組合，那么為單元220單獨(dú)地報(bào)告所有八個(gè)綠色像素。從而，在單元220的情況下，傳感器可根據(jù)其操作模式，為單元220產(chǎn)生一個(gè)，兩個(gè)，四個(gè)，或者八個(gè)綠色值，并且以不同的方式產(chǎn)生它們。
對(duì)于單元224，226和228(圖16)，傳感器根據(jù)其操作模式產(chǎn)生類(lèi)似的色彩信號(hào)。單元224，226和228的色彩信號(hào)分別是紅色，藍(lán)色和綠色。
回到單元220的情況，不管對(duì)于該單元有多少信號(hào)被數(shù)字化，本發(fā)明的圖像處理算法還組合數(shù)字化的綠色值來(lái)產(chǎn)生該單元的單個(gè)綠色值。獲得單個(gè)綠色值的一種方式是通過(guò)平均為單元220生成的所有數(shù)字化的綠色值。在單元包含具有不同光響應(yīng)的彩色像素的情況下，該單元中所有彩色數(shù)據(jù)被類(lèi)似地組合，從而對(duì)于該單元內(nèi)表現(xiàn)的每種彩色光響應(yīng)有單個(gè)值。
區(qū)分屬于捕獲原始圖像數(shù)據(jù)的原始傳感器中的像素的色彩值，和屬于原始傳感器中的單元的色彩值是重要的。兩種類(lèi)型的色彩值都被用于產(chǎn)生彩色圖像，但是得到的彩色圖像具有不同的分辨率。具有與原始傳感器中像素關(guān)聯(lián)的像素值的圖像被稱(chēng)為高分辨率圖像，具有與原始傳感器中的單元關(guān)聯(lián)的像素值的圖像被稱(chēng)為低分辨率圖像。
現(xiàn)在轉(zhuǎn)到圖18，數(shù)字信號(hào)處理器模塊36(圖1)被示出為從數(shù)據(jù)總線30(圖1)接收捕獲的原始圖像數(shù)據(jù)。該原始圖像數(shù)據(jù)被傳送到低分辨率部分彩色模塊202和高分辨率全色模塊204。圖像傳感器的最小重復(fù)單位的示例已經(jīng)示于圖5和圖16中。在單元220(圖16)的情況下，捕獲的原始圖像數(shù)據(jù)包括由如圖17A所示的個(gè)體全色像素產(chǎn)生的全色數(shù)據(jù)。另外，對(duì)于單元220(圖16)，一個(gè)或多個(gè)綠色(彩色)值也被包括，例如，從圖17B-E中所示的組合。
在低分辨率部分彩色模塊202(圖18)中，根據(jù)捕獲的原始圖像數(shù)據(jù)產(chǎn)生部分彩色圖像，部分彩色圖像是其中每個(gè)像素具有至少一個(gè)彩色值并且每個(gè)像素還缺失至少一個(gè)彩色值的彩色圖像。取決于傳感器的操作模式，捕獲的原始數(shù)據(jù)包含每個(gè)單元內(nèi)的彩色像素產(chǎn)生的某個(gè)數(shù)量的彩色值。在低分辨率部分彩色模塊202中，這些彩色值被縮減到用于在該單元中表現(xiàn)的每種色彩的單個(gè)值。作為示例，對(duì)于單元220(圖16)，產(chǎn)生單個(gè)綠色值。類(lèi)似地，對(duì)于單元224，226和228，分別產(chǎn)生單個(gè)紅色，藍(lán)色和綠色彩色值。
低分辨率部分彩色模塊202以類(lèi)似的方式處理每個(gè)單元，得到彩色值的陣列，每個(gè)單元一個(gè)彩色值。因?yàn)榈玫降膱D像陣列基于單元而不是原始傳感器中的像素，它在每個(gè)尺度上比初始捕獲的原始圖像數(shù)據(jù)陣列小四倍。因?yàn)榈玫降年嚵惺腔趩卧牟⑶乙驗(yàn)槊總€(gè)像素具有一些但不是全部彩色值，得到的圖像是低分辨率部分彩色圖像。在這一點(diǎn)上，低分辨率部分彩色圖像是色彩平衡的。
現(xiàn)在來(lái)看高分辨率全色模塊204，使用相同的原始圖像數(shù)據(jù)，如圖16所示，不過(guò)僅使用全色值(圖17A)。這次任務(wù)是通過(guò)估計(jì)在還沒(méi)有全色值的那些像素處的全色值，來(lái)內(nèi)插完整的高分辨率全色圖像。在單元220的情況下(圖16)，必須為像素組222(圖16)中的綠色像素估計(jì)全色值。估計(jì)缺失的全色值的一種簡(jiǎn)單方式是進(jìn)行垂直平均。從而，例如，可以如下所示估計(jì)像素22處的全色值 P22＝(P12+P32)/2 還可以使用適應(yīng)性方法。例如，一種適應(yīng)性方法是使用如圖17A所示的全色值計(jì)算三個(gè)梯度值并取它們的絕對(duì)值 SCLAS＝ABS(P31-P13) VCLAS＝ABS(P32-P12) BCLAS＝ABS(P33-P11) 類(lèi)似地，計(jì)算三個(gè)預(yù)測(cè)器值 SPRED＝(P31+P13)/2 VPRED＝(P32+P12)/2 BPRED＝(P33+P11)/2 接著，將P22設(shè)置為等于對(duì)應(yīng)于最小分類(lèi)器值的預(yù)測(cè)值。在分不出大小的情況下，將P22設(shè)置為等于所指示的預(yù)測(cè)器值的平均。在整個(gè)圖像上繼續(xù)全色內(nèi)插，而不考慮單元邊界。當(dāng)高分辨率全色模塊204的處理完成時(shí)，得到的數(shù)字全色圖像與初始捕獲的原始圖像大小相同，這使得它成為高分辨率全色圖像。
低分辨率全色模塊206接收模塊204產(chǎn)生的高分辨率全色圖像陣列，并產(chǎn)生與模塊202產(chǎn)生的低分辨率部分彩色圖像大小相同的低分辨率全色圖像陣列。每個(gè)低分辨率全色值是通過(guò)對(duì)具有濾色器的那些像素，平均給定單元內(nèi)的估計(jì)的全色值而獲得的。在單元220(圖16)的情況下，之前為像素組222(圖16)中的綠色像素估計(jì)的高分辨率全色值，現(xiàn)在被平均在一起以產(chǎn)生該單元的單個(gè)低分辨率全色值。類(lèi)似地，使用在具有紅色濾色器的像素處估計(jì)的高分辨率全色值，為單元224計(jì)算單個(gè)低分辨率全色值。通過(guò)這種方式，每個(gè)單元最終具有單個(gè)低分辨率全色值。
低分辨率色彩差別模塊208從模塊202接收低分辨率部分彩色圖像，從模塊206接收低分辨率全色陣列。接著在低分辨率全色圖像的指導(dǎo)下，通過(guò)色彩內(nèi)插該低分辨率部分彩色圖像，形成低分辨率中間彩色圖像。稍后詳細(xì)討論的色彩內(nèi)插算法的確切本質(zhì)取決于使用哪個(gè)像素光響應(yīng)圖案來(lái)捕獲初始的原始圖像數(shù)據(jù)。
在形成低分辨率中間彩色圖像之后，它被色彩校正。一旦低分辨率中間彩色圖像被色彩校正，通過(guò)將低分辨率全色圖像單獨(dú)地從每個(gè)低分辨率色彩平面減去，計(jì)算低分辨率色彩差別的圖像。高分辨率色彩差別模塊210從模塊208接收該低分辨率色彩差別圖像，并且使用雙線性?xún)?nèi)插，上采樣(upsample)低分辨率色彩差別圖像來(lái)匹配初始的原始圖像數(shù)據(jù)的大小。結(jié)果是與模塊204產(chǎn)生的高分辨率全色圖像相同大小的高分辨率色彩差別圖像。
高分辨率最終圖像模塊212從模塊210接收高分辨率色彩差別圖像，并從模塊204接收高分辨率全色圖像。接著通過(guò)將高分辨率全色圖像增加到每個(gè)高分辨率色彩差別平面上來(lái)形成高分辨率最終彩色圖像。得到的高分辨率最終彩色圖像接著可以被進(jìn)一步處理。例如，它被存儲(chǔ)在DSP存儲(chǔ)器模塊32(圖1)中，并接著被銳化和壓縮以便存儲(chǔ)在存儲(chǔ)卡模塊64(圖1)上。
圖4A-D中所示的傳感器濾色器圖案具有最小重復(fù)單位使得在模塊202中產(chǎn)生的得到的低分辨率部分彩色圖像對(duì)于濾色器呈現(xiàn)出重復(fù)的Bayer圖案 G R B G 除了由低分辨率部分彩色圖像給出的單個(gè)彩色值，每個(gè)單元還具有低分辨率全色圖像給出的全色值。
考慮其中Bayer圖案存在于低分辨率部分彩色圖像中的情況，現(xiàn)在可以更詳細(xì)地描述在低分辨率色彩差別模塊208(圖18)內(nèi)的色彩內(nèi)插的任務(wù)。色彩內(nèi)插開(kāi)始于在圖19A中示為像素234的還沒(méi)有綠色值的像素處內(nèi)插綠色值。示出為像素230，232，236和238的四個(gè)相鄰像素全部具有綠色值并且它們還全部具有全色值。中心像素234具有全色值，但是不具有全色值，如問(wèn)號(hào)所指示的。
第一步驟是計(jì)算兩個(gè)分類(lèi)器值，第一個(gè)涉及水平方向，第二個(gè)涉及垂直方向 HCLAS＝ABS(P4-P2)+ABS(2*P3-P2-P4) VCLAS＝ABS(P5-P1)+ABS(2*P3-P1-P5) 接著，計(jì)算兩個(gè)預(yù)測(cè)器值，第一個(gè)涉及水平方向，第二個(gè)涉及垂直方向 HPRED＝(G4+G2)/2+(2*P3-P2-P4)/2 VPRED＝(G5+G1)/2+(2*P3-P1-P5)/2 最后，令THRESH為根據(jù)經(jīng)驗(yàn)確定的閾值，我們可以根據(jù)如下算法適應(yīng)地計(jì)算缺失的值G3 IF MAX(HCLAS，VCLAS)<THRESH G3＝(HPRED+VPRED)/2 ELSEIF VCLAS<HCLAS G3＝VPRED ELSE G3＝HPRED END 因此，如果兩個(gè)分類(lèi)器都小于閾值，為G3計(jì)算兩個(gè)預(yù)測(cè)器值的平均值。如果不是，那么根據(jù)哪個(gè)分類(lèi)器HCLAS或者VCLAS更小來(lái)使用HPRED或者VPRED。
一旦已經(jīng)估計(jì)出所有缺失的綠色值，內(nèi)插缺失的紅色和藍(lán)色值。如圖19B中所示，像素242缺失紅色值，但是其兩個(gè)水平相鄰者，像素240和244，分別具有紅色值R2和R4。所有三個(gè)像素都具有綠色值。在這些條件下，對(duì)于像素242的紅色值(R3)的估計(jì)如下計(jì)算 R3＝(R4+R2)/2+(2*G3-G2-G4)/2 在類(lèi)似的情況下以相似的方式計(jì)算缺失的藍(lán)色值。在此點(diǎn)，僅有的仍然具有缺失的紅色和藍(lán)色值的像素是那些需要垂直內(nèi)插的。如圖19B中所示，像素252缺失紅色值，但是其兩個(gè)垂直相鄰者，像素250和254，分別具有紅色值R1和R5。在這些條件下，對(duì)于像素252的紅色值(R3)的估計(jì)如下計(jì)算 R3＝(R5+R1)/2+(2*G3-G1-G5)/2 在類(lèi)似的情況下以相似的方式計(jì)算缺失的藍(lán)色值。這完成低分辨率部分彩色圖像的內(nèi)插，結(jié)果是低分辨率中間彩色圖像。在剛剛討論的示例中，如較早所描述的，現(xiàn)在可以通過(guò)將低分辨率全色值從每個(gè)彩色平面紅色，綠色和藍(lán)色中減去來(lái)計(jì)算低分辨率色彩差別。
現(xiàn)在轉(zhuǎn)到圖20，示出使用圖8A的最小重復(fù)單位的四個(gè)復(fù)制體的傳感器的部分鋪設(shè)。這四個(gè)最小重復(fù)單位310，311，312和313每個(gè)包含紅色，綠色和藍(lán)色像素。盡管較早的組合像素的討論限于同一最小重復(fù)單位中相同色彩的像素，例如如圖16中所示，本發(fā)明也可以通過(guò)組合來(lái)自附近的最小重復(fù)單位的像素來(lái)實(shí)施。如圖20中所示，紅色像素R21和R41構(gòu)成在垂直方向上組合的像素對(duì)314。類(lèi)似地，綠色像素G42和G45構(gòu)成在水平方向上組合的像素對(duì)315。當(dāng)最小重復(fù)單位相對(duì)小時(shí)，諸如如圖20中使用的圖8A的圖案，組合來(lái)自相鄰的最小重復(fù)單位的相同色彩的像素是有用的。
參考圖20考慮如上所述的作為在相鄰的最小重復(fù)單位之間發(fā)生的組合是有用的，其中相鄰被定義為在兩個(gè)最小重復(fù)單位之間共享正長(zhǎng)度的邊界。給定這個(gè)定義，圖20中的最小重復(fù)單位311和312相鄰于最小重復(fù)單位310，但是最小重復(fù)單位311和312彼此不相鄰。在如上所述的組合中，來(lái)自相鄰的最小重復(fù)單位的相同色彩的像素被組合，其中相同色彩(like color)被定義為具有相似的光譜光響應(yīng)。給定這個(gè)定義，圖20中的所有紅色像素R21，R24，R41和R44是相同色彩的像素，并且所有全色像素P11到P16和P31到P36是相同色彩的像素。在如上所述的組合中，來(lái)自相鄰的最小重復(fù)單位的相似定位的像素被組合，其中相似定位被定義為在每個(gè)最小重復(fù)單位內(nèi)具有相同的相對(duì)位置。例如，圖20中的像素G42和G45是相似定位的，并且被組合為對(duì)315。注意相似定位的像素必須是相同色彩的像素。
盡管在彩色像素的背景中大致描述了組合，有時(shí)候組合全色像素是有用的。在低光等級(jí)或者短曝光時(shí)間的情況下，組合全色像素來(lái)折衷全色分辨率以增加組合的全色像素的信號(hào)強(qiáng)度是有用的。注意到相鄰的最小重復(fù)單位、相同色彩的像素、以及相似定位的像素的定義適用于全色像素以及彩色像素是重要的。例如，圖20中的全色像素P12和P15是相似定位的并且被組合為對(duì)316。此外，全色像素P13和P14是相同色彩的像素(但不是相似定位的)并且被組合為對(duì)317。注意如果在最小重復(fù)單位中有多個(gè)單色彩的像素，那么組合最小重復(fù)單位中相同色彩的像素有時(shí)候是有用的。例如，全色像素P35和P36是最小重復(fù)單位中相同色彩的像素，它們被組合為對(duì)318。
到此點(diǎn)為止描述的組合包括組合來(lái)自相鄰的最小重復(fù)單位的相同色彩或者相似定位的像素。在一些情況下，將全色像素與彩色像素組合是有用的。在圖20中，組合的對(duì)319包括全色像素P16和藍(lán)色像素B26。例如，在光等級(jí)低或者曝光時(shí)間非常短時(shí)將全色與彩色像素組合，以便增加來(lái)自組合像素的總體信號(hào)強(qiáng)度。盡管319示出來(lái)自一個(gè)最小重復(fù)單位內(nèi)的全色像素和彩色像素的組合，將全色像素與附近的最小重復(fù)單位的彩色像素組合也是有用的。
在給定的最小重復(fù)單位的陣列中同時(shí)組合來(lái)自相鄰的最小重復(fù)單位的相似定位的像素，來(lái)自相鄰的最小重復(fù)單位的相同色彩的像素，以及最小重復(fù)單位內(nèi)相同色彩的像素以及全色和彩色像素，是在本發(fā)明的范圍內(nèi)的。還將理解根據(jù)圖像捕獲條件，組合方法的特定配置在一個(gè)時(shí)刻是有用的，而在不同的時(shí)刻不同的配置對(duì)于不同的圖像捕獲條件是有用的，從而可以在圖像捕獲時(shí)刻動(dòng)態(tài)地調(diào)節(jié)組合配置。例如，當(dāng)總體的場(chǎng)景光等級(jí)高時(shí)，不組合全色像素，但是當(dāng)總體的場(chǎng)景光等級(jí)低時(shí)，將全色像素相互組合或者與彩色像素組合以便提高信號(hào)電平。
上述各種組合方法的示例示于圖21到圖27中。在圖21A-21D中，示出了是圖10A中所示的類(lèi)型的變型的兩個(gè)相鄰的最小重復(fù)單位330和331。在圖21A中，來(lái)自這兩個(gè)最小重復(fù)單位的所有相似定位的彩色像素被組合，如像素對(duì)332，333，334和335所示。在圖21B中，所有相似定位的全色像素被組合，如像素對(duì)336，337，338和339所示。
圖21C示出在最小重復(fù)單位內(nèi)組合相同色彩的像素，同時(shí)在最小重復(fù)單位之間組合相似定位的像素。圖21C包括是圖10A中所示的類(lèi)型的變型的兩個(gè)相鄰的最小重復(fù)單位330和331。相似定位的像素R21和R23被組合為對(duì)340，相似定位的像素B42和B44被組合為對(duì)341。G22和G41是位于最小重復(fù)單位330中的相同色彩的像素，并且它們被示出為組合成對(duì)342；類(lèi)似地，來(lái)自最小重復(fù)單位331的像素G24和G43被示出為組合成對(duì)343。
圖21D示出在最小重復(fù)單位內(nèi)組合全色像素，同時(shí)在最小重復(fù)單位之間組合全色像素。圖21D包括是圖10A中所示的類(lèi)型的變型的兩個(gè)相鄰的最小重復(fù)單位330和331。P11和P12是位于最小重復(fù)單位330中的全色像素，并且它們被示出為組合成對(duì)344；類(lèi)似地，來(lái)自最小重復(fù)單位331的像素P13和P14被示出為組合成對(duì)345。全色像素P32和P33在不同的最小重復(fù)單位中，并且它們被示出為組合成對(duì)346。未組合的全色像素P31和P34被留下不組合，或者與來(lái)自相鄰的最小重復(fù)單位的像素組合，如箭頭347和348所示。
盡管圖21A-21D的最小重復(fù)單位水平布置，圖22示出垂直布置的兩個(gè)相鄰的最小重復(fù)單位360和361，其中相似定位的彩色像素被組合，如像素對(duì)362，363，364和365所示。
除了按對(duì)來(lái)組合來(lái)自?xún)蓚€(gè)相鄰最小重復(fù)單位的像素之外，有用的是組合來(lái)自三個(gè)或者更多個(gè)最小重復(fù)單位的像素。例如，圖23示出是圖10A中所示的類(lèi)型的變型的三個(gè)相鄰的最小重復(fù)單位370，371和372。相同色彩的(同時(shí)也是相似定位的)像素被示出為以三個(gè)來(lái)組合，如像素三元組373，374，375和376。
圖24示出是圖10A中所示類(lèi)型的變型的五個(gè)相鄰的最小重復(fù)單位380，381，382，383和384，其中相同色彩的像素被示出為組合成紅色三元組390，綠色對(duì)391，綠色三元組392，紅色對(duì)393，綠色三元組394，藍(lán)色對(duì)395，藍(lán)色三元組396以及綠色對(duì)397。該特定的布置產(chǎn)生均勻間隔的組合像素對(duì)。組合390產(chǎn)生位于R23的位置的組合的紅色結(jié)果(假定像素R21，R23和R25在組合過(guò)程中是相等加權(quán)的)，組合391產(chǎn)生也位于R23的位置的組合的綠色結(jié)果。類(lèi)似地，在G28的位置處有紅色-綠色組合的對(duì)，在G43的位置處有綠色-藍(lán)色組合的對(duì)，以及在B48的位置處有綠色-藍(lán)色組合的對(duì)。像素位置R23，G28，G43和B48在五個(gè)最小重復(fù)單位的組內(nèi)是均勻間隔的，并且如果組合像素以及五個(gè)最小重復(fù)單位的該組被重復(fù)以產(chǎn)生最小重復(fù)單位的更大的陣列，得到的組合像素在整個(gè)得到的陣列上是均勻間隔的。用圖23中所示的組合布置與此對(duì)照如果該三個(gè)最小重復(fù)單位以及組合像素的組被重復(fù)來(lái)產(chǎn)生較大的陣列，得到的組合像素集中在三個(gè)最小重復(fù)單位的每個(gè)組的中央，從而在整個(gè)陣列上不是均勻間隔的。
圖25A示出是圖10A中所示的類(lèi)型的變型的四個(gè)相鄰的最小重復(fù)單位400，401，402和403。在圖25A中，一些相同色彩的像素在四個(gè)最小重復(fù)單位的組內(nèi)被組合，而其他像素與來(lái)自相鄰于該四個(gè)的組的最小重復(fù)單位的像素組合。具體來(lái)說(shuō)，像素R21，R23和R25被組合為三元組410，像素G24，G26和G28被組合為三元組411，像素G41，G43和G45被組合為三元組412，像素B44，B46和B48被組合為三元組413。這留下沒(méi)有被組合的或者與來(lái)自相鄰的最小重復(fù)單位的像素組合的幾個(gè)彩色像素例如，像素G22與來(lái)自該四個(gè)的組左側(cè)的最小重復(fù)單位的像素組合，如箭頭414所示。類(lèi)似地，像素B42與來(lái)自左側(cè)的相鄰最小重復(fù)單位的像素組合，如箭頭416所示，像素R27和G47與來(lái)自右側(cè)的相鄰最小重復(fù)單位的像素組合，如分別由箭頭415和417所示。在圖25A中，來(lái)自中間的兩個(gè)最小重復(fù)單位401和402的所有相似定位的彩色像素被組合，這些組合像素中的一些還與來(lái)自左側(cè)的最小重復(fù)單位400的相似定位的彩色像素組合，其他的組合像素還與來(lái)自右側(cè)的最小重復(fù)單位403的相似定位的彩色像素組合。
如果圖25A中的由400到403所示例的類(lèi)型的最小重復(fù)單位被鋪設(shè)來(lái)產(chǎn)生較大的陣列，圖25A中所示的組合布置被延伸來(lái)覆蓋最小重復(fù)單位的陣列，如圖25B中所示。在圖25B中示出各具有四個(gè)最小重復(fù)單位的三個(gè)重疊組405L，405C和405R。組405L由為了組合目的分別對(duì)應(yīng)于圖25A的最小重復(fù)單位400，401，402和403的最小重復(fù)單位400L，401L，402L和403L構(gòu)成。類(lèi)似地，組405C由同樣對(duì)應(yīng)于圖25A的最小重復(fù)單位400，401，402和403的最小重復(fù)單位400C，401C，402C和403C構(gòu)成，組405R由同樣對(duì)應(yīng)于圖25A的最小重復(fù)單位400，401，402和403的最小重復(fù)單位400R，401R，402R和403R構(gòu)成。注意組405L的最小重復(fù)單位403L也是組405C的最小重復(fù)單位400C，組405C的最小重復(fù)單位403C也是組405R的最小重復(fù)單位400R。因此，最小重復(fù)單位403L/400C是組405L和405C重疊的地方，最小重復(fù)單位403C/400R是組405C和405R重疊的地方。四個(gè)最小重復(fù)單位的每個(gè)組405L，405C和405R中包含的曲線連接如圖25A中的410，411，412和413所示的被組合的像素。延伸到組外的曲線連接到相鄰的且重疊的組，并對(duì)應(yīng)于圖25A中的414，415，416和417。很清楚圖25A和25B中所示的組合布置提供了均勻間隔的彩色像素的組合結(jié)果。此外，這些組合的彩色像素代表色彩的Bayer布置。
注意最小重復(fù)單位是用于產(chǎn)生更大的像素陣列的鋪設(shè)單位。圖24，25A，和25B中所示的最小重復(fù)單位的組僅是為了組合目的，而不是為了鋪設(shè)目的。在一些情況中，組合完全包含在最小重復(fù)單位的組中，如圖24中所示，并且在一些情況中，組合擴(kuò)展到組之外，如圖25A中所示。在組合擴(kuò)展到最小重復(fù)單位的組之外的一些情況中，代表性的最小重復(fù)單位的組為了組合的目的而重疊，如圖25B中所示。注意最小重復(fù)單位以一種布置來(lái)分組以便組合某些像素，而以另一種布置來(lái)分組以便組合其它像素。例如，最小重復(fù)單位以一種布置來(lái)分組以便組合彩色像素，而以一種不同的布置來(lái)分組以便組合全色像素。
盡管前面的段落中的示例使用了是圖10A中所示類(lèi)型的變型的最小重復(fù)單位，顯然應(yīng)理解這些組合布置可以與其他類(lèi)型的最小重復(fù)單位一起使用。例如，用是圖11中所示類(lèi)型的變型的最小重復(fù)單位替代圖21到25中的最小重復(fù)單位，產(chǎn)生類(lèi)似的組合結(jié)果并且完全在本發(fā)明的范圍內(nèi)。
前面的示例都示出了按行或者按列直線布置的最小重復(fù)單位。為了組合像素的目的，以其他方式布置相鄰的最小重復(fù)單位也是有用的。圖20提供一個(gè)這樣的示例，其中四個(gè)最小重復(fù)單位布置在兩行和兩列中。另一個(gè)示例示于圖26A中，其具有圖8A所示類(lèi)型的三個(gè)最小重復(fù)單位420，421，和422。該三個(gè)最小重復(fù)單位被布置為使得每個(gè)最小重復(fù)單位相鄰于另兩個(gè)。該三個(gè)的組中相同色彩的像素被組合例如，像素R21，R41和R44被組合。該三個(gè)相互相鄰的最小重復(fù)單位的布置被重復(fù)來(lái)產(chǎn)生更大的像素陣列。作為在一組最小重復(fù)單位內(nèi)相互相鄰的另一個(gè)示例，圖26B具有四個(gè)圖8A所示類(lèi)型的最小重復(fù)單位425，426，427和428，這四個(gè)最小重復(fù)單位中的每個(gè)與這四個(gè)的組中的至少其他兩個(gè)相鄰。該四個(gè)的組內(nèi)相同色彩的像素被組合例如，像素R21，R41，R44和R61被組合。
圖27示出將全色像素與彩色像素組合。最小重復(fù)單位430是圖10A中所示類(lèi)型的變型。像素P11和R21形成組合的對(duì)431，像素P12和G22形成組合的對(duì)432，像素P31和G41形成組合的對(duì)433，像素P32和B42形成組合的對(duì)434。
現(xiàn)在轉(zhuǎn)到圖28，具有16個(gè)像素的最小重復(fù)單位被示出為具有兩個(gè)復(fù)制體，最小重復(fù)單位440和441。上部最小重復(fù)單位440被細(xì)分成兩個(gè)單元442和443。單元442包含四個(gè)全色像素P11，P12，P13和P14，兩個(gè)藍(lán)色像素B21和B23，以及兩個(gè)綠色像素G22和G24的水平行。單元443包含四個(gè)全色像素P15，P16，P17和P18，兩個(gè)紅色像素R25和R27，以及兩個(gè)綠色像素G26和G28的水平行。下部最小重復(fù)單位441被細(xì)分成兩個(gè)單元444和445，它們分別包含與單元442和443類(lèi)似的像素圖案。給定包括如圖28中所示的單元的最小重復(fù)單位，有幾種方式來(lái)組合像素。在圖28中，來(lái)自相鄰的最小重復(fù)單位440和441的像素B21和B41提供組合的像素對(duì)450。來(lái)自單元444的像素G42和G44提供組合的像素對(duì)451。像素P14和P15分別是來(lái)自單元442和443的全色像素，它們提供像素對(duì)452。全色像素P13與彩色像素B23組合來(lái)提供組合的像素對(duì)453。
如之前已經(jīng)示出過(guò)的，本發(fā)明包括在單個(gè)最小重復(fù)單位內(nèi)和在多個(gè)相鄰的最小重復(fù)單位之間兩種情況下組合任意數(shù)量的像素。如圖28中所示，綠色像素G26，G28，G46和G48構(gòu)成組合像素的四元組455，所有這些綠色像素被組合來(lái)產(chǎn)生單個(gè)色彩值。該四倍組合同時(shí)包括水平地和垂直地組合像素，以及組合來(lái)自單個(gè)最小重復(fù)單位內(nèi)的多個(gè)像素，和取自多個(gè)相鄰的最小重復(fù)單位的多個(gè)像素。
圖29A-C中的每一個(gè)示出圖28所示類(lèi)型的最小重復(fù)單位460。最小重復(fù)單位460由兩個(gè)單元462和464構(gòu)成。在圖29A中，來(lái)自單元462內(nèi)的像素B21和B23提供組合的像素對(duì)465。類(lèi)似地，來(lái)自單元464內(nèi)的像素R25和R27提供組合的像素對(duì)466。來(lái)自單元462內(nèi)的像素G22和G24與來(lái)自單元464的像素G26組合，來(lái)提供組合的像素三元組467。紅色和藍(lán)色組合像素完全包含在它們各自的單元中，而綠色組合像素來(lái)自?xún)蓚€(gè)不同的單元。這種特定的組合布置具有關(guān)于組合結(jié)果的放置的優(yōu)點(diǎn)組合的藍(lán)色像素對(duì)465的形心(centroid)是在像素G22的位置處，組合的綠色像素三元組467的形心是在像素G24的位置處，組合的紅色像素對(duì)466的形心是在像素G26的位置處，而未組合的綠色像素G28留在其當(dāng)前位置。因此，組合的彩色像素的形心連同未組合的綠色像素一起是均勻間隔的，從而使采樣過(guò)程中的失真(aliasing)最小化。
圖29B示出組合來(lái)自最小重復(fù)單位460的單元內(nèi)的全色像素。全色像素P11，P12和P13提供組合的像素三元組468，全色像素P15，P16和P17提供組合的像素三元組469。如同與圖29A中組合彩色像素的布置一樣，圖29B的組合布置具有關(guān)于組合結(jié)果的放置的優(yōu)點(diǎn)組合的像素三元組468的形心是在像素P12的位置處，組合的像素三元組469的形心是在像素P16的位置處，而未組合的全色像素P14和P18留在它們的當(dāng)前位置。因此，組合的全色像素的形心連同未組合的全色像素一起是均勻間隔的。此外，這些均勻間隔的組合的和未組合的全色像素在垂直方向上布置在圖29A中所示的對(duì)應(yīng)的組合的和未組合的彩色像素之上，潛在地簡(jiǎn)化了內(nèi)插過(guò)程。
圖29C示出全色像素的其他組合來(lái)自單元462的像素P13和P14與來(lái)自單元464的像素P15組合，來(lái)提供組合的全色三元組470；來(lái)自單元464的像素P17和P18與來(lái)自最小重復(fù)單位460右側(cè)的最小重復(fù)單位的最左邊的像素組合，來(lái)形成組合的全色像素三元組471；來(lái)自單元462的像素P11與來(lái)自最小重復(fù)單位460左側(cè)的最小重復(fù)單位的最右邊的兩個(gè)全色像素組合，來(lái)形成組合的全色像素三元組472。如同與圖29B中的組合的和未組合的全色像素一樣，圖29C中四個(gè)組合的全色像素三元組的形心是均勻間隔的。圖29顯示個(gè)體像素被用于多個(gè)組合中以及僅被使用一次像素P11被使用兩次，一次在組合472中，一次在組合468中；像素P13被用于組合468和470中；像素P15被用于組合470和469中，像素P17被用于組合469和471中。
不是所有的傳感器都產(chǎn)生表現(xiàn)出彩色值的重復(fù)Bayer圖案的低分辨率部分彩色圖像。例如，圖28和圖29A-C中所示的傳感器圖案確定兩個(gè)相鄰的最小重復(fù)單位生成兩對(duì)彩色值。在每種情況下，來(lái)自相鄰的最小重復(fù)單位的一對(duì)單元產(chǎn)生用于圖像的低分辨率彩色表示的色彩值。單元442和444的對(duì)通過(guò)為藍(lán)色值組合像素B21，B23，B41和B43，以及通過(guò)為綠色值組合像素G22，G24，G42和G44，來(lái)提供藍(lán)色和綠色色彩值。類(lèi)似地，單元443和445的對(duì)通過(guò)為紅色值組合像素R25，R27，R45和R47，以及通過(guò)為綠色值組合像素G26，G28，G46和G48，來(lái)提供紅色和綠色色彩值。這種在來(lái)自相鄰的最小重復(fù)單位的單元之間組合像素的圖案在整個(gè)傳感器上重復(fù)。結(jié)果是圖像的低分辨率表示，其中每個(gè)低分辨率像素具有綠色值和或者紅色或者藍(lán)色值。在此點(diǎn)，低分辨率色彩差別模塊208(圖18)中的色彩內(nèi)插任務(wù)為每個(gè)像素估計(jì)缺失的紅色值或者缺失的藍(lán)色值。參考圖19D，像素264被示出為具有綠色值(G3)但沒(méi)有紅色值(R3)。相鄰像素中的四個(gè)260，262，266和268具有綠色值和紅色值。為像素264(圖19D)內(nèi)插紅色值的方法類(lèi)似于用于為像素234(圖19A)內(nèi)插綠色值的方法。
第一步驟是計(jì)算兩個(gè)分類(lèi)器值，第一個(gè)值涉及水平方向，第二個(gè)值涉及垂直方向 HCLAS＝ABS(G4-G2)+ABS(2*G3-G2-G4) VCLAS＝ABS(G5-G1)+ABS(2*G3-G1-G5) 接著，計(jì)算兩個(gè)預(yù)測(cè)器值，第一個(gè)值涉及水平方向，第二個(gè)值涉及垂直方向 HPRED＝(R4+R2)/2+(2*G3-G2-G4)/2 VPRED＝(R5+R1)/2+(2*G3-G1-G5)/2 最后，令THRESH為根據(jù)經(jīng)驗(yàn)確定的閾值，適應(yīng)地根據(jù)如下算法計(jì)算缺失的值G3 IF MAX(HCLAS，VCLAS)<THRESH R3＝(HPRED+VPRED)/2 ELSEIF VCLAS<HCLAS R3＝VPRED ELSE R3＝HPRED END 從而，如果兩個(gè)分類(lèi)器都小于閾值，為R3計(jì)算兩個(gè)預(yù)測(cè)器值的平均值。如果不是，那么根據(jù)哪個(gè)分類(lèi)器HCLAS或者VCLAS更小來(lái)使用HPRED或者VPRED。
缺失的藍(lán)色值以完全一樣的方式，用藍(lán)色值代替紅色值來(lái)內(nèi)插。一旦完成，產(chǎn)生了低分辨率中間彩色圖像。從那里，如前所述地計(jì)算低分辨率色彩差別。
部件列表 10來(lái)自目標(biāo)場(chǎng)景的光 11成像級(jí) 12鏡頭 13中性密度濾色器 14光闌 16亮度傳感器 18快門(mén) 20圖像傳感器 22模擬信號(hào)處理器 24模數(shù)(A/D)轉(zhuǎn)換器 26定時(shí)發(fā)生器 28圖像傳感器級(jí) 30數(shù)字信號(hào)處理器(DSP)總線 32數(shù)字信號(hào)處理器(DSP)存儲(chǔ)器 36數(shù)字信號(hào)處理器(DSP) 38處理級(jí) 40曝光控制器 50系統(tǒng)控制器 52系統(tǒng)控制器總線 54程序存儲(chǔ)器 56系統(tǒng)存儲(chǔ)器 57主機(jī)接口 60存儲(chǔ)卡接口 62存儲(chǔ)卡槽 64存儲(chǔ)卡 68用戶(hù)控制和狀態(tài)界面 70取景器顯示器 72曝光顯示器 74用戶(hù)輸入 76狀態(tài)顯示器 80視頻編碼器 82 顯示控制器 88 圖像顯示器 100 Bayer圖案的最小重復(fù)單位 102 非最小的Bayer圖案的重復(fù)單位 110 紅外阻斷濾色器的光譜透射曲線 112 傳感器沒(méi)有濾色的光譜光響應(yīng)曲線 114 傳感器的紅色光響應(yīng)曲線 115 傳感器的綠色光響應(yīng)曲線 118 傳感器的藍(lán)色光響應(yīng)曲線 120 第一綠色單元 122 紅色單元 124 藍(lán)色單元 126 第二綠色單元 202 低分辨率部分彩色模塊 204 高分辨率全色模塊 206 低分辨率全色模塊 208 低分辨率色彩差別模塊 210 高分辨率色彩差別模塊 212 高分辨率最終圖像模塊 220 第一綠色單元 222 第一綠色單元中的綠色像素 224 紅色單元 226 藍(lán)色單元 228 第二綠色單元 230 內(nèi)插缺失的綠色值的上方像素值 232 內(nèi)插缺失的綠色值的左側(cè)像素值 234 具有缺失的綠色值的像素 236 內(nèi)插缺失的綠色值的右側(cè)像素值 238 內(nèi)插缺失的綠色值的下方像素值 240 內(nèi)插缺失的紅色值的左側(cè)像素值 242 具有缺失的紅色值的像素 244 內(nèi)插缺失的紅色值的右側(cè)像素值 250 內(nèi)插缺失的紅色值的上方像素值 252 具有缺失的紅色值的像素 254 內(nèi)插缺失的紅色值的下方像素值 260 內(nèi)插缺失的紅色值的上方像素值 262 內(nèi)插缺失的紅色值的左側(cè)像素值 264 具有缺失的紅色值的像素 266 內(nèi)插缺失的紅色值的右側(cè)像素值 268 內(nèi)插缺失的紅色值的下方像素值 310 左上最小重復(fù)單位 311 右上最小重復(fù)單位 312 左下最小重復(fù)單位 313 右下最小重復(fù)單位 314 組合來(lái)自垂直相鄰的最小重復(fù)單位的紅色像素的示例 315 組合來(lái)自水平相鄰的最小重復(fù)單位的綠色像素的示例 316 組合來(lái)自水平相鄰的最小重復(fù)單位的相似定位的全色像素的示例 317 組合來(lái)自水平相鄰的最小重復(fù)單位的相鄰的全色像素的示例 318 組合來(lái)自最小重復(fù)單位內(nèi)的相鄰的全色像素的示例 319 將全色像素與彩色像素組合的示例 330 左側(cè)最小重復(fù)單位 331 右側(cè)最小重復(fù)單位 332 組合相似定位的紅色像素 333 組合相似定位的綠色像素 334 組合相似定位的綠色像素 335 組合相似定位的藍(lán)色像素 336 組合相似定位的全色像素 337 組合相似定位的全色像素 338 組合相似定位的全色像素 339 組合相似定位的全色像素 340 組合相似定位的紅色像素 341 組合相似定位的藍(lán)色像素 342 組合來(lái)自最小重復(fù)單位內(nèi)的綠色像素 343 組合來(lái)自最小重復(fù)單位內(nèi)的綠色像素 344 組合來(lái)自最小重復(fù)單位內(nèi)的全色像素 345 組合來(lái)自最小重復(fù)單位內(nèi)的全色像素 346 組合來(lái)自?xún)蓚€(gè)最小重復(fù)單位之間的全色像素 347 與來(lái)自相鄰的最小重復(fù)單位的像素組合的全色像素 348 與來(lái)自相鄰的最小重復(fù)單位的像素組合的全色像素 360 上方最小重復(fù)單位 361 下方最小重復(fù)單位 362 組合的相似定位的紅色像素 362 組合的相似定位的綠色像素 364 組合的相似定位的綠色像素 365 組合的相似定位的藍(lán)色像素 370 左側(cè)最小重復(fù)單位 371 中央最小重復(fù)單位 372 右側(cè)最小重復(fù)單位 373 組合的相似定位的紅色像素 374 組合的相似定位的綠色像素 375 組合的相似定位的綠色像素 376 組合的相似定位的藍(lán)色像素 380 左側(cè)最小重復(fù)單位 381 中左最小重復(fù)單位 382 中央最小重復(fù)單位 383 中右最小重復(fù)單位 384 右側(cè)最小重復(fù)單位 390 組合的相似定位的紅色像素 391 組合的相似定位的綠色像素 392 組合的相似定位的綠色像素 393 組合的相似定位的紅色像素 394 組合的相似定位的綠色像素 395 組合的相似定位的藍(lán)色像素 396 組合的相似定位的藍(lán)色像素 397 組合的相似定位的綠色像素 400 左側(cè)最小重復(fù)單位 401 中左最小重復(fù)單位 402 中右最小重復(fù)單位 403 右側(cè)最小重復(fù)單位 410 組合的相似定位的紅色像素 411 組合的相似定位的綠色像素 412 組合的相似定位的綠色像素 413 組合的相似定位的藍(lán)色像素 414 與來(lái)自相鄰的最小重復(fù)單位的像素組合的綠色像素 415 與來(lái)自相鄰的最小重復(fù)單位的像素組合的紅色像素 416 與來(lái)自相鄰的最小重復(fù)單位的像素組合的藍(lán)色像素 417 與來(lái)自相鄰的最小重復(fù)單位的像素組合的綠色像素 400L 來(lái)自左側(cè)組的左側(cè)最小重復(fù)單位 401L 來(lái)自左側(cè)組的中左最小重復(fù)單位 402L 來(lái)自左側(cè)組的中右最小重復(fù)單位 403L 來(lái)自左側(cè)組的右側(cè)最小重復(fù)單位 400C 來(lái)自中央組的左側(cè)最小重復(fù)單位 401C 來(lái)自中央組的中左最小重復(fù)單位 402C 來(lái)自中央組的中右最小重復(fù)單位 403C 來(lái)自中央組的右側(cè)最小重復(fù)單位 400R 來(lái)自右側(cè)組的左側(cè)最小重復(fù)單位 401R 來(lái)自右側(cè)組的中左最小重復(fù)單位 402R 來(lái)自右側(cè)組的中右最小重復(fù)單位 403R 來(lái)自右側(cè)組的右側(cè)最小重復(fù)單位 405L 左側(cè)四個(gè)最小重復(fù)單位的組 405C 中央四個(gè)最小重復(fù)單位的組 405R 右側(cè)四個(gè)最小重復(fù)單位的組 420 上方最小重復(fù)單位 421 左下方最小重復(fù)單位 422 右下方最小重復(fù)單位 425 上方最小重復(fù)單位 426 中左最小重復(fù)單位 427 中右最小重復(fù)單位 428 下方最小重復(fù)單位 430 最小重復(fù)單位 431 組合的全色和紅色像素 432 組合的全色和綠色像素 433 組合的全色和綠色像素 434 組合的全色和藍(lán)色像素 440 上方最小重復(fù)單位 441 下方最小重復(fù)單位 442 上方最小重復(fù)單位中的左側(cè)單元 443 上方最小重復(fù)單位中的右側(cè)單元 444 下方最小重復(fù)單位中的左側(cè)單元 445 下方最小重復(fù)單位中的右側(cè)單元 450 組合的相似定位的藍(lán)色像素 451 來(lái)自一個(gè)單元內(nèi)的組合的綠色像素 452 來(lái)自最小重復(fù)單位中的兩個(gè)單元之間的組合的全色像素 453 來(lái)自一個(gè)單元內(nèi)的組合的全色和藍(lán)色像素 455 來(lái)自單元內(nèi)的以及不同最小重復(fù)單位中的單元之間的組合的綠色像素 460 最小重復(fù)單位 462 最小重復(fù)單位中的左側(cè)單元 464 最小重復(fù)單位中的右側(cè)單元 465 來(lái)自一個(gè)單元內(nèi)的組合的藍(lán)色像素 466 來(lái)自一個(gè)單元內(nèi)的組合的紅色像素 467 來(lái)自一個(gè)單元內(nèi)的和兩個(gè)單元之間的組合的綠色像素 468 來(lái)自一個(gè)單元內(nèi)的組合的全色像素 469 來(lái)自一個(gè)單元內(nèi)的組合的全色像素 470 來(lái)自一個(gè)單元內(nèi)的和兩個(gè)單元之間的組合的全色像素 471 與來(lái)自相鄰的最小重復(fù)單位的一個(gè)或多個(gè)像素組合的來(lái)自一個(gè)單元內(nèi)的組合的全色像素 472 與來(lái)自相鄰的最小重復(fù)單位的一個(gè)或多個(gè)像素組合的全色像素
權(quán)利要求
1.一種用于捕獲彩色圖像的圖像傳感器，包括
a)二維陣列，其具有按行和列布置的第一和第二組像素，其中來(lái)自第一組像素的像素具有比來(lái)自第二組像素的像素更窄的光譜光響應(yīng)，并且其中第一組像素包括具有對(duì)應(yīng)于至少兩種色彩的集合的光譜光響應(yīng)的像素；
b)第一和第二組像素的放置定義具有最小重復(fù)單位的圖案，所述最小重復(fù)單位包括至少六個(gè)像素，使得最小重復(fù)單位的至少一些行或者列僅由來(lái)自第二組的像素構(gòu)成，以及
c)用于組合來(lái)自至少兩個(gè)相鄰的最小重復(fù)單位的相似定位的像素的裝置。
2.如權(quán)利要求1所述的圖像傳感器，其中該圖像傳感器的最小重復(fù)單位是
P P P
A B C
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
3.如權(quán)利要求2所述的圖像傳感器，其中兩個(gè)相鄰的最小重復(fù)單位如下布置
PPPPPP
ABCAB C
并且組合裝置包括組合至少一對(duì)相似定位的A像素，B像素，C像素，或者P像素。
4.如權(quán)利要求2所述的圖像傳感器，其中兩個(gè)相鄰的最小重復(fù)單位如下布置
PP P P P P
AB C A B C
并且組合裝置包括分開(kāi)地組合這兩個(gè)A像素，這兩個(gè)B像素，和這兩個(gè)C像素。
5.如權(quán)利要求2所述的圖像傳感器，其中兩個(gè)相鄰的最小重復(fù)單位如下布置
P P P P P P
A B C A B C
并且組合裝置包括從左邊分開(kāi)地組合第一個(gè)和第四個(gè)P像素，第二個(gè)和第五個(gè)P像素，以及第三個(gè)和第六個(gè)P像素。
6.如權(quán)利要求2所述的圖像傳感器，其中兩個(gè)相鄰的最小重復(fù)單位如下布置
PPP
ABC
PPP
ABC
并且組合裝置包括分開(kāi)地組合這兩個(gè)A像素，這兩個(gè)B像素，和這兩個(gè)C像素。
7.如權(quán)利要求1所述的圖像傳感器，其中圖像傳感器的最小重復(fù)單位是
PP
AB
PP
BC
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
8.如權(quán)利要求1所述的圖像傳感器，其中圖像傳感器的最小重復(fù)單位是
PP
AB
PP
PP
BC
PP
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
9.如權(quán)利要求1所述的圖像傳感器，其中組合像素是通過(guò)將來(lái)自該像素的電荷裝倉(cāng)，通過(guò)平均由該像素產(chǎn)生的電壓，或者通過(guò)首先將像素值轉(zhuǎn)換成數(shù)字值并接著組合該數(shù)字值，或者這些的組合來(lái)進(jìn)行的。
10.如權(quán)利要求9所述的圖像傳感器，其中通過(guò)首先將各電容器充電到像素產(chǎn)生的電壓，并接著將這些電容器連接在一起以平均該電壓來(lái)進(jìn)行電壓的平均，其中這些電容器大小相同來(lái)執(zhí)行簡(jiǎn)單的平均，或者大小不同來(lái)執(zhí)行加權(quán)平均。
11.一種用于捕獲彩色圖像的圖像傳感器，包括
a)二維陣列，其具有按行和列布置的第一和第二組像素，其中來(lái)自第一組像素的像素具有比來(lái)自第二組像素的像素更窄的光譜光響應(yīng)，并且其中第一組像素包括具有對(duì)應(yīng)于至少兩種色彩的集合的光譜光響應(yīng)的像素；
b)第一和第二組像素的放置定義具有最小重復(fù)單位的圖案，所述最小重復(fù)單位包括至少六個(gè)像素，使得最小重復(fù)單位的至少一些行或者列僅由來(lái)自第二組的像素構(gòu)成，以及
c)用于組合來(lái)自至少三個(gè)相鄰的最小重復(fù)單位的相同色彩的像素的裝置。
12.如權(quán)利要求11所述的圖像傳感器，其中圖像傳感器的最小重復(fù)單位是
P P
A B
P P
B C
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
13.如權(quán)利要求12所述的圖像傳感器，其中三個(gè)相鄰的最小重復(fù)單位如下布置
P P P P P P
A B A B A B
P P P P P P
B C B C B C
并且組合裝置包括分開(kāi)地組合這三個(gè)A像素，第二行中的三個(gè)B像素，第四行中的三個(gè)B像素，和這三個(gè)C像素。
14.如權(quán)利要求12所述的圖像傳感器，其中五個(gè)相鄰的最小重復(fù)單位如下布置
PP P P P P P PPP
AB A B A B A BAB
PP P P P P P PPP
BC B C B C B CBC
并且組合裝置包括分開(kāi)地組合最左邊的三個(gè)A像素，第二行中最左邊的兩個(gè)B像素，第四行中最左邊的三個(gè)B像素，最左邊的兩個(gè)C像素，最右邊的兩個(gè)A像素，第二行中最右邊的三個(gè)B像素，最右邊的三個(gè)C像素，以及第四行中最右邊的兩個(gè)B像素。
15.如權(quán)利要求11所述的圖像傳感器，其中圖像傳感器的最小重復(fù)單位是
P P
A B
P P
P P
B C
P P
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
16.如權(quán)利要求15所述的圖像傳感器，其中三個(gè)相鄰的最小重復(fù)單位如下布置
P P P P P P
A B A B A B
P P P P P P
P P P P P P
B C B C B C
P P P P P P
并且組合裝置包括分開(kāi)地組合這三個(gè)A像素，第二行中的三個(gè)B像素，第五行中的三個(gè)B像素，和這三個(gè)C像素。
17.如權(quán)利要求11所述的圖像傳感器，其中所述至少三個(gè)最小重復(fù)單位中的每一個(gè)相鄰于剩余的最小重復(fù)單位中的至少兩個(gè)。
18.如權(quán)利要求17所述的圖像傳感器，其中該圖像傳感器的最小重復(fù)單位是
P P P
A B C
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
19.如權(quán)利要求18所述的圖像傳感器，其中三個(gè)相鄰的最小重復(fù)單位如下布置
P P P
A B C
P P P P P P
A B C A B C
并且組合裝置包括分開(kāi)地組合這三個(gè)A像素，這三個(gè)B像素，和這三個(gè)C像素。
20.如權(quán)利要求18所述的圖像傳感器，其中四個(gè)相鄰的最小重復(fù)單位如下布置
P P P P P P
A B C A B C
P P P P P P
A B C A B C
并且組合裝置包括分開(kāi)地組合這四個(gè)A像素，這四個(gè)B像素，和這四個(gè)C像素。
21.如權(quán)利要求18所述的圖像傳感器，其中四個(gè)相鄰的最小重復(fù)單位如下布置
P P P
A B C
P P P P P P
A B C A B C
P P P
A B C
并且組合裝置包括分開(kāi)地組合這四個(gè)A像素，這四個(gè)B像素，和這四個(gè)C像素。
22.如權(quán)利要求11所述的圖像傳感器，其中組合裝置包括組合來(lái)自直線地布置的四個(gè)相鄰最小重復(fù)單位的相同色彩的像素。
23.如權(quán)利要求22所述的圖像傳感器，其中組合裝置包括將來(lái)自中間兩個(gè)最小重復(fù)單位的第一組中的所有相似定位的像素，與來(lái)自剩余兩個(gè)最小重復(fù)單位的第一組中的一些相似定位的像素組合在一起。
24.如權(quán)利要求23所述的圖像傳感器，其中該圖像傳感器的最小重復(fù)單位以四個(gè)的重疊組直線地布置，使得一個(gè)四個(gè)的組中最左邊的最小重復(fù)單位作為另一個(gè)四個(gè)的組中最右邊的最小重復(fù)單位，并且一個(gè)四個(gè)的組中最右邊的最小重復(fù)單位作為又一個(gè)四個(gè)的組中最左邊的最小重復(fù)單位。
25.如權(quán)利要求22所述的圖像傳感器，其中該圖像傳感器的最小重復(fù)單位如下布置
PP
AB
PP
BC
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
26.如權(quán)利要求25所述的圖像傳感器，其中四個(gè)相鄰的最小重復(fù)單位如下布置
PP P P P P P P
AB A B A B A B
PP P P P P P P
BC B C B C B C
并且組合裝置包括分開(kāi)地組合最左邊的三個(gè)A像素，第二行中最右邊的三個(gè)B像素，第四行中最左邊的三個(gè)B像素，和最右邊的三個(gè)C像素。
27.如權(quán)利要求22所述的圖像傳感器，其中該圖像傳感器的最小重復(fù)單位是
P P
A B
P P
P P
B C
P P
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
28.如權(quán)利要求27所述的圖像傳感器，其中四個(gè)相鄰的最小重復(fù)單位如下布置
PPPPPPPP
ABABABAB
PPPPPPPP
PPPPPPPP
BCBCBCBC
PPPPPPPP
并且組合裝置包括分開(kāi)地組合最左邊的三個(gè)A像素，第二行中最右邊的三個(gè)B像素，第四行中最左邊的三個(gè)B像素，和最右邊的三個(gè)C像素。
29.如權(quán)利要求11所述的圖像傳感器，其中組合像素是通過(guò)將來(lái)自該像素的電荷裝倉(cāng)，通過(guò)平均由該像素產(chǎn)生的電壓，或者通過(guò)首先將像素值轉(zhuǎn)換成數(shù)字值并接著組合該數(shù)字值，或者這些的組合而進(jìn)行的。
30.如權(quán)利要求29所述的圖像傳感器，其中通過(guò)首先將各電容器充電到像素產(chǎn)生的電壓，并接著將這些電容器連接在一起以平均該電壓來(lái)進(jìn)行電壓的平均，其中這些電容器大小相同來(lái)執(zhí)行簡(jiǎn)單的平均，或者大小不同來(lái)執(zhí)行加權(quán)平均。
31.一種用于捕獲彩色圖像的圖像傳感器，包括
a)二維陣列，其具有按行和列布置的第一和第二組像素，其中來(lái)自第一組像素的像素具有比來(lái)自第二組像素的像素更窄的光譜光響應(yīng)，并且其中第一組像素包括具有對(duì)應(yīng)于至少兩種色彩的集合的光譜光響應(yīng)的像素；
b)第一和第二組像素的放置定義具有最小重復(fù)單位的圖案，所述最小重復(fù)單位包括至少六個(gè)像素，使得最小重復(fù)單位的至少一些行或者列僅由來(lái)自第二組的像素構(gòu)成，以及
c)用于將第一組像素與第二組像素組合的裝置。
32.如權(quán)利要求31所述的圖像傳感器，其中組合像素是通過(guò)將來(lái)自該像素的電荷裝倉(cāng)，通過(guò)平均由該像素產(chǎn)生的電壓，或者通過(guò)首先將像素值轉(zhuǎn)換成數(shù)字值并接著組合該數(shù)字值，或者這些的組合而進(jìn)行的。
33.如權(quán)利要求32所述的圖像傳感器，其中通過(guò)首先將各電容器充電到像素產(chǎn)生的電壓，并接著將這些電容器連接在一起以平均電壓來(lái)進(jìn)行電壓的平均，其中這些電容器大小相同來(lái)執(zhí)行簡(jiǎn)單的平均，或者大小不同來(lái)執(zhí)行加權(quán)平均。
34.一種用于捕獲彩色圖像的圖像傳感器，包括
a)二維陣列，其具有第一和第二組像素，其中來(lái)自第一組像素的像素具有比來(lái)自第二組像素的像素更窄的光譜光響應(yīng)，并且其中第一組像素包括具有對(duì)應(yīng)于至少兩種色彩的集合的光譜光響應(yīng)的個(gè)體像素；
b)第一和第二組像素的放置定義具有最小重復(fù)單位的圖案，所述最小重復(fù)單位包括至少十二個(gè)像素，該最小重復(fù)單位具有多個(gè)單元，其中每個(gè)單元具有從第一組像素中選擇的表示特定色彩的至少兩個(gè)像素以及從第二組像素中選擇的多個(gè)像素，所述像素布置為允許再現(xiàn)在不同光照條件下捕獲的彩色圖像；以及
c)用于組合該至少兩個(gè)像素中的至少兩個(gè)的裝置。
35.如權(quán)利要求34所述的圖像傳感器，其中最小重復(fù)單位是
P P P P P P P P
A B A B C B C B
其中P表示第二組中的像素，
A表示第一組中的像素的第一色彩，
B表示第一組中的像素的第二色彩，以及
C表示第一組中的像素的第三色彩。
36.如權(quán)利要求35所述的圖像傳感器，其中組合裝置包括分開(kāi)地組合這兩個(gè)A像素，最左邊的兩個(gè)B像素，最右邊的兩個(gè)B像素，和這兩個(gè)C像素。
37.如權(quán)利要求34所述的圖像傳感器，還包括用于組合第二組像素中的至少兩個(gè)的裝置。
38.如權(quán)利要求37所述的圖像傳感器，其中最小重復(fù)單位是
PP P P P P P P
AB A B C B C B
其中P表示第二組中的像素，
A表示第一組中的像素的第一色彩，
B表示第一組中的像素的第二色彩，以及
C表示第一組中的像素的第三色彩。
39.如權(quán)利要求38所述的圖像傳感器，其中組合裝置包括以三個(gè)的組從左邊開(kāi)始分開(kāi)地組合第一，第二，和第三個(gè)P像素，以及第五，第六和第七個(gè)P像素。
40.如權(quán)利要求34所述的圖像傳感器，其中最小重復(fù)單位是
PAPAPBPB
APAPBPBP
PAPAPBPB
APAPBPBP
PBPBPCPC
BPBPCPCP
PBPBPCPC
BPBPCPCP
其中P表示第二組中的像素，
A表示第一組中的像素的第一色彩，
B表示第一組中的像素的第二色彩，以及
C表示第一組中的像素的第三色彩。
41.如權(quán)利要求40所述的圖像傳感器，其中組合裝置包括在垂直方向上按對(duì)組合最小重復(fù)單位內(nèi)每一列中相同的第一組色彩。
42.如權(quán)利要求34所述的圖像傳感器，其中組合像素是通過(guò)將來(lái)自該像素的電荷裝倉(cāng)，通過(guò)平均由該像素產(chǎn)生的電壓，或者通過(guò)首先將像素值轉(zhuǎn)換成數(shù)字值并接著組合該數(shù)字值，或者這些的組合而進(jìn)行的。
43.如權(quán)利要求42所述的圖像傳感器，其中通過(guò)首先將各電容器充電到像素產(chǎn)生的電壓，并接著將這些電容器連接在一起以平均電壓來(lái)進(jìn)行電壓的平均，其中這些電容器大小相同來(lái)執(zhí)行簡(jiǎn)單的平均，或者大小不同來(lái)執(zhí)行加權(quán)的平均。
44.一種用于捕獲彩色圖像的圖像傳感器，包括
a)二維陣列，其具有第一和第二組像素，其中來(lái)自第一組像素的像素具有比來(lái)自第二組像素的像素更窄的光譜光響應(yīng)，并且其中第一組像素包括具有對(duì)應(yīng)于至少兩種色彩的集合的光譜光響應(yīng)的個(gè)體像素；
b)第一和第二組像素的放置定義具有最小重復(fù)單位的圖案，所述最小重復(fù)單位包括至少十二個(gè)像素，該最小重復(fù)單位具有多個(gè)單元，其中每個(gè)單元具有從第一組像素中選擇的表示特定色彩的至少兩個(gè)像素以及從第二組像素中選擇的多個(gè)像素，所述像素布置為允許再現(xiàn)在不同光照條件下捕獲的彩色圖像；以及
c)用于組合來(lái)自最小重復(fù)單位內(nèi)該多個(gè)單元中至少兩個(gè)的相同色彩的像素的裝置。
45.如權(quán)利要求44所述的圖像傳感器，其中最小重復(fù)單位是
P P P P P P P P
A B A B C B C B
其中P表示第二組中的像素 ，
A表示第一組中的像素的第一色彩，
B表示第一組中的像素的第二色彩，以及
C表示第一組中的像素的第三色彩。
46.如權(quán)利要求45所述的圖像傳感器，其中組合裝置包括分開(kāi)地組合這兩個(gè)A像素，最左邊的三個(gè)B像素，和這兩個(gè)C像素。
47.如權(quán)利要求45所述的圖像傳感器，其中組合裝置包括以三個(gè)的組從左邊開(kāi)始分開(kāi)地組合第一，第二，和第三個(gè)P像素；第三，第四，和第五個(gè)P像素；以及第五，第六和第七個(gè)P像素。
48.如權(quán)利要求47所述的圖像傳感器，其中組合裝置還包括分開(kāi)地將最左邊的P像素與來(lái)自左側(cè)的相鄰最小重復(fù)單位的至少一個(gè)像素組合；以及將最右邊的兩個(gè)P像素與來(lái)自右側(cè)的相鄰最小重復(fù)單位的至少一個(gè)像素組合
49.如權(quán)利要求44所述的圖像傳感器，其中組合像素是通過(guò)將來(lái)自該像素的電荷裝倉(cāng)，通過(guò)平均由該像素產(chǎn)生的電壓，或者通過(guò)首先將像素值轉(zhuǎn)換成數(shù)字值并接著組合該數(shù)字值，或者這些的組合而進(jìn)行的。
50.如權(quán)利要求49所述的圖像傳感器，其中通過(guò)首先將各電容器充電到像素產(chǎn)生的電壓，并接著將這些電容器連接在一起以平均電壓來(lái)進(jìn)行電壓的平均，其中這些電容器大小相同來(lái)執(zhí)行簡(jiǎn)單的平均，或者大小不同來(lái)執(zhí)行加權(quán)的平均。
51.一種用于捕獲彩色圖像的圖像傳感器，包括
a)二維陣列，其具有第一和第二組像素，其中來(lái)自第一組像素的像素具有比來(lái)自第二組像素的像素更窄的光譜光響應(yīng)，并且其中第一組像素包括具有對(duì)應(yīng)于至少兩種色彩的集合的光譜光響應(yīng)的個(gè)體像素；
b)第一和第二組像素的放置定義具有最小重復(fù)單位的圖案，所述最小重復(fù)單位包括至少十二個(gè)像素，該最小重復(fù)單位具有多個(gè)單元，其中每個(gè)單元具有從第一組像素中選擇的表示特定色彩的至少兩個(gè)像素以及從第二組像素中選擇的多個(gè)像素，所述像素布置為允許再現(xiàn)在不同光照條件下捕獲的彩色圖像；以及
c)用于將第一組像素與第二組像素組合的裝置。
52.如權(quán)利要求50所述的圖像傳感器，其中組合像素是通過(guò)將來(lái)自該像素的電荷裝倉(cāng)，通過(guò)平均由該像素產(chǎn)生的電壓，或者通過(guò)首先將像素值轉(zhuǎn)換成數(shù)字值并接著組合該數(shù)字值，或者這些的組合而進(jìn)行的。
53.如權(quán)利要求51所述的圖像傳感器，其中通過(guò)首先將各電容器充電到像素產(chǎn)生的電壓，并接著將這些電容器連接在一起以平均電壓來(lái)進(jìn)行電壓的平均，其中這些電容器大小相同來(lái)執(zhí)行簡(jiǎn)單的平均，或者大小不同來(lái)執(zhí)行加權(quán)的平均。
全文摘要
揭示一種用于捕獲彩色圖像的圖像傳感器，包括具有第一和第二組像素的二維陣列，其中來(lái)自第一組像素的像素具有比來(lái)自第二組像素的像素更窄的光譜光響應(yīng)，并且其中第一組像素包括具有對(duì)應(yīng)于至少兩種色彩的集合的光譜光響應(yīng)的個(gè)體像素，第一和第二組像素的放置定義具有最小重復(fù)單位的圖案，所述最小重復(fù)單位包括至少六個(gè)像素，最小重復(fù)單位的至少一些行或者列僅由來(lái)自第二組的像素構(gòu)成，以及包括用于組合來(lái)自至少兩個(gè)相鄰的最小重復(fù)單位的相似定位的像素的裝置。
文檔編號(hào)H04N9/07GK101449575SQ200780018755
公開(kāi)日2009年6月3日 申請(qǐng)日期2007年5月10日 優(yōu)先權(quán)日2006年5月22日
發(fā)明者T·基吉馬, H·納卡穆拉, J·T·坎普頓, J·F·小哈米爾頓, T·E·德維斯 申請(qǐng)人:伊斯曼柯達(dá)公司