專利名稱：四通道濾色器陣列內(nèi)插的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用來自濾色器陣列圖像的改進(jìn)的空間分辨率來產(chǎn)生全色圖像，所述濾色器陣列圖像具有色彩通道和全色通道。
背景技術(shù)：
單傳感器數(shù)字照相機(jī)采用濾色器陣列(CFA)來從單個(gè)具有感光像素的二維陣列中捕捉全色信息。CFA包括過濾由每一個(gè)像素所探測的光的濾色器的陣列。因此，每一個(gè)像素接收來自僅一個(gè)色彩的光，或者在全色或者“干凈”濾色器的情況下，接收來自所有色彩的光。為了從CFA圖像再現(xiàn)全色圖像，必須在每一個(gè)像素位置產(chǎn)生三個(gè)色彩值。這通過從相鄰的像素值內(nèi)插丟失的色彩值來完成。已知的最好的CFA圖案使用三色彩通道，如Bayer (美國專利號3971065)所描述且在圖2中所示出。Bayer的CFA具有可實(shí)現(xiàn)全色重現(xiàn)能力的三色彩通道。然而，三通道的確切的頻譜響應(yīng)(“色彩”)呈現(xiàn)出折衷。為了改進(jìn)色彩保真以及擴(kuò)大可由CFA捕捉的色彩范圍(也就是，色域)，需要使頻譜響應(yīng)更為選擇性(“變窄”)。這具有副作用，降低達(dá)到像素的光的總量，且，因此，減少了對光的靈敏度。因此，像素值變得更容易受到來自非圖像源的噪聲(如，熱噪聲)的影響。噪聲問題的一個(gè)解決方法是使CFA頻譜響應(yīng)較欠選擇性 (“變寬”)來增加到達(dá)像素的光的總量。然而，這會(huì)遇到降低色彩保真的副作用。解決三通道CFA限制的方法是采用含有帶“較窄”的頻譜選擇性的三個(gè)色彩和帶有“較寬”頻譜選擇性的一個(gè)色彩的四通道CFA?！白顚挼摹边@個(gè)通道可能是全色的或者“干凈的”，其可敏感于全光譜。三個(gè)“窄帶寬”的色彩通道將產(chǎn)生帶有更高的色彩保真度和較低的空間分辨率的圖像，而第四個(gè)“寬帶寬”全色通道將產(chǎn)生帶有較低噪聲和較高空間分辨率的圖像。然后，可將這些高色彩保真度、低空間分辨率和低噪聲、高空間分辨率的圖像合并為最終的高色彩保真度、低噪聲、高空間分辨率的圖像。為了在保持來自色彩像素的高色彩保真度的同時(shí)產(chǎn)生高空間分辨率的全色圖像，必須適當(dāng)?shù)剡x擇CFA中全色像素的數(shù)量和配置以及相應(yīng)的內(nèi)插算法。在現(xiàn)有技術(shù)中有多個(gè)實(shí)例具有關(guān)于這個(gè)方面的一個(gè)或多個(gè)問題 (liabilities)。Frame (美國專利號7012643)教導(dǎo)如

圖12中所示的CFA，其在9x9全色像素方塊中只有單個(gè)紅色(R)、綠色(G)和藍(lán)色(B)像素。Frame的問題在于所得到的色彩空間分辨率太低以至于不能在圖像中產(chǎn)生全部但最低頻率的色彩細(xì)節(jié)。Yamagami等(美國專利5323233)描述了如圖13A和1 所示的兩個(gè)CFA圖案，其具有等量的全色和色彩像素，避免了 Frame的問題。Yamagami等繼續(xù)教導(dǎo)使用簡單的雙線性內(nèi)插作為用于內(nèi)插丟失的全色值的技術(shù)。單獨(dú)地線性內(nèi)插方法(諸如雙線性內(nèi)插)的使用很強(qiáng)地限制了經(jīng)內(nèi)插的圖像的空間分辨率。諸如Adams等(美國專利5506619)所描述的非線性方法，如果CFA圖案允許其使用的話，產(chǎn)生較高的空間分辨率的經(jīng)內(nèi)插的圖像。圖 14A圖示出Adams等所使用的圖案。在圖2所示三通道系統(tǒng)中提供高空間頻率分辨率的綠色(G)像素，圍繞中心色彩像素在水平和垂直方向上與色彩(C)像素相交替。重要的是注意所有這些色彩像素都是同樣的色彩，如，紅色像素。圖14B示出使用全色(P)像素代替綠色像素的類似圖案。應(yīng)該注意的是在這一點(diǎn)上對于四通道系統(tǒng)而言，不可能用這樣的方法來配置所有的四個(gè)通道(R、G、B和P)圖14B中所示的圖案在整個(gè)傳感器上的所有色彩(R、 G、B)像素位置發(fā)生。因此，以這種方式，任何可能的配置都將是某種折衷。關(guān)于Yamagami 等，圖13A具有如圖14A中配置的綠色和全色像素，不過紅色和藍(lán)色像素沒有如此配置。在圖14B之后，諸如圖14C中的配置是優(yōu)選的，不過圖13A關(guān)于紅色和藍(lán)色像素不具有這個(gè)配置。圖1 對于任何色彩像素不具有圖14B或圖14C的圖案。Tanaka等(美國專利 4437112)描述了多個(gè)CFA圖案，其中與本文討論最相關(guān)的一個(gè)是圖15。在圖15中，青色 (C)、黃色(Y)、綠色(G)和全色⑵像素被如此配置，綠色像素如圖14C中所示被相鄰的像素所包圍。然而，黃色和青色像素沒有符合圖14B或圖14C中任一個(gè)的圖案。Tanaka等教導(dǎo)的其他圖案也存在同樣的問題。Hamilton等(美國專利申請?zhí)?007/0024879)教導(dǎo)了大量CFA圖案，其中兩個(gè)在圖16A和16B中示出。這些圖案的問題，以及Hamilton等所公開的所有其它圖案的問題， 是缺少圖14B和14C的像素配置。Kijima等(美國專利申請?zhí)?007/0177236)教導(dǎo)了大量CFA圖案，其中最相關(guān)的 CFA圖案在圖17中示出。盡管雙行全色像素在垂直方向提供了圖14C的配置，但是在圖17 中沒有并排的全色值這樣的水平配置。因此，存在對于帶有三個(gè)窄帶寬色彩通道和一個(gè)寬帶寬全色通道的四通道CFA圖案的需要，其具有足夠的色彩像素來提供充足的色彩空間分辨率、且以這樣的方法配置色彩像素容許丟失的全色值的有效的非線性內(nèi)插。發(fā)明概述根據(jù)本發(fā)明，提供了從濾色器陣列圖像形成全色輸出圖像的方法，所述濾色器陣列圖像具有多個(gè)色彩像素(含有至少兩個(gè)不同色彩響應(yīng))和全色像素，所述方法包括用于提供下列的一個(gè)或多個(gè)處理器a)使用包括感光像素二維陣列的圖像傳感器來捕捉色濾器陣列圖像，所述感光像素包括全色像素和具有至少兩個(gè)不同的色彩響應(yīng)的色彩像素，所述像素被配置成具有正方形最小重復(fù)單元的重復(fù)圖案，所述最小重復(fù)單元具有至少三行和三列，所述色彩像素沿所述最小重復(fù)單元的一個(gè)對角線而被配置，且所有其他像素是全色像素；b)從所述濾色器陣列圖像中計(jì)算經(jīng)內(nèi)插的全色圖像；C)從所述濾色器陣列圖像中計(jì)算經(jīng)內(nèi)插的色彩圖像；以及d)由所述經(jīng)內(nèi)插的全色圖像和所述經(jīng)內(nèi)插的色彩圖像形成全色彩輸出圖像。本發(fā)明的優(yōu)勢在于圖像的色彩空間分辨率在不需要增加傳感器中色彩像素相對于全色像素的百分比的情況下得到了改進(jìn)。本發(fā)明的進(jìn)一步優(yōu)勢在于在不需要增加色彩像素的頻譜帶寬以及相應(yīng)地降低圖像的色彩保真的情況下而實(shí)現(xiàn)圖像中圖像噪聲的減少。對以下對于優(yōu)選實(shí)施例的詳細(xì)描述和隨附的權(quán)利要求的閱讀、以及參看了相應(yīng)的附圖，本發(fā)明的這些和其他方面、目的、特征和優(yōu)勢將會(huì)得到更清晰地理解和察覺。附圖簡述圖1是用于實(shí)現(xiàn)本發(fā)明的數(shù)字照相機(jī)的框圖；圖2是現(xiàn)有技術(shù)的最小重復(fù)單元；
圖3是本發(fā)明的優(yōu)選實(shí)施例的最小重復(fù)單元；圖4是本發(fā)明的可選實(shí)施例的最小重復(fù)單元；圖5是本發(fā)明的優(yōu)選實(shí)施例的圖像處理鏈的概覽；圖6是在內(nèi)插全色圖像值中使用的相鄰的像素；圖7是在內(nèi)插色彩差異值中使用的相鄰的像素；圖8是在內(nèi)插色彩差異值中使用的相鄰的像素；圖9是在內(nèi)插色彩差異值中使用的相鄰的像素；圖10是示出本發(fā)明的優(yōu)選實(shí)施例的合并(fuse)圖像塊的詳細(xì)視圖的框圖；圖11是示出本發(fā)明的可選實(shí)施例的合并(fuse)圖像塊的詳細(xì)視圖的框圖；圖12是現(xiàn)有技術(shù)的最小重復(fù)單元；圖13A和圖13B是現(xiàn)有技術(shù)的最小重復(fù)單元；圖14A、圖14B和圖14C是現(xiàn)有技術(shù)的用于內(nèi)插全色圖像的相鄰的像素；圖15是現(xiàn)有技術(shù)的最小重復(fù)單元；圖16A和圖16B是現(xiàn)有技術(shù)的最小重復(fù)單元；以及圖17是現(xiàn)有技術(shù)的最小重復(fù)單元。
具體實(shí)施例方式在下列描述中，將以一般被實(shí)現(xiàn)為軟件程序的形式來描述本發(fā)明的優(yōu)選實(shí)施例。 本領(lǐng)域技術(shù)人員將明顯明白這樣的軟件的等效物也可用硬件構(gòu)建。由于圖像處理算法和系統(tǒng)是已知的，本發(fā)明的描述具體地涉及形成根據(jù)本發(fā)明的系統(tǒng)和算法的一部分、或者與根據(jù)本發(fā)明的系統(tǒng)和算法更直接地合作的算法和系統(tǒng)。用于產(chǎn)生或者處理其中涉及的圖像信號的這樣的算法和系統(tǒng)、以及硬件或軟件，在未在此處具體地圖示或描述的情況下，可從現(xiàn)有技術(shù)中已知的這樣的系統(tǒng)、算法、組件和部件中選擇。假定對于實(shí)現(xiàn)本發(fā)明有用的、在下列材料、軟件中根據(jù)本發(fā)明描述的、在此處沒有被具體地示出、提到或描述的系統(tǒng)是傳統(tǒng)的且落在本領(lǐng)域普通技術(shù)人員所知范圍內(nèi)。仍然進(jìn)一步，如此處所使用的，用于執(zhí)行本發(fā)明的方法計(jì)算機(jī)程序可被存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可包括，例如諸如磁盤(諸如硬盤或軟盤)或磁帶的磁存儲(chǔ)介質(zhì)；諸如光盤、光帶或機(jī)器可讀條形碼之類的光存儲(chǔ)介質(zhì)；諸如隨機(jī)存取存儲(chǔ)器(RAM)或只讀存儲(chǔ)器(ROM)之類的固態(tài)電子存儲(chǔ)器設(shè)備；或者用于存儲(chǔ)計(jì)算機(jī)程序的任何其他物理設(shè)備或介質(zhì)。由于采用成像設(shè)備和用于信號捕捉與修正、以及用于曝光控制的相關(guān)電路的數(shù)字照相機(jī)是已知的，本發(fā)明的描述具體涉及形成根據(jù)本發(fā)明的方法和裝置的一部分、或者與根據(jù)本發(fā)明的方法和裝置更直接地合作的部件。此處沒有具體示出或描述的部件從現(xiàn)有技術(shù)中那些選取。將要描述的實(shí)施例的特定方面以軟件形式而提供。假定對于實(shí)現(xiàn)本發(fā)明有用的、在下列材料、軟件中根據(jù)本發(fā)明示出、描述的、在此處沒有被具體地示出、描述或提到的系統(tǒng)是傳統(tǒng)的且落在本領(lǐng)域普通技術(shù)人員所知范圍內(nèi)?，F(xiàn)在轉(zhuǎn)向圖1，示出了實(shí)現(xiàn)本發(fā)明的圖像捕捉設(shè)備的框圖。在這個(gè)示例中，所示的圖像捕捉設(shè)備是數(shù)字照相機(jī)。然而，盡管將要解釋數(shù)字照相機(jī)，本發(fā)明清楚地可應(yīng)用于其他類型的圖像捕捉設(shè)備。在所公開的照相機(jī)中，來自對象場景10的光被輸入到成像級11，此處光由透鏡12聚焦來在固態(tài)濾色器陣列圖像傳感器20上形成圖像。濾色器陣列圖像傳感器20將入射光轉(zhuǎn)換為每一個(gè)圖像元素(像素)的電信號。優(yōu)選實(shí)施例的濾色器陣列圖像傳感器20是電荷耦合器件(CCD)類型或有源像素傳感器(APQ類型的。(APS器件經(jīng)常被稱為CMOS傳感器，因?yàn)榭梢栽诨パa(bǔ)金屬氧化物半導(dǎo)體過程來制造它們)。其他類型的具有二維像素陣列的圖像傳感器，如果采用了本發(fā)明的圖案，也可被使用。本發(fā)明中使用的濾色器圖像傳感器20包括色彩和全色像素的二維陣列，在本說明書中在圖1之后將會(huì)清晰地描述。到達(dá)濾色器陣列圖像傳感器20的光的量被使光圈孔徑變化的光圈塊14和包括置于光程中的一個(gè)或多個(gè)ND過濾器的中性密度(ND)過濾塊13所調(diào)節(jié)?？扉T18打開的時(shí)間也調(diào)節(jié)整個(gè)光的大小。曝光控制器40響應(yīng)由亮度傳感器塊16所測得的在場景中可獲得的光的量，并控制所有這三個(gè)調(diào)節(jié)功能。對于本領(lǐng)域技術(shù)人員而言對于具體照相機(jī)配置的描述是很熟悉的，且明顯的是存在很多變型和附加特征。例如，可添加自動(dòng)對焦系統(tǒng)，或者透鏡是可拆卸的和可互換的?？梢岳斫獾氖潜景l(fā)明可應(yīng)用到任何類型的數(shù)字照相機(jī)，可由可選組件來提供類似功能。例如， 數(shù)字照相機(jī)可以是相對簡單的對準(zhǔn)-拍攝數(shù)字照相機(jī)，其中快門18是相對簡單的可移動(dòng)的葉片快門等，而不是更復(fù)雜的焦面配置。還可使用包括在非照相機(jī)設(shè)備(諸如手機(jī)和汽車) 中的成像組件來實(shí)現(xiàn)本發(fā)明。用模擬信號處理器22來處理來自濾色器陣列圖像傳感器20的模擬信號，并將其應(yīng)用到模數(shù)(A/D)轉(zhuǎn)換器M中。時(shí)序發(fā)生器沈產(chǎn)生各種時(shí)鐘信號來選擇行和像素并同步模擬信號處理器22和A/D轉(zhuǎn)換器M的操作。圖像傳感器級觀包括濾色器陣列圖像傳感器20、模擬信號處理器22、A/D轉(zhuǎn)換器M和時(shí)序發(fā)生器26。圖像傳感器觀的組件可以是分別制造的集成電路，或者它們被制作為單個(gè)集成電路，正如通常對CMOS圖像傳感器所做的那樣。來自A/D轉(zhuǎn)換器M的所得的數(shù)字像素值流被存儲(chǔ)在與數(shù)字信號處理器(DSP) 36 相關(guān)聯(lián)的數(shù)字信號處理器(DSP)存儲(chǔ)器32上。DSP36是這個(gè)實(shí)施例中三個(gè)處理器或控制器之一，此外還有系統(tǒng)控制器50和曝光控制器40。盡管在多個(gè)控制器和處理器中，對照相機(jī)功能控制這樣加以區(qū)分是常見的，這些控制器或處理器可被以各種方式組合，而不影響照相機(jī)的功能操作和本發(fā)明的應(yīng)用。這些控制器或處理器可包括一個(gè)或多個(gè)數(shù)字信號處理器設(shè)備、微控制器、可編程邏輯設(shè)備或其他數(shù)字邏輯電路。盡管已經(jīng)描述了這樣的控制器或處理器的組合，明顯的是一個(gè)控制器或處理器可被指定為執(zhí)行所有所需要的功能。所有這些變型可執(zhí)行同樣的功能并落在本發(fā)明的保護(hù)范圍內(nèi)，且術(shù)語“處理級”可被按需使用來用一個(gè)詞組包括所有的這個(gè)功能，例如，在圖1的處理級38中。在圖示實(shí)施例中，DSP36根據(jù)永久地存儲(chǔ)在程序存儲(chǔ)器M中、并被復(fù)制到DSP存儲(chǔ)器32中在圖像捕捉時(shí)間段內(nèi)用于執(zhí)行的軟件程序來操作DSP存儲(chǔ)器32中的數(shù)字圖像數(shù)據(jù)。DSP36執(zhí)行用于實(shí)現(xiàn)圖18中所示的圖像處理所必要的軟件。DSP存儲(chǔ)器32可以是任何類型的隨機(jī)存取存儲(chǔ)器，諸如SDRAM。包括地址和數(shù)據(jù)信號的路徑(pattway)的總線30 將DSP36連接至其相關(guān)的DSP存儲(chǔ)器32、A/D轉(zhuǎn)換器M和其他相關(guān)的設(shè)備。系統(tǒng)控制器50基于存儲(chǔ)在程序存儲(chǔ)器M中的軟件程序來控制照相機(jī)的整體操作，所述程序存儲(chǔ)器可包括閃存EEPROM或者其他非易失性存儲(chǔ)器。還可使用這個(gè)存儲(chǔ)器來存儲(chǔ)圖像傳感器校準(zhǔn)數(shù)據(jù)、用戶設(shè)定選擇或者當(dāng)照相機(jī)被關(guān)閉的時(shí)候必須保存的其他數(shù)據(jù)。系統(tǒng)控制器50通過引導(dǎo)曝光控制器40來如上所述地操作透鏡12、ND過濾器塊13、光圈塊14和快門18、引導(dǎo)時(shí)序產(chǎn)生器沈來操作濾色器陣列圖像傳感器20和相關(guān)聯(lián)的部件、 以及引導(dǎo)DSP來處理所捕捉到的圖像數(shù)據(jù)而控制圖像捕捉的過程。在圖像被捕捉并被處理之后，存儲(chǔ)在DSP存儲(chǔ)器32中的最終圖像文件被經(jīng)由主機(jī)接口 57轉(zhuǎn)移到主機(jī)計(jì)算機(jī)中、存儲(chǔ)在可移動(dòng)存儲(chǔ)器卡64或其他存儲(chǔ)器設(shè)備上、以及在圖像顯示器88上顯示給用戶。系統(tǒng)控制器總線52包括用于地址、數(shù)據(jù)和控制信號的路徑，且將系統(tǒng)控制器50連接至DSP36、程序存儲(chǔ)器M、系統(tǒng)存儲(chǔ)器56、主機(jī)接口 57、存儲(chǔ)器卡接口 60和其他相關(guān)的設(shè)備。主機(jī)接口 57提供高度連接給個(gè)人計(jì)算機(jī)(PC)或者其他主機(jī)計(jì)算機(jī)，用于轉(zhuǎn)移圖像數(shù)據(jù)來顯示、存儲(chǔ)、操作或打印。這個(gè)接口可以是IEEE1394或USB2.0串行接口或者任何其他合適的數(shù)字接口。存儲(chǔ)器卡64 —般是插在存儲(chǔ)器卡槽62中的緊致閃存(CF)，且經(jīng)由存儲(chǔ)器卡接口 60被連接至系統(tǒng)控制器50。其他類型的可使用的存儲(chǔ)器，包括但不限于PC-卡、 多媒體卡(MMC)或者安全數(shù)字(SD)卡。將經(jīng)處理的圖像復(fù)制到系統(tǒng)存儲(chǔ)器56中的顯示緩存中，且經(jīng)由視頻編碼器80連續(xù)地讀取而產(chǎn)生視頻信號。這個(gè)信號直接地從照相機(jī)輸出用于顯示在外部監(jiān)視器上，或者由顯示控制器82處理并呈現(xiàn)在圖像顯示器88上。這個(gè)顯示器一般是有源矩陣液晶顯示器 (LCD)，盡管也可使用其他類型的顯示器。用戶接口 68 (包括取景器顯示器70、曝光顯示器72、狀態(tài)顯示器76、圖像顯示器 88和用戶輸入74的全部或者任何組合)受控于在曝光控制器40和系統(tǒng)控制器50上執(zhí)行的軟件程序的組合。用戶輸入74 —般包括按鈕、搖臂開關(guān)、操縱桿、旋轉(zhuǎn)撥號盤或觸摸屏。 曝光控制器40操作光測量、曝光模式、自動(dòng)對焦和其他曝光功能。系統(tǒng)控制器50管理在一個(gè)或多個(gè)顯示器(如，在圖像顯示器88上)上呈現(xiàn)的圖形用戶接口(⑶I)。⑶I 一般包括用于做出各種選項(xiàng)選擇的菜單，和用于檢查所捕捉的圖像的查看模式。曝光控制器40接收用戶輸入(用戶輸入選擇曝光模式、透鏡光圈、曝光時(shí)間(快門速度)和曝光指數(shù)或ISO速率)，并引導(dǎo)透鏡12和快門18用于隨后的捕捉。采用亮度傳感塊16來測量場景的亮度并為用戶提供曝光測量功能以供手動(dòng)地設(shè)定ISO速率、光圈和快門速度時(shí)加以參考。在這個(gè)情況下，當(dāng)用戶改變了一個(gè)或多個(gè)設(shè)定的時(shí)候，呈現(xiàn)在取景器顯示器70上的亮度測量指示器告訴用戶圖像將過度曝光或欠曝光的程度。在自動(dòng)曝光模式中，用戶改變一個(gè)設(shè)定且曝光控制器40自動(dòng)地改變另一個(gè)設(shè)定來保持修正曝光，如，對于給定的ISO速率，當(dāng)用戶減少透鏡光圈的時(shí)候，曝光控制器40自動(dòng)地增加曝光時(shí)間來保持同樣的整體曝光。ISO速率是數(shù)字靜態(tài)照相機(jī)的重要屬性。曝光時(shí)間、透鏡光圈、透鏡透射率、場景亮度的大小和頻譜分布以及場景反射確定了數(shù)字靜態(tài)照相機(jī)的曝光程度。當(dāng)使用不充足的曝光從數(shù)字靜態(tài)照相機(jī)處得到圖像的時(shí)候，通過增加電的或數(shù)字的增益可一般地維持合適的色調(diào)再現(xiàn)。當(dāng)曝光被增加的時(shí)候，減少增益，因此圖像噪聲可一般被降低到可接受的大小。如果曝光被過分地增加，圖像的光亮區(qū)域中所得到的信號可超過圖像傳感器或照相機(jī)信號處理的最大信號大小能力。這可導(dǎo)致圖像高亮部被裁減為均勻地亮的區(qū)域，或者發(fā)展為(bloom into)圖像的周圍區(qū)域。因此，重要的是在設(shè)定合適的曝光方面引導(dǎo)用戶。ISO 速率意在作為這樣的引導(dǎo)。為了被照相者容易理解，數(shù)字靜態(tài)照相機(jī)的ISO速率應(yīng)該直接地有關(guān)于照片膠片照相機(jī)的ISO速率。例如，如果數(shù)字靜態(tài)照相機(jī)具有ISO速率為IS0200， 那么同樣的曝光時(shí)間和光圈應(yīng)該合適于IS0200標(biāo)稱速率的膠片/處理系統(tǒng)。ISO速率意在與膠片的ISO速率相和諧。然而，在電和基于膠片的成像系統(tǒng)之間存在差異，這妨礙了精確的等同。數(shù)字靜態(tài)照相機(jī)可包括可變的增益、且可在圖像數(shù)據(jù)已經(jīng)被捕捉之后提供數(shù)字處理，確保色調(diào)重現(xiàn)在照相機(jī)曝光的范圍內(nèi)可實(shí)現(xiàn)。因此數(shù)字靜態(tài)照相機(jī)可能具有一段范圍的速率。這個(gè)范圍被定義為ISO速度緯度。為防止混淆，單個(gè)值被指定為固有的ISO速率，而用ISO速度緯度上限和下限來表示速度范圍，也就是，包括不同于固有ISO速率的有效速率的范圍。記住這個(gè)，固有的ISO速度是從提供在數(shù)字靜態(tài)照相機(jī)的焦面上的曝光而計(jì)算出來的數(shù)字值，用于產(chǎn)生特定的照相機(jī)輸出信號特性。固有速度一般是曝光指數(shù)值，對于給定照相機(jī)系統(tǒng)對標(biāo)準(zhǔn)場景產(chǎn)生峰值圖像質(zhì)量，此處曝光指數(shù)是數(shù)字值，與提供給圖像傳感器的曝光成反比。上述對數(shù)字照相機(jī)的描述對本領(lǐng)域技術(shù)人員是很熟悉的。明顯的是本實(shí)施例的很多變型是可能的，可選擇來降低成本、增加特征或改進(jìn)照相機(jī)的性能。上述描述詳細(xì)地公開了根據(jù)本發(fā)明，這個(gè)照相機(jī)用于捕捉圖像的操作。盡管本發(fā)明描述是參考了數(shù)字照相機(jī)，可以理解的是本發(fā)明可用于具有色彩和全色像素的圖像傳感器的任何類型的圖像捕捉設(shè)備。圖1中所示的濾色器陣列20，一般包括在硅襯底上制作的感光像素的二維陣列， 其提供了將在每一個(gè)像素上的進(jìn)入光轉(zhuǎn)換為所測得的電信號的途徑。當(dāng)濾色器陣列圖像傳感器20向光暴露的時(shí)候，在每一個(gè)像素處的電子結(jié)構(gòu)中產(chǎn)生并捕捉自由電子。在一段時(shí)間內(nèi)捕捉這些自由電子，然后測量所捕捉到的電子的數(shù)量，或者測量自由電子所產(chǎn)生的速率， 則可測量每一個(gè)像素處的光的大小。在前一種情況中，所累積的電荷從像素陣列移出到電荷-電壓測量電路(當(dāng)在電荷耦合器件(CCD)中時(shí))，或者鄰近每一個(gè)像素的區(qū)域可含有電荷-電壓測量電路的部件(當(dāng)在有源像素傳感器(APS或CMOS傳感器)中時(shí))。在下列敘述中不管何時(shí)參考到圖像傳感器，應(yīng)理解為代表來自圖1的濾色器陣列圖像傳感器20。進(jìn)一步可理解，圖像傳感器結(jié)構(gòu)的所有示例及其等效物以及在本描述中公開的本發(fā)明的像素圖案可被用于濾色器陣列圖像傳感器20。在圖像傳感器的上下文中，像素(“圖像元素”的縮寫)是指離散的光傳感區(qū)域和與該光傳感區(qū)域相關(guān)聯(lián)的電荷移動(dòng)或電荷測量電路。在數(shù)字色彩圖像的上下文中，術(shù)語像素一般是指圖像中具有相關(guān)聯(lián)的色彩值的特定位置。圖2是Bayer在美國專利3，971，065中描述的已知的濾色器陣列圖案的最小重復(fù)單元的示例。這個(gè)最小重復(fù)單元在濾色器陣列圖像傳感器20 (圖1)的表面上重復(fù)，藉此在每一個(gè)像素位置處產(chǎn)生紅色像素、綠色像素或藍(lán)色像素?？墒褂糜脠D2的濾色器陣列圖案由濾色器陣列圖像傳感器20(圖1)所產(chǎn)生的數(shù)據(jù)來以本領(lǐng)域技術(shù)人員已知的多種方法來產(chǎn)生全色彩圖像。Adams等在美國專利號5，506，619中描述了一個(gè)示例。圖3是本發(fā)明的優(yōu)選實(shí)施例的最小重復(fù)單元。這是具有沿一個(gè)對角線的色彩像素以及在其他地方的全色像素的3x3正方形像素陣列。在圖3中，色彩像素的對角線填充有紅色像素、綠色像素和藍(lán)色像素。圖3的這個(gè)最小重復(fù)單元在濾色器陣列圖像傳感器20(圖1) 的表面上重復(fù)，藉此在每一個(gè)像素位置處產(chǎn)生紅色像素、綠色像素、藍(lán)色像素或全色像素。圖4示出本發(fā)明的可選實(shí)施例的最小重復(fù)單元。這是具有沿一個(gè)對角線的色彩像素以及在其他地方的全色像素的4x4正方形像素陣列。在圖4中，色彩像素的對角線依序填充有綠色像素、紅色像素、綠色像素和藍(lán)色像素。圖4的這個(gè)最小重復(fù)單元在濾色器陣列圖像傳感器20(圖1)的表面上重復(fù)，藉此在每一個(gè)像素位置處產(chǎn)生或者紅色像素、綠色像素、藍(lán)色像素或全色像素。本發(fā)明可被一般化為除了相應(yīng)的在圖3和圖4中示出的3x3和虹4的CFA圖案之外的其他尺寸。在每一個(gè)情況下，像素可被配置成具有正方形最小重復(fù)單元的重復(fù)圖案，所述正方形最小重復(fù)單元具有至少三行和三列。CFA圖案中的色彩像素被沿最小重復(fù)單元的一個(gè)對角線配置，且所有的其他像素是全色像素?？梢愿鞣N圖案來配置沿最小重復(fù)單元的對角線的色彩像素。對于使用了三種類型的色彩像素和3x3最小重復(fù)單元的情況，諸如圖3中所示，這三個(gè)色彩的順序是任意的。對于4x4最小重復(fù)單元的情況，諸如圖4中所示，有兩個(gè)一種色彩的像素，對于其他兩個(gè)色彩的每一個(gè)有一個(gè)像素。對于三種類型的色彩像素是紅色、綠色和藍(lán)色的情況，一般期望具有如圖4中所示的一個(gè)紅色像素、兩個(gè)綠色像素和一個(gè)藍(lán)色像素。在優(yōu)選的在圖4中所示的4x4最小重復(fù)圖案中，綠色的像素可選地被紅色和藍(lán)色像素間隔開。在圖4中所示的優(yōu)選的4x4最小重復(fù)圖案中，沿著最小重復(fù)單元的對角線沒有全色像素。在可選配置中，沿著最小重復(fù)單元的對角線是一個(gè)紅色像素、一個(gè)綠色像素、一個(gè)藍(lán)色像素和一個(gè)全色像素。一般，期望的是沿對角線配置色彩像素的位置，從而最小化沿CFA圖案的對角線的同一色彩的色彩像素之間的最大距離。例如，在圖4中，綠色像素之間的最大距離是兩個(gè)像素(在對角線方向)。這個(gè)配置一般優(yōu)選于兩個(gè)綠色像素彼此相鄰的配置，后者可導(dǎo)致綠色像素之間的最大距離是三個(gè)像素。在圖3和4中所示的示例CFA圖案中的色彩像素是紅色、綠色和藍(lán)色。本領(lǐng)域技術(shù)人員可理解的是，根據(jù)本發(fā)明還可使用其他類型的色彩像素。例如，在本發(fā)明的可選實(shí)施例中，色彩像素可以是青色、品紅和黃色。在本發(fā)明的另一個(gè)實(shí)施例中，色彩像素可以是青色、黃色和綠色。在本發(fā)明的還有另一個(gè)實(shí)施例中，色彩像素可以是青色、品紅、黃色和綠色。還可使用其他類型和組合的色彩像素。圖5是根據(jù)本發(fā)明的優(yōu)選實(shí)施例，用于從諸如在圖3或圖4中所示的那些最小重復(fù)單元中產(chǎn)生的數(shù)據(jù)中產(chǎn)生全色彩輸出圖像的算法的高級示圖。圖像傳感器20(圖1)產(chǎn)生濾色器陣列圖像100。在濾色器陣列圖像100中，每一個(gè)圖像位置是紅色、綠色、藍(lán)色或者是全色像素，這由諸如在圖3或圖4中所示的那些最小重復(fù)單元所確定。內(nèi)插全色圖像塊 102從濾色器陣列圖像100產(chǎn)生經(jīng)內(nèi)插的全色圖像104。產(chǎn)生色彩差異塊108從濾色器陣列圖像100和經(jīng)內(nèi)插的全色圖像104產(chǎn)生色彩差異值110。內(nèi)插色彩差異圖像塊112從色彩差異值110產(chǎn)生經(jīng)內(nèi)插的色彩差異圖像114。產(chǎn)生經(jīng)內(nèi)插的色彩圖像塊106從經(jīng)內(nèi)插的全色圖像104和經(jīng)內(nèi)插的色彩差異圖像114而產(chǎn)生經(jīng)內(nèi)插的色彩圖像120。最后，合并圖像塊118從經(jīng)內(nèi)插的全色圖像104和經(jīng)內(nèi)插的色彩圖像120而產(chǎn)生全色彩輸出圖像116。圖6是為圖3中所示的CFA圖案的在內(nèi)插全色圖像塊104(圖5)所使用的相鄰的像素的詳細(xì)示圖。在圖6中，C1X4X7 Ca和Cd是指來自濾色器陣列圖像100(圖5)的同樣的色彩值的色彩像素值。在圖6中，在C7的上面、下面、左面和右面有兩個(gè)相鄰的全色像素值。為了產(chǎn)生經(jīng)內(nèi)插的全色值P' 7，執(zhí)行下列計(jì)算。h =P6-P51+ IP8-P6I+ IP9-P8I+ a C4-2C7+CA|
VP3-P21+ IPb-P3I+ |Pc-PBl + a cr2C7+cD
11-P5+4P6+4P8-P9 . -C4+2C7-Ca --+ OC
權(quán)利要求
1.從濾色器陣列圖像形成全色彩輸出圖像的方法，所述濾色器陣列圖像具有多個(gè)色彩像素和全色像素，該多個(gè)色彩像素含有至少兩種不同色彩響應(yīng)，所述方法包括用于提供下列的一個(gè)或多個(gè)處理器a)使用包括感光像素二維陣列的圖像傳感器來捕捉色濾器陣列圖像，所述感光像素包括全色像素和具有至少兩種不同的色彩響應(yīng)的色彩像素，按照具有正方形最小重復(fù)單元的重復(fù)圖案配置所述像素，所述最小重復(fù)單元具有至少三行和三列，所述色彩像素沿所述最小重復(fù)單元的一個(gè)對角線而配置，且所有其他像素是全色像素；b)從所述濾色器陣列圖像計(jì)算經(jīng)內(nèi)插的全色圖像；c)從所述濾色器陣列圖像計(jì)算經(jīng)內(nèi)插的色彩圖像；以及d)從所述經(jīng)內(nèi)插的全色圖像和所述經(jīng)內(nèi)插的色彩圖像形成全色彩輸出圖像。
2.如權(quán)利要求1所述的方法，其特征在于，步驟c)還包括在計(jì)算所述經(jīng)內(nèi)插的色彩圖像的過程中使用所述經(jīng)內(nèi)插的全色圖像。
3.如權(quán)利要求2所述的方法，其特征在于計(jì)算所述經(jīng)內(nèi)插的色彩圖像的過程包括使用從所述經(jīng)內(nèi)插的全色圖像和所述濾色器陣列圖像形成的色彩差異值而形成經(jīng)內(nèi)插的色彩差異圖像。
4.如權(quán)利要求1所述的方法，其特征在于，步驟d)還包括i)對所述經(jīng)內(nèi)插的全色圖像應(yīng)用高通濾波器來形成高頻全色圖像； )對所述經(jīng)內(nèi)插的色彩圖像應(yīng)用低通濾波器來形成低頻色彩圖像；以及iii)合并所述高頻全色圖像和所述低頻色彩圖像來形成所述全色彩輸出圖像。
5.如權(quán)利要求1所述的方法，其特征在于，步驟d)還包括i)對所述經(jīng)內(nèi)插的全色圖像執(zhí)行金字塔分解來形成全色圖像金字塔； )對所述經(jīng)內(nèi)插的色彩圖像執(zhí)行金字塔分解來形成色彩圖像金字塔；iii)合并所述全色圖像金字塔和所述色彩圖像金字塔來形成輸出圖像金字塔；以及iv)從所述輸出圖像金字塔來形成所述全色彩輸出圖像。
6.如權(quán)利要求5所述的方法，其特征在于，所述步驟iii)包括對所述全色圖像金字塔的每一級別各應(yīng)用高通濾波器來形成高頻全色圖像金字塔、對所述色彩圖像金字塔的每一級別各應(yīng)用低通濾波器來形成低頻色彩圖像金字塔，并合并所述高頻全色圖像金字塔和所述低頻色彩圖像金字塔的每一個(gè)級別來形成所述輸出圖像金字塔。
7.如權(quán)利要求1所述的方法，其特征在于，所述色彩像素包括紅、綠和藍(lán)色像素。
8.如權(quán)利要求1所述的方法，其特征在于，所述色彩像素包括青、品紅和黃色像素。
9.如權(quán)利要求1所述的方法，其特征在于，所述最小重復(fù)單元具有三行和三列，且其中所述最小重復(fù)單元的一個(gè)對角線具有一個(gè)紅色像素、一個(gè)綠色像素和一個(gè)藍(lán)色像素。
10.如權(quán)利要求1所述的方法，其特征在于，所述最小重復(fù)單元具有四行和四列，且其中所述最小重復(fù)單元的一個(gè)對角線具有一個(gè)紅色像素、兩個(gè)綠色像素和一個(gè)藍(lán)色像素。
11.如權(quán)利要求10所述的方法，其特征在于，所述兩個(gè)綠色像素由紅色像素或者藍(lán)色像素分隔開。
12.如權(quán)利要求1所述的方法，其特征在于，所述色彩像素沿著所述對角線的位置被配置為使同一種色彩的色彩像素之間的最大距離最小化。
13.如權(quán)利要求1所述的方法，其特征在于，在所述最小重復(fù)單元的含有色彩像素的對角線上沒有全色像素。
全文摘要
從含有具有至少兩個(gè)不同色彩相響應(yīng)的多個(gè)色彩像素和全色像素的濾色器陣列圖像中形成全色彩輸出圖像的方法，包括使用含有全色像素和具有至少兩個(gè)不同色彩響應(yīng)的色彩像素的圖像傳感器來捕捉濾色器陣列圖像，所述像素被配置為具有至少三行和三列的正方形最小重復(fù)單元的重復(fù)圖案，所述色彩像素沿所述最小重復(fù)單元的一個(gè)對角線而配置，所有其他像素是全色像素；從所述濾色器陣列圖案計(jì)算經(jīng)內(nèi)插的全色圖像；從所述濾色器陣列圖案計(jì)算經(jīng)內(nèi)插的色彩圖像；以及從經(jīng)內(nèi)插的全色圖像和經(jīng)內(nèi)插的色彩圖像形成全色彩輸出圖像。
文檔編號H04N9/04GK102450020SQ201080023844
公開日2012年5月9日 申請日期2010年5月27日 優(yōu)先權(quán)日2009年5月28日
發(fā)明者B·H·費(fèi)爾曼, J·A·漢米爾頓, J·E·小亞當(dāng)斯, M·庫瑪 申請人:美商豪威科技股份有限公司