專利名稱：四通道濾色片陣列圖案的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從具有彩色通道及全色通道的濾色片陣列圖像產(chǎn)生具有經(jīng)改良的空間分辨率的全色圖像。
背景技術(shù)：
單一傳感器數(shù)碼相機利用濾色片陣列(CFA)來捕捉來自單個二維光敏像素陣列的全色信息。該CFA包含過濾各像素所檢測到的光的濾色片陣列。因此，各像素僅從一種色彩接收光，或在全色或‘透明’濾光器的情況下，從所有色彩接收光。為了從該CFA圖像重現(xiàn)全色圖像，必須在每個像素位置處產(chǎn)生三個色彩值。這藉由從鄰近像素值內(nèi)插丟失色彩值來完成。最為熟知的CFA圖案使用如由Bayer (美國專利No. 3971065)所描述且如圖2所示的三個彩色通道。Bayer CFA具有實現(xiàn)全色重現(xiàn)能力的三個彩色通道。然而，該三個通道的準確光譜響應(yīng)(“色彩”)代表折衷。為了改良色彩保真度并擴展可由該CFA捕捉的色彩范圍(亦即，色域)，需使這些光譜響應(yīng)具更多的選擇性(“收窄”)。此具有減少到達像素的光的總量且因此降低像素對光的靈敏度的副作用。因而，像素值變得更易受來自非成像源的噪聲(例如，熱噪聲)的影響。一種對該噪聲問題的解決方法是使該CFA光譜響應(yīng)具更少的選擇性(“加寬”)以增加到達該像素的光的總量。然而，這伴隨著減小色彩保真度的副作用而發(fā)生。一種對此三通道CFA限制的解決方案是采用由具有“狹窄”光譜靈敏度的三種色彩及具有“寬”光譜靈敏度的一種彩色組成的四通道CFA。將對光的全譜靈敏的“最寬的” 此通道將是全色的或“透明的”。該三個“窄帶”彩色通道將產(chǎn)生具有較高的彩色保真度和較低的空間分辨率的圖像，而第四“寬帶”全色通道將產(chǎn)生具有較低的噪聲及較高的空間分辨率的圖像。接著這些高色彩保真度、低空間分辨率及低噪聲、高空間分辨率圖像將合并為最終的高色彩保真度、低噪聲、高空間分辨率圖像。為了產(chǎn)生高空間分辨率全色圖像，同時維持這些彩色像素的高色彩保真度，必須適當(dāng)?shù)剡x擇在該CFA內(nèi)的全色像素的數(shù)目和排列及對應(yīng)的內(nèi)插算法。在現(xiàn)有技術(shù)中存在在這方面具有一個或多個缺點的多個示例。Frame (美國專利No. 701沈43)教示如

圖12所示的CFA，該CFA在9x9正方形全色⑵像素內(nèi)僅具有單個的紅色(R)、綠色(G)、藍色⑶像素。Frame的問題是所得的色彩空間分辨率太低以致除產(chǎn)生最低頻率色彩細節(jié)之外，未能在該圖像中產(chǎn)生所有的色彩細節(jié)。Yamagami等人(美國專利No. 5323233)描述如圖13A及圖1 所示的具有相同數(shù)量的全色像素及彩色像素的兩種CFA圖案，從而避免Frame的缺點。Yamagami等人繼續(xù)教示將簡單的雙線性內(nèi)插用作為用于內(nèi)插這些丟失的全色值的技術(shù)。線性內(nèi)插方法(諸如雙線性內(nèi)插)的單獨使用強有力地限制該經(jīng)內(nèi)插圖像的空間分辨率。諸如Adams等人(美國專利No. 5506619)描述的非線性方法在該CFA圖案允許其使用的條件下產(chǎn)生較高空間分辨率的經(jīng)內(nèi)插圖像。圖14A例示Adams等人所使用的圖案。在圖2所示的三通道系統(tǒng)中提供高空間頻率分辨率的綠色(R)像素在中央彩色像素周圍在水平方向及垂直方向兩者上與彩色(C)像素交替。重要的是注意這些彩色像素都是相同色彩(例如，紅色像素)。圖14B 示出使用全色(P)像素代替綠色像素的類似圖案。此時應(yīng)注意的是，對于四通道系統(tǒng)，不可能以圖14B顯示的圖案在跨傳感器的所有彩色(R、G及B)像素位置處出現(xiàn)的方式排列所有四個通道(R、G、B及P)。因此，任何可能的排列將是以此方式的一些折衷。關(guān)于Yamagami 等人，圖13A具有如圖14B中所排列的綠色及全色像素，但未如此排列紅色及藍色像素。在圖14B之后，諸如圖14C中的排列較佳，但圖13A關(guān)于紅色及藍色像素皆不具有此排列。圖 13B對于任何彩色像素不具有圖14B或圖14C的圖案。Tanaka等人(美國專利No. 4437112) 描述多個CFA圖案，其中與此討論最相關(guān)的圖案是圖15。在圖15中青色(C)、黃色(Y)、綠色(G)及全色(P)像素被排列成使得這些綠色像素被圖14C中顯示的鄰域環(huán)繞。然而，這些黃色及青色像素不符合圖14B或圖14C的圖案。由Tanaka等人所教示的其他圖案存在相同困難。Hamilton等人(美國專利申請No. 2007/00M879)教示大量CFA圖案，在圖16A及圖16B中顯示其中的兩種圖案。這些以及Hamilton等人所揭示的所有其他圖案的缺點是缺乏圖14B及圖14C像素排列。Kijima等人(美國專利申請No. 2007/0177236)描述大量CFA圖案，其中最相關(guān)的 CFA圖案被顯示在圖17中。雖然全色像素的雙行在垂直方向上提供圖14C排列，但在圖17 中不存在并排全色值的此水平排列。因此，存在對具有三窄帶彩色通道及具有足夠彩色像素的一個寬帶全色通道的四通道CFA圖案的需要，以提供充足的色彩空間分辨率且以允許這些丟失的全色值的有效非線性內(nèi)插的方式排列。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供一種用于捕捉彩色圖像的圖像傳感器，包括二維光敏像素陣列， 這些光敏像素包含全色像素及具有至少兩種不同色彩響應(yīng)的彩色像素，這些像素以具有正方形最小重復(fù)單元的重復(fù)圖案排列，該正方形最小重復(fù)單元具有至少三行和三列，這些彩色像素沿著該最小重復(fù)單元的諸對角線之一排列，且所有其他像素都是全色像素。本發(fā)明的優(yōu)點是在無需增加該傳感器內(nèi)彩色像素相對于全色像素的百分比的情況下改良圖像的色彩空間分辨率。本發(fā)明的另一優(yōu)點是在無需隨圖像的彩色保真度的對應(yīng)減少增大這些彩色像素的光譜帶寬的情況下實現(xiàn)圖像中彩色噪聲的減少。從以下對較佳實施例的詳細描述及所附權(quán)利要求的查看并通過參考附圖，將更清楚地了解及明白本發(fā)明的這一及其他方面、目標、特征及優(yōu)點。附圖簡述圖1是用于實現(xiàn)本發(fā)明的數(shù)碼相機的框圖；圖2是來自現(xiàn)有技術(shù)的最小重復(fù)單元；圖3是本發(fā)明的較佳實施例的最小重復(fù)單元；圖4是本發(fā)明的替代實施例的最小重復(fù)單元；圖5是本發(fā)明的較佳實施例的圖像處理鏈的概覽；
圖6是在內(nèi)插全色圖像值時使用的像素鄰域；圖7是在內(nèi)插彩色差值中使用的像素鄰域；圖8是在內(nèi)插彩色差值中使用的像素鄰域；圖9是在內(nèi)插彩色差值中使用的像素鄰域；圖10是顯示本發(fā)明的較佳實施例的融合圖像區(qū)塊的詳細圖的框圖；圖11是顯示本發(fā)明的替代實施例的融合圖像區(qū)塊的詳細圖的框圖；圖12是來自現(xiàn)有技術(shù)的最小重復(fù)單元；圖13A及圖1 是來自現(xiàn)有技術(shù)的最小重復(fù)單元；圖14A、圖14B及圖14C是來自現(xiàn)有技術(shù)的用于內(nèi)插全色圖像值的像素鄰域；圖15是來自現(xiàn)有技術(shù)的最小重復(fù)單元；圖16A及圖16B是來自現(xiàn)有技術(shù)的最小重復(fù)單元；以及圖17是來自現(xiàn)有技術(shù)的最小重復(fù)單元。本發(fā)明的具體描述在以下描述中，從通常將實現(xiàn)為軟件程序方面描述本發(fā)明的較佳實施例。本領(lǐng)域技術(shù)人員將容易理解亦可用硬件構(gòu)建此軟件的等效物。因為圖像處理算法及系統(tǒng)是公知的，所以本描述將尤其涉及形成根據(jù)本發(fā)明的系統(tǒng)及方法的部分或更直接地與該系統(tǒng)及方法協(xié)作的算法及系統(tǒng)?？蓮谋绢I(lǐng)域已知的這些系統(tǒng)、算法、組件及元件中選擇本文中未具體顯示或描述的這些算法及系統(tǒng)的其他方面、用于產(chǎn)生及以其他方式處理與之有關(guān)的圖像信號的硬件或軟件。在如在以下材料中根據(jù)本發(fā)明所描述的系統(tǒng)的情況下，對本發(fā)明的實現(xiàn)有用的本文中未具體顯示、建議或描述的軟件是公知的且在這些技術(shù)的一般技術(shù)范圍之內(nèi)。再者，可在計算機可讀存儲介質(zhì)中存儲用于執(zhí)行本發(fā)明的方法的計算機程序，舉例而言，該計算機可讀存儲介質(zhì)可包含諸如磁盤(諸如硬盤或軟盤)或磁帶的磁存儲介質(zhì)； 諸如光盤、光帶或機器可讀條形碼的光學(xué)存儲介質(zhì)；諸如隨機存取存儲器(RAM)或只讀存儲器(ROM)的固態(tài)電子存儲器件；或用以存儲計算機程序的任何其他實體裝置或介質(zhì)。因為利用成像裝置及相關(guān)電路系統(tǒng)來進行信號捕捉及校正及曝光控制的數(shù)碼相機是公知的，所以本描述將尤其涉及形成根據(jù)本發(fā)明的方法及裝置的部分或更直接地與該方法及裝置協(xié)作的元件。本文未具體顯示或描述的元件選自本領(lǐng)域已知的元件。用軟件提供要描述的實施例的某些方面。在如以下材料中根據(jù)本發(fā)明所顯示和描述的系統(tǒng)的情況下，對本發(fā)明的實現(xiàn)有用的本文未具體顯示、描述或建議的軟件是常規(guī)的且在這些技術(shù)的般技術(shù)范圍之內(nèi)。現(xiàn)參考圖1，顯示具體實施本發(fā)明的圖像捕捉器件的框圖。在此示例中，將該圖像捕捉器件示為數(shù)碼相機。然而，雖然現(xiàn)將解釋數(shù)碼相機，但本發(fā)明亦明顯適用于其他類型的圖像捕捉器件。在所揭示的相機中，將來自主體場景的光10輸入至成像臺11，其中由透鏡 12聚焦該光以在固態(tài)濾色片陣列圖像傳感器20上形成圖像。濾色片陣列圖像傳感器20針對各圖像元素(像素)將入射光轉(zhuǎn)換為電子信號。該較佳實施例的濾色片陣列圖像傳感器 20是電荷耦合器件(CCD)類型或有源像素傳感器(APQ類型。(由于在互補金屬氧化物半導(dǎo)體工藝中制造APS器件的能力，通常將APS器件稱為CMOS傳感器。)在具有二維像素陣列的其他類型的圖像傳感器采用本發(fā)明的這些圖案的條件下，亦可使用這些其他類型的圖像傳感器。供在本發(fā)明中使用的濾色片陣列圖像傳感器20包括二維彩色像素及全色像素陣列，其在描述圖1之后將在本說明書中的下文變得清晰。藉由改變孔徑的光圈塊14及包含穿插于光學(xué)路徑中的一個或多個中性密度(ND) 濾光器的中性密度(ND)濾光器塊13，調(diào)節(jié)到達該濾色片陣列圖像傳感器20的光量。并且調(diào)節(jié)總光能級的時間是在快門18打開之時。曝光控制器40對由亮度傳感器塊16所測量的場景中可獲得的光量作出響應(yīng)，并控制所有三種這些調(diào)節(jié)功能。特定相機配置的此描述將為本領(lǐng)域技術(shù)人員所熟悉，且將顯然的是存在許多變體及附加特征。例如，可增加自動聚焦系統(tǒng)，或透鏡可為可拆卸的及可互換的。應(yīng)了解本發(fā)明可應(yīng)用于任何類型的數(shù)碼相機，其中藉由替代組件提供類似功能性。例如，該數(shù)碼相機可為相對簡單的對準即拍數(shù)碼相機，其中快門18是相對簡單的可移動葉片快門或類似物，代替更復(fù)雜的焦平面配置。亦可使用在諸如移動電話及機動車輛的非相機器件中所包含的成像組件實踐本發(fā)明。藉由模擬信號處理器22處理來自濾色片陣列圖像傳感器20的模擬信號且將該模擬信號施加于模數(shù)(A/D)轉(zhuǎn)換器M。時序產(chǎn)生器沈產(chǎn)生各種時鐘信號以選擇行及像素并使模擬信號處理器22與A/D轉(zhuǎn)換器M的操作同步。圖像傳感器臺觀包括濾色片陣列圖像傳感器20、模擬信號處理器22、A/D轉(zhuǎn)換器M及時序產(chǎn)生器26。圖像傳感器臺觀的組件可為單獨制造的集成電路，或可將它們制造為通常由CMOS圖像傳感器完成的單一集成電路。將來自A/D轉(zhuǎn)換器M的所得數(shù)碼像素值流存儲在與數(shù)字信號處理器(DSP) 36相關(guān)聯(lián)的數(shù)字信號處理器(DSP)存儲器32中。在本實施例中，除系統(tǒng)控制器50及曝光控制器40之外，該DSP 36是三個處理器或控制器之一。雖然多個控制器及處理器之間的相機功能控制的此劃分是典型的，但可以各種方式組合這些控制器或處理器而不影響該相機的功能操作及本發(fā)明的應(yīng)用。這些控制器或處理器可包括一個或多個數(shù)碼信號處理器器件、微控制器、可編程邏輯器件、或其他數(shù)字邏輯電路。雖然已描述這些控制器或處理器的組合，但應(yīng)明白一個控制器或處理器可被指定以執(zhí)行所有所需功能。所有這些變體可執(zhí)行相同功能且落在本發(fā)明范疇之內(nèi)，且將根據(jù)需要使用術(shù)語“處理階段”來將所有此功能涵蓋在一短語中(例如，如圖1中的處理階段坳。在所例示的實施例中，DSP 36根據(jù)永久地存儲在程序存儲器M中且被復(fù)制至DSP 存儲器32以供在圖像捕捉期間執(zhí)行的軟件程序，來處理DSP存儲器32中的數(shù)字圖像數(shù)據(jù)。 DSP 36執(zhí)行實現(xiàn)圖18所示的圖像處理所需的軟件。DSP存儲器32可為任何類型的隨機存取存儲器(諸如，SDRAM)。包含地址及數(shù)據(jù)信號的路徑的總線30將DSP 36連接至其相關(guān) DSP存儲器32、A/D轉(zhuǎn)換器M及其他相關(guān)器件。系統(tǒng)控制器50基于存儲在程序存儲器M中的軟件程序控制相機的整體操作，該程序存儲器M可包含閃存EEPROM或其他非易失性的存儲器。此存儲器亦可用以存儲圖像傳感器校準數(shù)據(jù)、用戶設(shè)定選擇及當(dāng)相機關(guān)閉時必須保存的其他數(shù)據(jù)。系統(tǒng)控制器50藉由引導(dǎo)曝光控制器40操作先前描述的透鏡12、ND濾光器塊13、光圈塊14、及快門18 ；藉由引導(dǎo)該時序產(chǎn)生器26操作濾色片陣列圖像傳感器20及相關(guān)聯(lián)元件，并引導(dǎo)DSP 36處理所捕捉的圖像數(shù)據(jù)來控制圖像捕捉的序列。在捕捉及處理圖像之后，存儲在DSP存儲器32中的最終圖像文件經(jīng)由主機接口 57傳送至主機計算機，存儲在可移動存儲卡64或其他存儲器件中，并在圖像顯示器88上顯示給用戶。系統(tǒng)控制器總線52包含地址、數(shù)據(jù)及控制信號的路徑，且將系統(tǒng)控制器50連接至 DSP 36、程序存儲器M、系統(tǒng)存儲器56、主機接口 57、存儲卡接口 60及其他相關(guān)器件。主機接口 57對個人計算機(PC)或其他主機計算機提供高速連接以傳送圖像數(shù)據(jù)用于顯示、 存儲、操縱或打印。此接口可為IEEE1394或USB2.0串行接口或任何其他適當(dāng)?shù)臄?shù)字接口。 存儲卡64通常是插入存儲卡插座62并經(jīng)由存儲卡接口 60連接至系統(tǒng)控制器50的緊湊型閃存(CF)卡?？衫玫钠渌愋偷拇鎯ζ靼?無限制)個人計算機卡(PC-Card)、多媒體卡(MMC)、或安全數(shù)字(SD)卡。將經(jīng)處理圖像復(fù)制至在系統(tǒng)存儲器56中的顯示緩沖器且經(jīng)由視頻編碼器80持續(xù)地讀取這些經(jīng)處理圖像以產(chǎn)生視頻信號。從該相機中直接輸出此信號以顯示在外部監(jiān)視器上，或藉由顯示控制器82處理此信號且在圖像顯示器88上呈現(xiàn)該信號。此顯示器通常是有源矩陣彩色液晶顯示器(LCD)，然而亦使用其他類型的顯示器。藉由在曝光控制器40及系統(tǒng)控制器50上執(zhí)行的軟件程序的組合來控制包括取景器顯示器70、曝光顯示器72、狀態(tài)顯示器76、圖像顯示器88及用戶輸入74的所有或任何組合的用戶接口 68。用戶輸入74通常包括按鈕、搖臂開關(guān)、操縱桿、旋轉(zhuǎn)式撥盤或觸控幕的一些組合。曝光控制器40操作光測量、曝光模式、自動聚焦及其他曝光功能。該系統(tǒng)控制器 50管理在這些顯示器的一個或多個(例如，圖像顯示器88)上呈現(xiàn)的圖形用戶接口(⑶I)。 該GUI通常包括用于做出各種選項選擇的菜單及用于查閱所捕捉圖像的檢查模式。曝光控制器40接受選擇曝光模式、透鏡孔徑、曝光時間(快門速度)、及曝光指數(shù)或ISO感光速率的用戶輸入，且因此引導(dǎo)透鏡12及快門18進行后續(xù)捕捉。該亮度傳感器塊 16被用來測量場景亮度且提供曝光表功能以供用戶在手動設(shè)定該ISO感光速度、孔徑及快門速度時參考。在此情況下，隨著用戶改變一個或多個設(shè)定，在取景器顯示器70上呈現(xiàn)的光表指示項告訴用戶圖像將會過度曝光或曝光不足到何種程度。在自動曝光模式中，用戶改變一設(shè)定且曝光控制器40自動更改另一設(shè)定以維持正確的曝光，例如，針對給定ISO感光速度，當(dāng)用戶減小透鏡孔徑時，曝光控制器40自動增加曝光時間以維持相同的總曝光。該ISO感光速度是數(shù)字靜態(tài)相機的重要屬性。曝光時間、透鏡孔徑、透鏡透光度、 場景照明的能級和光譜分布、以及場景反射率確定數(shù)字靜態(tài)相機的曝光能級。當(dāng)使用不足曝光獲得來自數(shù)字靜態(tài)相機的圖像時，通常可藉由增加電子或數(shù)字增益維持適當(dāng)?shù)纳{(diào)重現(xiàn)，但所得圖像通常包含不可接受的噪聲量。隨著曝光增加，增益減少，且因此通?？蓪D像噪聲減少至可接受的水平。若過分地增加曝光，則在圖像的明亮區(qū)域中的所得信號可超過圖像傳感器或相機信號處理的最大信號能級容量。此可導(dǎo)致修剪圖像高亮以形成均勻明亮區(qū)域，或“暈入”圖像的周圍區(qū)域。因此，指導(dǎo)用戶設(shè)定適當(dāng)?shù)钠毓馐侵匾?。ISO感光速度旨在充當(dāng)此指導(dǎo)。為了使攝影師更易了解，數(shù)字靜態(tài)相機的ISO感光速度應(yīng)直接相關(guān)于照相膠片相機的ISO感光速度。例如，若數(shù)字靜態(tài)相機具有ISO 200的ISO感光速度，則相同曝光時間及孔徑應(yīng)適合用于經(jīng)ISO感光200的膠片/處理系統(tǒng)。該ISO感光速度旨在協(xié)調(diào)膠片ISO感光速度。然而，排除準確等效性的電子成像系統(tǒng)與基于膠片的成像系統(tǒng)之間存在差異。數(shù)字靜態(tài)相機可包含可變增益，且可在已捕捉到圖像數(shù)據(jù)之后提供數(shù)字處理，從而使得在相機曝光的范圍內(nèi)能實現(xiàn)色調(diào)重現(xiàn)。因此數(shù)字靜態(tài)相機可能具有一感光速度范圍。將此范圍定義為ISO速度寬容度(latitude)。為防止混淆，將單一值指定為固有ISO感光速度，其中該ISO速度寬容度上限及下限指示該速度范圍，即，包含不同于該固有ISO速度的有效感光速度的范圍。有了此概念，該固有ISO速度是從在數(shù)字靜態(tài)相機的焦平面上提供的曝光計算出的數(shù)值，用以產(chǎn)生指定相機輸出信號特性。該固有速度通常是針對正常場景產(chǎn)生給定相機系統(tǒng)的峰值圖像品質(zhì)的曝光指數(shù)值，其中該曝光指數(shù)是與提供給圖像傳感器的曝光成反比的數(shù)值。數(shù)碼相機的先前描述將為本領(lǐng)域技術(shù)人員所熟悉。顯然存在此實施例的許多變體，這些變體是可能的且被選擇成降低成本，增加特征或改良相機的性能。以下描述將根據(jù)本發(fā)明詳細揭示用于捕捉圖像的相機的操作。雖然此描述相關(guān)于數(shù)字相機，但應(yīng)了解本發(fā)明適于與具有具彩色及全色像素的圖像傳感器的任何類型的圖像捕捉器件一起使用。在圖1所示的濾色片陣列圖像傳感器20通常包括在硅基板上制造的二維光敏像素陣列，這些光敏像素提供將在各像素上的入射光轉(zhuǎn)換成所測量的電子信號的方法。當(dāng)濾色片陣列圖像傳感器20被曝露于光時，自由電子產(chǎn)生且被捕捉到各像素處的電子結(jié)構(gòu)內(nèi)。 捕捉這些自由電子持續(xù)某一時段，然后測量捕捉到的電子的數(shù)目，或測量產(chǎn)生自由電子的速率可測量在各像素處的光能級。在先前情況下，所累積的電荷從像素陣列中移出至如在電荷耦合器件(CCD)中的電荷-電壓測量電路，或者接近各像素的區(qū)域可包含如在有源像素傳感器(APS或CMOS傳感器)中的電荷-電壓測量電路的元件。每當(dāng)在以下描述中通指圖像傳感器時，應(yīng)了解表示的是來自圖1的濾色片陣列圖像傳感器20。應(yīng)進一步了解在本說明書中揭示的本發(fā)明的圖像傳感器架構(gòu)及像素圖案的所有示例及其等效物是用于濾色片陣列圖像傳感器20。在圖像傳感器的背景中，像素(“圖像元素”的縮寫)是指離散光感測區(qū)域及與該光感測區(qū)域相關(guān)聯(lián)的電荷移動或電荷測量電路系統(tǒng)。在數(shù)字彩色圖像的背景中，術(shù)語像素般指在具有相關(guān)聯(lián)彩色值的圖像中的特定位置。圖2是由Bayer在美國專利No. 3，971，065中描述的公知濾色片陣列圖案的最小重復(fù)單元的示例。在濾色片陣列傳感器20 (圖1)的表面上重復(fù)最小重復(fù)單元，由此在各像素位置產(chǎn)生紅色像素、綠色像素、或藍色像素。由濾色片陣列傳感器20 (圖1)產(chǎn)生的數(shù)據(jù)與圖2的濾色片陣列圖案可用于以本領(lǐng)域技術(shù)人員所知的許多方法產(chǎn)生全色圖像。Adams 等人在美國專利5，506，619描述一示例。圖3是本發(fā)明的較佳實施例的最小重復(fù)單元。它是具有沿著諸對角線之一的彩色像素及別處的全色像素的3X3正方形像素陣列。在圖3中，用紅色像素、綠色像素及藍色像素填充彩色像素的對角線。在濾色片陣列傳感器20(圖1)的表面上重復(fù)圖3的此最小重復(fù)單元，由此在各像素位置產(chǎn)生紅色像素、綠色像素、藍色像素、或全色像素。圖4顯示本發(fā)明的替代實施例的最小重復(fù)單元。它是具有沿著諸對角線之一的彩色像素及別處的全色像素的4X4正方形像素陣列。在圖4中，用綠色像素、紅色像素、綠色像素及藍色像素的順序填充彩色像素的對角線。在濾色片陣列傳感器20 (圖1)的表面上重復(fù)圖4的此最小重復(fù)單元，由此在各像素位置產(chǎn)生紅色像素、綠色像素、藍色像素或全色像素?？蓪⒈景l(fā)明歸納為除分別在圖3和4中顯示的3X3圖案及4X4圖案之外的其他大小的CFA圖案。在各情況下，這些像素將以具有具至少三行和三列的正方形最小重復(fù)單元的重復(fù)圖案排列。該CFA圖案中的這些彩色像素沿著最小重復(fù)單元的這些對角線之一排列，且所有其他像素都是全色像素?？梢愿鞣N圖案排列沿著最小重復(fù)圖案的對角線的彩色像素。對于諸如在圖3中顯示的存在三種類型的彩色像素及使用3X3最小重復(fù)單元的情況，這三種色彩的順序是隨意的。對于諸如在圖4中顯示的4X4最小重復(fù)單元的情況，將存在一種色彩的兩個像素及其他兩種色彩的每一種的一個像素。對于三種類型的彩色像素是紅色、綠色及藍色的情況， 通常將希望具有如圖4顯示的一個紅色像素、兩個綠色像素及一個藍色像素。在圖4中顯示的較佳4X4最小重復(fù)圖案中，紅色像素及藍色像素交替地分離綠色像素。在圖4中顯示的較佳4X4最小重復(fù)圖案中，不存在沿著最小重復(fù)單元的對角線的全色像素。在一替代配置中，存在一個紅色像素、一個綠色像素、一個藍色像素及沿著最小重復(fù)單元的對角線的一個全色像素。一般而言，需要沿著對角線排列這些彩色像素的位置，以最小化沿著CFA圖案的對角線的相同色彩的彩色像素之間的最大距離。例如，在圖4中，綠色像素之間的最大距離是兩個像素(在對角線方向上)。通常此排列將為兩個綠色像素彼此緊鄰的配置所優(yōu)選，這將導(dǎo)致綠色像素之間的最大距離為三個像素。在圖3及圖4顯示的示例CFA圖案中的彩色像素是紅色、綠色及藍色。本領(lǐng)域技術(shù)人員應(yīng)了解可根據(jù)本發(fā)明使用其他類型的彩色像素。例如，在本發(fā)明的替代實施例中， 彩色像素可為青色、洋紅及黃色。在本發(fā)明的另一實施例中，彩色像素可為青色、黃色及綠色。在本發(fā)明的又一實施例中，彩色像素可為青色、洋紅、黃色及綠色。亦可使用許多其他類型的彩色像素及彩色像素的組合。圖5是根據(jù)本發(fā)明的較佳實施例的用于自產(chǎn)生于最小重復(fù)單元(諸如在圖3或圖 4中顯示的最小重復(fù)單元)的數(shù)據(jù)產(chǎn)生全色輸出圖像的算法的高級示圖。圖像傳感器20(圖 1)產(chǎn)生濾色片陣列圖像100。在濾色片陣列圖像100中，如由這些最小重復(fù)單元(諸如在圖3或圖4中顯示的最小重復(fù)單元)所判定的，各像素位置是紅色、綠色、藍色或全色像素。 內(nèi)插全色圖像塊102自濾色片陣列圖像100產(chǎn)生經(jīng)內(nèi)插的全色圖像104。產(chǎn)生色差塊108 自濾色片陣列圖像100及經(jīng)內(nèi)插的全色圖像104產(chǎn)生色差值110。內(nèi)插色差圖像塊112自色差值110產(chǎn)生經(jīng)內(nèi)插的色差圖像114。產(chǎn)生經(jīng)內(nèi)插彩色圖像塊106自經(jīng)內(nèi)插的全色圖像 104和經(jīng)內(nèi)插的色差圖像114產(chǎn)生經(jīng)內(nèi)插的彩色圖像120。最終，融合圖像塊118自經(jīng)內(nèi)插的全色圖像104和經(jīng)內(nèi)插的彩色圖像120產(chǎn)生全色輸出圖像116。圖6是在圖3中顯示的CFA圖案的內(nèi)插全色圖像塊104(圖5)中使用的像素鄰域的詳細示圖。在圖6中，C1、C4、C7、CA&CD是指來自濾色片陣列圖像100(圖5)的相同色彩值的彩色像素值。在圖6中，C7上方、下方、左側(cè)及右側(cè)存在兩個相鄰的全色像素值。為了產(chǎn)生經(jīng)內(nèi)插的全色值P’ 7，執(zhí)行以下計算h = I P6-P51 + I P8-P61 + I P9-P81 + α I C4"2C7+Ca |ν = IP3-P21 +1 Pb-P3 I +1 Pc-Pb I + I C「2C7+CD
r π ττ -P5 +4Ρ6 +4Ρ8 -Po -C4 +2C7 - Ca 0066 H = ~2-5-“2. + α^-'-——^
69
Γ υ -P2+4P3+4Pb-Pc -C^C7-CdV=-------— + α------—
69P7'V +
h+v h+v
在本發(fā)明的較佳實施例中α值是0。在本發(fā)明的替代實施例中，α值是1。對本領(lǐng)域技術(shù)人員將顯而易見的是，亦可使用其他的α值。改變α值具有控制在判定經(jīng)內(nèi)插的全色值Ρ’7的過程中彩色像素值加權(quán)多少的效果。在濾色片陣列圖像100(圖幻的各彩色像素位置藉由內(nèi)插全色圖像塊104(圖幻重復(fù)這些計算以產(chǎn)生對應(yīng)的經(jīng)內(nèi)插全色值P’ 7。 與初始全色值(在圖6中的？2、&、？5、？6、？8、？9、1\ Pc)組合的這些經(jīng)內(nèi)插全色值產(chǎn)生經(jīng)內(nèi)插的全色圖像104(圖5)?？蓪D3的較佳實施例的內(nèi)插全色圖像塊104(圖5)的細節(jié)歸納為適用于圖4的替代實施例。在圖4中，各彩色像素被左側(cè)、右側(cè)、上方及下方的三個全色像素分離開?？烧{(diào)整內(nèi)插全色圖像塊104(圖5)以容納此不同的彩色像素間隔。在四個方向的每一個方向上，兩個最靠近的全色像素可與離開中央彩色像素三個像素的彩色像素一起使用以產(chǎn)生如圖6中的像素鄰域。那時可如先前描述般地應(yīng)用內(nèi)插全色圖像塊104。圖7是在圖3中顯示的CFA圖案的較佳實施例的內(nèi)插色差圖像塊112(圖5)中使用的像素鄰域的詳細示圖。在圖7中，對于給定色彩(例如，紅色、綠色或藍色)，隊、 、Dc 及Df是由產(chǎn)生色差塊108(圖幻產(chǎn)生的色差值110(圖幻。作為一示例，現(xiàn)描述紅色色差的內(nèi)插。DpDyDc及Df的位置對應(yīng)于濾色片陣列圖像100(圖5)中的紅色像素。如下計算 D。、D3、Dc 及 Df 的值D0 =R0 -Ρ D3=R3-P^Dc =Rc -P^DF =RF-P合在這些計算中，R指來自濾色片陣列圖像100(圖幻的初始紅色像素值，而P'指來自經(jīng)內(nèi)插全色圖像104(圖幻的對應(yīng)的經(jīng)內(nèi)插全色值。下標對應(yīng)于如圖7所示的像素位置。內(nèi)插色差圖像塊112(圖幻在無現(xiàn)有色差值D的情況下在圖7中的像素位置處產(chǎn)生經(jīng)內(nèi)插色差值D'。彩差值DpDyDc及Df的標準雙線性內(nèi)插產(chǎn)生經(jīng)內(nèi)插的色差值D'。以下方程顯示可用來判定經(jīng)內(nèi)插色差值D'的顯式計算Di =(2D0+D3)/3D'2 =(D0+2D3)/3D'4 =(2D0 +Dc )/3D5 = (4D0 + 2D3 + 2DC + Df )/9D'6 =(2D0+4D3+Dc+2Df)/9D'7 =(2D3 +Df )/3Dg =(D0 +2Dc)/3D9 =(2D0 +D3 +4DC +2Df)/9D'a =(D0 + 2D3 + 2DC + 4DF )/9D'b =(D3 +2Df)/3D'd =(2Dc +Df )/3D'e =(Dc +2Df)/3與這些色彩值(Dq、D3、Dc&Df)組合的經(jīng)內(nèi)插色差值組成經(jīng)內(nèi)插的色差圖像114(圖 5)。產(chǎn)生經(jīng)內(nèi)插彩色圖像塊106(圖幻自經(jīng)內(nèi)插色差值D'及對應(yīng)的初始或經(jīng)內(nèi)插全色值產(chǎn)生經(jīng)內(nèi)插色彩值R'。再次參考圖7，執(zhí)行以下計算Ri =Di +P1Rf2 = O12 +P2Rf4 =Di4 +P4RZ5 = D'5 + P5R'6 = D^ + P6R'7 =D'7 +P7R'8 =Dg +P8R9 =Dg + P9R'a =D'a+PXR'b =D'b +PbR'D =D'D +PDR'e =D'e +Pe初始色彩值R與經(jīng)內(nèi)插色彩值R' —起產(chǎn)生經(jīng)內(nèi)插彩色圖像120(圖幻的紅色值。 對于綠色及藍色像素值，重復(fù)操作的先前設(shè)定以完成經(jīng)內(nèi)插色彩圖像120(圖幻的產(chǎn)生。圖8是在圖4的替代實施例中顯示的CFA圖案的經(jīng)內(nèi)插色差圖像塊112(圖5)中使用的像素鄰域的詳細示圖。在圖8中，DpDpD8及Dc是由產(chǎn)生色差塊108(圖5)產(chǎn)生的綠色色差值110(圖5)。DQ、D4、D8&DC&位置對應(yīng)于濾色片陣列圖像100(圖5)中的綠色像素。如下計算DQ、D4、D8&DC的值D0 =G0 -PoD4=G4-PAD8 =G8 -P^
Dr =Gc-Pc^ ^在這些計算中，G指來自濾色片陣列圖像100(圖幻的初始綠色像素值，且P'指來自經(jīng)內(nèi)插全色圖像104 (圖幻的對應(yīng)的經(jīng)內(nèi)插全色值。參考圖8，內(nèi)插色差圖像塊112 (圖 5)在無現(xiàn)有色差值D的情況下在這些像素位置產(chǎn)生經(jīng)內(nèi)插色差值D'。色差值Dq、D4、D8& Dc的標準雙線性內(nèi)插根據(jù)以下顯式計算產(chǎn)生經(jīng)內(nèi)插色差值D'Di =(D0 +D4)/2D'2 =(9D0+3D4+3D8+Dc)/16D^ =(D0 +D8 )/2D'5 =(3D0+9D4+D8+3DC)/16D'6 = (D0 + D4 + D8 + Dc )/4D'7 =(3D0+D4+9D8+3DC)/16D9 = (D4 +Dc )/2
D'a =(D0 +3D4 +3D8 +9Dc)/16D'b = (D8 +Dc )/2經(jīng)內(nèi)插色差值與色彩值(Dq、D4、D8&Dc) —起組成經(jīng)內(nèi)插的色差圖像114(圖5)。 產(chǎn)生經(jīng)內(nèi)插色彩圖像塊106(圖幻自經(jīng)內(nèi)插色差值D'及對應(yīng)的初始或經(jīng)內(nèi)插全色值產(chǎn)生經(jīng)內(nèi)插色彩值G'。再次參考圖8，執(zhí)行以下計算Gi =Di +P1Gf2 = O12 +P2G3 =D'3 +P3G'5=D'5+P5G'6=D'6+P6G' =Dv +P7G9 =D'9 +P9G'A =D'A+PAG'b =D'b +Pb初始色彩值G及經(jīng)內(nèi)插色彩值G'組成經(jīng)內(nèi)插的彩色圖像120(圖5)的綠色值。圖9是在圖4的替代CFA圖案實施例的內(nèi)插色差圖像塊112 (圖5)中用來內(nèi)插紅色及藍色色差值的像素鄰域的詳細示圖。在圖8中，隊①^ 及叫是由產(chǎn)生色差塊108(圖 5)所產(chǎn)生的紅色或藍色色差值110(圖5)。DQ、D4、DK&DP的位置對應(yīng)于濾色片陣列圖像 100(圖5)中的紅色或藍色像素。作為一示例，現(xiàn)描述紅色色差的內(nèi)插。如下計算Dq、D4、Dk 及Dp的值D0 =Ro-PoD4 =R4-P^Dk =Rk -P^cDp=Rp-Pf在這些計算中，R指來自濾色片陣列圖像100(圖5)的初始紅色像素值，而P'指來自內(nèi)插全色圖像104(圖5)的對應(yīng)的經(jīng)內(nèi)插全色值。參考圖9，內(nèi)插色差圖像塊112(圖幻在無現(xiàn)有色差值D的情況下，在像素位置產(chǎn)生經(jīng)內(nèi)插色差值D'。色差值IVDp Dk及Dp的標準雙線性內(nèi)插產(chǎn)生經(jīng)內(nèi)插的色差值D'。 顯式計算如下Di =(3D0 +D4)/4W2 = (D0 +D4 )/2D^ =(D0 +3D4)/4D'5 =(3D0 +DK)/4O16 =(9D0 +3D4 +3Dk +Dp )/16D'7 =(3D0 +3D4 +Dk +Dp )/8Df8 =(3D0 +9D4 +Dk +3DP)/16
Dg =(3D4 +Dp )/4DX= (D0+Dk )/2D'b =(3D0 +D4 +3Dk +Dp )/8D'c =(D0 +D4 +Dk +Dp )/4Db = (D0 + 3D4 + Dk + 3DP )/8D^ =(D4 +Dp )/2D'F =(D0+3DK)/4D'g =(3D0 +D4 +9Dk +3DP)/16Dh =(D0 +D4 +3Dk +3DP)/8Di1 =(D0 +3D4 +3Dk +9DP)/16Dj =(D4 +3DP)/4D'l =(3Dk +Dp )/4D'm =(DK +DP)/2D'n =(Dk +3DP)/4經(jīng)內(nèi)插色差值與色彩值(隊、04、1\及01))組成經(jīng)內(nèi)插的色差圖像114(圖5)。產(chǎn)生經(jīng)內(nèi)插彩色圖像塊106(圖幻自這些經(jīng)內(nèi)插的色差值D'及對應(yīng)的初始或經(jīng)內(nèi)插的全色值產(chǎn)生經(jīng)內(nèi)插色彩值R'。再次參考圖9，執(zhí)行以下計算Ri =Di +P1R'2 =Df2 +P2R3 =D3 +P3R^ =D^ +P5R'6=D'6+P^R' =D'7 +P7R'8 = Dg + P8R'9 = D9 + P9R'a =D'a+PaR'B = D'B + PBR'c =D'C +PcR'd = D'd + PdR'e=D'e+PeR'f =D'f +PfR'g =D'g +PgR'h = D'h + PhRf1 =Di +PfRj =D'j+PJ
R'l=D'l+PlR'M =dM +pMR^ =D'n +Pn初始色彩值R與經(jīng)內(nèi)插色彩值R' —起組成經(jīng)內(nèi)插的彩色圖像120(圖幻的紅色值。對于藍色像素值重復(fù)操作的先前設(shè)定以完成經(jīng)內(nèi)插彩色圖像120(圖幻的產(chǎn)生。圖10是融合圖像塊118(圖5)的較佳實施例的框圖。低通濾光器塊204自內(nèi)插彩色圖像120(圖幻產(chǎn)生低頻彩色圖像206。高通濾光器塊200自經(jīng)內(nèi)插的全色圖像104(圖 5)產(chǎn)生高頻全色圖像202。最終，合并圖像塊208藉由組合低頻彩色圖像206與高頻全色圖像202產(chǎn)生全色輸出圖像116(圖5)。低通濾光器塊204使用低通濾光器執(zhí)行經(jīng)內(nèi)插彩色圖像120 (圖5)的卷積。在本發(fā)明的較佳實施例中，使用以下卷積核
權(quán)利要求
1.一種用于捕捉彩色圖像的圖像傳感器，包括二維光敏像素陣列，所述光敏像素包含全色像素及具有至少兩種不同色彩響應(yīng)的彩色像素，所述像素是以具有正方形最小重復(fù)單元的重復(fù)圖案排列，所述正方形最小重復(fù)單元具有至少三行和三列，所述彩色像素沿著最小重復(fù)單元的諸對角線之一排列，且所有其他像素都是全色像素。
2.如權(quán)利要求1所述的圖像傳感器，其特征在于，所述彩色像素是紅色、綠色及藍色像ο
3.如權(quán)利要求1所述的圖像傳感器，其特征在于，所述彩色像素是青色、洋紅及黃色像ο
4.如權(quán)利要求1所述的圖像傳感器，其特征在于，所述最小重復(fù)單元具有三行和三列， 且其中所述最小重復(fù)單元的對角線之一具有一個紅色像素、一個綠色像素及一個藍色像ο
5.如權(quán)利要求1所述的圖像傳感器，其特征在于，所述最小重復(fù)單元具有四行及四列， 且其中所述最小重復(fù)單元的對角線之一具有一個紅色像素、兩個綠色像素及一個藍色像ο
6.如權(quán)利要求5所述的圖像傳感器，其特征在于，所述兩個綠色像素被紅色像素或藍色像素分離開。
7.如權(quán)利要求1所述的圖像傳感器，其特征在于，沿著對角線的彩色像素的位置被排列成使相同色彩的彩色像素之間的最大距離最小化。
8.如權(quán)利要求1所述的圖像傳感器，其特征在于，在包含彩色像素的最小重復(fù)單元的對角線上不存在全色像素。
全文摘要
本發(fā)明揭示一種用于捕捉彩色圖像的圖像傳感器，包括二維光敏像素陣列，這些光敏像素包含全色像素及具有至少兩種不同色彩響應(yīng)的彩色像素，這些像素以具有正方形最小重復(fù)單元的重復(fù)圖案排列，該正方形最小重復(fù)單元具有至少三行和三列，這些彩色像素沿著最小重復(fù)單元的諸對角線之一排列，且所有其他像素都是全色像素。
文檔編號H04N9/04GK102484721SQ201080023855
公開日2012年5月30日 申請日期2010年5月7日 優(yōu)先權(quán)日2009年5月27日
發(fā)明者B·H·費爾曼, J·A·漢米爾頓, J·E·小亞當(dāng)斯, M·庫瑪 申請人:美商豪威科技股份有限公司