專利名稱：一種多光譜感光器件及其采樣方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對感光芯片的感光象素的讀取，尤其是大陣列感光芯片的感光象素的 子采樣數(shù)據(jù)讀取。具體的說，本發(fā)明涉及到一種多光譜感光器件及其采樣方法。
背景技術(shù)：
本發(fā)明是本發(fā)明人稍早一點的《多光譜感光器件及其制作方法》(PCT/ CN2007/071262)和《多光譜感光器件及其制作方法》(中國申請?zhí)?00810217270. 2)的延 續(xù)，旨在提供更為具體而且優(yōu)選的半導(dǎo)體電路和芯片級別的實現(xiàn)。之前的感光器件，要么專注于彩色可見光，要么專注于紅外光，很少有將二者 合在一起的。雖然也有其它的發(fā)明或申請，例如采用銦化鎘的半導(dǎo)體技術(shù)(“Silicon infrared focalplane arrays”，Μ· Kimata，in Handbook of Infrared Detection Technologies，editedby M. Henini and M. Razeghi, pp.352-392，Elsevier Science Ltd.，2002)，來同時實現(xiàn)可見和紅外光的感應(yīng)，但它們沒有得到彩色。之前的同時得到 彩色和紅外感光的方法是將一個彩色感光器件與一個紅外感光器件，物理迭加在一起 (如“Backside-hybridPhotodetector for trans-chip detection of NIR light], by T. Tokuda et al.，in IEEEfforkshop on Charge-coupled Devices&Advanced Image Sensors,Elmau,Germany,May2003. and "A CMOS image sensor with eye-safe detection function using backsidecarrier injection", T. Tokuda et al.，J. Inst Image Information&TeIevision Eng. ,60(3) :366-372, March 2006)。本發(fā)明人稍早一點的《多光譜感光器件及其制作方法》(PCT/CN2007/071262)和 《多光譜感光器件及其制作方法》(中國申請?zhí)?200810217270. 2)，提出了一種能同時得到 彩色和紅外圖像的新的多光譜感光器件的制作方法.這種新型的感光器件，極大地擴展感 光器件動態(tài)范圍，從而滿足汽車，安防等領(lǐng)域里的高性能要求.不僅如此，將它用于小尺寸 的彩色感光器件，如手機用的攝像頭，也能大幅地提高圖像品質(zhì).不僅如此，他們可以采用 現(xiàn)有的CMOS，CCD，或其它半導(dǎo)體感光器件制作技術(shù)來制作，而且每一種技術(shù)都可以有非常 多而且有效的制作方法和結(jié)構(gòu)設(shè)計.本發(fā)明主要提供少數(shù)幾種采用CMOS/CCD半導(dǎo)體技術(shù) 的制作方法。但是，這種新的雙層或多層感光器件帶來一個新的問題，就是數(shù)據(jù)量是傳統(tǒng)的單 層感光器件的兩倍甚至更多。雖然兩層感光器件只需一半的象素就能獲得與單層感光器件 同等的解析度，但是高速處理大陣列的感光器件的數(shù)據(jù)，仍然是一個需要改進的問題。最近幾年，已經(jīng)發(fā)明了一些優(yōu)秀的方法來對大陣列圖像進行高性能的子采樣，例 如讀取電路共享，并行(Row Binning)及并列(Column Binning)采樣技術(shù)(如美國專利 US6, 801, 258BLUS6, 693，670B1,US7, 091, 466B2, US7, 319，218B2 等等)。值得一提的是美 國專利US6, 693，670BLUS7, 091，466B2和US7, 319，218B2。這些專利提供了效果不錯而且 方便易行的手段，實現(xiàn)了 N行或N列或M行與N列的并用。但是這些子采樣技術(shù)沒有達到最優(yōu)。例如，采用并行和并列的子采樣技術(shù)將N個點并為一個點，圖像信噪比的改進最高只能是# (見美國專利US7，091，466B2， US7, 319，218B2)。這是因為并行和并列只是對信號做了平均，因而只是將隨機噪聲的方差 降低了 #倍，而有用信號本身的強度沒有得到增強，而僅僅是用幾個點的平均值取代。圖 像信號中通常還有緩變低頻的固定噪聲，這一部分噪聲也沒有減少。此外，現(xiàn)有的子采樣技術(shù)僅僅是單獨地考慮Bayer排列或CYMG四色圖案排列的 感光芯片的子采樣的需求，也沒有為后續(xù)計算做簡化。例如一個Bayer圖案的彩色圖像， 經(jīng)過美國Micron Technologies Inc.的并行和并列采樣技術(shù)(美國專利US7, 091，466B2， US7，319，218B2)后，仍然是一個Bayer圖案，仍然需要經(jīng)過復(fù)雜的處理才能得到預(yù)覽和存 儲階段所偏愛的YUV圖像。而其它一些能夠改進信噪比的子采樣電路，需要用到復(fù)雜的積 分電路和比較器，從而帶來輔助電路的增加和頻率的增加。另外一個現(xiàn)有子采樣技術(shù)的巨大的限制，就是，并行和并列只在相同的，而且空間 上并不緊鄰(中間隔著別的象素)的色彩象素間進行。對于Bayer圖案或CYMG四色圖案， 相同的色彩象素，在空間上并不緊鄰，經(jīng)過并行和并列后的圖像，已經(jīng)破壞了原始圖像的空 間上的均勻分布的特點，因此，后端處理如果不專門適應(yīng)這種情況，在直線邊緣，就容易產(chǎn) 生鋸齒效果。尤其，對于本發(fā)明所要關(guān)注的雙層或多層感光器件而言，現(xiàn)有技術(shù)就顯得局促和 平庸，因為雙層或多層感光器件提供了非常多的優(yōu)秀的色彩圖案排列，因而，無論是信號讀 取和子采樣，都應(yīng)當(dāng)針對雙層或多層感光器件的特點，做出改進。

發(fā)明內(nèi)容
本發(fā)明的目的旨在提出更優(yōu)越的子采樣原理和先進的子采樣電路，并將子采樣和 后續(xù)圖像處理結(jié)合起來一起優(yōu)化。本發(fā)明提供一種多光譜感光器件及其采樣方法，以便能 克服雙層或多層多光譜感光芯片的數(shù)據(jù)量比較大的這個微弱的不足。這里，采樣方法主要 包括子采樣，但也涵蓋了全圖采樣。需要了解，本發(fā)明并不局限在雙層或多層多光譜感光器 件，對于單層的感光器件，同樣是適用的。為便于描述本發(fā)明并解釋其與現(xiàn)有技術(shù)的差別，我們現(xiàn)給出如下名詞的定義 雙層感光器件，雙面感光器件，和雙向感光器件。其中，雙層感光器件是指感光象素被物 理上分成兩層(如本發(fā)明人在稍早的發(fā)明申請《多光譜感光器件及其制作方法》(PCT/ CN2007/071262)所描述的兩層感光器件)，每一層都含有感應(yīng)特定光譜的感光象素。雙面 感光器件是指感光器件具有兩個感光表面，每一個面都能至少從一個方向上感光。雙向感 光器件是指感光器件能從兩個(通?；コ?80度)的方向上感光，亦即從感光器件的正面 和背面都能感光。一個感光器件可以同時具有雙層，雙面，和雙向這三個特點中的一個，兩個，和所 有三個特點。為了解決上述技術(shù)問題，本發(fā)明采用了如下技術(shù)方案一種多光譜感光器件，包括以行和列排列的象素陣列，以及第一合并單元，用于對所述象素陣列中的緊鄰的同行異列、異行同列、或異行異列 的象素間進行兩兩合并采樣，獲得第一合并象素的采樣數(shù)據(jù)；第二合并單元，用于對第一合并單元得到的第一合并象素的采樣數(shù)據(jù)進行合并采樣，獲得第二合并象素的采樣數(shù)據(jù)。所述的多光譜感光器件，還包括第三合并單元，用于對第二合并單元得到的第二 合并象素的采樣數(shù)據(jù)進行合并采樣，獲得第三合并象素的采樣數(shù)據(jù)。所述的多光譜感光器件，所述第一合并單元或第二合并單元的象素合并方式為相同或不同色彩象素間的電荷累加方式或兩個不同色彩象素間的信號平均方式，其中不同色 彩象素間的象素合并方式(包括電荷累加方式或信號平均方式)遵照色彩空間變換的方 式，以滿足色彩重建的要求。所述的多光譜感光器件，所述電荷累加方式是在讀取電容(FD)中完成的。所述的多光譜感光器件，所述第一合并單元或第二合并單元的基于色彩的合并采 樣方式包括同色合并方式、異色合并方式、混雜合并方式、或選擇性拋棄多余色彩合并方 式，且第一合并單元和第二合并單元采用的合并采樣方式不同時為同色合并方式，也即兩 個合并單元中至少有一個合并單元不采用同色合并方式。所述的多光譜感光器件，所述第一合并單元或第二合并單元的基于位置的合并采 樣方式包括以下幾種方式中的至少一種直接輸出到總線的信號自動平均方式、跳行或跳 列方式、和逐個采樣方式。亦即這幾種基于位置的合并采樣方式可以單獨使用，也可以組合 使用。所述的多光譜感光器件，所述第三合并采樣單元的合并采樣方式包括色彩空間 變換方式和后端數(shù)字圖像縮放方式中的至少一種。所述的多光譜感光器件，所述色彩空間變換包括RGB到CyYeMgX空間的變換、RGB 到Y(jié)UV空間的變換，或CyYeMgX到Y(jié)UV空間的變換、其中X為R(紅)、G (綠)、B (蘭)中的 任一種。所述的多光譜感光器件，所述象素陣列由復(fù)數(shù)個包含至少一個基本象素的宏象素 組成，其中基本象素可以為被動象素或主動象素。所述的多光譜感光器件，所述宏象素中的基本象素按方陣或蜂窩排列。所述的多光譜感光器件，所述宏象素的組成方式可以包括以下組成方式至少一 種不帶讀取電容(FD)的3T主動象素組成方式、帶一個讀取電容(FD)的4T主動象素組成 方式。所述的多光譜感光器件，每個宏象素帶一個讀取電容(FD)的4T主動象素，采用4 點共享方式、6點共享方式、或8點共享方式。所述的多光譜感光器件，所述宏象素也可以包括如下的組成方式由四個方陣排 列的象素和兩個位于兩行中間的不透光的讀取電容(FD)組成，上一行的象素與下一行的 象素共用一個讀取電容(FD)，兩個讀取電容(FD)之間可以實現(xiàn)電荷轉(zhuǎn)移，并且至少一個讀 取電容上連接有讀取電路。所述宏象素可由帶兩點共享、三點共享、或四點共享讀取電容(FD)的3T或4T主 動象素的基本象素組成，采用4點橋式共享方式、6點橋式共享方式、或8點橋式共享方式。所述的多光譜感光器件，每個宏象素由帶兩點共享、三點共享、或四點共享讀取電 容(FD)的4T主動象素的基本象素組成，采用4點橋式共享方式、6點橋式共享方式、或8點 橋式共享方式。所述的多光譜感光器件，所述多光譜感光器件的全圖采樣方式包括逐行掃描、逐行讀取方式或逐行掃描、隔行或跨行讀取方式。本發(fā)明還公開了一種多光譜感光器件的采樣方法，包括第一合并過程，用于對所述象素陣列中的緊鄰的同行異列、異行同列、或異行異列 的象素間進行兩兩合并采樣，獲得第一合并象素的采樣數(shù)據(jù)；第二合并過程，用于對第一合并過程得到的第一合并象素的采樣數(shù)據(jù)進行合并采 樣，獲得第二合并象素的采樣數(shù)據(jù)。所述的采樣方法，還包括第三合并過程，用于對第二合并過程得到的第二合并象 素的采樣數(shù)據(jù)進行合并采樣，獲得第三合并象素的采樣數(shù)據(jù)。所述的采樣方法，所述第一合并過程或第二合并過程的象素合并采樣方式為相同 或不同色彩象素間的電荷相加方式或不同色彩象素間的信號平均方式，其中不同色彩象素 間的象素合并方式(包括電荷相加方式或信號平均方式)遵照色彩空間變換的方式，以滿 足色彩重建的要求。所述的采樣方法，所述第一過程或第二合并過程的基于色彩的合并采樣方式包括 同色合并方式、異色合并方式、混雜合并方式、或選擇性拋棄多余色彩方式，且第一合并過 程和第二合并過程中至少一個合并過程不是同色合并方式。所述的采樣方法，所述第一合并過程或第二合并采樣過程的基于位置的合并采樣 方式包括以下幾種方式中的至少一種直接輸出到總線的信號自動平均方式、跳行或跳列 方式、和逐個采樣方式。所述的采樣方法，所述第三合并采樣過程進行的合并采樣方式包括色彩空間變 換方式、后端數(shù)字圖像縮放方式。 所述的采樣方法，所述色彩空間變換包括RGB到CyYeMgX空間的變換、RGB到Y(jié)UV 空間的變換、或CyYeMgX到Y(jié)UV空間的變換、其中X為R (紅)、G (綠)、B (蘭)中的任一種。所述的采樣方法，其全圖采樣的方式包括逐行掃描、逐行讀取方式或逐行掃描、隔 行或跨行讀取方式。本發(fā)明有益的技術(shù)效果在于將子采樣至少分為兩個過程，即前述的第一合并采樣過程和第二合并采樣過程。 第一合并采樣過程和第二合并采樣過程，通常發(fā)生在象素的行(合并)采樣和列(合并) 采樣之間，主要對模擬信號進行，除電荷相加部分通常只在第一合并采樣過程中做以外，其 次序和內(nèi)容通常是可以交換的。此外，也可以包括第三合并采樣過程，第三合并采樣過程發(fā) 生在模數(shù)轉(zhuǎn)換之后，主要對數(shù)字信號進行。對于第一合并采樣過程，是取象素陣列中兩個緊鄰的象素來進行合并。一方面，完 成了緊鄰象素的合并，在本文中，我們將合并后的象素稱為第一合并象素，需要理解的是， 第一合并象素只是為本發(fā)明描述之便，利用該概念來指代進行第一合并過程后的象素，而 不代表物理上，在象素陣列中存在一個“第一合并象素”；將兩個緊鄰象素合并采樣后的數(shù) 據(jù)稱為第一合并象素的采樣數(shù)據(jù)。緊鄰，系指兩個象素之間從水平，垂直，或?qū)欠较蛏蟻?看緊挨著，中間沒有其它象素。緊鄰的情況包含同行異列，異行同列，或異行異列。一般而 言，在這種合并中，信號將至少是兩個象素的信號平均，而噪聲則會降低#，因此，合并后， 至少可以將信噪比提高#倍，且這種合并可以在相同或不同色彩的象素之間進行。另一 方面，由于兩個合并的色彩可以不同，即色彩相加或平均，從色彩的三原色原理可知，兩種原色的相加是另一種原色的補色，就是說，兩個不同原色的象素合并，產(chǎn)生另一種原色的補 色，從原色空間，變換到了補色空間，僅僅是發(fā)生了色彩空間變換，我們?nèi)匀豢梢酝ㄟ^不同 的補色而完成彩色重建。也即通過本發(fā)明，既能實現(xiàn)不同色彩的象素合并以提高信噪比，同 時又能夠進行彩色重建。整個子采樣過程也因此得到優(yōu)化，更加適應(yīng)大數(shù)據(jù)量的象素陣列 的高速需求。色彩空間變換的一個基本要求是，變換后的色彩的組合，能夠(通過插值等手 段)重建所需要的RGB (或YUV，或CYMK)色彩。需要了解，由于通常象素陣列包含多個象素，第一合并采樣只是將兩個象素進行 合并，顯然，合并形成的第一合并象素也具有多個。對于不同的第一合并象素，其采用的色 彩合并方式可以相同，也可以不同。當(dāng)?shù)谝缓喜⑷吭谙嗤纳书g進行時，我們將之稱為 同色合并方式；當(dāng)?shù)谝缓喜⑷吭诓煌纳书g進行時，我們將之稱為異色合并方式；當(dāng) 第一合并部分在相同色彩間進行、部分在不同色彩間進行，我們將之稱為混雜合并方式；當(dāng) 對象素陣列中的一些多余的色彩進行拋棄(當(dāng)然，拋棄是選擇性的，例如，不能因此而影響 到彩色重建)，這樣的色彩合并方式稱為選擇性拋棄多余彩色方式。顯然的，第二合并過程是對多個第一合并象素的操作，同樣的，可以將色彩相同的 第一合并象素進行合并；也可以將色彩不同的第一合并象素進行合并(當(dāng)然，這種情況下 可能導(dǎo)致三原色的全部相加而無法重建出彩色)。上述的同色合并、異色合并、混雜合并等方式，是將合并采樣做基于色彩的分類， 另外，從合并采樣的位置選取的角度，第一合并過程和第二合并過程的合并采樣方式包括 直接輸出到總線的信號自動平均方式、跳行或跳列方式，逐個采樣方式，以及這些方式的兩 種或三種的同時使用。除電荷相加部分通常只能在第一合并采樣過程中做以外，第一合并 過程和第二合并過程，除了次序的不同外，其方式都是相同和可以交換的。所謂直接輸出到總線的信號自動平均方式，就是，將需要合并的信號(色彩相同 或是不同)，同時輸出到數(shù)據(jù)采集總線上去，通過(電壓)信號的自動平衡，來獲得需要合并 信號的平均值。所謂跳行或跳列方式就是跳過一些行或列，從而通過減少數(shù)據(jù)量的方式來 實現(xiàn)(合并)采樣。所謂逐個采樣方式，實際上就是不做任何合并，依此讀取原來的象素或 第一合并象素。這三個方式有一些是可以同時使用的，例如，跳行或跳列方式可與直接輸出 到總線的信號自動平均方式或逐個采樣方式同時使用。第三合并采樣過程的子采樣方式包括色彩空間變換方式、后端數(shù)字圖像縮放方 式、以及這兩個方式的串行使用。第一和第二合并過程主要是在模擬信號上進行，而第三 子采樣過程主要是在數(shù)字信號上進行，即模數(shù)轉(zhuǎn)換之后進行。通過將處于不同空間位置的 三個或四個色彩象素，當(dāng)作同一個點上的值而轉(zhuǎn)換到另一個色彩空間，就又可實現(xiàn)水平和 (或)垂直方向上的數(shù)據(jù)減少，從而達到子采樣的效果。而數(shù)字圖像縮放方式，是最為直觀 常用的子采樣方式。本發(fā)明還首次在合并采樣時實現(xiàn)了電荷相加。目前的合并采樣幾乎都是只做到了電壓或電流信號的平均，這種方式在合并N點時，最多只能將信噪比提高#倍。這是因為 現(xiàn)有的合并采樣都是N個相同色彩的象素共用一根輸出線的方式進行合并采樣，在這根輸 出線上，各個象素的電壓或電流信號必然要進行(自動的)平均，因此，其信噪比的提高只 是在于噪聲合并后降低了 #，從而使信噪比提高最多·^倍。而采用本發(fā)明的電荷相加方 式，例如通過讀取電容存儲電荷，實現(xiàn)電荷的累加，從而信號可以進行疊加而使得信噪比可以提高至少N倍，比信號平均的方法高至少#倍。也就是說，將N個信號以電荷相加的方 法合并，理論上最高可以達到N2個信號相平均的效果或更好(如下面所述)，這是效果非常 顯著的提高信噪比的手段。緊鄰象素相加，還帶來另外一個顯著的效果，就是，象素之間的相互干擾 (cross-talking)效果被減弱。這是由于本來相互干擾的色彩，現(xiàn)在是合法的一體，也就是 說，原來屬于噪聲的一部分信號，現(xiàn)在成了有效的信號部分，因此，N個信號電荷相加帶來信 噪比的改進，可以接近理論上的上限，即N^倍，從而，相當(dāng)于N3個信號相平均的效果。電荷相加是一個效果卓著的合并采樣手段，但它要求合并的象素在空間上相鄰。 之前的子采樣不能做的原因是，之前的子采樣只在相同色彩的象素之間進行，但由于被合 并的象素之間隔著其它象素，因而無法實現(xiàn)電荷相加。對于多層感光器件而言，實現(xiàn)電荷相 加相對比較容易，因為色彩圖案非常豐富。而采用本發(fā)明，我們也能很容易地在單層感光器 件上實現(xiàn)電荷相加，只要采用了本發(fā)明的色彩空間變換的方法。
本發(fā)明在全圖采樣(即對一個圖像的按最高分辨率進行采樣)時，采用逐行掃描、 隔行或跨行讀取的方式，不需要提高時鐘速度和采用幀緩存器，將大陣列圖像的全圖讀取 幀率在拍單張照時翻倍。如果增加AD轉(zhuǎn)換器和行緩存，那么，全圖讀取幀率還可以提高更 多。這個方法對于省去機械快門有非常重要的價值。請注意本發(fā)明的逐行掃描、隔行或跨行讀取的方式，與傳統(tǒng)電視系統(tǒng)里的場掃描 方式(interleaved scanning)是不同的。傳統(tǒng)的場掃描方式，是隔行掃描，隔行讀取，因此， 奇數(shù)場和偶數(shù)場(無論是感光還是讀取)在時間上差了一場，即半幀。而本發(fā)明的逐行掃 描、隔行或跨行讀取的方式，象素在感光時間順序上卻是與逐行掃描、逐行讀取方式是完全 一樣的，只是行的讀取次序做了變化。本發(fā)明將通過實施例描述新的威力更強，適應(yīng)面更廣的感光器件及其子采樣方 法。這些優(yōu)選實現(xiàn)方法，僅僅是作為舉例來說明本發(fā)明和本發(fā)明者的先前相關(guān)發(fā)明的優(yōu)點 和實現(xiàn)方法而已，而不是為了限制這些發(fā)明的保護范圍。對于相關(guān)業(yè)界的有識之士而言，本發(fā)明的上述及其它目的和優(yōu)點，在閱讀過下面 的優(yōu)選的帶有多個插圖解釋的實現(xiàn)案例的細(xì)節(jié)描述之后，將是十分明顯的。


圖1是CMOS被動象素的讀取(采樣)電路。圖2是CM0S3T主動象素的讀取(采樣)電路。圖3是CM0S4T主動象素的讀取(采樣)電路。圖4(a)和(b)分別是CMOS主動象素和被動的讀取(采樣)電路與行地址選擇電 路的關(guān)系。圖5是CMOS象素的讀取(采樣)電路與行地址選擇電路和列地址選擇電路的結(jié) 構(gòu)示意圖。圖6是一個典型的帶有列緩存的實用CMOS象素的讀取(采樣)電路示意圖。圖7是CCD象素的讀取方式(a)與CMOS象素的讀取方式(b)的比較。注意到在 圖7(a)中CCD象素之間在垂直方向上的挨個傳遞的功能。圖8是描述美國專利US7，091，466B2的基本原理的示意圖。通過同時打開需要合并的相同象素的開關(guān)，將相關(guān)信號同時輸出到采樣總線上后自己達成平衡，從而得到合并 象素的平均值。
圖9是描述美國專利US7，319，218B2的基本原理的示意圖。通過異時高速采樣需 要合并的相同象素，將相關(guān)信號記錄完全后再同時輸出到采樣總線上后自己達成平衡，從 而得到合并象素的平均值。其基本思想與美國專利US7，091，466B2是相同的，只是采用了 不同的電路實現(xiàn)。圖10摘要了現(xiàn)有象素同色合并技術(shù)的基本思想將相鄰宏象素的色彩相同的象 素(以信號平均的方式)合并。圖10(a)是列合并的示意圖，圖10(b)是行列同時合并的 示意圖。圖11顯示的是當(dāng)前比較好的4-點共享4T主動感光象素的讀取電路，平均每個象 素采用了 1.75個門。圖12顯示的是一個6-點共享4T主動感光象素的讀取電路，平均每個象素只采用 了 1.5個門。這個6-點共享主動感光象素的讀取電路，適用于采用蜂窩排列的雙面雙層感 光器件(參見《多光譜感光器件及其制作方法》，中國申請?zhí)?00810217270. 2)，亦即讓一個 宏象素里的所有三個復(fù)合象素的上下兩層感光二極管共享同一個讀取電容(FD)和3T讀取 電路。圖13顯示的是一個8-點共享4T主動感光象素的讀取電路，平均每個象素只采用 了 1.375個門。這個8-點共享主動感光象素的讀取電路，適用于以四點宏象素為基礎(chǔ)的方 陣排列的雙面雙層感光器件，亦即讓一個宏象素里的所有四個復(fù)合象素的上下兩層感光二 極管共享同一個讀取電容(FD)和3T讀取電路。圖14顯示的是本發(fā)明的異色和混雜合并的技術(shù)的基本思想先將同一宏象素的 內(nèi)的兩個不同或相同色彩的象素(以信號平均或相加的方式)合并，然后再做合并后相鄰 且色彩相同的象素間的合并。圖14(a)顯示的是Bayer圖案感光器件一種兩列合并的示意 圖，圖14(b)顯示的是Baver圖案感光器件一種兩列和兩行同時合并的示意圖。其中，單獨 看G與B，或G與R的合并時，就構(gòu)成了異色合并；而將G與B的合并，G與R的合并，B與R 的合并，以及G與G的合并合起來看時，就構(gòu)成了混雜合并，因為其中有的合并是在同色之 間(G與G)，而其它則是在異色之間。Bayer圖案的RGB原色圖像，在經(jīng)過雜色合并后，被轉(zhuǎn) 換成了 CyYeMgG補色圖像。在這個圖中，將G與B的合并，G與R的合并，B與R的合并，以 及G與G的合并構(gòu)成了第一個合并過程。第二個合并過程，是將合并后得到不同位置上的 Cy, Ye, Mg，和G值，按照同色合并的方式，同時輸出到總線上，或采用跳行或跳列的方式，跳 過某些象素，和逐個讀出。圖15顯示的是本發(fā)明的雜色合并技術(shù)用于更一般的M行與N列合并情況(圖中 為5x3，即5行與3列的合并)。將跳行或跨行與跳列與跨列的方法結(jié)合，可以得到很多種 不同的類似圖15的情況。3行3列的合并可以通過2行與2列的合并方式加上跳行和跳列 來完成。注意到第三行和第四行在進行交叉合并時，將產(chǎn)生一對位于同一中點位置的(Mg， G)信號。為了后面的列合并的方便性，可以人為認(rèn)為Mg或G在前面，以保持一致性。注意到行和列的對稱性，從這個圖我們可以很容易地延伸出3x5，2x3，3x2，2x4， 4x2,5x2,2x5,2x6,6x2,3x4,4x3,3x6,6x3,4x4,4x5,5x4,4x6,6x4,5x6,6x5,6x6,7x6,6x7, 7x7x, 8x8，等等各種合并情況。比較有用的是 2x2，2x4，4x2，4x4，3x6，6x3，6，6，4x8，8x4，和8x8的能夠很容易的保持圖像長寬比的合并因子。同樣，在這個圖中，G與B的合并，G與R 的合并，B與R的合并，以及G與G的合并，構(gòu)成了第一個合并過程。第二個合并過程，是將 合并后得到不同位置上的Cy，Ye, Mg，和G值，按照同色合并的方式，同時輸出到總線上，并 跳過中間一些沒有用到的象素(例如圖中的第5行和第10行)。被跳過的色彩，將不再參 加后面的第三合并采樣過程，如果感光器件包含有第三合并采樣過程的話。圖16顯示的是色彩空間矩陣變換帶來的額外的2x2圖像縮小。無論CyYeMgG的 圖像是原始圖像，還是通過本發(fā)明的雜色合并方法從Bayer RGB圖像獲得，當(dāng)我們將它轉(zhuǎn)換 成YUV圖像時，可以獲得額外的2x2縮小。縮小的方法就是將一個CyYeMgG宏象素，當(dāng)成是 共點的四個象素而轉(zhuǎn)換成一個(Y，U，V)象素，然后再將(水平方向)相鄰的兩個點的U和 V值平均，就得到預(yù)覽和JPEG/MPEG壓縮所希望的YUV422圖像。圖17顯示的是本發(fā)明的一種優(yōu)秀的讀取電路。在這個讀取電路中，奇數(shù)行與偶數(shù) 行的感光象素，將共用一個不透光的讀取電容FD(如圖中的FDl和FD2).開關(guān)TGl用來選 擇將Gr感光二極管中的電容轉(zhuǎn)換到FDl中去。同樣，開關(guān)TG2，TG3，TG4被用來分別讀取 R，B，Gb等電容值到FD2，F(xiàn)D1，或FD2中去。另外一個開關(guān)TG5，則用來將讀取電容FDl中的 值，以相加的方式，轉(zhuǎn)移到FD2中去(或從FD2轉(zhuǎn)移到FD1)。這種布局的感光象素，可以采 用如圖18所示的四點橋式共享讀取電路。在這個電路中，讀取電容FD不透光的要求，是實 現(xiàn)如圖21所示的逐行掃描，隔行或跨行讀取所必須的。圖18顯示的是本發(fā)明的用于四點宏象素方陣排列圖案的四點橋式共享讀取電 路。這種讀取電路平均每個象素用到2個三極管。雖然不是門數(shù)最少的共享讀取電路，但 在其它方面有無與倫比的優(yōu)點。第一個優(yōu)點是，在子采樣時，通過 同時打開TG1/TG3或同時 打開TG2/TG4，奇數(shù)行的象素值Gr能夠與偶數(shù)行的象素值B以相加的方式在FDl內(nèi)累加，從 而達到信號相加，噪聲相減的雙重效果。平均而言，采用FD將兩個信號融合后再讀取的方 式，可以將信噪比提高至多2 ^倍，其中2倍來自于信號的增強，^倍來自于噪聲的減弱。 對比之下，之前的將兩個信號取平均的方法，只能通過減弱噪聲的方式，將信噪比提高至多
倍。同樣，通過，控制時序同時打開TG1/TG4/TG5或TG2/TG3/TG5，我們也能夠?qū)蔷€ 上的象素以信號相加的方式讀出。第二個優(yōu)點是，在全圖采樣時，可以通過將下一行象素值 存到FD里面的辦法，從而實現(xiàn)隔行或跨行讀取，如圖21所示。圖19顯示的是一種本發(fā)明的用于三點宏象素蜂窩排列圖案雙層感光器件的六點 共享讀取電路。在這種讀取電路中，頂層三個象素共用一個讀取電容FD1，底層三個象素共 用一個讀取電容FD2，頂層三點與底層三點共用一個放大和讀取電路。這種頂層和底層共用 讀取電路的方法，能夠簡化設(shè)計，并在子采樣時讓控制邏輯變得簡單。與圖12不同之處在 于，頂層和底層的讀取電容沒有分享，從而便于雙面感光器件的制作。圖20顯示的是一種本發(fā)明的用于四點宏象素方陣排列圖案雙層感光器件的八點 共享讀取電路。在這種讀取電路中，頂層四個象素共用一個讀取電容FD1，底層四個象素共 用一個讀取電容FD2，頂層四點與底層四點共用一個放大和讀取電路。與圖13不同之處在 于，頂層和底層的讀取電容沒有分享，從而便于雙面感光器件的制作。顯然，對于雙面雙層感光器件，頂層和底層的四個宏象素點也可以分別采用如圖 18所示意的雙FD橋式共享讀取電路，從而讓頂層和底層的讀取電路相對獨立并且各自可 以采取隔行或跨行讀取的方式，加快全圖拍照時的快門速度。
圖21顯示的是圖17所示的采樣讀取電路，用于在全圖采樣時的隔行讀取(圖 21(a))或跨行讀取(圖21(b))方式的示意圖。在圖21(a)的隔行讀取中，讀第一行(GrRgGrR···)時，第二行(BGBG···)的值，在第 一行相應(yīng)位置的值讀取之后，緊接著移到已經(jīng)空余的FD區(qū)間。也就是說，當(dāng)?shù)谝恍械牡贜 列象素在被讀取的時候，第二行的第N-I (或N-2，等等)個象素正在被移到垂直對應(yīng)的FD 區(qū)域里。當(dāng)?shù)谝恍凶x完后，我們并不緊接著去讀存在FD里的第二行里的值，而是接著讀第 三行的象素值。同樣，在讀第三行的象素值時，第四行的象素值也被同時被轉(zhuǎn)移到FD區(qū)域 里。也就是說，所有偶數(shù)行的象素值，都被逐一地移入FD緩存區(qū)，直到奇數(shù)行的象素值全被 讀完。最后我們再按次序一行一行地讀FD緩存區(qū)里的偶數(shù)行里的象素值。在圖21 (b)的跨行讀取中，讀第一行(GrRgGrR···)時，第二行(BGBG···)的值，在第 一行相應(yīng)位置的值讀取之后，緊接著移到已經(jīng)空余的FD區(qū)間。也就是說，當(dāng)?shù)谝恍械牡贜 列象素在被讀取的時候，第二行的第N-I (或N-2，等等)個象素正在被移到垂直對應(yīng)的FD 區(qū)域里。當(dāng)?shù)谝恍凶x完后，我們并不緊接著讀第三行的象素值時，而是接著讀第四行的象素 值，并同時將第三行的象素值轉(zhuǎn)移到FD區(qū)域里。也就是說，行的讀取順序依照1，4，5，8，…， 2，3，6，7，這樣的次序。圖21(b)的好處是，前面半幀的圖像，依然是Bayer圖案排列，因而 可以用來快速得到拍照瞬間的小圖預(yù)覽。
圖21所示的隔行讀取方式或跨行讀取方式，與之前電視制式里的場掃描方式是 不同的。不同的地方主要在于，存于緩存(FD)區(qū)域里的后半幀圖像的感光時間與前半幀是 幾乎一樣的，因而在效果上將快門速度比逐行讀取提高了一倍，但卻避免了電視制式的場 掃描方式帶來的奇數(shù)場和偶數(shù)場時間上晚一場(半幀)的情況。這種情況當(dāng)然只適合于抓 拍一張的情況，不適合于連續(xù)的視頻錄像。采用隔行讀取方式或跨行讀取方式來將拍照時的電子快門速度在一瞬間提高一 倍是非常有價值的手段。例如，假定象素讀取時鐘為96MHz，而感光芯片有8M象素，那么， 在拍全圖時的電子快門速度為(96/8) = 12fps,or 1/12秒。而采用圖19所示的隔行讀取 方式或跨行讀取方式，我們就能將感興趣的那個單幀，瞬間提升到24fps，or 1/24秒，速度 快了一倍。達到1/24秒的拍照快門速度，意味著可以省去手機照相模組上的機械快門，而 1/12秒的拍照速度需要機械快門才能不因手抖產(chǎn)生圖像扭曲。圖22顯示的是一個雙層感光器件在子采樣時的一種簡化處理情況第一合并過 程首先從上下兩層的冗余的色彩象素里，采用合并或舍棄的方法，只保留色彩重建所必需 的色彩分量，例如，Cy，Mg (為B和R合并所得)，G，和Ye.第三合并過程然后再利用圖16所 示的色彩空間轉(zhuǎn)換的手段，將相鄰的CyYeMgG四個象素，轉(zhuǎn)換為一個YUV色彩，再將相鄰的 UV分量做水平方向上的2分子采樣，就得到Y(jié)UYV422圖像。這個過程完成了一個2x2的子 采樣。如果圖像還是太大的話，那么，在進行色彩空間CyYeMgG到Y(jié)UV轉(zhuǎn)換之前，還可以第 二合并過程中先做CyYeMgG相同色彩的平均而不是采用圖中的全采樣方式。這種雙層感光器件在全圖采樣時，可以舍棄掉一些象素，也可以全部讀出后由后 端處理器來決定怎么處理。全部讀出時，數(shù)據(jù)量多了一倍。那么，如果采用圖18和圖20所 示的隔行或條行讀取方式，那么就能將拍照瞬間的幀率提高一倍，與現(xiàn)有的單層感光器件 速度一樣。圖22也足以表明，兩層或多層感光器件在子采樣時的復(fù)雜性和豐富多彩性。由于兩層或多層感光器件在宏象素的色彩分布上有幾千種以上的可能性，那么，子采樣也就相 應(yīng)地有更多種可能。我們在此只能列舉少數(shù)幾種方法來闡述本發(fā)明的精髓。圖23顯示的是另一種雙層感光器件在子采樣時的一種簡化處理情況第一合并 過程通過象素相加(或平均)，它首先得到CyYeMgB的宏象素，然后，第三合并過程將此四 點通過色彩變換的關(guān)系得到Y(jié)UV色彩，從而實現(xiàn)2x2的子采樣。當(dāng)然在色彩轉(zhuǎn)換之前，也可 以在第二合并過程先對CyYeMgB的宏象素做相同色彩的(以信號平均的方式)合并而不是 采用全采樣方式，從而得到更高倍數(shù)的子采樣。顯而易見，圖中CyYeMgB的宏象素也可以用 BRGB的類似Bayer圖案的宏象素取代。這里，我們用CyYeMgB說明，用CyYeMgB，CyYeMgG, CyYeMgR,都可以得到Y(jié)UV或重建RGB。也就是說，CyYeMgG只是CyYeMgX的一個特例，其中 X可以是R，G，或B。圖24顯示的是另一種雙層感光器件在子采樣時的一種簡化處理情況第一合并 過程先將相鄰象素沿水平方向(以信號平均或相加的方式)做合并，然后第二合并過程再 將合并后的象素，(以信號平均或相加，或棄行的方式)沿垂直方向合并。通過合適的時序 控制，水平方向和垂直方向的合并，可以同時完成。這種子采樣方式，不僅比現(xiàn)有的子采樣 方式更加豐富多彩，也提供 好得多的信噪比。圖25顯示的是實現(xiàn)本發(fā)明的象素讀取和子采樣電路的一種感光器件的原理性系 統(tǒng)方塊示意圖，用來闡述本發(fā)明的各種功能模塊在感光器件中的實現(xiàn)方法。此原理性系統(tǒng) 包含象素陣列，行地址解碼控制器，列地址解碼控制器，采樣控制電路，放大和模數(shù)轉(zhuǎn)換模 塊，色彩變換和子采樣及圖像處理模塊，輸出控制模塊，芯片總控制模塊(圖25中的CC模 塊)，和其它可能的模塊。象素讀取和子采樣的功能，將主要通過行地址解碼控制器和列地 址解碼控制器產(chǎn)生相應(yīng)的控制信號(行選信號Row[i]，行控制矢量信號RS[i]，列選信號 Col [j]，列控制矢量信號T[j]，其中i和j分別對應(yīng)的行標(biāo)號和列標(biāo)號)來完成。系統(tǒng)其它 模塊的協(xié)調(diào)，將主要由芯片總控制模塊來完成。第三合并采樣過程，如果有的話，將在色彩 變換和子采樣及圖像處理模塊中完成。圖26是以一個具體的實例(圖17所示的感光象素)來說明圖25中的各個控制信 號(行選，行控制矢量，列選，列控制矢量)與對應(yīng)的感光象素上的控制信號的關(guān)系。圖26 描述的是圖17中的Gr象素和B象素的信號共享情況(TG5被省略了)。行選信號Row[i] 和Col[j]已經(jīng)清楚標(biāo)出。在這個電路圖中，復(fù)位信號RSl和轉(zhuǎn)移門控制信號RS2(TG1或 TG3)屬于行控制信號。注意到，RSl是兩行共享的，而RS2則每行有一個(例如，TGl屬于 1 山，而163屬于1 [丨+1]).圖17中的TG5(圖26中省略)，則屬于列控制信號T[j].也 就是說，盡可能地對象素只做行操作(同一行的象素完全相同)和列操作(同一列的象素 完全相同)，而不去做每個象素不同的操作，以減少復(fù)雜度。在后面的具體實施方式
里，我們將結(jié)合圖25和圖26來說明，本發(fā)明的采樣和子采 樣方法是怎樣實現(xiàn)的。
具體實施例方式本發(fā)明具體實施方式
的多光譜感光器件，不同的讀取和子采樣的電路可由類似于 圖25所示的電路來實現(xiàn)，包括包含有復(fù)數(shù)個宏象素的象素陣列，行地址解碼控制器，列地 址解碼控制器，采樣控制電路，放大和模數(shù)轉(zhuǎn)換模塊，色彩變換和子采樣及圖像處理模塊，輸出控制模塊，芯片總控制模塊(圖25中的CC模塊)，和其它可能的模塊。先根據(jù)需要，按照方陣或蜂窩形狀排列以四個點或三點象素為基礎(chǔ)的宏象素。這 些象素，可以是被動象素，也可以是主動象素，可以帶讀取電容FD，也可以不帶讀取電容 FD0在前文中，我們已經(jīng)將子采樣過程區(qū)分為第一合并采樣過程、第二合并采樣過程、 以及可選的第三合并采樣過程。對應(yīng)于這幾個過程，我們分別采用第一合并單元、第二合并 單元和第三合并單元來實現(xiàn)上述幾個合并采樣過程。當(dāng)然，這幾個單元只是從其實現(xiàn)功能 的角度對器件的一種模塊劃分，從物理器件的角度，這些功能單元可以是由一個物理上的 模實現(xiàn)其功能，也可以是多個物理上的模塊組合實現(xiàn)其功能，又或者這些功能單元集成在 一個物理的模塊中?？傊?，本文中的第一合并單元、第二合并單元和第三合并單元的描述， 只是從其功能上一種描述，而不具體的限定其物理上的實現(xiàn)方式。具體的，在本示例中，實現(xiàn)所需子采樣功能的是行地址解碼控制器和列地址解碼 控制器。行地址解碼控制器將輸出兩類信號，行選信號Row[i](每行一條線)和行控制矢 量信號RS [i](每行一條或多條線)，其中i為行的標(biāo)號。類似地，列地址解碼控制器將輸出 兩類信號，列選信號Col [i](每列一條線)和列控制矢量信號T[j](每列一條或多條線)， 其中j為列的標(biāo)號。行選信號Row[i]是用來做行的選擇，而列選信號Col [j]是用來做列的選擇。這是 兩組相對標(biāo)準(zhǔn)的信號。行控制矢量信號RS[i]是對現(xiàn)有CMOS行控制信號的擴展(每行一 條線擴展到每行多條線)，而列控制矢量信號T [j]，有的CMOS感光器件根本沒有，即使有， 也是一列只有一個。圖26以圖17的感光象素為例，給出T Row[i]，RS [i]，Col [j]，和T [j] 的一個具體的實現(xiàn)，其中Row[i]是兩行共享的，而RS包含兩個行控制信號RSl [i](復(fù)位信 號，同樣兩行共享)和RS2[2](電荷轉(zhuǎn)移控制信號)。在本發(fā)明中，可能同時好幾行被同時選中，也可能同時好幾列被同時選中，甚 至幾行和幾列被同時選中。雖然在之前的某些技術(shù)中(如美國專利US6，801，258B1， US6, 693，670B1, US7, 091，466B2, US7, 319，218B2等等)，同樣會有好幾行或好幾列被同時 選中，但由于合并采樣的方式不同，因而，行選信號和列選信號的時序和波型是完全不同 的。例如，在進行圖14(a)中的合并采樣時，第一行第一列和第二行第二列被同時選中，而 這種情況在之前的子采樣方法中是不可能出現(xiàn)的。RS[i]和T[j]是用來控制感光象素的復(fù)位，清零，感光時間控制，電荷轉(zhuǎn)移，象素 合并，和象素讀取。由于行列的對稱性，RS[i]和T[j]有很多種具體的實現(xiàn)方式。如圖17 所示的TG1-TG5，Vbl-Vb4等信號，還有圖18中所示的RS，S，和SF信號，都是RS[i]和T[j] 所要包含的。本發(fā)明并不受到這些信號的具體實現(xiàn)方式的限制。更具體地，在做任一 MxN因子的子采樣時(M彡2，N彡2)，首先做兩行或兩列，或 兩行和兩列的合并采樣的第一合并采樣過程，然后再在第一合并采樣的基礎(chǔ)上完成MRx N列的子采樣。在第一合并采樣之后的子采樣(總的MxN子采樣)，即第二合并采樣過程，可通過以下各種方式單獨或聯(lián)合來完成直接輸出到總線的信號自動平均方式、跳行或跳列方式、 和逐個采樣方式。而第三合并采樣過程，如果有的話，可通過如下兩種方式單獨或聯(lián)合來完 成色彩空間變換方式和后端數(shù)字圖像縮放方式。
我們知道，在一個象素陣列中，是含有相當(dāng)多的感光象素的，尤其對于雙層或多層 感光器件，色彩的種類和幾何分布情況就非常豐富。顯然，第一合并采樣過程也相應(yīng)的針對 多個第一合并象素，因而，在進行第一合并采樣過程時，這些第一合并象素從象素的色彩合 并的角度上說，其用作合并的色彩選擇是多樣的，可以采用同色合并的方式，異色合并的方 式，混雜合并方式(部分象素色彩相同，部分不同)，也并可以選擇性地丟掉多余的色彩。色彩空間的變換包括RGB到CyYeMgG空間的變換，CyYeMgG到Y(jié)UV空間的變換，和 RGB到Y(jié)UV空間的變換。注意到RGB到CyYeMgG空間的變換，可以在模擬信號空間完成，也可以在數(shù)字空間 完成，因此，它可以在第一合并過程，第二合并過程，或第三合并采樣過程中的任何一個過 程中來做。但CyYeMgG到Y(jié)UV空間的變換和RGB到Y(jié)UV空間的變換，則只能在數(shù)字信號空 間來做，也就是說只能在第三合并采樣過程中來做。更具體地，象素陣列部分，由復(fù)數(shù)的按方陣排列的三個或四個基本象素一組的宏 象素組成。其中宏象素中的基本象素可由被動象素組成，也可由不帶FD的3T主動象素組 成，也可由帶一個FD的4T主動象素組成。如果宏象素中基本象素采用帶FD的4T主動象素，其讀取電路可以采用4-點共享 方式(圖11)，6-點共享方式(圖12)，和8-點共享方式(圖13)。更為優(yōu)選地，每個宏象素可由帶兩個不透光的FD的4T主動象素組成，此時，其讀 取電路可以采用4-點橋式共享方式(圖18)。相應(yīng)地，此種感光器件在進行第一次兩行或 兩列，或兩行和兩列的合并采樣子采樣時的色彩合并時，采用的是電荷相加的方式。這種宏 象素為后面的逐行掃描，隔行或跨行讀取全圖采樣方式提供了可能。對于雙層或多層感光器件，除了第一合并采樣過程的色彩選擇更加豐富多彩外， 當(dāng)每個宏象素由帶兩個FD的4T主動象素組成時，其讀取電路還可以采用4-點橋式共享方 式(圖18)，6-點橋式共享方式(圖19)，或八點橋式共享方式(圖20)。相應(yīng)地，此種感光 器件在進行第一次兩行或兩列，或兩行和兩列的合并采樣子采樣時的色彩合并時，采用的 是電荷相加的方式。注意到，N個信號在采用電荷相加的方式合并時，信噪比的改進上限為Νλ/ 倍，而 N個信號在采用信號平均的方式合并時，信噪比的改進上限為#倍。其次，這種四點共用 兩個FD(或兩行象素共用一行FD)的感光器件在進行全圖采樣時除了正常的逐行掃描，逐 行讀取外，還可采取逐行掃描，隔行讀取的方式。舉例來說，在全圖采樣時，行地址解碼控制器和列地址解碼控制器，將根據(jù)索取的 圖像區(qū)域要求，依次先按行將Row[i]和RS[i]值按照器件約定置成高或低，并接著依次按 列輸出Col[j]和T[j]的值置成高或低，使得所需要的象素(電荷/電壓)值，能夠(經(jīng)過 讀寫電路)依讀取順序輸出到輸出總線上。在子采樣時，對于每一個所支持的MxN采樣因子(行縮小M倍，列縮小N倍)，行地 址解碼控制器和列地址解碼控制器，根據(jù)MxN采樣因子和圖像區(qū)域要求，對應(yīng)每一個輸出 行，同時將需要合并的行所對應(yīng)的所有Row[i]和RS[i]值置成高或低，并同時對應(yīng)每一個 輸出列，接著將需要合并的列的所有Col[j]和T[j]的值置成高或低，使得所有需要合并的 象素(電荷/電壓)值，能夠同時依讀取順序(經(jīng)過讀寫電路)輸出到輸出總線上。同時， 必要的時候，行地址解碼控制器和列地址解碼控制器還將根據(jù)MxN采樣因子和圖像區(qū)域要求，進行必要的跳行和跳列的操作。不同的MxN采樣因子，輸出總線上在不同的時間可能得到不同的色彩。相應(yīng)地，其 它系統(tǒng)功能模塊，如放大和模數(shù)轉(zhuǎn)換模塊，色彩變換和子采樣及圖像處理模塊，還有輸出控 制模塊，都需要做相應(yīng)的協(xié)調(diào)工作。這個系統(tǒng)的總的控制，可以通過芯片總控制模塊(圖25 中的CC模塊)來完成。注意到，除了放大和模數(shù)轉(zhuǎn)換模塊和象素陣列外，其它模塊，主要都 是數(shù)字處理電路，因而可以比較容易地在器件外圍實現(xiàn)，從而使得感光器件的布線相對簡 單。下面我們將結(jié)合圖17所示的感光象素的如圖26的讀取電路實現(xiàn)，以及圖25所示 的感光器件的其它模塊來給出一個更為具體的信號控制流程。首先，進行清零和感光控制一種簡單的清零控制是將Vbl和Vb2全部置零，這個 要求Vbl和Vb2成為行控制矢量的一個信號。另一種方法是，先將FDl和FD2復(fù)位(圖26 中的RSl置零)，并同時TGl和TG2打開(圖26中的RS2置高)，將感光象素里Gr和R里 的電荷清掉。此后，將RSl置高，RS2置零。此后，在光的照射下，Gr和R的感光二極管開始 積累電荷。當(dāng)需要讀取Gr中的電荷時，有三種做法。第一種是直接將TG1/ RS2和Row[i]打 開，將Gr中的電荷轉(zhuǎn)移到FDl中，并從中(通過電荷到電壓的轉(zhuǎn)換)讀出Gr中的電荷值。 第二種做法是，接著第一種做法的最后一步的讀出Gr中的電荷值后，再對FDl復(fù)位，并讀出 FDl在復(fù)位狀態(tài)下的電荷(電壓)，以便用來對剛讀出的Gr的電荷值進行相關(guān)采樣。第三 種是在讀取Gr中的電荷值之前，先對FDl進行復(fù)位采樣，這種方法會干擾Gr中的值，因而 比不上第二種。此時，列地址解碼控制器必須將Gr對應(yīng)的列選信號Col [j]打開，以便對Gr 的測量(可能是兩次，其中一次是復(fù)位狀態(tài)下的測量)輸出到放大和模數(shù)轉(zhuǎn)換模塊中去。根據(jù)Row[i]，Col[j]，和RS2[i]的值，芯片總控制模塊CC可以算出正在讀取的象 素的色彩，并對它進行相應(yīng)的處理。不同的色彩，可能會進入不同的放大電路，并進行不同 的模數(shù)轉(zhuǎn)換處理而得到數(shù)字信號。感光象素的數(shù)字信號將放進緩存里，由色彩變換和子采樣及圖象處理模塊，做進 一步的處理。在全圖采樣的情況下，不做子采樣，對于大陣列圖像感光器件，通常也不做任 何色彩變換。因而在此模式下，芯片總控制模塊CC會做出相應(yīng)的控制，讓感光象素的數(shù)字 信號跳過色彩變換和子采樣模塊，直接進入到圖像處理模塊。經(jīng)過感光器件內(nèi)含的圖像處 理之后，再由輸出模塊輸出到感光器件的對外接口。在全圖采樣時，需要注意的是逐行掃描，隔行或跨行讀取方式。在此情況下，奇數(shù) 行和偶數(shù)行的復(fù)位清零和感光時間控制是同時進行的。在隔行讀取的時候，當(dāng)偶數(shù)行(第 一行)的象素被全部讀取之后，行地址解碼控制器并不是立即去選擇讀下一行，而是，先將 后面的奇數(shù)行(第二行)轉(zhuǎn)移到FD與偶數(shù)行共用的FD中去，然后再開始第三行的讀取。在 跨行讀取的時候，如果第一行的標(biāo)號從O開始，那么，前半幀的行的讀取順序為0，3，4，7，8， 11，12，15…，而后半幀的讀取順序為，1,2,5,6,9,10，13，14…。當(dāng)然還可以有更加復(fù)雜的次 序。中間讀前半幀時中間被跨過去的行，先被放在已經(jīng)使用過一次的FD中暫存起來，等到 讀下半幀讀出。逐行掃描，隔行或跨行方式與傳統(tǒng)電視里的場掃描方式的不同之處是，在本發(fā)明 的逐行掃描，隔行或跨行方式里，象素的感光時序完全是逐行進行的，而場掃描方式不是。
在子采樣時，情況會復(fù)雜很多。但是對于一個具體的感光器件，子采樣因子MxN可 以只支持少數(shù)幾種。相應(yīng)地，芯片總控制模塊CC，行地址解碼控制器，以及列地址解碼控制 器可以只考慮所支持的MxN子采樣因子。例如，一個5百萬象素的感光器件，可以只考慮支 持2x2，2xl，4x4，8x8的四種情況。第二合并采樣過程通常不涉及電荷相加，因而通常采用的是如下三個方式直接 輸出到總線的信號自動平均方式、跳行或跳列方式，逐個采樣方式。這三個方式都非常傳統(tǒng) 和簡單，為本領(lǐng)域技術(shù)人員所熟知，不在此贅述。第三合并采樣過程是在數(shù)字圖像空間完 成，采用的也是相對標(biāo)準(zhǔn)的數(shù)字圖像縮放技術(shù)。下面我們僅對第一合并采樣過程做信號控 制流程的仔細(xì)說明，以使本發(fā)明的使用方法更加容易了解。對于如圖17所示的宏象素，在第一合并過程中，可能有兩種合并方式第一種方 式是Gr與B合并，R與Gb合并；第二種方式是Gr與Gb合并，R與B合并。對于第一種合并方式，按時間順序1. t0時刻行地址解碼控制器會將如圖26所示的對應(yīng)于FDl的RSl置零(復(fù)位)。2. tl時刻打開TGl和TG3(RS2[i]和RS2 [i+1])，同時將Gr和B感光二極管(PD) 的電荷，轉(zhuǎn)移到FDl中。此時，RSl可以置高。3. t2時刻然后再打開行選Row[i]和列選Col [j](假定Gr處在第i行第j列)， 將FDl中的電荷(電壓值)輸出到輸出總線上。4. t3時刻接下來還可讀取FDl中的零值以做相關(guān)采樣用。前兩步的操作，可以同時對第i和第i+Ι行的所有象素進行，第三和第四步則對合 并后的象素依次進行讀取。因此，如果不做相關(guān)采樣，平均一個時鐘脈沖可以讀取一個象 素，如果做相關(guān)采樣，則平均兩個時鐘脈沖可以讀取一個象素。這是按照象素位置優(yōu)先次序 進行的。這種合并方式，也可以按照下面的色彩優(yōu)先次序進行。對于第二種合并方式，時序情況復(fù)雜很多。這時候有兩種處理方式。第一種處理 方式是按色彩優(yōu)先次序進行先將整行的Gr與Gb合并采樣完，再進行B和R的合并采樣， 或者按相反次序。這種方式比較簡單，控制信號的時間順序如下5. t0時刻行地址解碼控制器會將如圖17和圖26所示的對應(yīng)于FDl和FD2的RSl
置零(復(fù)位)。6. tl 時刻打開 TGl 和 TG4 (RS2 [i]和 RS2 [i+Ι])，同時將Gr 和 Gb 感光二極管(PD) 的電荷，分別轉(zhuǎn)移到FDl和FD2中。此時，RSl可以置高。7. t2時刻打開TG5，將FD2中的電荷轉(zhuǎn)移到FDl中去8. t3時刻然后再打開行選Row[i]和列選Col [j](假定Gr處在第i行第j列)， 將FDl中的電荷(電壓值)輸出到輸出總線上。9. t4時刻接下來還可讀取FDl中的零值以做相關(guān)采樣用。前三步的操作，可以同時對第i和第i+Ι行的所有Gr和Gb象素進行，第三和第四 步則對合并后的象素依次進行讀取。因此，如果不做相關(guān)采樣，平均一個時鐘脈沖可以讀取 一個象素，如果做相關(guān)采樣，則平均兩個時鐘脈沖可以讀取一個象素。這種讀取方式破壞了 象素按位置的自然排序，需要后端處理校正。為了保持一致性，第一種合并方式，也可以按 色彩優(yōu)先方式進行。第二種處理方式是按位置優(yōu)先次序進行先將第一個Gr與Gb合并采樣完，再進行第一個B和R的合并采樣，如此反復(fù)。這種方式的控制信號的時間順序與上面第一種處 理方式類似，但象素之間只能串行處理，不能并行處理。就是說，在處理第一個合并象素的 t0-t5時刻，不能處理第二個合并象素。這要求比較高的系統(tǒng)時鐘。幸運的是，在進行了子 采樣后，象素的數(shù)量大大減少，因此，系統(tǒng)時鐘頻率還不至于高得太離譜。對于本發(fā)明中的優(yōu)選電路實現(xiàn)而言，在子采樣時，相關(guān)采樣作用不大，因而可以省 去。從而，上面的時序就簡單很多。對于選定的象素采樣次序，芯片總控制模塊CC將相應(yīng)地控制放大和模數(shù)轉(zhuǎn)換模 塊，色彩變換和子采樣及圖像處理模塊，還有輸出控制模塊，以便對不同的色彩做不同的處 理。更詳盡的介紹已經(jīng)超出了本發(fā)明的范疇。現(xiàn)有的子采樣方式主要是在相同色彩的象素間進行，而且主要采用的象素平均和 跳行或跳列的方式。這些方法，對于豐富多彩的雙層或多層感光器件而言，就顯得過于局限 和蒼白無力。本發(fā)明提出的子采樣方法，通過色彩空間變換的方式，即可以在相同色彩間進 行，也可在不同色彩間進行，也可混合進行(即部分在相同色彩間進行，部分在不同色彩間 進行)。此外，本發(fā)明提出的電荷相加的信號合并方式，只需將η個信號合并，就能達到接近 于η3個信號相加的效果。因而，本發(fā)明的子采樣方法相比現(xiàn)有的子采樣方法，將可具有更 好的圖像質(zhì)量，特別的，將本發(fā)明用于雙層或多層感光器件的時候，就能產(chǎn)生不可勝數(shù)的簡 單而又優(yōu)秀的子采樣方式。以上我們只是以單層和雙層感光器件和少數(shù)3Τ/4Τ主動象素為例子，來說明本發(fā) 明的精髓和內(nèi)容。這些具體的條件，并不是本發(fā)明的限制。相反，將本發(fā)明用于更為復(fù)雜的 設(shè)計，如5Τ/6Τ主動象素，或多層感光器件，其效果可能更為明顯。
權(quán)利要求
一種多光譜感光器件，其特征在于，包括以行和列排列的象素陣列，以及第一合并單元，用于對所述象素陣列中的緊鄰的同行異列、異行同列、或異行異列的象素間進行兩兩合并采樣，獲得第一合并象素的采樣數(shù)據(jù)；第二合并單元，用于對第一合并單元得到的第一合并象素的采樣數(shù)據(jù)進行合并采樣，獲得第二合并象素的采樣數(shù)據(jù)。
2.如權(quán)利要求1所述的多光譜感光器件，其特征在于，還包括第三合并單元，，用于對 第二合并單元得到的第二合并象素的采樣數(shù)據(jù)進行合并采樣，獲得第三合并象素的采樣數(shù) 據(jù)。
3.如權(quán)利要求2所述的多光譜感光器件，其特征在于，所述第一合并單元或第二合并 單元的象素合并方式為相同或不同色彩象素間的電荷累加方式或兩個不同色彩象素間的 信號平均方式，其中不同色彩象素間的象素合并方式遵照色彩空間變換的方式，以滿足色 彩重建的要求。
4.如權(quán)利要求3所述的多光譜感光器件，其特征在于，所述電荷累加方式是在讀取電 容(FD)中完成的。
5.如權(quán)利要求1至4任意一項所述的多光譜感光器件，其特征在于，所述第一合并單元 或第二合并單元的基于色彩的合并采樣方式包括同色合并方式、異色合并方式、混雜合并 方式、或選擇性拋棄多余色彩合并方式，且第一合并單元和第二合并單元采用的合并采樣 方式不同時為同色合并方式。
6.如權(quán)利要求1至5任意一項所述的多光譜感光器件，其特征在于，所述第一合并單元 或第二合并單元的基于位置的合并采樣方式包括以下幾種方式中的至少一種直接輸出到 總線的信號自動平均方式、跳行或跳列方式、和逐個采樣方式。
7.如權(quán)利要求1至6任意一項所述的多光譜感光器件，其特征在于，所述第三合并采樣 單元的合并采樣方式包括色彩空間變換方式和后端數(shù)字圖像縮放方式中的至少一種。
8.如權(quán)利要求1或7任意一項所述的多光譜感光器件，其特征在于，所述色彩空間變換 包括RGB到CyYeMgX空間的變換、RGB到Y(jié)UV空間的變換，或CyYeMgX到Y(jié)UV空間的變換、 其中X為R(紅)、G(綠)、B(蘭)中的任一種。
9.如權(quán)利要求1至8任意一項所述的多光譜感光器件，其特征在于，所述象素陣列由復(fù) 數(shù)個包含至少一個基本象素的宏象素組成，其中基本象素可以為被動象素或主動象素。
10.如權(quán)利要求9所述的多光譜感光器件，其特征在于，所述宏象素中的基本象素按方 陣或蜂窩排列。
11.如權(quán)利要求9或10所述的多光譜感光器件，其特征在于，所述宏象素的組成方式 包括以下組成方式至少一種不帶讀取電容(FD)的3T主動象素組成方式、帶一個讀取電容 (FD)的4T主動象素組成方式。
12.如權(quán)利要求11所述的多光譜感光器件，其特征在于，所述帶一個讀取電容(FD)的 4T主動象素，采用4點共享方式、6點共享方式、或8點共享方式。
13.如權(quán)利要求9所述的多光譜感光器件，其特征在于，所述宏象素包括如下的組成方 式由四個按方陣排列的基本象素和兩個位于兩行中間的不透光的讀取電容(FD)組成，上 一行的象素與下一行的象素共用一個讀取電容(FD)，兩個讀取電容(FD)之間可以實現(xiàn)電 荷轉(zhuǎn)移，并且在至少一個讀取電容上連接有讀取電路。
14.根據(jù)權(quán)利要求9所述的多光譜感光器件，其特征在于，所述宏象素為帶兩點共享、 三點共享、或四點共享讀取電容(FD)的3T或4T主動象素的基本象素組成，采用4點橋式 共享方式、6點橋式共享方式、或8點橋式共享方式。
15.根據(jù)權(quán)利要求1至14任意一項所述的多光譜感光器件，其特征在于，所述多光譜感 光器件的全圖采樣方式包括逐行掃描、逐行讀取方式或逐行掃描、隔行或跨行讀取方式。
16.一種多光譜感光器件的采樣方法，其特征在于，包括第一合并過程，用于對所述象素陣列中的緊鄰的同行異列、異行同列、或異行異列的象 素間進行兩兩合并采樣，獲得第一合并象素的采樣數(shù)據(jù)；第二合并過程，用于對第一合并過程得到的第一合并象素的采樣數(shù)據(jù)進行合并采樣， 獲得第二合并象素的采樣數(shù)據(jù)。
17.如權(quán)利要求16所述的采樣方法，其特征在于，還包括第三合并過程，用于對第二 合并過程得到的第二合并象素的采樣數(shù)據(jù)進行合并采樣，獲得第三合并象素的采樣數(shù)據(jù)。
18.如權(quán)利要求16或17所述的采樣方法，其特征在于，所述第一合并過程或第二合并 過程的象素合并采樣方式為相同或不同色彩象素間的電荷相加方式或不同色彩象素間的 信號平均方式，其中不同色彩象素間的象素合并方式遵照色彩空間變換的方式，以滿足色 彩重建的要求。
19.如權(quán)利要求16至18任意一項所述的采樣方法，其特征在于，所述第一過程或第二 合并過程的基于色彩的合并采樣方式包括同色合并方式、異色合并方式、混雜合并方式、或 選擇性拋棄多余色彩方式，且第一合并過程和第二合并過程中至少一個合并過程不是同色 合并方式。
20.如權(quán)利要求16至19任意一項所述的采樣方法，其特征在于，所述第一合并過程或 第二合并采樣過程的基于位置的合并采樣方式包括以下幾種方式中的至少一種直接輸出 到總線的信號自動平均方式、跳行或跳列方式、和逐個采樣方式。
21.如權(quán)利要求16至21任意一項所述的采樣方法，其特征在于，所述第三合并采樣過 程進行的合并采樣方式包括色彩空間變換方式、后端數(shù)字圖像縮放方式。
22.如權(quán)利要求18或21所述的采樣方法，其特征在于，所述色彩空間變換包括RGB 到CyYeMgX空間的變換、RGB到Y(jié)UV空間的變換、或CyYeMgX到Y(jié)UV空間的變換、其中X為 R(紅)、G(綠)、B(蘭)中的任一種。
23.如權(quán)利要求18至22任意一項所述的采樣方法，其特征在于，其全圖采樣的方式包 括逐行掃描、逐行讀取方式或逐行掃描、隔行或跨行讀取方式。
全文摘要
本發(fā)明涉及一種多光譜感光器件及其采樣方法，所述方法包括第一合并過程，用于對所述像素陣列中的緊鄰的同行異列、異行同列、或異行異列的像素間進行兩兩合并采樣，獲得第一合并像素的采樣數(shù)據(jù)；第二合并過程，用于對第一合并過程得到的第一合并像素的采樣數(shù)據(jù)進行合并采樣，獲得第二合并像素的采樣數(shù)據(jù)；和第三合并過程，在數(shù)字空間用色彩變換和圖像縮放的方法，獲得第三合并像素的采樣數(shù)據(jù)。本發(fā)明適用于單層彩色感光芯片，單面雙層多光譜感光芯片，以及雙面雙層多光譜感光芯片的多像素共享讀取和放大電路。本發(fā)明在吸收了現(xiàn)有像素讀取電路的精髓的基礎(chǔ)上，在原理，基礎(chǔ)電路，和性能上，都有數(shù)量級的突破，并在實現(xiàn)高性能子采樣的同時，簡單直接地在感光器件上實現(xiàn)子采樣圖像的YUV格式輸出。
文檔編號H01L27/14GK101834974SQ200910105948
公開日2010年9月15日 申請日期2009年3月9日 優(yōu)先權(quán)日2009年3月9日
發(fā)明者胡笑平 申請人:博立碼杰通訊(深圳)有限公司