專(zhuān)利名稱(chēng)：信號(hào)處理設(shè)備、成像設(shè)備及信號(hào)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信號(hào)處理設(shè)備、成像設(shè)備及信號(hào)處理方法。具體地，本發(fā)明涉及例如向 通過(guò)濾色器(color filter)陣列獲得的每個(gè)像素信號(hào)內(nèi)插色彩信息的技術(shù)。
背景技術(shù)：
在單板型成像設(shè)備中，使用了濾色器陣列以將通過(guò)鏡頭獲得的對(duì)象光分離為 R(紅)、G(綠)和B(藍(lán))三原色。拜耳陣列(Bayer array)通常被用作濾色器陣列。拜 耳陣列的示例在圖13中示出。在拜耳陣列中，亮度信號(hào)以高速率形成的G像素按棋盤(pán)格狀 (checkerwise)排列，并且R像素和B像素在陣列的其余部分中分別按棋盤(pán)格狀排列。由于每個(gè)像素僅可以獲取R、G和B中一種顏色的數(shù)據(jù)，因此通過(guò)利用周?chē)袼氐?輸出來(lái)執(zhí)行內(nèi)插計(jì)算而獲得未被獲得的其它顏色的數(shù)據(jù)。在圖13中的R33位置的情況中， 缺失的G分量和B分量通過(guò)計(jì)算來(lái)內(nèi)插。作為內(nèi)插的方法，公開(kāi)了這樣的方法在位于內(nèi)插對(duì)象的像素(下面也稱(chēng) 為感興趣像素)鄰近的像素中，僅利用像素被估計(jì)為與感興趣像素具有較強(qiáng)相關(guān)性 的方向上的像素來(lái)執(zhí)行內(nèi)插(例如，參考J. F. Hamilton和J. E. Adams的美國(guó)專(zhuān)利 No.5629734, “ Adaptive color plane interpolation in single sensor color electronic camera")。在該方法中，位于感興趣像素鄰近的每個(gè)像素的像素值與感興趣 像素的像素值相比的改變量通常被用作表示相關(guān)性強(qiáng)度的指標(biāo)(barometer)。因此，以如下 方式執(zhí)行內(nèi)插像素值的改變量較小的方向被當(dāng)作高度相關(guān)的方向。像素值的改變量通常是基于G像素值的改變量來(lái)估計(jì)的。這是因?yàn)橛捎贕像素以 最大數(shù)目被排列的拜耳陣列使得G像素比R像素和B像素具有更多的信息量。即，通過(guò)基 于G像素值的改變量確定強(qiáng)相關(guān)方向，可以提高確定強(qiáng)相關(guān)方向的精確度。然而，在感興趣像素位于圖像的紋理部分或角落上的情況中，通過(guò)基于G像素值 的改變量進(jìn)行的確定不能正確地估計(jì)出與感興趣像素具有強(qiáng)相關(guān)性的像素所在的方向 (下面稱(chēng)為相關(guān)方向)。這是因?yàn)樵诮锹浠蚣y理部分，存在多個(gè)G像素值的改變量較高的方 向。D. Cok 的美國(guó)專(zhuān)利 4 642 678(1987) “ Signal Processing Method and Apparatus for Producing Interpolated Chrominance Values In a Sampled Color Image Signal"公開(kāi)了一種方法，該方法不僅使用特定原色(例如G)的空間相關(guān)性而且 使用原色之間的相關(guān)性。該方法是基于如下假定的“在局部區(qū)域中顏色分量不會(huì)突然改 變”(恒定色調(diào)假定)。即，由于不同原色之間的相關(guān)性，因此R(或B)(下面稱(chēng)為R/B)的改 變量與G的改變量(R/B的比率以及G的比率(下面稱(chēng)為色彩比率))幾乎彼此相等。基于 此假設(shè)，產(chǎn)生圍繞感興趣像素的每個(gè)像素的色彩比率，并且從周?chē)袼氐纳时嚷蕘?lái)估計(jì) 感興趣像素的色彩比率，以估計(jì)出感興趣像素的內(nèi)插值。此外，公開(kāi)了這樣的方法取決于G像素值的改變量和感興趣像素(R或B)的像素 值的改變量來(lái)對(duì)被估計(jì)為具有強(qiáng)相關(guān)性的周?chē)袼氐念伾至窟M(jìn)行大幅加權(quán)，以估計(jì)出感興趣像素的顏色分量(例如，參考HA. Chang和H. Chen “ Directionally Weighted Color Interpolation for Digital Cameras," Circuits and Systems,2005. ISCAS 2005. IEEE International Symposium on 23—26 May 2005,Page (s) :6284_6287 Vol. 6，以及日本未實(shí) 審專(zhuān)利申請(qǐng)公報(bào)No. 2006-174485)。根據(jù)該方法，即使在色彩突然改變的邊緣中也可以在執(zhí) 行色彩內(nèi)插(color interpolation)的同時(shí)抑制不自然的失真(偽色)。然而，在上述方法中，檢測(cè)可能是利用單色像素的像素值的改變量來(lái)不太精確地 執(zhí)行的，并且估計(jì)是利用周?chē)袼氐牟惶_的顏色分量來(lái)執(zhí)行的。因此，在具有高頻率的 紋理部分等中，當(dāng)未基于正確的估計(jì)來(lái)產(chǎn)生(內(nèi)插)周?chē)袼刂禃r(shí)，其不利結(jié)果是降低了估 計(jì)感興趣像素的顏色分量的精確度。因此，公開(kāi)了這樣的方法，其中，在這樣的色彩內(nèi)插處理之后重復(fù)相關(guān)方向檢測(cè)， 由此提高估計(jì)感興趣像素的周?chē)袼氐念伾至康木_度，并且以更高的精確度來(lái)檢測(cè)相 關(guān)方向從而重構(gòu)(re-constitute)色彩內(nèi)插圖像(例如，參考R. Kimmel，“ Demosaicing Image reconstruction from CCD samples, " IEEE Trans. Image Processing, vol.8, pp. 1221-1228，1999)。

發(fā)明內(nèi)容
然 而， 在 R. Kimmel, “ Demosaicing Image reconstruction from CCD samples, “ IEEE Trans. Image Processing，vol. 8，pp. 1221-1228，1999 所公開(kāi)的方法中， 數(shù)據(jù)量和計(jì)算量大幅增加，這是因?yàn)橐槍?duì)通過(guò)色彩內(nèi)插生成的色彩內(nèi)插圖像重復(fù)相關(guān)方 向檢測(cè)。此外，相關(guān)方向是利用色彩內(nèi)插之后的圖像來(lái)檢測(cè)的。因此，當(dāng)通過(guò)色彩內(nèi)插獲得 的像素值與原始圖像的像素值之間的差異很大時(shí)，不能正確地確定相關(guān)方向。即，在這樣的 情況中，不利結(jié)果是未能提高色彩內(nèi)插的精確度。希望提供即使在圖像的邊緣部分等中也可以精確地執(zhí)行色彩內(nèi)插而不增加數(shù)據(jù) 量和計(jì)算量的信號(hào)處理設(shè)備、成像設(shè)備及信號(hào)處理方法。在本發(fā)明的一個(gè)實(shí)施例中，像素信號(hào)中缺失的像素值(顏色分量)被內(nèi)插。像素 信號(hào)由包括二維排列的多個(gè)像素的成像元件獲得，在多個(gè)像素上按預(yù)定陣列交替排列了 R、 G和B原色的濾色器。即，根據(jù)本發(fā)明實(shí)施例的信號(hào)處理設(shè)備包括預(yù)處理單元、鄰近G像素 G色差和R/B像素產(chǎn)生單元、G色差重構(gòu)處理單元、G色差內(nèi)插處理單元和RGB產(chǎn)生單元。預(yù)處理單元向感興趣像素的位置并且向具有與感興趣像素相同的顏色分量的像 素位置內(nèi)插G顏色分量，以產(chǎn)生第一 G內(nèi)插信號(hào)，感興趣像素具有R顏色分量和B顏色分量 中的一者并且位于預(yù)定像素位置上。鄰近G像素G色差和R/B像素產(chǎn)生單元首先通過(guò)利用 第一 G內(nèi)插信號(hào)在感興趣像素的位置上以及具有與感興趣像素相同顏色分量的像素位置 上產(chǎn)生第一 R-G色差信號(hào)和第一 B-G色差信號(hào)中的一者。然后，鄰近G像素G色差和R/B像 素產(chǎn)生單元通過(guò)利用第一 R-G色差信號(hào)和第一 B-G色差信號(hào)中的一者來(lái)在位于感興趣像素 鄰近的鄰近G像素的位置上產(chǎn)生第二 R-G色差信號(hào)和第二 B-G色差信號(hào)中的一者。此外， 鄰近G像素G色差和R/B像素產(chǎn)生單元通過(guò)利用第二 R-G色差信號(hào)和第二 B-G色差信號(hào)中 的一者來(lái)在鄰近G像素的位置上內(nèi)插R顏色分量和B顏色分量中的一者。G色差重構(gòu)處理單元通過(guò)利用由鄰近G像素G色差和R/B像素產(chǎn)生單元進(jìn)行了內(nèi) 插的R分量和B分量中的一者來(lái)在感興趣像素的位置上重構(gòu)第三R-G色差信號(hào)和第三B-G色差信號(hào)中的一者。G色差內(nèi)插處理單元通過(guò)利用由G色差重構(gòu)處理單元重構(gòu)出的第三R-G色差信號(hào) 和第三B-G色差信號(hào)中的一者來(lái)向預(yù)定像素位置內(nèi)插R-G色差信號(hào)和B-G色差信號(hào)中的一者ο根據(jù)上面的結(jié)構(gòu)，在感興趣像素周?chē)a(chǎn)生通過(guò)組合多個(gè)G色差信號(hào)(R-G色差信號(hào) 或B-G色差信號(hào))形成的G色差信號(hào)，并且基于所產(chǎn)生的G色差信號(hào)來(lái)重構(gòu)預(yù)定像素位置 上的G色差。根據(jù)上述“恒定色調(diào)假定”，即使在所產(chǎn)生的G色差信號(hào)的精確度不足時(shí)，也可以 通過(guò)收集并平均多個(gè)G色差信號(hào)來(lái)獲得更可靠的G色差信號(hào)。因此，上面的結(jié)構(gòu)使得即使 在G色差信號(hào)的精確度容易降低的邊緣部分等中也可以精確地執(zhí)行色彩內(nèi)插。


圖1是示出根據(jù)本發(fā)明實(shí)施例的成像設(shè)備的內(nèi)部結(jié)構(gòu)的示例的框圖；圖2是示出根據(jù)本發(fā)明實(shí)施例的色彩內(nèi)插處理單元的內(nèi)部結(jié)構(gòu)示例的框圖；圖3A至3D示出了輸入到本發(fā)明實(shí)施例的G色差內(nèi)插處理單元中的像素陣列的示 例，圖3A示出了感興趣像素為R的情況的陣列的示例，圖3B示出了在感興趣像素為R的情 況中使用的G色差陣列的示例，圖3C示出了感興趣像素為Gr的情況的陣列的示例，并且圖 3D示出了在感興趣像素為Gr的情況中使用的G色差陣列；圖4是示出根據(jù)本發(fā)明實(shí)施例的G色差重構(gòu)單元的內(nèi)部結(jié)構(gòu)示例的框圖；圖5A至5D是示出根據(jù)本發(fā)明實(shí)施例的預(yù)處理單元的內(nèi)部結(jié)構(gòu)示例的框圖；圖6是示出根據(jù)本發(fā)明實(shí)施例的鄰近G像素G色差和R/B像素產(chǎn)生單元的內(nèi)部結(jié) 構(gòu)示例的框圖；圖7是示出根據(jù)本發(fā)明實(shí)施例的用于G像素的G色差和R/B像素產(chǎn)生單元的內(nèi)部 結(jié)構(gòu)示例的框圖；圖8是示出根據(jù)本發(fā)明實(shí)施例的G色差重構(gòu)處理單元的內(nèi)部結(jié)構(gòu)示例的框圖；圖9是示出根據(jù)本發(fā)明實(shí)施例的G色差重構(gòu)單元的處理示例的流程圖；圖10是示出根據(jù)本發(fā)明實(shí)施例的鄰近G像素G色差和R/B像素產(chǎn)生單元的處理 示例的流程圖；圖11是示出根據(jù)本發(fā)明實(shí)施例的G色差重構(gòu)處理單元的處理示例的流程圖；圖12A至12C是示出根據(jù)本發(fā)明實(shí)施例的其它示例的濾色器陣列的說(shuō)明圖，圖12A 示出了蜂窩陣列的示例，圖12B示出了 ClearVid CMOS傳感器中的像素陣列示例，并且圖 12C示出了像素陣列在ClearVid CMOS感測(cè)器中的應(yīng)用；以及圖13是示出相關(guān)技術(shù)的拜耳陣列的結(jié)構(gòu)示例的說(shuō)明圖。
具體實(shí)施例方式現(xiàn)在將以如下順序參考附圖來(lái)描述根據(jù)本發(fā)明實(shí)施例的信號(hào)處理設(shè)備、成像設(shè)備 和視頻信號(hào)處理方法。1.成像設(shè)備的結(jié)構(gòu)示例2.色彩內(nèi)插處理單元的結(jié)構(gòu)示例
3. G色差重構(gòu)單元的結(jié)構(gòu)示例4. G色差重構(gòu)單元的操作示例1.成像設(shè)備的結(jié)構(gòu)示例在本發(fā)明的實(shí)施例中，將描述根據(jù)本發(fā)明實(shí)施例的信號(hào)處理設(shè)備被應(yīng)用于諸如相 機(jī)之類(lèi)的成像設(shè)備的情況來(lái)作為示例。圖1示出了根據(jù)本實(shí)施例的成像設(shè)備100的相機(jī)塊 內(nèi)部的結(jié)構(gòu)示例。圖1所示的相機(jī)塊包括鏡頭1、濾色器2、成像元件3、模數(shù)轉(zhuǎn)換單元4(下 面稱(chēng)為A/D轉(zhuǎn)換器)、校正處理單元5、色彩內(nèi)插處理單元6和圖像處理單元7。鏡頭1在成像元件3的成像表面(未示出)上形成對(duì)象的圖像。成像元件3是電 荷耦合器件(CCD)圖像傳感器或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器，并且是由二維 排列的多個(gè)光電轉(zhuǎn)換元件組成的。每個(gè)光電轉(zhuǎn)換元件構(gòu)成一像素，并且每個(gè)光電轉(zhuǎn)換元件 在成像表面上的位置對(duì)應(yīng)于像素位置。濾色器2被布置在成像元件3的二維排列的像素上，并且成像元件3通過(guò)濾色器 2接收每個(gè)像素的一種顏色的信號(hào)值。濾色器2具有如圖13所示的陣列那樣的拜耳陣列， 并且例如假設(shè)濾色器具有五個(gè)像素的高度且五個(gè)像素的寬度。濾色器的高度和寬度分別與 成像表面的垂直方向和水平方向相對(duì)應(yīng)。A/D轉(zhuǎn)換器4將從成像元件3輸出的信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)以便將數(shù)字信號(hào)輸出給 校正處理單元5。校正處理單元5執(zhí)行校正處理，例如，校正由光學(xué)系統(tǒng)和成像系統(tǒng)的特性 引起的亮度不均勻的陰影校正以及校正由成像元件3的缺陷引起的像素缺陷的像素缺陷 校正。色彩內(nèi)插處理單元6對(duì)在校正處理單元5處經(jīng)過(guò)校正的每種顏色的信號(hào)執(zhí)行內(nèi) 插。將在后面詳細(xì)描述色彩內(nèi)插處理單元6。圖像處理單元7對(duì)從色彩內(nèi)插處理單元6輸 出的信號(hào)執(zhí)行伽馬校正、輪廓增強(qiáng)等。2.色彩內(nèi)插處理單元的結(jié)構(gòu)示例現(xiàn)在描述本實(shí)施例的色彩內(nèi)插處理單元6的結(jié)構(gòu)示例。本實(shí)施例的色彩內(nèi)插處理 單元6執(zhí)行下面的處理。(1)向沒(méi)有G像素值的像素(R/B像素；包括感興趣像素)的位置內(nèi)插G像素值 (第一 G內(nèi)插信號(hào))。(2)計(jì)算內(nèi)插后的G像素值(下面也稱(chēng)為內(nèi)插值)與R/B像素的像素值之間的差 異，以在沒(méi)有G像素值的像素位置上產(chǎn)生G色差(第一 R-G/B-G色差信號(hào))。(3)在G像素中產(chǎn)生G色差(第二 R-G/B-G色差信號(hào))，以在G像素中產(chǎn)生R/B像 素的像素值。(4)通過(guò)利用在G像素中產(chǎn)生的R/B像素的像素值來(lái)重構(gòu)感興趣像素的G色差(第 三R-G/B-G色差信號(hào))。(5)通過(guò)利用重構(gòu)出的G色差來(lái)內(nèi)插沒(méi)有R/B像素值的像素的G色差。(6)計(jì)算G色差，并且在空間上內(nèi)插該G色差，以便通過(guò)利用將被內(nèi)插的像素的G 色差以及G像素值來(lái)獲得R、G和B的像素值，或者通過(guò)利用R/B像素值以及G色差來(lái)獲得 R、G和B的像素值。圖2是示出色彩內(nèi)插處理單元6的結(jié)構(gòu)示例的框圖。色彩內(nèi)插處理單元6包括G 色差重構(gòu)單元600、存儲(chǔ)器單元601、以及執(zhí)行上面提到的處理(5)的G色差內(nèi)插處理單元602。色彩內(nèi)插處理單元6還包括RGB延遲處理單元603、存儲(chǔ)器單元604、RGB延遲處理單 元605、以及執(zhí)行上面提到的處理(6)的RGB產(chǎn)生單元606。G色差重構(gòu)單元600執(zhí)行上述處理(1)至(4)。后面將參考圖4及后續(xù)附圖描述 處理的細(xì)節(jié)。然而，通過(guò)G色差重構(gòu)單元600執(zhí)行的處理(1)至(4)，當(dāng)感興趣像素為R時(shí)， 輸出G色差V (R-G)，并且當(dāng)感興趣像素為B時(shí)，輸出G色差U (B-G)。存儲(chǔ)器單元601例如由多個(gè)行存儲(chǔ)器(line memory)構(gòu)成。存儲(chǔ)器單元601臨時(shí) 存儲(chǔ)從G色差重構(gòu)單元600輸出的G色差，并在預(yù)定定時(shí)處輸出該G色差。G色差內(nèi)插處理 單元602接收從存儲(chǔ)器單元601輸出的G色差，并且對(duì)沒(méi)有R/B像素值的像素的G色差執(zhí) 行內(nèi)插處理，以將經(jīng)內(nèi)插的色差輸出給RGB產(chǎn)生單元606。圖3A示出了感興趣像素為R33的情況的像素陣列的示例。在圖3A所示陣列中， 將像素種類(lèi)和像素位置表示為Xij。像素種類(lèi)0 、61~或613，或扮被指派給X，垂直方向上 的像素位置被指派給i，并且水平方向上的像素位置被指派給j。Gr表示存在于排列有R像 素的行上的G，Gb表示存在于排列有B像素的行上的G。在下面的描述中，諸如R33之類(lèi)的 標(biāo)號(hào)不僅用于表示像素位置而且用于表示像素值。圖3B示出了在感興趣像素為R33的情況中從存儲(chǔ)器單元601輸出的每個(gè)G色差 的示例。在此情況中，感興趣像素的G色差V33和G色差U33例如是利用下式計(jì)算出的。V33 =在G色差重構(gòu)單元600處重構(gòu)出的G色差(下面稱(chēng)為G色差V' 33)U33 =(在G色差重構(gòu)單元600處重構(gòu)出的G色差U22' +U' 24+U' 42+U' 44) /4在感興趣像素為B的情況中，同樣，G色差U和G色差V以類(lèi)似方式計(jì)算。圖3C示出了感興趣像素為Gr33的情況中的像素陣列的示例。在此情況中，感興 趣像素的G色差V33和G色差U33例如利用下式來(lái)計(jì)算。V33 = (V32' +V34' )/2U33 = (U32' +U43' )/2在感興趣像素為Gb的情況中，同樣，G色差U和G色差V以類(lèi)似方式計(jì)算。這里， G色差的計(jì)算方法不限于此方法，而是可以用其它方法來(lái)計(jì)算G色差。返回來(lái)參考圖2，RGB產(chǎn)生單元606執(zhí)行上述處理(6)。S卩，RGB產(chǎn)生單元606通 過(guò)利用從G色差內(nèi)插處理單元602輸出的每個(gè)G色差以及從RGB延遲處理單元605輸出的 R、G和B中的每一者的像素值，來(lái)產(chǎn)生R、G和B中的每一者的像素值。例如，在如圖3A所 示的感興趣像素為R的情況中，通過(guò)利用下式來(lái)產(chǎn)生R、G和B中的每一者的像素值。R = R33G = R33-V33B = U33+G33在感興趣像素為B的情況中，同樣，R、G和B中的每一者的像素值以類(lèi)似方式計(jì)算。在如圖3C所示的感興趣像素為Gr的情況中，通過(guò)利用下式來(lái)產(chǎn)生R、G和B中的 每一者的像素值。R = V33+Gr33G = Gr33B = U33+Gr33在感興趣像素為Gb的情況中，同樣，R、G和B中的每一者的像素值以類(lèi)似方式計(jì)算。RGB延遲處理單元603延遲R、G和B中的每一者的像素值的輸出，以使得將R、G 和B中的每一者的像素值提供給存儲(chǔ)器單元604的定時(shí)與將G色差從G色差重構(gòu)單元600 提供給存儲(chǔ)器單元601的定時(shí)相匹配。存儲(chǔ)器單元604臨時(shí)存儲(chǔ)從RGB延遲處理單元603輸出的R、G和B中的每一者的像素值，并將像素值輸出給RGB延遲處理單元605。RGB延遲處理單元605延遲R、G和B 中的每一者的像素值的輸出，以使得將R、G和B中的每一者的像素值提供給RGB產(chǎn)生單元 606的定時(shí)與將G色差從G色差內(nèi)插處理單元602提供給RGB產(chǎn)生單元606的定時(shí)相匹配。 3. G色差重構(gòu)單元的結(jié)構(gòu)示例現(xiàn)在將參考圖4詳細(xì)描述G色差重構(gòu)單元600。圖4是示出G色差重構(gòu)單元600 的結(jié)構(gòu)示例的框圖。G色差重構(gòu)單元600包括預(yù)處理單元610、鄰近G像素G色差和R/B像 素產(chǎn)生單元620、以及G色差重構(gòu)處理單元630。預(yù)處理單元610執(zhí)行上述處理(1)。即，預(yù)處理單元610通過(guò)利用由成像元件3的 每個(gè)像素經(jīng)由濾色器2獲得的R、G和B中的每一者的像素信號(hào)作為輸入，來(lái)向沒(méi)有G像素 值的像素(包括感興趣像素)內(nèi)插G像素值。然后，預(yù)處理單元610輸出由成像元件3獲 得的G像素值以及通過(guò)內(nèi)插產(chǎn)生的G像素值(下面也稱(chēng)為內(nèi)插值)。此外，預(yù)處理單元610 延遲從成像元件3接收到的R/B像素信號(hào)，并臨時(shí)存儲(chǔ)R/B像素信號(hào)，以使得G像素信號(hào)與 R/B像素信號(hào)的相位相匹配。鄰近G像素G色差和R/B像素產(chǎn)生單元620執(zhí)行上述處理(2)至(4)。即，鄰近G 像素G色差和R/B像素產(chǎn)生單元620通過(guò)利用從預(yù)處理單元610輸出的R/B像素值和G像 素值，來(lái)在位于感興趣像素鄰近的多個(gè)G像素(下面稱(chēng)為鄰近G像素)中產(chǎn)生G色差。此 外，鄰近G像素G色差和R/B像素產(chǎn)生單元620通過(guò)利用從預(yù)處理單元610接收到的所產(chǎn) 生的G色差和G內(nèi)插值，來(lái)在鄰近G像素中產(chǎn)生R/B像素值。G色差重構(gòu)處理單元630執(zhí)行上述處理(5)。即，G色差重構(gòu)處理單元630通過(guò)利 用由鄰近G像素G色差和R/B像素產(chǎn)生單元620產(chǎn)生的鄰近G像素的R/B像素值，來(lái)重構(gòu) 感興趣像素的G色差。此時(shí)，在感興趣像素的G色差重構(gòu)中，G色差重構(gòu)處理單元630對(duì)位 于G像素值的改變量較小的方向上的像素的像素值進(jìn)行加權(quán)。色彩內(nèi)插處理單元內(nèi)部的每個(gè)塊的結(jié)構(gòu)示例現(xiàn)在將參考圖5A至圖8詳細(xì)描述構(gòu)成上述色彩內(nèi)插處理單元6的每個(gè)塊。圖5A是預(yù)處理單元610的結(jié)構(gòu)示例的框圖。預(yù)處理單元610包括相關(guān)方向確定 G內(nèi)插處理單元611、存儲(chǔ)器單元612、R/B延遲處理單元613以及存儲(chǔ)器單元和R/B選擇處 理單元614。下面的描述基于圖5B所示的陣列的每個(gè)像素值被輸入到預(yù)處理單元610中的情 況的假設(shè)。即，將描述圍繞R33的5X5像素陣列的每個(gè)像素值的情況作為示例。這里，在 感興趣像素為B像素的情況中，也執(zhí)行類(lèi)似處理。當(dāng)所輸入像素具有G像素值時(shí)，預(yù)處理單元610中的相關(guān)方向確定G內(nèi)插處理單 元611將G像素值按原樣輸出給存儲(chǔ)器單元612。另一方面，當(dāng)所輸入像素不具有G像素 值時(shí)，相關(guān)方向確定G內(nèi)插處理單元611內(nèi)插G像素值，并且將內(nèi)插值輸出給存儲(chǔ)器單元 612。G像素值的內(nèi)插是通過(guò)利用位于與感興趣像素高度相關(guān)的方向上的像素的像素值來(lái)執(zhí)行的。G像素值的內(nèi)插例如利用下面的表達(dá)式來(lái)執(zhí)行。下面的表達(dá)式表示如圖5B所示 那樣排列的每個(gè)像素被輸入的情況中的處理。在圖5B中，i表示感興趣像素的垂直方向上 的坐標(biāo)，j表示水平方向上的坐標(biāo)。此外，像素的種類(lèi)用R、G和B來(lái)表示。在下面的表達(dá)式 中，“DH”表示在水平方向上與感興趣像素Rij相鄰的每個(gè)像素與感興趣像素Rij之間的改變 量，“DV”表示在垂直方向上與感興趣像素Rij相鄰的每個(gè)像素與感興趣像素Rij之間的改變 量，并且gij表示G的內(nèi)插值。首先，分別利用下面的表達(dá)式1和表達(dá)式2來(lái)計(jì)算水平方向上的改變量DH和垂直 方向上的改變量DV。DH = | -Ri,j-2+2Ri，j-Ri, j+2| +|Gi，j-1-Gi, j+1|... (1)DV = |-Ri-2, j+2Ri，j-Ri＋2, j | +| Gi-1, j-Gi+l，j |... (2)然后，利用下面的表達(dá)式計(jì)算內(nèi)插值gij。如果DH < DV，則
權(quán)利要求
1.一種信號(hào)處理設(shè)備，包括預(yù)處理單元，被配置為在由包括二維排列的多個(gè)像素的成像元件獲得的像素信號(hào)中， 向感興趣像素的位置內(nèi)插G顏色分量，并且向具有與所述感興趣像素相同的顏色分量的像 素位置內(nèi)插G顏色分量，以產(chǎn)生第一 G內(nèi)插信號(hào)，所述感興趣像素具有R顏色分量和B顏色 分量中的一者并且位于R、G和B原色的濾色器的預(yù)定陣列中的預(yù)定像素位置上，其中所述 濾色器按所述預(yù)定陣列交替排列在所述多個(gè)像素上；鄰近G像素G色差和R/B像素產(chǎn)生單元，被配置為通過(guò)利用所述第一 G內(nèi)插信號(hào)在所述 感興趣像素的位置上以及具有與所述感興趣像素相同顏色分量的像素位置上產(chǎn)生第一 R-G 色差信號(hào)和第一 B-G色差信號(hào)中的一者，通過(guò)利用所述第一 R-G色差信號(hào)和所述第一 B-G 色差信號(hào)中的一者來(lái)在位于所述感興趣像素鄰近的鄰近G像素的位置上產(chǎn)生第二 R-G色差 信號(hào)和第二 B-G色差信號(hào)中的一者，并且通過(guò)利用所述第二 R-G色差信號(hào)和所述第二 B-G 色差信號(hào)中的一者來(lái)向所述鄰近G像素的位置內(nèi)插R顏色分量和B顏色分量中的一者；G色差重構(gòu)處理單元，被配置為通過(guò)利用由所述鄰近G像素G色差和R/B像素產(chǎn)生單元 進(jìn)行了內(nèi)插的R分量和B分量中的一者來(lái)在所述感興趣像素的位置上重構(gòu)第三R-G色差信 號(hào)和第三B-G色差信號(hào)中的一者；以及G色差內(nèi)插處理單元，被配置為通過(guò)利用由所述G色差重構(gòu)處理單元重構(gòu)出的所述第 三R-G色差信號(hào)和所述第三B-G色差信號(hào)中的一者來(lái)向預(yù)定像素位置內(nèi)插R-G色差信號(hào)和 B-G色差信號(hào)中的一者。
2.根據(jù)權(quán)利要求1所述的信號(hào)處理設(shè)備，其中，所述鄰近G像素G色差和R/B像素產(chǎn)生 單元包括第一像素比較系數(shù)產(chǎn)生單元，被配置為計(jì)算所述鄰近G像素中包括的G分量與在所述 鄰近G像素位置上產(chǎn)生的所述第一 G內(nèi)插信號(hào)之間的差值，以計(jì)算出第一加權(quán)系數(shù)，G色差產(chǎn)生單元，被配置為通過(guò)利用在位于所述鄰近G像素鄰近的R像素和B像素中 的一者中包括的R分量和B分量中的一者以及在所述鄰近G像素位置上產(chǎn)生的所述第一 G 內(nèi)插信號(hào)，來(lái)在所述鄰近G像素位置上產(chǎn)生R-G色差信號(hào)和B-G色差信號(hào)中的一者，第一加權(quán)平均處理單元，被配置為通過(guò)利用所述第一加權(quán)系數(shù)來(lái)將由所述G色差產(chǎn)生 單元在鄰近G像素的位置上產(chǎn)生的R-G色差信號(hào)和B-G色差信號(hào)中的一者的加權(quán)平均值設(shè) 置為所述鄰近G像素位置上的R-G色差信號(hào)和B-G色差信號(hào)中的一者，以及加法器，被配置為將由所述第一加權(quán)平均處理單元獲得的所述鄰近G像素位置上的所 述R-G色差信號(hào)和所述B-G色差信號(hào)中的一者加到包括在所述鄰近G像素位置中的G分量 上。
3.根據(jù)權(quán)利要求2所述的信號(hào)處理設(shè)備，其中，所述G色差重構(gòu)處理單元包括第二像素比較系數(shù)產(chǎn)生單元，被配置為計(jì)算經(jīng)所述鄰近G像素G色差和R/B像素產(chǎn)生 單元內(nèi)插的R分量和B分量中的一者與包括在所述感興趣像素中的R分量和B分量中的一 者之間的差值，以計(jì)算出第二加權(quán)系數(shù)，以及第二加權(quán)平均處理單元，被配置為通過(guò)利用所述第二加權(quán)系數(shù)來(lái)將由所述鄰近G像素 G色差和R/B像素產(chǎn)生單元在所述鄰近G像素的位置上產(chǎn)生的R-G色差信號(hào)和B-G色差信 號(hào)中的一者的加權(quán)平均值設(shè)置為所述感興趣像素位置上的R-G色差信號(hào)和B-G色差信號(hào)中 的一者。
4.根據(jù)權(quán)利要求3所述的信號(hào)處理設(shè)備，其中，所述濾色器是拜耳陣列類(lèi)型的濾色器。
5.根據(jù)權(quán)利要求4所述的信號(hào)處理設(shè)備，還包括RGB產(chǎn)生單元，被配置為通過(guò)利用如下組合中的一種來(lái)產(chǎn)生R的像素信號(hào)、G的像素信 號(hào)和B的像素信號(hào)經(jīng)所述G色差內(nèi)插處理單元內(nèi)插的R-G色差信號(hào)和B-G色差信號(hào)中的 一者與所述第三R-G色差信號(hào)和所述第三B-G色差信號(hào)中的一者的組合，以及經(jīng)所述G色 差內(nèi)插處理單元內(nèi)插的R-G色差信號(hào)和B-G色差信號(hào)中的一者與包括在G像素中的G顏色 分量、包括在R像素中的R顏色分量和包括在B像素中的B顏色分量中的一者的組合。
6.一種成像設(shè)備，包括具有多個(gè)像素的成像元件，所述多個(gè)像素是二維排列的，在所述多個(gè)像素上按預(yù)定陣 列交替排列了 R、G和B原色的濾色器，所述成像元件對(duì)經(jīng)由所述濾色器入射的成像光進(jìn)行 光電轉(zhuǎn)換以獲得像素信號(hào)；預(yù)處理單元，被配置為在由所述成像元件獲得的像素信號(hào)中，向感興趣像素的位置內(nèi) 插G顏色分量，并且向具有與所述感興趣像素相同顏色分量的像素位置內(nèi)插G顏色分量，以 產(chǎn)生第一 G內(nèi)插信號(hào)，所述感興趣像素具有R顏色分量和B顏色分量中的一者并且位于所 述陣列中的預(yù)定像素位置上；鄰近G像素G色差和R/B像素產(chǎn)生單元，被配置為通過(guò)利用所述第一 G內(nèi)插信號(hào)在所述 感興趣像素的位置上以及具有與所述感興趣像素相同顏色分量的像素位置上產(chǎn)生第一 R-G 色差信號(hào)和第一 B-G色差信號(hào)中的一者，通過(guò)利用所述第一 R-G色差信號(hào)和所述第一 B-G 色差信號(hào)中的一者來(lái)在位于所述感興趣像素鄰近的鄰近G像素的位置上產(chǎn)生第二 R-G色差 信號(hào)和第二 B-G色差信號(hào)中的一者，并且通過(guò)利用所述第二 R-G色差信號(hào)和所述第二 B-G 色差信號(hào)中的一者來(lái)向所述鄰近G像素的位置內(nèi)插R顏色分量和B顏色分量中的一者；G色差重構(gòu)處理單元，被配置為通過(guò)利用由所述鄰近G像素G色差和R/B像素產(chǎn)生單元 進(jìn)行了內(nèi)插的R分量和B分量中的一者來(lái)在所述感興趣像素的位置上重構(gòu)第三R-G色差信 號(hào)和第三B-G色差信號(hào)中的一者；以及G色差內(nèi)插處理單元，被配置為通過(guò)利用由所述G色差重構(gòu)處理單元重構(gòu)出的所述第 三R-G色差信號(hào)和所述第三B-G色差信號(hào)中的一者來(lái)向預(yù)定像素位置內(nèi)插R-G色差信號(hào)和 B-G色差信號(hào)中的一者。
7.一種信號(hào)處理方法，包括以下步驟在由包括二維排列的多個(gè)像素的成像元件獲得的像素信號(hào)中，向感興趣像素的位置內(nèi) 插G顏色分量，并且向具有與所述感興趣像素相同的顏色分量的像素位置內(nèi)插G顏色分量， 以產(chǎn)生第一 G內(nèi)插信號(hào)，所述感興趣像素具有R顏色分量和B顏色分量中的一者并且位于 R、G和B原色的濾色器的預(yù)定陣列中的預(yù)定像素位置上，其中所述濾色器按所述預(yù)定陣列 交替排列在所述多個(gè)像素上；通過(guò)利用所述第一G內(nèi)插信號(hào)在所述感興趣像素的位置上以及具有與所述感興趣像 素相同顏色分量的像素位置上產(chǎn)生第一 R-G色差信號(hào)和第一 B-G色差信號(hào)中的一者，通過(guò) 利用所述第一 R-G色差信號(hào)和所述第一 B-G色差信號(hào)中的一者來(lái)在位于所述感興趣像素鄰 近的鄰近G像素的位置上產(chǎn)生第二 R-G色差信號(hào)和第二 B-G色差信號(hào)中的一者；通過(guò)利用所述第二 R-G色差信號(hào)和所述第二 B-G色差信號(hào)中的一者來(lái)向所述鄰近G像 素的位置內(nèi)插R顏色分量和B顏色分量中的一者；通過(guò)利用經(jīng)內(nèi)插的R分量和B分量中的一者來(lái)在所述感興趣像素的位置上重構(gòu)第三 R-G色差信號(hào)和第三B-G色差信號(hào)中的一者；以及通過(guò)利用重構(gòu)出的所述第三R-G色差信號(hào)和所述第三B-G色差信號(hào)中的一者來(lái)向預(yù)定 像素位置內(nèi)插R-G色差信號(hào)和B-G色差信號(hào)中的一者。
全文摘要
本發(fā)明公開(kāi)了信號(hào)處理設(shè)備、成像設(shè)備及信號(hào)處理方法。該信號(hào)處理設(shè)備包括預(yù)處理單元，向感興趣像素和具有與感興趣像素相同的顏色分量的像素的位置內(nèi)插G顏色分量以產(chǎn)生第一G內(nèi)插信號(hào)；鄰近G像素G色差和R/B像素產(chǎn)生單元，在感興趣像素和具有與感興趣像素相同顏色分量的像素的位置上產(chǎn)生第一R-G/B-G色差信號(hào)，在鄰近G像素的位置上產(chǎn)生第二R-G/B-G色差信號(hào)，并且向鄰近G像素的位置內(nèi)插R/b顏色分量；G色差重構(gòu)處理單元，在感興趣像素的位置上重構(gòu)第三R-G/B-G色差信號(hào)；以及G色差內(nèi)插處理單元，向預(yù)定像素位置內(nèi)插R-G/B-G色差信號(hào)。
文檔編號(hào)H04N9/04GK101998127SQ20101025307
公開(kāi)日2011年3月30日 申請(qǐng)日期2010年8月11日 優(yōu)先權(quán)日2009年8月18日
發(fā)明者山口雄也, 川島學(xué) 申請(qǐng)人:索尼公司