圖像處理設(shè)備、攝像設(shè)備和圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理，尤其涉及一種用于通過(guò)對(duì)彩色圖像信號(hào)中各像素丟失的顏 色信號(hào)進(jìn)行插值來(lái)進(jìn)行去馬賽克的技術(shù)。
【背景技術(shù)】
[0002] 過(guò)去，已將具有如圖17所示的Bayer(拜耳）模式的顏色濾波器應(yīng)用于諸如(XD 和CMOS傳感器等的單板攝像裝置。在這種情況下，這類顏色濾波器通?？梢允怯糜谌?色-紅色、綠色和藍(lán)色、或者三補(bǔ)色-青色、品紅色和黃色的濾波器。
[0003] 然而，由于通過(guò)使用Bayer模式可以獲取與各像素中的一種顏色相對(duì)應(yīng)的信號(hào)， 因而進(jìn)行用于對(duì)各像素中丟失的其它兩種顏色的顏色信號(hào)進(jìn)行去馬賽克（插值）的處理。 過(guò)去已知有許多去馬賽克方法，并且基本的去馬賽克方法可以包括例如雙線性插值和雙三 次插值。
[0004] 盡管通過(guò)雙線性插值或者雙三次插值，從包含許多低頻成分的圖像可以獲取良好 的插值結(jié)果，但是在包含高頻成分的圖像中，可能發(fā)生實(shí)際被攝體中不存在的、被稱為偽分 辨率和偽色（顏色摩爾紋）的線和顏色。這類偽分辨率和偽色可能是由于通過(guò)使用與被攝 體圖像原本所具有的邊緣方向不同的方向上的像素進(jìn)行去馬賽克而發(fā)生的。
[0005] 因此，提出了一種通過(guò)使用沿被攝體圖像原本所具有的邊緣方向的像素進(jìn)行去馬 賽克，可以有效抑制偽分辨率和偽色的發(fā)生的方法。這類使用沿邊緣方向的像素的去馬賽 克方法大體可被分成兩種方法。日本特開2008-035470號(hào)提出了一種方法，該方法包括通 過(guò)使用周圍像素來(lái)識(shí)別邊緣方向、以及進(jìn)行沿邊緣的插值，而不進(jìn)行跨邊緣的插值。
[0006] 日本特開2008-035470號(hào)公開第二種插值方法，該插值方法包括首先在各方向上 進(jìn)行插值以生成數(shù)個(gè)類型的插值結(jié)果，然后判斷和選擇對(duì)于插值所使用的哪一方向可以提 供適當(dāng)結(jié)果?？梢曰诒硎咀鳛榘ㄋM(jìn)行插值的像素的周邊像素的相鄰一致性或者均 勻性的周邊相似性的評(píng)價(jià)值，判斷插值方向的適當(dāng)性?？梢源_定具有高一致性的方向，并且 可以選擇該方向作為邊緣方向。
[0007] 然而，日本特開2008-035470號(hào)所述方法未能提供表示分辨率極限附近的一致性 或者均勻性的適當(dāng)評(píng)價(jià)值，其中，在分辨率極限附近，圖像傳感器的像素間距和被攝體的細(xì) 小部分的間距接近或者一致。因此，可能不能選擇適當(dāng)插值方向，并且因此可能發(fā)生偽分辨 率。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的一個(gè)以上的實(shí)施例的一個(gè)方面，提供至少一種圖像處理設(shè)備，其包括：插 值單元，用于對(duì)攝像裝置所生成的馬賽克圖像信號(hào)進(jìn)行多個(gè)規(guī)定方向中的各方向上的插值 處理，其中，所述攝像裝置針對(duì)各像素輸出與多個(gè)顏色濾波器的顏色中的一種顏色相對(duì)應(yīng) 的圖像信號(hào)；評(píng)價(jià)單元，用于針對(duì)經(jīng)過(guò)了所述插值單元的所述插值處理的圖像信號(hào)的各像 素，獲取表示所述多個(gè)規(guī)定方向的各方向上的相關(guān)性的評(píng)價(jià)值；以及輸出單元，用于在至少 一個(gè)關(guān)注像素滿足預(yù)定條件的情況下，基于所述至少一個(gè)關(guān)注像素的周邊像素的評(píng)價(jià)值， 校正所述至少一個(gè)關(guān)注像素的評(píng)價(jià)值，并且基于校正后的評(píng)價(jià)值輸出對(duì)所述至少一個(gè)關(guān)注 像素進(jìn)行插值之后的圖像信號(hào)，其中，所述預(yù)定條件包括所述至少一個(gè)關(guān)注像素是孤立點(diǎn) 這一條件。
[0009] 本發(fā)明的一個(gè)以上的實(shí)施例的一個(gè)方面，提供一種攝像設(shè)備，其包括：攝像裝置， 用于針對(duì)各像素輸出與多個(gè)顏色濾波器的顏色中的一種顏色相對(duì)應(yīng)的圖像信號(hào)；插值單 元，用于對(duì)所述攝像裝置所生成的馬賽克圖像信號(hào)進(jìn)行多個(gè)規(guī)定方向中的各方向上的插值 處理；評(píng)價(jià)單元，用于針對(duì)經(jīng)過(guò)了所述插值單元的所述插值處理的圖像信號(hào)的各像素，獲取 表示所述多個(gè)規(guī)定方向的各方向上的相關(guān)性的評(píng)價(jià)值；以及輸出單元，用于在至少一個(gè)關(guān) 注像素滿足預(yù)定條件的情況下，基于所述至少一個(gè)關(guān)注像素的周邊像素的評(píng)價(jià)值，校正所 述至少一個(gè)關(guān)注像素的評(píng)價(jià)值，并且基于校正后的評(píng)價(jià)值輸出對(duì)所述至少一個(gè)關(guān)注像素進(jìn) 行插值之后的圖像信號(hào)，其中，所述預(yù)定條件包括所述至少一個(gè)關(guān)注像素是孤立點(diǎn)這一條 件。
[0010] 本發(fā)明的一個(gè)以上的實(shí)施例的一個(gè)方面，提供一種圖像處理方法，其包括以下步 驟：對(duì)攝像裝置所生成的馬賽克圖像信號(hào)進(jìn)行多個(gè)規(guī)定方向中的各方向上的插值處理，其 中，所述攝像裝置針對(duì)各像素輸出與多個(gè)顏色濾波器的顏色中的一種顏色相對(duì)應(yīng)的圖像信 號(hào)；針對(duì)經(jīng)過(guò)了所述插值處理的圖像信號(hào)的各像素，獲取表示所述多個(gè)規(guī)定方向的各方向 上的相關(guān)性的評(píng)價(jià)值；以及在至少一個(gè)關(guān)注像素滿足預(yù)定條件的情況下，基于所述至少一 個(gè)關(guān)注像素的周邊像素的評(píng)價(jià)值，校正所述至少一個(gè)關(guān)注像素的評(píng)價(jià)值，并且基于校正后 的評(píng)價(jià)值輸出對(duì)所述至少一個(gè)關(guān)注像素進(jìn)行插值之后的圖像信號(hào)，其中，所述預(yù)定條件包 括所述至少一個(gè)關(guān)注像素是孤立點(diǎn)這一條件。
[0011] 根據(jù)本發(fā)明的其它方面，這里說(shuō)明一種以上的圖像處理設(shè)備、一種以上的攝像設(shè) 備、一種以上的圖像處理方法、一個(gè)以上的程序和一種以上的存儲(chǔ)介質(zhì)。通過(guò)以下參考附圖 對(duì)典型實(shí)施例的說(shuō)明，本發(fā)明的其它特征將變得明顯。
【附圖說(shuō)明】
[0012] 圖1是示出至少根據(jù)第一和第二實(shí)施例的攝像設(shè)備的示意性結(jié)構(gòu)的框圖。
[0013]圖2是示出至少根據(jù)第一和第二實(shí)施例的攝像設(shè)備種的去馬賽克單元的結(jié)構(gòu)的 框圖。
[0014] 圖3是示出圖2中去馬賽克單元中的H方向插值單元的至少一個(gè)實(shí)施例和V方向 插值單元的至少一個(gè)實(shí)施例的結(jié)構(gòu)的框圖。
[0015] 圖4是示出用于說(shuō)明用于各方向的插值處理的Bayer模式的像素配置結(jié)構(gòu)的圖。
[0016] 圖5是示出評(píng)價(jià)值計(jì)算處理的至少一個(gè)實(shí)施例的流程圖。
[0017] 圖6是示出用于說(shuō)明評(píng)價(jià)值計(jì)算處理的至少一個(gè)實(shí)施例的3X3像素區(qū)域的圖。
[0018] 圖7是示出在關(guān)注像素具有H方向評(píng)價(jià)值一V方向評(píng)價(jià)值>0的關(guān)系的情況下的 孤立點(diǎn)判斷處理的實(shí)施例的流程圖。
[0019] 圖8是示出在關(guān)注像素具有H方向評(píng)價(jià)值一V方向評(píng)價(jià)值〈0的情況下的孤立點(diǎn) 判斷處理的實(shí)施例的流程圖。
[0020] 圖9是示出根據(jù)第一典型實(shí)施例處理具有H方向評(píng)價(jià)值的像素的相關(guān)性判斷處理 的實(shí)施例的流程圖。
[0021] 圖10是用于說(shuō)明處理具有H方向評(píng)價(jià)值的像素的相關(guān)性判斷處理的實(shí)施例的圖。
[0022] 圖11是示出孤立點(diǎn)校正處理的實(shí)施例的流程圖。
[0023] 圖12是用于說(shuō)明孤立點(diǎn)校正處理的實(shí)施例中的校正的例子的圖。
[0024] 圖13是示出圖像生成處理的實(shí)施例的流程圖。
[0025]圖14是示出根據(jù)第二典型實(shí)施例處理具有H方向評(píng)價(jià)值的像素的相關(guān)性判斷處 理的實(shí)施例的流程圖。
[0026]圖15是示出根據(jù)第二典型實(shí)施例處理具有V方向評(píng)價(jià)值的像素的相關(guān)性判斷處 理的實(shí)施例的流程圖。
[0027] 圖16示出模板映射示例。
[0028] 圖17示出Bayer模式的像素配置結(jié)構(gòu)。
【具體實(shí)施方式】
[0029] 參考附圖詳細(xì)說(shuō)明本發(fā)明的典型實(shí)施例。
[0030] 第一典銦實(shí)施例
[0031] 圖1是示出根據(jù)本發(fā)明第一典型實(shí)施例的圖像處理設(shè)備的示意性結(jié)構(gòu)的框圖。在 下面的說(shuō)明中，圖像處理設(shè)備可以是諸如數(shù)字照相機(jī)和數(shù)字?jǐn)z像機(jī)等的攝像設(shè)備。
[0032] 反映被攝體或者物體的光學(xué)圖像（被攝體圖像或者物體圖像）通過(guò)攝像鏡頭101 形成在攝像裝置102上，并且進(jìn)行光電轉(zhuǎn)換。
[0033] 攝像裝置102被配置為包括普通三原色濾波器的單板攝像裝置。三原色濾波器用 于分別具有約650nm、550nm和450nm的透射主波長(zhǎng)帶的R(紅色）、G(綠色）和B(藍(lán)色）， 并且可以生成與三原色中的各波長(zhǎng)帶相對(duì)應(yīng)的顏色層。
[0034] 單板彩色攝像裝置具有與多種顏色相對(duì)應(yīng)的顏色濾波器。如圖17所示，這些顏色 濾波器可以對(duì)于各像素在空間上配置。在各像素中，通過(guò)具有如圖17所示的結(jié)構(gòu)的顏色濾 波器，僅可以獲取單個(gè)顏色層上的光強(qiáng)度。因此，攝像裝置102輸出馬賽克圖像信號(hào)，S卩，各 像素中的三原色中的兩種顏色丟失的圖像信號(hào)。模擬-數(shù)字（A/D)轉(zhuǎn)換單元103將作為來(lái) 自攝像裝置102的模擬電壓所輸出的馬賽克圖像信號(hào)轉(zhuǎn)換成彩色數(shù)字圖像數(shù)據(jù)。
[0035] 白平衡單元104進(jìn)行白平衡處理。更具體