圖像處理裝置及圖像處理方法
【技術領域】
[0001] 本發(fā)明涉及一種用于降低圖像數(shù)據(jù)中包括的噪聲的方法。
【背景技術】
[0002] 諸如數(shù)碼相機及數(shù)字攝像機等的數(shù)字攝像裝置已被廣泛使用。數(shù)字攝像裝置通過 把由諸如電荷耦合器件（CCD)傳感器或互補金屬氧化物半導體（CMOS)傳感器等的攝像傳 感器接收的光，轉換為數(shù)字信號，來生成數(shù)字圖像數(shù)據(jù)。遺憾的是，由于攝像傳感器及電路 的特性，導致生成數(shù)字圖像數(shù)據(jù)的處理產生暗電流噪聲、熱噪聲及散粒噪聲（shot noise) 等，因而噪聲混入到數(shù)字圖像數(shù)據(jù)中。
[0003] 因此，需要噪聲降低處理，以獲得高質量的數(shù)字圖像數(shù)據(jù)。一種可用的噪聲降低處 理是如下的方法，即利用多個參照像素，并通過與各參照像素相對應的加權平均，來計算圖 像數(shù)據(jù)中的目標像素的像素值。日本特表第2007-536662號公報及日本特開第2011-39675 號公報討論了如下的方法，即通過比較包括目標像素的區(qū)域和包括參照像素的區(qū)域，來確 定目標像素與參照像素之間的相似度，并且基于相似度，來獲得與參照像素相對應的權重。 利用這些方法，以使得針對具有較高相似度的參照像素獲得較大權重的方式，來進行加權 平均，從而使噪聲降低。
[0004] 在用于確定目標像素與參照像素之間的相似度的區(qū)域中包括的像素數(shù)越多，越能 夠更加精確地計算相似度，由此能夠實現(xiàn)更高的噪聲降低效果。特別是，在圖像數(shù)據(jù)中包括 的噪聲的量大的情況下，如果以區(qū)域中少的像素數(shù)來確定相似度，則噪聲降低效果可能是 低的，因為僅能夠以有限的精度水平，來估計不包括噪聲的圖像數(shù)據(jù)中的相似度。這是因 為，可能向具有與區(qū)域中包括的噪聲圖相似的噪聲圖的參照像素，應用大的權重。換言之， 向不應該被應用大的權重的參照像素，應用了大的權重。因此，被獲得作為目標像素的像素 值的加權平均值的噪聲降低效果可能是低的。
[0005] 如果用于確定相似度的區(qū)域中包括的像素數(shù)多，則雖然能夠更精確地獲得不包括 噪聲的圖像數(shù)據(jù)的相似度，但是，與目標像素具有高相似度的參照像素的數(shù)量減少。結果， 要被計算作為目標像素的噪聲降低的像素值的加權平均值，受到少的像素數(shù)的影響。因此， 噪聲降低效果可能是低的。

【發(fā)明內容】

[0006] 本發(fā)明是針對如下一種技術，該技術用于基于圖像數(shù)據(jù)中的噪聲量以及與噪聲量 相關的攝像條件，來改變用于計算相似度的像素的數(shù)量，從而在減輕處理負荷的同時，執(zhí)行 適當?shù)脑肼暯档吞幚怼?br>[0007] 根據(jù)本發(fā)明的一個方面，提供一種圖像處理裝置，其被構造為對圖像數(shù)據(jù)執(zhí)行噪 聲降低處理，該圖像處理裝置包括：設置單元，其被構造為從多個像素組候選當中設置像素 組，其中，所述多個像素組候選至少包括具有作為第一像素數(shù)的多個像素的第一像素組，或 者具有作為與所述第一像素數(shù)不同的第二像素數(shù)的多個像素的第二像素組；確定單元，其 被構造為基于根據(jù)由所述設置單元設置的所述像素組而獲得的、目標像素與參照像素之間 的相似度，來確定與所述參照像素相對應的權重；以及輸出單元，其被構造為輸出基于所述 參照像素的像素值以及所述權重而計算出的值，作為所述目標像素的噪聲降低的像素值。
[0008] 通過以下參照附圖對示例性實施例的描述，本發(fā)明的其他特征將變得清楚。
【附圖說明】
[0009] 圖1是例示圖像處理裝置的硬件結構的示意圖。
[0010] 圖2A及圖2B是例示噪聲降低方法的示意圖。
[0011] 圖3是例示用于根據(jù)相似度來計算權重的函數(shù)的示意圖。
[0012] 圖4是例示圖像處理裝置的邏輯結構的框圖。
[0013] 圖5A是例示噪聲方差（noise variance)與用作攝像信息的IS0(國際標準化組 織）感光度之間的關系的圖。圖5B是例示噪聲方差與用作攝像信息的曝光時間之間的關 系的圖。
[0014] 圖6A至圖6F是各自例示匹配區(qū)域設置的示例的示意圖。
[0015] 圖7是例示用于設置匹配區(qū)域的表格的圖。
[0016] 圖8是例示圖像處理裝置中的處理的流程圖。
[0017] 圖9A是例示噪聲方差與傳感器溫度之間的關系的示意圖。圖9B是例示用于設置 匹配區(qū)域的表格的圖。
[0018] 圖10是例示圖像處理裝置的邏輯結構的框圖。
[0019] 圖11是例示噪聲方差與像素值之間的關系的示意圖。
[0020] 圖12是例示圖像處理裝置中的處理的流程圖。
[0021] 圖13是例示圖像處理裝置的邏輯結構的框圖。
[0022] 圖14是例示圖像處理裝置中的處理的流程圖。
[0023] 圖15是例示圖像處理裝置的邏輯結構的框圖。
[0024] 圖16是例示選擇單元的詳細結構的圖。
[0025] 圖17是例示圖像處理裝置中的處理的流程圖。
[0026] 圖18是例示噪聲方差與區(qū)域中的像素數(shù)之間的關系的圖。
【具體實施方式】
[0027] 下面，將參照附圖，來詳細描述本發(fā)明的各種示例性實施例、特征及方面。應當指 出，以下在示例性實施例中描述的結構僅僅是示例，并且本發(fā)明并不限于圖中所示的結構。
[0028] 將描述第一示例性實施例。圖1是例示根據(jù)第一示例性實施例的圖像處理裝置的 硬件結構的圖。在本示例性實施例中，將描述數(shù)字照相機的結構示例，作為圖像處理裝置的 示例。然而，圖像處理裝置并不限于被描述作為圖像處理裝置的示例的數(shù)字照相機。例如， 圖像處理裝置可以是諸如移動電話、平板設備或個人計算機等的信息處理裝置，并且還可 以被包括在諸如照相手機等的攝像裝置中。
[0029] 根據(jù)本示例性實施例的圖像處理裝置包括中央處理單元（CPU) 101、隨機存取存儲 器（RAM) 102、存儲單元103、通用接口（I/F) 104、攝像單元105、輸入單元106、顯示單元108 及主總線109。CPU 101根據(jù)輸入信號或后述的程序，來控制圖像處理裝置的各單元。存儲 單元103存儲由CPU 101執(zhí)行用來實現(xiàn)各類軟件的計算機程序。CPU 101操作存儲在存儲 單元103中的軟件，以實現(xiàn)圖像處理裝置中的各類圖像處理。在該示例中，將描述CPU 101 控制整個裝置的情況。作為另一選擇，可以由多個硬件設備分擔處理，來控制整個裝置。
[0030] 攝像單元105將由攝像單元105中包括的透鏡聚焦的光，轉換為電信號，以生成數(shù) 字圖像數(shù)據(jù)。攝像單元105基于由用戶經由后述的輸入單元106輸入的攝像指令信息，來 拍攝圖像，以生成數(shù)字圖像數(shù)據(jù)。攝像指令信息是指例如ISO(國際標準化組織）感光度、 曝光時間或自動聚焦（AF)。通過攝像而獲得的圖像數(shù)據(jù)被存儲在緩沖存儲器中，然后經歷 CPU 101的預定圖像處理。存儲單元103存儲所得的數(shù)據(jù)。
[0031] RAM 102被用作用于臨時存儲由攝像單元105通過攝像獲得的圖像數(shù)據(jù)的緩沖存 儲器、用于存儲要在顯示單元108上顯示的圖像數(shù)據(jù)和經由輸入單元106接收的指令的存 儲器，以及CPU 101的工作區(qū)等。
[0032] 顯示單元108顯示圖像拍攝期間的取景器圖像，以及通過攝像獲得的圖像數(shù)據(jù)。 顯示單元108不一定必須被配設在圖像處理裝置中，只要顯示單元108具有對可經由通用 I/F 104連接的外部裝置進行顯示控制的功能即可。
[0033] 輸入單元106接收從用戶發(fā)出給圖像處理裝置的指令。輸入單元106例如包括如 下的操作部件，諸如用于發(fā)出開/關（0N/0FF)圖像處理裝置的指令的電源按鈕，以及用于 發(fā)出再現(xiàn)圖像數(shù)據(jù)的指令的再現(xiàn)按鈕。作為另一選擇，顯示單元108可以充當觸摸屏，并且 可以經由顯示單元108接收來自用戶的指令。在這種情況下，顯示單元108顯示供用戶輸 入期望的指令的用戶界面（UI)。
[0034] 通用I/F 104是用于將圖像處理裝置連接到外部裝置的接口。通用I/F104把諸 如存儲卡等的外部存儲器107,連接到主總線109。此外，通用I/F 104可以被配置為經由 紅外通信、無線局域網（LAN)等，來與通信裝置交換數(shù)據(jù)。
[0035] 下面，將描述由CPU 101執(zhí)行的各類圖像處理。在本示例性實施例中，CPU 101對 由攝像單元105通過攝像獲得的圖像數(shù)據(jù)執(zhí)行噪聲降低處理，并且將噪聲降低后的圖像數(shù) 據(jù)存儲在存儲單元103中。
[0036] (基于非局部均值（Non-Local Means)的噪聲降低處理）
[0037] 在本示例性實施例中由CPU 101執(zhí)行的圖像處理是被稱為非局部均值（NLM)的噪 聲降低處理，通常是用于如下的圖像去噪的圖像處理中的處理，所述圖像去噪可以取圖像 中的全部像素的均值，該均值是按這些像素與目標像素的相似程度而加權的。圖2A及圖2B 是例示基于NLM的噪聲降低處理的圖。圖2A例示了圖像數(shù)據(jù)201。在圖像數(shù)據(jù)201中，如 果左上角的像素的像素值被表示為（0, 0)，則各像素的像素值被表示為I (X，y)。在此，如果 像素202用作目標像素，則目標像素202的像素值是I (4, 4)。通過使用參照像素的像素值 以及分別與參照像素相對應的權重的加權平均，來確定在噪聲降低處理之后獲得的目標像 素的像素值（以下又稱為輸出值）。具體而言，通過下面的式（1)來獲得噪聲降低的目標像 素的像素值1_:
[0038]
[0039] 其中，Ns代表用于加權平均的參照像素的數(shù)量，Ij (j = 1至Ns)代表參照像素的 像素值，并且Wj (j = 1至隊）代表與參照像素相對應的權重。
[0040] 基于參照像素與目標像素的相似度，來計算與參照像素相對應的權重。在被稱為 NLM的噪聲降低處理中，通過使用包括目標像素的區(qū)域和包括參照像素的區(qū)域，來確定目標 像素與參照像素之間的相似度。用于確定相似度的區(qū)域被稱為匹配區(qū)域。下面，將使用圖 2A中所示的圖像數(shù)據(jù)201作為示例，來進行描述。在此，包括目標像素202的5X5像素矩 形區(qū)域204被設置為參照像素組，并且，參照像素組中包括的25個像素各自被設置為參照 像素。此外，3X3像素區(qū)域被設置為匹