專利名稱：處理圖像數(shù)據(jù)中的噪聲的方法、噪聲降低單元和成像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像數(shù)據(jù)的噪聲處理的方法以便使能進(jìn)行由諸如CCD 圖像傳感器或CMOS圖像傳感器的成像設(shè)備在時間上隨機產(chǎn)生的噪聲的判斷 和隨機噪聲的降低兩者中的至少 一種。本發(fā)明還涉及一種噪聲降低單元和一 種使用該噪聲降低單元的成像設(shè)備。
背景技術(shù)：
在成像設(shè)備(諸如能夠用固態(tài)成像設(shè)備(例如，CCD圖像傳感器或CMOS 圖像傳感器)成像運動畫面的數(shù)碼相機)、蜂窩電話內(nèi)置的照相機、或數(shù)碼相 機中，重要的是降低在拍攝期間在低亮度的條件下由固態(tài)成像設(shè)備產(chǎn)生的噪 聲以實現(xiàn)高圖像質(zhì)量。由固態(tài)成像設(shè)備所生成的噪聲通常被分類為固定式樣噪聲和隨機噪聲。 通常實踐上用相關(guān)雙重釆樣(correlation double sampling) (CDS)電路(見 "Fundamentals of Solid-State Imaging Devices", 81-84 頁，Nippon-Rikoh Publishing Society,日本(非專利參考文獻(xiàn)1 ))來抑制固定式樣噪聲。同時， 隨機噪聲是在時間軸上隨機產(chǎn)生的，因此，難以抑制隨機噪聲。然而，在防 止固態(tài)成像設(shè)備的S/N的劣化中和在消除低亮度條件下的檢測極限中以及在 實現(xiàn)高圖像質(zhì)量中，隨機噪聲的降低是重要的。在通過自相關(guān)方法降低噪音的情況下，當(dāng)在圖像中產(chǎn)生周期閃爍(flicker) 噪聲、固定式樣噪聲或跳動噪聲時，可能通過計算來自圖像數(shù)據(jù)的自相關(guān)系 數(shù)來獲得噪聲的式樣(特征)。在這種情況下，自相關(guān)函數(shù)是通過下式計算的+)4，")々) (1)其中N是像素的總數(shù)，x是指示像素亮度的像素值，t是時間，T是沿時間軸 的像素的移動量。該自相關(guān)函數(shù)r(t)是在時間t瞬間的像素值與在移動了 t 的(t+T )瞬間的像素值的乘積值的算術(shù)平均。 發(fā)明內(nèi)容圖8示出了當(dāng)作為隨機噪聲的白噪聲被迭加在具有例如，通過COS( 7T /128) 所給定的周期的原始信號上時所求出求出的輪廓。該輪廓示出了在各個采樣點的像素值不是均衡的。圖9示出了當(dāng)已經(jīng)通過自相關(guān)技術(shù)去除了白噪聲時產(chǎn)生的自相關(guān)度。即，如圖8所示，當(dāng)它是由被迭加了白噪聲的具有周期的原始信號所組 成的隨機噪聲時，能夠從在如從圖9可見的自相關(guān)系數(shù)中的變化去除噪聲。另一方面，無諸如COS(TT/128)的周期的白噪聲的輪廓僅由如圖IO所示的隨機噪聲組成。自相關(guān)函數(shù)的輸出結(jié)果如圖11所示。如從圖11明顯看到， 在無周期的信號中相關(guān)系數(shù)被保持在零左右，因此可能檢測不到任何噪聲式 樣。從而，可能沒有進(jìn)行噪聲的消去。更具體地，關(guān)于諸如固定式樣噪聲的具有周期的信號，能夠通過自相關(guān) 方法來完成噪聲降低。關(guān)于隨機噪聲，因為噪聲沒有周期因此不能實現(xiàn)噪聲 抑制?？紤]前述問題，希望提供一種以易于檢測由固態(tài)圖像傳感器(固態(tài)成像 設(shè)備)產(chǎn)生的隨機噪聲并且也易于降低隨機噪聲的方式來處理被包含在圖像 數(shù)據(jù)中的噪聲的方法。也希望提供一種適合于實施該方法的噪聲降低單元。 此外，希望提供一種使用該噪聲降低單元的成像設(shè)備。根據(jù)本發(fā)明的一個實施例，提供了一種圖像數(shù)據(jù)的噪聲處理的方法，通 過具有信號處理部分的圖像處理器來進(jìn)行，所述信號處理部分把來自圖像傳感器的圖像信號轉(zhuǎn)換成數(shù)字信號，并且關(guān)于每幀把該經(jīng)轉(zhuǎn)換的信號作為圖像 數(shù)據(jù)來輸出，所述圖像數(shù)據(jù)表示像素值的集合，每個像素值具有在以行和列方向排列的坐標(biāo)點中相對應(yīng)的一個的亮度。所述方法包括步驟提取像素值， 通過當(dāng)在時間軸方向上以 一定的時間間隔移動圖像數(shù)據(jù)時，依次接受從所述 信號處理部分傳送的所迷圖像數(shù)據(jù)的每幀，以及在每幀中提取由對于每幀所 接受的所述圖像數(shù)據(jù)所代表的像素值；通過比較由所述像素值提取步驟提取 的每個像素值與先前設(shè)置的第一閾值，以及判斷所述像素值是否小于所述第 一閾值；當(dāng)正以一定的時間間隔移動時，求出小于所述第一閾值的且由位于 在所接受的多幀中的所迷圖像數(shù)據(jù)集合所限定的同一坐標(biāo)點處的像素所擁有 的像素值的自相關(guān)系數(shù)；以及判斷所述圖像中的隨機噪聲，通過判斷在所述 自相關(guān)系數(shù)求出步驟中所求出的所述自相關(guān)系數(shù)是否小于先前設(shè)置的第二閾
值，并且當(dāng)所述自相關(guān)系數(shù)小于所述第二閾值時確定由于隨機噪聲使得圖像 數(shù)據(jù)已經(jīng)遭受了圖像質(zhì)量的劣化。根據(jù)本發(fā)明的另一實施例，提供了一種圖像數(shù)據(jù)的噪聲處理的方法，通 過具有信號處理部分的圖像處理器來進(jìn)行，所述信號處理部分把來自圖像傳 感器的圖像信號轉(zhuǎn)換成數(shù)字信號，并且關(guān)于每幀把該經(jīng)轉(zhuǎn)換的信號作為圖像 數(shù)據(jù)來輸出，所述圖像數(shù)據(jù)表示像素值的集合，每個像素值具有在以行和列方向排列的坐標(biāo)點中相對應(yīng)的一個的亮度。此方法包括步驟提取像素值，通過當(dāng)在時間軸方向上以一定的時間間隔移動圖像數(shù)據(jù)集合時，依次接受從 所述信號處理部分傳送的所述圖像數(shù)據(jù)集合，以及在每幀中提取由在每幀中接受的所述圖像數(shù)據(jù)所代表的像素值；通過比較由所述像素值提取步驟提取 的每個像素值與先前設(shè)置的第一閾值，以及判斷所述像素值是否小于所述第 一閾值；當(dāng)正在時間軸方向上以一定的時間間隔移動時，求出由位于在所接 受的多幀中的所述圖像數(shù)據(jù)所限定的同一坐標(biāo)點上的像素所擁有的像素值的 第一自相關(guān)系數(shù)；判斷所述圖像中的隨機噪聲，通過判斷在所述第一自相關(guān) 系數(shù)求出步驟中所求出的所述自相關(guān)系數(shù)是否小于先前設(shè)置的第二閾值，并 且當(dāng)所述自相關(guān)系數(shù)小于所述第二閾值時確定由于隨機噪聲使得圖像數(shù)據(jù)已 經(jīng)遭受了圖像質(zhì)量的劣化；當(dāng)在所述像素值判斷步驟判斷所述像素的像素值 等于或大于所述第一閾值時，設(shè)置等于或大于所述第一閾值的像素值作為第 二像素值；求出第二自相關(guān)系數(shù)，通過當(dāng)正在時間軸方向上以一定的時間間 隔移動時，提取等于或大于所述第二像素值的并且由位于在所接受的多幀中 的同一坐標(biāo)點處的像素所擁有的像素值，并求出所提取的像素值的自相關(guān)系 數(shù)；判斷自相關(guān)系數(shù)，通過判斷在所述第二自相關(guān)系數(shù)求出步驟中所求出的 所述自相關(guān)系數(shù)是否小于先前設(shè)置的第三閾值；當(dāng)在所述自相關(guān)系數(shù)判斷步 驟判斷所述自相關(guān)系數(shù)小于所述第三閾值時，選擇擁有具有小于所述第三閾 值的自相關(guān)系數(shù)的像素值的像素作為圖像的近距離場景的像素；以及針對關(guān) 于在所述近距離場景選擇步驟中所選的所述近距離場景的像素的照相機抖動 進(jìn)行校正。根據(jù)本發(fā)明的再一個實施例，提供了用于圖像數(shù)據(jù)的噪聲處理的噪聲降 低單元，該噪聲降低單元包括圖像傳感器；信號處理部分，用于將來自所 述圖像傳感器的圖像信號轉(zhuǎn)換為數(shù)字信號并且輸出經(jīng)轉(zhuǎn)換的信號作為對于每 幀的圖像數(shù)據(jù)集合，所述圖像數(shù)據(jù)表示像素值的集合，每個像素值具有在以
行和列方向排列的坐標(biāo)點中相對應(yīng)的一個的亮度；像素值提取裝置，用于當(dāng) 在時間軸方向上以 一 定的時間間隔移動所述圖像數(shù)據(jù)集合時，依次接受來自 所述信號處理部分的對于每幀的圖像數(shù)據(jù)集合，并且在每幀中提取由在每幀中所接受的所述圖像數(shù)據(jù)所代表的所述像素值；像素值判斷裝置，用于比較 由所述像素值提取裝置提取的每個像素值與先前設(shè)置的第 一閾值，并且判斷 所述像素值是否小于所述第一闊值；自相關(guān)系數(shù)計算裝置，用于當(dāng)正在時間 軸方向上以一定的時間間隔移動時，求出小于所述第一閾值的并且由位于在 所接受的多幀中的所述圖像數(shù)據(jù)所限定的同 一坐標(biāo)點處的像素所擁有的所述 像素值的自相關(guān)系數(shù)；以及隨機噪聲判斷裝置，用于判斷由所述自相關(guān)系數(shù) 計算裝置所求出的每個自相關(guān)系數(shù)是否小于先前設(shè)置的第二闊值，并且當(dāng)判 斷所述自相關(guān)系數(shù)小于所述第二閾值時，確定由于隨機噪聲使得所述圖像數(shù) 據(jù)已經(jīng)遭受了圖像質(zhì)量的劣化。根據(jù)本發(fā)明的再一 實施例，提供了用于圖像數(shù)據(jù)的噪聲處理的噪聲降低 單元，該噪聲降低單元包括圖像傳感器；信號處理部分，用于將來自所述 圖像傳感器的圖像信號轉(zhuǎn)換為數(shù)字信號,并且輸出經(jīng)轉(zhuǎn)換的信號作為對于每 幀的圖像數(shù)據(jù)集合，每個圖像數(shù)據(jù)集合指示具有在以行和列方向排列的對應(yīng) 的一個坐標(biāo)點上的亮度的像素值；像素值提取裝置，用于當(dāng)在時間軸方向上 以一定的時間間隔移動所述圖像數(shù)據(jù)時，依次對于每幀接受從所述信號處理 部分傳送的所述圖像數(shù)據(jù)集合，以及在每幀中提取由對于每幀所接受的所述 圖像數(shù)據(jù)所代表的像素值；像素值判斷裝置，用于比較由所述像素值提取裝 置提取的每個像素值與先前設(shè)置的第一閾值，并且判斷所述像素值是否小于 所述第一閾值；第一自相關(guān)系數(shù)計算裝置，用于當(dāng)正在時間軸方向上以一定 的時間間隔移動時，求出小于所述第一閾值且由位于在所接受的多幀中的所 述圖像數(shù)據(jù)所限定的同一坐標(biāo)點上的像素所擁有的像素值的自相關(guān)系數(shù)；隨 機噪聲判斷裝置，用于判斷由所述第一 自相關(guān)系數(shù)計算裝置所求出的所述自 相關(guān)系數(shù)是否小于先前設(shè)置的第二閾值，并且當(dāng)所述自相關(guān)系數(shù)小于所述第 二閾值時確定由于隨機噪聲使得圖像數(shù)據(jù)已經(jīng)遭受了圖像質(zhì)量的劣化；像素 值設(shè)置裝置，當(dāng)所述像素值判斷裝置已經(jīng)確定所述像素的像素值等于或大于 所述第一閾值時，設(shè)置所述等于或大于所述第一閾值的像素值作為第二閾值； 第二自相關(guān)系數(shù)計算裝置，用于當(dāng)正在時間軸方向上以一定的時間間隔移動 時，提取等于或大于所述第二闊值的并且由位于在所接受的多幀中的同一坐
標(biāo)點處的像素所擁有的像素值，并求出所提取的像素值的自相關(guān)系數(shù)；自相 關(guān)系數(shù)判斷裝置，用于判斷由第二自相關(guān)系數(shù)計算裝置所求出的所述自相關(guān)系數(shù)是否小于先前設(shè)置的第三闊值；近距離場景選擇裝置，用于當(dāng)由所述自 相關(guān)系數(shù)判斷裝置判斷所述自相關(guān)系數(shù)小于所述第三閾值時，選擇擁有具有 小于所述第三閾值的自相關(guān)系數(shù)的像素值的像素作為圖像的近距離場景的像 素；以及照相機抖動校正裝置，用于針對由所述近距離場景選擇裝置所選的 所述圖像的近距離場景的像素的照相機抖動進(jìn)行校正。根據(jù)本發(fā)明的再一實施例，提供了一種成像設(shè)備，其包括圖像傳感器； 光學(xué)系統(tǒng)，用于將來自對象的入射光引導(dǎo)到所述圖像傳感器中；信號處理部 分，用于將來自所述圖像傳感器的圖像信號轉(zhuǎn)換為數(shù)字信號，并且輸出經(jīng)轉(zhuǎn) 換的信號作為用于每幀的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)表示像素值的集合，每個 像素值具有在以行和列方向排列的坐標(biāo)點中相對應(yīng)的一個的亮度；以及隨機 噪聲判斷/降低處理部分，其判斷和/或降低由所述圖像傳感器生成的隨機噪 聲；其中，所述隨機噪聲判斷/降低處理部分具有像素值提取裝置，用于當(dāng) 在時間軸方向上以一定的時間間隔移動所述圖像數(shù)據(jù)時，依次對于每幀接受 從所述信號處理部分傳送的圖像數(shù)據(jù)，并且在每幀中提取由在每幀中所接受 的所述圖像數(shù)據(jù)所代表的所述像素值；像素值判斷裝置，用于比較由所述像 素值提取裝置提取的每個像素值與先前設(shè)置的第一閾值并且判斷所述像素值 是否小于所述第一閾值；第一自相關(guān)系數(shù)計算裝置，用于當(dāng)正在時間軸方向 上以一定的時間間隔移動時，求出小于所述第 一閾值的并且由位于在所接受 的多幀中的所述圖像數(shù)據(jù)所限定的同一坐標(biāo)點處的像素所擁有的所述像素值 的自相關(guān)系數(shù)；以及隨機噪聲判斷裝置，用于判斷由所述第一自相關(guān)系數(shù)計 算裝置所求出的自相關(guān)系數(shù)是否小于先前設(shè)置的第二閾值，并且當(dāng)判斷所述 自相關(guān)系數(shù)小于所述第二閾值時，確定由于隨機噪聲使得所述圖像數(shù)據(jù)已經(jīng) 遭受了圖像質(zhì)量的劣化。按照根據(jù)本發(fā)明的一個實施例的圖像數(shù)據(jù)的噪聲處理的方法，當(dāng)在時間 軸方向上以規(guī)律時間間隔移動圖像數(shù)據(jù)集合時，對于每幀依次接受從信號處 理部分傳送的圖像數(shù)據(jù)集合。對于每幀提取所連續(xù)接受的圖像數(shù)據(jù)集合的像 素值。比較所提取的像素值與先前設(shè)置的第一閾值，并且判斷由圖像數(shù)據(jù)所 代表的所提取的像素值是否小于第一閾值。當(dāng)正在時間軸方向上以一定的時 間間隔移動圖像數(shù)據(jù)的集合時，求出小于所述第一閾值的并且由位于在所接
受的多幀中的所述圖像數(shù)據(jù)所限定的同 一 坐標(biāo)點處的像素所擁有的所述像素 值的自相關(guān)系數(shù)。判斷該自相關(guān)系數(shù)是否小于先前設(shè)置的第二閾值。當(dāng)該自 相關(guān)系數(shù)小于第二閾值時，確定由于隨機噪聲使得所述圖像數(shù)據(jù)已經(jīng)遭受了 圖像質(zhì)量的劣化。因此能夠在每個像素上標(biāo)識在時間軸方向上變化的隨機噪 聲的電平。另外，能夠從低電平噪聲的像素中分離出高電平噪聲的像素。從 而，僅能夠選擇具有高電平隨機噪聲的像素，并且能夠通過算術(shù)平均方法或 其他處理來容易地降低該噪聲電平。此外，能夠大大降低對于自相關(guān)系數(shù)的 計算量。此外，能夠大大降低計算自相關(guān)系數(shù)所花費的時間。
按照根據(jù)本發(fā)明的又一個實施例的圖像數(shù)據(jù)的噪聲處理的方法，當(dāng)正在 時間軸方向上以規(guī)律時間間隔移動時，對于每幀依次接受從信號處理部分傳 送的圖像數(shù)據(jù)集合。對于每幀提取所依次接受的圖像數(shù)據(jù)的像素值。比較在 像素值提取步驟中所提取的每個像素值與先前設(shè)置的第 一 闊值，并且判斷該 像素值是否小于第 一 閱值。當(dāng)正在時間軸方向上以 一定的時間間隔移動時， 求出小于第 一閾值且由在所接受的多幀中的圖像數(shù)據(jù)集合所限定的同 一坐標(biāo) 點處的像素所擁有的像素值的自相關(guān)系數(shù)。判斷該自相關(guān)系數(shù)是否小于先前 設(shè)置的第二閾值。當(dāng)該自相關(guān)系數(shù)小于第二閾值時，確定由于隨機噪聲使得 所述圖像數(shù)據(jù)已經(jīng)遭受了圖像質(zhì)量的劣化。因此，能夠在每個像素上標(biāo)識在 時間軸方向上變化的隨機噪聲電平。此外，能夠從低電平噪聲的像素中分離 出高電平噪聲的像素。從而，僅能夠選擇具有高電平隨機噪聲的像素，并且 能夠通過算術(shù)平均方法或其他處理來容易地降低該噪聲電平。此外，能夠大 大降低對于自相關(guān)系數(shù)的計算量。此外，能夠大大降低計算自相關(guān)系數(shù)所花 費的時間。當(dāng)在像素值判斷步驟判斷像素值等于或大于第一閾值時，通過像 素值設(shè)置裝置設(shè)置等于或大于第一閾值的像素值作為第二像素值。當(dāng)正在時 間軸方向上以 一定的時間間隔移動時，提取等于或大于第二像素值且由位于 在所接受的多幀中的同 一坐標(biāo)點處的像素所擁有的像素值，并且求出該像素 值的自相關(guān)系數(shù)。判斷該自相關(guān)系數(shù)是否小于先前設(shè)置的第三閾值。當(dāng)該自 相關(guān)系數(shù)小于第三閾值時，選擇具有小于第三閾值的自相關(guān)系數(shù)的像素值作 為正由圖像的近距離場景的像素所擁有的像素值。對于在所選的近距離場景 的像素中的照相機抖動進(jìn)行校正。因此，當(dāng)發(fā)生照相機抖動時，能夠從近距 離場景的像素中分離出遠(yuǎn)距離場景的像素。從而，能夠僅針對比遠(yuǎn)距離場景 的像素的變化范圍更大的近距離場景的像素進(jìn)行對于照相機抖動的校正。
按照根據(jù)本發(fā)明的一個實施例的用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單 元，當(dāng)在時間軸方向上以一定的時間間隔移動從信號處理部分傳送的圖像數(shù) 據(jù)集合時，像素值提取裝置在每幀中提取被包含在被對于連續(xù)幀依次接受的 圖像數(shù)據(jù)集合中的像素值。比較由像素值提取裝置所提取的每個像素值與先 前設(shè)置的第 一 閾值。像素值判斷裝置判斷在圖像數(shù)據(jù)中的像素值是否小于第 一閾值。當(dāng)正在時間軸方向上以一定的時間間隔移動時，自相關(guān)系數(shù)計算裝 置求出小于第 一 閾值且由位于在所接受的多幀中的圖像數(shù)據(jù)集合所限定的同 一坐標(biāo)點處的像素所擁有的像素值的自相關(guān)系數(shù)。隨機噪聲判斷裝置判斷該 自相關(guān)系數(shù)是否小于第二閾值。當(dāng)判斷該自相關(guān)系數(shù)小于第二閾值時，確定 由于隨機噪聲使得圖像數(shù)據(jù)遭受了圖像質(zhì)量的劣化。從而，能夠在每個像素 上標(biāo)識在時間軸方向上變化的隨機噪聲電平。此外，能夠從低電平噪聲的像 素中分離出高電平噪聲的像素。從而，僅能夠選擇具有高電平隨機噪聲的像 素，并且能夠通過算術(shù)平均方法或其他處理來容易地降低該噪聲電平。此外， 能夠大大降低對于自相關(guān)系數(shù)的計算量。另外，能夠大大降低計算自相關(guān)系 數(shù)所花費的時間。
按照根據(jù)本發(fā)明的 一個實施例的另 一個用于圖像數(shù)據(jù)的噪聲處理的噪聲 降低單元，當(dāng)正在時間軸方向上以 一定的時間間隔移動從信號處理部分傳送 的圖像數(shù)據(jù)集合時，像素值提取裝置提取被包含在被對于每幀依次接受的圖 像數(shù)據(jù)集合中的像素值。比較由像素值提取裝置所提取的每個像素值與先前 設(shè)置的第 一 閾值。像素值判斷裝置判斷在圖像數(shù)據(jù)中的像素值是否小于第一 閾值。當(dāng)在時間軸方向上以一定的時間間隔移動圖像數(shù)據(jù)集合時，第一自相 關(guān)系數(shù)計算裝置求出小于第一閾值且由位于在所接受的多幀中的圖像數(shù)據(jù)集 合所限定的同一坐標(biāo)點處的像素所擁有的像素值的自相關(guān)系數(shù)。隨機噪聲判 斷裝置判斷該自相關(guān)系數(shù)是否小于第二閾值。當(dāng)判斷該自相關(guān)系數(shù)小于第二 閾值時，確定由于隨機噪聲使得圖像數(shù)據(jù)遭受了圖像質(zhì)量的劣化。從而，能
夠在每個像素上標(biāo)識在時間軸方向上變化的隨機噪聲電平。此外，能夠從低 電平噪聲的像素中分離出高電平噪聲的像素。從而，僅能夠選擇具有高電平 隨機噪聲的像素，并且能夠通過算術(shù)平均方法或其他處理來容易地降低該噪 聲電平。此外，能夠大大降低對于自相關(guān)系數(shù)的計算量。另外，能夠大大降 低計算自相關(guān)系數(shù)所花費的時間。當(dāng)像素值判斷裝置已經(jīng)確定該像素值等于 或大于第一閾值時，像素值設(shè)置裝置設(shè)置等于或大于第一閾值的像素值作為
第二像素值。當(dāng)正在時間軸方向上以一定的時間間隔移動時，提取等于或大 于第二像素值且由位于在所接受的多幀上的同一坐標(biāo)點處的像素所擁有的像 素值。通過第二自相關(guān)系數(shù)計算裝置求出所提取的像素值的自相關(guān)系數(shù)。自 相關(guān)系數(shù)判斷裝置判斷該自相關(guān)系數(shù)是否小于先前設(shè)置的第三閾值。當(dāng)該自 相關(guān)系數(shù)小于第三閾值時，近距離場景選擇裝置選擇具有小于第三閾值的自 相關(guān)系數(shù)的像素值作為正由近距離場景的像素所擁有的。照相機抖動校正裝 置針對關(guān)于這些所選的近距離場景的像素的照相機抖動進(jìn)行校正。因此，當(dāng) 發(fā)生照相機抖動時，能夠從近距離場景的像素中分離出遠(yuǎn)距離場景的像素。 因此，能夠僅針對關(guān)于比遠(yuǎn)距離場景的像素的變化范圍更大的近距離場景的 像素的照相機抖動進(jìn)行校正。
按照根據(jù)本發(fā)明的 一 個實施例的成像設(shè)備，當(dāng)在時間軸方向上以 一 定的 時間間隔移動從信號處理部分傳送的圖像數(shù)據(jù)集合時，像素值提取裝置提取 被包含在被對于每個連續(xù)幀依次接受的圖像數(shù)據(jù)集合中的像素值。比較由像 素值提取裝置提取的每個像素值與先前設(shè)置的第一閾值。像素值判斷裝置判 斷在圖像數(shù)據(jù)中的像素值是否小于第 一 閾值。當(dāng)正在時間軸方向上以 一定的 時間間隔移動時，第 一 自相關(guān)系數(shù)計算裝置求出小于第 一閾值并且由位于在 所接受的多幀中的圖像數(shù)據(jù)集合所限定的同 一坐標(biāo)點處的像素所擁有的像素 值的自相關(guān)系數(shù)。隨機噪聲判斷裝置判斷該自相關(guān)系數(shù)是否小于第二閾值。 當(dāng)該自相關(guān)系數(shù)小于第二閾值時，確定由于隨機噪聲使得圖像數(shù)據(jù)已經(jīng)遭受 了圖像質(zhì)量的劣化。從而，能夠在每個像素上標(biāo)識在時間軸方向上變化的隨 機噪聲電平。此外，能夠從低電平噪聲的像素中分離出高電平噪聲的像素。 從而，僅能夠選擇具有高電平隨機噪聲的像素，并且能夠通過算術(shù)平均方法 或其他處理來容易地降低該噪聲電平。此外，能夠大大降低對于自相關(guān)系數(shù) 的計算量。另外，能夠大大降低計算自相關(guān)系數(shù)所花費的時間。
雖然在上述實施例中，判斷像素值是否小于第 一 閾值或是否等于或大于 第一閾值，但也可以判斷像素值是否等于或小于第一閾值或是否大于第一閾 值。同樣，盡管判斷自相關(guān)系數(shù)是否小于第二閾值或是否等于或大于第二閾 值，但也可以判斷自相關(guān)系數(shù)是否等于或小于第二閾值或是否大于第二閾值。 類似地，盡管判斷在第二自相關(guān)系數(shù)求出步驟所求出的自相關(guān)系數(shù)是否小于 第三閾值，但也可以判斷在第二自相關(guān)系數(shù)求出步驟所求出的自相關(guān)系數(shù)是 否等于或小于第三閾值。


圖1是根據(jù)本發(fā)明的實施例1的使用用于圖像數(shù)據(jù)的噪聲處理的噪聲降 低單元的成像設(shè)備的整體結(jié)構(gòu)的方框圖。
圖2是圖1所示的設(shè)備中的隨機噪聲判斷/降低處理部分的功能方框圖。 圖3是圖示圖1所示的設(shè)備的隨機噪聲判斷/降低處理部分的操作過程的
'流程圖。
圖4是圖示在圖1所示的設(shè)備中的幀數(shù)和自相關(guān)系數(shù)之間的關(guān)系的圖。
圖5A是圖示根據(jù)本發(fā)明的實施例的還沒被運算處理的圖像的圖。 圖5B是圖示根據(jù)本發(fā)明的實施例的被運算處理的圖像的圖。 圖6是根據(jù)本發(fā)明的實施例2的在設(shè)備中的隨機噪聲判斷/降低處理部分 的功能方框圖。
圖7是圖示根據(jù)實施例1的設(shè)備的隨機噪聲判斷/降低處理部分的操作過 程的流程圖。
圖8是圖示如在相關(guān)技術(shù)中使用的、當(dāng)白噪聲被迭加在具有周期的原始 信號上時所獲得的輪廓的波形圖。圖9是圖示當(dāng)通過相關(guān)技術(shù)的自相關(guān)方法來去除白噪聲時所獲得的自相 關(guān)度的波形圖。
圖10是圖示如在相關(guān)技術(shù)中所使用的、無周期的白噪聲的輪廓的波形圖。
圖ll是示出如在相關(guān)技術(shù)中所使用的、無周期的白噪聲的自相關(guān)函數(shù)的 輸出結(jié)果的波形圖。
具體實施方式
(實施例1 )
參考附圖在下文中描述了根據(jù)本發(fā)明的實施例的圖像數(shù)據(jù)的噪聲處理的 方法。此外，描述了根據(jù)本發(fā)明的實施例的噪聲降低單元和使用該噪聲降低 單元的成像設(shè)備。
圖1是根據(jù)本發(fā)明的實施例1的使用用于圖像數(shù)據(jù)的噪聲處理的噪聲降 低單元的成像設(shè)備的整體結(jié)構(gòu)的方框圖。圖2是在圖1所示的成像設(shè)備中所 包括的隨機噪聲判斷/降低處理部分的功能方框圖。圖3是圖示圖l所示的成
像設(shè)備的隨機噪聲判斷/降低處理部分所進(jìn)行的操作的過程的流程圖。圖4是 圖示在本發(fā)明的實施例1中所使用的幀數(shù)和自相關(guān)系數(shù)之間的關(guān)系的圖。
參考圖1，具有處理被包含在圖像數(shù)據(jù)中的噪聲的功能的成像設(shè)備io包
括圖像傳感器(固態(tài)成像設(shè)備)11、 AFE (模擬前端處理器)12、數(shù)字信號 處理部分13、隨機噪聲判斷/降低處理部分14、圖像存儲器15以及存儲控制 器16。
圖像傳感器11是例如CCD或CMOS式的，并且具有在其上以矩陣形式 排列了光電二極管的半導(dǎo)體襯底。傳感器11由光電二極管檢測來自對象的通 過光學(xué)透鏡17的光并且建立(create)信號電荷。傳感器11還包括其包括轉(zhuǎn) 移晶體管(transfertransistor)和重置晶體管的輸出電路(沒有顯示)。響應(yīng)該 信號電荷，輸出電路輸出對象的圖像信號。在每個光電二極管上安放黃色、 青色、品紅和綠色的濾光器，以便光電二極管檢測光的不同的波長范圍，因 此使能進(jìn)行彩色攝影。
圖像傳感器ll基于從定時發(fā)生器(TG) 18供應(yīng)的時鐘信號和垂直/水平 同步信號來操作，并且通過例如隔行掃描的方法來輸出對于每一幀對于奇和 偶場的圖像信號。
AFE (模擬前端處理器)12包括相關(guān)雙重采樣(CDS )電路和AGC電路。 AFE 12進(jìn)行來自傳感器11的圖像信號的相關(guān)雙重采樣，以去除被包含在圖 像數(shù)據(jù)中的固定式樣噪聲并且通過AGC (自動增益控制)來穩(wěn)定信號電平。
數(shù)字信號處理部分13是將從圖像傳感器(固態(tài)成像設(shè)備)ll經(jīng)過AFE 12 輸出的圖像信號進(jìn)行數(shù)字化、并且在已數(shù)字化的圖像信號上進(jìn)行各種處理(諸 如白平衡調(diào)整、插值以及伽馬(Gramma)校正)的電路。處理部分13建立 亮度信號和色差信號，并且輸出它們。數(shù)字信號處理部分13包括A/D轉(zhuǎn)換 器(ADC) 131、亮度信號(Y信號)處理部分132、顏色信號(C信號)處 理部分133、微型計算機134、混頻電路(YC-MIX) 135以及D/A轉(zhuǎn)換器電 路(DAC) 136。
A/D轉(zhuǎn)換器131將來自AFE 12的輸出信號進(jìn)行數(shù)字化。亮度信號處理部 分132將該已數(shù)字化的圖像信號作為自動曝光控制信號，并且處理該信號以 便適當(dāng)?shù)卣{(diào)整該信號的電平。
顏色信號處理部分133包括原色分離電路133a、 WB (白平衡)控制電 路133b、插值電路133c以及伽馬校正電路133d。原色分離電路133a從來自
A/D轉(zhuǎn)換器131的輸出信號中提取紅色、藍(lán)色和綠色這三個原色信號。WB 控制電路133b將這些原色信號與從微型計算機134供應(yīng)的系數(shù)相乘，以控制 信號電平。為了形成具有與圖像傳感器11的相同數(shù)量的像素的圖像文件，插 值電路133c在微型計算機134的控制下給紅色濾波器所附的每個像素補償例 如綠和藍(lán)色信號。伽馬校正電路133d在微型計算機134的控制下伽馬校正該 圖像信號。
混頻電路135組合由亮度信號處理部分132傳送的亮度信號和由顏色信 號處理部分133傳送的三個原色信號成為視頻信號。D/A轉(zhuǎn)換器136將該視 頻信號轉(zhuǎn)換成被輸出到監(jiān)視器19的模擬視頻信號。
隨機噪聲判斷/降低處理部分14是判斷由圖像數(shù)據(jù)所代表的在每個像素 上的隨機噪聲的電路。該電路還降低了在像素上的噪聲(包括隨機噪聲)。隨 機噪聲判斷/降低處理部分14與圖像存儲器15相連。向例如混頻電路135輸 出由隨機噪聲判斷/降低處理部分14處理的用于噪聲降低的數(shù)據(jù)?；谠摂?shù) 據(jù)來控制該混頻電路，以便降低圖像數(shù)據(jù)內(nèi)的隨機噪聲。
圖像存儲器15具有足夠的存儲容量來存儲多幀已數(shù)字化的圖像數(shù)據(jù)。存 儲控制器16控制圖像存儲器15以進(jìn)行下列各種操作。從數(shù)字信號處理部分 13傳送的圖像數(shù)據(jù)被寫入到圖像存儲器15中。從圖像存儲器15讀取圖像數(shù) 據(jù)。圖像數(shù)據(jù)被讀出到隨機噪聲判斷/降低處理部分14中。指示由隨機噪聲 判斷/降低處理部分14進(jìn)行的處理的結(jié)果的數(shù)據(jù)被寫入到圖像存儲器15中。
接下來參考圖2描述隨機噪聲判斷/降低處理部分14的結(jié)構(gòu)。該處理部 分14具有像素值提取部分141、像素值判斷部分142、自相關(guān)系數(shù)計算部分 143、隨機噪聲判斷部分144、平均部分145以及像素值確定部分146。
當(dāng)在時間軸方向上以一定的時間間隔t來移動圖像數(shù)據(jù)的像素值時，像 素值提取部分141接受從數(shù)字信號處理部分13傳送的圖像數(shù)據(jù)的每一連續(xù) 幀。該圖像數(shù)據(jù)指示具有在以行和列方向排列的各個坐標(biāo)點上的亮度的像素 的集(collection )。在每幀中，像素值提取部分141提取由對于每幀所接受的 圖像數(shù)據(jù)所指示的像素值。像素值判斷部分142比較由像素值提取部分141 提取的每個像素值與先前設(shè)置的第一閾值，并且判斷該像素值是否小于該第 一閾值。
當(dāng)正在時間軸方向上以一定的時間間隔t移動時，自相關(guān)系數(shù)計算部分 143計算小于第一閾值且由位于在所接受的多幀中的每個圖像數(shù)據(jù)集合中的
同一坐標(biāo)點處的像素所擁有的像素值的自相關(guān)系數(shù)。
隨機噪聲判斷部分144判斷由自相關(guān)系數(shù)計算部分143計算的自相關(guān)系
數(shù)是否小于先前設(shè)置的第二閾值。當(dāng)判斷是肯定的(是)(即，小于第二閾值) 時，該判斷部分確定由于隨機噪聲使得圖像質(zhì)量已經(jīng)被削弱。
當(dāng)隨機噪聲判斷部分144確定由于隨機噪聲使得圖像質(zhì)量已經(jīng)被削弱 時，平均部分145僅選擇具有低于第一閾值的像素值的像素、對該像素值進(jìn) 行算術(shù)平均并且將該像素值修改為超過第一閾值的一個或多個像素值。
當(dāng)像素值判斷部分142確定像素的像素值等于或大于第一閾值時，像素 值確定部分146確定超過第一閾值的像素值無修改地作為該像素的像素值。 當(dāng)由自相關(guān)系數(shù)計算部分143計算的自相關(guān)系數(shù)被判斷為等于或大于第二閾 值時，像素值確定部分146具有確定對應(yīng)于該自相關(guān)系數(shù)的像素值是由暗像 素所擁有且具有低電平的隨機噪聲的功能和確定該像素的像素值無修改地作 為像素數(shù)據(jù)項的像素值的功能。
接下來參考圖3描述本實施例1的操作。
首先，在步驟S1，當(dāng)在時間軸方向上以一定的時間間隔t移動圖像數(shù)據(jù)
集合時，對于每幀從數(shù)字信號處理部分13傳送的圖像數(shù)據(jù)集合被依次接受到 像素值提取部分141中。該圖像數(shù)據(jù)集合指示每個都具有在以行和列方向排 列的對應(yīng)的一個坐標(biāo)點上的亮度的像素的像素值。
例如，當(dāng)以一定的時間間隔t移動時所接受的圖像數(shù)據(jù)源于通過靜止攝
影以一定的時間間隔t所進(jìn)行的50次連續(xù)拍攝。該圖像數(shù)據(jù)的圖像格式是 RAW數(shù)據(jù)或BMP文件格式。
在每幀中，像素值提取部分141提取由對于每幀所接受的圖像數(shù)據(jù)所代 表的像素值xi (步驟S2 )。
在下一步驟S3中，像素值判斷部分142比較由像素值提取部分141提取 的每個像素值與先前設(shè)置的第一閾值(例如10),并且判斷該像素值是否小 于該第一閾值。
在下一步驟S4中，對于每幀由像素值判斷部分142判斷的小于第一閾值 的像素值被接受到自相關(guān)系數(shù)計算部分143中。該計算部分143通過等式(2 ) 來計算小于第一閾值的每個像素的像素值的自相關(guān)系數(shù)r ( t ),當(dāng)正在時間軸 方向上以一定的時間間隔t移動時，該像素位于在所接受的多幀中的每個圖 像數(shù)據(jù)集合所代表的同 一 坐標(biāo)點處。
小)4HW (2) 其中N是在時間軸方向上所計算的像素總數(shù)，X是像素值，t是時間，T是在時間軸方向上所移動的時間。通過計算在時間t的瞬間的像素值X (t)與在從時間t的瞬間移動了規(guī) 律間隔T的時間(t+T)的瞬間的像素值的乘積、并且對于具有小于第一閾值的像素值的像素數(shù)N的乘積值進(jìn)行算術(shù)平均，來求出從等式(2)所計算的 自相關(guān)函數(shù)r(t)。圖4圖示了亮像素A和暗像素B的自相關(guān)系數(shù)。其中像素值用0到256 代表，亮像素A處在180/256的灰度級。暗像素B處在8/256的灰度級。在 圖4中，在像素A上，求出了相對于噪聲來說足夠電平的光，且因此該像素 值在時間軸方向上幾乎恒定。已經(jīng)確認(rèn)了該自相關(guān)系數(shù)的值被限制在范圍內(nèi) 并且被保持接近一致。相反，在像素B上，可以看出由于S/N中的下降使得 自相關(guān)系數(shù)已經(jīng)下降。在下一步驟S5中，隨機噪聲判斷部分144判斷由自相關(guān)系數(shù)計算部分 143計算的自相關(guān)系數(shù)r(t)是否小于先前設(shè)置的第二閾值，例如0.8。當(dāng)判斷 是肯定的(即，小于0.8)時，確定由于隨機噪聲使得圖像數(shù)據(jù)已經(jīng)遭受了圖 像質(zhì)量的劣化。在下一步驟S6中，當(dāng)隨機噪聲判斷部分144已經(jīng)確定由于隨機噪聲使得 圖像質(zhì)量已經(jīng)被削弱時，平均部分145僅選擇具有小于第一閾值(例如IO) 的像素值的像素，并且對所選像素值進(jìn)行算術(shù)平均以降低圖像數(shù)據(jù)的噪聲電 平。此外，平均部分145將小于第一閾值的像素值修改為超過第一閾值的像 素值。因此，在其中產(chǎn)生了隨機噪聲的圖像數(shù)據(jù)的像素被修改為在其中未產(chǎn) 生隨機噪聲的像素值。在上述步驟S3中，當(dāng)像素值判斷部分142已經(jīng)確定任何像素的像素值 xi等于或大于第一閾值(例如10)時，控制進(jìn)行到步驟S7，其中像素值確定 部分146確定超過第一閾值的像素值無修改地作為該像素的像素值。在步驟S5中，當(dāng)隨機噪聲判斷部分144已經(jīng)確定由自相關(guān)系數(shù)計算部分 143計算的自相關(guān)系數(shù)r(T)等于或大于第二閾值(例如0.8)時，像素值確定 部分146因此確定對應(yīng)于自相關(guān)系數(shù)r( t )的像素值是由暗像素所擁有且隨機 噪聲的電平低，并且確定由像素所擁有的像素值無修改地作為圖像數(shù)據(jù)的像 素值。然后，在每幀中，隨機噪聲判斷/降低處理部分14判斷是否已經(jīng)對于所有具有小于第一閾值(例如IO)的像素值的并且由像素值提取部分142所提 取的像素都執(zhí)行了圖3所示的操作序列(步驟S8 )。當(dāng)沒有完成關(guān)于具有隨機噪聲的像素的操作序列時，控制繼續(xù)到步驟 S2,其中以與具有隨機噪聲的像素相同的次數(shù)重復(fù)圖3所示的操作序列。當(dāng) 已經(jīng)結(jié)束了對于所有具有隨機噪聲的像素的關(guān)于噪聲的判斷和噪聲降低時， 圖3所示的處理也終止。圖5A和5B示出通過圖3所示的運算所進(jìn)行的在圖像上的處理的結(jié)果。 圖5A示出未經(jīng)處理的圖像。圖5B示出經(jīng)過處理的圖像。當(dāng)用麥克白 (Macbeth)顏色檢驗圖來測量時，該對象處于3Lux的亮度。從圖5A可見， 在圖5A所示的圖像的表面上顯得粗糙。視覺評估論證已經(jīng)降低了噪聲。同 時，在圖5B所示的圖像的表面上是光滑的。已經(jīng)確認(rèn)已經(jīng)降低了噪聲。根據(jù) 上述運算，亮像素沒有被過濾，且因此沒有劣化分辨率。僅可以選擇暗像素。 因此，可以抑制隨機噪聲。根據(jù)目前為止所描述的實施例1，由像素值提取部分141提取由圖像數(shù) 據(jù)集合所指示的像素值。當(dāng)在時間軸方向上以一定的時間間隔T移動從數(shù)字 信號處理部分13傳送的圖像數(shù)據(jù)時，對于每幀依次接受圖像數(shù)據(jù)集合。像素 值判斷部分142比較由像素值提取部分141提取的每個像素值與先前設(shè)置的 第一閾值(例如10),并且判斷該像素值是否小于該第一閾值。當(dāng)正在時間 軸方向上以一定的時間間隔移動時，自相關(guān)系數(shù)計算部分143計算小于第一 閾值且由位于在所接受的多幀中的圖像數(shù)據(jù)集合所限定的同一坐標(biāo)點處的像 素所擁有的每個像素值的自相關(guān)系數(shù)r(T)。隨機噪聲判斷部分144做出比較 以了解該自相關(guān)系數(shù)是否小于第二閾值(例如0.8)。當(dāng)判斷該自相關(guān)系數(shù)小 于第二閾值時，確定由于隨機噪聲使得圖像數(shù)據(jù)已經(jīng)遭受了圖像質(zhì)量的劣化。 在每個像素上能夠標(biāo)識在時間軸方向上變化的隨機噪聲的電平。因此，能從 高噪聲電平的像素中分離出低噪聲電平的像素。能夠僅選擇具有高電平隨機 噪聲的像素，并且能夠通過算術(shù)平均或其他處理容易地降低此噪聲電平。另 外，能夠大大降低對于自相關(guān)系數(shù)的計算量。此外，能夠大大降低計算自相 關(guān)系數(shù)所花費的時間。 (實施例2)接下來參考圖6和7來描述根據(jù)本發(fā)明的隨機噪聲判斷/降低處理部分的實施例2。圖6是本發(fā)明的實施例2的隨機噪聲判斷/降低處理部分的功能方框圖。 圖7是圖示由本發(fā)明的實施例1的隨機噪聲判斷/降低處理部分所進(jìn)行的操作 過程的流程圖。與上述實施例1相同，根據(jù)本實施例2的隨機噪聲判斷/降低處理部分14 具有像素值提取部分141、像素值判斷部分142、第一自相關(guān)系數(shù)計算部分 143、隨機噪聲判斷部分144、平均部分145以及像素值確定部分146。此外， 根據(jù)實施例2的隨機噪聲判斷/降低處理部分14具有像素值設(shè)置部分147、第 二自相關(guān)系數(shù)計算部分148、自相關(guān)系數(shù)判斷部分149、近距離場景選^^部分 150以及照相機抖動校正部分151。因此，參考圖6僅描述這些新增加的部件 的結(jié)構(gòu)。以下將省略已經(jīng)結(jié)合圖2描述過的那些部件的詳細(xì)描述。參考圖6，當(dāng)由像素值判斷部分142判斷每個像素的像素值等于或大于 第一閾值(例如IO)時，像素值設(shè)置部分147設(shè)置該超過第一閾值的像素值 作為第二像素值(例如15)。當(dāng)正在時間軸方向上以規(guī)律時間間隔t移動時，第二自相關(guān)系數(shù)計算部 分148提取等于或小于第二像素值(例如15)且由位于在所接受的多幀中同 一坐標(biāo)點處的像素所擁有的像素值，并且求出該像素值的自相關(guān)系數(shù)r(T)。自相關(guān)系數(shù)判斷部分149判斷由第二自相關(guān)系數(shù)計算部分148所求出的 自相關(guān)系數(shù)r(T)是否小于先前設(shè)置的第三閾值(例如0.9)。當(dāng)自相關(guān)系數(shù)判 斷部分149已經(jīng)確定該自相關(guān)系數(shù)小于該第三閾值時，近距離場景選擇部分 150選擇具有小于第三閾值的自相關(guān)系數(shù)的像素值作為正由圖像的近距離像 素所擁有的。照相機抖動校正部分151針對由近距離場景選擇部分150選擇的近距離 場景像素的照相機抖動進(jìn)行校正。接下來參考圖7描述本實施例2的操作。首先，在步驟S1中，當(dāng)在時間軸方向上以一定的時間間隔T移動圖像數(shù) 據(jù)集合時，對于每幀由數(shù)字信號處理部分13傳送的圖像數(shù)據(jù)集合被依次接受 到像素值提取部分141中。該圖像數(shù)據(jù)集合指示每個都具有在以行和列方向 上排列的對應(yīng)的一個坐標(biāo)點上的亮度的像素的像素值。在每幀中，像素值提 取部分141提取由在每幀中所接受的圖像數(shù)據(jù)所代表的像素值Xi (步驟S2 )。在下一步驟S3中，像素值判斷部分142比較由像素值提取部分141提取 的每個像素值與先前設(shè)置的第一閾值(例如10),并且判斷該像素值是否小 于該第一閾值。在下一步驟S4中，由像素值判斷部分142判斷小于第一閾值的像素值被 接受到第一自相關(guān)系數(shù)計算部分143。當(dāng)正在時間軸方向上以一定的時間間 隔移動時，計算部分143使用上述等式(2)來計算小于第一閾值的每個像素 的像素值的自相關(guān)系數(shù)r(T),該像素位于在所接受的多幀中的每個圖像數(shù)據(jù) 集合所代表的同 一坐標(biāo)點處。在下一步驟S5中，隨機噪聲判斷部分144判斷由第一自相關(guān)系數(shù)計算部 分143計算的自相關(guān)系數(shù)r(t)是否小于先前設(shè)置的第二閾值(例如0.8)。當(dāng) 判斷是肯定的(例如小于0.8)時，確定由于隨機噪聲使得圖像數(shù)據(jù)已經(jīng)遭受 了圖像質(zhì)量的劣化。在下一步驟S6中，當(dāng)隨機噪聲判斷部分144已經(jīng)確定由于隨機噪聲使得 圖像質(zhì)量已經(jīng)被削弱時，平均部分145僅選擇具有小于第一閾值(例如IO) 的像素值的像素，并且對所選像素值進(jìn)行算術(shù)平均以降低圖像數(shù)據(jù)的噪聲電 平。此外，平均部分145將小于第一閾值的像素值修改為超過第一閾值的像 素值。從而，在其中建立了隨機噪聲的圖像數(shù)據(jù)的像素被修改為在其中沒有 隨機噪聲的像素值。在上述步驟S5中，當(dāng)隨機噪聲判斷部分144已經(jīng)確定由第一自相關(guān)系數(shù) 計算部分143計算的自相關(guān)系數(shù)r(T)等于或小于第二閾值(例如0.8)時， 像素值確定部分146確定對應(yīng)于該自相關(guān)系數(shù)r( t )的像素值是由暗像素所擁 有且隨機噪聲的電平低，并且確定由該像素所擁有的像素值無修改地作為圖 像數(shù)據(jù)的像素值。然后，在每幀中，隨機噪聲判斷/降低處理部分14判斷是否已經(jīng)對于所 有具有小于第一閾值(例如10 )且由像素值提取部分142所提取的像素值的 像素都執(zhí)行了圖3所示的操作序列(步驟S8 )。當(dāng)沒有完成關(guān)于具有隨機噪聲的像素的操作序列時，控制繼續(xù)到步驟 S2,其中以與具有隨機噪聲的像素相同的次數(shù)重復(fù)圖3所示的操作序列。當(dāng) 已經(jīng)結(jié)束了對于所有具有隨機噪聲的像素的關(guān)于噪聲的判斷和噪聲降低時， 圖3所示的處理(子程序)也終止。
當(dāng)在步驟S3中像素值判斷部分142已經(jīng)確定像素的像素值xi等于或小 于第一閾值(例如10)時，控制進(jìn)行到步驟S9，其中像素值設(shè)置部分147設(shè) 置被判斷為等于或小于第一閾值的像素值作為新的第二像素值(例如15)。在下 一 步驟S10中，當(dāng)正在時間軸方向上以 一 定的時間間隔t移動時， 第二自相關(guān)系數(shù)計算部分148提取等于或大于第二像素值(例如15)并且由 位于在所接受的多幀中的同 一坐標(biāo)點處的像素所擁有的像素值，并且計算該 此素值的自相關(guān)系數(shù)r(T)。在下一步驟Sll中，自相關(guān)系數(shù)判斷部分149判斷由第二自相關(guān)系數(shù)計 算部分148求出的自相關(guān)系數(shù)r( t:)是否小于先前設(shè)置的第三閾值(例如0.9 )。在下一步驟S12中，當(dāng)自相關(guān)系數(shù)判斷部分149已經(jīng)確定該自相關(guān)系數(shù) 小于該第三閾值時，近距離選擇部分150選擇具有小于第三闊值的自相關(guān)系 數(shù)的像素值作為正由近距離場景的像素所擁有的。然后，照相機抖動校正部分151執(zhí)行針對由近距離場景選擇部分150選 擇的近距離場景像素的照相機抖動的校正(步驟S13)。在執(zhí)行該校正后，控 制進(jìn)行到步驟S9,實行該步驟和隨后的步驟的處理。根據(jù)目前為止所描述的實施例2,求出了與源于上述實施例1的相同的 優(yōu)點。另外，當(dāng)發(fā)生照相機抖動時，能從近距離場景的像素中分離出遠(yuǎn)距離 場景的像素。從而，僅能針對比遠(yuǎn)距離場景的像素的變化程度更大的近距離 場景的像素進(jìn)行照相機抖動校正。通過將這種校正技術(shù)應(yīng)用于數(shù)碼相機或視 頻照相機，能夠利用受照相機抖動所大幅影響的像素的提取來進(jìn)行照相機抖 動校正。此外，能夠進(jìn)行動物體的檢測。關(guān)于一幅圖像，在對象和成像設(shè)備之間的距離可以正常假定為各種值。 即，存在對象位于近距離而背景處于遠(yuǎn)距離的關(guān)系。通常，在諸如數(shù)碼相機 的攝影裝備中，引入了針對照相機抖動的校正的運算。由于整個圖像被統(tǒng)一 地校正(即，在與發(fā)生致使照相機抖動的運動的方向相反的方向上移動像素)， 由相同的運算來校正遠(yuǎn)距離場景和近距離場景。然而，要注意，在此照相機 抖動是被電子校正的。在這種情況下，當(dāng)在照相機抖動校正期間能夠分離遠(yuǎn)距離場景的像素和 近距離場景的像素時，對于照相機抖動僅能夠校正近距離場景的像素。即， 當(dāng)發(fā)生照相機抖動時，遠(yuǎn)距離場景的像素在較小的范圍內(nèi)變化，而近距離場 景的像素在較大的范圍內(nèi)變化。在根據(jù)本發(fā)明的實施例的自相關(guān)系數(shù)的計算
中反映了這個事實。即，在自相關(guān)系數(shù)超過特定闊值的情況下，僅對關(guān)于產(chǎn) 生這種自相關(guān)系數(shù)的像素的照相機抖動實行電子校正。在本發(fā)明的一個實施例中，在規(guī)律間隔拍攝圖像的連續(xù)幀的情況下，假設(shè)一些像素分別具有自相關(guān)系數(shù)0.93、 0.95、 0.85、 0.99、 0.93、 0.89、 0.91…。 設(shè)立閾值0.9。從計算中排除小于0.9的數(shù)值。能夠通過使用其他數(shù)值進(jìn)行計 算來求出在其中已經(jīng)抑制了隨機噪聲的高質(zhì)量圖像。本領(lǐng)域技術(shù)人員應(yīng)該理解，在所附權(quán)利要求或其等價物的范圍內(nèi)，可以 依據(jù)設(shè)計要求和其他因素發(fā)生各種修改、組合、子組合和替換。相關(guān)申請的交叉引用本發(fā)明包含與2006年9月28日在日本專利局提交的日本專利申請 JP2006-264293有關(guān)的主題，其全部內(nèi)容被引用附于此。
權(quán)利要求
1.一種圖像數(shù)據(jù)的噪聲處理方法，通過具有信號處理部分的圖像處理器來進(jìn)行，所述信號處理部分把來自圖像傳感器的圖像信號轉(zhuǎn)換成數(shù)字信號，并且關(guān)于每幀把該經(jīng)轉(zhuǎn)換的信號作為圖像數(shù)據(jù)來輸出，所述圖像數(shù)據(jù)表示像素值的集合，每個像素值具有在以行和列方向排列的坐標(biāo)點中相對應(yīng)的一個的亮度，所述方法包括步驟通過當(dāng)在時間軸方向上以一定的時間間隔移動圖像數(shù)據(jù)時，依次接受從所述信號處理部分傳送的所述圖像數(shù)據(jù)的每幀，以及在每幀中提取由關(guān)于每幀所接受的所述圖像數(shù)據(jù)所代表的像素值，來提取像素值；通過比較由所述像素值提取步驟提取的每個像素值與先前設(shè)置的第一閾值，以及判斷所述像素值是否小于所述第一閾值，來判斷像素值；當(dāng)正以一定的時間間隔移動時，求出像素值的自相關(guān)系數(shù)，該像素值小于所述第一閾值，且由位于所接受的多個幀的所述圖像數(shù)據(jù)集合所限定的同一坐標(biāo)點處的像素所擁有；以及通過判斷在所述自相關(guān)系數(shù)求出步驟中所求出的所述自相關(guān)系數(shù)是否小于先前設(shè)置的第二閾值，以及當(dāng)所述自相關(guān)系數(shù)小于所述第二閾值時確定由于隨機噪聲使得圖像數(shù)據(jù)已經(jīng)遭受了圖像質(zhì)量的劣化，來判斷所述圖像中的隨機噪聲。
2. 如權(quán)利要求1所述的圖像數(shù)據(jù)的噪聲處理的方法，還包括步驟通過 當(dāng)在隨機噪聲判斷步驟判斷由于隨機噪聲使得圖像質(zhì)量已經(jīng)劣化時，僅選擇 具有小于所述第一閾值的像素值的像素，對所選像素值進(jìn)行算術(shù)平均，以及 將所述像素值修改為等于或大于所述第一閾值的像素值，來平均像素值。
3. 如權(quán)利要求1所述的圖像數(shù)據(jù)的噪聲處理的方法，還包括步驟當(dāng)在 所述像素值判斷步驟判斷所述像素的像素值等于或大于所述第一閾值時，把 所述等于或大于所述第一閾值的像素值無修改地確定作為所述像素的像素 值。
4. 如權(quán)利要求3所述的圖像數(shù)據(jù)的噪聲處理的方法，其中在所述像素值 確定步驟中，當(dāng)在所述隨機噪聲判斷步驟判斷在所述自相關(guān)系數(shù)求出步驟中 所求出的所述自相關(guān)系數(shù)等于或大于所述第二閾值時，與所述自相關(guān)系數(shù)相 對應(yīng)的像素值被判斷為由暗像素所擁有且具有低電平的隨機噪聲，并被無修 改地確定為由所述像素數(shù)據(jù)所代表的像素值。
5. 如權(quán)利要求1所述的圖像數(shù)據(jù)的噪聲處理的方法，其中所述像素值提 取步驟、所述像素值判斷步驟、所述自相關(guān)系數(shù)求出步驟、以及所述隨機噪 聲判斷步驟被重復(fù)與具有小于所述第 一閾值的像素值的像素數(shù)相同的次數(shù)。
6. 如權(quán)利要求1所述的圖像數(shù)據(jù)的噪聲處理的方法，其中在所述像素值 判斷步驟中，由對于每個像素所接受的圖像數(shù)據(jù)所代表、且小于所述第一閾 值的像素值是在所述幀中的圖像上的同 一坐標(biāo)區(qū)域內(nèi)的多個像素值。
7. —種圖像數(shù)據(jù)的噪聲處理的方法，通過具有信號處理部分的圖像處理器來進(jìn)行，所述信號處理部分把來自圖像傳感器的圖像信號轉(zhuǎn)換成數(shù)字信號 并且關(guān)于每幀輸出該經(jīng)轉(zhuǎn)換的信號作為圖像數(shù)據(jù)，所述圖像數(shù)據(jù)表示像素值 的集合，每個像素值具有在以行和列方向排列的坐標(biāo)點中相對應(yīng)的一個的亮度，所述方法包括步驟通過當(dāng)在時間軸方向上以 一定的時間間隔移動圖像數(shù)據(jù)集合時，關(guān)于每 幀依次接受從所述信號處理部分傳送的所述圖像數(shù)據(jù)集合，以及在每幀中提 取由在每幀中接受的所述圖像數(shù)據(jù)所代表的像素值，來提取像素值；通過比較由所述像素值提取步驟提取的每個像素值與先前設(shè)置的第 一 閾 值，以及判斷所述像素值是否小于所述第一閾值，來判斷像素值；當(dāng)正在時間軸方向上以一定的時間間隔移動時，求出^^素值的第一 自相 關(guān)系數(shù)，該像素值由位于所接受的多個幀的所述圖像數(shù)據(jù)所限定的同一坐標(biāo) 點上的像素所擁有；通過判斷在所述第 一 自相關(guān)系數(shù)求出步驟中所求出的所述自相關(guān)系數(shù)是 否小于先前設(shè)置的第二閾值，以及當(dāng)所述自相關(guān)系數(shù)小于所述第二閾值時確 定由于隨機噪聲使得圖像數(shù)據(jù)已經(jīng)遭受了圖像質(zhì)量的劣化，來判斷所述圖像 中的隨機噪聲；當(dāng)在所述像素值判斷步驟判斷所述像素的像素值等于或大于所述第一閾 值時，設(shè)置等于或大于所述第一閾值的像素值作為第二像素值；通過當(dāng)正在時間軸方向上以一定的時間間隔移動時，提取等于或大于所 述第二像素值、并且由位于所接受的多個幀的同一坐標(biāo)點處的像素所擁有的 像素值，并求出所提取的像素值的自相關(guān)系數(shù)，來求出第二自相關(guān)系數(shù)；通過判斷在所述第二自相關(guān)系數(shù)求出步驟中所求出的所述自相關(guān)系數(shù)是 否小于先前設(shè)置的第三闊值，來判斷自相關(guān)系數(shù)；當(dāng)在所述自相關(guān)系數(shù)判斷步驟判斷所述自相關(guān)系數(shù)小于所述第三閾值 時，選擇擁有具有小于所述第三閾值的自相關(guān)系數(shù)的像素值的像素作為圖像的近距離場景的像素；以及針對關(guān)于在所述近距離場景選擇步驟中所選的所述近距離場景的像素的 照相機抖動進(jìn)行校正。
8. 如權(quán)利要求7所述的圖像數(shù)據(jù)的噪聲處理的方法，還包括步驟通過 當(dāng)在所述隨機噪聲判斷步驟判斷由于隨機噪聲使得圖像質(zhì)量已經(jīng)劣化時，僅 選擇具有小于所述第一閾值的像素值的像素，對所選像素值進(jìn)行算術(shù)平均，以及將所述像素值修改為等于或大于所述第一閾值的像素值，來平均像素值。
9. 如權(quán)利要求7所述的圖像數(shù)據(jù)的噪聲處理的方法，還包括步驟當(dāng)在 所述像素值判斷步驟判斷所述像素的像素值等于或大于所述第一閾值時，把 所述等于或大于所述第 一 閾值的像素值無修改地確定作為所述像素的像素 值。
10. 如權(quán)利要求9所述的圖像數(shù)據(jù)的噪聲處理的方法，其中，當(dāng)在所述 隨機噪聲判斷步驟中判斷在所述自相關(guān)系數(shù)求出步驟所求出的所述自相關(guān)系 數(shù)等于或大于所述第二閾值時，與所述自相關(guān)系數(shù)相對應(yīng)的像素值被判斷為 由暗像素所擁有且具有低電平的隨機噪聲，且被無修改地確定為由所述像素 數(shù)據(jù)所代表的像素值。
11. 如權(quán)利要求7所述的圖像數(shù)據(jù)的噪聲處理的方法，其中，所述像素 值提取步驟、所述像素值判斷步驟、所述第一自相關(guān)系數(shù)求出步驟、以及所 述隨機噪聲判斷步驟被重復(fù)與由所述像素值提取步驟所提取且具有小于所述 第 一 閾值的像素值的像素數(shù)相同的次數(shù)。
12. 如權(quán)利要求7所述的圖像數(shù)據(jù)的噪聲處理的方法，其中，在所述像 素值判斷步驟中，由對于每個像素所接受的圖像數(shù)據(jù)所代表且小于所述第一 閾值的像素值是在所述幀中的圖像上的同一坐標(biāo)區(qū)域內(nèi)的多個像素值。
13. —種用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，包括 圖像傳感器；信號處理部分，用于把來自所述圖像傳感器的圖像信號轉(zhuǎn)換為數(shù)字信號， 并且關(guān)于每幀輸出經(jīng)轉(zhuǎn)換的信號，作為圖像數(shù)據(jù)集合，每個圖像數(shù)據(jù)集合表 示具有在以行和列方向排列的坐標(biāo)點中相對應(yīng)的一個的亮度的像素值；像素值提取裝置，用于當(dāng)在時間軸方向上以 一定的時間間隔移動所述圖像數(shù)據(jù)集合時，對于每幀依次接受來自所述信號處理部分的圖像數(shù)據(jù)集合， 以及在每幀中提取由在每幀中所接受的所述圖像數(shù)據(jù)所代表的所述像素值； 像素值判斷裝置，用于比較由所述像素值提取裝置提取的每個像素值與先前設(shè)置的第一闊值，以及判斷所述像素值是否小于所述第一閾值；自相關(guān)系數(shù)計算裝置，用于當(dāng)正在時間軸方向上以 一定的時間間隔移動 時，求出所述像素值的自相關(guān)系數(shù)，該像素值小于所述第一閾值并且由位于 所接受的多個幀的所述圖像數(shù)據(jù)所限定的同一坐標(biāo)點處的像素所擁有；以及 隨機噪聲判斷裝置，用于判斷由所述自相關(guān)系數(shù)計算裝置所求出的每個 自相關(guān)系數(shù)是否小于先前設(shè)置的第二閾值，以及當(dāng)判斷所述自相關(guān)系數(shù)小于 所述第二閾值時，確定由于隨機噪聲使得所述圖像數(shù)據(jù)已經(jīng)遭受了圖像質(zhì)量 的劣化。
14. 如權(quán)利要求13所述的用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，還 包括平均裝置，用于當(dāng)所述隨機噪聲判斷裝置已經(jīng)確定由于隨機噪聲使得 圖像質(zhì)量已經(jīng)劣化時，僅選擇具有小于所述第一閾值的像素值的像素，對所 選像素值進(jìn)行算術(shù)平均，以及將所述像素值修改為等于或大于所述第一閾值 的像素值。
15. 如權(quán)利要求13所述的用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，還 包括像素值確定裝置，用于當(dāng)所述像素值判斷裝置已經(jīng)確定所述像素的像 素值等于或大于所述第一閾值時，把等于或大于所述第一閾值的像素值無修 改地確定作為所述像素的像素值。
16. 如權(quán)利要求13所述的用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，其 中，當(dāng)所述隨機噪聲判斷裝置已經(jīng)確定由所述自相關(guān)系數(shù)計算裝置所求出的 所述自相關(guān)系數(shù)等于或大于所述第二閾值時，所述像素值確定裝置判斷與所 述自相關(guān)系數(shù)相對應(yīng)的像素值作為由暗像素所擁有且具有低電平的隨機噪 聲，以及把由所述像素所擁有的所述像素值無修改地確定作為由所述像素數(shù) 據(jù)所表示的像素值。
17. 如權(quán)利要求13所述的用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，其 中，分別由所述像素值提取裝置、所述像素值判斷裝置、所述自相關(guān)系數(shù)計 算裝置、和所述隨機噪聲判斷裝置所進(jìn)行的操作被重復(fù)與由所述像素值提取 裝置所提取且具有小于所述第 一 閾值的像素值的像素數(shù)相同的次數(shù)。
18. 如權(quán)利要求13所述的用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，其中，在所述像素值判斷裝置中，由關(guān)于每個像素所接受的且小于所述第一閾 值的所述圖像數(shù)據(jù)所代表的像素值是在所述幀中的圖像上的同一坐標(biāo)區(qū)域內(nèi) 的多個像素值。
19. 一種用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，包括 圖像傳感器；信號處理部分，用于把來自所述圖像傳感器的圖像信號轉(zhuǎn)換為數(shù)字信號， 并且關(guān)于每幀輸出經(jīng)轉(zhuǎn)換的信號作為圖像數(shù)據(jù)集合，每個圖像數(shù)據(jù)集合表示 具有在以行和列方向排列的坐標(biāo)點中相對應(yīng)的一個的亮度的像素值；像素值提取裝置，用于當(dāng)在時間軸方向上以一定的時間間隔移動所述圖 像數(shù)據(jù)時，對于每幀依次接受從所述信號處理部分傳送的所述圖像數(shù)據(jù)集合， 以及在每幀中提取由在每幀中所接受的所述圖像數(shù)據(jù)所代表的像素值；像素值判斷裝置，用于比較由所述像素值提取裝置提取的每個像素值與 先前設(shè)置的第一閾值，并且判斷所述像素值是否小于所述第一閾值；第 一 自相關(guān)系數(shù)計算裝置，用于當(dāng)正在時間軸方向上以 一 定的時間間隔 移動時，求出像素值的自相關(guān)系數(shù)，該像素值小于所述第一閾值且由位于所 接受的多個幀的所述圖像數(shù)據(jù)所限定的同一坐標(biāo)點上的像素所擁有；隨機噪聲判斷裝置，用于判斷由所述第 一 自相關(guān)系數(shù)計算裝置所求出的 所述自相關(guān)系數(shù)是否小于先前設(shè)置的第二閾值，以及當(dāng)所述自相關(guān)系數(shù)被判 斷為小于所述第二閾值時，確定由于隨機噪聲使得圖像數(shù)據(jù)已經(jīng)遭受了圖像 質(zhì)量的劣化；像素值設(shè)置裝置，當(dāng)所述像素值判斷裝置已經(jīng)確定所述像素的像素值等 于或大于所述第一閾值時，設(shè)置所述等于或大于所述第一閾值的像素值作為 第二閾值；第二自相關(guān)系數(shù)計算裝置，用于當(dāng)正在時間軸方向上以 一 定的時間間隔 移動時，提取等于或大于所述第二閾值并且由位于所接受的多個幀的同一坐 標(biāo)點處的像素所擁有的像素值，以及求出所提取的像素值的自相關(guān)系數(shù)；自相關(guān)系數(shù)判斷裝置，用于判斷由第二自相關(guān)系數(shù)計算裝置所求出的所 述自相關(guān)系數(shù)是否小于先前設(shè)置的第三閾值；近距離場景選擇裝置，用于當(dāng)由所述自相關(guān)系數(shù)判斷裝置判斷所述自相 關(guān)系數(shù)小于所述第三閾值時，選擇擁有具有小于所述第三閾值的自相關(guān)系數(shù) 的像素值的像素作為圖像的近距離場景的像素；以及照相機抖動校正裝置，用于針對由所述近距離場景選擇裝置所選的所述 圖像的近距離場景的像素的照相機抖動進(jìn)行校正。
20. 如權(quán)利要求19所述的用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，還 包括平均裝置，用于當(dāng)所述隨機噪聲判斷裝置已經(jīng)確定由于隨機噪聲使得 圖像質(zhì)量已經(jīng)劣化時，僅選擇具有小于所述第一閾值的像素值的像素，對所 選像素值進(jìn)行算術(shù)平均，以及將所述像素值修改為等于或大于所述第一闊值 的像素值。
21. 如權(quán)利要求19所述的用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，還 包括像素值確定裝置，用于當(dāng)所述像素值判斷裝置已經(jīng)確定所述像素的像 素值等于或大于所述第一閾值時，把所述等于或大于所述第一閾值的像素值 無修改地確定作為所述像素的像素值。
22. 如權(quán)利要求19所述的用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，其 中，當(dāng)所述隨機噪聲判斷裝置已經(jīng)確定由所述第 一 自相關(guān)系數(shù)計算裝置求出 的所述自相關(guān)系數(shù)等于或大于所述第二閾值時，所述像素值確定裝置判斷與 所述自相關(guān)系數(shù)相對應(yīng)的像素值由暗像素所擁有且具有低電平的隨機噪聲， 并且把由所述像素所擁有的所述像素值無修改地確定作為由所述像素數(shù)據(jù)所 代表的像素值。
23. 如權(quán)利要求19所述的用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，其 中，分別由所述像素值提取裝置、所述像素值判斷裝置、所述自相關(guān)系數(shù)計 算裝置、以及隨機噪聲判斷裝置所進(jìn)行的操作被重復(fù)與由所述像素值提取裝 置所提取且具有小于所述第 一閾值的像素值的像素數(shù)相同的次數(shù)。
24. 如權(quán)利要求19所述的用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，其 中，關(guān)于每個像素所接受的并且由所述像素值判斷裝置判斷為小于所述第一 閾值的像素值是在所述幀中的圖像上的同一坐標(biāo)區(qū)域內(nèi)的多個像素值。
25. —種成像設(shè)備，包括 圖像傳感器；光學(xué)系統(tǒng)，用于將來自對象的入射光引導(dǎo)到所述圖像傳感器中； 信號處理部分，用于把來自所述圖像傳感器的圖像信號轉(zhuǎn)換為數(shù)字信號， 并且關(guān)于每幀輸出經(jīng)轉(zhuǎn)換的信號作為圖像數(shù)據(jù)，所述圖像數(shù)據(jù)包括像素值， 每個像素值具有在以行和列方向排列的坐標(biāo)點中的相對應(yīng)的一個的亮度；以 及隨機噪聲判斷/降低處理部分，其判斷和/或降低由所述圖像傳感器生成的 隨機噪聲；其中，所述隨機噪聲判斷/降低處理部分具有像素值提取裝置，用于當(dāng)在時間軸方向上以一定的時間間隔移動所述圖 像數(shù)據(jù)時，對于每幀依次接受從所述信號處理部分傳送的圖像數(shù)據(jù)，并且在 每幀中提取由在每幀中所接受的所述圖像數(shù)據(jù)所代表的所述像素值；像素值判斷裝置，用于比較由所述像素值提取裝置提取的每個像素值與 先前設(shè)置的第 一閾值，并且判斷所述像素值是否小于所述第 一閾值；第 一 自相關(guān)系數(shù)計算裝置，用于當(dāng)正在時間軸方向上以 一 定的時間間隔 移動時，求出像素值的自相關(guān)系數(shù)，該像素值小于所述第一閾值并且由位于 所接受的多個幀的所述圖像數(shù)據(jù)所限定的同一坐標(biāo)點處的像素所擁有；以及隨機噪聲判斷裝置，用于判斷由所述第 一 自相關(guān)系數(shù)計算裝置所求出的 自相關(guān)系數(shù)是否小于先前設(shè)置的第二閾值，以及當(dāng)所述自相關(guān)系數(shù)被判斷為 小于所述第二閾值時，確定由于隨機噪聲使得所述圖像數(shù)據(jù)已經(jīng)遭受了圖像 質(zhì)量的劣化。
26. 如權(quán)利要求25所述的成像設(shè)備，其中，所述的隨機噪聲判斷/降低 處理部分還包括像素值設(shè)置裝置，用于當(dāng)所述像素值判斷裝置已經(jīng)確定所述像素的像素 值等于或大于所述第一閾值時，設(shè)置所述等于或大于所述第一閾值的像素值 作為第二像素值；第二自相關(guān)系數(shù)計算裝置，用于當(dāng)正在時間軸方向上以 一 定的時間間隔 移動時，提取等于或大于所述第二像素值并且由位于所接受的多個幀的同一 坐標(biāo)點處的像素所擁有的像素值，并求出所提取的像素值的自相關(guān)系數(shù)；自相關(guān)系數(shù)判斷裝置，用于判斷由第二自相關(guān)系數(shù)計算裝置所求出的所 述自相關(guān)系數(shù)是否小于先前設(shè)置的第三閾值；近距離場景選擇裝置，用于當(dāng)由所述自相關(guān)系數(shù)判斷裝置把所迷自相關(guān) 系數(shù)判斷為小于所述第三閾值時，選擇擁有具有小于所述第三閾值的自相關(guān) 系數(shù)的像素值的像素作為圖像的近距離場景的像素；以及照相機抖動校正裝置，用于針對由近距離場景選"^裝置所選的所述圖像 的近距離場景的像素的照相機抖動進(jìn)行校正。
27. 如權(quán)利要求25所述的成像設(shè)備，其中，所述的隨機噪聲判斷/降低處理部分還包括平均裝置，用于當(dāng)所述隨機噪聲判斷裝置已經(jīng)確定由于隨 機噪聲使得圖像質(zhì)量已經(jīng)劣化時，僅選擇具有小于所述第 一 閾值的像素值的 像素，對所選像素值進(jìn)行算術(shù)平均，以及將所述像素值修改為等于或大于所 述第一閾值的像素值。
28. 如權(quán)利要求25所述的成像設(shè)備，還包括像素值確定裝置，用于當(dāng) 所述像素值判斷裝置已經(jīng)確定所述像素的像素值等于或大于所述第一閾值 時，把所述等于或大于所述第一閾值的像素值無修改地判斷作為所述像素的 像素值。
29. 如權(quán)利要求25所述的成像設(shè)備，其中，當(dāng)所述隨機噪聲判斷裝置已 經(jīng)確定由所述第 一 自相關(guān)系數(shù)計算裝置求出的所述自相關(guān)系數(shù)等于或大于所 述第二閾值時，所述像素值確定裝置判斷與所述自相關(guān)系數(shù)相對應(yīng)的像素值 由暗像素所擁有且具有低電平的隨機噪聲，并且把由所述像素所擁有的所述 像素值無修改地確定作為由所述像素數(shù)據(jù)所代表的像素值。
30. 如權(quán)利要求25所述的成像設(shè)備，其中，分別由所述像素值提取裝置、 所述像素值判斷裝置、所述自相關(guān)系數(shù)計算裝置、以及隨機噪聲判斷裝置所 進(jìn)行的操作被重復(fù)與由所述像素值提取裝置所提取的且具有小于所述第一閾 值的像素值的像素數(shù)相同的次數(shù)。
31. 如權(quán)利要求25所述的成像設(shè)備，其中，對于每個像素所接受的并且 由所述像素值判斷裝置判斷為小于所述第一閾值的像素值是在所述幀中的圖 像上的同 一 坐標(biāo)區(qū)域內(nèi)的多個像素值。
32. —種用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，包括 圖像傳感器；信號處理部分，用于把來自所述圖像傳感器的圖像信號轉(zhuǎn)換為數(shù)字信號， 并且關(guān)于每幀輸出經(jīng)轉(zhuǎn)換的信號作為圖像數(shù)據(jù)集合，每個圖像數(shù)據(jù)集合表示 具有在以行和列方向排列的坐標(biāo)點中相對應(yīng)的一個的亮度的像素值；像素值提取部分，當(dāng)在時間軸方向上以一定的時間間隔移動所述圖像數(shù) 據(jù)集合時，對于每幀依次接受來自所述信號處理部分的所述圖像數(shù)據(jù)集合， 以及在每幀中提取由在每幀中所接受的所述圖像數(shù)據(jù)所代表的像素值；像素值判斷部分，比較由所述像素值提取部分提取的每個像素值與先前 設(shè)置的第 一 閾值，并且判斷所述像素值是否小于所述第 一 閾值；自相關(guān)系數(shù)計算部分，當(dāng)正在時間軸方向上以 一 定的時間間隔移動時，求出像素值的自相關(guān)系數(shù)，該像素值小于所述第一閾值且由位于所接受的多 個幀中的所述圖像數(shù)據(jù)所限定的同一坐標(biāo)點上的像素所擁有；以及隨機噪聲判斷部分，判斷由所述自相關(guān)系數(shù)計算部分所求出的每個自相 關(guān)系數(shù)是否小于先前設(shè)置的第二閾值，并且當(dāng)判斷所述自相關(guān)系數(shù)小于所述 第二閾值時，確定由于隨機噪聲使得圖像數(shù)據(jù)已經(jīng)遭受了圖像質(zhì)量的劣化。
33. —種用于圖像數(shù)據(jù)的噪聲處理的噪聲降低單元，包括 圖像傳感器；信號處理部分，用于把來自所述圖像傳感器的圖像信號轉(zhuǎn)換為數(shù)字信號， 并且關(guān)于每幀輸出經(jīng)轉(zhuǎn)換的信號作為圖像數(shù)據(jù)集合，每個圖像數(shù)據(jù)集合表示 具有在以行和列方向排列的坐標(biāo)點中的相對應(yīng)的一個的亮度的像素值；像素值提取部分，當(dāng)在時間軸方向上以 一 定的時間間隔移動所述圖像數(shù) 據(jù)時，對于每幀依次接受從所述信號處理部分傳送的所述圖像數(shù)據(jù)集合，以' 及在每幀中提取由在每幀中所接受的所述圖像數(shù)據(jù)所代表的像素值；像素值判斷部分，比較由所述像素值提取部分提取的每個像素值與先前 設(shè)置的第一閾值，并且判斷所述像素值是否小于所述第一閾值；第 一 自相關(guān)系數(shù)計算部分，用于當(dāng)正在時間軸方向上以一定的時間間隔 移動時，求出像素值的自相關(guān)系數(shù)，該像素值小于所述第一閾值且由位于所 接受的多個幀的所述圖像數(shù)據(jù)所限定的同一坐標(biāo)點上的像素所擁有；隨機噪聲判斷部分，判斷由所述第一 自相關(guān)系數(shù)計算部分所求出的所述 自相關(guān)系數(shù)是否小于先前設(shè)置的第二閾值，以及當(dāng)所述自相關(guān)系數(shù)被判斷為 小于所述第二閾值時，確定由于隨機噪聲使得圖像數(shù)據(jù)已經(jīng)遭受了圖像質(zhì)量 的劣化；像素值設(shè)置部分，當(dāng)所述像素值判斷部分已經(jīng)確定所述像素的像素值等 于或大于所述第一閾值時，設(shè)置所述等于或大于所述第一閾值的像素值作為 第二闞值；第二自相關(guān)系數(shù)計算部分，當(dāng)正在時間軸方向上以一定的時間間隔移動 時，提取等于或大于所述第二閾值的并且由位于所接受的多個幀的同一坐標(biāo) 點處的像素所擁有的像素值，并求出所提取的像素值的自相關(guān)系數(shù)；自相關(guān)系數(shù)判斷部分，判斷由第二自相關(guān)系數(shù)計算部分所求出的所述自 相關(guān)系數(shù)是否小于先前設(shè)置的第三闊值；近距離場景選擇部分，當(dāng)由所述自相關(guān)系數(shù)判斷部分判斷所述自相關(guān)系數(shù)小于所述第三閾值時，選擇擁有具有小于所述第三闊值的自相關(guān)系數(shù)的像素值的像素作為圖像的近距離場景的像素；以及照相機抖動校正部分，針對由所述近距離場景選^f部分所選的所述圖像 的近距離場景的像素的照相機抖動進(jìn)行校正。
34. —種成像設(shè)備，包括圖像傳感器；光學(xué)系統(tǒng)，用于把來自對象的入射光引導(dǎo)到所述圖像傳感器中； 信號處理部分，用于把來自所述圖像傳感器的圖像信號轉(zhuǎn)換為數(shù)字信號， 并且關(guān)于每幀輸出經(jīng)轉(zhuǎn)換的信號作為圖像數(shù)據(jù)，所述圖像數(shù)據(jù)包括像素值， 每個該像素值具有在以行和列方向排列的坐標(biāo)點中相對應(yīng)的一個的亮度；以 及隨機噪聲判斷/降低處理部分，其判斷和/或降低由所述圖像傳感器生成的 隨機噪聲；其中，所述隨機噪聲判斷/降低處理部分具有像素值提取部分，用于當(dāng)在時間軸方向上以一定的時間間隔移動所述圖 像數(shù)據(jù)時，對于每幀依次接受從所述信號處理部分傳送的圖像數(shù)據(jù)，并且在 每幀中提取由在每幀中所接受的所述圖像數(shù)據(jù)所代表的所述像素值；像素值判斷部分，用于比較由所迷像素值提取部分提取的每個像素值與 先前設(shè)置的第一閱值，并且判斷所述像素值是否小于所述第一閾值；第 一 自相關(guān)系數(shù)計算部分，用于當(dāng)正在時間軸方向上以 一 定的時間間隔 移動時，求出所述像素值的自相關(guān)系數(shù)，該像素值小于所述第一閾值并且由 位于所接受的多個幀的所述圖像數(shù)據(jù)所限定的同一坐標(biāo)點處的像素所擁有； 以及隨機噪聲判斷部分，用于判斷由所述第 一 自相關(guān)系數(shù)計算部分所求出的 自相關(guān)系數(shù)是否小于先前設(shè)置的第二閾值，并且當(dāng)判斷所述自相關(guān)系數(shù)小于 所述第二閾值時，確定由于隨機噪聲使得所述圖像數(shù)據(jù)已經(jīng)遭受了圖像質(zhì)量 的劣化。
全文摘要
公開了一種圖像數(shù)據(jù)的噪聲處理的方法，通過具有信號處理部分的圖像處理器來進(jìn)行，所述信號處理部分把來自圖像傳感器的圖像信號轉(zhuǎn)換成數(shù)字信號，并且關(guān)于每幀把該經(jīng)轉(zhuǎn)換的信號作為圖像數(shù)據(jù)來輸出，所述圖像數(shù)據(jù)表示像素值的集合，每個像素值具有在以行和列方向排列的坐標(biāo)點中相對應(yīng)的一個的亮度。所述方法包括步驟提取像素值；判斷像素值；求出小于第一閾值的像素值的自相關(guān)系數(shù)；以及判斷在圖像中的隨機噪聲。
文檔編號H04N5/374GK101155256SQ20071016197
公開日2008年4月2日 申請日期2007年9月27日 優(yōu)先權(quán)日2006年9月28日
發(fā)明者星野和弘, 角博文 申請人:索尼株式會社