專利名稱：用于復(fù)原圖像模型中顏色分量的方法、系統(tǒng)和程序模塊的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理，尤其涉及的是數(shù)字圖像存儲(chǔ)或捕獲系統(tǒng)中的顏色分量的復(fù)原。
背景技術(shù)：
圖像模糊或退化有可能是由多種因素造成的，例如，散焦的光學(xué)裝置，或是由于使用廣角鏡頭或是由于不恰當(dāng)?shù)墓馊χ?、焦距和鏡頭定位的組合而導(dǎo)致的其它像差。在圖像捕獲過程中，如果使用長(zhǎng)的曝光時(shí)間，那么相機(jī)或成像物體的移動(dòng)可能導(dǎo)致圖片運(yùn)動(dòng)模糊。此外，如果使用短的曝光時(shí)間，那么所捕獲的光子數(shù)量將會(huì)減少，由此將會(huì)產(chǎn)生很高的噪聲級(jí)，并且將會(huì)導(dǎo)致所捕獲圖像的對(duì)比度很差。
在相關(guān)領(lǐng)域中，很多用于重建包含缺陷的圖像的方法都是已知的。對(duì)于圖像中的缺陷塊來說，這些缺陷塊可以用其周圍的某些塊或所有塊的平均值來替換。這其中的一個(gè)實(shí)例是使用位于缺陷上方的三個(gè)塊。此外還有一種名為“最佳相鄰匹配”的方法，該方法是通過獲得一個(gè)與缺陷區(qū)域具有相同大小的滑塊并使之移經(jīng)圖像來復(fù)原該圖像的。在除了該滑塊與缺陷重疊的位置之外的每個(gè)位置上，該滑塊邊界周圍的像素值都被置入一個(gè)矢量中。而缺陷邊界周圍的像素值則被置入另一個(gè)矢量中，并且計(jì)算這兩個(gè)矢量之間的均方誤差。然后，該缺陷區(qū)域?qū)?huì)被具有最低邊界像素的塊所替換。
例如，空間誤差隱蔽技術(shù)嘗試通過形成遺漏或被污染像素的良好重建來隱藏缺陷。有一種方法是在缺陷周圍的區(qū)域中找出像素平均值，并且使用該平均像素值來替換該缺陷。可以添加對(duì)重建的方差的要求，使該重建的方差與缺陷周圍區(qū)域的方差相等。
在圖像重建處理中還可以使用不同的內(nèi)插方法。例如，雙線性內(nèi)插可以應(yīng)用于那些處于缺陷矩形四角的像素。這樣做會(huì)使穿過缺陷區(qū)域的像素值具有線性和平滑的過渡。雙線性內(nèi)插是由所要重建的像素值、重建像素邊角上的像素以及重建像素與邊角像素之間的水平和垂直距離來定義的。另一種方法是在圖像中內(nèi)插遺漏采樣的邊緣敏感的非線性過濾。
圖像復(fù)原的目的是去除這些退化，以使所復(fù)原的圖像看上去盡可能接近原始場(chǎng)景。一般來說，如果退化過程是已知的；那么所復(fù)原的圖像可以作為退化的逆過程來捕獲。在現(xiàn)有技術(shù)中，有幾種用于解決這個(gè)逆向數(shù)學(xué)問題的方法是已知的。但是，這其中的大多數(shù)技術(shù)在問題的建模過程中并未考慮到圖像重建處理，并且這些技術(shù)假設(shè)的是過分簡(jiǎn)單化的線性模型。一般來說，實(shí)施過程中的求解是非常復(fù)雜的，其在計(jì)算方面的需求也是很高的。
圖像復(fù)原通常包含了兩個(gè)重要的步驟，即去模糊步驟和噪聲過濾步驟。在現(xiàn)有技術(shù)中，某些用于去模糊的方法是已知的。這些方法可以被分類成非迭代技術(shù)和迭代技術(shù)。在非迭代方法中，求解是通過一種一次性處理算法來獲得的，例如拉普拉斯高通過濾、反銳化掩膜或頻域逆過濾。在迭代方法中，在若干遍的處理過程中對(duì)結(jié)果進(jìn)行細(xì)化。去模糊處理由一個(gè)為細(xì)化處理設(shè)置標(biāo)準(zhǔn)的代價(jià)函數(shù)進(jìn)行控制，例如最小二乘法或自適應(yīng)Landweber算法。通常，經(jīng)過幾次迭代之后，在相鄰步驟之間不存在很大的改進(jìn)。在超出了某個(gè)點(diǎn)之后，繼續(xù)執(zhí)行去模糊算法將有可能在復(fù)原的圖像中引入令人煩惱的偽像(artefact)。而另一種解決去模糊問題的方法則是反復(fù)地實(shí)施具有變化參數(shù)的單步去模糊方法并且保留最佳結(jié)果(盲去卷積)。
通常，相關(guān)領(lǐng)域中的這些方法通常實(shí)施在例如天文學(xué)和醫(yī)療成像之類的高端應(yīng)用的圖像復(fù)原中。由于圖像采集的難以量化以及實(shí)施這些算法所需的復(fù)雜度和計(jì)算能力，因此在消費(fèi)產(chǎn)品中，這些方法的應(yīng)用是非常有限的。在具有有限計(jì)算資源和存儲(chǔ)資源的設(shè)備中，某些方法已經(jīng)得到了使用。通常，相關(guān)領(lǐng)域中的方法被設(shè)計(jì)成了一個(gè)后處理操作，這意味著復(fù)原是在圖像被獲得和存儲(chǔ)之后才應(yīng)用于該圖像的。在后處理操作中，每個(gè)顏色分量都具有不同的點(diǎn)擴(kuò)展函數(shù)，這個(gè)函數(shù)則是可以用于評(píng)估成像系統(tǒng)性能的重要規(guī)則。如果復(fù)原是作為后處理應(yīng)用的，那么關(guān)于各個(gè)顏色分量中的不同模糊的信息將不再相關(guān)。圖像采集處理的精確建模將會(huì)更為困難，并且(在大多數(shù)情況下)將不是線性的。因此，“逆”求解將會(huì)更不精確。此外，數(shù)碼相機(jī)的輸出往往會(huì)被壓縮成.jpeg格式。如果復(fù)原是在壓縮(這種壓縮通常是有損的)之后施加的，那么其結(jié)果將會(huì)放大不希望的塊偽像。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種用于復(fù)原圖像的改善方法。該目的可以通過一種方法、模型、模型使用、去模糊方法、設(shè)備、模塊、系統(tǒng)、程序模塊以及計(jì)算機(jī)程序產(chǎn)品來實(shí)現(xiàn)。
根據(jù)本發(fā)明，提供了一種用于形成可以改善成像模塊所捕獲的數(shù)字圖像的圖像質(zhì)量的模型的方法，該成像模塊至少包括成像光學(xué)器件和圖像傳感器，其中圖像是通過成像光學(xué)器件形成的，所述圖像包含了至少一個(gè)顏色分量，其中發(fā)現(xiàn)每一個(gè)顏色分量的退化信息，獲得圖像退化函數(shù)以及借助所述退化函數(shù)來復(fù)原所述每一個(gè)顏色分量。
根據(jù)本發(fā)明，還提供了一種用于改善數(shù)字圖像的圖像質(zhì)量的模型，所述模型可以通過所要求保護(hù)的方法來獲得。根據(jù)本發(fā)明，在這里還提供了該模型的使用。
此外，根據(jù)本發(fā)明，提供了一種用于改善成像模塊所捕獲的數(shù)字圖像的圖像質(zhì)量的方法，其中該成像模塊至少包括成像光學(xué)器件以及圖像傳感器，其中圖像是通過成像光學(xué)器件形成的，并且所述圖像至少包括一個(gè)顏色分量，其中發(fā)現(xiàn)圖像中每一個(gè)顏色分量的退化信息，根據(jù)該退化信息來獲得一個(gè)退化函數(shù)，以及通過所述退化函數(shù)來復(fù)原所述每個(gè)顏色分量。
此外，根據(jù)本發(fā)明，提供了一種用于復(fù)原圖像的方法，其中復(fù)原是通過迭代復(fù)原函數(shù)來實(shí)施的，并且在每一次迭代中實(shí)施借助正則化的去模糊方法。
此外，根據(jù)本發(fā)明，提供了一種用于確定可以改善成像模塊捕獲的數(shù)字圖像的圖像質(zhì)量的模型的系統(tǒng)，所述模塊至少包括成像光學(xué)器件以及圖像傳感器，其中圖像是通過成像光學(xué)器件形成的，所述圖像至少包括一個(gè)顏色分量，其中該系統(tǒng)包括用于發(fā)現(xiàn)圖像中每一個(gè)顏色分量的退化信息的第一裝置，用于根據(jù)退化信息來獲得退化函數(shù)的第二裝置，以及用于通過所述退化函數(shù)來復(fù)原所述每一個(gè)顏色分量的第三裝置。
此外，根據(jù)本發(fā)明，提供了一種成像模塊，該成像模塊包括成像光學(xué)器件以及圖像傳感器，以便通過成像光學(xué)器件而在光敏圖像傳感器中形成圖像，其中用于改善圖像質(zhì)量的模型與所述成像模塊是相關(guān)的。此外，根據(jù)本發(fā)明，還提供了一種包含圖像模塊的設(shè)備。
另外，根據(jù)本發(fā)明，提供了一種在一設(shè)備中用于改善圖像質(zhì)量的程序模塊，該設(shè)備包含成像模塊，所述程序模塊包含了用于發(fā)現(xiàn)圖像的每一個(gè)顏色分量的退化信息、根據(jù)該退化信息獲得退化函數(shù)以及通過所述退化函數(shù)來復(fù)原所述每一個(gè)顏色分量的裝置。根據(jù)本發(fā)明，在這里還提供了其它用于復(fù)原圖像的程序模塊，其中包括用于在迭代復(fù)原的每一次迭代中實(shí)施借助正則化的去模糊處理的裝置。
此外，提供了一種計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品包含了用于發(fā)現(xiàn)每一個(gè)顏色分量的退化信息、獲得圖像退化函數(shù)以及借助所述退化函數(shù)來復(fù)原所述每一個(gè)顏色分量的指令。根據(jù)本發(fā)明，還提供了用于復(fù)原圖像的計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品包括用于在迭代復(fù)原的每一次迭代中實(shí)施借助正則化的去模糊處理的計(jì)算機(jī)可讀指令。
對(duì)本發(fā)明的其它特征在附加的從屬權(quán)利要求中進(jìn)行描述。
在說明書中，術(shù)語“第一圖像模型”對(duì)應(yīng)的是這樣的圖像，即該圖像已經(jīng)由例如CCD(電荷耦合器件)或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)的圖像傳感器捕獲，但是尚未進(jìn)行任何處理。該第一圖像模型是原始圖像數(shù)據(jù)。第二圖像模型則是已經(jīng)確定了其退化信息的圖像數(shù)據(jù)。可以理解的是，除CMOS或CCD之外的其它傳感器類型同樣可以應(yīng)用于本發(fā)明。
第一圖像模型被用于確定圖像的模糊，并且根據(jù)本發(fā)明來復(fù)原第二圖像模型。該復(fù)原還可以根據(jù)本發(fā)明而被正則化。在完成這些步驟之后，可以實(shí)施其它的圖像重建函數(shù)。如果考慮整個(gè)圖像重建鏈，那么本發(fā)明的思想是將復(fù)原作為預(yù)處理操作而應(yīng)用的，由此后續(xù)的圖像重建操作將會(huì)從該復(fù)原中受益。將復(fù)原作為預(yù)處理操作加以應(yīng)用意味著復(fù)原算法直接針對(duì)的是原始顏色圖像數(shù)據(jù)，并且這樣一來，每一個(gè)顏色分量都是獨(dú)立地處理的。
借助本發(fā)明，光學(xué)器件所產(chǎn)生的模糊可以明顯減少。特別地，如果使用的是固定焦距，那么該過程將是非常有效的。本發(fā)明同樣適用于變焦距系統(tǒng)，在此情況下，該處理根據(jù)鏡頭的焦點(diǎn)位置而考慮來自一個(gè)查找表的多個(gè)去模糊函數(shù)。所述去模糊函數(shù)還可以通過來自查找表的內(nèi)插來獲得。其中一種定義去模糊函數(shù)的可能是使用其中將焦距用作去模糊函數(shù)的參數(shù)的連續(xù)計(jì)算。所得到的圖像將會(huì)更為銳利并具有更好的空間分辨率。值得一提的是，所建議的處理不同于傳統(tǒng)的銳化算法，它還可以產(chǎn)生具有高頻被放大的更銳利的圖像。實(shí)際上，本發(fā)明提出的是一種回復(fù)退化過程并且將例如由光學(xué)器件所產(chǎn)生的模糊減至最小的方法，而銳化算法則是使用普通的高通過濾器在圖像中添加偽像從而使其看上去更為銳利。
對(duì)可以在未來的產(chǎn)品中應(yīng)用的不同類型的傳感器來說，根據(jù)本發(fā)明的模型更是可行的(由于線性圖像形成模型具有更好的保真度)。在當(dāng)前的方法中，圖像重建鏈中的后續(xù)步驟和算法將會(huì)從解決方案中提升的分辨率和對(duì)比度而受益。
將圖像復(fù)原作為預(yù)處理操作而加以應(yīng)用，可以最小化在圖像捕獲過程中累積的非線性度。此外，本發(fā)明還可以防止過度放大顏色信息。
數(shù)據(jù)復(fù)原通過迭代的逆過濾來銳化圖像。這種逆過濾可以由本發(fā)明提供的一種控制方法來加以控制。由于這種控制方法，在圖像足夠銳利的時(shí)候，迭代停止。該控制方法提供了一種對(duì)那些在不同的位置進(jìn)入圖像的像素進(jìn)行不同處理的機(jī)制。根據(jù)這種處理，復(fù)原圖像中的過調(diào)(overshooting)可以減小，由此可以產(chǎn)生更好的最終圖像的視覺質(zhì)量。此外，位于被觀察圖像邊緣的像素是以不同于平滑區(qū)域上的像素的方式復(fù)原的。該控制方法還可以解決空間變化的點(diǎn)擴(kuò)展函數(shù)的問題。舉例來說，如果光學(xué)系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)對(duì)不同的像素坐標(biāo)來說是不同的，那么使用獨(dú)立的像素處理的圖像復(fù)原可以解決這個(gè)問題。此外，該控制方法可以通過幾種去模糊算法來實(shí)施，從而改善其性能。
本發(fā)明還適用于視頻復(fù)原。


本發(fā)明是參考附圖和后續(xù)描述中的實(shí)例來描述的。
圖1描述了根據(jù)本發(fā)明的系統(tǒng)的一個(gè)實(shí)例；圖2描述了根據(jù)本發(fā)明的系統(tǒng)的另一個(gè)實(shí)例；圖3描述了根據(jù)本發(fā)明的設(shè)備的一個(gè)實(shí)例；圖4描述了根據(jù)本發(fā)明的安排的一個(gè)實(shí)例；以及圖5描述了根據(jù)本發(fā)明的迭代復(fù)原方法和控制方法的一個(gè)實(shí)例。
具體實(shí)施例方式
本發(fā)明涉及一種用于改善利用成像模塊捕獲的數(shù)字圖像的圖像質(zhì)量的方法，其中該成像模塊至少包括成像光學(xué)器件以及圖像傳感器，圖像是通過成像光學(xué)器件形成的，該圖像包含了至少一個(gè)顏色分量。在該方法中，圖像中各個(gè)顏色分量的退化信息被發(fā)現(xiàn)，并且被用于改善圖像質(zhì)量。而每個(gè)顏色分量的退化信息則是由點(diǎn)擴(kuò)展函數(shù)規(guī)定的。每個(gè)顏色分量由所述退化函數(shù)進(jìn)行復(fù)原。該圖像可以是未處理的圖像數(shù)據(jù)。此外，本發(fā)明還涉及用于實(shí)施復(fù)原以及對(duì)逆處理進(jìn)行控制和正則化的多個(gè)替換方式。
對(duì)根據(jù)本發(fā)明的圖像復(fù)原的描述針對(duì)三個(gè)要點(diǎn)，首先，例如通過測(cè)量針對(duì)至少一個(gè)原始顏色分量的點(diǎn)擴(kuò)展函數(shù)(PSF)來確定模糊退化函數(shù)。其次，該復(fù)原算法是為至少一個(gè)原始顏色分量設(shè)計(jì)的。第三，正則化機(jī)制可以整合在其中，以便緩解高通過濾的效應(yīng)。在本說明書中，移動(dòng)設(shè)備中的光學(xué)器件是作為實(shí)例使用的，因?yàn)樗鼈兺ǔ＞窒抻诤軐挼木劢狗秶５珜?duì)本領(lǐng)域技術(shù)人員來說，很明顯，移動(dòng)設(shè)備并不是唯一合適的設(shè)備。例如，本發(fā)明還可以供數(shù)碼相機(jī)、網(wǎng)絡(luò)攝像機(jī)或相類似的設(shè)備使用，并且可以由高端應(yīng)用來使用。該算法的目的是撤除或削弱光學(xué)器件產(chǎn)生的退化處理(模糊)。借助該算法，所得到的圖像將會(huì)更為銳利，并且具有改善的分辨率。
在使用術(shù)語“顏色分量”時(shí)，該術(shù)語涉及的是不同的顏色系統(tǒng)。在本實(shí)例中的實(shí)例為RGB系統(tǒng)(紅、綠、藍(lán))，但是本領(lǐng)域技術(shù)人員是可以想到其它的系統(tǒng)，例如HSV(色度、飽和度、純度)、YUV(亮度和色差)或CMYK(青、品紅、黃、黑)等等。
在空間域中，圖像模型可以以如下方式描述gi(m，n)＝hi(u，v)*fi(m，n)+ni(m，n)(1)其中g(shù)i是測(cè)量得到的顏色分量圖像，fi是原始顏色分量，hi是顏色分量中的相應(yīng)線性模糊、ni則是加性噪聲項(xiàng)。gi、fi、ni是在跨越了圖像區(qū)域的像素陣列(m，n)上定義的，而hi是在跨越模糊(點(diǎn)擴(kuò)展函數(shù))支集(support)的像素(u，v)上定義的。指數(shù)i＝{1，2，3，4}分別表示的是關(guān)于顏色分量的數(shù)據(jù)，例如紅色、綠色1、藍(lán)色和綠色2顏色分量。
借助圖1和2對(duì)本發(fā)明進(jìn)行更詳細(xì)的描述，其中每一個(gè)附圖都描述了根據(jù)本發(fā)明的圖像復(fù)原系統(tǒng)的框圖。
模糊規(guī)定接下來將要描述的是對(duì)光學(xué)元件(100)所捕獲的圖像中的退化(圖1，110)進(jìn)行估計(jì)的過程。在圖2中可以看出，該退化可以借助與三個(gè)顏色通道(在本實(shí)例中是R、G、B)中的模糊(原始數(shù)據(jù))相對(duì)應(yīng)的點(diǎn)擴(kuò)展函數(shù)210來估計(jì)。所述點(diǎn)擴(kuò)展函數(shù)被用于顯示每一個(gè)顏色通道的不同特性。并且這個(gè)點(diǎn)擴(kuò)展函數(shù)是一種可以用于評(píng)估成像系統(tǒng)性能的重要標(biāo)準(zhǔn)。
所述點(diǎn)擴(kuò)展函數(shù)作為波長(zhǎng)和相機(jī)視野中的位置的函數(shù)而改變。由此，尋找良好的點(diǎn)擴(kuò)展函數(shù)有可能是困難的。在本說明書中，采用的是散焦近距離成像以及空間不變模糊處理。用于估計(jì)與各個(gè)顏色分量相關(guān)聯(lián)的點(diǎn)擴(kuò)展函數(shù)(hi)的實(shí)際過程也可以作為一個(gè)獨(dú)立應(yīng)用來使用，從而幫助實(shí)施相機(jī)系統(tǒng)中的評(píng)估處理。
在給出了與檢測(cè)板圖案的一個(gè)顏色分量相對(duì)應(yīng)的模糊圖像的情況下，四個(gè)外部轉(zhuǎn)角點(diǎn)是手動(dòng)定位的，并且首先確定的是轉(zhuǎn)角位置的大致估計(jì)。精確的位置(精確到子像素)則是通過在例如10×10像素的方塊窗口中細(xì)化所述搜索而被再次計(jì)算的。通過使用這些轉(zhuǎn)角點(diǎn)，可以借助對(duì)每一個(gè)方塊的中心部分進(jìn)行平均以及通過斷定這些方塊的恒定亮度值來重建原始網(wǎng)格圖像fi的近似值。
點(diǎn)擴(kuò)展函數(shù)被假設(shè)成是在空間上不變的，由此可以通過偽逆過濾方法(例如在傅立葉域中)來計(jì)算模糊。由于偽逆技術(shù)對(duì)噪聲是非常敏感的，因此，頻率低通過濾器可以用于限制噪聲，并且可以結(jié)合若干個(gè)圖像來應(yīng)用該過程，以便獲得點(diǎn)擴(kuò)展函數(shù)的平均估計(jì)(所提到的低通過濾的歸一化截止頻率約為0.6，但是至少?gòu)?.4到0.9的任何值也都是適用的)。
為了量化每一個(gè)顏色通道上出現(xiàn)的模糊程度，在這里定義了一個(gè)簡(jiǎn)單的統(tǒng)計(jì)信息，該統(tǒng)計(jì)信息被確定為與函數(shù)中心的加權(quán)距離(以像素為單位)的均值，所述權(quán)重對(duì)應(yīng)的是該點(diǎn)的歸一化點(diǎn)擴(kuò)展函數(shù)的值Spsf(hi)=MINIΣm,nhi(m,n)Σn=0MIΣn=0NI(m2+n2)hi(m,n)---(2)]]>其中MI和NI是點(diǎn)擴(kuò)展函數(shù)過濾器的支集。Spsf描述的是模糊的程度。通過試驗(yàn)可以確認(rèn)的是，這些通道具有不同的模糊圖案。例如，在研究Mirage-1相機(jī)時(shí)，所獲得的Spsf值是
從結(jié)果中可以看出，紅色分量最為模糊并且噪聲最大，而最不模糊的是藍(lán)色分量，并且該分量還具有最低的對(duì)比度。
復(fù)原算法關(guān)于顏色分量的數(shù)據(jù)是由傳感器120測(cè)得的，例如由CMOS或CCD傳感器之類的Bayer傳感器220(圖2)測(cè)得。顏色分量可以是圖2中的紅色分量(R)、綠色分量1(G1)、藍(lán)色分量(B)以及綠色分量2(G2)。這其中的每一個(gè)顏色“圖像”都是最終輸出圖像的1/4大小。
第二圖像模型是為復(fù)原提供的(130；250)。該圖像按照字典順序排列進(jìn)矢量中，并且點(diǎn)擴(kuò)展函數(shù)hi被排列進(jìn)方塊-Toeplitz循環(huán)矩陣Hi中。然后，第二圖像模型可以如下g-i=Hif-i+η-i---(3)]]>在得到了Hi的合理近似值的情況下，圖像復(fù)原的目的是從退化的觀察結(jié)果 中恢復(fù)最佳估計(jì) 。模糊函數(shù)Hi是不可逆的(它已在有限支集上被定義，由此其逆函數(shù)將會(huì)具有無窮支集)，因此無法得到直接的逆解。解決該問題的典型的直接方法考慮的是將輸入的與所模擬的重新模糊的圖像之間的能量減至最小，這種處理是通過下列范數(shù)得到的JLS=||g-i-Hifi-^||2---(4)]]>由此為數(shù)據(jù)提供最小二乘方擬合。當(dāng)噪聲已知是高斯噪聲的時(shí)候，所述范數(shù)的最小化還會(huì)得到最大似然解。它還得到廣義的逆過濾器，所述逆過濾器是如下給出的(HTH)f-^i=HTg-i---(5)]]>要想對(duì)其進(jìn)行求解，通常的做法是將確定性迭代技術(shù)與連續(xù)近似方法結(jié)合使用，這樣將會(huì)產(chǎn)生如下的迭代
f-^i(0)=μHTg-i]]>f-^i(k+1)=f-^i(k)+μHT(g-i-g-^i(k))]]>如果0<μ<2|λmax|]]>那么該迭代收斂，其中λmax是矩陣HTH的最大本征值。在能量的歸一化變化變得很小之前，該迭代將會(huì)一直執(zhí)行。
從圖1和2中可以看出，復(fù)原(130；250)是為每一個(gè)顏色分量R、G、B獨(dú)立地執(zhí)行的。
迭代技術(shù)的主要優(yōu)點(diǎn)是不需要顯性地實(shí)施模糊算子的逆運(yùn)算，并且復(fù)原處理可以在其進(jìn)行過程中得到監(jiān)視。
最小二乘方可以擴(kuò)展成經(jīng)典最小二乘方(CLS)技術(shù)。從理論上來說，圖像復(fù)原的問題是不識(shí)定(ill-posed)的，也就是說，輸出中諸如噪聲之類的微小擾亂都有可能導(dǎo)致在如上給出的直接最小二乘解中出現(xiàn)極大的擾亂。因此，約束最小二乘方方法通常只在文獻(xiàn)資料中加以考慮。這些算法會(huì)將等式(4)中隸屬于(平滑)正則項(xiàng)的那些項(xiàng)減至最小，而所述正則項(xiàng)則是由輸出的高通過濾的形式組成的。所述正則項(xiàng)允許包含關(guān)于圖像的先驗(yàn)信息。
正則化機(jī)制的一個(gè)實(shí)例在實(shí)踐中，諸如CCD和CMOS傳感器之類的圖像傳感電子儀器有可能在圖像中引入非線性度，而其中飽和度是非常嚴(yán)重的一項(xiàng)。由于在圖像形成模型中，非線性度是無法把握的，因此，顏色通道的獨(dú)立處理有可能導(dǎo)致邊緣周圍出現(xiàn)嚴(yán)重的錯(cuò)誤著色。由此，本發(fā)明引入了一種應(yīng)用于復(fù)原的改善的正則化機(jī)制(圖2；240)。飽和或是曝光不足的像素區(qū)域被用于設(shè)計(jì)一個(gè)緩解周圍區(qū)域中的高通過濾效應(yīng)的平滑變化系數(shù)。圖像獲取處理的公式表示始終被假設(shè)成是線性的(1)。由于三個(gè)顏色通道之間存在靈敏度差異以及模糊曝光的控制，在每一個(gè)顏色通道中，像素飽和度有可能是以無條理的方式出現(xiàn)的。對(duì)靠近這些飽和區(qū)域的獨(dú)立通道復(fù)原來說，該復(fù)原將會(huì)導(dǎo)致該顏色分量被單獨(dú)地過度放大，由此會(huì)在這些區(qū)域附近產(chǎn)生人為像顏色失配以及錯(cuò)誤的著色。為了避免出現(xiàn)這種情況，在這里提出一種根據(jù)本發(fā)明的正則化機(jī)制。該正則化機(jī)制整合在等式(6)的迭代求解中。其思想是在空間上對(duì)μ進(jìn)行調(diào)節(jié)，以便限制飽和區(qū)域附近的復(fù)原效應(yīng)。經(jīng)過調(diào)節(jié)的步長(zhǎng)大小是如下所給出的μadap(m，n)＝βsat(u，m)μ(9)其中μ是先前論述的全局步長(zhǎng)大小，βsat則是對(duì)步長(zhǎng)大小進(jìn)行調(diào)整的局部飽和度控制。并且βsat是使用以下算法獲得的對(duì)每一個(gè)顏色通道圖像gi來說，i＝{1..4}，考慮圍繞像素位置gi(m，n)的窗口(w×w)的值，對(duì)該窗口中的飽和像素Si(m，n)的數(shù)量進(jìn)行計(jì)數(shù)，飽和控制是由以下等式給出的βsat(m,n)=max(0,(w2-Σi=14si(m,n))/w2).]]>βsat根據(jù)任何顏色通道中的飽和像素的數(shù)量而在0與1之間變化。迭代復(fù)原方法和正則化機(jī)制的另一個(gè)實(shí)例先前的數(shù)據(jù)復(fù)原是通過迭代逆過濾來銳化圖像的。這種逆過濾可以由一種控制方法加以控制，由此在圖像足夠銳利時(shí)可以停止該迭代。在圖5中以框圖的形式對(duì)這種控制方法的基本思想進(jìn)行了描述。在該方法的開端，其中將圖像初始化成與觀察圖像相同，并且對(duì)去模糊算法的參數(shù)進(jìn)行了設(shè)置(510)。此后，去模糊算法被應(yīng)用于觀察圖像。這個(gè)處理可以是現(xiàn)有的一次性算法中的任何一種，例如反銳化掩模方法、模糊域去模糊、差分過濾等等(520)。在每一次迭代中，去模糊都是有意義的，這是因?yàn)槿绻ツ：痪哂辛己玫男阅?，那么系統(tǒng)的總體性能都不會(huì)很好。在接下來的步驟(530)中，可以對(duì)來自去模糊圖像的像素進(jìn)行檢查，以便檢測(cè)出諸如過度放大的邊緣之類的過調(diào)。在后續(xù)步驟(540)中，復(fù)原圖像將會(huì)得到更新。如果去模糊圖像中的像素位置域過調(diào)邊緣相對(duì)應(yīng)，那么在迭代處理中不會(huì)進(jìn)行進(jìn)一步的更新。否則，來自復(fù)原圖像的像素通常將被更新。此外，與過調(diào)相對(duì)應(yīng)的像素還被掩模，以便在接下來的迭代過程中使相應(yīng)的復(fù)原像素保持不變(對(duì)那些像素來說，復(fù)原會(huì)在該點(diǎn)終止)。在接下來的步驟(550)中，對(duì)中間輸出圖像進(jìn)行掃描，并且將會(huì)檢測(cè)出仍舊包含過調(diào)的像素。如果檢測(cè)到不變的過調(diào)(560)，則停止全局迭代處理并且返回到復(fù)原圖像。否則，去模糊算法的參數(shù)將會(huì)改變(570)，并且接下來的迭代是以觀察圖像的去模糊為開始的。最后的步驟(560-570)將會(huì)使算法適于進(jìn)行盲去卷積。這里公開的算法將會(huì)防止存儲(chǔ)圖像形成因?yàn)檫吘壍倪^度放大而出現(xiàn)的過調(diào)。該處理是通過兩種方式完成的。首先，在每一次迭代中，像素都是獨(dú)立更新的，由此，那些退化的像素是不會(huì)更新到復(fù)原圖像中的。其次，如果在復(fù)原圖像中存在退化過大的像素，那么整個(gè)去模糊處理都會(huì)停止。接下來將對(duì)去模糊方法的實(shí)施方式進(jìn)行詳細(xì)描述。
圖5的方法步驟是為顏色分量R、G、B中的某一個(gè)分量實(shí)施的。其它兩個(gè)分量則是完全以相同的方式單獨(dú)處理的。如果使用的是YUV顏色系統(tǒng)，那么只需要對(duì)分量Y進(jìn)行處理。
在步驟510，將圖像初始化成與觀察圖像相同，并且設(shè)置去模糊算法的參數(shù)。在這里，輸入的觀察圖像是用I表示的，并且最終的復(fù)原圖像是用Ir表示的。在一開始，復(fù)原圖像是用I(Ir＝I)初始化的。去模糊方法的參數(shù)同樣也被初始化。舉例來說，如果將反銳化掩模方法用于去模糊處理，則對(duì)所使用的模糊圖像的數(shù)量及其參數(shù)進(jìn)行選擇。如果實(shí)施的是另一種算法，那么其參數(shù)將會(huì)在該點(diǎn)進(jìn)行設(shè)置。此外，在這里還會(huì)初始化一個(gè)大小與圖像大小相等并具有單位元素的矩陣。該矩陣是用mask表示的。
在步驟520，其中會(huì)將去模糊算法應(yīng)用于觀察圖像并獲得去模糊圖像Idb。在步驟530，對(duì)來自去模糊圖像的每一個(gè)像素進(jìn)行檢查，以便檢測(cè)出諸如過度放大邊緣之類的過調(diào)。來自去模糊圖像Idb的像素將被掃描，并且相鄰像素之間的水平和垂直距離是以如下方式計(jì)算的
dh1(x，y)＝ldb(x，y)-ldb(x，y-l)dh2(x，y)＝ldb(x，y)-ldb(x，y+l)dv1(x，y)＝ldb(x，y)-ldb(x-l，y)dv2(x，y)＝ldb(x，y)-ldb(x+l，y)其中x，y分別代表的是垂直和水平像素坐標(biāo)。此外，來自觀察圖像的像素同樣將被掃描，并且相鄰像素之間的水平和垂直差值可以計(jì)算如下dh3(x，y)＝l(x，y)-l(x，y-l)dh4(x，y)＝l(x，y)-l(x，y+l)dv3(x，y)＝l(x，y)-l(x-l，y)dv4(x，y)＝l(x，y)-l(x+l，y)對(duì)于來自去模糊圖像的每一個(gè)像素來說，在這里將會(huì)檢查相應(yīng)差值dh1和dh3、dh2和dh4、dv1和dv3以及dv2和dv4的符號(hào)是否不同。如果它們不同，則意味著位于坐標(biāo)x，y上的像素包含了過調(diào)。這種檢查是通過以下算法實(shí)施的ifNOT[sign(dh1(x，y))＝sign(dh3(x，y))]OR NOT[sign(dh2(x，y))＝sign(dh4(x，y))]if[abs(adl(x，y))＞＝th1*MAX]AND[abs(dh2(x，y))＞＝th1*MAX]mh＝0；endendifNOT[sign(dv1(x，y))＝sign(dv3(x，y))]OR NOT[sign(dv2(x，y))＝sign(dv4(x，y))]if[abs(dv1(x，y)0＞＝th1*MAX]AND[abs(dv2(x，y))＞＝th1*MAX]mv＝0；endendif(mh＝0)OR(mv＝0)mask(x，y)＝0；end基本上，上文中的思想是對(duì)來自去模糊圖像的每一個(gè)像素進(jìn)行所述去模糊圖像的局部形狀與所述觀察圖像的局部形狀之間的比較。該處理是通過在水平和垂直方向上比較這兩個(gè)圖像的相應(yīng)差值的符號(hào)來完成的。當(dāng)發(fā)現(xiàn)這兩個(gè)圖像的形狀存在差異時(shí)(無論是水平還是垂直方向)，則意味著有可能過度強(qiáng)調(diào)了來自去模糊圖像的相應(yīng)像素。對(duì)這些像素來說，在這里對(duì)過調(diào)的估計(jì)值與某個(gè)閾值(th1)進(jìn)行比較。如果過調(diào)的量大于閾值(th1)，則將相應(yīng)的像素標(biāo)記成是失真的(使掩模值等于零)。該閾值(th1)則被定義成是來自觀察圖像的像素最大值的百分?jǐn)?shù)(值MAX是I的最大值)。通過選擇這種閾值計(jì)算，我們可以確保該閾值(th1)的值與圖像范圍相適配。
在步驟540，對(duì)復(fù)原圖像進(jìn)行更新。形成復(fù)原圖像的像素是簡(jiǎn)單地使用來自未被標(biāo)記成失真的去模糊圖像的像素更新的。這個(gè)步驟可以以如下方式實(shí)施for every pixel from Idb(x，y)if mask(x，y)＝1Ir(x，y)＝Idb(x，y)；endend在步驟550，中間輸出圖像被掃描并且檢測(cè)出仍舊包含過調(diào)的像素。在掃描復(fù)原圖像的時(shí)候，相鄰像素之間的水平和垂直差值可以以如下方式來計(jì)算dh5(x，y)＝lr(x，y)，y)-lr(x，y-l)dh6(x，y)＝lr(x，y)-lr(x，y+l)dv5(x，y)＝lr(x，y)-lr(x-1，y)dv6(x，y)＝lr(x，y)-lr(x+1，y)對(duì)相應(yīng)差值dh5和dh3、dh6和dh4、dy5和dy3以及dy6和dv4的符號(hào)進(jìn)行比較。如果這些符號(hào)存在差異，那么過調(diào)量可以以如下方式來計(jì)算If NOT[sign(dh5(x，y))＝sign(dh3(x，y))]OR NOT[sign(dh6(x，y))＝sign(dh4(x，y))]H(x，y)＝min(abs(dh5(x，y))，abs(dh6(x，y)))；endIf NOT[sign(dv5(x，y))＝sign(dv3(x，y))]OR NOT[sign(dv6(x，y))＝sign(dv4(x，y))]V(x，y)＝min(abs(dh5(x，y))，abs(dh6(x，y)))；end通過比較在復(fù)原圖像和原始圖像上計(jì)算得到的差值的符號(hào)，可以對(duì)兩個(gè)圖像的局部形狀進(jìn)行比較。對(duì)局部形狀不同的像素來說，復(fù)原圖像中的過調(diào)是通過采用兩個(gè)相鄰差值的最小絕對(duì)值來估計(jì)的。該值是在垂直和水平方向上計(jì)算得到的。
在步驟560，對(duì)過調(diào)進(jìn)行檢查。如果最大過調(diào)大于預(yù)定步長(zhǎng)，則停止復(fù)原過程，并且在輸出中返回到復(fù)原圖像Ir。如果在復(fù)原圖像中沒有具有大于閾值的過調(diào)的像素，則改變?nèi)ツ：椒ǖ膮?shù)，并且該過程將會(huì)從步驟520開始繼續(xù)執(zhí)行。這個(gè)步驟可以以如下方式加以實(shí)施if max(max(H(x，y))，max(V(x，y)))＞＝th2*MAXreturn the image Ir and stop the restoration processelsemodify the parameters of the de-blurring method and go to step 520.
end過調(diào)檢測(cè)的閾值th2定義為原始圖像I的最大像素值的百分比。
正則化方法(圖5的530、550和560)還可以與等式(6)的上述迭代復(fù)原方法相結(jié)合。在結(jié)合局部或全局正則化的上述方法之后，諸如高通過濾之類的其它非迭代復(fù)原算法也是可以實(shí)施的。上文定義的局部和全局正則化處理既可以同時(shí)應(yīng)用于其它的迭代復(fù)原技術(shù)，也可以單獨(dú)應(yīng)用于其它的迭代復(fù)原技術(shù)。
圖像重建鏈先前關(guān)于各個(gè)顏色分量復(fù)原的描述是作為圖像重建鏈中的第一操作而應(yīng)用的。例如自動(dòng)白平衡、色彩濾鏡陣列內(nèi)插(CFAI)、色域轉(zhuǎn)換、幾何失真和陰影校正、噪聲減少、銳化的其它操作(140；260)則跟隨其后?？梢岳斫獾氖?，最終的圖像質(zhì)量(270)取決于重建鏈中的所有這些操作的有效和優(yōu)化使用。圖像重建算法的最有效實(shí)施方式是非線性的。在圖1中，例如通過圖像壓縮(150)或/和下采樣/抖動(dòng)(160)處理來進(jìn)行圖像處理。圖像既可以通過相機(jī)取景器(180)或顯示器查看，也可以以壓縮形式存儲(chǔ)(170)在存儲(chǔ)器中。
在重建鏈中將復(fù)原作為第一操作進(jìn)行使用，可以確保線性成像模型呈現(xiàn)最佳的保真度。對(duì)后面的算法，尤其是色彩濾鏡陣列內(nèi)插和噪聲減少算法來說，這些算法充當(dāng)?shù)氖歉郊拥恼齽t化機(jī)制，以防止因?yàn)檫^度的復(fù)原所導(dǎo)致的過度放大。
實(shí)施方式根據(jù)本發(fā)明的系統(tǒng)可以安裝在諸如移動(dòng)終端、網(wǎng)絡(luò)攝像機(jī)、數(shù)碼相機(jī)之類的設(shè)備或是用于成像的其它設(shè)備中。該系統(tǒng)可以是安裝在所述設(shè)備之一的相機(jī)模塊中的數(shù)字信號(hào)處理的一部分。這些設(shè)備的一個(gè)實(shí)例是圖3中以簡(jiǎn)化框圖顯示的成像移動(dòng)終端。設(shè)備300包含了光學(xué)器件310或是用于捕獲圖像的類似設(shè)備，該設(shè)備可以可操作地與光學(xué)器件或是用于捕獲圖像的數(shù)碼相機(jī)進(jìn)行通信。此外，設(shè)備300還可以包括具有發(fā)射機(jī)321和接收機(jī)322的通信裝置320。也可以存在具有發(fā)射機(jī)381和接收機(jī)382的其它通信裝置380。第一通信裝置320可以被適配成執(zhí)行遠(yuǎn)程通信，而另一通信裝置380則可以是某種短程通信裝置，例如BluetoothTM系統(tǒng)、WLAN系統(tǒng)(無線局域網(wǎng))或是其它適合本地使用以及與別的設(shè)備進(jìn)行通信的系統(tǒng)。根據(jù)圖3的設(shè)備300還包括用于顯示可視信息的顯示器340。此外，設(shè)備300還包括用于輸入數(shù)據(jù)以及控制圖像捕獲等操作的小鍵盤350。另外，設(shè)備300還可以包括諸如耳機(jī)361和麥克風(fēng)362之類的音頻設(shè)備，并且可選地包括用于對(duì)音頻信息進(jìn)行編碼(需要的話也可以進(jìn)行解碼)的編解碼器。而且，該設(shè)備300還包括用于對(duì)設(shè)備300的功能進(jìn)行控制的控制單元330，舉例來說，所述功能例如是根據(jù)本發(fā)明的復(fù)原算法。該控制單元330可以包括一個(gè)或多個(gè)處理器(CPU、DSP)。而該設(shè)備還進(jìn)一步包括用于存儲(chǔ)數(shù)據(jù)、程序等等的存儲(chǔ)器370。
根據(jù)本發(fā)明的成像模塊包括成像光學(xué)器件和圖像傳感器，以及用于發(fā)現(xiàn)圖像中每一個(gè)顏色分量的退化信息并且根據(jù)該退化信息來確定退化函數(shù)的裝置，以及借助所述退化函數(shù)來復(fù)原每一個(gè)顏色分量的其它裝置。該成像模塊可以安裝在先前描述的設(shè)備中。此外，該成像模塊也可以安裝在圖4所示的與成像設(shè)備400和顯示設(shè)備進(jìn)行通信的獨(dú)立設(shè)備410中其中該顯示設(shè)備也可以是所述成像設(shè)備400或是個(gè)人計(jì)算機(jī)之類的其它設(shè)備。所述獨(dú)立設(shè)備410包括復(fù)原模塊411以及可選地包含了其它成像模塊412，并且該設(shè)備是可以獨(dú)立用于圖像重建處理的。成像設(shè)備400與獨(dú)立設(shè)備410之間的通信可以由有線或無線網(wǎng)絡(luò)進(jìn)行處理。關(guān)于此類網(wǎng)絡(luò)的實(shí)例可以是因特網(wǎng)、WLAN、Bluetooth等等。
以上的詳細(xì)描述僅僅是為了清楚理解本發(fā)明而提供的，并且不應(yīng)該將其理解成是對(duì)這里的權(quán)利要求進(jìn)行限定。
權(quán)利要求
1.一種開發(fā)用于改善成像模塊所捕獲的數(shù)字圖像的圖像質(zhì)量的模型的方法，其中該成像模塊至少包括成像光學(xué)器件以及圖像傳感器，該圖像通過所述成像光學(xué)器件形成，所述圖像包含了至少一個(gè)顏色分量，并且其中所述模型的開發(fā)至少包括下列步驟發(fā)現(xiàn)所述圖像中每一個(gè)顏色分量的退化信息，根據(jù)所述退化信息來獲得退化函數(shù)，以及通過所述退化函數(shù)來復(fù)原所述每一個(gè)顏色分量。
2.根據(jù)權(quán)利要求1的方法，其中為復(fù)原的顏色分量應(yīng)用正則化控制。
3.根據(jù)權(quán)利要求1的方法，其中每一個(gè)顏色分量的所述退化信息是借助點(diǎn)擴(kuò)展函數(shù)發(fā)現(xiàn)的。
4.根據(jù)權(quán)利要求3的方法，其中復(fù)原是通過迭代復(fù)原函數(shù)實(shí)施的，該迭代復(fù)原函數(shù)是從每一個(gè)顏色分量的點(diǎn)擴(kuò)展函數(shù)確定的。
5.根據(jù)權(quán)利要求1的方法，其中復(fù)原是通過迭代復(fù)原函數(shù)實(shí)施的，其中在每一次迭代中使用借助正則化的單步去模糊方法。
6.根據(jù)權(quán)利要求1的方法，其中所述圖像是未處理圖像數(shù)據(jù)，并且其中所述復(fù)原的顏色分量由其它圖像重建算法進(jìn)一步進(jìn)行處理。
7.根據(jù)權(quán)利要求1的方法，其中所使用的是下列顏色系統(tǒng)中的一種RGB、HSV、CMYK、YUV。
8.根據(jù)權(quán)利要求2的方法，其中所述正則化控制實(shí)施在去模糊方法中，以便獲得去模糊圖像。
9.根據(jù)權(quán)利要求8的方法，其中借助第一閾值和第二閾值檢測(cè)過調(diào)像素。
10.一種用于改善數(shù)字圖像的圖像質(zhì)量的模型，所述模型可以通過如權(quán)利要求1所述的方法來獲得。
11.一種對(duì)根據(jù)權(quán)利要求10的模塊的使用，用于改善數(shù)字圖像的圖像質(zhì)量。
12.一種用于改善成像模塊所捕獲的數(shù)字圖像的圖像質(zhì)量的方法，其中該成像模塊至少包括成像光學(xué)器件以及圖像傳感器，該圖像通過所述成像光學(xué)器件形成，所述圖像包含了至少一個(gè)顏色分量，其中發(fā)現(xiàn)所述圖像中每一個(gè)顏色分量的退化信息，根據(jù)所述退化信息來獲得退化函數(shù)，以及通過所述退化函數(shù)來復(fù)原所述每一個(gè)顏色分量。
13.根據(jù)權(quán)利要求12的方法，其中為復(fù)原的顏色分量應(yīng)用正則化控制。
14.根據(jù)權(quán)利要求12的方法，其中每一個(gè)顏色分量的所述退化信息是借助點(diǎn)擴(kuò)展函數(shù)發(fā)現(xiàn)的。
15.根據(jù)權(quán)利要求14的方法，其中復(fù)原是通過迭代復(fù)原函數(shù)實(shí)施的，該迭代復(fù)原函數(shù)是從每一個(gè)顏色分量的點(diǎn)擴(kuò)展函數(shù)確定的。
16.根據(jù)權(quán)利要求12的方法，其中復(fù)原是通過迭代復(fù)原函數(shù)實(shí)施的，其中在每一次迭代中實(shí)施借助正則化的單步去模糊方法。
17.根據(jù)權(quán)利要求12的方法，其中所述圖像是未處理圖像數(shù)據(jù)，并且其中所述復(fù)原的顏色分量由其它圖像重建算法進(jìn)一步進(jìn)行處理。
18.根據(jù)權(quán)利要求12的方法，其中所使用的是下列顏色系統(tǒng)中的一種RGB、HSV、CMYK、YUV。
19.根據(jù)權(quán)利要求13的方法，其中所述正則化控制實(shí)施在去模糊方法中，以便獲得去模糊圖像。
20.根據(jù)權(quán)利要求19的方法，其中借助第一閾值和第二閾值檢測(cè)過調(diào)像素。
21.一種用于復(fù)原圖像的方法，其中復(fù)原是通過迭代復(fù)原函數(shù)實(shí)施的，其中在每一次迭代中實(shí)施借助正則化的去模糊方法。
22.根據(jù)權(quán)利要求21的方法，其中為復(fù)原的顏色分量應(yīng)用正則化控制。
23.根據(jù)權(quán)利要求21的方法，其中所述正則化控制實(shí)施在所述去模糊方法中，以便獲得去模糊圖像。
24.根據(jù)權(quán)利要求21的方法，其中借助第一閾值和第二閾值檢測(cè)過調(diào)像素。
25.一種確定用于改善成像模塊所捕獲的數(shù)字圖像的圖像質(zhì)量的模型的系統(tǒng)，其中該成像模塊至少包括成像光學(xué)器件以及圖像傳感器，該圖像通過所述成像光學(xué)器件形成，所述圖像包含了至少一個(gè)顏色分量，其中該系統(tǒng)包括用于發(fā)現(xiàn)所述圖像中每一個(gè)顏色分量的退化信息的第一裝置，用于根據(jù)所述退化信息來獲得退化函數(shù)的第二裝置，以及用于通過所述退化函數(shù)來復(fù)原所述每一個(gè)顏色分量的第三裝置。
26.根據(jù)權(quán)利要求25的系統(tǒng)，還包括用于在復(fù)原過程中應(yīng)用正則化控制的第四裝置。
27.根據(jù)權(quán)利要求25的系統(tǒng)，還包括用于借助其它圖像重建算法來對(duì)所述圖像進(jìn)行進(jìn)一步處理的第五裝置。
28.根據(jù)權(quán)利要求25的系統(tǒng)，其中該系統(tǒng)能夠使用下列顏色系統(tǒng)中的一種RGB、HSV、CMYK、YUV。
29.根據(jù)權(quán)利要求26的系統(tǒng)，其中對(duì)該正則化控制而言，所述系統(tǒng)包含了用于對(duì)所復(fù)原的圖像進(jìn)行去模糊的裝置。
30.一種成像模塊，包括成像光學(xué)器件以及圖像傳感器，以便通過該成像光學(xué)器件而在該光敏圖像傳感器中形成圖像，其中權(quán)利要求10所述的用于改善圖像質(zhì)量的模型與所述成像模塊是相關(guān)的。
31.根據(jù)權(quán)利要求30的成像模塊，還包括用于在復(fù)原過程中實(shí)施正則化控制的裝置。
32.一種設(shè)備，包含如權(quán)利要求30所述的成像模塊。
33.根據(jù)權(quán)利要求32的設(shè)備，其中該設(shè)備是具有通信能力的移動(dòng)設(shè)備。
34.一種用于在包含了成像模塊的設(shè)備中改善圖像質(zhì)量的程序模塊，所述程序模塊包含了用于下列處理的裝置發(fā)現(xiàn)所述圖像中每一個(gè)顏色分量的退化信息，根據(jù)所述退化信息來獲得退化函數(shù)，以及通過所述退化函數(shù)來復(fù)原所述每一個(gè)顏色分量。
35.根據(jù)權(quán)利要求34的程序模塊，還包括用于在復(fù)原過程中實(shí)施正則化控制的指令。
36.一種用于復(fù)原圖像的程序模塊，包括用于在迭代復(fù)原的每一次迭代中實(shí)施借助正則化的去模糊處理的裝置。
37.根據(jù)權(quán)利要求36的程序模塊，還包括借助第一閾值和第二閾值來檢測(cè)過調(diào)像素的裝置。
38.一種用于改善圖像質(zhì)量的計(jì)算機(jī)程序產(chǎn)品，包含由計(jì)算機(jī)實(shí)施的指令，以便發(fā)現(xiàn)所述圖像中每一個(gè)顏色分量的退化信息，根據(jù)所述退化信息來獲得退化函數(shù)，以及通過所述退化函數(shù)來復(fù)原所述每一個(gè)顏色分量。
39.根據(jù)權(quán)利要求38的計(jì)算機(jī)程序產(chǎn)品，還包括用于在復(fù)原過程中應(yīng)用正則化控制的指令。
40.一種用于復(fù)原圖像的計(jì)算機(jī)程序產(chǎn)品，包括用于在迭代復(fù)原的每一次迭代中實(shí)施借助正則化的去模糊處理的計(jì)算機(jī)可讀指令。
41.根據(jù)權(quán)利要求40的計(jì)算機(jī)程序產(chǎn)品，還包括借助第一閾值和第二閾值來檢測(cè)過調(diào)像素的指令。
全文摘要
本發(fā)明涉及一種用于改善成像模塊捕獲的數(shù)字圖像的圖像質(zhì)量的方法，其中該成像模塊至少包括成像光學(xué)器件以及圖像傳感器，圖像是通過成像光學(xué)器件形成的，并且所述圖像包含了至少一個(gè)顏色分量。在該方法中，其中將會(huì)發(fā)現(xiàn)每一個(gè)顏色分量的退化信息并且將其用于改善圖像質(zhì)量。每一個(gè)顏色分量的退化信息是由一個(gè)點(diǎn)擴(kuò)展函數(shù)規(guī)定的。每一個(gè)顏色分量是由所述退化函數(shù)復(fù)原的。該圖像可以是未處理的圖像數(shù)據(jù)。此外，本發(fā)明還涉及若干種用于實(shí)施復(fù)原以及用于單獨(dú)控制和正則化圖像退化的逆過程的替換方案。另外，本發(fā)明還涉及一種設(shè)備、模塊、系統(tǒng)以及一種計(jì)算機(jī)程序產(chǎn)品和程序模塊。
文檔編號(hào)G06T5/00GK1985274SQ200580023106
公開日2007年6月20日 申請(qǐng)日期2005年1月4日 優(yōu)先權(quán)日2004年7月9日
發(fā)明者拉多·比爾屈, 薩卡里·阿勒尼于斯, 默日迪·特里默舍, 馬克屈·弗維萊南 申請(qǐng)人:諾基亞公司