專(zhuān)利名稱(chēng)：采用梯度融合技術(shù)的運(yùn)動(dòng)模糊圖像序列的復(fù)原方法
技術(shù)領(lǐng)域：
本發(fā)明屬圖像處理技術(shù)領(lǐng)域，特別是涉及一種采用梯度融合技術(shù)將運(yùn)動(dòng)模糊圖像序列 復(fù)原的方法，包括了計(jì)算機(jī)圖像處理、計(jì)算機(jī)視覺(jué)領(lǐng)域，涉及到透明度估計(jì)，正則化迭代， 反巻積算法，以及梯度域融合技術(shù)。
背景技術(shù)：
圖像復(fù)原是一項(xiàng)非常重要的應(yīng)用技術(shù)，在醫(yī)學(xué)成像、視頻跟蹤、物體識(shí)別、遙感成像 和考古研究等大量實(shí)際應(yīng)用中都會(huì)涉及到圖像復(fù)原的處理。圖像復(fù)原更是很多視頻和圖像 處理的前期處理階段。
如今，隨著數(shù)碼相機(jī)產(chǎn)品的發(fā)展，數(shù)碼相機(jī)的設(shè)備失真情況已經(jīng)大大降低，退化圖像 的主要原因更多還是相機(jī)抖動(dòng)和物體運(yùn)動(dòng)引起。相機(jī)設(shè)備的抖動(dòng)導(dǎo)致的圖像模糊為全局模 糊，而物體運(yùn)動(dòng)產(chǎn)生的模糊大多為局部模糊，這兩種情況都可以稱(chēng)之為運(yùn)動(dòng)模糊。也可以 簡(jiǎn)單的說(shuō)是在相機(jī)產(chǎn)生圖像的曝光時(shí)間內(nèi)，相機(jī)與景物產(chǎn)生了相對(duì)運(yùn)動(dòng)，從而形成圖像模 糊。
傳統(tǒng)的圖像復(fù)原算法通常是在頻率域中建立約束，如維納濾波和最小二乘濾波，還有 非線性迭代復(fù)原算法等，這些算法都是在假設(shè)退化模型已知的情況下對(duì)模糊圖像進(jìn)行復(fù) 原，難以直接解決應(yīng)用問(wèn)題。
在未知退化模型的情況下的圖像復(fù)原稱(chēng)為盲復(fù)原。因此，圖像盲復(fù)原分為退化函數(shù)的 估計(jì)和圖像反巻積兩個(gè)步驟。
國(guó)內(nèi)外現(xiàn)有的算法有根據(jù)自然圖像的梯度統(tǒng)計(jì)來(lái)估計(jì)點(diǎn)擴(kuò)散函數(shù)(退化函數(shù))，做法是 先對(duì)一張清晰的照片進(jìn)行空間域的梯度統(tǒng)計(jì)作為參照分布，用貝葉斯學(xué)習(xí)使得模糊照片的 梯度分布接近參照分布，從而估計(jì)得到點(diǎn)擴(kuò)散函數(shù)。但是統(tǒng)計(jì)參照分布并沒(méi)有最優(yōu)的標(biāo)準(zhǔn)， 因此該方法對(duì)于很多模糊圖像并不十分有效。還有，該方法無(wú)法處理局部模糊圖像。
然而采用單圖像的方法缺乏足夠的先驗(yàn)信息，想要復(fù)原出較高質(zhì)量的圖像是十分困難
的。引入自然清晰圖像特有的統(tǒng)計(jì)分布作為先驗(yàn)信息求解，但是信息量還是有限的。由于 退化圖像本身就是信息丟失的，也就是說(shuō)即使我們精確地知道退化圖像的點(diǎn)擴(kuò)散函數(shù)，我 們也沒(méi)法完完全全恢復(fù)出原本的清晰圖像，這也是數(shù)學(xué)上常說(shuō)的病態(tài)問(wèn)題。
國(guó)際上還有采用在高分辨率數(shù)碼相機(jī)上固定一個(gè)低分辨率視頻捕捉設(shè)備的方法，在高 分辨率相機(jī)拍攝照片的同時(shí)用視頻捕捉設(shè)備記錄設(shè)備抖動(dòng)的整個(gè)過(guò)程。然后使用光流算法
3對(duì)低分辨率視頻中的相機(jī)運(yùn)動(dòng)進(jìn)行分析，從中計(jì)算得到相應(yīng)的近似點(diǎn)擴(kuò)散函數(shù)。在設(shè)備條 件較好的情況下，這種方法能夠較好的估計(jì)出點(diǎn)擴(kuò)散函數(shù)。但是硬件設(shè)備相對(duì)復(fù)雜，簡(jiǎn)單 的綁定攝像機(jī)的方法不符合常理，而將攝像設(shè)備精簡(jiǎn)到普通相機(jī)中不僅開(kāi)發(fā)設(shè)計(jì)難度高， 而且相機(jī)成本也將大大增加。
國(guó)際上還有采用一張抖動(dòng)模糊圖像和一張?jiān)肼晥D像來(lái)復(fù)原出清晰圖像。實(shí)驗(yàn)拍攝得到 兩張圖像 一張通過(guò)長(zhǎng)時(shí)間曝光和低ISO得到的模糊圖像，另一張是短時(shí)間曝光和高ISO 得到的噪聲圖像。綜合利用模糊圖像和噪聲圖像的特性，使用噪聲圖像來(lái)輔助模糊圖像的 復(fù)原。該方法需要模糊圖像和噪聲圖像嚴(yán)格地對(duì)齊，并且還是無(wú)法處理局部圖像模糊的情 況。
另外，簡(jiǎn)單地調(diào)整相機(jī)模式是無(wú)法解決以上問(wèn)題的。采用快速曝光，我們還可以將相
機(jī)調(diào)整到高ISO來(lái)縮短曝光時(shí)間，這樣可以拍攝到一張輪廓清晰的照片，但是照片因曝光
不足而整體偏暗，局部區(qū)域由于曝光不足而損失了很多高頻細(xì)節(jié)，并且照片上會(huì)明顯地出 現(xiàn)很多噪點(diǎn)。如果用打閃光的方式，則會(huì)引起圖像過(guò)曝或者嚴(yán)重的陰影，色彩也會(huì)失真。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種使用一張快速曝光的噪聲圖像來(lái)恢復(fù)多張運(yùn)動(dòng) 模糊圖像，復(fù)原一個(gè)運(yùn)動(dòng)模糊圖像序列，既能處理相機(jī)抖動(dòng)引起的全局圖像模糊，也能處 理物體運(yùn)動(dòng)引起的局部圖像模糊的運(yùn)動(dòng)模糊圖像序列復(fù)原的方法。
本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是提供一種采用梯度融合技術(shù)將運(yùn)動(dòng)模糊 圖像序列復(fù)原的方法，根據(jù)圖像退化的基本理論，將盲復(fù)原方法分為點(diǎn)擴(kuò)散函數(shù)的估計(jì)和 非盲反巻積，其特征在于，包括下列步驟-
(1) 點(diǎn)擴(kuò)散函數(shù)的估計(jì)
a. 選定噪聲圖像和一模糊圖像中的同一物體，使用透明度計(jì)算方法估計(jì)物體的透明 度，且兩張透明度圖像尺寸一致；
b. 使用正則化迭代方法，以兩張透明度圖像作為輸入，得出模糊圖像的點(diǎn)擴(kuò)散函數(shù)；
c. 重復(fù)上述第a步和第b步，噪聲圖像只需一張，第a步中噪聲圖像每次都為同一
張，模糊圖像每次都不同，直至所有模糊圖像都處理完；
(2) 非盲反巻積
a. 將每一張模糊圖像，以及對(duì)應(yīng)的點(diǎn)擴(kuò)散函數(shù)作為非盲反巻積算法的輸入，同時(shí)指 定迭代次數(shù)，具體迭代次數(shù)由采用的非盲反巻積算法而定；
b. 在非盲反巻積算法迭代一半次數(shù)即第a步指定的迭代次數(shù)的一半后，使用梯度域融合技術(shù)對(duì)復(fù)原圖像做消除振鈴偽跡處理，所述的梯度域融合技術(shù)使用原模糊圖 像和復(fù)原圖像作為輸入； c.重復(fù)非盲反巻積算法迭代，直至該算法收斂；再做一次梯度域融合，消除振鈴偽跡。
根據(jù)權(quán)利要求1所述的一種采用梯度融合技術(shù)將運(yùn)動(dòng)模糊圖像序列復(fù)原的方法，所述 的非盲反巻積算法包括線性的最小二乘法即正則法，非線性的方法有Lucy-Richardson迭 代。
透明度計(jì)算采用國(guó)際上較新的Closed-form matting,公式如下
a = argmin Q^I^" +義(a71 _Z)r)Z)(a — 6)，
上式中等式左邊的"即為所要求解的透明度。a"右上角的r為轉(zhuǎn)置操作。D是一個(gè)對(duì)角矩
陣，在它的對(duì)角元素上，用戶標(biāo)定區(qū)域像素對(duì)應(yīng)的值為i，其它值為o，在本發(fā)明中，用 戶使用畫(huà)筆來(lái)畫(huà)點(diǎn)或線從而簡(jiǎn)單標(biāo)定需要提取透明度的前景物體。6是列向量，其值與￡>對(duì)
角元素值相同。丄是一個(gè)7Vx7V的矩陣，它的(/,力th元素為
《,
、人
1+-
1
乂乂
上式中W是一個(gè)3x3的小窗口， A和W分別是窗口中像素值的均值和方差，lwl是指窗
口中像素的個(gè)數(shù)。/是3x3的單位陣。
正則化方法采用數(shù)學(xué)上現(xiàn)有的理論。根據(jù)正則化準(zhǔn)則得到一個(gè)最小化問(wèn)題
min|M"||2 +;t2||A:||2,
該最小化公式中前一項(xiàng)是最小二乘問(wèn)題，使得&能夠盡量滿足退化公式6 = ^^,但是多數(shù) 情況下A是奇異的，所以需要第二項(xiàng)來(lái)對(duì)^作進(jìn)一步約束，使得A:的元素盡可能的小。同 時(shí)it應(yīng)該滿足A》0,;yt,=l。義用來(lái)控制收斂速度，取值一般為整數(shù)(例如義=3)。最終
求得的yt就是所需的點(diǎn)擴(kuò)散函數(shù)。 有益效果
與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)
1.使用局部圖像的透明度來(lái)估計(jì)點(diǎn)擴(kuò)散函數(shù)，而非整張圖像的灰度值，因此圖像之
5間無(wú)需預(yù)先作對(duì)齊處理，計(jì)算量也大大減少，并且還可以處理局部模糊圖像。
2. 通過(guò)提取噪聲圖像和模糊圖像中的同對(duì)象的透明度，可以有效的恢復(fù)出模糊圖像 的點(diǎn)擴(kuò)散函數(shù)。
3. 采用梯度域圖像融合加入到反巻積過(guò)程中，極大地抑制反巻積過(guò)程中產(chǎn)生的振鈴
偽跡，使得結(jié)果圖像中恢復(fù)的信息更加準(zhǔn)確清晰。
4. 可以一次復(fù)原同一場(chǎng)景下的一段圖像序列或視頻。


圖1 (a)是噪聲圖像中提取的物體透明度；
圖l (b)是模糊圖像中提取的物體透明度；
圖l (C)是利用兩張透明度估計(jì)出的點(diǎn)擴(kuò)散函數(shù)；
圖2梯度融合技術(shù)消除振鈴偽跡實(shí)例圖； 圖3 (a)為模糊的局部圖像； 圖3 (b)為本發(fā)明執(zhí)行的結(jié)果圖。
具體實(shí)施例方式
下面結(jié)合具體實(shí)施例，進(jìn)一步闡述本發(fā)明。應(yīng)理解，這些實(shí)施例僅用于說(shuō)明本發(fā)明 而不用于限制本發(fā)明的范圍。此外應(yīng)理解，在閱讀了本發(fā)明講授的內(nèi)容之后，本領(lǐng)域技術(shù) 人員可以對(duì)本發(fā)明作各種改動(dòng)或修改，這些等價(jià)形式同樣落于本申請(qǐng)所附權(quán)利要求書(shū)所限 定的范圍。
如圖1所示，圖1是兩張圖像的局部物體的透明度，圖1 (a)是噪聲圖像中提取的物 體透明度，雖然原圖像是帶有噪聲的，但提取出的透明度是邊界相對(duì)清晰的。圖l (b)是 模糊圖像中提取的物體透明度，該透明度邊界也是模糊的。圖1 (c)是利用兩張透明度估 計(jì)出的點(diǎn)擴(kuò)散函數(shù)。
如圖2所示，圖2中的第一張圖像為模糊圖像，第二張為現(xiàn)有算法的結(jié)果，第三張為
本發(fā)明使用梯度融合技術(shù)消除振鈴偽跡影響后的結(jié)果圖像。
如圖3所示，圖3為估計(jì)出局部物體透明度后提取出的局部圖像。圖3(a)為模糊的 局部圖像，圖3 (b)為本發(fā)明執(zhí)行的結(jié)果。
下面結(jié)合具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。
本發(fā)明的整個(gè)具體實(shí)施步驟如下
1.用戶需要具備一部數(shù)碼相機(jī)，普通家用數(shù)碼相機(jī)或者專(zhuān)業(yè)單反數(shù)碼相機(jī)均可，攝像機(jī)DV也可。
2. 調(diào)整相機(jī)設(shè)置。拍攝模式設(shè)為連拍或者視頻拍攝，相機(jī)參數(shù)設(shè)置為低IS0(eg:100)。 手持相機(jī)拍攝一段圖像序列或者視頻。
3. 再次調(diào)整相機(jī)設(shè)置。拍攝模式為普通拍照模式，相機(jī)參數(shù)設(shè)置為高IS0(eg:1600)， 曝光時(shí)間選擇較短的(eg:l/20秒)。手持相機(jī)拍攝一張同場(chǎng)景的圖像。
4. 將所有拍攝圖像從數(shù)碼相機(jī)導(dǎo)入計(jì)算機(jī)。
5. 按照上節(jié)中本發(fā)明的復(fù)原步驟，使用該復(fù)原方法對(duì)圖像序列或者視頻進(jìn)行復(fù)原。 說(shuō)明參數(shù)設(shè)置視具體相機(jī)而定，不同型號(hào)相機(jī)略有不同，參數(shù)選擇為接近上述參數(shù)
即可。所有拍攝圖像為同一場(chǎng)景圖像，調(diào)整相機(jī)模式時(shí)相機(jī)不必一直對(duì)著場(chǎng)景，兩次拍攝 間可以有時(shí)間間隔。
權(quán)利要求
1. 一種采用梯度融合技術(shù)的運(yùn)動(dòng)模糊圖像序列的復(fù)原方法，根據(jù)圖像退化的基本理論，將盲復(fù)原方法分為點(diǎn)擴(kuò)散函數(shù)的估計(jì)和非盲反卷積，其特征在于，包括下列步驟(1)點(diǎn)擴(kuò)散函數(shù)的估計(jì)a. 選定噪聲圖像和一模糊圖像中的同一物體，使用透明度計(jì)算方法估計(jì)物體的透明度，且兩張透明度圖像尺寸一致；b. 使用正則化迭代方法，以兩張透明度圖像作為輸入，得出模糊圖像的點(diǎn)擴(kuò)散函數(shù)；c. 重復(fù)上述第a步和第b步，噪聲圖像只需一張，第a步中噪聲圖像每次都為同一張，模糊圖像每次都不同，直至所有模糊圖像都處理完；(2)非盲反卷積a. 將每一張模糊圖像，以及對(duì)應(yīng)的點(diǎn)擴(kuò)散函數(shù)作為非盲反卷積算法的輸入，同時(shí)指定迭代次數(shù)，具體迭代次數(shù)由采用的非盲反卷積算法而定；b. 在非盲反卷積算法迭代一半次數(shù)即第a步指定的迭代次數(shù)的一半后，使用梯度域融合技術(shù)對(duì)復(fù)原圖像做消除振鈴偽跡處理，所述的梯度域融合技術(shù)使用原模糊圖像和復(fù)原圖像作為輸入；c. 重復(fù)非盲反卷積算法迭代，直至該算法收斂；再做一次梯度域融合，消除振鈴偽跡。
2. 根據(jù)權(quán)利要求1所述的一種采用梯度融合技術(shù)將運(yùn)動(dòng)模糊圖像序列復(fù)原的方法，所述的非盲反巻積算法包括線性的最小二乘法即正則法，非線性的方法有Lucy-Richardson迭代。
全文摘要
本發(fā)明涉及一種采用梯度融合技術(shù)的運(yùn)動(dòng)模糊圖像序列的復(fù)原方法。本方法先計(jì)算出局部圖像中的物體透明度，然后估計(jì)模糊退化函數(shù)，最后反卷積復(fù)原的過(guò)程中加入了梯度融合技術(shù)消除偽跡的影響。提出的方法可以使用一張快速曝光的噪聲圖像來(lái)恢復(fù)多張運(yùn)動(dòng)模糊圖像，可以用于復(fù)原一個(gè)運(yùn)動(dòng)模糊圖像序列。同時(shí)方法既能處理相機(jī)抖動(dòng)引起的全局圖像模糊，也能處理物體運(yùn)動(dòng)引起的局部圖像模糊。使用了梯度融合技術(shù)來(lái)消除反卷積過(guò)程中引入的傅立葉振鈴偽跡，較以往的復(fù)原方法的效果有所提高。
文檔編號(hào)G06T5/00GK101504765SQ200910047908
公開(kāi)日2009年8月12日 申請(qǐng)日期2009年3月20日 優(yōu)先權(quán)日2009年3月20日
發(fā)明者任春劍, 劉曉強(qiáng), 沈一帆 申請(qǐng)人:東華大學(xué)