專利名稱：：使用陀螺數(shù)據(jù)估計模糊數(shù)字圖像的點擴散函數(shù)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及圖像處理。更特別的是，本發(fā)明的實施例涉及用于減少數(shù)字圖像中的模糊的方法和系統(tǒng)。
背景技術(shù)：
：諸如數(shù)字照相機之類的圖像捕捉設(shè)備已非常普及，這在某種程度上是由于其制造成本降低、整體質(zhì)量提高，并且特別是因為照相機功能被嵌入到其它電子消費設(shè)備(例如蜂窩電話和個人數(shù)字助理(PDA))中。由于圖像捕捉操作過程中出現(xiàn)的不穩(wěn)定的手移動等而引起的圖像模糊對于沒有經(jīng)驗的攝影者或者手不穩(wěn)的用戶而言，通常難以避免。圖像中的這種模糊由于其難以避免并且有損于圖像的感染力，因此令人失望。利用圖像捕捉設(shè)備中的標準自動曝光功能，通過降低照相機的快門速度來補償?shù)驼斩葪l件，從而延長了曝光時間以便捕捉足夠亮的圖像。曝光時間的延長增大了在曝光時間期間發(fā)生移動的可能性，從而增大了模糊出現(xiàn)的可能性。在圖像捕捉過程中已經(jīng)發(fā)生照相機的高速移動，且曝光時間正常的情況下，則會出現(xiàn)相同的狀況。通過測量模糊的程度并且對測得的模糊進行修正而對所捕捉的圖像進行后置處理的方法是已知的。然而，在某些條件下-例如造成大范圍模糊的低照度和/或超高速的條件-模糊的程度如此嚴重，以致已知的后置處理方法不能恢復(fù)圖像。
發(fā)明內(nèi)容本發(fā)明的示例性實施例大體上涉及使用陀螺數(shù)據(jù)來估計模糊數(shù)字圖《象的點擴散函數(shù)("pointspreadfuncdtionPSF，，)的方法。照相機在曝光過程中的移動可以包括復(fù)雜的運動。例如，由于照相機繞Z軸的炎:轉(zhuǎn)和失真(distortion)，圖像景物(scene)的運動在g間上可能是不均勻的。這些復(fù)雜的運動會在所生成的數(shù)字圖像中產(chǎn)生復(fù)雜的運動模糊。通過利用PSF巻積的過程能夠?qū)?shù)字圖像中的運動模糊建模。本文中公開的示例性方法能夠比先前已知的方法更加準確地估計或計算PSF。通過提供一種更準確地計算PSF的方法，所生成圖像-甚至是具有大范圍模糊的圖像中的運動模糊能夠被更加完全地修正。在一個示例性實施例中，通過對陀螺數(shù)據(jù)采用高采樣率或者使用內(nèi)插陀螺樣本，能夠進一步提高PSF的準確性。在所公開的示例性實施例中，一種用于估計模糊數(shù)字圖像的點擴散函數(shù)的方法包括在圖像曝光時間期間捕捉陀螺數(shù)據(jù)。然后在預(yù)定陀螺采樣時間從陀螺數(shù)據(jù)得出陀螺樣本。然后計算圖像在每個陀螺釆樣時間的運動矢量場，并且通過對圖像中選定像素的運動路徑求平均來近似整體圖像景物運動路徑。繼而能夠根據(jù)該近似的整體圖像景物運動路徑來估計/計算點擴散函數(shù)(PSF),然后使用該函數(shù)來補償或者另外修正所生成圖像中的模糊。優(yōu)點在于，即使在其它導(dǎo)致模糊圖像的條件下，也能夠獲得更清楚、更加不模糊的圖像。這里提供此概述的目的是簡單地介紹概念的選擇，以下在具體實施方式中將對這些概念進行進一步描述。此概述意不在于標識所要求保護的主題的關(guān)鍵特征或者本質(zhì)特性，也無意用來幫助確定所要求保護的主題的范圍。根據(jù)以下說明和所附權(quán)利要求，本發(fā)明示例性實施例的這些及其他方面將會更加充分明顯。圖1公開了使用陀螺數(shù)據(jù)估計模糊數(shù)字圖像的點擴散函數(shù)(PSF)的示例性方法;圖2公開了使用線性內(nèi)插的陀螺樣本提??；圖3公開了投影在圖像坐標系中的相對景物運動路徑的實例；圖4公開了位于像素之間的運動點的實例。具體實施例方式示例性實施例大體上涉及使用陀螺數(shù)據(jù)來估計模糊數(shù)字圖像的點擴散函數(shù)(PSF)的方法。圖1公開了用于估計模糊數(shù)字圖像的PSF的示例性方法100。使用計算機可讀媒體(所述計算機可讀媒體攜帶或具有存儲在其上的計算機可執(zhí)行指令或者數(shù)據(jù)結(jié)構(gòu))能夠?qū)崿F(xiàn)該示例性方法100及其變體。這種計算機可讀媒質(zhì)可以是能夠被通用或?qū)Ｓ糜嬎銠C存取的任何可獲得的媒體。例如而非限定的是，這種計算機可讀媒體可以包括RAM、ROM、EEPROM、CD-ROM或者其它光盤存儲器、磁盤存儲器或其它磁性存儲設(shè)備，或者能夠用于以計算機可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的形式攜帶或存儲所需的程序代碼裝置并且能夠被通用或?qū)Ｓ糜嬎銠C存取的任意其它媒體。以上所述媒體的組合也應(yīng)當(dāng)包含在計算機可讀媒體的范圍之內(nèi)。計算機可執(zhí)行指令包括例如使得通用計算機、專用計算機或者專用處理設(shè)備執(zhí)行某個功能或者功能組的指令和數(shù)據(jù)。盡管本文中所述的主題是以方法行為特有的語言描述的，但是應(yīng)當(dāng)理解的是所附權(quán)利中;苗述的行為是作為實2權(quán)利要求的示例性形式而公開的。、現(xiàn)在將結(jié)合圖1論述用于估計模糊數(shù)字圖像的PSF的示例性方法100。在執(zhí)行方法100之前，使用基于陀螺的數(shù)字照相機捕捉模糊數(shù)字圖像/?；谕勇莸臄?shù)字照相機可以是配備有一個或多個陀螺(gyro)的數(shù)字照相機。在102，在圖像曝光時間期間捕捉陀螺數(shù)據(jù)。例如，可以使用以上所述的基于陀螺的數(shù)字照相機在模糊數(shù)字圖像/的曝光時間期間捕捉陀螺數(shù)據(jù)。在一個示例性實施例中，模糊數(shù)字圖像/的曝光時間被定義為數(shù)字照相機的快門打開與關(guān)閉(分別稱作快門打開時間和快門關(guān)閉時間)之間的時間段。然而，還可以使用其它的曝光時間段。在102捕捉的陀螺數(shù)據(jù)可以包括數(shù)字照相機在恒定時間間隔厶f的角速度。例如，陀螺數(shù)據(jù)可以包括繞X、Y和Z軸的角速度Gx、Gy和Gz以及每個陀螺樣本的時標。每個陀螺樣本的時標可以是相對于快門打開時間或者某一其它時間的時間。繼而能夠相對于快門打開時間或者相對于某一其它時間來計算每個陀螺采樣時間的旋轉(zhuǎn)角度。為了提高PSF的準確度，一些示例性方法可以對在102捕捉的陀螺數(shù)據(jù)采用高采樣率。例如，可以采用大于每秒ioo個陀螺樣本的采樣率。其它示例性方法可以采用內(nèi)插的陀螺樣本。例如，通過^f艮設(shè)在兩個陀螺采樣時間之間數(shù)字照相機的運動是線性的，能夠線性地內(nèi)插額外的采樣時間，以模擬例如每秒10000個陀螺樣本的更高采樣率。根據(jù)所需的準確度，可以采用不同的采樣率和/或內(nèi)插率。在104，在預(yù)定陀螺采樣時間從陀螺數(shù)據(jù)得出陀螺樣本。例如，能夠從陀螺數(shù)據(jù)提取快門打開與快門關(guān)閉之間的陀螺樣本。可以采用線性內(nèi)插來分別獲得快門打開時間和快門關(guān)閉時間的陀螺樣本。例如，如圖2所公開的，陀螺樣本的實際采樣率會在快門打開時間之前和之后產(chǎn)生陀螺樣本，而不在快門打開時間產(chǎn)生陀螺樣本。因此，能夠采用線性內(nèi)插以使用緊挨在快門打開時間之前和之后的陀螺樣本來計算快門打開時間的陀螺樣本。類似的是，能夠釆用線性內(nèi)插以使用緊挨在快門關(guān)閉時間之前和之后的陀螺樣本來計算快門關(guān)閉時間的陀螺樣本。在106,計算圖像在每個陀螺采樣時間的運動矢量場。例如，能夠使用在2005年9月25日提交的名稱為"METHODANDAPPARATUSFORLIMITINGMOTIONBLURINADIGITALIMAGE"的共同待決的美國專利申請序列號11/239521中公開的照相機投影模型，根據(jù)陀螺數(shù)據(jù)計算這些運動矢量場，該申請的公開內(nèi)容被全部引入本文作為參考。在一個示例性實施例中，計算每個陀螺采樣時間的運動矢量場包括根據(jù)每個陀螺采樣時間的角速度來計算自快門打開時間的旋轉(zhuǎn)角度。通過跟蹤從每個陀螺釆樣時間直到快門關(guān)閉時間的運動矢量，能夠獲得圖像中選定像素的運動路徑。使用陀螺數(shù)據(jù)的角速度，能夠計算數(shù)字照相機在現(xiàn)實坐標系中的位置的序列。繼而能夠?qū)⑦@些現(xiàn)實位置投影到數(shù)字圖像/的坐標系上，以便獲得由數(shù)字圖像/表示的景物的相對運動路徑。圖3中公開了投影到數(shù)字圖像的坐標系上的相對運動路徑的例子。在108，通過對圖像中選定像素的運動路徑求平均來近似整體圖像景物的運動路徑。例如，能夠從如下9個選定像素的平均運動路徑得出整體圖像的近似運動路徑，此處H和W分別是模糊數(shù)字圖像/的高度和寬度<table>tableseeoriginaldocumentpage8</column></row><table>由于這9個{象素相對于照相機主中心對稱，因此在一個示例性實施例中，可以忽略z軸旋轉(zhuǎn)的影響。在一個示例性實施例中，能夠使用這9個選定像素的運動路徑的平均來求模糊數(shù)字圖像/的整體運動模糊路徑的近似。選定像素的運動路徑的加權(quán)平均能夠用于估計整體運動模糊路徑。例如，能夠根據(jù)如下公式計算運動模糊路徑'"(等式l)此處A是第/個選定像素的運動路徑，w,是第/個選定像素的權(quán)重。就對9個像素的運動路徑求平均的情況而言，能夠按照如下公式選才奪纟又重w,二1/jv,(!:1…AT),并且N-9(等式2)一旦獲得圖像/的整體運動路徑的平均路徑，就能夠?qū)γ總€陀螺樣本處的命中點(hit)進行計數(shù)。因為能夠?qū)⑦\動路徑計算到子像素的準確度，所以命中點能夠按比例地分布到其最接近的4個相鄰像素。圖4公開了命中(i,j)、(j，j+l)、(i+l,j)和(i+l,j+l)之間的一采樣時間的運動路徑中的運動點(x，y)。能夠根據(jù)這4個像素的距離將該命中點分布到這些像素，繼而根據(jù)如下公式累積概率分布函數(shù)P(i，j),，j)+(j+l-x)求(i+卜y)(等式3)P(i,j+l)=P(i,j+l)+(x-j)*(i+l-y)(等式4)P(i+l,j)=P(i+l,j)+(j+l-X)*(y-i)(等式5)P(i+l,j+l)=P(i+l,j)+(X-j)*(y-i)(等式6)在110,根據(jù)近似的整體圖像景物運動路徑來估計PSF。例如，能夠?qū)D3所公開的離散運動樣本轉(zhuǎn)換成連續(xù)的PSF。為此，在一個實施例中，能夠采用兩個約束條件來估計PSF:i)能量守恒約束j》(x,_y)=l以及(等式7)ii)恒定輻射度約束j//0(,)，:KO)A=7TT,'e[/"-(等式g)此處？o和^是曝光時間的開始和結(jié)束時間。第二約束條件表明在任意時間間隔積分的能量的量與該間隔的長度成正比。PSF可以被解釋為沿著運動路徑行進的點的概率分布函數(shù)。以下的偽碼公開了一種用于生成PSF的示例性實現(xiàn)方案輸入運動模糊路徑樣本序列，(x,w)，/=1,......,N,每一個樣本都描述了在內(nèi)插或者采樣的陀螺采樣時間投影到圖像坐標系中的運動3各徑上的點。這些點是以恒定時間間隔△/內(nèi)插或采樣的。輸出二維點擴散函數(shù)(PSF)/z(x,力。算法1)根據(jù)內(nèi)插的運動路徑建立PSF,(x/j^)。2)得到運動路徑的界限。、1=薩"咖in(;c;7))少max=w""d(maxO;))3)初始化陣列/z(X/)=0,/=[l"..,(x/max-x/min+l)]，j=[l,.."(yzmax-"min+l)]。4)從k=l到Nxx=min(maxOpC/),D,A:/醒)-x,min+1;x/'=xx—;c/;"=min(maxO^G),;y(nin)，"max)—+1;>"'.)=a(力,+0-")'(i一少,)；+l，少O=++x廣(1_>r);/2(;c/,>7'+1)=/z(;c/,+1)+(1-xr).,;/2(x/'+1,少/+1)=/z(;a'+1,少/+1)+XT-'少r;結(jié)束該循環(huán)。5)歸一化:一旦清點了運動路徑在每個位置的命中點的數(shù)量，就能夠歸一化PSF,從而使PSF的和等于1。權(quán)利要求1.一種用于估計模糊數(shù)字圖像的點擴散函數(shù)的方法，所述方法包括在圖像曝光時間期間捕捉陀螺數(shù)據(jù)；在預(yù)定陀螺采樣時間從所述陀螺數(shù)據(jù)得出陀螺樣本；計算圖像在每個陀螺采樣時間的運動矢量場；通過對所述圖像中選定像素的運動路徑求平均來求整體圖像景物運動路徑的近似；以及根據(jù)近似的整體圖像景物運動路徑來估計點擴散函數(shù)。2.根據(jù)權(quán)利要求1所述的方法，其中計算運動矢量場包括在每個陀螺采樣時間根據(jù)角速度來計算旋轉(zhuǎn)角度。3.根據(jù)權(quán)利要求1所述的方法，其中圖像曝光時間包括快門打開時間與快門關(guān)閉時間之間的時間段。4.根據(jù)權(quán)利要求3所述的方法，其中預(yù)定陀螺采樣時間之一包括快門打開時間。5.根據(jù)權(quán)利要求4所述的方法，其中計算圖像在快門打開時間的運動矢量場包括對圖像在快門打開時間的運動矢量場進行線性內(nèi)插。6.才艮據(jù)權(quán)利要求3所述的方法，其中預(yù)定陀螺采樣時間之一包括快門關(guān)閉時間。7.根據(jù)權(quán)利要求6所述的方法，其中計算圖像在快門關(guān)閉時間的運動矢量場包括對圖像在快門關(guān)閉時間的運動矢量場進行線性內(nèi)插。8.根據(jù)權(quán)利要求1所述的方法，其中在圖像曝光時間期間捕捉陀螺數(shù)據(jù)包括捕捉每個陀螺樣本的角速度和相對于快門打開時間的時標。9.根據(jù)權(quán)利要求1所述的方法，其中計算圖像在每個陀螺釆樣時間的運動矢量場包括獲得每個陀螺樣本的角速度和時標；計算在相對于快門打開時間的每個陀螺采樣時間時旋轉(zhuǎn)的角度；以及計算圖像在每個陀螺采樣時間的運動矢量場。10.根據(jù)權(quán)利要求1所述的方法，其中通過對圖像中選定像素的運動路徑求平均來近似整體圖像景物運動路徑包括通過對所述圖像中以下9個選定像素的運動路徑求平均來近似整體圖像景物運動路徑左上、上中、右中、左中、中心、右中、左下、下中和右下。11.其上具有計算機可讀指令的一種或多種計算機可讀媒體，當(dāng)所述計算機可讀指令被執(zhí)行時實現(xiàn)用于估計模糊數(shù)字圖像的點擴散函數(shù)的方法，所述方法包括在圖像曝光時間期間捕捉陀螺數(shù)據(jù)；在預(yù)定陀螺采樣時間從所述陀螺數(shù)據(jù)得出陀螺樣本；計算圖像在每個陀螺采樣時間的運動矢量場；通過對所述圖像中選定像素的運動路徑求平均來近似整體圖像景物運動路徑；以及根據(jù)近似的整體圖像景物運動路徑來估計點擴散函數(shù)。12.根據(jù)權(quán)利要求11所述的一種或多種計算機可讀媒體，其中計算運動矢量場包括根據(jù)每個陀螺采樣時間的角速度計算旋轉(zhuǎn)角度。13.根據(jù)權(quán)利要求11所述的一種或多種計算機可讀i某體，其中圖像曝光時間包括快門打開時間與快門關(guān)閉時間之間的時間段。14.根據(jù)權(quán)利要求13所述的一種或多種計算機可讀媒體，其中預(yù)定陀螺采樣時間之一包括快門打開時間。15.根據(jù)權(quán)利要求14所述的一種或多種計算機可讀媒體，其中計算圖像在快門打開時間的運動矢量場包括對圖像在快門打開時間的運動矢量場進行線性內(nèi)插。16.根據(jù)權(quán)利要求13所述的一種或多種計算機可讀媒體，其中預(yù)定陀螺采樣時間之一包括快門關(guān)閉時間。17.根據(jù)權(quán)利要求16所述的一種或多種計算機可讀媒體，其中計算圖像在快門關(guān)閉時間的運動矢量場包括對圖像在快門關(guān)閉時間的運動矢量場進行線性內(nèi)插。18.根據(jù)權(quán)利要求11所述的一種或多種計算機可讀媒體，其中在圖像曝光時間期間捕捉陀螺數(shù)據(jù)包括捕捉每個陀螺樣本的角速度和相對于快門打開時間的時標。19.根據(jù)權(quán)利要求11所述的一種或多種計算機可讀媒體，其中計算圖像在每個陀螺采樣時間的運動矢量場包括獲得每個陀螺樣本的角速度和時標；計算在相對于快門打開時間的每個陀螺采樣時間時旋轉(zhuǎn)的角度；以及計算圖像在每個陀螺采樣時間的運動矢量場。20.根據(jù)權(quán)利要求11所述的一種或多種計算機可讀媒體，其中通過對圖像中選定像素的運動路徑求平均來近似整體圖像景物運動路徑包括通過對所述圖像中以下9個選定像素的運動路徑求平均來近似整體圖像景物運動路徑左上、上中、右上、左中、中心、右中、左下、下中和右下。全文摘要本發(fā)明公開了一種用于估計模糊數(shù)字圖像的點擴散函數(shù)的方法。一種示例性方法包括在圖像曝光時間期間捕捉陀螺數(shù)據(jù)，在預(yù)定陀螺采樣時間從陀螺數(shù)據(jù)得出陀螺樣本，計算圖像在每個陀螺采樣時間的運動矢量場，通過對該圖像中選定像素的運動路徑求平均來近似整體圖像景物運動路徑，以及根據(jù)近似的整體圖像景物運動路徑來估計點擴散函數(shù)。文檔編號H04N5/14GK101175147SQ20071016722公開日2008年5月7日申請日期2007年11月1日優(yōu)先權(quán)日2006年11月1日發(fā)明者呂炬煒,符國益申請人:精工愛普生株式會社