專利名稱：圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明是相關(guān)于一種圖像處理方法，特別是用以產(chǎn)生在圖像頁的遺失區(qū)塊中的圖像數(shù)據(jù)的圖像處理方法。
背景技術(shù)：
第1圖表示在圖像頁10中產(chǎn)生遺失區(qū)塊12的傳統(tǒng)方法。對應(yīng)遺失區(qū)塊12的遺失像素121，可以獲得參考像素111、112、113和114。在與遺失區(qū)塊12相鄰的圖像邊界11上，該等參考像素111，112，113和114能被藉由與遺失像素121相同的垂直或水平位置來得到。參考像素提供數(shù)據(jù)藉以產(chǎn)生遺失像素的數(shù)據(jù)。結(jié)合貢獻自所有參考像素的數(shù)據(jù)，遺失像素數(shù)據(jù)可被產(chǎn)生。重新產(chǎn)生的遺失區(qū)塊是附近圖像邊界參考像素色彩的垂直及水平的漸層填入。
對于非垂直或非水平圖案的圖像，傳統(tǒng)的方法不能夠有效地重新產(chǎn)生令人滿足的遺失區(qū)塊。第2A圖表示利用傳統(tǒng)方法產(chǎn)生第2B圖中遺失區(qū)塊的結(jié)果。第2B圖表示圖像遺失區(qū)塊數(shù)據(jù)之前的圖案。由第2A圖中可以看出，利用該傳統(tǒng)方法重新產(chǎn)生的區(qū)塊中，圖像的圖案被垂直及水平地切割而變得破碎。一個能重新產(chǎn)生圖像中的圖案的方法是被需要的。

發(fā)明內(nèi)容
本發(fā)明提供一種圖像處理方法，用以產(chǎn)生在圖像頁的遺失區(qū)塊中的圖像數(shù)據(jù)。該圖像處理方法包括從該遺失區(qū)塊周圍圖像邊上檢測邊緣端點；計算每一邊緣端點的方向；以個別邊緣點為起點，根據(jù)該等邊緣端點的方向形成邊緣線進入該遺失區(qū)塊，并將該遺失區(qū)塊劃分為多個遺失區(qū)域；以及利用與個別遺失區(qū)域相鄰的圖像邊上的參考像素數(shù)據(jù)，計算該遺失區(qū)域中的遺失像素數(shù)據(jù)。


本發(fā)明通過后附詳細(xì)說明的圖示將會比較容易全盤了解，其僅為圖解之用而非將本發(fā)明限制于圖示范圍。
第1圖表示在圖像頁10中產(chǎn)生遺失區(qū)塊12的傳統(tǒng)方法。
第2A圖表示圖像遺失區(qū)塊數(shù)據(jù)之前的圖案。
第2B圖表示利用傳統(tǒng)方法產(chǎn)生第2A圖中遺失區(qū)塊的結(jié)果。
第3A圖為依照本發(fā)明一實施例的一種方法的流程圖。
第3B圖表示有遺失區(qū)塊31的圖像30。
第3C圖舉例說明獲得來自第3B圖中的與遺失區(qū)塊31相鄰的邊310上的邊緣端點的步驟。
第3D圖表示根據(jù)第3A圖的步驟S2，k*k像素矩陣33被選取來決定邊緣端點3101的方向。
第3E圖表示根據(jù)本發(fā)明一實施例，連接二邊緣端點A及B以形成的配對邊緣線。
第3F圖表示根據(jù)本發(fā)明一實施例，在第3B圖中的圖像30為遺失區(qū)域31找出邊緣端點而且形成邊緣線。
第3G圖表示二進制樹狀結(jié)構(gòu)代表第3F圖中的遺失區(qū)塊31的邊緣線以及所劃分出的遺失區(qū)域。
第3H圖表示根據(jù)第3A圖的步驟S4，由遺失區(qū)域H附近的圖像中獲得遺失像素340的參考像素的方法。
標(biāo)號說明10、30 圖像頁12、31 遺失區(qū)塊11、310、310A、310B 鄰近圖像邊121、340 遺失像素111、112、113、114、3401、3402、3403、3404 參考像素3101、3103、3131、3122、3121、3111 邊緣端點1、2、3、4、341、342 邊緣線A、B、C、D、E、H 遺失區(qū)域343、344 虛擬參考線
具體實施例方式
在圖像中的圖案可以被識別出來，是由于色彩的急劇變化所造成的區(qū)別。邊緣形成于不同的顏色之間，而且描畫出圖案。藉由找出一個遺失區(qū)塊附近圖像的邊緣線，并且延伸該等邊緣線進入遺失區(qū)塊，可以重新建立圖像的圖案。
第3A圖為依照本發(fā)明一實施例的一種方法的流程圖。首先，邊緣端點發(fā)現(xiàn)于與遺失區(qū)塊相鄰的圖像邊上(步驟S1)。其次，根據(jù)個別邊緣端點計算出方向(步驟S2)。第三，邊緣線形成于邊緣端點，并根據(jù)所計算出的方向進入該遺失區(qū)塊將該遺失區(qū)塊切割為多個遺失區(qū)域(步驟S3)。然后，在個別遺失區(qū)域的遺失像素數(shù)據(jù)，則可利用與該遺失區(qū)域相鄰的鄰近圖像邊上的參考像素，而被計算出來(步驟S4)。
第3B圖表示有遺失區(qū)塊31的圖像30。根據(jù)流程圖3A的步驟S1，邊緣端點從與遺失區(qū)塊相鄰的附近圖像取得。第3C圖舉例說明獲得來自第3B圖中的與遺失區(qū)塊31相鄰的邊310上的邊緣端點的步驟。圖示310A表示邊緣端點3101、3102、3103和3104從邊310找出，當(dāng)毗連的像素數(shù)據(jù)差值超過(2×平均絕對差值)以及QP/2中較大的值；|xi-xi-1|>max(2N·Σk=1N|xi-xi-1|,QP2)]]>其中Xi是像素數(shù)據(jù)而QP是與圖像頁有關(guān)的量化(quantization)參數(shù)。
大體上來說，除了顏色變化銳利的圖案邊緣之外，一個圖案的邊緣上通常會發(fā)現(xiàn)多個邊緣端點，例如邊緣端點3102、3103和3104其實僅代表同一圖案的邊緣。為了要決定一個真實的單一邊緣端點，邊緣細(xì)化步驟將被執(zhí)行而僅選取相鄰多個邊緣端點中，與前一像素數(shù)據(jù)相差值最大的邊緣端點。圖示310B表示邊緣端點3103被選擇來代表真正的邊緣端點。
第3D圖表示根據(jù)第3A圖的步驟S2，包含邊緣端點3101的鄰近k×k像素矩陣33被選取來決定邊緣端點3101的方向，其中k是奇數(shù)并介于在1到16之間。在本實施例中，選擇k＝5。3×3索貝爾(Sobel)過濾器于本實施例被選擇來計算邊緣端點的方向。使用3×3 Sobel過濾器計算列和欄梯度GR(n)和GC(n)，k×k的像素矩陣將產(chǎn)生(k-2)×(k-2)組的GR(n)和GC(n)。然后能由GR(n)和GC(n)計算出邊緣角度和邊緣量。舉例來說，邊緣角度能由tan-1(GR(n)GC(n))]]>計算出，而邊緣量能由(GR(n))2+(GC(n))2]]>計算出。當(dāng)計算出的邊緣角度值比零低的時候，邊緣角度將被增加π，以使邊緣角度為正值。然后計算k×k像素矩陣的平均邊緣角度和量來當(dāng)作該邊緣端點的方向和量。當(dāng)計算出的邊緣量比(2×平均絕對差值)更少的時候，該組邊緣角度和量將被舍棄，而不加入平均邊緣角度和量的計算中。適當(dāng)?shù)南袼鼐仃嚧笮∧芴峁┙o邊緣端點更正確的邊緣方向特性。
來自遺失區(qū)塊不同邊上，有著相似邊緣角度與邊緣量的邊緣端點可以被連接而形成邊緣線。這可以讓邊緣線通過該遺失區(qū)塊的圖案順利地重建，而產(chǎn)生平順的畫面數(shù)據(jù)。
然而復(fù)雜圖像會包含許多小尺寸的彩色圖案。小圖案的邊緣端點可能在遺失區(qū)塊的邊上被為發(fā)現(xiàn)。由于不同圖案往往具有不同的顏色，連接遺失區(qū)塊中來自不同的相鄰邊上而屬于不同圖案的邊緣端點可能會使重建后的區(qū)塊圖像變得破碎；這是因為不同顏色的圖案被錯誤的連接在一起。由于這情況往往是由于畫面復(fù)雜而個別圖案區(qū)塊尺寸小而導(dǎo)致。本發(fā)明提供一實施例，可以檢測出邊緣端點是否屬于小尺寸的圖案，而在連接邊緣端點的步驟時被舍棄，以防止產(chǎn)生的畫面變得破碎。
一個邊緣端點的量統(tǒng)計值在一實施例中被計算，低于30％量統(tǒng)計值的邊緣端點將被舍棄而不作為形成邊緣線之用。該統(tǒng)計值的計算方法為(1)以量化參數(shù)π/32，來量化邊緣端點的k×k參考像素矩陣中的(k-2)×(k-2)組邊緣角度以及邊緣端點的平均邊緣角度；(2)當(dāng)量化后的邊緣角度等于量化后的平均角度時，將其對應(yīng)的邊緣量加入邊緣累計中，(3)將最后的邊緣累計除以所有邊緣量之和，得到該量統(tǒng)計值。一個邊緣量低于平均絕對差值的邊緣角度-量的組合將被舍棄而不納入上述量統(tǒng)計值的計算。量統(tǒng)計值低的邊緣端點意指附近的圖像的邊緣角度值非常不一致，并部署于非常明顯的邊緣線，或僅屬于尺寸非常小的圖案，而不應(yīng)該被連接到遺失區(qū)塊的其它邊上。
第3A圖中的步驟S3中，由邊緣端點并根據(jù)其方向形成邊緣線以分割遺失區(qū)塊成為多個遺失區(qū)域的一種方法被描述如下。配對邊緣線由兩個有相似方向邊緣端點所定義連接而成，而獨立邊緣線以個別未配對的邊緣端點為起點形成，并以該未配對的邊緣端點的方向進入該遺失區(qū)域，并結(jié)束于配對邊緣在線。
決定兩個邊緣端點是否有相似的方向的條件為比較其個別的邊緣角度和量。藉由將邊緣角度除以π并將邊緣量除以最大數(shù)據(jù)儲存值，可將所有邊緣端點的方向作歸一化(normalize)。其中最大數(shù)據(jù)儲存值為代表畫速數(shù)據(jù)的最大值，例如在8位圖像數(shù)據(jù)系統(tǒng)中，最大數(shù)據(jù)儲存值為256。歸一化之后所有的邊緣角度以及邊緣量的值均會介于0到1之間而可以彼此作比較。如果兩個邊緣端點的歸一化邊緣量差小于4×QP/N2而且歸一化邊緣角度差小于π/8，則將該兩個邊緣端點配對，藉以形成配對邊緣線。上述邊緣量臨限4×QP/N2以及邊緣角度臨限π/8可以定義為其它的數(shù)值，以適應(yīng)不同的圖像處理需求。上述中N為邊緣端點的數(shù)目而QP為相關(guān)于該圖像頁的量化參數(shù)。
第3E圖表示根據(jù)本發(fā)明一實施例，連接二邊緣端點A及B以形成的配對邊緣線。其中該配對邊緣線的斜率為S，而邊緣端點A及B的邊緣角度分別為DA和DB。由于DA和DB相似而形成該配對邊緣線。然而，如果斜度S與邊緣角度DA和DB之間的角度差過大，遺失區(qū)塊內(nèi)將產(chǎn)生錯誤的數(shù)據(jù)。DA和DB與斜度S的角度差可以被計算出來。如果角度差超過臨限值0.125×π，該配對邊緣線被舍棄，且邊緣端點A及B兩者都認(rèn)為是未配對的。
第3F圖表示根據(jù)本發(fā)明一實施例，在第3B圖中的圖像30為遺失區(qū)域31找出邊緣端點而且形成邊緣線。配對的邊緣端點(3101，3131)和(3103，3122)分別形成配對邊緣線1和2，且未配對的邊緣端點3111和3121分別形成獨立邊緣線4和3。藉由將遺失區(qū)塊31的水平位置當(dāng)做x且將垂直位置當(dāng)做y，而且設(shè)定遺失區(qū)塊31的一個角落當(dāng)做原點(0，0)，ax+bx+c＝0函數(shù)可產(chǎn)生來代表個別邊緣線。
第3G圖表示二進制樹狀結(jié)構(gòu)代表第3F圖中的遺失區(qū)塊31的邊緣線以及所劃分出的遺失區(qū)域。節(jié)點1、2、3和4被建立來代表邊緣線1、2、3和4。每個節(jié)點有一第一分支連接一節(jié)點代表該邊緣線的正區(qū)域(ax+bx+c≥0)和一個第二分支的連接一節(jié)點代表該邊緣線的正區(qū)域(ax+bx+c≤0)。配對節(jié)點首先被連接，然后連接獨立的節(jié)點。二進制的樹狀結(jié)構(gòu)上未連接的分支A、B、C、D和E分別對應(yīng)來代表遺失區(qū)域A、B、C、D和E。
若配對節(jié)點對應(yīng)的配對邊緣端點的 為最小，其可被選擇來當(dāng)做二進制樹狀結(jié)構(gòu)的開始節(jié)點；這是因為其邊緣角度以及邊緣量的差為最小，可代表最明顯的邊緣線的緣故；其中Pi和Pj為配對邊緣端點的歸一化邊緣量且θi和θj為配對邊緣端點的歸一化邊緣角度，而且ωθ是預(yù)定的權(quán)重系數(shù)。在本實施例中選擇ωθ＝2，以使來自邊緣角度的貢獻變得更重要。
第3H圖表示根據(jù)第3A圖的步驟S4，由遺失區(qū)域H附近的圖像中獲得遺失像素340的參考像素的方法。遺失像素340位于遺失區(qū)域H，對應(yīng)于配對邊緣線341和獨立邊緣線342。與線342和341斜率相同的虛擬線函數(shù)被產(chǎn)生，藉以通過遺失像素340，并與遺失區(qū)塊31相鄰的圖像邊相交于像素3401、3402、3403和3404處，如虛線344和343所示。像素3401和3403因為不與遺失區(qū)域H相鄰而被舍棄。像素3402和3403然后被選擇為參考像素。所有的遺失像素在遺失區(qū)塊31的4邊上，可產(chǎn)生不同數(shù)量的參考像素。
遺失像素的數(shù)據(jù)然后被計算為每個參考像素的像素數(shù)據(jù)貢獻的加總，其中每個參考像素的貢獻為像素數(shù)據(jù)乘重量權(quán)數(shù)。遺失像素數(shù)據(jù)能如以下公式被計算出x^j=Σi=1Njaiyi,ai=1/diΣ1/dk]]>其中ai是重量權(quán)數(shù)等于參考像素與對應(yīng)的遺失像素之間被歸一化后的距離。
本發(fā)明揭露對于圖像頁的遺失區(qū)塊，重新產(chǎn)生像素數(shù)據(jù)方法，提供一種平滑和且保持畫面一致性的重見結(jié)果，可適用于圖像通信中宏區(qū)塊的遺失重建，或圖像數(shù)據(jù)的特殊處理。圖像頁中的一個不想要的區(qū)塊能被刪除，然后根據(jù)本發(fā)明實施例所提供的方法，使用來自鄰近地區(qū)圖像的數(shù)據(jù)重新產(chǎn)生平滑和且保持畫面一致性的重見結(jié)果。
雖然本發(fā)明已以較佳實施例揭露如上，然其并非用以限定本發(fā)明，任何本領(lǐng)域技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作些許之更動與潤飾，因此本發(fā)明的保護范圍當(dāng)視所附的權(quán)利要求范圍所界定者為準(zhǔn)。
權(quán)利要求
1.一種圖像處理方法，用以產(chǎn)生在圖像頁的遺失區(qū)塊中的圖像數(shù)據(jù)；該圖像處理方法包括從該遺失區(qū)塊周圍圖像邊上檢測邊緣端點；計算每一邊緣端點的方向；以個別邊緣點為起點，根據(jù)該等邊緣端點的方向形成邊緣線進入該遺失區(qū)塊，并將該遺失區(qū)塊劃分為多個遺失區(qū)域；以及利用與個別遺失區(qū)域相鄰的圖像邊上的參考像素數(shù)據(jù)，計算該遺失區(qū)域中的遺失像素數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其中當(dāng)該遺失區(qū)塊周圍圖像邊上的一像素與相鄰的前一像素數(shù)據(jù)差值超過臨限值時，決定該像素為邊緣端點。
3.根據(jù)權(quán)利要求2所述的圖像處理方法，其中該臨限值為(2×平均絕對差值)以及QP/2中較大的值；其中QP是與圖像頁有關(guān)的量化參數(shù)。
4.根據(jù)權(quán)利要求1所述的圖像處理方法，其中當(dāng)邊緣線的斜率與連接的邊緣端點的角度之間的角度差超過臨限值，該邊緣線被舍棄。
5.根據(jù)權(quán)利要求4所述的圖像處理方法，其中該臨限值為0.125×π。
6.根據(jù)權(quán)利要求1所述的圖像處理方法，其中該以個別邊緣點為起點，根據(jù)該等邊緣端點的方向形成邊緣線進入該遺失區(qū)塊的步驟包括連接任何二個有相似方向的邊緣端點，以定義配對邊緣線；以及以個別未配對的邊緣端點為起點，形成獨立邊緣線，該獨立邊緣線根據(jù)該未配對的邊緣端點的方向進入該遺失區(qū)域，并結(jié)束于配對邊緣在線。
7.根據(jù)權(quán)利要求6所述的圖像處理方法，其中連接任何二個有相似方向的邊緣端點，以定義配對邊緣線的步驟包括將個別邊緣端點的該方向的邊緣角度及邊緣量作歸一化；以及選擇兩個邊緣端點，其歸一化邊緣量差小于一量臨限值而且歸一化邊緣角度差小于角度臨限值，將該兩個邊緣端點配對，藉以形成配對邊緣線。
8.根據(jù)權(quán)利要求7所述的圖像處理方法，其中該量臨限值為4×QP/N2，而該角度臨限值為π/8；其中N為邊緣端點的數(shù)目而QP為相關(guān)于該圖像頁的量化參數(shù)。
9.根據(jù)權(quán)利要求6所述的圖像處理方法，還包括產(chǎn)生配對節(jié)點以對應(yīng)個別配對邊緣線，以及產(chǎn)生獨立節(jié)點以對應(yīng)個別獨立邊緣線；其中個別配對節(jié)點及獨立節(jié)點具有第一分支可連接一節(jié)點位于所對應(yīng)邊緣線的正區(qū)域，以及第二分支可連接一節(jié)點位于所對應(yīng)的邊緣線的負(fù)區(qū)域；依序連接所有配對節(jié)點以產(chǎn)生二進制樹狀結(jié)構(gòu)；其中當(dāng)配對節(jié)點位于前一配對節(jié)點的正區(qū)域，則將該配對節(jié)點連接到前一配對節(jié)點的第一分支；當(dāng)配對節(jié)點位于前一配對節(jié)點的負(fù)區(qū)域，則將該配對節(jié)點連接到前一配對節(jié)點的第二分支；依序連接所有獨立節(jié)點到其連接的配對節(jié)點上；其中配對節(jié)點可連接于其所連接的配對節(jié)點上，或連接于同一配對節(jié)點的一獨立節(jié)點上；以及利用個別未連接的節(jié)點分支代表劃分出的遺失區(qū)域。
10.根據(jù)權(quán)利要求9所述的圖像處理方法，還包括選擇配對節(jié)點來當(dāng)做二進制樹狀結(jié)構(gòu)的開始節(jié)點，其對應(yīng)的配對邊緣端點的 為最??；其中Pi和Pj為配對邊緣端點的歸一化邊緣量且θi和θj為配對邊緣端點的歸一化邊緣角度，而且ωθ是預(yù)定的權(quán)重系數(shù)。
11.根據(jù)權(quán)利要求10所述的圖像處理方法，其中該權(quán)重系數(shù)ωθ＝2。
12.根據(jù)權(quán)利要求1所述的圖像處理方法，其中計算個別邊緣端點的方向的步驟包括選取包含邊緣端點的鄰近一k×k像素矩陣，其中k為正奇數(shù)且不小于3；利用3×3索貝爾過濾器計算k×k像素矩陣的列梯度和欄梯度；利用列梯度和欄梯度計算邊緣角度以及邊緣量；以及計算平均邊緣角度以及平均邊緣量表示該邊緣端點的方向。
13.根據(jù)權(quán)利要求12所述的圖像處理方法，其中邊緣角度為 其中GR(n)為列梯度且GC(n)為欄梯度。
14.根據(jù)權(quán)利要求13所述的圖像處理方法，其中當(dāng)計算出的邊緣角度值比零低的時候，將邊緣角度加π。
15.根據(jù)權(quán)利要求12所述的圖像處理方法，其中邊緣量為(GR(n))2+(GC(n))2;]]>其中GR(n)為列梯度且GC(n)為欄梯度。
16.根據(jù)權(quán)利要求12所述的圖像處理方法，其中當(dāng)計算出的邊緣量比(2×平均絕對差值)更少的時候，該組邊緣角度和邊緣量將被舍棄，而不加入該平均邊緣角度和該平均邊緣量的計算中。
17.根據(jù)權(quán)利要求12所述的圖像處理方法，還包括計算個別邊緣端點的一量統(tǒng)計值，包括以統(tǒng)計量化參數(shù)量化邊緣端點的邊緣角度以及平均邊緣角度；當(dāng)量化后的邊緣角度等于量化后的平均角度時，將其對應(yīng)的邊緣量加入邊緣累計中；將最后的邊緣累計除以所有邊緣量之和，得到該量統(tǒng)計值；以及舍棄量統(tǒng)計值低于統(tǒng)計臨限值的邊緣端點，不作為形成邊緣線之用。
18.根據(jù)權(quán)利要求17所述的圖像處理方法，其中該統(tǒng)計臨限值為30％。
19.根據(jù)權(quán)利要求17所述的圖像處理方法，其中邊緣量低于平均絕對差值的邊緣角度-量組合將被舍棄，而不納入量統(tǒng)計值的計算。
20.根據(jù)權(quán)利要求17所述的圖像處理方法，其中該統(tǒng)計量化參數(shù)為π/32。
21.根據(jù)權(quán)利要求1所述的圖像處理方法，其中在遺失區(qū)域的遺失像素數(shù)據(jù)的參考像素數(shù)據(jù)，可于虛擬線函數(shù)相交于與該遺失區(qū)域相鄰的圖像邊上的位置來獲得；其中該虛擬線函數(shù)的斜率與劃分出該遺失區(qū)域的邊緣線相同且該虛擬線函數(shù)通過該遺失像素。
22.根據(jù)權(quán)利要求21所述的圖像處理方法，其中該遺失像素數(shù)據(jù)為每個參考像素的像素數(shù)據(jù)貢獻的加總。
23.根據(jù)權(quán)利要求22所述的圖像處理方法，其中參考像素的貢獻為其像素數(shù)據(jù)乘重量權(quán)數(shù)。
24.根據(jù)權(quán)利要求22所述的圖像處理方法，其中該重量權(quán)數(shù)為該參考像素與該遺失像素的距離的倒數(shù)除以該遺失像素所有參考像素與該遺失像素的距離的倒數(shù)總合。
全文摘要
本發(fā)明提供一種圖像處理方法，用以產(chǎn)生在圖像頁的遺失區(qū)塊中的圖像數(shù)據(jù)。該圖像處理方法包括從該遺失區(qū)塊周圍圖像邊上檢測邊緣端點；計算每一邊緣端點的方向；以個別邊緣點為起點，根據(jù)該等邊緣端點的方向形成邊緣線進入該遺失區(qū)塊，并將該遺失區(qū)塊劃分為多個遺失區(qū)域；以及利用與個別遺失區(qū)域相鄰的圖像邊上的參考像素數(shù)據(jù)，計算該遺失區(qū)域中的遺失像素數(shù)據(jù)。
文檔編號G06T5/00GK1897032SQ200510116150
公開日2007年1月17日 申請日期2005年10月24日 優(yōu)先權(quán)日2005年7月14日
發(fā)明者金昌成, 施宣輝, 郭宗杰, 葉家宏 申請人:智輝研發(fā)股份有限公司