超分辨率圖像處理方法及其圖像處理裝置制造方法
【專利摘要】本發(fā)明提供一種超分辨率圖像處理方法及其圖像處理裝置。此方法包括依據(jù)目標圖像對多個未選擇圖像執(zhí)行移動量估測。并根據(jù)相對應的區(qū)塊是否有旋轉(zhuǎn)而設定置信度，并對未選擇圖像分別執(zhí)行移動校正，以產(chǎn)生校正后圖像。依序?qū)δ繕藞D像中的每一像素點與校正后圖像中對應的每一像素點執(zhí)行場景物體移動檢測。參考置信度來設定多個物體移動指標。最后，依據(jù)物體移動指標對目標圖像的各個像素點與校正后圖像的各個像素點進行算術運算以產(chǎn)生超分辨率圖像。
【專利說明】超分辨率圖像處理方法及其圖像處理裝置

【技術領域】
[0001] 本發(fā)明涉及一種圖像放大（image enlargement)技術，尤其涉及一種超分辨率圖 像處理方法及其圖像處理裝置。

【背景技術】
[0002] 圖像放大技術是圖像處理中一項重要的研究方向。超分辨率圖像放大方法是將多 張低分辨率圖像視為額外的信息，來估算出一張高分辨率圖像。因此，超分辨率圖像放大方 法相較于利用單一圖像來完成圖像放大的方法有較好的圖像品質(zhì)。
[0003] 現(xiàn)有的超分辨率研究大致可分為靜態(tài)圖像超分辨率和動態(tài)圖像超分辨率兩類。其 中，動態(tài)圖像超分辨率方法又可區(qū)分為三類：統(tǒng)計學方法、非均勻空間內(nèi)插（non-uniform interpolation)方法以及迭代反投影法（iterative back-projection)。詳細地說，統(tǒng)計 學方法是利用統(tǒng)計幾率模型來求解并還原問題。非均勻空間內(nèi)插方法以動態(tài)補償?shù)姆绞綇?多張低分辨率圖像中找出互補的信息，進而重建高分辨率圖像。迭代反投影法則利用迭代 方式來重建高分辨率圖像。
[0004] 利用多張低分辨率圖像進行混合以產(chǎn)生高分辨率圖像最常見的副作用（Side effect)即為鬼影（ghost)現(xiàn)象。第一類鬼影現(xiàn)象產(chǎn)生的主要原因是因為在拍攝多張圖像 時，場景中有物體在移動，因此多張圖像進行混合時，移動的物體并不會校正在相同位置， 所以混合后會產(chǎn)生鬼影現(xiàn)象。第二類鬼影現(xiàn)象產(chǎn)生的主要原因是因為在拍攝多張圖像時， 使用者手持圖像檢索裝置時，因手持不穩(wěn)(手振）使得圖像檢索裝置不只產(chǎn)生位移還有旋轉(zhuǎn) 的情況發(fā)生，所以混合后會產(chǎn)生鬼影現(xiàn)象。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供一種超分辨率圖像處理方法及其圖像處理裝置，可利用多張動態(tài)圖像 序列進行混合以產(chǎn)生超分辨率圖像，并且可避免第一類與第二類鬼影現(xiàn)象的問題。
[0006] 本發(fā)明的超分辨率圖像處理方法，用于處理多個源圖像，其中，源圖像其中之一作 為目標圖像，其余的源圖像作為未選擇圖像。超分辨率圖像處理方法包括下列步驟。依據(jù) 目標圖像對未選擇圖像執(zhí)行移動量估測（motion estimation),根據(jù)相對應的區(qū)塊是否有 旋轉(zhuǎn)而設定多個置信度（confidence value),并對未選擇圖像分別執(zhí)行移動校正（motion correction)，以產(chǎn)生多個校正后圖像。依序?qū)δ繕藞D像中的每一像素點與校正后圖像中對 應的每一像素點執(zhí)行場景物體移動檢測（local motion object detection)。并參考置信 度來設定多個物體移動指標。最后，依據(jù)物體移動指標對目標圖像的各個像素點與校正后 圖像的各個像素點進行算術運算以產(chǎn)生超分辨率圖像。
[0007] 在本發(fā)明的一實施例中，上述依據(jù)目標圖像對未選擇圖像執(zhí)行移動量估測，并根 據(jù)相對應的區(qū)塊是否有旋轉(zhuǎn)而設定置信度的步驟包括：依據(jù)目標圖像對未選擇圖像執(zhí)行 區(qū)域移動量估測（local motion estimation)后，再執(zhí)行全域移動量估測（global motion estimation)，以產(chǎn)生多個旋轉(zhuǎn)角度；以及依據(jù)旋轉(zhuǎn)角度來設定置信度。
[0008] 在本發(fā)明的一實施例中，上述執(zhí)行場景物體移動檢測并參考置信度來設定物體移 動指標的步驟包括：依據(jù)各個像素點的相鄰區(qū)塊的區(qū)塊移動量差值與對應的置信度來設定 物體移動幾率（Local Motion Probability，簡稱LMP)。參考此物體移動幾率并依據(jù)各個 像素點的區(qū)域頻率特性來設定物體移動指標。
[0009] 在本發(fā)明的一實施例中，上述依據(jù)各個像素點的相鄰區(qū)塊的區(qū)塊移動量差值與對 應的置信度來設定物體移動幾率的步驟包括：判斷各個像素點的相鄰區(qū)塊的區(qū)塊移動量差 值是否至少有其中之一大于第一差值門限值。若是，則將物體移動幾率設定為第一設定值； 若否，則將物體移動幾率設定為0。并且依據(jù)對應的置信度來調(diào)整此物體移動幾率。
[0010] 在本發(fā)明的一實施例中，上述的超分辨率圖像處理方法還包括判斷各個像素點的 相鄰區(qū)塊的區(qū)塊移動量差值是否至少有其中之一大于第二差值門限值。若是，則將物體移 動幾率設定為第二設定值。其中此第二設定值小于上述的第一設定值。
[0011] 在本發(fā)明的一實施例中，上述依據(jù)對應的置信度來調(diào)整物體移動幾率的步驟包 括：判斷置信度是否大于置信門限值。若是，則上述的物體移動幾率維持不變；若否，則增 加上述的物體移動幾率。
[0012] 在本發(fā)明的一實施例中，上述依據(jù)各個像素點的區(qū)域頻率特性設定各個物體 移動指標的步驟包括下列步驟。分別計算各個像素點的絕對誤差和（Sum of Absolute Difference，簡稱SAD)門限值。計算各個像素點在目標圖像與校正后圖像之間的絕對誤差 和。當各個像素點的各個絕對誤差和大于此絕對誤差和門限值，則使能（enable )物體移動 指標。當各個像素點的各個絕對誤差和不大于此絕對誤差和門限值，則禁能（disable)物 體移動指標。
[0013] 在本發(fā)明的一實施例中，上述分別計算各個像素點的絕對誤差和門限值的步驟包 括：先分別計算各個像素點在目標圖像中的第一平均絕對誤差值（Mean Absolute Error, 簡稱MAE)與各個像素點在校正后圖像中的第二平均絕對誤差值。選擇第一與第二平均絕 對誤差值中的較小者進行查表，以獲得參考門限值。再依據(jù)此參考門限值與物體移動幾率 進行運算，以獲得絕對誤差和門限值。
[0014] 在本發(fā)明的一實施例中，上述的參考門限值與物體移動幾率是依據(jù)下式進行運 算：絕對誤差和門限值=(100% -物體移動幾率）X參考門限值。
[0015] 在本發(fā)明的一實施例中，上述在進行算術運算的步驟之前還包括先在各個像素點 所屬的掩膜（mask)內(nèi)執(zhí)行平均絕對誤差運算，以獲得多個平均絕對誤差值。
[0016] 在本發(fā)明的一實施例中，上述進行算術運算以產(chǎn)生超分辨率圖像的步驟包括： 對目標圖像的各個像素點與校正后圖像的各個像素點設定多個比重，據(jù)以執(zhí)行比重和 (weighting sum)運算。其中，當物體移動指標為使能時，則將比重設定為零，當物體移動指 標為禁能時，則將比重設定為平均絕對誤差值。
[0017] 本發(fā)明的一種圖像處理裝置包括鏡頭模塊、存儲器單元以及處理器。其中，鏡頭模 塊用以拍攝多個源圖像，其中源圖像的其中之一作為目標圖像，其余的源圖像作為未選擇 圖像。存儲器單元耦接至鏡頭模塊，用以儲存源圖像。處理器耦接至鏡頭模塊與存儲器單 元，其用以依據(jù)目標圖像對未選擇圖像執(zhí)行移動量估測，根據(jù)相對應的區(qū)塊是否有旋轉(zhuǎn)而 設定多個置信度，并對未選擇圖像分別執(zhí)行移動校正，以產(chǎn)生校正后圖像。處理器依序?qū)δ?標圖像中的每一像素點與校正后圖像中對應的每一像素點執(zhí)行場景物體移動檢測，并參考 該些置信度來設定物體移動指標。處理器還依據(jù)物體移動指標對目標圖像的各個像素點與 校正后圖像的各個像素點執(zhí)行算術運算以產(chǎn)生超分辨率圖像。
[0018] 基于上述，本發(fā)明所提供的超分辨率圖像處理方法及其圖像處理裝置，可利用多 張動態(tài)圖像序列進行混合以產(chǎn)生超分辨率圖像，并且可避免第一類與第二類鬼影現(xiàn)象的問 題。此外，超分辨率圖像在高頻區(qū)域可以增加分辨率并且在平坦區(qū)域有去干擾效果。
[0019] 為讓本發(fā)明的上述特征和優(yōu)點能更明顯易懂，下文特舉實施例，并配合附圖作詳 細說明如下。

【專利附圖】

【附圖說明】
[0020] 圖1A是依照本發(fā)明一實施例所示出的圖像處理裝置的方塊圖；
[0021] 圖1B是依照本發(fā)明一實施例所示出的處理器100的方塊圖；
[0022] 圖2是依照本發(fā)明一實施例所示出的執(zhí)行平均絕對誤差運算的掩膜示意圖；
[0023] 圖3是依照本發(fā)明一實施例所示出的執(zhí)行場景物體移動檢測的方法流程圖；
[0024] 圖4為本發(fā)明一實施例的物體移動檢測模塊130依據(jù)所選取像素點的區(qū)域頻率特 性設定物體移動指標的方法流程圖；
[0025] 圖5是依照本發(fā)明一實施例所不出的查找表不意圖。
[0026] 附圖標記說明：
[0027] 10:圖像處理裝置；
[0028] 100 :處理器；
[0029] 102 :鏡頭模塊；
[0030] 104 :儲存單元；
[0031] 110 :移動量估測模塊；
[0032] 112:區(qū)域移動量估測器；
[0033] 114:全域移動量估測器；
[0034] 120 :移動量校正模塊；
[0035] 130 :物體移動檢測模塊；
[0036] 140:圖像混合模塊；
[0037] Imgl_HR :目標圖像；
[0038] Img2_HR ?Img4_HR :未選擇圖像；
[0039] CorrImg2_HR ?CorrImg4_HR :校正后圖像；
[0040] CV2 ?CV4 :置信度；
[0041] Map2?Map4 :物體移動指標；
[0042] Imgl_SR :超分辨率圖像；
[0043] MAE :平均絕對誤差值；
[0044] MAE1 :第一平均絕對誤差值；
[0045] MAE2 :第二平均絕對誤差值；
[0046] TH_SAD :絕對誤差和門限值；
[0047] TH_ref :參考門限值；
[0048] S301?S323 :執(zhí)行場景物體移動檢測的方法的各步驟；
[0049] S401?S417 :設定物體移動指標的方法的各步驟。

【具體實施方式】
[0050] 本發(fā)明提出一種以動態(tài)圖像序列進行混合以產(chǎn)生超分辨率圖像的放大方法，利用 移動量及頻率特性對圖像序列做個別移動物體的檢測，在有物體移動的區(qū)域會將其做單一 圖像放大，而不做混合多張的動作，藉此可避免第一類鬼影現(xiàn)象的產(chǎn)生。此外，本發(fā)明在執(zhí) 行全域移動量估測的同時，還會估測圖像旋轉(zhuǎn)量的大小，作為圖像混合的依據(jù)，藉此可避免 第二類鬼影現(xiàn)象的產(chǎn)生。本發(fā)明便是基于上述觀點進而發(fā)展出的一種超分辨率圖像處理方 法。為了使本發(fā)明的內(nèi)容更為明了，以下列舉實施例作為本發(fā)明確實能夠據(jù)以實施的范例。
[0051] 圖1A是依照本發(fā)明一實施例所示出的圖像處理裝置的方塊圖。請參照圖1A，本 實施例的圖像處理裝置10例如是數(shù)碼相機、數(shù)碼單反（Digital Single Lens Reflex,簡稱 DSLR)相機、數(shù)碼攝像機（Digital Video Camcorder,簡稱DVC)等，或是其他具有圖像檢索 /處理功能的智能型手機等電子裝置，不限于上述。在本實施例中，圖像處理裝置10包括處 理器100、鏡頭模塊102以及儲存單元104。以下對各構件進行說明：
[0052] 鏡頭模塊102包括鏡頭以及感光元件等，感光元件例如是互補金屬氧化物半導體 (Complementary Metal Oxide Semiconductor，簡稱CMOS)感光兀件。CMOS感光兀件的特點 是能高速連拍，因此能對一個場景進行連續(xù)拍攝。鏡頭模塊102用以拍攝多個第一分辨率 圖像。儲存單元104例如是任意型式的固定式或可移動式隨機存取存儲器（Random Access Memory，簡稱 RAM)、只讀存儲器（Read-Only Memory，簡稱 ROM)、閃存（Flash memory)或硬 盤等，而可用以儲存多個第一分辨率圖像及其他數(shù)據(jù)。
[0053] 處理器100耦接至鏡頭模塊102以及儲存單元104,其可由軟件、硬件或其組合實 作而得，在此不加以限制。軟件例如是程序碼、操作系統(tǒng)、應用軟件或驅(qū)動程序等。硬件例 如是中央處理機（Central Processing Unit,簡稱CPU),或是其他可編程的一般用途或特 殊用途的微處理器（Microprocessor)、數(shù)字信號處理器（Digital Signal Processor,簡稱 DSP)等裝置。處理器100的詳細功能說明如下：
[0054] 圖1B是依照本發(fā)明一實施例所示出的處理器100的方塊圖。請參照圖1B，處理 器100包括移動量估測模塊110、移動量校正模塊120、物體移動檢測模塊130以及圖像混 合模塊140。其中，移動量估測模塊110還包括區(qū)域移動量估測器112以及全域移動量估測 器 114。
[0055] 需先說明的是，當使用者手持圖像處理裝置10進行連續(xù)拍攝時，容易發(fā)生手振現(xiàn) 象，因此第一分辨率圖像之間會存在著次像素移動（sub-pixel shift)。處理器100先將多 個第一分辨率圖像進行放大以產(chǎn)生多個第二分辨率圖像。處理器1〇〇可依實際需求采用本 領域具通常知識者所熟知的圖像放大方法來對多個第一分辨率圖像進行放大，在此不加以 限制。在本實施例中，處理器100選擇第二分辨率圖像（即源圖像)其中之一作為目標圖像， 其余的第二分辨率圖像作為未選擇圖像。
[0056] 請參照圖1B，移動量估測模塊110中的區(qū)域移動量估測器112用以接收依據(jù)4個 第一分辨率(本實施例舉例為低分辨率）圖像進行放大而產(chǎn)生的4個第二分辨率(本實施例 舉例為高分辨率）圖像Imgl_HR、Img2_HR、Img3_HR以及Img4_HR。為方便后續(xù)說明，在本實 施例中，源圖像（即高分辨率圖像）的個數(shù)舉例為4個，但本發(fā)明并不限制源圖像的個數(shù)。
[0057] 詳細地說，區(qū)域移動量估測器112例如將高分辨率圖像Imgl_HR設定為目標圖 像，因此，高分辨率圖像Img2_HR、Img3_HR以及Img4_HR即為未選擇圖像。區(qū)域移動量估 測器112將目標圖像Imgl_HR與未選擇圖像Img2_HR、未選擇圖像Img3_HR以及未選擇圖 像Img4_HR以相同方法分割成多個區(qū)塊，分割方法可依實際需求做設定并不加以限制。接 著，區(qū)域移動量估測器112估測未選擇圖像Img2_HR、未選擇圖像Img3_HR以及未選擇圖像 Img4_HR的每一區(qū)塊相對于目標圖像Imgl_HR的區(qū)塊移動量，估測方法例如是區(qū)塊比對方 式等等。
[0058] 接下來，全域移動量估測器114分別對每一未選擇圖像Img2_HR、未選擇圖像 Img3_HR以及未選擇圖像Img4_HR進行全域移動量估測。舉例來說，全域移動量估測的方法 可對多個區(qū)塊移動量取眾數(shù)，也就是先將區(qū)塊移動量進行統(tǒng)計，選擇出現(xiàn)最多次的區(qū)塊移 動量作為全域移動量，或是將所有的區(qū)塊移動量取平均而得到全域移動量等等。因此，每一 未選擇圖像Img2_HR、未選擇圖像Img3_HR以及未選擇圖像Img4_HR會產(chǎn)生各自的全域移動 量。
[0059] 在此需說明的是，全域移動量估測器114執(zhí)行全域移動量估測的同時會產(chǎn)生旋轉(zhuǎn) 角度Θ，當旋轉(zhuǎn)角度Θ愈大代表圖像四周產(chǎn)生鬼影現(xiàn)象的機會愈大，因此給予較低的置信 度（confidence value);相反的，當旋轉(zhuǎn)角度Θ愈小，則給予較大的置信度。舉例來說，置 信度可設定為在〇?1范圍內(nèi)的數(shù)值。在本實施例中，全域移動量估測器114分別將每一 未選擇圖像Img2_HR、未選擇圖像Img3_HR以及未選擇圖像Img4_HR對應的置信度CV2、置 信度CV3以及置信度CV4數(shù)據(jù)傳送至物體移動檢測模塊130。
[0060] 移動量校正模塊120根據(jù)上述的全域移動量執(zhí)行移動量校正，移動量校正可利 用仿射矩陣（Affine transformation matrix)將未選擇圖像Img2_HR、未選擇圖像Img3_ HR以及未選擇圖像Img4_HR的起始像素點位置校正至與目標圖像Imgl_HR的起始像素點 位置相同。仿射矩陣可以作旋轉(zhuǎn)與移動校正，其中矩陣的系數(shù)可由全域移動量估測所得。 基于上述處理可得到校正后圖像CorrImg2_HR、校正后圖像CorrImg3_HR以及校正后圖像 CorrImg4-HR〇
[0061] 接著，物體移動檢測模塊130將每一校正后圖像CorrImg2_HR、校正后圖像 CorrImg3_HR以及校正后圖像CorrImg4_HR分別與目標圖像Imgl_HR做場景物體移動檢測， 據(jù)以產(chǎn)生物體移動指標Map2、物體移動指標Map3以及物體移動指標Map4。其中，物體移動 檢測模塊130執(zhí)行場景物體移動檢測的詳細步驟容后詳述。
[0062] 圖像混合模塊140將目標圖像Imgl_HR與校正后圖像CorrImg2_HR、校正后圖 像CorrImg3_HR以及校正后圖像CorrImg4_HR中的每一個像素點進行混合，混合過程中需 配合參考物體移動指標Map2、物體移動指標Map3以及物體移動指標Map4以產(chǎn)生超分辨 率圖像Imgl_SR。舉例來說，超分辨率圖像Imgl_SR的第一個像素點即為目標圖像Imgl_ HR的第一個像素點與校正后圖像CorrImg2_HR、校正后圖像CorrImg3_HR以及校正后圖像 CorrImg4_HR的第一個像素點混合而成。
[0063] 詳細的混合方法如下所述：將目標圖像Imgl_HR與校正后圖像CorrImg2_HR、校正 后圖像CorrImg3_HR以及校正后圖像CorrImg4_HR中，相對應的一像素點，各自計算其灰階 度的平均絕對誤差值（Mean Absolute Error,簡稱MAE)。再以各像素點的平均絕對誤差值 MAE作為比重，將目標圖像Imgl_HR與校正后圖像CorrImg2_HR、校正后圖像CorrImg3_HR 以及校正后圖像C〇rrImg4_HR中相對應的像素點的灰階值乘上其比重，計算出混合后圖像 的灰階值。詳細的判斷式及比重和的公式如下式（1)所示：
[0064] if (Map = 1)
[0065] Weight [η] = 0
[0066] else
[0067] Weight [η] = MAE
[0068]

【權利要求】
1. 一種超分辨率圖像處理方法，用于處理多個源圖像，其中，該些源圖像其中之一為一 目標圖像，其余的該些源圖像為多個未選擇圖像，其特征在于，包括： 依據(jù)該目標圖像對該些未選擇圖像執(zhí)行移動量估測，根據(jù)相對應的區(qū)塊是否有旋轉(zhuǎn)而 設定多個置信度，并對該些未選擇圖像分別執(zhí)行移動校正，以產(chǎn)生多個校正后圖像； 依序?qū)υ撃繕藞D像中的每一像素點與該些校正后圖像中對應的每一像素點執(zhí)行一場 景物體移動檢測，并參考該些置信度來設定多個物體移動指標；以及 依據(jù)該些物體移動指標對該目標圖像的各該像素點與該些校正后圖像的各該像素點 進行一算術運算以產(chǎn)生一超分辨率圖像。
2. 根據(jù)權利要求1所述的超分辨率圖像處理方法，其特征在于，依據(jù)該目標圖像對該 些未選擇圖像執(zhí)行移動量估測，根據(jù)相對應的區(qū)塊是否有旋轉(zhuǎn)而設定該些置信度的步驟包 括： 依據(jù)該目標圖像對該些未選擇圖像執(zhí)行一區(qū)域移動量估測后，再執(zhí)行一全域移動量估 測，以產(chǎn)生多個旋轉(zhuǎn)角度；以及 依據(jù)該些旋轉(zhuǎn)角度來設定該些置信度。
3. 根據(jù)權利要求1所述的超分辨率圖像處理方法，其特征在于，執(zhí)行該場景物體移動 檢測，并參考該些置信度來設定該些物體移動指標的步驟包括： 依據(jù)各該像素點的多個相鄰區(qū)塊的多個區(qū)塊移動量差值與對應的該置信度來設定一 物體移動幾率；以及 參考該物體移動幾率并依據(jù)各該像素點的一區(qū)域頻率特性來設定該些物體移動指標。
4. 根據(jù)權利要求3所述的超分辨率圖像處理方法，其特征在于，依據(jù)各該像素點的 該些相鄰區(qū)塊的該些區(qū)塊移動量差值與對應的該置信度來設定該物體移動幾率的步驟包 括： 判斷各該像素點的該些相鄰區(qū)塊的該些區(qū)塊移動量差值是否大于一第一差值門限值， 若是，將該物體移動幾率設定為一第一設定值，若否，將該物體移動幾率設定為〇 ;以及 依據(jù)對應的該置信度來調(diào)整該物體移動幾率。
5. 根據(jù)權利要求4所述的超分辨率圖像處理方法，其特征在于，還包括： 判斷各該像素點的該些相鄰區(qū)塊的該些區(qū)塊移動量差值的是否大于一第二差值門限 值，若是，將該物體移動幾率設定為一第二設定值，其中該第二設定值小于該第一設定值。
6. 根據(jù)權利要求4所述的超分辨率圖像處理方法，其特征在于，依據(jù)對應的該置信度 來調(diào)整該物體移動幾率的步驟包括： 判斷該置信度是否大于一置信門限值；以及 若是，該物體移動幾率維持不變，若否，增加該物體移動幾率。
7. 根據(jù)權利要求3所述的超分辨率圖像處理方法，其特征在于，依據(jù)各該像素點的該 區(qū)域頻率特性來設定各該物體移動指標的步驟包括： 分別計算各該像素點的一絕對誤差和門限值； 計算各該像素點在該目標圖像與該些校正后圖像之間的一絕對誤差和；以及 當各該像素點的各該絕對誤差和大于該絕對誤差和門限值時，使能該些物體移動指 標，當各該像素點的各該絕對誤差和不大于該絕對誤差和門限值時，禁能該些物體移動指 標。
8. 根據(jù)權利要求7所述的超分辨率圖像處理方法，其特征在于，分別計算各該像素點 的該絕對誤差和門限值的步驟包括： 先分別計算各該像素點在該目標圖像中的一第一平均絕對誤差值與各該像素點在該 些校正后圖像中的一第二平均絕對誤差值； 選擇該第一與該第二平均絕對誤差值中的較小者進行查表，以獲得一參考門限值；以 及 依據(jù)該參考門限值與該物體移動幾率進行運算，以獲得該絕對誤差和門限值。
9. 根據(jù)權利要求8所述的超分辨率圖像處理方法，其特征在于，該參考門限值與該物 體移動幾率是依據(jù)下式進行運算： 該絕對誤差和門限值=(100%-該物體移動幾率）X該參考門限值。
10. 根據(jù)權利要求1所述的超分辨率圖像處理方法，其特征在于，在進行該算術運算的 步驟之前，還包括： 在各該像素點所屬的一掩膜內(nèi)執(zhí)行一平均絕對誤差運算，以獲得多個平均絕對誤差 值。
11. 根據(jù)權利要求10所述的超分辨率圖像處理方法，其特征在于，進行該算術運算以 產(chǎn)生該超分辨率圖像的步驟包括： 對該目標圖像的各該像素點與該些校正后圖像的各該像素點設定多個比重，據(jù)以執(zhí)行 一比重和運算， 其中，當該些物體移動指標為使能時，將該些比重設定為零，當該些物體移動指標為禁 能時，將該些比重設定為該些平均絕對誤差值。
12. -種圖像處理裝置，其特征在于，包括： 一鏡頭模塊，拍攝多個源圖像，該些源圖像其中之一為一目標圖像，其余的該些源圖像 為多個未選擇圖像； 一存儲器單元，耦接該鏡頭模塊，用以儲存該些源圖像；以及 一處理器，耦接該鏡頭模塊與該存儲器單元，該處理器依據(jù)該目標圖像對該些未選擇 圖像執(zhí)行移動量估測，根據(jù)相對應的區(qū)塊是否有旋轉(zhuǎn)而設定多個置信度，并對該些未選擇 圖像分別執(zhí)行移動校正，以產(chǎn)生多個校正后圖像，該處理器依序?qū)υ撃繕藞D像中的每一像 素點與該些校正后圖像中對應的每一像素點執(zhí)行一場景物體移動檢測，并參考該些置信度 來設定多個物體移動指標，該處理器還依據(jù)該些物體移動指標對該目標圖像的各該像素點 與該些校正后圖像的各該像素點進行一算術運算以產(chǎn)生一超分辨率圖像。
13. 根據(jù)權利要求12所述的圖像處理裝置，其特征在于，該處理器包括： 一移動量估測模塊，包括一區(qū)域移動量估測器以及一全域移動量估測器，該區(qū)域移動 量估測器先依據(jù)該目標圖像對該些未選擇圖像執(zhí)行一區(qū)域移動量估測，該全域移動量估測 器再對該些未選擇圖像執(zhí)行一全域移動量估測，以產(chǎn)生多個旋轉(zhuǎn)角度，并依據(jù)該些旋轉(zhuǎn)角 度來設定該些置信度；以及 一場景移動檢測模塊，耦接該移動量估測模塊以接收該些置信度，該場景移動檢測模 塊依據(jù)各該像素點的多個相鄰區(qū)塊的多個區(qū)塊移動量差值與對應的該置信度來設定一物 體移動幾率，并參考該物體移動幾率以及各該像素點的一區(qū)域頻率特性來設定該些物體移 動指標。
14.根據(jù)權利要求12所述的圖像處理裝置，其特征在于，該處理器包括： 一圖像混合模塊，對該目標圖像的各該像素點與該些校正后圖像的各該像素點設定多 個比重，據(jù)以執(zhí)行一比重和運算，其中，當該些物體移動指標被使能時，該圖像混合模塊將 該些比重設定為零，當該些物體移動指標被禁能時，該圖像混合模塊將該些比重設定為該 些平均絕對誤差值。
【文檔編號】H04N5/232GK104103034SQ201310113951
【公開日】2014年10月15日 申請日期:2013年4月3日 優(yōu)先權日:2013年4月3日
【發(fā)明者】莊哲綸, 吳嘉彧 申請人:聚晶半導體股份有限公司