圖像獲取裝置及其圖像處理方法
【專利摘要】本發(fā)明提供一種圖像獲取裝置及其圖像處理方法。此圖像處理方法包括下列步驟。以第一焦距獲取第一圖像，以第二焦距獲取第二圖像。對第二圖像進(jìn)行幾何校正程序，產(chǎn)生位移校正后的第二圖像。對第一圖像的每一像素點(diǎn)執(zhí)行梯度運(yùn)算以產(chǎn)生多個(gè)第一梯度值，以及對位移校正后的第二圖像的每一像素點(diǎn)執(zhí)行梯度運(yùn)算以產(chǎn)生多個(gè)第二梯度值。比較各第一梯度值與相對應(yīng)的各第二梯度值以產(chǎn)生多個(gè)第一像素比較結(jié)果，根據(jù)第一像素比較結(jié)果產(chǎn)生第一參數(shù)地圖。依據(jù)第一參數(shù)地圖與第一圖像產(chǎn)生合成圖像，至少根據(jù)合成圖像產(chǎn)生輸出圖像。
【專利說明】圖像獲取裝置及其圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是有關(guān)于一種圖像獲取裝置及其圖像處理方法，且特別是有關(guān)于一種通過計(jì)算像素梯度值來據(jù)以混合圖像的圖像獲取裝置及其圖像處理方法。
【背景技術(shù)】
[0002]隨著光學(xué)技術(shù)的進(jìn)步，可調(diào)整光圈、快門甚至可更換鏡頭的數(shù)碼相機(jī)逐漸普及，數(shù)碼相機(jī)的功能也趨于多樣化。數(shù)碼相機(jī)除了要提供良好的成像品質(zhì)之外，對焦技術(shù)的準(zhǔn)確性與速度更是消費(fèi)者在購買產(chǎn)品時(shí)會參考的因素。但以現(xiàn)有的光學(xué)系統(tǒng)而言，由于多個(gè)物體在立體場景中具有不同的遠(yuǎn)近，故無法在單次拍攝圖像的過程中取得完全清晰的全景深圖像。亦即，受到鏡頭光學(xué)特性的限制，在使用數(shù)碼相機(jī)取像時(shí)只能選擇其中一個(gè)深度來進(jìn)行對焦，故在成像中處于其他深度的景物會較為模糊。
[0003]現(xiàn)有產(chǎn)生全景深圖像的方法大多采用多種不同攝影條件進(jìn)行拍攝所得的多張圖像組合而成。通過改變攝影條件中的一或多個(gè)參數(shù)進(jìn)而對同一場景拍攝出不同的多張圖像，再通過清晰度判別方法來將這些圖像組合成一張清晰的圖像。采用上述多種不同攝影條件進(jìn)行拍攝以合成全景深圖像的技巧須仰賴固定的圖像獲取裝置進(jìn)行拍攝。一般而言，使用者常利用穩(wěn)定的腳架來固定圖像獲取裝置，以確保所獲取的圖像之間無明顯的幾何扭曲。另外，在拍攝過程中，還須避免被攝場景中有任何目標(biāo)的移動。
[0004]另一方面，在使用相機(jī)拍攝圖像時(shí)，為了突顯所拍攝圖像中的主題，一般會采用所謂散景(bokeh)的拍攝技巧。散景即表示在景深較淺的攝影成像中，落在景深以外的畫面會有逐漸產(chǎn)生松散模糊的效果。一般而言，相機(jī)鏡頭所能制造出的散景效果有限。若要獲得較佳的散景效果，通常需要同時(shí)滿足下列幾項(xiàng)重要的條件:大光圈、長焦距。換言之，為了達(dá)到散景效果需倚賴大孔徑鏡頭來加強(qiáng)遠(yuǎn)距離目標(biāo)的模糊化，而讓清楚成像的主題得以從背景中突顯出來。然而，大孔徑鏡頭的體積龐大且價(jià)格昂貴，并非一般消費(fèi)型相機(jī)所能配備。
[0005]總而言之，現(xiàn)有產(chǎn)生全景深或是產(chǎn)生散景圖像的方法都易導(dǎo)致處理后的圖像產(chǎn)生景深不連續(xù)或是不夠自然的問題。此外，對于拍攝圖像上的操作限制更是讓使用者感到不便，像是其平均總拍攝時(shí)間相當(dāng)長或繁復(fù)的過程，甚至導(dǎo)致最終的結(jié)果圖像無法令人感到滿意。

【發(fā)明內(nèi)容】

[0006]有鑒于此，本發(fā)明提供一種圖像獲取裝置及其圖像處理方法，可通過不同焦距值所拍攝的圖像來判斷出圖像中的主體，進(jìn)而產(chǎn)生主體清晰且散景效果自然的圖像。另一方面，本發(fā)明的圖像處理方法也可通過不同焦距值所拍攝的圖像來避免產(chǎn)生全景深圖像時(shí)的鬼影問題。
[0007]本發(fā)明提出一種圖像處理方法，適用于圖像獲取裝置，此圖像處理方法包括下列步驟。以第一焦距獲取一第一圖像，并以第二焦距獲取第二圖像，其中第一焦距對焦于至少一主體。對第二圖像進(jìn)行幾何校正程序，產(chǎn)生位移校正后的第二圖像。對第一圖像的每一像素點(diǎn)執(zhí)行梯度運(yùn)算以產(chǎn)生多個(gè)第一梯度值，以及對位移校正后的第二圖像的每一像素點(diǎn)執(zhí)行梯度運(yùn)算以產(chǎn)生多個(gè)第二梯度值。比較各第一梯度值與相對應(yīng)的各第二梯度值以產(chǎn)生多個(gè)第一像素比較結(jié)果，并根據(jù)這些第一像素比較結(jié)果產(chǎn)生第一參數(shù)地圖。依據(jù)第一參數(shù)地圖與第一圖像產(chǎn)生合成圖像，并至少根據(jù)合成圖像產(chǎn)生輸出圖像。
[0008]在本發(fā)明的一實(shí)施例中，上述的圖像處理方法，其中至少根據(jù)合成圖像產(chǎn)生輸出圖像的步驟包括:以第三焦距獲取第三圖像。對第三圖像進(jìn)行幾何校正程序，產(chǎn)生位移校正后的第三圖像。對合成圖像的每一像素點(diǎn)執(zhí)行梯度運(yùn)算以產(chǎn)生多個(gè)第三梯度值，以及對位移校正后的第三圖像的每一像素點(diǎn)執(zhí)行梯度運(yùn)算以產(chǎn)生多個(gè)第四梯度值。比較各第三梯度值與相對應(yīng)的各第四梯度值以產(chǎn)生多個(gè)第二像素比較結(jié)果，并根據(jù)這些第二像素比較結(jié)果產(chǎn)生第二參數(shù)地圖。依據(jù)第二參數(shù)地圖，混合位移校正后的第三圖像與合成圖像而產(chǎn)生輸出圖像。
[0009]在本發(fā)明的一實(shí)施例中，上述的圖像處理方法，其中對第二圖像進(jìn)行幾何校正程序，產(chǎn)生位移校正后的第二圖像的步驟包括:對第一圖像與第二圖像進(jìn)行移動量估測，藉以計(jì)算單應(yīng)性(homography matrix)矩陣。依據(jù)單應(yīng)性矩陣對第二圖像進(jìn)行幾何仿射轉(zhuǎn)換(affine transformation),以獲得位移校正后的第二圖像。
[0010]在本發(fā)明的一實(shí)施例中，上述的圖像處理方法，其中比較各第一梯度值與相對應(yīng)的各第二梯度值以產(chǎn)生多個(gè)第一像素比較結(jié)果，并根據(jù)這些第一像素比較結(jié)果產(chǎn)生參數(shù)地圖的步驟包括:將這些第二梯度值除以相對應(yīng)的第一梯度值，產(chǎn)生多個(gè)梯度比較值。依據(jù)這些梯度比較值產(chǎn)生多個(gè)參數(shù)值，并將這些參數(shù)值記錄為參數(shù)地圖。
[0011]在本發(fā)明的一實(shí)施例中，上述的圖像處理方法，其中依據(jù)多個(gè)梯度比較值產(chǎn)生多個(gè)參數(shù)值的步驟包括:判斷這些梯度比較值是否大于第一梯度臨界值。若梯度比較值大于第一梯度臨界值，設(shè)定梯度比較值所對應(yīng)的參數(shù)值為第一數(shù)值。
[0012]在本發(fā)明的一實(shí)施例中，上述的圖像處理方法，其中依據(jù)這些梯度比較值產(chǎn)生多個(gè)參數(shù)值的步驟包括:若梯度比較值并無大于第一梯度臨界值，判斷梯度比較值是否大于第二梯度臨界值。若梯度比較值大于第二梯度臨界值，設(shè)定梯度比較值所對應(yīng)的參數(shù)值為第二數(shù)值。若梯度比較值并無大于第二梯度臨界值，設(shè)定梯度比較值所對應(yīng)的參數(shù)值設(shè)定為第三數(shù)值，其中，第一梯度臨界值大于第二梯度臨界值。
[0013]在本發(fā)明的一實(shí)施例中，上述的圖像處理方法，其中至少依據(jù)第一參數(shù)地圖與第一圖像產(chǎn)生合成圖像的步驟包括:對第一圖像進(jìn)行模糊化程序，產(chǎn)生模糊圖像。根據(jù)第一參考地圖混合第一圖像與模糊圖像以產(chǎn)生主體清晰圖像。
[0014]在本發(fā)明的一實(shí)施例中，上述的圖像處理方法，其中根據(jù)第一參考地圖混合第一圖像與模糊圖像以產(chǎn)生主體清晰圖像的步驟包括:判斷參數(shù)值是否大于第一混合臨界值。若參數(shù)值大于第一混合臨界值，取參數(shù)值所對應(yīng)的模糊圖像的像素點(diǎn)作為主體清晰圖像的像素點(diǎn)。若參數(shù)值并無大于第一混合臨界值，判斷參數(shù)值是否大于第二混合臨界值。若參數(shù)值大于第二混合臨界值，依據(jù)參數(shù)值計(jì)算出對應(yīng)的主體清晰圖像的像素點(diǎn)。若參數(shù)值并無大于第二混合臨界值，取參數(shù)值所對應(yīng)的第一圖像的像素點(diǎn)作為主體清晰圖像的像素點(diǎn)，其中，第一混合臨界值大于第二混合臨界值。
[0015]在本發(fā)明的一實(shí)施例中，上述的圖像處理方法，其中至少依據(jù)第一參數(shù)地圖與第一圖像產(chǎn)生合成圖像的步驟包括:依據(jù)第一圖像與第二圖像中各像素點(diǎn)的像素值計(jì)算出各像素點(diǎn)所對應(yīng)的多個(gè)絕對差值和(Sum of Absolute Differences)，并依據(jù)這些絕對差值和調(diào)整第一參數(shù)地圖中的參數(shù)值。根據(jù)調(diào)整后的第一參考地圖，混合第一圖像與位移校正后的第二圖像以產(chǎn)生全景深圖像。
[0016]在本發(fā)明的一實(shí)施例中，上述的圖像處理方法，其中依據(jù)第一圖像與第二圖像中各像素點(diǎn)的像素值計(jì)算出各像素點(diǎn)所對應(yīng)的絕對差值和，并依據(jù)絕對差值和調(diào)整第一參數(shù)地圖中的參數(shù)值的步驟包括:當(dāng)絕對差值和大于移動臨界值，依據(jù)絕對差值和決定各參數(shù)值的權(quán)重因子，并利用權(quán)重因子調(diào)整參數(shù)值，其中各參數(shù)值隨著對應(yīng)的絕對差值和的上升而下降。
[0017]在本發(fā)明的一實(shí)施例中，上述的圖像處理方法，其中根據(jù)經(jīng)由權(quán)重因子調(diào)整后的第一參考地圖，混合第一圖像與位移校正后的第二圖像以產(chǎn)生全景深圖像的步驟包括:判斷參數(shù)值是否大于第一混合臨界值。若參數(shù)值大于第一混合臨界值，取參數(shù)值所對應(yīng)的位移校正后的第二圖像的像素點(diǎn)作為全景深圖像的像素點(diǎn)。若參數(shù)值并無大于第一混合臨界值，判斷參數(shù)值是否大于第二混合臨界值。若參數(shù)值大于第二混合臨界值，依據(jù)參數(shù)值計(jì)算出對應(yīng)的全景深圖像的像素點(diǎn)。若參數(shù)值并無大于第二混合臨界值，取參數(shù)值所對應(yīng)的第一圖像的像素點(diǎn)作為全景深圖像的像素點(diǎn)，其中第一混合臨界值大于第二混合臨界值。
[0018]從另一觀點(diǎn)來看，本發(fā)明提出一種圖像獲取裝置，此圖像獲取裝置包括圖像獲取模塊、位移校正模塊、梯度計(jì)算模塊、地圖產(chǎn)生模塊以及圖像合成模塊。圖像獲取模塊以第一焦距獲取第一圖像，并以第二焦距獲取第二圖像，其中第一焦距對焦于至少一主體。位移校正模塊對第二圖像進(jìn)行幾何校正程序，產(chǎn)生位移校正后的第二圖像。梯度計(jì)算模塊對第一圖像的每一像素點(diǎn)執(zhí)行梯度運(yùn)算以產(chǎn)生多個(gè)第一梯度值，以及對位移校正后的第二圖像的每一像素點(diǎn)執(zhí)行度運(yùn)算以產(chǎn)生多個(gè)第二梯度值。地圖產(chǎn)生模塊比較各第一梯度值與相對應(yīng)的各第二梯度值以產(chǎn)生多個(gè)第一像素比較結(jié)果，并根據(jù)第一像素比較結(jié)果產(chǎn)生第一參數(shù)地圖。圖像合成模塊依據(jù)第一參數(shù)地圖與第一圖像產(chǎn)生合成圖像，并至少根據(jù)合成圖像產(chǎn)生輸出圖像。
[0019]基于上述，本發(fā)明通過焦距不同會造成圖像不同的特性，對同一場景以不同焦距進(jìn)行拍攝，并且比較圖像間各個(gè)像素點(diǎn)的梯度差異而產(chǎn)生參數(shù)地圖。通過參數(shù)地圖的資訊，可產(chǎn)生清晰的全景深圖像或主體清晰背景模糊的散景圖像，達(dá)到良好的全景深效果或散景效果。
[0020]為讓本發(fā)明的上述特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉實(shí)施例，并配合附圖作詳細(xì)說明如下。
【專利附圖】

【附圖說明】
[0021]圖1是本發(fā)明一實(shí)施例所示出的圖像獲取裝置的功能方塊示意圖；
[0022]圖2是本發(fā)明一實(shí)施例所示出的圖像處理方法流程圖；
[0023]圖3為本發(fā)明另一實(shí)施例所示出的圖像處理方法的示意圖；
[0024]圖4是本發(fā)明又一實(shí)施例所示出的圖像獲取裝置的方塊圖；
[0025]圖5是本發(fā)明又一實(shí)施例所示出的圖像處理方法流程圖；
[0026]圖6是本發(fā)明又一實(shí)施例所示出的圖5中步驟S550的詳細(xì)流程圖；
[0027]圖7是本發(fā)明又一實(shí)施例所示出的圖5中步驟S560的詳細(xì)流程圖；[0028]圖8是本發(fā)明的再一實(shí)施例所示出的圖像獲取裝置的方塊圖；
[0029]圖9A是本發(fā)明的再一實(shí)施例所示出的像素區(qū)塊的示意圖；
[0030]圖9B是本發(fā)明再一實(shí)施例所示出的絕對差值和與權(quán)重因子的關(guān)系示意圖。
[0031]附圖標(biāo)記說明:
[0032]100、400、800:圖像獲取裝置；
[0033]110、410、810:圖像獲取模塊；
[0034]120、420、820:圖像校正模塊；
[0035]130、430、830:梯度計(jì)算模塊；
[0036]140、440、840:地圖產(chǎn)生模塊；
[0037]150、450、850:圖像合成模塊；
[0038]460:圖像模糊模塊；
[0039]860:地圖調(diào)整模塊；
[0040]Imgl、Img2、Img3、Img_b、Img_F、Imgl_blur、Img2_cal:圖像
[0041]G1、G2:梯度值；
[0042]bokeh_map:散景地圖；
[0043]map、allin_map:參數(shù)地圖；
[0044]S210 ?S250、S510 ?S560、S610 ?S625、S710 ?S750:步驟。
【具體實(shí)施方式】
[0045]本發(fā)明提出一種通過利用不同焦距值所拍攝的多張圖像來產(chǎn)生散景圖像以及全景深圖像的方法。先對焦于欲拍攝的至少一主體進(jìn)行并進(jìn)行拍攝，接著利用另一焦距對同一場景進(jìn)行拍攝。通過比較兩張圖像的像素梯度來產(chǎn)生參數(shù)地圖，可據(jù)以判斷出圖像中的主體部分，進(jìn)而產(chǎn)生具有散景效果的圖像。另一方面，通過比較至少兩張圖像的像素梯度而產(chǎn)生作為混合圖像的依據(jù)的參數(shù)地圖，進(jìn)而產(chǎn)生全景深圖像。為了使本發(fā)明的內(nèi)容更為明了，以下列舉實(shí)施例作為本發(fā)明確實(shí)能夠據(jù)以實(shí)施的范例。
[0046]圖1是依照本發(fā)明一實(shí)施例所繪示的影像圖像獲取裝置的功能方塊示意圖。請參照圖1，本實(shí)施例的圖像獲取裝置100例如是數(shù)碼相機(jī)、單反相機(jī)、數(shù)碼攝影機(jī)或是其他具有圖像獲取功能的智能手機(jī)、平板電腦、頭戴顯示器等等，不限于上述。圖像獲取裝置100包括圖像獲取模塊110、圖像校正模塊120、梯度計(jì)算模塊130、地圖產(chǎn)生模塊140以及圖像合成模塊150。
[0047]圖像獲取模塊110包括變焦鏡頭以及感光元件。感光元件例如是電荷稱合元件(Charge Coupled Device, CCD)、互補(bǔ)性氧化金屬半導(dǎo)體(Complementary Metal-OxideSemiconductor, CMOS)元件或其他元件，圖像獲取模塊110還可包括光圈等,在此皆不設(shè)限。圖像獲取模塊110可依據(jù)不同的焦距值來獲取不同的圖像。
[0048]另一方面，圖像校正模塊120、梯度計(jì)算模塊130、地圖產(chǎn)生模塊140以及圖像合成模塊150可由軟件、硬件或其組合實(shí)作而得，在此不加以限制。軟件例如是原始碼、操作系統(tǒng)、應(yīng)用軟件或驅(qū)動程序等。硬件例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化的一般用途或特殊用途的微處理器(Microprocessor)。
[0049]圖2是依照本發(fā)明一實(shí)施例所繪示的影像圖像處理方法流程圖。本實(shí)施例的方法適用于圖1的圖像獲取裝置100，以下即搭配圖像獲取裝置100中的各模塊說明本實(shí)施例的詳細(xì)步驟:
[0050]首先，于步驟S210中，圖像獲取模塊110以第一焦距獲取第一圖像，并以第二焦距獲取第二圖像，其中第一焦距對焦于至少一主體。也就是說，圖像獲取模塊110利用兩種不同的焦距長度拍攝出兩張圖像。其中，在相同條件下，以不同焦距所拍攝的畫面結(jié)果會有所不同。具體來說，就對焦于主體的第一圖像而言，其圖像中的主體部份是最為清晰的。
[0051]于步驟S220中，圖像校正模塊120對第二圖像進(jìn)行幾何校正程序，產(chǎn)生位移校正后的第二圖像。由于第一圖像與第二圖像系由使用者對同一場景連續(xù)拍攝所得，期間由于相機(jī)的晃動或移動，可能會拍攝出不同角度的圖像，即第一圖像與第二圖像會有位移的產(chǎn)生。因此圖像校正模塊120對第二圖像進(jìn)行幾何校正程序，換言之，幾何校正程序可使位移校正后的第二圖像的起始像素點(diǎn)位置相同于第一圖像的起始像素點(diǎn)位置。
[0052]于步驟S230中，梯度計(jì)算模塊130對第一圖像的每一像素點(diǎn)執(zhí)行一梯度運(yùn)算以產(chǎn)生多個(gè)第一梯度值，以及對位移校正后的第二圖像的每一像素點(diǎn)執(zhí)行梯度運(yùn)算以產(chǎn)生多個(gè)第二梯度值。也就是說，第一圖像中的各個(gè)像素點(diǎn)具有其第一梯度值，而位移校正后的第二圖像中的各個(gè)像素點(diǎn)具有其第二梯度值。
[0053]于步驟S240中，地圖產(chǎn)生模塊140比較各第一梯度值與相對應(yīng)的各第二梯度值以產(chǎn)生多個(gè)第一像素比較結(jié)果，并根據(jù)第一像素比較結(jié)果產(chǎn)生第一參數(shù)地圖。簡單來說，地圖產(chǎn)生模塊140會將位置相同的像素點(diǎn)的梯度值進(jìn)行比較,對于每個(gè)像素點(diǎn)位置而言都會有一個(gè)像素比較結(jié)果。
[0054]于步驟S250中，圖像合成模塊150依據(jù)第一參數(shù)地圖與第一圖像產(chǎn)生合成圖像，并至少根據(jù)合成圖像產(chǎn)生輸出圖像。詳細(xì)來說，在取得參數(shù)地圖之后，圖像獲取裝置100可以依據(jù)參數(shù)地圖混合第一圖像以及本身經(jīng)過其他圖像處理后的圖像，據(jù)以產(chǎn)生合成圖像。此外，圖像獲取裝置100也可以依據(jù)參數(shù)地圖混合第一圖像與第二圖像，據(jù)以產(chǎn)生合成圖像。
[0055]值得一提的是，上述實(shí)施方式雖然是以兩種焦距所拍攝出來的兩張圖像為例，但本發(fā)明并不限制于此。本發(fā)明可視實(shí)際應(yīng)用狀況而定，延伸為利用多個(gè)焦距所拍攝出來的多張圖像來取得最終的輸出圖像。舉例來說，由于焦距不同的圖像各分別具有不同的清晰圖像部份，因此可通過多張不同焦距的圖像而取得清晰的全景深圖像。另外，本發(fā)明的圖像處理方法可通過對焦于主體、背景以及前景的三張圖像，進(jìn)而產(chǎn)生出僅有主體清晰的輸出圖像。以下將列舉另一實(shí)施例詳細(xì)說明之。
[0056]圖3為依照本發(fā)明另一實(shí)施例所繪示的圖像處理方法的示意圖。在本實(shí)施例中，圖像獲取模塊110利用第一焦距與第二焦距獲取第一圖像Imgl與第二圖像Img2。之后，如同上述實(shí)施例的說明，通過圖像校正模塊120、梯度計(jì)算模塊130、地圖產(chǎn)生模塊、圖像合成模塊150的處理，可據(jù)以產(chǎn)生合成圖像Img_b，于此不再贅述。需注意的是，上述實(shí)施例中圖像合成模塊150可將合成圖像Img_b作為最后的輸出圖像,但在本實(shí)施例中，合成圖像Img_b將進(jìn)一步與另一圖像進(jìn)行合成而產(chǎn)生最終的輸出圖像Img_F。詳細(xì)來說，如圖3所示，圖像獲取模塊110將再以第三焦距獲取第三圖像Img3。圖像校正模塊120對第三圖像Img3進(jìn)行幾何校正程序，產(chǎn)生位移校正后的第三圖像Img3。
[0057]之后，梯度計(jì)算模塊對合成圖像Img_b的每一像素點(diǎn)執(zhí)行梯度運(yùn)算以產(chǎn)生多個(gè)第三梯度值，以及對位移校正后的第三影Img3像的每一像素點(diǎn)執(zhí)行該梯度運(yùn)算以產(chǎn)生多個(gè)第四梯度值。地圖產(chǎn)生模塊140比較各第三梯度值與相對應(yīng)的各第四梯度值以產(chǎn)生多個(gè)第二像素比較結(jié)果，并根據(jù)第二像素比較結(jié)果產(chǎn)生第二參數(shù)地圖。于此的第二參數(shù)地圖是通過計(jì)算合成圖像Img_b與第三圖像Img3的梯度值而取得，其內(nèi)部的參數(shù)值將與前述的利用第一圖像Imgl與第二圖像Img2所計(jì)算出來的參數(shù)地圖不同。圖像合成模塊150依據(jù)第二參數(shù)地圖，混合位移校正后的第三圖像Img3與該合成圖像Img_b產(chǎn)生輸出圖像Img_F?；谏鲜隹芍?，本發(fā)明并不限制用以混合出最后輸出圖像的圖像數(shù)目，可視實(shí)際應(yīng)用需求而定。
[0058]然而，本發(fā)明的實(shí)現(xiàn)方式不限于上述說明，可以對于實(shí)際的需求而酌予變更上述實(shí)施例的內(nèi)容。例如，在本發(fā)明的再一實(shí)施例中，圖像獲取裝置還可以更包括圖像模糊模塊，以制作出具有散景效果的主體清晰圖像。另外，在本發(fā)明的又一實(shí)施例中，圖像獲取裝置還可以更包括地圖調(diào)整模塊，以制作出具有良好全景深效果的全景深圖像。為了進(jìn)一步說明本發(fā)明的梯度計(jì)算模塊、地圖產(chǎn)生模塊以及圖像合成模塊如何依據(jù)不同焦距的圖像而合成出散景圖像以及全景深圖像，以下將分別列舉實(shí)施例詳細(xì)說明。
[0059]圖4是依照本發(fā)明的又一實(shí)施例所繪示的圖像獲取裝置的方塊圖。圖像獲取裝置400包括圖像獲取模塊410、圖像校正模塊420、梯度計(jì)算模塊430、地圖產(chǎn)收模塊440、圖像合成模塊450以及圖像模糊模塊460。其中，圖像獲取模塊410、圖像校正模塊420、梯度計(jì)算模塊430、地圖產(chǎn)收模塊440以及圖像合成模塊450相似或類似于圖1所示的圖像獲取模塊110、圖像校正模塊120、梯度計(jì)算模塊130、地圖產(chǎn)收模塊140以及圖像合成模塊150，于此不再贅述。圖4所示實(shí)施例可以參照圖1至圖3的相關(guān)說明而類推之。
[0060]需特別說明的是，與圖1所示的圖像獲取裝置100不同的是，圖像獲取裝置400更包括圖像模糊模塊460。其中，圖像模糊模塊460例如是采用高斯濾波器(Gaussianfilter)、雙向?yàn)V波器(Bilateral filter)或平均濾波器(Average filter)等,用以對第一圖像Imgl進(jìn)行模糊化程序，本發(fā)明對此不限制。另外，在本實(shí)施例中，假設(shè)第二焦距為對焦于背景的焦距。
[0061]圖5是依照本發(fā)明一實(shí)施例所繪示的圖像處理方法流程圖。本實(shí)施例的方法適用于圖4的圖像獲取裝置400，以下即搭配圖像獲取裝置400中的各模塊說明本實(shí)施例的詳細(xì)步驟:
[0062]首先于步驟S510中，圖像獲取模塊410以第一焦距獲取第一圖像Imgl，并以第二焦距獲取第二圖像Img2，其中第一焦距對焦于至少一主體，第二焦距對焦于背景。對焦于主體所拍攝出來的第一圖像Imgl中，主體較為清晰，背景較為模糊。相較于第一圖像ImglJi焦于背景所拍攝出來的第二圖像Img2中，背景較為清晰。接著，如步驟S520所述，圖像模糊模塊460對第一圖像Imgl進(jìn)行模糊化程序，以產(chǎn)生模糊圖像Imgl_blur。
[0063]于步驟S530中，圖像校正模塊420對第二圖像Img2進(jìn)行幾何校正程序，產(chǎn)生位移校正后的第二圖像Img2_cal。詳言之，圖像校正模塊420可對第一圖像Imgl與第二圖像Img2進(jìn)行移動量估測,藉以計(jì)算出單應(yīng)性矩陣(homography matrix)。接著，圖像校正模塊420依據(jù)此單應(yīng)性矩陣對第二圖像Img2進(jìn)行幾何仿射轉(zhuǎn)換(affine transformation),以獲得轉(zhuǎn)換后的位移校正后的第二圖像Img2_cal。據(jù)此，第一圖像Imgl中主體區(qū)域的起始像素點(diǎn)位置會與位移校正后的第二圖像Img2_cal主體區(qū)域的起始像素點(diǎn)位置相同。[0064]然后，于步驟S540中，梯度計(jì)算模塊430對第一圖像Imgl的每一像素點(diǎn)執(zhí)行梯度運(yùn)算以產(chǎn)生多個(gè)第一梯度值G1，以及對位移校正后的第二圖像Img2_cal的每一像素點(diǎn)執(zhí)行梯度運(yùn)算以產(chǎn)生多個(gè)第二梯度值G2。其中，梯度運(yùn)算可以是水平方向梯度值運(yùn)算、垂直方向梯度值運(yùn)算或二對角線方向梯度值運(yùn)算，本發(fā)明對此不限制。也就是說，第一梯度值與第二梯度值對應(yīng)于其梯度運(yùn)算的方式可以是水平方向梯度值、垂直方向梯度值或二對角線方向梯度值。其中，水平方向梯度值為此像素點(diǎn)與二相鄰水平方向像素點(diǎn)的灰階差絕對值之和。垂直方向梯度值為此像素點(diǎn)與二相鄰垂直方向像素點(diǎn)的灰階差絕對值之和。對角線方向梯度值包括此像素點(diǎn)與對角線方向像素點(diǎn)的灰階差絕對值之和。
[0065]需說明的是，在本實(shí)施例中，由于第一圖像Imgl是對焦于主體所拍攝的圖像，所以相較于位移校正圖像Img2_cal而言，第一圖像Imgl中的主體會較為清晰。也就是說，第一圖像Imgl的焦距內(nèi)主體區(qū)域的像素點(diǎn)的梯度值會大于位移校正后的第二圖像Img2_cal的相同位置的像素點(diǎn)的梯度值。反之，由于位移校正后的第二圖像Img2_cal是對焦于背景所產(chǎn)生的圖像，所以第一圖像Imgl的背景區(qū)域的像素點(diǎn)的梯度值會小于位移校正圖像Img2_cal的相同位置的像素點(diǎn)的梯度值。
[0066]基此，于步驟S550中，地圖產(chǎn)生模塊440比較各第一梯度值Gl與相對應(yīng)的各第二梯度值G2以產(chǎn)生多個(gè)比較結(jié)果，并根據(jù)比較結(jié)果產(chǎn)生參數(shù)地圖。需說明的是，在本實(shí)施例中，參數(shù)地圖稱之為散景地圖bokeh_map。詳細(xì)來說，地圖產(chǎn)生模塊440將比較第一圖像Imgl與位移校正后的第二圖像Img2_cal中各個(gè)相同位置的像素點(diǎn)的梯度值。再者，基于上述第一圖像Imgl與位移校正后的第二圖像Img2_cal中各像素點(diǎn)的梯度值的關(guān)系，可通過比較結(jié)果判別出第一圖像Imgl中各個(gè)像素點(diǎn)是位于主體區(qū)域或背景區(qū)域。地圖產(chǎn)生模塊440通過第一圖像Imgl與位移校正后的第二圖像Img2_cal中各像素點(diǎn)的梯度值的比較結(jié)果，可產(chǎn)生出散景地圖bokeh_map。換句話說,散景地圖bokeh_map帶有第一圖像Imgl與位移校正后的第二圖像Img2_cal中各位置相同的像素點(diǎn)的梯度值的比較結(jié)果資訊。
[0067]最后，于步驟S560中，圖像合成模塊450根據(jù)散景地圖bokeh_map混合第一圖像Imgl與模糊圖像Imgl_blur以產(chǎn)生主體清晰圖像Imgl_bokeh。由此可見,第二圖像Img2是用以產(chǎn)生散景地圖bokeh_map,圖像合成模塊450是根據(jù)散景地圖bokeh_map混合第一圖像Imgl與模糊圖像Imgl_blur來產(chǎn)生具有散景效果的主體清晰圖像Imgl_bokeh。如此一來，就可產(chǎn)生保持被攝主體區(qū)域的清晰而模糊其他背景區(qū)域的散景圖像。
[0068]另外，以下將更進(jìn)一步詳細(xì)說明地圖產(chǎn)生模塊440如何根據(jù)比較各第一梯度值Gl與相對應(yīng)的各第二梯度值G2的結(jié)果來產(chǎn)生散景地圖bokeh_map。圖6是根據(jù)本發(fā)明實(shí)施例所繪示圖5中步驟S550的詳細(xì)流程圖。請同時(shí)參照圖4與圖6，在步驟S610中，地圖產(chǎn)生模塊440將第二梯度值G2除以相對應(yīng)的第一梯度值Gl，產(chǎn)生梯度比較值。在步驟S620中，地圖產(chǎn)生模塊440依據(jù)梯度比較值產(chǎn)生多個(gè)參數(shù)值，并將參數(shù)值記錄為散景地圖bokeh_map。舉例來說，若第一圖像Imgl與位移校正圖像Img2_cal分別具有1024*768個(gè)像素點(diǎn)，在經(jīng)由圖像處理模塊140運(yùn)算后將產(chǎn)生1024*768個(gè)梯度比較值，則散景地圖bokeh_map將包含1024*768個(gè)參數(shù)值。在此，步驟S620可以分為步驟S621至步驟S625實(shí)施之。
[0069]地圖產(chǎn)生模塊440判斷各個(gè)位置的梯度比較值是否大于第一梯度臨界值(步驟S621)。若梯度比較值大于第一梯度臨界值，地圖產(chǎn)生模塊440設(shè)定對應(yīng)于此梯度比較值的參數(shù)值為第一數(shù)值(步驟S622)，于此稱第一數(shù)值為散景背景值。換言之，若梯度比較值大于第一梯度臨界值，代表此位置的像素點(diǎn)位于背景的區(qū)域。若梯度比較值并沒有大于第一梯度臨界值，地圖產(chǎn)生模塊440判斷梯度比較值是否大于第二梯度臨界值(步驟S623)。若梯度比較值大于第二梯度臨界值，地圖產(chǎn)生模塊440設(shè)定對應(yīng)于此梯度比較值的參數(shù)值為第二數(shù)值(步驟S324)，在此稱第二數(shù)值為散景邊緣值。簡單來說，若梯度比較值介于第二梯度臨界值與第一梯度臨界值之間，代表此位置的像素點(diǎn)位于主體連接背景之間的邊緣區(qū)域。若梯度比較值沒有大于第二梯度臨界值，地圖產(chǎn)生模塊440設(shè)定對應(yīng)于此梯度比較值的參數(shù)值設(shè)定為第三數(shù)值(步驟S625)，在此稱第三數(shù)值為散景主體值，即此位置的像素點(diǎn)位于主體的區(qū)域。需注意的是，散景邊緣值將介于散景背景值與散景主體值之間，且第一梯度臨界值大于第二梯度臨界值，而第一梯度臨界值與是第二梯度臨界值依據(jù)實(shí)際情況而適當(dāng)設(shè)定，本發(fā)明對此不限制。
[0070]舉例來說，假設(shè)地圖產(chǎn)生模塊440設(shè)定參數(shù)值介于O與255之間，則圖像處理模塊140可利用下列程式碼(I)來產(chǎn)生散景地圖bokeh_map:
[0071]
【權(quán)利要求】
1.一種圖像處理方法，適用于圖像獲取裝置，其特征在于，該圖像處理方法包括: 以第一焦距獲取第一圖像，并以第二焦距獲取第二圖像，其中該第一焦距對焦于至少一主體； 對該第二圖像進(jìn)行幾何校正程序，產(chǎn)生位移校正后的該第二圖像； 對該第圖像的每一像素點(diǎn)執(zhí)行梯度運(yùn)算以產(chǎn)生多個(gè)第一梯度值，以及對位移校正后的該第二圖像的每一像素點(diǎn)執(zhí)行該梯度運(yùn)算以產(chǎn)生多個(gè)第二梯度值； 比較各該第一梯度值與相對應(yīng)的各該第二梯度值以產(chǎn)生多個(gè)第一像素比較結(jié)果，并根據(jù)該些第一像素比較結(jié)果產(chǎn)生第一參數(shù)地圖；以及 依據(jù)該第一參數(shù)地圖與該第一圖像產(chǎn)生合成圖像，并至少根據(jù)該合成圖像產(chǎn)生輸出圖像。
2.根據(jù)權(quán)利要求1所述 的圖像處理方法，其特征在于，至少根據(jù)該合成圖像產(chǎn)生該輸出圖像的步驟包括: 以第三焦距獲取第三圖像； 對該第三圖像進(jìn)行該幾何校正程序，產(chǎn)生位移校正后的該第三圖像； 對該合成圖像的每一像素點(diǎn)執(zhí)行該梯度運(yùn)算以產(chǎn)生多個(gè)第三梯度值，以及對位移校正后的該第三圖像的每一像素點(diǎn)執(zhí)行該梯度運(yùn)算以產(chǎn)生多個(gè)第四梯度值； 比較各該第三梯度值與相對應(yīng)的各該第四梯度值以產(chǎn)生多個(gè)第二像素比較結(jié)果，并根據(jù)該些第二像素比較結(jié)果產(chǎn)生第二參數(shù)地圖；以及 依據(jù)該第二參數(shù)地圖，混合位移校正后的該第三圖像與該合成圖像產(chǎn)生該輸出圖像。
3.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，對該第二圖像進(jìn)行該幾何校正程序，產(chǎn)生位移校正后的該第二圖像的步驟包括: 對該第一圖像與該第二圖像進(jìn)行移動量估測，藉以計(jì)算單應(yīng)性矩陣；以及 依據(jù)該單應(yīng)性矩陣對該第二圖像進(jìn)行幾何仿射轉(zhuǎn)換，以獲得位移校正后的該第二圖像。
4.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，比較各該第一梯度值與相對應(yīng)的各該第二梯度值以產(chǎn)生該些第一像素比較結(jié)果，并根據(jù)該些第一像素比較結(jié)果產(chǎn)生該參數(shù)地圖的步驟包括: 將該些第二梯度值除以相對應(yīng)的該些第一梯度值，產(chǎn)生多個(gè)梯度比較值；以及 依據(jù)該些梯度比較值產(chǎn)生多個(gè)參數(shù)值，并將該些參數(shù)值記錄為該參數(shù)地圖。
5.根據(jù)權(quán)利要求4所述的圖像處理方法，其特征在于，依據(jù)該些梯度比較值產(chǎn)生該些參數(shù)值的步驟包括: 判斷該些梯度比較值是否大于第一梯度臨界值；以及 若該些梯度比較值大于該第一梯度臨界值，設(shè)定該些梯度比較值所對應(yīng)的該些參數(shù)值為第一數(shù)值。
6.根據(jù)權(quán)利要求5所述的圖像處理方法，其特征在于，依據(jù)該些梯度比較值產(chǎn)生該些參數(shù)值的步驟包括: 若該些梯度比較值并無大于該第一梯度臨界值，判斷該些梯度比較值是否大于第二梯度臨界值； 若該些梯度比較值大于該第二梯度臨界值，設(shè)定該些梯度比較值所對應(yīng)的該些參數(shù)值為第二數(shù)值；以及 若該些梯度比較值并無大于該第二梯度臨界值，設(shè)定該些梯度比較值所對應(yīng)的該些參數(shù)值設(shè)定為第三數(shù)值， 其中，該第一梯度臨界值大于該第二梯度臨界值。
7.根據(jù)權(quán)利要求4所述的圖像處理方法，其特征在于，至少依據(jù)該第一參數(shù)地圖與該第一圖像產(chǎn)生該合成圖像的步驟包括: 對該第一圖像進(jìn)行模糊化程序，產(chǎn)生模糊圖像；以及 根據(jù)該第一參考地圖混合該第一圖像與該模糊圖像以產(chǎn)生主體清晰圖像。
8.根據(jù)權(quán)利要求7所述的圖像處理方法，其特征在于，根據(jù)該第一參考地圖混合該第一圖像與該模糊圖像以產(chǎn)生該主體清晰圖像的步驟包括: 判斷該些參數(shù)值是否大于第一混合臨界值； 若該些參數(shù)值大于該第一混合臨界值，取該些參數(shù)值所對應(yīng)的該模糊圖像的像素點(diǎn)作為該主體清晰圖像的像素點(diǎn)； 若該些參數(shù)值并無大于該第一混合臨界值，判斷該些參數(shù)值是否大于第二混合臨界值； 若該些參數(shù)值大于該第二混合臨界值，依據(jù)該些參數(shù)值計(jì)算出對應(yīng)的該主體清晰圖像的像素點(diǎn)；以及 若該些參數(shù)值并無大于該第二混合臨界值，取該些參數(shù)值所對應(yīng)的該第一圖像的像素點(diǎn)作為該主體清晰圖像的像素點(diǎn)，其中，該第一混合臨界值大于該第二混合臨界值。
9.根據(jù)權(quán)利要求4所述的圖像處理方法，其特征在于，至少依據(jù)該第一參數(shù)地圖與該第一圖像產(chǎn)生該合成圖像的步驟包括: 依據(jù)該第一圖像與該第二圖像中各像素點(diǎn)的像素值計(jì)算出各像素點(diǎn)所對應(yīng)的多個(gè)絕對差值和，并依據(jù)該些絕對差值和調(diào)整該第一參數(shù)地圖中的該些參數(shù)值；以及 根據(jù)調(diào)整后的該第一參考地圖，混合該第一圖像與位移校正后的該第二圖像以產(chǎn)生全景深圖像。
10.根據(jù)權(quán)利要求9所述的圖像處理方法，其特征在于，依據(jù)該第一圖像與該第二圖像中各像素點(diǎn)的像素值計(jì)算出各像素點(diǎn)所對應(yīng)的該些絕對差值和，并依據(jù)該些絕對差值和調(diào)整該第一參數(shù)地圖中的該些參數(shù)值的步驟包括: 當(dāng)該些絕對差值和大于移動臨界值，依據(jù)該些絕對差值和決定各該參數(shù)值的權(quán)重因子，并利用該權(quán)重因子調(diào)整該些參數(shù)值，其中各該參數(shù)值隨著對應(yīng)的該絕對差值和的上升而下降。
11.根據(jù)權(quán)利要求9所述的圖像處理方法，其特征在于，根據(jù)經(jīng)由該些權(quán)重因子調(diào)整后的該第一參考地圖，混合該第一圖像與位移校正后的該第二圖像以產(chǎn)生該全景深圖像的步驟包括: 判斷該些參數(shù)值是否大于第一混合臨界值； 若該些參數(shù)值大于該第一混合臨界值，取該些參數(shù)值所對應(yīng)的位移校正后的該第二圖像的像素點(diǎn)作為該全景深圖像的像素點(diǎn)； 若該些參數(shù)值并無大于該第一混合臨界值，判斷該些參數(shù)值是否大于第二混合臨界值；若該些參數(shù)值大于該第二混合臨界值，依據(jù)該些參數(shù)值計(jì)算出對應(yīng)的該全景深圖像的像素點(diǎn)；以及 若該些參數(shù)值并無大于該第二混合臨界值，取該些參數(shù)值所對應(yīng)的該第一圖像的像素點(diǎn)作為該全景深圖像的像素點(diǎn)，其中，該第一混合臨界值大于該第二混合臨界值。
12.—種圖像獲取裝置，其特征在于，包括: 圖像獲取模塊，以第一焦距獲取第一圖像，并以第二焦距獲取第二圖像，其中該第一焦距對焦于至少一主體； 圖像校正模塊，對該第二圖像進(jìn)行幾何校正程序，產(chǎn)生位移校正后的該第二圖像； 梯度計(jì)算模塊，對該第一圖像的每一像素點(diǎn)執(zhí)行一梯度運(yùn)算以產(chǎn)生多個(gè)第一梯度值，以及對位移校正后的該第二圖像的每一像素點(diǎn)執(zhí)行該梯度運(yùn)算以產(chǎn)生多個(gè)第二梯度值； 地圖產(chǎn)生模塊，比較各該第一梯度值與相對應(yīng)的各該第二梯度值以產(chǎn)生多個(gè)第一像素比較結(jié)果，并根據(jù)該些第一像素比較結(jié)果產(chǎn)生第一參數(shù)地圖；以及 圖像合成模塊，依據(jù)該第一參數(shù)地圖與該第一圖像產(chǎn)生合成圖像，并至少根據(jù)該合成圖像產(chǎn)生輸出圖像。
13.根據(jù)權(quán)利要求11所述的圖像獲取裝置，其特征在于，該圖像獲取模塊以第三焦距獲取第三圖像，該圖像校正模塊對該第三圖像進(jìn)行該幾何校正程序而產(chǎn)生位移校正后的該第三圖像，該梯度計(jì)算模塊對該合成圖像的每一像素點(diǎn)執(zhí)行該梯度運(yùn)算以產(chǎn)生多個(gè)第三梯度值，該梯度計(jì)算模塊對位移校正后的該第三圖像的每一像素點(diǎn)執(zhí)行該梯度運(yùn)算以產(chǎn)生多個(gè)第四梯度值，該地圖產(chǎn)生模塊比較各該第三梯度值與相對應(yīng)的各該第四梯度值以產(chǎn)生多個(gè)第二像素比較結(jié)果，該地圖產(chǎn)生模塊并根據(jù)該些第二像素比較結(jié)果產(chǎn)生第二參數(shù)地圖，該圖像合成模塊依據(jù)該第二參數(shù)地圖混合位移校正后的該第三圖像與該合成圖像而產(chǎn)生該輸出圖像。
14.根據(jù)權(quán)利要求11所述的圖像獲取裝置，其中該地圖產(chǎn)生模塊將該些第二梯度值除以相對應(yīng)的該些第一梯度值，以產(chǎn)生多個(gè)梯度比較值，以及依據(jù)該些梯度比較值產(chǎn)生多個(gè)參數(shù)值，并將該些參數(shù)值記錄為該參數(shù)地圖。
15.根據(jù)權(quán)利要求11所述的圖像獲取裝置，其特征在于，還包括圖像模糊模塊，該圖像模糊模塊對該第一圖像進(jìn)行一模糊化程序而產(chǎn)生模糊圖像，該圖像合成模塊根據(jù)該第一參考地圖混合該第一圖像與該模糊圖像以產(chǎn)生主體清晰圖像。
16.根據(jù)權(quán)利要求11所述的圖像獲取裝置，其特征在于，還包括地圖調(diào)整模塊，該地圖調(diào)整模塊依據(jù)該第一圖像與該第二圖像中各像素點(diǎn)的像素值計(jì)算出各像素點(diǎn)所對應(yīng)的多個(gè)絕對差值和，該地圖調(diào)整模塊并依據(jù)該些絕對差值和調(diào)整該第一參數(shù)地圖中的該些參數(shù)值，該圖像合成模塊根據(jù)調(diào)整后的該第一參考地圖混合該第一圖像與位移校正后的該第二圖像以產(chǎn)生全景深圖像。
【文檔編號】H04N5/232GK103973963SQ201310260044
【公開日】2014年8月6日 申請日期:2013年6月26日 優(yōu)先權(quán)日:2013年2月6日
【發(fā)明者】莊哲綸, 周宏隆 申請人:聚晶半導(dǎo)體股份有限公司