圖像處理方法及裝置制造方法
【專利摘要】本申請(qǐng)實(shí)施例提供了一種圖像處理方法及裝置。方法包括：獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像；對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)；至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像。本申請(qǐng)實(shí)施例提供了一種圖像處理方案。
【專利說(shuō)明】圖像處理方法及裝置

【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)實(shí)施例涉及圖像【技術(shù)領(lǐng)域】，尤其涉及一種圖像處理方法及裝置。

【背景技術(shù)】
[0002]隨著各種便攜設(shè)備上拍攝功能的普及，用戶對(duì)于其成像質(zhì)量提出了更高的要求。但是由于便攜設(shè)備成本的限制，便攜設(shè)備上的拍攝鏡頭和傳感器的質(zhì)量與專用相機(jī)還有很大的差距。為了彌補(bǔ)鏡頭透光性、以及傳感器信噪比的不足，滿足弱光條件下對(duì)進(jìn)光量的要求，各大便攜設(shè)備廠商，紛紛采用更大的最大光圈，但大光圈帶來(lái)的問(wèn)題是聚焦平面的景深(cbpth of field)相應(yīng)的會(huì)被壓縮，即拍攝出的照片只有很淺的一段場(chǎng)景會(huì)是清晰對(duì)焦的，而其前后的部分，都會(huì)很模糊。


【發(fā)明內(nèi)容】

[0003]有鑒于此，本申請(qǐng)實(shí)施例的一個(gè)目的在于提供一種圖像處理方案。
[0004]為實(shí)現(xiàn)上述目的，根據(jù)本申請(qǐng)實(shí)施例的第一方面，提供一種圖像處理方法，包括:
[0005]獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像；
[0006]對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)；
[0007]至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像。
[0008]結(jié)合第一方面，在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像，包括:獲取各所述圖像的一空域信號(hào)；
[0009]所述對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的頻域信號(hào)，包括:對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)。
[0010]結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第一方面的第二種可能的實(shí)現(xiàn)方式中，所述空域信號(hào)包括以下任一種:灰度信號(hào)，紅R信號(hào)，綠G信號(hào)，藍(lán)B信號(hào)。
[0011]結(jié)合第一方面的第一或第二種可能的實(shí)現(xiàn)方式，在第一方面的第三種可能的實(shí)現(xiàn)方式中，所述景深參數(shù)包括以下至少一種:光圈F值，對(duì)焦距離。
[0012]結(jié)合第一方面的第三種可能的實(shí)現(xiàn)方式，在第一方面的第四二種可能的實(shí)現(xiàn)方式中，所述對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)，包括:
[0013]響應(yīng)于所述場(chǎng)景的最大深度差不超過(guò)一第一深度差閾值，對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)。
[0014]結(jié)合第一方面的第四種可能的實(shí)現(xiàn)方式，在第一方面的第五種可能的實(shí)現(xiàn)方式中，所述兩張圖像包括:第一圖像和第二圖像；
[0015]所述第二圖像的光圈F值的平方與所述第一圖像的光圈F值的平方的比值和所述第一圖像中所述場(chǎng)景的深度與所述第一圖像的對(duì)焦距離之差與所述第二圖像中所述場(chǎng)景的深度與所述第二圖像的對(duì)焦距離之差的比值的絕對(duì)值的乘積為大于I的第一值；
[0016]所述至少根據(jù)各所述圖像的頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像，包括:
[0017]將所述第一圖像的第一頻域信號(hào)中最低頻且面積為一第二值的第一頻譜區(qū)域的部分作為所述第一圖像的第一光學(xué)傳遞函數(shù)OTF中所述第一頻譜區(qū)域的部分；
[0018]將所述第一 OTF中所述第一頻譜區(qū)域的部分在頻率空間以所述第一值的平方為倍數(shù)放大后，得到所述第二圖像的第二 OTF中第二頻譜區(qū)域的部分，所述第二頻譜區(qū)域的面積等于所述第一頻譜區(qū)域的面積與所述第一值的平方的乘積；
[0019]基于所述第二 OTF中第二頻譜區(qū)域的部分，對(duì)所述第二圖像的第二頻域信號(hào)進(jìn)行局部求逆，得到所述全景深圖像的第三頻域信號(hào)中所述第二頻譜區(qū)域的部分；
[0020]基于所述第三頻域信號(hào)中所述第二頻譜區(qū)域的部分，對(duì)所述第一頻域信號(hào)進(jìn)行局部求逆，得到所述第一 OTF中所述第二頻譜區(qū)域的部分；
[0021]基于所述第一 OTF中所述第二頻譜區(qū)域的部分，依次迭代進(jìn)行所述放大和所述局部求逆，得到所述第三頻域信號(hào)；
[0022]對(duì)所述第三頻域信號(hào)進(jìn)行空域轉(zhuǎn)換，得到所述全景深圖像的一空域信號(hào)。
[0023]結(jié)合第一方面的第五種可能的實(shí)現(xiàn)方式，在第一方面的第六種可能的實(shí)現(xiàn)方式中，所述基于所述第一 OTF中所述第二頻譜區(qū)域的部分，依次迭代進(jìn)行所述放大和所述局部求逆，得到所述第三頻域信號(hào)，包括:
[0024]基于所述第一 OTF中所述第二頻譜區(qū)域的部分，依次迭代進(jìn)行所述放大和所述局部求逆，得到所述第三頻域信號(hào)和所述第一 OTF ;
[0025]所述方法還包括:獲取所述第一圖像的至少一個(gè)其它空域信號(hào)；對(duì)所述第一圖像的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第一圖像的至少一個(gè)其它頻域信號(hào)；基于所述第一 0TF，對(duì)所述第一圖像的至少一個(gè)其它頻域信號(hào)進(jìn)行求逆，得到所述全景深圖像的至少一個(gè)第四頻域信號(hào)；對(duì)所述全景深圖像的至少一個(gè)第四頻域信號(hào)進(jìn)行空域轉(zhuǎn)換，得到所述全景深圖像的至少一個(gè)其它空域信號(hào)。
[0026]結(jié)合第一方面的第三種可能的實(shí)現(xiàn)方式，在第一方面的第七種可能的實(shí)現(xiàn)方式中，所述對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)，包括:
[0027]響應(yīng)于所述場(chǎng)景的最大深度差超過(guò)一第二深度差閾值，以相同的方式將各所述圖像均劃分為至少兩個(gè)區(qū)域，各所述區(qū)域的最大深度差不超過(guò)所述第二深度差閾值；
[0028]對(duì)各所述圖像中對(duì)應(yīng)的至少一對(duì)區(qū)域的至少一對(duì)空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述至少一對(duì)區(qū)域的至少一對(duì)頻域信號(hào)。
[0029]結(jié)合第一方面的第七種可能的實(shí)現(xiàn)方式，在第一方面的第八種可能的實(shí)現(xiàn)方式中，所述兩張圖像包括:第三圖像和第四圖像，各所述圖像中對(duì)應(yīng)的至少一對(duì)區(qū)域包括:所述第三圖像中的一第一區(qū)域和所述第四圖像中與所述第一區(qū)域?qū)?yīng)的一第二區(qū)域；
[0030]所述第四圖像的光圈F的平方與所述第三圖像的光圈F值的平方的比值和所述第三圖像中所述場(chǎng)景的深度與所述第三圖像的對(duì)焦距離之差與所述第四圖像中所述場(chǎng)景的深度與所述第四圖像的對(duì)焦距離之差的比值的絕對(duì)值的乘積為大于I的第三值；
[0031]所述至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像，包括:
[0032]至少根據(jù)所述第一區(qū)域的第五頻域信號(hào)、所述第二區(qū)域的第六頻域信號(hào)、所述第三值，得到所述場(chǎng)景中與所述第一區(qū)域?qū)?yīng)的一第三區(qū)域的第一子圖像的一空域信號(hào)和所述第一區(qū)域的第三OTF ；
[0033]至少根據(jù)所述第一圖像的對(duì)焦距離、所述第一區(qū)域的深度、所述第三0TF、所述第一圖像中所述第一區(qū)域之外的至少一個(gè)第四區(qū)域的深度和一空域信號(hào)，得到所述場(chǎng)景中與所述至少一個(gè)第四區(qū)域?qū)?yīng)的至少一個(gè)第五區(qū)域的至少一個(gè)第二子圖像的至少一個(gè)空域信號(hào);
[0034]根據(jù)所述第三區(qū)域的第一子圖像的一空域信號(hào)、所述至少一個(gè)第五區(qū)域的至少一個(gè)第二子圖像的至少一個(gè)空域信號(hào)，得到所述全景深圖像的一空域信號(hào)。
[0035]結(jié)合第一方面的第八種可能的實(shí)現(xiàn)方式，在第一方面的第九種可能的實(shí)現(xiàn)方式中，所述方法還包括:
[0036]獲取所述第一區(qū)域的至少一個(gè)其它空域信號(hào)；對(duì)所述第一區(qū)域的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第一區(qū)域的至少一個(gè)其它頻域信號(hào)；根據(jù)所述第三OTF、所述第一區(qū)域的至少一個(gè)其它頻域信號(hào)，得到所述第一子圖像的至少一個(gè)其它空域信號(hào)；
[0037]獲取各所述第四區(qū)域的至少一個(gè)其它空域信號(hào)；對(duì)所述第四區(qū)域的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第四區(qū)域的至少一個(gè)其它頻域信號(hào)；根據(jù)所述第三OTF、所述第四區(qū)域的至少一個(gè)其它頻域信號(hào)，得到所述第二子圖像的至少一個(gè)其它空域信號(hào)；
[0038]根據(jù)所述第一子圖像的至少一個(gè)其它空域信號(hào)、所述第二子圖像的至少一個(gè)其它空域信號(hào)，得到所述全景深圖像的至少一個(gè)其它空域信號(hào)。
[0039]結(jié)合第一方面的上述任一種可能的實(shí)現(xiàn)方式，在第一方面的第十種可能的實(shí)現(xiàn)方式中，所述空域信號(hào)的自變量空間是極坐標(biāo)空間。
[0040]結(jié)合第一方面或第一方面的上述任一種可能的實(shí)現(xiàn)方式，在第一方面的第十一種可能的實(shí)現(xiàn)方式中，所述獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像，包括:
[0041]從一圖像拍攝裝置獲取所述圖像拍攝裝置在同一位置以不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像。
[0042]結(jié)合第一方面或第一方面的第一種至第十種中任一種可能的實(shí)現(xiàn)方式，在第一方面的第十二種可能的實(shí)現(xiàn)方式中，所述獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像，包括:
[0043]分別從相同的光圈樣式的兩個(gè)圖像拍攝裝置獲取所述兩個(gè)圖像拍攝裝置在同一位置分別以不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像。
[0044]為實(shí)現(xiàn)上述目的，根據(jù)本申請(qǐng)實(shí)施例的第二方面，提供一種圖像處理裝置，包括:
[0045]圖像獲取模塊，用于獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像；
[0046]頻域轉(zhuǎn)換模塊，用于對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào);
[0047]第一處理模塊，用于至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像。
[0048]結(jié)合第二方面，在第二方面的第一種可能的實(shí)現(xiàn)方式中，所述圖像獲取模塊具體用于:獲取各所述圖像的一空域信號(hào)；
[0049]所述頻域轉(zhuǎn)換模塊具體用于:對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)。
[0050]結(jié)合第二方面的第一種可能的實(shí)現(xiàn)方式，在第二方面的第二種可能的實(shí)現(xiàn)方式中，所述空域信號(hào)包括以下任一種:灰度信號(hào)，紅R信號(hào)，綠G信號(hào)，藍(lán)B信號(hào)。
[0051]結(jié)合第二方面的第一或第二種可能的實(shí)現(xiàn)方式，在第二方面的第三種可能的實(shí)現(xiàn)方式中，所述景深參數(shù)包括以下至少一種:光圈F值，對(duì)焦距離。
[0052]結(jié)合第二方面的第三種可能的實(shí)現(xiàn)方式，在第二方面的第四二種可能的實(shí)現(xiàn)方式中，所述頻域轉(zhuǎn)換模塊具體用于:
[0053]響應(yīng)于所述場(chǎng)景的最大深度差不超過(guò)一第一深度差閾值，對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)。
[0054]結(jié)合第二方面的第四種可能的實(shí)現(xiàn)方式，在第二方面的第五種可能的實(shí)現(xiàn)方式中，所述兩張圖像包括:第一圖像和第二圖像；
[0055]所述第二圖像的光圈F值的平方與所述第一圖像的光圈F值的平方的比值和所述第一圖像中所述場(chǎng)景的深度與所述第一圖像的對(duì)焦距離之差與所述第二圖像中所述場(chǎng)景的深度與所述第二圖像的對(duì)焦距離之差的比值的絕對(duì)值的乘積為大于I的第一值；
[0056]所述第一處理模塊包括:
[0057]第一單元，用于將所述第一圖像的第一頻域信號(hào)中最低頻且面積為一第二值的第一頻譜區(qū)域的部分作為所述第一圖像的第一光學(xué)傳遞函數(shù)OTF中所述第一頻譜區(qū)域的部分;
[0058]第二單元，用于將所述第一 OTF中所述第一頻譜區(qū)域的部分在頻率空間以所述第一值的平方為倍數(shù)放大后，得到所述第二圖像的第二 OTF中第二頻譜區(qū)域的部分，所述第二頻譜區(qū)域的面積等于所述第一頻譜區(qū)域的面積與所述第一值的平方的乘積；
[0059]第三單元，用于基于所述第二 OTF中第二頻譜區(qū)域的部分，對(duì)所述第二圖像的第二頻域信號(hào)進(jìn)行局部求逆，得到所述全景深圖像的第三頻域信號(hào)中所述第二頻譜區(qū)域的部分;
[0060]第四單元，用于基于所述第三頻域信號(hào)中所述第二頻譜區(qū)域的部分，對(duì)所述第一頻域信號(hào)進(jìn)行局部求逆，得到所述第一 OTF中所述第二頻譜區(qū)域的部分；
[0061]第五單元，用于基于所述第一 OTF中所述第二頻譜區(qū)域的部分，依次在所述第二單元、所述第三單元、所述第四單元中迭代進(jìn)行所述放大和所述局部求逆，得到所述第三頻域信號(hào)；
[0062]第六單元，用于對(duì)所述第三頻域信號(hào)進(jìn)行空域轉(zhuǎn)換，得到所述全景深圖像的一空域信號(hào)。
[0063]結(jié)合第二方面的第五種可能的實(shí)現(xiàn)方式，在第二方面的第六種可能的實(shí)現(xiàn)方式中，所述第五單元具體用于:基于所述第一 OTF中所述第二頻譜區(qū)域的部分，依次在所述第二單元、所述第三單元、所述第四單元中迭代進(jìn)行所述放大和所述局部求逆，得到所述第三頻域信號(hào)和所述第一 OTF ;
[0064]所述圖像獲取模塊還用于:獲取所述第一圖像的至少一個(gè)其它空域信號(hào)；
[0065]所述頻域轉(zhuǎn)換模塊還用于:對(duì)所述第一圖像的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第一圖像的至少一個(gè)其它頻域信號(hào)；
[0066]所述裝置還包括:第二處理模塊，用于基于所述第一 OTF，對(duì)所述第一圖像的至少一個(gè)其它頻域信號(hào)進(jìn)行求逆，得到所述全景深圖像的至少一個(gè)第四頻域信號(hào)；對(duì)所述全景深圖像的至少一個(gè)第四頻域信號(hào)進(jìn)行空域轉(zhuǎn)換，得到所述全景深圖像的至少一個(gè)其它空域信號(hào)。
[0067]結(jié)合第二方面的第三種可能的實(shí)現(xiàn)方式，在第二方面的第七種可能的實(shí)現(xiàn)方式中，所述頻域轉(zhuǎn)換模塊，包括:
[0068]劃分單元，用于響應(yīng)于所述場(chǎng)景的最大深度差超過(guò)一第二深度差閾值，以相同的方式將各所述圖像均劃分為至少兩個(gè)區(qū)域，各所述區(qū)域的最大深度差不超過(guò)所述第二深度差閾值；
[0069]轉(zhuǎn)換單元，用于對(duì)各所述圖像中對(duì)應(yīng)的至少一對(duì)區(qū)域的至少一對(duì)空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述至少一對(duì)區(qū)域的至少一對(duì)頻域信號(hào)。
[0070]結(jié)合第二方面的第七種可能的實(shí)現(xiàn)方式，在第二方面的第八種可能的實(shí)現(xiàn)方式中，所述兩張圖像包括:第三圖像和第四圖像，各所述圖像中對(duì)應(yīng)的至少一對(duì)區(qū)域包括:所述第三圖像中的一第一區(qū)域和所述第四圖像中與所述第一區(qū)域?qū)?yīng)的一第二區(qū)域；
[0071]所述第四圖像的光圈F的平方與所述第三圖像的光圈F值的平方的比值和所述第三圖像中所述場(chǎng)景的深度與所述第三圖像的對(duì)焦距離之差與所述第四圖像中所述場(chǎng)景的深度與所述第四圖像的對(duì)焦距離之差的比值的絕對(duì)值的乘積為大于I的第三值；
[0072]所述第一處理模塊包括:
[0073]第七單元，用于至少根據(jù)所述第一區(qū)域的第五頻域信號(hào)、所述第二區(qū)域的第六頻域信號(hào)、所述第三值，得到所述場(chǎng)景中與所述第一區(qū)域?qū)?yīng)的一第三區(qū)域的第一子圖像的一空域信號(hào)和所述第一區(qū)域的第三OTF ;
[0074]第八單元，用于至少根據(jù)所述第一圖像的對(duì)焦距離、所述第一區(qū)域的深度、所述第三OTF、所述第一圖像中所述第一區(qū)域之外的至少一個(gè)第四區(qū)域的深度和一空域信號(hào)，得到所述場(chǎng)景中與所述至少一個(gè)第四區(qū)域?qū)?yīng)的至少一個(gè)第五區(qū)域的至少一個(gè)第二子圖像的至少一個(gè)空域信號(hào)；
[0075]第九單元，用于根據(jù)所述第三區(qū)域的第一子圖像的一空域信號(hào)、所述至少一個(gè)第五區(qū)域的至少一個(gè)第二子圖像的至少一個(gè)空域信號(hào)，得到所述全景深圖像的一空域信號(hào)。
[0076]結(jié)合第二方面的第八種可能的實(shí)現(xiàn)方式，在第二方面的第九種可能的實(shí)現(xiàn)方式中，所述裝置還包括:
[0077]第三處理模塊，用于獲取所述第一區(qū)域的至少一個(gè)其它空域信號(hào)；對(duì)所述第一區(qū)域的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第一區(qū)域的至少一個(gè)其它頻域信號(hào)；根據(jù)所述第三OTF、所述第一區(qū)域的至少一個(gè)其它頻域信號(hào)，得到所述第一子圖像的至少一個(gè)其它空域信號(hào)；
[0078]第四處理模塊，用于獲取各所述第四區(qū)域的至少一個(gè)其它空域信號(hào)；對(duì)所述第四區(qū)域的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第四區(qū)域的至少一個(gè)其它頻域信號(hào)；根據(jù)所述第三OTF、所述第四區(qū)域的至少一個(gè)其它頻域信號(hào)，得到所述第二子圖像的至少一個(gè)其它空域信號(hào)；
[0079]第五處理模塊，用于根據(jù)所述第一子圖像的至少一個(gè)其它空域信號(hào)、所述第二子圖像的至少一個(gè)其它空域信號(hào)，得到所述全景深圖像的至少一個(gè)其它空域信號(hào)。
[0080]結(jié)合第二方面的上述任一種可能的實(shí)現(xiàn)方式，在第二方面的第十種可能的實(shí)現(xiàn)方式中，所述空域信號(hào)的自變量空間是極坐標(biāo)空間。
[0081]結(jié)合第二方面或第二方面的上述任一種可能的實(shí)現(xiàn)方式，在第二方面的第十一種可能的實(shí)現(xiàn)方式中，所述圖像獲取模塊具體用于:從一圖像拍攝裝置獲取所述圖像拍攝裝置在同一位置以不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像。
[0082]結(jié)合第二方面或第二方面的第一種至第十種中任一種可能的實(shí)現(xiàn)方式，所述圖像獲取模塊具體用于:分別從相同的光圈樣式的兩個(gè)圖像拍攝裝置獲取所述兩個(gè)圖像拍攝裝置在同一位置分別以不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像。
[0083]以上多個(gè)技術(shù)方案中的至少一個(gè)技術(shù)方案具有如下有益效果:
[0084]本申請(qǐng)實(shí)施例通過(guò)獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像，對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換得到各所述圖像的一頻域信號(hào)，至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)得到所述場(chǎng)景的全景深圖像，提供了一種圖像處理方案，并且能夠基于一場(chǎng)景的兩張不同景深參數(shù)的圖像得到該場(chǎng)景的全景深圖像，較為便捷。

【專利附圖】

【附圖說(shuō)明】
[0085]圖1為本申請(qǐng)?zhí)峁┑囊环N圖像處理方法實(shí)施例的流程示意圖；
[0086]圖2為本申請(qǐng)的對(duì)焦距離的一種示意圖；
[0087]圖3為本申請(qǐng)實(shí)施例中幾種可能的光圈形狀的示意圖；
[0088]圖4A、圖4B為在同一位置以相同的光圈樣式、不同的光圈大小拍攝的同一場(chǎng)景的兩張圖像的一種不意圖；
[0089]圖4C為在圖4A、圖4B的基礎(chǔ)上采用本實(shí)施例的方法得到的全景深圖像的一種示意圖；
[0090]圖5為本申請(qǐng)?zhí)峁┑囊环N圖像處理裝置實(shí)施例一的結(jié)構(gòu)示意圖；
[0091]圖6A?圖6E分別為圖5所示實(shí)施例的一種實(shí)現(xiàn)方式的結(jié)構(gòu)示意圖；
[0092]圖7為本申請(qǐng)?zhí)峁┑囊环N圖像處理裝置實(shí)施例二的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0093]下面結(jié)合附圖和實(shí)施例，對(duì)本申請(qǐng)的【具體實(shí)施方式】作進(jìn)一步詳細(xì)說(shuō)明。以下實(shí)施例用于說(shuō)明本發(fā)明，但不用來(lái)限制本發(fā)明的范圍。
[0094]圖1為本申請(qǐng)?zhí)峁┑囊环N圖像處理方法實(shí)施例的流程示意圖。如圖1所示，本實(shí)施例包括:
[0095]110、獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像。
[0096]舉例來(lái)說(shuō)，本申請(qǐng)?zhí)峁┑囊环N圖像處理裝置實(shí)施例一或?qū)嵤├鳛楸緦?shí)施例的執(zhí)行主體，執(zhí)行I1?130?？蛇x地，所述圖像處理裝置以軟件和/或硬件的形式設(shè)置在一用戶終端中?？蛇x地，所述用戶終端為一相機(jī)，或者，還包括圖像拍攝裝置的任何用戶終端，比如有拍攝功能的智能手機(jī)。
[0097]本實(shí)施例中，所述光圈樣式可以為任意樣式，常見(jiàn)的是多邊形，比如六邊形。
[0098]本實(shí)施例中，所述景深參數(shù)是指影響景深大小和位置的參數(shù)，所述景深參數(shù)包括以下至少一種:光圈F值、對(duì)焦距離。
[0099]其中，所述光圈F值是指圖像拍攝裝置在拍攝所述圖像時(shí)的光圈F值。在光圈樣式一定的情況下，所述光圈F值決定了光圈大小。通常，對(duì)于一個(gè)圖像拍攝裝置來(lái)說(shuō)，其光圈樣式通常是不變的，但其光圈大小在一些情況下是可以調(diào)整的。具體地，光圈大小可以用光圈F值的平方的倒數(shù)，即1/F~2來(lái)表征，常見(jiàn)的F值包括:1.0，1.4，2.0，2.8，4.0，5.6，8.0，11等。
[0100]其中，所述對(duì)焦距離是指圖像拍攝裝置在拍攝所述圖像時(shí)的對(duì)焦平面與所述圖像拍攝裝置的鏡頭光心的距離。圖2為本申請(qǐng)的對(duì)焦距離的一種示意圖。具體地，對(duì)焦距離受鏡頭焦距和像距(即成像平面與鏡頭光心的距離)的影響。在鏡頭焦距不變的場(chǎng)景中，通?？梢酝ㄟ^(guò)調(diào)整像距來(lái)調(diào)整對(duì)焦距離；在鏡頭焦距可變的場(chǎng)景中，通過(guò)可以通過(guò)調(diào)整像距和/或鏡頭焦距來(lái)調(diào)整對(duì)焦距離。
[0101]本實(shí)施例中，所述不同的景深參數(shù)包括以下任一種情況:光圈F值相同但對(duì)焦距離不同，對(duì)焦距離相同但光圈F值不同，光圈F值和對(duì)焦距離均不同。
[0102]本實(shí)施例中，各所述圖像的光圈F值、對(duì)焦距離可選地從所述圖像的頭文件中獲得。
[0103]120、對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)。
[0104]本實(shí)施例中，任一圖像均可以用該圖像的至少一個(gè)空域信號(hào)表示。其中，所述空域信號(hào)包括但不限于以下任一種:灰度信號(hào)，紅(Red，簡(jiǎn)稱R)信號(hào)，綠(Green，簡(jiǎn)稱G)信號(hào)，藍(lán)(Blue，簡(jiǎn)稱B)信號(hào)。
[0105]可選地，所述獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像，包括:獲取各所述圖像的一空域信號(hào)；
[0106]所述對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)，包括:對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)。
[0107]舉例來(lái)說(shuō)，所述兩張圖像包括圖像A和圖像B，110中獲取圖像A的R信號(hào)和圖像B的R信號(hào)，120中分別對(duì)圖像A的R信號(hào)和圖像B的R信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到圖像A的一頻域信號(hào)和圖像B的一頻域信號(hào)。
[0108]具體地，由于圖像通常是二維的，圖像的空域信號(hào)也是二維的，S卩，所述圖像的空域信號(hào)的自變量空間是二維空間。
[0109]本實(shí)施例中，所述頻域轉(zhuǎn)換可以有多種方式，比如，傅里葉變換(FourierTransform，簡(jiǎn)稱 FT)，小波變換(Wavelet Transform，簡(jiǎn)稱 WT)等。
[0110]130、至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像。
[0111]本實(shí)施例中，所述至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像，包括:至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像的一空域信號(hào)。
[0112]舉例來(lái)說(shuō)，所述兩張圖像包括圖像A和圖像B，110中獲取圖像A的R信號(hào)和圖像B的R信號(hào)，120中分別對(duì)圖像A的R信號(hào)和圖像B的R信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到圖像A的一頻域信號(hào)和圖像B的一頻域信號(hào)，130中至少根據(jù)圖像A的一頻域信號(hào)、圖像B的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述全景深圖像的R信號(hào)。
[0113]在實(shí)現(xiàn)本發(fā)明的過(guò)程中，發(fā)明人發(fā)現(xiàn):對(duì)于同一場(chǎng)景，在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝該場(chǎng)景的圖像時(shí)，拍攝得到的每張圖像的一空域信號(hào)相當(dāng)于該場(chǎng)景的全景深圖像的一對(duì)應(yīng)空域信號(hào)與圖像拍攝裝置在拍攝所述圖像時(shí)的光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)(Point Spread Funct1n，簡(jiǎn)稱PSF)(也稱為:所述圖像的PSF)卷積的結(jié)果，比如，拍攝得到的一圖像的R信號(hào)相當(dāng)于該場(chǎng)景的全景深圖像的R信號(hào)與所述圖像的PSF卷積的結(jié)果，而所述圖像的PSF與所述圖像拍攝裝置的光圈樣式以及在拍攝所述圖像時(shí)的所述景深參數(shù)有關(guān)。具體地，使用相同光圈樣式的圖像拍攝裝置在同一位置拍攝同一場(chǎng)景得到的各圖像的PSF的樣式通常是相同的，而拍攝時(shí)不同的景深參數(shù)決定了相同樣式的PSF在自變量空間的縮放。舉例來(lái)說(shuō)，若使用相同光圈樣式的圖像拍攝裝置在同一位置拍攝同一場(chǎng)景得到的兩張圖像的對(duì)焦距離一致，但光圈大小的比值為2，S卩，光圈F值的平方的比值的倒數(shù)為2，則光圈更大的圖像的PSF相當(dāng)于將光圈更小的圖像的PSF在自變量空間以4為倍數(shù)放大的結(jié)果；若使用相同光圈樣式的圖像拍攝裝置在同一位置拍攝同一場(chǎng)景得到的兩張圖像的光圈大小一致，但對(duì)焦距離與所述場(chǎng)景的深度的差值的比值的絕對(duì)值為2，則所述差值的絕對(duì)值更大的圖像的PSF相當(dāng)于將所述差值的絕對(duì)值更小的圖像的PSF在自變量空間以4為倍數(shù)放大的結(jié)果。進(jìn)一步地，由于空域的卷積相當(dāng)于頻域的相乘，因此，拍攝得到的每張圖像的一頻域信號(hào)相當(dāng)于該場(chǎng)景的全景深圖像的一對(duì)應(yīng)頻域信號(hào)與圖像拍攝裝置在拍攝所述圖像時(shí)的光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)(Optical Transfer Funct1n，簡(jiǎn)稱OTF)(也稱為:所述圖像的OTF)的乘積，比如，拍攝得到的一圖像的R信號(hào)的頻域信號(hào)相當(dāng)于該場(chǎng)景的全景深圖像的R信號(hào)的頻域信號(hào)與所述圖像的OTF的乘積，其中，OTF為PSF的頻域表現(xiàn)。具體地，使用相同光圈樣式的圖像拍攝裝置在同一位置拍攝同一場(chǎng)景得到的各圖像的OTF的樣式通常是相同的，而拍攝時(shí)不同的景深參數(shù)決定了相同樣式的OTF在頻率空間的縮放，且OTF的縮放與上述PSF的縮放是反向的。舉例來(lái)說(shuō)，若使用相同光圈樣式的圖像拍攝裝置在同一位置拍攝同一場(chǎng)景得到的兩張圖像的對(duì)焦距離一致，但光圈大小的比值為2，則光圈更小的圖像的OTF相當(dāng)于將光圈更大的圖像的OTF在頻率空間以4為倍數(shù)放大的結(jié)果；若使用相同光圈樣式的圖像拍攝裝置在同一位置拍攝同一場(chǎng)景得到的兩張圖像的光圈大小一致，但對(duì)焦距離與所述場(chǎng)景的深度的差值的比值的絕對(duì)值為2，則所述差值的絕對(duì)值更小的圖像的OTF相當(dāng)于將所述差值的絕對(duì)值更大的圖像的OTF在自變量空間以4為倍數(shù)放大的結(jié)果。
[0114]具體地，所述場(chǎng)景的深度為所述場(chǎng)景與圖像拍攝裝置的鏡頭光心的距離，可選地，所述場(chǎng)景的深度為所述場(chǎng)景中各景物與圖像拍攝裝置的鏡頭光心的距離中最大距離和最小距離的平均值。由于所述兩張圖像是在同一位置針對(duì)同一場(chǎng)景拍攝的，因此，可以認(rèn)為所述兩張圖像中所述場(chǎng)景的深度一致。
[0115]基于發(fā)明人的上述發(fā)現(xiàn)，若110中獲取了兩張圖像的對(duì)應(yīng)空域信號(hào)Kl和K2，120中對(duì)Kl和K2進(jìn)行頻域轉(zhuǎn)換，得到所述兩張圖像的頻域信號(hào)Wl和W2，假設(shè)該兩張圖像的OTF為Fl和F2，所述場(chǎng)景的全景深圖像的對(duì)應(yīng)頻域信號(hào)為I，則滿足:W1 = I*F1，W2 = I*F2，且Fl = a*F2，其中，a與該兩張圖像的景深參數(shù)有關(guān)，相應(yīng)地，如果W1、W2和a已知，則可以得到1、F1和F2，進(jìn)一步地，可以根據(jù)I得到所述場(chǎng)景的全景深圖像的一空域信號(hào)。
[0116]本實(shí)施例通過(guò)獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像，對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換得到各所述圖像的一頻域信號(hào)，至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)得到所述場(chǎng)景的全景深圖像，提供了一種圖像處理方案，并且能夠基于一場(chǎng)景的兩張不同景深參數(shù)的圖像得到該場(chǎng)景的全景深圖像，較為便捷。
[0117]以下通過(guò)一些可選的實(shí)現(xiàn)方式進(jìn)一步地描述本實(shí)施例的方法。
[0118]本實(shí)施例中，雖然所述兩張圖像的光圈樣式相同，但光圈大小可能不同，而在光圈大小不同的場(chǎng)景中，光圈角度可能也會(huì)不同，從而導(dǎo)致PSF、OTF的樣式不同。其中，所述光圈角度通常隨光圈的旋轉(zhuǎn)而改變。圖3為本申請(qǐng)實(shí)施例中幾種可能的光圈形狀的示意圖。如圖3所不，a、b、c的光圈樣式相同、均為五邊形，a、b的光圈大小相同、但光圈角度不同，a、c的光圈大小不同、但光圈角度相同，d的光圈樣式為六邊形、與a、b、c的光圈樣式不同。
[0119]為了避免光圈角度不同導(dǎo)致圖像的PSF樣式、OTF樣式的不同，可選地，110中獲取的各所述圖像的空域信號(hào)的自變量空間為極坐標(biāo)空間，或者，110中獲取的各所述圖像的空域信號(hào)的自變量空間為其它坐標(biāo)空間，比如直角坐標(biāo)空間，相應(yīng)地，在120之前將各所述圖像的空域信號(hào)的自變量空間轉(zhuǎn)換為極坐標(biāo)空間。進(jìn)一步地，130中至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)直接得到的所述全景深圖像的空域信號(hào)的自變量空間為極坐標(biāo)空間，可選地，130中還可以將所述全景深圖像的空域信號(hào)的自變量空間轉(zhuǎn)換為其它坐標(biāo)空間，比如直角坐標(biāo)空間。
[0120]本實(shí)施例中，120有多種實(shí)現(xiàn)方式。
[0121]對(duì)于深度相近的景物，同一光學(xué)系統(tǒng)的PSF差異不大，在一種可選的實(shí)現(xiàn)方式中，所述對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)，包括:
[0122]響應(yīng)于所述場(chǎng)景的最大深度差不超過(guò)一第一深度差閾值，對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)。
[0123]本實(shí)施例中，所述場(chǎng)景的最大深度差是指所述場(chǎng)景中各景物的深度之間的最大差值。具體地，各景物的深度是指各景物與拍攝所述場(chǎng)景的圖像拍攝裝置的鏡頭光心之間的距離。
[0124]其中，所述第一深度差閾值可以是一預(yù)設(shè)的值，比如，I米?？蛇x地，所述第一深度差閾值與圖像拍攝裝置的參數(shù)，比如焦距，有關(guān)。
[0125]對(duì)于深度差別較大的景物，同一光學(xué)系統(tǒng)的PSF的差異較大，為了得到更逼真的全景深圖像，在又一種可選的實(shí)現(xiàn)方式中，所述對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)，包括:
[0126]響應(yīng)于所述場(chǎng)景的最大深度差超過(guò)一第二深度差閾值，以相同的方式將各所述圖像均劃分為至少兩個(gè)區(qū)域，各所述區(qū)域的最大深度差不超過(guò)所述第二深度差閾值；
[0127]對(duì)各所述圖像中對(duì)應(yīng)的至少一對(duì)區(qū)域的至少一對(duì)空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述至少一對(duì)區(qū)域的至少一對(duì)頻域信號(hào)。
[0128]本實(shí)施例中，所述區(qū)域的最大深度差是指所述區(qū)域中各景物的深度之間的最大差值。具體地，各景物的深度是指各景物與拍攝所述場(chǎng)景的圖像拍攝裝置的鏡頭光心之間的距離。
[0129]其中，所述第二深度差閾值可以是一預(yù)設(shè)的值，比如，I米?？蛇x地，所述第二深度差閾值與圖像拍攝裝置的參數(shù)，比如焦距，有關(guān)。需要說(shuō)明的是，所述第二深度差閾值與所述第一深度差閾值可以相同，或者，不同。
[0130]由于各所述圖像均是所述場(chǎng)景的圖像，因此，所述場(chǎng)景中各景物在各所述圖像中的分布均是一致的，進(jìn)一步地，由于采用相同的方式劃分，各所述圖像中對(duì)應(yīng)的每對(duì)區(qū)域包含的景物也是一致的，每對(duì)區(qū)域的深度也是一致的。本實(shí)施例中，任一區(qū)域的深度可以通過(guò)該區(qū)域中各景物的深度得到，比如，一區(qū)域的深度可以是該區(qū)域中各景物的深度中最大深度和最小深度的平均值。
[0131]本實(shí)施例中，130有多種實(shí)現(xiàn)方式。
[0132]在一種可選的實(shí)現(xiàn)方式中，所述兩張圖像包括:第一圖像和第二圖像；所述第二圖像的光圈F值的平方與所述第一圖像的光圈F值的平方的比值和所述第一圖像中所述場(chǎng)景的深度與所述第一圖像的對(duì)焦距離之差與所述第二圖像中所述場(chǎng)景的深度與所述第二圖像的對(duì)焦距離之差的比值的絕對(duì)值的乘積為大于I的第一值；
[0133]所述至少根據(jù)各所述圖像的頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像，包括:
[0134]將所述第一圖像的第一頻域信號(hào)中最低頻且面積為一第二值的第一頻譜區(qū)域的部分作為所述第一圖像的第一光學(xué)傳遞函數(shù)OTF中所述第一頻譜區(qū)域的部分；
[0135]將所述第一 OTF中所述第一頻譜區(qū)域的部分在頻率空間以所述第一值的平方為倍數(shù)放大后，得到所述第二圖像的第二 OTF中第二頻譜區(qū)域的部分，所述第二頻譜區(qū)域的面積等于所述第一頻譜區(qū)域的面積與所述第一值的平方的乘積；
[0136]基于所述第二 OTF中第二頻譜區(qū)域的部分，對(duì)所述第二圖像的第二頻域信號(hào)進(jìn)行局部求逆，得到所述全景深圖像的第三頻域信號(hào)中所述第二頻譜區(qū)域的部分；
[0137]基于所述第三頻域信號(hào)中所述第二頻譜區(qū)域的部分，對(duì)所述第一頻域信號(hào)進(jìn)行局部求逆，得到所述第一 OTF中所述第二頻譜區(qū)域的部分；
[0138]基于所述第一 OTF中所述第二頻譜區(qū)域的部分，依次迭代進(jìn)行所述放大和所述局部求逆，得到所述第三頻域信號(hào)；
[0139]對(duì)所述第三頻域信號(hào)進(jìn)行空域轉(zhuǎn)換，得到所述全景深圖像的一空域信號(hào)。
[0140]具體地，得到的所述全景深圖像的空域信號(hào)與120中進(jìn)行頻域轉(zhuǎn)換的各所述圖像的一空域信號(hào)是對(duì)應(yīng)的。舉例來(lái)說(shuō)，若所述第一頻域信號(hào)和所述第二頻域信號(hào)是將所述第一圖像和所述第二圖像的R信號(hào)進(jìn)行頻域轉(zhuǎn)換得到的，則上述得到的所述全景深圖像的空域信號(hào)是所述全景深圖像的R信號(hào)。
[0141]本實(shí)施例中，一信號(hào)或一函數(shù)中一頻譜區(qū)域的部分是指該信號(hào)或該函數(shù)中屬于該頻譜區(qū)域的部分。比如，所述第一頻域信號(hào)中所述第一頻譜區(qū)域的部分是指所述第一頻域信號(hào)中屬于所述第一頻譜區(qū)域的部分，所述第一 OTF中所述第一頻譜區(qū)域的部分是指所述第一 OTF中屬于所述第一頻譜區(qū)域的部分。
[0142]具體地，所述第二圖像的光圈F值的平方與所述第一圖像的光圈F值的平方的比值為al，所述第一圖像中所述場(chǎng)景的深度與所述第一圖像的對(duì)焦距離之差與所述第二圖像中所述場(chǎng)景的深度與所述第二圖像的對(duì)焦距離之差的比值的絕對(duì)值為a2，所述第一值m =al*a2。其中，al可選地大于1，小于1，或者等于I ;a2可選地大于1，小于1，或者等于I。需要說(shuō)明的是，al = I表示所述第二圖像的光圈F值與所述第一圖像的光圈F值相等，即所述第二圖像的光圈大小與所述第一圖像的光圈大小相等，由于m>l，若al = 1，則a2大于1，即所述第一圖像中所述場(chǎng)景的深度與所述第一圖像的對(duì)焦距離的差值的絕對(duì)值大于所述第二圖像中所述場(chǎng)景的深度與所述第二圖像的對(duì)焦距離的差值的絕對(duì)值，即所述第一圖像中所述場(chǎng)景與對(duì)焦平面的距離大于所述第二圖像中所述場(chǎng)景與對(duì)焦平面的距離；a2 = I表示所述第一圖像中所述場(chǎng)景的深度與所述第一圖像的對(duì)焦距離的差值的絕對(duì)值等于所述第二圖像中所述場(chǎng)景的深度與所述第二圖像的對(duì)焦距離的差值的絕對(duì)值，即所述第一圖像的對(duì)焦距離與所述第二圖像的對(duì)焦距離相等，由于m>l，若a2 = 1，則al大于1，即所述第二圖像的光圈F值大于所述第一圖像的光圈F值，即所述第二圖像的光圈大小小于所述第一圖像的光圈大小。
[0143]由于所述第一值m大于1，所述第一圖像的第一 PSF相當(dāng)于將所述第二圖像的第二PSF在自變量空間以m2為倍數(shù)放大的結(jié)果，所述第一圖像的第一 OTF相當(dāng)于將所述第二圖像的第二 OTF在頻率空間縮小到Ι/m2的結(jié)果。
[0144]需要說(shuō)明的是，在此實(shí)現(xiàn)方式中，所述兩張圖像的光圈F值的平方的比值的倒數(shù)和所述兩張圖像中所述場(chǎng)景與對(duì)焦平面的距離的比值的乘積不等于I。
[0145]其中，所述第二值可以為一預(yù)設(shè)的值。由于所述場(chǎng)景中通常存在顏色較均勻的部分，相應(yīng)地，所述第一頻域信號(hào)的最低頻的頻譜區(qū)域存在幅值為常數(shù)的部分，相應(yīng)地，所述第二值的取值盡量保證所述第一頻域信號(hào)中最低頻且面積為所述第二值的第一頻譜區(qū)域的部分的幅值為常數(shù)。進(jìn)一步地，所述將所述第一圖像的第一頻域信號(hào)中最低頻且面積為一第二值的第一頻譜區(qū)域的部分作為所述第一圖像的第一 OTF中所述第一頻譜區(qū)域的部分的步驟，相當(dāng)于將所述第三頻域信號(hào)中最低頻且面積為所述第二值的第一頻譜區(qū)域的部分的幅值視為1，這會(huì)影響最終得到的所述第三頻域信號(hào)的幅值，但不會(huì)影響所述第三頻域信號(hào)的波形，從而導(dǎo)致得到的所述全景深圖像的一空域信號(hào)相比于理論上應(yīng)當(dāng)?shù)玫降目沼蛐盘?hào)，波形一致但幅值整體縮小或放大了，為了解決此問(wèn)題，可以根據(jù)得到的所述全景深圖像的一空域信號(hào)的最大幅值和任一所述圖像的對(duì)應(yīng)空域信號(hào)的最大幅值之間的比例關(guān)系，整體縮小或放大所述全景深圖像的一空域信號(hào)的幅值。
[0146]可選地，120中進(jìn)行頻域轉(zhuǎn)換的各區(qū)域的空域信號(hào)的自變量空間為直角坐標(biāo)空間，進(jìn)一步可選地，所述第一頻譜區(qū)域?yàn)橐徽叫螀^(qū)域。
[0147]可選地，120中進(jìn)行頻域轉(zhuǎn)換的各區(qū)域的空域信號(hào)的自變量空間為極坐標(biāo)空間，進(jìn)一步可選地，所述第一頻譜區(qū)域?yàn)橐粓A形區(qū)域。
[0148]可選地，所述在頻率空間以所述第一值的平方為倍數(shù)放大是指，在頻率空間的兩個(gè)維度分別以所述第一值為倍數(shù)放大。相應(yīng)地，若所述第一頻譜區(qū)域?yàn)橐徽叫螀^(qū)域，則所述第二頻譜區(qū)域也為一正方形區(qū)域，且所述第二頻譜區(qū)域的邊長(zhǎng)等于所述第一頻譜區(qū)域的邊長(zhǎng)乘以所述第一值；若所述第一頻譜區(qū)域?yàn)橐粓A形區(qū)域，則所述第二頻域區(qū)域也為一圓形區(qū)域，且所述第二頻譜區(qū)域的半徑等于所述第一頻譜區(qū)域的半徑乘以所述第一值。
[0149]在此實(shí)現(xiàn)方式中，為了進(jìn)一步得到所述全景深圖像的至少一個(gè)其它空域信號(hào)，比如在得到所述全景深圖像的R信號(hào)后再得到所述全景深圖像的G信號(hào)、B信號(hào)，可選地，所述基于所述第一 OTF中所述第二頻譜區(qū)域的部分，依次迭代進(jìn)行所述放大和所述局部求逆，得到所述第三頻域信號(hào)，包括:
[0150]基于所述第一 OTF中所述第二頻譜區(qū)域的部分，依次迭代進(jìn)行所述放大和所述局部求逆，得到所述第三頻域信號(hào)和所述第一 OTF ;
[0151]所述方法還包括:獲取所述第一圖像的至少一個(gè)其它空域信號(hào)；對(duì)所述第一圖像的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第一圖像的至少一個(gè)其它頻域信號(hào)；基于所述第一 0TF，對(duì)所述第一圖像的至少一個(gè)其它頻域信號(hào)進(jìn)行求逆，得到所述全景深圖像的至少一個(gè)第四頻域信號(hào)；對(duì)所述全景深圖像的至少一個(gè)第四頻域信號(hào)進(jìn)行空域轉(zhuǎn)換，得到所述全景深圖像的至少一個(gè)其它空域信號(hào)。
[0152]需要說(shuō)明的是，在上述步驟中以所述第一圖像、所述第一 OTF為例說(shuō)明如何得到所述全景深圖像的至少一個(gè)其它空域信號(hào)，本領(lǐng)域技術(shù)人員可以理解，用所述第二圖像替代所述第一圖像，所述第二 OTF替代所述第一 OTF也可以達(dá)到同樣的目的，即得到所述全景深圖像的至少一個(gè)其它空域信號(hào)。
[0153]在又一種可選的實(shí)現(xiàn)方式中，與120中以相同的方式將各所述圖像均劃分為至少兩個(gè)區(qū)域，并得到各所述圖像中對(duì)應(yīng)的至少一對(duì)區(qū)域的至少一對(duì)頻域信號(hào)對(duì)應(yīng)地，130中參考上一實(shí)現(xiàn)方式對(duì)所述至少一對(duì)區(qū)域的至少一對(duì)頻域信號(hào)進(jìn)行處理。
[0154]可選地，所述兩張圖像包括:第三圖像和第四圖像，各所述圖像中對(duì)應(yīng)的至少一對(duì)區(qū)域包括:所述第三圖像中的一第一區(qū)域和所述第四圖像中與所述第一區(qū)域?qū)?yīng)的一第二區(qū)域；
[0155]所述第四圖像的光圈F的平方與所述第三圖像的光圈F值的平方的比值和所述第三圖像中所述場(chǎng)景的深度與所述第三圖像的對(duì)焦距離之差與所述第四圖像中所述場(chǎng)景的深度與所述第四圖像的對(duì)焦距離之差的比值的絕對(duì)值的乘積為大于I的第三值；
[0156]所述至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像，包括:
[0157]至少根據(jù)所述第一區(qū)域的第五頻域信號(hào)、所述第二區(qū)域的第六頻域信號(hào)、所述第三值，得到所述場(chǎng)景中與所述第一區(qū)域?qū)?yīng)的一第三區(qū)域的第一子圖像的一空域信號(hào)和所述第一區(qū)域的第三OTF ；
[0158]至少根據(jù)所述第一圖像的對(duì)焦距離、所述第一區(qū)域的深度、所述第三0TF、所述第一圖像中所述第一區(qū)域之外的至少一個(gè)第四區(qū)域的深度和一空域信號(hào)，得到所述場(chǎng)景中與所述至少一個(gè)第四區(qū)域?qū)?yīng)的至少一個(gè)第五區(qū)域的至少一個(gè)第二子圖像的至少一個(gè)空域信號(hào);
[0159]根據(jù)所述第三區(qū)域的第一子圖像的一空域信號(hào)、所述至少一個(gè)第五區(qū)域的至少一個(gè)第二子圖像的至少一個(gè)空域信號(hào)，得到所述全景深圖像的一空域信號(hào)。
[0160]本實(shí)施例中，任一區(qū)域的深度可以通過(guò)該區(qū)域中各景物的深度得到，比如，區(qū)域的深度可以是該區(qū)域中各景物的深度中最大深度和最小深度的平均值。
[0161]具體地，所述第四圖像的光圈F值的平方與所述第三圖像的光圈F值的平方的比值為bl，所述第三圖像中所述場(chǎng)景的深度與所述第三圖像的對(duì)焦距離的差值與所述第四圖像中所述場(chǎng)景的深度與所述第四圖像的對(duì)焦距離的差值的比值的絕對(duì)值為b2，所述第三值n = bl*b2。其中，bl可選地大于1，小于1，或者等于I ;b2可選地大于1，小于1，或者等于1需要說(shuō)明的是，bl = I表示所述第四圖像的光圈F值與所述第三圖像的光圈F值相等，即所述第四圖像的光圈大小與所述第三圖像的光圈大小相等，由于η>1，若bl = 1，則b2大于1，即所述第三圖像中所述場(chǎng)景的深度與所述第三圖像的對(duì)焦距離的差值的絕對(duì)值大于所述第四圖像中所述場(chǎng)景的深度與所述第四圖像的對(duì)焦距離的差值的絕對(duì)值；b2 = I表示所述第三圖像中所述場(chǎng)景的深度與所述第三圖像的對(duì)焦距離的差值的絕對(duì)值等于所述第四圖像中所述場(chǎng)景的深度與所述第四圖像的對(duì)焦距離的差值的絕對(duì)值，即所述第三圖像的對(duì)焦距離與所述第四圖像的對(duì)焦距離相等，由于η>1，若b2 = 1，則bl大于1，即所述第四圖像的光圈F值大于所述第三圖像的光圈F值，即所述第四圖像的光圈大小小于所述第三圖像的光圈大小。
[0162]由于所述第三值η大于1，所述第一區(qū)域的第三PSF相當(dāng)于將所述第二區(qū)域的第四PSF在自變量空間以η2為倍數(shù)放大的結(jié)果，所述第一區(qū)域的第三OTF相當(dāng)于將所述第二區(qū)域的第四OTF在頻率空間縮小到I/η2的結(jié)果。
[0163]需要說(shuō)明的是，在此實(shí)現(xiàn)方式中，所述兩張圖像的光圈F值的平方的比值的倒數(shù)和所述兩張圖像中所述場(chǎng)景與對(duì)焦平面的距離的比值的乘積不等于I。
[0164]具體地，所述至少根據(jù)所述第一區(qū)域的第五頻域信號(hào)、所述第二區(qū)域的第六頻域信號(hào)、所述第三值，得到所述場(chǎng)景中與所述第一區(qū)域?qū)?yīng)的一第三區(qū)域的第一子圖像的一空域信號(hào)和所述第一區(qū)域的第三OTF的實(shí)現(xiàn)方式可選地參考上一實(shí)現(xiàn)方式中得到所述場(chǎng)景的全景深圖像的一空域信號(hào)和所述第一 OTF的方式?？蛇x地，所述至少根據(jù)所述第一區(qū)域的第五頻域信號(hào)、所述第二區(qū)域的第六頻域信號(hào)、所述第三值，得到所述場(chǎng)景中與所述第一區(qū)域?qū)?yīng)的一第三區(qū)域的第一子圖像的一空域信號(hào)和所述第一區(qū)域的第三0TF，包括:
[0165]將所述第五頻域信號(hào)中最低頻且面積為一第四值的第三頻譜區(qū)域的部分作為所述第一區(qū)域的第三OTF中所述第三頻譜區(qū)域的部分；
[0166]將所述第三OTF中所述第三頻譜區(qū)域的部分在頻率空間以所述第三值的平方為倍數(shù)放大后，得到所述第二區(qū)域的第四OTF中第四頻譜區(qū)域的部分，所述第四頻譜區(qū)域的面積等于所述第三頻譜區(qū)域的面積與所述第三值的平方的乘積；
[0167]基于所述第四OTF中第四頻譜區(qū)域的部分，對(duì)所述第六頻域信號(hào)進(jìn)行局部求逆，得到所述場(chǎng)景中與所述第一子圖像的第七頻域信號(hào)中所述第四頻譜區(qū)域的部分；
[0168]基于所述第七頻域信號(hào)中所述第四頻譜區(qū)域的部分，對(duì)所述第五頻域信號(hào)進(jìn)行局部求逆，得到所述第三OTF中所述第四頻譜區(qū)域的部分；
[0169]基于所述第三OTF中所述第四頻譜區(qū)域的部分，依次迭代進(jìn)行所述放大和所述局部求逆，得到所述第七頻域信號(hào)和所述第三OTF ;
[0170]對(duì)所述第七頻域信號(hào)進(jìn)行空域轉(zhuǎn)換，得到所述第一子圖像的一空域信號(hào)。
[0171]其中，所述第四值可以為一預(yù)設(shè)的值。由于所述場(chǎng)景中通常存在顏色較均勻的部分，相應(yīng)地，所述第五頻域信號(hào)的最低頻的頻譜區(qū)域存在幅值為常數(shù)的部分，相應(yīng)地，所述第四值的取值盡量保證所述第五頻域信號(hào)中最低頻且面積為所述第四值的第三頻譜區(qū)域的部分的幅值為常數(shù)。所述將所述第五頻域信號(hào)中最低頻且面積為一第四值的第三頻譜區(qū)域的部分作為所述第一區(qū)域的第三OTF中所述第三頻譜區(qū)域的部分的步驟，相當(dāng)于將所述第七頻域信號(hào)中最低頻且面積為所述第四值的第三頻譜區(qū)域的部分的幅值視為1，這會(huì)影響最終得到的所述第七頻域信號(hào)的幅值，但不會(huì)影響所述第七頻域信號(hào)的波形，從而導(dǎo)致得到的所述第一子圖像的一空域信號(hào)相比于理論上應(yīng)當(dāng)?shù)玫降目沼蛐盘?hào)，波形一致但幅值整體縮小或放大了，為了解決此問(wèn)題，可以根據(jù)得到的所述第一子圖像的一空域信號(hào)的最大幅值和所述第一區(qū)域的對(duì)應(yīng)空域信號(hào)的最大幅值之間的比例關(guān)系，整體縮小或放大所述第一子圖像的一空域信號(hào)的幅值。
[0172]可選地，120中進(jìn)行頻域轉(zhuǎn)換的各區(qū)域的空域信號(hào)的自變量空間為直角坐標(biāo)空間，進(jìn)一步可選地，所述第三頻譜區(qū)域?yàn)橐徽叫螀^(qū)域。
[0173]可選地，120中進(jìn)行頻域轉(zhuǎn)換的各區(qū)域的空域信號(hào)的自變量空間為極坐標(biāo)空間，進(jìn)一步可選地，所述第三頻譜區(qū)域?yàn)橐粓A形區(qū)域。
[0174]可選地，所述在頻率空間以所述第三值的平方為倍數(shù)放大是指，在頻率空間的兩個(gè)維度分別以所述第三值為倍數(shù)放大。相應(yīng)地，若所述第三頻譜區(qū)域?yàn)橐徽叫螀^(qū)域，則所述第四頻譜區(qū)域也為一正方形區(qū)域，且所述第四頻譜區(qū)域的邊長(zhǎng)等于所述第三頻譜區(qū)域的邊長(zhǎng)乘以所述第三值；若所述第三頻譜區(qū)域?yàn)橐粓A形區(qū)域，則所述第四頻域區(qū)域也為一圓形區(qū)域，且所述第四頻譜區(qū)域的半徑等于所述第三頻譜區(qū)域的半徑乘以所述第三值。
[0175]由于同一光學(xué)系統(tǒng)對(duì)于同一圖像中不同區(qū)域的OTF的差異與相應(yīng)區(qū)域的深度與該圖像的對(duì)焦距離之差有關(guān)，可選地，所述至少根據(jù)所述第一圖像的對(duì)焦距離、所述第一區(qū)域的深度、所述第三0TF、所述第一圖像中所述第一區(qū)域之外的至少一個(gè)第四區(qū)域的深度和一空域信號(hào)，得到所述場(chǎng)景中與所述至少一個(gè)第四區(qū)域?qū)?yīng)的至少一個(gè)第五區(qū)域的至少一個(gè)第二子圖像的至少一個(gè)空域信號(hào)，包括:
[0176]至少根據(jù)所述第一圖像的對(duì)焦距離、所述第一區(qū)域的深度、所述第三0TF、所述至少一個(gè)第四區(qū)域的深度和一空域信號(hào)，得到所述至少一個(gè)第四區(qū)域的至少一個(gè)第五OTF ;
[0177]根據(jù)各所述第四區(qū)域的第五0TF，對(duì)所述第四區(qū)域的一頻域信號(hào)進(jìn)行求逆，得到各所述第二子圖像的一頻域信號(hào)；
[0178]對(duì)各所述第二子圖像的一頻域信號(hào)進(jìn)行空域轉(zhuǎn)換，得到各所述第二子圖像的一空域信號(hào)。
[0179]其中，各所述第四區(qū)域的一頻域信號(hào)可以通過(guò)對(duì)各所述第四區(qū)域的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換的方式得到。
[0180]舉例來(lái)說(shuō)，所述第一圖像的對(duì)焦距離為L(zhǎng)，所述第一區(qū)域的深度為dl，所述至少一個(gè)第四區(qū)域包括區(qū)域A和區(qū)域B，區(qū)域A和區(qū)域B的深度分別為da和db，若|da-L/dl-L|>l，則區(qū)域A的PSF相當(dāng)于將所述第一區(qū)域的第三PSF在自變量空間以I da-L/dl-L |2為倍數(shù)放大的結(jié)果，區(qū)域A的OTF相當(dāng)于將所述第一區(qū)域的第三OTF在頻率空間縮小到I dl-L/da-L |2的結(jié)果，若|db-L/dl-L|〈l，則區(qū)域B的PSF相當(dāng)于將所述第一區(qū)域的第三PSF在自變量空間縮小到I dl-L/db-L 12的結(jié)果，區(qū)域B的OTF相當(dāng)于將所述第一區(qū)域的第三OTF在頻率空間以|db-L/dl-L|2為倍數(shù)放大的結(jié)果。
[0181]具體地，所述第一區(qū)域和所述至少一個(gè)第四區(qū)域覆蓋了所述第一圖像的所有區(qū)域。
[0182]可選地，所述根據(jù)所述第三區(qū)域的第一子圖像的一空域信號(hào)、所述至少一個(gè)第五區(qū)域的至少一個(gè)第二子圖像的至少一個(gè)空域信號(hào)，得到所述全景深圖像的一空域信號(hào)，包括:
[0183]將所述第一子圖像的一空域信號(hào)和所述至少一個(gè)第五區(qū)域的至少一個(gè)第二子圖像的至少一個(gè)空域信號(hào)，按照各自對(duì)應(yīng)的所述第一區(qū)域、所述至少一個(gè)第四區(qū)域在所述第一圖像中的分布合成為所述全景深圖像的一空域信號(hào)。
[0184]需要說(shuō)明的是，在此實(shí)現(xiàn)方式中以所述第一區(qū)域的第三OTF為例說(shuō)明如何得到所述全景深圖像的一空域信號(hào)，本領(lǐng)域技術(shù)人員可以理解，用所述第二區(qū)域替代所述第一區(qū)域，所述第二區(qū)域的第四OTF替代所述第一區(qū)域的第三OTF也可以達(dá)到同樣的目的，即得到所述全景深圖像的一空域信號(hào)。
[0185]在此實(shí)現(xiàn)方式中，為了進(jìn)一步得到所述全景深圖像的至少一個(gè)其它空域信號(hào)，比如在得到所述全景深圖像的R信號(hào)后再得到所述全景深圖像的G信號(hào)、B信號(hào)，可選地，本實(shí)施例還包括:
[0186]獲取所述第一區(qū)域的至少一個(gè)其它空域信號(hào)；對(duì)所述第一區(qū)域的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第一區(qū)域的至少一個(gè)其它頻域信號(hào)；根據(jù)所述第三0TF、所述第一區(qū)域的至少一個(gè)其它頻域信號(hào)，得到所述第一子圖像的至少一個(gè)其它空域信號(hào)；
[0187]獲取各所述第四區(qū)域的至少一個(gè)其它空域信號(hào)；對(duì)所述第四區(qū)域的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第四區(qū)域的至少一個(gè)其它頻域信號(hào)；根據(jù)所述第三0TF、所述第四區(qū)域的至少一個(gè)其它頻域信號(hào)，得到所述第二子圖像的至少一個(gè)其它空域信號(hào)；
[0188]根據(jù)所述第一子圖像的至少一個(gè)其它空域信號(hào)、所述第二子圖像的至少一個(gè)其它空域信號(hào)，得到所述全景深圖像的至少一個(gè)其它空域信號(hào)。
[0189]需要說(shuō)明的是，在上述步驟中以所述第一區(qū)域、所述第三OTF為例說(shuō)明如何得到所述全景深圖像的至少一個(gè)其它空域信號(hào)，本領(lǐng)域技術(shù)人員可以理解，用所述第二區(qū)域替代所述第一區(qū)域，所述第四OTF替代所述第三OTF也可以達(dá)到同樣的目的，即得到所述全景深圖像的至少一個(gè)其它空域信號(hào)。
[0190]本實(shí)施例中，110有多種實(shí)現(xiàn)方式。
[0191]在一種可選的實(shí)現(xiàn)方式中，所述獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像，包括:
[0192]從一圖像拍攝裝置獲取所述圖像拍攝裝置在同一位置以不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像。
[0193]可選地，所述圖像拍攝裝置可以設(shè)計(jì)成在用戶按下“拍攝”按鈕之后，自動(dòng)地以不同的景深參數(shù)拍攝同一場(chǎng)景的兩張圖像。
[0194]在又一種可選的實(shí)現(xiàn)方式中，所述獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像，包括:
[0195]分別從相同的光圈樣式的兩個(gè)圖像拍攝裝置獲取所述兩個(gè)圖像拍攝裝置在同一位置分別以不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像。
[0196]圖4A、圖4B為在同一位置以相同的光圈樣式、不同的光圈大小拍攝的同一場(chǎng)景的兩張圖像的一種示意圖。圖4C為在圖4A、圖4B的基礎(chǔ)上采用本實(shí)施例的方法得到的全景深圖像的一種示意圖。
[0197]圖5為本申請(qǐng)?zhí)峁┑囊环N圖像處理裝置實(shí)施例一的結(jié)構(gòu)示意圖。如圖5所示，圖像處理裝置(以下簡(jiǎn)稱:裝置)500包括:
[0198]圖像獲取模塊51，用于獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像；
[0199]頻域轉(zhuǎn)換模塊52，用于對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào);
[0200]第一處理模塊53，用于至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像。
[0201]本實(shí)施例中，圖像處理裝置500可選地以軟件和/或硬件的形式設(shè)置在一用戶終端中?？蛇x地，所述用戶終端為一相機(jī)，或者，還包括圖像拍攝裝置的任何用戶終端，比如有拍攝功能的智能手機(jī)。
[0202]本實(shí)施例中，所述光圈樣式可以為任意樣式，常見(jiàn)的是多邊形，比如六邊形。
[0203]本實(shí)施例中，所述景深參數(shù)是指影響景深大小和位置的參數(shù)，所述景深參數(shù)包括以下至少一種:光圈F值、對(duì)焦距離。
[0204]其中，所述光圈F值是指圖像拍攝裝置在拍攝所述圖像時(shí)的光圈F值。在光圈樣式一定的情況下，所述光圈F值決定了光圈大小。通常，對(duì)于一個(gè)圖像拍攝裝置來(lái)說(shuō)，其光圈樣式通常是不變的，但其光圈大小在一些情況下是可以調(diào)整的。具體地，光圈大小可以用光圈F值的平方的倒數(shù)，即1/F~2來(lái)表征，常見(jiàn)的F值包括:1.0，1.4，2.0，2.8，4.0，5.6，8.0，11等。
[0205]其中，所述對(duì)焦距離是指圖像拍攝裝置在拍攝所述圖像時(shí)的對(duì)焦平面與所述圖像拍攝裝置的鏡頭光心的距離。圖2為本申請(qǐng)的對(duì)焦距離的一種示意圖。具體地，對(duì)焦距離受鏡頭焦距和像距(即成像平面與鏡頭光心的距離)的影響。在鏡頭焦距不變的場(chǎng)景中，通常可以通過(guò)調(diào)整像距來(lái)調(diào)整對(duì)焦距離；在鏡頭焦距可變的場(chǎng)景中，通過(guò)可以通過(guò)調(diào)整像距和/或鏡頭焦距來(lái)調(diào)整對(duì)焦距離。
[0206]本實(shí)施例中，所述不同的景深參數(shù)包括以下任一種情況:光圈F值相同但對(duì)焦距離不同，對(duì)焦距離相同但光圈F值不同，光圈F值和對(duì)焦距離均不同。
[0207]本實(shí)施例中，各所述圖像的光圈F值、對(duì)焦距離可選地從所述圖像的頭文件中獲得。
[0208]本實(shí)施例中，任一圖像均可以用該圖像的至少一個(gè)空域信號(hào)表示。其中，所述空域信號(hào)包括但不限于以下任一種:灰度信號(hào)，R信號(hào)，G信號(hào)，B信號(hào)。
[0209]可選地，圖像獲取模塊51具體用于:獲取各所述圖像的一空域信號(hào)；頻域轉(zhuǎn)換模塊52具體用于:對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)。
[0210]舉例來(lái)說(shuō)，所述兩張圖像包括圖像A和圖像B，圖像獲取模塊51獲取圖像A的R信號(hào)和圖像B的R信號(hào)，頻域轉(zhuǎn)換模塊52分別對(duì)圖像A的R信號(hào)和圖像B的R信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到圖像A的一頻域信號(hào)和圖像B的一頻域信號(hào)。
[0211]具體地，由于圖像通常是二維的，圖像的空域信號(hào)也是二維的，S卩，所述圖像的空域信號(hào)的自變量空間是二維空間。
[0212]本實(shí)施例中，頻域轉(zhuǎn)換模塊52進(jìn)行的所述頻域轉(zhuǎn)換可以有多種方式，比如，F(xiàn)T, WT等。
[0213]本實(shí)施例中，第一處理模塊53具體用于:至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像的一空域信號(hào)。
[0214]舉例來(lái)說(shuō)，所述兩張圖像包括圖像A和圖像B，圖像獲取模塊51獲取圖像A的R信號(hào)和圖像B的R信號(hào)，頻域轉(zhuǎn)換模塊52分別對(duì)圖像A的R信號(hào)和圖像B的R信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到圖像A的一頻域信號(hào)和圖像B的一頻域信號(hào)，第一處理模塊53至少根據(jù)圖像A的一頻域信號(hào)、圖像B的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述全景深圖像的R信號(hào)。
[0215]在實(shí)現(xiàn)本發(fā)明的過(guò)程中，發(fā)明人發(fā)現(xiàn):對(duì)于同一場(chǎng)景，在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝該場(chǎng)景的圖像時(shí)，拍攝得到的每張圖像的一空域信號(hào)相當(dāng)于該場(chǎng)景的全景深圖像的一對(duì)應(yīng)空域信號(hào)與圖像拍攝裝置在拍攝所述圖像時(shí)的光學(xué)系統(tǒng)的PSF(也稱為:所述圖像的PSF)卷積的結(jié)果，比如，拍攝得到的一圖像的R信號(hào)相當(dāng)于該場(chǎng)景的全景深圖像的R信號(hào)與所述圖像的PSF卷積的結(jié)果，而所述圖像的PSF與所述圖像拍攝裝置的光圈樣式以及在拍攝所述圖像時(shí)的所述景深參數(shù)有關(guān)。具體地，使用相同光圈樣式的圖像拍攝裝置在同一位置拍攝同一場(chǎng)景得到的各圖像的PSF的樣式通常是相同的，而拍攝時(shí)不同的景深參數(shù)決定了相同樣式的PSF在自變量空間的縮放。舉例來(lái)說(shuō)，若使用相同光圈樣式的圖像拍攝裝置在同一位置拍攝同一場(chǎng)景得到的兩張圖像的對(duì)焦距離一致，但光圈大小的比值為2，即，光圈F值的平方的比值的倒數(shù)為2，則光圈更大的圖像的PSF相當(dāng)于將光圈更小的圖像的PSF在自變量空間以4為倍數(shù)放大的結(jié)果；若使用相同光圈樣式的圖像拍攝裝置在同一位置拍攝同一場(chǎng)景得到的兩張圖像的光圈大小一致，但對(duì)焦距離與所述場(chǎng)景的深度的差值的比值的絕對(duì)值為2，則所述差值的絕對(duì)值更大的圖像的PSF相當(dāng)于將所述差值的絕對(duì)值更小的圖像的PSF在自變量空間以4為倍數(shù)放大的結(jié)果。進(jìn)一步地，由于空域的卷積相當(dāng)于頻域的相乘，因此，拍攝得到的每張圖像的一頻域信號(hào)相當(dāng)于該場(chǎng)景的全景深圖像的一對(duì)應(yīng)頻域信號(hào)與圖像拍攝裝置在拍攝所述圖像時(shí)的光學(xué)系統(tǒng)的OTF(也稱為:所述圖像的0TF)的乘積，比如，拍攝得到的一圖像的R信號(hào)的頻域信號(hào)相當(dāng)于該場(chǎng)景的全景深圖像的R信號(hào)的頻域信號(hào)與所述圖像的OTF的乘積，其中，OTF為PSF的頻域表現(xiàn)。具體地，使用相同光圈樣式的圖像拍攝裝置在同一位置拍攝同一場(chǎng)景得到的各圖像的OTF的樣式通常是相同的，而拍攝時(shí)不同的景深參數(shù)決定了相同樣式的OTF在頻率空間的縮放，且OTF的縮放與上述PSF的縮放是反向的。舉例來(lái)說(shuō)，若使用相同光圈樣式的圖像拍攝裝置在同一位置拍攝同一場(chǎng)景得到的兩張圖像的對(duì)焦距離一致，但光圈大小的比值為2，則光圈更小的圖像的OTF相當(dāng)于將光圈更大的圖像的OTF在頻率空間以4為倍數(shù)放大的結(jié)果；若使用相同光圈樣式的圖像拍攝裝置在同一位置拍攝同一場(chǎng)景得到的兩張圖像的光圈大小一致，但對(duì)焦距離與所述場(chǎng)景的深度的差值的比值的絕對(duì)值為2，則所述差值的絕對(duì)值更小的圖像的OTF相當(dāng)于將所述差值的絕對(duì)值更大的圖像的OTF在自變量空間以4為倍數(shù)放大的結(jié)果。
[0216]具體地，所述場(chǎng)景的深度為所述場(chǎng)景與圖像拍攝裝置的鏡頭光心的距離，可選地，所述場(chǎng)景的深度為所述場(chǎng)景中各景物與圖像拍攝裝置的鏡頭光心的距離中最大距離和最小距離的平均值。由于所述兩張圖像是在同一位置針對(duì)同一場(chǎng)景拍攝的，因此，可以認(rèn)為所述兩張圖像中所述場(chǎng)景的深度一致。
[0217]基于發(fā)明人的上述發(fā)現(xiàn)，若圖像獲取模塊51獲取了兩張圖像的對(duì)應(yīng)空域信號(hào)Kl和K2，頻域轉(zhuǎn)換模塊52對(duì)Kl和K2進(jìn)行頻域轉(zhuǎn)換，得到所述兩張圖像的頻域信號(hào)Wl和W2，假設(shè)該兩張圖像的OTF為Fl和F2，所述場(chǎng)景的全景深圖像的對(duì)應(yīng)頻域信號(hào)為I，則滿足:W1=I*F1，W2 = I*F2，且Fl = a*F2，其中，a與該兩張圖像的景深參數(shù)有關(guān)，相應(yīng)地，如果Wl、W2和a已知，則第一處理模塊53可以得到1、F1和F2，進(jìn)一步地，可以根據(jù)I得到所述場(chǎng)景的全景深圖像的一空域信號(hào)。
[0218]本實(shí)施例的圖像處理裝置通過(guò)圖像獲取模塊獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像，頻域轉(zhuǎn)換模塊對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換得到各所述圖像的一頻域信號(hào)，第一處理模塊至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)得到所述場(chǎng)景的全景深圖像，提供了一種圖像處理方案，并且能夠基于一場(chǎng)景的兩張不同景深參數(shù)的圖像得到該場(chǎng)景的全景深圖像，較為便捷。
[0219]以下通過(guò)一些可選的實(shí)現(xiàn)方式進(jìn)一步地描述本實(shí)施例的方法。
[0220]本實(shí)施例中，雖然所述兩張圖像的光圈樣式相同，但光圈大小可能不同，而在光圈大小不同的場(chǎng)景中，光圈角度可能也會(huì)不同，從而導(dǎo)致PSF、OTF的樣式不同。其中，所述光圈角度通常隨光圈的旋轉(zhuǎn)而改變。圖3為本申請(qǐng)實(shí)施例中幾種可能的光圈形狀的示意圖。如圖3所不，a、b、c的光圈樣式相同、均為五邊形，a、b的光圈大小相同、但光圈角度不同，a、c的光圈大小不同、但光圈角度相同，d的光圈樣式為六邊形、與a、b、c的光圈樣式不同。
[0221]為了避免光圈角度不同導(dǎo)致圖像的PSF樣式、OTF樣式的不同，可選地，圖像獲取模塊51獲取的各所述圖像的空域信號(hào)的自變量空間為極坐標(biāo)空間，或者，圖像獲取模塊51獲取的各所述圖像的空域信號(hào)的自變量空間為其它坐標(biāo)空間，比如直角坐標(biāo)空間，相應(yīng)地，圖像獲取模塊51或頻域轉(zhuǎn)換模塊52在頻域轉(zhuǎn)換模塊52進(jìn)行頻域轉(zhuǎn)換之前將各所述圖像的空域信號(hào)的自變量空間轉(zhuǎn)換為極坐標(biāo)空間。進(jìn)一步地，第一處理模塊53至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)直接得到的所述全景深圖像的空域信號(hào)的自變量空間為極坐標(biāo)空間，可選地，第一處理模塊53還將所述全景深圖像的空域信號(hào)的自變量空間轉(zhuǎn)換為其它坐標(biāo)空間，比如直角坐標(biāo)空間。
[0222]本實(shí)施例中，頻域轉(zhuǎn)換模塊52有多種實(shí)現(xiàn)方式。
[0223]對(duì)于深度相近的景物，同一光學(xué)系統(tǒng)的PSF差異不大，在一種可選的實(shí)現(xiàn)方式中，頻域轉(zhuǎn)換模塊52具體用于:
[0224]響應(yīng)于所述場(chǎng)景的最大深度差不超過(guò)一第一深度差閾值，對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)。
[0225]本實(shí)施例的具體實(shí)現(xiàn)可參照本申請(qǐng)?zhí)峁┑囊环N圖像處理方法實(shí)施例中的相應(yīng)描述。
[0226]對(duì)于深度差別較大的景物，同一光學(xué)系統(tǒng)的PSF的差異較大，為了得到更逼真的全景深圖像，在又一種可選的實(shí)現(xiàn)方式中，如圖6A所示，頻域轉(zhuǎn)換模塊52包括:
[0227]劃分單元521，用于響應(yīng)于所述場(chǎng)景的最大深度差超過(guò)一第二深度差閾值，以相同的方式將各所述圖像均劃分為至少兩個(gè)區(qū)域，各所述區(qū)域的最大深度差不超過(guò)所述第二深度差閾值；
[0228]轉(zhuǎn)換單元522，用于對(duì)各所述圖像中對(duì)應(yīng)的至少一對(duì)區(qū)域的至少一對(duì)空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述至少一對(duì)區(qū)域的至少一對(duì)頻域信號(hào)。
[0229]本實(shí)施例的具體實(shí)現(xiàn)可參照本申請(qǐng)?zhí)峁┑囊环N圖像處理方法實(shí)施例中的相應(yīng)描述。
[0230]本實(shí)施例中，第一處理模塊53有多種實(shí)現(xiàn)方式。
[0231]在一種可選的實(shí)現(xiàn)方式中，所述兩張圖像包括:第一圖像和第二圖像；
[0232]所述第二圖像的光圈F值的平方與所述第一圖像的光圈F值的平方的比值和所述第一圖像中所述場(chǎng)景的深度與所述第一圖像的對(duì)焦距離之差與所述第二圖像中所述場(chǎng)景的深度與所述第二圖像的對(duì)焦距離之差的比值的絕對(duì)值的乘積為大于I的第一值；
[0233]如圖6B所不，第一處理模塊53包括:
[0234]第一單元521，用于將所述第一圖像的第一頻域信號(hào)中最低頻且面積為一第二值的第一頻譜區(qū)域的部分作為所述第一圖像的第一 OTF中所述第一頻譜區(qū)域的部分；
[0235]第二單元522，用于將所述第一 OTF中所述第一頻譜區(qū)域的部分在頻率空間以所述第一值的平方為倍數(shù)放大后，得到所述第二圖像的第二 OTF中第二頻譜區(qū)域的部分，所述第二頻譜區(qū)域的面積等于所述第一頻譜區(qū)域的面積與所述第一值的平方的乘積；
[0236]第三單元533，用于基于所述第二 OTF中第二頻譜區(qū)域的部分，對(duì)所述第二圖像的第二頻域信號(hào)進(jìn)行局部求逆，得到所述全景深圖像的第三頻域信號(hào)中所述第二頻譜區(qū)域的部分；
[0237]第四單元534，用于基于所述第三頻域信號(hào)中所述第二頻譜區(qū)域的部分，對(duì)所述第一頻域信號(hào)進(jìn)行局部求逆，得到所述第一 OTF中所述第二頻譜區(qū)域的部分；
[0238]第五單元535，用于基于所述第一 OTF中所述第二頻譜區(qū)域的部分，依次在第二單元532、第三單元533、第四單元534中迭代進(jìn)行所述放大和所述局部求逆，得到所述第三頻域信號(hào)；
[0239]第六單元536，用于對(duì)所述第三頻域信號(hào)進(jìn)行空域轉(zhuǎn)換，得到所述全景深圖像的一空域信號(hào)。
[0240]在此實(shí)現(xiàn)方式中，為了進(jìn)一步得到所述全景深圖像的至少一個(gè)其它空域信號(hào)，比如在得到所述全景深圖像的R信號(hào)后再得到所述全景深圖像的G信號(hào)、B信號(hào)，可選地，第五單元535具體用于:基于所述第一 OTF中所述第二頻譜區(qū)域的部分，依次在所述第二單元、所述第三單元、所述第四單元中迭代進(jìn)行所述放大和所述局部求逆，得到所述第三頻域信號(hào)和所述第一 OTF ；
[0241]圖像獲取模塊51還用于:獲取所述第一圖像的至少一個(gè)其它空域信號(hào)；
[0242]頻域轉(zhuǎn)換模塊52還用于:對(duì)所述第一圖像的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第一圖像的至少一個(gè)其它頻域信號(hào)；
[0243]如圖6C所示，裝置500還包括:第二處理模塊54，用于基于所述第一 0TF，對(duì)所述第一圖像的至少一個(gè)其它頻域信號(hào)進(jìn)行求逆，得到所述全景深圖像的至少一個(gè)第四頻域信號(hào)；對(duì)所述全景深圖像的至少一個(gè)第四頻域信號(hào)進(jìn)行空域轉(zhuǎn)換，得到所述全景深圖像的至少一個(gè)其它空域信號(hào)。
[0244]本實(shí)施例的具體實(shí)現(xiàn)可參照本申請(qǐng)?zhí)峁┑囊环N圖像處理方法實(shí)施例中的相應(yīng)描述。
[0245]在又一種可選的實(shí)現(xiàn)方式中，比如如圖6A所示的實(shí)現(xiàn)方式中，所述兩張圖像包括:第三圖像和第四圖像，各所述圖像中對(duì)應(yīng)的至少一對(duì)區(qū)域包括:所述第三圖像中的一第一區(qū)域和所述第四圖像中與所述第一區(qū)域?qū)?yīng)的一第二區(qū)域；
[0246]所述第四圖像的光圈F的平方與所述第三圖像的光圈F值的平方的比值和所述第三圖像中所述場(chǎng)景的深度與所述第三圖像的對(duì)焦距離之差與所述第四圖像中所述場(chǎng)景的深度與所述第四圖像的對(duì)焦距離之差的比值的絕對(duì)值的乘積為大于I的第三值；
[0247]如圖6D所不，第一處理模塊53包括:
[0248]第七單元537，用于至少根據(jù)所述第一區(qū)域的第五頻域信號(hào)、所述第二區(qū)域的第六頻域信號(hào)、所述第三值，得到所述場(chǎng)景中與所述第一區(qū)域?qū)?yīng)的一第三區(qū)域的第一子圖像的一空域信號(hào)和所述第一區(qū)域的第三OTF ;
[0249]第八單元538，用于至少根據(jù)所述第一圖像的對(duì)焦距離、所述第一區(qū)域的深度、所述第三OTF、所述第一圖像中所述第一區(qū)域之外的至少一個(gè)第四區(qū)域的深度和一空域信號(hào)，得到所述場(chǎng)景中與所述至少一個(gè)第四區(qū)域?qū)?yīng)的至少一個(gè)第五區(qū)域的至少一個(gè)第二子圖像的至少一個(gè)空域信號(hào)；
[0250]第九單元539，用于根據(jù)所述第三區(qū)域的第一子圖像的一空域信號(hào)、所述至少一個(gè)第五區(qū)域的至少一個(gè)第二子圖像的至少一個(gè)空域信號(hào)，得到所述全景深圖像的一空域信號(hào)。
[0251]在此實(shí)現(xiàn)方式中，為了進(jìn)一步得到所述全景深圖像的至少一個(gè)其它空域信號(hào)，比如在得到所述全景深圖像的R信號(hào)后再得到所述全景深圖像的G信號(hào)、B信號(hào)，可選地，如圖6E所示，裝置500還包括:
[0252]第三處理模塊55，用于獲取所述第一區(qū)域的至少一個(gè)其它空域信號(hào)；對(duì)所述第一區(qū)域的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第一區(qū)域的至少一個(gè)其它頻域信號(hào)；根據(jù)所述第三OTF、所述第一區(qū)域的至少一個(gè)其它頻域信號(hào)，得到所述第一子圖像的至少一個(gè)其它空域信號(hào)；
[0253]第四處理模塊56，用于獲取各所述第四區(qū)域的至少一個(gè)其它空域信號(hào)；對(duì)所述第四區(qū)域的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第四區(qū)域的至少一個(gè)其它頻域信號(hào)；根據(jù)所述第三OTF、所述第四區(qū)域的至少一個(gè)其它頻域信號(hào)，得到所述第二子圖像的至少一個(gè)其它空域信號(hào)；
[0254]第五處理模塊57，用于根據(jù)所述第一子圖像的至少一個(gè)其它空域信號(hào)、所述第二子圖像的至少一個(gè)其它空域信號(hào)，得到所述全景深圖像的至少一個(gè)其它空域信號(hào)。
[0255]本實(shí)施例的具體實(shí)現(xiàn)可參照本申請(qǐng)?zhí)峁┑囊环N圖像處理方法實(shí)施例中的相應(yīng)描述。
[0256]本實(shí)施例中，圖像獲取模塊51有多種實(shí)現(xiàn)方式。
[0257]在一種可選的實(shí)現(xiàn)方式中，圖像獲取模塊51具體用于:從一圖像拍攝裝置獲取所述圖像拍攝裝置在同一位置以不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像。
[0258]可選地，所述圖像拍攝裝置可以設(shè)計(jì)成在用戶按下“拍攝”按鈕之后，自動(dòng)地以不同的景深參數(shù)拍攝同一場(chǎng)景的兩張圖像。
[0259]在又一種可選的實(shí)現(xiàn)方式中，圖像獲取模塊51具體用于:分別從相同的光圈樣式的兩個(gè)圖像拍攝裝置獲取所述兩個(gè)圖像拍攝裝置在同一位置分別以不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像。
[0260]圖7為本申請(qǐng)?zhí)峁┑囊环N圖像處理裝置實(shí)施例二的結(jié)構(gòu)示意圖。如圖7所示，圖像處理裝置700包括:
[0261]處理器(processor)71、通信接口(Communicat1ns Interface) 72、存儲(chǔ)器(memory) 73、以及通信總線74。其中:
[0262]處理器71、通信接口 72、以及存儲(chǔ)器73通過(guò)通信總線74完成相互間的通信。
[0263]通信接口 72，用于與比如圖像拍攝裝置等的通信。
[0264]處理器71，用于執(zhí)行程序732，具體可以執(zhí)行上述圖像處理方法實(shí)施例中的相關(guān)步驟。
[0265]具體地，程序732可以包括程序代碼，所述程序代碼包括計(jì)算機(jī)操作指令。
[0266]處理器71可能是一個(gè)中央處理器CPU，或者是特定集成電路ASIC (Applicat1nSpecific Integrated Circuit)，或者是被配置成實(shí)施圖像處理方法實(shí)施例的一個(gè)或多個(gè)集成電路。
[0267]存儲(chǔ)器73，用于存放程序732。存儲(chǔ)器73可能包含高速RAM存儲(chǔ)器，也可能還包括非易失性存儲(chǔ)器(non-volatile memory)，例如至少一個(gè)磁盤(pán)存儲(chǔ)器。程序732具體可以用于使得圖像處理裝置700執(zhí)行以下步驟:
[0268]獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像；
[0269]對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)；
[0270]至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像。
[0271]程序732中各步驟的具體實(shí)現(xiàn)可以參見(jiàn)上述圖像處理方法實(shí)施例中的相應(yīng)步驟和單元中對(duì)應(yīng)的描述，在此不贅述。
[0272]本領(lǐng)域普通技術(shù)人員可以意識(shí)到，結(jié)合本文中所公開(kāi)的實(shí)施例描述的各示例的單元及方法步驟，能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來(lái)實(shí)現(xiàn)。這些功能宄竟以硬件還是軟件方式來(lái)執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來(lái)使用不同方法來(lái)實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。
[0273]所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷(xiāo)售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)原有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:U盤(pán)、移動(dòng)硬盤(pán)、只讀存儲(chǔ)器(ROM，Read-Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM，Random Access Memory)、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。
[0274]以上實(shí)施方式僅用于說(shuō)明本發(fā)明，而并非對(duì)本發(fā)明的限制，有關(guān)【技術(shù)領(lǐng)域】的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。
【權(quán)利要求】
1.一種圖像處理方法，其特征在于，所述方法包括: 獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像； 對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)； 至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像，包括:獲取各所述圖像的一空域信號(hào)； 所述對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的頻域信號(hào)，包括:對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述景深參數(shù)包括以下至少一種:光圈？值，對(duì)焦距離。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)，包括: 響應(yīng)于所述場(chǎng)景的最大深度差不超過(guò)一第一深度差閾值，對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述兩張圖像包括:第一圖像和第二圖像； 所述第二圖像的光圈？值的平方與所述第一圖像的光圈？值的平方的比值和所述第一圖像中所述場(chǎng)景的深度與所述第一圖像的對(duì)焦距離之差與所述第二圖像中所述場(chǎng)景的深度與所述第二圖像的對(duì)焦距離之差的比值的絕對(duì)值的乘積為大于1的第一值； 所述至少根據(jù)各所述圖像的頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像，包括: 將所述第一圖像的第一頻域信號(hào)中最低頻且面積為一第二值的第一頻譜區(qū)域的部分作為所述第一圖像的第一光學(xué)傳遞函數(shù)01？中所述第一頻譜區(qū)域的部分； 將所述第一 01？中所述第一頻譜區(qū)域的部分在頻率空間以所述第一值的平方為倍數(shù)放大后，得到所述第二圖像的第二 01？中第二頻譜區(qū)域的部分，所述第二頻譜區(qū)域的面積等于所述第一頻譜區(qū)域的面積與所述第一值的平方的乘積； 基于所述第二 01？中第二頻譜區(qū)域的部分，對(duì)所述第二圖像的第二頻域信號(hào)進(jìn)行局部求逆，得到所述全景深圖像的第三頻域信號(hào)中所述第二頻譜區(qū)域的部分； 基于所述第三頻域信號(hào)中所述第二頻譜區(qū)域的部分，對(duì)所述第一頻域信號(hào)進(jìn)行局部求逆，得到所述第一 01？中所述第二頻譜區(qū)域的部分； 基于所述第一 01？中所述第二頻譜區(qū)域的部分，依次迭代進(jìn)行所述放大和所述局部求逆，得到所述第三頻域信號(hào)； 對(duì)所述第三頻域信號(hào)進(jìn)行空域轉(zhuǎn)換，得到所述全景深圖像的一空域信號(hào)。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述第一01？中所述第二頻譜區(qū)域的部分，依次迭代進(jìn)行所述放大和所述局部求逆，得到所述第三頻域信號(hào)，包括: 基于所述第一 01？中所述第二頻譜區(qū)域的部分，依次迭代進(jìn)行所述放大和所述局部求逆，得到所述第三頻域信號(hào)和所述第一 0?。?； 所述方法還包括:獲取所述第一圖像的至少一個(gè)其它空域信號(hào)；對(duì)所述第一圖像的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第一圖像的至少一個(gè)其它頻域信號(hào)；基于所述第一 01？，對(duì)所述第一圖像的至少一個(gè)其它頻域信號(hào)進(jìn)行求逆，得到所述全景深圖像的至少一個(gè)第四頻域信號(hào)；對(duì)所述全景深圖像的至少一個(gè)第四頻域信號(hào)進(jìn)行空域轉(zhuǎn)換，得到所述全景深圖像的至少一個(gè)其它空域信號(hào)。
7.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對(duì)各所述圖像的一空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)，包括: 響應(yīng)于所述場(chǎng)景的最大深度差超過(guò)一第二深度差閾值，以相同的方式將各所述圖像均劃分為至少兩個(gè)區(qū)域，各所述區(qū)域的最大深度差不超過(guò)所述第二深度差閾值； 對(duì)各所述圖像中對(duì)應(yīng)的至少一對(duì)區(qū)域的至少一對(duì)空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述至少一對(duì)區(qū)域的至少一對(duì)頻域信號(hào)。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述兩張圖像包括:第三圖像和第四圖像，各所述圖像中對(duì)應(yīng)的至少一對(duì)區(qū)域包括:所述第三圖像中的一第一區(qū)域和所述第四圖像中與所述第一區(qū)域?qū)?yīng)的一第二區(qū)域； 所述第四圖像的光圈？的平方與所述第三圖像的光圈？值的平方的比值和所述第三圖像中所述場(chǎng)景的深度與所述第三圖像的對(duì)焦距離之差與所述第四圖像中所述場(chǎng)景的深度與所述第四圖像的對(duì)焦距離之差的比值的絕對(duì)值的乘積為大于1的第三值； 所述至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像，包括: 至少根據(jù)所述第一區(qū)域的第五頻域信號(hào)、所述第二區(qū)域的第六頻域信號(hào)、所述第三值，得到所述場(chǎng)景中與所述第一區(qū)域?qū)?yīng)的一第三區(qū)域的第一子圖像的一空域信號(hào)和所述第一區(qū)域的第三0??？； 至少根據(jù)所述第一圖像的對(duì)焦距離、所述第一區(qū)域的深度、所述第三01？、所述第一圖像中所述第一區(qū)域之外的至少一個(gè)第四區(qū)域的深度和一空域信號(hào)，得到所述場(chǎng)景中與所述至少一個(gè)第四區(qū)域?qū)?yīng)的至少一個(gè)第五區(qū)域的至少一個(gè)第二子圖像的至少一個(gè)空域信號(hào)； 根據(jù)所述第三區(qū)域的第一子圖像的一空域信號(hào)、所述至少一個(gè)第五區(qū)域的至少一個(gè)第二子圖像的至少一個(gè)空域信號(hào)，得到所述全景深圖像的一空域信號(hào)。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述方法還包括: 獲取所述第一區(qū)域的至少一個(gè)其它空域信號(hào)；對(duì)所述第一區(qū)域的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第一區(qū)域的至少一個(gè)其它頻域信號(hào)；根據(jù)所述第三01？、所述第一區(qū)域的至少一個(gè)其它頻域信號(hào)，得到所述第一子圖像的至少一個(gè)其它空域信號(hào)； 獲取各所述第四區(qū)域的至少一個(gè)其它空域信號(hào)；對(duì)所述第四區(qū)域的至少一個(gè)其它空域信號(hào)進(jìn)行頻域轉(zhuǎn)換，得到所述第四區(qū)域的至少一個(gè)其它頻域信號(hào)；根據(jù)所述第三01？、所述第四區(qū)域的至少一個(gè)其它頻域信號(hào)，得到所述第二子圖像的至少一個(gè)其它空域信號(hào)； 根據(jù)所述第一子圖像的至少一個(gè)其它空域信號(hào)、所述第二子圖像的至少一個(gè)其它空域信號(hào)，得到所述全景深圖像的至少一個(gè)其它空域信號(hào)。
10.一種圖像處理裝置，其特征在于，所述裝置包括: 圖像獲取模塊，用于獲取在同一位置以相同的光圈樣式、不同的景深參數(shù)拍攝的同一場(chǎng)景的兩張圖像； 頻域轉(zhuǎn)換模塊，用于對(duì)各所述圖像進(jìn)行頻域轉(zhuǎn)換，得到各所述圖像的一頻域信號(hào)；第一處理模塊，用于至少根據(jù)各所述圖像的一頻域信號(hào)和所述不同的景深參數(shù)，得到所述場(chǎng)景的全景深圖像。
【文檔編號(hào)】H04N5/91GK104506771SQ201410798564
【公開(kāi)日】2015年4月8日 申請(qǐng)日期:2014年12月18日 優(yōu)先權(quán)日:2014年12月18日
【發(fā)明者】周涵寧, 劉嘉 申請(qǐng)人:北京智谷睿拓技術(shù)服務(wù)有限公司