專利名稱：用于景深渲染的模糊函數(shù)建模的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及圖像捕獲裝置，更具體地涉及相機(jī)景深渲染。2.
背景技術(shù)：
攝影鏡頭和相機(jī)的孔徑光闌對到達(dá)圖像傳感器(或感光膠片)的光照量進(jìn)行控制。光圈控制與快門速度控制相結(jié)合，調(diào)節(jié)在捕獲圖像時(shí)的曝光程度。應(yīng)認(rèn)識到的是，利用較快的快門速度或在弱光條件下捕獲圖像需要較大光圈來獲得正確曝光。相反，較小的光圈用于強(qiáng)光條件和較慢的快門速度來獲得正確曝光。鏡頭光圈通常表達(dá)為f數(shù)，其為焦距與有效光圈直徑的比。鏡頭常常提供f數(shù)可被設(shè)為的一組標(biāo)記的“f光闌”。較低的f數(shù)表示較大光圈開口。“一個(gè)f光闌”的變化是指在f數(shù)的七(例如，約1.41)倍的變化并且對應(yīng)于在捕獲圖像時(shí)通過鏡頭傳遞的光強(qiáng)度的兩倍的變化。雖然小型至中型相機(jī)由于其輕重量、便攜性和低成本已變得極其普遍，但它們通常具有非常有限的光圈大小的缺點(diǎn)。為了通過這些小光圈鏡頭提供充分照明，人們一直在追求更加敏感的圖像傳感器以允許以較快的快門速度或在較低的照明條件下使用這些小相機(jī)。然而，獲得充分的照明以捕獲圖像并不能使得小光圈鏡頭等效于常規(guī)大光圈鏡頭。因此，需要一種能增加相機(jī)鏡頭系統(tǒng)的鏡頭光圈而不增加相機(jī)鏡頭系統(tǒng)的大小或成本的設(shè)備和/或方法。在本發(fā)明中滿足了這些需要和其它需要，本發(fā)明克服了先前開發(fā)的相機(jī)系統(tǒng)和方法的缺陷。

發(fā)明內(nèi)容
本發(fā)明為一種相機(jī)設(shè)備和方法，其克服了具有有限物理光圈大小的相機(jī)系統(tǒng)的其它缺點(diǎn)。在本發(fā)明中應(yīng)認(rèn)識到的是，當(dāng)人們限于使用低光圈鏡頭時(shí)就失去了較大光圈鏡頭所提供的大部分控制。特別是對于使用淺焦技術(shù)的能力而言，在這種技術(shù)中，利用小景深來聚焦圖像的單個(gè)平面而使其余圖像平面保持失焦。淺焦通常用于相對于圖像的一部分而強(qiáng)調(diào)圖像的另一部分。在攝影師的行話中，失焦的區(qū)域通常被稱作“散景(bokeh)”，其為拍攝圖像的失焦區(qū)域的主觀審美品質(zhì)的日文術(shù)語。應(yīng)意識到的是，小光圈鏡頭基本上限于僅提供整個(gè)圖像對準(zhǔn)焦點(diǎn)的深焦?？刂平股?例如，從深到淺)常常用于人像攝影，以使拍攝對象與其相應(yīng)背景隔離，并消弱否則可能會轉(zhuǎn)移觀察者注意力的不重要的細(xì)節(jié)。在本文中描述了一種提供景深渲染的設(shè)備和方法，其甚至允許小光圈相機(jī)提供以前只能通過使用大光圈相機(jī)系統(tǒng)才可實(shí)現(xiàn)的結(jié)果。該系統(tǒng)的目的是當(dāng)利用物理上較小的光圈捕獲圖像時(shí)，模擬較大光圈的失焦效果。術(shù)語“數(shù)字光圈”或“數(shù)字光圈大小”在本文中用于指模擬的光圈大小，該模擬光圈大小大于相機(jī)設(shè)備的物理光圈可實(shí)現(xiàn)的光圈大小。為了模擬淺焦效果，本發(fā)明的實(shí)施例利用基于模糊變化與光圈變化之間關(guān)系的模糊函數(shù)模型。該模型用于估計(jì)以兩個(gè)不同光圈拍攝的兩個(gè)圖像之間產(chǎn)生的模糊差異。然后基于該模糊差異通過模糊化圖像來產(chǎn)生失焦效果。
響應(yīng)于在至少兩個(gè)不同的焦點(diǎn)位置捕獲至少兩張圖片，來確定模糊差異。在兩個(gè)焦點(diǎn)位置之間的距離優(yōu)選地為大約一個(gè)景深。通過在較清晰圖像與匹配較模糊圖像所需的模糊核心之間的多次卷積來確定兩個(gè)焦點(diǎn)位置的圖片之間的模糊差異。然后通過將拍攝對象置于固定距離處，以從最小焦距到無限遠(yuǎn)的每一個(gè)景深捕獲一個(gè)圖像，然后計(jì)算每兩張相鄰圖片之間的模糊差異，來獲得模糊匹配曲線。圖像的散焦模糊被定義為在圖像與相應(yīng)的對焦圖像之間的模糊差異。圖像的散焦模糊為從對焦位置到圖像拍攝位置的迭代次數(shù)之和，且可由匹配曲線中理想鏡頭的
5=-W2來確定，其中k為斜率且I為捕獲圖像的鏡頭位置的迭代次數(shù)。本發(fā)明的設(shè)備和方法優(yōu)選地基于理想鏡頭，盡管其以某些方式不同于物理相機(jī)鏡頭。具體而言，實(shí)際鏡頭易產(chǎn)生光學(xué)偽像和失真，且其匹配曲線可能含噪音且不一致。與此不同的是，理想鏡頭提供平滑的直的(線性)匹配曲線且具有對于不同的光圈來說是恒定的相對于景深(DOF)的斜率。理想鏡頭的模糊函數(shù)應(yīng)遵循高斯分布。本發(fā)明應(yīng)能以多種方式來實(shí)施，包括但不限于下文的描述。本發(fā)明的一個(gè)實(shí)施例為一種設(shè)備，其對捕獲的圖像進(jìn)行景深渲染以模擬使用較大光圈將會產(chǎn)生的失焦效果，該設(shè)備包括(a)成像元件，具有光圈且被配置成以焦點(diǎn)設(shè)置來捕獲數(shù)字圖像；(b)計(jì)算機(jī)處理器和相關(guān)聯(lián)的存儲器，其耦合到成像元件且被配置成處理從成像元件接收的數(shù)字圖像；以及(C)處理器上的可執(zhí)行程序，用于(c) (i)使用相同的光圈設(shè)置在不同的焦點(diǎn)位置捕獲至少兩個(gè)圖像，(c) (ii)將圖像分割成子圖像塊，(c) (iii)基于該成像元件的作為迭代次數(shù)與鏡頭焦點(diǎn)位置之間關(guān)系的匹配曲線，確定圖像的子圖像塊之間的模糊差異；(c) (iv)確定圖像的子圖像塊之間的散焦模糊，以及(c) (v)通過響應(yīng)于所確定的圖像之間的模糊差異的、利用模糊核心的多次卷積來模糊化圖像的子圖像塊，以生成模擬利用更大光圈所得的圖像。應(yīng)理解的是，當(dāng)模糊差異為零時(shí)，卷積次數(shù)為零。該設(shè)備生成利用所述成像元件以第一光圈設(shè)置捕獲的數(shù)字圖像，該數(shù)字圖像看起來就像是以大于第一光圈設(shè)置的第二光圈設(shè)置而捕獲的。根據(jù)本發(fā)明，響應(yīng)于檢測到給定的圖像條件集合，例如響應(yīng)于被捕獲圖像內(nèi)的人臉檢測，來選擇數(shù)字光圈大小為超過該設(shè)備可實(shí)現(xiàn)的物理光圈大小。在優(yōu)選的實(shí)施方式中，響應(yīng)于在設(shè)備的焦點(diǎn)范圍捕獲圖像序列以建立迭代次數(shù)與鏡頭焦點(diǎn)位置之間的關(guān)系，而將匹配曲線保存在設(shè)備的存儲器中?？赏ㄟ^將對焦、第一位置與第二位置之間的間隔中的迭代次數(shù)求和、根據(jù)匹配曲線來確定圖像的散焦模糊量。應(yīng)理解的是，所述匹配曲線的斜率與f數(shù)的平方成反比。在至少一實(shí)施方式中，由
權(quán)利要求
1.一種用于在捕獲的圖像上進(jìn)行景深渲染以模擬使用較大光圈將會產(chǎn)生的失焦效果的設(shè)備，包括 具有光圈且被配置成以焦點(diǎn)設(shè)置來捕獲數(shù)字圖像的成像元件，所述光圈具有物理光圈大小； 計(jì)算機(jī)處理器，與存儲器相關(guān)聯(lián)，耦合到所述成像元件且被配置成處理從所述成像元件接收的數(shù)字圖像；以及 所述計(jì)算機(jī)處理器上的可執(zhí)行程序，用于 使用相同的光圈設(shè)置在焦點(diǎn)位置捕獲至少一成對圖像，所述成對圖像的焦點(diǎn)位置不同， 將所述成對圖像分割成子圖像塊， 基于所述成像元件的作為迭代次數(shù)與所述焦點(diǎn)位置之間關(guān)系的匹配曲線，確定所述成對圖像的子圖像塊之間的模糊差異， 確定所述成對圖像的子圖像塊之間的散焦模糊，以及 通過響應(yīng)于所確定的所述成對圖像之間的模糊差異的、利用模糊核心的多次卷積來模糊化所述成對圖像的子圖像塊，從而生成模擬利用較大光圈所得的圖像。
2.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述設(shè)備生成用所述成像元件以第一光圈設(shè)置所捕獲的數(shù)字圖像，所述數(shù)字圖像看起來就像是以大于所述第一光圈設(shè)置的第二光圈設(shè)置所捕獲的。
3.根據(jù)權(quán)利要求I所述的設(shè)備，其中，通過在所述設(shè)備的焦點(diǎn)范圍捕獲圖像序列以建立迭代次數(shù)與所述焦點(diǎn)位置之間的關(guān)系，所述匹配曲線被保存在所述設(shè)備的存儲器中。
4.根據(jù)權(quán)利要求I所述的設(shè)備，其中，圖像的散焦模糊量能夠通過將在對焦、第一位置與第二位置之間的間隔中的迭代次數(shù)求和、根據(jù)所述匹配曲線來確定。
5.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述匹配曲線的斜率與f數(shù)的平方成反比。
6.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述散焦模糊由下式給出5 = ^s/= ^ks2 =^-I2，其中所述散焦模糊B根據(jù)迭代次數(shù)I、離對焦位置的景深(DOF)s 2 2 2k和匹配曲線的斜率k來確定。
-\ 2
7.根據(jù)權(quán)利要求I所述的設(shè)備，其中，由公式AA = τγ-1 B1 = -j- -I B1給出所述模糊差異，其中B1和B2為在第一光圈A1和第二光圈A2 (f數(shù))將產(chǎn)生的模糊級別，且h為限定光圈變化范圍的常數(shù)。
8.根據(jù)權(quán)利要求I所述的設(shè)備，其還包括用戶界面，所述用戶界面在所述設(shè)備上具有至少一個(gè)用戶輸入控制，所述至少一個(gè)用戶輸入控制被配置成選擇超過所述設(shè)備能夠?qū)崿F(xiàn)的物理光圈大小的數(shù)字光圈大小，或者選擇將所述數(shù)字光圈大小設(shè)置為超過所述設(shè)備能實(shí)現(xiàn)的物理光圈大小的操作模式。
9.根據(jù)權(quán)利要求I所述的設(shè)備，還包括響應(yīng)于檢測到給定的圖像條件集合，選擇超過所述設(shè)備能實(shí)現(xiàn)的物理光圈大小的數(shù)字光圈大小。
10.根據(jù)權(quán)利要求I所述的設(shè)備，還包括響應(yīng)于檢測到給定的圖像條件集合，選擇超過所述設(shè)備能實(shí)現(xiàn)的物理光圈大小的數(shù)字光圈大?。徊⑶? 其中所述數(shù)字光圈大小是響應(yīng)于被捕獲的圖像內(nèi)的人臉檢測而被選擇的。
11.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述模糊化子圖像塊通過使用二維高斯模糊濾鏡執(zhí)行。
12.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述模糊化子圖像塊包括使用通過二維高斯模糊濾鏡執(zhí)行的增強(qiáng)的模糊效果，該二維高斯模糊濾鏡具有由C^auss =(5〗-我)4所給出的方差^iuss，其中B1為所捕獲的圖像的子圖像塊的散焦模糊，B2為模擬圖像的對應(yīng)子圖像塊的散焦模糊，σ 為模糊核K的方差，且參數(shù)Y控制增強(qiáng)的模糊效果。
13.一種對捕獲的圖像進(jìn)行景深渲染以模擬通過使用比所述設(shè)備可實(shí)現(xiàn)的物理光圈更大的物理光圈將會產(chǎn)生的散焦效果的設(shè)備，所述設(shè)備包括 具有物理光圈且被配置成以焦點(diǎn)設(shè)置來捕獲數(shù)字圖像的成像元件，所述光圈具有物理光圈大??； 計(jì)算機(jī)處理器和存儲器，耦合到所述成像元件且被配置成處理從所述成像元件接收的數(shù)字圖像；以及所述計(jì)算機(jī)處理器上的可執(zhí)行程序，用于 檢測用戶輸入來選擇數(shù)字光圈大小，或者選擇與使用所述數(shù)字光圈大小相關(guān)聯(lián)的模式； 使用相同的光圈設(shè)置在焦點(diǎn)位置捕獲至少一成對圖像，所述成對圖像的焦點(diǎn)位置不同， 將所述成對圖像分割成子圖像塊， 基于所述成像元件的作為迭代次數(shù)與所述焦點(diǎn)位置之間關(guān)系的匹配曲線，來確定所述成對圖像的子圖像塊之間的模糊差異， 確定所述成對圖像的子圖像塊之間的散焦模糊，以及 通過響應(yīng)于所確定的所述成對圖像之間的模糊差異的、利用模糊核心的多次卷積來模糊化所述圖像的子圖像塊從而生成所得圖像； 其中所得圖像以超過所述設(shè)備能實(shí)現(xiàn)的物理光圈大小的表觀數(shù)字光圈大小而生成。
14.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述設(shè)備由所述成像元件以第一光圈設(shè)置生成數(shù)字圖像輸出，所述數(shù)字圖像輸出看起來就像是以大于所述第一光圈設(shè)置的第二光圈設(shè)置所捕獲的。
15.根據(jù)權(quán)利要求13所述的設(shè)備，其中，通過在所述設(shè)備的焦點(diǎn)范圍捕獲圖像序列以建立迭代次數(shù)與所述焦點(diǎn)位置之間的關(guān)系，所述匹配曲線被保存在所述設(shè)備的存儲器中。
16.根據(jù)權(quán)利要求13所述的設(shè)備，其中，根據(jù)所述匹配曲線，圖像的散焦模糊量能被計(jì)算為在對焦位置、第一位置與第二位置之間的間隔中的迭代次數(shù)之和。
17.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述匹配曲線的斜率與f數(shù)的平方成反比。
18.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述散焦模糊B由 給 出，且根據(jù)迭代次數(shù)I，離對焦位置的景深(DOF) s和匹配曲線的斜率k來確定。
19.根據(jù)權(quán)利要求13所述的設(shè)備，其中，由公式
20.根據(jù)權(quán)利要求13所述的設(shè)備，還包括用戶界面，所述用戶界面具有在所述設(shè)備上的至少一個(gè)用戶輸入控制，所述至少一個(gè)用戶輸入控制被配置成選擇超過所述設(shè)備可實(shí)現(xiàn)的物理光圈大小的數(shù)字光圈大小，或者選擇包括選擇超過所述設(shè)備能實(shí)現(xiàn)的物理光圈大小的數(shù)字光圈大小的操作模式。
21.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述模糊化子圖像塊通過使用二維高斯模糊濾鏡來執(zhí)行。
22.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述模糊化子圖像塊包括使用通過二維高斯模糊濾鏡執(zhí)行的增強(qiáng)的模糊效果，該二維高斯模糊濾鏡具有由tr〗auss =($ -盡)所給出的方差i^auss，其中B1為所捕獲的圖像的子圖像塊的散焦模糊，B2為模擬圖像的對應(yīng)子圖像塊的散焦模糊，Cr〖為模糊核心K的方差，且參數(shù)Y控制增強(qiáng)的模糊效果。
23.一種用于捕獲圖像的方法，其模擬比相機(jī)設(shè)備內(nèi)的成像元件可實(shí)現(xiàn)的物理光圈大小更大的光圈，包括 使用所述相機(jī)設(shè)備的相同光圈設(shè)置在焦點(diǎn)位置捕獲至少一成對圖像，所述成對圖像的焦點(diǎn)位置不同， 將所述成對圖像分割成子圖像塊； 基于所述成像元件的作為迭代次數(shù)與所述焦點(diǎn)位置之間關(guān)系的匹配曲線，來確定所述成對圖像的子圖像塊之間的模糊差異； 確定所述成對圖像的子圖像塊之間的散焦模糊；以及 通過響應(yīng)于所確定的所述成對圖像之間的模糊差異的、利用模糊核心的卷積來模糊化所述成對圖像的子圖像塊從而生成所得圖像； 其中所得圖像以超過所述相機(jī)設(shè)備可實(shí)現(xiàn)的所述物理光圈大小的表觀數(shù)字光圈大小而生成。
24.根據(jù)權(quán)利要求23所述的方法，還包括檢測用戶輸入以選擇數(shù)字光圈大小或者與使用所述數(shù)字光圈大小相關(guān)聯(lián)的模式，所述數(shù)字光圈大小超過在所述相機(jī)設(shè)備上可實(shí)現(xiàn)的物理光圈大小。
全文摘要
一種景深渲染的方法和設(shè)備，其模擬以較小光圈捕獲的圖像的較大光圈。在以較小光圈捕獲圖像時(shí)，景深渲染對利用具有較大光圈的相機(jī)可實(shí)現(xiàn)的失焦效果進(jìn)行選擇性模擬。模糊函數(shù)模型是基于模糊變化與光圈變化之間的關(guān)系而創(chuàng)建。該模型用于確定以兩個(gè)不同光圈拍攝的兩個(gè)圖像之間產(chǎn)生的模糊差異。然后基于模糊差異，通過在渲染處理中模糊化圖像而產(chǎn)生失焦效果。
文檔編號H04N5/232GK102812496SQ201180008642
公開日2012年12月5日 申請日期2011年2月15日 優(yōu)先權(quán)日2010年3月22日
發(fā)明者咖茲·阿力, 李平山 申請人:索尼公司