本發(fā)明涉及一種全聚焦攝影裝置及方法。

技術(shù)背景

如今形形色色的攝像機廣泛應(yīng)用于記錄生活中的片段、影視制作、安全監(jiān)控、天文觀測、顯微觀察等，成為人們生活中不可或缺的一部分。一般攝像機在產(chǎn)生某一幀圖像的時候總是在某一特定的參數(shù)下如焦距、光圈、快門等，其中只有處于特定距離的物體其影像才能真正處于攝像機的焦面上，在圖像上反映出來就是總是圖像中特定物體成像清晰而其他物體或多或少出現(xiàn)了模糊現(xiàn)象，當相機焦距較長時，其景深較短非對焦物體容易出現(xiàn)模糊現(xiàn)象，而當相機焦距較短時由于此時景深較長非對焦物體的模糊現(xiàn)象則不明顯。而在諸如安全監(jiān)控、顯微觀察、搖桿探測等應(yīng)用場景中，一幅只有部分物體清晰的圖像會丟失掉很多信息，非常不利于后續(xù)基于這些圖像的分析處理。

因此，本發(fā)明的目的在于針對已有技術(shù)的不足，提供一種全聚焦攝影裝置及方法，可用于獲取場景的全聚焦圖像。

技術(shù)實現(xiàn)要素：

為了達到上述目的，本發(fā)明采用下述技術(shù)方案：

一種全聚焦攝影裝置，包括可變焦相機(202)、深度傳感器(203)和相機控制及圖像處理器(201)，其特征在于：所述相機控制及圖像處理器(201)連接可變相機和深度傳感器(203)；所述深度傳感器用于獲取場景的深度信息；可變焦相機用于改變焦距獲取場景多聚焦圖像；圖像處理器用于分析處理深度傳感器輸出的場景深度信息，分析可變焦相機獲取的彩色圖像驅(qū)動可變焦相機改變焦距獲取多聚焦圖像及合成全聚焦圖像。

一種全聚焦攝像方法，采用上述裝置進行操作，其特征在于操作步驟如下：

(1)獲取場景深度圖：視具體實施例可選用紅外散斑技術(shù)、結(jié)構(gòu)光技術(shù)、雙目立體視覺技術(shù)、激光雷達等方案來獲取場景深度信息。

(2)深度圖預(yù)處理：針對深度圖中可能的無效數(shù)據(jù)，通過深度圖預(yù)處理提升深度圖質(zhì)量。

(3)深度圖與彩色圖配準：通過標定深度傳感器與彩色圖像傳感器得到它們的內(nèi)部參數(shù)和相對位置關(guān)系配準深度圖與彩色圖。

(4)深度圖分割：通過圖像分割算法對預(yù)處理后的圖像進行分割得到場景中不同物體在圖像中的位置區(qū)域。

(5)獲取多聚焦圖像：通過改變可調(diào)焦相機的焦距為步驟(4)中每一分割的區(qū)域獲取最清晰的圖像。

(6)合成多聚焦圖像：通過組合所有分割區(qū)域中的最清晰圖像得到全聚焦圖像。

本發(fā)明與現(xiàn)有技術(shù)相比較，具有如下顯而易見的突出實質(zhì)性特點和顯著技術(shù)進步：本發(fā)明提供的全聚焦攝影裝置及方法，可實時獲取高質(zhì)量的全聚焦圖像，使得攝像機的景深得到大幅度的提升，可廣泛應(yīng)用于專業(yè)攝影、安全監(jiān)控和飛行器航拍等領(lǐng)域。

附圖說明

圖1是全聚焦攝像方法流程圖

圖2是全聚焦攝像裝置組成圖

圖3是具體實施例的全聚焦攝像裝置示意圖

圖4是深度圖中無效數(shù)據(jù)示意圖

圖5修復(fù)后的深度圖

具體實施方式

下面參照附圖，詳細地說明對本發(fā)明的優(yōu)選實施例。

實施例一：

參加圖1，本全聚焦攝影裝置，包括一種全聚焦攝影裝置，包括可變焦相機(202)、深度傳感器(203)和相機控制及圖像處理器(201)，其特征在于：所述相機控制及圖像處理器(201)連接可變相機和深度傳感器(203)；所述深度傳感器用于獲取場景的深度信息；可變焦相機用于改變焦距獲取場景多聚焦圖像；圖像處理器用于分析處理深度傳感器輸出的場景深度信息，分析可變焦相機獲取的彩色圖像驅(qū)動可變焦相機改變焦距獲取多聚焦圖像及合成全聚焦圖像。

實施例二：本全聚焦攝影方法，采用上述裝置進行操作，其特征在于步驟如下：

(1)獲取場景深度圖：視具體實施例可選用紅外散斑技術(shù)、結(jié)構(gòu)光技術(shù)、雙目立體視覺術(shù)和激光雷達來獲取場景深度信息；

(2)深度圖預(yù)處理：針對深度圖中可能的無效數(shù)據(jù)，通過深度圖預(yù)處理提升深度圖質(zhì)量；

(3)深度圖與彩色圖配準：通過標定深度傳感器與彩色圖像傳感器得到它們的內(nèi)部參數(shù)和相對位置關(guān)系配準深度圖與彩色圖；

(4)深度圖分割：通過圖像分割算法對預(yù)處理后的圖像進行分割得到場景中不同物體在圖像中的位置區(qū)域；

(5)獲取多聚焦圖像：通過改變可調(diào)焦相機的焦距為步驟(4)中每一分割的區(qū)域獲取最清晰的圖像；

(6)合成多聚焦圖像：通過組合所有分割區(qū)域中的最清晰圖像得到全聚焦圖像。

實施例三：

參閱圖3，本全聚焦攝像裝置由紅外線發(fā)射器(301)，變焦彩色攝像機(302)，紅外相機(303)組成。其中紅外線發(fā)射器(301)與紅外相機(303)組成深度傳感器，其中紅外線發(fā)射器(301)向空間投射隨機散斑，這些散斑會隨著距離的不同而變圖案從而對空間進行標記。紅外相機(303)記錄這些散斑并與預(yù)先記錄的空間散斑圖案進行匹配即可獲得空間的深度圖。典型的采用這種方案的深度傳感器是Microsoft的Kinect及ASUS的Xtion。在此全聚焦攝像裝置下，全聚焦攝像方法通過以下步驟實現(xiàn)：

(1)獲取場景深度圖(S101)：通過由紅外線發(fā)射器(301)及紅外相機(303)組成的深度傳感器獲取場景的深度圖。

(2)深度圖預(yù)處理(S102)：在上述深度傳感器的方案下，由于光線遮擋、物體表面非正常反射、隨機測量誤差等影像因素使得深度圖具有無效數(shù)據(jù)，因而需要進行預(yù)處理。深度圖中的無效數(shù)據(jù)參見圖4中的黑洞部分，在本方法中采用各向異性擴散函數(shù)來恢復(fù)深度圖中的無效數(shù)據(jù)。對于一幅圖像I其各向異性擴散函數(shù)為：

其中，div是散度算子，是梯度算子，Δ是拉普拉斯算子。c(x,y,t)是傳導(dǎo)系數(shù)。在實際應(yīng)用中某一無效位置數(shù)據(jù)可由以下方法進行恢復(fù)：

其中，0≤λ≤1，是無效數(shù)據(jù)位置處相鄰非無效數(shù)據(jù)與其相鄰非無效數(shù)據(jù)的差值。傳導(dǎo)系數(shù)選擇如下：

K為一常數(shù)。圖5是用此深度圖恢復(fù)辦法恢復(fù)后的深度圖，可見無效深度圖的數(shù)據(jù)都得到了恢復(fù)。

(3)深度圖與彩色圖配準(S103)：此步驟將深度圖與彩色圖對齊，根據(jù)相機成像模型，圖像坐標系與世界坐標系之間的關(guān)系可以表述為：

其中，為圖像坐標系坐標，P_C為相機坐標系坐標，P_W為世界坐標系坐標。為一縮放因子為圖像上一點距其在世界坐標系中對應(yīng)點的距離。H為相機內(nèi)部參數(shù)，R及T表征了相機坐標系與世界坐標系之間的相對位置關(guān)系為相機內(nèi)參。

據(jù)此深度圖像坐標及彩色圖坐標與世界坐標系之間的關(guān)系表達如下：

從而深度圖像與彩色圖像之間的相對關(guān)系如下：

其中，R及T表達了深度傳感器與彩色傳感器之間的相對位置關(guān)系?？赏ㄟ^雙目標定方法標得到深度傳感器及彩色傳感器的內(nèi)部參數(shù)(H_color,H_depth)及它們之間的相對位置關(guān)系(R,T)從而將深度圖與彩色圖進行對齊。

(4)深度圖分割(S104)：通過分割深度圖來確定場景中不同的物體在圖像中所占的區(qū)域，圖像的分割方法有多種如：基于圖的分割、k均值分割、mean shift分割等。在本實施例中采用基于圖的分割來對配準后的深度圖進行分割。

(5)獲取多聚焦圖像(S105)：在得到分割后的深度圖后，通過改變可變焦彩色相機的焦距來調(diào)節(jié)每一分割區(qū)域的清晰程度，最清晰的圖像則需要通過清晰度評價函數(shù)來確定。清晰度評價函數(shù)是一種圖像清晰程度的量化指標，一般當圖像最清晰時，清晰度評價函數(shù)達到最大值。在本實施例中推薦使用Sum-modified-Laplacian(SML)或Normalized Variance(NV)來作為清晰度評價函數(shù)。它們的表達式如下：

其中μ為圖像的平均像素值。

(6)合成多聚焦圖像(S106)：最終的多聚焦圖像通過組合各分割區(qū)域中的最清晰圖像得到。

本發(fā)明還能夠通過以下方式來實現(xiàn)：深度傳感器由兩個彩色相機構(gòu)成，根據(jù)立體視覺原理來得到場景深度圖，則變焦彩色相機需要與此立體視覺系統(tǒng)獲得的深度圖進行配準；以及深度傳感器由激光雷達實現(xiàn)，此時變焦彩色相機則與激光雷達獲得的深度進行配準。

雖然參照示例性實施例對本發(fā)明進行了描述，但是應(yīng)當理解，本發(fā)明并不限于所公開的示例性實施例。應(yīng)當對所附權(quán)利要求的范圍給予最寬的解釋，以使其涵蓋所有這種變型、等同結(jié)構(gòu)和功能。