一種基于深度參考平面的無干擾的光編碼深度提取方法
【專利摘要】本發(fā)明公開了一種基于深度參考平面的無干擾的光編碼深度提取方法。所述提取方法預(yù)存儲多光編碼深度相機在深度參考平面上形成的散斑圖案在模板庫中，將光編碼深度相機獲取的實際場景的散斑圖案，與模板庫中相應(yīng)深度參考平面內(nèi)的散斑圖案進(jìn)行相似度匹配，得到深度圖。本發(fā)明可以有效地去除多光編碼深度相機之間產(chǎn)生的干擾，并且不限制光編碼深度相機的數(shù)量；通過調(diào)節(jié)深度參考平面之間的間距以及參考平面的數(shù)量，可以使本方法在計算的時間和去干擾的效果之間自由調(diào)節(jié)，用戶在使用時可選擇自己需要的深度參考平面數(shù)量和間距實施本方法。
【專利說明】一種基于深度參考平面的無干擾的光編碼深度提取方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于多視點立體視頻中多深度相機復(fù)雜場景多視點采樣與重建領(lǐng)域，特別涉及多光編碼深度相機間的干擾消除。
【背景技術(shù)】
[0002]人類的視覺系統(tǒng)具有將看到的外部世界從二維重構(gòu)為三維的能力，從而使人們在觀察外部世界時具有良好的立體感，是人類獲取信息的重要方式。但是在使用傳統(tǒng)的2D顯示技術(shù)觀看視頻時，由于視頻缺少景物的深度信息，人的視覺系統(tǒng)無法將視頻中的畫面從二維圖像重構(gòu)為三維圖像，使得用戶無法獲得立體感受。多視點3D視頻的誕生就是為了能夠讓觀看視頻的用戶能夠在獲取景物信息的同時也能夠獲取到景物的深度信息，使得用戶的視覺系統(tǒng)能夠產(chǎn)生視覺立體感受，為用戶帶來更加真實和自然的視覺體驗。目前已有許多國家的研究機構(gòu)對多視點視頻系統(tǒng)展開了全面的研究，有多所大學(xué)及研究院已經(jīng)搭建了用于獲取多視點視頻的多相機陣列，如MIT、斯坦福大學(xué)、MERL研究院、德國HHI以及名古屋大學(xué)等等。
[0003]然而，目前的多視點視頻數(shù)據(jù)采集系統(tǒng)大多用的都是紋理相機，而采用紋理相機的相機陣列具有數(shù)據(jù)量巨大的特點，使多視點視頻的傳輸和應(yīng)用受到限制。同時，近年來深度相機發(fā)展迅速，和紋理相機相比，深度相機能夠直接獲取場景的深度信息，并且用灰度圖來表示場景的深度值，從而大大壓縮了圖像的數(shù)據(jù)量，使得多視點的傳輸成為可能。但是深度相機價格高昂，分辨率低等因素制約了深度相機的進(jìn)一步發(fā)展。
[0004]微軟公司開發(fā)的體感游戲設(shè)備Kinect是近年來商用深度相機的代表，利用紅外CMOS傳感器和投影機的組合，并且采用光編碼(Light Coding)感知深度，打破了以往ToF深度相機售價高昂的局面。Kinect目前售價僅110美元，以其低廉的價格受到了人們的歡迎。從研究層面來說，相對于ToF深度相機，Kinect具有更高的深度圖分辨率，為基于多相機的多視點視頻的研究提供了可能，具有廣泛的應(yīng)用前景。但是，使用Kinect構(gòu)建多視點視頻系統(tǒng)目前仍然具有局限性:由于采用主動發(fā)射紅外光提取場景深度，在多個Kinect的情況下，Kinect互相之間必然會產(chǎn)生干擾，從而影響深度提取的結(jié)果。

【發(fā)明內(nèi)容】

[0005]針對以Kinect為代表的光編碼深度相機存在的相互干擾問題，本發(fā)明設(shè)計了一種基于深度參考平面的光編碼深度相機的干擾消除方法。所述方法預(yù)存儲多光編碼深度相機在深度參考平面上形成的受干擾散斑圖案信息，通過這些信息來消除多光編碼深度相機在獲取實際場景深度時產(chǎn)生的干擾。通過這種方式，在采用光編碼深度相機構(gòu)建多深度相機場景采樣系統(tǒng)時能有效消除深度相機之間的互相干擾，獲取到不同視點的場景深度信肩、O
[0006]為了實現(xiàn)上述目的，本發(fā)明所設(shè)計的方法包括如下步驟:
[0007]第一步，對光編碼深度相機進(jìn)行排布，并對光編碼深度相機進(jìn)行校準(zhǔn)；[0008]第二步，針對每臺光編碼深度相機設(shè)置一系列的深度參考平面，記錄光編碼深度相機在深度參考平面上形成的散斑圖案，將圖案存儲在模板庫；
[0009]第三步，將光編碼深度相機獲取的實際場景的散斑圖案，與模板庫中相應(yīng)深度參考平面內(nèi)的散斑圖案進(jìn)行相似度匹配，得到深度圖。
[0010]本發(fā)明的優(yōu)點在于:
[0011]1.可以有效地去除多光編碼深度相機之間產(chǎn)生的干擾，并且不限制系統(tǒng)中光編碼深度相機的數(shù)量；
[0012]2.只需對光編碼深度相機中被動接收信號的相機部分進(jìn)行校準(zhǔn)，對主動投射散斑模板的投影機部分無需進(jìn)行校準(zhǔn)，節(jié)省了工作量；
[0013]3.通過調(diào)節(jié)深度參考平面之間的間距以及參考平面的數(shù)量，可以使本方法在計算的時間和去干擾的效果之間自由調(diào)節(jié)，用戶在使用時可選擇自己需要的參考平面數(shù)量和間距實施本方法。
【專利附圖】

【附圖說明】
[0014]圖1為本發(fā)明的一種實施例的一種基于深度參考平面的無干擾的光編碼深度相機的系統(tǒng)不意圖；
[0015]圖2A和圖2B分別為本發(fā)明中參考深度平面的散斑圖案示意圖和受干擾的場景接收到的散斑圖案示意圖；
[0016]圖3為本發(fā)明中場景散斑模板與參考平面深度的對應(yīng)領(lǐng)域小塊之間匹配過程的示意圖；
[0017]圖4為本發(fā)明場景散斑模板和參考深度平面進(jìn)行匹配并得到最終輸出深度圖的程序流程圖。
【具體實施方式】
[0018]下面結(jié)合附圖和實施例對本發(fā)明進(jìn)行詳細(xì)說明。
[0019]本發(fā)明中具體實現(xiàn)基于深度參考平面的光編碼深度相機的干擾消除方法是:排布光編碼深度相機，記錄深度參考平面上多臺光編碼深度相機形成的散斑圖案，將散斑圖案預(yù)存儲在計算機中；其后，在實際提取場景深度時，利用相同位置上深度參考平面所記錄的散斑圖案進(jìn)行匹配，計算場景的散斑圖案和深度參考平面的散斑圖案之間的相似度，通過取相似度的最大值來得到某一點像素的深度值，具體實現(xiàn)步驟如下:
[0020]步驟一，排布光編碼深度相機:
[0021]如圖1所示，在場景中有多臺光編碼深度相機C1, C2, , Cn，同時向場景中投射隨機但不隨時間變化的紅外散斑模板，光編碼深度相機的接收部分通過拍攝場景來獲取場景中的散斑圖案。
[0022]針對多臺光編碼深度相機形成的光編碼深度相機采集系統(tǒng)，本發(fā)明所描述的方法對光編碼深度相機的位置無特殊要求，可自由排布。但是考慮到之后步驟的工作量，為方便起見，可將各光編碼深度相機平行排布，此處描述的平行排布主要包含兩個條件:
[0023]1、所有光編碼深度相機的光軸相互平行；
[0024]2、所有光編碼深度相機的光心在同一直線上。[0025]若滿足以上兩個條件，則對某一光編碼深度相機的有效的深度參考平面對其他光編碼深度相機同樣有效，在記錄深度參考平面的散斑圖案時可有效地減少測量深度參考平面上散斑圖案的次數(shù)，節(jié)省工作量。
[0026]完成光編碼深度相機排布之后，需要光編碼深度相機對光編碼深度相機進(jìn)行校準(zhǔn)，校準(zhǔn)的目的是獲得光編碼深度相機的內(nèi)參數(shù)和外參數(shù)。內(nèi)參數(shù)用于消除鏡頭的畸變，使光編碼深度相機獲得的圖像與真實圖像接近，外參數(shù)用于標(biāo)定光編碼深度相機在世界坐標(biāo)系中的位置。光編碼深度相機的內(nèi)、外參數(shù)與光編碼深度相機坐標(biāo)的關(guān)系如公式(I)所示。
[0027]s.m/ = A[R|t]M/(I)
[0028]其中，m'代表相機坐標(biāo)系中的坐標(biāo)，代表某一點在相機成像平面上的二維坐標(biāo)，s是實數(shù)系數(shù)，使等式成立，矩陣A是光編碼深度相機的外參數(shù)，矩陣[R|t]是光編碼深度相機的外參數(shù)，M,是光編碼深度相機在世界坐標(biāo)系中的坐標(biāo)位置。
[0029]校準(zhǔn)光編碼深度相機的具體方法可使用MATLAB中的calibration toolbox等工具，在本發(fā)明中不再贅述。
[0030]步驟二，記錄深度參考平面上光編碼深度相機形成的散斑圖案，存入模板庫。
[0031]步驟一中，本發(fā)明對光編碼深度相機進(jìn)行校準(zhǔn)，得到了光編碼深度相機的內(nèi)參數(shù)和外參數(shù)，進(jìn)一步可以得到光編碼深度相機的光軸和光心位置。對于光編碼深度相機C1，在與光編碼深度相機C1光心距離為Cltl的光軸位置上假設(shè)有一個垂直于光軸的深度參考平面A1,該深度參考平面A1相對于光編碼深度相機C1的深度值為(V從Cltl位置開始，每隔一個等長的深度差值△ d，都假設(shè)有一個深度參考平面在該深度上與光軸垂直，將一系列K個深度參考平面記為A1, A2,...，Ak，深度參考平面Ak距離光編碼深度相機光心的深度值D (Ak)如公式⑵:
[0032]D(Ak) = d0+(k_l).Ad, l^k^K(2)
[0033]深度值Cltl和深度差值Λ d的選擇可根據(jù)需要測量的實際場景深度范圍進(jìn)行具體取值，K的取值可根據(jù)用戶對場景深度精細(xì)程度自行確定，K值越大，則場景范圍內(nèi)深度參考平面的數(shù)量越多，匹配得到的深度圖結(jié)果越精細(xì)，但是同時帶來的計算量增大；K值越小，則深度參考平面數(shù)量越少，匹配得到的深度圖結(jié)果越粗糙，但計算量較小。優(yōu)選地，若以計算速度為優(yōu)先，可選取10至50個深度參考平面；若以匹配得到的深度圖質(zhì)量為優(yōu)先，可選取100個以上的深度參考平面進(jìn)行匹配。
[0034]對于光編碼深度相機C1的一系列深度參考平面A1, A2, , Ak,在每一個深度參考平面的位置上放置一塊平板，用于接收光編碼深度相機發(fā)射的散斑圖案。打開所有的光編碼深度相機，讓所有的光編碼深度相機在深度參考平面A1上投射散斑圖案。此時在深度參考平面A1上形成了受干擾的散斑圖案，將光編碼深度相機C1所拍攝到的深度參考平面A1上的散斑圖案記錄下來，存儲在計算機的模板庫中，等待進(jìn)行匹配。對每一臺光編碼深度相機C1, C2,, Cn重復(fù)進(jìn)行以上過程，記錄所有的深度參考平面的散斑圖案。對于每臺光編碼深度相機來說，只需分別存儲從自己的位置進(jìn)行拍攝的K張深度參考平面的散斑圖案。若按照步驟一中所述，各光編碼深度相機之間采用平行排布，則只需在記錄光編碼深度相機C1的深度參考平面時同時記錄其他光編碼深度相機的深度參考平面的散斑圖案。
[0035]步驟三，散斑圖案匹配得到深度圖:
[0036]完成了步驟一和步驟二之后，模板庫中已經(jīng)存儲了所有光編碼深度相機在所有深度參考平面上的散斑圖案，在測量實際場景的深度時，可按照如下步驟提取場景深度:
[0037]將所有光編碼深度相機打開，同時再次向場景中投射散斑模板模擬實際場景，以便于將得到的場景圖像與預(yù)存儲的深度參考平面進(jìn)行匹配，此時光編碼深度相機接收到的是受干擾的散斑圖案，對每個光編碼深度相機分別進(jìn)行匹配。結(jié)合圖3，匹配過程如下:
[0038](I)對光編碼深度相機C1拍攝到的散斑圖案，任取某一像素P1，取其鄰域小塊，記為patch。由于在本發(fā)明中，光編碼深度相機的位置始終是固定的，所以對于之前記錄的模板庫中深度參考平面的散斑圖案和實際場景的散斑圖案，其相對位置是相同的。
[0039](2)在深度參考平面仏上取相同位置的像素p/，同樣取相同大小的小塊patch',計算patch和patch'的相似度,將相似度值記錄為L(A1)。
[0040]計算相似度值的公式如公式(3)所示:
[0041]L(Ak) = MRCC(patch, patch' )(3)
[0042]其中，MRCC是通過去均值來求兩個矩陣之間相似度的函數(shù)。代表了在深度參考平面Ak下深度參考平面中的散斑圖案和場景中的散斑圖案之間的相似度。
[0043]MRCC的計算公式如公式⑷所示:
[0043]
【權(quán)利要求】
1.一種基于深度參考平面的無干擾的光編碼深度提取方法，其特征在于:包括如下步驟: 第一步，對光編碼深度相機進(jìn)行排布，并對光編碼深度相機進(jìn)行校準(zhǔn)； 第二步，針對每臺光編碼深度相機設(shè)置一系列的深度參考平面，記錄光編碼深度相機在深度參考平面上形成的散斑圖案，將圖案存儲在模板庫，具體為: 對于光編碼深度相機C1，在與光編碼深度相機C1光心距離為Cltl的光軸位置上假設(shè)有一個垂直于光軸的深度參考平面A1,該深度參考平面A1相對于光編碼深度相機C1的深度值為d0,從Cltl位置開始，每隔一個等長的深度差值Λ d，都假設(shè)有一個深度參考平面在該深度上與光軸垂直，將一系列深度參考平面記為A1, A2,, Ak,深度參考平面Ak距離光編碼深度相機光心的深度值D (Ak)如公式⑵: D(Ak) = d0+(k-l).Ad, I ^ k ^ K(2) 對于光編碼深度相機C1的一系列深度參考平面A1, A2,, Ak,在每一個深度參考平面的位置上放置一塊平板，用于接收光編碼深度相機發(fā)射的散斑圖案；打開所有的光編碼深度相機，讓所有的光編碼深度相機在深度參考平面A1上投射散斑圖案；此時在深度參考平面A1上形成散斑圖案，將光編碼深度相機C1所拍攝到的深度參考平面A1上的散斑圖案記錄下來，存儲在計算機的模板庫中；對每一臺光編碼深度相機C1, C2,..., Cn重復(fù)進(jìn)行以上過程，記錄所有的深度參考平面的散斑圖案，并存儲在計算機的模板庫中； 第三步，將光編碼深度相機獲取的實際場景的散斑圖案，與模板庫中相應(yīng)深度參考平面內(nèi)的散斑圖案進(jìn)行相似度匹配，得到深度圖。
2.根據(jù)權(quán)利要求1所述`的一種基于深度參考平面的無干擾的光編碼深度提取方法，其特征在于:第一步中各光編碼深度相機平行排布，并使得所有光編碼深度相機的光軸相互平行；所有光編碼深度相機的光心在同一直線上。
3.根據(jù)權(quán)利要求1所述的一種基于深度參考平面的無干擾的光編碼深度提取方法，其特征在于:所述的相似度匹配，具體為: (1)對光編碼深度相機C1拍攝到的散斑圖案，任取某一像素P1，取其鄰域小塊，記為patch ； (2)在深度參考平面A1上取相同位置的像素p/，取其鄰域小塊patch'，所述鄰域小塊patch'與鄰域小塊patch的大小相同，計算patch和patch'的相似度,將相似度值記錄為L(A1)； 計算相似度值的公式如公式(3)所示: L(Ak) = MRCC(patch, patch' )(3) 其中，MRCC是通過去均值來求兩個矩陣之間相似度的函數(shù)； (3)對光編碼深度相機C1所記錄的所有深度參考平面A1,A2,..., Ak的所有相似度值，取相似度最大的小塊對應(yīng)的深度參考平面為目標(biāo)深度參考平面，根據(jù)深度參考平面與場景之間的對應(yīng)關(guān)系得到像素P1在場景中的實際深度值； (4)得到像素P1的深度之后，繼續(xù)選取光編碼深度相機C1拍攝到的散斑圖案中的下一個像素，返回步驟(2);直到得到完整的光編碼深度相機C1所拍攝的場景深度圖，完成去干擾的多編碼深度相機的場景深度提取。
【文檔編號】H04N5/33GK103561257SQ201310534613
【公開日】2014年2月5日 申請日期:2013年11月1日 優(yōu)先權(quán)日:2013年11月1日
【發(fā)明者】劉榮科, 袁鑫, 葛帥, 關(guān)博深, 潘宇 申請人:北京航空航天大學(xué)