一種深度圖像的增強(qiáng)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理領(lǐng)域，特別是指一種深度圖像的增強(qiáng)方法。
【背景技術(shù)】
[0002] 深度圖表示場(chǎng)景中各點(diǎn)距離攝像機(jī)的距離。獲取場(chǎng)景深度圖是計(jì)算機(jī)視覺系統(tǒng)的 重要任務(wù)之一?，F(xiàn)有的深度測(cè)量設(shè)備（例如微軟Kinect)受其精度所限，所捕獲的深度圖 通常包含噪聲和破損區(qū)域。傳統(tǒng)的基于立體幾何理論的深度圖獲取方法的時(shí)間復(fù)雜度高， 對(duì)場(chǎng)景的紋理有依賴，應(yīng)用范圍受到限制。
[0003] 基于硬件傳感器的深度圖獲取方法，不依賴場(chǎng)景紋理，具有高速、靈活的特點(diǎn)；尤 其近兩年低價(jià)深度傳感器的發(fā)售，使該類方法更加趨于實(shí)用，衍生應(yīng)用層出不窮。但受硬 件精度與內(nèi)置算法的限制，低價(jià)深度傳感器只能獲取包含噪聲和破損區(qū)域的低分辨率深度 圖。
[0004] 為了對(duì)低質(zhì)量的深度圖進(jìn)行增強(qiáng)，現(xiàn)有方法包括：使用同一時(shí)刻從相似視角拍攝 的彩色圖像作為參考，使用視角映射算法將深度圖與彩色圖像對(duì)齊，并利用濾波或全局優(yōu) 化策略，提高深度圖的分辨率。
[0005] Yang等人在2007年提出先在低分辨率深度圖上構(gòu)造一個(gè)耗費(fèi)模型，然后通過最 小耗費(fèi)估計(jì)及子像素求解算法迭代地增加深度圖分辨率。Park等人在2011年提出利用從 彩色圖像中提取的顏色、邊緣信息及線性插值的深度圖做參考，通過馬爾科夫隨機(jī)場(chǎng)理論 進(jìn)行優(yōu)化，求解出高分辨率的深度圖。
[0006] 以上兩種方法存在明顯缺陷：
[0007] 首先，他們假設(shè)所使用的彩色圖像與深度圖能夠完美對(duì)齊，這與實(shí)際觀察不一致。 受攝像機(jī)鏡頭畸變、視角映射及深度傳感器本身噪聲和測(cè)量誤差的影響，對(duì)齊后的彩色圖 像和深度圖在物體邊緣觀測(cè)值上存在差異。使用這樣的彩色圖像作為線索會(huì)對(duì)深度圖的增 強(qiáng)算法產(chǎn)生錯(cuò)誤引導(dǎo)。
[0008] 其次，以上算法假設(shè)原始深度圖測(cè)量完整，不存在大面積破損區(qū)域，這也與實(shí)際觀 察不符。根據(jù)傳感器測(cè)量原理及物體材質(zhì)的不同，深度圖呈現(xiàn)出相應(yīng)的破損。例如，使用紅 外測(cè)量原理的深度傳感器無法穩(wěn)定測(cè)量紅外反光性低的區(qū)域，深度圖中的該區(qū)域會(huì)存在破 損。此外，視角映射算法會(huì)在深度圖中物體邊緣留下裂痕。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明要解決的技術(shù)問題是，提供一種深度圖像的增強(qiáng)方法，能計(jì)算出準(zhǔn)確度更 好的圖像像素的深度值。
[0010] 所述方法包括：
[0011] 步驟一，通過深度攝像頭拍攝一物體的深度圖像；并通過與所述深度攝像頭同步 的彩色攝像頭拍攝所述物體的彩色圖像；
[0012] 步驟二，根據(jù)所述深度圖像以及所述彩色圖像，構(gòu)造能量函數(shù)；
[0013] 步驟三，用最小二乘法最小化所述能量函數(shù)，計(jì)算得到所述深度圖像中像素的增 強(qiáng)后的深度值的最優(yōu)值；
[0014] 步驟四，輸出所述深度圖像中像素的增強(qiáng)后的深度值的最優(yōu)值。
[0015] 所述能量函數(shù)為：
[0016]
[0017] 其中，E(D'）為能量函數(shù)；D'為深度圖像中像素的增強(qiáng)后的深度值；Ed(D'）為數(shù)據(jù) 約束項(xiàng)，E h (D'）為深度圖像的破損區(qū)域約束項(xiàng)；Es (D'）為光滑約束項(xiàng)；λ A深度圖像的破 損區(qū)域約束項(xiàng)的權(quán)重；As是光滑約束項(xiàng)的權(quán)重。
[0018] 所述數(shù)據(jù)約束項(xiàng)由以下公式定義：
[0019]
[0020] 其中，X為深度圖像中像素的序號(hào)；D(X)為深度圖像中像素X的現(xiàn)有深度值，D'（X) 是深度圖像中像素X的增強(qiáng)后的深度值，C(X)是深度圖像中像素X的現(xiàn)有深度值的置信 度：
[0021] 所述破損區(qū)域約束項(xiàng)由以下公式定義：
[0022]
[0023] 其中，〇"是深度圖像中破損區(qū)域的像素集合，是深度圖像的破損區(qū)域中像 素 X的深度初值；
[0024] 所述光滑約束項(xiàng)由以下公式定義：
[0025]
[0026] 其中，N1 (X)是像素X的1階近鄰；
[0027] X1是像素X的一階近鄰中的一個(gè)像素；i是像素的索引；
[0028] D'（X1)是深度圖像中像素X1的增強(qiáng)后的深度值；
[0029] w (X1, X)是權(quán)重系數(shù)；
[0030] 權(quán)重系數(shù)w (Xi, X)是顏色權(quán)重Wi (Xi, X)、邊緣權(quán)重we (Xi, X)和分割權(quán)重ws (Xi, X)三 項(xiàng)的乘積；
[0031]
[0032]
[0033] 〇￡是彩色圖像的邊緣區(qū)域的像素集合；
[0034] S(X)是彩色圖像的像素 X對(duì)應(yīng)的分割塊的標(biāo)志；S(X1)是彩色圖像中像素對(duì)應(yīng)的 分割塊的標(biāo)志；
[0035] I (X)是彩色圖像中像素X的顏色值；I (X1)是彩色圖像中像素\的顏色值
[0036] σ ;是第一函數(shù)參數(shù)。
[0037] 所述步驟三之前，所述方法還包括：
[0038] 對(duì)所述彩色圖像進(jìn)行卡尼Canny邊緣檢測(cè)處理，獲得所述彩色圖像的邊緣區(qū)域的 像素集合Ωε。
[0039] 所述步驟三之前，所述方法還包括：
[0040] 使用均值漂移MeanShift圖像分割法，將所述彩色圖像分割為超像素，獲得所述 彩色圖像中像素X對(duì)應(yīng)的分割塊的標(biāo)志S(X)。
[0041] 所述步驟三之前，所述方法還包括：
[0042] 對(duì)所述深度圖像的破損區(qū)域Ω Η，使用深度圖修復(fù)算法進(jìn)行填充，求解出所述深度 圖像的破損區(qū)域中像素X的深度初值。
[0043] 所述步驟三之前，所述方法還包括：
[0044] 根據(jù)所述深度圖像和所述彩色圖像，計(jì)算所述深度圖像中像素X的現(xiàn)有深度值的 置信度C(X)。
[0045] 所述根據(jù)所述深度圖像和所述彩色圖像，計(jì)算所述深度圖像中像素X的現(xiàn)有深度 值的置信度C(X)的步驟包括：
[0046]
[0047] 其中，〇"是深度圖像中破損區(qū)域的像素集合；Ω馮深度圖像中的不屬于破損區(qū) 域且距離破損區(qū)域不超過d的像素集合；d為第一距離閾值；
[0048] Cf(X)由以下公式定義：
[0049]
[0050]
[0051]
[0052] 隊(duì)是距離像素X小于或者等于r的像素的集合；r為第二距離閾值；
[0053] I(X)是彩色圖像中像素 X的顏色值；I(X1)是彩色圖像中像素 X1的顏色值；D(X)是 深度圖像中像素X的現(xiàn)有深度值，D (X1)是深度圖像中像素^的現(xiàn)有深度值；Tl是w f (Xl，X) 的總和，。σ D分別是第二函數(shù)參數(shù)和第三函數(shù)參數(shù)；
[0055]
[0054] Ch(X)由以下公式定義：
[0056]
[0057]
[0058] 其中，η '是wh(Xl，X)的總和，σ ' :和σ ' D分別是第四函數(shù)參數(shù)和第五函數(shù)參數(shù)。
[0059] 所述步驟三之前，所述方法還包括：
[0060] 對(duì)所述深度圖像的像素和所述彩色圖像的像素進(jìn)行空間配準(zhǔn)；
[0061] 獲取所述深度圖像中像素 X的深度值和所述彩色圖像中同一像素 X的顏色值之間 的對(duì)應(yīng)關(guān)系。
[0062] 本發(fā)明的上述技術(shù)方案的有益效果如下：
[0063] 本發(fā)明中，使用馬爾科夫隨機(jī)場(chǎng)理論對(duì)深度圖進(jìn)行優(yōu)化，得到一副更加完整、更加 可信、與彩色圖像觀測(cè)結(jié)果更加一致的深度圖。增強(qiáng)后的深度圖可作為輸入數(shù)據(jù)，應(yīng)用于更 高級(jí)的計(jì)算機(jī)視覺、增強(qiáng)現(xiàn)實(shí)任務(wù)中。
【附圖說明】
[0064] 圖1為本發(fā)明一實(shí)施例所示的深度圖像的增強(qiáng)方法的流程示意圖；
[0065] 圖2為本發(fā)明一實(shí)施例所示的深度圖像的增強(qiáng)方法的流程示意圖；
[0066] 圖3為本發(fā)明所述的深度圖像的增強(qiáng)方法的原理示意圖。
【具體實(shí)施方式】
[0067] 為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖及具 體實(shí)施例進(jìn)行詳細(xì)描述。
[0068] 如圖1所示，所述深度圖像的增強(qiáng)方法，包括：
[0069] 步驟11，通過深度攝像頭拍攝一物體的深度圖像；并通過與所述深度攝像頭同步 的彩色攝像頭拍攝所述物體的彩色圖像；
[0070] 步驟12,根據(jù)所述深度圖像以及所述彩色圖像，構(gòu)造能量函數(shù)；
[0071] 步驟13,用最小二乘法最小化所述能量函數(shù)，計(jì)算得到所述深度圖像中像素的增 強(qiáng)后的深度值的最優(yōu)值；
[0072] 步驟14,輸出所述深度圖像中像素的增強(qiáng)后的深度值的最優(yōu)值。
[0073] 其中，所述能量函數(shù)為：
[0074] E (D'）= Ed (D'）+ λ hEh (D'）+ λ sEs (D'）
[0075] 其中，E(D'）為能量函數(shù)；D'為深度圖像中像素的增強(qiáng)后的深度值；Ed(D'）為數(shù)據(jù) 約束項(xiàng)，用于約束D'與D之間的差異。E h(D'）為深度圖像的破損區(qū)域約束項(xiàng)；Es(D'）為光 滑約束項(xiàng)；Xh為深度圖像的破損區(qū)域約束項(xiàng)的權(quán)重；λ 3是光滑約束項(xiàng)的權(quán)重。
[0076] 其中，所述數(shù)據(jù)約束項(xiàng)由以下公式定義：
[0077]
[0078] 其中，X為深度圖像中像素的序號(hào)；D(X)為深度圖像中像素X的現(xiàn)有深度值，D'（X) 是深度圖像中像素X的增強(qiáng)后的深度值，C(X)是深度圖像中像素X的現(xiàn)有深度值的置信 度：
[0079] 所述破損區(qū)域約束項(xiàng)由以下公式定義：
[0080] ·
[0081] 其中，〇"是深度圖像中破損區(qū)域的像素集合，/>?.γ)是深度圖像的破損區(qū)域中像 素X的深度初值；
[0082] 所述光滑約束項(xiàng)由以下公式定義：
[0083]
[0084] 其中，N1 (X)是