平 滑區(qū)域的深度值也平滑，并使深度圖像的邊緣與彩色圖像保證對齊。
[0163] 通過本發(fā)明修復(fù)后的深度圖與彩色圖像邊緣一致、對齊準(zhǔn)確。通過在不同公共數(shù) 據(jù)集上的比較發(fā)現(xiàn)，本發(fā)明修復(fù)后的深度圖平均誤差僅為0.32%，遠(yuǎn)低于使用簡單數(shù)字圖 像修復(fù)算法平均7. 52 %的修復(fù)誤差。
[0164] 以下描述本發(fā)明的實(shí)施例。所述方法包括以下步驟：
[0165] 步驟1，使用常見的RGBD (紅、綠、藍(lán)、深度）攝像頭（如微軟Kinect，華碩Xtion 等）拍攝深度/彩色圖像對。通常彩色圖像具有較高的分辨率，而深度圖像分辨率低，且噪 音嚴(yán)重并包含較多的錯誤。
[0166] 步驟2,使用攝像機(jī)標(biāo)定技術(shù)獲得攝像機(jī)內(nèi)外參數(shù)，并基于此計(jì)算從深度圖到彩色 圖像的對應(yīng)關(guān)系，配準(zhǔn)深度和彩色圖像。Kinect的SDK (軟件開發(fā)工具包）本身帶有這一功 能，因此可以直接使用。注意由于深度錯誤、攝像機(jī)標(biāo)定誤差等原因，由該方法計(jì)算的對應(yīng) 關(guān)系往往存在一定誤差。
[0167] 步驟3,根據(jù)"顏色一深度"一致性計(jì)算深度像素的置信度C(X):
[0168]
[0169] 其中，ΩΗ是深度圖中破損區(qū)域的像素集合，Ω d是本身不屬于破損區(qū)域但距離破 損區(qū)域不超過d的像素集合（d可設(shè)為7)，Cf (X)由以下公式定義：
[0170] (4) CN 105139355 A 兄明書 10/11 頁
[0171] m
[0172] (6)
[0173] 其中，隊(duì)是距離像素 x不超過r的像素的集合（r可設(shè)為7)，I (X)和D(x)是像素 X的顏色值和深度值，η是公式（4)中wf (X1, X)的總和，σ jp σ D可分別設(shè)為15個(gè)灰度差 和30暈米。
[0174] 公式⑶中的Ch(X)由以下公式定義：
[0175] " m
[0176] ⑻
[0177] m
[0178] 其中，各項(xiàng)符號的意義與公式（5) (6)相同，ιΓ是公式（7)中Wh(Xl，x)的總和， σ ' :和。' D可分別設(shè)為15個(gè)灰度差和15毫米，可以根據(jù)經(jīng)驗(yàn)值進(jìn)行設(shè)定。
[0179] 步驟4,對深度圖的破損區(qū)域ΩΗ(即深度攝像機(jī)未能正確獲得深度的區(qū)域），使用 簡易深度圖修復(fù)的技術(shù)進(jìn)行填充獲得深度初值。
[0180] 簡易深度圖修復(fù)算法以破損區(qū)域邊界上的像素作為種子點(diǎn)，按照種子點(diǎn)的優(yōu)先級 由高到低，向破損區(qū)域中心迭代擴(kuò)散的方式進(jìn)行區(qū)域修復(fù)。種子點(diǎn)的優(yōu)先級按照以下公式 定義：
[0181] (11)
[0182] 其中，T(Xs)為種子點(diǎn)到破損區(qū)域邊界的距離，D(Xs)為種子點(diǎn)的深度值，D niax為場 景的最大深度值，f/(A)為彩色圖像的拉普拉斯變換值，λ λ 2可分別設(shè)為-10和7。
[0183] 步驟5,對彩色圖像，采用Canny邊緣檢測計(jì)算所有圖像邊緣的集合ΩΕ;并使用均 值漂移（MeanShift)圖像分割方法將圖像分割為超像素，并記S(X)為像素 X對應(yīng)的分割區(qū) 域標(biāo)志。
[0184] 步驟6,構(gòu)造馬爾可夫能量函數(shù)。該能量函數(shù)由數(shù)據(jù)約束項(xiàng)Ed (D'），破損區(qū)域約束 項(xiàng)Eh(D'）和光滑約束項(xiàng)Es(D'）三項(xiàng)組成。能量函數(shù)中的數(shù)據(jù)約束項(xiàng)定義如下：
[0185] (2)
[0186] 其中，D(x)是深度圖中像素 x的現(xiàn)有深度值，D'（X)是增強(qiáng)之后的深度值，C(x)是 像素 X現(xiàn)有深度值的置信度：
[0187] 能量函數(shù)中的破損區(qū)域約束項(xiàng)由以下公式定義：
[0188] ,、 (10)
[0189] 其中，ΩΗ是深度圖中破損區(qū)域的像素集合，i)以是簡易深度圖修復(fù)算法求解出 的深度值。
[0190] 能量函數(shù)光滑約束項(xiàng)由以下公式定義：
[0191]
(12|
[0192] 其中，N1 (X)是像素 X的1階近鄰，權(quán)重系數(shù)w(X1, X)是顏色權(quán)重W1(XyX)、邊緣權(quán) 重Wf3 (Xi, X)和分割權(quán)重Ws (Xi, X)三項(xiàng)的乘積，他們分別按照如下公式定義：
[0193] (13):
[0194] (W) (15)
[0195] 其中，ΩΕ是彩色圖像的邊緣集合，S(X)是彩色圖像分割塊的標(biāo)志，〇 1可設(shè)置為 10個(gè)灰度差。
[0196] 步驟7,用最小二乘法最小化如下能量函數(shù)，獲得D'（X)的最優(yōu)解作為輸出結(jié)果：
[0197] E (D') = Ed(D，) + AhEh(D，) + AsEs(D，)
[0198] 其中，λ#Ρ λ j別是破損區(qū)域約束項(xiàng)和光滑約束項(xiàng)的權(quán)重，可分別設(shè)為〇. 1和 0.2。
[0199] 以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員 來說，在不脫離本發(fā)明所述原理的前提下，還可以作出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也 應(yīng)視為本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種深度圖像的增強(qiáng)方法，其特征在于，包括： 步驟一，通過深度攝像頭拍攝一物體的深度圖像；并通過與所述深度攝像頭同步的彩 色攝像頭拍攝所述物體的彩色圖像； 步驟二，根據(jù)所述深度圖像以及所述彩色圖像，構(gòu)造能量函數(shù)； 步驟三，用最小二乘法最小化所述能量函數(shù)，計(jì)算得到所述深度圖像中像素的增強(qiáng)后 的深度值的最優(yōu)值； 步驟四，輸出所述深度圖像中像素的增強(qiáng)后的深度值的最優(yōu)值。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述能量函數(shù)為： E(D'）= Ed(D'）+入 hEh(D'）+入 SES(D'） 其中，E(D'）為能量函數(shù)；D'為深度圖像中像素的增強(qiáng)后的深度值；Ed(D'）為數(shù)據(jù)約束 項(xiàng)，Eh(D'）為深度圖像的破損區(qū)域約束項(xiàng)；Es(D'）為光滑約束項(xiàng)；Ah為深度圖像的破損區(qū) 域約束項(xiàng)的權(quán)重；X ；3是光滑約束項(xiàng)的權(quán)重。3. 根據(jù)權(quán)利要求2所述的方法，其特征在于， 所述數(shù)據(jù)約束項(xiàng)由以下公式定義：其中，X為深度圖像中像素的序號；D(X)為深度圖像中像素X的現(xiàn)有深度值，D'（X)是 深度圖像中像素X的增強(qiáng)后的深度值，C(X)是深度圖像中像素X的現(xiàn)有深度值的置信度： 所述破損區(qū)域約束項(xiàng)由以下公式定義：其中，Qh是深度圖像中破損區(qū)域的像素集合，力(4是深度圖像的破損區(qū)域中像素X 的深度初值； 所述光滑約束項(xiàng)由以下公式定義：其中，N1(X)是像素X的1階近鄰； X1是像素X的一階近鄰中的一個(gè)像素；i是像素的索引； D'（X1)是深度圖像中像素X1的增強(qiáng)后的深度值； w (X1, X)是權(quán)重系數(shù)； 權(quán)重系數(shù)W(Xi,X)是顏色權(quán)重Wi(X^X)、邊緣權(quán)重Wf3 (Xi,X)和分割權(quán)重WsUi,X)三項(xiàng) 的乘積；Qe是彩色圖像的邊緣區(qū)域的像素集合； S(X)是彩色圖像的像素X對應(yīng)的分割塊的標(biāo)志；S (X1)是彩色圖像中像素對X1應(yīng)的分 割塊的標(biāo)志； I (X)是彩色圖像中像素X的顏色值；I (X1)是彩色圖像中像素^的顏色值 〇 i是第一函數(shù)參數(shù)。4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟三之前，所述方法還包括： 對所述彩色圖像進(jìn)行卡尼Canny邊緣檢測處理，獲得所述彩色圖像的邊緣區(qū)域的像素 集合Qe。5. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟三之前，所述方法還包括： 使用均值漂移MeanShift圖像分割法，將所述彩色圖像分割為超像素，獲得所述彩色 圖像中像素X對應(yīng)的分割塊的標(biāo)志S(X)。6. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟三之前，所述方法還包括： 對所述深度圖像的破損區(qū)域Qh，使用深度圖修復(fù)算法進(jìn)行填充，求解出所述深度圖像 的破損區(qū)域中像素X的深度初值。7. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟三之前，所述方法還包括： 根據(jù)所述深度圖像和所述彩色圖像，計(jì)算所述深度圖像中像素X的現(xiàn)有深度值的置信 度 C(X)。8. 根據(jù)權(quán)利要求7所述的方法，其特征在于，所述根據(jù)所述深度圖像和所述彩色圖像， 計(jì)算所述深度圖像中像素X的現(xiàn)有深度值的置信度C(X)的步驟包括：其中，Qh是深度圖像中破損區(qū)域的像素集合；Q d是深度圖像中的不屬于破損區(qū)域且 距離破損區(qū)域不超過d的像素集合；d為第一距離閾值； Cf(X)由以下公式定義：隊(duì)是距離像素X小于或者等于r的像素的集合；r為第二距離閾值； I (X)是彩色圖像中像素X的顏色值；I (X1)是彩色圖像中像素X1的顏色值； D(X)是深度圖像中像素X的現(xiàn)有深度值，D(X1)是深度圖像中像素\的現(xiàn)有深度值；n 是WfUi,X)的總和，〇jp〇 D分別是第二函數(shù)參數(shù)和第三函數(shù)參數(shù)； Ch(X)由以下公式定義：其中，n'是WhUi,X)的總和，〇 \和〇' D分別是第四函數(shù)參數(shù)和第五函數(shù)參數(shù)。9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述步驟三之前，所述方法還包括： 對所述深度圖像的像素和所述彩色圖像的像素進(jìn)行空間配準(zhǔn)； 獲取所述深度圖像中像素X的深度值和所述彩色圖像中同一像素X的顏色值之間的對 應(yīng)關(guān)系。
【專利摘要】本發(fā)明提供一種深度圖像的增強(qiáng)方法，涉及圖像處理領(lǐng)域。所述方法包括：步驟一，通過深度攝像頭拍攝一物體的深度圖像；并通過與所述深度攝像頭同步的彩色攝像頭拍攝所述物體的彩色圖像；步驟二，根據(jù)所述深度圖像以及所述彩色圖像，構(gòu)造能量函數(shù)；步驟三，用最小二乘法最小化所述能量函數(shù)，計(jì)算得到所述深度圖像中像素的增強(qiáng)后的深度值的最優(yōu)值；步驟四，輸出所述深度圖像中像素的增強(qiáng)后的深度值的最優(yōu)值。本發(fā)明能計(jì)算出準(zhǔn)確度更好的圖像像素的深度值。
【IPC分類】G06T5/00
【公開號】CN105139355
【申請?zhí)枴緾N201510508960
【發(fā)明人】王延可, 王洪志, 秦學(xué)英
【申請人】山東中金融仕文化科技股份有限公司
【公開日】2015年12月9日
【申請日】2015年8月18日