像素 X的1階近鄰；
[0085] X1是像素X的一階近鄰中的一個(gè)像素；i是像素的索引；
[0086] D'（X1)是深度圖像中像素X1的增強(qiáng)后的深度值；
[0087] w (X1, X)是權(quán)重系數(shù)；
[0088] 權(quán)重系數(shù)w (Xi, X)是顏色權(quán)重Wi (Xi, X)、邊緣權(quán)重Wf3 (Xi, X)和分割權(quán)重ws (Xi, X)三 項(xiàng)的乘積；
[0089]
[0090]
[0091] 〇￡是彩色圖像的邊緣區(qū)域的像素集合；
[0092] S(X)是彩色圖像的像素X對(duì)應(yīng)的分割塊的標(biāo)志；S(X1)是彩色圖像中像素對(duì)應(yīng)的 分割塊的標(biāo)志；
[0093] I (X)是彩色圖像中像素X的顏色值；I (X1)是彩色圖像中像素\的顏色值
[0094] σ 1是第一函數(shù)參數(shù)，通過(guò)經(jīng)驗(yàn)值進(jìn)行取值，可以取為30。
[0095] 其中，所述步驟13之前，所述方法還包括：
[0096] 步驟131，對(duì)所述彩色圖像進(jìn)行卡尼Canny邊緣檢測(cè)處理，獲得所述彩色圖像的邊 緣區(qū)域的像素集合Ω ε。
[0097] 其中，所述步驟13之前，所述方法還包括：
[0098] 步驟132,使用均值漂移MeanShift圖像分割法，將所述彩色圖像分割為超像素， 獲得所述彩色圖像中像素X對(duì)應(yīng)的分割塊的標(biāo)志S(X)。
[0099] 其中，所述步驟13之前，所述方法還包括：
[0100] 步驟133,對(duì)所述深度圖像的破損區(qū)域ΩΗ，使用深度圖修復(fù)算法進(jìn)行填充，求解出 所述深度圖像的破損區(qū)域中像素X的深度初值。
[0101] 其中，所述步驟13之前，所述方法還包括：
[0102] 步驟134,根據(jù)所述深度圖像和所述彩色圖像，計(jì)算所述深度圖像中像素X的現(xiàn)有 深度值的置信度C(X)。
[0103] 步驟134具體為根據(jù)以下公式計(jì)算：
[0104]
[0105] 其中，〇"是深度圖像中破損區(qū)域的像素集合；Ω ,是深度圖像中的不屬于破損區(qū) 域且距離破損區(qū)域不超過(guò)d的像素集合；d為第一距離閾值；
[0106] Cf(X)由以下公式定義：
[0107]
[0108]
[0109]
[0110]隊(duì)是距離像素X小于或者等于r的像素的集合；r為第二距離閾值；
[0111] I(X)是彩色圖像中像素 X的顏色值；I(X1)是彩色圖像中像素 X1的顏色值；D(X)是 深度圖像中像素X的現(xiàn)有深度值，D (X1)是深度圖像中像素^的現(xiàn)有深度值；Tl是w f (Xl，X) 的總和，。:和σ D分別是第二函數(shù)參數(shù)和第三函數(shù)參數(shù)；通過(guò)經(jīng)驗(yàn)值進(jìn)行取值，可以分別取 為30和10 ;
[0112] Ch(X)由以下公式定義：
[0113]
[0114]
[0115]
[0116] 其中，η'是wh (Xl，x)的總和，〇':和σ' D分別是第四函數(shù)參數(shù)和第五函數(shù)參數(shù)， 通過(guò)經(jīng)驗(yàn)值進(jìn)行取值，可以分別取為30和10。
[0117] 其中，所述步驟13之前，所述方法還包括：
[0118] 步驟135,對(duì)所述深度圖像的像素和所述彩色圖像的像素進(jìn)行空間配準(zhǔn)；獲取所 述深度圖像中像素 X的深度值和所述彩色圖像中同一像素 X的顏色值之間的對(duì)應(yīng)關(guān)系。
[0119] 上述實(shí)施例中，公開(kāi)了一種利用彩色圖像中的線索信息來(lái)增強(qiáng)相似視角的深度圖 的方法。本發(fā)明使用一對(duì)視角相似的彩色圖像和深度圖，利用局部區(qū)域顏色與深度的相關(guān) 性，對(duì)深度圖的置信度進(jìn)行估計(jì)，并利用該置信度及彩色圖像的顏色、邊緣和分割結(jié)果作為 引導(dǎo)線索，使用馬爾科夫隨機(jī)場(chǎng)理論對(duì)深度圖進(jìn)行優(yōu)化，最終得到一副更加完整、更加可 信、與彩色圖像觀測(cè)結(jié)果更加一致的深度圖。增強(qiáng)后的深度圖可作為輸入數(shù)據(jù)，應(yīng)用于更高 級(jí)的計(jì)算機(jī)視覺(jué)、增強(qiáng)現(xiàn)實(shí)任務(wù)中。
[0120] 如圖2所示，所述深度圖像的增強(qiáng)方法，包括：
[0121] 步驟21，通過(guò)深度攝像頭拍攝一物體的深度圖像；并通過(guò)與所述深度攝像頭同步 的彩色攝像頭拍攝所述物體的彩色圖像；
[0122] 步驟22,對(duì)所述深度圖像的像素和所述彩色圖像的像素進(jìn)行空間配準(zhǔn)；獲取所述 深度圖像中像素 X的深度值和所述彩色圖像中同一像素 X的顏色值之間的對(duì)應(yīng)關(guān)系。
[0123] 步驟23,對(duì)所述彩色圖像進(jìn)行卡尼Canny邊緣檢測(cè)處理，獲得所述彩色圖像的邊 緣區(qū)域的像素集合Ω ε。
[0124] 步驟24,使用均值漂移MeanShift圖像分割法，將所述彩色圖像分割為超像素，獲 得所述彩色圖像中像素 X對(duì)應(yīng)的分割塊的標(biāo)志S(X)。
[0125] 步驟25,根據(jù)所述深度圖像和所述彩色圖像，計(jì)算所述深度圖像中像素 X的現(xiàn)有 深度值的置信度C(X)。
[0126] 步驟26,對(duì)所述深度圖像的破損區(qū)域ΩΗ，使用深度圖修復(fù)算法進(jìn)行填充，求解出 所述深度圖像的破損區(qū)域中像素 X的深度初值。
[0127] 步驟27,根據(jù)所述深度圖像以及所述彩色圖像，構(gòu)造能量函數(shù)；
[0128] 步驟28,用最小二乘法最小化所述能量函數(shù)，計(jì)算得到所述深度圖像中像素的增 強(qiáng)后的深度值的最優(yōu)值；
[0129] 步驟29,輸出所述深度圖像中像素的增強(qiáng)后的深度值的最優(yōu)值。
[0130] 其中，所述能量函數(shù)為：
[0131] E(D'）= Ed(D'）+ XhEh(D'）+ XsEs(D'）
[0132] 其中，E(D'）為能量函數(shù)；D'為深度圖像中像素的增強(qiáng)后的深度值；Ed(D'）為數(shù)據(jù) 約束項(xiàng)，用于約束D'與D之間的差異。E h(D'）為深度圖像的破損區(qū)域約束項(xiàng)；Es(D'）為光 滑約束項(xiàng)；Xh為深度圖像的破損區(qū)域約束項(xiàng)的權(quán)重；λ 3是光滑約束項(xiàng)的權(quán)重。
[0133] 其中，所述數(shù)據(jù)約束項(xiàng)由以下公式定義：
[0134]
[0135] 其中，X為深度圖像中像素的序號(hào)；D(X)為深度圖像中像素 X的現(xiàn)有深度值，D'（X) 是深度圖像中像素 X的增強(qiáng)后的深度值，C(X)是深度圖像中像素 X的現(xiàn)有深度值的置信
[0137] 度：[0136] 所述破損區(qū)域約束項(xiàng)由以下公式定義：
Λ
[0138] 其中，〇"是深度圖像中破損區(qū)域的像素集合，Ζ)⑴是深度圖像的破損區(qū)域中像 素 X的深度初值；
[0139] 所述光滑約束項(xiàng)由以下公式定義：
[0140]
[0141] 其中，N1 (X)是像素X的1階近鄰；
[0142] X1是像素X的一階近鄰中的一個(gè)像素；i是像素的索引；
[0143] D'（X1)是深度圖像中像素 X1的增強(qiáng)后的深度值；
[0144] w (Xl，X)是權(quán)重系數(shù)；
[0145] 權(quán)重系數(shù)w (Xi, X)是顏色權(quán)重Wi (Xi, X)、邊緣權(quán)重Wf3 (Xi, X)和分割權(quán)重ws (Xi, X)三 項(xiàng)的乘積；
[0146]
[0147]
[0148] 〇￡是彩色圖像的邊緣區(qū)域的像素集合；
[0149] S(X)是彩色圖像的像素X對(duì)應(yīng)的分割塊的標(biāo)志；S(X1)是彩色圖像中像素對(duì)應(yīng)的 分割塊的標(biāo)志；
[0150] I (X)是彩色圖像中像素X的顏色值；I (X1)是彩色圖像中像素\的顏色值
[0151] σ 1是第一函數(shù)參數(shù)，通過(guò)經(jīng)驗(yàn)值進(jìn)行取值，可以取為30。
[0152] 以下描述本發(fā)明的思想。如圖3所示，一種利用彩色圖像中的線索信息來(lái)增強(qiáng)相 似視角的深度圖的方法，基于顏色和深度一致性，所述深度圖的增強(qiáng)方法包括以下步驟：
[0153] 步驟1，使用深度攝像頭拍攝深度圖獲得深度數(shù)據(jù)，并使用與深度攝像頭配準(zhǔn)的彩 色攝像頭拍攝同步的彩色圖像，這樣得到了受損的深度數(shù)據(jù)及與之對(duì)應(yīng)的彩色圖像。
[0154] 步驟2,根據(jù)彩色攝像頭與深度攝像頭之間的位置關(guān)系，對(duì)深度圖像進(jìn)行預(yù)處理， 將深度圖像數(shù)據(jù)映射到彩色圖像上對(duì)應(yīng)的位置。
[0155] 步驟3,對(duì)彩色圖像進(jìn)行邊界檢測(cè)以及分割操作，提取出圖像的邊緣信息和區(qū)域特 征。
[0156] 步驟4,在提取彩色圖像的特征之后，根據(jù)特征對(duì)于相匹配的彩色圖像和深度數(shù)據(jù) 進(jìn)行"顏色--深度"一致性檢測(cè)，由此計(jì)算原始深度圖像數(shù)據(jù)中各個(gè)深度值的置信度。
[0157] 步驟5,對(duì)于原始深度圖中的漏洞部分，使用簡(jiǎn)易的深度圖修復(fù)算法進(jìn)行填補(bǔ)作 為初值。
[0158] 步驟6,根據(jù)獲得的圖像特征信息、置信度等信息，利用馬爾可夫隨機(jī)場(chǎng)理論構(gòu)造 最小能量函數(shù)。
[0159] 步驟7,求解能量方程，得到修復(fù)后的深度數(shù)據(jù)。
[0160] 上述實(shí)施例中，以彩色圖像作為參考，對(duì)從低端深度傳感器獲取的深度圖進(jìn)行增 強(qiáng)。增強(qiáng)的目標(biāo)不僅包括對(duì)深度圖的破損區(qū)域進(jìn)行修復(fù)，而且對(duì)因測(cè)量誤差和視角變換產(chǎn) 生的"顏色-深度"不一致性進(jìn)行校正，得到與彩色圖像對(duì)齊的、邊緣信息一致的深度圖。為 實(shí)現(xiàn)這個(gè)目標(biāo)引用馬爾科夫隨機(jī)場(chǎng)理論，定義以下能量函數(shù)E (D'），并通過(guò)最小化該能量函 數(shù)實(shí)現(xiàn)對(duì)深度圖的增強(qiáng)：
[0161] E(D，）= Ed(D，）+ AhEh(D，）+ AsEs(D，） (I)
[0162] 其中，Ed(D'）是數(shù)據(jù)約束項(xiàng)，它使用傳感器獲取的低質(zhì)量深度圖的每個(gè)像素值作 為約束，并通過(guò)檢驗(yàn)"顏色-深度" 一致性，對(duì)深度圖中的每個(gè)像素進(jìn)行置信度評(píng)估，按照置 信度的高低定義數(shù)據(jù)約束的強(qiáng)弱。Eh(D'）是破損區(qū)域約束項(xiàng)，用于修復(fù)深度圖中的大尺寸 破損區(qū)域，它通過(guò)簡(jiǎn)易數(shù)字圖像修復(fù)算法對(duì)深度圖進(jìn)行初步修復(fù)，并使用該修復(fù)結(jié)果作為 約束。E s(D'）是光滑約束項(xiàng)，它使用彩色圖像的顏色、邊緣和分割結(jié)果作為約束，使顏色