一種基于彩色圖像分割的Kinect深度圖修復(fù)方法
【技術(shù)領(lǐng)域】：
[0001] 本發(fā)明涉及一種基于彩色圖像分割的Kinect深度圖修復(fù)方法，屬于圖像處理的
技術(shù)領(lǐng)域。
【背景技術(shù)】：
[0002] 隨著立體顯示技術(shù)和視頻處理技術(shù)的發(fā)展，深度圖成為近年來立體視覺技術(shù)中的 研宄熱點，并被廣泛應(yīng)用于三維重建、3D電視、深度圖像渲染（DIBR)、圖像分割等眾多領(lǐng) 域。深度圖可以通過立體匹配算法或深度相機獲得。立體匹配算法是在由雙目相機獲取的 圖像對中確定像素對應(yīng)點來計算視差圖，然后根據(jù)幾何關(guān)系轉(zhuǎn)換為深度圖。由于該類方法 計算成本高，大部分的立體匹配方法無法用于實際應(yīng)用。深度相機直接獲取深度信息，一般 通過發(fā)射和接收反射光來計算深度信息以實現(xiàn)深度信息的實時提取。
[0003] 隨著傳感器技術(shù)的發(fā)展，現(xiàn)在市場上出現(xiàn)了很多深度攝像機。其中Kinect是由微 軟研發(fā)的深度相機，可以同時獲得深度圖和彩色圖像。由于價格低以及實時的深度圖像獲 取能力，Kinect相機在游戲產(chǎn)業(yè)和科學(xué)研宄中都得到了廣泛應(yīng)用。但Kinect獲取的深度 圖也存在著很多問題。首先，由于作用距離的限制以及反射、遮擋等因素影響，Kinect深度 圖存在很多空洞一一沒有有效深度的區(qū)域，特別是在前景對象的邊界部分；第二，Kinect深 度圖中也存在著嚴重噪聲。
[0004] Kinect的深度圖需修復(fù)以便用于需要高質(zhì)量深度圖的實際應(yīng)用中，在這個問題上 人們已有很多研宄。Dan Miao 等在論文"Texture-assisted Kinect Depth Inpainting" 中提出了利用彩色圖像紋理作為輔助信息的Kinect的深度修補算法，其中，在彩色圖像中 紋理邊緣被提取為輔助信息，在深度圖中對平滑區(qū)域和邊緣區(qū)域中采用不同的修復(fù)方案。 Junyi Liu 等人在論文"Guided Inpainting and Filtering for Kinect Depth Maps" 中 提出了引導(dǎo)快速行進算法（guided fast marching method，GFFM)來修復(fù)Kinect深度圖。 S. Matyunin 在論文 "Temporal filtering for depth maps generated by Kinect depth camera"提出了使用從視頻中物體的運動和顏色信息來處理Kinect深度圖。但是現(xiàn)有的 Kinect深度圖修復(fù)方法很難處理大的空洞，在由于邊界遮擋而形成空洞處也難于給出比較 準(zhǔn)確的深度值。

【發(fā)明內(nèi)容】
：
[0005] 針對現(xiàn)有技術(shù)方案所存在的缺陷和不足，本發(fā)明提供一種基于彩色圖像分割的 Kinect深度圖修復(fù)方法，本方法將對應(yīng)的彩色圖像分割結(jié)果作為參考信息修復(fù)深度圖，來 重建深度圖的無效區(qū)域，再利用彩色圖像作為引導(dǎo)信息對重建后的深度圖濾波，達到去噪 的效果；以實現(xiàn)在同時拍攝的彩色圖像的提供參考信息的基礎(chǔ)上，通過對彩色圖像分割處 理，獲得深度圖空洞重建區(qū)域，得到較好質(zhì)量的Kinect深度圖。
[0006] 專業(yè)技術(shù)術(shù)語：
[0007] 有效深度：在Kinect獲得的深度圖是一副灰度圖，灰度取值范圍在[0, 255]之間， 有效深度指取值范圍在[1，255]之間的深度，而無效深度是指由于遮擋、反光等因素而造 成的取值為〇的深度，表示Kinect相機沒有獲得該像素的實際深度。
[0008] 引導(dǎo)濾波：是現(xiàn)有的一種新的濾波技術(shù)，使用一副圖像（引導(dǎo)圖像）對另一幅圖像 進行濾波，能夠有效的保持待濾波圖像的邊緣信息。
[0009] 本發(fā)明的技術(shù)方案如下：
[0010] 一種基于彩色圖像分割的Kinect深度圖修復(fù)方法，包括步驟如下：
[0011] A、獲取彩色圖像和深度圖；
[0012] 將同時獲得的彩色圖像和深度圖對齊；
[0013] B、對彩色圖像做分割預(yù)處理；
[0014] 對彩色圖像做分割預(yù)處理，得到彩色圖像的所有分割物體區(qū)域；
[0015] C、缺失深度值Dp估計；
[0016] 對空洞邊界上缺失深度值的像素 p所在的分割物體區(qū)域Rk，在分割后的彩色圖像 中選擇對應(yīng)的分割物體區(qū)域Rk;在深度圖的分割物體區(qū)域R k中，選擇像素 P周圍深度值已 知的像素點的深度值Dq;利用彩色圖像中的分割物體區(qū)域R k和深度圖的分割物體區(qū)域R k中 深度值Dq進行缺失深度值D p估計，得到中間深度圖；
[0017] 使用像素 p周圍深度值已知的像素點的深度值Dq計算P的深度值，并只在同一個 分割物體區(qū)域Rk中的像素被選擇用于計算，這避免不同的對象的深度值的干擾，因此它可 以產(chǎn)生一個具有更精確邊界的深度圖；
[0018] D、對中間深度圖進行去噪。
[0019] 本發(fā)明所述方法包括兩個大的步驟。首先基于彩色圖像分割給出估計的空洞中缺 失的深度值；第二，對空洞填充后的深度圖進行濾波去噪。本方法的創(chuàng)新在于，利用彩色圖 像分割結(jié)果在深度圖估計缺失的深度值，從而可以消除在計算深度值過程中的不同物體的 影響，并在深度圖中給出前景物體的更準(zhǔn)確的邊界。在深度圖修復(fù)中使用彩色圖像作為引 導(dǎo)，顏色信息被用來區(qū)分不同的物體。假定具有類似顏色的相鄰像素屬于同一物體，具有相 似的深度值。
[0020] 根據(jù)本發(fā)明優(yōu)選的，所述步驟A、獲取彩色圖像和深度圖的方法包括：
[0021] 使用Kinect相機同時獲取彩色圖像和深度圖，將所述彩色圖像和深度圖對齊；所 述對齊是指所獲取的彩色圖像和深度圖中，同一位置的彩色像素和深度值是一一對應(yīng)的。
[0022] 根據(jù)本發(fā)明優(yōu)選的，所述步驟B、對彩色圖像做分割預(yù)處理的方法包括：
[0023] 對彩色圖像進行圖像分割，得到彩色圖像的所有分割物體區(qū)域；彩色圖像分割后 的分割物體區(qū)域為（R 1, R2，…，Rn)，其中，η是分割物體區(qū)域的個數(shù)；
[0024] 在步驟A中已經(jīng)將所述彩色圖像和深度圖進行了對齊處理，因此所述分割物體區(qū) 域，在彩色圖像和深度圖中表示坐標(biāo)位置相同的區(qū)域。
[0025] 圖像分割是現(xiàn)有的圖像處理技術(shù)，這里的分割可以采用一些常見方法，例如分水 嶺的方法，mean shift方法。
[0026] 根據(jù)本發(fā)明優(yōu)選的，所述步驟C、缺失深度值估計的方法包括：
[0027] 在深度圖中順時針或者逆時針沿著空洞的邊界從外到內(nèi)進行缺失深度值估計；對 空洞邊界上缺失深度值的像素 P所在的分割物體區(qū)域Rk，其中，ke (1，…，n)，在分割后 的彩色圖像中選擇對應(yīng)的分割物體區(qū)域Rk;按照現(xiàn)有技術(shù)沿著空洞邊界，從外到內(nèi)可以有 效地利用已有的深度值（包括實際拍攝和估計得到的）對無效深度進行計算。在深度圖的 分割物體區(qū)域Rk中，使用像素 P周圍深度值已知的像素點的深度值D q計算p的深度值D p， Dp的計算公式為：
【主權(quán)項】
1. 一種基于彩色圖像分割的Kinect深度圖修復(fù)方法，其特征在于，包括步驟如下： A、 獲取彩色圖像和深度圖； B、 對彩色圖像做分割預(yù)處理； C、 缺失深度值Dp估計； 對空洞邊界上缺失深度值的像素 P所在的分割物體區(qū)域Rk，在分割后的彩色圖像中選 擇對應(yīng)的分割物體區(qū)域Rk;在深度圖的分割物體區(qū)域R k中，選擇像素 P周圍深度值已知的 像素點的深度值Dq;利用彩色圖像中的分割物體區(qū)域Rk和深度圖的分割物體區(qū)域R k中深度 值Dq進行缺失深度值01)估計，得到中間深度圖； D、 對中間?米度圖進行去噪。
2. 如權(quán)利要求1所述的基于彩色圖像分割的Kinect深度圖修復(fù)方法，其特征在于：所 述步驟Α、獲取彩色圖像和深度圖的方法包括： 使用Kinect相機同時獲取彩色圖像和深度圖，將所述彩色圖像和深度圖對齊。
3. 如權(quán)利要求1所述的基于彩色圖像分割的Kinect深度圖修復(fù)方法，其特征在于：所 述步驟Β、對彩色圖像做分割預(yù)處理的方法包括： 對彩色圖像進行圖像分割，得到彩色圖像的所有分割物體區(qū)域；彩色圖像分割后的分 割物體區(qū)域為（R1, R2，…，Rn)，其中，η是分割物體區(qū)域的個數(shù)。
4. 如權(quán)利要求1所述的基于彩色圖像分割的Kinect深度圖修復(fù)方法，其特征在于：所 述步驟C、缺失深度值估計的方法包括： 在深度圖中順時針或者逆時針沿著空洞的邊界從外到內(nèi)進行缺失深度值估計；對空洞 邊界上缺失深度值的像素 P所在的分割物體區(qū)域Rk，其中，ke (1，…，η)，在分割后的彩 色圖像中選擇對應(yīng)的分割物體區(qū)域Rk;在深度圖的分割物體區(qū)域R k中，使用像素 P周圍深 度值已知的像素點的深度值Dq計算ρ的深度值D p，Dp的計算公式為：
其中，Ν(ρ)表示像素鄰域，所述像素鄰域是MXM的正方形窗口，表示深度值〇5的 群權(quán)重，是空域高斯權(quán)重和顏色高斯權(quán)重ω q。的乘積，即： ω,= ω ,Swqc 空域高斯權(quán)重ω qs是由像素 ρ的坐標(biāo)S p (Xp，yp)和q的坐標(biāo)Sq (Xq，yq)定義，表示兩者 之間距離對深度值％的群權(quán)重ω q的影響；
〇s表示空域高斯權(quán)重ω qs的標(biāo)準(zhǔn)差，是根據(jù)實際應(yīng)用選擇的； 顏色高斯權(quán)重。由彩色圖像中像素 p的顏色值Cp(Rp，Gp，Bp)和彩色圖像中像素 q的 顏色值Bq)定義，表示兩者之間顏色差異對深度值％的群權(quán)重ω q的影響；
σ。表示顏色高斯權(quán)重ω q。的標(biāo)準(zhǔn)差，是根據(jù)實際應(yīng)用選擇的。
5. 如權(quán)利要求1所述的基于彩色圖像分割的Kinect深度圖修復(fù)方法，其特征在于：所 述步驟D中所述去噪的方法是引導(dǎo)濾波的方法；以彩色圖像作為引導(dǎo)信息，采用引導(dǎo)濾波 (Guided filter)進行濾波。
6. 如權(quán)利要求1所述的基于彩色圖像分割的Kinect深度圖修復(fù)方法，其特征在于：所 述步驟D中所述去噪的方法是雙邊濾波。
【專利摘要】本發(fā)明涉及一種基于彩色圖像分割的Kinect深度圖修復(fù)方法，本方法將對應(yīng)的彩色圖像分割結(jié)果作為參考信息修復(fù)深度圖，來重建深度圖的無效區(qū)域，再利用彩色圖像作為引導(dǎo)信息對重建后的深度圖濾波，達到去噪的效果；以實現(xiàn)在同時拍攝的彩色圖像的提供參考信息的基礎(chǔ)上，通過對彩色圖像分割處理，獲得深度圖空洞重建區(qū)域，得到較好質(zhì)量的Kinect深度圖。
【IPC分類】G06T7-00, G06T5-00
【公開號】CN104680496
【申請?zhí)枴緾N201510117062
【發(fā)明人】陳輝, 李海坤
【申請人】山東大學(xué)
【公開日】2015年6月3日
【申請日】2015年3月17日