深度圖像的深度值恢復(fù)方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種對(duì)深度圖進(jìn)行深度恢復(fù)的方法和系統(tǒng)。
【背景技術(shù)】
[0002] 目前，人機(jī)交互系統(tǒng)已引起了廣泛關(guān)注。在人機(jī)交互系統(tǒng)中，手勢(shì)控制系統(tǒng)非常流 行。一種有效的手勢(shì)控制系統(tǒng)將提供自然便利的操作方式。
[0003] 眾所周知，一種基于圖像/視覺(jué)的手勢(shì)識(shí)別系統(tǒng)，輸入圖像的質(zhì)量將直接決定識(shí) 別結(jié)果的精度，尤其在識(shí)別一些特殊的手勢(shì)時(shí)，如手語(yǔ)，指尖位置點(diǎn)等。因此，如何獲得便于 識(shí)別圖像中的特定對(duì)象的優(yōu)質(zhì)圖像成為人機(jī)交互系統(tǒng)首要面對(duì)的問(wèn)題。起初，在人機(jī)交互 系統(tǒng)中，為了比較精確地定位和分割處輸入圖像中的所要識(shí)別的特定對(duì)象，例如人手或其 他部位，要使得系統(tǒng)起作用，需要用戶穿戴比較特殊的彩色手套，例如，使得所穿戴的手套 在每個(gè)手指具有不同的顏色。該方法比較容易且有效的定位每個(gè)手指。但是，該方法對(duì)環(huán) 境要求較高。在該系統(tǒng)中，手套的顏色必須與背景顏色具有差異性，因此操作范圍將受到限 制。同時(shí)，在使用過(guò)程中，用戶必須穿戴該手套，這提高的系統(tǒng)的運(yùn)行成本并使得用戶覺(jué)得 不方便。
[0004] 隨著圖像處理技術(shù)的發(fā)展，當(dāng)前也有許多研究者采用彩色圖像進(jìn)行手的分割及識(shí) 另IJ，方法簡(jiǎn)單有效，得到了大家的認(rèn)可。但該方法容易受到背景相似色和光照條件的影響。
[0005] 隨著3D相機(jī)性能的提高，越來(lái)越多的3D相機(jī)使用于人機(jī)交互系統(tǒng)中。基于3D 相機(jī)所獲得的深度圖像，人們能較方便的根據(jù)深度閾值從深度圖中分割出人體部分。授予 YuriA. Ivanov的美國(guó)專利US6911995B2提供了一種分割方式，其采用虛擬平面進(jìn)行深度圖 像的分割。首先，采用立體相機(jī)獲取該場(chǎng)景的背景圖象和當(dāng)前圖像。然后采用當(dāng)前圖像減去 背景圖像獲取當(dāng)前圖像中的前景圖像，然后再根據(jù)所設(shè)置的深度閾值進(jìn)行手指位置點(diǎn)的分 害IJ。該專利僅僅使用深度閾值進(jìn)行手指區(qū)域的分割，因此當(dāng)在對(duì)多角度圖像進(jìn)行像素點(diǎn)匹 配以便獲得深度圖的過(guò)程中，深度圖像邊緣容易受到噪聲的影響，導(dǎo)致一些深度值丟失或 給出一些錯(cuò)誤的深度值。由于初始深度圖像中存在這些噪聲，手指定位的精度將受到影響。 因此該專利也需要先進(jìn)行圖像去噪或圖像平滑處理。為了減少深度圖像上的噪聲影響，目 前也有許多研究者在這方面提出了一些解決辦法。
[0006] Michael Van den Bergh 作出的標(biāo)題為 "depth seeds:recovering incomplete depth data using superpixels，' （WACV2013 !workshop on application of computer vision)的論文采用種子像素點(diǎn)的擴(kuò)展方式來(lái)對(duì)丟失深度信息進(jìn)行補(bǔ)充，以便獲得更真實(shí) 的深度圖。它包括基于像素塊級(jí)的更新和基于像素點(diǎn)級(jí)的更新。在分塊層，它采用顏色直 方圖統(tǒng)計(jì)信息；在像素層，則同時(shí)使用了顏色信息和深度信息。該論文對(duì)于大塊物體的處理 具有有效性，但對(duì)于細(xì)節(jié)信息的恢復(fù)還存在一些不足。

【發(fā)明內(nèi)容】

[0007] 由于受到深度測(cè)量準(zhǔn)則和物體表面屬性的限制，所生成的初始深度圖像總會(huì)包含 一些光學(xué)噪聲和不匹配邊界，或者形成一些空洞。這樣對(duì)手勢(shì)的檢測(cè)和識(shí)別造成一定影響， 從而導(dǎo)致系統(tǒng)性能的下降，如手語(yǔ)識(shí)別系統(tǒng)，虛擬白板交互系統(tǒng)等。因此為了增強(qiáng)手勢(shì)識(shí) 別系統(tǒng)的魯棒性，首先需要對(duì)當(dāng)前圖像進(jìn)行降噪或恢復(fù)處理。
[0008] 為了解決以上所提出的問(wèn)題或問(wèn)題之一，本發(fā)明提出了一種對(duì)初步深度圖像進(jìn)行 降噪或深度值恢復(fù)的處理方法。具體而言，本發(fā)明提出了一種恢復(fù)深度圖像的深度值的方 法，包括：對(duì)同時(shí)獲取的深度圖和對(duì)應(yīng)顏色圖像進(jìn)行圖像預(yù)處理，并獲取深度圖像和顏色圖 像中的包含前景圖像的候選目標(biāo)區(qū)域；基于深度圖上無(wú)效深度區(qū)域與候選目標(biāo)區(qū)域的面積 比例，確定是否對(duì)候選目標(biāo)區(qū)域執(zhí)行區(qū)域生長(zhǎng)處理；以及在確定需要對(duì)候選目標(biāo)區(qū)域執(zhí)行 區(qū)域生長(zhǎng)處理時(shí)，基于深度圖和顏色圖像的圖像信息，對(duì)候選目標(biāo)區(qū)域執(zhí)行區(qū)域生長(zhǎng)處理； 以及在對(duì)候選目標(biāo)區(qū)域執(zhí)行區(qū)域生長(zhǎng)處理之后，對(duì)被生長(zhǎng)過(guò)的候選目標(biāo)區(qū)域，基于深度圖 和顏色圖像的圖像信息，對(duì)候選區(qū)域執(zhí)行深度數(shù)據(jù)的恢復(fù)處理。
[0009] 根據(jù)本發(fā)明的深度值恢復(fù)方法還包括：在確定不需要對(duì)候選目標(biāo)區(qū)域執(zhí)行區(qū)域生 長(zhǎng)處理時(shí)，直接基于深度圖和顏色圖像的圖像信息，對(duì)候選區(qū)域執(zhí)行深度數(shù)據(jù)的恢復(fù)處理。
[0010] 根據(jù)本發(fā)明的深度值恢復(fù)方法，所述基于深度圖和顏色圖像的圖像信息對(duì)候選目 標(biāo)區(qū)域執(zhí)行區(qū)域生長(zhǎng)處理包括：在深度圖像上，選擇前景圖像中具有有效深度值的種子點(diǎn)； 在所述種子點(diǎn)的預(yù)定鄰域內(nèi)選擇所述候選目標(biāo)區(qū)域中的候選生長(zhǎng)點(diǎn)，并基于該候選生長(zhǎng)點(diǎn) 的深度信息或顏色信息確定該候選生長(zhǎng)點(diǎn)能否被生長(zhǎng)，如果能被生長(zhǎng)，則將該候選生長(zhǎng)點(diǎn) 歸入生長(zhǎng)區(qū)域；以及針對(duì)所述候選目標(biāo)區(qū)域中的所有候選生長(zhǎng)點(diǎn)重復(fù)步前述步驟。
[0011] 根據(jù)本發(fā)明的深度值恢復(fù)方法，所述基于該候選生長(zhǎng)點(diǎn)的深度信息或顏色信息確 定該候選生長(zhǎng)點(diǎn)能否被生長(zhǎng)包括：首先判斷候選生長(zhǎng)點(diǎn)的深度值是否有效；以及在候選生 長(zhǎng)點(diǎn)的深度值有效的情況下，計(jì)算候選生長(zhǎng)點(diǎn)的深度值與種子點(diǎn)的深度值之間的深度值 差，并在所述深度值差小于或等于預(yù)定閾值時(shí)，將所述候選生長(zhǎng)點(diǎn)歸入生長(zhǎng)區(qū)域，否則不進(jìn) 行處理；或者在候選生長(zhǎng)點(diǎn)的深度值無(wú)效的情況下，計(jì)算計(jì)算候選生長(zhǎng)點(diǎn)的顏色與種子點(diǎn) 的顏色之間的差值，并在所述顏色差值小于或等于預(yù)定顏色相似度閾值時(shí)，在深度圖中將 所述種子點(diǎn)的深度值賦予所述候選生長(zhǎng)點(diǎn)并將其歸入生長(zhǎng)區(qū)域，否則不進(jìn)行處理。
[0012] 根據(jù)本發(fā)明的深度值恢復(fù)方法，所述基于深度圖和顏色圖像的圖像信息對(duì)候選區(qū) 域執(zhí)行深度數(shù)據(jù)的恢復(fù)處理包括：從所述候選區(qū)域中選擇任意像素點(diǎn)，以所選像素點(diǎn)作為 中心像素點(diǎn)建立預(yù)定鄰域；基于所述預(yù)定領(lǐng)域內(nèi)每個(gè)像素點(diǎn)與中心像素點(diǎn)之間的關(guān)系，計(jì) 算每個(gè)像素點(diǎn)的深度值相對(duì)于中心像素點(diǎn)的深度值的加權(quán)系數(shù)；以及采用所計(jì)算的加權(quán)系 數(shù)，基于所述預(yù)定鄰域內(nèi)的每個(gè)像素點(diǎn)的深度值為基礎(chǔ)，計(jì)算中心像素點(diǎn)的深度值，并將所 計(jì)算的深度值賦予所述中心像素點(diǎn)作為其新的深度值。
[0013] 根據(jù)本發(fā)明的深度值恢復(fù)方法，所述預(yù)定領(lǐng)域內(nèi)每個(gè)像素點(diǎn)與中心像素點(diǎn)之間的 關(guān)系包括：空間關(guān)系、顏色關(guān)系、深度關(guān)系以及梯度關(guān)系。
[0014] 根據(jù)本發(fā)明的深度值恢復(fù)方法，所述每個(gè)像素點(diǎn)的深度值相對(duì)于中心像素點(diǎn)的深 度值的加權(quán)系數(shù)通過(guò)分別計(jì)算兩者之間的空間加權(quán)系數(shù)、顏色加權(quán)系數(shù)、梯度加權(quán)系數(shù)和/ 或深度加權(quán)系數(shù)并對(duì)其進(jìn)行乘積計(jì)算獲得。
[0015] 根據(jù)本發(fā)明的深度值恢復(fù)方法，所述空間加權(quán)系數(shù)、顏色加權(quán)系數(shù)、梯度加權(quán)系 數(shù)、深度加權(quán)系數(shù)分別通過(guò)各自的高斯核函數(shù)計(jì)算。
[0016] 根據(jù)本發(fā)明的深度值恢復(fù)方法，所建立預(yù)定鄰域的面積與所選像素點(diǎn)的深度值大 小成反比。
[0017] 根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種深度值恢復(fù)系統(tǒng)，包括：圖像預(yù)處理單 元，對(duì)同時(shí)獲取的深度圖和對(duì)應(yīng)顏色圖像進(jìn)行圖像預(yù)處理，并獲取深度圖像和顏色圖像中 的包含前景圖像的候選目標(biāo)區(qū)域；區(qū)域生長(zhǎng)確定單元，基于深度圖上無(wú)效深度區(qū)域與候選 目標(biāo)區(qū)域的面積比例，確定是否對(duì)候選目標(biāo)區(qū)域執(zhí)行區(qū)域生長(zhǎng)處理；以及區(qū)域生長(zhǎng)處理單 元，在確定需要對(duì)候選目標(biāo)區(qū)域執(zhí)行區(qū)域生長(zhǎng)處理時(shí)，基于深度圖和顏色圖像的圖像信息， 對(duì)候選目標(biāo)區(qū)域執(zhí)行區(qū)域生長(zhǎng)處理；以及恢復(fù)處理單元，在對(duì)候選目標(biāo)區(qū)域執(zhí)行區(qū)域生長(zhǎng) 處理之后，對(duì)被生長(zhǎng)過(guò)的候選目標(biāo)區(qū)域，基于深度圖和顏色圖像的圖像信息，對(duì)候選區(qū)域執(zhí) 行深度數(shù)據(jù)的恢復(fù)處理。
[0018] 本發(fā)明主要用于圖像降噪，及恢復(fù)部分丟失的深度數(shù)據(jù)。
【附圖說(shuō)明】
[0019] 通過(guò)閱讀結(jié)合附圖考慮的以下本發(fā)明的優(yōu)選實(shí)施例的詳細(xì)描述，將更好地理解本 發(fā)明的以上和其他目標(biāo)、特征、優(yōu)點(diǎn)和技術(shù)及工業(yè)重要性。
[0020] 圖1所示的是示意性說(shuō)明采用根據(jù)本發(fā)明的深度值恢復(fù)方法的過(guò)程。
[0021] 圖2所示是根據(jù)本發(fā)明實(shí)施例在初始深度圖像中用于恢復(fù)深度值的方法的流程 圖。
[0022] 圖3所示的是根據(jù)本發(fā)明實(shí)施例對(duì)深度圖像執(zhí)行區(qū)域生長(zhǎng)處理的流程圖。
[0023] 圖4A和4B所示為基于RGB-D信息在深度圖上進(jìn)行區(qū)域生長(zhǎng)的一個(gè)實(shí)例。
[0024] 圖5A-5C所示的是用于恢復(fù)手的細(xì)節(jié)的實(shí)例。