本發(fā)明涉及邊緣像素校正，具體涉及一種基于tof深度相機(jī)的邊緣反射像素校正方法。

背景技術(shù)：

tof是飛行時(shí)間(timeofflight)技術(shù)的縮寫，即傳感器發(fā)出經(jīng)調(diào)制的近紅外光，遇物體后反射，傳感器通過計(jì)算光線發(fā)射和反射時(shí)間差或相位差，來換算被拍攝景物的距離，以產(chǎn)生深度信息，此外再結(jié)合傳統(tǒng)的相機(jī)拍攝，就能將物體的三維輪廓以不同顏色代表不同距離的色度圖方式呈現(xiàn)出來。tof深度相機(jī)是一種使用tof技術(shù)的深度視覺成像裝置，tof深度相機(jī)通過圖像傳感器獲得紅外圖像之后經(jīng)過深度解算，得到含有每個(gè)像素在場(chǎng)景中距離值的深度圖。在使用tof深度相機(jī)對(duì)物體進(jìn)行深度圖捕捉過程中，通常會(huì)獲得稠密的深度圖，但也正是由于tof深度相機(jī)拍攝得到稠密深度圖，場(chǎng)景中有前景和背景的存在導(dǎo)致在目標(biāo)邊緣個(gè)別像素的位置上，既拍到了前景的部分內(nèi)容又拍到了背景的部分內(nèi)容，最后解算出一個(gè)介于前景和背景的深度值，即在場(chǎng)景的邊緣區(qū)域出現(xiàn)邊緣像素。這種邊緣點(diǎn)像素也被稱為離群點(diǎn)，使得本來的前景和背景圖像區(qū)塊之間產(chǎn)生一個(gè)漸變的過度。它不是真實(shí)存在的漸變目標(biāo)深度圖，而是由于拍攝中引入的深度圖噪聲點(diǎn)，目前還沒有一種對(duì)此類邊緣像素的處理方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的以上問題，提供一種基于tof深度相機(jī)的邊緣反射像素校正方法。

為實(shí)現(xiàn)上述技術(shù)目的，達(dá)到上述技術(shù)效果，本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)：

一種基于tof深度相機(jī)的邊緣反射像素校正方法，包括以下步驟：

建立視線深度圖，獲取深度相機(jī)拍攝坐標(biāo)原點(diǎn)，建立坐標(biāo)原點(diǎn)與深度圖各像素點(diǎn)的視角連線作為視線；

解算深度圖中像素法向量，得到深度圖中單個(gè)像素點(diǎn)單位法向量；

建立邊緣置信度圖，結(jié)合單個(gè)像素視線與單位法向量求解單個(gè)像素點(diǎn)的視線與法向量夾角，結(jié)合角度容差機(jī)制生成深度圖中像素點(diǎn)置信度圖；

邊緣像素判定，設(shè)定角度閾值，像素點(diǎn)視線與法向量夾角大于所述的角度閾值則判定為邊緣像素點(diǎn)；

邊緣像素插補(bǔ)，獲取邊緣像素點(diǎn)信息，結(jié)合灰度圖采用鄰域插補(bǔ)對(duì)邊緣像素點(diǎn)進(jìn)行修復(fù)。

進(jìn)一步的，還包括步驟估值反射系數(shù)，所述的步驟估值反射系數(shù)位于步驟邊緣像素插補(bǔ)之前，結(jié)合灰度圖的相位信息與強(qiáng)度信息估值邊緣像素點(diǎn)的反射系數(shù)。

進(jìn)一步的，還包括步驟獲取深度圖信息，利用深度相機(jī)獲取深度圖信息與紅外灰度圖信息，所述的深度圖信息用于獲取幾何特征，紅外灰度圖信息用于獲取紋理特征。

進(jìn)一步的，所述的步驟解算深度圖中像素法向量采用3×3鄰域的局部向量法求解深度圖中像素點(diǎn)的單位法向量。

進(jìn)一步的，所述的角度閾值為50°～90°

進(jìn)一步的，所述的鄰域插補(bǔ)采用n×n鄰域插值補(bǔ)償，公式為其中ωi為對(duì)應(yīng)領(lǐng)域像素點(diǎn)的權(quán)因子。

進(jìn)一步的，所述的n的取值范圍為3～12。

進(jìn)一步的，所述的n值為5，公式為本發(fā)明的有益效果是:本發(fā)明提供一種基于tof深度相機(jī)的邊緣反射像素校正方法，包括步驟建立視線深度圖、解算深度圖中像素法向量、建立邊緣置信度圖、邊緣像素判定、邊緣像素插補(bǔ)；本發(fā)明通過設(shè)定角度閾值判定邊緣像素，并通過插補(bǔ)的方式修復(fù)邊緣像素點(diǎn)，最終將邊緣像素點(diǎn)的空洞修補(bǔ)，實(shí)現(xiàn)對(duì)深度圖的邊緣反射像素的校正。本發(fā)明快速解決深度圖邊緣像素的去噪問題，方法穩(wěn)定高效，深度圖修復(fù)效果極佳。

上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，并可依照說明書的內(nèi)容予以實(shí)施，以下以本發(fā)明的較佳實(shí)施例并配合附圖詳細(xì)說明如后。本發(fā)明的具體實(shí)施方式由以下實(shí)施例及其附圖詳細(xì)給出。

附圖說明

此處所說明的附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中：

圖1是本發(fā)明的一種基于tof深度相機(jī)的邊緣反射像素校正方法流程示意圖；

圖2是本發(fā)明的一種基于tof深度相機(jī)的平面深度示意圖；

圖3是本發(fā)明的一種基于tof深度相機(jī)的邊緣反射像素校正方法原理示意圖；

圖4是本發(fā)明的像素法向量求解原理示意圖；

圖5是本發(fā)明的5×5鄰域插補(bǔ)原理示意圖；

圖6是未經(jīng)本發(fā)明的處理的深度圖；

圖7是經(jīng)本發(fā)明一種基于tof深度相機(jī)的邊緣反射像素校正方法處理后的深度圖。

具體實(shí)施方式

下面將參考附圖并結(jié)合實(shí)施例，來詳細(xì)說明本發(fā)明。

參照?qǐng)D1-7所示，一種基于tof深度相機(jī)的邊緣反射像素校正方法，如圖1所示，包括以下步驟：

獲取深度圖信息，利用深度相機(jī)獲取深度圖信息與紅外灰度圖信息，深度圖信息用于獲取算法所需的幾何特征，紅外灰度圖信息用于獲取算法所需的紋理特征；如圖2所示，為基于tof深度相機(jī)平面深度示意圖，邊緣像素為圈中所示，一般的，無法保證絕對(duì)垂直拍攝，但對(duì)拍攝圖像作縱截面處理，得到垂直tof深度相機(jī)中心視線的縱截面深度圖，即為圖2所示情況，應(yīng)當(dāng)理解，獲取圖像信息為tof相機(jī)拍攝過程或直接采用已有深度圖像。

建立視線深度圖，如圖3所示，獲取深度相機(jī)拍攝坐標(biāo)原點(diǎn)，建立坐標(biāo)原點(diǎn)與深度圖各像素點(diǎn)的視角連線作為視線。

解算深度圖中像素法向量，得到深度圖中單個(gè)像素點(diǎn)單位法向量，具體采用3×3鄰域的局部向量法求解深度圖中像素點(diǎn)的單位法向量，如圖4所示，i5為中心像素點(diǎn),公式如下：

其中，即為i5單位法向量，求解法向量的3x3鄰域運(yùn)算僅為求解法向量中的一種，求取法向量具有平滑的效果，有一定的抗噪聲的效果。應(yīng)當(dāng)理解，建立視線深度圖與解算深度圖中像素法向量為獨(dú)立步驟，并不涉及步驟具體順序，圖1中表述僅為一實(shí)施例，不作步驟順序限定。

建立邊緣置信度圖，如圖4所示，結(jié)合單個(gè)像素視線與單位法向量求解單個(gè)像素點(diǎn)的視線與法向量夾角，由于像素點(diǎn)密度不同，計(jì)算出的法向量與視線僅為一較真的估計(jì)值，都存在一定的置信度，結(jié)合角度容差機(jī)制生成深度圖中像素點(diǎn)置信度圖；

邊緣像素判定，結(jié)合3所示，設(shè)定角度閾值α，一般的角度閾值α取值范圍為50°～90°，像素點(diǎn)視線與法向量夾角大于所述的角度閾值則判定為邊緣像素點(diǎn)，即得到p1、p2、p3、p4判定，

在一實(shí)施例中，α＝70°，即得p1、p2、p3、p4為邊緣像素點(diǎn)。

估值反射系數(shù)，結(jié)合灰度圖的相位信息與強(qiáng)度信息估值邊緣像素點(diǎn)的反射系數(shù)ε，反射系數(shù)隱式公式為

ε＝f(θ,am,depth)

式中，am強(qiáng)度信息，θ、depth為相位信息。

邊緣像素插補(bǔ)，獲取邊緣像素點(diǎn)信息，結(jié)合灰度圖采用鄰域插補(bǔ)對(duì)邊緣像素點(diǎn)進(jìn)行修復(fù)，公式為：

其中n為鄰域點(diǎn)數(shù)量，ωi為對(duì)應(yīng)領(lǐng)域像素點(diǎn)的權(quán)因子，一般的n值的取值范圍為3～13。在一實(shí)施例中，如圖5所示，鄰域插補(bǔ)采用5×5鄰域插值補(bǔ)償，在5×5的零像素點(diǎn)為中心的鄰域內(nèi)，中心零像素點(diǎn)與鄰域內(nèi)的像素點(diǎn)有5種距離關(guān)系，如圖5所示，,令像素點(diǎn)的尺寸為p，在最鄰近中心零像素點(diǎn)的8個(gè)像素中，有四個(gè)像素點(diǎn)與中心零像素點(diǎn)的距離權(quán)重為ω1＝p，記為第一組像素點(diǎn)；另外四個(gè)對(duì)角相鄰像素點(diǎn)與中心零像素點(diǎn)的連線距離權(quán)重為記為第二組像素點(diǎn)。相對(duì)稍遠(yuǎn)的16個(gè)像素點(diǎn)又可分為3種距離關(guān)系，即四個(gè)像素點(diǎn)與中心零像素點(diǎn)的連線距離權(quán)重為ω3＝2p，記為第三組像素點(diǎn)；8個(gè)像素點(diǎn)與中心零像素點(diǎn)的連線距離權(quán)重為記為第四組像素點(diǎn)，另外四個(gè)像素點(diǎn)與中心零像素點(diǎn)的連線距離權(quán)重為記為第五組像素點(diǎn)，最后得到

應(yīng)當(dāng)理解，5×5鄰域插值補(bǔ)償僅為n×n中的一種，不應(yīng)局限本發(fā)明的范圍。

本發(fā)明提供一種基于tof深度相機(jī)的邊緣反射像素校正方法，包括步驟建立視線深度圖、解算深度圖中像素法向量、建立邊緣置信度圖、邊緣像素判定、邊緣像素插補(bǔ)；本發(fā)明通過設(shè)定角度閾值判定邊緣像素，并通過插補(bǔ)的方式修復(fù)邊緣像素點(diǎn)，最終將邊緣像素點(diǎn)的空洞修補(bǔ)，實(shí)現(xiàn)對(duì)深度圖的邊緣反射像素的校正。本發(fā)明快速解決深度圖邊緣像素的去噪問題，方法穩(wěn)定高效，深度圖修復(fù)效果極佳。如圖6所示，為一未經(jīng)本發(fā)明的處理的深度圖，邊緣像素的過渡點(diǎn)噪聲像素較多，采用本發(fā)明一種基于tof深度相機(jī)的邊緣反射像素校正方法處理后，如圖7所示，邊緣像素修復(fù)后，深度圖整體效果顯著提升。

以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非對(duì)本發(fā)明作任何形式上的限制；凡本行業(yè)的普通技術(shù)人員均可按說明書附圖所示和以上所述而順暢地實(shí)施本發(fā)明；但是,凡熟悉本專業(yè)的技術(shù)人員在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，利用以上所揭示的技術(shù)內(nèi)容而做出的些許更動(dòng)、修飾與演變的等同變化，均為本發(fā)明的等效實(shí)施例；同時(shí),凡依據(jù)本發(fā)明的實(shí)質(zhì)技術(shù)對(duì)以上實(shí)施例所作的任何等同變化的更動(dòng)、修飾與演變等，均仍屬于本發(fā)明的技術(shù)方案的保護(hù)范圍之內(nèi)。