基于主被動(dòng)結(jié)合的深度信息獲取方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺測(cè)量技術(shù)領(lǐng)域，主要涉及一種目標(biāo)物體深度信息的獲取方 法，可用于人機(jī)交互、3D打印、逆向工程、文物三維重建。
【背景技術(shù)】
[0002] 隨著當(dāng)今計(jì)算機(jī)視覺技術(shù)的發(fā)展和人們生活水平的提高，傳統(tǒng)的二維信息已經(jīng)不 能滿足人們的需求，快速、高效的從場(chǎng)景中獲取深度信息成為當(dāng)前研究的熱點(diǎn)。從場(chǎng)景中獲 取深度信息的過(guò)程叫做深度獲取。當(dāng)前深度獲取方法主要分為接觸式和非接觸式兩大類。
[0003] 接觸式是通過(guò)實(shí)際觸碰物體表面來(lái)得到深度信息，如坐標(biāo)測(cè)量機(jī)。接觸式測(cè)量法 雖可以獲得高精度數(shù)據(jù)，但其硬件要求高、速率低、使用不方便，對(duì)物體存在一定損害性，且 往往只能得到少數(shù)特征點(diǎn)的深度信息。
[0004] 非接觸式則不需要與目標(biāo)物體接觸就能獲取目標(biāo)物體的深度信息，如現(xiàn)有的激光 雷達(dá)、CT、聲吶等方法。非接觸式的測(cè)量速度快，采樣密集，已成為現(xiàn)階段獲取深度信息一個(gè) 重要手段。在非接觸式深度信息獲取方法里面又主要分為被動(dòng)方法和主動(dòng)方法兩大類。
[0005] 被動(dòng)式深度信息獲取方法是通過(guò)測(cè)量由目標(biāo)物體表面反射的周遭輻射性，如激 光、可見光，來(lái)計(jì)算目標(biāo)物體的深度信息，常見的計(jì)算方法有立體視覺法、陰影測(cè)量法、聚焦 法等方法。其中應(yīng)用最為廣泛的立體視覺法是通過(guò)模擬人的視覺方式，采用兩個(gè)或多個(gè)攝 像機(jī)獲得的多個(gè)角度下的被測(cè)物體的數(shù)字圖像，根據(jù)特定采樣點(diǎn)在兩幅圖像中的匹配像素 點(diǎn)及攝像機(jī)的相對(duì)空間位置、光學(xué)參數(shù)，依據(jù)三角測(cè)量原理計(jì)算得出該點(diǎn)的三維坐標(biāo)。雖然 被動(dòng)式測(cè)量方法對(duì)成像設(shè)備要求不高，不需要額外光源，且操作簡(jiǎn)便，容易實(shí)現(xiàn)，但是對(duì)于 不存在明顯特征的圖像，如無(wú)明顯角點(diǎn)，該方法計(jì)算量大，匹配精度低，難以獲得精細(xì)的測(cè) 量結(jié)果。
[0006] 主動(dòng)式深度信息獲取是通過(guò)將額外的能量投射到目標(biāo)物體，借助能量的反射來(lái)計(jì) 算目標(biāo)物體的深度信息，常見的投射能量有可見光、高能量光束、超聲波和X射線等，主動(dòng) 式深度信息獲取方法主要有激光掃描法、飛行時(shí)間法和結(jié)構(gòu)光法。
[0007] 激光掃描法采用激光掃描儀對(duì)物體逐點(diǎn)進(jìn)行掃描從而獲取深度信息，雖然精度較 高，但是速度很慢；飛行時(shí)間法是新興的三維成像技術(shù)之一，它的測(cè)量速度快，但采集得到 的深度圖像分辨率和精度都較低。
[0008] 結(jié)構(gòu)光法，其原理是利用投射設(shè)備將具有一定規(guī)律的結(jié)構(gòu)光模板投射到被測(cè)目標(biāo) 表面，利用圖像采集設(shè)備記錄被測(cè)目標(biāo)表面的圖像，將采集到的圖像數(shù)據(jù)結(jié)合三角測(cè)距原 理以及圖形處理技術(shù)計(jì)算出物體表面的深度數(shù)據(jù)信息。這種方法既利用了圖像作為信息載 體，又利用可控光源形成明顯紋理特征，能大大減小對(duì)諸如缺乏紋理、光滑、無(wú)明顯灰度的 表面區(qū)域進(jìn)行匹配的難度。鑒于結(jié)構(gòu)光三角化技術(shù)結(jié)構(gòu)簡(jiǎn)單、測(cè)量速度快、精度高等特點(diǎn)， 已得到廣泛應(yīng)用。
[0009] 結(jié)構(gòu)光法根據(jù)投射光圖案又可分為單點(diǎn)法、單線法和編碼法。單點(diǎn)結(jié)構(gòu)光法具有 準(zhǔn)確度高、簡(jiǎn)單可靠的優(yōu)點(diǎn)，但其測(cè)量速度慢；單線結(jié)構(gòu)光法雖然比單點(diǎn)法測(cè)量速度有所提 高，但是相應(yīng)確定對(duì)應(yīng)關(guān)系的難度也增大，影響了測(cè)量準(zhǔn)確度。相比之下，編碼結(jié)構(gòu)光法通 過(guò)編碼解碼使識(shí)別簡(jiǎn)化，有效提高了測(cè)量效率，因此成為目前結(jié)構(gòu)光法最有前途的發(fā)展方 向。
[0010] 編碼結(jié)構(gòu)光法可分為空間、直接和時(shí)間三種編碼方法。空間編碼向景物投射一副 編碼圖案、得到一副對(duì)應(yīng)的編碼圖像，將編碼圖像和編碼方式對(duì)照進(jìn)行解碼，從而解決兩者 的對(duì)應(yīng)關(guān)系，它具有適合動(dòng)態(tài)場(chǎng)景測(cè)量的優(yōu)點(diǎn)，但是由于受其空間領(lǐng)域內(nèi)特征點(diǎn)的影響，解 碼困難，測(cè)量誤差增大，存在分辨率較低、受景物表面發(fā)射率不一致及顏色的影響等缺點(diǎn)。 直接編碼是指每個(gè)被編碼像素都由其本身的灰度或顏色來(lái)識(shí)別，由于編碼一般被濃縮成唯 一的一副圖案，噪聲值增加，所以所用灰度或顏色的頻譜非常寬，必須投射附加的參考圖 案，以便區(qū)分所用的投射灰度或顏色。該方法投射的圖案數(shù)目較少，理論上適合動(dòng)態(tài)測(cè)量且 可以達(dá)到高分辨率，但編碼圖案識(shí)別困難，降低了測(cè)量準(zhǔn)確度。
[0011] 時(shí)間編碼，是將多個(gè)不同的編碼圖案按時(shí)序先后投射到景物表面、得到相應(yīng)的編 碼圖像序列，將編碼圖像序列組合起來(lái)進(jìn)行解碼，它具有易于實(shí)現(xiàn)、3D測(cè)量準(zhǔn)確度高、空間 分辨率高等優(yōu)點(diǎn)。時(shí)間編碼結(jié)構(gòu)光方法又可分為兩灰度級(jí)編碼方法、多灰度級(jí)編碼方法和 組合編碼方法。
[0012] 兩灰度級(jí)編碼方法中，最具代表性應(yīng)用最為廣泛的是格雷碼法.其優(yōu)點(diǎn)是魯棒性 好，可實(shí)現(xiàn)突變表面及不連續(xù)表面的測(cè)量，測(cè)量準(zhǔn)確度高，但分辨率相對(duì)較低。
[0013] 多灰度級(jí)編碼方法中，最具代表性應(yīng)用最為廣泛的是相移法.其優(yōu)點(diǎn)是測(cè)量準(zhǔn)確 度高，分辨率高，但在對(duì)相位進(jìn)行相位解纏繞時(shí)存在二義性，并且算法實(shí)現(xiàn)起來(lái)耗時(shí)低效。

【發(fā)明內(nèi)容】

[0014] 本發(fā)明的目的在于針對(duì)上述已有技術(shù)的不足，提出一種基于主被動(dòng)結(jié)合式的深度 信息獲取方法，以在不增加投影模板數(shù)量的情況下，避免相移法中耗時(shí)低效的問題，保證對(duì) 深度信息測(cè)量的準(zhǔn)確度和高分辨率。
[0015] 實(shí)現(xiàn)本發(fā)明目的技術(shù)關(guān)鍵是：在相移法基礎(chǔ)上，增加一個(gè)深度攝像頭，構(gòu)成由一對(duì) 深度攝像頭和一個(gè)投影儀組成的信息獲取系統(tǒng)。通過(guò)投影儀向場(chǎng)景中投射相移模板，同過(guò) 一對(duì)深度攝像頭在獲取截?cái)嘞辔坏耐瑫r(shí)，恢復(fù)出自然場(chǎng)景圖像，實(shí)現(xiàn)被動(dòng)式雙目匹配。將被 動(dòng)式雙目匹配得到的粗略深度值，作為截?cái)嘞辔徽归_過(guò)程中的指導(dǎo)信息，進(jìn)而得到精確的 深度信息，包括：
[0016] (1)將一對(duì)深度攝像頭（Cl，C2)和一個(gè)投影儀P水平放置，并使三者光軸平行，在 投影儀P中輸入相移法中所需要投影的三幅模板圖像!\、T 2、T3;
[0017] (2)用投影儀P將三幅模板圖像?\、Τ2、1~3依次投射到目標(biāo)物體上，通過(guò)第一 深度攝像頭Cl依次同步拍攝三幅模板圖像投射到目標(biāo)物體后發(fā)生的第一組變形圖像
同時(shí)，通過(guò)第二深度攝像頭C2依次同步拍攝三幅模板圖像投射 到目標(biāo)物體后發(fā)生的第二組變形圖像
并把這兩組變形圖像傳 回至計(jì)算機(jī)；
[0018] (3)計(jì)算機(jī)根據(jù)第二組變形圖彳I
的灰度值進(jìn)行解碼，得 到這些變形圖像中正弦條紋截?cái)嘞辔唬↗)ps;
[0019] (4)計(jì)算機(jī)對(duì)第一組變形圖像
進(jìn)行疊加得到第一幅自然 場(chǎng)景圖像1￡，對(duì)第二組變形圖傷
^進(jìn)行疊加得到第二幅自然場(chǎng)景圖 像i，再對(duì)這兩幅自然場(chǎng)景圖像4和1進(jìn)行被動(dòng)雙目匹配，得到粗深度Zp;
[0020] (5)利用步驟⑷得到的粗深度Zp對(duì)步驟⑶得到的截?cái)嘞辔沪?ps進(jìn)行展開，得 到第二組變形圖像上像素點(diǎn)（X，y)對(duì)應(yīng)在模板圖像上亞像素級(jí)匹配點(diǎn)的列坐標(biāo)j，再根據(jù) 三角測(cè)距原理，求得精確深度信息。
[0021] 本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn)：
[0022] 第一，本發(fā)明是對(duì)傳統(tǒng)相移法的改進(jìn)，只增加一個(gè)深度攝像頭，不需增加額外的模 板數(shù)量，實(shí)現(xiàn)簡(jiǎn)單。
[0023] 第二，本發(fā)明所述深度獲取方法結(jié)合了主動(dòng)式和被動(dòng)式深度獲取方法的優(yōu)點(diǎn)，利 用被動(dòng)雙目匹配所獲得的粗深度Z p對(duì)截?cái)嘞辔沪?ps進(jìn)行展開，避開了傳統(tǒng)相移法在相位展 開時(shí)所存在的耗時(shí)低效的問題，保證深度信息獲取的準(zhǔn)確度和高分辨率。
【附圖說(shuō)明】
[0024] 圖1為本發(fā)明使用的系統(tǒng)框圖；
[0025] 圖2為本發(fā)明的實(shí)現(xiàn)流程圖；
[0026] 圖3為本發(fā)明使用的三幅模板圖像；
[0027] 圖4為用本發(fā)明獲得的自然場(chǎng)景圖以及對(duì)應(yīng)的正弦條紋截?cái)嘞辔粓D；
[0028] 圖5為用本發(fā)明獲得的目標(biāo)物體的深度圖。
【具體實(shí)施方式】
[0029] 本發(fā)明是對(duì)傳統(tǒng)相移法的改進(jìn)，只增加一個(gè)深度攝像頭，不需要增加額外的模板 數(shù)量。以下參照附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
[0030] 參照?qǐng)D1，本發(fā)明使用的三維掃描系統(tǒng)包括：待掃描的目標(biāo)物體、第一深度攝像頭 Cl、第二深度攝像頭C2和投影儀P。投影儀P投射編碼模板到目標(biāo)物體上，第一深度攝像頭 CU第二深度攝像頭C2分別同步拍攝編碼模板投射到目標(biāo)物體后的對(duì)應(yīng)變形圖像。
[0031] 參照?qǐng)D2，本發(fā)明的實(shí)現(xiàn)步驟如下：
[0032] 步驟1、在投影儀P中輸入相移法中所需要投影的三幅模板圖像In T2、T3。
[0033] la)按照相移法中所需要投影，設(shè)定三幅模板圖像In T2、T3中正弦條紋的直流分 量Α，正弦條紋幅度Β，正弦條紋周期Tps;
[0034] Ib)設(shè)定三幅模板圖像In T2、T3的初始相移δ ^ i = 1，2, 3分別為δ 1= 〇，δ 2 = 2π/3, δ3=-2π/3；
[0035] lc)將第一深度攝像頭C1，第二深度攝像頭C2和投影儀P水平放置，并使三者光 軸平行，將上述三幅模板圖像In T2、T3輸入到投影儀P中，結(jié)果如圖3,其中，圖3(a)為第 一幅模板圖像T 1，圖3(b)為第二幅模板圖像T2，圖3 (c)為第三幅模板圖像Τ3。
[0036] 步驟2、通過(guò)深度攝像頭捕獲模板圖像投射后的變形圖像。
[0037] 用投影儀P將三幅模板圖像1\、T2、T3依次投射到目標(biāo)物體上；
[0038] 通過(guò)第一深度攝像頭Cl依次同步拍攝三幅模板圖像投射到目標(biāo)物體后發(fā)生的第 一組變形圖像
同時(shí)，通過(guò)第二深度攝像頭C2依次同步拍攝三幅 模板圖像投射到目標(biāo)物體后發(fā)生的第二組變形圖像
[0039] 將用第一深度攝像頭Cl和第二深度攝像頭C2拍攝的這兩組變形圖像傳回至計(jì)算 機(jī)。
[0040] 步驟3、計(jì)算機(jī)根據(jù)第二組變形圖像
的灰度值進(jìn)行解 碼，得到這些變形圖像中正弦條紋截?cái)嘞辔沪郸眩?。
[0041] 3a)計(jì)算三幅模板圖像In Τ2、1~3中像素點(diǎn)（X，y)處正弦條紋的灰度值：
[0043] 其中，Ips(X，y，δ J為第i幅模板圖像中像素點(diǎn)（X，y)處正弦條紋的灰度值，Tps是 模板圖像中正弦條紋的周期，單位為像素；
[0044] 3b)計(jì)算第二組對(duì)應(yīng)變形圖像
中正弦條紋截?cái)嘞辔?Φ ps (χ, y)
[0045] 3bl)計(jì)算第二組對(duì)應(yīng)變形圖像
上像素點(diǎn)（x，