一種基于單個(gè)深度視覺傳感器的室內(nèi)場(chǎng)景三維重建方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于室內(nèi)場(chǎng)景的三維重建技術(shù)領(lǐng)域，特別涉及一種基于單個(gè)深度視覺傳感 器的室內(nèi)場(chǎng)景三維重建方法。
【背景技術(shù)】
[0002] 建立高質(zhì)量的室內(nèi)場(chǎng)景三維模型，尤其是針對(duì)室內(nèi)每個(gè)物體創(chuàng)建獨(dú)立的三維模型 是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。目前，很多室內(nèi)場(chǎng)景的三維重建方法把重點(diǎn)放在重建室內(nèi)場(chǎng)景 中的局部模型上，致使其方法本身具有：易丟失諸多室內(nèi)場(chǎng)景的細(xì)節(jié)信息、需要繁瑣的用戶 交互操作、需要激光掃描儀等大型昂貴的硬件設(shè)備等缺點(diǎn)。
[0003] 商業(yè)化的深度相機(jī)可以實(shí)現(xiàn)場(chǎng)景中物體的三維模型重建，但建立室內(nèi)場(chǎng)景的三維 模型與建立單個(gè)物體的三維模型不同，在深度相機(jī)的視野范圍內(nèi)，必須沿著某一復(fù)雜軌跡 的很多視角進(jìn)行掃描，才能為一個(gè)大的室內(nèi)場(chǎng)景重建三維模型。而且深度相機(jī)的移動(dòng)軌跡 需要近距離覆蓋每個(gè)物體所有的圖像表面，但掃描過程中會(huì)發(fā)生明顯的漂移，從而需要從 不同視角進(jìn)行全局配準(zhǔn)。因此，完整室內(nèi)場(chǎng)景的自動(dòng)三維模型重建方法并不可靠，需要人工 標(biāo)記不同視角下的對(duì)應(yīng)點(diǎn)。
[0004] 此外，具有影響力的kinectfusion系統(tǒng)的應(yīng)用證明使用商業(yè)化的深度相機(jī)可以 實(shí)時(shí)進(jìn)行三維模型重建，完成包括圖像積分、視覺測(cè)程、實(shí)時(shí)3D重建等工作。但早期的 kinectfusion系統(tǒng)使用平面立體像素網(wǎng)格，只能用于較小的體積范圍；視覺測(cè)程算法雖可 以提高kinectfusion系統(tǒng)的精確度，但僅能應(yīng)用于比較狹小的空間內(nèi)和相機(jī)運(yùn)動(dòng)軌跡比 較簡單的情況下，復(fù)雜的相機(jī)運(yùn)動(dòng)路徑會(huì)影響整個(gè)室內(nèi)場(chǎng)景的三維模型重建效果。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種設(shè)計(jì)合理、掃描過程及使用硬 件設(shè)備簡單、數(shù)據(jù)信息全面、點(diǎn)云配準(zhǔn)精度高且計(jì)算性能優(yōu)異的基于單個(gè)深度視覺傳感器 的室內(nèi)場(chǎng)景三維重建方法。
[0006] 本發(fā)明解決其技術(shù)問題是采取以下技術(shù)方案實(shí)現(xiàn)的：
[0007] -種基于單個(gè)深度視覺傳感器的室內(nèi)場(chǎng)景三維重建方法，包括以下步驟：
[0008] 步驟1、對(duì)彩色相機(jī)和深度相機(jī)進(jìn)行聯(lián)合標(biāo)定，求解出深度相機(jī)和彩色相機(jī)的內(nèi)參 矩陣K和外參數(shù)；利用單個(gè)深度傳感器設(shè)備多角度采集室內(nèi)場(chǎng)景的深度數(shù)據(jù)和RGB數(shù)據(jù)；
[0009] 步驟2、對(duì)采集到的深度數(shù)據(jù)和RGB數(shù)據(jù)進(jìn)行去噪處理，利用孔洞周圍的深度值對(duì) 孔洞進(jìn)行填充，得到平滑的深度數(shù)據(jù)；
[0010] 步驟3、利用步驟1中計(jì)算得出的內(nèi)參矩陣K，將步驟2得到的深度數(shù)據(jù)轉(zhuǎn)換為相 應(yīng)的三維點(diǎn)云數(shù)據(jù)；
[0011] 步驟4、對(duì)步驟2中得到的不同視角的RGB圖像進(jìn)行匹配計(jì)算，并根據(jù)匹配得到的 結(jié)果，對(duì)步驟3中得到的不同視角的點(diǎn)云進(jìn)行配準(zhǔn)，建立室內(nèi)場(chǎng)景的點(diǎn)云模型；
[0012] 步驟5、對(duì)步驟4中得到的點(diǎn)云模型進(jìn)行平面擬合，提取地面、桌面、墻壁等標(biāo)志性 的平面類模型，從而實(shí)現(xiàn)將其對(duì)應(yīng)的點(diǎn)云從步驟4中得到的場(chǎng)景模型中分割出來，建立場(chǎng) 景中每個(gè)物體的獨(dú)立完整的三維模型。
[0013] 而且，所述步驟1的具體步驟包括：
[0014] 步驟1. 1、提取彩色相機(jī)和深度相機(jī)拍攝的標(biāo)定棋盤的圖像上角點(diǎn)為校準(zhǔn)點(diǎn)，進(jìn)行 相機(jī)校準(zhǔn)，求解出深度相機(jī)和彩色相機(jī)的內(nèi)參矩陣K和外參數(shù)；
[0015] 步驟1. 2、對(duì)同一時(shí)刻得到的RGB數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行配準(zhǔn)，并求解得到深度數(shù)據(jù) 與RGB數(shù)據(jù)的對(duì)齊變換矩陣；
[0016] 步驟1. 3、利用單個(gè)深度傳感器攝像頭對(duì)室內(nèi)場(chǎng)景進(jìn)行掃描，采集室內(nèi)物體表面 RGB數(shù)據(jù)和深度數(shù)據(jù)，使其掃描范圍盡可能覆蓋到室內(nèi)場(chǎng)景中的每個(gè)物體的完整表面。
[0017] 而且，所述步驟2的具體步驟包括：
[0018] 步驟2. 1、對(duì)步驟1中的RGB數(shù)據(jù)和深度數(shù)據(jù)使用雙邊濾波器進(jìn)行平滑去噪，得到 低噪音并且能夠保持特征的數(shù)據(jù)；
[0019] 步驟2. 2:將步驟2. 1中所述數(shù)據(jù)輸入雙邊濾波器的濾波方程式中進(jìn)行計(jì)算，得到 平滑去噪的深度數(shù)據(jù)。
[0020] 而且，所述步驟4的具體步驟包括：
[0021] 步驟4.1、對(duì)不同視角的原圖和待匹配圖進(jìn)行Canny邊緣檢測(cè)計(jì)算邊緣的局部斜 率，根據(jù)斜率計(jì)算出局部方向角，為每一條邊緣構(gòu)建一條方向角曲線和對(duì)應(yīng)的相對(duì)鏈碼；
[0022] 步驟4.2、用待匹配圖的邊緣方向曲線的相對(duì)鏈碼和原圖中的相對(duì)鏈碼進(jìn)行比較， 確定不同視角的兩幅圖之間的平移關(guān)系，進(jìn)行相位相關(guān)計(jì)算；
[0023] 步驟4. 3、找到相關(guān)系數(shù)最大的，對(duì)待匹配圖進(jìn)行旋轉(zhuǎn)矯正，找到不同視角的兩幅 圖能夠匹配的精確位置，完成不同視角的兩幅圖之間的精確匹配；
[0024] 步驟4. 4、利用步驟4. 3的不同視角的兩幅圖像的匹配結(jié)果，完成對(duì)其各自對(duì)應(yīng)的 點(diǎn)云進(jìn)行配準(zhǔn)，求解變換矩陣。
[0025] 而且，所述步驟5的具體步驟包括：
[0026] 步驟5. 1、使用PCA主成分分析方法擬合平面；
[0027] 步驟5.2、利用平面到原點(diǎn)的距離公式d" = | |cog*n| |，將原始數(shù)據(jù)轉(zhuǎn)換成xy平 面上的數(shù)據(jù)；
[0028] 上述公式中，d"代表平面到原點(diǎn)的距離，cog代表平面的重心，n代表平面的法向 量；
[0029] 步驟5. 3、進(jìn)行不確定性分析，求解最佳擬合平面，實(shí)現(xiàn)平面擬合。
[0030] 而且，所述步驟1. 1的具體步驟包括：
[0031] (1)定義二維坐標(biāo)系下的點(diǎn)為m= [u,v]T，其中u，v分別是在X、Y軸上的坐標(biāo)，三 維坐標(biāo)系下的點(diǎn)為M= [X，Y，Z]T，其中X、Y、Z分別是在X、Y、Z軸上的坐標(biāo)，旋轉(zhuǎn)矩陣為R =[Ar2r3]，其中，代表旋轉(zhuǎn)矩陣R的列，平移量為t，則圖像坐標(biāo)系點(diǎn)與世界坐標(biāo) 系下點(diǎn)的轉(zhuǎn)換關(guān)系為：
[0032]
[0033]
[0034] 其中，s是比例因子，u，v分別是在X、Y軸上的坐標(biāo)，K為相機(jī)的內(nèi)參數(shù)矩陣，亡是 相機(jī)在X軸上的焦距，仁是相機(jī)在Y軸上的焦距，f是相機(jī)的焦距，dx是像素點(diǎn)在x軸的物 理尺寸，dy是像素點(diǎn)在y軸的物理尺寸，u。是相機(jī)在X軸上的主點(diǎn)坐標(biāo)，v。是相機(jī)在Y軸上 的主點(diǎn)坐標(biāo)；
[0035] (2)根據(jù)單應(yīng)性矩陣H，將圖像上的點(diǎn)m和空間中的點(diǎn)M關(guān)聯(lián)起來：
[0036] 定義世界坐標(biāo)系下的點(diǎn)為i?二f.K7，則圖像上的點(diǎn)m和空間中的點(diǎn)M轉(zhuǎn)換公 式為：MM，其中s是比例因子，H是單應(yīng)性矩陣，I;是圖像坐標(biāo)系的點(diǎn)，#是世界坐 標(biāo)系下的點(diǎn)；
[0037] 令單應(yīng)矩陣H=IX，h2,h3]，則IXh2h3]=人Khr2t]，其中hi,h2,113分別代表 單應(yīng)矩陣H的第一列、第二列、第三列，A是任意的比例，K為相機(jī)的內(nèi)參矩陣；
[0038] 為方便計(jì)算相機(jī)內(nèi)參數(shù)和外參數(shù)，自定義矩陣B，令：
[0039]
[0040] 其中，Bn，B12,B13,B21，B22,B23,B31，B32,B33是矩陣B的元素，f及相機(jī)在X軸上的焦 距，仁是相機(jī)在Y軸上的焦距，u。是相機(jī)在X軸上的主點(diǎn)坐標(biāo)，v。是相機(jī)在Y軸上的主點(diǎn)坐 標(biāo)；
[0041] 求解相機(jī)內(nèi)參數(shù)：
[0042]
[0043] 求解相機(jī)外參數(shù)：
[0044] 6=入K\，r2=入K%，r3=riXr；；，t=入K%，即可求出相機(jī)的旋轉(zhuǎn)矩陣R， 平移量t。
[0045] 而且，所述步驟1. 2的具體步驟包括：
[0046] (1)分別定義彩色相機(jī)和深度相機(jī)的三個(gè)平面：tjW和仏(/1/ = 1,2,3，
^其中r[卩)代表彩色相機(jī)的第i個(gè)平面，riy)代表深度相 機(jī)的第i個(gè)平面，n"是平面的法向，ndl是平面以)的法向，c代表彩色相機(jī)，d代表深度 相機(jī)；深度數(shù)據(jù)和RGB數(shù)據(jù)之間對(duì)應(yīng)的對(duì)齊變換矩陣為f=gj，其中R'是旋轉(zhuǎn)矩陣， t'是平移量。在投影空間中，根據(jù)旋轉(zhuǎn)矩陣M'、投影比例S'將點(diǎn)映射成77!^
[0047]
[0048] 其中，Ai是未知的比例因子，R'，t'分別為旋轉(zhuǎn)矩陣、平移量，I3是一個(gè)3*3的 單位矩陣，M'是旋轉(zhuǎn)矩陣，S'是投影比例；
[0049] 將n。;，]^標(biāo)準(zhǔn)化成~；將上述公式重新定義為：
[0050]
每一對(duì)i7W.和/#，有一個(gè)平移量的線性 約束t' =L其中L，g分別是為便于計(jì)算自定義的矩陣，且
[0051]
[0052] 其中ndl，nd2,nd3分別是深度相機(jī)的第一個(gè)平面、第二個(gè)平面、第三個(gè)平面的法向， 11。1，11。2，11。3分別是彩色相機(jī)的第一個(gè)平面、第二個(gè)平面、第三個(gè)平面的法向，1?'是旋轉(zhuǎn)矩 陣；
[0053] (2)當(dāng)平面?zhèn)€數(shù)大于3時(shí)，平面配準(zhǔn)算法包括以下四個(gè)步驟：
[0054] 1)為每一對(duì)#丨/)和77^計(jì)算一個(gè)對(duì)齊變換矩陣T;
[0055] 2)對(duì)于每一個(gè)T，計(jì)算所有tjP的深度相機(jī)坐標(biāo)77以，計(jì)算第j個(gè)計(jì)算所得的平面 nd]和其對(duì)應(yīng)的平面及丨/)之間的歐氏距離1,。
[0056] 3)用rank(T) = \max(l,lj為所有的T排序，其中1是一個(gè)預(yù)設(shè)的閾值，當(dāng)l_j <1時(shí)，認(rèn)為對(duì)應(yīng)的點(diǎn)對(duì)是局內(nèi)點(diǎn)，T是最小值；
[0057] 4)進(jìn)行非線性最小優(yōu)化，求解最佳對(duì)齊變換矩陣T;
[0058] 最佳對(duì)齊變換矩陣T的目標(biāo)函數(shù)為：
[0059]
[0060] 其中是彩色相機(jī)的內(nèi)參數(shù)集，I'd是深度相機(jī)的內(nèi)參數(shù)集，T是深度數(shù)據(jù)和RGB數(shù)據(jù)之間的對(duì)齊變換矩陣，T"是彩色相機(jī)的外參矩陣，y是彩色相機(jī)的測(cè)量方差，d 是深度相機(jī)的測(cè)量方差，氣是彩色相機(jī)的測(cè)量角點(diǎn)，X。是投影點(diǎn)，J是深度相機(jī)的測(cè)量視差 值，J是計(jì)算得到的視差值，是一個(gè)權(quán)值，是物體點(diǎn)之間的歐氏距離，A'是物體點(diǎn) 之間的測(cè)量距離。
[0061] 而且，所述步驟4. 4的具體步驟包括：
[0062] (1)建立變換矩陣
[0063] 1)定義旋轉(zhuǎn)矩陣為：
[0064]
[0065] 其中，a，，y分別是圍繞x軸，y軸，z軸旋轉(zhuǎn)的角度；令：
[0066] rn=cosycos0
[0067] r12=-sinycosa+cosysin0sina
[0068] r13=sinysina+cosysin0cosa
[0069] r21=sinycos&
[0070] r22=cosycosa+sinysin0sina
[0071] r22= -cosysina+sinysin0cosa
[0072] r31= -sin0
[0073] r32= cos0sina
[0074] r33= cos旦cosa，
[0075] 其中，rn，r12,r13,r2i，r22,r23,r31，r32,r33疋旋轉(zhuǎn)矩陣R(a，0，y)的兀素；
[0076] 2)重新定義旋轉(zhuǎn)矩陣為一個(gè)4X4的矩陣：
[0077]
[0078] 3)定義平移矩陣為一個(gè)4X4的矩陣：
[0079]
[0080