] 其中，平移向I
x表示在X軸上的平移量，ty表示在Y軸上的平移量， tz表示在Z軸上的平移量；
[0081] 則變換矩陣
[0082] Tr =T(tx,ty,tz)R(a,y)
[0083] 其中，1''是變換矩陣，1'(1:)!，1^，〇是平移矩陣，1?((1，0，丫）是旋轉(zhuǎn)矩陣，€[，0， 丫分別是圍繞x軸，y軸，z軸旋轉(zhuǎn)的角度，tx表示在X軸上的平移量，ty表示在Y軸上的 平移量，tz表示在Z軸上的平移量；
[0084] (2)求解變換矩陣
[0085] 1)利用圖像匹配的方法，對不同視角的兩幅圖像進(jìn)行精確的匹配，認(rèn)定圖像A和 圖像B上的點(diǎn)pjPpB在三維空間中所對應(yīng)的點(diǎn)f/jPp/b是同一個(gè)點(diǎn)；點(diǎn)VA和VB 在其所在點(diǎn)云上所對應(yīng)的點(diǎn)為~和VB，則認(rèn)為~和VB是空間中同一點(diǎn)，S卩，其中T'是變換矩陣，vA是圖像A上的點(diǎn)，VB是圖像B上的點(diǎn)；
[0086] 定義圖像A上的點(diǎn)為g;[Jf# 名>1]:，圖像B上的點(diǎn)為4=.[勒，:爐為，1]::， 其中xA,yA,zA是點(diǎn)v&分別在X軸、Y軸、Z軸上的坐標(biāo)，xB,yB,zB是點(diǎn)v別在X軸、Y軸、Z軸上的坐標(biāo)。
[0087]
[0088] 則得出：[xA,yA,zA, 1]XT' = [xB,yB,zB, 1]
[0089] 根據(jù)投影數(shù)據(jù)關(guān)聯(lián)的方法，&和vB已被求出；
[0090] 2)利用12個(gè)匹配好的點(diǎn)對，建立12個(gè)方程，將其聯(lián)合建立方程組：
[0091]
[0092] 其中xA1,xB1,yA1,yB1,zA1,zB1分別是第一個(gè)匹配點(diǎn)對的兩個(gè)點(diǎn)在X軸、Y軸、Z軸 上的坐標(biāo)，xA2,xB2,yA2,yB2,zA2,zB2分別是第二個(gè)匹配點(diǎn)對的兩個(gè)點(diǎn)在X軸、Y軸、Z軸上的 坐標(biāo)，xA3,xB3,yA3,yB3,zA3,zB3分別是第三個(gè)匹配點(diǎn)對的兩個(gè)點(diǎn)在X軸、Y軸、Z軸上的坐標(biāo)， xA12,xB12,yA12,yB12,zA12,zB12分別是第十二個(gè)匹配點(diǎn)對的兩個(gè)點(diǎn)在X軸、Y軸、Z軸上的坐標(biāo)〇
[0093] 3)通過解一個(gè)12維的方程組的方式求解出變換矩陣T'的所有未知參數(shù)，得到變 換矩陣T'。
[0094] 而且，所述步驟5. 1的具體步驟包括：
[0095] (1)經(jīng)過配準(zhǔn)的點(diǎn)云集合為P= {Pi=(x;，y;，Zi)T|i= 1，2,…，N}，其協(xié)方差矩陣 集合為C={AlQGR3X3}，其中Q是第i個(gè)點(diǎn)Pl對應(yīng)的協(xié)方差矩陣，R3X3代表3X3的實(shí) 矩陣的全體，N是點(diǎn)的總個(gè)數(shù)，Xl，yi，^分別是第i個(gè)點(diǎn)p1在X軸、Y軸、Z軸上的坐標(biāo)；
[0096] 使用Hesse平面方程：nx_cT= 0
[0097] 其中，n= (nx,ny,nz)T是平面的法向，nx,ny, ]\分別是在X軸、Y軸、Z軸方向上的 法矢量，d'是參數(shù)，x是平面上點(diǎn)的坐標(biāo)；
[0098] (2)定義回歸函數(shù)為
[0099]
[0100] Pi=(xi,y；,z;)Tn= (nx,ny,nz)T,w； = 1/trace(c；)2
[0101]其中，R(nx,ny,nz,d')是回歸函數(shù)，Xi, y;，Zi分另Ij是點(diǎn)平面上的第i個(gè)點(diǎn)pi在X 軸、Y軸、Z軸上的坐標(biāo)，^是權(quán)重，n是平面的法向，nx，ny，\分別是在X軸、Y軸、Z軸方向 上的法矢量，d'是平面方程的參數(shù)，Q是點(diǎn)pi對應(yīng)的協(xié)方差矩陣，N是點(diǎn)的總個(gè)數(shù)；
[0102] (3)將所有的數(shù)據(jù)點(diǎn)擬合到原始區(qū)域
[0103] 5' (凡，從7) = Z):。R ("山.+刀,％+ "Zzy)，其中S(nx，ny，nz)表不目標(biāo)函數(shù)， Xi,y;，別是點(diǎn)平面上的第i個(gè)點(diǎn)p在X軸、Y軸、Z軸上的坐標(biāo)，w;是權(quán)重，nx,ny,112分 別是平面在X軸、Y軸、Z軸方向上的法矢量，N是點(diǎn)的總個(gè)數(shù)；
[0104] 平面法向n= (nx,ny,nz)T從矩陣A最小特征值對應(yīng)的特征向量中得至I」，其中A是 為方便計(jì)算自定義的矩陣，且
[0105]
，其中X;，y;，zAv別是點(diǎn)平面上 的第i個(gè)點(diǎn)？,在X軸、Y軸、Z軸上的坐標(biāo)，w1是權(quán)重，N是點(diǎn)的總個(gè)數(shù)。
[0106] 而且，所述步驟5. 3的具體步驟包括：
[0107] (1)在將原始數(shù)據(jù)轉(zhuǎn)換成xy平面上的點(diǎn)
后， 根據(jù)協(xié)方差矩陣Ii=U…/V}，使用平面公式為Z=aX+bY+d'，將點(diǎn)云中的3D點(diǎn)擬合 成一個(gè)平面，其中X〗,.7丨,Z是經(jīng)過數(shù)據(jù)轉(zhuǎn)換后第i個(gè)點(diǎn)Z分別在X軸、Y軸、Z軸上的坐標(biāo)， N是點(diǎn)的總個(gè)數(shù)，rf.是第i個(gè)點(diǎn)對應(yīng)的協(xié)方差矩陣，a，b，d'是平面公式的系數(shù)，X，Y，Z 分別是平面上的點(diǎn)的坐標(biāo)；
[0108] 將平面法向定義為：
[0109] (nx,ny,nz) = (0, 0, 1)T；
[0110] 回歸方程為：
[0111]
[0112] 其中：!'〇3。，131，132)代表回歸方程函數(shù)，2，.力3 :是平面上的點(diǎn)4:分別在父軸、￥ 軸、Z軸上的坐標(biāo)，nx，ny，nz分別是平面在X軸、Y軸、Z軸方向上的法矢量，d'是平面方程 的參數(shù)，^^是權(quán)重，是為了方便計(jì)算定義的變量，且13。=(-cf =ny/nz〇
[0113] ⑵分別對b。，h，b2進(jìn)行局部求導(dǎo)，得到最佳擬合平面的參數(shù)
[0114]
[0115]
[0116] 其中，A'是為方便計(jì)算自定義的矩陣，;是平面上的點(diǎn)義分別在X軸、Y 軸、Z軸上的坐標(biāo)，'^是權(quán)重，b0,1^，b2是為了方便計(jì)算自定義的變量，且13。= (-d' =nx/nz，b2=ny/nz〇
[0117] 參數(shù)向量V= (b。，!^，!^)的協(xié)方差矩陣為：
[0118]
[0119] 其中，Cpl_是參數(shù)向量b' = 的協(xié)方差矩陣，是協(xié)方差矩陣， F是為方便計(jì)算定義的矩陣，b。，!^，!^是為了方便計(jì)算自定義的變量，且13。= (-d'Vrigbi=nx/nz，b2=ny/nz〇
[0120] (3)得到平面參數(shù)的最終結(jié)果為：
[0121] (z，9 , ^ )T=(arctanb〇Jarctanb1?arctanb2)T
[0122] 其中，b。，bi,b2是為了方便計(jì)算自定義的變量，且b。= (-d' )/nz,1^=nx/nz,b2 = ny/nz，z是沿z軸的平移量，0是繞x軸旋轉(zhuǎn)的角度，$是繞y軸旋轉(zhuǎn)的角度；nx，ny，nj 別是平面在X軸、Y軸、Z軸方向上的法矢量，d'是平面方程的參數(shù)。
[0123] 本發(fā)明的優(yōu)點(diǎn)和積極效果是：
[0124] 1、本發(fā)明只需要手持深度傳感器等深度數(shù)據(jù)采集設(shè)備繞著室內(nèi)場景進(jìn)行連續(xù)多 視角掃描，即可獲得深度數(shù)據(jù)，整體掃描過程簡單、掃描時(shí)間短且掃描硬件設(shè)備簡單，只需 要單個(gè)深度視覺傳感器即可。
[0125] 2、本發(fā)明掃描的數(shù)據(jù)信息全面，同時(shí)包含RGB數(shù)據(jù)和深度數(shù)據(jù)；并且對深度傳感 器的深度相機(jī)和彩色相機(jī)進(jìn)行聯(lián)合標(biāo)定，將深度數(shù)據(jù)和RGB數(shù)據(jù)對齊，從而實(shí)現(xiàn)對所重建 的室內(nèi)三維模型進(jìn)行比較準(zhǔn)確的紋理貼圖。
[0126] 3、本發(fā)明提出在圖像匹配的基礎(chǔ)上進(jìn)行點(diǎn)云配準(zhǔn)的方法，對采集到的深度數(shù)據(jù)進(jìn) 行去噪、孔洞填充以及校準(zhǔn)，利用校準(zhǔn)后的深度數(shù)據(jù)能夠產(chǎn)生密集均勻的空間點(diǎn)云，并利用 圖像匹配的結(jié)果完成點(diǎn)云配準(zhǔn)，有效提高了點(diǎn)云配準(zhǔn)精度和計(jì)算效率；通過平面擬合，將地 面、桌面、墻壁等特殊平面的點(diǎn)云與室內(nèi)場景中其他物體的點(diǎn)云進(jìn)行分割，最終對室內(nèi)場景 中的每個(gè)物體建立一個(gè)完整高質(zhì)量的三維模型。
【附圖說明】
[0127] 圖1是本發(fā)明的整體處理流程圖；
[0128] 圖2是本發(fā)明的對深度傳感器的深度相機(jī)和彩色相機(jī)進(jìn)行標(biāo)定的方法流程圖。
【具體實(shí)施方式】
[0129] 以下對本發(fā)明實(shí)施例作進(jìn)一步詳述：
[0130] 一種基于單個(gè)深度視覺傳感器的室內(nèi)場景三維重建方法，如圖1所示，包括以下 步驟：
[0131] 步驟1、對彩色相機(jī)和深度相機(jī)進(jìn)行聯(lián)合標(biāo)定，求解出深度和彩色相機(jī)的內(nèi)參矩陣 K、內(nèi)參數(shù)以及外參數(shù)并對深度數(shù)據(jù)進(jìn)行校準(zhǔn)；利用單個(gè)深度傳感器設(shè)備采集室內(nèi)場景的深 度數(shù)據(jù)和RGB數(shù)據(jù)；
[0132] 如圖2所示，該步驟1包括以下具體步驟：
[0133] 1. 1、提取彩色相機(jī)和深度相機(jī)拍攝的標(biāo)定棋盤的圖像上角點(diǎn)為校準(zhǔn)點(diǎn)，進(jìn)行相機(jī) 校準(zhǔn)，求解出深度相機(jī)和彩色相機(jī)的內(nèi)參矩陣K和外參數(shù)；
[0134] (1)提取彩色相機(jī)和深度相機(jī)拍攝的標(biāo)定棋盤的圖像上角點(diǎn)為校準(zhǔn)點(diǎn)，進(jìn)行相機(jī) 校準(zhǔn)；相機(jī)校準(zhǔn)過程如下：
[0135] 1)定義二維坐標(biāo)系下的點(diǎn)為m= [u,v]T，其中u，v分別是在X、Y軸上的坐標(biāo)，三 維坐標(biāo)系下的點(diǎn)為M= [X，Y，Z]T，其中X、Y、Z分別是在X、Y、Z軸上的坐標(biāo)，旋轉(zhuǎn)矩陣R= [Ar2r3](其中，:^，r2,r3代表旋轉(zhuǎn)矩陣R的列），平移量為t，則圖像坐標(biāo)系點(diǎn)與世界坐標(biāo) 系下點(diǎn)的轉(zhuǎn)換關(guān)系為：
[0136:
[0137；
[0138] 其中，s是比例因子，u，v分別是在X、Y軸上的坐標(biāo)，K為相機(jī)的內(nèi)參數(shù)矩陣，亡是 相機(jī)在X軸上的焦距，仁是相機(jī)在Y軸上的焦距，f是相機(jī)的焦距，dx是像素點(diǎn)在x軸的物 理尺寸，dy是像素點(diǎn)在y軸的物理尺寸，u。是相機(jī)在X軸上的主點(diǎn)坐標(biāo)，v。是相機(jī)在Y軸上 的主點(diǎn)坐標(biāo)；
[0139] 2)根據(jù)單應(yīng)性矩陣H，將圖像上的點(diǎn)m和空間中的點(diǎn)M關(guān)聯(lián)起來：
[0140] 定義世界坐標(biāo)系下的點(diǎn)為f=[t，1]%則圖像上的點(diǎn)m和空間中的點(diǎn)M轉(zhuǎn)換公 式為：
[0141] s& = M (.2)
[0142] 其中，單應(yīng)矩陣為H=AK[rir2t]，A是任意的比例，s是比例因子，通是圖像坐 標(biāo)系的點(diǎn)，.#是世界坐標(biāo)系下的點(diǎn)。
[0143] (2)求解相機(jī)的內(nèi)外參數(shù)：
[0144] 1)求解相機(jī)的內(nèi)參數(shù)
[0145] 令單應(yīng)矩陣H=[kkig(其中分別代表單應(yīng)矩陣H的第一列、第二列、 第三列），則：
[0146] [h: h2 h3] = A K[r: r2 t]
[0147]A是任意的比例，由于ri，r2是標(biāo)準(zhǔn)正交的，可以得到公式（3)、（4):
[0148] 〇)
[0149] (4)
[0150] 為方便計(jì)算相機(jī)內(nèi)參數(shù)和外參數(shù)，自定義矩陣B，令：
[0151] (5)
[0152] 其中，Bn，B12,B13,B21，B22,B23,B31，B32,B33是矩陣B的元素，f及相機(jī)在X軸上的焦 距，仁是相機(jī)在Y軸上的焦距，u。是相機(jī)在X軸上的主點(diǎn)坐標(biāo)，v。是相機(jī)在Y軸上的主點(diǎn)坐 標(biāo)；
[0153] 由于B是對稱的，定義一個(gè)6維向量
[0154] b" = [Bn，B12，B22，B13，B13，B33]T (6)
[0155] 將H的第i列定義為
[0156]
(7)
[0157]其中：Vif [h uh幾huhM+huhAh