一種無特征提取的緊致sfm三維重建方法
【專利摘要】本發(fā)明公開了一種無特征提取的緊致SFM三維重建方法，包括：輸入關(guān)于某場(chǎng)景的n幅圖像，n≥2；建立與某個(gè)相機(jī)坐標(biāo)系相一致的世界坐標(biāo)系；以三維場(chǎng)景的深度和相機(jī)投影矩陣作為變量，構(gòu)造類似光流估計(jì)的目標(biāo)函數(shù)，采用由粗到細(xì)的金字塔方法，設(shè)計(jì)迭代算法對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化，輸出表示場(chǎng)景三維信息的深度和代表相機(jī)相對(duì)位姿信息的相機(jī)投影矩陣；根據(jù)表示場(chǎng)景三維信息的深度，實(shí)現(xiàn)緊致的射影、相似或者歐幾里德重建。本發(fā)明能夠一步完成緊致SFM三維重建。由于通過一步優(yōu)化實(shí)現(xiàn)緊致三維信息的估計(jì)，以目標(biāo)函數(shù)值作為指標(biāo)，能夠得到最優(yōu)解，至少是局部最優(yōu)解，比現(xiàn)有方法有很大改進(jìn)，已初步得到實(shí)驗(yàn)驗(yàn)證。
【專利說明】一種無特征提取的緊致SFM三維重建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像三維重建領(lǐng)域，更具體地，涉及一種無特征提取的緊致SFM三維
重建方法。
【背景技術(shù)】
[0002]基于計(jì)算機(jī)視覺的三維重建是指利用數(shù)碼相機(jī)或者攝像機(jī)獲取圖像，構(gòu)建算法以估計(jì)所拍攝場(chǎng)景或者目標(biāo)的三維信息，實(shí)現(xiàn)表達(dá)三維客觀世界的目的，其應(yīng)用范圍包括機(jī)器人導(dǎo)航、汽車自動(dòng)或者輔助駕駛、虛擬現(xiàn)實(shí)、數(shù)字媒體創(chuàng)作、計(jì)算機(jī)動(dòng)畫、基于圖像的繪制(image-based rendering)和文化遺產(chǎn)的保存等。
[0003]基于運(yùn)動(dòng)的建模(Structure from Motion, SFM)是目前常用的一種三維重建方法，即從兩幅、多幅圖像或者視頻估計(jì)場(chǎng)景或者目標(biāo)的三維信息。已有實(shí)現(xiàn)SFM三維重建的技術(shù)手段有以下特點(diǎn):基于特 征點(diǎn)的、稀疏的和分兩步完成。已有SFM三維重建分兩步完成:首先從圖像檢測(cè)并匹配具有尺度或者仿射等不變性(invariance)的特征點(diǎn)，包括Harris 特征點(diǎn)、Kanade-Lukas-Tomasi (KLT)特征和 Lowe 尺度不變特征(scale invariantfeature transform, SIFT),然后估計(jì)所檢測(cè)特征量的三維信息和相機(jī)的姿態(tài)(包括位置和角度)。
[0004]已有的SFM三維重建算法分為兩步完成，不能真正達(dá)到最優(yōu)化效果。由于從圖像中檢測(cè)到特征點(diǎn)的二維坐標(biāo)有誤差，在其基礎(chǔ)上即使采用優(yōu)化算法重建其三維信息，也無法獲得全局意義上的優(yōu)化結(jié)果。由于特征點(diǎn)的匹配精度通常比較低，因此不可避免的造成低精度的三維重建。
[0005]三維重建效果是稀疏的(sparse);由于只對(duì)所提取特征點(diǎn)估計(jì)其三維信息，不能實(shí)現(xiàn)緊致的(dense)三維重建，即不能估計(jì)出所有像素點(diǎn)的三維信息。對(duì)于30萬(wàn)像素的480*640圖像，在保證一定正確匹配率的前提下，通常只能檢測(cè)到200~300個(gè)甚至更少的特征點(diǎn)，相對(duì)于30萬(wàn)像素的圖像來說，特征點(diǎn)是非常稀疏的，絕大部分像素都沒有直接估計(jì)其三維信息。雖然可以進(jìn)一步在特征點(diǎn)基礎(chǔ)上，利用估計(jì)出的極線約束(epipolarconstraint)等技術(shù)手段進(jìn)一步估計(jì)其它點(diǎn)的三維信息，實(shí)現(xiàn)緊致或者半緊致(quasidense)重建，但是由于所估計(jì)的特征點(diǎn)的三維信息和相機(jī)姿態(tài)存在一定的誤差，影響后續(xù)其它點(diǎn)的三維估計(jì)效果。

【發(fā)明內(nèi)容】

[0006]為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提出一種無特征提取的緊致SFM三維重建方法。采用該SFM三維重建方法，不需要特征點(diǎn)檢測(cè)及匹配，采用一步優(yōu)化即可實(shí)現(xiàn)緊致三維重建。
[0007]為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案為:
[0008]一種無特征提取的緊致SFM三維重建方法，包括以下步驟:
[0009]S1.輸入關(guān)于某場(chǎng)景的η幅圖像，η≥2 ;[0010]S2.建立與某個(gè)相機(jī)坐標(biāo)系相一致的世界坐標(biāo)系，設(shè)世界坐標(biāo)系與第一相機(jī)的坐標(biāo)系相一致，即世界坐標(biāo)系的原點(diǎn)、X軸和I軸與第一相機(jī)的相機(jī)中心、第一相機(jī)成像平面的X軸和I軸重合，其Z軸垂直指向第一相機(jī)的成像平面；
[0011]S3.以三維場(chǎng)景的深度和相機(jī)投影矩陣作為變量，所述三維場(chǎng)景的深度是指第I幅圖像像素點(diǎn)對(duì)應(yīng)的三維空間點(diǎn)具有的深度q;所述相機(jī)投影矩陣是指其它(η-l)幅圖像的3 X 4相機(jī)投影矩陣Pi, 2≤i≤η ;
[0012]S4.構(gòu)造類似光流估計(jì)的目標(biāo)函數(shù)，所述目標(biāo)函數(shù)是連續(xù)域上的變分目標(biāo)函數(shù)或其離散形式的目標(biāo)函數(shù)；
[0013]S5.采用由粗到細(xì)的金字塔方法，在連續(xù)域或者離散域上設(shè)計(jì)迭代算法對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化，輸出表示場(chǎng)景三維信息的深度和代表相機(jī)相對(duì)位姿信息的相機(jī)投影矩陣；
[0014]S6.根據(jù)表示場(chǎng)景三維信息的深度，實(shí)現(xiàn)緊致的射影、相似或者歐幾里德重建。
[0015]該方法能夠一步完成SFM三維重建，由于通過一步優(yōu)化實(shí)現(xiàn)三維信息的估計(jì)，以目標(biāo)函數(shù)值作為指標(biāo)，能夠得到最優(yōu)解，至少是局部最優(yōu)解，比已有方法有很大改進(jìn)，且已初步得到實(shí)驗(yàn)驗(yàn)證。
[0016]上述的相機(jī)是指某幅圖像對(duì)應(yīng)的相機(jī)，在本發(fā)明中，關(guān)于場(chǎng)景的第一幅圖像對(duì)應(yīng)的相機(jī)是第一相機(jī)，第一相機(jī)的坐標(biāo)系與世界坐標(biāo)系相一致；各幅圖像均對(duì)應(yīng)一個(gè)3X4相機(jī)投影矩陣。 [0017]在本發(fā)明中采用該類方式建立世界坐標(biāo)系是為了計(jì)算方便，在實(shí)際中，可以任意建立世界坐標(biāo)系，如果任意建立坐標(biāo)系，則待估計(jì)的參數(shù)包括η個(gè)相機(jī)投影矩陣，刻畫每個(gè)三維點(diǎn)需要三個(gè)坐標(biāo)參數(shù)。在本發(fā)明雖然沒有給出這種方案的技術(shù)細(xì)節(jié)，但是任意建立世界坐標(biāo)系的方案與上述建立世界坐標(biāo)系的方案基本原理一樣。
[0018]為了實(shí)現(xiàn)射影三維重建，則首先要進(jìn)行參數(shù)化設(shè)定，即在實(shí)現(xiàn)射影三維重建中，參數(shù)化具體為:在建立世界坐標(biāo)系的同時(shí)，其第一相機(jī)的相機(jī)投影矩陣為[I3 O] e R3’4，其中I3是一個(gè)3 X 3的單位陣，O是一個(gè)3 X I的零向量；其它相機(jī)投影矩陣Pi e R3’4，2≤i≤n，作為待估計(jì)的未知參數(shù)；場(chǎng)景的三維結(jié)構(gòu)由定義在第一副圖像上的三維場(chǎng)景的深度決定:假設(shè)與第一幅圖像像素(x，y)相對(duì)應(yīng)的三維空間點(diǎn)的三維場(chǎng)景的深度為qx,y，則該三維點(diǎn)的三維坐標(biāo)為
[0019](qx,yXx，qx，yXy, qx，y) (I)
[0020]在射影三維重建中，相機(jī)投影矩陣Pi和三維場(chǎng)景的深度qx，y作為待估計(jì)的未定參數(shù)，為了表達(dá)式的簡(jiǎn)練，在不造成誤解的情況下，省略下標(biāo)X，y。
[0021]實(shí)現(xiàn)連續(xù)域上射影三維重建的具體實(shí)現(xiàn)過程為:
[0022]構(gòu)造的連續(xù)域上的目標(biāo)函數(shù)具體為:
[0023]f (P2，...，Pn，Q) fdata+f smooth—uv+f smooth—depth ( 2 )
[0024]其中
【權(quán)利要求】
1.一種無特征提取的緊致SFM三維重建方法，其特征在于，包括以下步驟: S1.輸入關(guān)于某場(chǎng)景的η幅圖像，η≥2; S2.建立與某個(gè)相機(jī)坐標(biāo)系相一致的世界坐標(biāo)系，設(shè)世界坐標(biāo)系與第一相機(jī)的坐標(biāo)系相一致，即世界坐標(biāo)系的原點(diǎn)、X軸和y軸與第一相機(jī)的相機(jī)中心、第一相機(jī)成像平面的X軸和I軸重合，其z軸垂直指向第一相機(jī)的成像平面； S3.以三維場(chǎng)景的深度和相機(jī)投影矩陣作為變量，所述三維場(chǎng)景的深度是指第I幅圖像像素點(diǎn)對(duì)應(yīng)的三維空間點(diǎn)具有的深度q;所述相機(jī)投影矩陣是指其它(η-l)幅圖像的3 X 4相機(jī)投影矩陣Pi, 2≤i≤η ; S4.構(gòu)造類似光流估計(jì)的目標(biāo)函數(shù)，所述目標(biāo)函數(shù)是連續(xù)域上的變分目標(biāo)函數(shù)或其離散形式的目標(biāo)函數(shù)； S5.采用由粗到細(xì)的金字塔方法，在連續(xù)域或者離散域上設(shè)計(jì)迭代算法對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化，輸出表示場(chǎng)景三維信息的深度和代表相機(jī)相對(duì)位姿信息的相機(jī)投影矩陣； S6.根據(jù)表示場(chǎng)景三維信息的深度，實(shí)現(xiàn)緊致的射影、相似或者歐幾里德重建。
2.根據(jù)權(quán)利要求1所述的無特征提取的緊致SFM三維重建方法，其特征在于，在實(shí)現(xiàn)射影三維重建中，參數(shù)化具體為:在建立世界坐標(biāo)系的同時(shí)，其第一相機(jī)的相機(jī)投影矩陣為[I3 O] e R3’4，其中I3是一個(gè)3X3的單位陣，O是一個(gè)3X1的零向量；其它相機(jī)投影矩陣Pi e R3'4,2 ^ i ( n，作為待估計(jì)的未知參數(shù)；場(chǎng)景的三維結(jié)構(gòu)由定義在第一副圖像上的三維場(chǎng)景的深度決定:假設(shè)與第一幅圖像像素(x，y)相對(duì)應(yīng)的三維空間點(diǎn)的三維場(chǎng)景的深度為qx，y，則該三維點(diǎn)的三維坐標(biāo)為
(qx；yXx, qx；yXy, qx；y) (I) 在射影三維重建中，相機(jī)投影矩陣Pi和三維場(chǎng)景的深度qx，y作為待估計(jì)的未定參數(shù)，為了表達(dá)式的簡(jiǎn)練，在不造成誤解的情況下，省略下標(biāo)X，I。
3.根據(jù)權(quán)利要求2所述的無特征提取的緊致SFM三維重建方法，其特征在于，實(shí)現(xiàn)連續(xù)域上射影三維重建的具體實(shí)現(xiàn)過程為: 構(gòu)造的連續(xù)域上的目標(biāo)函數(shù)具體為:
4.根據(jù)權(quán)利要求3所述的無特征提取的緊致SFM三維重建方法，其特征在于，目標(biāo)函數(shù)(2)中的數(shù)據(jù)項(xiàng)和偏移平滑項(xiàng)能夠采用其它類似的變化形式:
5.根據(jù)權(quán)利要求2所述的無特征提取的緊致SFM三維重建方法，其特征在于，構(gòu)造離散形式的目標(biāo)函數(shù)具體為:
6.根據(jù)權(quán)利要求1所述的無特征提取的緊致SFM三維重建方法，其特征在于，由粗到細(xì)的金字塔方法步驟具體為:計(jì)算圖像的η層金字塔表示；在最粗圖像層，初始化η-l個(gè)相機(jī)投影矩陣為Pi= [I3 0]，2 Si Sn，所有點(diǎn)的三維場(chǎng)景的深度初始化為I;由粗到細(xì)依次估計(jì)相機(jī)投影矩陣和三維場(chǎng)景的深度，并且對(duì)相機(jī)投影矩陣和三維場(chǎng)景的深度分別修正和插值，以此作為下一精細(xì)圖像層迭代過程的初始值； 關(guān)于不同精度層之間三維場(chǎng)景的深度的插值，采用雙線性插值或雙三次插值方法實(shí)現(xiàn)；關(guān)于不同精度層之間相機(jī)投影矩陣的修正，設(shè)相鄰兩級(jí)精度的圖像在X和I方向的像素比為S1和s2，Sl，S2 < 1，在較低精度圖像層估計(jì)得到某個(gè)相機(jī)的相機(jī)投影矩陣為p(k+1)，其中上標(biāo)(k+Ι)代表圖像金字塔結(jié)構(gòu)的第k+Ι層，那么對(duì)應(yīng)第k層圖像的相機(jī)投影矩陣為
7.根據(jù)權(quán)利要求2或6所述的無特征提取的緊致SFM三維重建方法，其特征在于，實(shí)現(xiàn)相似三維重建或者歐幾里德三維重建的具體過程為: 參數(shù)化具體為:相機(jī)投影矩陣由相機(jī)內(nèi)部參數(shù)和相機(jī)外部參數(shù)描述: P = K[R t]



其中相機(jī)內(nèi)部參數(shù)αχ、ay、s、Pj^PPy包含在3X3矩陣
8.根據(jù)權(quán)利要求6所述的無特征提取的緊致SFM三維重建方法，其特征在于，所述無特征提取的緊致SFM三維重建方法還能夠推廣到大基線情形，具體步驟為:在射影幾何中，大基線情形是指相機(jī)之間的相對(duì)運(yùn)動(dòng)比較大，造成圖像之間有顯著的區(qū)別，在大基線情形中，具體來說，SFM三維重建分為三步: 第一步，從圖像提取特征并匹配，提取的特征為=Harris特征、SIFT特征或KLT特征； 第二步，在所提取特征的基礎(chǔ)上，估計(jì)特征點(diǎn)的三維信息和相機(jī)投影矩陣； 第三步，在前面兩步的基礎(chǔ)上，利用算法3實(shí)現(xiàn)緊致SFM三維重建； 其中，以第二步估計(jì)得到的相機(jī)投影矩陣作為第三步的相機(jī)投影矩陣初始值，對(duì)第二步估計(jì)得到的三維場(chǎng)景的深度進(jìn)行插值，作為第三步的三維場(chǎng)景的深度初始值。
【文檔編號(hào)】G06T17/00GK103914874SQ201410139234
【公開日】2014年7月9日 申請(qǐng)日期:2014年4月8日 優(yōu)先權(quán)日:2014年4月8日
【發(fā)明者】陳佩 申請(qǐng)人:中山大學(xué)