專利名稱：處理含有主平面場景的三維點云重建方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機(jī)視覺領(lǐng)域，尤其涉及由多視角二維圖像重建場景的三維點云模 型的方法。
背景技術(shù)：
對現(xiàn)實物體和場景建立真實、可靠的三維點云模型是很多三維系統(tǒng)的重要環(huán)節(jié)。 建立模型的質(zhì)量對3D技術(shù)在遺產(chǎn)保護(hù)、虛擬現(xiàn)實、電子游戲等諸多應(yīng)用的實際效果有著相 當(dāng)重要的作用。其中人們對基于普通光二維圖像的三維重建做了大量的研究，目前仍存在 許多有待改進(jìn)的地方。DEGENSAC (DEGENerate SAmple Consensus)能夠處理一般場景和含有主平面場景 的圖像對的對極幾何計算的問題，是RANSAC(RANdom SAmplecomsensus)的一種改進(jìn)算法。 該算法的基本思想是在隨機(jī)選取數(shù)對匹配點后，由它們計算得到圖像對之間的基本矩陣； 若該矩陣擁有到目前為止最多的支持點，則檢查隨機(jī)選取的匹配點中是否有一定數(shù)目的匹 配點滿足某一平面單應(yīng)關(guān)系；若不滿足直接進(jìn)入新一次的計算，否則由平面單應(yīng)和額外的 兩對匹配點可計算得到新的基本矩陣，計算該矩陣的支持點數(shù)目；算法根據(jù)選取準(zhǔn)確模型 的概率要求決定循環(huán)的次數(shù)，結(jié)束時選取擁有最多支持點的基本矩陣作為輸出結(jié)果。SIFT (Scale-Invariant Feature Transform)算法是一種對特征點進(jìn)行檢測及匹 配的方法，該算法在多尺度空間進(jìn)行特征檢測，確定特征點的位置和特征點所在的尺度；然 后使用一個高維向量作為特征描述符，描述特征點鄰域的梯度情況。由于該特征描述符不 隨圖像尺度和方向而變化，因此有較強(qiáng)的匹配能力，但因其需要在各個尺度上進(jìn)行技術(shù)，時 間復(fù)雜度相對較高。捆集調(diào)整(Bundle Adjustment)是在給定由不同視點拍攝得到場景圖像集的情況 下，按最小化重投影誤差的標(biāo)準(zhǔn)同時優(yōu)化場景幾何關(guān)系與相機(jī)參數(shù)的方法。它經(jīng)常作為基 于特征點的三維重建算法的最后優(yōu)化步驟。

發(fā)明內(nèi)容
本發(fā)明旨在至少解決上述技術(shù)問題之一。為此，本發(fā)明的一個目的在于提出一種處理含有主平面場景的三維點云重建方 法，通過該方法能夠解決現(xiàn)有三維點云重建方法的一些不足，從而實現(xiàn)了無場景依賴的三
維重建。本發(fā)明的一個方面提出了一種處理含有主平面場景的三維點云重建方法，包括以 下步驟用內(nèi)參數(shù)已知的相機(jī)獲取靜態(tài)場景的多視角圖像；檢測所述圖像的特征點，并對 任意兩幅圖像進(jìn)行特征點匹配以得到匹配點對，和由同一個場景點投影所得的匹配點序 列；對包括預(yù)定數(shù)目匹配點對的圖像對根據(jù)所述匹配點獲取所述圖像對間的基本矩陣，且 保存相應(yīng)的空間平面點集；由所述基本矩陣求得所述圖像對間的相對位置關(guān)系；根據(jù)所述 圖像對間的相對位置關(guān)系，在標(biāo)準(zhǔn)坐標(biāo)系中實現(xiàn)所述相機(jī)融合、三維點云重構(gòu)；和優(yōu)化所述
5三維點云重構(gòu)的結(jié)果。在本發(fā)明的一個實施例中，所述用內(nèi)參數(shù)已知的相機(jī)獲取靜態(tài)場景的多視角圖像 進(jìn)一步包括每次攝像前對相機(jī)進(jìn)行標(biāo)定或?qū)λ鱿鄼C(jī)標(biāo)定一次后保持所述相機(jī)內(nèi)參不變 以獲取相機(jī)內(nèi)參數(shù)；根據(jù)所述內(nèi)參數(shù)已知的相機(jī)以任意多個視角拍攝獲取含有一定重疊區(qū) 域的圖像集。在本發(fā)明的一個實施例中，所述檢測所述圖像的特征點，并對任意兩幅圖像進(jìn)行 特征點匹配以得到匹配點對和由同一個場景點投影所得的匹配點序列進(jìn)一步包括根據(jù)所 述圖像的顏色特征并用特征點選取算法以從所述圖像中選擇若干特征點；記錄所述特征點 在相應(yīng)圖像中的像素坐標(biāo)和以所述特征點為中心的局部區(qū)域的顏色特征；根據(jù)所述圖像的 每個特征點在剩余的每一張圖像中尋找匹配點以得到若干組匹配點對，其中，在匹配過程 中，根據(jù)局部區(qū)域的顏色特征把所述顏色特征最相近的特征點組成匹配點對。在本發(fā)明的一個實施例中，所述一組匹配點對為一個場景點在兩幅圖像上投影所 得到的相同特征點的集合，所述一個匹配點序列為一個場景點在多幅圖像上投影所得到的 每組匹配點對的集合。在本發(fā)明的一個實施例中，對包括預(yù)定數(shù)目匹配點對的圖像對根據(jù)所述匹配點獲 取所述圖像對間的基本矩陣，且保存相應(yīng)的空間平面點集進(jìn)一步包括步驟1、計算所述圖 像對的匹配點數(shù)目以確定是否滿足預(yù)定數(shù)目；步驟2、在滿足預(yù)定數(shù)目匹配點的圖像對中 隨機(jī)抽取一定數(shù)目的匹配點，并根據(jù)抽取的匹配點計算得到所述圖像對之間的基本矩陣和 支持點數(shù)；步驟3、判斷所述基本矩陣是否擁有最多的支持點數(shù)，如果擁有最多的支持點數(shù) 則標(biāo)記所述基本矩陣為最優(yōu)解，并判斷在抽取的匹配點中是否有多于預(yù)定數(shù)目的點滿足平 面單應(yīng)關(guān)系；步驟4、如果滿足所述平面單應(yīng)關(guān)系，則根據(jù)所述抽取的匹配點和額外不滿足 平面單應(yīng)的兩對匹配點求得新的基本矩陣，計算新基本矩陣的支持點數(shù)；如果所述新基本 矩陣有最多的支持點數(shù)，則更新標(biāo)記所述新基本矩陣為最優(yōu)解、記錄平面單應(yīng)點集，結(jié)束本 次計算且判斷是否滿足預(yù)定循環(huán)結(jié)束條件；步驟5、如果不滿足所述平面單應(yīng)關(guān)系，則直接 結(jié)束本次計算且判斷是否滿足預(yù)定循環(huán)結(jié)束條件。如果判斷不滿足預(yù)定循環(huán)結(jié)束條件，則 重復(fù)操作步驟2至步驟5直至滿足循環(huán)預(yù)定條件，當(dāng)滿足所述循環(huán)預(yù)定條件時輸出基本矩 陣，同時如果所述基本矩陣有平面單應(yīng)關(guān)系則保存平面單應(yīng)和滿足所述平面單應(yīng)的匹配點 集。在本發(fā)明的一個實施例中，對滿足所述平面單應(yīng)關(guān)系的匹配點還包括記錄所述單 應(yīng)的支持點數(shù)，且判決滿足平面單應(yīng)關(guān)系的匹配點的三維重構(gòu)在一個空間平面上。在本發(fā)明的一個實施例中，所述由所述基本矩陣F12求得所述圖像對間的相對位 置關(guān)系進(jìn)一步包括根據(jù)所述基本矩陣和標(biāo)定所得的內(nèi)參矩陣求得相機(jī)對間的本質(zhì)矩陣 En = Kr2FnKl ,其中KpK2為相機(jī)的內(nèi)參矩陣，且根據(jù)E12 = [t] XR分解得到所述相機(jī)對間的 相對旋轉(zhuǎn)矩陣和平移向量。在本發(fā)明的一個實施例中，根據(jù)所述圖像對間的相對位置關(guān)系在標(biāo)準(zhǔn)坐標(biāo)系中實 現(xiàn)所述相機(jī)融合、三維點云重構(gòu)進(jìn)一步包括適當(dāng)選取標(biāo)準(zhǔn)坐標(biāo)系，依照一定順序確定各圖 像在所述標(biāo)準(zhǔn)坐標(biāo)系中的位置以實現(xiàn)圖像逐一添加，并逐步實現(xiàn)三維空間點云的重構(gòu)，其 中，在重構(gòu)三維點云的過程中，平面點集的空間重構(gòu)點須在某個特定空間平面上。在本發(fā)明的一個實施例中，優(yōu)化所述三維點云的重構(gòu)結(jié)果為在添加完成所有圖像且重建三維點云后對重建模型應(yīng)用優(yōu)化算法以優(yōu)化，或在一幅或多幅圖像的添加過程中和 在空間點云重構(gòu)過程中運用優(yōu)化算法進(jìn)行優(yōu)化。在本發(fā)明的另一個方面還提出了一種處理含有主平面場景的三維點云重建系統(tǒng)， 包括相機(jī)，所述相機(jī)內(nèi)參已知，用于獲取靜態(tài)場景的多視角圖像；和三維重建裝置，所述 三維重建裝置用于檢測所述圖像的特征點，并對任意兩幅圖像進(jìn)行特征點匹配以得到匹配 點對，和由同一個場景點投影所得的匹配點序列；然后對包括預(yù)定數(shù)目匹配點對的圖像對， 根據(jù)所述匹配點獲取所述圖像對間的基本矩陣，且保存相應(yīng)的空間平面點集；之后由所述 基本矩陣求得所述圖像對間的相對位置關(guān)系；且根據(jù)所述圖像對間的相對位置關(guān)系，在標(biāo) 準(zhǔn)坐標(biāo)系中實現(xiàn)所述相機(jī)融合、三維點云重構(gòu)；最后對所述三維點云重構(gòu)的結(jié)果進(jìn)行優(yōu)化。 根據(jù)本發(fā)明實施例的處理含有主平面場景的三維點云重建方法，解決了現(xiàn)有三維點云重建 方法的一些不足，該方法實現(xiàn)了無場景依賴的三維重建，并且能夠由含有主平面的圖像集 重建三維點云模型。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變 得明顯和容易理解，其中圖1為本發(fā)明實施例的處理含有主平面場景的三維點云重建方法的整體流程圖； 以及圖2為本發(fā)明實施例的三維點云重建裝置的結(jié)構(gòu)圖。
具體實施例方式下面詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。下面參考附圖描述本發(fā)明實施例的處理含有主平面場景的三維點云重建方法。如圖1所示，為本發(fā)明實施例的處理含有主平面場景的三維點云重建方法的整體 流程圖，包括以下步驟步驟S101，用內(nèi)參數(shù)已知的相機(jī)獲取靜態(tài)場景的多視角圖像。作為本發(fā)明的一個 實施例中，用內(nèi)參數(shù)已知的相機(jī)獲取靜態(tài)場景的多視角圖像包括每次攝像前對相機(jī)進(jìn)行標(biāo)定或?qū)λ鱿鄼C(jī)標(biāo)定一次后保持所述相機(jī)內(nèi)參不變以 獲取相機(jī)內(nèi)參數(shù)；根據(jù)所述內(nèi)參數(shù)已知的相機(jī)以任意多個視角拍攝獲取含有一定重疊區(qū)域的圖像集。為了能夠更清楚的理解本發(fā)明提出的獲取靜態(tài)場景的多視角圖像方式，以下就具 體舉例方式進(jìn)行描述。在本發(fā)明的一個實施例中，首先標(biāo)定相機(jī)的內(nèi)參，進(jìn)而保持相機(jī)內(nèi)參不變，然后應(yīng) 用該相機(jī)從多個視角拍攝場景得到場景不同視角的圖像，把所有圖像保存在一個圖像集中。步驟S102，檢測所述圖像的特征點，并對任意兩幅圖像進(jìn)行特征點匹配以得到匹 配點對，和由同一個場景點投影所得的匹配點序列。作為本發(fā)明的一個實施例，獲取匹配點 對和由同一個場景點投影所得的匹配點序列包括根據(jù)所述圖像的顏色特征并用特征點選取算法以從所述圖像中選擇若干特征點。記錄所述特征點在相應(yīng)圖像中的像素坐標(biāo)和以所述特征點為中心的局部區(qū)域的 顏色特征；根據(jù)所述圖像的每個特征點在剩余的每一張圖像中尋找匹配點以得到若干組匹 配點對，其中，在匹配過程中，根據(jù)局部區(qū)域的顏色特征把所述顏色特征最相近的特征點組 成匹配點對。其中，在本發(fā)明的一個實施例中，所述一組匹配點對為一個場景點在兩幅圖像上 投影所得到的相同特征點的集合，所述一個匹配點序列為一個場景點在多幅圖像上投影所 得到的每組匹配點對的集合。具體地，為了能夠更清楚的理解獲取匹配點對的方式，以具體舉例描述，在本發(fā)明 的一個實施例中，應(yīng)用SIFT算法求得該圖像集中各個圖像的特征點和匹配點，具體地包 括運用SIFT算法處理各視角所得的二維圖像，得到圖像的特征點和特征描述符；根 據(jù)所得特征描述符，對各圖像對特征點匹配操作；根據(jù)圖像的特征點數(shù)目和圖像對的匹配 點數(shù)等確定圖像和圖像對是否進(jìn)入后續(xù)流程的算法計算處理。但是本領(lǐng)域的普通技術(shù)人員知道，所述特征點匹配算法并不局限于采用SIFT算 法，只要能夠有效的實現(xiàn)特征點的匹配的任何算法，或者對SIFT算法的多種變化算法都應(yīng) 該屬于本發(fā)明的保護(hù)范圍。步驟S103，對包括預(yù)定數(shù)目匹配點對的圖像對根據(jù)所述匹配點獲取所述圖像對間 的基本矩陣，且保存相應(yīng)的空間平面點集。在本發(fā)明的一個實施例中，獲取基本矩陣，且保 存可能存在的空間平面點集包括根據(jù)所述圖像的特征點數(shù)目和所述圖像對的匹配點數(shù)目以確定是否對所述圖像 對進(jìn)行處理；步驟1、在需要處理的圖像對中隨機(jī)抽取一定數(shù)目的匹配點，并根據(jù)抽取的匹配點 計算得到所述圖像對之間的基本矩陣和支持點數(shù)；步驟2、判斷所述基本矩陣是否擁有最多的支持點數(shù)，如果擁有最多的支持點數(shù)則 標(biāo)記所述基本矩陣為最優(yōu)解，并判斷在抽取的匹配點中是否有多于預(yù)定數(shù)目的點滿足平面 單應(yīng)關(guān)系；步驟3、如果滿足所述平面單應(yīng)關(guān)系，則根據(jù)所述抽取的匹配點和額外不滿足平面 單應(yīng)的兩對匹配點求得新的基本矩陣，計算新基本矩陣的支持點數(shù)；如果所述新基本矩陣 有最多的支持點數(shù)，則更新標(biāo)記所述新基本矩陣為最優(yōu)解、記錄平面單應(yīng)點集，結(jié)束本次計 算且判斷是否滿足預(yù)定循環(huán)結(jié)束條件；步驟4、如果不滿足所述平面單應(yīng)關(guān)系，則直接結(jié)束本次計算且判斷是否滿足預(yù)定 循環(huán)結(jié)束條件。
如果判斷不滿足預(yù)定循環(huán)結(jié)束條件，則重復(fù)操作步驟1至步驟4直至滿足循環(huán)預(yù) 定條件，當(dāng)滿足所述循環(huán)預(yù)定條件時輸出基本矩陣，同時如果所述基本矩陣有平面單應(yīng)關(guān) 系則保存平面單應(yīng)和滿足所述平面單應(yīng)的匹配點集。同時，對滿足所述平面單應(yīng)關(guān)系的匹配點還包括記錄所述單應(yīng)的支持點數(shù)，且判 決滿足平面單應(yīng)關(guān)系的匹配點的三維重構(gòu)在一個空間平面上。為了更清楚的理解步驟S103 的獲取基本矩陣，且保存可能存在的空間平面點集的方式，以下就本發(fā)明實施例的具體舉 例方式進(jìn)行描述。具體地，作為本發(fā)明的一個實施例中，采用DEGENSAC算法計算從步驟S102保留下 來的圖像對之間的對極幾何關(guān)系，在這里即指基本矩陣F12，同時保存可能得到的若干個平 面點集。步驟S104，由所述基本矩陣F12求得所述圖像對間的相對位置關(guān)系。在本發(fā)明的 一個實施例中，由所述基本矩陣F12求得所述圖像對間的相對位置關(guān)系包括根據(jù)所述基本矩陣和標(biāo)定所得的內(nèi)參矩陣求得相機(jī)對間的本質(zhì)矩陣 E12 = Kr2F12K1，其中K1I2為相機(jī)的內(nèi)參矩陣，且根據(jù)E12 = [t] XR分解得到所述相機(jī)對間的 相對旋轉(zhuǎn)矩陣和平移向量。更為具體地，作為本發(fā)明的一個優(yōu)選實施例的具體例子，包括由基本矩陣和標(biāo)定 所得的內(nèi)參矩陣求得圖像對間的本質(zhì)矩陣^2 =K2V12I1，其中Kp K2為相機(jī)的內(nèi)參矩陣；根 據(jù)E12= 解得到該對圖像間的相對旋轉(zhuǎn)矩陣和平移向量。其中，R、t代表空間點在 第一幅圖像坐標(biāo)系中的坐標(biāo)做R旋轉(zhuǎn)、t平移后得到空間點在第二幅圖像坐標(biāo)系中的坐標(biāo)。步驟S105，根據(jù)所述圖像對間的相對位置關(guān)系在標(biāo)準(zhǔn)坐標(biāo)系中實現(xiàn)所述相機(jī)融 合、三維點云重構(gòu)。作為本發(fā)明的一個實施例，實現(xiàn)三維點云重構(gòu)的方式為適當(dāng)選取標(biāo)準(zhǔn)坐 標(biāo)系，依照一定順序確定各圖像在所述標(biāo)準(zhǔn)坐標(biāo)系中的位置以實現(xiàn)圖像逐一添加，并逐步 實現(xiàn)三維空間點云的重構(gòu)，其中，在重構(gòu)三維點云的過程中，應(yīng)用平面點集的空間重構(gòu)點須 滿足在特定空間平面上。以下就具體舉例的方式描述本發(fā)明實施例中步驟S105提出的三維點云重構(gòu)的方 法。選擇含有最多匹配點的圖像作為基礎(chǔ)圖像，以該圖像的坐標(biāo)系為標(biāo)準(zhǔn)坐標(biāo)系；選擇與 基礎(chǔ)圖像有最多匹配點的圖像，設(shè)其與基礎(chǔ)圖像有N個匹配點；將與基礎(chǔ)圖像有一定匹配 點數(shù)(如0.9N個)以上的圖像一起加入標(biāo)準(zhǔn)坐標(biāo)系，并應(yīng)用三角化方法重構(gòu)得到三維空間 點。重構(gòu)空間點時，根據(jù)步驟S103得到的平面點集約束，即平面點集中匹配點的重構(gòu)點應(yīng) 該在同一個空間平面上。具體來說，首先重構(gòu)平面點集中所有匹配點的三維點云；然后根據(jù) 距離最小化原理，由這個點云中的點計算得到一個空間平面，保證該點云中的點到空間平 面的總距離最小；最后以該三維點云中的點在此平面上的投影作為平面點集中匹配點的三 維重構(gòu)。類似以上添加圖像的方法，加入與已重構(gòu)空間點有最多匹配點的數(shù)張圖像，并更 新空間點。該算法直到?jīng)]新的圖像需要加入時停止。其中，加入圖像在標(biāo)準(zhǔn)坐標(biāo)系中的旋轉(zhuǎn)矩陣和平移向量按以下方法求得。旋轉(zhuǎn)矩 陣根據(jù)旋轉(zhuǎn)矩陣的傳遞性求得，即在已知第j個相機(jī)在標(biāo)準(zhǔn)坐標(biāo)系下的旋轉(zhuǎn)矩陣民和i到 j的相對旋轉(zhuǎn)矩陣Ru的情況下，由下式求得相機(jī)i在標(biāo)準(zhǔn)坐標(biāo)系下的旋轉(zhuǎn)矩陣Ri,Rj = RijRi, Ri 為正交矩陣
9
當(dāng)某一圖像在標(biāo)準(zhǔn)坐標(biāo)系中的旋轉(zhuǎn)與平移由多個圖像對求得且所得結(jié)果不一致 時，按以下方式選取以該圖像與各圖像的匹配點數(shù)為權(quán)值，對多解做加權(quán)平均來確定。具 體方法簡述如下設(shè)R」、tj為待求的第j幅圖像在標(biāo)準(zhǔn)坐標(biāo)系中的位置關(guān)系，代、(分別 為由第i幅圖像求得的圖像j的旋轉(zhuǎn)平移關(guān)系，^為圖像i與圖像j之間的匹配點數(shù)，i = 1，...，k，則有 步驟S106，優(yōu)化所述三維點云重構(gòu)的結(jié)果。在本發(fā)明的一個實施例中，運用捆集調(diào) 整對重構(gòu)的三維點云進(jìn)行整體優(yōu)化。本發(fā)明的另一方面提出一種處理含有主平面場景的三維點云重建系統(tǒng)，該系統(tǒng)包 括相機(jī)和三維點云重建裝置，其中所述相機(jī)內(nèi)參已知，用于獲取靜態(tài)場景的多視角圖像。本發(fā)明實施例提出的三維點云重建裝置如圖2所示，為本發(fā)明實施例的三維點云 重建裝置的結(jié)構(gòu)圖。該三維點云重建裝置100包括圖像匹配模塊110，圖像對極幾何計算模 塊120，圖像位置關(guān)系計算模塊130，三維點云重構(gòu)模塊140和圖像優(yōu)化模塊150。其中，圖 像匹配模塊110，用于檢測所述圖像的特征點，并對任意兩幅圖像進(jìn)行特征點匹配以得到匹 配點對，和由同一個場景點投影所得的匹配點序列，圖像對極幾何計算模塊120，用于對包 括預(yù)定數(shù)目匹配點對的圖像對，根據(jù)所述匹配點獲取所述圖像對間的基本矩陣，且保存相 應(yīng)的空間平面點集，圖像位置關(guān)系計算模塊130，用于由所述基本矩陣求得所述圖像對間的 相對位置關(guān)系，三維點云重構(gòu)模塊140，用于根據(jù)所述圖像對間的相對位置關(guān)系，在標(biāo)準(zhǔn)坐 標(biāo)系中實現(xiàn)所述相機(jī)融合、三維點云重構(gòu)，和圖像優(yōu)化模塊150，用于優(yōu)化所述三維點云重 構(gòu)的結(jié)果。通過本發(fā)明實施例的處理含有主平面場景的三維點云重建方法，解決了現(xiàn)有三維 點云重建方法的一些不足，該方法實現(xiàn)了無場景依賴的三維重建，并且能夠由含有主平面 的圖像集重建三維點云模型。盡管已經(jīng)示出和描述了本發(fā)明的實施例，對于本領(lǐng)域的普通技術(shù)人員而言，可以 理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實施例進(jìn)行多種變化、修改、替換 和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
權(quán)利要求
一種處理含有主平面場景的三維點云重建方法，其特征在于，包括以下步驟用內(nèi)參數(shù)已知的相機(jī)獲取靜態(tài)場景的多視角圖像；檢測所述圖像的特征點，并對任意兩幅圖像進(jìn)行特征點匹配以得到匹配點對，和由同一個場景點投影所得的匹配點序列；對包括預(yù)定數(shù)目匹配點對的圖像對，根據(jù)所述匹配點獲取所述圖像對間的基本矩陣，且保存相應(yīng)的空間平面點集；由所述基本矩陣求得所述圖像對間的相對位置關(guān)系；根據(jù)所述圖像對間的相對位置關(guān)系，在標(biāo)準(zhǔn)坐標(biāo)系中實現(xiàn)所述相機(jī)融合、三維點云重構(gòu)；和優(yōu)化所述三維點云重構(gòu)的結(jié)果。
2.如權(quán)利要求1所述的處理含有主平面場景的三維點云重建方法，其特征在于，所述 用內(nèi)參數(shù)已知的相機(jī)獲取靜態(tài)場景的多視角圖像進(jìn)一步包括每次攝像前對相機(jī)進(jìn)行標(biāo)定或?qū)λ鱿鄼C(jī)標(biāo)定一次后保持所述相機(jī)內(nèi)參不變以獲取 相機(jī)內(nèi)參數(shù)；根據(jù)所述內(nèi)參數(shù)已知的相機(jī)以任意多個視角拍攝獲取含有一定重疊區(qū)域的圖像集。
3.如權(quán)利要求1所述的處理含有主平面場景的三維點云重建方法，其特征在于，所述 檢測所述圖像的特征點，并對任意兩幅圖像進(jìn)行特征點匹配以得到匹配點對和由同一個場 景點投影所得的匹配點序列進(jìn)一步包括根據(jù)所述圖像的顏色特征并用特征點選取算法以從所述圖像中選擇若干特征點；記錄所述特征點在相應(yīng)圖像中的像素坐標(biāo)和以所述特征點為中心的局部區(qū)域的顏色 特征；根據(jù)所述圖像的每個特征點在剩余的每一張圖像中尋找匹配點以得到若干組匹配點 對，其中，在匹配過程中，根據(jù)局部區(qū)域的顏色特征把所述顏色特征最相近的特征點組成匹 配點對。
4.如權(quán)利要求3所述的處理含有主平面場景的三維點云重建方法，其特征在于，所述 一組匹配點對為一個場景點在兩幅圖像上投影所得到的相同特征點的集合，所述一個匹配 點序列為一個場景點在多幅圖像上投影所得到的每組匹配點對的集合。
5.如權(quán)利要求4所述的處理含有主平面場景的三維點云重建方法，其特征在于，對包 括預(yù)定數(shù)目匹配點對的圖像對根據(jù)所述匹配點獲取所述圖像對間的基本矩陣，且保存相應(yīng) 的空間平面點集進(jìn)一步包括步驟1、計算所述圖像對的匹配點數(shù)目以確定是否滿足預(yù)定數(shù)目；步驟2、在滿足預(yù)定數(shù)目匹配點的圖像對中隨機(jī)抽取一定數(shù)目的匹配點，并根據(jù)抽取的 匹配點計算得到所述圖像對之間的基本矩陣和支持點數(shù)；步驟3、判斷所述基本矩陣是否擁有最多的支持點數(shù)，如果擁有最多的支持點數(shù)則標(biāo)記 所述基本矩陣為最優(yōu)解，并判斷在抽取的匹配點中是否有多于預(yù)定數(shù)目的點滿足平面單應(yīng) 關(guān)系；步驟4、如果滿足所述平面單應(yīng)關(guān)系，則根據(jù)所述抽取的匹配點和額外不滿足平面單應(yīng) 的兩對匹配點求得新的基本矩陣，計算新基本矩陣的支持點數(shù)；如果所述新基本矩陣有最 多的支持點數(shù)，則更新標(biāo)記所述新基本矩陣為最優(yōu)解、記錄平面單應(yīng)點集，結(jié)束本次計算且判斷是否滿足預(yù)定循環(huán)結(jié)束條件；步驟5、如果不滿足所述平面單應(yīng)關(guān)系，則直接結(jié)束本次計算且判斷是否滿足預(yù)定循環(huán) 結(jié)束條件。如果判斷不滿足預(yù)定循環(huán)結(jié)束條件，則重復(fù)操作步驟2至步驟5直至滿足循環(huán)預(yù)定條 件，當(dāng)滿足所述循環(huán)預(yù)定條件時輸出基本矩陣，同時如果所述基本矩陣有平面單應(yīng)關(guān)系則 保存平面單應(yīng)和滿足所述平面單應(yīng)的匹配點集。
6.如權(quán)利要求5述的處理含有主平面場景的三維點云重建方法，其特征在于，對滿足 所述平面單應(yīng)關(guān)系的匹配點還包括記錄所述單應(yīng)的支持點數(shù)，且判決滿足平面單應(yīng)關(guān)系的 匹配點的三維重構(gòu)在一個空間平面上。
7.如權(quán)利要求5所述的處理含有主平面場景的三維點云重建方法，其特征在于，所述 由基本矩陣F12求得所述圖像對間的相對位置關(guān)系進(jìn)一步包括根據(jù)所述基本矩陣和標(biāo)定所得的內(nèi)參矩陣求得相機(jī)對間的本質(zhì)矩陣盡2 =K27^12K1，其 中K1I2為相機(jī)的內(nèi)參矩陣，且根據(jù)E12 = [t]xR分解得到所述相機(jī)對間的相對旋轉(zhuǎn)矩陣和 平移向量。
8.如權(quán)利要求7所述的處理含有主平面場景的三維點云重建方法，其特征在于，根據(jù) 所述圖像對間的相對位置關(guān)系在標(biāo)準(zhǔn)坐標(biāo)系中實現(xiàn)所述相機(jī)融合、三維點云重構(gòu)進(jìn)一步包 括適當(dāng)選取標(biāo)準(zhǔn)坐標(biāo)系，依照一定順序確定各圖像在所述標(biāo)準(zhǔn)坐標(biāo)系中的位置以實現(xiàn)圖 像逐一添加，并逐步實現(xiàn)三維空間點云的重構(gòu)，其中，在重構(gòu)三維點云的過程中，平面點集 的空間重構(gòu)點須在某個特定空間平面上。
9.如權(quán)利要求8所述的處理含有主平面場景的三維點云重建方法，其特征在于，優(yōu)化 所述三維點云的重構(gòu)結(jié)果為在添加完成所有圖像且重建三維點云后對重建模型應(yīng)用優(yōu)化 算法以優(yōu)化，或在一幅或多幅圖像的添加過程中和在空間點云重構(gòu)過程中運用優(yōu)化算法進(jìn) 行優(yōu)化。
10.一種處理含有主平面場景的三維點云重建系統(tǒng)，其特征在于，包括相機(jī)，所述相機(jī)內(nèi)參已知，用于獲取靜態(tài)場景的多視角圖像；和三維重建裝置，所述三維重建裝置用于檢測所述圖像的特征點，并對任意兩幅圖像進(jìn) 行特征點匹配以得到匹配點對，和由同一個場景點投影所得的匹配點序列；然后對包括預(yù) 定數(shù)目匹配點對的圖像對，根據(jù)所述匹配點獲取所述圖像對間的基本矩陣，且保存相應(yīng)的 空間平面點集；之后由所述基本矩陣求得所述圖像對間的相對位置關(guān)系；且根據(jù)所述圖像 對間的相對位置關(guān)系，在標(biāo)準(zhǔn)坐標(biāo)系中實現(xiàn)所述相機(jī)融合、三維點云重構(gòu)；最后對所述三維 點云重構(gòu)的結(jié)果進(jìn)行優(yōu)化。
11.如權(quán)利要求10所述的處理含有主平面場景的三維點云重建系統(tǒng)，其特征在于，所 述三維重建裝置進(jìn)一步包括圖像匹配模塊，用于檢測所述圖像的特征點，并對任意兩幅圖像進(jìn)行特征點匹配以得 到匹配點對，和由同一個場景點投影所得的匹配點序列；圖像對極幾何計算模塊，用于對包括預(yù)定數(shù)目匹配點對的圖像對，根據(jù)所述匹配點獲 取所述圖像對間的基本矩陣，且保存相應(yīng)的空間平面點集；圖像位置關(guān)系計算模塊，用于根據(jù)所述基本矩陣求得所述圖像對間的相對位置關(guān)系；三維點云重構(gòu)模塊，用于根據(jù)所述圖像對間的相對位置關(guān)系，在標(biāo)準(zhǔn)坐標(biāo)系中實現(xiàn)所 述相機(jī)融合、三維點云重構(gòu)；和圖像優(yōu)化模塊，用于對所述三維點云重構(gòu)的結(jié)果進(jìn)行優(yōu)化。
全文摘要
本發(fā)明提出了一種處理含有主平面場景的三維點云重建方法和系統(tǒng)，該方法包括以下步驟用內(nèi)參已知的相機(jī)獲取靜態(tài)場景的多視角圖像；檢測所述圖像的特征點，并對任意兩幅圖像進(jìn)行特征點匹配以得到匹配點對，和由同一個場景點投影所得的匹配點序列；對包括預(yù)定數(shù)目匹配點對的圖像對根據(jù)所述匹配點獲取所述圖像對間的基本矩陣，且保存相應(yīng)的空間平面點集；由所述基本矩陣求得所述圖像對間的相對位置關(guān)系；根據(jù)所述圖像對間的相對位置關(guān)系，在標(biāo)準(zhǔn)坐標(biāo)系中實現(xiàn)所述相機(jī)融合、三維點云重構(gòu)；和優(yōu)化所述三維點云重構(gòu)結(jié)果。通過本發(fā)明的處理含有主平面場景的三維點云重建方法，解決了現(xiàn)有三維點云重建方法的一些不足，實現(xiàn)了無場景依賴的三維重建。
文檔編號G06T17/00GK101908231SQ20101023961
公開日2010年12月8日 申請日期2010年7月27日 優(yōu)先權(quán)日2010年7月27日
發(fā)明者戴瓊海, 陳德情 申請人:清華大學(xué)