一種基于單個(gè)相機(jī)的三維數(shù)字化重建方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種基于單個(gè)相機(jī)的三維數(shù)字化重建方法及系統(tǒng)，客戶端獲取一組二維圖片發(fā)送給云端服務(wù)器；云端服務(wù)器采集二維圖片的RGB三通道數(shù)據(jù)，并轉(zhuǎn)換為UVW三通道數(shù)據(jù)；在UVW三通道顏色空間進(jìn)行圖像特征點(diǎn)的選取及匹配；在未知相機(jī)內(nèi)參的情況下，根據(jù)三角對(duì)應(yīng)關(guān)系，進(jìn)行相機(jī)位置定標(biāo)，得到相機(jī)位置的旋轉(zhuǎn)矩陣R和平移向量t；根據(jù)圖像特征點(diǎn)的匹配以及相機(jī)位置旋轉(zhuǎn)矩陣R和平移向量t進(jìn)行物體的三維重建；利用三維物體區(qū)域分析方法在物體表面上自動(dòng)生成顏色貼圖；本發(fā)明可實(shí)現(xiàn)在未知相機(jī)內(nèi)參的情況下，進(jìn)行相機(jī)位置定位，提高了數(shù)據(jù)采集的靈活性，在UVW三通道顏色空間對(duì)圖像數(shù)據(jù)進(jìn)行處理，大大降低了數(shù)據(jù)損失，提高計(jì)算結(jié)果的穩(wěn)定性。
【專利說明】一種基于單個(gè)相機(jī)的三維數(shù)字化重建方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及三維【技術(shù)領(lǐng)域】，尤其涉及一種基于單個(gè)相機(jī)的三維數(shù)字化重建方法及 系統(tǒng)。

【背景技術(shù)】
[0002] 物理世界的三維數(shù)字化建模技術(shù)在很多領(lǐng)域都有廣泛的應(yīng)用，例如三維地圖，數(shù) 字化電影，數(shù)字博物館，電子商務(wù)，3D打印等。我們正面臨著一個(gè)從二維圖像到三維大數(shù)據(jù) 的歷史時(shí)代。但是如何高效精確的從二維數(shù)碼相片中恢復(fù)三維立體信息，是至關(guān)重要的技 術(shù)問題。基于圖像的三維重建是根據(jù)這些幅圖片來恢復(fù)物體和場景的三維模型的方法。該 方法是一個(gè)交叉領(lǐng)域，涉及到計(jì)算機(jī)圖像處理、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺以及模式識(shí)別等 諸多學(xué)科。
[0003] 與傳統(tǒng)的利用建模軟件或者三維掃描儀得到立體模型的方法相比，基于圖像三維 重建的方法成本低廉，真實(shí)感強(qiáng)，自動(dòng)化程度高。此外，從理論上說基于圖像三維重建實(shí)際 上是計(jì)算機(jī)圖形學(xué)的逆問題。如何根據(jù)受干擾或者不完整的二維信息來恢復(fù)三維信息是這 項(xiàng)技術(shù)的一大難點(diǎn)，也是計(jì)算機(jī)視覺的一大難點(diǎn)。從圖像序列獲得物體的三維模型，利用機(jī) 器視覺的研究成果來快速實(shí)現(xiàn)圖像序列的景物的重建，長期以來一直是計(jì)算機(jī)視覺領(lǐng)域中 的重要研究課題。
[0004] 一般說來，從圖像序列獲取物體三維模型的方法可以依據(jù)是否己知攝像機(jī)的內(nèi)參 來劃分為兩大類。
[0005] ( -）、在已知攝像機(jī)內(nèi)參的情況下，稱為從運(yùn)動(dòng)恢復(fù)（校準(zhǔn)的）結(jié)構(gòu)。早期的方 法主要集中在對(duì)兩幅圖像的研究上，通過找出兩幅圖像中一系列對(duì)應(yīng)點(diǎn)對(duì)，進(jìn)而得到物體 的三維模型。后來人們把精力漸漸轉(zhuǎn)移到復(fù)雜的長序列圖像的研究上，因?yàn)槔瞄L序列圖 像信息的冗余性（redundancy)，可以獲得更加精確的三維模型。這些方法較有代表性的是 Tomasi和Kanade提出的在仿射攝像機(jī)模型下利用因數(shù)分解來提取三維外形的方法。其優(yōu) 點(diǎn)是能夠精確地獲得歐氏幾何意義下的三維模型，局限性是需要已知攝像機(jī)的內(nèi)參數(shù)，即 事先需要對(duì)攝像機(jī)進(jìn)行校準(zhǔn)，這在許多應(yīng)用中都非常不方便。
[0006] (二）、在實(shí)際應(yīng)用中，攝像機(jī)的內(nèi)參常常是未知的。這就要求在未知攝像機(jī)內(nèi)參 的情況下獲取物體三維模型，稱作從運(yùn)動(dòng)恢復(fù)未校準(zhǔn)的結(jié)構(gòu)。它是一個(gè)比較困難的問題，至 今為止還沒有比較好的方法能夠得到滿意的結(jié)果。主要因?yàn)閯傞_始所能獲得的信息非常有 限，景物的幾何結(jié)構(gòu)以及攝像機(jī)的位置信息都是未知。唯一所能得到的信息是一些常用的 假設(shè)如：景物是剛性的；物體表面的灰度變換是連續(xù)的；攝像機(jī)的模型是針孔模型等。
[0007] 現(xiàn)有技術(shù)方案存在以下缺點(diǎn)：
[0008] (1)需要用校正板校對(duì)相機(jī)內(nèi)部參數(shù)：現(xiàn)有的技術(shù)產(chǎn)品，需要使用提前準(zhǔn)備好的 黑白相間的校正板來校對(duì)相機(jī)的內(nèi)部參數(shù)（包括相機(jī)的焦距，光學(xué)中心位置，成像偏移 等）。相機(jī)內(nèi)參校對(duì)完成后，在采集數(shù)據(jù)（拍照）的過程中不能改變相機(jī)的內(nèi)部參數(shù)，特別 是相機(jī)的焦距不能改變，制約了拍照的過程，這在許多應(yīng)用中都非常不方便；
[0009] (2)受環(huán)境因素影響：現(xiàn)有的技術(shù)產(chǎn)品受諸多環(huán)境因素影響，場景中的諸多因素， 包括照明和光源情況、場景中物體的幾何形狀和物理性質(zhì)（特別是表面的反射性質(zhì)）、攝像 機(jī)的特性、光源與物體和攝像機(jī)之間的空間關(guān)系等，任何因素的變化都將影響圖像的變化， 從而使三維數(shù)字化重建的結(jié)果很不穩(wěn)定。
[0010] (3)現(xiàn)有技術(shù)中圖像特征點(diǎn)的選取及特征點(diǎn)匹配算法都是基于但通道灰度圖像 的，即使采集的數(shù)據(jù)是三通道RGB顏色圖像，也要將三通道RGB模型編程單通道灰度Gray 模型，因?yàn)閱瓮ǖ滥Ｐ兔恳粋€(gè)像素點(diǎn)只有一個(gè)從0到255之間的數(shù)值代表其灰度，數(shù)據(jù)簡 單，方便計(jì)算，但其缺點(diǎn)也是顯而易見的，即有用的數(shù)據(jù)大量損失，使得計(jì)算的結(jié)果不好，而 且不穩(wěn)定。


【發(fā)明內(nèi)容】

[0011] 本發(fā)明所要解決的技術(shù)問題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于單個(gè)相機(jī)的三 維數(shù)字化重建方法及系統(tǒng)。
[0012] 本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：一種基于單個(gè)相機(jī)的三維數(shù)字化重建 方法，包括如下步驟：
[0013] 步驟1 :客戶端獲取被重建物體的一組二維圖片，并發(fā)送給云端服務(wù)器；
[0014] 步驟2 :云端服務(wù)器采集二維圖片的RGB三通道顏色圖像數(shù)據(jù)，并轉(zhuǎn)換為UVW三通 道顏色圖像數(shù)據(jù)；
[0015] 步驟3 :在UVW三通道顏色空間進(jìn)行圖像特征點(diǎn)的選取及匹配；
[0016] 步驟4:在未知相機(jī)內(nèi)參的情況下，根據(jù)三角對(duì)應(yīng)關(guān)系，進(jìn)行相機(jī)位置定標(biāo)，得到 相機(jī)位置的旋轉(zhuǎn)矩陣R和平移向量t ;
[0017] 步驟5 :根據(jù)圖像特征點(diǎn)的匹配以及相機(jī)位置旋轉(zhuǎn)矩陣R和平移向量t進(jìn)行物體 的三維重建；
[0018] 步驟6 :利用三維物體區(qū)域分析方法在物體表面上自動(dòng)生成顏色貼圖。
[0019] 本發(fā)明的有益效果是：本發(fā)明可實(shí)現(xiàn)在未知相機(jī)內(nèi)參的情況下，進(jìn)行相機(jī)位置定 位，無需每次校驗(yàn)相機(jī)內(nèi)參后再采集數(shù)據(jù)，提高了數(shù)據(jù)采集的靈活性；且在UVW三通道顏色 空間對(duì)圖像數(shù)據(jù)進(jìn)行處理，大大降低了數(shù)據(jù)損失，提高計(jì)算結(jié)果的穩(wěn)定性。
[0020] 在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。
[0021] 進(jìn)一步，步驟2中將三通道RGB顏色圖像數(shù)據(jù)轉(zhuǎn)換為三通道UVW顏色圖像數(shù)據(jù)的 具體實(shí)現(xiàn)為：
[0022] 步驟2. 1 :將非線性的RGB三通道顏色模型轉(zhuǎn)換為相對(duì)線性的XYZ三通道顏色模 型，轉(zhuǎn)換公式如下，
[0023]

【權(quán)利要求】
1. 一種基于單個(gè)相機(jī)的三維數(shù)字化重建方法，其特征在于，包括如下步驟： 步驟1 :客戶端獲取被重建物體的一組二維圖片，并發(fā)送給云端服務(wù)器； 步驟2 :云端服務(wù)器采集二維圖片的RGB三通道顏色圖像數(shù)據(jù)，并轉(zhuǎn)換為UVW三通道顏 色圖像數(shù)據(jù)； 步驟3 :在UVW三通道顏色空間進(jìn)行圖像特征點(diǎn)的選取及匹配； 步驟4 :在未知相機(jī)內(nèi)參的情況下，根據(jù)三角對(duì)應(yīng)關(guān)系，進(jìn)行相機(jī)位置定標(biāo)，得到相機(jī) 位置的旋轉(zhuǎn)矩陣R和平移向量t; 步驟5 :根據(jù)圖像特征點(diǎn)的匹配以及相機(jī)位置旋轉(zhuǎn)矩陣R和平移向量t進(jìn)行物體的三 維重建； 步驟6 :利用三維物體區(qū)域分析方法在物體表面上自動(dòng)生成顏色貼圖。
2. 根據(jù)權(quán)利要求1所述一種基于單個(gè)相機(jī)的三維數(shù)字化重建方法，其特征在于，步驟2 中將三通道RGB顏色圖像數(shù)據(jù)轉(zhuǎn)換為三通道UVW顏色圖像數(shù)據(jù)的具體實(shí)現(xiàn)為： 步驟2. 1 :將非線性的RGB三通道顏色模型轉(zhuǎn)換為相對(duì)線性的XYZ三通道顏色模型，轉(zhuǎn) 換公式如下，
其中，顏色空間的伽瑪校正系數(shù)Y= 2.O; 步驟2. 2 :將相對(duì)線性的XYZ三通道顏色模型轉(zhuǎn)換為有空間三維幾何意義的UVW三通 道顏色模型，轉(zhuǎn)換公式為
其中，F(xiàn)是從XYZ三通道顏色空間到UVW三通道顏色空間的函數(shù)，：代表像素點(diǎn)的XYZ三通道顏色空間值，A、B為常數(shù)矩陣，
3. 根據(jù)權(quán)利要求1所述一種基于單個(gè)相機(jī)的三維數(shù)字化重建方法，其特征在于，步驟3 中在UVW三通道顏色模型中進(jìn)行特征點(diǎn)的選取和特征點(diǎn)的匹配的具體實(shí)現(xiàn)為： 步驟3. 1 :重定義UVW三通道顏色模型中鄰域梯度，X、Y方向上的梯度分別為各自方向 上的向量相減，分別得到Gx和Gy，Θ為Gx和Gy的夾角； 步驟3. 2 :每個(gè)特征點(diǎn)由一個(gè)三角形代表，當(dāng)兩個(gè)三角形相同或相似，代表兩個(gè)特征點(diǎn) 相同或相似。
4. 根據(jù)權(quán)利要求1所述一種基于單個(gè)相機(jī)的三維數(shù)字化重建方法，其特征在于，步驟4 中在未知相機(jī)內(nèi)參的情況下，根據(jù)三角對(duì)應(yīng)關(guān)系，進(jìn)行相機(jī)位置定標(biāo)的具體實(shí)現(xiàn)為：一個(gè)相 機(jī)在兩個(gè)不同位置以不同內(nèi)參狀態(tài)拍照，相當(dāng)于兩個(gè)攝像機(jī)，第一攝像機(jī)和第二攝像機(jī)； 步驟4. 1 :利用基本矩陣關(guān)系式，根據(jù)對(duì)應(yīng)點(diǎn)的坐標(biāo)m和m'，計(jì)算基本矩陣F，其中基本 矩陣關(guān)系式為m'1Fm=O 其中，F(xiàn)為基本矩陣，m及m'分別為三維目標(biāo)點(diǎn)M在兩個(gè)相機(jī)位置的投影點(diǎn)； 步驟4. 2 :設(shè)第一攝像機(jī)坐標(biāo)系與世界坐標(biāo)系相同，R和t分別為第二攝像機(jī)坐標(biāo)系相 對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量，基本矩陣F的另外表示形式如下式 F=K' ^ttjxRr1 其中，K為第一攝像機(jī)的內(nèi)參，Γ為第二攝像機(jī)相機(jī)的內(nèi)參，均未未知量，[t]x為t的 反對(duì)稱矩陣，
步驟4. 3 :根據(jù)步驟4. 2中的基本矩陣F的關(guān)系式，計(jì)算旋轉(zhuǎn)矩陣R和平移向量t。
5. 根據(jù)權(quán)利要求1所述一種基于單個(gè)相機(jī)的三維數(shù)字化重建方法，其特征在于，步驟5 根據(jù)圖像特征點(diǎn)的匹配以及相機(jī)位置旋轉(zhuǎn)矩陣R和平移向量t進(jìn)行物體的三維重建的具體 實(shí)現(xiàn)為： 步驟5. 1 :根據(jù)圖像特征點(diǎn)的匹配和相機(jī)位置定標(biāo)重建得到構(gòu)成的物體骨架的稀疏三 維點(diǎn)云； 步驟5. 2 :對(duì)稀疏三維點(diǎn)云進(jìn)行擴(kuò)展得到能將物體表面全部覆蓋的但含有錯(cuò)誤表面的 稠密三維點(diǎn)云； 步驟5. 3 :根據(jù)灰度一致性及可見性對(duì)獲得的物體表面進(jìn)行過濾； 步驟5. 4 :重復(fù)步驟5. 2和5. 3達(dá)到預(yù)定次數(shù)，得到無錯(cuò)誤表面的表示物體表面的稠密 三維點(diǎn)云； 步驟5. 5 :在物體稠密三維點(diǎn)云的基礎(chǔ)上，進(jìn)行物體面重建。
6. 根據(jù)權(quán)利要求1所述一種基于單個(gè)相機(jī)的三維數(shù)字化重建方法，其特征在于，所述 步驟6的具體實(shí)現(xiàn)為： 步驟6. 1 :將步驟5中經(jīng)過面重建獲得的三維物體進(jìn)行區(qū)域劃分，找到顏色相對(duì)一致的 區(qū)域作為一個(gè)投影區(qū)域，把三維物體分割成若干個(gè)投影區(qū)域； 步驟6. 2 :計(jì)算每一個(gè)投影區(qū)域的法線方向同相機(jī)方向的夾角，選取最小夾角的相機(jī) 顏色為這一投影區(qū)域的顏色貼圖。
7. -種基于單個(gè)相機(jī)的三維數(shù)字化重建系統(tǒng)，其特征在于，包括客戶端和云端服務(wù)器， 所述云端服務(wù)器包括數(shù)據(jù)采集模塊、特征點(diǎn)選取及匹配模塊、相機(jī)位置方向定標(biāo)模塊、三維 重建模塊和顏色貼圖模塊； 所述客戶端用戶獲取單個(gè)相機(jī)拍攝的一組二維圖片，并發(fā)送給云端服務(wù)器； 所述數(shù)據(jù)采集模塊，其用于接收客戶端發(fā)送的二維圖片，并進(jìn)行圖片RGB三通道顏色 圖像數(shù)據(jù)的采集，將采集的數(shù)據(jù)傳遞給特征點(diǎn)選取及匹配模塊； 所述特征點(diǎn)選取及匹配模塊，其用于在UVW三通道顏色空間進(jìn)行圖像特征點(diǎn)的選取及 匹配，將選取的特征點(diǎn)及匹配信息發(fā)送給相機(jī)位置方向定標(biāo)模塊； 相機(jī)位置方向定標(biāo)模塊，其用于在未知相機(jī)內(nèi)參的情況下，根據(jù)三角對(duì)應(yīng)關(guān)系，進(jìn)行相 機(jī)位置定標(biāo)，得到相機(jī)位置的旋轉(zhuǎn)矩陣R和平移向量t，將相機(jī)位置方向定標(biāo)信息發(fā)送給三 維重建模塊； 所述三維重建模塊，其用于根據(jù)圖像特征點(diǎn)的匹配以及相機(jī)位置旋轉(zhuǎn)矩陣R和平移向 量t進(jìn)行物體的三維重建，并將三維重建得到的稠密三維點(diǎn)云發(fā)送給顏色貼圖模塊； 所述顏色貼圖模塊，其用于在稠密三維點(diǎn)云的基礎(chǔ)上，利用三維物體區(qū)域分析方法在 物體表面上自動(dòng)生成顏色貼圖。
8. 根據(jù)權(quán)利要求7所述一種基于單個(gè)相機(jī)的三維數(shù)字化重建系統(tǒng)，其特征在于，所述 特征點(diǎn)選取及匹配模塊包括空間模型轉(zhuǎn)換單元、特征點(diǎn)選取及匹配單元； 所述空間模型轉(zhuǎn)換單元，其用于將RGB三通道顏色圖像數(shù)據(jù)轉(zhuǎn)換為UVW三通道顏色圖 像數(shù)據(jù)，并將轉(zhuǎn)換后的數(shù)據(jù)發(fā)送給特征點(diǎn)選取及匹配單元； 所述特征點(diǎn)選取及匹配單元，其用于在UVW三通道顏色空間進(jìn)行圖像特征點(diǎn)的選取及 匹配，將選取的特征點(diǎn)及匹配信息發(fā)送給相機(jī)位置方向定標(biāo)模塊。
9. 根據(jù)權(quán)利要求7所述一種基于單個(gè)相機(jī)的三維數(shù)字化重建系統(tǒng)，其特征在于，所述 三維重建模塊包括稀疏點(diǎn)重建單元、稠密點(diǎn)重建單元、表面過濾單元和面重建單元； 所述稀疏點(diǎn)重建單元，其用于根據(jù)圖像特征點(diǎn)的匹配和相機(jī)位置定標(biāo)重建得到構(gòu)成的 物體稀疏點(diǎn)的稀疏三維點(diǎn)云； 所述稠密點(diǎn)重建單元，其用于對(duì)稀疏三維點(diǎn)云進(jìn)行擴(kuò)展得到能將物體表面全部覆蓋的 稠密三維點(diǎn)云； 表面過濾單元，其用于根據(jù)灰度一致性及可見性對(duì)獲得的物體表面進(jìn)行過濾，最終得 到無錯(cuò)誤表面的表示物體表面的稠密三維點(diǎn)云； 所述面重建單元，其用于在稠密三維點(diǎn)云的基礎(chǔ)上，進(jìn)行物體面重建。
10. 根據(jù)權(quán)利要求7所述一種基于單個(gè)相機(jī)的三維數(shù)字化重建系統(tǒng)，其特征在于，所述 顏色貼圖模塊包括投影劃分單元和投影顏色選取單元； 所述投影劃分單元，其用于將經(jīng)過面重建獲得的三維物體進(jìn)行區(qū)域劃分，找到顏色相 對(duì)一致的區(qū)域作為一個(gè)投影區(qū)域，把三維物體分割成若干個(gè)投影區(qū)域； 所述投影顏色選取單元，其用于計(jì)算每一個(gè)投影區(qū)域的法線方向同相機(jī)方向的夾角， 選取最小夾角的相機(jī)顏色為這一投影區(qū)域的顏色貼圖。
【文檔編號(hào)】G06T17/00GK104240289SQ201410339682
【公開日】2014年12月24日 申請(qǐng)日期:2014年7月16日 優(yōu)先權(quán)日:2014年7月16日
【發(fā)明者】崔巖 申請(qǐng)人:崔巖