專利名稱：利用一組二維照片與三維模型庫生成新的三維模型的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維攝影技術(shù)領(lǐng)域，特別涉及三維攝影技術(shù)領(lǐng)域中三維模型的生成方法。
背景技術(shù)：
由于三維攝影技術(shù)的發(fā)展，目前已經(jīng)能夠?qū)崿F(xiàn)利用三維攝影技術(shù)制造精確的三維模型。但由于進(jìn)行拍攝的攝影儀器屬于專業(yè)設(shè)備，比較昂貴；因此三維造模的方法造價(jià)較高。
微軟公司曾經(jīng)完成一個(gè)實(shí)驗(yàn)，將一個(gè)小孩的二維照片合成三維模型，采用的是雙眼視差法；是通過尋找二維照片上的特征點(diǎn)建立三維模型。但此法的局限性是在尋找特征點(diǎn)時(shí)需要此人的臉部有許多利于定位的特征點(diǎn)，如痣、斑等。
也有利用剪影的方法，即在不同的角度拍攝多張照片，利用剪影建立三維模型。這需要選擇很小的角度拍攝多張照片，且在凹陷的部分不能取得精確的特征點(diǎn)。
也有利用手工操作方法，即利用兩張照片，手動(dòng)的尋找特征點(diǎn)。但特殊的點(diǎn)，如嘴角、眼角、鼻翼，可以自動(dòng)尋找，再經(jīng)過匹配，建立三維模型。此法的缺點(diǎn)是，精度較低，僅能滿足視覺的要求，不適合制作雕塑產(chǎn)品。目前可以看到，在網(wǎng)上出現(xiàn)的利用二維相片制作三維模型均采用此法。
技術(shù)內(nèi)容本發(fā)明目的是提供一種利用一組二維照片與三維模型庫生成新的三維模型的方法，以實(shí)現(xiàn)在沒有三維攝影亭的地方，以二維照片制作出精確的三維模型。
本發(fā)明目的可以通過以下技術(shù)方案實(shí)現(xiàn)一種利用一組二維照片與三維模型庫生成新的三維模型的方法，包括以下步驟A、照相a、用照相機(jī)或攝影機(jī)圍繞被照物體照一組照片。
b、將被照物轉(zhuǎn)一角度，這一角度越小，照片張數(shù)越多，結(jié)果越精確，每一角度照一張照片。
B、特征點(diǎn)識(shí)別a、在每張照片上尋找特征點(diǎn)。
b、在一組照片的每一張相應(yīng)的照片上用模式識(shí)別方法自動(dòng)尋找特征點(diǎn)，并根據(jù)部分特征點(diǎn)的坐標(biāo)計(jì)算被照物體的動(dòng)畫參數(shù)標(biāo)準(zhǔn)中的主要特征距離；如果兩張照片的夾角很小，在兩張照片上物體變化不大，則可以用特征點(diǎn)對(duì)比方式從M張照片的特征點(diǎn)位置推算出第M+1張照片上的特征點(diǎn)位置。
c、在兩張相關(guān)照片上找到相對(duì)應(yīng)的一組特征點(diǎn)，從而計(jì)算出照相機(jī)的相對(duì)位置。
d、在照片上找出相對(duì)應(yīng)的特征點(diǎn)組合，從而計(jì)算出每一個(gè)特征點(diǎn)在三維空間中相對(duì)坐標(biāo)。也可以在每一張照片上找出被照物體的邊界，從而計(jì)算出此邊界上的點(diǎn)在空間的投影位置，通過兩張照片上的邊界投影相交線，即可以計(jì)算出相交線上的點(diǎn)在空間的位置。
C、特征點(diǎn)匹配a、在物體三維模型庫中尋找與照片上被照物最接近的一組模型；b、調(diào)整此組模型上特征點(diǎn)的空間坐標(biāo)，使其逼近相對(duì)應(yīng)的照片上空間特征點(diǎn)，采用區(qū)域微調(diào)的方法，在調(diào)整特征點(diǎn)坐標(biāo)時(shí)，以移動(dòng)一個(gè)圍繞特征點(diǎn)的面逼近此特征點(diǎn)；c、比較模型上的特征點(diǎn)與照片上空間特征點(diǎn)以及二維效果圖與照片的灰度分布的差異，重點(diǎn)步驟6，直到誤差最?。欢S效果圖的對(duì)比進(jìn)行整體比較，再局部精確定位；d、將新的模型放入模型庫中，標(biāo)注此新的被照物模型的特征長(zhǎng)度和特征點(diǎn)。
利用一組二維照片與三維模型庫生成新的三維模型的方法，在所述照相步驟中，對(duì)被照物在不同角度照相至少照兩張以上。最好在相機(jī)與被照物的距離不變，光照條件不變的條件下，照被照物，相鄰照片之間的夾角越小，照片越多，精確度也越高。
利用一組二維照片與三維模型庫生成新的三維模型的方法，在特點(diǎn)識(shí)別步驟中，特征點(diǎn)的識(shí)別，部分特征點(diǎn)用模式識(shí)別方法自動(dòng)尋找，部分特征點(diǎn)用插值方法得到，也可使用手動(dòng)方式確定。
本發(fā)明技術(shù)進(jìn)步在于，方法簡(jiǎn)單，適用范圍廣，在沒有三維攝影亭的地方，以二維照片可制作出精確的三維模型。


圖1為建立三維模型庫流程圖；具體實(shí)施方法以人為被照物，我們所提出的利用一組二維照片與三維模型庫生成新的三維模型的方法能夠?qū)崿F(xiàn)在沒有三維攝影亭的地方，以二維照片制作出精確的三維模型。一般情況下，必須尋找到面部足夠的特征點(diǎn)，以保證能夠只通過三維模型可辨識(shí)出人臉(無需參照二維貼圖)，我們?cè)诙S照片上自動(dòng)加上手動(dòng)輔助尋找這些特征點(diǎn)，在經(jīng)過與三維模型上匹配，調(diào)整，使三維模型上每個(gè)特征點(diǎn)更貼近二維照片的特征，故它可以準(zhǔn)確的描述人體的臉部特征。除此之外，我們還有一個(gè)建立好的并在不斷的動(dòng)態(tài)添加的人頭模型庫，在此模型庫中會(huì)按照不同的分類方式區(qū)別不同特征的人頭模型，例如，針對(duì)不同的膚色分類有黃種人、白種人、黑種人、印第安人等等，或是按照不同的臉型特征分類，如圓臉、方臉、國(guó)字臉、鵝蛋臉等等。所以在匹配特征點(diǎn)時(shí)能夠比較快速的找到最接近的頭模，從而減少了匹配的時(shí)間和工作的難度。同時(shí)此三維模型庫是處在不斷的增長(zhǎng)過程中，經(jīng)過匹配、調(diào)整、修改最終生成的一個(gè)新的個(gè)性化人頭模型將被放入此模型庫中。因此，它是一個(gè)動(dòng)態(tài)的、增長(zhǎng)的庫。
此方法比現(xiàn)有的利用二維照片生成三維模型的方法更精確，更具優(yōu)越性。因?yàn)樵趯ふ姨卣鼽c(diǎn)時(shí)，參考MPEG-4標(biāo)準(zhǔn)，并在此基礎(chǔ)上添加更多的特征點(diǎn)，如描述輪廓的特征點(diǎn)，采用自動(dòng)尋找(統(tǒng)計(jì)算法、模式識(shí)別等)和手動(dòng)尋找結(jié)合的方式獲取人臉部精確的特征點(diǎn)數(shù)據(jù)。在客戶無法親自去三維攝影棚拍攝像片時(shí)，可以采用此方法，利用一組二維照片和已經(jīng)建立的三維模型人頭庫生成新的三維模型，同時(shí)添加進(jìn)三維人頭模型庫。在此三維模型庫上會(huì)標(biāo)注特征點(diǎn)的資料，以便進(jìn)行特征點(diǎn)的匹配。
一、照相1、用照相機(jī)照一個(gè)人的正面。
2、讓此人轉(zhuǎn)一定角度，每一角度照一張照片。
3、夾角選的越小，照片張數(shù)越多，則結(jié)果越精確。
4、相機(jī)與人的距離基本不變，光照條件基本不變5、原則上至少照兩張照片(正面和側(cè)面)，在不同角度照相張數(shù)越多越好相機(jī)可以采用普通相機(jī)或是數(shù)碼相機(jī)，最好是已知的相機(jī)，因?yàn)槿绻阎鄼C(jī)的照像參數(shù)，如鏡頭焦距指數(shù)等，可以精確計(jì)算出相機(jī)的位置，從而得出準(zhǔn)確的特征點(diǎn)數(shù)據(jù)。
二、特征點(diǎn)識(shí)別1、在每一張照片上尋找特征點(diǎn)。
2、基本特征點(diǎn)可接MPEG-4定義的FAPU人臉特征點(diǎn)，適當(dāng)增加特征點(diǎn)(如表現(xiàn)臉部或器官的輪廓的特征點(diǎn))，或另選一組特征點(diǎn)以便更好描述人臉以及人頭三維空間特征小的空心點(diǎn)和實(shí)心點(diǎn)均為標(biāo)準(zhǔn)特征點(diǎn)。
3、但在人臉的關(guān)鍵部位需增加特征點(diǎn)數(shù)目，以達(dá)到人臉三維曲線的逼真。特征點(diǎn)數(shù)目的多少取決于精度要求，精度趙高則要法語的特征點(diǎn)數(shù)目越多。
4、部分特征點(diǎn)需用模式識(shí)別方法自動(dòng)尋找，部分特征點(diǎn)可以用插值方法得到，一些少量的特征點(diǎn)可用手動(dòng)方式確定，但原則上要求手動(dòng)尋找的點(diǎn)越少越好。例如，嘴角、眼角、眉毛等具有顯著特征的部位采用模式識(shí)別方法自動(dòng)尋找；唇線或眉毛邊緣位置可以用插值法獲取特征點(diǎn)數(shù)據(jù)；臉頰等沒有明顯特征的點(diǎn)需要用手動(dòng)方式確定。不論采用何種方式，都需要進(jìn)行手動(dòng)調(diào)整，自動(dòng)逼近，以達(dá)到人臉三維曲線的逼真效果。
5、在模型相應(yīng)的正面照片上用模式識(shí)別方法自動(dòng)尋找特征點(diǎn)，并根據(jù)部分特征點(diǎn)的坐標(biāo)自動(dòng)計(jì)算FAPU(Facial Animator ParameterUnit)--臉部動(dòng)畫參數(shù)標(biāo)準(zhǔn)中的ESO，IRISDO(可忽略)，ENSO和MWO的長(zhǎng)度?？梢栽黾邮褂每煽康奶卣鼽c(diǎn)作為FAPU。
6、在兩張相關(guān)照片上找到相對(duì)應(yīng)的一組特征點(diǎn)，從而計(jì)算出照相機(jī)的相對(duì)位置(Photogrammetry方法—由已知照片的特征點(diǎn)數(shù)據(jù)反推出相機(jī)的位置)。
7、在照片上找出相對(duì)應(yīng)的特征點(diǎn)組合，從而計(jì)算出每一個(gè)特征點(diǎn)三維空間中相對(duì)坐標(biāo)。
8、在特征點(diǎn)尋找過程中盡量用軟件自動(dòng)尋找，但可以在超始時(shí)手動(dòng)定一到二個(gè)關(guān)鍵特征點(diǎn)可以縮小搜索的范圍，減少計(jì)算量。特征點(diǎn)自動(dòng)尋找的算法有許多，如模板匹配，Snake算法，ASM(ActiveShape Model)，AAM(Active Appearance Model)，等。
如果兩張照片的夾角很小，在兩張照片上物體變化不大，則可以用特征點(diǎn)對(duì)比方式從M張照片上的特征點(diǎn)位置推算出第M+1張照片上的特征點(diǎn)位置。
9、在特征點(diǎn)尋找過程中，會(huì)有部分的偏移和不準(zhǔn)確，所以允許少量手動(dòng)調(diào)整特征點(diǎn)。
三、特征點(diǎn)匹配1、在人頭模型庫中首先尋找與照片上FAPU最接近的一組頭模型。在已經(jīng)建好的人頭模型庫中的頭模型具備基本的特征長(zhǎng)度的標(biāo)示，可以縮小特征點(diǎn)搜索的范圍。
2、在此組人頭模型中尋找與照片上空間特征點(diǎn)最接近的人頭模型。
3、調(diào)整此人頭模型上特征點(diǎn)的空間坐標(biāo)，使其逼近相對(duì)應(yīng)的照片上空間特征點(diǎn)，使得人頭模型更加像照片上的人臉結(jié)構(gòu)。采用區(qū)域微調(diào)的方法，在調(diào)整特征點(diǎn)坐標(biāo)時(shí)，以移動(dòng)一個(gè)面來逼近此特征點(diǎn)。
4、比較人頭模型上特征點(diǎn)與照片上空間特征點(diǎn)以及二維效果圖與照片的灰度分布的差異，重復(fù)步驟三(3)，直到誤差最小。二維效果圖的對(duì)比進(jìn)行整體比較，再局部精確定位。通過模型擬燈源，制造與像片相同的光照效果，可以實(shí)現(xiàn)灰度分布差異的比較，但如果原像片的光源較多，出現(xiàn)漫射光，將無法完全模擬，就不可能在灰度上實(shí)現(xiàn)完全的比較。
5、將新的人頭模型放入模型庫中，其中會(huì)標(biāo)注此新的人頭模型的特征長(zhǎng)度和特征點(diǎn)。
權(quán)利要求
1.一種利用一組二維照片與三維模型庫生成新的三維模型的方法，其特征在于，所述方法包括以下步驟A、照相用照相機(jī)或攝影機(jī)圍繞被照物體照一組照片；B、特征點(diǎn)識(shí)別a、在每張照片上尋找特征點(diǎn)；b、在一組照片的每一張相應(yīng)的正面照片上用模式識(shí)別方法自動(dòng)尋找特征點(diǎn)，并根據(jù)部分特征點(diǎn)的坐標(biāo)計(jì)算被照物體的動(dòng)畫參數(shù)標(biāo)準(zhǔn)中的主要特征距離；c、在兩張相關(guān)照片上找到相對(duì)應(yīng)的一組特征點(diǎn)，從而計(jì)算出照相機(jī)的相對(duì)位置；d、在照片上找出相對(duì)應(yīng)的特征點(diǎn)組合，從而計(jì)算出每一個(gè)特征點(diǎn)在三維空間中相對(duì)坐標(biāo)。C、特征點(diǎn)匹配a、在物體三維模型庫中尋找與照片上被照物最接近的一組模型；可以先用特征距離參數(shù)先找出一組接近的模型，再用特征點(diǎn)空間位置找到一個(gè)最接近的三維模型；也可以直接用特征點(diǎn)空間位置找到一個(gè)最接近的三維模型；b、調(diào)整此三維模型上特征點(diǎn)的空間坐標(biāo)，使其逼近相對(duì)應(yīng)的照片上空間特征點(diǎn)，采用區(qū)域微調(diào)的方法，在調(diào)整特征點(diǎn)坐標(biāo)時(shí)，以移動(dòng)一個(gè)圍繞特征點(diǎn)的面逼近此特征點(diǎn)；c、比較模型上的特征點(diǎn)與照片上空間特征點(diǎn)以及二維效果圖與照片的灰度分布的差異，重點(diǎn)步驟6，直到誤差最?。欢S效果圖的對(duì)比進(jìn)行整體比較，再局部精確定位；d、將新的模型放入模型庫中，標(biāo)注此新的被照物模型的特征長(zhǎng)度和特征點(diǎn)。
2.根據(jù)權(quán)利要求1所述的利用一組二維照片與三維模型庫生成新的三維模型的方法，其特征在于，所述照相步驟中，對(duì)被照物在不同角度照相至少照兩張以上。
3.根據(jù)權(quán)利要求1或2所述的利用一組二維照片與三維模型庫生成新的三維模型的方法，其特征在于所述特點(diǎn)識(shí)別步驟中，特征點(diǎn)的識(shí)別，部分特征點(diǎn)用模式識(shí)別方法自動(dòng)尋找，部分特征點(diǎn)用插值方法得到，也可使用手動(dòng)方式確定。
4.根據(jù)權(quán)利要求1所述的利用一組三維照片與三維模型庫生成新的三維模型的方法，其特征在于，所述照相步驟中，照相時(shí)相機(jī)與被照物的距離不變，光照條件不變的條件下照被照物；相鄰照片之間所選的夾角越小，照片越多，建立的三維模型越精確。
全文摘要
一種利用一組二維照片與三維模型庫生成新的三維模型的方，涉及三維攝影技術(shù)領(lǐng)域中三維模型的生成方法。包括以下步驟A.照相，用照相機(jī)或攝影機(jī)圍繞被照物體照一組照片，將被照物轉(zhuǎn)一角度，這一角度越小，照片張數(shù)越多，結(jié)果越精確，每一角度照一張照片。B.特征點(diǎn)識(shí)別，在每張照片上尋找特征點(diǎn)。C.特征點(diǎn)匹配，在物體三維模型庫中尋找與照片上被照物最接近的一組模型；調(diào)整此組模型上特征點(diǎn)的空間坐標(biāo)，使其逼近相對(duì)應(yīng)的照片上空間特征點(diǎn)。本發(fā)明技術(shù)進(jìn)步在于，方法簡(jiǎn)單，適用范圍廣，在沒有三維攝影亭的地方，以二維照片可制作出精確的三維模型。
文檔編號(hào)G06T17/05GK1482580SQ0213475
公開日2004年3月17日 申請(qǐng)日期2002年9月15日 優(yōu)先權(quán)日2002年9月15日
發(fā)明者陸泰瑋, 湯毅 申請(qǐng)人:深圳市泛友科技有限公司