專利名稱：一種擴(kuò)充三維人臉數(shù)據(jù)庫的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及模式識別領(lǐng)域三維人臉建模中擴(kuò)充人臉數(shù)據(jù)庫的方法。
背景技術(shù)：
由于三維人臉數(shù)據(jù)的獲取需要依賴專業(yè)的采集設(shè)備和復(fù)雜的處理過程，因此完善 的三維人臉數(shù)據(jù)庫的建立通常是一個(gè)昂貴的、費(fèi)時(shí)費(fèi)力的過程。目前主要的三維人臉數(shù)據(jù) 有CMU的FIA數(shù)據(jù)庫，它是基于多視角幾何信息的三維數(shù)據(jù)庫，其中包括180人的三維數(shù) 據(jù)信息；3D-RAM數(shù)據(jù)庫，它是基于結(jié)構(gòu)光的方法建立的三維數(shù)據(jù)庫，用一個(gè)照相機(jī)和放映 機(jī)獲取人的3D坐標(biāo)信息，包含129人的三維數(shù)據(jù)信息；GavabDB數(shù)據(jù)庫，其使用Minolta VI-700數(shù)字轉(zhuǎn)換器獲取427個(gè)有表情變化的三維人臉數(shù)據(jù)，這些數(shù)據(jù)由61個(gè)人組成。2007 年，Thomas S Huang的研究小組利用Cyberware掃描儀建立了一個(gè)含有475人的三維人臉 數(shù)據(jù)庫，樣本主要有中性和微笑兩種表情，年齡分布在19-25歲之間。Cyberware掃描儀通 過一次掃描可以獲取人不同視角的完整數(shù)據(jù)，因此獲取的數(shù)據(jù)準(zhǔn)確性好，大大簡化了后處 理工作，用該設(shè)備建立的USF三維人臉數(shù)據(jù)庫中有200人的三維人臉數(shù)據(jù)，由于每個(gè)樣本的 形狀和紋理信息維數(shù)很高，因此對于人臉數(shù)據(jù)處理與分析方面的研究，這樣規(guī)模的數(shù)據(jù)還 遠(yuǎn)遠(yuǎn)滿足不了需要。從以上的分析中可以看出現(xiàn)有的三維人臉數(shù)據(jù)庫的覆蓋范圍明顯不足，使用手工 的方式進(jìn)行大規(guī)模、多樣性的三維人臉數(shù)據(jù)擴(kuò)充是不現(xiàn)實(shí)的，這極大的限制了數(shù)據(jù)的獲取 范圍和實(shí)用性，很難推廣到實(shí)際應(yīng)用中。所以在設(shè)備資源和計(jì)算能力有限的條件下，如何實(shí) 現(xiàn)一個(gè)廉價(jià)的、快速的，并且消耗資源少的三維人臉數(shù)據(jù)擴(kuò)充方法成為一個(gè)重要的問題。遺傳算法是一種群體智能算法，它源于自然界的生物進(jìn)化過程。通過模擬自然界 中生物進(jìn)化時(shí)發(fā)生的自然選擇、變異、遺傳進(jìn)化的過程，設(shè)計(jì)出選擇、交換、變異、遺傳等算 子。通過自然淘汰、變異、遺傳進(jìn)行進(jìn)化，以適應(yīng)環(huán)境的變化，產(chǎn)生最合適個(gè)體。種群中的每 個(gè)個(gè)體代表當(dāng)前代中目標(biāo)函數(shù)的一組解，適應(yīng)度高的個(gè)體將擁有較大的機(jī)會進(jìn)入下一代的 遺傳操作。適應(yīng)度低的個(gè)體將被拋棄。它們通過交換部分基因來完成下一代個(gè)體的產(chǎn)生。 經(jīng)過數(shù)代的進(jìn)化后將得到一組適應(yīng)性高的種群。本發(fā)明采用遺傳算法、結(jié)合器官交換提出一種擴(kuò)充三維人臉數(shù)據(jù)庫的方法，在一 個(gè)能生成多樣性數(shù)據(jù)的框架下進(jìn)行自動(dòng)生成和評價(jià)工作，從而完成三維人臉數(shù)據(jù)的擴(kuò)充。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問題是克服現(xiàn)有人臉數(shù)據(jù)庫中樣本量少的缺陷，增加合成人 臉的多樣性以及同數(shù)據(jù)庫中人臉的差異性，提供一種實(shí)現(xiàn)簡單、擴(kuò)充效果好的擴(kuò)充三維人 臉數(shù)據(jù)庫的方法。該方法運(yùn)算速度快，不需要依賴昂貴的專業(yè)設(shè)備和復(fù)雜的后續(xù)處理，節(jié)約 硬件成本。本發(fā)明的技術(shù)解決方案是本發(fā)明采用遺傳算法作為器官交換的執(zhí)行框架，選取 初始三維人臉數(shù)據(jù)作為遺傳算法的初始種群，采用遺傳算法的交叉算子將原始人臉隨機(jī)兩兩組合，交換任意兩張人臉之間的面部特征區(qū)域。通過交叉操作可以得到一組新的三維臉 數(shù)據(jù)。對新生成的種群實(shí)施變異操作，以增加新種群的多樣性。然后根據(jù)樣本間的距離對 新產(chǎn)生的個(gè)體進(jìn)行適應(yīng)度評價(jià)，適應(yīng)度高的個(gè)體將被保留，適應(yīng)度低的個(gè)體將被拋棄。經(jīng)過 數(shù)代的進(jìn)化后便可完成對三維人臉數(shù)據(jù)的規(guī)模和多樣性進(jìn)行擴(kuò)充的工作。本發(fā)明提供的一種擴(kuò)充三維人臉數(shù)據(jù)庫的方法，包括以下步驟從已有的三維人臉數(shù)據(jù)庫中選取M個(gè)樣本，作為初始數(shù)據(jù)庫；將初始數(shù)據(jù)庫作為遺傳算法的初始種群，初始數(shù)據(jù)庫中的每個(gè)樣本作為初始種群 中的一個(gè)個(gè)體；將初始種群中的所有個(gè)體隨機(jī)分成一組或多組，對不同兩組中的個(gè)體進(jìn)行隨機(jī)配 對，并隨機(jī)交換每對個(gè)體的一個(gè)或多個(gè)器官；將交換后的器官與目標(biāo)人臉進(jìn)行縫合；
對每對個(gè)體一個(gè)或多個(gè)基因位上的基因值進(jìn)行變異；根據(jù)新產(chǎn)生的個(gè)體與已有種群中的個(gè)體的相似度，選擇保留或者拋棄新個(gè)體；合并已有種群與進(jìn)化后的新個(gè)體群，對原有的人臉數(shù)據(jù)庫進(jìn)行擴(kuò)充；重復(fù)以上所有步驟，直至擴(kuò)充后的人臉數(shù)據(jù)庫符合要求。所述根據(jù)新產(chǎn)生的個(gè)體與已有種群中的個(gè)體的相似度，選擇保留或者拋棄新個(gè)體 的步驟，進(jìn)一步包括對已有種群和新個(gè)體群中的每個(gè)個(gè)體進(jìn)行編碼；計(jì)算已有種群中每個(gè)個(gè)體的適應(yīng)度，確定新個(gè)體的適應(yīng)度閾值；計(jì)算新個(gè)體的適應(yīng)度，若新個(gè)體的適應(yīng)度高于適應(yīng)度閾值，則保留該新個(gè)體；若新 個(gè)體的適應(yīng)度低于適應(yīng)度閾值，則拋棄該新個(gè)體。所述對已有種群和新個(gè)體群中的每個(gè)個(gè)體進(jìn)行編碼的步驟，具體為 式中，t表示涉及交換的器官數(shù)，S表示每個(gè)器官區(qū)域的點(diǎn)數(shù)；所述計(jì)算已有種群中每個(gè)個(gè)體的適應(yīng)度的步驟，具體為每個(gè)個(gè)體的適應(yīng)度為該 個(gè)體與其它個(gè)體之間的最短歐式距離，記 式中，fit (Xi)表示個(gè)體Xi的適應(yīng)度，Xj表示除外的三維人臉樣本，dis(Xi, Xj)表示Xi和\之間的歐式距離，Ω表示已有種群中的所有個(gè)體；所述確定新個(gè)體的適應(yīng)度閾值的步驟，具體為取已有種群中所有個(gè)體最低的適 應(yīng)度作為新個(gè)體的適應(yīng)度閾值，記 式中，θ表示新個(gè)體的適應(yīng)度閾值。所述計(jì)算新個(gè)體的適應(yīng)度，選擇保留或者拋棄新個(gè)體的步驟，具體為計(jì)算新個(gè)體/_與其它新個(gè)體的歐式距離《^(./1^，/L)，取最短歐式距離作為
在新個(gè)體群中的適應(yīng)度力;當(dāng)fit· >沒時(shí)保留該新個(gè)體，當(dāng)fit_ <沒拋棄該新個(gè)體；由 之得到新個(gè)體群Ωη ；
計(jì)算新個(gè)體群中每個(gè)個(gè)體與已有種群Q中所有個(gè)體的歐式距離，取最短歐 式距離作為新個(gè)體的適應(yīng)度 當(dāng)力？'，>0時(shí)保留該新個(gè)體，當(dāng)片’，<0時(shí)拋棄該新個(gè)
體；由之得到完成一次進(jìn)化后的新個(gè)體群。所述將初始種群中的所有個(gè)體隨機(jī)分成一組或多組，對不同兩組中的個(gè)體進(jìn)行隨 機(jī)配對，并隨機(jī)交換每對個(gè)體的一個(gè)或多個(gè)器官的步驟，具體包括將初始種群中的M個(gè)個(gè)體隨機(jī)分成兩組，每組包含氣個(gè)個(gè)體([x]為不超過x的 最大整數(shù))，記為A組和B組；將A組和B組的個(gè)體隨機(jī)配對，A組中的個(gè)體只能與B組中的個(gè)體組合，B組中的 個(gè)體也只能與A組中的個(gè)體組合；記自然數(shù)1 5分別表示需要交換的器官為額頭、眼睛、鼻子、嘴、下巴，隨機(jī)生成 f個(gè)1 5之間的隨機(jī)數(shù)i (i = 1，2，3，4，5)，每對個(gè)體根據(jù)所生成的隨機(jī)數(shù)i的值交換
相應(yīng)的器官。所述將交換后的器官與目標(biāo)人臉進(jìn)行縫合的步驟，包括幾何信息的縫合和紋理信 息的縫合，對所述幾何信息的縫合采用薄板樣條插值法。對所述紋理信息的縫合，具體包括根據(jù)構(gòu)成曲面的三角網(wǎng)格，計(jì)算交換器官三維曲面上每個(gè)點(diǎn)的四個(gè)鄰接點(diǎn)鄰接 點(diǎn)中y值最大的鄰接點(diǎn)為當(dāng)前點(diǎn)的上鄰接點(diǎn)，鄰接點(diǎn)中y值最小的鄰接點(diǎn)為當(dāng)前點(diǎn)的下鄰 接點(diǎn)，鄰接點(diǎn)中x值最大的鄰接點(diǎn)為當(dāng)前點(diǎn)的右鄰接點(diǎn)，鄰接點(diǎn)中x值最小的鄰接點(diǎn)為當(dāng)前 點(diǎn)的左鄰接點(diǎn)；計(jì)算交換器官三維曲面上每個(gè)點(diǎn)的散度值；將交換器官三維曲面上每個(gè)點(diǎn)的四個(gè)鄰接點(diǎn)及每個(gè)點(diǎn)的散度值代入離散泊松方 程，求解得到變化后交換器官三維曲面的紋理值，該紋理值與目標(biāo)人臉的紋理值無縫融合。所述對每對個(gè)體一個(gè)或多個(gè)基因位上的基因值進(jìn)行變異的步驟，具體包括隨機(jī)生成1個(gè)隨機(jī)數(shù)、(0 <bi < 1)，得到將要變異的基因位k = bi L，其中
L為人臉三維曲面上點(diǎn)的個(gè)數(shù)；對當(dāng)前基因位的幾何值進(jìn)行變異式中，r為變異尺度系數(shù)，sk為當(dāng)前基因位的幾何值，s' k為當(dāng)前基因位變異后的 幾何值；對當(dāng)前基因位的紋理值進(jìn)行變異 式中，r為變異尺度系數(shù)，tk為當(dāng)前基因位的紋理值，t' k為當(dāng)前基因位變異后的 紋理值。將合并后的種群個(gè)體按著歐式距離從大到小的順序排序，取前M個(gè)適應(yīng)度最高的個(gè)體作為下一代的初始種群，重復(fù)所有步驟，直至擴(kuò)充后的人臉數(shù)據(jù)庫符合要求。所述已有的三維人臉數(shù)據(jù)庫采用BJUT-3D三維人臉數(shù)據(jù)庫。本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)本發(fā)明基于遺傳算法、結(jié)合器官交互提出 一種擴(kuò)充三維人臉數(shù)據(jù)庫的方法，該方法能夠?qū)崿F(xiàn)大規(guī)模、多樣性的三維人臉數(shù)據(jù)擴(kuò)充，極 大地豐富了現(xiàn)有三維人臉數(shù)據(jù)庫的數(shù)據(jù)規(guī)模和數(shù)據(jù)覆蓋范圍；并且該方法實(shí)現(xiàn)簡單，數(shù)據(jù) 擴(kuò)充效果好，運(yùn)算速度快，并不需要依賴昂貴的專業(yè)設(shè)備和復(fù)雜的后續(xù)處理，從而了節(jié)約硬 件成本。在交換器官與目標(biāo)人臉的縫合過程中，本發(fā)明既對二者的幾何信息進(jìn)行縫合，又 對二者的紋理信息進(jìn)行縫合，并且在對紋理信息進(jìn)行縫合時(shí)，通過計(jì)算交換器官三維曲面 上每個(gè)點(diǎn)的四個(gè)鄰接點(diǎn)和每個(gè)點(diǎn)的散度值，將其代入離散泊松方程求解得到變化后交換器 官三維曲面的紋理值，從而實(shí)現(xiàn)該紋理值與目標(biāo)人臉的紋理值的無縫融合。


以下將結(jié)合附圖對本發(fā)明的具體實(shí)施方式
進(jìn)行說明。圖1為根據(jù)本發(fā)明的擴(kuò)充三維人臉數(shù)據(jù)庫的方法流程圖。
具體實(shí)施例方式如圖1所示，根據(jù)本發(fā)明的擴(kuò)充三維人臉數(shù)據(jù)庫的方法包括以下步驟(1)構(gòu)建三維人臉數(shù)據(jù)庫本實(shí)施例采用北京工業(yè)大學(xué)的BJUT-3D三維人臉數(shù)據(jù)庫(該數(shù)據(jù)庫對外開放，任 何人可以獲取)，采用BJUT-3D三維人臉數(shù)據(jù)庫的好處是該數(shù)據(jù)庫中的所有數(shù)據(jù)實(shí)現(xiàn)了三 維人臉數(shù)據(jù)間點(diǎn)到點(diǎn)的一一對應(yīng)關(guān)系。當(dāng)然，用其它任意一種三維人臉數(shù)據(jù)庫都是可以的， 但在用本發(fā)明的擴(kuò)充方法之前，需要對這些數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行預(yù)處理，即對不同的人臉 數(shù)據(jù)進(jìn)行坐標(biāo)矯正，將不同的三維人臉數(shù)據(jù)統(tǒng)一到同一個(gè)坐標(biāo)系，為的是保證三維人臉數(shù) 據(jù)的一致性。具體處理方法參見尹寶才等的《BJUT-3D三維人臉數(shù)據(jù)庫及其處理技術(shù)》，出 自《計(jì)算機(jī)研究與發(fā)展》2009年第六期。本段是處理方法的簡述。首先用三維人臉數(shù)據(jù)的離散點(diǎn)集來擬合一個(gè)柱面，用柱 面的中心軸作為三維人臉數(shù)據(jù)的新的垂直坐標(biāo)軸，過鼻尖點(diǎn)且與新的垂直坐標(biāo)軸垂直相交 的直線作為新的前向坐標(biāo)軸，新的X坐標(biāo)軸則由Y軸和Z軸的叉乘運(yùn)算確定。通過坐標(biāo)變 換可以得到每個(gè)三維人臉在新的坐標(biāo)系下的坐標(biāo)值，經(jīng)過坐標(biāo)變換的所有三維人臉數(shù)據(jù)均 變換到朝向、姿態(tài)相同的坐標(biāo)系下。為了利于人臉的統(tǒng)一表示并建立點(diǎn)或面的排列與人臉 特征的對應(yīng)關(guān)系，需要對三維人臉數(shù)據(jù)進(jìn)行規(guī)格化，規(guī)格化后的數(shù)據(jù)既可以用統(tǒng)一的向量 形式來表示，又保證所有的三維人臉數(shù)據(jù)特征對齊。首先在面部紋理圖像手工交互標(biāo)定特 征點(diǎn)，然后以特征點(diǎn)的連線作為分片邊界，形成三維人臉的初始分片，對于初始分片后的三 維人臉通過網(wǎng)格重采樣進(jìn)行網(wǎng)格細(xì)分。經(jīng)過重采樣處理，所有三維人臉具有相同數(shù)量的點(diǎn) 和三角面片，且整個(gè)網(wǎng)格的拓?fù)浣Y(jié)構(gòu)完全相同，從而可以建立三維人臉數(shù)據(jù)間嚴(yán)格的一一 對應(yīng)，這樣的對應(yīng)可以將所有三維人臉表示為統(tǒng)一的表示形式。從BJUT-3D數(shù)據(jù)庫中選取150個(gè)三維人臉樣本作為初始數(shù)據(jù)庫。首先以鼻尖點(diǎn)為 標(biāo)準(zhǔn)對所有三維人臉樣本進(jìn)行對齊，然后確定組成各個(gè)器官的三維點(diǎn)集。
(2)構(gòu)建遺傳算法的初始種群將初始數(shù)據(jù)庫作為遺傳算法的初始種群Q，初始數(shù)據(jù)庫中的每個(gè)樣本作為初始種 群中的一個(gè)個(gè)體。(3)對初始種群的個(gè)體編碼，計(jì)算每個(gè)個(gè)體的適應(yīng)度，確定新個(gè)體的適應(yīng)度閾值遺傳算法的編碼是對目標(biāo)問題解的描述方式，本發(fā)明采用三維人臉?biāo)袠颖军c(diǎn)的 坐標(biāo)和紋理值對個(gè)體進(jìn)行編碼。由于在交叉操作時(shí)，本發(fā)明以器官為單位進(jìn)行交叉，所以在 編碼中融入了區(qū)域信息。具體描述方式如下 式中，t表示涉及交換的器官數(shù)，s表示每個(gè)器官區(qū)域的點(diǎn)數(shù)。本發(fā)明通過構(gòu)建適應(yīng)度評價(jià)函數(shù)來評價(jià)種群中個(gè)體的適應(yīng)度，保留適應(yīng)度高的新 個(gè)體，拋棄適應(yīng)度低的新個(gè)體。由于對已有數(shù)據(jù)庫中樣本的擴(kuò)充是為了增加現(xiàn)有樣本的數(shù) 據(jù)覆蓋范圍，所以新產(chǎn)生的個(gè)體與已有個(gè)體的差異越大越好。鑒于此，本發(fā)明設(shè)計(jì)的適應(yīng)度 評價(jià)函數(shù)如下 式中，fit(Xi)表示個(gè)體的適應(yīng)度，X」表示除\之外的三維人臉樣本，dis(Xi, Xj)表示Xi和\之間的歐式距離，Q表示已有種群中的所有個(gè)體；這函數(shù)表示每個(gè)個(gè)體的適應(yīng)度用該個(gè)體與其它個(gè)體之間的最短歐式距離來表示。取已有種群中所有個(gè)體最低的適應(yīng)度作為新個(gè)體的適應(yīng)度閾值，即 式中，e表示新個(gè)體的適應(yīng)度閾值。(4)將初始種群中的所有個(gè)體隨機(jī)分成一組或多組，對不同兩組中的個(gè)體進(jìn)行隨 機(jī)配對，并隨機(jī)交換每對個(gè)體的一個(gè)或多個(gè)器官本發(fā)明采用交換器官的方式來實(shí)現(xiàn)交叉操作。例如，其中一對個(gè)體為/；1和夕,需要 交換的器官為o,1和 <，那么需要按照三維人臉樣本特征點(diǎn)的對應(yīng)信息交換o,1和 < 的坐標(biāo)值和
紋理值。本實(shí)施例以交換一個(gè)器官為例(當(dāng)然，也可交換多個(gè)器官)，具體步驟如下a、將初始種群中的M個(gè)個(gè)體隨機(jī)分成兩組(也可是多組，此處以兩組為例)，每組 ~ M~
包含j個(gè)個(gè)體([x]為不超過x的最大整數(shù))，記為A組和B組；b、將A組和B組的個(gè)體隨機(jī)配對，A組中的個(gè)體只能與B組中的個(gè)體組合，B組中 的個(gè)體也只能與A組中的個(gè)體組合；c、記自然數(shù)1 5分別表示需要交換的器官為額頭、眼睛、鼻子、嘴、下巴，隨機(jī)生 成*個(gè)1 5之間的隨機(jī)數(shù)i (i = 1，2，3，4，5)，每對個(gè)體根據(jù)所生成的隨機(jī)數(shù)i的值交 換相應(yīng)的器官。若是交換多個(gè)器官，可以定義隨機(jī)數(shù)的范圍大些，如i = 1，2，-,5,6,…，12，其 中6表示交換眼睛和鼻子，11表示交換鼻子、嘴和下巴，等。
(5)將交換后的器官與目標(biāo)人臉進(jìn)行縫合也就是將./丨1與o,2縫合，將/丨2與縫合。由于三維人臉樣本包含幾何與紋理兩部分信 息，所以本發(fā)明對幾何和紋理信息都作了相應(yīng)縫合。A、對幾何信息的縫合采用薄板樣條插值法，具體為a、將器官曲面0上的中心點(diǎn)作為對齊點(diǎn)，記為t。，根據(jù)三維人臉樣本間的稠密對應(yīng) 信息(英文名為dense corresponding)在目標(biāo)人臉f上確定對齊點(diǎn)tf。b、以t。為標(biāo)準(zhǔn)對器官曲面o進(jìn)行平移，使得t。平移到坐標(biāo)原點(diǎn)，并記錄平移信息m0。c、以tf為標(biāo)準(zhǔn)對目標(biāo)人臉f進(jìn)行平移，使得tf平移到坐標(biāo)原點(diǎn)，并記錄平移信息 f
±〇od、記器官曲面o的邊界點(diǎn)為U = (Ul, u2,…，um)T,目標(biāo)人臉f上的對應(yīng)點(diǎn)為V = (Vl，V2，…，VJT。uk和vk是器官曲面和目標(biāo)人臉第i對點(diǎn)的三維坐標(biāo)。e、根據(jù)U和V的對應(yīng)關(guān)系建立器官曲面o上非特征點(diǎn)的運(yùn)動(dòng)方式，記器官曲面o 的特征點(diǎn)之間距離為 =|Ui_Uj|。特征點(diǎn)是指曲面上一些關(guān)鍵點(diǎn)，曲面上其它點(diǎn)(即非特征點(diǎn))的運(yùn)動(dòng)方式是以這 些點(diǎn)為標(biāo)準(zhǔn)計(jì)算出來的。在人臉識別領(lǐng)域，特征點(diǎn)是指標(biāo)記在人臉關(guān)鍵區(qū)域的一些點(diǎn)，這些 點(diǎn)可以很好的表示人臉的特征。在本發(fā)明中，特征點(diǎn)是指那些決定曲面運(yùn)動(dòng)方式的點(diǎn)，在這 里我們?nèi)∏娴倪吔琰c(diǎn)作為特征點(diǎn)。f、根據(jù)上述信息建立以下矩陣
K
0 U(rl2)... U(rJ U(fn) 0 U(r[2)
U(ru) U(rn)... 0 g、定義分塊矩陣
nxn
P =
x丨X。
y n Z n
A~xn
L =
K P P' O
(/7 + 3)x( + 3),0 是一個(gè) 4X4 的零矩陣c
，wn)禾口系數(shù) aj, ax,h、根據(jù)V構(gòu)造一個(gè)長度為n+3的列向量Y = (V|0 0 0)T。i、通過計(jì)算lA = (ff|ai ax ay az)T得到權(quán)重向量W = (w1 ay，az，從而得到器官曲面o的變形函數(shù)
n、‘(x，少，z) = + x + ayy + U + E wiU (I 乃—(x’ >')l)
/=1j、器官曲面o上的非邊界點(diǎn)通過變形函數(shù)s映射到新的位置。k、根據(jù)平移信息f。將目標(biāo)人臉f平移回初始狀態(tài)。B、對紋理信息的縫合a、根據(jù)構(gòu)成曲面的三角網(wǎng)格，計(jì)算交換器官三維曲面上每個(gè)點(diǎn)的四個(gè)鄰接點(diǎn)鄰 接點(diǎn)中y值最大的鄰接點(diǎn)為當(dāng)前點(diǎn)的上鄰接點(diǎn)，鄰接點(diǎn)中y值最小的鄰接點(diǎn)為當(dāng)前點(diǎn)的下鄰接點(diǎn)，鄰接點(diǎn)中x值最大的鄰接點(diǎn)為當(dāng)前點(diǎn)的右鄰接點(diǎn)，鄰接點(diǎn)中x值最小的鄰接點(diǎn)為當(dāng) 前點(diǎn)的左鄰接點(diǎn)。b、計(jì)算交換器官三維曲面上每個(gè)點(diǎn)的散度值。具體為計(jì)算每個(gè)點(diǎn)與左鄰接點(diǎn)的 差8”計(jì)算每個(gè)點(diǎn)與下鄰接點(diǎn)的差52，則當(dāng)前點(diǎn)的散度值為S1+S2;c、將交換器官三維曲面上每個(gè)點(diǎn)的四個(gè)鄰接點(diǎn)及每個(gè)點(diǎn)的散度值代入離散泊松 方程，求解得到變化后交換器官三維曲面的紋理值，該紋理值與目標(biāo)人臉的紋理值無縫融
口 o離散泊松方程參見 Perez，P.，Gangnet，M.，Blake，A.的《Poisson ImageEditing》，出自 SIGGRAPH (2003) 313-31811。具體如下 式中，fp為p點(diǎn)的某一顏色通道融合后的紋理值，fq為p點(diǎn)鄰接點(diǎn)的紋理值，Np為 當(dāng)前點(diǎn)的四鄰域，Vpq為曲面上P點(diǎn)和q點(diǎn)顏色差，./；為目標(biāo)人臉模型P點(diǎn)的某一顏色通道 的紋理值。(6)對每對個(gè)體一個(gè)或多個(gè)基因位上的基因值進(jìn)行變異通過調(diào)整個(gè)體某個(gè)或多個(gè)基因位上的基因值生成新的個(gè)體。具體包括隨機(jī)生成 Y個(gè)隨機(jī)數(shù)bi (0 < b, < 1)，得到將要變異的基因位k = bi L，其中L為人臉三維曲面
上點(diǎn)的個(gè)數(shù)。對當(dāng)前基因位的幾何值進(jìn)行變異 式中，r為變異尺度系數(shù)，sk為當(dāng)前基因位的幾何值，s' k為當(dāng)前基因位變異后的 幾何值。對當(dāng)前基因位的紋理值進(jìn)行變異 式中，r為變異尺度系數(shù)，tk為當(dāng)前基因位的紋理值，t' k為當(dāng)前基因位變異后的 紋理值。(7)根據(jù)新產(chǎn)生的個(gè)體與已有種群中的個(gè)體的相似度，選擇保留或者拋棄新個(gè)體計(jì)算新個(gè)體的適應(yīng)度，若新個(gè)體的適應(yīng)度高于適應(yīng)度閾值(此處適應(yīng)度閾值為步 驟3確定的適應(yīng)度閾值e)，則保留該新個(gè)體；若新個(gè)體的適應(yīng)度低于適應(yīng)度閾值，則拋棄 該新個(gè)體。具體為a、計(jì)算新個(gè)體/_與其它新個(gè)體/丄的歐式距離^L，./:)，取最短歐式距離作 為在新個(gè)體群中的適應(yīng)度力Ci ；當(dāng)fit'new >權(quán)時(shí)保留該新個(gè)體，當(dāng)fit_ <沒拋棄該新個(gè)體； 由之得到新個(gè)體群QnOT。b、計(jì)算新個(gè)體群Qnew中每個(gè)個(gè)體與已有種群Q中所有個(gè)體的歐式距離，取最短 歐式距離作為新個(gè)體的適應(yīng)度力 當(dāng). 時(shí)保留該新個(gè)體，當(dāng),<0時(shí)拋棄該新個(gè)
y u newJ new
體；由之得到完成一次進(jìn)化后的新個(gè)體群。
(8)更新種群合并已有種群與進(jìn)化后的新個(gè)體群，對原有的人臉數(shù)據(jù)庫進(jìn)行擴(kuò)充。即將Q與 ^ ew'合并，更新后的種群為Q = ^ + 。將合并后的種群個(gè)體按著歐式距離從大到小的順序排序，取Q中前150個(gè)適應(yīng)度 最高的個(gè)體作為下一代的初始種群，重復(fù)以上步驟，直至擴(kuò)充后的人臉數(shù)據(jù)庫符合要求。本實(shí)施例遺傳算法迭代結(jié)束的條件是當(dāng)新產(chǎn)生的個(gè)體數(shù)小于15時(shí)，算法運(yùn)行結(jié) 束；當(dāng)新產(chǎn)生的個(gè)體數(shù)大于15時(shí)，繼續(xù)迭代。需要說明的是，本發(fā)明遺傳算法迭代結(jié)束的條件依據(jù)需要擴(kuò)充的樣本量而定，它 沒有固定的值。新產(chǎn)生的個(gè)體數(shù)量低于設(shè)定值時(shí)，結(jié)束遺傳算法的迭代。本發(fā)明說明書中未作詳細(xì)描述的內(nèi)容屬于本領(lǐng)域?qū)I(yè)技術(shù)人員公知技術(shù)。本發(fā)明不局限于權(quán)利要求和上述實(shí)施例所述及的內(nèi)容，只要是根據(jù)本發(fā)明的構(gòu)思 所創(chuàng)作出來的任何發(fā)明，都應(yīng)歸屬于本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
一種擴(kuò)充三維人臉數(shù)據(jù)庫的方法，其特征在于，包括以下步驟從已有的三維人臉數(shù)據(jù)庫中選取M個(gè)樣本，作為初始數(shù)據(jù)庫；將初始數(shù)據(jù)庫作為遺傳算法的初始種群，初始數(shù)據(jù)庫中的每個(gè)樣本作為初始種群中的一個(gè)個(gè)體；將初始種群中的所有個(gè)體隨機(jī)分成一組或多組，對不同兩組中的個(gè)體進(jìn)行隨機(jī)配對，并隨機(jī)交換每對個(gè)體的一個(gè)或多個(gè)器官；將交換后的器官與目標(biāo)人臉進(jìn)行縫合；對每對個(gè)體一個(gè)或多個(gè)基因位上的基因值進(jìn)行變異；根據(jù)新產(chǎn)生的個(gè)體與已有種群中的個(gè)體的相似度，選擇保留或者拋棄新個(gè)體；合并已有種群與進(jìn)化后的新個(gè)體群，對原有的人臉數(shù)據(jù)庫進(jìn)行擴(kuò)充；重復(fù)以上所有步驟，直至擴(kuò)充后的人臉數(shù)據(jù)庫符合要求。
2.根據(jù)權(quán)利要求1所述的擴(kuò)充三維人臉數(shù)據(jù)庫的方法，其特征在于，所述根據(jù)新產(chǎn)生 的個(gè)體與已有種群中的個(gè)體的相似度，選擇保留或者拋棄新個(gè)體的步驟，進(jìn)一步包括對已有種群和新個(gè)體群中的每個(gè)個(gè)體進(jìn)行編碼； 計(jì)算已有種群中每個(gè)個(gè)體的適應(yīng)度，確定新個(gè)體的適應(yīng)度閾值； 計(jì)算新個(gè)體的適應(yīng)度，若新個(gè)體的適應(yīng)度高于適應(yīng)度閾值，則保留該新個(gè)體；若新個(gè)體 的適應(yīng)度低于適應(yīng)度閾值，則拋棄該新個(gè)體。
3.根據(jù)權(quán)利要求2所述的擴(kuò)充三維人臉數(shù)據(jù)庫的方法，其特征在于， 所述對已有種群和新個(gè)體群中的每個(gè)個(gè)體進(jìn)行編碼的步驟，具體為 式中，t表示涉及交換的器官數(shù)，S表示每個(gè)器官區(qū)域的點(diǎn)數(shù)； 所述計(jì)算已有種群中每個(gè)個(gè)體的適應(yīng)度的步驟，具體為每個(gè)個(gè)體的適應(yīng)度為該個(gè)體 與其它個(gè)體之間的最短歐式距離，記 式中，fit(Xi)表示個(gè)體\的適應(yīng)度，Xj表示除Xi之外的三維人臉樣本，dis(Xi，Xj)表 示Xi和\之間的歐式距離，Q表示已有種群中的所有樣本；所述確定新個(gè)體的適應(yīng)度閾值的步驟，具體為取已有種群中所有個(gè)體最低的適應(yīng)度 作為新個(gè)體的適應(yīng)度閾值，記 式中，9表示新個(gè)體的適應(yīng)度閾值。
4.根據(jù)權(quán)利要求3所述的擴(kuò)充三維人臉數(shù)據(jù)庫的方法，其特征在于，所述計(jì)算新個(gè)體 的適應(yīng)度，選擇保留或者拋棄新個(gè)體的步驟，具體為計(jì)算新個(gè)體/二與其它新個(gè)體勺歐式距離而c/二’./丄取最短歐式距離作為/二在 新個(gè)體群中的適應(yīng)度力^ ;當(dāng)fit_ >沒時(shí)保留該新個(gè)體，當(dāng)< 0拋棄該新個(gè)體；由之得 到新個(gè)體群Qn6W ；計(jì)算新個(gè)體群中每個(gè)個(gè)體與已有種群^中所有個(gè)體的歐式距離，取最短歐式距離作為新個(gè)體的適應(yīng)度力Ciw ·當(dāng)力廣，>0時(shí)保留該新個(gè)體，當(dāng)痄’.<0時(shí)拋棄該新個(gè)體；由, ° new■ new之得到完成一次進(jìn)化后的新個(gè)體群。
5.根據(jù)權(quán)利要求1所述的擴(kuò)充三維人臉數(shù)據(jù)庫的方法，其特征在于，所述將初始種群 中的所有個(gè)體隨機(jī)分成一組或多組，對不同兩組中的個(gè)體進(jìn)行隨機(jī)配對，并隨機(jī)交換每對 個(gè)體的一個(gè)或多個(gè)器官的步驟，具體包括將初始種群中的M個(gè)個(gè)體隨機(jī)分成兩組，每組包含f個(gè)個(gè)體([χ]為不超過χ的最大整數(shù))，記為A組和B組；將A組和B組的個(gè)體隨機(jī)配對，A組中的個(gè)體只能與B組中的個(gè)體組合，B組中的個(gè)體 也只能與A組中的個(gè)體組合；記自然數(shù)1 5分別表示需要交換的器官為額頭、眼睛、鼻子、嘴、下巴，隨機(jī)生成氣個(gè)1 5之間的隨機(jī)數(shù)i (i = 1，2，3，4，5)，每對個(gè)體根據(jù)所生成的隨機(jī)數(shù)i的值交換相應(yīng) 的器官。
6.根據(jù)權(quán)利要求1所述的擴(kuò)充三維人臉數(shù)據(jù)庫的方法，其特征在于，所述將交換后的 器官與目標(biāo)人臉進(jìn)行縫合的步驟，包括幾何信息的縫合和紋理信息的縫合，對所述幾何信 息的縫合采用薄板樣條插值法。
7.根據(jù)權(quán)利要求6所述的擴(kuò)充三維人臉數(shù)據(jù)庫的方法，其特征在于，對所述紋理信息 的縫合，具體包括根據(jù)構(gòu)成曲面的三角網(wǎng)格，計(jì)算交換器官三維曲面上每個(gè)點(diǎn)的四個(gè)鄰接點(diǎn)鄰接點(diǎn)中 y值最大的鄰接點(diǎn)為當(dāng)前點(diǎn)的上鄰接點(diǎn)，鄰接點(diǎn)中y值最小的鄰接點(diǎn)為當(dāng)前點(diǎn)的下鄰接點(diǎn)， 鄰接點(diǎn)中χ值最大的鄰接點(diǎn)為當(dāng)前點(diǎn)的右鄰接點(diǎn)，鄰接點(diǎn)中χ值最小的鄰接點(diǎn)為當(dāng)前點(diǎn)的 左鄰接點(diǎn)；計(jì)算交換器官三維曲面上每個(gè)點(diǎn)的散度值；將交換器官三維曲面上每個(gè)點(diǎn)的四個(gè)鄰接點(diǎn)及每個(gè)點(diǎn)的散度值代入離散泊松方程，求 解得到變化后交換器官三維曲面的紋理值，該紋理值與目標(biāo)人臉的紋理值無縫融合。
8.根據(jù)權(quán)利要求1所述的擴(kuò)充三維人臉數(shù)據(jù)庫的方法，其特征在于，所述對每對個(gè)體 一個(gè)或多個(gè)基因位上的基因值進(jìn)行變異的步驟，具體包括—M —隨機(jī)生成-χ個(gè)隨機(jī)數(shù)、(0 < h < 1)，得到將要變異的基因位k = h · L，其中L為人臉三維曲面上點(diǎn)的個(gè)數(shù)；對當(dāng)前基因位的幾何值進(jìn)行變異 式中，r為變異尺度系數(shù)，sk為當(dāng)前基因位的幾何值，s' k為當(dāng)前基因位變異后的幾何值；對當(dāng)前基因位的紋理值進(jìn)行變異 式中，r為變異尺度系數(shù)，tk為當(dāng)前基因位的紋理值，t' k為當(dāng)前基因位變異后的紋理值。
9.根據(jù)權(quán)利要求1所述的擴(kuò)充三維人臉數(shù)據(jù)庫的方法，其特征在于，將合并后的種群 個(gè)體按著歐式距離從大到小的順序排序，取前M個(gè)適應(yīng)度最高的個(gè)體作為下一代的初始種 群，重復(fù)所有步驟，直至擴(kuò)充后的人臉數(shù)據(jù)庫符合要求。
10.根據(jù)權(quán)利要求1所述的擴(kuò)充三維人臉數(shù)據(jù)庫的方法，其特征在于，所述已有的三維 人臉數(shù)據(jù)庫采用BJUT-3D三維人臉數(shù)據(jù)庫。
全文摘要
一種擴(kuò)充三維人臉數(shù)據(jù)庫的方法，包括從已有的三維人臉數(shù)據(jù)庫中選取M個(gè)樣本，作為初始數(shù)據(jù)庫；將初始數(shù)據(jù)庫作為遺傳算法的初始種群，初始數(shù)據(jù)庫中的每個(gè)樣本作為初始種群中的一個(gè)個(gè)體；將初始種群中的個(gè)體隨機(jī)分組，對不同兩組中的個(gè)體進(jìn)行隨機(jī)配對，并隨機(jī)交換每對個(gè)體的器官；將交換后的器官與目標(biāo)人臉進(jìn)行縫合；對每對個(gè)體基因位上的基因值進(jìn)行變異；根據(jù)新產(chǎn)生的個(gè)體與已有種群中的個(gè)體的相似度，選擇保留或者拋棄新個(gè)體；合并已有種群與進(jìn)化后的新個(gè)體群，對原有的三維人臉數(shù)據(jù)庫進(jìn)行擴(kuò)充；重復(fù)以上所有步驟，直至擴(kuò)充后的人臉數(shù)據(jù)庫符合要求。本發(fā)明能夠?qū)崿F(xiàn)大規(guī)模、多樣性的數(shù)據(jù)擴(kuò)充，且實(shí)現(xiàn)簡單，數(shù)據(jù)擴(kuò)充效果好，運(yùn)算速度快，節(jié)約硬件成本。
文檔編號G06N3/12GK101877146SQ201010230899
公開日2010年11月3日 申請日期2010年7月15日 優(yōu)先權(quán)日2010年7月15日
發(fā)明者唐恒亮, 孫艷豐, 尹寶才, 蓋赟 申請人:北京工業(yè)大學(xué)