專(zhuān)利名稱(chēng)：根據(jù)面部圖像的形態(tài)信息生成合成面部圖像的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明與一種用于生成合成面部圖像的裝置和方法有關(guān)，特別地，與一種根據(jù)輸入面部圖像的形態(tài)信息而生成合成面部圖像的裝置和方法有關(guān)。
面部圖像通常被用作一種可充分展示個(gè)性并允許簡(jiǎn)單自然交流的中介。這種面部圖像可應(yīng)用于，諸如控制/安全系統(tǒng)的出入口、罪犯搜索/畫(huà)面合成系統(tǒng)、計(jì)算機(jī)接口、動(dòng)畫(huà)片及游戲。采用合成面部圖像技術(shù)的典型應(yīng)用是個(gè)性圖像的生成和化妝設(shè)計(jì)。
面部圖像的漫畫(huà)，作為一種個(gè)性圖像，是根據(jù)一個(gè)人的臉部特征而生成的。因此，一個(gè)面部圖像的漫畫(huà)不僅可以用于動(dòng)畫(huà)片或者娛樂(lè)節(jié)目的制造，代表一個(gè)人的符號(hào)或者按鈕，PC通信或者E-mail的一種特有符號(hào)，也可用作體現(xiàn)虛擬現(xiàn)實(shí)中一個(gè)用戶(hù)的化身。
當(dāng)一個(gè)職業(yè)畫(huà)家手工繪制一幅漫畫(huà)時(shí)，可以得到一幅自然和十分完美的漫畫(huà)，但是這種方法要花費(fèi)很長(zhǎng)的時(shí)間并且難保持一致的效果。因此，這種方法只局限于特殊條件。數(shù)字篩選程序的處理技術(shù)可用于光線(xiàn)和背景有限的情況下的圖像采集，這樣對(duì)于簡(jiǎn)單的二維圖像，其中物體難于從背景分離出來(lái)，輸出的圖像質(zhì)量依賴(lài)于環(huán)境中的光線(xiàn)或者其他條件的改變。目前還沒(méi)有提出實(shí)施這技術(shù)的合適的方法。此外，由于在傳統(tǒng)的漫畫(huà)制作方法中關(guān)于物體的形態(tài)信息不是獨(dú)立生成的，要進(jìn)行一種修正操作，例如擴(kuò)大一幅已生成的漫畫(huà)的面部特征，或者改變一種面部表情，是十分的復(fù)雜的，并且想還原一幅面部圖像或者將已生成的漫畫(huà)擴(kuò)展為三維的形式幾乎是不可能辦到的。
在化妝設(shè)計(jì)中，傳統(tǒng)上用戶(hù)根據(jù)已化妝的模型間接地確定一個(gè)風(fēng)格。最近，引進(jìn)了一種利用計(jì)算機(jī)的化妝方法。這處方法允許用戶(hù)將產(chǎn)品以各種方式應(yīng)用于各種樣本模型圖像，但是不能提供直接對(duì)用戶(hù)的面部圖像進(jìn)行化妝的自然效果。換言之，即使采用相同的化妝品，顏色也可能隨各種不同的和復(fù)雜的條件，諸如受照明以及面部形態(tài)的特點(diǎn)影響的陰影和反射光線(xiàn)，而變化，因此不可能從一個(gè)樣本模型圖像的化妝效果中得到自然的用戶(hù)面部圖像的化妝效果。
為達(dá)到本發(fā)明的目標(biāo)，本發(fā)明提供了一種根據(jù)一個(gè)輸入的面部圖像而合成一個(gè)新面部圖像的裝置。該裝置包括一個(gè)用戶(hù)接口裝置，用于接收面部圖像信息和用戶(hù)的控制命令、將這些命令傳輸?shù)綀D像處理裝置、從圖像處理裝置接收合成面部圖像信息、并根據(jù)用戶(hù)控制命令輸出或者存儲(chǔ)已合成的面部圖像信息；和一個(gè)圖像處理裝置，用于從用戶(hù)接口裝置所傳輸?shù)拿娌繄D像信息中提取關(guān)于輸入面部圖像的形態(tài)信息和質(zhì)感信息，其形態(tài)信息表示為一關(guān)于預(yù)定的參考圖像變形的畫(huà)面，其質(zhì)感信息是關(guān)于繪制在參考圖像上的輸入圖像的光線(xiàn)和顏色的信息，并且根據(jù)用戶(hù)命令利用輸入面部圖像的形態(tài)信息，變換從質(zhì)感圖像中選擇的一幅質(zhì)感圖像，此圖像存儲(chǔ)于的圖像數(shù)據(jù)庫(kù)中并且與參考圖像的形態(tài)相同，或者變換通過(guò)對(duì)所選質(zhì)感圖像和反應(yīng)所提取質(zhì)感信息的質(zhì)感圖像進(jìn)行加權(quán)求和而生成的圖像，從而生成一個(gè)合成面部圖像。
本發(fā)明也提供了一種根據(jù)輸入的面部圖像的形態(tài)信息而合成一個(gè)新面部圖像的方法。該方法包括信息如下步驟(a)從輸入的面部圖像信息中的提取關(guān)于輸入面部圖像的形態(tài)信息以及質(zhì)感信息，其形態(tài)信息表示為一關(guān)于預(yù)定的參考圖像變形的畫(huà)面，其質(zhì)感信息是關(guān)于繪制在參考圖像上的輸入圖像的光線(xiàn)和顏色的信息；和(b)根據(jù)用戶(hù)命令利用輸入面部圖像的形態(tài)信息，變換從質(zhì)感圖像中選擇的一幅質(zhì)感圖像，此圖像存儲(chǔ)于的圖像數(shù)據(jù)庫(kù)中并且與參考圖像的形態(tài)相同，或者變換通過(guò)對(duì)所選質(zhì)感圖像和反應(yīng)所提取質(zhì)感信息的質(zhì)感圖像進(jìn)行加權(quán)求和而生成的圖像，從而生成一個(gè)合成面部圖像。


圖1A所示為本發(fā)明的合成面部圖像生成裝置第一實(shí)施例的功能配置框圖；圖1B所示為本發(fā)明的合成面部圖像生成裝置第二實(shí)施例的功能配置框圖；圖2所示為實(shí)施本發(fā)明第一和第二實(shí)施例的計(jì)算機(jī)系統(tǒng)的機(jī)械配置框圖；圖3所示為本發(fā)明的生成合成面部圖像過(guò)程的基本流程圖；圖4所示為如圖3所示的面部信息提取過(guò)程的具體流程圖；圖5所示為根據(jù)本發(fā)明的生成合成面部圖像裝置所采用的面部圖像合成方法而生成一幅漫畫(huà)圖像過(guò)程的流程圖；圖6所示為根據(jù)本發(fā)明的生成合成面部圖像的裝置所采用的樣本圖像替換方法而生成一幅漫畫(huà)圖像過(guò)程的流程圖；圖7所示為本發(fā)明生成合成面部圖像裝置所采用的化妝設(shè)計(jì)過(guò)程的流程圖。
圖1A和圖1B分別是本發(fā)明的根據(jù)面部圖像的形態(tài)信息合成面部圖像生成裝置的第一實(shí)施例1和第二實(shí)施例40的框圖。第一實(shí)施例，如圖1所示，包括一個(gè)或者多個(gè)用戶(hù)接口裝置10a和10b，一個(gè)通信網(wǎng)絡(luò)20，以及一個(gè)圖像處理裝置30，因此運(yùn)行在網(wǎng)絡(luò)環(huán)境中。第二實(shí)施例40，如圖2所示，包括一個(gè)用戶(hù)接口裝置50和一個(gè)圖像處理裝置60，因此運(yùn)行在一個(gè)獨(dú)立的計(jì)算機(jī)系統(tǒng)中。
第一實(shí)施例1及第二實(shí)施例40的用戶(hù)接口裝置10a和10b，和圖像處理裝置30實(shí)現(xiàn)為一計(jì)算機(jī)系統(tǒng)70，該系統(tǒng)包括一個(gè)計(jì)算機(jī)72，如圖2所示，具有至少一個(gè)中央處理單元74和一個(gè)內(nèi)存單元73，一個(gè)輸入裝置75，以及一個(gè)輸出裝置76。計(jì)算機(jī)系統(tǒng)70的主要組件通過(guò)一個(gè)或多個(gè)總線(xiàn)結(jié)構(gòu)77實(shí)現(xiàn)彼此的聯(lián)系。
CPU74包括一個(gè)算術(shù)邏輯單元(ALU)741以執(zhí)行一個(gè)算術(shù)操作和一個(gè)邏輯操作，一個(gè)寄存器組742用以臨時(shí)存儲(chǔ)數(shù)據(jù)和命令，一個(gè)控制單元743以控制計(jì)算機(jī)系統(tǒng)70的操作。本發(fā)明所采用的CPU74并不局限于由一個(gè)特殊的公司所制造特定裝置，而可以是具有以上基本結(jié)構(gòu)的任何款的處理器。
內(nèi)存單元73包括一個(gè)高速主存731和一個(gè)輔存732以長(zhǎng)期存儲(chǔ)數(shù)據(jù)。主存731可以包括一個(gè)隨機(jī)訪問(wèn)存儲(chǔ)(RAM)半導(dǎo)體芯片和一個(gè)只讀存儲(chǔ)(ROM)半導(dǎo)體芯片。輔存732可以包括一個(gè)軟盤(pán)，一個(gè)硬盤(pán)，一個(gè)CD-ROM，一個(gè)閃存，以及一個(gè)采用電子、電磁、光或者其他記錄介質(zhì)來(lái)存儲(chǔ)數(shù)據(jù)的裝置。主存731可以包括一個(gè)視頻顯示內(nèi)存用于通過(guò)一個(gè)顯示裝置來(lái)顯示圖像。這一點(diǎn)對(duì)于精通本發(fā)明領(lǐng)域的人員應(yīng)理解為內(nèi)存單元73可以包括各種具有不同存儲(chǔ)特牲的可替換組件。
輸入裝置75可包括一個(gè)鍵盤(pán)，一個(gè)鼠標(biāo)，以及一個(gè)物理轉(zhuǎn)換器(例如，一個(gè)麥克風(fēng))。輸出裝置76可以包括一個(gè)顯示單元，一個(gè)打印機(jī)，以及一個(gè)物理轉(zhuǎn)換器(例如，一個(gè)揚(yáng)聲器)。或者，一個(gè)網(wǎng)絡(luò)接口，一個(gè)調(diào)制解調(diào)器，或者可以用作輸入/輸出裝置的類(lèi)似裝置。
計(jì)算機(jī)系統(tǒng)70由一個(gè)操作系統(tǒng)和至少一個(gè)應(yīng)用程序組成。操作系統(tǒng)是控制計(jì)算機(jī)系統(tǒng)70的運(yùn)行和資源分配的一系列軟件。應(yīng)用程序是一系列，通過(guò)操作系統(tǒng)利用可訪問(wèn)的計(jì)算機(jī)資源而執(zhí)行用戶(hù)要求任務(wù)的軟件。該軟件存儲(chǔ)在內(nèi)存單元73中。因此，本發(fā)明利用計(jì)算機(jī)合成面部圖像的裝置可實(shí)現(xiàn)為計(jì)算機(jī)系統(tǒng)70和一個(gè)或者多個(gè)安裝并運(yùn)行在計(jì)算機(jī)系統(tǒng)70中應(yīng)用程序的結(jié)合。
如圖1A所示的第一實(shí)施例與圖1B所示的第二例40，除第一實(shí)施例1進(jìn)一步包括通過(guò)通信網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸?shù)耐ㄐ盘幚砥?4和31外，具有相同的功能。因此，本發(fā)明將以第一實(shí)施為基礎(chǔ)來(lái)進(jìn)行說(shuō)明。
參考圖1A，每個(gè)用戶(hù)接口裝置10a和10b接收發(fā)自用戶(hù)的面部圖像信息和一條用戶(hù)控制命令，接收一條相應(yīng)于用戶(hù)控制命令的合成圖像，并修正、存儲(chǔ)或者輸出合成圖像。每個(gè)用戶(hù)接口裝置10a和10b包括一個(gè)圖像信息輸入單元11，一個(gè)用戶(hù)命令輸入單元12，一個(gè)輸入/輸出控制器13，一個(gè)通信處理器14，一個(gè)圖像修正單元15，一個(gè)圖像存儲(chǔ)單元16，以及一個(gè)輸出單元17。
圖像信息輸入單元11接收自用戶(hù)的一個(gè)面部圖像信息，并且可以通過(guò)諸如掃描儀或者數(shù)字相機(jī)的方式來(lái)實(shí)現(xiàn)。此外，圖像信息輸入單元11可以包括若干相機(jī)，以接收以不同角度所采集的圖像，和一個(gè)相機(jī)輔助裝置，諸如一個(gè)光線(xiàn)調(diào)節(jié)器。由于圖像信息輸入單元11作為本發(fā)明的一個(gè)組件，應(yīng)從功能角度考慮，所以圖像信息輸入單元11應(yīng)被廣泛的解釋為不僅包括如圖2所示的輸入裝置75，而且包括如圖2所示預(yù)先存儲(chǔ)面部圖像信息的輔存732。
用戶(hù)命令輸入單元12接收自用戶(hù)的用戶(hù)控制命令，(例如，用戶(hù)信息，一個(gè)面部信息合成控制信號(hào)，以及一個(gè)面部修正控制信號(hào))。用戶(hù)命令輸入單元12可以實(shí)現(xiàn)為一具體裝置，諸如鍵盤(pán)、鼠標(biāo)或者觸摸屏幕，用戶(hù)可通過(guò)它來(lái)輸入一個(gè)命令或者信息。
輸入/輸出控制器13控制面部圖像信息通過(guò)圖像信息輸入單元11的輸入，也控制用戶(hù)命令通過(guò)用戶(hù)命令輸入單元12的輸入，以及控制通過(guò)通信處理器14將用戶(hù)命令傳輸至圖像處理裝置30。輸入/輸出控制器13也根據(jù)用戶(hù)控制命令接收?qǐng)D像處理裝置30所合成的新圖像信息，并且控制新圖像信息的修正，存儲(chǔ)或者輸出。
通信處理器14與輸入/輸出控制器13相連，并且通過(guò)通信網(wǎng)絡(luò)20傳輸數(shù)據(jù)到或者接收數(shù)據(jù)自圖像處理裝置30。例如，通信處理器14可以實(shí)現(xiàn)為一個(gè)裝置，該裝置包括一個(gè)串/并端口，一個(gè)通用串行總線(xiàn)(USB)端口或者一個(gè)連接Internet的IEEE1394端口，以及一個(gè)Ethernet網(wǎng)卡來(lái)通過(guò)Internet傳輸和接收包括圖像信息的數(shù)據(jù)。
圖像修正單元15與輸入/輸出控制器13相連，并且根據(jù)通過(guò)用戶(hù)命令輸入單元12所輸入的用戶(hù)控制命令，根據(jù)圖像處理裝置30合成或者傳輸?shù)膱D像信息對(duì)圖像的角度、大小或者質(zhì)感進(jìn)行修正。
圖像存儲(chǔ)單元16對(duì)應(yīng)于如圖2所示的輔存732，并且存儲(chǔ)由圖像處理裝置30合成并且傳輸?shù)男聢D像信息，或者存儲(chǔ)由圖像修正單元15在輸入/輸出控制器13控制下所修正的圖像信息。
輸出單元17與如圖2所示的輸出裝置76相對(duì)應(yīng)。在輸入/輸出控制器的控制下，輸出單元17顯示當(dāng)圖像處理裝置30合成一個(gè)新的圖像時(shí)所要求的，用于接收用戶(hù)控制命令的用戶(hù)接口顯示信息，并且顯示或者打印新的由圖像處理裝置30所合成和或者所傳輸?shù)膱D像信息，或者由圖像修正單元15所修正的圖像信息。
如圖1A所示的本發(fā)明的第一實(shí)施例，通信網(wǎng)絡(luò)20在一個(gè)或者多個(gè)是用戶(hù)接口裝置10a和10b以及圖像處理裝置30之間傳輸數(shù)據(jù)。通信網(wǎng)絡(luò)20可以實(shí)現(xiàn)為各種類(lèi)型的網(wǎng)絡(luò)，例如有線(xiàn)/無(wú)線(xiàn)Internet，局域網(wǎng)絡(luò)以及私人線(xiàn)路。
在如圖1所示的本發(fā)明的第一實(shí)施例1中，圖像處理裝置30處理自一個(gè)或者多個(gè)用戶(hù)接口裝置10a和10b所傳輸?shù)膱D像信息，相應(yīng)于用戶(hù)控制命令根據(jù)圖像信息合成一個(gè)新圖像，并且將合成的圖像傳輸一個(gè)對(duì)應(yīng)的用戶(hù)接口裝置。圖像處理裝置30包括一個(gè)通信處理器31，圖像處理器32，以及一個(gè)圖像數(shù)據(jù)庫(kù)(DB)33。
通信處理器31傳輸數(shù)據(jù)至并且接收數(shù)據(jù)自一個(gè)或者多個(gè)用戶(hù)接口裝置10a和10b。相應(yīng)于每個(gè)用戶(hù)接口裝置10a和10b的通信處理器14，通信處理器31可以實(shí)現(xiàn)為一個(gè)裝置，包括一個(gè)Ethernet網(wǎng)卡，一個(gè)串/并行端口，一個(gè)通用串行總線(xiàn)(USB)端口，或者一個(gè)連接Internet的IEEE1394端口，通過(guò)Internet傳輸并接收包括圖像信息的數(shù)據(jù)。
圖像處理器32從用戶(hù)接口裝置10a和10b所傳輸?shù)拿娌繄D像信息中，提取關(guān)于一個(gè)輸入面部圖像的形態(tài)信息以及質(zhì)感信息，其形態(tài)信息表現(xiàn)為對(duì)參考圖像的變形畫(huà)面，其質(zhì)感信息，即繪制在參考圖像上的輸入面部圖像的顏色或者亮度信息，分析來(lái)自用戶(hù)接口裝置10a和10b的用戶(hù)控制命令以解釋用戶(hù)請(qǐng)求，根據(jù)所解釋的用戶(hù)要求，利用提取到的形態(tài)信息，提取到的質(zhì)感信息以及存儲(chǔ)在圖像DB32中的各種圖像，合成一幅新的面部圖像。圖像處理器32包括一個(gè)面部信息提取器321，一個(gè)面部圖像合成器322，一個(gè)部分圖像替代單元323，以及一個(gè)附件圖像增加單元324。
面部信息提取器321從用戶(hù)接口裝置10a和10b所傳輸?shù)拿娌繄D像信息中，提取關(guān)于一個(gè)輸入面部圖像的形態(tài)信息以及質(zhì)感信息，其形態(tài)信息表現(xiàn)為對(duì)參考圖像的變形畫(huà)面，其質(zhì)感信息，即利用形態(tài)信息繪制在參考圖像上的輸入面部圖像的顏色或者亮度信息。
面部圖像合成器322根據(jù)用戶(hù)控制命令，利用面部信息提取器321所提取的關(guān)于輸入圖像的形態(tài)信息，通過(guò)將存儲(chǔ)于圖像DB33中的質(zhì)感圖像中所選擇的一幅質(zhì)感圖像進(jìn)行變換，或者進(jìn)行圖像變換，該圖像是通過(guò)對(duì)選擇的質(zhì)感圖像和由信息提取器321所提取的反應(yīng)質(zhì)感信息質(zhì)感的圖像進(jìn)行加權(quán)求和而生成的，而合成一個(gè)新的面部圖像。
部分圖像替換單元323替換部分或者整個(gè)的新面部圖像，該新面部圖像由面部圖像合成器322合成，其樣本圖像具有與存儲(chǔ)在圖像DB35中的樣本圖像最高的相似性。
附件圖像添加單元324對(duì)由面部圖像合成器322所合成的面部圖像添加一個(gè)附件的圖像，該圖像是根據(jù)用戶(hù)控制命令是存儲(chǔ)在圖像DB32中的圖像附加圖像中選取的。
圖像DB33預(yù)先在圖像處理器32中，存儲(chǔ)處理輸入圖像所需的圖像信息。圖像DB33包括一個(gè)面部模型DB331，一個(gè)附件圖像DB332，一個(gè)樣本圖像DB333，一個(gè)化妝圖像DB334，以及一個(gè)附件圖像DB335。
面部模型DB331存儲(chǔ)各種類(lèi)型的信息(形態(tài)平均值、質(zhì)感平均值，形態(tài)特征向量，以及質(zhì)感特征向量，這些信息是參考各種面部圖像模型而得到的)，此信息用于根據(jù)一個(gè)參考圖像，從一個(gè)面部信息提取器321內(nèi)的輸入面部圖像中，提取形態(tài)信息和質(zhì)感信息。存儲(chǔ)在面部模型DB331中的各種類(lèi)型的信息將在說(shuō)明圖4時(shí)給予更加細(xì)致的說(shuō)明。
附加圖像DB332存儲(chǔ)關(guān)于漫畫(huà)圖像的信息，該漫畫(huà)圖像與參考圖像具有相同的形態(tài)，但不同的類(lèi)型質(zhì)感信息，諸如動(dòng)畫(huà)風(fēng)格，速寫(xiě)風(fēng)格以及水彩打印風(fēng)格。
樣本圖像DB333存儲(chǔ)有關(guān)各種漫畫(huà)樣本圖像的信息，該信息包括面部圖像上每個(gè)具體部位的形態(tài)及面部表情的改變。
化妝圖像DB334存儲(chǔ)有關(guān)化妝設(shè)計(jì)圖像的信息，該化妝圖像具有與參考圖像相同的形態(tài)，并且用表示各種樣本化妝的質(zhì)感信息來(lái)表達(dá)。
附件圖像DB335存儲(chǔ)關(guān)于可加到合成面部圖像上的信息，諸如眼鏡、發(fā)型、帽子、耳朵、以及軀體圖像。
在本發(fā)明如圖1A所示的第一實(shí)施例中，一個(gè)或者多個(gè)用戶(hù)接口裝置10a及10b通過(guò)通信處理器14和31以及通信網(wǎng)絡(luò)20，連接至一個(gè)圖像處理裝置30上?；蛘?，如圖1B所示的本發(fā)明的第二實(shí)施例，用戶(hù)接口裝置50以及圖像處理裝置60可以結(jié)合為一體并運(yùn)行在一個(gè)單獨(dú)的計(jì)算機(jī)系統(tǒng)70中。
本發(fā)明的根據(jù)面部圖像的形態(tài)信息而生成合成面部圖像的裝置1和40的基本操作將結(jié)合圖3來(lái)加以說(shuō)明。
在步驟S10中，圖像處理器32或者62的面部信息提取器321或者621，接收來(lái)自用戶(hù)接口裝置10a，10b或者50的一個(gè)輸入面部圖像，并且在步驟S11中，根據(jù)預(yù)定的參考圖像提取輸入面部圖像的形態(tài)信息和繪制在參考圖像上的輸入面部圖像的質(zhì)感信息，即顏色或者亮度信息。
在步驟S12中，圖像處理器32或者62的面部圖像合成器322或者622，根據(jù)所接收的發(fā)自用戶(hù)接口裝置10a、10b或者50的一條用戶(hù)控制命令(一個(gè)面部圖像合成控制信號(hào))，利用由面部信息提取器所提取的基于參考圖像的質(zhì)感信息以及輸入面部圖像的形態(tài)信息，合成一個(gè)新的面部圖像。換言之，面部圖像合成器322或者622利用從輸入面部圖像中提取的形態(tài)信息來(lái)恢復(fù)輸入的面部圖像的形態(tài)，并且利用已提取的質(zhì)感信息來(lái)扭曲所恢復(fù)的輸入面部圖像的形態(tài)，因而合成一個(gè)用戶(hù)的面部圖像。其中，通過(guò)適當(dāng)?shù)母淖兓蛘咛鎿Q參考圖像的質(zhì)感信息，該質(zhì)感信息用以合成一個(gè)面部圖像，可以合成具有不同的輸入面部圖像形態(tài)的新面部圖像。
合成的面部圖像被傳輸?shù)接脩?hù)接口裝置10a，10b或者50，并且通過(guò)輸出單元17或者57而顯示。在步驟S13中，用戶(hù)接口裝置10a，10b或者50的用戶(hù)命令輸入單元12或者52自用戶(hù)接收一條用戶(hù)控制命令，該命令用于表示是否改變已顯示的面部圖像的形態(tài)信息。
當(dāng)用戶(hù)控制命令指示改變形態(tài)信息時(shí)，輸入面部圖像的形態(tài)信息根據(jù)用戶(hù)控制命令(如，一個(gè)指示部分轉(zhuǎn)換的控制信號(hào)，諸如通過(guò)用鼠標(biāo)來(lái)拖拽該部分而擴(kuò)大或者減小一個(gè)顯示的面部圖像的具體部分，或者一個(gè)指示徹底轉(zhuǎn)變的控制信號(hào)，諸如利用滑塊來(lái)擴(kuò)大整個(gè)面部)而改變，并且操作回到步驟S12以合成一個(gè)新的面部圖像。
當(dāng)在S13步驟中用戶(hù)不想改變形態(tài)信息時(shí)，在步驟S14中，附件圖像添加單元324或者624根據(jù)一個(gè)外加的用戶(hù)控制命令，對(duì)在步驟S12中所合成的面部圖像添加存儲(chǔ)在圖像DB33或者63中的各種附件圖像，或者部分圖像替換單元323或者623，利用存儲(chǔ)在圖像DB33或者63中的各種樣本圖像，替換在步驟S12中所合成的面部圖像的特殊部分，因而對(duì)所合成的面部圖像添加各種額外的效果。
因此，由圖像處理裝置30或者60所合成的面部圖像可傳輸?shù)接脩?hù)接口裝置10a，10b或者50并且顯示給用戶(hù)。在步驟S15，圖像修正單元15或者55根據(jù)用戶(hù)通過(guò)用戶(hù)命令輸入單元12或者52所接收的控制命令(一條圖像修正控制信號(hào))，最后修正合成的面部圖像。由圖像修正單元15或者55所修正的合成面部圖像存儲(chǔ)在圖像存儲(chǔ)單元16或者56中，或者在步驟S16由單元17或者57而顯示或者打印。
如圖3所示的面部信息提取步驟S11在被歸納為從已知面部模型的輸入面部圖像中獲得形態(tài)信息Sin和質(zhì)感信息Tin的一個(gè)程序。
本發(fā)明中，面部圖像的形態(tài)信息表示為相對(duì)于參考圖像的變形畫(huà)面，且面部圖像的質(zhì)感信息表示為繪制在參考圖像上的輸入圖像的顏色或者亮度信息。換言之，面部圖像的形態(tài)信息S被定義為參考圖像上每一點(diǎn)pi(i＝1，…，n；n為參考圖像上的預(yù)定點(diǎn)數(shù))和面部圖像上每個(gè)對(duì)應(yīng)點(diǎn)之間的距離。面部圖像的質(zhì)感信息T可定義為輸入圖像上的每一點(diǎn)相對(duì)于參考圖像上每一對(duì)應(yīng)點(diǎn)pi(i＝1，…，n)的顏色或者亮度值。當(dāng)利用一個(gè)形態(tài)平均值和質(zhì)感平均值而得到的一個(gè)合成圖像被用于本發(fā)明的一個(gè)實(shí)施例的參考圖像時(shí)，可用于本發(fā)明的參考圖像并不局限于以上實(shí)施例。任何預(yù)先準(zhǔn)備的m圖像中之一都可被用作參考圖像。
存儲(chǔ)在面部模型DB331或者631中的面部模型是根據(jù)以下程序而預(yù)先得到的。首先，形態(tài)信息Sj(j＝1，…，m)以及質(zhì)感信息Tj(j＝1，…，m)是從預(yù)先準(zhǔn)備的基于參考圖像的m個(gè)面部圖像中提取得到的。由此，可以得由每一點(diǎn)pi(i＝1，…，n)的形態(tài)信息Sj(j＝1，…，m)的平均值所構(gòu)成的形態(tài)平均值S，以及由每一點(diǎn)pi(＝1，…，n)上的質(zhì)感平均值所構(gòu)成的質(zhì)感平均值T。這樣可以得到形態(tài)差S~j=Sj-S‾(j=1,···,m)]]>的協(xié)方差，以及質(zhì)感差T~j=Tj-T‾(j=1,···,m)]]>的協(xié)方差。
通過(guò)對(duì)這些得到的數(shù)值作主分量(主要指標(biāo))分析，而得到m個(gè)面部模型的協(xié)方差的形態(tài)特征向量Si(i＝1，…，m-1)，以及質(zhì)感特征向量ti(i＝1，…，m-1)。因此，根據(jù)形態(tài)特征向量Si(i＝1，…，m-1)，以及質(zhì)感特征向量ti(i＝1，…，m-1)一個(gè)面部圖像可用方程(1)來(lái)表達(dá)S=S‾+Σi=1m-1αisi,T=T‾+Σi=1m-1βiti---(1)]]>(其中，α→,β→∈Rm-1,]]>且m是面部模型數(shù))通過(guò)此程序，形態(tài)平均值S，質(zhì)感平均值T，形態(tài)特征向量Si(i＝1，…，m-1)，以及質(zhì)感特征向量ti(i＝1，…，m-1)被存儲(chǔ)在面部模型DB331或者631中，并且用于輸入面部的形態(tài)信息以及質(zhì)感信息的提取。
如圖3所示面部信息提取步驟S11可以參考圖4得到更加細(xì)致的說(shuō)明。在步驟S111中，如圖4所示，輸入面部圖像是歸一化的。更具體地，預(yù)定的特征點(diǎn)(例如，每個(gè)瞳孔的中心點(diǎn)和一個(gè)嘴唇的中心點(diǎn))是從一個(gè)輸入面部圖像中提取的，然后輸入面部圖像被上、下、左、右移動(dòng)，并且調(diào)節(jié)其大小，以便輸入面部圖像的已提取特征點(diǎn)的位置處于對(duì)應(yīng)參考圖像的特征點(diǎn)上。這種的圖像歸一化步驟可通過(guò)預(yù)定的軟件而執(zhí)行，或者可以根據(jù)由用戶(hù)所輸入的一個(gè)控制命令而手動(dòng)執(zhí)行。由于其具體分析程序超出了本發(fā)明的范圍，省略其說(shuō)明。
步驟S112估算了形態(tài)信息。更特別地，對(duì)在S111步所得到的輸入圖像進(jìn)行和參考圖像(或者一個(gè)具有與參考圖像合成質(zhì)感估算圖像相同的形態(tài)的合成質(zhì)感估算圖像Tin_k)應(yīng)用一種分層、梯度光流算法(Lucas和Kanade)來(lái)處理，由此根據(jù)參考圖像估算形態(tài)信息Sin_pre_l(已歸一化的輸入面部圖像和相應(yīng)參考圖像上點(diǎn)的之間的距離位置差值)。通過(guò)采用分層，梯度光流算法，兩個(gè)類(lèi)似的圖像間的對(duì)應(yīng)可利用兩圖像強(qiáng)度的一種光流來(lái)表達(dá)。
根據(jù)分層，梯度光流算法，在步驟S112所得到的形態(tài)信息Sin_pre_l包括輸入圖像的光或陰影而引起的一個(gè)誤差值。因此，在步驟S113中，對(duì)形態(tài)信息Sin_pre_l進(jìn)行了補(bǔ)償。更具體地，通過(guò)隨之對(duì)形態(tài)特征向量Si(i＝1，…，m-1)進(jìn)行線(xiàn)性分解以及對(duì)形態(tài)信息Sin_pre_l進(jìn)行線(xiàn)性疊加而實(shí)現(xiàn)對(duì)誤差值的補(bǔ)償，從而得到誤差補(bǔ)償形態(tài)信息Sin_correct_l。其中，為增加橫向自由度，優(yōu)先地將步驟S112得到的估算形態(tài)信息Sin_pre_l，和步驟S113得到的補(bǔ)償形態(tài)信息Sin_correct_l的加權(quán)求和Sin_l作為形態(tài)信息的結(jié)果，如其計(jì)算方法如方程(2)所示Sin_l＝W·Sin_pre_l+(1-W)·Sin_correct_l(2)(其中，0≤W≤1)在步驟S114中，進(jìn)行了逆變換。尤其特別地，利用在步驟S113中得到的形態(tài)信息Sin_l，輸入面部圖像被轉(zhuǎn)變成參考圖像。這個(gè)過(guò)程稱(chēng)為“逆變換”。
在步驟S115根據(jù)質(zhì)感特征向量ti(i＝1，…，m-1)，對(duì)反向變換圖像的質(zhì)感信息進(jìn)行了線(xiàn)性分解，然后對(duì)線(xiàn)性分解的結(jié)果進(jìn)行了線(xiàn)性疊加，從而得到輸入面部圖像的質(zhì)感信息Tin_l。
由此，步驟S112所得到的歸一化的輸入面部圖像，被步驟S114轉(zhuǎn)換成參考圖像的輸入圖像替換，而參考圖像被與參考圖像具有相同形態(tài)的質(zhì)感信息所替換。然后，重復(fù)S112步至S116步，因而得到Sin_k(k＝1，…)。換言之，在第k次重復(fù)時(shí)，步驟S112和S113中的Sin_l、Sin_pre_l、以及Sin_correct_l分別被Sin_k、Sin_pre_k、以及Sin_correct_k替換，而步驟S114中的Sin_l被Sin(=Sin_l+···+Sin_k)]]>替換。此外，S115步中的Tin_l被Tin_k替換。最后一次循環(huán)得到的Tin_l成為輸入面部信息最終的質(zhì)感信息Tin。這種循環(huán)重復(fù)執(zhí)行，直到Sin_k的向量?！琒in_k‖小于預(yù)定的下限值，或者直到重復(fù)數(shù)等于或者大于預(yù)定數(shù)目，因此在S117步中得到根據(jù)參考圖像而計(jì)算的輸入圖像信息的形態(tài)信息Sin。
因此，可利用根據(jù)參考則計(jì)算出的輸入面部圖像的形態(tài)信息Sin以及質(zhì)感信息Tin，而存儲(chǔ)輸入面部圖像。換言之，根據(jù)參考圖像而計(jì)算得到的輸入面部圖像的質(zhì)感信息Tin，根據(jù)由參考圖像而計(jì)算得到的輸入面部圖像的形態(tài)信息Sin而變換，從而合成輸入面部圖像。
這種合成圖像的特點(diǎn)的典型實(shí)施例即面部圖像的漫畫(huà)生成和化妝設(shè)計(jì)。面部圖像的漫畫(huà)生成方法可分為面部圖像合成方法以及樣本圖像替換方法。
相應(yīng)于本發(fā)明合成面部圖像生成裝置1和40所采用的，利用面部圖像合成方法，根據(jù)面部圖像的形態(tài)信息而生成漫畫(huà)圖像的程序?qū)⒖紙D5給予于說(shuō)明。
在S20步驟，面部處理器32或者62的面部信息提取器321或者621從用戶(hù)接口裝置10a，10b或者50處接收一個(gè)輸入面部圖像，并且在步S21根據(jù)預(yù)定的參考圖像提取輸入面部圖像形態(tài)信息Sin和質(zhì)感信息Tin。
因而，面部圖像合成器322或者622通過(guò)用戶(hù)接口裝置10a，10b或者50，向用戶(hù)呈現(xiàn)存儲(chǔ)在圖像DB332或者632中的不同風(fēng)格的漫畫(huà)圖像(例如，一個(gè)動(dòng)畫(huà)風(fēng)格，一種速寫(xiě)風(fēng)格，一種水彩打印風(fēng)格)，這樣用戶(hù)能夠在S22步選擇喜歡的漫畫(huà)風(fēng)格。其中，存儲(chǔ)在附加圖像DB332或者632中的不同風(fēng)格的漫畫(huà)圖像具有與參考圖像相同的形態(tài)。
在步驟S23中，面部圖像合成器322或者622，利用輸入面部圖像的形態(tài)信息Sin，合成被選風(fēng)格的漫畫(huà)圖像或者一個(gè)圖像，此圖像是通過(guò)對(duì)被選漫畫(huà)圖像和反應(yīng)輸入面部圖像的質(zhì)感信息Tin的圖像進(jìn)行加權(quán)求和而生成的，因而生成一個(gè)反應(yīng)用戶(hù)面部形態(tài)信息的漫畫(huà)圖像。
在步驟S24中，合成漫畫(huà)圖像被傳輸?shù)接脩?hù)接口裝置10a，10b或者50并且通過(guò)輸出單元17或者57而顯示，且用戶(hù)接口裝置10a，10b或者50的用戶(hù)命令輸入單元12或者52接收一個(gè)用戶(hù)控制命令，該命令用于指示是否改變所顯示的用戶(hù)漫畫(huà)圖像的形態(tài)信息。
當(dāng)用戶(hù)控制命令指示改變形態(tài)信息時(shí)，形態(tài)信息Sin根據(jù)用戶(hù)控制命令(例如，一條指示部分改變的控制信號(hào)，如通過(guò)用鼠標(biāo)拖拽該部分而擴(kuò)大或者減少一個(gè)所顯示的面部圖像的特殊部分，或者一條控制信號(hào)指示整體改變，諸如利用滑塊而擴(kuò)大整個(gè)面部)而改變，并且操作回到S22步以合成一個(gè)新的漫畫(huà)圖像。
在S25步中，與一個(gè)額外的用戶(hù)控制命令相對(duì)應(yīng)，附件圖像添加單元324或者624，檢索存儲(chǔ)在圖像DB335或者635中的各種附件圖像(眼鏡，發(fā)型，帽子，耳朵以及軀體)，并將這些附件添加到漫畫(huà)圖像上。當(dāng)附件圖像添加單元324或者624添加一個(gè)附件圖像時(shí)，利用在S21步提取的形態(tài)信息Sin，自動(dòng)執(zhí)行大小或者位置調(diào)節(jié)而得到更自然的結(jié)果。此外，部分圖像替換單元323或者623利用在樣本圖像DB333或者633中檢索的樣本圖像，替換一個(gè)漫畫(huà)圖像中的一個(gè)具體部分，因而使漫畫(huà)圖像表達(dá)出高興，悲傷或者生氣的表情。此外，通過(guò)采用動(dòng)畫(huà)框來(lái)表達(dá)面部的改變可以達(dá)到移動(dòng)圖像的效果。
因而，由圖像處理裝置30或者60而合成的動(dòng)畫(huà)圖像被傳輸用戶(hù)接口裝置10a，10b或者50并顯示給用戶(hù)。在S15步，圖像修正單元15或55，最終根據(jù)通過(guò)用戶(hù)控制輸入單元12或52接收的用戶(hù)控制命令(一條圖像校對(duì)控制信號(hào))，來(lái)修正合成的漫畫(huà)圖像。在S16步中，由圖像修正單元15或55而修正的合成漫畫(huà)圖像存儲(chǔ)在圖像存儲(chǔ)單元16或56中，或者由輸出單元17或57而顯示或打印。
通過(guò)這種方法而得到的漫畫(huà)圖像可以即時(shí)應(yīng)用于特殊的目的?；蛘撸?huà)圖像可用作當(dāng)一個(gè)藝術(shù)家制作一幅漫畫(huà)時(shí)的一個(gè)草圖，因而增加了手工處理的生產(chǎn)率。
本發(fā)明的基于面部信息的形態(tài)信息的合成面部圖像生成裝置1及40所采用利用樣本替換方法生成漫畫(huà)的程序，將參考圖6加以說(shuō)明。
圖6除了如圖5所示的步驟外進(jìn)一步包括步驟S35和S36。因此，對(duì)于步驟S30到S34以及S37到S39的說(shuō)明將被省略。換言之，如圖6所示的方法是一個(gè)利用在樣本圖像DB333或633中所存儲(chǔ)的樣本圖像，而替換根據(jù)如圖5所示的方法而合成的漫畫(huà)圖像的部分或者整體部分的方法。
存儲(chǔ)在樣本圖像DB333或633中的樣本圖像是通過(guò)對(duì)不同面部的形態(tài)信息進(jìn)行分析的結(jié)果而計(jì)算出來(lái)的。樣本圖像信息形成方法可分為兩種情況一種情況是其樣本信息的變形是允許的，另一種情況是其樣本信息的變形是不允許的。
當(dāng)采用允許其樣本信息的變形情況的樣本信息形成方法時(shí)，形成了一個(gè)歸一化的樣本圖像，且此樣本圖像的大小和形態(tài)是根據(jù)在S31步從輸入面部圖像中提取的形態(tài)信息Sin而變形的。這種方法的優(yōu)點(diǎn)是，導(dǎo)致反應(yīng)輸入面部圖像的形態(tài)以及需要小量的樣本圖像，但其缺點(diǎn)是通過(guò)變形而扭曲了樣本信息，并且惡化了整個(gè)圖片的質(zhì)量。
當(dāng)采用不允許其樣本信息變形情況下的樣本圖像形成方法時(shí)，漫畫(huà)圖像的部分或者整個(gè)部分只被一個(gè)預(yù)先制作的樣本圖像所替換，而合成一個(gè)新的漫畫(huà)圖像。因此，這種方法的優(yōu)點(diǎn)是可以達(dá)到高分辯率(清晰度)，但缺點(diǎn)是難于引起反應(yīng)輸入圖像的形態(tài)，并且需要預(yù)先準(zhǔn)備盡可能多的樣本圖像。
如圖6所示的步驟S35所采用的測(cè)量差D的方法可用方程(3)來(lái)表達(dá)。D=W·Σi=1n(Csi-Cri)+(1-W)·Σi=1n(Cti-Cqi)---(3)]]>其中，0≤W≤1，Csi(i＝1，…，n)是輸入圖像的形態(tài)信息，Cri(i＝1，…，n)是樣本圖像的形態(tài)信息，Cqi(i＝1，…，n)是輸入圖像的質(zhì)感信息和參考圖像質(zhì)感信息的差Tref，且Cti(i＝1，…，n)是樣本圖像的質(zhì)感信息和參考圖像質(zhì)感信息的差Tref。不是立即將形態(tài)信息以及質(zhì)感信息應(yīng)用到Csi，Cri，Cqi，以及Cti，而是采用了通過(guò)對(duì)形態(tài)和質(zhì)感信息進(jìn)行線(xiàn)性分析而得到的特征向量的系數(shù)，如方程(1)所示。其中，每個(gè)系統(tǒng)具有(m-1)維。
在S35步中部分信息替換單元323或者623測(cè)量輸入圖像和每個(gè)樣本圖像的差，并且在S36步中采用最小差的樣本圖像來(lái)替換部分或者全部的漫畫(huà)圖像。
當(dāng)漫畫(huà)圖像是根據(jù)樣本圖像替換方法而生成時(shí)，不是所生成的漫畫(huà)圖像，而是用于替換部分或者全部漫畫(huà)圖像的樣本圖像的編碼，被壓縮并且在低速的通信環(huán)境中被傳輸，因而顯著增加壓縮率。
結(jié)合圖7說(shuō)明了本發(fā)明的合成面部圖像生成裝置1和40所采用的，根據(jù)面部信息的形態(tài)信息而設(shè)計(jì)化妝的程序。
除圖7包括步驟S42到S45，而不是圖5的S22到S24步以外，圖7與圖5是相同的。因此，省略對(duì)步驟S40，S41以及S46的說(shuō)明。
在S42步中，面部圖像合成器322或者622通過(guò)用戶(hù)接口裝置10a、10b或者50向用戶(hù)呈現(xiàn)了各種存儲(chǔ)在化妝圖像DB334或者634中的樣本化妝圖像，這樣用戶(hù)可以選擇一個(gè)喜歡的樣本化妝圖像。其中，樣本化妝圖像與參考圖像具有相同的形態(tài)。
在步驟S43中，面部圖像合成器322或者622利用S41從輸入面部圖像信息中提取的形態(tài)信息Sin，將所選擇的樣本化妝圖像或者一個(gè)圖像變形，此圖像是通過(guò)對(duì)所選擇的樣本化妝圖像，和在S41步中從輸入面部圖像所提取的反應(yīng)質(zhì)感信息Tin的圖像進(jìn)行加權(quán)求和而生成的，從而合成一個(gè)面部圖像，其中對(duì)用戶(hù)的面部圖像使用了所選擇的樣本化妝圖像。
在步驟S44中，反應(yīng)樣本化妝圖像合成的面部圖像被傳輸?shù)接脩?hù)接口裝置10a、10b或者50并且通過(guò)輸出單元17或者57而顯示，并且用戶(hù)接口裝置10a、10b或者50的用戶(hù)命令輸入單元12或者52，接收一個(gè)用戶(hù)控制命令，此命令指示對(duì)所顯示的用戶(hù)面部圖像進(jìn)行修正。面部圖像合成器322或者622，根據(jù)用戶(hù)控制命令修正反應(yīng)樣本組合圖像的面部圖像，并且修正的面部圖像被傳輸?shù)接脩?hù)接口裝置10a、10b或者50，并且通過(guò)輸出單元17或57而顯示。
因此，在步驟S45中，用戶(hù)接口裝置10a，10b，或者50的用戶(hù)命令輸入單元12或者52接收發(fā)自用戶(hù)的一條用戶(hù)控制命令，此命令指示用戶(hù)對(duì)所顯示的面部圖像滿(mǎn)意與否。其中，當(dāng)用戶(hù)控制命令表示“滿(mǎn)意”時(shí)，程序進(jìn)行到用于添加附件的步驟S46。反之，當(dāng)用戶(hù)控制命令表示“不滿(mǎn)意”時(shí)，程序回到步驟S42。
由于本發(fā)明已結(jié)合其優(yōu)選實(shí)施例而進(jìn)行充分公開(kāi)和說(shuō)明，本領(lǐng)域的技術(shù)人員應(yīng)明確，在不背離本發(fā)明的精神和范圍的情況下，可對(duì)本發(fā)明對(duì)各種形式和細(xì)節(jié)的改變。以上說(shuō)明中所采用的實(shí)施例是為了說(shuō)明而不是限制。因此，本發(fā)明的范圍將由所附加的權(quán)利要求而不是由以上的說(shuō)明來(lái)限制，應(yīng)該明白的是任何在本發(fā)明范圍之內(nèi)的改進(jìn)都包括在本發(fā)明內(nèi)。
工業(yè)實(shí)用性與本發(fā)明相應(yīng)，第一，輸入面部圖像的形態(tài)信息，該信息表示為對(duì)于參考圖像的一個(gè)變形畫(huà)面，是從輸入面部圖像中提取的，并且與參考圖像具有相同形態(tài)但具有不同質(zhì)感信息，以及采用了與輸入面部圖像的提取形態(tài)信息的圖像，因而合成反應(yīng)輸入面部圖像的形態(tài)，并且在忽略輸入面部圖像的狀態(tài)的情況下，具有高質(zhì)量的自然的新圖像。因此，本發(fā)明可以有效地應(yīng)用在各種領(lǐng)域，諸如個(gè)性的生成，虛擬化妝設(shè)計(jì)，罪犯搜索的圖像拼接制作，以及動(dòng)畫(huà)和游戲制作。
第二，在生成漫畫(huà)圖像時(shí)，包括一個(gè)用戶(hù)形態(tài)特點(diǎn)不同的漫畫(huà)可以即時(shí)生成，并且所生成漫畫(huà)的部分或者整體可以被擴(kuò)大或者變換。此外，通過(guò)利用用戶(hù)面部形態(tài)的信息，復(fù)雜的圖像修正過(guò)程可以得到簡(jiǎn)化并且可自動(dòng)進(jìn)行，因而提高生成個(gè)性的生產(chǎn)率。
第三，在化妝設(shè)計(jì)時(shí)，用戶(hù)可以輕易地并且檢查一個(gè)關(guān)于用戶(hù)面部圖像的化妝設(shè)計(jì)，并且能夠容易進(jìn)行部分或者整體的修正其化妝設(shè)計(jì)。
每四，可即時(shí)地檢查向一個(gè)合成的面部圖像添加各種附件后的效果。此外，本發(fā)明可易于各種應(yīng)用，諸如根據(jù)形態(tài)信息實(shí)現(xiàn)虛擬實(shí)中的化身，三維面部圖像的恢復(fù)，以及需要面部圖像的視頻聊天。
權(quán)利要求
1.一種根據(jù)輸入面部圖像的形態(tài)信息而合成一個(gè)新面部圖像的裝置，此裝置包括一個(gè)用戶(hù)接口裝置，用于接收面部圖像信息和用戶(hù)的控制命令，將這些命令傳輸?shù)綀D像處理裝置，從圖像處理裝置接收合成面部圖像信息，并根據(jù)用戶(hù)控制命令輸出或者存儲(chǔ)已合成的面部圖像信息；和一個(gè)圖像處理裝置，用于從用戶(hù)接口裝置所傳輸?shù)拿娌繄D像信息中提取關(guān)于輸入面部圖像的形態(tài)信息和質(zhì)感信息，其形態(tài)信息表示為一關(guān)于預(yù)定的參考圖像變形的畫(huà)面，其質(zhì)感信息是關(guān)于繪制在參考圖像上的輸入圖像的光線(xiàn)和顏色的信息，并且用于根據(jù)用戶(hù)命令利用輸入面部圖像的形態(tài)信息，變換從質(zhì)感圖像中選擇的一幅質(zhì)感圖像，此圖像存儲(chǔ)于的圖像數(shù)據(jù)庫(kù)中并且與參考圖像的形態(tài)相同，或者變換通過(guò)對(duì)所選質(zhì)感圖像和反應(yīng)所提取質(zhì)感信息的質(zhì)感圖像進(jìn)行加權(quán)求和而生成的圖像，從而生成一個(gè)合成面部圖像。
2.如權(quán)利要求1所述的裝置，其特征在于，用戶(hù)接口裝置和圖像處理裝置可在一個(gè)單獨(dú)的計(jì)算機(jī)系統(tǒng)內(nèi)實(shí)現(xiàn)。
3.如權(quán)利要求1所述的裝置，其特征在于，用戶(hù)接口裝置和圖像處理裝置是獨(dú)立的，分別實(shí)現(xiàn)在兩個(gè)或者多個(gè)計(jì)算機(jī)系統(tǒng)中，該裝置進(jìn)一步包括一個(gè)通信網(wǎng)絡(luò)，以傳輸和接收用戶(hù)接口裝置和圖像處理裝置間的數(shù)據(jù)。
4.如權(quán)利要求2或3所述的裝置，其特征在于，圖像處理裝置包括一個(gè)面部信息提取器，用以從用戶(hù)接口裝置所傳輸?shù)拿娌繄D像信息中，提取關(guān)于一個(gè)輸入面部圖像的形態(tài)信息以及質(zhì)感信息，其形態(tài)信息表現(xiàn)為對(duì)參考圖像的變形畫(huà)面，其質(zhì)感信息，即利用形態(tài)信息繪制在參考圖像上的輸入面部圖像的顏色或者亮度信息；一個(gè)面部圖像合成器，用以根據(jù)用戶(hù)控制命令，利用面部信息提取器所提取的輸入圖像的形態(tài)信息，通過(guò)將存儲(chǔ)于圖像數(shù)據(jù)庫(kù)中的質(zhì)感圖像中所選擇的一幅質(zhì)感圖像進(jìn)行變換，或者變換一幅圖像，該圖像是通過(guò)對(duì)選擇的質(zhì)感圖像和由信息提取器所提取的反應(yīng)質(zhì)感信息的質(zhì)感圖像進(jìn)行加權(quán)求和而生成的，從而合成一個(gè)新的面部圖像；及一個(gè)圖像數(shù)據(jù)庫(kù)，用以存儲(chǔ)參考圖像的信息和與參考圖像具有相同形狀的各種圖像的質(zhì)感信息。
5.如權(quán)利要求4所述的裝置，其特征在于，圖像數(shù)據(jù)庫(kù)包括一個(gè)面部模型數(shù)據(jù)庫(kù)，用以存儲(chǔ)形態(tài)平均值、質(zhì)感平均值，形態(tài)特征向量，以及質(zhì)感特征向量，該特征向量值是通過(guò)對(duì)形態(tài)平均值、質(zhì)感平均值、形態(tài)差協(xié)方差、以及質(zhì)感差的協(xié)方差進(jìn)行主分量分析而得到的，其協(xié)方差通過(guò)基于從若干面部圖像中所提取的形態(tài)和質(zhì)感信息的參考圖像而得到的；一個(gè)附加圖像數(shù)據(jù)庫(kù)，用以存儲(chǔ)有關(guān)不同風(fēng)格漫畫(huà)圖像的信息，該漫畫(huà)圖像與參考圖像具有相同的形態(tài)；一個(gè)化妝圖像數(shù)據(jù)庫(kù)，用以存儲(chǔ)有關(guān)各種化妝設(shè)計(jì)圖像的信息，該化妝圖像具有與參考圖像相同的形態(tài)。
6.如權(quán)利要求5所述的裝置，其特征在于，其面部圖像提取器包括一個(gè)歸一化模塊，用以根據(jù)參考圖像而對(duì)輸入面部圖像進(jìn)行歸一化；一個(gè)形態(tài)信息估算模塊，用以根據(jù)形態(tài)信息，通過(guò)對(duì)歸一化的輸入面部圖像和參考圖像進(jìn)行一種分層、梯度光流算法的處理而參考圖像；一個(gè)形態(tài)信息補(bǔ)償模塊，通過(guò)對(duì)根據(jù)存儲(chǔ)在面部模型數(shù)據(jù)庫(kù)中的形態(tài)特征向量，對(duì)所估算的形態(tài)特征向量進(jìn)行線(xiàn)性分解以及進(jìn)行線(xiàn)性疊加，而實(shí)現(xiàn)對(duì)形態(tài)信息估算模塊所估算的形態(tài)信息誤差值的補(bǔ)償；一個(gè)逆變換模塊，利用補(bǔ)償?shù)男螒B(tài)信息，將輸入面部圖像的形態(tài)信息轉(zhuǎn)變成參考圖像的形態(tài)信息；一個(gè)質(zhì)感信息確定模塊，通過(guò)根據(jù)存儲(chǔ)在面部模型數(shù)據(jù)庫(kù)中的質(zhì)感特征向量，對(duì)反向變換圖像的質(zhì)感信息進(jìn)行了線(xiàn)性分解和線(xiàn)性疊加，從而確定輸入面部圖像的質(zhì)感信息；一個(gè)循環(huán)模塊，以重復(fù)循環(huán)以上模塊直到預(yù)定條件被滿(mǎn)足，因而根據(jù)參考圖像生成輸入面部圖像的形態(tài)信息。
7.如權(quán)利要求5所述的裝置，其特征在于，面部圖像數(shù)據(jù)庫(kù)進(jìn)一步包括一個(gè)樣本圖像數(shù)據(jù)庫(kù)，用以存儲(chǔ)有關(guān)面部圖像的每一特殊部分都具有不同面部表情的漫畫(huà)樣本圖像的信息，并且圖像處理裝置進(jìn)一步包括一個(gè)部分圖像替換單元，利用存儲(chǔ)在樣本圖像數(shù)據(jù)庫(kù)中的一個(gè)與合成的面部圖像具有最大相似程度的樣本圖像來(lái)替換由面部圖像合成器所生成的合成面部圖像的部分或者整體。
8.如權(quán)利要求5所述的裝置，其特征在于，面部數(shù)據(jù)庫(kù)進(jìn)一步包括一個(gè)附件圖像數(shù)據(jù)庫(kù)，用以存儲(chǔ)關(guān)于各種附件圖像的信息，此附件圖像可以被添加到合成的面部圖像上，并且圖像處理裝置進(jìn)一步包括一個(gè)附件單元，用以向由面部圖像合成器生成的合成面部圖像添加一個(gè)附件，該附件是根據(jù)用戶(hù)控制命令從存儲(chǔ)在附件數(shù)據(jù)庫(kù)的附件圖像中選擇的一個(gè)。
9.一種根據(jù)輸入的面部圖像的形態(tài)信息而合成一個(gè)新面部圖像的方法，該方法包括如下步驟(a)從輸入的面部圖像信息中提取關(guān)于輸入面部圖像的形態(tài)信息以及質(zhì)感信息，其形態(tài)信息表示為一關(guān)于預(yù)定的參考圖像變形的畫(huà)面，其質(zhì)感信息是關(guān)于繪制在參考圖像上的輸入圖像的光線(xiàn)和顏色的信息；和(b)根據(jù)用戶(hù)命令利用輸入面部圖像的形態(tài)信息，變換從質(zhì)感圖像中選擇的一幅質(zhì)感圖像，此圖像存儲(chǔ)于圖像數(shù)據(jù)庫(kù)中并且與參考圖像的形態(tài)相同，或者變換通過(guò)對(duì)所選質(zhì)感圖像和反應(yīng)所提取質(zhì)感信息的質(zhì)感圖像進(jìn)行加權(quán)求和而生成的圖像，從而生成一個(gè)合成面部圖像。
10.如權(quán)利要求9所述的方法，其特征在于步驟(a)包括如下子步驟(a1)根據(jù)參考圖像而對(duì)輸入面部圖像進(jìn)行歸一化；(a2)根據(jù)形態(tài)信息，通過(guò)對(duì)歸一化的輸入面部圖像和參考圖像利用分層、梯度光流算法進(jìn)行處理而估算參考圖像；(a3)根據(jù)存儲(chǔ)在面部模型數(shù)據(jù)庫(kù)中的形態(tài)特征向量，對(duì)所估算的形態(tài)特征向量進(jìn)行線(xiàn)性分解以及進(jìn)行線(xiàn)性疊加，而實(shí)現(xiàn)對(duì)步驟(a2)所估算的形態(tài)信息誤差值的補(bǔ)償；(a4)利用在步驟(a4)補(bǔ)償?shù)男螒B(tài)信息，將輸入面部圖像的形態(tài)信息轉(zhuǎn)變成參考圖像的形態(tài)信息；(a5)根據(jù)預(yù)先存儲(chǔ)在面部模型數(shù)據(jù)庫(kù)中的質(zhì)感特征向量，對(duì)在步驟(a4)中變換的圖像的質(zhì)感信息進(jìn)行線(xiàn)性分解和線(xiàn)性疊加，從而確定輸入面部圖像的質(zhì)感信息；(a6)參考步驟(a4)和(a5)的結(jié)果，重復(fù)步驟(a2)至(a5)，直到預(yù)定條件被滿(mǎn)足，因而根據(jù)參考圖像生成輸入面部圖像的形態(tài)信息和質(zhì)感信息。
11.如權(quán)利要求10所述的方法，其特征在于，步驟(a)進(jìn)一步包括如下步驟(a0)根據(jù)從大量模型面部圖像中所提取的形態(tài)信息和質(zhì)感信息，對(duì)從參考圖像中得到的形態(tài)平均值、質(zhì)感平均值、形態(tài)差協(xié)方差、以及質(zhì)感差的協(xié)方差進(jìn)行主分量分析，而生成形狀特征向量和質(zhì)感特征向量。
12.如權(quán)利要求9所述的方法，其特征在于，步驟(b)包括如下子步驟(b1)根據(jù)用戶(hù)控制命令從不同風(fēng)格的漫畫(huà)圖像中選擇一個(gè)漫畫(huà)圖像，該圖像存儲(chǔ)在圖像數(shù)據(jù)庫(kù)中且與參考圖像具有相同的形態(tài)；且(b2)合成在步驟(b1)中所選擇的漫畫(huà)圖像或者一個(gè)圖像，此圖像是利用輸入面部圖像的形態(tài)通過(guò)對(duì)所選擇的漫畫(huà)和一反應(yīng)所提取的質(zhì)感信息的圖像進(jìn)行加權(quán)求和而生成的，從而生成一個(gè)反應(yīng)輸入面部圖像的形態(tài)信息的漫畫(huà)圖像。
13.如權(quán)利要求12所述的方法，其特征在于，步驟(b)進(jìn)一步包括子步驟(b3)當(dāng)用戶(hù)命令確認(rèn)改變形態(tài)信息時(shí)，根據(jù)用戶(hù)控制形態(tài)信息改變的控制命令，改變輸入面部圖像的形態(tài)信息，并重復(fù)(b1)和(b2)。
14.如權(quán)利要求12所述的方法，其特征在于，進(jìn)一步包括如下步驟利用與存儲(chǔ)在圖像數(shù)據(jù)庫(kù)中與合成的漫畫(huà)圖像具有最大相似性的樣本圖像來(lái)替換在步驟(b)所合成的漫畫(huà)圖像的部分或者整體。
15.如權(quán)利要求14所述的方法，其特征在于，其相似性通過(guò)對(duì)合成的漫畫(huà)圖像和樣本圖像間形態(tài)信息差之和，及合成的漫畫(huà)圖像和樣本圖像之間質(zhì)感信息差的加權(quán)求和，或者表示合成漫畫(huà)圖像形態(tài)信息的特征向量系數(shù)和表示樣本圖像形態(tài)信息的特征向量系數(shù)之差的和，及表示合成漫畫(huà)圖像質(zhì)感信息的特征向量系數(shù)和表示樣本圖像的質(zhì)感信息的特征向量系數(shù)之差的和加權(quán)求和而確定的。
16.如權(quán)利要求12或14所述的方法，其特征在于，進(jìn)一步包括步驟(d)對(duì)合成的漫畫(huà)圖像添加一個(gè)附件圖像，該附件圖像是根據(jù)用戶(hù)控制命令從存儲(chǔ)在圖像數(shù)據(jù)庫(kù)的附件圖像中選擇的。
17.如權(quán)利要求16所述的方法，其特征在于，在步驟(d)所添加的附件圖像的大小和位置是根據(jù)在步驟(a)中所提取的輸入面部圖像的形狀信息而確定的。
18.如權(quán)利要求9所述的方法，其特征在于，步驟(b)包括如下子步驟(b1)根據(jù)用戶(hù)控制命令，從各種風(fēng)格的化妝設(shè)計(jì)圖像中選擇一個(gè)化妝設(shè)計(jì)圖像，該化妝設(shè)計(jì)圖像存儲(chǔ)在圖像數(shù)據(jù)庫(kù)中，且與參考圖像具有相同的形態(tài)；(b2)合成在步驟(b1)所選擇的化妝設(shè)計(jì)圖像，或者一個(gè)圖像，此圖像是利用輸入面部圖像的形態(tài)信息，通過(guò)對(duì)所選擇的化妝設(shè)計(jì)圖像和一個(gè)反應(yīng)所提取的質(zhì)感信息的圖像進(jìn)行加權(quán)求和而生成的，從而生成一個(gè)反應(yīng)輸入面部圖像的形態(tài)信息的化妝設(shè)計(jì)圖像；且(b3)根據(jù)用戶(hù)指示修正化妝的控制命令而改變參考圖像的質(zhì)感信息。
19.如權(quán)利要求18所述的方法，其特征在于，進(jìn)一步包括步驟對(duì)合成的化妝設(shè)計(jì)圖像添加一個(gè)附件圖像，該附件圖像是根據(jù)用戶(hù)控制命令從存儲(chǔ)在圖像數(shù)據(jù)庫(kù)中的附件圖像中選擇的。
20.如權(quán)利要求19所述的方法，其特征在于，在步驟中所添加的附件圖像的位置和大小，是由步驟(a)中所提取的輸入面部圖像的形態(tài)信息而決定的。
全文摘要
本發(fā)明提供了一種根據(jù)由用戶(hù)接口裝置所傳輸?shù)妮斎朊娌繄D像的形態(tài)信息而生成合成面部圖像的裝置和方法。該裝置提取形態(tài)信息和質(zhì)感信息，該形態(tài)信息表示為一關(guān)于預(yù)定的參考圖像變形的畫(huà)面，其質(zhì)感信息是關(guān)于繪制在參考圖像上的輸入圖像的光線(xiàn)和顏色的信息，并且根據(jù)用戶(hù)命令利用輸入面部圖像的形態(tài)信息，改變各種面部圖像，該面部圖像存儲(chǔ)于的圖像數(shù)據(jù)庫(kù)中并且與參考圖像的形態(tài)相同，從而生成一個(gè)反應(yīng)輸入面部圖像形態(tài)信息的合成面部圖像。因此，通過(guò)利用具有與參考圖像相同的形態(tài)信息，但與輸入面部圖像具有不同質(zhì)感信息和已提取的形態(tài)信息的圖像，可以合成能夠反應(yīng)輸入面部圖像的形態(tài)，并且在忽略輸入面部圖像狀態(tài)情況下，具有高質(zhì)量的新的自然的圖像。
文檔編號(hào)G06T17/00GK1447955SQ01814412
公開(kāi)日2003年10月8日 申請(qǐng)日期2001年7月7日 優(yōu)先權(quán)日2000年8月22日
發(fā)明者李晟瑍, 呂昌昱, 黃本祐 申請(qǐng)人:微裘媒體有限公司