080]例如，動(dòng)作條件設(shè)定部5f在由形狀確定部5d確定的嘴M的形狀為嘴中央部Mc高于左右的嘴角Ml、Mr的上下位置的嘴M的形狀(參照?qǐng)D10B)的情況下，以使左右的嘴角MUMr朝上方的變形量相對(duì)變大的方式，設(shè)定基準(zhǔn)動(dòng)作數(shù)據(jù)3b所包含的對(duì)與嘴角Ml、Mr對(duì)應(yīng)的多個(gè)控制點(diǎn)的動(dòng)作進(jìn)行表示的信息的修正內(nèi)容。此外，動(dòng)作條件設(shè)定部5f在由形狀確定部5d確定的嘴M的形狀為左右的嘴角Ml、Mr高于嘴中央部Mc的上下位置的嘴M的形狀(參照?qǐng)D10C)的情況下，以使左右的嘴角Ml、Mr朝下方的變形量相對(duì)變大的方式，設(shè)定基準(zhǔn)動(dòng)作數(shù)據(jù)3b所包含的對(duì)與左右的嘴角Ml、Mr對(duì)應(yīng)的多個(gè)控制點(diǎn)的動(dòng)作進(jìn)行表示的信息的修正內(nèi)容。
[0081]并且，動(dòng)作條件設(shè)定部5f也可以根據(jù)嘴M相對(duì)于由面部主要部分檢測部5b檢測出的嘴M以外的主要部分(例如，下巴等)的相對(duì)位置關(guān)系，來設(shè)定使該嘴M進(jìn)行開閉動(dòng)作時(shí)的控制條件。
[0082]具體而言，動(dòng)作條件設(shè)定部5f根據(jù)由第二計(jì)算部5e計(jì)算出的嘴M的左右方向的長度lm、面部的與嘴M對(duì)應(yīng)的位置的左右方向的長度If以及從嘴M到下巴為止的上下方向的長度lj，來確定嘴M相對(duì)于嘴M以外的主要部分的相對(duì)位置關(guān)系。然后，動(dòng)作條件設(shè)定部5f根據(jù)所確定的位置關(guān)系，來設(shè)定對(duì)使該嘴M進(jìn)行開閉動(dòng)作時(shí)的上唇以及下唇中的至少一方的變形進(jìn)行控制的控制條件。例如，動(dòng)作條件設(shè)定部5f對(duì)嘴M的左右方向的長度Im和面部的與嘴M對(duì)應(yīng)的位置的左右方向的長度I f進(jìn)行比較，而確定面部輪廓內(nèi)的嘴M的左右區(qū)域的大小。然后，動(dòng)作條件設(shè)定部5f根據(jù)面部輪廓內(nèi)的嘴M的左右區(qū)域的大小以及從嘴M到下巴為止的上下方向的長度I j，來設(shè)定對(duì)使嘴M進(jìn)行開閉動(dòng)作時(shí)的上下方向的開閉、左右方向的開閉進(jìn)行控制的控制條件。
[0083]S卩，例如，進(jìn)行開閉動(dòng)作的嘴M朝左右方向以及上下方向的變形量，以該嘴M的大小、尤其以嘴M的左右方向的長度Im為基準(zhǔn)而變化。例如，在一般情況下，Im的大小越大則使嘴M進(jìn)行開閉動(dòng)作時(shí)朝左右方向以及上下方向的變形量變得越大。因此，在以嘴M的左右方向的長度Im為基準(zhǔn)，而面部輪廓內(nèi)的嘴M的左右區(qū)域的大小、從嘴M到下巴為止的上下方向的長度Ij相對(duì)較大的情況下，可以認(rèn)為即使基于基準(zhǔn)動(dòng)作數(shù)據(jù)3b來使嘴M變形也沒有問題。
[0084]另一方面，在從嘴M到下巴為止的上下方向的長度Ij相對(duì)較小的情況(參照?qǐng)D11B)下，動(dòng)作條件設(shè)定部5f以使下唇朝下方的變形量相對(duì)變小的方式，設(shè)定基準(zhǔn)動(dòng)作數(shù)據(jù)3b所包含的對(duì)與上唇、下唇對(duì)應(yīng)的多個(gè)控制點(diǎn)的動(dòng)作進(jìn)行表示的信息的修正內(nèi)容。此外，在面部輪廓內(nèi)的嘴M的左右區(qū)域的大小相對(duì)較大的情況(參照?qǐng)D11C)下，動(dòng)作條件設(shè)定部5f以使左右的嘴角Ml、Mr朝左右方向的變形量相對(duì)變大的方式，設(shè)定基準(zhǔn)動(dòng)作數(shù)據(jù)3b所包含的對(duì)與左右的嘴角Ml、Mr對(duì)應(yīng)的多個(gè)控制點(diǎn)的動(dòng)作進(jìn)行表示的信息的修正內(nèi)容。
[0085]另外，由動(dòng)作條件設(shè)定部5f設(shè)定的控制條件，也可以朝規(guī)定的存儲(chǔ)單元(例如，存儲(chǔ)器2等)輸出而暫時(shí)存儲(chǔ)。
[0086]此外，上述的使眼睛M等主要部分動(dòng)作時(shí)的控制內(nèi)容，僅為一例，并不限定于此，能夠適當(dāng)任意地變更。
[0087]并且，作為主要部分而例示了眼睛E以及嘴M，并對(duì)其控制條件進(jìn)行了設(shè)定，但這僅為一例，并不限定于此，例如也可以是鼻子、眉毛、面部輪廓等其他主要部分。此時(shí)，例如，也可以對(duì)使眼睛E、嘴M動(dòng)作時(shí)的控制條件進(jìn)行考慮，而設(shè)定其他主要部分的控制條件。即，例如可以對(duì)使眼睛E進(jìn)行眨眼動(dòng)作時(shí)的控制條件進(jìn)行考慮，而設(shè)定使眉毛、鼻子等眼睛E周邊的主要部分相關(guān)聯(lián)地動(dòng)作那樣的控制條件，并且，也可以對(duì)使嘴M進(jìn)行開閉動(dòng)作時(shí)的控制條件進(jìn)行考慮，而設(shè)定使鼻子、面部輪廓等嘴M周邊的主要部分相關(guān)聯(lián)地動(dòng)作那樣的控制條件。
[0088]動(dòng)作生成部5g基于由動(dòng)作條件設(shè)定部5f設(shè)定的控制條件，生成用于使主要部分動(dòng)作的動(dòng)作數(shù)據(jù)。
[0089]具體而言，動(dòng)作生成部5g基于作為處理對(duì)象的主要部分的基準(zhǔn)動(dòng)作數(shù)據(jù)3b、以及由動(dòng)作條件設(shè)定部5f設(shè)定的基準(zhǔn)動(dòng)作數(shù)據(jù)3b的修正內(nèi)容，對(duì)表示多個(gè)控制點(diǎn)的動(dòng)作的信息進(jìn)行修正，生成修正后的數(shù)據(jù)而作為該主要部分的動(dòng)作數(shù)據(jù)。
[0090]另外，由動(dòng)作生成部5g生成的動(dòng)作數(shù)據(jù)，也可以朝規(guī)定的存儲(chǔ)單元(例如，存儲(chǔ)器2等)輸出而暫時(shí)存儲(chǔ)。
[0091]動(dòng)作控制部5h在面部圖像內(nèi)使主要部分動(dòng)作。
[0092]S卩，動(dòng)作控制部(動(dòng)作控制單元)5h在由圖像取得部5a取得的面部圖像內(nèi)，按照由動(dòng)作條件設(shè)定部5f設(shè)定的控制條件來使主要部分動(dòng)作。具體而言，動(dòng)作控制部5h在作為處理對(duì)象的主要部分的規(guī)定位置上設(shè)定多個(gè)控制點(diǎn)，并且取得由動(dòng)作生成部5g生成的作為處理對(duì)象的主要部分的動(dòng)作數(shù)據(jù)。然后，動(dòng)作控制部5h進(jìn)行變形處理，該變形處理為，基于由所取得的動(dòng)作數(shù)據(jù)規(guī)定的表示多個(gè)控制點(diǎn)的動(dòng)作的信息、使多個(gè)控制點(diǎn)位移，由此使該主要部分動(dòng)作。
[0093]顯不部6 例如由 LCD (Liquid Crystal Display:液晶顯不器)、CRT (Cathode RayTube:陰極射線管)等的顯示器構(gòu)成，在顯示控制部7的控制下將各種信息顯示于顯示畫面。
[0094]顯示控制部7進(jìn)行生成顯示用數(shù)據(jù)并使其顯示于顯示部6的顯示畫面的控制。
[0095]具體而言，顯示控制部7例如具備視頻卡(省略圖示)，該視頻卡具備GPU (Graphics Processing Unit:圖像處理單元)、VRAM (Video Random Access MemoryJJi1頻隨機(jī)存取存儲(chǔ)器)等。并且，顯示控制部7按照來自中央控制部I的顯示指示，通過基于視頻卡的描繪處理來生成在面部動(dòng)作處理中用于使主要部分動(dòng)作的各種畫面的顯示用數(shù)據(jù)，并向顯示部6輸出。由此，顯示部6例如顯示內(nèi)容，在面部動(dòng)作處理中使該內(nèi)容變形以使面部圖像的主要部分(例如，眼睛E、嘴M等)動(dòng)作或者使面部的表情變化。
[0096]<面部動(dòng)作處理>
[0097]接著，參照?qǐng)D2?圖11對(duì)面部動(dòng)作處理進(jìn)行說明。
[0098]圖2是表不面部動(dòng)作處理的動(dòng)作的一例的流程圖。
[0099]如圖2所示，首先，動(dòng)作處理部5的圖像取得部5a，例如從存儲(chǔ)部3所存儲(chǔ)的規(guī)定數(shù)量的面部圖像數(shù)據(jù)3a中，取得基于用戶對(duì)操作輸入部4進(jìn)行的規(guī)定操作而指定的、用戶所希望的面部圖像數(shù)據(jù)3a(步驟SI)。
[0100]之后，面部主要部分檢測部5b從由圖像取得部5a取得的面部圖像數(shù)據(jù)的面部圖像中，例如通過使用了 AAM的處理，對(duì)左右的各眼睛、鼻子、嘴、眉毛、面部輪廓等主要部分進(jìn)行檢測(步驟S2)。
[0101]接著，動(dòng)作處理部5進(jìn)行主要部分控制條件設(shè)定處理，該主要部分控制條件設(shè)定處理為，設(shè)定使由面部主要部分檢測部5b檢測出的主要部分動(dòng)作時(shí)的控制條件(步驟S3)。
[0102]另外，雖然處理內(nèi)容的詳細(xì)情況將后述，但作為主要部分控制條件設(shè)定處理，例示出眼睛控制條件設(shè)定處理(參照?qǐng)D3)以及嘴控制條件設(shè)定處理(參照?qǐng)D7)。
[0103]接著，動(dòng)作生成部5g基于通過主要部分控制條件設(shè)定處理設(shè)定的控制條件，生成用于使主要部分動(dòng)作的動(dòng)作數(shù)據(jù)(步驟S4)。之后，動(dòng)作控制部5h基于由動(dòng)作生成部5g生成的動(dòng)作數(shù)據(jù)，進(jìn)行在面部圖像內(nèi)使主要部分動(dòng)作的處理(步驟S5)。
[0104]例如，動(dòng)作生成部5g基于通過眼睛控制條件設(shè)定處理、嘴控制條件設(shè)定處理設(shè)定的控制條件，生成用于使眼睛M動(dòng)作的動(dòng)作數(shù)據(jù)，動(dòng)作控制部5h基于由動(dòng)作生成部5g生成的動(dòng)作數(shù)據(jù)，進(jìn)行在面部圖像內(nèi)使眼睛E、嘴M動(dòng)作的處理。
[0105]<眼睛控制條件設(shè)定處理>
[0106]接著，參照?qǐng)D3?圖6對(duì)眼睛控制條件設(shè)定處理進(jìn)行說明。
[0107]圖3是表示眼睛控制條件設(shè)定處理的動(dòng)作的一例的流程圖。此外，圖4A?圖4C、圖5A?圖5C、圖6A?圖6C是用于對(duì)眼睛控制條件設(shè)定處理進(jìn)行說明的圖。
[0108]另外，圖4A?圖4C、圖5A?圖5C、圖6A?圖6C的各個(gè)眼睛E示意性地表示左側(cè)(朝向圖像時(shí)為右側(cè))的眼睛。
[0109]如圖3所示，第一計(jì)算部5c分別計(jì)算由面部主要部分檢測部5b作為主要部分而檢測出的眼睛E的上下方向的長度h以及左右方向的長度w (步驟S21 ;參照?qǐng)D5A)。
[0110]接著，形狀確定部5d計(jì)算由第一計(jì)算部5c計(jì)算出的眼睛E的上下方向以及左右方