動作處理裝置以及動作處理方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及動作處理裝置以及動作處理方法。
【背景技術(shù)】
[0002]近年，提出有朝成型為人型的投影屏幕上投影映像的所謂“虛擬人體模型”(例如參照專利文獻(xiàn)I)。虛擬人體模型能夠獲得具有正如人站立在那里那樣的存在感的投影像，能夠在展示會等進(jìn)行親新、有效的展示演出。
[0003]為了使這種虛擬人體模型的面部的表情豐富，已知有使照片、插圖、漫畫等圖像中的構(gòu)成面部的主要部分(例如眼睛、嘴等)變形而表現(xiàn)動作的技術(shù)。具體而言，存在如下方法:基于作為被攝體的人的注視點(diǎn)，使由該人的計(jì)算機(jī)圖形表現(xiàn)的面部模型中的眼球動作的方法(例如參照專利文獻(xiàn)2);按照所發(fā)音的語言的每個(gè)元音、輔音來改變嘴的形狀而對口型的方法(例如參照專利文獻(xiàn)3)等。
[0004]專利文獻(xiàn)1:日本特開2011-150221號公報(bào)
[0005]專利文獻(xiàn)2:日本特開平06-282627號公報(bào)
[0006]專利文獻(xiàn)3:日本特開2003-58908號公報(bào)
[0007]然而，作為處理對象的面部的主要部分，根據(jù)照片、插圖這種作為基礎(chǔ)的圖像的種類、人、動物這種面部的種類，而其形狀各種各樣。因此，例如，當(dāng)將用于使照片圖像中的人的面部的主要部分動作的數(shù)據(jù)、用于漫畫的面部的變形、插圖中的動物的面部的變形時(shí)，存在導(dǎo)致局部的畫質(zhì)劣化、不自然的變形而使目視確認(rèn)者產(chǎn)生不和諧感這種問題。

【發(fā)明內(nèi)容】

[0008]本發(fā)明是鑒于這種問題而完成的，本發(fā)明的課題在于更自然地進(jìn)行面部的主要部分的動作。
[0009]本發(fā)明的一個(gè)方案，提供一種動作處理裝置，其特征在于，具備:取得部，取得面部圖像；檢測部，從由上述取得部取得的面部圖像中檢測構(gòu)成面部的主要部分；確定部，確定由上述檢測部檢測出的上述主要部分的形狀的種類；以及設(shè)定部，根據(jù)由上述確定部確定的上述主要部分的形狀的種類，設(shè)定使該主要部分動作時(shí)的控制條件。
[0010]根據(jù)本發(fā)明，能夠更自然地進(jìn)行面部的主要部分的動作。
【附圖說明】
[0011]圖1是表示應(yīng)用了本發(fā)明的一個(gè)實(shí)施方式的動作處理裝置的概要構(gòu)成的框圖。
[0012]圖2是表示圖1的動作處理裝置進(jìn)行的面部動作處理的動作的一例的流程圖。
[0013]圖3是表示圖2的面部動作處理中的眼睛控制條件設(shè)定處理的動作的一例的流程圖。
[0014]圖4A是用于對圖3的眼睛控制條件設(shè)定處理進(jìn)行說明的圖。
[0015]圖4B是用于對圖3的眼睛控制條件設(shè)定處理進(jìn)行說明的圖。
[0016]圖4C是用于對圖3的眼睛控制條件設(shè)定處理進(jìn)行說明的圖。
[0017]圖5A是用于對圖3的眼睛控制條件設(shè)定處理進(jìn)行說明的圖。
[0018]圖5B是用于對圖3的眼睛控制條件設(shè)定處理進(jìn)行說明的圖。
[0019]圖5C是用于對圖3的眼睛控制條件設(shè)定處理進(jìn)行說明的圖。
[0020]圖6A是用于對圖3的眼睛控制條件設(shè)定處理進(jìn)行說明的圖。
[0021]圖6B是用于對圖3的眼睛控制條件設(shè)定處理進(jìn)行說明的圖。
[0022]圖6C是用于對圖3的眼睛控制條件設(shè)定處理進(jìn)行說明的圖。
[0023]圖7是表示圖2的面部動作處理中的嘴控制條件設(shè)定處理的動作的一例的流程圖。
[0024]圖8A是用于對圖7的嘴控制條件設(shè)定處理進(jìn)行說明的圖。
[0025]圖SB是用于對圖7的嘴控制條件設(shè)定處理進(jìn)行說明的圖。
[0026]圖SC是用于對圖7的嘴控制條件設(shè)定處理進(jìn)行說明的圖。
[0027]圖9A是用于對圖7的嘴控制條件設(shè)定處理進(jìn)行說明的圖。
[0028]圖9B是用于對圖7的嘴控制條件設(shè)定處理進(jìn)行說明的圖。
[0029]圖9C是用于對圖7的嘴控制條件設(shè)定處理進(jìn)行說明的圖。
[0030]圖1OA是用于對圖7的嘴控制條件設(shè)定處理進(jìn)行說明的圖。
[0031]圖1OB是用于對圖7的嘴控制條件設(shè)定處理進(jìn)行說明的圖。
[0032]圖1OC是用于對圖7的嘴控制條件設(shè)定處理進(jìn)行說明的圖。
[0033]圖1lA是用于對圖7的嘴控制條件設(shè)定處理進(jìn)行說明的圖。
[0034]圖1lB是用于對圖7的嘴控制條件設(shè)定處理進(jìn)行說明的圖。
[0035]圖1lC是用于對圖7的嘴控制條件設(shè)定處理進(jìn)行說明的圖。
[0036]符號的說明:
[0037]100:動作處理裝置；1:中央控制部；5:動作處理部；5a:圖像取得部；5b:面部主要部分檢測部；5c:第一計(jì)算部；5d:形狀確定部；5e:第二計(jì)算部:動作條件設(shè)定部；5h:動作控制部。
【具體實(shí)施方式】
[0038]以下，使用附圖對本發(fā)明的具體方式進(jìn)行說明。但是，發(fā)明的范圍并不限定于圖示例。
[0039]圖1是表示應(yīng)用了本發(fā)明的一個(gè)實(shí)施方式的動作處理裝置100的概要構(gòu)成的框圖。
[0040]動作處理裝置100例如由個(gè)人計(jì)算機(jī)、工作站等計(jì)算機(jī)等構(gòu)成，如圖1所示，具備中央控制部1、存儲器2、存儲部3、操作輸入部4、動作處理部5、顯示部6以及顯示控制部I。
[0041]此外，中央控制部1、存儲器2、存儲部3、動作處理部5以及顯示控制部7經(jīng)由總線8連接。
[0042]中央控制部I對動作處理裝置100的各部分進(jìn)行控制。
[0043]具體而言，中央控制部I具備對動作處理裝置100的各部分進(jìn)行控制的CPU (Central Processing Unit:中央處理單元；省略圖不)、RAM (Random Access Memory:隨機(jī)存取存儲器)、ROM (Read Only Memory:只讀存儲器)，按照動作處理裝置100用的各種處理程序(省略圖示)來進(jìn)行各種控制動作。
[0044]存儲器2例如由DRAM (Dynamic Random Access Memory:動態(tài)隨機(jī)存取存儲器)等構(gòu)成，暫時(shí)存儲由除了中央控制部I之外的、該動作處理裝置100的各部分處理的數(shù)據(jù)等。
[0045]存儲部3例如由非易失性存儲器(閃存)、硬盤驅(qū)動器等構(gòu)成，對中央控制部I的動作所需要的各種程序、數(shù)據(jù)(省略圖示)進(jìn)行存儲。
[0046]此外，存儲部3存儲面部圖像數(shù)據(jù)3a。
[0047]面部圖像數(shù)據(jù)3a是包括面部的二維面部圖像的數(shù)據(jù)。具體而言，面部圖像數(shù)據(jù)3a例如是照片圖像中的人的面部圖像、由漫畫表示的人、動物的面部圖像、插圖中的人、動物的面部圖像等的圖像數(shù)據(jù)。此外，面部圖像數(shù)據(jù)3a只要是至少包括面部的圖像的圖像數(shù)據(jù)即可，例如可以是僅為面部的圖像數(shù)據(jù)，也可以是胸部以上的部分的圖像數(shù)據(jù)。
[0048]另外，面部圖像數(shù)據(jù)3a的面部圖像為一例，并不限定于此，能夠適當(dāng)任意地變更。
[0049]此外，存儲部3存儲基準(zhǔn)動作數(shù)據(jù)3b。
[0050]基準(zhǔn)動作數(shù)據(jù)3b包含表示如下動作的信息，該動作成為對面部的各主要部分(例如，眼睛E(參照圖4A等)、嘴M(參照圖10A等)等)的動作進(jìn)行表現(xiàn)時(shí)的基準(zhǔn)。具體而言，基準(zhǔn)動作數(shù)據(jù)3b包含按照各主要部分的每個(gè)規(guī)定的、對規(guī)定空間內(nèi)的多個(gè)控制點(diǎn)的動作進(jìn)行表示的信息，例如對多個(gè)控制點(diǎn)在規(guī)定空間中的位置坐標(biāo)(x，y)進(jìn)行表示的信息、變形矢量等沿時(shí)間軸排列。
[0051]SM列如，眼睛E的基準(zhǔn)動作數(shù)據(jù)3b為，設(shè)定有與上眼瞼、下眼瞼對應(yīng)的多個(gè)控制點(diǎn)，并規(guī)定有這些控制點(diǎn)的變形矢量。此外，嘴M的基準(zhǔn)動作數(shù)據(jù)3b為，設(shè)定有與上唇、下唇、左右的嘴角對應(yīng)的多個(gè)控制點(diǎn)，并規(guī)定有這些控制點(diǎn)的變形矢量。
[0052]操作輸入部4例如具備由用于輸入數(shù)值、文字等的數(shù)據(jù)輸入鍵、用于進(jìn)行數(shù)據(jù)的選擇、傳送操作等的上下左右移動鍵、各種功能鍵等構(gòu)成的鍵盤、鼠標(biāo)等操作部(省略圖示)，根據(jù)這些操作部的操作而將規(guī)定的操作信號朝中央控制部I輸出。
[0053]動作處理部5具備圖像取得部5a、面部主要部分檢測部5b、第一計(jì)算部5c、形狀確定部5d、第二計(jì)算部5e、動作條件設(shè)定部5f、動作生成部5g以及動作控制部5h。
[0054]另外，動作處理部5的各部例如由規(guī)定的邏輯電路構(gòu)成，但該構(gòu)成為一例，并不限定于此。
[0055]圖像取得部5a取得面部圖像數(shù)據(jù)3a。
[00