圖像處理裝置以及圖像顯示裝置的制造方法
【技術領域】
[0001]本發(fā)明涉及一種圖像處理裝置以及具備該圖像處理裝置的圖像顯示裝置，在攝像部的攝像方向與顯示部的顯示方向一致的所謂的自拍攝影的情況下，生成適當?shù)淖耘膱D像。
【背景技術】
[0002]在便攜式電話、平板電腦、筆記本電腦、電視機等的各種顯示器中，存在將攝像部的攝像方向與顯示部的顯示方向朝向同一方向配置并且以自己的臉部為被攝體來進行攝像的所謂的自拍攝影。
[0003]自拍攝影的代表性的應用有以下2個。一個是通過在遠程地點的對象所保有的顯示器中顯示攝像圖像從而能夠進行與遠程地點的對象的對話的視頻聊天或者TV會議功能。另一個是通過使所攝像的圖像左右反轉來進行鏡像顯示從而能夠進行需要確認自己的臉部的化妝等操作的鏡子功能。
[0004]由于在視頻聊天中對象的臉部顯示于顯示部，在鏡子功能中自己的臉部顯示于顯示部，因此使用者會注視顯示部而并非攝像部。由于所攝像的被攝體的視線方向與攝像部的攝像方向并不一致，因此所攝像的被攝體并不朝向正面，位于遠程地點的對象、或者被攝體本人即使觀察攝像圖像，也成為視線與被攝體不一致的狀態(tài)。作為校正該被攝體的臉部方向的方法，例如在下述專利文獻I中公開了一種方法，在圖像顯示部的顯示畫面的外側部，分散配置多個攝像單元，根據(jù)由各攝像單元得到的多個攝像數(shù)據(jù)對被攝體的圖像進行處理來得到三維圖像，由此生成與攝像部正對的被攝體的圖像。
[0005]現(xiàn)有技術文獻
[0006]專利文獻
[0007]專利文獻1:JP特開2004-159061號公報

【發(fā)明內容】

[0008]發(fā)明要解決的課題
[0009]但是，在上述方法中，會修正為所攝像到的被攝體總是與顯示畫面正對的圖像。例如，即使在想要拍攝被攝體的側臉時也被修正為正對的圖像，難以生成適當?shù)淖耘膱D像。
[0010]本發(fā)明鑒于上述課題而發(fā)明，其目的在于提供一種圖像處理裝置，在攝像部的攝像方向與顯示部的顯示方向一致的所謂自拍攝影的情況下，生成適當?shù)淖耘膱D像。
[0011]用于解決課題的手段
[0012]根據(jù)本發(fā)明的一觀點，本發(fā)明的圖像處理裝置具備:臉部信息檢測部，其從圖像數(shù)據(jù)檢測被攝體的臉部位置信息、臉部大小信息和臉部成分信息；臉部方向計算部，其根據(jù)所述臉部位置信息、所述臉部大小信息和所述臉部成分信息，來計算出所述被攝體的臉部方向信息；圖像平行移動部，其使所述圖像數(shù)據(jù)進行平行移動以使所述臉部位置信息成為所述圖像數(shù)據(jù)的中心；臉部模型生成部，其基于所述臉部位置信息、所述臉部大小信息、所述臉部成分信息和所述臉部方向信息，使表示臉部的立體形狀的臉部立體形狀模板信息進行變形來生成所述被攝體的臉部模型；和圖像生成部，其基于所述臉部方向信息和所述臉部模型，來生成按照所述被攝體的臉部成為正面臉部的方式進行了變換的圖像，所述圖像處理裝置根據(jù)所述臉部方向信息，對輸出由所述圖像平行移動部進行了平行移動的圖像數(shù)據(jù)的處理、和輸出由所述圖像生成部生成的圖像數(shù)據(jù)的處理進行切換。
[0013]此外，根據(jù)本發(fā)明的其他觀點，提供一種圖像顯示裝置，其具備:攝像部，其對被攝體進行攝像；所述圖像處理裝置，其對由所述攝像部攝像到的所述被攝體的圖像數(shù)據(jù)進行處理；和發(fā)送部，其發(fā)送在所述圖像處理裝置中生成的圖像。
[0014]此外，根據(jù)本發(fā)明的其他觀點，提供一種圖像顯示裝置，其具備:攝像部，其對被攝體進行攝像；所述圖像處理裝置，其對由所述攝像部攝像到的所述被攝體的圖像數(shù)據(jù)進行處理；和接收部，其接收由其他帶攝像部的圖像顯示裝置生成的圖像數(shù)據(jù)。
[0015]發(fā)明效果
[0016]根據(jù)本發(fā)明，在攝像部的攝像方向與顯示部的顯示方向一致的所謂自拍攝影的情況下，能夠根據(jù)被攝體的臉部方向進行適當?shù)膱D像處理，并能夠生成適當?shù)淖耘臄z像圖像。
【附圖說明】
[0017]圖1是表示具備本發(fā)明的圖像處理裝置的圖像顯示裝置的第I實施例的系統(tǒng)構成的圖。
[0018]圖2是說明由臉部信息檢測部檢測出的臉部成分信息、臉部的大小信息和臉部的位置信息的圖。
[0019]圖3是說明被攝體的臉部方向信息與眼睛的配置的關系的圖。
[0020]圖4是說明被攝體的臉部的朝向與攝像部的攝像方向所成的角度的圖。
[0021]圖5是說明圖像平行移動部的動作的圖。
[0022]圖6是說明圖像平行移動部的動作的圖。
[0023]圖7是說明在臉部模型生成中使用的臉部立體形狀模板信息的圖。
[0024]圖8是說明所生成的臉部模型的圖。
[0025]圖9是說明圖像生成部的動作的圖。
[0026]圖10是本發(fā)明的第I實施例中的動作的流程圖。
[0027]圖11是表示具備本發(fā)明的圖像處理裝置的圖像顯示裝置的第2實施例的系統(tǒng)構成的圖。
【具體實施方式】
[0028]以下，參照附圖來說明本發(fā)明的實施例。另外，附圖示出了依據(jù)本發(fā)明的原理的具體的實施例和實現(xiàn)例，但它們是用于理解本發(fā)明，決不是用于限制性地解釋本發(fā)明。此外，各圖中的構成，為了容易理解而夸張地進行了記載，與實際的間隔、大小不同。
[0029]<第I實施例>
[0030]圖1是表示具備本發(fā)明的圖像處理裝置101的圖像顯示裝置100的實施例的圖，表示由圖像顯示裝置100對被攝體進行自拍，根據(jù)所攝像到的自己的圖像來生成適當?shù)淖耘膱D像，將生成圖像顯示于顯示部104的情況下的示例。
[0031]以下，使用圖1來詳細說明本發(fā)明的第I實施例的系統(tǒng)構成以及動作的詳細情況。本實施例所涉及的圖像顯示裝置100例如是帶照相機的便攜式電話、平板電腦等的通信終端，能夠進行圖像的攝像、攝像到的圖像的保存和傳輸?shù)取?br>[0032]圖像顯示裝置100具備攝像部103、顯示部104、存儲部105、圖像處理裝置101、收發(fā)部106和輸入輸出部107。此外，圖像顯示裝置100通過收發(fā)部106與外部網(wǎng)絡113連接，與其他的通信設備等連接。
[0033]攝像部103具備攝像透鏡以及CCD (Charge Coupled Device:電荷親合器件)、CMOS (Complementary Metal Oxide Semiconductor:互補金屬氧化物半導體)等攝像元件，能夠對被攝體的靜止圖像、動態(tài)圖像進行攝像。
[0034]顯不部104 是 LCD (Liquid Crystal Display:液晶顯不器)、有機 EL (ElectroLuminescence:電致發(fā)光)顯示器等的顯示畫面，對圖像、文字等的信息、被攝體的圖像等進行顯示。
[0035]圖像處理裝置101例如能夠由CPU (Central Processing Unit:中央處理裝置)、GPU (Graphic Processing Unit:圖像處理用處理裝置)等構成，從攝像部103、存儲部105、輸入輸出部107、收發(fā)部106等取得圖像、文本、聲音等信息進行處理，向顯示部104、存儲部105等輸出處理后的信息。
[0036]此外，圖像處理裝置101具備臉部信息檢測部108、臉部方向計算部109、圖像平行移動部110、臉部模型生成部111和圖像生成部112。臉部信息檢測部108從輸入到圖像處理裝置101的圖像數(shù)據(jù)中，提取臉部信息(被攝體的臉部的位置信息、臉部的大小信息、以及臉部成分信息即眼睛、鼻、口等臉部的特征)。
[0037]臉部方向計算部109基于由臉部信息檢測部108檢測出的臉部信息，來計算出被攝體的臉部方向信息。此外，圖像平行移動部110對圖像數(shù)據(jù)的臉部區(qū)域進行平行移動以使所檢測出的被攝體的臉部位置信息成為圖像中心。
[0038]臉部模型生成部111基于由臉部信息檢測部108檢測出的臉部信息、由臉部方向計算部109計算出的臉部方向信息和臉部立體形狀模板信息，來生成與被攝體相應的臉部模型。關于臉部立