電子設(shè)備以及電子設(shè)備的控制方法
【專利摘要】一種電子設(shè)備及電子設(shè)備的控制方法。一個實施方式的電子設(shè)備具備一體地具有顯示面和傳感器面的帶傳感器的顯示設(shè)備(100)、數(shù)據(jù)傳送設(shè)備(200)、圖像數(shù)據(jù)生成模塊和處理模塊。上述數(shù)據(jù)傳送設(shè)備生成三維信息后輸出。上述圖像數(shù)據(jù)生成模塊根據(jù)上述三維信息生成上述傳感器面的多個感測點處的圖像數(shù)據(jù)。上述處理模塊根據(jù)上述圖像數(shù)據(jù)解析在上述傳感器面的上方進行了操作的導(dǎo)體的操作內(nèi)容。
【專利說明】電子設(shè)備以及電子設(shè)備的控制方法

【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明的實施方式涉及電子設(shè)備以及電子設(shè)備的控制方法。

【背景技術(shù)】
[0002]便攜電話、手寫面板、個人數(shù)字助手(PDA)、以及小型的便攜個人計算機等正在普及。這些電子設(shè)備具有和顯示面板成為一體的操作輸入面板。
[0003]操作輸入面板在用戶接觸到顯示面時，把接觸的位置例如作為靜電電容的變化檢測出來。檢測信號輸入到為了操作輸入面板而專門設(shè)計且被集成電路(IC)化了的觸摸信號處理1C。觸摸信號處理IC通過預(yù)先準(zhǔn)備的計算算法處理上述檢測信號，把用戶接觸的位置轉(zhuǎn)換為坐標(biāo)數(shù)據(jù)后輸出。
[0004]專利文獻1:日本特開2012-48295號公報
[0005]隨著制造技術(shù)的進步，顯示面板的分辨率正在高分辨率化，另外顯示面板的大型化也正在發(fā)展。伴隨顯示面板的高分辨率化及大型化，操作輸入面板的位置檢測精度也要求高精細化。另外，根據(jù)應(yīng)用，對操作輸入面板的操作輸入的數(shù)據(jù)處理速度也要求高速化。另外，希望能夠容易地變更應(yīng)用的方式的裝置。


【發(fā)明內(nèi)容】

[0006]因此本發(fā)明的一個實施方式的目的在于，提供電子設(shè)備以及電子設(shè)備的控制方法，能夠靈活地適應(yīng)于多種應(yīng)用，能夠豐富對應(yīng)用的輸入信息。
[0007]—個實施方式所涉及的電子設(shè)備具備:帶傳感器的顯示設(shè)備，一體地具有輸出顯示信息的顯示面和輸入操作信息的傳感器面；數(shù)據(jù)傳送設(shè)備，根據(jù)通過上述傳感器面感測到的信號，生成并輸出三維信息；圖像數(shù)據(jù)生成模塊，根據(jù)由上述數(shù)據(jù)傳送設(shè)備輸出的上述三維信息，生成上述傳感器面的多個感測點處的三維圖像數(shù)據(jù)；和處理模塊，根據(jù)由上述圖像數(shù)據(jù)生成模塊生成的圖像數(shù)據(jù)，解析在上述傳感器面的上方進行了操作的導(dǎo)體的操作內(nèi)容。
[0008]另外，一個實施方式所涉及的電子設(shè)備的控制方法，上述電子設(shè)備具有帶傳感器的顯示設(shè)備，上述帶傳感器的顯示設(shè)備一體地具有輸出顯示信息的顯示面和輸入操作信息的傳感器面，上述控制方法的特征在于，取得根據(jù)通過上述傳感器面感測到的信號生成的三維信息，根據(jù)上述取得的三維信息，生成上述傳感器面的多個感測點處的三維圖像數(shù)據(jù)，根據(jù)上述生成的圖像數(shù)據(jù)，識別在上述傳感器面的上方進行了操作的導(dǎo)體的操作內(nèi)容，按照上述識別的操作內(nèi)容，控制應(yīng)用動作。

【專利附圖】

【附圖說明】
[0009]圖1是一種實施方式的電子設(shè)備的框結(jié)構(gòu)圖。
[0010]圖2A是為了說明一體地具有顯示面或者顯示面板、以及操作面或者操作輸入面板的傳感器一體型顯不設(shè)備而表不的截面圖。
[0011]圖2B是為了說明用于從由操作輸入面板輸出的信號得到觸摸檢測信號的原理而表示的說明圖。
[0012]圖3是為了說明操作輸入面板的傳感器構(gòu)成部件及其驅(qū)動方法而表示的立體圖。
[0013]圖4是將圖1表示的數(shù)據(jù)傳送設(shè)備的框結(jié)構(gòu)例以及通過應(yīng)用動作設(shè)備的各種應(yīng)用實現(xiàn)的功能的幾個例子以方框形式表示的圖。
[0014]圖5A是表示從圖1以及圖4的驅(qū)動器輸出的顯示用的信號和傳感器用檢測電極的驅(qū)動信號的輸出定時的例子的圖。
[0015]圖5B是為了說明傳感器用檢測電極和共同電極的驅(qū)動狀態(tài)而表示的示意圖。
[0016]圖6是表示將沒有操作輸入的情況下的傳感器輸出的原始數(shù)據(jù)(檢測數(shù)據(jù))圖表化的一例的示意圖。
[0017]圖7是表示將有操作輸入的情況下的傳感器輸出的原始數(shù)據(jù)(檢測數(shù)據(jù))圖表化的一例的不意圖。
[0018]圖8是用于說明本實施方式的便攜終端的使用例的圖。
[0019]圖9是用于說明本實施方式的便攜終端的使用例的流程圖。
[0020]圖10是用于說明本實施方式的便攜終端的具體的使用例(例I)的流程圖。
[0021]圖11是用于說明本實施方式的便攜終端的具體的使用例(例I)的流程圖。
[0022]圖12是用于說明本實施方式的便攜終端的具體的使用例(例2)的流程圖。
[0023]圖13是用于說明本實施方式的便攜終端的具體的使用例(例2)的流程圖。
[0024]圖14是用于說明本實施方式的便攜終端的具體的使用例(例3)的操作說明圖。
[0025]圖15是用于說明本實施方式的便攜終端的具體的使用例(例4)的操作說明圖。
[0026]圖16是用于說明本實施方式的便攜終端的具體的使用例(例5)的操作說明圖。

【具體實施方式】
[0027]下面參照【專利附圖】

【附圖說明】實施方式。
[0028]圖1中表示一種實施方式的便攜終端I。便攜終端I構(gòu)成具有傳感器一體型顯示設(shè)備100、數(shù)據(jù)傳送設(shè)備200以及應(yīng)用動作設(shè)備300的電子設(shè)備。
[0029]傳感器一體型顯不設(shè)備100 —體具有輸出顯不信息的顯不面和輸入操作信息的傳感器面。傳感器一體型顯示設(shè)備100作為帶傳感器的顯示設(shè)備而被利用。數(shù)據(jù)傳送設(shè)備200根據(jù)通過上述傳感器面感測的信號生成三維信息(RAW-D)后輸出。應(yīng)用動作設(shè)備300具有這樣的處理功能:根據(jù)數(shù)據(jù)傳送設(shè)備輸出的三維信息(RAW-D)生成上述傳感器面的多個感測點處的三維的圖像數(shù)據(jù)，根據(jù)生成的圖像數(shù)據(jù)解析在上述傳感器面上操作的導(dǎo)體的操作內(nèi)容。應(yīng)用動作設(shè)備300作為圖像數(shù)據(jù)生成模塊以及處理模塊而被利用。
[0030]傳感器一體型顯示設(shè)備100 —體具有顯示面(或者顯示面板)和操作面(或者操作輸入面板)，為此具有顯示元件構(gòu)成部件110、以及傳感器構(gòu)成部件150。
[0031]向該傳感器一體型顯示設(shè)備100從后述的驅(qū)動器210供給顯示信號(或者像素信號)。然后當(dāng)從驅(qū)動器210供給門信號(Gate signal)時，對顯示元件構(gòu)成部件110的像素寫入像素信號Sigx。根據(jù)該像素信號Sigx，決定像素電極和共同電極間的電壓，通過該電壓，電極間的液晶分子位移，能夠得到與液晶分子的位移對應(yīng)的亮度。
[0032]傳感器一體型顯示設(shè)備100的通稱不限于此，也可以稱為輸入傳感器一體型顯示部、用戶界面等。
[0033]顯示元件構(gòu)成部件110也可以采用液晶顯示面板、LED、有機EL等由發(fā)光元件構(gòu)成的顯示部。顯示元件構(gòu)成部件Iio也可以簡稱為顯示器。傳感器構(gòu)成部件150有靜電電容變化檢測方式、光量變化檢測方式等，采用任何一種都可以。傳感器構(gòu)成部件150也可以稱為用于檢測接觸輸入的面板。
[0034]傳感器一體型顯示設(shè)備100經(jīng)由數(shù)據(jù)傳送設(shè)備200連接應(yīng)用動作設(shè)備300。
[0035]數(shù)據(jù)傳送設(shè)備200具有驅(qū)動器210、傳感器信號檢測器250。驅(qū)動器210基本上向顯示元件構(gòu)成部件Iio輸入從應(yīng)用動作設(shè)備300傳送來的圖形數(shù)據(jù)。另外，傳感器信號檢測器250檢測從傳感器構(gòu)成部件150輸出的傳感器信號Rx。
[0036]驅(qū)動器210和傳感器信號檢測器250相互同步動作，同步控制基于應(yīng)用動作設(shè)備300的控制。
[0037]應(yīng)用動作設(shè)備300是組裝在便攜電話等電子設(shè)備內(nèi)的、例如半導(dǎo)體集成電路(LSI)，具有復(fù)合地執(zhí)行Web瀏覽、多媒體處理等多種功能處理的作用。這些應(yīng)用處理器進行高速的運算處理，也可以是雙核、或者Quad-Core(四核)設(shè)備。作為動作速度，例如在500MHz以上，更理想的是IGHz的應(yīng)用處理器。
[0038]驅(qū)動器210基于應(yīng)用程序向顯示元件構(gòu)成部件110供給顯示信號(對圖形數(shù)據(jù)進行了模擬變換后的信號)Sigx。進而驅(qū)動器210根據(jù)來自傳感器信號檢測器250的定時信號，輸出用于訪問傳感器構(gòu)成部件150的傳感器驅(qū)動信號Tx。與該傳感器驅(qū)動信號Tx同步讀出的傳感器信號Rx被從傳感器構(gòu)成部件150中讀出，向傳感器信號檢測器250輸入。
[0039]傳感器信號檢測器250對傳感器信號進行削波，去除噪聲，作為原始的讀取圖像數(shù)據(jù)(可以稱為三維圖像數(shù)據(jù))輸入到應(yīng)用動作設(shè)備300。在本實施方式中把從上述傳感器信號檢測器250輸出的原始的讀取圖像數(shù)據(jù)稱為原始數(shù)據(jù)(RAW-D)或者去除了符號的原始數(shù)據(jù)。
[0040]在傳感器構(gòu)成部件150是電容檢測方式的情況下，圖像數(shù)據(jù)不是單純表示坐標(biāo)的二維數(shù)據(jù)，而可以根據(jù)電容的大小具有不同的多值(2字位以上的例如3值-7值)。因此，該圖像數(shù)據(jù)可以稱為包含物理量和坐標(biāo)的三維數(shù)據(jù)。因為根據(jù)成為對象物的導(dǎo)體(例如用戶的指尖)和接觸面板的遠近(接近度)，容量發(fā)生變化，所以可以把該變化作為物理量的變化來捕捉。
[0041]如上述數(shù)據(jù)傳送設(shè)備200的傳感器信號檢測器250直接向應(yīng)用動作設(shè)備300提供圖像數(shù)據(jù)的理由基于以下理由。
[0042]首先應(yīng)用動作設(shè)備300發(fā)揮其高速運算功能，能夠在各種用途中使用圖像數(shù)據(jù)。
[0043]在應(yīng)用動作設(shè)備300中，根據(jù)來自用戶的各種要求，存儲新的各種應(yīng)用。新的應(yīng)用有根據(jù)數(shù)據(jù)處理內(nèi)容希望變化或者切換圖像數(shù)據(jù)的處理方法、讀出定時、讀出格式、讀出區(qū)域、或者讀出密度等的情況。
[0044]在這樣的情況下，像以往的裝置那樣僅接受坐標(biāo)數(shù)據(jù)時，其取得信息量受限制。但是，像該裝置那樣，若解析原始的三維圖像數(shù)據(jù)，則例如除了坐標(biāo)位置信息外，還能夠得到與導(dǎo)體的接近度對應(yīng)的遠近信息。
[0045]進而，為得到基于應(yīng)用的各種功能的擴張性，優(yōu)選的是，數(shù)據(jù)傳送設(shè)備200能夠追隨基于應(yīng)用的控制的各種動作。因此，數(shù)據(jù)傳送設(shè)備200作為盡可能簡單的功能，采用能夠根據(jù)應(yīng)用的控制來任意切換傳感器信號的讀取定時、讀取區(qū)域、讀取密度等的結(jié)構(gòu)。這點在后面也進行說明。
[0046]應(yīng)用動作設(shè)備300在本實施方式的情況下，由通過裝載具有無線設(shè)備接口(參照圖1)的基帶引擎來能夠進行多種應(yīng)用的處理的、所謂的稱為應(yīng)用處理器的單一的半導(dǎo)體集成電路構(gòu)成，在上述無線設(shè)備接口以外，例如還可以包含相機功能接口等。因此，應(yīng)用動作設(shè)備300還作為坐標(biāo)運算處理模塊發(fā)揮作用。
[0047]進而在應(yīng)用動作設(shè)備300中，包含圖像數(shù)據(jù)生成處理模塊(P1)、圖像解析處理模塊(P2)以及各種應(yīng)用執(zhí)行模塊(Ps)。圖像數(shù)據(jù)生成處理模塊(Pl)根據(jù)從傳感器信號檢測器250接受的原始數(shù)據(jù)(RAW-D)，生成傳感器構(gòu)成部件150的傳感器面的多個感測點處的三維圖像數(shù)據(jù)。圖像解析處理模塊(P2)根據(jù)由上述圖像數(shù)據(jù)生成處理模塊生成的圖像數(shù)據(jù)，識別在上述傳感器面上操作的導(dǎo)體的操作內(nèi)容。圖像解析處理模塊(P2)作為操作輸入識別處理模塊而被利用。各種應(yīng)用執(zhí)行模塊(Ps)執(zhí)行遵照由上述圖像解析處理模塊識別的操作內(nèi)容的應(yīng)用。
[0048]在圖2A中，表示顯示元件構(gòu)成部件110和傳感器構(gòu)成部件150成為一體的傳感器一體型顯示設(shè)備100即顯示面板和操作輸入面板一體化的顯示裝置的截面結(jié)構(gòu)。
[0049]像素基板10具有薄膜晶體管(TFT)基板11、共同電極13以及像素電極12。共同電極13形成在薄膜晶體管(TFT)基板11上。在本實施方式中，共同電極13通過多個區(qū)段(segment)形成。但是共同電極13也可以由單一的電極形成。像素電極12經(jīng)過絕緣層形成在共同電極13的上方。像素基板10也可以稱為陣列基板。對置基板20和像素基板10平行配置。對置基板20具有顏色過濾器22、顏色基板23、傳感器用檢測電極24以及偏振板25。顏色過濾器22、顏色基板23、傳感器用檢測電極24、以及偏振板25從液晶層30側(cè)依次配置。液晶層30保持在像素基板10和對置基板20之間。
[0050]共同電極13是顯示用的共同驅(qū)動電極，但是還作為傳感器用驅(qū)動電極(或者傳感器的共同驅(qū)動電極)發(fā)揮作用。
[0051]圖2B表示在導(dǎo)體例如用戶的指尖接近共同電極和傳感器用檢測電極的交叉點附近的情況下，從位于該交叉點的傳感器用檢測電極讀出的電壓從VO變化為Vl的情況。在手指沒有接觸顯示面的狀態(tài)下，伴隨對交叉點的電容(作為第一電容元件)的充放電而流過與第一電容元件的電容值對應(yīng)的電流。此時的第一電容元件的傳感器用檢測電極的電位波形例如成為圖2B的波形V0。當(dāng)用戶的指尖接近傳感器用檢測電極時，由手指形成的第二電容元件(電容)成為和第一電容元件串聯(lián)追加的形式。在該狀態(tài)下，伴隨對第一電容元件和第二電容元件的充放電，分別流過電流。此時的第一電容元件的傳感器用檢測電極的電位波形例如成為圖2B的波形VI，它被傳感器信號檢測器250檢測。此時，第一電容元件的傳感器用檢測電極的電位成為由流過第一電容元件和第二電容元件的電流的值決定的分壓電位。因此，波形Vl成為比非接觸狀態(tài)(或者非接近狀態(tài))的波形VO小的值。因此，通過比較該傳感器信號Rx和閾值電壓Vth，能夠判斷手指是否接觸(或者接近)。
[0052]圖3是為了說明操作輸入面板的傳感器構(gòu)成部件及其驅(qū)動方法而表示的立體圖，表示傳感器用檢測電極24和共同電極21的配置關(guān)系。圖3中表示的例子是一例，不限于這樣的類型。
[0053]圖4再次表示傳感器一體型顯示設(shè)備100、數(shù)據(jù)傳送設(shè)備200以及應(yīng)用動作設(shè)備300。
[0054]這里，進一步表示數(shù)據(jù)傳送設(shè)備200和應(yīng)用動作設(shè)備300的內(nèi)部結(jié)構(gòu)例。
[0055]數(shù)據(jù)傳送設(shè)備200大致劃分時具有驅(qū)動器210和傳感器信號檢測器250。驅(qū)動器210、傳感器信號檢測器250的名稱不限于此，也可以分別稱為顯示器驅(qū)動器1C、觸摸1C。兩個框分別表示，但是也可以一體構(gòu)成，集成在I個芯片內(nèi)。
[0056]驅(qū)動器210從應(yīng)用動作設(shè)備300接受顯示用數(shù)據(jù)。顯示用數(shù)據(jù)被時分割，具有消隱期間。顯示用數(shù)據(jù)經(jīng)由作為緩沖器的視頻隨機存取存儲器(VRAM)211，被輸入到定時電路以及數(shù)字模擬轉(zhuǎn)換器212。在本系統(tǒng)中，VRAM211也可以是I幀以下的容量。
[0057]作為模擬量的顯示用數(shù)據(jù)Sigx由輸出放大器213放大，為了寫入到顯示元件而輸入到傳感器一體型顯示設(shè)備100。由定時電路以及數(shù)字模擬轉(zhuǎn)換器212檢測出的消隱檢測信號輸入到傳感器信號檢測器250的定時控制器251。該定時控制器251也可以設(shè)置在驅(qū)動器210內(nèi)，另外也可以稱為同步化電路。
[0058]定時控制器251生成用于在消隱期間訪問傳感器的傳感器訪問脈沖。該傳感器訪問脈沖由輸出放大器214放大后輸入到傳感器一體型顯不設(shè)備100。
[0059]驅(qū)動信號Tx驅(qū)動傳感器用檢測電極，從而從傳感器一體型顯示設(shè)備100輸出傳感器信號Rx。傳感器信號Rx輸入到傳感器信號檢測器250內(nèi)的積分電路252。傳感器信號Rx由積分電路252與基準(zhǔn)電壓(閾值)Vref比較?；鶞?zhǔn)電位以上的電平的傳感器信號Rx特通過電容器被積分， 輸出積分輸出，然后在每一檢測單位期間通過開關(guān)被復(fù)位。由此得到傳感器信號Rx的模擬輸出。積分電路252的輸出被輸入到米樣保持及模擬數(shù)字轉(zhuǎn)換器253，被數(shù)字化。數(shù)字化了的檢測數(shù)據(jù)經(jīng)由數(shù)字濾波器254作為原始的數(shù)據(jù)被輸入到應(yīng)用動作設(shè)備300。
[0060]檢測數(shù)據(jù)是包含操作輸入的檢測數(shù)據(jù)以及操作輸入的非檢測數(shù)據(jù)雙方的三維數(shù)據(jù)(多值的數(shù)據(jù))。存在檢測器255例如在應(yīng)用動作設(shè)備300處于睡眠模式、不進行操作面上的觸摸坐標(biāo)的檢測時發(fā)揮作用。存在檢測器255在操作面上有任何接近物的情況下，能夠感測接近物，解除睡眠模式。
[0061]應(yīng)用動作設(shè)備300能夠接受并且解析檢測數(shù)據(jù)，輸出與解析結(jié)果對應(yīng)的上述顯示用數(shù)據(jù)。另外，應(yīng)用動作設(shè)備300能夠切換系統(tǒng)的動作功能。
[0062]應(yīng)用動作設(shè)備300能夠展開各種應(yīng)用，執(zhí)行裝置的動作步驟的設(shè)定、功能切換、顯示用信號的生成、切換等。能夠使用從傳感器信號檢測器250輸出的傳感器輸出(原始數(shù)據(jù))進行坐標(biāo)運算處理，進行操作位置的解析。該傳感器輸出作為圖像數(shù)據(jù)而被捕捉，所以還能夠通過應(yīng)用構(gòu)筑三維圖像數(shù)據(jù)。還能夠執(zhí)行三維圖像數(shù)據(jù)的登記處理、刪除處理、確認處理等。通過比較登記圖像數(shù)據(jù)和所取得的圖像數(shù)據(jù)，還能夠執(zhí)行動作功能的鎖定以及鎖定解除。
[0063]另外在取得傳感器信號的情況下，應(yīng)用動作設(shè)備300還能夠執(zhí)行從定時控制器251輸出的對傳感器檢測用電極的訪問脈沖的頻率變更，設(shè)定訪問脈沖的輸出定時。由此，應(yīng)用動作設(shè)備能夠進行傳感器構(gòu)成部件150的訪問區(qū)域的切換、訪問速度的設(shè)定。
[0064]另外，應(yīng)用動作設(shè)備300還能夠執(zhí)行傳感器輸出信號的采樣密度的設(shè)定、對傳感器輸出信號的附加數(shù)據(jù)的追加等。
[0065]圖5A中表示從數(shù)據(jù)傳送設(shè)備200輸出的時分割的顯示用數(shù)據(jù)Sigx、和傳感器驅(qū)動信號Tx(Txl-Txn)的時序圖的一例。圖5B是表不包含共同電極13和傳感器用檢測電極的傳感器構(gòu)成部件150的圖，示意地表示共同電壓Vcom和傳感器驅(qū)動信號Tx進行二維掃描的情況，共同電壓Vcom對共同電極13的多個區(qū)段依次施加。另外對共同電極13的多個區(qū)段在任意期間提供用于得到傳感器輸出的驅(qū)動信號Tx。
[0066]也可以從應(yīng)用動作設(shè)備300經(jīng)由相同的總線把顯示用數(shù)據(jù)Sigx和傳感器驅(qū)動信號Tx通過時分割輸入到驅(qū)動器210。也可以用定時電路及數(shù)字模擬轉(zhuǎn)換器212分離顯示用數(shù)據(jù)Sigx和傳感器驅(qū)動信號Tx。傳感器驅(qū)動信號Tx經(jīng)由定時控制器251、放大器214供給到上面說明的共同電極13 (多個區(qū)段)。從定時控制器251輸出傳感器驅(qū)動信號Tx的定時、頻率等能夠根據(jù)應(yīng)用動作設(shè)備300的指令變更。另外，定時控制器251能夠?qū)鞲衅餍盘枡z測器250的積分電路252供給復(fù)位定時信號，對采樣保持及模擬數(shù)字轉(zhuǎn)換器253、以及數(shù)字濾波器254供給時鐘。
[0067]圖6是傳感器輸出的原始數(shù)據(jù)的一例，表示把未檢測到操作輸入時的數(shù)據(jù)圖形化了的示意圖。
[0068]圖7是傳感器輸出的原始數(shù)據(jù)的一例，表示把檢測到操作輸入時的數(shù)據(jù)圖形化了的示意圖。
[0069]圖8中，表示在應(yīng)用動作設(shè)備300中通過三維圖像數(shù)據(jù)實現(xiàn)了包含多觸摸界面功能的多種多樣的應(yīng)用動作功能的具體例。上述三維圖像數(shù)據(jù)根據(jù)從傳感器信號檢測器250輸入的原始數(shù)據(jù)(RAW-D)生成。在圖8表示的例子中，能夠通過根據(jù)原始數(shù)據(jù)(RAW-D)生成的三維圖像數(shù)據(jù)，識別傳感器面上方的多種多樣的操作內(nèi)容。作為上述操作內(nèi)容，例如可以舉出操作者(用戶)的耳朵的形狀(la)、操作者是大人的情況及孩子的情況下的各自的手掌的形狀(lb)、特定的手勢和操作的組合(Ic)、多根手指接觸的操作(Id)、指腹接觸到傳感器面的狀態(tài)(Ie)、指尖接觸到傳感器面的狀態(tài)(If)等。通過和應(yīng)用功能一起登記這些可識別的操作內(nèi)容的三維圖像數(shù)據(jù)，能夠進行基于圖像比對的多種多樣的控制。
[0070]例如，通過操作者把耳朵靠在便攜終端I的傳感器面上，便攜終端I識別出耳朵的形狀(參照Ia)，能夠進行操作者的真?zhèn)闻卸捌渌δ芸刂?。在真?zhèn)闻卸ㄖ?，便攜終端I識別出是操作者的耳朵，能夠解除便攜終端I的功能鎖定。在功能控制中，便攜終端I能夠進行功能的自動切換控制。作為上述功能，可以舉出通過操作者把耳朵靠在傳感器面上識別出進入了通話后把動作模式切換為通話模式(接聽狀態(tài))的功能。
[0071]另外，通過識別手掌尺寸(參照Ib)，能夠?qū)崿F(xiàn)世代差別應(yīng)用的選擇性提供、用戶差別應(yīng)用的選擇性提供、指定了操作者的的設(shè)備或應(yīng)用的使用許可或使用禁止。
[0072]另外，在特定的手勢和操作的組合中(參照Ic)，當(dāng)用V字形手勢的兩根手指連續(xù)兩次觸摸操作面時，相機應(yīng)用啟動，能夠進行相機拍攝，當(dāng)連續(xù)三次觸摸時，音樂播放器啟動，能夠播放音樂。
[0073]另外，通過分開使用多根手指(參照Id)，能夠進行操作功能的切換。例如，能夠?qū)崿F(xiàn)用拇指進行滾動操作、用食指進行觸摸操作、用小指進行縮放操作那樣的分開使用。
[0074]另外，便攜終端I還能夠區(qū)分識別指腹的觸摸(參照Ie)和立起指甲的指尖的觸摸(參照If)，分別啟動不同的應(yīng)用。
[0075]圖9中表示便攜終端I中的通過上述各種操作內(nèi)容的識別來實現(xiàn)的解除鎖定的例子。選擇性地解除便攜終端I的功能鎖定(SB4)，使地能夠使用便攜終端1(SB5)。在該例中，用于上述解除鎖定的條件，用OR條件或者某種AND條件定義。這里，在OR條件的情況下，通過發(fā)生多個事件中的某一個事件，上述解除鎖定成立。在AND條件的情況下，通過發(fā)生多個事件的全部事件，或者發(fā)生任意兩個以上的事件，上述解除鎖定成立。所謂上述發(fā)生事件的情況，可以舉出能夠用耳朵的形狀認證的情況(SB31)、能夠用手掌的形狀認證的情況(SB32)、能夠用指尖的形狀認證的情況(SB33)。通過這些鎖定解除措施，能夠?qū)崿F(xiàn)符合安全水平的、使用方便的認證功能。
[0076]在這些認證中使用的三維圖像數(shù)據(jù)的登記處理，例如通過圖像的登記畫面以及聲音指導(dǎo)雙方、或者某一方的操作指導(dǎo)能夠順利地實施。
[0077]在應(yīng)用動作設(shè)備300內(nèi)，預(yù)先準(zhǔn)備用于實現(xiàn)基于上述三維圖像數(shù)據(jù)的遵照各種操作內(nèi)容的應(yīng)用功能的圖像的登記處理、以及用于實現(xiàn)認證處理的處理步驟。
[0078]在圖10以及圖11中，表示識別耳朵的形狀(參照Ia)來選擇性地解除便攜終端I的功能鎖定的登記以及認證的處理步驟。
[0079]圖10中表示登記順序的一例。在該登記順序中，向在應(yīng)用動作設(shè)備300上動作的應(yīng)用登記擁有便攜終端I的用戶的耳朵的三維圖像數(shù)據(jù)(Sll?S13)。接著，使用所登記的耳朵的三維圖像數(shù)據(jù)進行功能的選擇(S14)。在選擇解除鎖定的情況下，登記解除鎖定(S14A)，結(jié)束基于耳朵形狀的認證的登記處理(S15)。在不選擇解除鎖定的情況下，使用其他功能(S14B)。另外，上述登記順序能夠有各種變形，也可以構(gòu)成為根據(jù)需要采用其他功能(S14B)。
[0080]圖11中表示鎖定解除順序的一例。在鎖定解除順序中，在預(yù)先登記有耳朵的三維圖像數(shù)據(jù)的應(yīng)用內(nèi)比對擁有便攜終端I的用戶把耳朵靠在傳感器構(gòu)成部件150的傳感器面上而生成的耳朵的三維圖像數(shù)據(jù)(S21?S22)。在判定為圖像數(shù)據(jù)是耳朵形狀的情況下，進行登記判定(S23)。在判定為鎖定解除的情況下，通過特征一致的判定，解除預(yù)先登記有耳朵的三維圖像數(shù)據(jù)的應(yīng)用的鎖定(S23A?S24)。在沒有判定為鎖定解除的情況下，使用其他功能(S23B)。另外，上述鎖定解除順序能夠有各種變形，也可以構(gòu)成為根據(jù)需要使用其他功能(S23B)。
[0081]在圖12以及圖13中，表示能夠?qū)崿F(xiàn)分開使用多根手指的操作輸入(參照Id)的登記以及操作的處理步驟。
[0082]圖12中表示登記順序的一例。在該登記順序中，以三維圖像數(shù)據(jù)預(yù)先登記在傳感器面的操作中使用的各手指的形狀。例如在用拇指進行滾動操作、用食指進行觸摸操作、用小指進行縮放操作的情況下，首先用拇指接觸傳感器面，登記拇指的三維圖像數(shù)據(jù)(S31?S33)，接著登記所登記的拇指的操作功能(滾動操作功能)(S34A?S35)。進而在登記食指的三維圖像數(shù)據(jù)、以及該食指的操作功能(觸摸操作功能(S34B?S35))后，登記小指的三維圖像數(shù)據(jù)、以及該小指的操作功能(縮放操作功能(S34C?S35)。
[0083]圖13中表示操作順序的一例。在該操作順序中，比對接觸到傳感器面的手指的圖像數(shù)據(jù)和所登記的手指的圖像數(shù)據(jù)(S43)，能夠分別對拇指的滾動操作(S43A?S44)、食指的觸摸操作(S43B?S44)、和小指的縮放操作(S43C?S44)分別進行功能選擇。
[0084]圖14中表示分別觸摸傳感器面的兩個位置來切換應(yīng)用功能的操作例。例如通過用左手的拇指選擇描繪的線種功能，用右手的食指觸摸描繪部分，能夠改變右手的食指的描繪部分的線種。通過用左手的拇指選擇描繪的顏色指定，用右手的食指觸摸描繪部分，能夠改變右手的食指的描繪部分的顏色。通過用左手的拇指選擇描繪的部分取消，用右手的食指觸摸描繪部分，能夠用橡皮功能消除右手的食指的描繪部分。這樣通過實現(xiàn)基于多根手指操作的功能切換，能夠提供操作性優(yōu)良的觸摸操作功能。
[0085]圖15中表示預(yù)先登記好特定形狀的圖像數(shù)據(jù)來用作鎖定解除時的認證用圖案的例子。例如通過預(yù)先登記好圖章那樣的特定形狀的圖像數(shù)據(jù)，能夠進行使用該形狀的圖章圖像的鎖定解除的認證手續(xù)。
[0086]圖16中表示預(yù)先登記好幾幀量的圖像數(shù)據(jù)來用作手勢的例子。例如能夠進行這樣的功能控制:通過用食指的指腹整體在傳感器面上向畫面的上方進行滑動操作來解除鎖定，通過向其反方向進行滑動操作來進入睡眠狀態(tài)。
[0087]另外，作為圖16中表示的功能的應(yīng)用，例如能夠進行與操作方向?qū)?yīng)的上一曲方向、下一曲方向的選曲操作；音樂播放器的啟動、停止等各種功能切換、功能選擇。這些操作不必在作為導(dǎo)體的手指觸摸了傳感器面的狀態(tài)下進行，通過調(diào)整傳感器面的感測水平，以能夠通過基于原始數(shù)據(jù)(RAW-D)的三維圖像數(shù)據(jù)進行感測，由此能夠在傳感器面上以非接觸方式(例如從包的外側(cè))進行操作。
[0088]因此，應(yīng)用動作設(shè)備300 (處理模塊)作為生物體認證處理模塊利用。生物體認證處理模塊進行根據(jù)在傳感器面上進行了操作的操作者的身體的特征或者行為特征實現(xiàn)的生物體認證。
[0089]另外，本發(fā)明不限于上述實施方式，在實施階段在不脫離其宗旨的范圍內(nèi)能夠把構(gòu)成要素變形而具體化。另外。通過適當(dāng)組合在上述實施方式中公開的多個構(gòu)成要素能夠形成各種發(fā)明。例如，也可以從實施方式中表示的全部構(gòu)成要素中刪除幾個構(gòu)成要素。進而也可以適當(dāng)組合涉及不同實施方式的構(gòu)成要素。
【權(quán)利要求】
1.一種電子設(shè)備,其特征在于,具備: 帶傳感器的顯示設(shè)備，一體地具有輸出顯示信息的顯示面和輸入操作信息的傳感器面； 數(shù)據(jù)傳送設(shè)備，根據(jù)通過上述傳感器面感測到的信號，生成并輸出三維信息； 圖像數(shù)據(jù)生成模塊，根據(jù)由上述數(shù)據(jù)傳送設(shè)備輸出的上述三維信息，生成上述傳感器面的多個感測點處的三維圖像數(shù)據(jù)；和 處理模塊，根據(jù)由上述圖像數(shù)據(jù)生成模塊生成的圖像數(shù)據(jù)，解析在上述傳感器面的上方進行了操作的導(dǎo)體的操作內(nèi)容。
2.根據(jù)權(quán)利要求1所述的電子設(shè)備，其特征在于， 上述三維信息是表示導(dǎo)體相對于上述傳感器面的接近度的操作信息。
3.根據(jù)權(quán)利要求1所述的電子設(shè)備，其特征在于， 上述數(shù)據(jù)傳送設(shè)備與在上述顯示面上顯示上述顯示信息的顯示驅(qū)動定時同步地向上述圖像數(shù)據(jù)生成模塊傳送上述三維信息。
4.根據(jù)權(quán)利要求1所述的電子設(shè)備，其特征在于， 還具備坐標(biāo)運算處 理模塊， 上述圖像數(shù)據(jù)生成模塊以及上述坐標(biāo)運算處理模塊分別能夠進行多種應(yīng)用的處理，并且設(shè)置在由具有基帶引擎的半導(dǎo)體集成電路構(gòu)成的應(yīng)用動作設(shè)備內(nèi)。
5.根據(jù)權(quán)利要求1所述的電子設(shè)備，其特征在于， 上述圖像數(shù)據(jù)生成模塊與在上述顯示面上顯示顯示信息的顯示驅(qū)動定時同步地，根據(jù)上述傳感器面的所有感測點的上述三維信息，生成上述圖像數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的電子設(shè)備，其特征在于， 上述處理模塊具備應(yīng)用處理模塊，該應(yīng)用處理模塊用于啟動與上述解析的操作內(nèi)容建立了對應(yīng)的應(yīng)用處理。
7.根據(jù)權(quán)利要求1所述的電子設(shè)備，其特征在于， 上述處理模塊具備操作輸入識別處理模塊，該操作輸入識別處理模塊用于識別在上述傳感器面的上方進行了操作的操作者的人體的特定部位的圖像。
8.根據(jù)權(quán)利要求1所述的電子設(shè)備，其特征在于， 上述處理模塊具備生物體認證處理模塊，該生物體認證處理模塊用于根據(jù)在上述傳感器面的上方進行了操作的操作者的身體的特征或者行動的特征來進行生物體認證。
9.一種電子設(shè)備的控制方法，上述電子設(shè)備具有帶傳感器的顯示設(shè)備，上述帶傳感器的顯示設(shè)備一體地具有輸出顯示信息的顯示面和輸入操作信息的傳感器面，上述控制方法的特征在于， 取得根據(jù)通過上述傳感器面感測到的信號生成的三維信息， 根據(jù)上述取得的三維信息，生成上述傳感器面的多個感測點處的三維圖像數(shù)據(jù)， 根據(jù)上述生成的圖像數(shù)據(jù)，識別在上述傳感器面的上方進行了操作的導(dǎo)體的操作內(nèi)容， 按照上述識別的操作內(nèi)容，控制應(yīng)用動作。
10.根據(jù)權(quán)利要求9所述的電子設(shè)備的控制方法，其特征在于， 上述三維信息是通過與在上述顯示面上顯示上述顯示信息的顯示驅(qū)動定時同步的塊傳送來取得的。
11.根據(jù)權(quán)利要求9所述的電子設(shè)備的控制方法，其特征在于， 上述三維信息是表示導(dǎo)體相對于上述傳感器面的接近度的操作信息。
12.根據(jù)權(quán)利要求11所述的電子設(shè)備的控制方法，其特征在于， 上述三維信息是通過與在上述顯示面上顯示上述顯示信息的顯示驅(qū)動定時同步的塊傳送來 取得的。
【文檔編號】G06F3/0488GK104076981SQ201410155708
【公開日】2014年10月1日 申請日期:2014年3月28日 優(yōu)先權(quán)日:2013年3月29日
【發(fā)明者】山田錠治, 中川裕史, 山本倫生, 安住康平, 林真人, 水橋比呂志, 池野考造, 木田芳利 申請人:株式會社日本顯示器