專利名稱：電子裝置、信息處理方法、程序和電子裝置系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本公開涉及電子裝置、信息處理方法、程序和電子裝置系統(tǒng)。
背景技術(shù)：
近年來，作為正在移動終端如智能手機中廣泛使用的圖形用戶界面(⑶I)，已引入了使用觸摸傳感器的操作輸入裝置如觸摸面板。觸摸面板使用布置在液晶顯示器(LCD)屏幕等上的觸摸傳感器，并且通過直接觸摸屏幕來實現(xiàn)直觀操作(直接操縱)。例如，JP
2010-262556A描述了一種裝置，其裝備有兩種操作模式，以便進行操作以移動電容性觸摸面板上的對象
發(fā)明內(nèi)容
觸摸面板作為操作輸入裝置是極其有用的，其使得用戶能夠直接在顯示屏上操作，但是另一方面，存在分開地具有顯示屏和觸摸傳感器(觸摸墊)的裝置，比如像筆記本式計算機所表現(xiàn)的那樣。在分開地具有顯示屏和觸摸傳感器的這種裝置中存在如下問題用戶變得難以識別觸摸傳感器上的操作位置(與手指相接觸的位置)和屏幕上的指定位置(例如光標(biāo)的位置)之間的關(guān)系。作為例子，考慮一種便攜式終端裝置，其中，顯示屏設(shè)置在前側(cè)，而觸摸傳感器則設(shè)置在后表面上(裝置的后側(cè))。在這樣的裝置中，由于用戶用他/她的手指操作該用戶不能看到的裝置的后表面，所以用戶變得難以識別觸摸傳感器上的操作位置和屏幕上的指定位置之間的關(guān)系。進一步，可能出現(xiàn)如下情況手指的一部分在未被用戶注意到的情況下觸摸到觸摸傳感器，并且可能造成意外操作。進一步，作為分開地具有顯示屏和觸摸傳感器的裝置的另一個例子，考慮一種控制器，其以觸摸面板的方式操作置于遠處的屏幕上的用戶界面(UI)。由于用戶在觀看這樣的裝置中的屏幕的同時操作他/她手中的控制器，所以用戶變得難以識別觸摸傳感器上的操作位置和屏幕上的指定位置之間的關(guān)系。進一步，同樣假定存在如下情況手指的一部分在未被用戶注意到的情況下觸摸到觸摸傳感器，并且造成意外操作。進一步，在采用多觸摸輸入(其使得以與手指觸摸的多個位置相對應(yīng)的方式顯示并操作多個光標(biāo)成為可能)作為操作輸入的情況下，出現(xiàn)如下問題變得難以掌握多個指定位置(光標(biāo)位置)之間的絕對位置關(guān)系。另外，存在另一個問題在使用觸摸墊的情況下，即使在手指與觸摸傳感器相接觸的同時顯示光標(biāo)，但是當(dāng)從觸摸傳感器釋放手指時光標(biāo)消失，并且不會向屏幕給出反饋。因此，問題在于用戶不知道接下來將手指放在哪兒?？紤]到前述境況，希望提供一種新穎且改進的電子裝置、信息處理方法、程序和電子裝置系統(tǒng)，其使得用戶能夠在觀看顯示屏的同時用自然的操作來執(zhí)行輸入，而不會向用戶提供不舒適的感覺。根據(jù)本公開的實施例，提供了一種電子裝置，該電子裝置包括操作信息獲取部，其基于操作者在操作表面上執(zhí)行的操作，獲取由操作主體輸入的操作信息；圖像處理部，其基于所述操作信息，生成上面反映了所述操作主體的圖片的圖片圖像；以及圖像生成部，其生成其中所述圖片圖像疊加在原始圖像上的圖像。電子裝置可以進一步包括顯示部，其設(shè)置在與所述操作表面不同的地方，并且顯示其中所述圖片圖像疊加在原始圖像上的圖像。所述操作信息可以是從另一個裝置接收的信息，所述另一個裝置與所述電子裝置分開地設(shè)置，并且具有所述操作表面。所述圖像處理部可以基于所述操作信息生成所述操作主體的代表點的位置的信息。所述圖像生成部可以生成其中處在所述操作主體的代表點的位置處的圖像連同所述圖片圖像一起疊加在原始圖像上的圖像。所述圖像處理部可以將所述圖片圖像生成為通過使原始圖像半透明或者通過修 整原始圖像而獲得的圖像。在由所述操作信息獲取部檢測到的操作信息的信號強度等于或小于預(yù)定閾值的情況下，所述圖像處理部可以不生成所述圖片圖像的信息。在由所述操作信息獲取部獲取的操作信息的信號強度等于或小于第一閾值的情況下，所述圖像處理部可以不生成所述圖片圖像的信息，并且在由所述操作信息獲取部檢測到的操作信息的信號強度等于或小于比所述第一閾值大的第二閾值的情況下，所述圖像處理部可以不生成所述代表點的位置的信息。所述圖像處理部可以針對所述圖片圖像的信息執(zhí)行具有一定強度的第一低通濾波處理，并且還可以針對所述代表點的圖像的信息執(zhí)行第二低通濾波處理。所述第一低通濾波處理的強度可以高于所述第二低通濾波處理的強度。在由所述操作信息獲取部獲取的操作信息的信號強度變得等于或小于預(yù)定值的情況下，所述圖像處理部可以基于過去獲取的操作信息的信號強度來估計并生成圖片圖像。在由所述操作信息獲取部檢測到的操作信息的信號強度等于或小于比所述第一閾值大的第二閾值的情況下，可以不接受由所述操作主體執(zhí)行的輸入?；谒霾僮餍畔?，所述圖像處理部可以生成預(yù)先設(shè)置的圖形作為圖片圖像的信
肩、O基于所述操作信息，所述圖像處理部可以生成對應(yīng)于所述操作表面和所述操作主體之間的距離的圖片圖像。所述圖像處理部可以生成具有與所述操作信息的信號強度相對應(yīng)的尺寸的圖片圖像。所述圖像處理部可以生成具有與所述操作信息的信號強度相對應(yīng)的密度的圖片圖像。在所述圖片圖像的尺寸等于或小于預(yù)定值的情況下，可以不接受由所述操作主體執(zhí)行的輸入。根據(jù)本公開的另一個實施例，提供了一種信息處理方法，該方法包括基于操作者在操作表面上執(zhí)行的操作，獲取由操作主體輸入的操作信息；基于所述操作信息，生成上面反映了所述操作主體的圖片的圖片圖像；以及生成其中所述圖片圖像疊加在原始圖像上的圖像。根據(jù)本公開的另一個實施例，提供了一種用于使計算機起到以下作用的程序用于基于操作者在操作表面上執(zhí)行的操作而獲取由操作主體輸入的操作信息的裝置；用于基于所述操作信息而生成上面反映了所述操作主體的圖片的圖片圖像的裝置；以及用于生成其中所述圖片圖像疊加在原始圖像上的圖像的裝置。根據(jù)本公開的另一個實施例，提供了一種電子裝置系統(tǒng)，該系統(tǒng)包括控制器，所述控制器包括操作信息獲取部，其基于操作者在操作表面上執(zhí)行的操作，獲取由操作主體輸入的操作信息；以及傳送部，其傳送所述操作信息；以及電子裝置，所述電子裝置包括接收部，其接收所述操作信息；圖像處理部，其基于所述操作信息，生成上面反映了所述操作主體的圖片的圖片圖像；以及圖像生成部，其生成其中所述圖片圖像疊加在原始圖像上 的圖像。根據(jù)本公開的另一個實施例，提供了一種電子裝置系統(tǒng)，該系統(tǒng)包括控制器，所述控制器包括操作信息獲取部，其基于操作者在操作表面上執(zhí)行的操作，獲取由操作主體輸入的操作信息；圖像處理部，其基于所述操作信息，生成上面反映了所述操作主體的圖片的圖片圖像；以及傳送部，其傳送所述圖片圖像的信息；以及電子裝置，所述電子裝置包括接收部，其接收所述圖片圖像的信息；以及圖像生成部，其生成其中所述圖片圖像疊加在原始圖像上的圖像。根據(jù)上面描述的本公開的實施例，用戶變得可以在觀看顯示屏的同時用自然的操作來執(zhí)行輸入，而不會向用戶提供不舒適的感覺。


圖I是示出根據(jù)第一實施例的便攜式電子裝置的外觀的示意圖；圖2是示出圖I所示的便攜式電子裝置的配置的框圖；圖3是示出在觸摸傳感器由柵格電容式觸摸傳感器配置而成的情況下的柵格結(jié)構(gòu)的示意圖；圖4是示出在觸摸傳感器由單元內(nèi)光學(xué)觸摸傳感器配置而成的情況下的結(jié)構(gòu)的示意圖；圖5是示出通過測量由圖3所示的電容式觸摸傳感器掃描的電容而獲得的結(jié)果的例子的特征圖；圖6是示出在圖3所示的柵格當(dāng)中的特定柵格處根據(jù)與用戶的手指的接近度或相接觸的電容大小的特征圖；圖7是示出通過觸摸傳感器獲取的電容的示意圖；圖8A、圖8B、圖8C和圖8D是每個不出如下狀態(tài)的不意圖基于像圖7所不的那樣由觸摸傳感器獲取的電容生成光標(biāo)的圖像，并且在由傳送/接收部接收的URL的屏幕上以疊加的方式顯示圖像；圖9是示出確定重心的方法的例子的示意圖；圖10是示出確定一般等高線的方法的例子的示意圖；圖11是示出低通濾波處理的框圖；圖12是示出低通濾波處理的框圖13是示出如下例子的示意圖,在所述例子中，基于電容顯示光標(biāo)的代表點，并且還基于電容顯示圖片圖像152，而且另外顯示實際手指的形狀；圖14是示出其中在將手指帶到更加接近于觸摸傳感器的過程中改變光標(biāo)周圍的圖片圖像152的范圍和密度的顯示例子的示意圖；圖15是示出在手指從其中使用觸摸傳感器可以檢測到電容的范圍移出的情況下的顯示例子的示意圖；圖16是示出根據(jù)當(dāng)前實施例的便攜式電子裝置中執(zhí)行的處理的流程圖；圖17是示出根據(jù)第二實施例的控制器和電子裝置的配置的配置圖；圖18是示出根據(jù)第二實施例的控制器和電子裝置的配置的配置圖； 圖19是示出第二實施例的配置的框圖； 圖20是示出其中電子裝置是諸如機頂盒之類的裝置并且分開地設(shè)置顯示屏的例子的框圖；圖21是示出其中用戶用他/她的左手大拇指對觸摸傳感器的左手側(cè)進行觸摸并且用他/她的右手食指對觸摸傳感器的右手側(cè)進行觸摸的狀態(tài)的示意圖；圖22是根據(jù)每個柵格的電容大小改變光標(biāo)的狀態(tài)的例子；以及圖23是示出其中指示電子裝置狀態(tài)的信息疊加在模擬的手指圖像上的例子的示意圖。
具體實施例方式在下文中，參考附圖來詳細地描述本公開的優(yōu)選實施例。注意，在本說明書和附圖中，具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)性元件用相同的標(biāo)號指示，并且省略對這些結(jié)構(gòu)性元件的重復(fù)說明。注意，按照以下順序給予說明。I.實施例概要2.第一實施例2. I.系統(tǒng)配置例子2. 2.觸摸傳感器的配置例子2.3.屏幕上的顯示例子2.4.關(guān)于低通濾波處理2. 5.顯示手指形狀的例子2.6.其中根據(jù)距離改變圖片圖像的范圍和密度的顯示例子2.7.手指從觸摸傳感器的可檢測范圍移開的情況下的顯示例子2.8.當(dāng)前實施例的便攜式電子裝置中的處理3.第二實施例(捕捉控制使用定向傳感器用來檢測盤方向的例子)3. I.系統(tǒng)配置例子3. 2.屏幕上的顯示例子I.實施例概要存在一種分開地具有顯示屏和觸摸傳感器(觸摸墊)的裝置，如通過筆記本式計算機表現(xiàn)的那樣。這樣的裝置具有使用相對坐標(biāo)系的觸摸墊。
在使用相對坐標(biāo)系的觸摸墊中，觸摸墊上的操作位置(與手指相接觸的位置)和屏幕上的指定位置(例如光標(biāo)的位置)并不在一對一的基礎(chǔ)上彼此對應(yīng)。當(dāng)用戶在觸摸墊上執(zhí)行操作以移動光標(biāo)時，光標(biāo)在當(dāng)前光標(biāo)位置的基礎(chǔ)上移動對應(yīng)于該操作的相對距離。例如，在用戶想要將光標(biāo)從屏幕上的一端移動到另一端的情況下，用戶將他/她的手指在觸摸墊上移動預(yù)定距離并且重復(fù)移動該預(yù)定距離若干次，從而能夠?qū)⒐鈽?biāo)從屏幕上的一端移動到另一端。另一方面，作為另一種坐標(biāo)系，考慮絕對坐標(biāo)系，如通過觸摸面板表現(xiàn)的那樣。在絕對坐標(biāo)系的情況下，由于觸摸傳感器上的指定位置(與手指相接觸的位置)和屏幕上的指定位置(例如光標(biāo)的位置)在一對一的基礎(chǔ)上彼此對應(yīng)，所以例如當(dāng)用戶對觸摸傳感器的左側(cè)進行觸摸時光標(biāo)移動到屏幕的左側(cè)，而當(dāng)用戶對觸摸傳感器的右側(cè)進行觸摸時光標(biāo)則移動到屏幕的右側(cè)。在分開地設(shè)置屏幕和觸摸墊的情況下，一般地使用相對坐標(biāo)系，如通過筆記本式計算機表現(xiàn)的那樣。然而，根據(jù)場景通過使用絕對坐標(biāo)系，其便利性變高。作為例子，考慮在顯示裝置的后表面上(裝置的后側(cè))具有附著的觸摸傳感器的便攜式終端裝置，如將要 在第一實施例中描述的那樣。該裝置在后表面上具有操作表面，并且前側(cè)的顯示屏和操作表面前后彼此對應(yīng)，因此該裝置是所謂的模擬觸摸面板狀的操作輸入裝置。當(dāng)在這樣的裝置中使用相對坐標(biāo)系時，光標(biāo)的位置和手指的位置彼此不同，這使用戶迷惑。因此，針對這樣的裝置使用絕對坐標(biāo)系，所以可以實現(xiàn)具有高可用性的操作系統(tǒng)。與觸摸面板的情況不同，具有附著到顯示裝置后表面的觸摸傳感器的操作系統(tǒng)具有很大的優(yōu)點在于，屏幕不會被手指隱藏。因此，顯示屏不被手指隱藏，并且用戶可以執(zhí)行與使用觸摸面板的操作等效的操作。另一方面，由于用戶用他/她的手指操作該用戶不能看到的裝置的后表面，所以可能出現(xiàn)如下情況手指的一部分在未被用戶注意到的情況下觸摸到觸摸傳感器，并且可能造成意外操作。因此，希望在前側(cè)的顯示屏上顯示手指的位置。進一步，作為另一個例子，考慮一種控制器，其以觸摸面板的方式操作置于遠處的屏幕上的用戶界面(UI)，如將要在第二實施例中描述的那樣。這里，在采用多觸摸輸入(其使得以與手指觸摸的多個位置相對應(yīng)的方式顯示并操作多個光標(biāo)成為可能)作為操作輸入的情況下，如果采用絕對坐標(biāo)系則操作變得容易，因為多個指定位置(光標(biāo)位置)之間的絕對位置關(guān)系起到重要作用。在這種情況下，習(xí)慣于通常在現(xiàn)有的筆記本式PC等的觸摸墊中使用的相對坐標(biāo)的用戶可能混淆坐標(biāo)系的不同。如上所述，一般而言過去使用指示裝置的⑶I系統(tǒng)(Windows (注冊商標(biāo))PC等)使用相對坐標(biāo)系作為用于操作的坐標(biāo)系。然而，在試圖使用觸摸墊來實現(xiàn)直接操縱式操作感覺的情況下，希望使用絕對坐標(biāo)系，因為有必要直接對操作對象的位置進行操作。另外，同樣在執(zhí)行多觸摸操作的情況下，希望使用絕對坐標(biāo)系，以便不破壞手指之間的位置關(guān)系。進一步，在使用觸摸墊的情況下，即使在手指與觸摸傳感器相接觸的同時顯示光標(biāo)，但是當(dāng)從觸摸傳感器釋放手指時光標(biāo)消失，并且不會向屏幕給出反饋。因此，可能出現(xiàn)用戶不知道接下來將手指放在哪兒的問題。因此，在下文中將要描述的每個實施例中，由觸摸傳感器的每個柵格獲取的手指的圖片信息被可視化并顯示在屏幕上。這里，在顯示手指的圖片信息的情況下，可以使用預(yù)定閾值，使得即使當(dāng)處于非接觸的接近狀態(tài)時也執(zhí)行顯示。進一步，用于指示的光標(biāo)可以疊加在圖片信息上。更進一步，在手指沒有與觸摸傳感器相接觸而只是與其接近的情況下，可以使光標(biāo)不疊加或不起作用。根據(jù)這樣的配置，可以執(zhí)行用戶手指的地方(在接觸之前)的視覺反饋，并且可以增強使用絕對坐標(biāo)的觸摸墊的可操作性。在下文中將會詳細地描述每個實施例。根據(jù)本公開的實施例的電子裝置可以包括操作信息獲取部，其基于操作者在操作表面上執(zhí)行的操作，獲取由操作主體輸入的操作信息；圖像處理部，其基于所述操作信息，生成上面反映了所述操作主體的圖片的圖片圖像；以及圖像生成部，其生成其中所述圖片圖像疊加在原始圖像上的圖像。2.第一實施例 2. I.系統(tǒng)配置例子當(dāng)前實施例涉及圖形用戶界面(GUI)的控制器，并且使用觸摸傳感器的便攜式電子裝置將會被給出作為例子并進行描述。圖I是示出根據(jù)第一實施例的便攜式電子裝置100的外觀的示意圖。便攜式電子裝置100包括設(shè)置在殼體108的前表面上的顯示部102和布置在其后側(cè)表面上的觸摸傳感器104。顯示部102例如由液晶顯示器(LCD)面板等配置而成。進一步，觸摸傳感器104可以由作為例子但不限于此的電容式觸摸傳感器配置而成。用戶以顯示部102面朝上的方式握住便攜式電子裝置100并操作后表面上的觸摸傳感器104，這樣一來用戶就可以移動顯示部102上顯示的光標(biāo)，可以選擇圖標(biāo)，并且可以執(zhí)行諸如拖動操作之類的操作。圖2是示出圖I所示的便攜式電子裝置100的配置的框圖。如圖2所示，便攜式電子裝置100包括顯示部102、觸摸傳感器104、傳送/接收部106、控制部110、圖像生成部120和存儲器130。傳送/接收部106經(jīng)由無線通信網(wǎng)絡(luò)傳送/接收信息。觸摸傳感器104檢測與用戶手指的接近或接觸。觸摸傳感器104將檢測結(jié)果傳送到控制部110?？刂撇?10基于從觸摸傳感器104傳送的檢測結(jié)果生成將要顯示在顯示部102上的信息，并且將信息傳送到圖像生成部120。這里，由控制部110生成的信息包括下面將要描述的圖片圖像152和光標(biāo)的代表點150的圖像?？刂撇?10起到用于獲取通過觸摸傳感器104檢測的結(jié)果的操作信息獲取部的作用，并且起到用于生成代表點150和圖片圖像152的圖像處理部的作用。進一步，控制部110基于光標(biāo)的操作執(zhí)行諸如內(nèi)容選擇和拖動操作之類的便攜式電子裝置100的總體處理。圖像生成部120將從控制部110傳送的信息疊加在通過傳送/接收部106接收的圖像上或存儲器130中存儲的圖像上，從而生成將要顯示在顯示部102上的圖像的數(shù)據(jù)。由圖像生成部120生成的圖像數(shù)據(jù)被傳送到顯示部102并顯示在顯示部102上。存儲器130存儲與用戶手指的檢測或接近度有關(guān)的信息和圖像的信息等。圖2所示的配置可以包括硬件(電路)或中央處理單元(CPU)和用于使其起作用的軟件(程序)。在這種情況下，程序可以存儲在諸如存儲器130之類的便攜式電子裝置100中包括的存儲部中，或者存儲在從外部插入的記錄介質(zhì)中。2. 2.觸摸傳感器的配置例子圖3是示出在觸摸傳感器104由柵格電容式觸摸傳感器配置而成的情況下的柵格結(jié)構(gòu)的示意圖。如圖3所示，觸摸傳感器104具有以柵格(網(wǎng)格)狀的方式布置的電容式傳感器，并且以如下方式配置針對每個柵格順序地掃描與前表面相接近或相接觸的用戶手指的電容。進一步，圖4是示出在觸摸傳感器104由單元內(nèi)光學(xué)觸摸傳感器配置而成的情況下的結(jié)構(gòu)的示意圖。單元內(nèi)光學(xué)觸摸傳感器包括背光、TFT側(cè)玻璃基板、液晶層(傳感器)和相對側(cè)玻璃基板。在使用光學(xué)觸摸傳感器的情況下，如圖4所示，光從背光射出，通過液晶層(傳感器)檢測反射光的強度，并且檢測用戶的手指與觸摸傳感器的前表面的接近或接觸。圖5是示出通過測量由圖3所示的電容式觸摸傳感器104掃描的電容而獲得的結(jié)果的例子的特征圖。在圖5中，為了以易于理解的方式示出，顛倒了通過觸摸傳感器104獲得的電容值的極性。因此，在下文中，將會基于以下進行描述隨著用戶的手指更加接近于觸摸傳感器104，電容值(通過顛倒極性獲得的值)變得更小。如圖5所示，電容在用箭頭A示出的區(qū)域中局部變小，并且可以檢測出用戶的手指在這個區(qū)域中與表面相接近或相接觸。
圖6是示出在圖3所示的柵格當(dāng)中的特定柵格處根據(jù)與用戶的手指的接近度或相接觸的電容大小的特征圖。這里，垂直軸表示電容的大小，而水平軸則表示在將手指帶到接近于觸摸傳感器104前表面的過程中的經(jīng)過時間。進一步，圖6所示的數(shù)字值每個表示從用戶的手指至觸摸傳感器104的前表面的距離(mm)。如圖6所示，通過觸摸傳感器104檢測的電容隨著用戶的手指更加接近于觸摸傳感器104的前表面而降低，并且當(dāng)手指觸摸前表面時變成最小。2.3.屏幕上的顯示例子接下來描述顯示部102上的圖像的顯示。在顯示部102上，以疊加的方式顯示通過傳送/接收部106接收的圖像和基于從觸摸傳感器104傳送的檢測結(jié)果而生成的信息。圖7是以等高線的方式示出通過觸摸傳感器104獲取的電容的示意圖。這里，示出了在左手大拇指和右手大拇指同時對觸摸傳感器104進行觸摸的情況下獲得的結(jié)果，并且示出了如下狀態(tài)與環(huán)境相比，在觸摸傳感器104的左部和右部的區(qū)域B和區(qū)域C處，電容值較低。進一步，圖8A至8D是每個示出如下狀態(tài)的示意圖基于圖7所示的電容值生成光標(biāo)的圖像，并且在由傳送/接收部106接收的URL的屏幕上以疊加的方式顯示圖像。這里，示出了如下例子光標(biāo)的圖像疊加在由傳送/接收部106接收的搜索引擎URL的屏幕上。圖8A至8D每個示出了如下例子圖7所示的觸摸傳感器104的每個柵格的電容值被以圖形的形式示出并疊加在屏幕上。因此，在圖8A至8D中的每一個中，顯示了分別對應(yīng)于右手大拇指和左手大拇指這兩個部分的光標(biāo)。圖8A表示了如下例子確定具有電容大小的等高線，并且該等高線通過圖片圖像152(上面反映了手指的圖片的圖像)來表達并疊加在屏幕上。這里，處在中心部分的白圓圈部分示出了根據(jù)操作而移動的光標(biāo)的代表點(光標(biāo)的中心)150。代表點150是在執(zhí)行選擇內(nèi)容或拖動操作等的操作的情況下的參考點。代表點150例如被確定為超過閾值的每個柵格的電容值都向其添加的重心。進一步，在手指與觸摸傳感器104相接觸的部分或其周圍，以對應(yīng)于電容值的形狀顯示圖片圖像152部分。因此，圖片圖像152部分對應(yīng)于手指的形狀。在圖片圖像152部分中，顯示對應(yīng)于電容值的等高線。進一步，根據(jù)電容值顯示點，并且將要顯示的點的密度隨著手指更加接近于觸摸傳感器104而變得更高。進一步，控制部110可以對圖片圖像152部分執(zhí)行半透明或修整處理(加框，并且其內(nèi)部透明或半透明)，以便不隱藏作為原始圖像的GUI和內(nèi)容。進一步，在圖8A中，例如可以根據(jù)左手手指和右手手指來改變將要疊加在圖像上的代表點150和周圍的圖片圖像152的顏色。以這種方式，圖8A所示的圖片圖像152部分以模擬的方式示出了與觸摸傳感器104相接觸的手指。當(dāng)用戶在便攜式電子裝置100的后側(cè)表面上對觸摸傳感器104進行觸摸時，通過在視覺上確認顯示在前表面上的顯示部102上的代表點150和周圍的圖片圖像152，用戶可以在顯示部102上顯示的屏幕上可視地識別處在后側(cè)表面的手指指示哪個位置。在圖8A的顯示中，控制部110基于圖7的電容值確定重心，并且生成代表點150的位置。進一步，控制部110基于圖7的電容值確定等高線，并且生成與其相對應(yīng)的圖片圖像152的信息。圖像生成部120使用由控制部110生成的信息，并且將代表點150和圖片圖像152疊加在通過傳送/接收部106接收的URL圖像上，從而生成將要顯示的圖像。
代表點150的位置可以通過具有最小電容大小的重心的位置來表示。圖9是示出確定重心的方法的例子的示意圖。圖9使用陰影示意性示出了每個柵格(在圖9中示出了16個柵格)的電容大小，并且具有較大陰影程度的柵格具有較小的檢測到的電容。這里，在用(Xcg，Ycg)表示重心坐標(biāo)的情況下，可以根據(jù)以下方程確定重心的位置。Xcg =(文 Yd (Xi xZ(i; i)) /(念堂(Z(IiJj)
n mw mYcg =(^ ^(FixZ(i； i) / j) /(X Z (Zft i))
j=b在上面的方程中，Z (i，j)表示坐標(biāo)(x，y) = (i，j)處的電容大小。圖10是示出確定一般等高線的方法的例子的示意圖。可以根據(jù)以下過程來確定等聞線。(過程I)如圖10所示，設(shè)置每個通過連接?xùn)鸥裰行亩纬傻娜切巍?過程2)將每個三角形的三個頂點的電容值的大小相互比較，按照大小對頂點進行排序，并且例如按照電容值的升序分別命名頂點Tl、T2和T3。(過程3)在三角形之一中確定等高線的一端。在這個三角形中，等高線的末端穿過連接頂點Tl和T3的邊T1-T3。例如，當(dāng)?shù)雀呔€的值d滿足Tl < T3時，等高線的末端穿過邊T1-T3上通過用頂點Tl和T3的電容值來按比例分配值d而獲得的點。(過程4)確定等高線在這個三角形中的另一端。當(dāng)?shù)雀呔€的值d滿足Tl< d< T2時，等高線的另一端穿過連接頂點Tl和T2的邊T1-T2。進一步，當(dāng)?shù)雀呔€的值d滿足T2 < d < T3時，等高線的另一端穿過連接頂點T2和T3的邊T2-T3。更進一步，當(dāng)?shù)雀呔€的值d滿足d = T2時,等高線的另一端穿過頂點T2。更進一步，當(dāng)?shù)雀呔€的值d滿足d =T3時，等高線的另一端穿過頂點T3。以這種方式，針對每個三角形執(zhí)行上面的過程I至4，這樣一來就可以唯一地確定穿過每個三角形的等高線。進一步，通過使用樣條曲線來內(nèi)插如此確定的等高線(多邊形)，可以獲得彎曲的等高線。進一步，沒有必要以上面直接反映了電容值的形狀或大小來輸出代表點150和周圍的圖片圖像152的圖像，并且可以使圖像變形，比如像圖8B、圖8C和圖8D中示出的那樣。圖8B示出了與以代表點150作為其中心的等高線相對應(yīng)的圖片圖像152的圖像的例子，其與圖8A相比被減小。使用這樣的處理，由于圖片圖像152的區(qū)域變得較小，所以可以防止由屏幕上顯示的圖片圖像152(手指圖像)造成的在屏幕中發(fā)生忙碌狀態(tài)。進一步，為了防止屏幕中的忙碌狀態(tài)，還可以通過增加圖片圖像152部分的透明度來實現(xiàn)。圖SC示出了如下例子相對于使用等高線的圖片圖像152，以逐步的方式在預(yù)定方向上轉(zhuǎn)移代表點150。這里，添加了處理，使得隨著電容降低，相對于圖片圖像152向屏幕的上側(cè)轉(zhuǎn)移代表點150。執(zhí)行這種處理的原因在于，即使用戶打算用手指的尖端(在許多情況下位于屏幕的上側(cè))對觸摸傳感器104的前表面進行觸摸，實際的電容獲取數(shù)據(jù)也會在手指的近似中心(手指肚)處變得最小，并且用戶的知覺和代表點150的實際位置之間的不同可能向用戶提供不舒適的感覺。通過如圖8C所示轉(zhuǎn)移代表點150的位置，可以抑制不舒適的感覺。圖8D示出了如下例子在圖8C的顯示中，進一步在左右方向上轉(zhuǎn)移代表點150。注意，在圖8D中，圖8C中描述的朝上方向上的轉(zhuǎn)移和左右方向上的轉(zhuǎn)移被混合，但是圖8D的處理可以只是左右方向上的轉(zhuǎn)移。在圖8D的例子中，添加了處理，使得相對于右光標(biāo)，隨著電容降低，代表點150與實際的電容峰值位置相比更向左轉(zhuǎn)移。進一步，添加了處理，使得相對于左光標(biāo)，隨著電容降低，代表點150與實際的電容峰值位置相比更向右轉(zhuǎn)移。這是因為，以與圖SC相同的方式，用他/她的右手對觸摸傳感器104的前表面進行觸摸的用戶認識到光標(biāo)的位置處在實際的峰值位置的左上方，而用他/她的左手對觸摸傳感器104的前表面進行觸摸的用戶則認識到光標(biāo)的位置處在實際的峰值位置的右上方。進一步，在兩個手指(左手手指和右手手指)彼此接近到它們幾乎彼此觸摸的情 況下，假定存在如下情況如果實際的電容峰值位置被設(shè)置成代表點150的位置，則在兩個光標(biāo)之間存在間隙，并且光標(biāo)難以到達置于光標(biāo)之間的圖標(biāo)等。然而，通過添加圖8D所示的處理，可以避免光標(biāo)難以到達圖標(biāo)等的情況，因為當(dāng)兩個手指更加接近于彼此(不一定觸摸)時，兩個代表點150之間的距離可以設(shè)置成基本上為零。在圖8D中，以下方法被示例為在朝左方向上或朝右方向上轉(zhuǎn)移代表點150的方法。首先，在對應(yīng)于相接觸的手指的代表點150的坐標(biāo)首先相對于觸摸傳感器104的左/右中心線處在右手側(cè)的情況下，確定觸摸的手指是右手手指，并且相對于實際的電容峰值位置向左轉(zhuǎn)移代表點150。進一步，在對應(yīng)于相接觸的手指的代表點150的坐標(biāo)首先相對于觸摸傳感器104的左/右中心線處在左手側(cè)的情況下，確定觸摸的手指是左手手指，并且相對于實際的電容峰值位置向右轉(zhuǎn)移代表點150。在手指在兩個部分與觸摸傳感器104相接觸并且存在兩個代表點150的情況下，確定右代表點150對應(yīng)于右手而左代表點150對應(yīng)于左手，并且相對于實際的電容峰值位置向左轉(zhuǎn)移右代表點150，而相對于實際的電容峰值位置向右轉(zhuǎn)移左代表點150。注意，在確定轉(zhuǎn)移方向之后，可以不取決于上面描述的方法而取決于對光標(biāo)的跟蹤來確定轉(zhuǎn)移方向。進一步，在只有一個光標(biāo)的情況下，可以設(shè)置成使得不向左或向右轉(zhuǎn)移光標(biāo)。使用絕對坐標(biāo)系顯示了圖8所示的代表點150和圖片圖像152。在這種情況下，由于圖片圖像152示出了手指圖像，所以用戶可以從圖片圖像152的顯示中直觀地識別它是絕對坐標(biāo)系。在分開地設(shè)置觸摸傳感器104和顯示部102的情況下，盡管變得難以掌握手指的相對位置關(guān)系，但是以模擬的方式示出手指的圖片圖像152的顯示可以便利于用戶的理解。以這種方式，甚至在多觸摸的情況下，用戶也可以操作每個光標(biāo)而不會變得混淆。進一步，在觸摸傳感器104設(shè)置在后表面上的情況下，盡管假定存在手指無意觸摸操作表面的情況，但是以模擬的方式示出手指的圖片圖像152的顯示使得更容易識別屏幕上的哪個位置對應(yīng)于手指，這樣一來就可以防止錯誤操作。注意，顯示并不限于絕對坐標(biāo)系，也可以是相對坐標(biāo)系。2.4.關(guān)于低通濾波處理進一步，在圖8中，光標(biāo)(代表點150)進一步疊加在其中通過圖片圖像152來表示等高線的模擬手指圖像上，并且存在其中電容式傳感器具有比較大的噪聲的一些情況，以及其中諸如輪廓之類的邊緣形狀突出的一些情況。為了防止這樣的情形，可以向作為將要提出的等高線的基礎(chǔ)的每個柵格的電容值執(zhí)行低通濾波(LPF)處理。圖11和圖12每個是示出低通濾波處理的框圖。在控制部110中執(zhí)行低通濾波處理。在圖11所示的處理中，當(dāng)確定光標(biāo)的代表點150的坐標(biāo)時，在不對每個柵格的電容值執(zhí)行低通濾波處理的情況下計算重心(框400，410)，對重心的坐標(biāo)執(zhí)行弱低通濾波(在下文中被稱為LPF1)處理(框420)，并且經(jīng)過LPFl之后的坐標(biāo)被顯示為代表點150 (框430)。另一方面，在確定通過等高線表示的圖片圖像152的情況下，對每個柵格的電容值執(zhí)行強低通濾波(在下文中被稱為LPF2)處理(框440)，根據(jù)LPF2處理之后的電容值計算圖片圖像152(框450)，并且顯示圖片圖像152(框460)。進一步，在圖12所示的處理中，在根據(jù)每個柵格的電容值計算重心和圖片圖像152(框500)之后，對重心的代表坐標(biāo)執(zhí)行弱低通濾波(LPFl)處理(框520)，并且對圖片圖像152執(zhí)行強低通濾波(LPF2)處理(框550)。然后，顯示LPFl處理之后的重心(代表點150)(框530)，并且在代表點150的坐標(biāo)周圍呈現(xiàn)LPF2處理之后的圖片圖像152 (框560)。注意，在圖11和圖12中，還可以省略LPFl處理。根據(jù)這樣的處理，盡管與代表點150的移動相比對于通過圖片圖像152表示的模擬手指圖像的移動而言會發(fā)生某種等待時間，但是可以抑制圖片圖像152的圖像邊緣變得粗糙，并且可以防止邊緣變得搖擺不定。進一步，通過用低通濾波而不是對代表點150的坐標(biāo)計算來確定圖片圖像152的圖像，與代表點150的移動有關(guān)的等待時間未被惡化，因此可以維持令人滿意的可操作性。另外，由于坐標(biāo)光標(biāo)的操作跟隨能力高于圖片圖像152所表示的模擬手指圖片，所以可以使得可操作性令人滿意。進一步，通過對圖片圖像152所表示的模擬手指圖片執(zhí)行略微較強的LPF2，其移動被穩(wěn)定化，并且可以減少屏幕中的忙碌狀態(tài)。2. 5.顯示手指形狀的例子圖8根據(jù)手指的位置顯示了代表點150和圖片圖像152，并且實際的手指形狀還可以連同代表點150—起顯示。圖13是示出如下例子的示意圖，在所述例子中，基于電容顯示光標(biāo)的代表點150，并且還基于電容顯示圖片圖像152，而且另外顯示實際手指的形狀 154。如上所述，由于根據(jù)與觸摸傳感器104的接近度針對每個柵格檢測電容，所以在手指更加接近于觸摸傳感器104的情況下，根據(jù)其形狀檢測電容。因此，如圖13所示，可以根據(jù)電容生成手指形狀的圖像，并且圖像可以疊加。根據(jù)這樣的顯示，用戶可以可靠地在視覺上識別對便攜式電子裝置100的后表面進行操作的手指的位置，并且可以執(zhí)行希望的操作。同樣在圖13所示的例子中，在每個手指肚的位置處檢測到實際的電容峰值，并且代表點150從峰值位置在朝上方向上轉(zhuǎn)移并顯示。進一步，在圖13所示的例子中，由于右手食指和中指與觸摸傳感器104相接觸，所以代表點150被顯示。另一方面，盡管無名指更加接近于觸摸傳感器104，它也沒有與其相接觸。因此，無名指的形狀154和對應(yīng)于無名指的圖片圖像152顯示在顯示部 102上，但是對應(yīng)于無名指的代表點150未被顯示。以這種方式，同樣在手指沒有與觸摸傳感器104相接觸的情況下，代表點150未被顯示而手指的形狀154和圖片圖像152被顯示，從而使得用戶能夠根據(jù)顯示部102的顯示識別各個手指在后表面上的觸摸傳感器104上的位置。2.6.其中根據(jù)距離改變圖片圖像的范圍和密度的顯示例子圖14是示出其中在將手指帶到更加接近于觸摸傳感器104的過程中改變光標(biāo)周圍的圖片圖像152的范圍和密度的狀態(tài)的示意圖。在圖14中，3mm、2mm和Imm的距離每個表示觸摸傳感器104和手指之間的距離。如圖14所示，隨著手指被帶到更加接近于觸摸傳感器104，圖片圖像152的面積增加。進一步，隨著手指被帶到更加接近于觸摸傳感器104，圖片圖像152的點的密度根據(jù)等高線而增加。然后，當(dāng)手指觸摸到觸摸傳感器104時，圖片圖像152的面積變成最大，并且與此同時，作為光標(biāo)中心的代表點150被顯示，并且變得可以使用代表點150來執(zhí)行諸如圖標(biāo)選擇、滾動和拖動之類的操作。根據(jù)這樣的顯示，用戶可以在視覺上識別觸摸傳感器104和手指之間的距離，并且還可以在視覺上識別是否實際上可以執(zhí)行諸如圖標(biāo)選擇之類的操作?；趫D6來進行描述。在電容值等于或大于第一閾值的情況下，不顯示圖片圖像152。進一步，在電容值等于或大于第二閾值的情況下，不顯示代表點150。因此，在電容值小于第一閾值并且等于或大于第二閾值的情況下，只顯示圖片圖像152。進一步，在電容值小于第二閾值的情況下，手指與觸摸傳感器104相接觸或者手指和觸摸傳感器104之間的距離極小，因此代表點150和圖片圖像152兩者都被顯示。進一步，在電容值等于或大于第一閾值的情況下，既不顯示代表點150也不顯示圖片圖像152。以這種方式，當(dāng)手指沒有與觸摸傳感器104相接觸但處于相接近的狀態(tài)時，由于模擬的手指圖片(圖片圖像152)被顯示而光標(biāo)(代表點150)未被顯示，所以用戶被通知手指位置并且還被通知不能執(zhí)行操作。以這種方式，當(dāng)僅呈現(xiàn)手指的圖片圖像152時，配置可以如下不能執(zhí)行諸如選擇、確定和拖動之類的自由光標(biāo)操作。進一步，在圖片圖像152的尺寸等于或小于預(yù)定值的情況下，配置可以如下不能執(zhí)行自由光標(biāo)操作，這樣一來當(dāng)手指的尺寸小時就可以禁止操作，這可以實現(xiàn)諸如兒童鎖之類的處理。在圖14中，可以確切地基于電容值來呈現(xiàn)圖片圖像152。進一步，在不用確切地基于電容值來呈現(xiàn)的情況下，可以使用基于電容大小定義的具有預(yù)先準備的不同尺寸的圖像模板(圓形和方形等)來呈現(xiàn)圖片圖像152。在這種情況下，隨著電容降低并且手指更加接近于觸摸傳感器104，使用具有更大面積尺寸的圖像模板。這里，可以基于等高線生成諸如卵形之類的形狀的縱橫比和手指的角度。通過執(zhí)行這樣的處理，即使當(dāng)用戶從觸摸傳感器104釋放他/她的手指時，也可以呈現(xiàn)根據(jù)距離的模擬手指圖像，只要手指處在其中可以獲取手指的電容的范圍之內(nèi)，因此可以防止光標(biāo)突然消失和用戶變得混淆。2.7.手指從觸摸傳感器的可檢測范圍移開的情況下的顯示例子
圖15是示出在手指從其中使用觸摸傳感器104可以檢測到電容的范圍移出的情況下的顯示例子的示意圖。在其中使用觸摸傳感器104可以檢測到電容的范圍處在與觸摸傳感器104的前表面相距距離d的范圍內(nèi)的情況下，顯示被執(zhí)行，使得在可檢測的范圍之內(nèi)，隨著手指更加遠離觸摸傳感器104的前表面，圖片圖像152的范圍變得更小，如圖14中描述的那樣。在手指從可檢測的范圍移開的情況下，基于過去的手的移動來估計手指的位置，并且在估計的位置處顯示圖片圖像152。控制部110在手指處于可檢測范圍內(nèi)時基于電容來檢測手指運動的xyz坐標(biāo)，在手指從可檢測范圍移開時基于過去在可檢測范圍之內(nèi)獲取的手指的xyz坐標(biāo)來估計手指的xyz坐標(biāo)，并且在對應(yīng)于估計的z位置的范圍內(nèi)在估計的xy位置處顯示圖片圖像152。這里，X坐標(biāo)在觸摸傳感器104的前表面上與y坐標(biāo)成直角，而z坐標(biāo)則表示在從觸摸傳感器104的前表面垂直離開的方向上的坐標(biāo)。其中可以在接近的距離內(nèi)檢測到手指的范圍在自電容的電容式傳感器的情況下與觸摸傳感器的前表面相距大約4mm，在互電容式傳感器的情況下與觸摸傳感器的前表面相距大約20mm，并且在單元內(nèi)光學(xué)觸摸傳感器的情況下與前表面相距大約30mm。因此，可 能存在如下情況不能視情況來檢測執(zhí)行操作的手指。在這樣的情況下，如圖15所示，可以通過以下來減少圖片圖像152在屏幕上的消失基于對應(yīng)于手指的圖片圖像152消失之前的軌跡，估計手指應(yīng)當(dāng)處于的位置，并且呈現(xiàn)圖片圖像152。估計方法的例子包括涉及以下方面的技術(shù)計算過去n個歷史的移動速度的平均值，并且將平均值添加到最新的坐標(biāo)。如上所述，通過外推由圖片圖像152表示的模擬手指運動，可以向用戶示出手指移動的方向。2.8.當(dāng)前實施例的便攜式電子裝置中的處理接下來，基于圖16來描述根據(jù)當(dāng)前實施例的便攜式電子裝置100執(zhí)行的處理。首先，在步驟SlO中，用戶對觸摸傳感器104進行觸摸。在隨后的步驟S12中，觸摸傳感器104獲取每個柵格的電容值，并且將電容傳送到控制部110。接下來，在步驟S14中，基于每個柵格的電容值，計算重心的坐標(biāo)(Xdg，Ycg)。在這之后，在步驟S16中，對每個柵格的電容值執(zhí)行低通濾波(LPF2)處理。接下來，在步驟S18中，根據(jù)在步驟S16中執(zhí)行的LPF2處理之后的電容值計算等高線，并且生成圖片圖像152。在隨后的步驟S20中，使用等高線對圖片圖像152執(zhí)行諸如放大、縮小或偏移之類的處理。在這之后,在步驟S22中，對重心的坐標(biāo)(Xdg，Ycg)執(zhí)行低通濾波(LPFl)處理，并且計算光標(biāo)中心(代表點150)的坐標(biāo)。接下來，在步驟S24中，呈現(xiàn)使用等高線生成的圖片圖像152，并且在隨后的步驟S26中，呈現(xiàn)光標(biāo)(代表點150)。在這之后，在步驟S28中，代表點150和圖片圖像152疊加在原始圖像上并顯示在顯示部102上。注意，步驟S12至S22的處理主要由控制部110執(zhí)行，而步驟S24至S28的處理則主要由圖像生成部120執(zhí)行。如上所述，根據(jù)第一實施例，基于觸摸傳感器104檢測的電容值顯不光標(biāo)的中心(代表點150)，并且在代表點150周圍顯示對應(yīng)于電容值的圖片圖像152。因此，用戶可以識別顯示屏上的模擬手指圖像，可以容易地在顯示部102上執(zhí)行操作輸入，并且還可以防止錯誤操作。特別地，在裝備有使用絕對坐標(biāo)系的觸摸墊的電子裝置中，針對顯示部102執(zhí)行手指圖片信息的視覺反饋，因此在使用其中實際上不能看到手指的后表面操作系統(tǒng)時，變得可以可靠地防止當(dāng)手指的一部分在未被用戶注意到的情況下觸摸到觸摸傳感器時造成錯誤操作。進一步，針對顯示部102執(zhí)行手指圖片信息的視覺反饋，因此變得可以使用戶直觀地理解絕對坐標(biāo)系正在被使用。另外，針對顯示部102執(zhí)行手指圖片信息的視覺反饋，因此甚至在從觸摸傳感器釋放手指之后對屏幕的反饋也保持，所以可以防止用戶變得不知道接下來將手指放在哪兒。3.第二實施例 3. I.系統(tǒng)配置例子接下來描述第二實施例。在第二實施例中，從觸摸傳感器獲得的模擬手指圖片圖像顯示在遠地方的屏幕上。圖17和圖18每個是示出根據(jù)第二實施例的控制器200和電子裝置300的配置的配置圖?？刂破?00是用于執(zhí)行對電子裝置300的遠程控制的裝置，并且具有例如置于其中的電容式觸摸傳感器230。注意，以與第一實施例中相同的方式，觸摸傳感器230并不限于電容式觸摸傳感器。在第二實施例中，當(dāng)用戶使用他/她的手指在控制器200的觸摸傳感器230上指定位置時，根據(jù)位置信息在電子裝置300的顯示部350上顯示光標(biāo)。進一步，以與第一實施例中相同的方式，連同圖片圖像152 —起顯示光標(biāo)的代表點150。注意，電子裝置300表示諸如電視接收機或機頂盒之類的裝置，并且并不特別地受限于此。進一步，沒有特別地限制控制器200和電子裝置300之間的通信模式，并且可以經(jīng)由無線通信網(wǎng)絡(luò)等執(zhí)行通信。圖19是示出第二實施例的配置的框圖。如圖19所示，控制器200包括控制部210、傳送部220、觸摸傳感器230和存儲器240。進一步，電子裝置300包括控制部310、圖像生成部320、接收部330、存儲器340、顯示部350和圖像接收部360。進一步，圖20是示出其中電子裝置300表示諸如機頂盒之類的裝置并且分開地配置顯示部350的例子的框圖。如圖17和圖18所示，觸摸傳感器230設(shè)置在控制器200的前側(cè)。以與第一實施例的觸摸傳感器104相同的方式，觸摸傳感器230檢測與用戶手指的接近度或接觸。觸摸傳感器230將檢測結(jié)果傳送到控制部210?？刂撇?10將從觸摸傳感器230傳送的檢測結(jié)果經(jīng)由傳送部220傳送到電子裝置300。存儲器240臨時存儲與用戶手指的接近度或接觸相關(guān)的彳目息等。當(dāng)電子裝置300的接收部330接收到與用戶手指的接近度或接觸相關(guān)的信息時，接收部330將信息傳送到控制部310?？刂撇?10基于從接收部330傳送的檢測結(jié)果生成將要顯示在顯示部350上的信息，并且將信息傳送到圖像生成部320。這里，由控制部310生成的信息包括圖片圖像152和光標(biāo)的代表點150的圖像?？刂撇?10起到用于生成代表點150和圖片圖像152的圖像處理部的作用。進一步，控制部310基于光標(biāo)的操作執(zhí)行諸如內(nèi)容選擇和拖動操作之類的電子裝置300的總體處理。圖像生成部320將從控制部310傳送的信息疊加在通過圖像接收部360接收的圖像上或存儲器340中存儲的圖像上，從而生成將要顯示在顯示部350上的圖像的數(shù)據(jù)。由圖像生成部320生成的圖像數(shù)據(jù)被傳送到顯示部350并顯示在顯示部350上。注意，在上面的描述中，由觸摸傳感器230檢測的結(jié)果被從控制器200 —側(cè)傳送到電子裝置300，并且將要顯示在顯示部350上的信息由電子裝置300的控制部310生成，但不限于此。將要顯示在顯示部350上的信息可以由控制器200的控制部210生成，并且可以被傳送到電子裝置300。在這種情況下，控制部210起到用于獲取通過觸摸傳感器230檢測的結(jié)果的操作信息獲取部的作用，并且起到用于生成代表點150和圖片圖像152的圖像處理部的作用。電子裝置300的圖像生成部320將由控制器200的控制部210生成的信息疊加在通過圖像接收部360接收的圖像上或存儲器340中存儲的圖像上，從而生成將要顯示在顯示部350上的圖像的數(shù)據(jù)。分別在圖19和圖20中示出的配置每個可以包括硬件(電路)或中央處理單元(CPU)和用于使其起作用的軟件(程序)。在這種情況下，程序可以存儲在諸如存儲器240或存儲器340之類的控制器200或電子裝置300中包括的存儲部中，或者存儲在從外部插 入的記錄介質(zhì)中。3.2.屏幕上的顯示例子圖17和圖18每個示出了其中用戶使用他/她的左手大拇指對觸摸傳感器230的左手側(cè)進行觸摸的狀態(tài)。因此，光標(biāo)的代表點150顯示在與顯示部350的左手側(cè)相對應(yīng)的位置。進一步，以與第一實施例中相同的方式，根據(jù)電容在光標(biāo)周圍顯示圖片圖像152。在圖17和圖18中，示出了圖8中描述的變形的圖像，并且另外計算了具有對應(yīng)于預(yù)定閾值的電容值的區(qū)域的邊緣(輪廓)，并且邊緣被呈現(xiàn)為圖片圖像152的外框。進一步，圖17示出了其中左手大拇指與觸摸傳感器230上的比較大的區(qū)域相接觸的狀態(tài)，而圖18則示出了其中左手大拇指與觸摸傳感器230上的比較小的區(qū)域相接觸的狀態(tài)。亦即，圖17示出了其中左手大拇指重壓在觸摸傳感器230上的狀態(tài)，而圖18則示出了其中左手大拇指對觸摸傳感器230進行輕微觸摸的狀態(tài)。注意，圖片圖像152的外框的形狀可以進一步簡化，并且可以適配成具有預(yù)定半徑的卵形或圓形。圖21示出了其中用戶用他/她的左手大拇指對觸摸傳感器230的左手側(cè)進行觸摸并且用他/她的右手食指對觸摸傳感器230的右手側(cè)進行觸摸的多觸摸狀態(tài)。在這種情況下，以與用戶在觸摸傳感器230上進行觸摸的兩個位置相對應(yīng)的方式，在顯示部350的左手側(cè)和右手側(cè)，每個具有在其周圍的圖片圖像152的兩個光標(biāo)代表點150顯不在兩個部位上。在這種情況下，可以根據(jù)觸摸傳感器230的每個柵格的電容特性來改變光標(biāo)(代表點150和圖片圖像152)的呈現(xiàn)表達。例如，通過變更屏幕的右手側(cè)和左手側(cè)之間的光標(biāo)的顏色，用戶變得可以區(qū)分用戶正在操作左光標(biāo)和右光標(biāo)中的哪個光標(biāo)。同樣在第二實施例中，使用絕對坐標(biāo)系來顯示代表點150和圖片圖像152,并且手指在觸摸傳感器230上的位置在一對一的基礎(chǔ)上對應(yīng)于顯示部350上的代表點150和圖片圖像152。由于圖片圖像152表示手指圖像，所以用戶可以從圖片圖像152的顯示中直觀地識別它是絕對坐標(biāo)系。在分開地設(shè)置觸摸傳感器230和顯示部350的情況下，盡管變得難以掌握手指的相對位置關(guān)系，但是以模擬的方式示出手指的圖片圖像152的顯示可以便利于用戶的理解。以這種方式，甚至在多觸摸的情況下，用戶也可以操作每個光標(biāo)而不會變得混淆。圖22是根據(jù)每個柵格的電容大小改變光標(biāo)的狀態(tài)的例子。在改變狀態(tài)的情況下，電子裝置300例如執(zhí)行改變將要呈現(xiàn)的代表點150或圖片圖像152的顏色和尺寸等的行為，以及改變可以操作的主體的行為。這里，為了改變狀態(tài)，圖片圖像152的尺寸可以用作指標(biāo)?；谕ㄟ^在同一強度下示出的圖片圖像152的尺寸(區(qū)域尺寸、適配的圓形的直徑)是否超過預(yù)定閾值來改變狀態(tài)。以這種方式，例如由于手指的尺寸在成年人和兒童之間不同，所以可以在成年人和兒童之間以不同的顏色來表達圖片圖像152(模擬的手指)。進一步，在圖片圖像152的區(qū)域尺寸小于預(yù)定值的情況下，確定操作由兒童執(zhí)行并且操作被禁止，這可以實現(xiàn)諸如兒童鎖之類的處理。圖23是示出其中指示電子裝置300狀態(tài)的信息疊加在模擬的手指圖像(圖片圖像152)上的例子的示意圖。如圖23所示，根據(jù)諸如“初始狀態(tài)”和“加載”之類的電子裝置300的狀態(tài)來改變指示模擬手指圖像的圖片圖像152，這樣一來用戶就可以在視覺上識別電子裝置300的狀態(tài)。進一步，通過變更左右之間的代表點150的顏色，用戶變得可以區(qū)分用戶正在操作左光標(biāo)和右光標(biāo)中的哪個光標(biāo)。根據(jù)這樣的配置，用戶可以用小的視線移動直觀地識別裝置的狀態(tài)。如上所述，根據(jù)第二實施例，在其中分開地設(shè)置觸摸傳感器230和顯示部350的系統(tǒng)中，基于由觸摸傳感器230檢測的電容值顯不光標(biāo)的中心(代表點150),并且取決于電容值的圖片圖像152顯示在代表點150周圍。以這種方式，用戶可以識別顯示屏上的模擬手指圖像，并且可以容易地執(zhí)行顯示部350上的操作輸入，而且還可以防止錯誤操作。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，取決于設(shè)計要求和其它因素，可以進行各種修改、組合、再組合和變更，它們都處在所附權(quán)利要求或其等效含義的范圍之內(nèi)。本公開包含與2011年3月17日向日本專利局申請的日本優(yōu)先權(quán)專利申請JP
2011-058988中公開的主題有關(guān)的主題，該專利申請的整體內(nèi)容通過引用結(jié)合于此。權(quán)利要求
1.一種電子裝置，包括 操作信息獲取部，其基于操作者在操作表面上執(zhí)行的操作，獲取由操作主體輸入的操作信息； 圖像處理部，其基于所述操作信息，生成上面反映了所述操作主體的圖片的圖片圖像；以及 圖像生成部，其生成其中所述圖片圖像疊加在原始圖像上的圖像。
2.根據(jù)權(quán)利要求I所述的電子裝置，進一步包括 顯示部，其設(shè)置在與所述操作表面不同的地方，并且顯示其中所述圖片圖像疊加在原始圖像上的圖像。
3.根據(jù)權(quán)利要求I所述的電子裝置，其中，所述操作信息是從另一個裝置接收的信息，所述另一個裝置與所述電子裝置分開地設(shè)置，并且具有所述操作表面。
4.根據(jù)權(quán)利要求I所述的電子裝置，其中，所述圖像處理部基于所述操作信息生成所述操作主體的代表點的位置的信息，并且 所述圖像生成部生成其中處在所述操作主體的代表點的位置處的圖像連同所述圖片圖像一起疊加在原始圖像上的圖像。
5.根據(jù)權(quán)利要求I所述的電子裝置，其中，所述圖像處理部將所述圖片圖像生成為通過使原始圖像半透明或者通過修整原始圖像而獲得的圖像。
6.根據(jù)權(quán)利要求I所述的電子裝置，其中，在由所述操作信息獲取部檢測到的操作信息的信號強度等于或小于預(yù)定閾值的情況下，所述圖像處理部不生成所述圖片圖像的信肩、O
7.根據(jù)權(quán)利要求4所述的電子裝置，其中，在由所述操作信息獲取部獲取的操作信息的信號強度等于或小于第一閾值的情況下，所述圖像處理部不生成所述圖片圖像的信息，并且在由所述操作信息獲取部檢測到的操作信息的信號強度等于或小于比所述第一閾值大的第二閾值的情況下，所述圖像處理部不生成所述代表點的位置的信息。
8.根據(jù)權(quán)利要求4所述的電子裝置，其中，所述圖像處理部針對所述圖片圖像的信息執(zhí)行具有一定強度的第一低通濾波處理，并且還針對所述代表點的圖像的信息執(zhí)行第二低通濾波處理，所述第一低通濾波處理的強度高于所述第二低通濾波處理的強度。
9.根據(jù)權(quán)利要求I所述的電子裝置，其中，在由所述操作信息獲取部獲取的操作信息的信號強度變得等于或小于預(yù)定值的情況下，所述圖像處理部基于過去獲取的操作信息的信號強度來估計并生成圖片圖像。
10.根據(jù)權(quán)利要求7所述的電子裝置，其中，在由所述操作信息獲取部檢測到的操作信息的信號強度等于或小于比所述第一閾值大的第二閾值的情況下，不接受由所述操作主體執(zhí)行的輸入。
11.根據(jù)權(quán)利要求I所述的電子裝置，其中，基于所述操作信息，所述圖像處理部生成預(yù)先設(shè)置的圖形作為圖片圖像的信息。
12.根據(jù)權(quán)利要求I所述的電子裝置，其中，基于所述操作信息，所述圖像處理部生成對應(yīng)于所述操作表面和所述操作主體之間的距離的圖片圖像。
13.根據(jù)權(quán)利要求12所述的電子裝置，其中，所述圖像處理部生成具有與所述操作信息的信號強度相對應(yīng)的尺寸的圖片圖像。
14.根據(jù)權(quán)利要求12所述的電子裝置，其中，所述圖像處理部生成具有與所述操作信息的信號強度相對應(yīng)的密度的圖片圖像。
15.根據(jù)權(quán)利要求13所述的電子裝置，其中，在所述圖片圖像的尺寸等于或小于預(yù)定值的情況下，不接受由所述操作主體執(zhí)行的輸入。
16.—種信息處理方法,包括 基于操作者在操作表面上執(zhí)行的操作，獲取由操作主體輸入的操作信息； 基于所述操作信息，生成上面反映了所述操作主體的圖片的圖片圖像；以及 生成其中所述圖片圖像疊加在原始圖像上的圖像。
17.一種用于使計算機起到以下作用的程序 用于基于操作者在操作表面上執(zhí)行的操作而獲取由操作主體輸入的操作信息的裝置； 用于基于所述操作信息而生成上面反映了所述操作主體的圖片的圖片圖像的裝置；以及 用于生成其中所述圖片圖像疊加在原始圖像上的圖像的裝置。
18.一種電子裝置系統(tǒng)，包括 控制器，所述控制器包括 操作信息獲取部，其基于操作者在操作表面上執(zhí)行的操作，獲取由操作主體輸入的操作信息；以及 傳送部，其傳送所述操作信息；以及 電子裝置，所述電子裝置包括 接收部，其接收所述操作信息； 圖像處理部，其基于所述操作信息，生成上面反映了所述操作主體的圖片的圖片圖像；以及 圖像生成部，其生成其中所述圖片圖像疊加在原始圖像上的圖像。
19.一種電子裝置系統(tǒng)，包括 控制器，所述控制器包括 操作信息獲取部，其基于操作者在操作表面上執(zhí)行的操作，獲取由操作主體輸入的操作信息； 圖像處理部，其基于所述操作信息，生成上面反映了所述操作主體的圖片的圖片圖像；以及 傳送部，其傳送所述圖片圖像的信息；以及 電子裝置，所述電子裝置包括 接收部，其接收所述圖片圖像的信息；以及 圖像生成部，其生成其中所述圖片圖像疊加在原始圖像上的圖像。
全文摘要
本發(fā)明涉及電子裝置、信息處理方法、程序和電子裝置系統(tǒng)。根據(jù)本發(fā)明的便攜式電子裝置包括觸摸傳感器，其基于操作者在操作表面上執(zhí)行的操作，獲取由操作主體輸入的操作信息；控制部，其基于所述操作信息，生成上面反映了所述操作主體的圖片圖像；以及圖像生成部，其生成其中所述圖片圖像疊加在原始圖像上的圖像。根據(jù)這樣的配置，用戶可以在視覺上識別圖片圖像的同時用自然的操作來執(zhí)行輸入。
文檔編號G06F3/01GK102681664SQ20121006216
公開日2012年9月19日 申請日期2012年3月9日 優(yōu)先權(quán)日2011年3月17日
發(fā)明者佐藤齊昭, 小森顯博, 山本一幸, 山野郁男, 水沼宏之 申請人:索尼公司