提供非接觸交互的便攜式設(shè)備和方法
【專利摘要】本發(fā)明提供了一種用于在具有投影模塊的便攜式設(shè)備中通過無觸摸用戶輸入控制便攜式設(shè)備的操作的方法。為此，一旦驅(qū)動(dòng)投影模塊，通過投影模塊投影應(yīng)用執(zhí)行屏幕；以及如果檢測(cè)到接近事件，則激活攝像機(jī)模塊以便獲得從中識(shí)別用戶手勢(shì)的圖像。與用戶手勢(shì)相應(yīng)地控制投影圖像上的指針。用戶手勢(shì)用于分派應(yīng)用和控制指針。根據(jù)這種方式，用戶可以在直觀地操控便攜式設(shè)備而不觸摸觸摸屏的同時(shí)，觀看從便攜式設(shè)備的投影模塊投影的圖像而沒有抖動(dòng)，如此用戶便利性得到了最大化。
【專利說明】提供非接觸交互的便攜式設(shè)備和方法

【技術(shù)領(lǐng)域】
[0001] 本公開涉及一種便攜式設(shè)備和一種用于控制該便攜式設(shè)備的方法。更具體地，本 公開涉及一種便攜式設(shè)備，其中在該便攜式設(shè)備的屏幕上顯示、或在便攜式設(shè)備的外部投 影并顯示所呈現(xiàn)的屏幕。

【背景技術(shù)】
[0002] 最近，便攜式設(shè)備如智能電話或平板個(gè)人計(jì)算機(jī)（PC)在數(shù)量上獲得了巨大的增 長。隨著這些設(shè)備數(shù)量的增長，對(duì)使用便攜式設(shè)備的應(yīng)用也進(jìn)行了積極地研發(fā)。這樣的便 攜式設(shè)備包括觸摸屏，用戶可以通過觸摸屏來操控便攜式設(shè)備。
[0003] 然而，在便攜式設(shè)備中，由于強(qiáng)調(diào)便攜性，所以便攜式設(shè)備中包括的觸摸屏的尺寸 就不可避免地受到了限制。尤其是，當(dāng)用戶使用便攜式設(shè)備來觀看運(yùn)動(dòng)圖片或靜態(tài)圖片時(shí)， 由于觸摸屏的受限尺寸，所以用戶可能在觀看運(yùn)動(dòng)或靜態(tài)圖片時(shí)感到不便。
[0004] 結(jié)果，當(dāng)便攜式設(shè)備在外部設(shè)備（例如，大尺寸TV)上顯示應(yīng)用時(shí)，通常通過經(jīng)便 攜式設(shè)備的觸摸屏的觸摸輸入來控制該應(yīng)用。
[0005] 便攜式設(shè)備也可以使用投影模塊來投影和顯示圖像。用戶可以通過用外部大尺寸 的屏幕代替有限尺寸的觸摸屏，以逼真的形式觀看圖像。
[0006] 然而，當(dāng)在通過投影模塊在外部設(shè)備上投影圖像期間輸入特定命令時(shí)，用戶通過 直接觸摸觸摸屏或按壓便攜式設(shè)備的按鍵，來輸入命令。當(dāng)用戶觸摸觸摸屏?xí)r，位于聚焦的 特定位置處的便攜式設(shè)備可能發(fā)生位移，在這種情況下，在便攜式設(shè)備的外面投影的圖像 可能抖動(dòng)。
[0007] 因此，需要一種用戶可以在輕松操控便攜式設(shè)備的同時(shí)觀看從投影模塊投影出的 圖像而沒有抖動(dòng)的技術(shù)。
[0008] 此外，便攜式設(shè)備通常包括觸摸屏，以便提供用戶界面。在通過觸摸屏提供用戶界 面的方案中，可能需要多個(gè)連續(xù)觸摸輸入，例如在觸摸后拖動(dòng)，這對(duì)用戶導(dǎo)致不便。此外，在 顯示屏幕尺寸不是很大的設(shè)備例如便攜式設(shè)備中，同時(shí)使用觸摸輸入單元和顯示屏幕，使 得屏幕經(jīng)常被手指覆蓋。因此，需要一種方法，允許用戶輸入用于執(zhí)行所需功能的命令，而 不需要注視觸摸屏。
[0009] 以上信息作為背景信息提供，僅為了幫助理解本公開。對(duì)于上述任何內(nèi)容是否可 作為關(guān)于本公開的現(xiàn)有技術(shù)沒有任何判定也沒有任何斷言。


【發(fā)明內(nèi)容】

[0010] 本公開的方案在于解決至少上述問題和/或缺點(diǎn)并提供至少下述優(yōu)點(diǎn)。因此，本 公開的方案在于提供一種便攜式設(shè)備和方法，用于即使在便攜式設(shè)備的操控期間，顯示在 便攜式設(shè)備外部投影的圖像而沒有抖動(dòng)。
[0011] 此外，本公開的方案也提供了一種便攜式設(shè)備和方法，用于提供一種無觸摸界面， 而沒有硬件結(jié)構(gòu)改變。
[0012] 本公開的方案也提供了一種裝置和方法，用于通過用戶手勢(shì)來操控具有投影模塊 的便攜式設(shè)備。
[0013] 本公開的方案在于提供了一種便攜式設(shè)備和方法，用于使用戶能夠以無接觸方式 來執(zhí)行多種操控。
[0014] 本公開中提供的其它目的可以通過以下所述的多種實(shí)施例來理解。
[0015] 根據(jù)本公開的一個(gè)方面，提供了一種用于在便攜式設(shè)備中提供無觸摸界面的方 法。該方法包括：在便攜式設(shè)備的觸摸屏上顯示應(yīng)用的執(zhí)行屏幕；在便攜式設(shè)備外部投影 并顯示與應(yīng)用的執(zhí)行屏幕相對(duì)應(yīng)的投影圖像；激活攝像機(jī)模塊以便拍攝用戶輸入工具；在 投影圖像上顯示指針；以及與由攝像機(jī)模塊拍攝的用戶輸入工具相對(duì)應(yīng)，移動(dòng)并顯示指針。
[0016] 根據(jù)本公開的另一方面，提供了一種用于提供無觸摸界面的便攜式設(shè)備。該便攜 式設(shè)備包括：顯示器，配置為顯示應(yīng)用的執(zhí)行屏幕；投影模塊，配置為在便攜式設(shè)備外部投 影并顯示與應(yīng)用的執(zhí)行屏幕相對(duì)應(yīng)的投影圖像；至少一個(gè)攝像機(jī)模塊，配置為連續(xù)捕獲包 括用戶輸入工具的多個(gè)圖像幀；以及控制器，配置為在投影圖像上顯示指針，并與由攝像機(jī) 模塊拍攝的用戶輸入工具相對(duì)應(yīng)，移動(dòng)并顯示指針。
[0017] 根據(jù)以下結(jié)合附圖公開了本公開多個(gè)實(shí)施例的詳細(xì)描述，本領(lǐng)域技術(shù)人員將更清 楚本公開的其他方面、優(yōu)點(diǎn)和突出的特征。

【專利附圖】

【附圖說明】
[0018] 結(jié)合附圖，根據(jù)以下詳細(xì)描述，本公開的一些實(shí)施例的上述和其他方面、特征以及 優(yōu)點(diǎn)將更清楚，附圖中：
[0019] 圖1是示出了根據(jù)本公開實(shí)施例的便攜式設(shè)備的示意性框圖；
[0020] 圖2是根據(jù)本公開實(shí)施例的便攜式設(shè)備的前透視圖；
[0021] 圖3是根據(jù)本公開實(shí)施例的便攜式設(shè)備的后透視圖；
[0022] 圖4是示出了根據(jù)本公開實(shí)施例的包括投影模塊的便攜式設(shè)備的操作的流程圖；
[0023] 圖5A和5B是示出了根據(jù)本公開實(shí)施例，基于接近條件確定是否激活攝像機(jī)模塊 的操作的流程圖；
[0024] 圖6是示出了根據(jù)本公開實(shí)施例的手指登記屏幕的圖；
[0025] 圖7是示出了根據(jù)本公開實(shí)施例用于投影與手指相對(duì)應(yīng)的指針的圖像的圖；
[0026] 圖84、88、8(：、80、9八、98及9(：是示出了根據(jù)本公開實(shí)施例，在手指圖像中識(shí)別用于 控制指針的手指的示例的圖；
[0027] 圖10是示出了根據(jù)本公開實(shí)施例，用于在便攜式設(shè)備中條件性地分派觸摸屏事 件的方法的流程圖；
[0028] 圖11是示出了根據(jù)本公開另一實(shí)施例的包括投影模塊的便攜式設(shè)備的操作的流 程圖；
[0029] 圖12是示出了根據(jù)本公開實(shí)施例的便攜式設(shè)備的示意框圖；
[0030] 圖13是示出了根據(jù)本公開實(shí)施例的便攜式設(shè)備的操作的流程圖；
[0031] 圖14是用于描述根據(jù)本公開實(shí)施例的手部掩模（hand mask)計(jì)算操作的圖；
[0032] 圖15是用于描述根據(jù)本公開實(shí)施例的內(nèi)切圓計(jì)算操作的圖；
[0033] 圖16是示出了根據(jù)本公開實(shí)施例用于確定圖像中的內(nèi)切圓的方法的圖；
[0034] 圖17是用于描述根據(jù)本公開實(shí)施例的手勢(shì)識(shí)別操作的圖；
[0035] 圖18A、18B、18C及18D是示出了根據(jù)本公開實(shí)施例的不同手勢(shì)的圖；
[0036] 圖19是用于描述根據(jù)本公開實(shí)施例的計(jì)算變焦比例的方法的圖；
[0037] 圖20A、20B及20C是根據(jù)本公開實(shí)施例，與敲擊手勢(shì)相對(duì)應(yīng)的手勢(shì)序列的圖；以及
[0038] 圖21A、21B、21C、21D及21E是示出了根據(jù)本公開實(shí)施例，與變焦手勢(shì)相對(duì)應(yīng)的手 勢(shì)序列的圖。
[0039] 貫穿附圖，相同的附圖標(biāo)記將用于表示相同的部件、組件和結(jié)構(gòu)。

【具體實(shí)施方式】
[0040] 以下參照附圖的描述用來幫助全面理解權(quán)利要求及其等同物限定的本公開的多 個(gè)實(shí)施例。以下描述包括多種具體細(xì)節(jié)來幫助理解，但是這些具體細(xì)節(jié)應(yīng)該視為僅僅是示 例性的。因此，本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識(shí)到，在不背離本公開的范圍和精神的前提下，可以對(duì) 本文所述多個(gè)實(shí)施例進(jìn)行多種改變和修改。此外，為了清楚和簡要目的，可以省略對(duì)公知功 能和結(jié)構(gòu)的描述。
[0041] 以下描述和權(quán)利要求中使用的術(shù)語和詞語不限于字面含義，而是僅由發(fā)明人用來 達(dá)到對(duì)本公開的清楚和一致理解。因此，本領(lǐng)域技術(shù)人員應(yīng)理解，本公開的多個(gè)實(shí)施例的以 下描述僅用于說明目的，而不是要限制由所附權(quán)利要求及其等同物限定的本公開。
[0042] 應(yīng)該理解，除非文中另外明確指出，否則單數(shù)形式的"一"、"一種"和"該"包括復(fù) 數(shù)形式。因此，例如，對(duì)于"一組件表面"的引述包括對(duì)于一個(gè)或多個(gè)這種表面的引述。
[0043] 盡管將使用序數(shù)（例如，"第一"和"第二"等）來描述多個(gè)組件，但是這些組件不 受這些術(shù)語、或這些術(shù)語的順序的限制。這些術(shù)語僅用來將一個(gè)組件與另一組件相區(qū)分。例 如，在不違背本發(fā)明構(gòu)思的教義的前提下，可以將第一組件稱為第二組件，類似地，也可以 將第二組件稱為第一組件。這里所用術(shù)語"和/或"包括一個(gè)或多個(gè)相關(guān)所列項(xiàng)目的任何 組合和所有組合。
[0044] 這里所用術(shù)語僅用于描述多個(gè)實(shí)施例的目的，而不是為了限制多個(gè)實(shí)施例。除非 文中另外明確指出，否則這里所用的單數(shù)形式也旨在包括復(fù)數(shù)形式。將進(jìn)一步理解，當(dāng)在本 說明書中使用術(shù)語"包括"和/或"具有"時(shí)，表示所述特征、數(shù)量、步驟、操作、組件、元件或 其組合的存在，但是不排除一個(gè)或多個(gè)其它特征、數(shù)量、步驟、操作、組件、元件或其組合的 存在或附加。
[0045] 除非另外指出，否則這里所用的所有術(shù)語（包括技術(shù)和科學(xué)術(shù)語）具有與多個(gè)實(shí) 施例所屬領(lǐng)域的普通技術(shù)人員通常所理解的相同意義。將進(jìn)一步理解，術(shù)語如常用字典中 定義的術(shù)語應(yīng)解釋為在說明書中具有在公開時(shí)本領(lǐng)域技術(shù)人員所理解的相關(guān)領(lǐng)域背景中 的意義相一致的意義，而不應(yīng)以理想化或過于刻板的含義來進(jìn)行解釋，除非文中另外明確 指出。
[0046] 在本公開中，便攜式設(shè)備可以是包括觸摸屏的設(shè)備，便攜式設(shè)備可以是指便攜式 終端、移動(dòng)終端、通信終端、便攜式通信終端或便攜式移動(dòng)終端。
[0047] 例如，便攜式設(shè)備可以是智能電話、蜂窩電話、游戲機(jī)、電視（TV)、顯示器、車用頭 戴單元（vehicle head unit)、筆記本計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、個(gè)人媒體播放器 (PMP)、個(gè)人數(shù)字助手（PDA)等。便攜式設(shè)備可以實(shí)現(xiàn)為具有無線通信功能的口袋尺寸便攜 式通信終端。便攜式設(shè)備也可以具有柔性設(shè)備或柔性顯示器。
[0048] 便攜式設(shè)備的代表結(jié)構(gòu)與蜂窩電話有關(guān)，從便攜式設(shè)備的代表結(jié)構(gòu)中可以省略或 改變一些組件。
[0049] 本公開在具有投影模塊的便攜式設(shè)備中提供一種用于通過無觸摸用戶輸入來控 制便攜式設(shè)備的操作的方法。為此，在本公開中，如果驅(qū)動(dòng)投影模塊，則通過投影模塊投影 應(yīng)用執(zhí)行屏幕；并且如果感測(cè)到接近事件，則激活攝像機(jī)模塊以便獲得圖像，并從獲得的圖 像中識(shí)別用戶手勢(shì)，此后與用戶手勢(shì)相對(duì)應(yīng)地控制投影圖像上的指針。本公開也使用用戶 手勢(shì)來分派應(yīng)用和控制指針。由此，用戶可以直觀地操控便攜式設(shè)備而不觸摸輸入屏幕，可 以觀看從投影模塊投影的圖像，而沒有圖像抖動(dòng)，由此最大化用戶的便利性。
[0050] 本公開可以應(yīng)用到包括外部屏幕的便攜式設(shè)備和包括投影模塊的便攜式設(shè)備。例 如，便攜式設(shè)備可以配置為在外部TV上顯示應(yīng)用。
[0051] 圖1是示出了根據(jù)本公開實(shí)施例的便攜式設(shè)備100的示意性框圖。
[0052] 參考圖1，便攜式設(shè)備100可以通過使用通信模塊120、連接器165和耳機(jī)連接插 孔167中的至少一個(gè)，與外部電子設(shè)備（未示出）連接。外部電子設(shè)備可以包括從便攜式 設(shè)備100可移除并且以有線形式與便攜式設(shè)備100可連接的多種設(shè)備之一，例如，耳機(jī)、夕卜 部揚(yáng)聲器、通用串行總線（USB)存儲(chǔ)器、充電設(shè)備、支架/塢（dock)、數(shù)字多媒體廣播（DMB) 天線、移動(dòng)支付相關(guān)設(shè)備、健康管理設(shè)備（血壓監(jiān)控器等）、游戲機(jī)、車輛導(dǎo)航設(shè)備等。電子 設(shè)備可以包括無線可連接的藍(lán)牙通信設(shè)備，近場(chǎng)通信（NFC)設(shè)備、WiFi直接通信設(shè)備及無 線接入點(diǎn)（AP)。便攜式設(shè)備100可以以有線或無線的方式與其它便攜式設(shè)備或電子設(shè)備 (例如，蜂窩電話、智能電話、平板個(gè)人計(jì)算機(jī)（PC)、桌面PC和服務(wù)器之一）連接。
[0053] 便攜式設(shè)備100包括觸摸屏190和觸摸屏控制器195。在本公開中，作為顯示器和 顯示器控制器的示例，將描述觸摸屏190和觸摸屏控制器195。便攜式設(shè)備100也包括控制 器110、通信模塊120、多媒體模塊140、攝像機(jī)模塊150、輸入/輸出模塊160、傳感器模塊 170、存儲(chǔ)單元175、投影模塊177及電源單元180。
[0054] 控制器110可以包括中央處理單元（CPU) 111 ;只讀存儲(chǔ)器（ROM) 112,其中存儲(chǔ)用 于控制便攜式設(shè)備1〇〇的控制程序；以及隨機(jī)存取存儲(chǔ)器（RAM) 113,存儲(chǔ)從便攜式設(shè)備100 輸入的信號(hào)或數(shù)據(jù)，或用作針對(duì)便攜式設(shè)備100中執(zhí)行的任務(wù)的存儲(chǔ)區(qū)。CPU111可以包括 單核、雙核、三核或四核處理器。CPU111、R0M112及RAM113可以通過內(nèi)部總線相互連接。
[0055] 控制器110控制通信模塊120、多媒體模塊140、攝像機(jī)模塊150、輸入/輸出模塊 160、傳感器模塊170、存儲(chǔ)單元175、投影模塊177、電源單元180、觸摸屏190及觸摸屏控制 器 195。
[0056] 控制器110檢測(cè)當(dāng)可觸摸的用戶輸入工具（用戶的手指等）觸摸觸摸屏190上顯 示的多個(gè)圖形對(duì)象或圖形項(xiàng)目之一、接近該對(duì)象、或位于該對(duì)象附近時(shí)產(chǎn)生的用戶輸入?？?制器110也識(shí)別與觸摸屏190上感測(cè)到用戶輸入的位置相對(duì)應(yīng)的對(duì)象。通過觸摸屏190產(chǎn) 生的用戶輸入包括直接觸摸輸入和懸置（hovering)輸入之一，直接觸摸輸入用于直接觸 摸對(duì)象，懸置輸入是在預(yù)設(shè)識(shí)別距離內(nèi)接近對(duì)象但不直接觸摸對(duì)象的間接觸摸輸入。例如， 當(dāng)用戶輸入工具接近觸摸屏190時(shí)，可以選擇位于用戶輸入工具正下方的對(duì)象。在本公開 中，用戶輸入可以包括通過攝像機(jī)模塊150產(chǎn)生的手勢(shì)輸入、通過至少一個(gè)按鈕161或鍵盤 166產(chǎn)生的開關(guān)/按鈕輸入、及通過麥克風(fēng)162產(chǎn)生的語音輸入和通過觸摸屏190產(chǎn)生的用 戶輸入。在本公開中，將描述通過攝像機(jī)模塊150的手勢(shì)輸入作為示例。
[0057] 對(duì)象或項(xiàng)目（或功能項(xiàng)目）顯示或可以顯示在便攜式設(shè)備100的觸摸屏190上， 并包括以下內(nèi)容中的至少一個(gè)：例如，應(yīng)用、菜單、文檔、窗口小部件（widget)、圖片、運(yùn)動(dòng) 圖像、電子郵件、SMS消息及麗S消息?？梢允褂糜脩糨斎牍ぞ邅磉x擇、執(zhí)行、刪除、取消、存 儲(chǔ)及改變對(duì)象或項(xiàng)目。項(xiàng)目可以用作如下概念，該概念包括按鈕、圖標(biāo)（或快捷圖標(biāo)）、縮略 圖圖像及包括便攜式設(shè)備100中至少一個(gè)對(duì)象的文件夾。項(xiàng)目可以以圖標(biāo)、文本等的形式 呈現(xiàn)。
[0058] 快捷圖標(biāo)是顯示在便攜式設(shè)備100的觸摸屏190上的圖像，用于快速執(zhí)行在便攜 式設(shè)備100中提供的應(yīng)用、呼叫、聯(lián)系人號(hào)碼、菜單等。一旦輸入用于執(zhí)行快捷圖標(biāo)的命令 或選擇，就執(zhí)行相應(yīng)應(yīng)用。
[0059] 當(dāng)用戶輸入工具（例如，手指）接近觸摸屏190或位于觸摸屏190附件時(shí)，控制器 110檢測(cè)用戶輸入事件，例如，懸置事件。
[0060] 一旦針對(duì)預(yù)設(shè)項(xiàng)目或以預(yù)設(shè)方式產(chǎn)生用戶輸入事件，則控制器110執(zhí)行與所產(chǎn)生 的用戶輸入事件相對(duì)應(yīng)的預(yù)設(shè)程序操作。
[0061] 通信模塊120可以包括移動(dòng)通信模塊121、輔助通信模塊130及廣播通信模塊 141。
[0062] 便攜式設(shè)備100可以包括移動(dòng)通信模塊121、無線局域網(wǎng)絡(luò)（WLAN)模塊131及短 程通信模塊132中的至少一個(gè)。
[0063] 移動(dòng)通信模塊121可以在控制器110的控制下，使用一個(gè)或多個(gè)天線（未示出） 通過移動(dòng)通信，促進(jìn)便攜式設(shè)備100和外部設(shè)備之間的連接。移動(dòng)通信模塊121發(fā)送/接 收無線信號(hào)，以便與具有向便攜式設(shè)備100輸入的電話號(hào)碼的蜂窩電話（未示出）、智能電 話（未示出）、平板PC或其它電子設(shè)備（未示出）進(jìn)行語音呼叫、視頻呼叫、文本消息（短 消息服務(wù)（SMS))和/或多媒體消息（多媒體服務(wù)（MMS))。
[0064] 輔助通信模塊130可以包括WLAN模塊131和短程通信模塊132中的至少一個(gè)。例 如，輔助通信模塊130可以包括WLAN模塊131或短程通信模塊132之一或兩者。
[0065] WLAN模塊131可以在控制器110的控制下，在安裝有無線接入點(diǎn)（AP)(未示出） 的地方，連接到因特網(wǎng)。WLAN模塊131支持電氣與電子工程師協(xié)會(huì)（IEEE)的無線LAN標(biāo)準(zhǔn) IEEE802. 1 lx。短程通信模塊132可以在控制器110的控制下，在便攜式設(shè)備100和外部電 子設(shè)備之間無線地執(zhí)行短程通信。短程通信可以包括藍(lán)牙、紅外數(shù)據(jù)協(xié)會(huì)（IrDA)、WiFi直 接通信、NFC通信等。
[0066] 廣播通信模塊141可以在控制器110的控制下，通過廣播通信天線（未示出）接 收從廣播站（未示出）發(fā)送的廣播信號(hào)（例如，TV廣播信號(hào)、無線電廣播信號(hào)、或數(shù)據(jù)廣播 信號(hào)）和廣播附加信息（例如，電子節(jié)目指南（EPG)或電子服務(wù)指南（ESG))。
[0067] 多媒體模塊140可以包括音頻回放模塊142或視頻回放模塊143。音頻回放模塊 142可以在控制器110的控制下，播放存儲(chǔ)在存儲(chǔ)單元175中的或接收到的數(shù)字音頻文件 (例如，具有例如"1^3"、"￥!11&"、"(^"或"￥&￥"文件擴(kuò)展名的文件）。視頻回放模塊143可 以在控制器110的控制下，播放存儲(chǔ)的或接收到的數(shù)字視頻文件（例如，具有例如"mpeg"、 "mpg"、"mp4"、"avi"、"m 〇V" 或"mkv" 文件擴(kuò)展名的文件）。
[0068] 多媒體模塊140可以集成在控制器110中。
[0069] 攝像機(jī)模塊150可以包括第一攝像機(jī)151和第二攝像機(jī)152,它們?cè)诳刂破?10的 控制下，捕獲靜態(tài)圖像或視頻。攝像機(jī)模塊150可以包括以下部件中的至少一個(gè)：箭頭筒單 元（barrel unit) 155,用于執(zhí)行針對(duì)拍攝的拉近/拉遠(yuǎn)操作；電機(jī)154,用于控制箭頭筒單 元155的運(yùn)動(dòng)；以及閃光燈153,用于提供拍攝所需的輔助光源。第一攝像機(jī)151可以位于 便攜式設(shè)備1〇〇的前表面，第二攝像機(jī)152可以位于便攜式設(shè)備100的后表面。
[0070] 根據(jù)本公開，攝像機(jī)模塊150可以應(yīng)用于其他類型的攝像機(jī)和視覺攝像機(jī)。例如， 可以使用熱攝像機(jī)代替視覺攝像機(jī)。根據(jù)本公開，攝像機(jī)模塊150可以是傳感器，配置為將 特定區(qū)域映射為二維（2D)圖像。
[0071] 第一攝像機(jī)151和第二攝像機(jī)152各自均包括鏡頭系統(tǒng)、圖像傳感器等。第一攝 像機(jī)151和第二攝像機(jī)152將通過鏡頭系統(tǒng)輸入的光信號(hào)轉(zhuǎn)換為電圖像信號(hào)，并向控制器 110輸出該電圖像信號(hào)。用戶可以通過第一攝像機(jī)151和第二攝像機(jī)152來捕獲運(yùn)動(dòng)圖像 或靜態(tài)圖像。
[0072] 輸入/輸出模塊160可以包括至少一個(gè)按鈕161、至少一個(gè)麥克風(fēng)162、至少一個(gè) 揚(yáng)聲器163、至少一個(gè)震動(dòng)元件164、連接器165、鍵盤166及耳機(jī)連接插孔167中的至少一 個(gè)。然而，應(yīng)注意，輸入/輸出模塊160不限于這些示例，可以提供光標(biāo)控制（例如鼠標(biāo)、跟 蹤球、操控桿或光標(biāo)方向鍵）來在觸摸屏190上控制光標(biāo)的運(yùn)動(dòng)。
[0073] 按鈕161可以形成于便攜式設(shè)備100的殼體（或外殼）的前表面、側(cè)表面和后表 面中的至少一個(gè)上，并可以包括電源/鎖定按鈕、音量按鈕、菜單按鈕、主頁按鈕、返回按鈕 及搜索按鈕中的至少一個(gè)。
[0074] 麥克風(fēng)162在控制器110的控制下，接收語音或聲音，并產(chǎn)生相應(yīng)的電信號(hào)。
[0075] 揚(yáng)聲器163在控制器110的控制下，輸出與多種信號(hào)或數(shù)據(jù)（例如，無線數(shù)據(jù)、廣 播數(shù)據(jù)、數(shù)字音頻數(shù)據(jù)、數(shù)字視頻數(shù)據(jù)等）相對(duì)應(yīng)的聲音。揚(yáng)聲器163可以輸出與由便攜式 設(shè)備1〇〇執(zhí)行的功能相對(duì)應(yīng)的聲音（例如，與電話呼叫相對(duì)應(yīng)的按鈕操控聲音、鈴音、或?qū)?方用戶的語音）。一個(gè)或多個(gè)揚(yáng)聲器163可以形成于便攜式設(shè)備100的殼體的一個(gè)或多個(gè) 合適位置處。
[0076] 震動(dòng)元件164在控制器110的控制下，將電信號(hào)轉(zhuǎn)換為機(jī)械震動(dòng)。例如，在便攜式 設(shè)備100中，在震動(dòng)模式下，當(dāng)從其他設(shè)備（未示出）接收到語音呼叫或視頻呼叫時(shí)，震動(dòng) 元件164進(jìn)行操作。一個(gè)或多個(gè)震動(dòng)元件164可以設(shè)于便攜式設(shè)備100的殼體中。震動(dòng)元 件164可以響應(yīng)于通過觸摸屏190產(chǎn)生的用戶輸入來進(jìn)行操作。
[0077] 連接器165可以用作用于連接便攜式設(shè)備100和外部設(shè)備（未示出）或電源（未 示出）的接口。在控制器110的控制下，可以通過連接到連接器165的有線線纜將存儲(chǔ)在 便攜式設(shè)備1〇〇的存儲(chǔ)單元175中的數(shù)據(jù)發(fā)送給外部電子設(shè)備，或可以從外部電子設(shè)備接 收數(shù)據(jù)。便攜式設(shè)備1〇〇通過連接到連接器165的有線線纜從電源接收電力，或可以通過 使用電源對(duì)電池（未示出）充電。
[0078] 鍵盤166從用戶接收按鍵輸入，用于控制便攜式設(shè)備100。鍵盤166包括形成在 便攜式設(shè)備1〇〇中的物理鍵盤（未示出），或在觸摸屏190上顯示的虛擬鍵盤（未示出）。 根據(jù)便攜式設(shè)備1〇〇的性能或結(jié)構(gòu)，可以不包括形成在移動(dòng)便攜式設(shè)備1〇〇中的物理鍵盤 (未示出）。
[0079] 耳機(jī)（未示出）可以插入耳機(jī)連接插孔167中，以便連接到便攜式設(shè)備100。
[0080] 傳感器模塊170可以包括至少一個(gè)傳感器，用于檢測(cè)便攜式設(shè)備100的狀態(tài)。例 如，傳感器模塊170可以包括以下傳感器中的至少一個(gè)：接近傳感器，用于檢測(cè)相對(duì)于便攜 式設(shè)備100的用戶接近；照明傳感器（未示出），用于檢測(cè)便攜式設(shè)備100周圍的光量；運(yùn) 動(dòng)傳感器（未示出），用于檢測(cè)便攜式設(shè)備100的操作（例如，便攜式設(shè)備100的旋轉(zhuǎn)、或向 便攜式設(shè)備1〇〇施加的加速度或震動(dòng)）；地磁傳感器（未示出），用于通過使用地磁場(chǎng)來檢 測(cè)羅盤指向；重力傳感器，用于檢測(cè)重力的作用方向；高度計(jì)，用于測(cè)量大氣壓，以便檢測(cè) 海拔；以及全球定位系統(tǒng)（GPS)模塊157。傳感器170也可以包括攝像機(jī)傳感器，用于感測(cè) 用戶的手勢(shì)。根據(jù)本公開的實(shí)施例，傳感器模塊170還包括方位傳感器，配置為處理便攜式 設(shè)備100的當(dāng)前方位。
[0081] GPS模塊157從地球軌道上的多個(gè)GPS衛(wèi)星（未示出）接收電波，通過使用從GPS 衛(wèi)星（未示出）到便攜式設(shè)備100的到達(dá)時(shí)間，計(jì)算便攜式設(shè)備100的位置。
[0082] 存儲(chǔ)單元175在控制器110的控制下，存儲(chǔ)與通信模塊120、多媒體模塊140、攝像 機(jī)模塊150、輸入/輸出模塊160、傳感器模塊170、或觸摸屏190的操作對(duì)應(yīng)輸入/輸出的 信號(hào)或數(shù)據(jù)。存儲(chǔ)單元175也可以存儲(chǔ)控制程序和應(yīng)用，用于控制便攜式設(shè)備100或控制 器 110。
[0083] 術(shù)語"存儲(chǔ)單元"包括存儲(chǔ)單元175、控制器110中的R0M112和RAM113,或安裝在 便攜式設(shè)備110中的存儲(chǔ)卡（未示出）（例如，安全數(shù)字（SD)卡、記憶棒）。存儲(chǔ)單元175 可以包括非易失性存儲(chǔ)器、易失性存儲(chǔ)器、硬盤驅(qū)動(dòng)器（HDD)或固態(tài)驅(qū)動(dòng)器（SSD)。
[0084] 存儲(chǔ)單元175也可以存儲(chǔ)多種功能的應(yīng)用（例如導(dǎo)航、視頻通信、游戲、基于時(shí)間 的鬧鐘應(yīng)用）、用于提供關(guān)于應(yīng)用的圖形用戶界面（GUI)的圖像、用戶信息、文檔、關(guān)于用于 處理觸摸輸入的方法的數(shù)據(jù)庫或數(shù)據(jù)、背景圖像（例如，菜單屏幕、待機(jī)屏幕等）、驅(qū)動(dòng)便攜 式設(shè)備100所需的操作程序、以及由攝像機(jī)模塊150捕獲的圖像。
[0085] 存儲(chǔ)單元175是一種機(jī)器，例如，非暫時(shí)計(jì)算機(jī)可讀介質(zhì)。術(shù)語"機(jī)器可讀介質(zhì)" 包括用于將數(shù)據(jù)提供給機(jī)器以便允許機(jī)器執(zhí)行特定功能的介質(zhì)。存儲(chǔ)單元175可以包括非 易失性介質(zhì)或易失性介質(zhì)。這樣的介質(zhì)需要是有形的類型，以便可以通過用機(jī)器讀取命令 的物理工具檢測(cè)到向該介質(zhì)發(fā)送的命令。機(jī)器可讀介質(zhì)可以包括但不限于軟盤、柔性盤、硬 盤、磁帶、壓縮盤只讀存儲(chǔ)器（⑶-ROM)、光盤、穿孔卡片（punch card)、紙帶、隨機(jī)存取存儲(chǔ) 器（RAM)、可編程只讀存儲(chǔ)器（PR0M)、可擦除PROM (EPROM)和閃存EPROM中至少之一。
[0086] 投影模塊177通過投影鏡頭放大從控制器110提供的各種呈現(xiàn)圖像，將圖像投影 到外部屏幕上。投影模塊177可以包括：光源，用于發(fā)出投影所用的光；光調(diào)制器，用于根據(jù) 圖像信號(hào)調(diào)制從光源入射的光；以及鏡頭單元，用于將從光調(diào)制器入射的光投射到屏幕上。 例如，投影模塊177可以投影與觸摸屏190上顯示的應(yīng)用執(zhí)行屏幕相同的屏幕，或由用戶選 擇的應(yīng)用的輸出屏幕。投影模塊177配置為水平或垂直翻動(dòng)（flip)應(yīng)用輸出。
[0087] 電源單元180在控制器110的控制下，向設(shè)于便攜式設(shè)備100的殼體中的一個(gè)或 多個(gè)電池供電。該一個(gè)或多個(gè)電池向便攜式設(shè)備100供電。電源單元180也可以通過與連 接器165連接的有線線纜向便攜式設(shè)備100供給從外部電源輸入的電力。電源單元180也 可以向便攜式設(shè)備1〇〇供給使用無線充電技術(shù)從外部電源無線輸入的電力。
[0088] 便攜式設(shè)備100包括觸摸屏190,向用戶提供與多種服務(wù)（例如，呼叫、數(shù)據(jù)傳輸、 廣播、拍攝圖片）相對(duì)應(yīng)的用戶圖形界面。
[0089] 觸摸屏190向觸摸屏控制器195輸出與對(duì)用戶圖形界面的至少一個(gè)輸入相對(duì)應(yīng)的 模擬信號(hào)。觸摸屏190接收通過用戶身體（例如，包括食指在內(nèi)的手指）的至少一個(gè)用戶 輸入。觸摸屏190也接收一個(gè)觸摸的連續(xù)運(yùn)動(dòng)。觸摸屏190向觸摸屏控制器195輸出與接 收到的觸摸的連續(xù)運(yùn)動(dòng)相對(duì)應(yīng)的模擬信號(hào)。
[0090] 根據(jù)本公開的一個(gè)方面，觸摸屏190增亮由攝像機(jī)模塊150捕獲的圖像?？梢栽?手指登記階段激活觸摸屏190。便攜式設(shè)備100可以包括功率管理器（未示出），最大化觸 摸屏190的增亮強(qiáng)度，以便照亮運(yùn)動(dòng)對(duì)象，例如用戶輸入工具。如果將便攜式設(shè)備100設(shè)置 為將便攜式設(shè)備1〇〇的前表面朝向用戶，則可以最大化觸摸屏190的增亮強(qiáng)度，以便照亮用 戶輸入工具，例如手指或觸控筆。
[0091] 在本公開的實(shí)施例中，在沒有硬件改變的前提下實(shí)現(xiàn)了無觸摸界面，從而應(yīng)當(dāng)保 證了表示用戶輸入工具的圖像的質(zhì)量。為此，在捕獲圖像時(shí)，可以最大化觸摸屏190的增亮 強(qiáng)度，或可以激活閃光燈153。這樣，通過使用觸摸屏190或閃光燈153,照亮了用戶輸入工 具，由此獲得清楚拍攝用戶輸入工具的圖像，因而可以容易地從所捕獲的圖像中區(qū)分用戶 輸入工具。
[0092] 在本公開中，觸摸也可以包括非接觸的觸摸（例如，當(dāng)用戶輸入工具位于例如1cm 的距離內(nèi)時(shí)），其中可以在不與觸摸屏190直接接觸的前提下檢測(cè)到用戶輸入工具。觸摸也 可以包括觸摸屏190和用戶輸入工具（例如，手指）之間的直接接觸?？梢愿鶕?jù)便攜式設(shè) 備100的性能或結(jié)構(gòu)，改變距觸摸屏190的可以檢測(cè)到用戶輸入工具的距離或間隔。為了 分別檢測(cè)基于與用戶輸入工具的接觸的直接觸摸事件及間接觸摸事件（即，懸置事件），觸 摸屏190可以配置為針對(duì)直接觸摸事件和懸置事件中檢測(cè)到的值而輸出不同值。該值可以 是例如模擬電壓值或電流值。
[0093] 觸摸屏190可以實(shí)現(xiàn)為例如電阻型、電容型、紅外型、聲波型或它們的組合。
[0094] 觸摸屏控制器195將從觸摸屏190接收的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，向控制器110 發(fā)送該數(shù)字信號(hào)?？刂破?10通過使用從觸摸屏控制器195接收的數(shù)字信號(hào)，來控制觸摸 屏190上顯示的用戶界面（UI)。例如，控制器110可以響應(yīng)于直接觸摸事件或懸置事件，控 制選擇或執(zhí)行觸摸屏190上顯示的快捷圖標(biāo)（未示出）。觸摸屏控制器195可以包括在控 制器110中。
[0095] 通過檢測(cè)由觸摸屏190輸出的值（例如，電流值），觸摸屏控制器195識(shí)別懸置間 隔或距離和用戶輸入位置，并將所識(shí)別的距離轉(zhuǎn)換為數(shù)字信號(hào)（例如，Z坐標(biāo)），其中觸摸屏 控制器195將該數(shù)字信號(hào)發(fā)送給控制器110?？刂破?10可以檢測(cè)通過攝像機(jī)模塊150、輸 入/輸出模塊160、傳感器模塊170及觸摸屏190接收的各種用戶輸入。用戶輸入可以包括 多種形式的信息，例如，用戶手勢(shì)、語音、瞳孔運(yùn)動(dòng)及生物信號(hào)和觸摸?？刂破?10可以控制 在便攜式設(shè)備1〇〇中執(zhí)行與檢測(cè)到的用戶輸入相對(duì)應(yīng)的預(yù)定操作和功能。
[0096] 圖2是根據(jù)本公開實(shí)施例的便攜式設(shè)備100的前透視圖，圖3是根據(jù)本公開實(shí)施 例的便攜式設(shè)備1〇〇的后透視圖。
[0097] 參考圖2和3,觸摸屏190設(shè)于便攜式設(shè)備100的前表面101的中部。觸摸屏190 可以足夠大以便占據(jù)便攜式設(shè)備100的大部分前表面101。圖2示出了在觸摸屏190上顯 示主主頁屏幕的示例。主主頁屏幕是當(dāng)開啟便攜式設(shè)備100時(shí)在觸摸屏190上顯示的初始 屏幕。當(dāng)便攜式設(shè)備1〇〇具有若干頁的不同主頁屏幕時(shí)，主主頁屏幕可以是這若干頁的主 頁屏幕中的第一主頁屏幕?？梢栽谥黜撈聊簧巷@示用于執(zhí)行常用應(yīng)用的快捷圖標(biāo)191-1、 191-2及191-3、主菜單改變按鍵191-4、時(shí)間、天氣等。如果用戶選擇了主菜單改變按鍵 191-4,則在觸摸屏190上顯示菜單屏幕?？梢栽谟|摸屏190的上部形成指示便攜式設(shè)備 100的狀態(tài)如電池充電狀態(tài)、接收信號(hào)強(qiáng)度及當(dāng)前時(shí)間的狀態(tài)條192。
[0098] 主頁按鈕161a、菜單按鈕161b、和返回按鈕161c可以設(shè)于觸摸屏190的下部。主 頁按鈕161a是為了在觸摸屏190上顯示主主頁屏幕。例如，當(dāng)在觸摸屏190上顯示不同于 主主頁屏幕的主頁屏幕或菜單屏幕時(shí)，一旦選擇了主頁按鈕161a，就可以在觸摸屏190上 顯示主主頁屏幕。如果在執(zhí)行應(yīng)用期間在觸摸屏190上選擇了主頁按鈕161a，則圖2所示 的主主頁屏幕可以顯示在觸摸屏190上。主頁按鈕161a可以用于在觸摸屏190上顯示最 近使用的應(yīng)用或任務(wù)管理器。
[0099] 菜單按鈕161b提供可以顯示在觸摸屏190上的連接菜單。連接菜單可以包括例 如窗口小部件添加菜單、背景改變菜單、搜索菜單、編輯菜單和環(huán)境設(shè)置菜單。
[0100] 返回按鈕161c可以用于顯示緊接在當(dāng)前執(zhí)行屏幕的之前顯示的屏幕，或結(jié)束最 近使用的應(yīng)用。
[0101] 第一攝像機(jī)151、照明傳感器170a和接近傳感器170b可以設(shè)于便攜式設(shè)備100的 前表面101的邊緣。第二攝像機(jī)152、閃光燈153及揚(yáng)聲器163可以設(shè)于便攜式設(shè)備100的 后表面103。閃光燈153照亮由第二攝像機(jī)152捕獲的圖像中的運(yùn)動(dòng)對(duì)象，例如，用戶輸入 工具。當(dāng)便攜式設(shè)備1〇〇的后表面向前時(shí)，可以激活閃光燈153。當(dāng)將便攜式設(shè)備100設(shè)置 為將便攜式設(shè)備1〇〇的后表面朝向用戶時(shí)，可以激活閃光燈153以便照亮用戶輸入工具。
[0102] 電源/鎖定按鈕161d、包括音量上升按鈕161f和音量下降按鈕161g的音量按鈕 161e、用于廣播接收的地面DMB天線141a、一個(gè)或多個(gè)麥克風(fēng)162和投影模塊177可以設(shè)于 便攜式設(shè)備1〇〇的側(cè)面102上。DMB天線141a可以固定在便攜式設(shè)備100上或可從便攜式 設(shè)備100移除。
[0103] 圖4是示出了根據(jù)本公開實(shí)施例的包括投影模塊的便攜式設(shè)備的操作的流程圖。
[0104] 參考圖4,在操作400處，控制器110執(zhí)行由用戶選擇的應(yīng)用，并在觸摸屏190上 顯示應(yīng)用執(zhí)行屏幕。例如，如果選擇了觸摸屏190上顯示的用于執(zhí)行應(yīng)用的快捷圖標(biāo)，則可 以顯示與所選圖標(biāo)相對(duì)應(yīng)的應(yīng)用執(zhí)行屏幕。如果用戶選擇了投影應(yīng)用，則在操作405處執(zhí) 行投影顯示模式。在操作410處，控制器110通過投影模塊177在便攜式設(shè)備100外部投 影并顯示應(yīng)用執(zhí)行屏幕?？刂破?10可以控制投影模塊177投影與觸摸屏190上顯示的應(yīng) 用執(zhí)行屏幕相同的圖像?？刂破?10也可以控制呈現(xiàn)并投影與投影應(yīng)用的執(zhí)行相對(duì)應(yīng)的圖 像，該圖像不同于觸摸屏190上的圖像。
[0105] 在投影顯示模式的執(zhí)行中，便攜式設(shè)備100的焦點(diǎn)位于特定位置，以便投影聚焦 圖像。在該狀態(tài)下，為了操控便攜式設(shè)備100,例如，為了控制投影功能，用戶將手靠近觸摸 屏190。如果當(dāng)在觸摸屏190上顯示應(yīng)用執(zhí)行屏幕時(shí)用戶輸入工具接近觸摸屏190,則在操 作415處控制器110通過傳感器模塊170確定是否發(fā)生接近事件。當(dāng)便攜式設(shè)備100的前 表面朝上時(shí)，可以激活在便攜式設(shè)備100的前表面上的第一攝像機(jī)151。因此，如果在操作 415處控制器110通過傳感器模塊170檢測(cè)到接近事件的發(fā)生，則在操作420處控制器110 激活第一攝像機(jī)151以便獲得圖像，用于控制指針。在第一攝像機(jī)151的激活同時(shí)，可以最 大化觸摸屏190的增亮強(qiáng)度，以便照亮用戶輸入工具。
[0106] 根據(jù)本公開的實(shí)施例，可以在激活投影模塊177期間自動(dòng)地激活、或由接近傳感 器170b檢測(cè)到的接近信號(hào)來激活第一攝像機(jī)151。也可以由用戶輸入（例如，按鍵按壓） 來激活第一攝像機(jī)151。
[0107] 下文參考圖5A和5B描述用于確定是否激活第一攝像機(jī)151的接近條件。
[0108] 圖5A是示出了根據(jù)本公開的實(shí)施例，在接近感測(cè)模式下當(dāng)距離用作用于確定是 否激活第一攝像機(jī)的條件時(shí)的操作的流程圖。
[0109] 參考圖5A，在操作500處控制器110進(jìn)入接近感測(cè)模式，并在操作505處確定是否 發(fā)生接近事件。例如，當(dāng)用戶將手指靠近接近傳感器170b所設(shè)于的觸摸屏190以便操控便 攜式設(shè)備100時(shí)，通過接近傳感器170b檢測(cè)到接近事件的發(fā)生。如果發(fā)生了接近事件，則 在操作510處控制器110測(cè)量到手的距離。通常，如果對(duì)象在預(yù)定識(shí)別距離內(nèi)，則接近傳感 器170b感測(cè)到接近事件的發(fā)生，其中當(dāng)手非常接近觸摸屏190時(shí)，到對(duì)象的距離相對(duì)較短， 但當(dāng)手從觸摸屏190離開時(shí)，距離增加。因此，在本公開中，設(shè)置用于有條件地激活第一攝 像機(jī)151的閾值距離。當(dāng)閾值距離減小時(shí)，可以改善從捕獲圖像的識(shí)別率。
[0110] 在操作515處，控制器110確定測(cè)量距離是否小于閾值距離。測(cè)量距離可以是接 近事件信息中包括的距離信息，或可以是由超聲傳感器測(cè)量的距離。如果測(cè)量距離小于閾 值距離，則在步驟520處激活第一攝像機(jī)151。然而，如果測(cè)量距離大于閾值距離，則維持第 一攝像機(jī)151的非激活狀態(tài)。
[0111] 圖5B是示出了根據(jù)本公開實(shí)施例，在接近感測(cè)模式下當(dāng)距離和接近事件發(fā)生持 續(xù)時(shí)間用作用于確定是否激活第一攝像機(jī)的條件時(shí)的操作的流程圖。
[0112] 參考圖5B，操作525到540與圖5A的操作500到515相同，因此將不再贅述。例 如，不論是否是有意的用戶輸入，對(duì)象均可能移動(dòng)經(jīng)過觸摸屏190。由于在該情況下也發(fā)生 接近事件，所以為了移除這樣的無意用戶輸入，將接近事件的發(fā)生持續(xù)時(shí)間用作用于確定 是否激活第一攝像機(jī)151的條件。
[0113] 當(dāng)對(duì)象在閾值距離內(nèi)時(shí)，在操作545處測(cè)量接近事件的發(fā)生持續(xù)時(shí)間，以便確定 該對(duì)象是否是用于操控便攜式設(shè)備100的有意接近。接近事件的發(fā)生持續(xù)時(shí)間可以包括在 來自接近傳感器170b的接近事件信息中?？刂破?10可以對(duì)從接近傳感器170b接收接近 事件的持續(xù)時(shí)間進(jìn)行計(jì)時(shí)。如果在操作550處所測(cè)量的持續(xù)時(shí)間超過閾值持續(xù)時(shí)間（即， 對(duì)象的運(yùn)動(dòng)確定為用于操控便攜式設(shè)備100的有意接近），則在操作555處控制器110激活 攝像機(jī)151。
[0114] 盡管以上已經(jīng)描述了在執(zhí)行投影顯示模式時(shí)，驅(qū)動(dòng)傳感器模塊170以便通過使用 傳感器模塊170的感測(cè)數(shù)據(jù)來確定接近，然后驅(qū)動(dòng)第一攝像機(jī)151，但是可以在執(zhí)行投影顯 不模式時(shí)，一同驅(qū)動(dòng)傳感器模塊170和第一攝像機(jī)151。
[0115] 返回參考圖4,如果控制器110確定發(fā)生了滿足參考圖5A或5B所述條件的接近事 件，則在圖4的操作420處，激活第一攝像機(jī)151。另一方面，如果控制器110確定沒有發(fā)生 滿足所述條件的接近事件，則控制器110返回操作410來檢測(cè)接近事件的發(fā)生。當(dāng)在步驟 420處激活第一攝像機(jī)151時(shí)，第一攝像機(jī)151捕獲正面圖像。用戶必須登記用戶手指，以 便使用手指來控制指針。為了執(zhí)行手指登記處理，應(yīng)在屏幕上或用語音引導(dǎo)登記方法。
[0116] 下文將參考圖6來描述手指登記處理。
[0117] 圖6示出了根據(jù)本公開實(shí)施例，當(dāng)將手靠近便攜式設(shè)備的前表面時(shí)的手指登記屏 唇。
[0118] 參考圖6,盡管在本公開的實(shí)施例中將手指用作用于控制指針的用戶輸入工具的 示例，但是提供這樣的示例是為了促進(jìn)對(duì)本公開的理解，且用戶輸入工具的類型不限于該 示例。換言之，本公開可以不僅應(yīng)用于對(duì)手指的登記和位置跟蹤，而且也應(yīng)用于對(duì)其他用戶 輸入工具（例如鉛筆或?qū)ο螅┑牡怯浐臀恢酶?。本公開也可以應(yīng)用于對(duì)一個(gè)手指或?qū)ο?的跟蹤，以及對(duì)一個(gè)或多個(gè)手指或?qū)ο蟮耐瑫r(shí)跟蹤。對(duì)左手和右手用戶而言，指針的圖形表 示可以不同。
[0119] 如圖6中所示，當(dāng)便攜式設(shè)備100的前表面朝上時(shí)，便攜式設(shè)備100的前表面上的 第一攝像機(jī)151捕獲正面圖像。在本公開中，由第一攝像機(jī)151捕獲的圖像將稱為正面圖 像，由第二攝像機(jī)152捕獲的圖像將稱為背面圖像。后向方向是從便攜式設(shè)備100的后表 面朝向便攜式設(shè)備1〇〇的外部，前向方向是從便攜式設(shè)備1〇〇的前表面朝向便攜式設(shè)備1〇〇 的外部。前向方向是一特定方向，后向方向是與特定方向相反的方向。如果在用戶平躺的 同時(shí)用戶需要觀看通過將便攜式設(shè)備100直立而在天花板上投影的圖像，有可能使用第一 攝像機(jī)151或第二攝像機(jī)152來進(jìn)行捕獲。
[0120] 在該狀態(tài)中，如果用戶將手600靠近便攜式設(shè)備100的觸摸屏190,則第一攝像 機(jī)151以靜態(tài)圖像或運(yùn)動(dòng)圖像的形式拍攝便攜式設(shè)備100的前表面上的手600。捕獲圖像 610可以顯示在觸摸屏190上，或可以通過在觸摸屏190上顯示預(yù)定標(biāo)記（例如，手指形狀 620)，引導(dǎo)用戶在手指形狀620中執(zhí)行捕獲。在該狀態(tài)下，通過在觸摸屏190上顯示登記有 效時(shí)間630,鼓勵(lì)用戶登記手指，用于指針控制。
[0121] 通過使用手指的解剖模型、模板匹配方法或背景分割方法、皮膚檢測(cè)方法、Hough 變換方法、輪廓檢測(cè)方法、級(jí)聯(lián)分類器方法或所述方法的任何組合，可以自動(dòng)執(zhí)行對(duì)手指的 登記。在這種情況下，可以省略顯示登記方法。對(duì)于左手和右手用戶而言，在登記方法中提 供的標(biāo)記的圖形表示可以不同。
[0122] 返回參考圖4,如果在操作425處根據(jù)手指登記引導(dǎo)完成了手指登記，則在操作 430處，控制器110顯示與手指710相對(duì)應(yīng)的重疊在投影圖像700上的指針720,如圖7中 所示。在本公開的實(shí)施例中，當(dāng)拍攝手時(shí)，特定手指用于指針控制，并且為了手指登記，應(yīng)首 先檢測(cè)手指中要用作指針的手指。下文將描述這樣的手指檢測(cè)。
[0123] 為了控制投影圖像上顯示的指針的位置，在操作435處控制器110跟蹤手指的位 置，并在操作440處根據(jù)所跟蹤的手指位置來移動(dòng)并顯示指針的位置。在本公開的實(shí)施例 中，為了跟蹤手指的位置，從由第一攝像機(jī)151或第二攝像機(jī)152捕獲的視頻中獲得兩個(gè)連 續(xù)圖像，例如，如果從視頻中獲得兩個(gè)或多個(gè)連續(xù)圖像用于差錯(cuò)校正或背景分割，則可以改 善位置跟蹤。
[0124] 圖7是示出了根據(jù)本公開實(shí)施例的用于投影與手指相對(duì)應(yīng)的指針的圖像的圖示。
[0125] 參考圖7,當(dāng)用戶在不觸摸觸摸屏190的前提下移動(dòng)展開的手指時(shí)，投影圖像700 上的指針720也沿著手指的位置移動(dòng)。根據(jù)用戶手勢(shì)的移動(dòng)距離和方向來確定指針720的 移動(dòng)距離和方向，并根據(jù)所確定的距離和方向來移動(dòng)和顯示指針720。當(dāng)在觸摸屏190上顯 示與投影圖像700相同的圖像時(shí)，可以在觸摸屏190上顯示與在投影圖像上顯示的指針720 相同的指針。術(shù)語"指針"可以是指顯示在投影圖像上與用戶輸入工具相對(duì)應(yīng)的任何投影 圖形，而不限于特定圖形（例如，箭頭）。例如，圖形可以是箭頭、十字標(biāo)記、或手輪廓圖形。 此外，術(shù)語"指針"包括指針的圖形表示，例如，用于模擬多觸摸行為。
[0126] 返回參考圖4,在操作445處控制器110確定是否發(fā)生了觸摸屏事件。如果發(fā)生了 觸摸屏事件，則在操作450處，控制器110分派與發(fā)生觸摸屏事件的坐標(biāo)相對(duì)應(yīng)的位置處的 觸摸屏事件。下文將參考圖10來描述操作445和450。如果響應(yīng)于指針執(zhí)行命令來執(zhí)行應(yīng) 用，則用戶暫停對(duì)便攜式設(shè)備100的操控，在這種情況下，不必顯示指針的運(yùn)動(dòng)，從而在操 作455處去激活第一攝像機(jī)151。分派觸摸屏事件，接著去激活第一攝像機(jī)151，但是如果 在特征點(diǎn)提取階段中從圖像中提取的特征點(diǎn)的數(shù)量小于預(yù)定數(shù)量，則可以去激活第一攝像 機(jī) 151。
[0127] 在操作460處，控制器110確定是否結(jié)束投影顯示模式。如果不結(jié)束投影顯示模 式，則控制器110返回操作410以便重復(fù)上述處理。因此，如果在操作415處接近傳感器 170b感測(cè)到用戶將手接近觸摸屏190以便再次控制指針，則在操作420處再次激活第一攝 像機(jī)151。當(dāng)維持投影顯示模式時(shí)，可以跳過步驟425處為了手指登記而進(jìn)行的引導(dǎo)手指登 記方法的處理。可以在所捕獲的手部圖像中直接識(shí)別用于指針控制的手指。
[0128] 上述本公開可以應(yīng)用于包括外部屏幕的便攜式設(shè)備，以及包括投影模塊的便攜式 設(shè)備100。例如，便攜式設(shè)備100可以配置為在外部TV上顯示應(yīng)用。
[0129] 圖8A到8D和9A到9C是示出了根據(jù)本公開實(shí)施例的在所捕獲的手部圖像中識(shí)別 用戶以便用于指針控制的示例的圖。
[0130] 參考圖8A，如果在便攜式設(shè)備100的前表面朝上時(shí)控制器110通過第一攝像機(jī) 151拍攝距觸摸屏190預(yù)定距離的手，則所捕獲的手部圖像如圖8A所示。在這種情況下， 可以通過第一攝像機(jī)151捕獲在預(yù)定捕獲范圍內(nèi)的視頻，可以向控制器110提供圖像數(shù)據(jù)。 第一攝像機(jī)151可以每秒捕獲預(yù)訂數(shù)量的連續(xù)圖像，并且在將連續(xù)產(chǎn)生的圖像稱為幀時(shí)， 幀可以具有根據(jù)它們產(chǎn)生順序的序列號(hào)。
[0131] 一旦通過第一攝像機(jī)151連續(xù)輸入包括背景和對(duì)象（例如，手指）的圖像幀，控制 器110可以執(zhí)行以下操作?？刂破?10從第一圖像幀檢測(cè)手指區(qū)域，并在從每個(gè)順序輸入 的圖像幀檢測(cè)到的手指區(qū)域中確定對(duì)象（例如，手指）的位置和/或位移。
[0132] 作為一種手指區(qū)域檢測(cè)方法，可以獲得與預(yù)定圖形、標(biāo)記（例如，只展開一根手指 的手勢(shì)）相匹配的手部區(qū)域，接著可以從該手部區(qū)域中指定手指區(qū)域。在手指登記中，通 過使用表示手指的模板圖像，可以在捕獲圖像和模板圖像之間執(zhí)行模板匹配以便提取特征 點(diǎn)。一旦檢測(cè)到手指區(qū)域，從手指區(qū)域中提取用于跟蹤手指的特征點(diǎn)，跟蹤所提取的特征 點(diǎn)，用于指針控制。
[0133] 圖8B示出了從捕獲圖像中獲得皮膚區(qū)域以便檢測(cè)手指區(qū)域的情況。
[0134] 參考圖8B，可以通過基于皮膚顏色等，在捕獲圖像中區(qū)分非皮膚顏色區(qū)域和皮膚 顏色區(qū)域，來檢測(cè)皮膚區(qū)域。
[0135] 參考圖8C，在皮膚區(qū)域中，可以在皮膚區(qū)域中指定例如與握拳手勢(shì)相對(duì)應(yīng)的手部 區(qū)域800,在該手部區(qū)域800中可以指定手指區(qū)域805。將指定的區(qū)域800和805設(shè)置為相 關(guān)區(qū)域810。
[0136] 圖8D示出了從手指區(qū)域中提取特征點(diǎn)的情況。
[0137] 參考圖8D，從手的靜態(tài)圖像中提取的特征點(diǎn)由圓點(diǎn)表示?？梢酝ㄟ^在手指區(qū)域中 隨機(jī)選擇一些點(diǎn)、在手指區(qū)域中選擇一些預(yù)定點(diǎn)、在手指區(qū)域中根據(jù)Shi-Tomasi拐點(diǎn)檢測(cè) 方法計(jì)算拐點(diǎn)檢測(cè)、及在手指區(qū)域中根據(jù)Harris和Stephens拐點(diǎn)檢測(cè)方法計(jì)算拐點(diǎn)檢測(cè) 中的至少一個(gè)，提取并跟蹤這些特征點(diǎn)。
[0138] 特征點(diǎn)表示在每幀中進(jìn)行比較的代表像素或像素集，以便進(jìn)行高效的比較。特征 點(diǎn)通常可以是在線型、對(duì)比度或顏色方面具有較大改變的邊界點(diǎn)，易于在圖像幀中進(jìn)行檢 測(cè)。在本公開的實(shí)施例中，為了從圖像幀中提取特征點(diǎn)，向圖像的一部分（即，手指區(qū)域的 邊界部分）分派初始特征點(diǎn)，搜索下一圖像中的運(yùn)動(dòng)特征點(diǎn)。以這種方式提取的特征點(diǎn)用 于跟蹤手指的運(yùn)動(dòng)。每個(gè)所提取特征點(diǎn)具有水平和垂直坐標(biāo)（x，y)。因此，通過跟蹤特征 點(diǎn)的集合，可以跟蹤手指的位置。
[0139] 圖9A到9C示出了與特定點(diǎn)提取和手指運(yùn)動(dòng)相對(duì)應(yīng)的位移。圖9A到9C示出了根 據(jù)本公開實(shí)施例的特征點(diǎn)及其位移跟蹤結(jié)果。
[0140] 參考圖9A到9C，當(dāng)手指在連續(xù)圖像幀之間發(fā)生移動(dòng)并且指定了手指的運(yùn)動(dòng)方向 和幅度時(shí)，基于點(diǎn)的運(yùn)動(dòng)軌跡跟蹤特征點(diǎn)。可以比較從每個(gè)連續(xù)圖像幀中提取的特征點(diǎn)，并 且可以使用光流跟蹤（optical flow tracking)來執(zhí)行該比較處理。
[0141] 如下所述執(zhí)行跟蹤手指位置的處理。該處理包括如下操作：通過攝像機(jī)模塊150 獲得包括手指的運(yùn)動(dòng)圖像、從運(yùn)動(dòng)圖像中獲得第一圖像幀、從第一圖像幀中獲得要跟蹤的 特征點(diǎn)、計(jì)算第一圖像幀和下一第二圖像幀之間要跟蹤的特征點(diǎn)的光流、更新要跟蹤的特 征點(diǎn)、計(jì)算deltaXY(dx，dy)的操作、和計(jì)算deltaZ (dz)。
[0142] 本公開提供了一種用于計(jì)算deltaXY的方法和一種用于計(jì)算deltaZ的方法。這 些方法可以進(jìn)行改善并組合。這樣的改善可以包括針對(duì)攝像機(jī)模塊150的透視校正、關(guān)節(jié) 處手指運(yùn)動(dòng)的特征及在肘關(guān)節(jié)中的手旋轉(zhuǎn)。
[0143] 在本公開中所用的光流基于光流元，所述光流元包括第一坐標(biāo)（xl，yl)、第二坐標(biāo) (x2, y2)和流向量（vx，vy)。例如，令第一圖像的第一特征點(diǎn)的第一坐標(biāo)為（xl，yl)，所述 第一圖像表示運(yùn)動(dòng)手指的用戶手勢(shì)，令在下一圖像中與第一圖像的特征點(diǎn)相同的特征點(diǎn)的 坐標(biāo)為第二坐標(biāo)（x2, y2)。流向量滿足關(guān)系"vx=x2-xl"且"vy=y2-yl"。xl和x2與水平 位置例如水平方向相對(duì)應(yīng)，而yl和y2與垂直位置例如垂直方向相對(duì)應(yīng)，每個(gè)值可以基于像 素確定。為了滿足性能要求，可以應(yīng)用光流的不同表示。
[0144] 計(jì)算光流的操作包括：獲得要跟蹤的特征點(diǎn)；獲得第一圖像幀和第二圖像幀；根 據(jù)Lucas-Kanade算法的金字塔實(shí)現(xiàn)（pyramidal implementation)來計(jì)算光流；以及應(yīng)用 正確性濾波器，其中如果沒有找到特征點(diǎn)的任何流，則正確性濾波器消除該光流的元素。
[0145] 更新要跟蹤的特征點(diǎn)的操作包括獲得光流和對(duì)光流向量進(jìn)行平均。
[0146] 計(jì)算deltaZ(dz)的操作包括：獲得光流；從光流中獲得第一坐標(biāo)的集合；從光 流中獲得第二坐標(biāo)的集合；計(jì)算第一坐標(biāo)集合的第一重心；計(jì)算第二坐標(biāo)集合的第二重 心；計(jì)算第一重心和第一坐標(biāo)集合之間的第一平均距離（dl);計(jì)算第二重心和第二坐 標(biāo)集合之間的第二平均距離（d2);以及計(jì)算表示第二平均距離和第一平均距離之差的 deltaZ(deltaZ=d2-dl)。由于手指區(qū)域包括多個(gè)特征點(diǎn)，所以為了在第一圖像幀中的特征 點(diǎn)集合和下一第二圖像幀中的特征點(diǎn)集合之間進(jìn)行比較以便用一個(gè)坐標(biāo)表示用戶手勢(shì)的 開始點(diǎn)，使用每個(gè)特征點(diǎn)集合的重心。通過使用重心，可以在各圖像中獲得位移（即，手指 的位移），允許對(duì)手指位置的跟蹤。
[0147] 一旦通過上述步驟跟蹤到手指的位置，則與跟蹤的手指位置相對(duì)應(yīng)地控制指針位 置。如此，便攜式設(shè)備100感測(cè)通過攝像機(jī)模塊150輸入的用戶手勢(shì)的位移和方向，基于用 戶手勢(shì)的位移和方向確定外部屏幕的指針位置，并將指針移動(dòng)并顯示在特定位置上。
[0148] 可以如下所述來控制指針位置。
[0149] 例如，基于表示用戶手勢(shì)的第一圖像的第一特征點(diǎn)的第一坐標(biāo)（xl，yl)和下一圖 像的該特征點(diǎn)的第二坐標(biāo)（x2, y2)，可以計(jì)算deltaXY(dX，dY)(即，水平距離dX和垂直距 離dY)。例如，基于公式1，控制器110可以計(jì)算水平距離dX和垂直距離dY。
[0150] dX=xl-x2, dY=yl-y2
[0151] ...............................公式（1)
[0152] 控制器110可以基于比例因子來縮放距離。例如，水平比例因子可以稱為sX，垂直 比例因子可以稱為SY。此外，SX可以是通過將投影外部屏幕的寬度除以觸摸屏的寬度而計(jì) 算出的值，SY可以是通過將投影外部屏幕的高度除以觸摸屏的高度而計(jì)算出的值。
[0153] 例如，控制器110可以基于公式2來縮放指針的移動(dòng)距離，因此計(jì)算指針的新位置 (npX, npY) 〇
[0154] npX=pX+sX*dX，npY=pY+sY*dY
[0155] ...............公式（2)
[0156] 在公式⑵中，pX表示當(dāng)前水平位置，pY表示當(dāng)前垂直位置。（pX，pY)表示指針 的當(dāng)前位置。ηρΧ表示從當(dāng)前位置縮放的指針的水平移動(dòng)距離，ηρΥ表示從當(dāng)前位置縮放的 指針的垂直移動(dòng)距離。指針的新位置（ηρΧ,ηρΥ)是從當(dāng)前位置移動(dòng)后的指針位置。
[0157] 控制器110可以將計(jì)算后的指針新位置（ηρΧ，ηρΥ)處理為不超出邊界。例如，投 影圖像的水平坐標(biāo)可以設(shè)置為bxl和bx2,投影圖像的垂直坐標(biāo)可以設(shè)置為byl和by2?？?以獲得投影圖像的邊界條件（bxl、bx2、byl、by2)。例如，控制器110可以通過使用公式3 將計(jì)算后的指針新位置（ηρΧ,ηρΥ)處理為不超出邊界。
[0158] 如果 npX〈bx 1，則 npX=bx 1,
[0159] 如果 npX>bx2，則 npX=bx2,
[0160] 如果 npY〈byl,則 npY=byl, .................公式（3)
[0161] 如口果 npY>by2,則 npY=by2
[0162] 控制器110根據(jù)公式3中設(shè)置的條件來校正指針的新位置。如果確定指針在移動(dòng) 后的位置超出投影圖像的邊界，則控制器110可以將指針在移動(dòng)后的位置處理為在投影圖 像的邊界中。控制器110用與（pX=npX，pY=npY)相對(duì)應(yīng)的校正后位置代替指針的位置。
[0163] 控制器110可以根據(jù)上述處理來確定指針的位置（ηρΧ，ηρΥ)，并可以控制投影模 塊在投影圖像上的相應(yīng)位置中顯示所確定的指針。
[0164] 圖10是示出了根據(jù)本公開實(shí)施例的用于在便攜式設(shè)備中條件性地分派觸摸屏事 件的方法的流程圖。
[0165] 參考圖10,本公開實(shí)施例中的觸摸屏事件不必是由用戶輸入工具在觸摸屏190上 的直接觸摸產(chǎn)生的事件；觸摸屏事件也包括通過位于距觸摸屏190預(yù)定距離的用戶輸入工 具向觸摸屏190進(jìn)行的用戶手勢(shì)的概念，例如，向下、移動(dòng)、或向上。
[0166] 觸摸屏事件包括例如觸摸屏事件的發(fā)生時(shí)間、坐標(biāo)和事件類型等信息。觸摸屏事 件的坐標(biāo)是二維（2D)坐標(biāo)（tx，ty)，與觸摸屏190以像素計(jì)的分辨率相對(duì)應(yīng)。tx坐標(biāo)與觸 摸屏事件的水平位置相對(duì)應(yīng)。ty坐標(biāo)與觸摸屏事件的垂直位置相對(duì)應(yīng)。觸摸屏事件的事 件類型是"向下"、"移動(dòng)"和"向上"之一。"向下"類型的觸摸屏事件表示按壓手勢(shì)開始，坐 標(biāo)包括最初開始位置。"向上"類型的觸摸屏事件表示按壓手勢(shì)結(jié)束，坐標(biāo)包括最終釋放位 置。"移動(dòng)"類型的觸摸屏事件表示在按壓手勢(shì)期間（在"向下"類型和"向上"類型之間） 發(fā)生了改變，坐標(biāo)包括最近的位置。
[0167] 參考圖10,在操作1000處，在觸摸屏事件模式下，在操作1005處，控制器110從通 過攝像機(jī)模塊150連續(xù)輸入的圖像幀中獲得deltaZ(dz)，以便計(jì)算深度值。在本公開中，為 了確定用戶是否進(jìn)行了按壓手勢(shì)，獲取表示到用戶輸入工具（例如，手指）的距離的深度坐 標(biāo)。可以使用坐標(biāo)的計(jì)算來獲取深度信息。也可以使用攝像機(jī)模塊150的深度傳感器來獲 取深度信息。
[0168] 為了計(jì)算深度值，可以使用連續(xù)圖像幀中的特征點(diǎn)來獲取深度的當(dāng)前值，然后將 表示深度方向上移動(dòng)距離的deltaZ(dZ)與深度的當(dāng)前值相加，由此計(jì)算移動(dòng)后的深度值 (z=z+dZ)〇
[0169] 接下來，在操作1010處，控制器110通過使用計(jì)算出的深度值，確定事件類型是 "向上"類型還是"向下"類型。使用垂直位置中的移動(dòng)來執(zhí)行該確定，其中在垂直位置觸摸 屏190和手指相互垂直。例如，假定向著觸摸屏190的深度方向是（+)方向，如果移動(dòng)后的 深度值超過（+)方向上的深度閾值，則滿足向下條件；如果移動(dòng)后的深度值超過（_)方向上 的深度閾值，則滿足向上條件。
[0170] 在操作1015處，控制器110通過使用表示水平位置中移動(dòng)的deltaXY來確定事件 類型是否是"移動(dòng)"類型?？刂破?10確定水平位置中是否發(fā)生移動(dòng)，其中在水平位置中手 指在水平方向上移動(dòng)。
[0171] 在操作1020處，控制器110確定是否發(fā)生觸摸屏事件。如果控制器110確定發(fā)生 了與"向下"事件、"移動(dòng)"事件及"向上"事件之一相對(duì)應(yīng)的觸摸屏事件，則在操作1025處， 控制器110設(shè)置觸摸屏事件的事件類型和坐標(biāo)。
[0172] 設(shè)置觸摸屏事件的坐標(biāo)（tx，ty)的操作包括：獲取指針的位置（px，py)，獲取當(dāng)前 執(zhí)行的應(yīng)用的應(yīng)用比例因子（sax，day)，以及使用公式4來計(jì)算觸摸屏事件的縮放坐標(biāo)。
[0173] tx=sax*px, ty=say*py
[0174] ...........................公式（4)
[0175] 例如，如果將觸摸屏事件設(shè)置為"移動(dòng)"事件，則控制器110認(rèn)為用戶作出進(jìn)行按 壓手勢(shì)和拖動(dòng)手勢(shì)的移動(dòng)手勢(shì)，并相應(yīng)地移動(dòng)并顯示指針。如果在輸入向下手勢(shì)之后的預(yù) 設(shè)時(shí)間內(nèi)沒有輸入移動(dòng)手勢(shì)，則控制器110將觸摸屏事件設(shè)置為"向下"事件。因此，控制 器110將該向下手勢(shì)分派給當(dāng)前執(zhí)行的應(yīng)用。
[0176] 在操作1030處，控制器110分派與所設(shè)坐標(biāo)相對(duì)應(yīng)的位置中的觸摸屏事件。如果 控制器110確定觸摸屏事件形成例如"移動(dòng)"、"向下"或"向上"的手勢(shì)，則控制器110將手 勢(shì)分派給當(dāng)前執(zhí)行的應(yīng)用。另一方面，如果在操作1020處不發(fā)生觸摸屏事件，例如，觸摸屏 事件不對(duì)應(yīng)于向下事件、移動(dòng)事件及向上事件中任何一個(gè)，則控制器110執(zhí)行相應(yīng)功能，例 如，跟蹤手指位置，以便確定是否發(fā)生下一觸摸屏事件。如此，根據(jù)本公開，如果感測(cè)到指 針執(zhí)行命令例如觸摸屏事件的發(fā)生及指針的移動(dòng)，則將指針執(zhí)行命令分派給當(dāng)前執(zhí)行的應(yīng) 用，向與指針相對(duì)應(yīng)的位置輸入該執(zhí)行命令。因此，可以與用戶手勢(shì)相對(duì)應(yīng)地控制指針，因 此使用用戶手勢(shì)來執(zhí)行便攜式設(shè)備的每個(gè)應(yīng)用。
[0177] 圖11是示出了根據(jù)本公開另一實(shí)施例的包括投影模塊的便攜式設(shè)備的操作的流 程圖。在圖4中，當(dāng)放置便攜式設(shè)備100使得只示出便攜式設(shè)備100的前表面時(shí)，使用前表 面上的第一攝像機(jī)151。然而，在圖11中，根據(jù)便攜式設(shè)備100的放置狀態(tài)，使用第一攝像 機(jī)151或第二攝像機(jī)152。
[0178] 參考圖11，在操作1100處投影顯示模式的執(zhí)行與圖4的操作400和410中的操 作相同，因此將不再贅述。當(dāng)執(zhí)行投影顯示模式時(shí)，在操作1105處控制器110獲取便攜設(shè) 備100的方向信息。在操作1110處，控制器110通過使用所獲取的方向信息，確定便攜式 設(shè)備100的放置狀態(tài)。在操作1120處，控制器110確定狀態(tài)是前向狀態(tài)還是后向狀態(tài)，在 前向狀態(tài)中便攜式設(shè)備100的前表面朝上，而在后向狀態(tài)中便攜設(shè)備100的后表面朝上。
[0179] 根據(jù)本公開的另一實(shí)施例，當(dāng)控制器110確定便攜式設(shè)備100的放置狀態(tài)時(shí)，控制 器110可以使用來自接近傳感器171b的接近信號(hào)和來自方位傳感器的方向信息。例如，由 于接近傳感器171b設(shè)于便攜式設(shè)備100的前表面上，所以如果用戶輸入工具接近觸摸屏 190,則通過接近傳感器171b感測(cè)到接近事件的發(fā)生。如此，接近事件的發(fā)生可以表示便攜 式設(shè)備100的前表面向上。因此，當(dāng)發(fā)生接近事件時(shí)，控制器110確定便攜式設(shè)備100按照 便攜式設(shè)備100的前表面朝上的方式放置。
[0180] 如果便攜式設(shè)備100的放置狀態(tài)是前向狀態(tài)，則在操作1125處，控制器最大化觸 摸屏190的增亮強(qiáng)度，以便照亮向觸摸屏190移動(dòng)的對(duì)象，例如，用戶輸入工具。為了拍攝 在距觸摸屏190預(yù)定距離內(nèi)移動(dòng)的用戶輸入工具，在操作1130處，控制器110激活安裝在 便攜式設(shè)備1〇〇的前表面上的第一攝像機(jī)151。
[0181] 在另一方面，對(duì)后向狀態(tài)而言，在操作1135處，控制器110激活后閃光燈153以便 照亮用戶輸入工具，然后激活安裝在便攜式設(shè)備100的后表面上的第二攝像機(jī)152以便拍 攝用戶輸入工具。如果便攜式設(shè)備1〇〇按照后向狀態(tài)放置，則投影模塊177投影的圖像可 以相對(duì)于前向狀態(tài)反轉(zhuǎn)。
[0182] 因此，在操作1145處，控制器110獲取由第一攝像機(jī)151或第二攝像機(jī)152捕獲 的圖像，在操作1150和1155處從所獲取的圖像跟蹤手指位置以便根據(jù)手指位置移動(dòng)指針。 操作1150到1175與圖4的操作425到460相同，因此將不再贅述。
[0183] 在本公開的上述多個(gè)實(shí)施例中，放置便攜式設(shè)備100使得便攜式設(shè)備100的前表 面或后表面朝上；然而，當(dāng)便攜式設(shè)備100直立放置時(shí)，也可以使用手指對(duì)指針進(jìn)行控制。 根據(jù)本公開的另一實(shí)施例，為了確定便攜式設(shè)備100是否直立放置，可以使用便攜式設(shè)備 100的方向信息。
[0184] 例如，如果便攜式設(shè)備100在堅(jiān)直狀態(tài)（即，當(dāng)便攜式設(shè)備100直立放置時(shí)），如 果控制器110無法知道便攜式設(shè)備100的前表面和后表面中的哪一面朝向用戶，則控制器 110對(duì)第一攝像機(jī)151和第二攝像機(jī)152都進(jìn)行激活。在這種情況下，通過最大化觸摸屏 190的增亮強(qiáng)度，可以通過第一攝像機(jī)151獲取圖像，其中清楚地拍攝了由觸摸屏190的光 照亮的對(duì)象，并通過開啟后閃光燈153,也可以通過第二攝像機(jī)152獲取清楚拍攝了對(duì)象的 圖像。然后控制器110對(duì)通過第一攝像機(jī)151和第二攝像機(jī)152獲取的圖像執(zhí)行手指檢 測(cè)。因此，將捕獲到其中檢測(cè)到手的圖像的攝像機(jī)保持為激活狀態(tài)，而對(duì)捕獲到其中沒有檢 測(cè)到手的圖像的另一攝像機(jī)去激活。
[0185] 因此，可以執(zhí)行對(duì)來自連續(xù)捕獲的圖像中的用戶輸入工具（例如，手指）的跟蹤和 指針的相應(yīng)移動(dòng)，這與上述內(nèi)容相同，因此將不再贅述。
[0186] 盡管已經(jīng)描述了用于通過跟蹤用戶輸入工具的運(yùn)動(dòng)來控制指針的無觸摸類型用 戶界面，但是下文描述根據(jù)本公開另一實(shí)施例的用于擴(kuò)展與用戶輸入工具的運(yùn)動(dòng)相對(duì)應(yīng)的 用戶手勢(shì)的數(shù)量以用于分派應(yīng)用的方法。
[0187] 圖12是示出了根據(jù)本公開再一實(shí)施例的便攜式設(shè)備的示意框圖。在當(dāng)前實(shí)施例 中提出的方法應(yīng)用于實(shí)時(shí)圖像或?qū)崟r(shí)幀。
[0188] 參考圖12,攝像機(jī)模塊150以與圖1中所示的攝像機(jī)模塊150相同的方式進(jìn)行操 作。除了圖像傳感器之外，攝像機(jī)模塊150還可以包括光發(fā)射器。光發(fā)射器可以發(fā)射紅外 光，以便增亮由圖像傳感器捕獲的圖像。因此，紅外光反射到位于攝像機(jī)模塊150附近的對(duì) 象上（例如，用戶的手），以便捕獲圖像，使得即使在黑暗的環(huán)境下也可以對(duì)用戶輸入工具 進(jìn)行拍攝。紅外光對(duì)人眼而言是不可見的，所以不干擾圖像的投影。
[0189] 實(shí)時(shí)輸入由攝像機(jī)模塊150捕獲的圖像，這樣的一系列圖像可以輸出作為單色或 灰度圖像。由從〇到255的數(shù)字來表示每個(gè)圖像，其中0是最低亮度，255是最大亮度。由 于便攜式設(shè)備1〇〇消耗的大部分電力源于圖像處理，為了最小化在用于拍攝用戶輸入工具 的攝像機(jī)模塊150的連續(xù)開啟狀態(tài)下的功耗，控制器110可以控制攝像機(jī)模塊150輸出單 色或灰度圖像。將這樣的低分辨率圖像用于識(shí)別手勢(shì)。如此，在本公開的實(shí)施例中，圖像的 灰度像素表示作為一個(gè)示例，也可以使用像素的其它表示。
[0190] 無觸摸計(jì)算單元115接收由攝像機(jī)模塊150捕獲的圖像，從該圖像中識(shí)別手部姿 勢(shì)手勢(shì)（hand posture gesture),分派針對(duì)手部姿勢(shì)手勢(shì)的觸摸屏事件，因此激活無觸摸 菜單或控制指針的位置。在圖12中，分立地實(shí)現(xiàn)無觸摸計(jì)算單元115,但是也可以在控制器 110中集成地實(shí)現(xiàn)無觸摸計(jì)算單元115,在這種情況下，控制器110執(zhí)行以上操作。
[0191] 無觸摸計(jì)算單元115接收由攝像機(jī)模塊150捕獲的實(shí)時(shí)圖像，將與從圖像中獲取 的用戶輸入工具相對(duì)應(yīng)的指針處理為適應(yīng)于通過投影模塊170投影的屏幕顯示的特征，并 輸出處理過的指針。無觸摸計(jì)算單元115識(shí)別與用戶輸入工具的運(yùn)動(dòng)相對(duì)應(yīng)的用戶手勢(shì)， 例如，敲擊手勢(shì)、拖動(dòng)手勢(shì)、拉近手勢(shì)或拉遠(yuǎn)手勢(shì)，并執(zhí)行針對(duì)所識(shí)別的用戶手勢(shì)預(yù)設(shè)的功 能。用戶手勢(shì)可以應(yīng)用于控制與所執(zhí)行程序相對(duì)應(yīng)的任意屏幕或圖形用戶界面的方法，并 可以是應(yīng)用執(zhí)行命令。因?yàn)橛脩羰謩?shì)是指以無觸摸方式在觸摸屏190上輸入的特定命令， 所以用戶手勢(shì)也可以稱為觸摸屏手勢(shì)，或由于通過攝像機(jī)模塊150拍攝用戶輸入工具（例 如，手），所以用戶手勢(shì)也可以稱為手部姿勢(shì)手勢(shì)。
[0192] 便攜式設(shè)備100根據(jù)手部姿勢(shì)手勢(shì)控制投影到外部的圖像上的指針，或執(zhí)行與觸 摸屏事件的發(fā)生相對(duì)應(yīng)的操作。將手部姿勢(shì)手勢(shì)的狀態(tài)改變認(rèn)為是觸摸屏事件，以便執(zhí)行 與觸摸屏事件的發(fā)生相對(duì)應(yīng)的操作。
[0193] 如此，根據(jù)本公開的另一實(shí)施例，手部位置信息用于控制指針的位置，手部狀態(tài)或 手勢(shì)信息用于執(zhí)行特定功能的控制操作，由此允許由手部運(yùn)動(dòng)控制便攜式設(shè)備100而不需 要直接接觸，不同于按鈕或觸摸屏。
[0194] 圖13是示出了根據(jù)本公開再一實(shí)施例的便攜式設(shè)備的操作的流程圖。盡管無觸 摸計(jì)算單元115執(zhí)行圖13中的操作，但是如果無觸摸計(jì)算單元115集成在控制器110中， 則控制器110可以執(zhí)行這些操作。
[0195] 參考圖13,在操作1300處從攝像機(jī)模塊150接收到實(shí)時(shí)圖像時(shí)，在操作1310處， 無觸摸計(jì)算單元115針對(duì)每個(gè)接收到的圖像計(jì)算手部掩模。手部掩模是包括假定在圖像中 存在用戶手部的掩模（mask)的數(shù)據(jù)對(duì)象。在操作1320處，無觸摸計(jì)算單元115計(jì)算手部 掩模中的內(nèi)切圓。無觸摸計(jì)算單元115找到手部掩模中的內(nèi)切圓。在操作1330處，無觸摸 計(jì)算單元115基于內(nèi)切圓的原點(diǎn)和半徑來識(shí)別手部掩模中的手勢(shì)。例如，無觸摸計(jì)算單元 115確定從手部掩模中內(nèi)切圓的原點(diǎn)向圖像的頂部延伸超出半徑的突出部分的存在。如果 沒有突出部分，則無觸摸計(jì)算單元115將手勢(shì)識(shí)別作為握拳手勢(shì)。如果具有一個(gè)突出部分， 則無觸摸計(jì)算單元115將手勢(shì)識(shí)別作為單指展開手勢(shì)。如果具有兩個(gè)突出部分，則無觸摸 計(jì)算單元115將手勢(shì)識(shí)別作為雙指展開手勢(shì)。如果具有五個(gè)突出部分，則無觸摸計(jì)算單元 115將手勢(shì)識(shí)別作為張開手掌手勢(shì)。
[0196] 在操作1340處，組合所識(shí)別的手勢(shì)，以便獲取手勢(shì)序列。所識(shí)別的手勢(shì)是確定為 手勢(shì)類型之一的數(shù)據(jù)對(duì)象，例如，握拳手勢(shì)、單指展開手勢(shì)、V型雙指展開手勢(shì)及張開手掌手 勢(shì)。所確定的手勢(shì)類型的數(shù)據(jù)對(duì)象包括識(shí)別的時(shí)間戳。時(shí)間戳可以用于確定具有所識(shí)別手 勢(shì)的一系列手勢(shì)運(yùn)動(dòng)的順序。
[0197] 用于將所識(shí)別的手勢(shì)組合為手勢(shì)序列的方法可以包括以下操作。該方法可以包括 以下操作：獲取所識(shí)別的手勢(shì)；檢查所識(shí)別手勢(shì)的順序；從第一位置順序地布置所識(shí)別手 勢(shì)；并且如果順序布置所識(shí)別手勢(shì)的序列大小為預(yù)定大小，則移除最后布置的手勢(shì)。
[0198] 在操作1350處，無觸摸計(jì)算單元115分派針對(duì)所獲取手勢(shì)序列的觸摸屏事件?？?以執(zhí)行與該手勢(shì)序列相對(duì)應(yīng)的應(yīng)用操作，或可以控制指針的位置。手勢(shì)序列表示一系列的 所識(shí)別手勢(shì)。手勢(shì)的狀態(tài)改變與觸摸屏上事件的發(fā)生相對(duì)應(yīng)。如同真實(shí)觸摸，可以執(zhí)行與 手勢(shì)的狀態(tài)改變相對(duì)應(yīng)的操作，而不需要在觸摸屏190上進(jìn)行直接觸摸。為此，應(yīng)將事件類 型映射到該系列手勢(shì)的多種改型（即，觸摸屏手勢(shì)類型），使得可以自動(dòng)執(zhí)行映射到一系列 手勢(shì)的狀態(tài)改變（也就是說，觸摸屏手勢(shì)的改變）的操作。
[0199] 在針對(duì)手勢(shì)序列分派觸摸屏事件或控制指針的方法中，假定以大約固定的時(shí)間間 隔產(chǎn)生手勢(shì)序列的順序手勢(shì)。該時(shí)間間隔對(duì)應(yīng)于每序列7-15個(gè)手勢(shì)，且一般每秒可以改變 大約4個(gè)手勢(shì)幀。也可以根據(jù)攝像機(jī)模塊150每秒可捕獲的幀的數(shù)量（攝像機(jī)FPS參數(shù)） 和便攜式設(shè)備1〇〇的處理能力來改變時(shí)間間隔。
[0200] 盡管在本公開的實(shí)施例中將敲擊手勢(shì)、拖動(dòng)手勢(shì)、拉近手勢(shì)和拉遠(yuǎn)手勢(shì)描述作為 觸摸屏手勢(shì)的代表示例，但是觸摸屏手勢(shì)的類型不限于這些示例。對(duì)于便攜式設(shè)備100的 用戶而言，觸摸屏手勢(shì)是已知的，敲擊手勢(shì)主要用于選擇圖形用戶界面（GUI)的元素或激 活與該元素相關(guān)的動(dòng)作。拖動(dòng)手勢(shì)用于拖動(dòng)上的元素，用于重新設(shè)置圖標(biāo)的位置、改變 當(dāng)前屏幕或翻轉(zhuǎn)圖片。拉近和拉遠(yuǎn)手勢(shì)用于縮放應(yīng)用（例如，地圖或圖庫）中顯示的對(duì)象。
[0201] 圖14是根據(jù)用于描述本公開實(shí)施例的手部掩模計(jì)算操作的圖。
[0202] 參考圖14,在操作1410處，無觸摸計(jì)算單元115向圖像應(yīng)用閾值。向?qū)崟r(shí)接收的 每個(gè)圖像應(yīng)用閾值。在這種情況下，掩模是指將各像素表示為二進(jìn)制值的圖像，因此掩模的 各像素具有〇或1的值。為了在圖像中確定任意像素的亮度是〇還是1，可以設(shè)置針對(duì)整個(gè) 圖像的閾值，使得如果像素的亮度小于閾值，則將該像素的亮度設(shè)為〇 ;否則，如果像素的 亮度大于閾值，則將該像素的亮度設(shè)為1。在這種情況下，轉(zhuǎn)換結(jié)果可以根據(jù)所設(shè)閾值而改 變。可以采用設(shè)置閾值的多種方法，其中的代表示例是Otsu二值化法。作為另一示例，可 以使用特定常數(shù)來代替通過所述方法設(shè)置的閾值。
[0203] -旦將通過上述方法設(shè)置的閾值應(yīng)用到圖像中，圖像就具有為0(黑）或1(白） 的像素值，使得產(chǎn)生了黑白的二值化圖像。在操作1420處，針對(duì)由應(yīng)用了閾值而產(chǎn)生的二 值化圖像，無觸摸計(jì)算單元115通過使用預(yù)定算法來計(jì)算掩模的一組輪廓。為了在二值化 圖像中計(jì)算掩模的一組輪廓，可以使用Suzuki-Kasami算法。此外，也可以使用連接分量標(biāo) 記（connected component labeling)方法。
[0204] 通過計(jì)算掩模中的輪廓，可以找到至少一個(gè)掩模的輪廓。在這種情況下，由背景產(chǎn) 生的不期望掩模和期待為手部的掩?？赡芡瑫r(shí)存在。如此，由于可能同時(shí)存在多個(gè)掩模的 輪廓，所以需要對(duì)這種情況進(jìn)行考慮。
[0205] 為此，在操作1430處，無觸摸計(jì)算單元115通過使用圖像矩（image moment)選擇 具有最大面積的輪廓。如果對(duì)掩模而言存在多個(gè)輪廓，則對(duì)這些輪廓的面積的圖像矩進(jìn)行 計(jì)算，以便計(jì)算每個(gè)輪廓的面積，然后選擇具有最大面積的輪廓。在操作1440處，無觸摸計(jì) 算單元115確定具有最大面積的輪廓的面積是否大于閾值面積。如果輪廓的面積不大于閾 值面積，則在操作1460處，無觸摸計(jì)算單元115產(chǎn)生空白的手部掩模。另一方面，如果輪廓 的面積大于閾值面積，則在操作1450處，無觸摸計(jì)算單元115填充具有最大面積的所選輪 廓，以便產(chǎn)生手部掩模。將具有最大面積的輪廓確定作為手部掩模。
[0206] -旦通過上述處理確定了期望為手部的手部掩模，可以實(shí)際設(shè)置與該手部掩模相 對(duì)應(yīng)的手勢(shì)。為了設(shè)置手勢(shì)，需要設(shè)置手部掩模的中心。因此，在識(shí)別手勢(shì)之前，應(yīng)執(zhí)行計(jì) 算內(nèi)切圓的操作。
[0207] 圖15是用于描述根據(jù)本公開實(shí)施例的內(nèi)切圓計(jì)算操作的圖，圖16是示出了根據(jù) 本公開實(shí)施例的用于確定圖像中內(nèi)切圓的方法的圖。內(nèi)切圓是指表示圓形的數(shù)據(jù)對(duì)象，包 括原點(diǎn)和半徑。
[0208] 參考圖15和16,在操作1510處，無觸摸計(jì)算單元115計(jì)算距離變換，并在操作 1520處找到距離變換的極大點(diǎn)和值。在這種情況下，針對(duì)圖14的1450處確定的手部掩 模的所有像素，計(jì)算距離變換，每個(gè)像素的距離變換表示到手部掩模外最近像素的距離。 距離變換計(jì)算方法可以是由Gunilla Borgefors在論文"Distance transformations in digital images，' 中所述的方法（Computer Vision, Graphics, and Image Processing, 34(3) :344-371,1986.)〇
[0209] 在操作1530處，無觸摸計(jì)算單元115接著確定內(nèi)切圓的原點(diǎn)1500和半徑，如圖16 所示，并在操作1540處基于原點(diǎn)1500和半徑確定內(nèi)切圓1510。更具體地，將內(nèi)切圓的原點(diǎn) 1500設(shè)為距離變換的極大點(diǎn)，將內(nèi)切圓的半徑設(shè)置為距離變換的極大值。
[0210] 一旦通過上述步驟確定了內(nèi)切圓，就可以基于內(nèi)切圓來識(shí)別手勢(shì)。圖17描述了操 作1330的手勢(shì)識(shí)別處理。
[0211] 圖17是用于描述根據(jù)本公開實(shí)施例的手勢(shì)識(shí)別操作的圖，圖18A、18B、18C及18D 是示出了根據(jù)本公開實(shí)施例的不同手勢(shì)的圖。
[0212] 參考圖17和18A-18D，在操作1710處，無觸摸計(jì)算單元115確定圖15的操作1540 處確定的內(nèi)切圓是否包括在所識(shí)別手勢(shì)的預(yù)定邊界內(nèi)。如果內(nèi)切圓不包括在邊界內(nèi)，則無 觸摸計(jì)算單元115進(jìn)行到操作1715,認(rèn)為沒有檢測(cè)到手勢(shì)，并結(jié)束手勢(shì)識(shí)別處理。如果相對(duì) 于整個(gè)圖像大小的內(nèi)切圓大小小于第一閾值且大于第二閾值，則無觸摸計(jì)算單元115確定 沒有檢測(cè)到手勢(shì)。對(duì)于與整個(gè)圖像大小比較時(shí)相對(duì)較小或較大的手勢(shì)而言，無觸摸計(jì)算單 元115確定沒有檢測(cè)到該手勢(shì)。在這種情況下，結(jié)束對(duì)于在其中沒有檢測(cè)到手勢(shì)的圖像的 處理，相反地,重復(fù)處理下一圖像幀的操作。例如，如果在圖13的操作1330處沒有檢測(cè)到手 勢(shì)，則無觸摸計(jì)算單元115返回操作1300以便接收下一圖像，然后執(zhí)行操作1310和1320。
[0213] 另一方面，如果在操作1710處內(nèi)切圓包括在預(yù)定邊界內(nèi)，則無觸摸計(jì)算單元115 根據(jù)手部掩模向包括所識(shí)別手勢(shì)的圖像頂部突出的部分的數(shù)量，來對(duì)手勢(shì)進(jìn)行分類。如果 朝向圖像頂部的部分的大小除以手部掩模中最大內(nèi)切圓的半徑得到的值大于閾值，則將該 部分認(rèn)為是突出部分。最大內(nèi)切圓的半徑是在圖15的操作1530處確定的內(nèi)切圓的半徑。
[0214] 如果在操作1710處內(nèi)切圓包括在預(yù)定邊界內(nèi)，則無觸摸計(jì)算單元115以上述方式 對(duì)手勢(shì)進(jìn)行分類，因此在操作1720處確定是否存在手指。在操作1720中確定突出部分的 存在。
[0215] 如果無觸摸計(jì)算單元115確定不存在手指（S卩，不存在突出部分），則在操作1725 處無觸摸計(jì)算單元115確定手部坐標(biāo)，并在操作1730處將手勢(shì)確定為如圖18A中所示的手 指向下手勢(shì)。在圖18A中，示出了握拳手勢(shì)類型的手部掩模。
[0216] 如果在操作1720處無觸摸計(jì)算單元115確定存在手指，則在操作1735處無觸摸 計(jì)算單元115還確定是否存在一根手指。如果在操作1735處無觸摸計(jì)算單元115確定存 在一根手指，則在操作1740處無觸摸計(jì)算單元115確定手部坐標(biāo)，然后在操作1745處將手 勢(shì)確定為如圖18B中所示的手指向上手勢(shì)。在圖18B中，示出了食指手勢(shì)類型的手部掩模。
[0217] 根據(jù)本公開的實(shí)施例，一種用于確定手部坐標(biāo)的方法如下。如上所述，所識(shí)別手 勢(shì)是確定為例如握拳手勢(shì)、單指展開手勢(shì)、V型雙指展開手勢(shì)及張開手掌手勢(shì)之一的數(shù)據(jù)對(duì) 象。所確定手勢(shì)類型的數(shù)據(jù)對(duì)象包括識(shí)別的時(shí)間戳。所識(shí)別手勢(shì)還可以包括其他數(shù)據(jù)，包 括手部坐標(biāo)和變焦比例中的至少一個(gè)。手部坐標(biāo)是實(shí)數(shù)對(duì)的坐標(biāo)（x，y)，其中0 < X < 1且 0<y<l。將變焦比例表示為實(shí)數(shù)z。因此，握拳手勢(shì)和單指展開手勢(shì)包括手部坐標(biāo)，V型 雙指展開手勢(shì)包括變焦比例。
[0218] 對(duì)于握拳手勢(shì)（S卩，手指向下）和單指展開手勢(shì)（S卩，手指向上）而言，按照以下 方法指定手部坐標(biāo)。盡管用戶在單指展開手勢(shì)和握拳手勢(shì)之間改變手勢(shì)，但是只要用戶不 改變手勢(shì)的位置，手部坐標(biāo)應(yīng)是穩(wěn)定的。這個(gè)特征幫助用戶在精確的指針位置處產(chǎn)生單擊 事件。
[0219] 如果手部掩模中的最大內(nèi)切圓的原點(diǎn)是（χα?5, yc；,k)，則按照以下方法確定手部坐 標(biāo)（XH, k，Yh, k)。
[0220] 如果當(dāng)前圖像幀是第一幀，或?qū)ο惹皫R(shí)別的手勢(shì)既不是握拳手勢(shì)（即，手指向 下）也不是單指展開手勢(shì)（即，手指向上），則將原點(diǎn)（x e,k，ye,k)指派給手部坐標(biāo)（xH, k，yH, k)。也就是說，手部坐標(biāo)（xH,k，yH, k) = (Xc；,k，yc,k)。
[0221] 另一方面，如果當(dāng)前圖像幀不是第一幀，且對(duì)先前幀識(shí)別的手勢(shì)分類為握拳手勢(shì) (即，手指向下）和單指展開手勢(shì)（即，手指向上）之一，則無觸摸計(jì)算單元115從先前圖 像中貞（k-Ι)獲得繞坐標(biāo)的方框。無觸摸計(jì)算單元115還從當(dāng)前圖像巾貞（k)中 從（x c,k，kk)的周圍獲得不相似度最小的塊?？梢酝ㄟ^對(duì)相應(yīng)像素的亮度的絕對(duì)差求和， 來執(zhí)行兩個(gè)塊之間的不相似度的測(cè)量。通過（Λ xk，Λ yk)來表示這些塊之間的位置差。在 這種情況下，手部坐標(biāo)（XH, k，yH, k) = (X。, Η，y。, H) + ( Λ xk，Λ yk)。
[0222] -旦以這種方式確定了手部坐標(biāo)，基于縮放的手部坐標(biāo)是（Xp, k, yP, k) = (Sx*xH, k+Tx， Sy*yH, k+Ty)。Sx和Sy是比例因子，而T x和Ty是平移因子。
[0223] 如果在操作1735處無觸摸計(jì)算單元115確定不存在一根手指，則在操作1750處 無觸摸計(jì)算單元115確定是否存在兩根手指。如果在操作1750處無觸摸計(jì)算單元115確 定存在兩根手指，則在操作1755處無觸摸計(jì)算單元115計(jì)算變焦比例，并在操作1760處將 手勢(shì)確定為如圖18C中所示的V型雙指展開手勢(shì)。在圖18C中，示出了 V型雙指展開手勢(shì) 的手部掩模。
[0224] 以下描述一種用于計(jì)算針對(duì)V型雙指展開手勢(shì)的變焦比例的方法。
[0225] 圖19是用于描述根據(jù)本公開實(shí)施例的計(jì)算變焦比例的方法的圖。
[0226] 參考圖19,令當(dāng)前圖像幀（k)的變焦比例為zoom_factork。為了確定變焦比例，使 用雙指夾縫度量。根據(jù)本公開的實(shí)施例，如圖19中所示，將雙指夾縫度量設(shè)為兩個(gè)最突出 手指之間從最突出手部掩模邊界點(diǎn)（最突出手指的頂點(diǎn)）到最低手部掩模邊界點(diǎn)的水平距 離（d)。對(duì)每巾貞而言（編號(hào)為k)，通過raw_zoom_factor k來指定和表示原始變焦比例。為 了指定當(dāng)前巾貞k的最終變焦比例（由zoom_factork表示），向raw_zoom_factor的值應(yīng)用 具有表示為Η的平滑度量的特定平滑算法。Η的值設(shè)為任意正的常數(shù)。在本公開的實(shí)施例 中，Η=0· 03。
[0227] 根據(jù)本公開的實(shí)施例，一種用于指定圖像巾貞k的變焦比例（zoom_factork)的方法 如下。
[0228] 如果沒有針對(duì)先前幀所識(shí)別的手勢(shì)（即，如果沒有V型雙指展開（雙指）手勢(shì)）， 則將當(dāng)前雙指夾縫度量指定為initial_slot，向raw_zoom_factork指派1，同時(shí)將1指派 給 zoom_factork〇
[0229] 另一方面，如果具有針對(duì)先前幀所識(shí)別的手勢(shì)（即，如果具有V型雙指展開（雙 指）手勢(shì)），則指派raw_zoom_factor k=initial_slot / (當(dāng)前雙指夾縫度量），根據(jù)以下 三個(gè)條件確定zoom_factork。
[0230] 第--，如果 ι^^?-ζοοηι-?^ο?οι^-ζοοηι-?^ο?οινΑΗ，則指派 zoom_facto;rk=;raw_zoom_ factork_H〇
[0231] 第二，如果 raw-zoom-factork_zoom-factork-^H，則宇旨派 zoom-factork=:raw-zoom- factork+H〇
[0232] 第三，如果上述兩個(gè)條件都不滿足，則指派zoon^factorkZzoon^factoiVi。
[0233] zoonufactor^是先前幀中的變焦比例。
[0234] 如果在操作1750處無觸摸計(jì)算單元115確定不存在兩根手指，則在操作1765處 無觸摸計(jì)算單元115將手勢(shì)確定為如圖18D所示的張開手掌手勢(shì)。在圖18D中，示出了張 開手掌手勢(shì)類型的手部掩模。
[0235] 如果以這種方式來識(shí)別手勢(shì)，則組合所識(shí)別手勢(shì)以獲得手勢(shì)序列，分派針對(duì)每個(gè) 手勢(shì)序列的觸摸屏事件。也就是說，針對(duì)每個(gè)手勢(shì)序列，將觸摸屏手勢(shì)分派給應(yīng)用，或控制 指針的位置。觸摸屏手勢(shì)表示為一系列觸摸屏事件。
[0236] 觸摸屏事件包括產(chǎn)生時(shí)間、坐標(biāo)、類型和指針數(shù)量等信息。觸摸屏事件的坐標(biāo)是二 維的（tx，ty)，對(duì)應(yīng)于以像素計(jì)的觸摸屏像素分辨率。tx坐標(biāo)對(duì)應(yīng)于觸摸事件的水平位置。 ty坐標(biāo)對(duì)應(yīng)于觸摸事件的垂直位置。觸摸屏事件的類型是向下、移動(dòng)和向上之一。
[0237] 向下類型的觸摸屏事件表示開始手勢(shì)，坐標(biāo)包含最初開始位置。向上類型的觸摸 屏事件表示手勢(shì)結(jié)束，坐標(biāo)包含最終釋放位置。移動(dòng)類型的觸摸屏事件表示在手勢(shì)期間 (在向下類型和向上類型之間）發(fā)生了指針位置改變，坐標(biāo)包含最近的位置。指針數(shù)量是用 于多觸摸目的。
[0238] 例如，敲擊手勢(shì)可以包括觸摸屏事件序列，該序列包括事件類型向下和事件類型 向上。拖動(dòng)手勢(shì)可以包括觸摸屏事件序列，該序列包括事件類型向下、事件類型移動(dòng)和事件 類型向上。拉近或拉遠(yuǎn)手勢(shì)可以包括觸摸屏事件序列，該序列包括指針1的事件類型向下、 指針2的事件類型向下、指針1的事件類型移動(dòng)、指針2的事件類型移動(dòng)、指針1的事件類 型向上和指針2的事件類型向上。
[0239] 例如，敲擊手勢(shì)對(duì)應(yīng)于在最初開始位置處開始手勢(shì)并在沒有指針位置改變的前提 下結(jié)束該手勢(shì)的情況。由于使用兩個(gè)手指，所以拉近或拉遠(yuǎn)手勢(shì)對(duì)應(yīng)于以下情況，其中在與 指針1和指針2對(duì)應(yīng)的各最初開始位置處開始手勢(shì)，在指針1和指針2之間發(fā)生位置改變， 接著結(jié)束該手勢(shì)。
[0240] 觸摸屏手勢(shì)和觸摸屏事件之間的關(guān)系如表1中所示。
[0241] 表 1 觸投屏卩勢(shì)__觸擬屏市件_ 敲出+T-勢(shì) 事件類型N下 __事件類型_ 拖動(dòng)丁·勢(shì) Φ件類型卩 系列的Φ件類型移動(dòng)
[0242] 事件類型l(ll h 拉近/拉遠(yuǎn)手勢(shì) 指針〗的車件類型向下 2.指針2的車件類型向下 系列的事件類型移動(dòng)（指針1或2) 事件類型向1:(指針2或1) 事件類型向1:(指針1或2)
[0243] 表 2 手勢(shì)汴列 | 觸摸屏手勢(shì) 指針位置
[0244] :手指_ : h 移動(dòng)?旨針 手指_上_I__ ...................................... i：................................................................Γ^敲 li;手勢(shì).................................................................................................................................................................... -τ·指肉下 τ·指向i:___ +τ-指ι--: 拖動(dòng)丁·勢(shì) +T-指 1~下〇25 y2)
[0245] 手指_'卜>3, y3)， -11:屮 x3!=x2 或 y3!=y2 T-指 Ι·?:__ U H:i(zi > 拉近成拉遠(yuǎn)Τ·勢(shì) 雙指（ζ2)，貫屮 z2 !=zl
[0246] 表2示出了手勢(shì)與觸摸屏手勢(shì)或指針位置之間的關(guān)系。在表2中，將如下手勢(shì)序 列認(rèn)為是用于控制指針位置的輸入，所述手勢(shì)序列組合了圖像幀中表示握拳手勢(shì)的手指向 下手勢(shì)。
[0247] 圖20A到20C示出了根據(jù)本公開實(shí)施例的與敲擊手勢(shì)相對(duì)應(yīng)的手勢(shì)序列。
[0248] 參考表2和圖20A到20C，獲取手勢(shì)序列，所述手勢(shì)序列是圖20A中單指展開手勢(shì) 的手指向上、圖20B中握拳手勢(shì)的手指向下和圖20C中手指向上手勢(shì)的組合。在這種情況 下，將該手勢(shì)序列認(rèn)為是敲擊手勢(shì)。一旦用戶連續(xù)展開一根手指、握拳和再次展開手指，而 沒有通過直接觸摸觸摸屏190進(jìn)行敲擊手勢(shì)，便攜式設(shè)備100識(shí)別該手勢(shì)，因此執(zhí)行與敲擊 手勢(shì)相對(duì)應(yīng)的操作。
[0249] 拖動(dòng)手勢(shì)是用戶展開一根手指、握拳并接著再次展開手指的手勢(shì)序列。如表2中 所示，如果手指向下的位置（x2, y2)和下一手指向下的位置（x3, y3)改變，則確定用戶握 拳。
[0250] 拉近或拉遠(yuǎn)手勢(shì)對(duì)應(yīng)于如下手勢(shì)序列，其中識(shí)別雙指手勢(shì)并接著再次識(shí)別具有不 同變焦比例的雙指手勢(shì)。在這種情況下，當(dāng)用戶進(jìn)行雙指展開手勢(shì)時(shí)，如果改變雙指之間的 間隔，則也改變了變焦比例，如此執(zhí)行拉近或拉遠(yuǎn)操作。
[0251] 表1和表2可以組合在表3中。
[0252] 表 3
[0253]

【權(quán)利要求】
1. 一種在便攜式設(shè)備中提供無觸摸界面的方法，所述方法包括： 在便攜式設(shè)備的觸摸屏上顯示應(yīng)用的執(zhí)行屏幕； 在便攜式設(shè)備外部投影并顯示與應(yīng)用的執(zhí)行屏幕相對(duì)應(yīng)的投影圖像； 激活攝像機(jī)模塊以拍攝用戶輸入工具； 在投影圖像上顯示指針；以及 與由攝像機(jī)模塊拍攝的用戶輸入工具相對(duì)應(yīng)地移動(dòng)并顯示指針。
2. 根據(jù)權(quán)利要求1所述的方法，還包括： 在觸摸屏上顯示應(yīng)用的執(zhí)行屏幕同時(shí)，檢測(cè)用戶輸入工具接近時(shí)的接近事件；以及 如果感測(cè)到接近事件，則激活攝像機(jī)模塊。
3. 根據(jù)權(quán)利要求1或2所述的方法，還包括： 獲得便攜式設(shè)備的方向信息；以及 基于方向信息、，確定便攜式設(shè)備的放置狀態(tài)；以及 如果狀態(tài)是便攜式設(shè)備的前表面朝上的狀態(tài)，則激活設(shè)置在便攜式設(shè)備的前表面上的 攝像機(jī)。
4. 根據(jù)權(quán)利要求1到3之一所述的方法，還包括： 如果狀態(tài)是便攜式設(shè)備的后表面朝上的狀態(tài)，則激活設(shè)置在便攜式設(shè)備的后表面上的 攝像機(jī)。
5. 根據(jù)權(quán)利要求1到4之一所述的方法，還包括： 如果檢測(cè)到接近事件，則確定是否滿足以下條件中的至少一個(gè)：到用戶輸入工具的距 離小于閾值距離的條件以及接近事件的發(fā)生持續(xù)時(shí)間超過閾值時(shí)間的條件；以及 根據(jù)是否滿足所述至少一個(gè)條件來確定是否激活攝像機(jī)模塊。
6. 根據(jù)權(quán)利要求1到5之一所述的方法，還包括： 如果攝像機(jī)模塊連續(xù)捕獲多個(gè)圖像幀，則基于包括用戶輸入工具的多個(gè)圖像幀，將每 個(gè)順序連續(xù)圖像幀與先前圖像幀進(jìn)行比較； 從每個(gè)連續(xù)圖像幀中提取用戶輸入工具的特征點(diǎn)； 基于所提取的特征點(diǎn)跟蹤用戶輸入工具的位置；以及 與用戶輸入工具的跟蹤位置相對(duì)應(yīng)，移動(dòng)并顯示指針。
7. 根據(jù)權(quán)利要求1到6之一所述的方法，還包括： 如果攝像機(jī)模塊連續(xù)捕獲包括用戶輸入工具的多個(gè)圖像幀，則識(shí)別投影圖像中的手 勢(shì)； 通過組合所識(shí)別的手勢(shì)獲得手勢(shì)序列；以及 分派與所述手勢(shì)序列相對(duì)應(yīng)的觸摸屏手勢(shì)。
8. 根據(jù)權(quán)利要求1到7之一所述的方法，其中如果所識(shí)別的手勢(shì)是握拳手勢(shì)，則所述手 勢(shì)用于模仿觸摸屏拖動(dòng)手勢(shì)； 其中如果所識(shí)別手的勢(shì)是單指展開手勢(shì)，則所述手勢(shì)用于控制指針的位置； 其中如果所識(shí)別的手勢(shì)是張開手掌手勢(shì)，則所述手勢(shì)用于激活無觸摸菜單；以及 其中如果所識(shí)別的手勢(shì)是雙指展開手勢(shì)，則所述手勢(shì)用于模仿變焦手勢(shì)。
9. 根據(jù)權(quán)利要求1到8之一所述的方法，還包括： 基于所提取的特征點(diǎn)獲得深度信息； 基于深度信息確定是否發(fā)生表示用戶輸入工具的按壓手勢(shì)的觸摸屏事件； 當(dāng)發(fā)生了表示按壓手勢(shì)的觸摸屏事件時(shí)，設(shè)置觸摸屏事件發(fā)生處的坐標(biāo)；以及 分派與所述坐標(biāo)相對(duì)應(yīng)的位置中的觸摸屏事件。
10. -種提供無觸摸界面的便攜式設(shè)備，所述便攜式設(shè)備包括： 顯示器，配置為顯示應(yīng)用的執(zhí)行屏幕； 投影模塊，配置為在便攜式設(shè)備外部投影并顯示與應(yīng)用的執(zhí)行屏幕相對(duì)應(yīng)的投影圖 像； 至少一個(gè)攝像機(jī)模塊，配置為連續(xù)捕獲包括用戶輸入工具的多個(gè)圖像幀；以及 控制器，配置為在投影圖像上顯示指針，以及與由攝像機(jī)模塊拍攝的用戶輸入工具相 對(duì)應(yīng)地移動(dòng)并顯示指針。
11. 根據(jù)權(quán)利要求10所述的便攜式設(shè)備，還包括： 傳感器模塊，配置為在觸摸屏上顯示應(yīng)用的執(zhí)行屏幕同時(shí)，檢測(cè)用戶輸入工具接近時(shí) 的接近事件，并配置為處理便攜式設(shè)備的當(dāng)前朝向。
12. 根據(jù)權(quán)利要求10或11所述的便攜式設(shè)備，其中如果便攜式設(shè)備的放置狀態(tài)是便攜 式設(shè)備的前表面朝上的狀態(tài)，則所述控制器激活所述至少一個(gè)攝像機(jī)模塊中設(shè)置在便攜式 設(shè)備的前表面上的攝像機(jī)，以及 其中如果便攜式設(shè)備的放置狀態(tài)是將便攜式設(shè)備的后表面朝上的狀態(tài)，則所述控制器 激活所述至少一個(gè)攝像機(jī)模塊中設(shè)置在便攜式設(shè)備的后表面上的攝像機(jī)。
13. 根據(jù)權(quán)利要求10到12之一所述的便攜式設(shè)備，其中所述控制器基于所述多個(gè)圖像 幀，將每個(gè)順序連續(xù)圖像幀與先前圖像幀進(jìn)行比較；從每個(gè)連續(xù)圖像幀中提取用戶輸入工 具的特征點(diǎn)；基于所提取的特征點(diǎn)跟蹤用戶輸入工具的位置；以及與用戶輸入工具的跟蹤 位置相對(duì)應(yīng)地移動(dòng)并顯示指針。
14. 根據(jù)權(quán)利要求10到13之一所述的便攜式設(shè)備，其中如果攝像機(jī)模塊連續(xù)捕獲包括 用戶輸入工具的多個(gè)圖像幀，則所述控制器識(shí)別圖像中的手勢(shì)；通過組合所識(shí)別的手勢(shì)獲 得手勢(shì)序列；以及分派與所述手勢(shì)序列相對(duì)應(yīng)的觸摸屏手勢(shì)。
15. 根據(jù)權(quán)利要求10到14之一所述的便攜式設(shè)備，其中如果所識(shí)別的手勢(shì)是握拳手 勢(shì)，則所述手勢(shì)用于模仿觸摸屏拖動(dòng)手勢(shì)； 其中如果所識(shí)別的手勢(shì)是單指展開手勢(shì)，則所述手勢(shì)用于控制指針的位置； 其中如果所識(shí)別的手勢(shì)是張開手掌手勢(shì)，則所述手勢(shì)用于激活無觸摸菜單；以及 其中如果所識(shí)別的手勢(shì)是雙指展開手勢(shì)，則所述手勢(shì)用于模仿變焦手勢(shì)。
【文檔編號(hào)】G06F3/0482GK104102336SQ201310470322
【公開日】2014年10月15日 申請(qǐng)日期:2013年10月10日 優(yōu)先權(quán)日:2013年4月9日
【發(fā)明者】安東尼·雅庫比亞克, 亞當(dāng)·施特魯普切維斯基, 格熱戈日·格熱西亞克, 亞采克·別尼烏西維茨, 康拉德·諾維茨基, 瑪格達(dá)·塔拉萊克, 帕維烏·西明斯基, 托馬什·托克齊斯基 申請(qǐng)人:三星電子株式會(huì)社