專利名稱：通用計(jì)算設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的特征總地針對用于生成平滑的電子墨水的計(jì)算機(jī)輸入設(shè)備。更為具體地來說，本發(fā)明的特征針對在提供公共用戶界面的同時(shí)可用于發(fā)散(divergent)平臺上的輸入設(shè)備。

背景技術(shù)：
計(jì)算系統(tǒng)已經(jīng)極大地改變了我們生活的方式。第一波計(jì)算機(jī)的價(jià)格高得驚人，并且僅在商業(yè)設(shè)置中使用是節(jié)約成本的。隨著計(jì)算機(jī)變得更容易購買，在工作場所和家中對個(gè)人計(jì)算機(jī)的使用變得如此之廣泛，使得計(jì)算機(jī)已變成與辦公室的辦公桌和家中的餐桌一樣普遍。微處理器已經(jīng)結(jié)合于我們的日常生活的各個(gè)方面中，從電視機(jī)和其它娛樂系統(tǒng)到用于控制我們的汽車的工作。
從占用大型辦公室設(shè)備的整個(gè)樓層的數(shù)據(jù)處理設(shè)備(data crunchingdevice)到膝上型計(jì)算機(jī)或其它便攜式計(jì)算設(shè)備，計(jì)算設(shè)備的發(fā)展已經(jīng)極大地影響了文檔生成方式和信息存儲方式。便攜計(jì)算能力使得個(gè)人能夠使用這些設(shè)備在辦公室之外的場所進(jìn)行打字、撰寫備忘錄、記筆記、創(chuàng)建圖像以及執(zhí)行各種任務(wù)。專業(yè)人員和非專業(yè)人員都能夠使用能夠在任何場所滿足他們的計(jì)算需求的設(shè)備在移動中執(zhí)行任務(wù)。
典型的計(jì)算機(jī)系統(tǒng)，尤其是使用諸如MicrosoftWindows之類的圖形用戶界面(GUI)系統(tǒng)的計(jì)算機(jī)系統(tǒng)，對接受來自諸如鍵盤(用于輸入文本)、具有用于激活用戶的選擇的一個(gè)或多個(gè)按鈕的指點(diǎn)設(shè)備(如鼠標(biāo))之類的一個(gè)或多個(gè)離散的輸入設(shè)備的用戶輸入進(jìn)行了優(yōu)化。
計(jì)算世界的原本目的之一是在每一張桌子上都有一臺計(jì)算機(jī)。在很大程度上，在辦公室場所中普遍存在的計(jì)算機(jī)已經(jīng)實(shí)現(xiàn)了該目的。隨著膝上型計(jì)算機(jī)和高性能的個(gè)人數(shù)據(jù)助理的出現(xiàn)，辦公室場所已經(jīng)擴(kuò)展到包括完成工作的各種非傳統(tǒng)的地點(diǎn)。在一定增長的程度上，計(jì)算機(jī)用戶必須熟練掌握用于他們的計(jì)算設(shè)備中的每個(gè)計(jì)算設(shè)備的發(fā)散的用戶界面。從用于標(biāo)準(zhǔn)個(gè)人計(jì)算機(jī)的鼠標(biāo)和鍵盤到各自數(shù)據(jù)助理的簡化的無源(resistive)觸筆界面，甚至到蜂窩電話機(jī)的小型按鍵，用戶面臨著各種不同的用戶界面，用戶需要在能夠使用基礎(chǔ)技術(shù)之前掌握這些界面。
盡管技術(shù)領(lǐng)先，但是大多數(shù)用戶趨向于使用打印在紙上的文檔作為他們最初的編輯工具。印刷紙件的某些優(yōu)點(diǎn)在于它們的可讀性和便攜性。其它優(yōu)點(diǎn)包括分享有注解的紙件文檔和人們能夠存檔紙件的方便性。將先進(jìn)的計(jì)算系統(tǒng)和印刷紙件的功能之間的隔閡相聯(lián)系的一種用戶界面是觸筆式用戶界面。觸筆式用戶界面的一個(gè)方法是使用無源式技術(shù)(resistive technology)(在當(dāng)今的PDA中是普遍的)。另一方法是在膝上型計(jì)算機(jī)中使用有源式傳感器。計(jì)算世界的下一目的之一是將用于操作計(jì)算機(jī)的用戶界面帶回給用戶。
與使用觸筆相關(guān)聯(lián)的一個(gè)缺點(diǎn)在于這些設(shè)備與包含傳感器板的計(jì)算設(shè)備緊密相關(guān)。換言之，觸筆僅可用于在連同所要求的傳感器板一起使用時(shí)產(chǎn)生輸入。而且，觸筆的檢測受到觸筆離傳感板的距離的遠(yuǎn)近的影響。
現(xiàn)有的便攜式計(jì)算設(shè)備可能對于多用戶配置缺乏特殊形式的識別。如此，如果兩個(gè)這樣的計(jì)算設(shè)備同時(shí)工作，主計(jì)算機(jī)變得混亂，并將感測來自同一計(jì)算設(shè)備的注釋。如果一個(gè)用戶利用該計(jì)算設(shè)備對一文檔進(jìn)行注釋，然后第二用戶利用第二計(jì)算設(shè)備對該同一文檔進(jìn)行注釋，接收來自所述計(jì)算設(shè)備的數(shù)據(jù)幀(data frame)的主PC將數(shù)據(jù)解釋成源自相同的計(jì)算設(shè)備。缺乏識別注釋從哪個(gè)計(jì)算設(shè)備產(chǎn)生的能力，主PC就不能明確地跟蹤對某一計(jì)算設(shè)備的改變。
現(xiàn)有的便攜式計(jì)算設(shè)備可能缺乏用戶可能在已存在的墨水上進(jìn)行跟蹤筆跡的能力?，F(xiàn)有的計(jì)算設(shè)備可在清潔的無墨跡的表面上跟蹤用戶的筆跡；然而，這些設(shè)備的圖像捕捉能力不能跟蹤發(fā)生在已存在的墨跡上的筆跡。此外，現(xiàn)有的計(jì)算設(shè)備缺乏對當(dāng)手持諸如鋼筆之類的書寫器具時(shí)自然存在的透視(perspective)的處理能力。當(dāng)用戶以垂直于書寫表面的角度手持計(jì)算設(shè)備時(shí)，相關(guān)計(jì)算設(shè)備的圖像傳感器有效地工作。然而，大多數(shù)用戶不會以相對于表面90度的角度持筆。如此，對于要足以補(bǔ)償計(jì)算設(shè)備的角度的傳感器來說，透視成為問題。
現(xiàn)有技術(shù)領(lǐng)域中需要一種便攜式計(jì)算設(shè)備，能夠充當(dāng)用于各種計(jì)算設(shè)備中的任何一個(gè)的輸入設(shè)備，并能夠在各種情況下工作。進(jìn)一步地，現(xiàn)有技術(shù)領(lǐng)域中需要一種便攜式計(jì)算設(shè)備，能夠由特定的識別進(jìn)行識別，以便允許多用戶同時(shí)地在文檔和/或應(yīng)用程序內(nèi)操作。此外，現(xiàn)有技術(shù)領(lǐng)域中還需要一種便攜式計(jì)算設(shè)備，能夠降低在捕獲表面上的圖像時(shí)的透視的影響，并可配置成在任何存在的墨跡上跟蹤用戶的書寫筆跡。


發(fā)明內(nèi)容
本發(fā)明的諸方面針對上述的一個(gè)或多個(gè)問題，從而跨發(fā)散的計(jì)算平臺向用戶提供公共的用戶接口。本發(fā)明的諸方面涉及一種用于生成電子墨水和/或生成其它輸入的輸入設(shè)備，而與數(shù)據(jù)所針對的設(shè)備無關(guān)。輸入設(shè)備可形成為筆形，可包括或可不包括墨盒，以便于輸入和設(shè)備以熟悉的方式移動。本發(fā)明的一個(gè)方面是便攜式計(jì)算設(shè)備，可由特定的識別進(jìn)行識別，以便允許多用戶同時(shí)地在文檔上和/或應(yīng)用程序內(nèi)進(jìn)行操作。
本發(fā)明的一個(gè)方面使用紅外照明和打印在、嵌入于或印在表面上的迷宮圖。該表面可以是上面以碳墨水印有迷宮圖的一張紙。本發(fā)明的攝像機(jī)可捕捉位于非碳內(nèi)容下的迷宮圖單元。與m陣列解碼和文檔圖像分析相關(guān)的算法對捕捉的包含文檔內(nèi)容和迷宮圖的圖像的位置進(jìn)行解碼。
本發(fā)明的另一方面提供具有紅外(IR)照明的偏移光學(xué)系統(tǒng)，它包括一組透鏡和光學(xué)傳感器，光學(xué)傳感器充當(dāng)較低分辨率的攝像機(jī)。攝像機(jī)位于不同的平面中，離開用于注釋的輸入設(shè)備一定的偏移角度。偏移改善了性能，并處理了透視，使得輸入設(shè)備可以正常的書寫角度更為自然地被使用。IR照明幫助檢測位置編碼，在可見光照明下，位置編碼通常被已存的文檔內(nèi)容或墨水所覆蓋。
當(dāng)連同附圖一起閱讀時(shí)，可更佳地理解本發(fā)明的諸方面的上述概述以及下面的各種實(shí)施例的詳細(xì)描述，所示的附圖僅僅是示例性的，不應(yīng)被認(rèn)為是對本發(fā)明的任何限制。



圖1說明了可實(shí)施本發(fā)明的某些方面的通用數(shù)字計(jì)算環(huán)境的示意圖； 圖2說明了根據(jù)本發(fā)明的至少一個(gè)方面的輸入設(shè)備； 圖3示出了根據(jù)本發(fā)明的諸方面使用的攝像系統(tǒng)的三個(gè)示例性實(shí)施例； 圖4說明了根據(jù)本發(fā)明的至少一個(gè)方面的輸入設(shè)備的光學(xué)設(shè)計(jì)的一個(gè)實(shí)施例； 圖5說明了根據(jù)本發(fā)明的至少一個(gè)方面的輸入設(shè)備的光學(xué)設(shè)計(jì)的一個(gè)實(shí)施例； 圖6說明了根據(jù)本發(fā)明的至少一個(gè)方面的輸入設(shè)備的照明設(shè)計(jì)的一個(gè)實(shí)施例； 圖7A和7B說明了根據(jù)本發(fā)明的至少一個(gè)方面的輸入設(shè)備的力傳感組件； 圖8說明了根據(jù)本發(fā)明的至少一個(gè)方面的輸入設(shè)備的透鏡設(shè)計(jì)； 圖9說明了用于對文檔的位置進(jìn)行編碼的示例性技術(shù)(迷宮圖)； 圖10提供了對軌跡圖案的說明，從該軌跡圖案可生成電子墨水； 圖11A和11B示出了根據(jù)本發(fā)明的至少一個(gè)方面的系統(tǒng)的示例性硬件架構(gòu)； 圖12說明了根據(jù)另一示例性實(shí)施例的結(jié)合于用于生成電子墨水的輸入設(shè)備中的組件的進(jìn)一步的組合； 圖13是根據(jù)本發(fā)明的至少一個(gè)方面的通過輸入設(shè)備的雙核心架構(gòu)的數(shù)據(jù)的流程圖； 圖14示出了根據(jù)本發(fā)明的至少一個(gè)方面的從輸入設(shè)備發(fā)送的示例性數(shù)據(jù)幀結(jié)構(gòu)； 圖15示出了根據(jù)本發(fā)明的至少一個(gè)方面的對從多個(gè)輸入設(shè)備發(fā)送的數(shù)據(jù)的處理的說明；以及 圖16說明了對根據(jù)本發(fā)明的若干示例性實(shí)施例的輸入設(shè)備的使用。

具體實(shí)施例方式 本發(fā)明的諸方面設(shè)計(jì)可用于各種不同平臺的輸入設(shè)備，控制桌面型或膝上型計(jì)算機(jī)、在白板上書寫、在諸如紙張之類的表面上書寫、控制PDA或蜂窩電話機(jī)、或創(chuàng)建可在各種平臺之間通信的墨水。
術(shù)語 筆——可包括或不包括存儲墨水的能力的各種書寫器具。在某些例子中，根據(jù)本發(fā)明的實(shí)施例，可把不具有墨水存儲能力觸筆作為筆。
攝像機(jī)——圖像捕捉系統(tǒng)。
有源編碼——將代碼結(jié)合于輸入設(shè)備所放置的對象或表面之內(nèi)，以便使用適當(dāng)?shù)奶幚硭惴ù_定輸入設(shè)備的定位和/或移動。
無源編碼——使用圖像數(shù)據(jù)而不是結(jié)合的代碼來檢測輸入設(shè)備的移動/定位，使用合適的處理算法從輸入設(shè)備在其上移動的對象或表面獲得圖像數(shù)據(jù)。
輸入設(shè)備——可配置用于生成和處理信息的用于輸入信息的設(shè)備。
有源輸入設(shè)備——使用結(jié)合于輸入設(shè)備中的傳感器主動地測量信號并產(chǎn)生表示輸入設(shè)備的定位和/或移動的數(shù)據(jù)的輸入設(shè)備。
無源輸入設(shè)備——使用不是結(jié)合于輸入設(shè)備之內(nèi)的傳感器檢測輸入設(shè)備的移動的輸入設(shè)備。
計(jì)算設(shè)備——桌面型計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板PC(Tablet PCTM)、各自數(shù)據(jù)助理、電話機(jī)、或包含輸入設(shè)備的配置成處理信息的任何設(shè)備。
圖1說明了可實(shí)施本發(fā)明的適用的計(jì)算系統(tǒng)環(huán)境100的例子。計(jì)算系統(tǒng)環(huán)境100僅僅是適用的計(jì)算環(huán)境的一個(gè)例子，而不應(yīng)解釋成對本發(fā)明的使用和功能范圍的任何限制。也不應(yīng)把計(jì)算系統(tǒng)環(huán)境100解釋成對示例性計(jì)算系統(tǒng)環(huán)境100中所例示的任一組件或其組合具有任何依賴性或要求。
本發(fā)明可用于各種其它的通用或?qū)Ｓ糜?jì)算系統(tǒng)環(huán)境或配置。可適用于本發(fā)明的一直的計(jì)算系統(tǒng)、環(huán)境和/或配置的例子包括但不限于個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、手持或膝上型設(shè)備、多處理器系統(tǒng)、基于多處理器的系統(tǒng)、機(jī)頂盒、可編程消費(fèi)者電子產(chǎn)品、網(wǎng)絡(luò)PC、小型計(jì)算機(jī)、大型計(jì)算機(jī)、可包括任何上述系統(tǒng)或設(shè)備的分布式計(jì)算環(huán)境。
可在由計(jì)算機(jī)執(zhí)行的諸如程序模塊之類的計(jì)算機(jī)可執(zhí)行指令的一般上下文環(huán)境中描述本發(fā)明。一般來說，程序模塊包括例行程序、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等，它們執(zhí)行特定的任務(wù)或?qū)崿F(xiàn)特定的抽象數(shù)據(jù)類型。本發(fā)明還可在分布式計(jì)算環(huán)境中得到實(shí)踐，在分布式計(jì)算環(huán)境中，由通過通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理設(shè)備來執(zhí)行任務(wù)。在分布式計(jì)算環(huán)境中，程序模塊可位于包括存儲設(shè)備的本地或遠(yuǎn)程計(jì)算機(jī)存儲媒體中。
參考圖1，用于實(shí)現(xiàn)本發(fā)明的示例性的系統(tǒng)包括采用計(jì)算機(jī)110的形式的通用計(jì)算設(shè)備。計(jì)算機(jī)110的組件可包括但不限于處理單元120、系統(tǒng)存儲器130和將包括系統(tǒng)存儲器的各種系統(tǒng)組件連接到處理單元120的系統(tǒng)總線121。系統(tǒng)總線121可以是若干類總線結(jié)構(gòu)中的任一種，包括存儲器總線或存儲控制器、外圍總線、以及使用各種總線體系結(jié)構(gòu)中的任一種的局部總線。例如，但非限制，這種總線結(jié)構(gòu)體系包括工業(yè)標(biāo)準(zhǔn)結(jié)構(gòu)(ISA)總線、微通道結(jié)構(gòu)(MCA)總線、增強(qiáng)型ISA(EISA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(VESA)局部總線、以及外設(shè)部件互連(PCI)總線(也稱為夾層總線(Mezzanine bus))。
計(jì)算機(jī)110一般包括各種計(jì)算機(jī)可讀媒體。計(jì)算機(jī)可讀媒體可以是任何能由計(jì)算機(jī)110訪問的可得到的媒體，包括易失性和非易失性、可移動和不可移動的媒體。例如，但非限制，計(jì)算機(jī)可讀媒體可包括計(jì)算機(jī)存儲媒體和通信媒體。計(jì)算機(jī)存儲媒體包括用于存儲諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)之類的信息的以任何方法或技術(shù)實(shí)現(xiàn)的易失性和非易失性、可移動和不可移動的媒體。計(jì)算機(jī)存儲媒體包括但不限于隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、閃存或其他存儲技術(shù)、CD-ROM、數(shù)字通用盤(DVD)或其它光存儲設(shè)備、磁帶盒、磁帶、磁盤存儲器或其它磁存儲設(shè)備、或能用于存儲所需信息并能由計(jì)算機(jī)110存取訪問的任何其它媒體。通信媒體一般將計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)嵌入于諸如載波或其它傳送機(jī)制之類的調(diào)制數(shù)據(jù)信號中，并包括任何信息傳送媒體。術(shù)語“調(diào)制數(shù)據(jù)信號”指的是以設(shè)置或改變一個(gè)或多個(gè)特征的方式來編碼信號中的信息的信號。作為例子但非限制，通信媒體包括如有線網(wǎng)絡(luò)或直接線纜連接之類的有線媒體，和如聲音、RF、紅外線之類的無線媒體和其它無線媒體。任何上述的組合也應(yīng)包括在計(jì)算機(jī)可讀媒體的范圍之中。
系統(tǒng)存儲器130包括諸如ROM 131和RAM 132之類的易失性和/或非易失性存儲器形式的計(jì)算機(jī)存儲媒體。包含如在啟動期間幫助計(jì)算機(jī)110內(nèi)的各部件間傳輸信息的基本例行程序的基本輸入/輸出系統(tǒng)133(BIOS)一般存儲在ROM 131中。RAM 132一般包含可由處理單元120即時(shí)訪問和/或當(dāng)前處理的數(shù)據(jù)和/或模塊。作為例子但非限制，圖1例示出操作系統(tǒng)134、應(yīng)用程序135、其它程序模塊136、以及程序數(shù)據(jù)137。
計(jì)算機(jī)110還可包括其它可移動/不可移動、易失性/非易失性計(jì)算機(jī)存儲媒體。作為例子但非限制，圖1例示出對不可移動的、非易失性的磁媒體進(jìn)行讀寫的硬盤驅(qū)動器141、讀寫可移動的、非易失性的磁盤152的磁盤驅(qū)動器151、以及讀寫如CDROM或其它光媒體之類的可移動的、非易失性的光盤156的光盤驅(qū)動器155。示例性操作環(huán)境中能使用的其它的可移動的/不可移動的、易失性/非易失性計(jì)算機(jī)存儲媒體包括但不限于磁帶盒、閃存卡、數(shù)字視頻盤、數(shù)字視頻帶、固態(tài)RAM等。硬盤驅(qū)動器141一般通過諸如接口140之類的不可移動的存儲器接口連接到總線121，磁盤驅(qū)動器151和光盤驅(qū)動器155一般通過諸如接口150之類的可移動的存儲器接口連接到系統(tǒng)總線121。
圖1中所例示的以及上述的驅(qū)動器及其相關(guān)的計(jì)算機(jī)存儲媒體為計(jì)算機(jī)110提供了對計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)的存儲。在圖1中，硬盤驅(qū)動器141例示為存儲操作系統(tǒng)144、應(yīng)用程序145、其它程序模塊146以及程序數(shù)據(jù)147。注意到，這些組件和與操作系統(tǒng)134、應(yīng)用程序135、其它程序模塊136以及程序數(shù)據(jù)137相同或不同。操作系統(tǒng)144、應(yīng)用程序145、其它程序模塊146以及程序數(shù)據(jù)147在這里以不同的編號給出，以說明它們至少是不同的副本。用戶可通過如數(shù)字?jǐn)z像機(jī)(未示出)、鍵盤162、通常稱為鼠標(biāo)的指點(diǎn)設(shè)備161、軌跡球或觸板之類的輸入設(shè)備將命令和信息輸入到計(jì)算機(jī)110中。其它輸入設(shè)備(未示出)可包括話筒、操縱桿、游戲手柄、衛(wèi)星反射器、掃描儀等。這些和其它輸入設(shè)備常常通過耦合到系統(tǒng)總線121的用戶輸入接口160連接到處理單元120，但也能通過如并行端口、游戲端口或通用串行總線(USB)之類的其它接口和總線結(jié)構(gòu)連接。監(jiān)視器191或其它類型的顯示設(shè)備也能經(jīng)過如視頻接口190之類的接口連接到系統(tǒng)總線121。除了監(jiān)視器之外，計(jì)算機(jī)還可包括如揚(yáng)聲器197和打印機(jī)196之類的其它外圍輸出設(shè)備，這些外圍輸出設(shè)備可通過輸出外圍接口195進(jìn)行連接。
在一個(gè)實(shí)施例中，提供筆式數(shù)字化儀163和附帶的筆或觸筆164，以便數(shù)字化地捕捉手寫輸入。雖然在示出在筆式數(shù)字化儀163和用戶輸入接口160之間的直接連接，但實(shí)際上，如本領(lǐng)域所已知的那樣，筆式數(shù)字化儀163可直接地、通過并行端口或其它接口和系統(tǒng)總線121連接到處理單元120。此外，雖然所示的數(shù)字化儀163與監(jiān)視器191分開，但是數(shù)字化儀163的可用輸入?yún)^(qū)域可與監(jiān)視器191的顯示區(qū)域共存。而且數(shù)字化儀163可集成在監(jiān)視器191中，或可作為重疊或附屬于監(jiān)視器191的單獨(dú)設(shè)備而存在。
計(jì)算機(jī)110可工作于使用對如遠(yuǎn)程計(jì)算機(jī)180之類的一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)的邏輯連接在聯(lián)網(wǎng)環(huán)境中。遠(yuǎn)程計(jì)算機(jī)180可以是個(gè)人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其它公共網(wǎng)絡(luò)節(jié)點(diǎn)，它通常包括上述關(guān)于計(jì)算機(jī)110所描述的許多或所有部件，雖然在圖1中只示出存儲設(shè)備181。在圖1中描述的邏輯連接包括局域網(wǎng)(LAN)171和廣域網(wǎng)(WAN)173，但還可包括其它網(wǎng)絡(luò)。這種聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍計(jì)算機(jī)網(wǎng)路、內(nèi)聯(lián)肉和因特網(wǎng)中是常見的。
在LAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)110通過網(wǎng)絡(luò)接口或適配器170連接到LAN171。在WAN網(wǎng)路環(huán)境中使用時(shí)，計(jì)算機(jī)110一般包括調(diào)制解調(diào)器172或其它裝置用來在諸如因特網(wǎng)之類的WAN 173上建立通信。內(nèi)置或外置的調(diào)制解調(diào)器172可經(jīng)用戶輸入接口160或其它適當(dāng)?shù)臋C(jī)構(gòu)連接到系統(tǒng)總線121。在聯(lián)網(wǎng)環(huán)境中，關(guān)于計(jì)算機(jī)110所描述的程序模塊或其部分可存儲在遠(yuǎn)地的存儲設(shè)備中。作為例子但非限制，圖1示出了駐留于存儲設(shè)備181上的遠(yuǎn)程應(yīng)用程序185。將理解，所示的網(wǎng)絡(luò)連接是示例性的，可使用在計(jì)算機(jī)之間建立通信鏈路的其它手段。
我們認(rèn)為存在各種眾知的協(xié)議的任一種，如TCP/IP、以太網(wǎng)、FTP、HTTP等，且系統(tǒng)能以客戶機(jī)-服務(wù)器的配置方式操作，以便允許用戶從web服務(wù)器檢索web網(wǎng)頁。各種傳統(tǒng)的web瀏覽器的任一種都能用于顯示和處理在web網(wǎng)頁上的數(shù)據(jù)。
圖2提供了根據(jù)本發(fā)明的各種方面使用的輸入設(shè)備的示例性實(shí)施例。下面描述若干不同的元件和/或傳感器。各種傳感器組合可用于實(shí)施本發(fā)明的諸方面。此外，也可包括其它額外的傳感器，包括磁傳感器、加速計(jì)、陀螺儀、或可檢測輸入設(shè)備相對于表面或?qū)ο蟮奈恢玫娜魏蝹鞲衅?。在圖2中，筆210包括墨盒202、壓力傳感器203、攝像機(jī)204、感應(yīng)元件205、處理器206、存儲器207、收發(fā)機(jī)208、電源209、對接部位(docking station)210、筆帽211以及顯示器212。各種組件可按需使用例如未示出的總線進(jìn)行電氣耦合。筆210可用作用于包括桌面型計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板PC(Tablet PCTM)、個(gè)人數(shù)據(jù)助理、電話機(jī)、或可處理和/或顯示信息的任何設(shè)備的大范圍設(shè)備的輸入設(shè)備。
輸入設(shè)備210可包括用于進(jìn)行標(biāo)準(zhǔn)筆和紙張書寫或繪圖的墨盒202。而且，用戶可利用輸入設(shè)備在以典型的使用筆的方式操作設(shè)備的同時(shí)生成電子墨水。從而，墨盒202可提供用于在紙張上產(chǎn)生手寫筆劃的舒適的、熟悉的媒介，同時(shí)筆的移動被記錄并用于產(chǎn)生電子墨水?？墒褂枚喾N已知技術(shù)中的任一一種將墨盒202從取出位置(withdrawn position)移動到書寫位置?？蛇x地，墨盒202可被不包含墨、但允許用戶在表面上移動筆而不損壞筆或表面的盒替代，如具有圓形尖端的塑料盒。此外，可包含感應(yīng)元件以助于檢測輸入設(shè)備的相對移動，例如通過以類似于觸筆生成的信號的方式產(chǎn)生指示輸入設(shè)備的信號?？砂瑝毫鞲衅?03來指明輸入，例如當(dāng)筆201在放在對象上的同時(shí)被壓下時(shí)，可指示出輸入，從而如可由例如通過選擇鼠標(biāo)按鈕的輸入而實(shí)現(xiàn)的那樣便于對對象或指示的選擇?？蛇x地，壓力傳感器203可檢測用戶利用筆寫出筆劃的壓力，用于改變所生成的電子墨水的寬度。此外，傳感器203可觸發(fā)攝像機(jī)的工作。在可選地方式中，攝像機(jī)204可獨(dú)立于壓力傳感器203的設(shè)置而工作。
而且，除了可用作開關(guān)的壓力傳感器之外，還可包括其它額外的開關(guān)來影響控制輸入設(shè)備的操作的各種設(shè)置。例如，可在輸入設(shè)備的外部提供一個(gè)或多個(gè)開關(guān)，并用于接通(power on)輸入設(shè)備、激活攝像機(jī)或光源、控制傳感器的靈敏度或光源的亮度、將輸入設(shè)備設(shè)置于草稿模式(在草稿模式中不進(jìn)行文本轉(zhuǎn)換)、將設(shè)備設(shè)置成內(nèi)部存儲輸入數(shù)據(jù)、處理和存儲輸入數(shù)據(jù)、將數(shù)據(jù)傳送到輸入設(shè)備能夠與之通信的諸如計(jì)算設(shè)備之類的處理單元、或控制可能需要的任何設(shè)置。
可包含攝像機(jī)204來捕捉筆在其上移動的表面的圖像。當(dāng)筆在感應(yīng)系統(tǒng)中用作觸筆時(shí)，還可包括感應(yīng)元件205來提高筆的性能。處理器206可包括用于執(zhí)行與下文中將詳述的本發(fā)明的各種方面相關(guān)聯(lián)的功能的任何已知的處理器。類似地，存儲器207可包括RAM、ROM或用于存儲用于控制設(shè)備的數(shù)據(jù)和/或用軟件或處理數(shù)據(jù)的任何存儲設(shè)備。輸入設(shè)備還可包括收發(fā)機(jī)208。收發(fā)機(jī)允許與其它設(shè)備進(jìn)行信息交換。例如，可使用藍(lán)牙或其它無線技術(shù)來促進(jìn)通信。其它設(shè)備可包括可進(jìn)一步包括輸入設(shè)備的計(jì)算設(shè)備。
可包含電源219，如果筆201獨(dú)立于或遠(yuǎn)離于主設(shè)備使用，則可提供電源。主設(shè)備中，要處理、存儲和/或顯示數(shù)據(jù)。電源209可結(jié)合于輸入設(shè)備201的任何位置中，如果電源是可更換的，則電源可位于可即時(shí)更換的位置，或者如果電源是可充電的，則電源可位于便于充電的位置?？蛇x地，筆可耦合于其它備擇的電源，如用于將筆電氣耦合到車載電池的適配器、連接到墻上的電源插座的充電器、計(jì)算機(jī)的電源或任何其它電源。
對接位置鏈接210可用于在輸入設(shè)備和諸如外部主計(jì)算機(jī)之類的第二設(shè)備之間傳輸信息。對接位置鏈接210還可包括在依附于對接位置時(shí)或連接至電源時(shí)對電源209進(jìn)行充電的結(jié)構(gòu)(未示出)。USB或其它連接手段可將輸入設(shè)備通過對接位置鏈接或通過其它備擇端口連接到主計(jì)算機(jī)?？蛇x地，還可使用硬連線連接將筆連接到設(shè)備，用于傳輸和接收數(shù)據(jù)。在硬連線的配置中，將省略對接位置鏈接，以有利于將輸入設(shè)備直接線纜連接到主機(jī)?？墒÷詫游恢面溄踊蚩捎门c其它設(shè)備通信的其它系統(tǒng)代替(例如藍(lán)牙802.11b)。
輸入設(shè)備201可進(jìn)一步包括可移除的筆帽211，筆帽可裝備有金屬端，用于便于電阻式(resistive)傳感檢測，使得輸入設(shè)備201可與包括例如傳感板之類的設(shè)備一起使用。輸入設(shè)備201的外殼可由塑料、金屬、樹脂、它們的組合、或可對輸入設(shè)備的組件或整體結(jié)構(gòu)提供保護(hù)的任何材料組成。底板(chassis)可包括金屬隔板(compartment)，用于電氣屏蔽設(shè)備的某些或全部的敏感電子組件。輸入設(shè)備可以是細(xì)長形的，可對應(yīng)于筆的形狀。然而，輸入設(shè)備可以是與其用作輸入設(shè)備和/或墨水生成設(shè)備的用途相一致的任何其它形狀。
圖3A-3C示出了根據(jù)本發(fā)明的諸方面使用的攝像機(jī)的三個(gè)示例性實(shí)施例。如所述，輸入設(shè)備可用于通過使用例如攝像機(jī)檢測筆的移動來生成電子墨水?？砂瑪z像機(jī)304來捕捉筆在其上移動的表面的圖像，通過圖像分析，檢測筆在被掃描的表面上的移動量。移動可與文檔相關(guān)，并電子地將電子墨水變換成文檔、添加到文檔或與文檔相關(guān)聯(lián)(例如，除了原始文檔之外，存儲輸入注釋)。
如圖3A所示，在一個(gè)實(shí)施例中，攝像機(jī)304包括圖像傳感器320，圖像傳感器由例如圖像傳感元件陣列組成。例如，攝像機(jī)可由CMOS圖像傳感器組成，具有能以32像素×32像素分辨率掃描1.79mm×1.79mm方形面積區(qū)域的能力。對于一個(gè)這樣的圖像傳感器，最小的曝光幀率(frame rate)可以是大約330Hz，雖然例示的圖像傳感器可能以110Hz的處理速率工作。選擇的圖像傳感器可包括彩色圖像傳感器、灰階圖像傳感器，或可工作來檢測超過單一閾值的強(qiáng)度(intensity)。然而，對攝像機(jī)或其組件的選擇可根據(jù)與攝像機(jī)相關(guān)的所需要的工作參數(shù)、根據(jù)諸如性能、成本之類的考慮、或其它考慮而變化，例如可通過諸如為精確地計(jì)算輸入設(shè)備的位置而要求的分辨率之類的因數(shù)來描述。
光源321可照亮輸入設(shè)備在其上移動的表面。例如，光源可由單個(gè)發(fā)光二極管(LED)、LED陣列或其它發(fā)光設(shè)備組成。光源可產(chǎn)生包括白色光的單色光，或可產(chǎn)生多色光。攝像機(jī)中可包含半透明反射鏡(half mirror)322，以按需引導(dǎo)光。攝像機(jī)304還可包括一個(gè)或多個(gè)光學(xué)設(shè)備323，用于將來自光源321的光聚焦到被掃描的表面324上，和/或?qū)谋砻娣瓷涞墓饩劢沟綀D像傳感器320上。
如圖3A所示，從光源321發(fā)出的光被半透明反射鏡22反射，半透明反射鏡是根據(jù)入射光的方向反射或透射光的鏡。反射的光然后被引導(dǎo)通過透鏡系統(tǒng)323并傳送到反射表面下。然后，光從該表面反射出，通過透鏡系統(tǒng)323，透過半透明反射鏡322，以一透射角度通過鏡面，然后入射到傳感陣列320上。當(dāng)然，包括各種組件的攝像機(jī)可用于捕獲圖像數(shù)據(jù)，包括結(jié)合了更少或更多數(shù)量的組件的攝像機(jī)。組件的配置中的變化也是繁多的。僅僅為了提供一個(gè)例子，在簡單的配置中，光源和傳感陣列可放置在一起，使得它們都面對著要從中捕捉圖像的表面。在該情況下，由于不需要攝像機(jī)內(nèi)的反射，因此可從系統(tǒng)中去除半透明反射鏡。如圖3B所示，在一簡化配置中，光源321置于透鏡離開323和傳感器320的位置。在另一簡化配置中，如圖3C所示，可去除光源，通過透鏡323將從對象表面反射出的環(huán)境光聚焦到傳感器320上。
從而，結(jié)合于攝像機(jī)中的組件的變化或其替代可以與本發(fā)明的諸方面相一致的方式被采用。例如，攝像機(jī)和/或墨盒的位置和/或定向可與圖2所示的不同，以允許使用各種攝像機(jī)和/或墨水配置和定向。例如，攝像機(jī)304或其任一組件可位于為墨盒提供的開口的附近，而不是如所示的那樣位于同一開口處。作為另一例子，攝像機(jī)304可位于輸入設(shè)備的中央，并且墨盒位于攝像機(jī)的一側(cè)。類似地，光源321可結(jié)合于收容攝像機(jī)的剩余組件的結(jié)構(gòu)中，或者一個(gè)或多個(gè)組件可與其它組件分開。此外，還可使用光源和/或光學(xué)系統(tǒng)，利用其它結(jié)構(gòu)和/或軟件，或按需對所例示的組件進(jìn)行修改，來提供光投影特征。
在正常的光學(xué)設(shè)計(jì)中，光軸通過圖像傳感器和透鏡的FOV(視場)的中心，光軸幾乎與輸入設(shè)備外殼平行。當(dāng)輸入設(shè)備垂直于紙面時(shí)，光學(xué)性能最佳，因?yàn)槌上駛鞲衅髌矫媾c表面平面平行。然而，用戶通常傾斜地或以一仰角使用筆，而并非是90°。因此，透視效應(yīng)將限制輸入設(shè)備的使用，如果以接近于90度角度手持輸入設(shè)備時(shí)，輸入設(shè)備才工作。當(dāng)用戶希望在已經(jīng)書寫了墨水的區(qū)域上寫上什么的時(shí)候，就產(chǎn)生了在已存的墨水上書寫的問題。需要特殊的處理來處理該問題，因?yàn)槊詫m圖(maze pattern)會被用戶最初寫的所覆蓋。用于輸入設(shè)備的視場偏移系統(tǒng)處理透視效應(yīng)，IR(紅外)照明處理在已存在的墨水上書寫的問題。IR照明可用于捕捉被任何非碳內(nèi)容覆蓋的迷宮圖。
圖4說明了輸入設(shè)備400的成像系統(tǒng)的實(shí)施例。輸入設(shè)備400可包括32×32像素CMOS成像傳感器410。系統(tǒng)目標(biāo)可以是迷宮圖平面的5mm×5mm區(qū)域。當(dāng)用戶書寫或涂寫時(shí)，在輸入設(shè)備400和表面平面之間存在傾角和仰角，以筆尖作為支撐點(diǎn)。許多用戶一般不會以90度的角度握筆。因此，本發(fā)明的成像系統(tǒng)設(shè)計(jì)成滿足在某一傾角/仰角范圍(如50°至90°)足夠的圖像質(zhì)量要求。
表1標(biāo)識了本發(fā)明的一個(gè)實(shí)施例的透鏡要求。攝像機(jī)捕獲的圖像的大小(32像素×32像素)攝像機(jī)捕獲的表面平面上的區(qū)域的大小(5mm×5mm)，在本申請中稱為視場共軛距離小于30mm成像平面的失真小于3.5％分辨率高于12lp/mm(每毫米的線對數(shù))放大率0.385(檢測器尺寸/FOV尺寸)聚焦深度(DOF)65°±15°(以筆尖作為支撐點(diǎn)的傾角)照明在成像平面中近似均勻 表1——成像系統(tǒng)的透鏡要求 如圖4所示，輸入設(shè)備400可用于與表面平面的可變的傾角中。因此，在系統(tǒng)設(shè)計(jì)中，65°的傾角示為設(shè)計(jì)角度。在輸入設(shè)備400的這種姿態(tài)中，光學(xué)系統(tǒng)更有效。如圖4所示，圖像傳感器410的實(shí)際視場440是透鏡配置結(jié)構(gòu)420的全部視場450的一部分，在成像系統(tǒng)的實(shí)際軸和透鏡430的主光軸之間存在角度。成像系統(tǒng)的軸近似與筆的軸平行，即，成像系統(tǒng)的軸應(yīng)該相對于表面平面為大約65°～70°。
在設(shè)計(jì)角度上，透鏡配置結(jié)構(gòu)420的光軸430垂直于成像平面，而圖像傳感器的視場偏離于光軸430，如圖5所描繪的那樣。視場中心離光軸的距離大約是7.44mm，產(chǎn)生相對于成像平面大約69.5°的傾角。視場偏移設(shè)計(jì)能夠降低透視效應(yīng)，因?yàn)樵谡５脑O(shè)計(jì)角度條件中，成像平面幾乎與紙面相平行，即，當(dāng)以大約65°的角度手持輸入設(shè)備時(shí)，透視非常小(小于3.5％)。本領(lǐng)域的技術(shù)人員應(yīng)理解上述大約65°的示例性設(shè)計(jì)角度僅僅是一個(gè)例子，根據(jù)本發(fā)明可使用其它角度。
透鏡配置結(jié)構(gòu)420可以是三元件系統(tǒng)，由一偶對透鏡(doublet lens)和一單透鏡組成。選擇適當(dāng)?shù)目讖綌?shù)以考慮到聚焦深度和圖像的亮度。整個(gè)光學(xué)系統(tǒng)可使用加利福尼亞州圣地亞哥市的ZEMAX設(shè)計(jì)軟件來優(yōu)化，以獲得良好的分辨率和可接受的失真。
在光學(xué)系統(tǒng)設(shè)計(jì)中常常低估圖像質(zhì)量的照明效果。適當(dāng)?shù)恼彰鞣桨改軌蛱岣邎D像對比度和分辨率，改善整個(gè)系統(tǒng)的性能。光源可由單個(gè)發(fā)光二極管(LED)、LED陣列或其它發(fā)光設(shè)備組成。光源可提供白光、單色光或多色光。照明組件還可包括一個(gè)或多個(gè)光學(xué)設(shè)備，用于將來自光源的光聚焦到被掃描的表面上，并盡可能使亮度均勻。
圖6說明了根據(jù)本發(fā)明的至少一個(gè)方面的IR LED照明光學(xué)系統(tǒng)。通過膜，兩個(gè)LED 610發(fā)射的光直接透射到平面表面620。兩個(gè)LED照亮的區(qū)域重疊630，該區(qū)域大于攝像機(jī)的FOV 640。在一個(gè)實(shí)施例中，可選擇850nm IR LED 610作為光源。表面620上的照明的特征是可由非碳墨水覆蓋的圖案，即IR LED 610的IR光可穿過墨水層，使得表面620上書寫的墨水不會影響CMOS傳感器捕捉的圖像。而且，單個(gè)光譜能夠提高圖像質(zhì)量。漫反射膜可置于IR LED 610的前端，以提高光的均勻性。FOV由兩個(gè)LED 610以兩個(gè)方向照明，以獲得足夠的亮度，以及在整個(gè)表面620上盡可能獲得均勻的亮度。
包括透鏡、成像傳感器以及光源的成像系統(tǒng)可位于墨盒附近，如圖4所描繪的那樣。具有力敏感組件和成像系統(tǒng)組件的墨盒可結(jié)合于一機(jī)械組件中。來自接觸于平面的筆尖的壓力可用于打開/關(guān)閉圖像采樣，并提供用于數(shù)字墨水恢復(fù)的厚度參考。因此，對于壓力敏感組件來說，一個(gè)問題是設(shè)計(jì)一種有效的和強(qiáng)健的力傳遞系統(tǒng)，能夠當(dāng)筆尖上下移動時(shí)靈敏地檢測出筆尖壓力和自動彈回(resile)。如圖7A所示，力傳感系統(tǒng)710提供精確可靠的力傳感性能。系統(tǒng)710通過不銹鋼球720將力直接集中于硅傳感元件730。如圖7B所示，示出了一種基于具有彈簧的滑塊的有效的壓力傳遞系統(tǒng)。彈簧740用于緩沖壓力并將墨盒760彈回到原位。微動調(diào)制旋鈕750用于設(shè)置力閾值。旋鈕750位于滑塊770之外的長度可用于確定彈簧740的壓縮范圍。設(shè)計(jì)的力范圍是0kg到4.5kg?？墒褂镁€性運(yùn)算放大器和12位串行A/D變換器來對力進(jìn)行采樣。敏感壓力檢測以及12位的精確度使得輸入設(shè)備能夠連同墨水厚度一起記錄筆劃。表2-8提供了關(guān)于本發(fā)明的透鏡的一個(gè)實(shí)施例的附加信息。圖8提供了伴隨著如下所示的表6和7的附加信息。表面停止105系統(tǒng)孔徑玻璃類別光線對準(zhǔn)圖像空間F/#＝6.5schott newchi～1旁軸基準(zhǔn)，Cache onX光瞳偏移Y光瞳偏移Z光瞳偏移000變跡法(Apodization)有效焦距有效焦距后焦距總軌跡(total track)均勻，因數(shù)＝0.00000E+0005.317697(系統(tǒng)溫度和壓力下空氣中)5.317697(圖像空間中)5.18726227.07951圖像空間F/#旁軸加工F/#加工F/#圖像空間NA對象空間NA停止半徑6.520.1999819.550020.024744920.068920860.3888333旁軸圖像高度旁軸放大率 10.5 -2.791037入口光瞳直徑入口光瞳位置 0.8181072 5.000273出口光瞳直徑出口光瞳位置 1.083351 -21.74014場類型最大 場 初波 角度放大率場 以毫米為單位的旁軸圖像高度 10.5 0.545 0.7551635 5透鏡單位 毫米 表2——一般透鏡數(shù)據(jù)#X值Y值權(quán)重10.0000000.0000000.02000020.0000005.0000001.50000030.0000007.5000001.00000040.00000010.0000001.00000050.00000010.5000001.000000表3——場類型旁軸圖像高度(單位毫米)#VDXVDYVCXVCYVAN10.0000000.0000000.0000000.0000000.00000020.0000000.0000000.0000000.0000000.00000030.0000000.0000000.0000000.0000000.00000040.0000000.0000000.0000000.0000000.00000050.0000000.0000000.0000000.0000000.000000 表4——遮光系數(shù)#值權(quán)重10.4500001.00000020.5450001.00000030.6180001.000000 表5——波長3 單位微米表面 (Surf) 類型 注釋 半徑 厚度 玻璃 直徑 圓錐 (Conic)0BJ 標(biāo)準(zhǔn) 無限 0.920734 7.52408601 標(biāo)準(zhǔn) 無限 0.53 CBAK6 6.47713702 標(biāo)準(zhǔn) 無限 4.23389 6.12520403 標(biāo)準(zhǔn) 5.931 0.7 CLAF2 2.404 標(biāo)準(zhǔn) -4.36 0 2.40ST0 標(biāo)準(zhǔn) 無限 0.32 0.777666606 標(biāo)準(zhǔn) -1.7 0.55 CZF2 1.04922507 標(biāo)準(zhǔn) 11.56 0.08 2.408 標(biāo)準(zhǔn) -9.45 0.78 CLAK3 1.6966609 標(biāo)準(zhǔn) -1.95 19.88562 2.40IMA 標(biāo)準(zhǔn) 無限 21.063870 表6——表面數(shù)據(jù)概述表面(Surf)邊緣0BJ0.92073410.53000024.53655430.40894640.168389ST00.23702960.6954247-0.02060780.405197920.298575IMA0.000000 表7——邊緣厚度數(shù)據(jù)焦距，f5.52mm共軛長度28mmF#19.5光波長456，546，650nm表8——透鏡的技術(shù)規(guī)范 為了幫助輸入設(shè)備的檢測和/或定位，輸入設(shè)備所置于的對象的表面可包括指示出表面的區(qū)域的相對位置的圖像數(shù)據(jù)。在一個(gè)示例性實(shí)施例中，被掃描的表面可包括主計(jì)算機(jī)或其它外部計(jì)算設(shè)備的顯示器，它對應(yīng)于桌面型計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板PC、個(gè)人數(shù)據(jù)助理、電話機(jī)、數(shù)字?jǐn)z像機(jī)的監(jiān)視器或可顯示信息的任何設(shè)備。因此，在平板PC上生成的空白文檔或其它圖像可包括對應(yīng)于表示文檔的該部分在整個(gè)文檔中或相對于圖像的任何其它部分的相對位置的代碼的數(shù)據(jù)。信息可由圖像組成，圖像可包括字母數(shù)字字符、編碼圖案、或可用于指示相對位置的圖像數(shù)據(jù)的任何可辨認(rèn)的圖案。選擇用于指定對象的表面中的區(qū)域的位置的圖像可取決于結(jié)合在攝像機(jī)中的掃描設(shè)備的靈敏度，如傳感器的像素分辨率，和/或包含于被掃描的表面中的圖像數(shù)據(jù)的像素分辨率。從對象中提取的位置信息然后可被用于跟蹤輸入設(shè)備在對象上的移動。使用該信息，可精確地生成電子墨水或?qū)?yīng)于輸入設(shè)備的移動的其它信息。位置信息可用于檢測輸入設(shè)備所作用的圖像內(nèi)的位置，以及可提供輸入設(shè)備在對象表面上的移動的指示。所產(chǎn)生的信息可用于與文字處理軟件交互，以例如在文檔中生成變化。
在備擇實(shí)施例中，與輸入設(shè)備結(jié)合使用的對象可由例如在背景中具有位置信息的紙組成。位置信息可結(jié)合于任何形式的代碼、光學(xué)呈現(xiàn)、或其它形式中，可由與輸入設(shè)備相關(guān)聯(lián)的傳感器感測到，并用于表示紙上的特定點(diǎn)的相對位置。
圖9說明了用于對文檔的位置進(jìn)行編碼的示例性技術(shù)。在該例子中，圖像的背景可包括窄線，當(dāng)大批量地觀看這些窄線時(shí)，它們呈現(xiàn)出迷宮圖。迷宮圖設(shè)計(jì)中的每組窄線包括具有唯一定向和相對位置的若干窄線，例如，可指示出迷宮圖的該部分相對于文檔的其它部分的位置?？筛鶕?jù)許多解碼方案進(jìn)行對所捕獲的圖像中發(fā)現(xiàn)的迷宮圖的解碼。在一個(gè)實(shí)施例中，可對某種配置安排和組織的線進(jìn)行解碼以生成位置信息。在另一實(shí)施例中，可通過從對應(yīng)于經(jīng)采樣的圖案的圖像提取的代碼，使用該代碼在包含識別該區(qū)域的位置的數(shù)據(jù)的查找表中進(jìn)行尋址，來得出所捕獲的數(shù)據(jù)的位置的指示。提供對采用迷宮圖的編碼技術(shù)的參考僅僅是處于示例性的目的，還可與本發(fā)明的諸方面相一致地使用其它有源編碼技術(shù)，包括但不限于通過引用而結(jié)合于此的2002年10月31日提交的題為“Active Embedded Interaction Code”的美國專利申請序列號10/284,412中的視覺編碼技術(shù)。
即使沒有位置代碼，也可對圖像傳感器捕獲的圖像進(jìn)行分析以確定輸入設(shè)備在圖像捕獲時(shí)的位置?？墒褂眠B續(xù)的圖像來計(jì)算輸入設(shè)備在不同時(shí)刻的相對位置。該信息的相關(guān)可產(chǎn)生輸入設(shè)備在基板上的精確軌跡。使用該軌跡信息，例如可生成精確地表示手寫筆劃的電子墨水。
圖10提供了可從中生成電子墨水的軌跡圖案的說明。在該例子中，首先捕獲的圖像可包含指示輸入設(shè)備在第一時(shí)刻t1時(shí)的第一位置p1的一部分迷宮圖。接著捕獲的圖像可包含一部分經(jīng)編碼的圖像數(shù)據(jù)，在該例子中該部分是另一部分迷宮圖，提供了時(shí)刻t2時(shí)第二位置p2的位置信息。第三次捕獲的圖像可包含第三部分的迷宮圖，從而指示出輸入設(shè)備在時(shí)刻t3時(shí)處于第三位置p3的定位。使用該數(shù)據(jù)，三個(gè)點(diǎn)可指示出輸入設(shè)備從t1至t3的軌跡。使用算法來估計(jì)輸入設(shè)備所描繪的上墨圖案，可產(chǎn)生電子墨水。所使用的算法的復(fù)雜性可指示出所生成的墨水的精確性。例如，基本的上墨算法可簡單地以不變的厚度用直線連接各點(diǎn)。以先前的采樣點(diǎn)、采樣間的時(shí)間或表示輸入移動的速度或加速度的其它數(shù)據(jù)、或任何其它相關(guān)數(shù)據(jù)為因數(shù)的算法可提供更精確地表示輸入設(shè)備的實(shí)際移動的墨水(例如通過其它傳感器)。
攝像機(jī)304進(jìn)行的光學(xué)掃描可生成為確定輸入設(shè)備在各時(shí)刻的位置而必須的數(shù)據(jù)，可使用該信息來生成電子墨水。在一個(gè)說明性的實(shí)施例中，在時(shí)刻t1捕獲的圖像與在時(shí)刻t2捕獲的圖像進(jìn)行的比較可提供指示出在t1至t2期間筆從一個(gè)點(diǎn)移動到另一個(gè)點(diǎn)的移動距離。這兩個(gè)點(diǎn)的數(shù)據(jù)和/或移動的相對距離可隨后用于生成輸入設(shè)備的移動軌跡，用于生成表示手寫筆劃的電子墨水。比較兩個(gè)或多個(gè)圖像或所捕獲的圖像的諸部分，以計(jì)算相對移動，這可通過不同的分析來完成。在該情況下，例如，在不止一個(gè)圖像中出現(xiàn)的特征可進(jìn)行比較，特征從這些圖像的一個(gè)位置到另一個(gè)位置的相對移動可提供出筆的移動的精確指示。如果使用不規(guī)則的采樣周期，可修改處理算法來補(bǔ)償采樣周期中的變化，以更精確地指示出輸入設(shè)備的移動與每次移動所要求的實(shí)際時(shí)間之間的相關(guān)性。指示運(yùn)動速度的信息可助于生成適當(dāng)厚度的墨水。
根據(jù)這種實(shí)施例，輸入設(shè)備所移動的表面可包括計(jì)算設(shè)備的顯示器、鼠標(biāo)墊、桌面、或任何非均勻的反射表面，從這些表面可提取指示出輸入設(shè)備在該表面上移動的對象或圖像數(shù)據(jù)。處理所捕獲的圖像數(shù)據(jù)的尋跡算法可以是固定的，或可隨著所捕獲的圖像的特征而變化。使用簡單的尋跡算法，例如，處理器可檢測桌面的木料中的顆粒，并且，根據(jù)對攝像機(jī)捕獲的一系列圖像的比較，可使用連續(xù)圖像中顆粒的某些特定圖案的相對位置來確定輸入在各時(shí)刻的位置和/或輸入設(shè)備在該表面上的相對移動。在圖像中的特征難于辨認(rèn)以及圖像更為均勻的情況下，要求更為復(fù)雜的尋跡算法?？膳c本發(fā)明的諸方面相一致地采用備擇的被動編碼技術(shù)，包括但不限于通過引用而結(jié)合于此的2002年10月31日提交的題為“Passive Embedded Interaction Code”的美國專利申請序列號10/284,451中的編碼技術(shù)。
圖11A示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的系統(tǒng)的硬件架構(gòu)。將使用相同的參考標(biāo)號表示在先前的實(shí)施例中所描述的相同的或相關(guān)的組件。處理器1106可包括用于執(zhí)行與本發(fā)明的各方面相關(guān)聯(lián)的功能的任何已知的處理器。例如，處理器可包括FPSLIC AT94S40，可由具有AVR核心的FPGA(現(xiàn)場可編程門陣列)組成。該特定器件可包括20MHz的時(shí)鐘，并以20 MIPS的速度工作。當(dāng)然，對用于輸入設(shè)備1101的處理器的選擇可由系統(tǒng)的成本和/或處理速度要求來規(guī)定。如果圖像分析在輸入設(shè)備內(nèi)進(jìn)行，則處理器1106可進(jìn)行圖像分析?？蛇x地，處理可由第二處理器進(jìn)行，如結(jié)合于設(shè)備1101中的數(shù)字信號處理器(DSP)。處理器1106可進(jìn)一步工作來執(zhí)行降低功耗的關(guān)鍵步驟，以節(jié)省電源1109中的電力，例如當(dāng)輸入設(shè)備不活動時(shí)關(guān)閉各種組件的電源，這可基于指示設(shè)備的移動和/或定位的數(shù)據(jù)。處理器1106還可工作來校準(zhǔn)和調(diào)整各種組件的性能，例如包括調(diào)節(jié)光源的強(qiáng)度或調(diào)節(jié)攝像機(jī)的傳感陣列的靈敏度。處理器或耦合的數(shù)字信號處理器還可從多個(gè)存儲的圖像處理算法中進(jìn)行選擇，并可根據(jù)例如與設(shè)備所移動的表面相關(guān)聯(lián)的特征來控制選擇最適合于檢測移動的圖像分析算法。從而，可根據(jù)編制在輸入設(shè)備中的性能考慮來自動地選擇圖像處理算法?？蛇x地，可根據(jù)用戶的輸入來控制輸入設(shè)備和建立設(shè)置，用戶的輸入例如通過力傳感器的動作或輸入設(shè)備的輸入，或根據(jù)對應(yīng)于命令的手寫筆劃。
在一個(gè)實(shí)施例中，存儲器1107可包括一個(gè)或多個(gè)RAM、ROM、閃存、或用于存儲數(shù)據(jù)、存儲用于控制設(shè)備的軟件或存儲用于處理數(shù)據(jù)的軟件的存儲設(shè)備。如所述，表示位置信息的數(shù)據(jù)可在輸入設(shè)備1101中被處理，并可存儲在存儲器1107中，以傳送到主計(jì)算機(jī)1120。可選地，捕獲的圖像數(shù)據(jù)可緩存于輸入設(shè)備1101中的存儲器1107中，用于傳送到主設(shè)備1120進(jìn)行處理或其它。
收發(fā)機(jī)或通信單元可包括發(fā)送單元和接收單元。如所述，表示輸入設(shè)備的移動的信息，可處理成適合于生成和/或顯示電子墨水的形式或其它，可傳送到諸如前述的桌面型計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板PC、個(gè)人數(shù)字助理、電話機(jī)或用戶輸入和電子墨水可能有用的其它此類設(shè)備之類的主計(jì)算機(jī)1120。收發(fā)機(jī)可使用任何無線通信技術(shù)與外部設(shè)備通信，包括用于進(jìn)行短距無線通信的藍(lán)牙技術(shù)、紅外通信、或蜂窩網(wǎng)或其它長距無線技術(shù)。可選地，收發(fā)機(jī)可通過對主計(jì)算機(jī)的直接鏈路來控制數(shù)據(jù)的傳送，諸如通過USB連接，或通過與對接支架(docking cradle)的連接間接地進(jìn)行。輸入設(shè)備還可使用專用連接而硬連線至某一主計(jì)算機(jī)。收發(fā)機(jī)還可用于接收信息和/或軟件，在一個(gè)實(shí)施例中，該信息和/或軟件可用于改善輸入設(shè)備的性能。例如，可通過先前描述的技術(shù)中的任何一種技術(shù)上傳用于處理器的控制功能的更新的程序信息。而且，還可把軟件傳送到輸入設(shè)備，包括用于分析圖像數(shù)據(jù)的軟件和/或用于校準(zhǔn)輸入設(shè)備的軟件，可從外部設(shè)備下載。
處理器1106可按照交互作用模型工作。可以軟件的形式實(shí)現(xiàn)交互作用模型，用于保持一致的經(jīng)驗(yàn)，其中生成電子墨水而與外部設(shè)備無關(guān)，外部設(shè)備的單元執(zhí)行輸入設(shè)備的功能。交互作用模型可處理捕獲的數(shù)據(jù)，用于轉(zhuǎn)換成通用于任何數(shù)量的主設(shè)備的形式，這些主設(shè)備包括桌面型計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板PC、個(gè)人數(shù)據(jù)助理、電話機(jī)、白板、或可存儲、顯示或記錄通過輸入設(shè)備輸入的數(shù)據(jù)的任何設(shè)備。處理器1106可識別連接的設(shè)備，或表示手寫輸入的數(shù)據(jù)所要送往的設(shè)備，根據(jù)這些識別，選擇將輸入數(shù)據(jù)轉(zhuǎn)換成適用于識別出的特定設(shè)備的形式的處理。在該情況下，轉(zhuǎn)換成有用于每個(gè)潛在的接收計(jì)算設(shè)備的形式的轉(zhuǎn)換將包含于輸入設(shè)備中，并按需可用。如果設(shè)備是無線或有線連接的，可按照設(shè)備之間的通信的結(jié)果而獲得對預(yù)期的接收設(shè)備的識別?？蛇x地，用戶可直接輸入數(shù)據(jù)所要送往的設(shè)備的身份。當(dāng)然，如果輸入設(shè)備包括顯示器，可使用適用于顯示器使用的和/或多個(gè)其它設(shè)備使用的默認(rèn)的處理算法來處理數(shù)據(jù)。
圖11B示出了根據(jù)本發(fā)明的至少一個(gè)方面的系統(tǒng)的另一硬件架構(gòu)。該硬件架構(gòu)可以是一套印刷電路板(PCB)和運(yùn)行于PCB上的固件。該套PCB的組件包括雙核心架構(gòu)組件1150、另一輸入傳感器單元1160、圖像捕捉單元1170、通信組件1180、音頻單元1155、用戶接口單元1190、存儲器1186、邏輯控制1187、以及硬件加速組件1188。本領(lǐng)域的技術(shù)人員應(yīng)理解下面所述的電路板及其描述并非本發(fā)明所必需的，可將其一個(gè)或多個(gè)組件包含于本發(fā)明中用于本發(fā)明的操作。
雙核心架構(gòu)組件1150包括RISC(精簡指令集計(jì)算機(jī))或GPP(通用處理器)1151，用于運(yùn)行諸如Windows CE之類的嵌入式OS(操作系統(tǒng))。DSP(數(shù)字信號處理器)1152負(fù)責(zé)運(yùn)行算法，如圖像處理、迷宮圖分析和m陣列(m-array)解碼。兩個(gè)核心可以是兩個(gè)不同的芯片或內(nèi)建于一個(gè)芯片中。MCU/RISC/GPP組件1151可具有同時(shí)工作的多個(gè)傳感器和A/D(模擬數(shù)字變換)芯片。傳感器和A/D芯片需要同時(shí)被配置和控制。MCU/RISC/GPP組件1151可處理系統(tǒng)控制、計(jì)算、以及通信，因?yàn)镸CU/RISC/GPP組件1151適用于實(shí)時(shí)并行計(jì)算。MCU/RISC/GPP組件1151的一個(gè)例子可包括三個(gè)芯片來自加利福尼亞州圣何塞市的Xilinx公司的FPGA芯片XCV50CS144，具有50K個(gè)邏輯門和96個(gè)用戶IO；來自加利福尼亞州圣何塞市的Xilinx公司的配置PROMXC18V01；以及來自來自加利福尼亞州圣何塞市的CYPRESS公司的32K×8 SRAM(靜態(tài)RAM)，作為用于計(jì)算的緩存器。
DSP(數(shù)字信號處理器)組件1152可由兩個(gè)芯片組成。TMS320VC5510是來自德克薩斯州達(dá)拉斯市的德州儀器(TI)的高性能、低功耗、定點(diǎn)DSP芯片。這樣一種芯片非常適用于移動計(jì)算設(shè)備。該芯片用于計(jì)算以恢復(fù)用戶書寫的筆劃。DSP組件1152的第二個(gè)芯片可以是來自加利福尼亞州桑尼維爾市的SST的16M位的多目的閃存存儲器。該非易失性、可靠地、緊湊存儲芯片用于存儲DSP固件和計(jì)算結(jié)果。
兩個(gè)輸入單元包括另一輸入傳感器單元1160和圖像捕捉單元1170。這些單元產(chǎn)生分別輸出到雙架構(gòu)組件1150的力和圖像信號。所述另一輸入傳感器單元1160可包括來自新澤西州莫里森鎮(zhèn)的Honeywell的力傳感器芯片1161FSL05N2C、來自加利福尼亞州桑尼維爾市MAXIM的測量放大器1163MAX4194、以及來自加利福尼亞州桑尼維爾市MAXIM的12位串行A/D變換器1162。所述另一輸入傳感器1160配置來以12位的精度、以多達(dá)大約每秒100K個(gè)采樣的速率感測細(xì)微的力變化。需要精確的力數(shù)據(jù)來指示出輸入設(shè)備是否正被用于書寫、或用戶在書寫時(shí)如何推動輸入設(shè)備。圖像捕捉單元1170可包括來自日本東京市的松下公司的32×32像素圖像傳感器芯片1171MF64285FP、來自德克薩斯州達(dá)拉斯市的德州儀器的8位A/D變換器1172TLV571、以及邏輯控制組件1173。圖像捕捉單元1170可以以多至336fps(每秒幀數(shù))的速率捕捉圖像。選擇最小32×32像素分辨率的圖像傳感器，因?yàn)檩^低的分辨率不能捕捉到足夠的特征用于處理。圖像傳感器1171是高速的、小型的、低功耗的圖像傳感器。圖像捕捉單元1170可包括用于從多個(gè)區(qū)域捕捉圖像數(shù)據(jù)的額外的傳感器。例如，采用兩個(gè)圖像傳感器1171的輸入設(shè)備可用于連同白板的操作。一個(gè)圖像傳感器1171可配置成捕捉表示用戶書寫的數(shù)據(jù)。第二圖像傳感器1171可配置成掃描白板筆的指示器，如條形碼。在這樣一個(gè)例子中，白板筆的條形碼可包括與白板筆的顏色和/或厚度相適合的信息。第二圖像傳感器1171可捕獲該數(shù)據(jù)來識別出用戶正在使用藍(lán)色的白板筆，且厚度為1.5cm。
通信組件1180可包括WML-C09芯片1181和天線。WML-C09芯片是來自日本東京市三菱公司的第二類(Class 2)藍(lán)牙模塊。藍(lán)牙芯片使得輸入設(shè)備能夠以720Kbps(每秒比特?cái)?shù))或每秒100幀的速率、在10米的范圍內(nèi)與主PC進(jìn)行通信。藍(lán)牙是低成本、低功耗的電纜替代方案，行業(yè)內(nèi)有廣泛的支持，適用于本發(fā)明的使用。每個(gè)藍(lán)牙模塊分配有特定的和/或唯一的藍(lán)牙地址，可用于識別輸入設(shè)備本身。通信組件1180可包括USB端口1182和UART組件1183。
電源管理組件1185設(shè)計(jì)成從供電的鋰離子電池產(chǎn)生所有必要的電壓，例如5V、3.3V、2.5V、1.6V。5V供電可由圖像傳感器1171和力傳感器1161使用。2.5V供電可由MCU/RISC/GPP組件1151使用，作為內(nèi)部電源。1.6V供電可由DSP組件1152使用，作為內(nèi)部電源。3.3V供電可由諸如通信組件1180之類的其它組件使用。節(jié)電組件1186節(jié)省電池電源的工作壽命，充電組件1187對輸入設(shè)備的電池電源充電。還設(shè)計(jì)過放電保護(hù)來防止電池?fù)p壞。電池電源管理組件可包括下列芯片來自德克薩斯州達(dá)拉斯市的德州儀器的USS3952PW-1和來自加利福尼亞州桑尼維爾市的MAXIM的MAX9402S08，一起實(shí)現(xiàn)過放電保護(hù)；來自德克薩斯州達(dá)拉斯市的德州儀器的TPS60130PWP，產(chǎn)生5V供電輸出；來自德克薩斯州達(dá)拉斯市的德州儀器的TPS62006DGSR，產(chǎn)生2.5V供電輸出；來自德克薩斯州達(dá)拉斯市的德州儀器的TPS62000DGSR，產(chǎn)生1.6V供電輸出；以及來自德克薩斯州達(dá)拉斯市的德州儀器的TPS62007DGSR和/或來自德克薩斯州達(dá)拉斯市的德州儀器的TPS79333，產(chǎn)生3.3V供電輸出。
音頻單元1155提供輸入設(shè)備的組件的音頻接口。音頻單元1155可包括內(nèi)建的音頻播放系統(tǒng)，諸如MP3播放器。話筒1156允許在使用輸入設(shè)備時(shí)記錄話音。揚(yáng)聲器1157可從包括內(nèi)建的和/或外部的MP3播放器、多媒體文件、音頻文件、和/或某些其它音頻源的各種源輸出音頻。蜂鳴器1158可以是用于用戶的聲音指示器，如非法操作指示器和/或低電池電源指示器。
用戶接口單元1190提供各種用戶接口元件用于與用戶的通信。電源按鈕1191允許用戶打開或關(guān)閉輸入設(shè)備，并可配置成進(jìn)入睡眠模式、低功率模式用于節(jié)省電池電源。功能按鈕/開關(guān)1192可用作為對輸入設(shè)備的命令輸入。功能按鈕/開關(guān)可以是用于選擇輸入設(shè)備操作的應(yīng)用程序中的元素的啟動按鈕。指示器1193可以是LED(發(fā)光二極管)和/或其它光輸出，用于與用戶視覺通信。指示器1193可改變色彩、強(qiáng)度和/或脈沖率。例如，當(dāng)輸入設(shè)備轉(zhuǎn)變到低電源模式時(shí)，指示器1193可改變色彩。LCD(液晶顯示器)1194可以是小型顯示器，向用戶輸出視覺信息。例如，LCD 1194可通過在顯示器上示出“低電池電力”指示出用戶接口上的電池電源低。筆投影(pen projection)1195允許將圖像投影到表面上。筆投影1195向輸入設(shè)備的用戶提供額外的視覺信息。
存儲器1186允許存儲各種類型的信息，包括力傳感器1161和圖像傳感器1171數(shù)據(jù)和用于用戶界面可操作的某一應(yīng)用程序的操作指令。邏輯控制1187可用于控制外圍設(shè)備。邏輯控制1187可以是FPGA或CPLD(復(fù)雜可編程邏輯器件)。硬件加速單元1188可配置成對算法加速以便提高輸入設(shè)備的計(jì)算效率。
如圖12所示，除了以相同的參考標(biāo)號表示的先前描述的組件之外，輸入設(shè)備1201還可包括一個(gè)或多個(gè)慣性傳感器1215，用于感測筆移動、位置或定向。例如，輸入設(shè)備1201可包括陀螺儀，用于提供表示筆在多個(gè)方向中的角速度的數(shù)據(jù)。輸入設(shè)備1201可包括一個(gè)或多個(gè)加速計(jì)、或加速計(jì)組，測量加速度或筆上的重力。還可使用磁傳感器通過檢測地磁場的測量中的變化來測量筆的移動來獲得表示筆的移動的數(shù)據(jù)，在這里按照慣性傳感器來描述磁傳感器，因?yàn)樗鶕?jù)圖像數(shù)據(jù)之外的數(shù)據(jù)來檢測輸入設(shè)備的移動。來自結(jié)合于輸入設(shè)備或與輸入設(shè)備相結(jié)合的任一慣性傳感器(可包括陀螺儀、加速計(jì)、磁傳感器、用于測量輸入設(shè)備的移動的指示元件或任何設(shè)備)的數(shù)據(jù)可用于與來自攝像機(jī)的數(shù)據(jù)相組合，以獲得表示輸入設(shè)備的移動或定位的數(shù)據(jù)，從而產(chǎn)生用于生成電子墨水的數(shù)據(jù)。
如所述，輸入設(shè)備所位于的和/或移動的對象的表面可包括經(jīng)編碼的圖像數(shù)據(jù)，指示出該表面中每個(gè)區(qū)域的位置或相對位置。該對象可包括諸如膝上型計(jì)算機(jī)之類的計(jì)算設(shè)備的顯示器。在一個(gè)實(shí)施例中，可從存儲器中調(diào)出文檔，并顯示在顯示器上。嵌入于該文檔中(如嵌入于背景中)的可以是指示出文檔的每個(gè)區(qū)域的位置的位置編碼信息(lie coded information)。例如，文檔的背景可包括迷宮圖，該圖的足夠大的一部分唯一地識別了整個(gè)文檔中的每個(gè)區(qū)域。即使膝上型計(jì)算機(jī)的顯示器不包括用于檢測輸入設(shè)備在屏幕上的移動的傳感器，輸入設(shè)備也可用于與編碼的位置信息一起組合使用，在規(guī)定的位置上對文檔進(jìn)行注釋或編輯。從而，輸入設(shè)備可作為“有源輸入設(shè)備”，使得與輸入和設(shè)備相關(guān)聯(lián)的傳感器生成指示該設(shè)備的位置或定位的數(shù)據(jù)。
在一個(gè)實(shí)施例中，結(jié)合于輸入設(shè)備之內(nèi)的圖像傳感器捕捉表示輸入設(shè)備所放置和/或移動的顯示屏幕的表面的圖像數(shù)據(jù)。傳感器捕捉包括指示出輸入設(shè)備的相對位置的位置代碼的圖像。隨著用戶移動顯示的圖像，在所顯示的電子文檔上輸入注釋和/或作出編輯，輸入設(shè)備生成表示這些輸入的信號和表示這些輸入所結(jié)合于的文檔中的位置的數(shù)據(jù)。使用輸入設(shè)備代替鼠標(biāo)還可影響對膝上型計(jì)算機(jī)的控制，或執(zhí)行其它標(biāo)準(zhǔn)輸入功能，包括光標(biāo)的移動和選擇的激活。
輸入設(shè)備可連同文字處理軟件一起使用，以通過例如刪除文本和插入新文本來編輯文檔。為了編輯顯示在計(jì)算設(shè)備的屏幕上的文檔，用戶將輸入設(shè)備置于屏幕上所需的位置上。為了刪除文本，用戶可將輸入設(shè)備置于貼近屏幕，以劃去所顯示的文本的圖像的方式移動設(shè)備。通過感測位置代碼，圖像可被處理來確定筆以劃去方式移動，并識別出對應(yīng)于用戶移動的輸入設(shè)備的位置的文本。因此，可使用輸入來刪除數(shù)據(jù)。
接著，用戶可能希望插入新的文本。以類似的方式，用戶可在要插入新文本的位置處繪制用于插入文本的符號，例如“套邊(carrot)”或反轉(zhuǎn)的“V”。用于將輸入轉(zhuǎn)換成存儲于主計(jì)算機(jī)的輸入設(shè)備中的圖像數(shù)據(jù)和/或命令的處理軟件將該符號識別為一控制信號，用于插入文本。利用輸入設(shè)備的幫助，用戶可用手寫入要插入的文本。
在備擇實(shí)施例中，用戶可添加注釋，利用高亮來指示出該注釋所適合的原始文本。例如，用戶可能使用顯示在屏幕上的下拉菜單或高亮按鈕來選擇要高亮顯示的文本。接著，在選擇要高亮顯示的文本上拖曳輸入設(shè)備。然后，可在顯示屏上與高亮顯示的文本相鄰的位置處書寫與高亮/所選的文本相關(guān)聯(lián)的注釋。當(dāng)操作完成時(shí)，用戶可選擇用于完成注釋輸入而必需的提示(prompt)。對文本的所有這些修改都可使用輸入設(shè)備來產(chǎn)生，而不管顯示器是否包括用于檢測輸入設(shè)備的移動的傳感器。
可以圖像數(shù)據(jù)、電子墨水或轉(zhuǎn)換成文本的數(shù)據(jù)的形式來把對文檔的修改顯示/或結(jié)合于文檔中。將輸入轉(zhuǎn)換成文本的轉(zhuǎn)換可以用戶不可見的方式發(fā)生，使得在屏幕上的文本的顯示中好像按照輸入顯示文本?？蛇x地，用戶的手寫輸入可呈現(xiàn)在文檔中。為了實(shí)現(xiàn)編輯的即時(shí)顯示，可以正在進(jìn)行的方式，把表示筆的移動和這些編輯的位置的信息傳送到膝上型設(shè)備。
在操作中，輸入設(shè)備捕捉輸入設(shè)備所移動的表面的32×32像素分辨率的圖像，以及指示出是否輸入設(shè)備正在被用于書寫或用戶在書寫時(shí)如何用力地推動輸入設(shè)備的12位精度的力數(shù)據(jù)。圖像和力數(shù)據(jù)被封裝成幀。然后，使用藍(lán)牙以多達(dá)每秒100幀的速率無線地傳送連續(xù)的幀流。輸入設(shè)備在通電后開始自動初始化過程，然后轉(zhuǎn)入工作模式或待機(jī)模式。輸入設(shè)備根據(jù)壓力值的放大率在運(yùn)行期間切換模式，即如果壓力值大于給定的閾值則切換到工作模式，否則切換到待機(jī)模式。
在工作于工作模式時(shí)，輸入設(shè)備消耗大約120mA的電流。幀數(shù)據(jù)產(chǎn)生于另一輸入傳感器單元(例如1160)和圖像捕捉單元(例如1170)中，然后輸出到雙核心架構(gòu)(例如1150)。雙核心架構(gòu)接收圖像和力數(shù)據(jù)，將數(shù)據(jù)成幀(圖像壓縮、CRC編碼、時(shí)間戳記、成幀)，并將數(shù)據(jù)傳送到通信單元(例如1180)，用于與主PC通信。通信單元還提供連接到主PC處的直接用于調(diào)試目的RS-232的高速UART(例如1183)。雙核心架構(gòu)1150中的操作包括數(shù)據(jù)成幀、圖像壓縮、時(shí)間戳記、CRC編碼、以及傳輸鏈路控制(通過UART或藍(lán)牙)。
圖13是根據(jù)本發(fā)明的至少一個(gè)方面的通過輸入設(shè)備的雙核心架構(gòu)的數(shù)據(jù)的流程圖。在獲得數(shù)據(jù)時(shí)，在步驟1301發(fā)生圖像和力傳感器數(shù)據(jù)成幀過程。數(shù)據(jù)成幀可配置成通過將來自連續(xù)數(shù)據(jù)流的幀按兩個(gè)“FF”進(jìn)行劃分來開拓有限的藍(lán)牙帶寬。捕獲的圖像和力數(shù)據(jù)在雙核心架構(gòu)中封裝在一起成為數(shù)據(jù)幀。如圖14所示，數(shù)據(jù)幀1400由圖像數(shù)據(jù)(原始數(shù)據(jù)或經(jīng)壓縮的數(shù)據(jù))、力數(shù)據(jù)、時(shí)間戳、壓縮標(biāo)志1410、CRC編碼、幀標(biāo)志組成。
在步驟1302，恒定壓縮率算法將圖像數(shù)據(jù)從每像素8比特壓縮成5或6比特。該壓縮保持穩(wěn)定的傳輸率。該算法原理是預(yù)測+非均勻量化。預(yù)測公式是d＝a+b-c，其中d是預(yù)測的像素值，a、b和c分別是左、上、左上側(cè)的像素。根據(jù)按照雙核心架構(gòu)中的查找表存儲的預(yù)定的方案對預(yù)測值和實(shí)際值之間的余項(xiàng)進(jìn)行量化。步驟1302，可進(jìn)行圖像壓縮以開拓有限的藍(lán)牙帶寬。在步驟1303，一個(gè)28比特的時(shí)間戳從開始以每個(gè)幀進(jìn)行遞增，以特定地和/或唯一地識別每個(gè)數(shù)據(jù)幀。在步驟1304，數(shù)據(jù)幀中的所有數(shù)據(jù)，除了幀標(biāo)志之外，都送入28比特的CRC編碼器。主PC中的接收機(jī)可檢查CRC碼并丟棄錯(cuò)誤的幀。CRC碼確保了所有接收到的幀數(shù)據(jù)都是正確的。
在數(shù)據(jù)流控制期間，在步驟1305，F(xiàn)IFO(先進(jìn)先出)提供2048字節(jié)的緩存器以平衡數(shù)據(jù)生成率和傳輸率。該FIFO緩存器可同時(shí)工作。幀數(shù)據(jù)輸入到FIFO中，并同時(shí)被取出。當(dāng)藍(lán)牙鏈路質(zhì)量低時(shí)，藍(lán)牙組件不能按數(shù)據(jù)生成率那樣快地傳送幀數(shù)據(jù)。如此，必需丟棄某些數(shù)據(jù)以保持幀的完整性。在步驟1306，流控制器實(shí)現(xiàn)自適應(yīng)傳輸幀速率控制，以丟棄額外的幀數(shù)據(jù)。在數(shù)據(jù)傳輸期間，通信單元將幀數(shù)據(jù)傳送到主PC。如果藍(lán)牙控制器用于無線數(shù)據(jù)傳輸，則在步驟1307，發(fā)生從輸入設(shè)備向主PC的藍(lán)牙收發(fā)機(jī)模塊的無線數(shù)據(jù)傳輸?？蛇x地，在步驟1308，可利用UART控制器與主PC的RS-232對接。在雙核心架構(gòu)中實(shí)現(xiàn)高速UART核心，以從雙核心架構(gòu)將數(shù)據(jù)傳送到主PC處的RS-232。該接口可以是用于調(diào)試的測試端口。
在工作于待機(jī)模式時(shí)，輸入設(shè)備消耗大約40mA電流。電池電源管理組件、其它輸入傳感單元、以及圖像捕捉單元可仍然處于工作中。雙核心架構(gòu)關(guān)閉大多數(shù)操作，僅僅監(jiān)控壓力值。通信組件工作于等待模式中。
如所述，還可記錄進(jìn)行輸入的用戶的身份。例如，輸入設(shè)備可生成識別用戶和/或某一特定輸入設(shè)備的信息。該身份信息可附屬于所生成的輸入數(shù)據(jù)?？蛇x地，這種識別數(shù)據(jù)可作為單獨(dú)的信號提供而發(fā)送到主設(shè)備。
圖14示出了根據(jù)本發(fā)明的至少一個(gè)方面的從輸入設(shè)備發(fā)送的示例性數(shù)據(jù)幀結(jié)構(gòu)。每個(gè)輸入設(shè)備由筆ID(PEN ID)和藍(lán)牙組件的藍(lán)牙地址識別。壓縮標(biāo)志1410保持識別數(shù)據(jù)幀中的圖像數(shù)據(jù)所源自的輸入設(shè)備的數(shù)據(jù)(筆ID)。筆ID專用于輸入設(shè)備。缺少用戶登錄輸入系統(tǒng)和用戶專用的登錄名，在先的輸入設(shè)備技術(shù)不具有專用于輸入設(shè)備的識別系統(tǒng)。一個(gè)輸入設(shè)備僅僅被識別為類似類型的任何其它輸入設(shè)備。根據(jù)本發(fā)明的至少一個(gè)方面，壓縮標(biāo)志1410數(shù)據(jù)中的筆ID字段允許多個(gè)輸入設(shè)備同時(shí)工作。這種應(yīng)用在多作者協(xié)作中將是有用的。本領(lǐng)域的技術(shù)人員應(yīng)理解圖像數(shù)據(jù)字段的字節(jié)數(shù)1024、768和640分別表示無壓縮的字節(jié)數(shù)、壓縮到每像素6比特的字節(jié)數(shù)、壓縮到每像素5比特的字節(jié)數(shù)。
在多用戶應(yīng)用中，若干用戶可能同時(shí)或不同時(shí)地對同一文檔進(jìn)行注釋。主PC將接收幀數(shù)據(jù)序列，因?yàn)槊總€(gè)輸入設(shè)備將輸出幀數(shù)據(jù)。通過使用筆ID和/或藍(lán)牙地址提取每個(gè)輸入設(shè)備的幀數(shù)據(jù)，若干個(gè)輸入設(shè)備可同時(shí)地或不同時(shí)地一起工作，如圖15所示。藍(lán)牙技術(shù)允許通過無線數(shù)據(jù)傳輸同時(shí)識別多達(dá)7個(gè)不同的輸入設(shè)備。如圖15所示，輸入設(shè)備1510、1520和1530每個(gè)通過藍(lán)牙通信組件將捕獲的圖像數(shù)據(jù)無線地傳送到主PC。主PC接收數(shù)據(jù)幀1540-1至1540-n的幀序列。主PC能夠通過使用對應(yīng)的輸入設(shè)備1510、1520和1530的筆ID字段和/或藍(lán)牙地址，從數(shù)據(jù)幀的序列中為每個(gè)輸入設(shè)備1510、1520和1530分離出各自的數(shù)據(jù)幀。如此，在多用戶應(yīng)用中，不同的注釋可發(fā)生在同一文檔上，主PC能夠跟蹤哪個(gè)輸入設(shè)備1510、1520或1530產(chǎn)生了哪個(gè)注釋。
雖然上述說明性的實(shí)施例將輸入設(shè)備移動的表面標(biāo)識為膝上型設(shè)備的顯示器，輸入設(shè)備還可使用結(jié)合于輸入設(shè)備在其上移動的任何對象的表面中的代碼來檢測定位。從而，可使用輸入設(shè)備與桌面型計(jì)算機(jī)、平板PC、個(gè)人數(shù)據(jù)助理、電話機(jī)的監(jiān)視器，或可顯示信息的任何設(shè)備的組合來創(chuàng)建和/或編輯結(jié)合了位置編碼的圖像。編碼的信息還可結(jié)合于這種設(shè)備的顯示屏上覆蓋的透明膜片中，或可結(jié)合于可與顯示器組合使用的表面中，包括保護(hù)膜。
編碼的信息還可結(jié)合于書寫表面上或書寫材料上，如紙上，以唯一地識別該表面上的位置。例如，位置信息可結(jié)合于紙張的背景中。如所述，位置信息可包括表示紙上的特定點(diǎn)的相對位置的任何形式的標(biāo)記或代碼。因此，可與編碼的紙相關(guān)聯(lián)地使用輸入設(shè)備來記錄與用戶在適當(dāng)位置進(jìn)行手寫相對應(yīng)的信息。例如，僅僅裝備有輸入設(shè)備和結(jié)合有編碼的位置信息的表面，在乘坐出租車時(shí)，可使用輸入設(shè)備來向客戶起草信件。利用輸入設(shè)備在紙上書寫，通過多次檢測輸入設(shè)備位置的變化來識別與文本或其它輸入信息對應(yīng)的手勢。然后可把輸入轉(zhuǎn)換成電子墨水或其它電子數(shù)據(jù)，用于生成對應(yīng)于這些手勢的信息。輸入的轉(zhuǎn)換可隨著輸入的產(chǎn)生而進(jìn)行，可在輸入設(shè)備內(nèi)進(jìn)行，或由耦合到輸入設(shè)備的主計(jì)算設(shè)備接收?？蛇x地，這種轉(zhuǎn)換可稍后進(jìn)行。例如，使用輸入設(shè)備生成的信息可存儲于存儲器中，并傳送到接收者和/或主計(jì)算機(jī)，用于在稍后的時(shí)間進(jìn)行適當(dāng)?shù)奶幚怼?br> 使用輸入設(shè)備產(chǎn)生的數(shù)據(jù)，不管這些輸入是手寫字母、符號、文字或其它書寫圖像、這些數(shù)據(jù)都可在被位置代碼所識別的位置處結(jié)合于文檔中。從而，即使沒有格式化的模板，也可使用識別輸入信息的文檔中的位置的位置信息來實(shí)現(xiàn)文檔(如先前所述的信件)的布局。例如，可在適當(dāng)?shù)奈恢迷诩埳陷斎肫鸩萑说牡刂?、接收人的地址、信件的主要部分以及結(jié)尾、以及其它成份。使用攝像機(jī)捕獲的編碼的位置信息，形成對應(yīng)的電子文檔的內(nèi)容的文字和其它圖像都結(jié)合在適當(dāng)?shù)奈恢谩?br> 使用檢測的位置信息，輸入設(shè)備還可與主計(jì)算設(shè)備交互，用于輸入命令和作出選擇等。在計(jì)算設(shè)備是具有web瀏覽特性的便攜式攝像機(jī)或電話機(jī)的情況下，輸入設(shè)備可以觸筆或鼠標(biāo)的方式使用來從顯示的按鈕或菜單中進(jìn)行選擇。因此，輸入設(shè)備可用于激活主計(jì)算機(jī)的瀏覽器，并選擇用于檢索文件(如先前所述的文檔)的選項(xiàng)，即使該文件存儲于遠(yuǎn)地也是可行的。使用輸入設(shè)備，用戶可選擇下載包含用戶所需的信息的文件。接著，用戶可通過輸入設(shè)備向下載的文件輸入注釋。這些編輯可被傳送到從其中下載文件的遠(yuǎn)地位置，其中輸入設(shè)備能夠進(jìn)行與遠(yuǎn)地計(jì)算設(shè)備的通信?？蛇x地，假設(shè)輸入設(shè)備與主計(jì)算設(shè)備通信，則可使用這些編輯來編輯存儲于輸入設(shè)備和/或主計(jì)算設(shè)備中的文件。
在另一實(shí)施例中，顯示在主計(jì)算設(shè)備的監(jiān)視器上的文件可以是電子數(shù)據(jù)表(spreadsheet)，可使用諸如來自華盛頓州雷德蒙市的微軟公司的EXCELTM軟件之類的電子數(shù)據(jù)表軟件來生成?？墒褂梦恢么a來將位置與數(shù)據(jù)表中的給定單元相關(guān)聯(lián)。用戶可在屏幕上顯示的單元中輸入數(shù)字條目。此時(shí)，輸入設(shè)備捕捉與輸入設(shè)備的位置相關(guān)聯(lián)的圖像，將該信息發(fā)送到主計(jì)算設(shè)備。例如，位于主計(jì)算設(shè)備中的并與數(shù)據(jù)表軟件一起工作的處理軟件根據(jù)檢測到的位置代碼來識別為該條目所選擇的單元，并相應(yīng)地修改電子數(shù)據(jù)表文檔內(nèi)容。
輸入設(shè)備還可用于調(diào)用與某些特定手勢或手勢的組合相關(guān)聯(lián)的圖像或其它預(yù)先存儲的信息。例如，輸入設(shè)備可用于繪制符號，處理算法的設(shè)備被編程來識別該符號。可使用迷宮圖來精確地檢測輸入設(shè)備在圖案上的移動，使得可檢測到與這種移動相關(guān)聯(lián)的特定符號。例如，用戶可控制輸入設(shè)備在用戶先前識別為要與公司標(biāo)識相關(guān)聯(lián)的紙上繪制符號。迷宮圖可識別對應(yīng)于字母“M”后緊跟字母“S”的移動的組合，將其作為指令以指明輸入了微軟公司的標(biāo)識。結(jié)果，這種預(yù)先存儲的信息可通過輸入某一特定順序的輸入來輸入到文檔中。
輸入設(shè)備還可用作被動式輸入設(shè)備。例如，在該模式中，輸入設(shè)備可用于與使用無源感測來感測輸入設(shè)備的移動的計(jì)算設(shè)備組合使用。當(dāng)與包括用于檢測輸入設(shè)備的移動的傳感器板(如平板PC或個(gè)人數(shù)據(jù)助理)組合使用時(shí)，輸入設(shè)備可充當(dāng)觸筆。使用輸入設(shè)備，當(dāng)輸入設(shè)備置于非常接近于屏幕時(shí)，可生成電子墨水或其它圖像數(shù)據(jù)?？梢灶愃频姆绞捷斎肟刂乒δ?。此外，在某一計(jì)算設(shè)備的監(jiān)視器上顯示的圖像還可包括對應(yīng)于表示文檔的該部分的相對位置的編碼的數(shù)據(jù)。使用攝像機(jī)從對象提取的位置信息可隨后用于跟蹤輸入設(shè)備的移動，作為使用計(jì)算設(shè)備傳感器檢測的移動的替代或與之相結(jié)合。
例如，用戶可能希望在以包含檢測輸入設(shè)備的定位的能力的便攜式計(jì)算設(shè)備(如平板PC或個(gè)人數(shù)據(jù)助理)上創(chuàng)建或修改圖像。輸入設(shè)備可僅僅充當(dāng)被動式輸入設(shè)備，使得由計(jì)算設(shè)備生成表示輸入設(shè)備的移動的信息。然而，計(jì)算上設(shè)備的傳感器可能不具有在給定情況下以用戶所要求的范圍檢測筆的移動的能力。例如，當(dāng)用戶位于不平穩(wěn)的汽車中時(shí)，對用戶輸入的精確檢測可能受到阻礙。當(dāng)用戶通過在計(jì)算設(shè)備的顯示器的表面上移動輸入設(shè)備來編輯文件時(shí)，輸入設(shè)備可能貼近(jostle)和置于離傳感器板相當(dāng)遠(yuǎn)。即使計(jì)算設(shè)備的傳感器所生成的信號可能變得較不精確，輸入設(shè)備捕獲的圖像數(shù)據(jù)可用于檢測輸入設(shè)備在與計(jì)算設(shè)備的表面平行的平面中的移動。即使計(jì)算設(shè)備的傳感器不再能檢測輸入設(shè)備的移動，圖像傳感器也可產(chǎn)生足夠的信息來保持對輸入設(shè)備的移動的精確表示，以反映出用戶的輸入意圖。從而，即使當(dāng)與包含感測輸入設(shè)備的移動的能力的計(jì)算設(shè)備組合使用時(shí)，輸入設(shè)備可充當(dāng)被動式輸入設(shè)備或主動式輸入設(shè)備。
輸入設(shè)備還可與任何紙張、書寫表面或其它基板相關(guān)聯(lián)的使用，以記錄對應(yīng)于用戶的手寫輸入的信息。同樣，僅裝備有輸入設(shè)備和書寫表面，輸入設(shè)備可用于起草至客戶的信件。在該情況下，根據(jù)無源編碼(passive coding)檢測手勢，其中使用除了嵌入于和/或打印在基板的表面的圖像上的代碼之外的代碼來檢測輸入設(shè)備的移動。例如，用戶可在紙平面上起草信件。當(dāng)用戶利用輸入設(shè)備書寫時(shí)，圖像傳感器捕捉紙的圖像。可識別圖像中的對象，捕獲的圖像系列中的對象的移動指示出移動。感測的對象可包括紙表面上的人工制品或其它對象，可對應(yīng)于水印或紙的其它缺陷?？蛇x地，紙可包括規(guī)則的線條，還可使用規(guī)則的線條來計(jì)算筆在表面上的移動。即使沒有紙，也可確定輸入設(shè)備的相對移動。輸入設(shè)備可在桌面上移動，木材的顆粒提供了用于檢測輸入設(shè)備的相對移動所必需的對象。以先前所述類似的方式，用戶可在紙或可光學(xué)檢測移動的任何表面上起草信件。輸入設(shè)備的移動可存儲于存儲器中和/或轉(zhuǎn)換成表示手勢的信息。
在另一實(shí)施例中，便攜式設(shè)備可用作便攜式計(jì)算設(shè)備的替代。例如，當(dāng)一工程師乘火車去與設(shè)計(jì)團(tuán)隊(duì)的其它人會面時(shí)，工程師可能剛制作出對與其公司的心臟起搏器相關(guān)聯(lián)的電路故障的解決方案，但是沒有可用的膝上型或其它計(jì)算設(shè)備，該工程師可轉(zhuǎn)而求助其輸入設(shè)備作為適當(dāng)?shù)拇嫫?，用于記錄他的想法。使得大多?shù)時(shí)間可用(去除墨盒或筆帽處于原地)，在他的面前的椅子的背面，用戶撰寫出表示對所討論的可以的電路的修改的草圖。他激活輸入設(shè)備，將其設(shè)置于有助于產(chǎn)生草圖的模式(例如可包括禁用轉(zhuǎn)換)，開始勾畫出表示對該問題的解決方案的簡單設(shè)計(jì)。輸入設(shè)備隨后可存儲表示手寫的筆劃的文件。斷開草圖模式，可在草圖的相關(guān)位置附近草草寫下注釋和參考，這些條目結(jié)合于圖像文件中。例如，用戶可切換到注釋模式，在該模式中，可識別出對應(yīng)于字母的手勢。從而，他可將他提出的解決方案的描述與草圖相結(jié)合。不用等待達(dá)到醫(yī)療研究中心，操作者就可以選擇將簡圖發(fā)送給設(shè)計(jì)團(tuán)隊(duì)的其余人，用于在計(jì)劃的會議之前得到充分地考慮。這種傳輸可通過任何方式實(shí)現(xiàn)，包括從輸入設(shè)備將修改的文檔上傳到諸如蜂窩電話機(jī)之類的便攜式無線設(shè)備。然后可使用該信息產(chǎn)生諸如VISIOTM文檔之類的圖像文件。
一旦發(fā)送到團(tuán)隊(duì)的其余成員，對應(yīng)于簡圖的草圖的先前所述的文件就可顯示在團(tuán)隊(duì)成員的主計(jì)算設(shè)備的監(jiān)視器上。例如，圖像以及所附的文本可呈現(xiàn)在桌面型計(jì)算機(jī)的顯示器上。通過將輸入設(shè)備至于接近于顯示在監(jiān)視器上的文件的圖像，可把額外的注釋添加到那些顯示的圖像上。在該情況下，可通過測量輸入設(shè)備的光學(xué)傳感器捕獲的圖像中的對象的相對移動來檢測輸入設(shè)備的移動。由輸入設(shè)備產(chǎn)生的信號可由存儲于輸入設(shè)備中的軟件處理，或發(fā)送到主計(jì)算設(shè)備進(jìn)行處理。對檢測到的移動的處理可生成電子墨水、文本或表示通過輸入設(shè)備輸入的注釋的其它數(shù)據(jù)。
即使沒有位置代碼，輸入設(shè)備還與具有用于檢測輸入設(shè)備的移動的傳感器的計(jì)算設(shè)備連同使用。例如，輸入設(shè)備可用作用于在個(gè)人數(shù)據(jù)助理或設(shè)計(jì)用于使用觸筆的其它計(jì)算設(shè)備上產(chǎn)生手寫筆記的源。因此，當(dāng)執(zhí)行差事時(shí)，用戶可被提醒并希望將一項(xiàng)目添加到已經(jīng)存在的“待做任務(wù)列表”(to do list)中。用戶檢索主計(jì)算設(shè)備(例如個(gè)人數(shù)據(jù)助理)中存儲的列表。將輸入設(shè)備的尖端定位于個(gè)人數(shù)據(jù)助理的顯示器上，用戶能夠遍歷菜單，并作出選擇以檢索所需要的列表。給出該列表，用戶可在主設(shè)備的屏幕上位于已經(jīng)完成的任務(wù)的說明的旁邊的“空復(fù)選框”(empty box)中輸入復(fù)選標(biāo)記(check)。輸入設(shè)備捕捉包含對應(yīng)于該框的數(shù)據(jù)的屏幕的圖像，并將數(shù)據(jù)發(fā)送到主計(jì)算設(shè)備。使用用于分析圖像數(shù)據(jù)的處理算法，主計(jì)算設(shè)備隨后檢測框的形狀，作為可作出登入的對象。為了成功地輸入復(fù)選標(biāo)記，可處理圖像數(shù)據(jù)以檢測筆在框上或框內(nèi)區(qū)域中的移動，手勢形成可識別的“復(fù)選”形狀。然后主設(shè)備修改與列表相關(guān)聯(lián)的文件，以將復(fù)選表示包含于框內(nèi)。將輸入設(shè)備定位于列表中的最后一項(xiàng)之后的空間，用戶輸入描述額外的項(xiàng)目的文本。主設(shè)備的傳感器檢測輸入設(shè)備的移動，生成表示輸入的數(shù)據(jù)。輸入被轉(zhuǎn)換成文本，并顯示給用戶，且?guī)в幸粋€(gè)空的復(fù)選框。
類似地，例如微軟閱讀器(MicrosoftReader)的用戶，如閱讀指定的小說的學(xué)生，可能希望在相關(guān)文本旁草草寫下筆記。使用輸入設(shè)備對便攜式主設(shè)備的監(jiān)視器上顯示的圖像作出注釋。例如，用戶將輸入設(shè)備定位于主計(jì)算機(jī)(例如平板PC)的監(jiān)視器上，在相關(guān)文本旁輸入手寫筆記。主設(shè)備的傳感器檢測手勢，并存儲為電子數(shù)據(jù)，電子數(shù)據(jù)被轉(zhuǎn)換成圖像數(shù)據(jù)，并顯示在屏幕上。筆記可保持為手寫的形式或可轉(zhuǎn)換成字母數(shù)字字符。不激活額外的功能，可能看不見筆記，例如激活觀看附加的評述或?qū)⑤斎朐O(shè)備定位在呈現(xiàn)注釋的高亮的或某些其它的指示上。然后可以單獨(dú)的文件存儲筆記，或以存儲于主計(jì)算機(jī)中的小說的電子版本的副本形式存儲。
在又一個(gè)實(shí)施例中，來自形成輸入設(shè)備的一部分的額外的傳感器的信息可用于補(bǔ)充或完全替代其它形式的移動檢測。這些額外的傳感器可檢測輸入設(shè)備的線性加速度、角加速度、速度、旋轉(zhuǎn)、壓下力、傾斜、電磁場中的變化、或?qū)斎朐O(shè)備的移動或定位的任何感測的指示。這些信息可助于產(chǎn)生更為精確的移動檢測?？蛇x地，額外的傳感器可提供僅在給定時(shí)刻可用的信息。例如，輸入設(shè)備可連同一一般均勻的表面(例如空白的紙)使用。在這些情況下，光學(xué)傳感器捕獲的圖像可能不足以一致地和精確地檢測輸入設(shè)備的移動的信息。如果光學(xué)運(yùn)動檢測變得更為困難，例如如果用于跟蹤輸入設(shè)備的移動的對象變得更難于被檢測，根據(jù)用于光學(xué)檢測移動的一個(gè)實(shí)施例，來自額外的傳感器的額外的信息可用于提供更為精細(xì)的運(yùn)動檢測。具體來說，用于確定位置和/或移動的算法可結(jié)合對額外信息的因素的計(jì)算，從而補(bǔ)充對移動和/或位置的檢測。
如果光學(xué)檢測失敗，為了提供有用的結(jié)果，額外的傳感器可僅提供用于檢測移動的信息。例如，如果用戶試圖在疊層的工作臺面的均勻的白色柜臺上擬定繪圖，光學(xué)感測系統(tǒng)可能不能提供表示移動的足夠的數(shù)據(jù)。在該情況下，額外的傳感器可提供充足的信息來產(chǎn)生可接受的精確的輸入信息的表示。
例如，如果輸入設(shè)備從被掃描的表面移動足夠的距離，光學(xué)傳感器單元可能不能捕捉對所提供的圖像的精確表示。在該情況下，來自額外的傳感器的額外的信息可用于補(bǔ)充由輸入設(shè)備在其上移動的對象的圖像獲得的數(shù)據(jù)。從而，即使輸入設(shè)備從輸入設(shè)備正在移動的顯示器上移動一英寸或更多(Z軸)，輸入設(shè)備內(nèi)的傳感器可提供筆在顯示器的平面中的移動的指示，即水平和垂直方向。
例如，與膝上型計(jì)算機(jī)連同使用的輸入設(shè)備定位于用戶前端的托盤桌上。背景中結(jié)合了迷宮圖的文檔的圖像顯示在膝上型計(jì)算機(jī)的屏幕上。用戶輸入的注釋以藍(lán)色墨水的實(shí)線示出。當(dāng)飛機(jī)受到氣流撓動時(shí)，座椅安全帶符號突然出現(xiàn)。當(dāng)用戶越過膝上型計(jì)算機(jī)的鍵盤并向注釋添加另一文字時(shí)，他的手快速地離開屏幕的表面。雖然圖像傳感器可能不能精確地檢測形成所顯示的迷宮圖的線條，但是通過結(jié)合于輸入設(shè)備中的額外的傳感器測量x軸和y軸中的移動。
圖16說明了根據(jù)本發(fā)明的若干示例性實(shí)施例的輸入設(shè)備的使用，在各種環(huán)境中使用輸入設(shè)備創(chuàng)建、傳送和編輯文檔。下面的描述僅僅是輸入設(shè)備的用途的示例性說明，而并非對本發(fā)明的結(jié)構(gòu)或功能的限制。
輸入設(shè)備可用于通過允許在廣泛的環(huán)境中創(chuàng)建和/或編輯文檔并與各種設(shè)備相關(guān)聯(lián)地使用來延長文檔的壽命。使用輸入設(shè)備1601，可在諸如所示的平板PC 1603之類的一個(gè)計(jì)算設(shè)備的屏幕上電子地創(chuàng)建文檔1602。例如，輸入設(shè)備1601可用于生成文檔的手寫草稿。由于輸入設(shè)備1601充當(dāng)用于平板PC 1603的觸筆，生成了對應(yīng)于輸入于平板PC 1603的屏幕上的信息的電子墨水。電子墨水可轉(zhuǎn)換成文本形式并存儲于平板PC 1603中。
表示文檔的電子文件可傳送到諸如桌面型PC 1604之類的第二計(jì)算設(shè)備。在該環(huán)境中，可使用作為單獨(dú)的輸入單元工作的輸入設(shè)備1601在桌面型設(shè)備的屏幕上編輯文檔。因?yàn)檩斎朐O(shè)備1601感測其自己在顯示的文檔的圖像內(nèi)的相對位置，輸入在桌面型設(shè)備的屏幕上的編輯可反映在電子文檔1602中，即使顯示器不包括用于感測輸入設(shè)備的定位的元件。使用輸入設(shè)備1601產(chǎn)生的編輯可在產(chǎn)生時(shí)傳送到桌面型PC 1604，或可存儲在輸入設(shè)備160I內(nèi)用于在稍后的時(shí)間傳送到任何PC?？砂丫庉嬢斎氲酱鎯τ谧烂嫘蚉C 1604中的文檔1602的版本中。
還可由諸如鏈接到桌面型PC 1604的打印機(jī)1605之類的打印機(jī)以硬拷貝的形式輸出創(chuàng)建的文檔。文檔的硬拷貝1606版本可包括使用例如迷宮圖知名輸入設(shè)備在文檔中的任何位置的相對位置的信息或代碼。硬拷貝可由一個(gè)或多個(gè)用戶標(biāo)出，每個(gè)用戶具有輸入設(shè)備，每個(gè)用戶的編輯由單獨(dú)的輸入設(shè)備生成。連同表示編輯的信息一起，也可提供用于生成這些編輯的識別筆的信息。例如，可使用下劃線的彩色文本來反映輸入，如用于跟蹤對文檔作出的改變的應(yīng)用中那樣。編輯/輸入可從桌面型PC 1604轉(zhuǎn)送到平板PC 1603，用于結(jié)合于該文檔中。可選地，可把編輯存儲于輸入設(shè)備1601內(nèi)，并在稍后的時(shí)間上傳。
文檔還可輸出到普通的紙上，或輸出到不包括對輸入設(shè)備的相對定位的指示的任何基板上。同樣，硬拷貝1606可由具有輸入設(shè)備的一個(gè)或多個(gè)用戶作標(biāo)記，每個(gè)用戶的編輯由輸入設(shè)備1601生成。在該例子中，可使用用于光學(xué)地感測輸入設(shè)備1601在紙上的移動的編碼技術(shù)來確定筆1601的位置或移動。如所述，可使用比較算法來確定位置/移動，其中圖像數(shù)據(jù)的每個(gè)幀中的對象的相對位置被檢測，并用于確定輸入設(shè)備1601的移動。產(chǎn)生的編輯可傳送到文檔所源自的計(jì)算設(shè)備，例如用于上傳原始數(shù)據(jù)文件?？赏ㄟ^諸如Pocket PC1607之類的計(jì)算設(shè)備傳送編輯，用于傳送到目的設(shè)備，這可通過無線或有線通信或通過將包含編輯的設(shè)備對接到計(jì)算設(shè)備來進(jìn)行。
電子文檔還可傳送到諸如所示的平板PC 1603之類的第二計(jì)算設(shè)備。在該環(huán)境中，可使用輸入設(shè)備1601作為簡單的觸筆在平板設(shè)備1603的屏幕上編輯文檔。這些輸入可從平板PC 1603轉(zhuǎn)送到存儲文檔的原始副本的計(jì)算設(shè)備，作為對文檔的注釋或作為編輯，用于結(jié)合于該文檔中。
利用嵌入式交互編碼技術(shù)，可將液晶顯示器轉(zhuǎn)變成數(shù)字化儀。每個(gè)液晶單元的晶格區(qū)域可用于嵌入圖案。在一個(gè)實(shí)施例中，可把迷宮圖嵌入于液晶顯示器面板的黑矩陣區(qū)域中。在另一實(shí)施例中，可把迷宮圖嵌入于光導(dǎo)平面中。迷宮圖的垂直的和水平的條帶(bar)發(fā)出可由輸入設(shè)備中的攝像機(jī)傳感器捕捉的光。唯一的和絕對的坐標(biāo)提供有m陣列(m-array)解碼。如此，輸入設(shè)備可用作平板PC、Pocket PC、智能電話機(jī)、和/或具有允許嵌入式交互編碼的液晶顯示器的任何其它設(shè)備的平板筆(Tablet Pen)。用戶可在多個(gè)不同的設(shè)備之間使用相同的輸入設(shè)備。例如，當(dāng)對接于平板PC上時(shí)，輸入設(shè)備可被充電。這種配置向用戶提供了多種選擇，同時(shí)僅保持一個(gè)必要的輸入設(shè)備。
本發(fā)明的輸入設(shè)備還可用于數(shù)據(jù)的遠(yuǎn)程存儲和在稍后時(shí)間的傳輸。在附近沒有主PC時(shí)，也可使用本發(fā)明的輸入設(shè)備。輸入設(shè)備的處理能力和存儲能力能夠處理圖像傳感器捕捉的圖像，進(jìn)行存儲用于在稍后的時(shí)間傳輸。例如，當(dāng)用戶使用輸入設(shè)備作筆記和/或注釋文檔時(shí)，筆記和注釋可被處理并長時(shí)間地存儲于輸入設(shè)備中?？蛇x地，數(shù)據(jù)可立即和/或稍后傳送到個(gè)人數(shù)字助理(PDA)，并在PDA上處理和存儲。如果PDA具有無線通信能力，則可把數(shù)據(jù)傳送到位于遠(yuǎn)程位置的主PC或服務(wù)器。例如，當(dāng)用戶旅行時(shí)，他們用輸入設(shè)備作出的筆記和注釋可通過他們的智能電話機(jī)傳回到他們的主PC中。用戶可在飛機(jī)上時(shí)對文檔作出注釋，保存注釋，并在稍后的時(shí)間將其傳送到主PC和/或服務(wù)器，例如當(dāng)飛機(jī)著陸時(shí)。
利用投影顯示和嵌入的和/或打印的元數(shù)據(jù)，輸入設(shè)備，例如通用計(jì)算設(shè)備，可使得閱讀體驗(yàn)更具交互性。例如，華盛頓州雷德蒙市的微軟公司的Office2000中的智能標(biāo)簽可連同絕對定位一起嵌入于和/或打印于文檔上。當(dāng)用戶使用輸入設(shè)備閱讀和注釋時(shí)，輸入設(shè)備可檢測并解碼智能標(biāo)簽，并利用投影顯示顯示相關(guān)信息。如果字典條目嵌入于和/或打印于文檔上，輸入設(shè)備還可顯示字典查找表。類似地，各種類型的信息可嵌入于和/或打印于文檔上，諸如命令和控制信息以及音頻信息。輸入設(shè)備可檢測和解碼嵌入的和/或打印的信息，并相應(yīng)地動作。
智能個(gè)人對象技術(shù)(SPOT)可包含于本發(fā)明的輸入設(shè)備中。利用SPOT、嵌入的和/或打印的命令和控制信息、以及投影顯示，輸入設(shè)備能夠在筆尖處向用戶提供最新信息。例如，可把對天氣預(yù)報(bào)的請求嵌入于或打印于打印出的紙上。輸入設(shè)備可對請求解碼，SPOT可根據(jù)用戶的當(dāng)前位置獲得天氣預(yù)報(bào)。輸入設(shè)備可利用投影顯示在紙上顯示信息。類似地，可在筆尖處向用戶提供諸如股票報(bào)價(jià)、體育、新聞、娛樂信息，如電影時(shí)間、電視播放時(shí)間等之類的各種信息。
雖然上述說明和附圖利用具體的組件描述了實(shí)施例，但是額外的組件和/或去除任一組件都包含于本發(fā)明的范圍內(nèi)。類似地，可進(jìn)行對各種組件在輸入設(shè)備結(jié)構(gòu)中的重新定位，而不會影響攝像機(jī)或慣性傳感器檢測筆的移動和產(chǎn)生電子墨水的精確性。例如，圖像傳感器可被用于檢測輸入設(shè)備在其上移動的表面或?qū)ο蟮奶匦缘母袦y設(shè)備所替代或補(bǔ)充。從而，如果迷宮圖形成在對象的表面，從而，可根據(jù)可見光譜外的能量輻射、發(fā)射到對象的這些能量的反射或其它感測技術(shù)來檢測圖。可檢測和使用對表面的任何特性的感測，以確定輸入設(shè)備在對象的表面上的位置和/或移動。作為另一個(gè)例子，可采用話筒感測系統(tǒng)，使得話筒檢測輸入設(shè)備定位的對象的聲音反射或發(fā)射。
上述說明和描述的說明性的實(shí)施例已經(jīng)描述了輸入設(shè)備以筆形實(shí)現(xiàn)。然而，本發(fā)明的諸方面適用于任何形狀和尺寸的輸入設(shè)備。
使用這種輸入設(shè)備應(yīng)能夠使得在任何位置進(jìn)行個(gè)人計(jì)算。從而，裝備有所描述的輸入設(shè)備的用戶可生成或編輯數(shù)據(jù)文件，而不管他們在哪里?？稍谵k公室、教室、酒店、在行進(jìn)中、甚至在海灘上，產(chǎn)生、編輯或記錄文檔和其它信息。
如所述，輸入設(shè)備可包括適當(dāng)?shù)娘@示器。可選地，主計(jì)算設(shè)備的顯示器可用于回顧所創(chuàng)建的文檔和圖像。用戶可選擇在輸入信息(如文本)之前或之后對文檔進(jìn)行格式化，或可回顧文檔和對文檔的格式作出改變。觀看這種顯示器上創(chuàng)建的圖像，在上述例子的上下文環(huán)境中，用戶可在適當(dāng)?shù)奈恢貌迦氚涞刂返臉?biāo)頭。
雖然使用附屬的權(quán)利要求來定義本發(fā)明，但是這些權(quán)利要求僅僅是說明性的，本發(fā)明可以任何的組合或子組合的方式包含這里所描述的元件和步驟。因此，存在任何數(shù)量的替代組合用于定義本發(fā)明，這些組合以各種組合或子組合的方式結(jié)合了包含說明書、權(quán)利要求書以及附圖的說明書中的一個(gè)或多個(gè)元件。本領(lǐng)域的技術(shù)人員將理解，根據(jù)本說明書，本發(fā)明的諸方面的替代組合，單獨(dú)地或與這里所定義的一個(gè)或多個(gè)元件或步驟的組合，可用作對本發(fā)明的修改或改變，或作為本發(fā)明的一部分?？梢岳斫?，這里所包含的本發(fā)明的書面描述覆蓋了所有這種修改和改變。例如，在各種實(shí)施例中，已經(jīng)示出了數(shù)據(jù)的某種順序。然而，數(shù)據(jù)的任何排序都包含于本發(fā)明內(nèi)。并且，在使用諸如大小(如以字節(jié)或比特為單位)之類的特性的某些單位的情況下，任何其它單位也是可預(yù)見到的。
權(quán)利要求
1.一種用于生成表示手寫筆劃的數(shù)據(jù)的輸入設(shè)備，其特征在于，所述輸入設(shè)備包括
圖像捕捉單元，所述圖像捕捉單元用于捕捉所述輸入設(shè)備所置于的對象的區(qū)域的圖像，并生成捕捉的圖像數(shù)據(jù)；
處理器，用于處理捕捉的圖像數(shù)據(jù)；
存儲器，用于根據(jù)捕捉的圖像數(shù)據(jù)存儲表示手寫筆劃的數(shù)據(jù)；以及
輸入設(shè)備的標(biāo)識符。
2.如權(quán)利要求1所述的輸入設(shè)備，其特征在于，還包括通信單元，用于將表示輸入設(shè)備的移動的數(shù)據(jù)傳送到用于生成表示手寫輸入的信號的外部處理單元。
3.如權(quán)利要求2所述的輸入設(shè)備，其特征在于，所述外部處理單元是個(gè)人數(shù)字助理。
4.如權(quán)利要求2所述的輸入設(shè)備，其特征在于，所述通信單元配置成無線傳輸表示移動的數(shù)據(jù)。
5.如權(quán)利要求4所述的輸入設(shè)備，其特征在于，所述通信單元是可尋址的通信單元。
6.如權(quán)利要求5所述的輸入設(shè)備，其特征在于，所述可尋址的通信單元的地址對應(yīng)于所述輸入設(shè)備的標(biāo)識符。
7.如權(quán)利要求1所述的輸入設(shè)備，其特征在于，所述處理器配置成對捕捉的圖像數(shù)據(jù)進(jìn)行壓縮。
8.如權(quán)利要求1所述的輸入設(shè)備，其特征在于，所述處理器配置成生成數(shù)據(jù)幀用于傳輸?shù)酵獠刻幚韱卧?，所述?shù)據(jù)幀包括
經(jīng)壓縮的捕捉的圖像數(shù)據(jù)；
經(jīng)感測的力數(shù)據(jù)；
時(shí)間戳數(shù)據(jù)；
壓縮標(biāo)志數(shù)據(jù)；以及
循環(huán)冗余校驗(yàn)數(shù)據(jù)。
9.如權(quán)利要求8所述的輸入設(shè)備，其特征在于，所述輸入設(shè)備的標(biāo)識符位于所述壓縮標(biāo)志數(shù)據(jù)內(nèi)。
10.如權(quán)利要求1所述的輸入設(shè)備，其特征在于，所述標(biāo)識符特定地標(biāo)識所述輸入設(shè)備。
11.如權(quán)利要求1所述的輸入設(shè)備，其特征在于，所述圖像捕捉單元配置成在多個(gè)允許嵌入式交互編碼的顯示設(shè)備上工作。
12.如權(quán)利要求11所述的輸入設(shè)備，其特征在于，所述多個(gè)允許嵌入式交互編碼的顯示設(shè)備中的至少一個(gè)配置成對所述輸入設(shè)備充電。
13.一種用于接收來自多個(gè)輸入設(shè)備的數(shù)據(jù)的系統(tǒng)，其特征在于，所述系統(tǒng)包括
處理器，用于無線地接收數(shù)據(jù)流，所述數(shù)據(jù)流表示從多個(gè)輸入設(shè)備接收的數(shù)據(jù)幀，
其中所述處理器配置成通過第一標(biāo)識符識別所述數(shù)據(jù)流中的第一數(shù)據(jù)幀，所述第一標(biāo)識符標(biāo)識第一輸入設(shè)備，所述處理器根據(jù)所述第一標(biāo)識符從所述數(shù)據(jù)流中提取所述第一數(shù)據(jù)幀，
其中所述第一數(shù)據(jù)幀包括表示基于所述第一輸入設(shè)備捕捉的圖像數(shù)據(jù)的手寫筆劃的數(shù)據(jù)。
14.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述處理器配置成通過第二標(biāo)識符識別所述數(shù)據(jù)流中的第二數(shù)據(jù)幀，所述第二標(biāo)識符標(biāo)識第二輸入設(shè)備，所述處理器根據(jù)所述第二標(biāo)識符從所述數(shù)據(jù)流中提取第二數(shù)據(jù)幀，其中所述第二數(shù)據(jù)幀包括表示基于所述第二輸入設(shè)備捕捉的圖像數(shù)據(jù)的手寫筆劃的數(shù)據(jù)。
15.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述處理器配置成將根據(jù)所述第一標(biāo)識符從所述數(shù)據(jù)流提取的數(shù)據(jù)和根據(jù)所述第二標(biāo)識符從所述數(shù)據(jù)流中提取的數(shù)據(jù)存儲于存儲器中。
16.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述第一標(biāo)識符是所述第一數(shù)據(jù)幀的預(yù)定字段中的特定比特?cái)?shù)的數(shù)據(jù)。
17.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述處理器配置成將提取的第一數(shù)據(jù)幀存儲于存儲器中。
18.一種用于在數(shù)據(jù)流中存儲多個(gè)數(shù)據(jù)幀的方法，其特征在于，所述方法包括以下步驟
從多個(gè)輸入設(shè)備接收表示數(shù)據(jù)幀的數(shù)據(jù)流；
在數(shù)據(jù)流的第一數(shù)據(jù)幀中定位第一輸入設(shè)備標(biāo)識符；
確定與所述第一輸入設(shè)備標(biāo)識符相關(guān)聯(lián)的第一輸入設(shè)備；以及
根據(jù)相關(guān)聯(lián)的第一輸入設(shè)備，將第一數(shù)據(jù)幀存儲于存儲器中，
其中所述第一數(shù)據(jù)幀包括表示基于所述第一輸入設(shè)備捕捉的圖像數(shù)據(jù)的手寫筆劃的數(shù)據(jù)。
19.如權(quán)利要求18所述的方法，其特征在于，還包括以下步驟
在數(shù)據(jù)流的第二數(shù)據(jù)幀中定位第二輸入設(shè)備標(biāo)識符；
確定與所述第二輸入設(shè)備標(biāo)識符相關(guān)聯(lián)的第二輸入設(shè)備；以及
根據(jù)相關(guān)聯(lián)的第二輸入設(shè)備，將第二數(shù)據(jù)幀存儲于存儲器中，
其中所述第二數(shù)據(jù)幀包括表示基于所述第二輸入設(shè)備捕捉的圖像數(shù)據(jù)的手寫筆劃的數(shù)據(jù)。
20.如權(quán)利要求19所述的方法，其特征在于，所述第一輸入設(shè)備標(biāo)識符特定地標(biāo)識所述第一輸入設(shè)備，所述第二輸入設(shè)備標(biāo)識符特定地標(biāo)識所述第二輸入設(shè)備。
21.如權(quán)利要求18所述的方法，其特征在于，所述第一數(shù)據(jù)幀包括
經(jīng)壓縮的捕捉的圖像字段；
時(shí)間戳字段；
壓縮標(biāo)志字段；以及
循環(huán)冗余校驗(yàn)字段。
22.如權(quán)利要求21所述的方法，其特征在于，所述第一輸入設(shè)備標(biāo)識符位于所述壓縮標(biāo)志字段內(nèi)。
23.如權(quán)利要求18所述的方法，其特征在于，所述第一輸入設(shè)備標(biāo)識符對應(yīng)于與所述第一輸入設(shè)備相關(guān)聯(lián)的可尋址的通信單元的地址。
全文摘要
通用輸入設(shè)備為包括打印文檔的各種不同的計(jì)算平臺提供了公共的用戶接口。使用本系統(tǒng)，可使用通用輸入設(shè)備來控制各種計(jì)算設(shè)備，以及捕捉手寫電子墨水，并使得電子墨水與新的或存儲的文檔相關(guān)聯(lián)。通用輸入設(shè)備能夠通過特定的識別被識別，以便允許多用戶同時(shí)或非同時(shí)地在文檔和/或應(yīng)用程序中操作。具有紅外照明的偏移光學(xué)系統(tǒng)處理透視，并幫助檢測位置編碼，在常規(guī)可見光照明下，位置編碼可被已存的墨水覆蓋。
文檔編號G06F3/03GK1648841SQ20051000407
公開日2005年8月3日 申請日期2005年1月7日 優(yōu)先權(quán)日2004年1月7日
發(fā)明者許安, 張春暉, 王建, 許意華 申請人:微軟公司