用于交疊手寫文本輸入的用戶界面的制作方法
【專利摘要】一種“筆劃理清器”根據(jù)對繪畫在觸摸屏設(shè)備或觸摸敏感表面上的交疊的字母或部分字母段進行表示的手寫筆劃來構(gòu)成手寫消息。這些交疊筆劃被自動理清并隨后被分割和組合成一個或多個字母、詞語或短語。有利地，執(zhí)行分割和合成不需要用戶手勢、超時或其它用于在詞語中將字符劃界的輸入，并且無需使用基于筆跡的辨識技術(shù)來引導(dǎo)對交疊筆劃進行理清和構(gòu)成以形成字符。換句話說，用戶繪畫多個交疊筆劃。這些筆劃隨后被自動分割和組合成一個或多個對應(yīng)字符。然后執(zhí)行對作為結(jié)果的字符的辨識。此外，實時地執(zhí)行分割和組合，由此使得能夠在用戶界面窗口中實時地呈現(xiàn)作為結(jié)果的字符。相關(guān)的繪畫模式使得能夠與手寫字符相組合地輸入繪畫。
【專利說明】用于交疊手寫文本輸入的用戶界面
【背景技術(shù)】
[0001] 傳統(tǒng)上，文本是利用硬件鍵盤（例如，12個電話鍵或QWERTY鍵盤）或軟件鍵盤（例 如，鍵是在觸摸屏顯示器上顯示的圖形按鈕)輸入的。運種方法的主要問題是在手持設(shè)備上 的鍵尺寸小，使得相對難W鍵入。通常，鍵盤被劃分成若干部分（字母VS.數(shù)字VS.特殊字 符）。運允許用戶在各部分之間切換，并且在一個時刻在屏幕上僅顯示一部分。運允許每部 分更大的按鈕，但是切換引起了用戶的開銷。并且，隨著移動設(shè)備的屏幕尺寸減小，用戶在 觸摸屏上觸摸所意圖的字符時易于出現(xiàn)更多錯誤，由此降低了整體準確性。因此，存在一種 看法:與更為自然的用戶輸入(例如，筆跡辨識)相比，在較小的屏幕上進行鍵入沒有在速度 和/或準確性方面提供特別的價值。
[0002] 因此，在小屏幕的情況下，對于個人通信，筆跡有時提供比鍵入更多的好處。此外， 手寫筆記通常包含憑借于書寫字體的微妙的個人暗示，W及不能通過鍵入的文本來表達的 繪畫。當今的許多通信設(shè)備(例如，智能手機、平板計算機等)具有基于觸摸屏的系統(tǒng)，其能 夠記錄在設(shè)備的觸摸屏上輸入的筆跡。若干商業(yè)應(yīng)用采用筆跡來記筆記和消息傳送。不巧 的是，運些類型的筆跡應(yīng)用通常需要觸筆，或需要足夠大的表面W供手指W足夠的精度書 寫。運對于移動設(shè)備的小屏幕來說是成問題的。
[0003] 例如，一種常規(guī)的筆跡技術(shù)提供了基于手機的應(yīng)用，其中用戶在手機的橫向模式 下寫入字符。用戶對屏幕的最左邊的觸摸(或等待超時)將書寫接受，并清除屏幕W供更多 的輸入。不巧的是，運種方法需要用戶在空間上組織她的輸入，W使得觸發(fā)"接受和清除"型 動作并因此有合適量的空間圍繞每個字符，運是因為字符是通過將在頭前的和在尾后的空 白包括在內(nèi)來被串接的。另外，運種應(yīng)用的橫向定向使得頻繁旋轉(zhuǎn)設(shè)備成為必要。另一類似 應(yīng)用使用兩手指滑動的手勢來在屏幕上手動布置預(yù)先定義的墨跡段，從而形成個體字符。
[0004] 在為解決較小屏幕上可用于W手指書寫的空間有限的問題而進行的嘗試中，已經(jīng) 實現(xiàn)了各種自動分割技術(shù)W便在移動文本輸入場景中使用。運樣的系統(tǒng)允許將字母W覆于 彼此上的方式(on top of each other)寫入，并且然后運些字母通過后處理被分離。例如， 所謂的交疊辨識系統(tǒng)通常是通過運樣來運作的：評估交疊筆劃W識別所意圖的字符，并且 然后使用該信息來分割筆劃。不巧的是，運意味著運些系統(tǒng)使用文本辨識或筆跡辨識的形 式，運是連同筆劃分割一起執(zhí)行的，作為在對筆劃進行分割時使用的引導(dǎo)或輔助，伴隨著作 為結(jié)果的復(fù)雜性和計算開銷需求的增加。一種避免字符分割問題的方法是使用定制的單筆 劃字母表，其中每個個體筆劃表示一個不同的字符。運樣的技術(shù)可W允許免視(eyes-打ee) 輸入，但卻要求用戶學習新的手勢集（即，針對每個個體字符的不同的單個筆劃)來輸入文 本。
[0005] 另一種手指輸入筆跡方法允許用戶在觸摸表面上通過織物(fabric)書寫交疊字 符。運種方法通常在沒有進一步的用戶動作的情況下辨識單筆劃字母(例如，"C"或"Γ)。然 而，為了對更復(fù)雜的字符(例如"k"、"t"、?'和V'）分割交疊筆劃，運種方法尋找第二特定 筆劃。特別地，如果遇到一"、"V'或7"手勢，則該方法將該筆劃與先前輸入的筆劃簡 單地融合W產(chǎn)生字符。換句話說，該方法或是將單個筆劃作為字符識別，或是查找用于指示 連續(xù)的筆劃將被融合的一個或多個特殊標識符筆劃或手勢。在沒有識別該類型的特殊字符 的情況下，該系統(tǒng)不能夠分割多個交疊筆劃來確定用戶意圖的是什么字符。

【發(fā)明內(nèi)容】

[0006] 提供該
【發(fā)明內(nèi)容】
是為了引入簡化形式的概念的選集，將對之在下文的具體實施方 式部分進一步描述。該
【發(fā)明內(nèi)容】
并非旨在識別所要求保護的主題的關(guān)鍵特征或必要特征， 亦非旨在用作在確定所要求保護主題的范圍時的輔助。此外，雖然可能在此注解或討論了 現(xiàn)有技術(shù)的某些缺點，但并非旨在將所要求保護的主題限制于可W解決或處理運些現(xiàn)有技 術(shù)的任意或全部缺點的實現(xiàn)方式。
[0007] 通常，如本文所描述的"筆劃理清器(stroke化化ngler)"提供了各種技術(shù)來在觸 摸屏上、或者在其它真實或虛擬書寫表面(在本文中統(tǒng)稱為"書寫面板"）上利用手指或書寫 實現(xiàn)工具構(gòu)成手寫消息。首先在書寫面板上繪畫表示交疊的字母或部分字母段的手寫筆 劃。然后對運些交疊筆劃自動理清、分割W及合成為一個或多個字母、詞語或短語。有利的 是，該理清、分割和合成是在不需要用戶手勢(或預(yù)先定義的分割）、超時或其它用于在詞語 中將字符劃界的輸入的情況下執(zhí)行的。此外，與現(xiàn)有分割技術(shù)相對比，該理清和分割過程是 在無需使用文本或筆跡辨識技術(shù)作為用于對由用戶輸入的交疊筆劃進行理清和分割的引 導(dǎo)的情況下執(zhí)行的。然而，在各個實施例中，作為結(jié)果的字符的辨識是接下來在已經(jīng)完成理 清和分割之后，利用各種筆跡辨識(HWR)技術(shù)執(zhí)行的。
[0008] 考慮到上述
【發(fā)明內(nèi)容】
，顯然的是，本文描述的筆劃理清器提供了各種技術(shù)用于根 據(jù)多個交疊筆劃構(gòu)成手寫消息，而無需預(yù)先定義的手勢或筆劃，并且無需使用基于HWR的技 術(shù)作為引導(dǎo)來對多個交疊筆劃進行理清、分割和合成W形成字符。除了剛描述的益處外，根 據(jù)后文的詳細描述在結(jié)合附圖的情況下將會容易理解筆劃理清器的其它優(yōu)點。
【附圖說明】
[0009] 結(jié)合后續(xù)描述、隨附權(quán)利要求和附圖，將更好地理解所要求保護主題的特定特征、 方面和優(yōu)點。在附圖中：
[0010] 圖1示出了使用"筆劃理清器便自動理清、分割和合成多個交疊筆劃W形成字 符、詞語和短語，如本文所描述的。
[0011] 圖2提供了示出用于實現(xiàn)筆劃理清器的各個實施例的程序模塊的示例性架構(gòu)流程 圖，如本文所描述的。
[0012] 圖3示出了基于手獨或腕表形狀因子的示例性筆劃理清器用戶界面，其示出了對 已理清、分割和合成的筆劃的顯示，基于HWR的辨識候選的顯示，捜索建議的顯示，W及漸隱 筆劃痕跡，W向用戶提供視覺反饋，如本文所描述的。
[001引圖4示出了示例性筆劃理清器用戶界面，其示出了對已理清、分割和合成的筆劃的 顯示，W及對應(yīng)的基于HWR的機器可讀文本和繪畫輸入的顯示。
[0014] 圖5示出了示例性筆劃理清器用戶界面，其示出了對已理清、分割和合成的筆劃的 顯示，與對對應(yīng)的基于冊R的機器可讀文本、捜索建議和對筆劃分割錯誤進行的用戶校正的 顯不相結(jié)合。
[0015] 圖6示出了在執(zhí)行筆劃分割時使用的示例性狀態(tài)圖，用于理清和合成多個用戶筆 劃w形成一個或多個字符，如本文所描述的。
[0016] 圖7示出了示例性筆劃理清器用戶界面，其示出了在腕表類型的設(shè)備上基于筆劃 的預(yù)測鍵盤，在其中已理清、分割和合成的筆劃用于顯示有限集合的鍵W供用戶選擇，如本 文所描述的。
[0017] 圖8示出了基于指環(huán)形狀因子的具有觸摸屏或觸摸敏感表面的書寫窗格的例子， 在所述觸摸屏或觸摸敏感表面上用于可W輸入交疊筆劃W供筆劃理清器處理，如本文所描 述的。
[0018] 圖9示出了筆跡辨識模型的使用，該模型用于處理根據(jù)斷裂筆劃(例如，由在輸入 交疊筆劃的同時跨書寫面板的邊緣而引起的未完成筆劃)形成的斷裂字符，如本文所描述 的。
[0019] 圖10提供了總體流程圖，其示出了用于實現(xiàn)筆劃理清器的各個實施例的示例性方 法，如本文所描述的。
[0020] 圖11是總體系統(tǒng)圖，其描繪了簡化通用計算設(shè)備，該設(shè)備具有簡化的計算和I/O能 力W用于實現(xiàn)筆劃理清器的各個實施例，如本文所描述的。
【具體實施方式】
[0021] 在所要求保護主題的實施例的下列描述中，參考形成其一部分的附圖，在附圖中 通過圖示示出了可W實踐所要求保護主題的特定實施例。應(yīng)該理解的是，可W利用和其它 實施例，并且可W做出結(jié)構(gòu)變化，而不背離當前要求保護主題的范圍。
[00。] 1.0 引言:
[0023] 通常，如本文所描述的"筆劃理清器"提供各種技術(shù)用于在觸摸屏或其它真實或虛 擬的書寫表面上利用手指或書寫實現(xiàn)工具構(gòu)成手寫消息。首先在觸摸屏設(shè)備或觸摸敏感表 面上繪畫表示交疊的字母或部分字母段的手寫筆劃。然后對運些交疊筆劃自動理清、分割 并組合或合成一個或多個字母、詞語或短語。此外，分割和組合是實時執(zhí)行的，由此使得能 夠在用戶界面窗口中實時地呈現(xiàn)作為結(jié)果的字符。在各個實施例中，在已經(jīng)完成分割之后， 利用各種筆跡辨識(HWR)技術(shù)，對作為結(jié)果的字符執(zhí)行文本辨識。
[0024] 換句話說，筆劃理清器允許用戶在觸摸屏或觸摸敏感表面上連續(xù)地或周期性地繪 畫(化aw)多個交疊筆劃。然后對運些筆劃自動分割并組合成一個或多個對應(yīng)字符。有利地， 在無需要求用戶手勢(或預(yù)定義分割）、超時、或其它用于在詞語中將字符劃界的輸入的情 況下，來執(zhí)行分割和組合。然而，在各個實施例中，筆劃理清器使得各種控制手勢能夠?qū)崿F(xiàn) 如下功能，例如退格W刪除字符、在詞語之間的空格，W及用于清除整個詞語或短語的清除 型命令。注意，在各個實施例中，用戶在詞語之間并不輸入空格，而后續(xù)的HWR處理自動確定 詞語間斷，并隨后在適當時在字符之間插入空格。
[0025] 此外，與用于分割筆劃的現(xiàn)有的基于HWR的分割技術(shù)相對比，筆劃理清器通過將交 疊筆劃分組成k筆劃字符而分割筆劃，而不使用基于HWR的分割技術(shù)。運使得筆劃理清器能 夠理清和呈現(xiàn)手寫消息，同時W在典型的辨識系統(tǒng)中未找到的保持美學質(zhì)量的方式保留用 戶的個人筆跡。此外，運些手寫消息固有地是可W呈現(xiàn)給各種HWR系統(tǒng)的格式W供進一步處 理。注意，相關(guān)的繪畫模式使得能夠結(jié)合手寫字符輸入繪畫。
[0026] 有利地，筆劃分割是基于訓(xùn)練的分割模型的，而不使用基于HWR的技術(shù)作為分割過 程的引導(dǎo)，顯著減少了計算開銷。此外，該方法便利于不常用詞語或有表達性的拼寫(例如， "whoooah")，因為筆劃理清器所使能的技術(shù)在理清和分割筆劃時不需要使用詞典或類似 物。此外，遵循由筆劃理清器執(zhí)行的理清、分割和呈現(xiàn)過程的字符或文本辨識已被觀察到使 用相對于現(xiàn)有系統(tǒng)(其是通過利用各種基于HWR的字符和文本辨識技術(shù)來操作的）顯著降低 的計算開銷，從而便于最初的理清和分割過程。
[0027] 在各個實施例中，筆劃理清器還提供完整詞語的"墨跡顯示"（即，所顯示的對用戶 輸入筆劃的表示），其隨著筆劃被理清、分割和合成W形成字符而實時更新，由此創(chuàng)建與用 戶的非常緊密的反饋回路。換句話說，對由用戶輸入的當前筆劃的顯示利用筆劃理清和分 割算法(參見章節(jié)2.3)(該算法周期性地更新作為結(jié)果的字符分組)來實時更新所顯示的字 符。如上所述，在各個實施例中，在理清、分割和合成過程之后對那些字符接下來執(zhí)行文本 辨識或筆跡辨識。該能力在各個實施例中通過提供圖形用戶界面(UI)而被進一步利用，在 所述用戶界面處，作為結(jié)果的字符鄰近于可用于用戶選擇的一個或多個辨識候選而被顯 示，作為對一個或多個其它應(yīng)用(例如，文本編輯、捜索引擎等)的輸入。
[0028] 例如，圖1示出了經(jīng)由手持計算設(shè)備的用戶界面實現(xiàn)的筆劃理清器的使用，用于自 動理清、分割和合成多個交疊筆劃W形成字符和詞語。注意，圖1并非旨在表示筆劃理清器 的所有特征、特性或?qū)嵤├?，圖1意圖簡單地作為基本視覺例子，W引入一些在該文獻通篇 中描述的一般概念。
[0029] 特別地，圖1示出了具有觸摸屏110的手持計算設(shè)備100。通過用戶的手的手指120 輸入多個交疊筆劃120(由在觸摸屏110上顯示的多個交疊虛曲線表示）。在圖1所示的實施 例中，筆劃理清器理清和分割交疊筆劃120并合成運些筆劃，W形成人類可讀字符集合140， 其表現(xiàn)為拼寫詞語"pizza"。運種人類可讀字符集合140顯示在觸摸屏110上的字符輸入窗 口 150 中。
[0030] 注意，在各個實施例中，在觸摸屏上直接輸入不是必需的。運種筆劃可W例如在膝 上型計算機的觸摸板上進行，或在具有觸摸敏感表面的移動設(shè)備的背上進行。此外，可W在 一個設(shè)備(例如，手表、觸摸敏感手獨)上進行運種筆劃，而在另一設(shè)備(例如，臺式計算機、 電子白板等)上理清(并呈現(xiàn)給用戶）。其它例子包括與各種Mieorsof憐SutfaeeTM設(shè)備相 關(guān)聯(lián)的"觸摸蓋(Touch Cover)"或"觸摸蓋2"輸入設(shè)備。運種設(shè)備包括電容敏感技術(shù)、壓力 敏感技術(shù)和接近度感知技術(shù)的各種組合。運種設(shè)備可W適于(經(jīng)由各種軟件或驅(qū)動器修改） 接收通過在一個或多個壓力敏感的或接近度敏感的鍵頂部上或上方擊打而輸入的筆劃，而 不是僅感知屏幕上或觸摸板上的筆劃。
[0031] 此外，在圖1示出的實施例中，筆劃理清器執(zhí)行對人類可讀字符集合140的自動筆 跡辨識，所述集合140是為W將文本"pizza"作為機器可讀文本來表示而通過筆劃理清器的 HWR部件辨識出的。然后將該辨識出的文本自動提供作為對捜索引擎的輸入，捜索引擎繼而 在建議窗口 160中返回用戶可選擇的捜索建議的集合（例如，"pizza hut"、"pizza hut menu''和"pizza recipe''）。
[0032] 注意，在各個實施例中，HWR直到整個詞語被輸入（由用戶在筆劃輸入之后輸入空 格或詞語分隔符確定出）才被執(zhí)行。在運種情況下，在輸入了每個個體詞語之后，HWR執(zhí)行對 人類可讀字符的逐詞語處理。在相關(guān)實施例中，一旦將每個筆劃添加到字符，就立即在每個 詞語或部分詞語上執(zhí)行辨識，即使在詞語尚未完成時。作為結(jié)果的部分辨識通常對用戶有 幫助。例如，如果用戶書寫"pizz"并且部分辨識已經(jīng)出錯誤，例如，系統(tǒng)返回"riff"，則有很 大可能該詞語不是通過基于對對應(yīng)字符的HWR處理將能夠識別的方式書寫的，因此即使在 完成時也不會被正確地辨識出。在運種情況下，用戶可W選擇對于該詞語重新開始（例如， 刪除一個或多個字符并重新輸入那些字符）。
[0033] 還應(yīng)注意，在圖1所示的實施例中，筆劃理清器的用戶界面包括按鈕（170、180和 190)或類似物，用于在文本模式和繪畫模式之間切換，W及用于發(fā)送人類可讀字符集合140 或?qū)?yīng)的辨識出的文本作為對另一輸入設(shè)備或應(yīng)用（例如，捜索、電子郵件、文本編輯應(yīng)用 等)的輸入。
[0034] 最后需注意，因為觸摸屏通常能夠在其整個表面上接收輸入，所W筆劃理清器允 許用戶輸入的筆劃130在觸摸屏的任意部分上輸入，即使在其它用戶界面窗口（例如，字符 輸入窗口 150和建議窗口 160)的頂上。有利地，運增加了用戶能夠輸入個體字符段的可用空 間。然而，如果需要，則可W從筆劃輸入中排除觸摸屏的部分。此外，注意，設(shè)備的觸摸敏感 度可能超出其可見屏幕的邊界，例如在手表或移動設(shè)備上的觸摸敏感座圈(bezel),其即使 在筆劃可能延伸超出觸摸屏的邊界時也允許用戶的筆劃被完整地感知到。
[0035] 筆劃理清器的額外特征的和實施例的例子包括但不限于各種UI元件，例如，呈現(xiàn) 快速漸隱墨跡痕跡W提供對用戶手指在輸入筆劃的同時跨觸摸屏所采取的路徑的視覺反 饋。由筆劃理清器提供的UI元件的另一例子是當用戶在輸入筆劃的同時移動她的手指跨觸 摸屏時，在書寫面板上顯示已理清和分割的"墨跡"（即，筆劃的視覺表示）。
[0036] 在另一實施例中，相對用戶筆跡的辨識提供各種辨識候選(類似于相對圖1示出的 捜索候選）。在各個實施例中，用戶可W在任何時候通過輕敲或W其它方式選擇候選中的一 個，來接受辨識候選。辨識候選還可W包括預(yù)測，例如，系統(tǒng)可W在辨識候選中包括詞語 "pizza"，即使用戶目前僅寫了 "piz"。首位候選(top camdidate)的副本在應(yīng)用的編輯或文 本輸入控制件或窗口中示出，直到候選已被選擇為止。當候選被選擇時，其就被發(fā)送到應(yīng)用 的編輯控制件(可能地替換之前顯示的首位候選）。對候選進行選擇可W在辨識出的詞語之 后將空格插入到應(yīng)用編輯控制件，從而后續(xù)的由用戶輸入的詞語或字符被先前的字符或詞 語分隔。
[0037] 在筆劃理清器的其它UI實施例中，經(jīng)由相對于觸摸屏的一個或多個滑動手勢提供 各種控制手勢。示例性控制手勢包括刪除字符、刪除詞語、在字符或詞語之間添加空格、切 換繪畫輸入模式等。注意，在本文獻通篇中討論的特定控制手勢并非旨在限制控制手勢的 特定類型、控制手勢的數(shù)量或者用于激活由筆劃理清器的各個實施例可用的控制手勢的滑 動或多次觸摸輸入的方向。
[003引 1.1系統(tǒng)概況:
[0039] 如上所述，"筆劃理清器"提供各種技術(shù)，用于根據(jù)多個交疊筆劃構(gòu)成手寫消息而 無需要求預(yù)定的手勢或筆劃，并無需使用基于HWR的技術(shù)作為對理清、分割和合成多個交疊 筆劃W形成字符的引導(dǎo)。上述過程由圖2的總體系統(tǒng)圖所示出。特別地，圖2的系統(tǒng)圖示出了 用于實現(xiàn)筆劃理清器的各種實施例的程序模塊之間的相互關(guān)系，如本文所描述的。此外，雖 然圖2的系統(tǒng)圖示出了筆劃理清器的各種實施例的高級視圖，但是圖2并非旨在提供筆劃理 清器的每個可能實施例的窮舉性的或完備性的圖示，如本文獻通篇描述的。
[0040] 另外，應(yīng)該注意的是，在圖2中W斷裂線或虛線表示的任意框W及框之間的相互連 接表示本文描述的筆劃理清器的替代實施例，并且如下文描述，任意或全部運些替代實施 例可W與本文獻通篇描述的其它替代實施例結(jié)合使用。
[0041] 通常，如圖2所示，筆劃理清器所使能的過程通過使用書寫面板200(例如，觸摸屏、 觸摸敏感表面或能夠跟蹤用戶筆跡的其它真實或虛擬書寫表面)輸入表示交疊的字母或部 分字母段的多個手寫筆劃而開始操作。在各個實施例中，筆劃顯示模塊205可選地在觸摸屏 上呈現(xiàn)每個用戶筆劃的漸隱痕跡，其緊隨在與觸摸屏接觸的用戶手指之后。運為用戶提供 了在輸入每個筆劃的同時顯示每個筆劃的視覺反饋。
[0042] 當接收到每個筆劃時，控制手勢模塊210評估筆劃與根據(jù)表示控制手勢的滑動或 其它多觸摸輸入的筆劃區(qū)分?？刂剖謩莸睦影ǖ幌抻?滑動手勢用于刪除最后的筆 劃(例如，向左滑動、跨書寫面板的左邊緣），刪除最后的詞語(例如，向上滑動、跨書寫面板 的上邊緣），標記詞語的結(jié)束(例如，向右滑動、跨書寫面板的右邊緣），W及在文本和繪畫模 式之間切換(例如，向下滑動、跨書寫面板的下邊緣）。注意，控制手勢的例子在段2.2.2中更 詳細的討論。然后將每個筆劃W及任意控制手勢存儲或緩存到筆劃上下文模塊215中。
[0043] 然后筆劃上下文模塊215將緩存的筆劃W及任何相關(guān)聯(lián)的控制手勢傳遞給筆劃理 清和分割模塊220。一般而言，筆劃理清和分割模塊220考慮到任意控制手勢來對交疊筆劃 進行理清、分割和合成，從而形成一個或多個字符。如上所述，運些交疊筆劃被自動理清、分 割和合成，無需要求預(yù)先定義的手勢或筆劃，并無需使用基于HWR的技術(shù)作為引導(dǎo)。在該理 清和分割過程中使用的分割算法的示例性實施例在章節(jié)2.3中在下文更詳細討論。此外，結(jié) 合一個或多個訓(xùn)練的分割模型操作該分割算法，如在本文獻的章節(jié)2.4中在后文更詳細討 論的。注意，分割用于將多個筆劃組合到個體字符。換句話說，分割形成表示個體字符的筆 劃的組。
[0044] 一旦通過筆劃理清和分割模塊220理清、分割和合成了筆劃，則字符呈現(xiàn)模塊225 將呈現(xiàn)合成的筆劃W產(chǎn)生表示一個或多個字母、詞語和/或短語的人類可讀字符。然后，字 符顯示模塊230在用于輸入交疊筆劃的觸摸屏上，或在一些與書寫面板200相關(guān)聯(lián)的其它顯 示器設(shè)備上，顯示所呈現(xiàn)的字符的表示。還應(yīng)該注意的是，由字符呈現(xiàn)模塊225產(chǎn)生的呈現(xiàn) 字符可W用于多種目的，包括但不限于基于筆跡的文本編輯應(yīng)用，在其中將所呈現(xiàn)的字符 作為文本的人類可讀圖像傳遞到另一設(shè)備或應(yīng)用。
[0045] 一旦字符顯示模塊230已經(jīng)顯示了所呈現(xiàn)的字符，則用戶能夠看到由筆劃理清器 執(zhí)行的理清、分割和合成的結(jié)果。因此，如果在該理清、分割和合成過程中有任何錯誤，則用 戶可選地經(jīng)由字符校正模塊235(其接收用于校正錯誤的用戶輸入)來校正運些錯誤。注意， 對錯誤的校正包括但不限于:相對于已理清和分割的筆劃來校正合成錯誤(例如，將一個或 多個筆劃從一個字符處移動到先前或后續(xù)的字符），刪除字符、詞語或短語，插入或添加字 符、詞語或短語等。在各個實施例中，筆劃理清器提供"輕敲W校正(tap-to-correctr用戶 界面(參見章節(jié)2.2.6)，其中用戶簡單地輕敲、觸摸或W其它方式選擇所顯示的不正確地合 成的字符。一旦被選擇，則筆劃理清和分割模塊220就考慮所選字符的一個或多個筆劃被不 正確合成的信息來自動校正一個或多個字符的合成。
[0046] 字符呈現(xiàn)模塊225還將由合成過程得到的人類可讀字符傳遞給筆跡辨識模塊240。 筆跡辨識模塊240然后利用各種HWR技術(shù)處理運些所呈現(xiàn)的字符，W辨識字母、詞語等，并產(chǎn) 生對應(yīng)的機器可讀文本。注意，在章節(jié)2.6中在后文提供了對作為結(jié)果的交疊筆跡進行辨識 的進一步討論。
[0047]然后使由筆跡辨識模塊240產(chǎn)生作為輸出的機器可讀文本可用于多種應(yīng)用中的任 一個作為文本輸入。例如，在各個實施例中，辨識候選模塊245提供一個或多個自動完成或 辨識建議W供用戶選擇。用戶選擇運些建議之一用于提供對應(yīng)于所選建議的文本，作為對 從筆跡辨識模塊240的輸出接收輸入的任何應(yīng)用(捜索引擎、消息傳送應(yīng)用、詞語處理器、密 碼輸入窗口等）的輸入。例如，自動完成的建議或辨識候選可W包括預(yù)測，例如，在用戶僅手 寫了對應(yīng)于"piz"的字符時建議詞語"pizza"。此外，可W基于部分或完全的用戶輸入，從一 個或多個語言模型或詞典中得到辨識候選。另外，可W基于部分或完全的用戶輸入，從各種 捜索引擎中取回捜索候選。注意，運些建議或捜索候選的任意或全部是結(jié)合筆劃理清器的 各個實施例使用的。
[004引在其它實施例中，一旦已經(jīng)辨識出所呈現(xiàn)的字符，則筆跡辨識模塊240將對應(yīng)的所 呈現(xiàn)字符、詞語和/或短語的樣本傳遞到習得字符樣本數(shù)據(jù)庫250。通過用每個用戶自己的 筆跡的樣本填充該數(shù)據(jù)庫，運些樣本可W用于多種目的。例如，當使用辨識候選模塊245來 選擇一個或多個自動完成的建議時，字符顯示模塊230可W從習得字符樣本數(shù)據(jù)庫250取回 所呈現(xiàn)字符的對應(yīng)樣本，W更新對所呈現(xiàn)的字符的顯示W(wǎng)對應(yīng)于用戶選擇。結(jié)果是由字符 顯示模塊W用戶自己的筆跡來顯示自動呈現(xiàn)的字母、詞語和/或短語。因此，如同由字符呈 現(xiàn)模塊225所產(chǎn)生的呈現(xiàn)字符，利用習得字符樣本數(shù)據(jù)庫250產(chǎn)生的字符可W用于多種目 的，包括但不限于基于筆跡的文本編輯應(yīng)用，在其中將所呈現(xiàn)的字符作為文本的人類可讀 圖像傳遞給另一設(shè)備或應(yīng)用。
[0049] 應(yīng)該理解的是，在先前段落中討論的關(guān)于在習得字符樣本數(shù)據(jù)庫250中的單個用 戶數(shù)據(jù)并非旨在將該數(shù)據(jù)庫只限制為用戶自己的筆跡。例如，來自多個用戶的筆跡樣本的 語料庫用于上述分割模型的初始訓(xùn)練。在各個實施例中，可W利用具有來自其他用戶或來 自設(shè)備的特定用戶的更多數(shù)據(jù)的在線模型來擴增該語料庫。替代地，假定習得字符樣本數(shù) 據(jù)庫250用于幫助W用戶自己的筆跡呈現(xiàn)已理順(disentangled)的字符，在數(shù)據(jù)庫包含來 自其他用戶的樣本的情況下，還可W用于利用其他用戶筆跡的樣本生成字符輸出。
[0050] 注意，可W在任何時候?qū)ι鲜隹偨Y(jié)的任何錯誤執(zhí)行校正，或插入或刪除字符、詞語 或短語。任何運種校正或改變將導(dǎo)致在由字符顯示模塊230呈現(xiàn)的字符的顯示中的對應(yīng)實 時變化，在筆跡辨識模塊240的輸出中的對應(yīng)實時變化，W及在可選辨識候選模塊245的輸 出中的對應(yīng)實時變化。
[0051] 2.0筆劃理清器的操作細節(jié):
[0052] 采用上述程序模塊來實現(xiàn)筆劃理清器的各個實施例。如上所述，筆劃理清器提供 各種技術(shù)，用于根據(jù)多個交疊筆劃構(gòu)成手寫消息，而不要求預(yù)先定義的手勢或筆劃，并無需 使用基于HWR的技術(shù)作為對理清、分割和合成多個交疊筆劃W形成字符的引導(dǎo)。后續(xù)章節(jié)提 供了對筆劃理清器的各個實施例的操作的詳細討論，W及實現(xiàn)結(jié)合圖1在章節(jié)1中描述的程 序模塊的示例性方法。特別地，后續(xù)章節(jié)提供了筆劃理清器的各個實施例的例子和操作細 節(jié)，包括：
[0053] ?筆劃理清器的操作概況；
[0054] ?與筆劃理清器交互的示例性用戶界面；
[0055] ?用于理清和合成用戶筆劃的分割算法；
[0056] .訓(xùn)練分割模型W便由分割算法使用；
[0057] ?校正筆劃分割錯誤；
[005引 ?交疊筆跡辨識；W及
[0059] ?額外的實施例和考量。
[0060] 2.1操作概況:
[0061] 如上所述，本文描述的基于筆劃理清器的過程提供了各種技術(shù)，用于根據(jù)多個交 疊筆劃構(gòu)成手寫消息，而無需要求預(yù)先定義的手勢或筆劃，并無需使用基于HWR的技術(shù)作為 對理清、分割和合成多個交疊筆劃W形成字符的引導(dǎo)。一旦已經(jīng)完成理清、分割和合成過 程，則將對應(yīng)的人類可讀字符傳遞給HWR過程，HWR過程評估運些字符W生成對應(yīng)的機器可 讀文本。然后使得作為結(jié)果的機器可讀文本可用于多種應(yīng)用和設(shè)備。
[0062] 上述總結(jié)的能力提供了多種優(yōu)點。例如，如上所述，筆劃分割是基于訓(xùn)練的分割模 型的，而不使用基于HWR的技術(shù)作為引導(dǎo)，顯著減少了計算開銷。此外，該方法便利于不常用 的詞語或有表達性的（expressive)拼寫，因為在理清、分割和合成筆劃時不使用詞典等。此 夕h在理清、分割和合成過程之后的字符或文本辨識相對于現(xiàn)有系統(tǒng)(其利用文本或筆跡辨 識技術(shù)操作）顯著降低了計算開銷，從而便于初始理清和分割過程。另外，持續(xù)輸入多個交 疊筆劃而不用等待超時或輸入字符分隔符的能力增加了用戶輸入字符的速率。另一優(yōu)點在 于對交疊筆劃進行理清、分割和合成的能力意味著筆劃理清器很好地適于與任何尺寸的書 寫面板一起使用，所述書寫面板包括例如小型腕表或指環(huán)型的基于觸摸屏的設(shè)備。
[00創(chuàng) 2.2用戶界面例子:
[0064] 筆劃理清器可多種形狀因子實現(xiàn)，包括但不限于智能手機、平板計算機、具有 或不具有觸摸屏的腕表型設(shè)備、可W佩戴到用戶手指上的基于指環(huán)的設(shè)備、或具有真實或 虛擬書寫面板W跟蹤交疊筆劃的任意其它設(shè)備。給定可W實現(xiàn)筆劃理清器的設(shè)備的寬范 圍，呈現(xiàn)對采用本文描述的一些或所有功能的用戶界面進行呈現(xiàn)存在許多方式。此外，一些 不同的可W呈現(xiàn)用戶界面的方式與設(shè)備上可用的屏幕大小有關(guān)。例如，具有相對小屏幕的 腕表型設(shè)備可W與較大平板計算機或智能手機不同地顯示用戶界面的各種部件(或不同數(shù) 量的部件）。運樣，應(yīng)該理解的是，提供該文獻通篇描述的各種用戶界面例子僅出于討論和 解釋的目的，并且在本文中討論的例子并非旨在將筆劃理清器的用戶界面限制于所描述的 各種形式。
[0065] 通常，用于實現(xiàn)筆劃理清器的各種特征的用戶界面包括用于輸入交疊筆劃的書寫 面板和各種視覺反饋機構(gòu)。運些視覺反饋機構(gòu)允許用戶看到響應(yīng)于用戶輸入筆劃而產(chǎn)生的 已理清、分割和合成的人類可讀字符集合并與之交互。另外，運些視覺反饋機構(gòu)允許用戶看 到由人類可讀字符集合的基于HWR處理產(chǎn)生的機器可讀文本(包括辨識候選、捜索建議等的 各種組合)并與之交互。人類可讀字符集合和對應(yīng)的機器可讀文本均W各種組合顯示并W 多種方式使用。
[0066] 另外，提供各種控制手勢W實現(xiàn)用戶界面的各個實施例?？刂剖謩莸睦影ǖ?不限于:在詞語之間添加空格，刪除一個或多個字符，刪除一個或多個詞語，校正理清、分割 和合成錯誤，等等。如本文更詳細討論的，運些控制手勢在各個實施例中包括基于筆劃的控 制手勢。然而，在筆劃理清器用戶界面的各個實施例中還可W使用其它控制手勢，包括但不 限于:基于語音的控制手勢，基于觸摸真實或虛擬設(shè)備按鈕的控制，基于設(shè)備運動的控制， 基于多觸摸或組合手勢的控制，等等。
[0067] 2.2.1書寫面板:
[0068] 如上所述，筆劃理清器通過接收對應(yīng)于一個或多個交疊筆劃的輸入而開始操作。 因此，用于跟蹤運種筆劃的現(xiàn)有或預(yù)期的技術(shù)可W操作W由筆劃理清器使用。例如，運種技 術(shù)包括但不限于:使用觸摸屏、觸摸敏感表面、繪畫板、或可W跟蹤手指(或觸筆）的其它真 實或虛擬表面。出于解釋和討論的目的，所有運種表面(真實的或虛擬的）將在本文中總體 上稱作書寫面板。
[0069] 此外，由于可類似于跟蹤手指的方式來跟蹤書寫實現(xiàn)工具（例如，觸筆、筆 等），后續(xù)討論將一般設(shè)及利用手指創(chuàng)建筆劃，可W理解后續(xù)討論可W均等地應(yīng)用于創(chuàng)建筆 劃的各種技術(shù)或工具的任何一種。還應(yīng)注意，相對于任意表面甚至在空中跟蹤筆劃的各種 技術(shù)將在章節(jié)2.4中在下文更詳細地討論
[0070] -般而言，書寫面板涵蓋用戶在其上輸入交疊筆劃的真實或虛擬表面的部分或全 部。在操作中，用戶可W采用她常用的書寫字體，利用大寫或小寫字母、數(shù)字、標點、特殊字 符等，來在書寫面板上書寫筆劃。取決于書寫面板的尺寸W及用戶書寫的多大，書寫面板可 W允許用戶書寫一個或多個相鄰字符，每個字符包括多個交疊筆劃。用戶可W在書寫面板 上水平和/或垂直放置和隔開字符的交疊筆劃，而沒有限制。事實上，在觸摸屏的情況下，用 戶輸入的交疊筆劃可W侵占各種用戶界面或輸入窗口或觸摸屏的其它顯示區(qū)域。注意，運 些情況的例子在上文關(guān)于圖1討論過。
[0071] 2.2.2控制手勢:
[0072] 如上所述，可W實現(xiàn)寬范圍的控制手勢中的任一種用于與筆劃理清器的用戶界面 交互。在經(jīng)過驗定的實施例中觀察到，利用相對較小計算資源，容易將被設(shè)計為跨書寫面板 的外邊界的滑動手勢與意圖利用輸入字符的筆劃區(qū)分開來。運允許筆劃理清器避免各種控 制手勢的意外激活。其它實施例，例如利用兩個手指的滑動或其它多觸摸手勢或設(shè)備運動 W區(qū)別控制手勢，也在筆劃理清器的各個實現(xiàn)方式中提供。
[0073] 例如，在各個實施例中，筆劃理清器基于跨觸摸屏的物理邊緣而延續(xù)的滑動來提 供四個方向的控制系統(tǒng)。在經(jīng)過驗定的實施例中，運些滑動或控制手勢包括"退格"手勢，用 于通過跨書寫面板的左邊緣滑動而刪除先前筆劃或字符。類似地，跨書寫面板的右邊緣的 滑動插入空格(等價于輕敲當前首位辨識候選），用于自動開始新字符或詞語，該新字符或 詞語與先前輸入的字符或詞語分離?？鐣鴮懨姘宓纳线吘壍南蛏匣瑒訉⑺心E和/或候 選從屏幕清除。最后，跨書寫面板的下邊緣的向下滑動切換繪畫模式，W允許用戶經(jīng)由多個 筆劃輸入圖像，而不將運些筆劃合成個體字符。
[0074] 2.2.3 顯示屏:
[0075] 筆劃理清器的用戶界面包括顯示屏，例如，實現(xiàn)筆劃理清器的設(shè)備的觸摸屏，或與 筆劃理清器通信的某個其它屏幕。通常，顯示屏顯示根據(jù)用戶輸入的交疊筆劃而理清、分割 和合成的手寫文本的一行或多行。在每次觸摸事件(包括筆劃輸入、經(jīng)由控制手勢的筆劃或 字符刪除、在字符之間輸入空格，等)時，在書寫面板上更新對當前筆劃(在書寫面板上正在 繪制的筆劃）的呈現(xiàn)。
[0076] 換句話說，通過一個或多個先前筆劃對筆劃進行理清、分割和合成W形成字符，或 者進行分割并用于開始新字符，作為實時過程。運允許用戶可W在進行她的輸入時對她的 輸入進行視覺驗證。結(jié)果，隨著用戶在書寫面板上書寫，顯示屏示出了形成用戶輸入的字符 實時地演變的當前狀態(tài)。
[0077] 注意如圖1所示，在各個實施例中，合成的字符(例如，人類可讀字符集合140)被縮 放(即，減小大?。￤適配到布置在字符輸入窗口 150內(nèi)的虛擬邊界框中，從而運些字符可W 在屏幕上W允許實現(xiàn)用戶界面的其它元件的方式顯示。注意在各個實施例中，利用相同的 相對縮放比例(例如，所有人類可讀字符減小80%)來縮放根據(jù)已分割和合成的筆劃構(gòu)造的 每個字符，而不是個體地縮放每個字符W適配到上述邊界框中。換句話說，在各個實施例 中，利用相同的縮放比例縮放所有筆劃。替代地，對所獲得的人類可讀字符進行縮放W適配 到邊界框中。
[0078] 當為了顯示而對經(jīng)分割的詞語(即，一個或多個經(jīng)分割的字符，其每個包括從一個 或多個交疊筆劃生成的)進行布局時，筆劃理清器依據(jù)字符將筆劃自動地分割或分組，并且 將對應(yīng)的字符（或用于每個字符的邊界框)水平地對準，W小空格(例如，大約一個筆劃寬 度)分隔。可W在每個詞語的結(jié)束處插入更寬的水平空格，W改善人類可讀字符集合的可讀 性。字符位置通常不被垂直調(diào)整，然而在各個實施例中，各種各樣的對準或布局設(shè)置允許將 字符W任意期望方式(例如，水平、垂直、對角線、沿著任意曲線、增加或減少的間隔等)相對 彼此調(diào)整。
[0079] 在各個實施例中，筆劃理清器從書寫面板中在每個字符內(nèi)保持相對筆劃位置。在 一些情況下，在該簡單方案后的假設(shè)沒有保持，例如，如果用戶在符號的半途放下設(shè)備并在 稍后嘗試結(jié)束。在運種情況下，筆劃理清器基于在理清和分割過程中使用的訓(xùn)練分割模型 為筆劃自動確定更可能的位置。
[0080] 2.2.4視覺反饋:
[0081] 視覺反饋（呈現(xiàn)墨跡筆劃）幫助用戶檢查他們目前寫入的字母(或詞語）部分。然 而，事實上，將字符書寫在彼此頂部產(chǎn)生了用戶通常沒有興趣查看的復(fù)雜度。換句話說，在 顯示屏上呈現(xiàn)所有筆劃并保留運些筆劃達一段時間，將意味著將多個字符雜亂地呈現(xiàn)在彼 此頂部。因此，筆劃理清器用戶界面的各個實施例用不同方式處理該問題，可W經(jīng)由與筆劃 理清器用戶界面相關(guān)聯(lián)的配置菜單等選擇或調(diào)整運些方式中的一些或全部。
[0082] 例如，在一個實施例中，如上所述，除了用于形成人類可讀字符集合的那些筆劃的 縮放版本外，簡單地不示出筆劃。在觸摸屏的情況下，在各個實施例中，筆劃理清器在書寫 面板上W跟蹤跨觸摸屏的用戶筆劃的漸隱筆劃痕跡形式提供可選的視覺反饋。在其它實施 例中，顯示交疊筆劃，直到由筆劃理清器執(zhí)行的分割開始新的字符，此時清除先前筆劃，并 且通過筆劃理清器顯示新的交疊筆劃。再次，在用戶界面的各個實現(xiàn)方式中可W選擇和使 用任意或全部運種模式。
[0083] 如上所述，筆劃理清器利用各種HWR技術(shù)來處理根據(jù)交疊筆劃創(chuàng)建的人類可讀字 符集合，W創(chuàng)建機器可讀文本。注意，筆跡辨識技術(shù)是本領(lǐng)域技術(shù)人員公知的，并且在此不 再詳細討論。
[0084] 關(guān)于該HWR過程的各個用戶界面方面，在各個實施例中，筆劃理清器將當前手寫詞 語或字符鄰近辨識候選(或在顯示屏上的任意其它位置處）顯示。在圖3中示出了該實施例 的例子，并伴隨若干額外用戶界面元件。例如，響應(yīng)于理清和分割用戶輸入的交疊筆劃，基 于觸摸屏的計算設(shè)備300(在該情況下，呈現(xiàn)為基于手獨或腕表的形狀因子）顯示人類可讀 字符集合310(其在該情況下表現(xiàn)為拼寫詞語"bill")的呈現(xiàn)。如上所述，在用戶輸入筆劃時 實時地執(zhí)行對運些人類可讀字符的理清、分割、合成和呈現(xiàn)。
[0085] 鄰近人類可讀字符集合310的是一組一個或多個用戶可選HWR辨識候選320。在圖 示的實施例中，運些辨識候選320從左到右被按照從最可能到最不可能的候選進行排序，從 而最可能的候選鄰近對應(yīng)的人類可讀字符集合310。對運些辨識候選320之一的用戶選擇起 到將正確的文本通知筆劃理清器的作用，并還使得對應(yīng)的機器可讀文本可用于一個或多個 額外應(yīng)用。
[0086] 例如，在圖3所示的用戶界面實施例中，最可能的辨識候選320(在該情況下是文本 "bill"(或者用戶所選擇的無論什么其它辨識候選））還被提供到捜索引擎的輸入字段330。 如同許多捜索引擎，當由筆劃理清器將輸入提供到輸入字段330時，但在實際執(zhí)行捜索之 前，提供基于部分用戶輸入的用戶可選捜索候選340的一個組或列表。當用戶選擇運些捜索 候選340的任一個時，或者當用戶選擇捜索按鈕350等時，執(zhí)行捜索，將結(jié)果代替于捜索候選 (或顯示屏的任意其它部分)而顯示。還應(yīng)注意，圖3示出了漸隱筆劃痕跡360的例子，該漸隱 筆劃痕跡在用戶的當前筆劃輸入被理清、分割、合成和呈現(xiàn)W創(chuàng)建人類可讀字符集合310時 跟蹤用戶的當前筆劃輸入。
[0087] 換句話說，圖3的示例性用戶界面示出了已理清和分割的用戶筆劃的顯示，作為鄰 近的一組一個或多個HWR辨識候選的人類可讀字符。運個用戶界面例子還示出了基于首位 HWR辨識候選或用戶所選的HWR辨識候選之一的連同捜索建議的捜索引擎輸入窗口。對人類 可讀字符集合的更新實時發(fā)生，伴隨著對應(yīng)的對HWR辨識候選的實時更新和對應(yīng)的對捜索 建議的實時更新。已經(jīng)觀察到，作為運些更新結(jié)果而提供給用戶的實時視覺反饋允許用戶 基于用戶輸入的手寫文本來快速執(zhí)行捜索，而無需使用真實或虛擬鍵盤。還應(yīng)注意，類似的 用戶界面可W用于對除了捜索引擎外的應(yīng)用（例如，消息傳送應(yīng)用、詞語處理器、或利用機 器可讀文本輸入的任意其它應(yīng)用)提供輸入。
[0088] 利用用戶可選辨識候選和捜索建議的運些多級視覺反饋的一個優(yōu)點在于：即使在 對筆劃的理清、分割和合成中或在對作為結(jié)果的字符的基于HWR的辨識中存在錯誤，也可能 在候選或建議中有一個對應(yīng)于所意圖的用戶輸入。運樣，運種類型的用戶界面已經(jīng)被觀察 到通過向用戶提供選擇正確文本的多個選項而減少了整體手寫輸入錯誤。
[0089] 2.2.5繪畫模式:
[0090] 筆劃理清器用戶界面的各個實施例允許用戶向文本中添加小的繪畫。繪畫與字符 的不同在于在其合成期間關(guān)閉筆劃分割。為了構(gòu)成繪畫，用戶通過使用前述下滑控制姿勢， 通過切換繪畫按鈕，或者通過使用任意其它期望的控制手勢，來將界面帶入繪畫模式。
[0091] 與根據(jù)交疊筆劃執(zhí)行理清和分割過程來生成字符相比，在繪畫模式中，繪畫是典 型的定制創(chuàng)建，其要求可能的多個筆劃和在合成期間的放大的視圖。運樣，在各個實施例 中，筆劃理清器用戶界面提供視覺指示W(wǎng)警告用戶系統(tǒng)處于繪畫模式。例如，在各個實施例 (例如，圖1的按鈕180)中，選擇或W其它方式突出繪畫模式切換按鈕來指示系統(tǒng)處于繪畫 模式，即使在書寫面板上沒有筆劃。注意，在繪畫模式中也可W使用刪除手勢。為了結(jié)束繪 畫，用戶或是切換繪畫模式按鈕，或是做出詞語結(jié)束手勢。當顯示消息時，將繪畫作為詞語 對待，即，通過空白將其與相鄰詞語或繪畫分離。對消息中繪畫的數(shù)量沒有限制。
[0092] 在筆劃理清器的經(jīng)過驗定的實施例中，每個筆劃包括指示其是W繪畫模式還是文 本模式輸入的位(bit),從而可w執(zhí)行對繪畫或文本的后續(xù)編輯，并因此當執(zhí)行對人類可讀 字符集合的辨識時，基于HWR的辨識過程可W跳過該繪畫。例如，假設(shè)用戶"退格"經(jīng)過多個 筆劃，并最終刪除繪畫的最后筆劃。此時，筆劃理清器用戶界面自動切換到繪畫模式，并在 書寫面板上顯示所述繪畫的所有筆劃，從而可W編輯整個繪畫。類似地，如果用戶"退格"經(jīng) 過整個繪畫，則筆劃理清器用戶界面回復(fù)到文本輸入模式(即，捕捉用戶輸入字符的交疊筆 劃)。
[0093] 圖4經(jīng)由筆劃理清器用戶界面的另一例子提供字符和繪畫輸入的組合使用的圖 示。特別地，如上所述，在各個實施例中，筆劃理清器用戶界面使得用戶能夠伴隨用于輸入 字符的交疊筆劃輸入手指繪畫圖像。例如，在圖4左側(cè)的設(shè)備400示出了理清和分割交疊筆 劃410的結(jié)果作為人類可讀字符集合420,其表現(xiàn)為拼寫詞語"the quick brown fox"。另 夕h基于HWR處理人類可讀字符集合420會導(dǎo)致顯示對應(yīng)的機器可讀文本430,如圖所示。注 意在各個實施例中，人類可讀字符集合420和對應(yīng)的機器可讀文本430都是用戶可選和用戶 可編輯的。
[0094] 此外，圖4右側(cè)的設(shè)備405示出了將繪畫415添加到先前輸入的人類可讀字符集合 420上的結(jié)果。在運種情況下，由于繪畫415被隨后添加到人類可讀字符集合420的輸入上， 所W隨后縮放附圖W適配人類可讀字符集合并與運些字符組合呈現(xiàn)(參見元件425)。
[00M] 還應(yīng)注意，在示出的例子中，繪畫還與對應(yīng)的機器可讀文本組合呈現(xiàn)（參見元件 435)。有利地，在該情況下，可W保存機器可讀文本和繪畫W供后續(xù)使用或呈現(xiàn)為到任意其 它應(yīng)用的輸入，例如，捜索引擎，其隨后在機器可讀文本和圖像上執(zhí)行聯(lián)合捜索。替代地，可 W利用繪畫415作為輸入執(zhí)行基于圖像的捜索。
[0096] 2.2.6 輕敲W校正:
[0097] 如同解釋自然用戶輸入的任意系統(tǒng)，存在輸出不匹配用戶意圖的情況。在筆劃理 清器使用分割算法的情況下，運種錯誤導(dǎo)致字符全部或部分呈現(xiàn)在彼此頂部，或斷裂成碎 片。運樣，在各個實施例中，筆劃理清器用戶界面提供各種技術(shù)，允許用戶校正由理清和分 割過程產(chǎn)生的人類可讀字符集合的分割和合成錯誤。
[009引例如，假設(shè)用戶想要寫入"clean"，但是理清過程錯誤地將筆劃分割而產(chǎn)生 "dean"。然后，當用戶簡單地輕敲或W其它方式選擇"d"時，分割將自動校正W將形成"d"字 符的筆劃分離為單獨的V'和"Γ字符。
[0099] 圖5示出了筆劃理清器用戶界面的例子，其包括輕敲W校正控制手勢，該手勢能夠 通過對合成運些筆劃的對應(yīng)自動校正，而自動校正不正確分割的筆劃成為校正的人類可讀 字符集合。
[0100] 例如，如圖5所示，對在設(shè)備的觸摸屏510上輸入的多個交疊筆劃500自動理清、分 割和合成W形成人類可讀字符集合520,其表現(xiàn)為拼寫詞語"hello wotd"。此外鄰近人類可 讀字符結(jié)合520的是基于冊R的處理的對應(yīng)結(jié)果，其導(dǎo)致顯示拼寫"hello wotd"的機器可讀 字符530。該示例性用戶界面的一個有趣特征是捜索建議窗口 540基于機器可讀字符530提 供建議的捜索術(shù)語。
[0101] 在運種情況下，實際上針對所意圖的用戶輸入來校正捜索引擎返回的捜索建議。 特別地，圖5右側(cè)的設(shè)備515示出了用戶選擇(例如，用戶"輕敲"所顯示的字符)人類可讀字 符的結(jié)果，其表示在表現(xiàn)為拼寫"wotd"的字符集合中的字符"t"。在該例子中，筆劃理清器 自動重新分割筆劃，在顯示屏上顯示得到的校正后的人類可讀字符525和對應(yīng)的機器可讀 字符535,并突出了校正后的分割和對應(yīng)的字符(參見元件555)。
[0102] 注意，對突出的校正后的分割和對應(yīng)的字符（參見元件555)的顯示可W被呈現(xiàn)達 預(yù)定時間段或被呈現(xiàn)直到用戶取消。此外，如該例子所示，在各個實施例中，可W在更大視 圖中呈現(xiàn)突出的校正后的分割和對應(yīng)字符(參見元件555)，W將運些字符W在用戶想要進 一步編輯的情況下能夠更容易編輯的格式呈現(xiàn)給用戶。
[0103] 注意，在圖5的例子中，當將用戶輸入校正為原始意圖的"hello world"時，所顯示 的捜索建議仍是相同的。對每個分割錯誤而言情況不總是運樣的，但是在發(fā)生分割錯誤的 百分率非常高時情況就是如此。運樣，即使當形成人類可讀字符集合時在對筆劃進行理清、 分割和合成中出現(xiàn)錯誤，用戶也能夠快速輸入或選擇所意圖的輸入。
[0104] 注意，用于校正分割錯誤的示例性技術(shù)將在章節(jié)2.5中詳細討論。
[0105] 2.3分割算法:
[0106] 通常，筆劃理清器用戶界面允許用戶通過空格手勢或標記詞語結(jié)束的任何其它控 制手勢來標記詞語邊界。利用W下結(jié)合在圖6中呈現(xiàn)的筆劃分割而描述的技術(shù)，將詞語內(nèi)的 筆劃自動分割成字符(其用于實現(xiàn)圖1的筆劃理清和分割模型220的各個實施例）。
[0107] 特別地，圖6示出了示例性筆劃分割圖600。筆劃分割圖600包括多個節(jié)點610-650 (每個節(jié)點表示對應(yīng)的分割模型，參見在章節(jié)2.4討論的分割模型）。在所示的例子中，筆劃 分割圖600可W用于表示由1-4個筆劃構(gòu)成的手寫字符，因為運個數(shù)量的筆劃通常對大部分 字符都是足夠的。然而，應(yīng)該理解的是，可W通過增加在分割圖中的節(jié)點的數(shù)量來分割任意 數(shù)量的筆劃。在任何情況下，在圖6的例子中，來自節(jié)點4(即，元件650)到節(jié)點0(即，元件 610)的任意路徑表示筆劃分割，其中運種分割的分數(shù)（score)是遍歷的邊緣權(quán)重 (traversed edge wei曲t)的和Sik，并且其中訪問節(jié)點標記字符結(jié)束。
[0108] 在示例性實施例中，筆記理清器的分割算法用于分割包括N個筆劃的任意詞語或 字符。對于每個筆劃i = l，一，N，可W計算四個分數(shù)Sik，k=l，一，4,其中每個分數(shù)描述筆劃i 是在k筆劃字符中的最后筆劃的可能性如何。圖6描繪了分割圖，其中N = 4,并且包括N+1個 節(jié)點；每個筆劃i = l，…，N的一個節(jié)點加上一個標記為0的額外節(jié)點610,其中圖600包括從 每個節(jié)點返回到其(直到）四個前導(dǎo)(pr edece S sor S)的指向邊緣。從節(jié)點i到節(jié)點i -k的邊緣 對應(yīng)于將筆劃（i-k+1)，…，i分組到一個字符中，并由對應(yīng)的分數(shù)sik加權(quán)。從節(jié)點N到節(jié)點0 的路徑表示將N個筆劃分割成字符。預(yù)測最可能的分割相當于定位具有邊緣權(quán)重的最大和 的路徑。本領(lǐng)域技術(shù)人員可W理解的是，運是個最短路徑問題，可W利用在〇(N)時間和空間 中動態(tài)編程而有效地解決。
[0109] 2.4分割模型:
[0110] 一般而言，分割算法利用用于分割筆劃的多個訓(xùn)練分割模型之一。運些訓(xùn)練分割 模型由分割算法用于計算字符結(jié)束分數(shù)為Sik = fk(Vi)，其中VI是描述筆劃i的特征向量，而 fk是筆劃是k筆劃字符中最后一個的可能性的統(tǒng)計模型。換句話說，運些模型確定一個字符 的筆劃何時結(jié)束，后續(xù)筆劃然后被分割到下一字符中。多個交疊筆劃的逐字符分割然后被 合成一個對應(yīng)的人類可讀字符，如本文獻通篇所討論的。
[0111] 在各個實施例中，特征向量VI包括多個值，包括筆劃輸入的邊界框位置、維度、面 積、縱橫比、筆劃長度、多箱(multi-bin)斜率直方圖、在筆劃開始和結(jié)束處的斜率，等等。特 征向量還可w為在時間上相鄰的筆劃在兩個方向（即，先前和后續(xù)相鄰筆劃)上保持類似的 值。例如，特征向量可W為在時間上相鄰的兩個筆劃在兩個方向（i-2)，…，（i+2)上保持類 似值，如果運種筆劃存在(在VI中丟失的輸入可W被設(shè)置為一些默認值，例如-1，W表示對 特定輸入不存在值）。此外，用于筆劃輸入的邊界框特征可W被采用于確定筆劃輸入的相鄰 邊界框的并集和交集。注意，在觸摸屏上的筆劃輸入的運些邊界框不應(yīng)與用于縮放根據(jù)上 述在章節(jié)2.2.3中討論的已理清和分割的筆劃所呈現(xiàn)的人類可讀字符的可選邊界框混淆。 [0112]在筆劃理清器的經(jīng)過驗定的實施例中，采用提升的決策殘根(boosted decision stump)來習得字符分割模型的結(jié)束：/&C巧），例如，在vi的個體維度上η個 步驟函數(shù)hA的和。注意，在該經(jīng)過驗定的實施例中，利用在訓(xùn)練數(shù)據(jù)中的k筆劃字符筆劃的 結(jié)束作為正面例子而剩余的筆劃作為反面例子，有區(qū)別地訓(xùn)練模型。另外，應(yīng)該理解，可W 使用其它計算機學習或建模技術(shù)構(gòu)造理清算法所使用的字符分割模型的結(jié)束，并且僅出于 解釋的目的描述了提升決策殘根的使用。
[0113] 2.4.1模型訓(xùn)練:
[0114] 可W利用多種技術(shù)實現(xiàn)為分割圖的節(jié)點訓(xùn)練分割模型。例如，在經(jīng)過驗定的實施 例中，記錄了針對已知階段手動輸入筆劃數(shù)據(jù)，所述數(shù)據(jù)被手動標記字符邊界，并用于訓(xùn)練 四個分割模型（對于四個節(jié)點分割圖的情況）。然而，運種類型的手動數(shù)據(jù)輸入會是慢且較 不準確的，除非輸入大量數(shù)據(jù)。
[0115] 因此，在經(jīng)過驗定的實施例中，利用在典型在線消息傳送系統(tǒng)中觀察到的包括來 自大群體的寫手和最頻繁詞語的語料庫的數(shù)W千計的手寫英語字符的公共可用數(shù)據(jù)集，通 過自動模仿筆劃，來生成顯著更多的訓(xùn)練數(shù)據(jù)。注意，可W使用其它語言和字符集，例如，漢 語、婆羅米系文字等，來生成語言特定的分割模型。
[0116] 為了模仿輸入到書寫面板上的詞語，從消息傳送系統(tǒng)語料庫中取出隨機詞語。然 后，對于每個字符，從筆跡數(shù)據(jù)集中取回一組墨跡筆劃。模仿的筆劃的位置和大小被隨機打 亂，W使得它們的平均值和方差匹配來自前述討論的手動創(chuàng)建(但是真實）的數(shù)據(jù)集的數(shù) 據(jù)。在字符中的相對筆劃位置不是隨機的，因為假設(shè)當用戶正在書寫面板上輸入筆劃時相 對筆劃位置通常保存在字符內(nèi)。運些技術(shù)用于生成非常大量的筆劃用于訓(xùn)練分割模型。在 經(jīng)過驗定的實施例中，利用n = 256殘根中的每個(即，利用上述提升的決策殘根)訓(xùn)練模型。 注意，在該過程中可W采用更多或更少的殘根，運取決于可用訓(xùn)練數(shù)據(jù)W及取決于期望的 模型保真度。
[0117] 2.5校正筆劃分割錯誤:
[0118] 如結(jié)合圖5在上述討論的，錯誤有時可W發(fā)生于理清和分割筆劃時，結(jié)果是意圖成 為人類可讀的字符的一個或多個筆劃全部或部分被呈現(xiàn)于彼此頂部，或W不正確的方式斷 裂成碎片。筆劃理清器提供各種技術(shù)用于解決運種錯誤。
[0119] 一般而言，當用戶表示(例如，"輕敲W校正"，或W其它方式選擇或指定)一個或多 個字符被不正確地顯示或呈現(xiàn)時，筆劃理清器通過確定一個或多個所選和相鄰筆劃的最可 能替代分割，來自動重新分割所選的一個或多個字符。
[0120] 特別地，關(guān)于由于分割錯誤而未被正確顯示的一個或多個字符，筆劃理清器識別 對輕敲或選擇位置的一個或多個字符的最接近序列。然后將與所述詞語的字符相關(guān)聯(lián)的筆 劃劃分為Ξ個種類，包括：
[0121] 種類1:將被改變分割的筆劃。在經(jīng)過驗定的實施例中，在用戶輕敲位置大約5mm周 圍的筆劃被放置到該種類中，因為用戶被預(yù)期為實際輕敲或選擇被她視為分割錯誤的事 物，但是運個距離將取決于各種因素，例如，字符的所顯示大??；
[0122] 種類2:可能改變分割的筆劃。一般而言，運些是一個或多個筆劃，其是在分割將被 改變的種類1中用戶所選字符或筆劃的緊鄰(在任意方向，如上所述）；W及
[0123] 種類3:不在種類1和種類2中的筆劃。對運些筆劃的分割不改變，直到用戶后續(xù)進 行選擇，或者除非它們緊鄰后續(xù)選擇的筆劃。
[0124] 給定可能改變或不改變(例如，種類1和2)分割的筆劃的上述種類，利用上述分割 算法，計算最可能的替代分割的某個闊值(例如，32)，同時保持種類3中的筆劃不變。運可W 通過W下而實現(xiàn):從分割圖（參見圖6)移除將導(dǎo)致種類3中筆劃的替代分割的邊緣，并確定 直到剩余路徑的闊值數(shù)量的分數(shù)(score)。注意，取決于正被重新分割的筆劃數(shù)量，替代路 徑的可能的總數(shù)可能少于對所考慮的路徑數(shù)量設(shè)置上限的闊值數(shù)量。
[0125] 在各個實施例中，給定上述討論的最可能的替代分割的集合，筆劃理清器自動選 擇單個最可能的替代分割，其定義為滿足W下標準的可行路徑：
[0126] 1.所選的替代分割改變落入到種類1中的至少一個筆劃；W及
[0127] 2.所選的替代分割對落入到種類帥的筆劃具有最小影響。
[0128] 上述規(guī)則有利于部分的校正，但是當部分改變需要在較大區(qū)域內(nèi)改變時（即，對鄰 近筆記分割的可能改變)還允許更大區(qū)域的改變。此外，利用該規(guī)則使得筆劃理清器能夠?qū)?時地在用戶輕敲或選擇具有分割錯誤的字符時自動校正分割。在各個替代實施例中，筆劃 理清器替代地表示對應(yīng)于多個最可能替代分割的兩個的顯示W(wǎng)供用戶選擇。
[0129] 2.6交疊筆跡辨識:
[0130] 如本文獻通篇所描述的，筆劃理清器利用自動理清和分割交疊筆劃來執(zhí)行對對應(yīng) 人類可讀字符的筆跡辨識。換句話說，筆劃理清器提供交疊的HWR過程，其首先通過分組或 分割交疊筆劃到字符中，然后執(zhí)行后續(xù)的HWR處理運些人類可讀字符，來"理清"表示交疊墨 跡的筆劃。
[0131] 與W需要使用各種HWR處理技術(shù)作為幫助執(zhí)行分割的方式集成理清邏輯與筆跡辨 識的技術(shù)相比，筆劃理清器實現(xiàn)理清作為單獨的專用過程，在不使用基于HWR技術(shù)作為幫助 或引導(dǎo)執(zhí)行分割的情況下執(zhí)行理清。換句話說，該預(yù)處理筆劃僅提供了將墨跡筆劃分組或 分割到人類可讀組分。然將經(jīng)分組或分割的字符發(fā)送給標準(非交疊)HWR過程，其操作W返 回對應(yīng)于人類可讀字符的機器可讀文本。
[0132] 對于筆劃理清器執(zhí)行的筆劃分割過程存在若干優(yōu)點。例如，理清和分割比完全辨 識簡單，并因此通常比現(xiàn)有基于HWR的理清和分割技術(shù)更快(和較低的功率）。運使得其能很 好地適于實時反饋，用于在用戶正輸入筆劃的同時在顯示器上呈現(xiàn)整個手寫詞語。此外，上 述筆劃分割過程可W利用任何現(xiàn)有HWR系統(tǒng)，其通常是不能被容易地修改W處理交疊輸入 的高度優(yōu)化過程。
[0133] 2.6.1辨識候選:
[0134] 如上所述，筆劃理清器響應(yīng)于用戶輸入的手寫字符，提供各種用戶可選詞語預(yù)測 和"語義"辨識候選。特別地，當將來自HWR算法的結(jié)果饋送到如捜索算法的應(yīng)用時，后者可 W比單獨HWR算法訪問更多的校正或預(yù)測集合。
[0135] 例如，如果用戶在捜索引擎中鍵入吁acebock"，則通常捜索引擎將W"facebook" 作為捜索候選進行響應(yīng)。在運種情況下，筆劃理清器可W在候選窗口或顯示屏的任意地方 處直接顯示更詳盡的校正和預(yù)測作為用戶可選輸入。注意，該概念的例子結(jié)合圖5在上文進 行了描述。在各個實施例中，一旦用戶已經(jīng)選擇了特定的辨識候選，則輸入窗口被清除并準 備用于下一字符輸入。
[0136] 詞語預(yù)測是筆劃理清器支持的另一技術(shù)。例如，在各個實施例中，筆劃理清器使用 統(tǒng)計語言模型等來顯示當前詞語的最可能的完成，例如，當用戶書寫"faceb"時，候選列表 將包含吁acebook"。運允許用戶利用單次輕敲完成詞語輸入，導(dǎo)致更快速的輸入速度。
[0137] 注意，因為筆劃理清器顯示鄰近或靠近辨識候選、預(yù)測候選、建議候選和/或校正 候選(或運些的任意或全部的任意組合）的手寫字符（即，由本文所描述的分割和合成技術(shù) 生成的人類可讀字符），所W用戶仍可W訪問她實際手寫的事物。運已經(jīng)被觀察到有助于用 戶相對與筆劃理清器呈現(xiàn)的各種辨識候選設(shè)及她的輸入。運在使用更復(fù)雜的預(yù)測算法或語 言模型時，并且當在實際書寫輸入和候選之間的關(guān)系變得更抽象時，變得愈加有用。例如， 在極端例子中，如果用戶寫入"lowes"，筆劃理清器可W顯示"home depot"，因為兩者都設(shè) 及家用改善型存膽。
[0。引 2.6.2詞表外的詞語或字符串:
[0139] 通常，用戶想要輸入不是實際詞語的文本。例子包括:密碼、在詞典中找不到的不 常用詞語(包括另一種語言的詞語）、或有表達性的拼寫（例如，"whoooah")等。因此，在筆劃 理清器的各個實施例中，經(jīng)由HWR過程，通過發(fā)起辨識模式，允許運些類型的詞表外詞語或 字符串，在所述辨識模式中，建議包括純粹的理清和合成作為一種選擇(例如，為至少一種 選擇關(guān)閉拼寫檢查或詞語識別）W允許用戶輸入新詞語(例如，"wooooah")或具有混合特殊 字符、數(shù)字和字母的密碼(例如，"MK巧qwS")等。筆劃理清器還可W通過使用HWR系統(tǒng)執(zhí)行 逐字符的辨識而不提供拼寫或詞語校正或建議來實現(xiàn)類似的結(jié)果。注意，在一些實施例中， 運種結(jié)果可W表示為在預(yù)測列表中的替代，而不是強迫用戶切換到不同的辨識模式。
[0140] 2.7額外的實施例和考量:
[0141] 如上所討論的，筆劃理清器可廣泛范圍的形狀因子實現(xiàn)，例如，智能手機、平 板計算機、具有觸摸屏或觸摸敏感表面的腕表型設(shè)備、或具有可W跟蹤交疊筆劃的真實或 虛擬書寫面板的任意其它設(shè)備。此外，使得作為HWR過程之后的輸出產(chǎn)生的機器可讀文本對 于多種應(yīng)用中的任一種作為文本輸入可用。
[0142] 因此，給定可W實現(xiàn)筆劃理清器的廣范圍的設(shè)備，W及筆劃理清器將機器可讀文 本傳遞到任意數(shù)量的應(yīng)用的能力，存在多種方式呈現(xiàn)采用本文所描述的一些或所有功能的 用戶界面。此外，可W呈現(xiàn)用戶界面的一些不同方式與設(shè)備上可用的顯示屏的尺寸相關(guān)。
[0143] 考慮到運些考量，在下文描述了筆劃理清器的各種特征和能力的多個實施例和用 途中的一些的若干額外例子。應(yīng)該理解的是，運些例子并非旨在限制筆劃理清器的用戶界 面實施例或能力的任一個的范圍，并且運種例子僅出于解釋的目的提供。
[0144] 2.7.1自動完成用戶筆跡樣本:
[0145] 如本文獻通篇所描述的，筆劃理清器W人力可讀格式根據(jù)用戶輸入的交疊筆劃生 成已理清的和分割的字符和詞語。運樣，運些人類可讀字符和詞語是用戶個人的筆跡。因 此，在HWR過程之后，在用戶個人筆跡的對應(yīng)機器可讀文本的個體字符和詞語之間存在直接 映射。
[0146] 因此，在各個實施例中，筆劃理清器構(gòu)造形成用戶筆跡W及對應(yīng)機器可讀文本的 字符和詞語的筆劃的實際樣本的數(shù)據(jù)庫或庫(例如，圖2的元件250)。該數(shù)據(jù)庫或庫隨后可 W用于廣范圍的目的。
[0147] 例如，當從各種辨識候選、捜索建議或自動完成建議中進行選擇時，筆劃理清器可 W從用戶的字符樣本庫中取回對應(yīng)的字符樣本，W更新所呈現(xiàn)字符的顯示W(wǎng)對應(yīng)于用戶選 擇。結(jié)果是通過字符顯示模塊顯示W(wǎng)用戶個人筆跡自動呈現(xiàn)的字母、詞語和/或短語。注意， 筆劃理清器還被允許在用戶輸入的文本中校正拼寫錯誤，同時針對對應(yīng)的人類可讀字符保 持用戶個人筆跡。
[0148] 其它示例性使用包括但不限于:基于筆跡的文本編輯應(yīng)用，其中用戶利用任意期 望的文本(或語音)輸入技術(shù)鍵入或輸入文本，來自樣本庫的對應(yīng)字符樣本隨后被作為文本 的人類可讀圖像傳遞給另一設(shè)備或應(yīng)用。注意，對應(yīng)機器可讀文本可W連同運些文本的人 類可讀圖像被傳遞到其它設(shè)備或應(yīng)用。另一例子
[0149] 2.7.2整體詞語理清:
[0150] 通常，訓(xùn)練筆劃理清器的分割算法和分割模型來每次支持不僅一個字符，而是支 持兩個或更多字符或甚至整個詞語。因此，如果書寫面板足夠大，或如果用戶能寫地足夠 小，則一次可W輸入兩個或更多字母的筆劃或甚至整個詞語，如上所述筆劃理清器將操作 W理清、分割、合成和辨識運些多個字符作為組合操作。
[015。2.7.3捜索引擎集成:
[0152] 如該文獻通篇所描述的，筆劃理清器自動理清和合成用戶輸入筆劃，W形成表示 字母、詞語或短語的字符。在各個實施例中，隨后在運些字符上執(zhí)行文本辨識，并將文本辨 識自動提供作為捜索引擎等的輸入。如同多個捜索引擎，在各個實施例中，自動完成功能用 于提供基于部分用戶輸入的捜索建議。
[0153] 例如，如圖1所示，如上所述，將被理清W產(chǎn)生后續(xù)辨識為文本"pizza"的字符的用 戶筆劃用作自動完成目的的部分捜索輸入。作為響應(yīng)，捜索引擎返回多個捜索建議，其在圖 1 的例子中包括 "pizza hut"、"pizza hut menu"和"pizza hut coupons"。然后，用戶可 W 簡單地選擇運些自動完成建議中的任一個來執(zhí)行捜索。替代地，如果用戶不想接受任一個 自動完成建議，則她可W執(zhí)行僅基于詞語"pizza"的捜索，或者簡單地繼續(xù)輸入額外的筆劃 W提供額外的字符輸入(例如，額外的筆劃W輸入表示詞語"recipe"的字符）。還應(yīng)注意的 是，如結(jié)合圖4討論的，在各個實施例中，當用戶輸入繪畫時，筆劃理清器基于圖像執(zhí)行捜索 或執(zhí)行組合的圖像與文本捜索。
[0154] 2.7.4在空中或在任意表面的交疊筆劃:
[0155] 本領(lǐng)域技術(shù)人員已知各種用于跟蹤手指運動的技術(shù)，例如，Mi貨解oft? Kinec憐、 攝像機、基于射頻的跟蹤系統(tǒng)、基于激光的跟蹤系統(tǒng)等。運種技術(shù)和設(shè)備適應(yīng)于各個實施例 中W跟蹤用戶的手指(或書寫實現(xiàn)工具的尖端），同時用戶在空中或在任意表面(例如，臺式 計算機或桌面)上進行交疊筆劃運動。
[0156] 此外，如上所述，在各個實施例中，在觸摸屏上直接輸入不是必需的。運種筆劃可 W例如在膝上型計算機的觸摸板上進行，或在具有觸摸敏感表面的移動設(shè)備的背上進行。 此外，可W在一個設(shè)備(例如，手表、觸摸敏感手獨)上進行運種筆劃，而在另一設(shè)備(例如， 臺式計算機、電子白板等化理清(并呈現(xiàn)給用戶）。其它例子包括與各種Micoi-so齡巧urfeeTM 設(shè)備相關(guān)聯(lián)的"觸摸蓋"或"觸摸蓋2"輸入設(shè)備。運種設(shè)備包括電容敏感技術(shù)、壓力敏感技術(shù) 和接近度感知技術(shù)的各種組合。運種設(shè)備可W適于(經(jīng)由各種軟件或驅(qū)動器修改)接收通過 在一個或多個壓力敏感或接近度敏感鍵頂部上或之上擊打而輸入的筆劃，而不是僅感知屏 幕上或觸摸板上的筆劃。
[0157] 換句話說，用戶筆劃理清器能夠利用各種跟蹤技術(shù)相對任意真實或虛擬表面來跟 蹤交疊的手指筆劃。如同筆劃輸入直接到觸摸屏或其它觸摸敏感表面，用戶筆劃理清器然 后利用觀察該文獻描述的一些或全部各種技術(shù)，來自動理清和合成運些筆劃W形成字母、 詞語或短語。然后利用各種HWR技術(shù)處理得到的人類可讀字符，W提供機器可讀文本W(wǎng)用于 任何期望的應(yīng)用中，如本文獻通篇所討論的。
[0158] 還應(yīng)注意，在各個實施例中，在一個或多個手指上佩戴著慣性跟蹤設(shè)備。然后，當 運些手指移動W在空中或任意表面上創(chuàng)建交疊筆劃時，經(jīng)由慣性跟蹤設(shè)備跟蹤運些手指的 運動。然后由筆劃理清器將得到的運動視為如在本文獻通篇中討論的處理的輸入交疊筆 劃。
[0159] 2.7.5針對安全性考慮用戶筆跡樣本:
[0160] 如上所述，在各個實施例中，筆劃理清器基于用戶筆跡的實際樣本，收集用戶的習 得字符樣本。因此，運些樣本可W用于廣范圍的目的，例如，在章節(jié)2.7.1中討論的筆跡自動 完成技術(shù)。運些習得字符樣本的另一感興趣用途是考慮用戶輸入的手寫字符是否足夠接近 在習得字符數(shù)據(jù)庫中存儲的那些字符的例子。為此，可W計算各種相似度度量，例如，現(xiàn)有 的圖像比較或匹配技術(shù)。然后，在手寫字符足夠接近匹配所存儲的字符樣本的情況下，筆劃 理清器可W接受那些手寫字符作為有效的基于圖像的密碼輸入。
[0161] 此外，該處理可W用作上述HWR處理運些字符的前驅(qū)。例如，當通過對筆劃進行理 清、分割和合成來輸入密碼等時，對應(yīng)的機器可讀文本將不被作為密碼輸入嘗試來傳遞，直 到字符足夠接近匹配用戶筆跡。結(jié)果是需要輸入僅一個密碼的兩級授權(quán)過程。換句話說，即 使辨識出的文本提供正確的密碼，當W不同用戶的筆跡輸入時，所述密碼也將被拒絕。 [016。2.7.6基于筆劃的預(yù)測鍵盤:
[0163] 在各個實施例中，筆劃理清器利用技術(shù)來處理交疊筆劃W用于選擇性填充動態(tài)鍵 盤W供用戶下一輸入。換句話說，如圖7所示，筆劃理清器用戶界面的動態(tài)鍵盤特征基于理 清、分割、合成和后續(xù)辨識隨著每次輸入筆劃而更新的作為結(jié)果的字符，自動填充鄰近正輸 入筆劃處的可選鍵的小的子集。
[0164] 例如，圖7示出了腕表型設(shè)備720,在該例子中佩戴在用戶的左手730上，其提供書 寫面板W供用戶右手710的手指輸入筆劃。此外，如圖7所示，在圓圈700的近似形狀中繪畫 筆劃將被HWR處理所述筆劃作為V'、、"d"、V'等的開始而辨識出。因此，包括一個或多 個用戶可選鍵740的動態(tài)鍵盤提供最可能匹配的用戶輸入筆劃，并相對用戶筆劃700顯示。
[0165] 然后，當輸入更多筆劃時，包括動態(tài)鍵盤的一組鍵可能改變(通過字母、字符或所 顯示鍵的整體數(shù)量和/或大?。?，直到用戶選擇一個鍵，或直到HWR處理自動確定超過字符匹 配可能性的某個闊值。從用戶選擇該動態(tài)鍵盤的一個或多個鍵得到的機器可讀文本可W用 于任何期望目的。還應(yīng)注意，可W根據(jù)其匹配用戶筆劃的可能性來定鍵的大小，更可能的匹 配用戶筆劃的被比不太可能匹配用戶筆劃的更大地顯示。
[016W 2.7.7人類可讀字符的遠程HWR處理:
[0167] 通常，上述理清和分割技術(shù)使用相對少量的計算資源來實時操作。然而，基于HWR 的技術(shù)用于后續(xù)處理結(jié)果人類可讀字符通常需要相對更多的計算資源。因此，在各個實施 例中，筆劃理清器使用遠程服務(wù)器或基于云的系統(tǒng)來執(zhí)行HWR處理從用戶設(shè)備發(fā)送的人類 可讀字符。換句話說，在各個實施例中，基于HWR的處理由遠程服務(wù)執(zhí)行，同時在本地執(zhí)行理 清。
[0168] 在運種情況下，在發(fā)生理清時，實時地將人類可讀字符的圖像(或者在各個實施例 中，2D軌跡或描述筆劃的曲線的任意其它數(shù)學表示)發(fā)送給遠程服務(wù)。然后遠程服務(wù)周期性 發(fā)送回從一個或多個詞典、語言模型、基于捜索引擎的捜索建議等導(dǎo)出的一個或多個辨識 候選。換句話說，當用戶輸入筆劃時實時地提供本地理清的墨跡顯示，同時遠程HWR系統(tǒng)提 供周期性更新。在經(jīng)過驗定的實施例中，W大約500ms的間隔將周期性的基于HWR的更新返 回到用戶設(shè)備，同時向用戶實時呈現(xiàn)部分筆劃分割和顯示。
[0169] 運種實施例的優(yōu)點在于它們允許計算昂貴的任務(wù)(例如，基于HWR處理字符圖像） 遠程執(zhí)行，同時最小化在用戶設(shè)備上的計算負擔和對應(yīng)的功率花費。運在小型設(shè)備的情況 下是尤其有利的，所述小型設(shè)備例如是基于手表的形狀因子(參見圖7)，或者一些其它小型 可穿戴或基于粘貼觸摸屏的設(shè)備具有有限的計算能力和有限的電力資源，但是具有發(fā)送和 接收數(shù)據(jù)的通信能力。
[0170] 2.7.8基于草圖的自動完成功能:
[0171] 如上所述，在各個實施例中，筆劃理清器包括繪畫模式，其允許用戶輸入不理清筆 劃的草圖（參見圖4) "HWR處理運些繪畫可W返回對應(yīng)于常見的文本-圖標型自動完成場景 的字符組合。例如，如果在各個實施例中用戶利用表示鄰近右括號字符的冒號的筆劃（即， 輸入草圖，則筆劃理清器通過笑臉ascii型字符自動完成。還注意，在文本輸入模式 中，輸入運些相同的字符筆劃還可W用于自動完成或返回對應(yīng)的笑臉圖標等。基于在字符 和圖標之間的任意期望關(guān)系的類似的基于字符的自動完成或建議由筆劃理清器的各個實 施例所支持。
[0172] 此外，如上所述，在各個實施例中，筆劃理清器基于用戶輸入的繪畫或草圖執(zhí)行捜 索。在該情況下，運種捜索用于返回一個或多個剪貼型圖像或可W自動或由用戶選擇輸入 的照片.
[017引 2.7.9用于實現(xiàn)筆劃理清的其它形狀因子:
[0174]如上所述，筆劃理清器可廣范圍的形狀因子實現(xiàn)，包括但不限于：智能手機、 平板計算機、具有或不具有觸摸屏的腕表式設(shè)備、可W戴在用戶手指上的基于指環(huán)的設(shè)備、 或具有能夠跟蹤交疊筆劃的真實或虛擬書寫面板的任意其它設(shè)備。例如，圖8示出了書寫面 板800的例子，其具有觸摸屏或觸摸敏感表面，在其上用戶可W輸入交疊筆劃810W供筆劃 理清器處理，如本文所描述的。
[017引 2.7.10手寫字符的自動字距調(diào)整:
[0176] 在各個實施例中，筆劃理清器使用負字距調(diào)整和正字距調(diào)整中之一或兩者，來在 用戶正輸入筆劃時調(diào)整在顯示器設(shè)備上呈現(xiàn)的一個或多個人類可讀字符之間的間隔。
[0177] 通常，字距調(diào)整化erning)是調(diào)整比例字體(propodional font)的字符之間的間 隔的過程，通常為實現(xiàn)視覺美觀的結(jié)果。字距調(diào)整調(diào)整了個體字符形式之間的空間，同時跟 蹤(字母間隔）一致地調(diào)整字符范圍的間隔。在數(shù)字排印中，字距調(diào)整通常作為數(shù)字施加于 字母對（letter-pair)上，按照該數(shù)字應(yīng)該增加或減少默認字符間隔：正值表示增加，負值 表示減少。
[017引負字距調(diào)整通常用于將大寫字母，例如，叩'、?'、和?'，配合靠近在另一側(cè)的 一些其它大寫字母，例如"A"，并在右側(cè)配合到一些小寫字母，例如，組合"Ta"、"Te"和叮0"。 負字距調(diào)整有時還用于將句號或逗號適配靠近各種字母或字母組合。使用負字距調(diào)整的其 它組合的例子包括但不限于："FA"、"LT"和"LY"，并且如"A"、"L"和"h"等字母之后跟隨引 號。注意，足夠大的負字距調(diào)整還可W使得字符部分交疊，例如，當V'放置地非?？拷?' 時，叩'頂部可W直接高于字母V'的至少一部分，如在字距調(diào)整后的詞語叮0"。
[0179] 相反，正字距調(diào)整通常結(jié)合特殊字符和標點使用（例如，小寫字母吁"之后跟隨右 括號或引號），W增加字符之間的間隔。取決于字體，一些小的正字距調(diào)整還可W用于強調(diào) 字母并用于成對，例如，巧0"、"Dw"和叮r。
[0180] 在各個實施例中，筆劃理清器使用多種字距調(diào)整技術(shù)中的任一種，其具有或不具 有基于邊界框縮放人類可讀字符，W根據(jù)用戶輸入的交疊筆劃構(gòu)建字符、詞語和/或句子。 已經(jīng)觀察到相對與未調(diào)整字距的(non-kerned)版本的相同人類可讀字符，所獲得的已調(diào)整 字距的人類可讀字符具有更視覺美觀的外觀。
[0181] 2.7.11斷裂字符的辨識模型:
[0182] 當書寫面板相對較小時，或者當用戶輸入相對較大筆劃時，在輸入期間用戶輸入 的一個或多個交疊筆劃可能跨書寫面板的邊緣，從而手指或書寫實現(xiàn)工具不再與書寫面板 的觸摸敏感表面接觸。在運種情況下，當筆劃理清器確定筆劃不是控制手勢時，所述筆劃固 有地斷裂成兩個或多個碎片，每個碎片被筆劃理清器解釋為單獨的筆劃，用于理清、分割和 合成運些筆劃。理清、分割和合成運些筆劃的結(jié)果是呈現(xiàn)用于HWR處理的部分字符或斷裂字 符。因此，為了改善運種情況下的筆跡辨識，在各個實施例中，基于斷裂字符訓(xùn)練一個或多 個HWR處理模型，其中出于訓(xùn)練的目的將字符的上、下、左、右邊緣的一個或多個消除掉。
[0183] 例如，如圖9所示，手寫字母V'900的上部和下部的一部分被移除，如在該字母的 上部和下部的虛線所示，并在訓(xùn)練冊財莫型時提供作為字母V'的正例子。然后，當用戶輸入 跨書寫面板920的上邊緣和下邊緣的交疊筆劃910時，結(jié)果是若干斷裂的交疊筆劃930。然后 筆劃理清器理清、分割和合成運些筆劃W產(chǎn)生表面上(ostensibly)人類可讀的字符940。當 人類可讀字符940隨后被傳遞到HWR處理模塊時，所述模塊包括在斷裂字符上訓(xùn)練的一個或 多個模型（例如，手寫字母"g"900,其上部和下部的一部分被移除），結(jié)果是及其可讀字母 V950。
[0184] 2.7.12筆劃的后處理:
[0185] 在各個實施例中，在理清、分割和合成過程之前或之后處理每個交疊筆跡，W自產(chǎn) 生多個視覺效果。例如，利用多種圖像處理技術(shù)過濾或修改形成每個筆劃的個體曲線，W創(chuàng) 建包括但不限于如下的效果：
[0186] ?呈現(xiàn)每個筆劃W顯得其是利用鉛筆繪畫的；
[0187] ?呈現(xiàn)每個筆劃W顯得其是利用各種類型的筆繪畫的；
[0188] ?呈現(xiàn)每個筆劃W顯得其是利用各種畫筆類型和尺寸繪畫的；
[0189] · W -種或多種所選顏色呈現(xiàn)每個筆劃；
[0190] ?利用多種填充圖案中任一來呈現(xiàn)每個筆劃；
[0191] ?利用多種陰影效果中任一來呈現(xiàn)每個筆劃；
[0192] .利用每個筆劃的基于樣條的表示或任意其它期望的平滑或過濾技術(shù)來平滑每 個筆劃；
[0193] ?將合成的筆劃或人類可讀字符呈現(xiàn)到在任意期望的背景上(例如，羊皮紙、圖像 等)；
[0194] .等等。
[01巧]3.0筆劃理清的操作摘要:
[0196] W上結(jié)合圖1至圖9描述的過程W及進一步考慮W上在章節(jié)1和2中提供的詳細描 述，在圖10的操作流程圖中示出。特別地，圖10提供了總結(jié)筆劃理清器的各種實施例的一些 操作的示例性操作流程圖。注意，圖10并非旨在是本文描述的筆劃理清器的各個實施例的 全部的窮舉表示，并且在圖10中表示的實施例只是出于解釋的目的提供的。
[0197] 此外，應(yīng)該理解的是，框W及由圖10中的斷裂線或虛線表示的框之間的相互連接 表示本文描述的筆劃理清器的可選或替代實施例，如下所述的運些可選或替代實施例中的 任一個或全部可W與本文獻通篇描述的其它替代實施例組合。
[0198] -般而言，如圖10所示，筆劃理清器通過W下步驟開始工作:接收（1000)表示一個 或多個字符、一個或多個控制筆劃和/或一個或多個其它多觸摸手勢的多個交疊筆劃（例 如，1005)。在各個實施例中，筆劃理清器可選地在用于輸入運些筆劃的觸摸屏上呈現(xiàn) (1010)筆劃的漸隱痕跡。然后，筆劃理清器評估（1015)每個筆劃W確定該筆劃是否是控制 手勢，例如，刪除最后一個筆劃手勢、刪除最后一個詞語手勢、標記詞語結(jié)束或插入空格手 勢、切換繪畫模式手勢，等。
[0199] 然后，筆劃理清器使用（1020)前述分割算法和經(jīng)訓(xùn)練的分割模式（1025)，考慮任 何控制手勢或其它多觸摸手勢和用戶校正來理清、分割和合成一個或多個筆劃，從而形成 一個或多個字符。一旦已經(jīng)完成分割過程，則筆劃理清器呈現(xiàn)（1030)合成的筆劃，W產(chǎn)生一 個或多個人類可讀字符(1035)，例如，字母、詞語和/或短語，其在顯示器設(shè)備的用戶界面窗 口中連同可選繪畫或草圖呈現(xiàn)，W向用戶提供實時的視覺反饋。如上所討論的，在各個實施 例中，筆劃理清器還接收（1040)用戶輸入，W校正在任意字符中的理清和合成錯誤(例如， 利用前述"輕敲W校正"過程）。
[0200] 然后，筆劃理清器執(zhí)行（1045)人類可讀字符(1035)的筆跡辨識(HWR)，并輸出對應(yīng) 的機器可讀文本。然后，筆劃理清器可選地提供（1050)該辨識出的文本、詞語或短語的輸出 作為對各種應(yīng)用的輸入，所述應(yīng)用例如是捜索引擎、消息傳送、詞語處理、密碼輸入、游戲 等。最后，在各個實施例中，筆劃理清器接收用戶輸入（1055)來從一個或多個自動完成的建 議、辨識候選和/或捜索建議中進行選擇。
[0201] 4.0示例性操作環(huán)境:
[0202] 本文描述的筆劃理清器在多種通用或?qū)Ｓ糜嬎阆到y(tǒng)環(huán)境或配置中可操作。圖11示 出了可W實現(xiàn)如本文所描述的筆劃理清器的各種實施例和元件的通用計算機系統(tǒng)的簡化 例子。應(yīng)該理解的是，在圖11中由斷裂線或虛線表示的任意框表示簡化計算設(shè)備的替代實 施例，并且如下文所述任意或所有運些替代實施例可W與該文獻通篇中描述的其它替代實 施例組合。
[0203] 例如，圖11示出了顯示簡化計算設(shè)備1100的通用系統(tǒng)圖。可W與筆劃理清器操作 的運種設(shè)備的例子包括但不限于:便攜式電子設(shè)備、可穿戴計算設(shè)備、手持計算設(shè)備、膝上 型或移動計算機、通信設(shè)備(例如，蜂窩電話、智能手機和PDS)、多處理器系統(tǒng)、基于微處理 器的系統(tǒng)、機頂盒、可編程消費者電子、網(wǎng)絡(luò)PC、微型計算機、音頻或視頻媒體播放器、手持 遠程控制設(shè)備，等等。還應(yīng)注意的是，如上所述，可W實現(xiàn)筆劃理清器具有任意觸摸屏或觸 摸敏感表面，其與廣范圍的電子設(shè)備或?qū)ο笸ㄐ呕騑其它方式禪合。
[0204] 為了允許設(shè)備實現(xiàn)筆劃理清器，計算設(shè)備1100應(yīng)該具有足夠的計算能力和系統(tǒng)存 儲器W支持基本計算操作。另外，計算設(shè)備1100包括一個或多個傳感器1105,包括但不限 于:加速度計、攝像機、電容傳感器、接近度傳感器、麥克風、多頻譜傳感器等。此外，計算設(shè) 備1100還可W包括可選系統(tǒng)固件1125(或其它固件或處理器可訪問存儲器或存儲設(shè)備），W 用于實現(xiàn)筆劃理清器的各個實施例。
[0205] 如圖11所示，計算設(shè)備1100的計算能力通常由一個或多個處理單元1110示出，并 還可W包括一個或多個GPU 1115,其一者或兩者與系統(tǒng)存儲器1120通信。注意，計算設(shè)備 1100的處理單元1110可W是專用微處理器，例如，DSP、VLIW或其它微控制器，或者可W是傳 統(tǒng)的具有一個或多個處理忍片的CPU,包括在多核屯、CPU中的基于專用GPU核屯、。
[0206] 另外，簡化的計算設(shè)備1100還可W包括其它部件，例如，通信接口 1130。簡化的計 算設(shè)備1100還可W包括一個或多個傳統(tǒng)計算機輸入設(shè)備1140,或運種設(shè)備的組合(例如，觸 摸屏、觸摸敏感表面、定點設(shè)備、鍵盤、音頻輸入設(shè)備、基于話音或語音的輸入和控制設(shè)備、 視頻輸入設(shè)備、觸覺輸入設(shè)備、用于接收有線或無線數(shù)據(jù)傳輸?shù)脑O(shè)備，等）。簡化的計算設(shè)備 1100還可W包括其它可選部件，例如，一個或多個傳統(tǒng)計算機輸出設(shè)備1150(例如，顯示器 設(shè)備1155、音頻輸出設(shè)備、視頻輸出設(shè)備、用于發(fā)送有線或無線數(shù)據(jù)傳輸?shù)脑O(shè)備，等）。注意， 本領(lǐng)域技術(shù)人員已知用于通用計算機的典型的通信接口 1130、輸入設(shè)備1140、輸出設(shè)備 1150W及存儲設(shè)備1160,并在本文中不再詳細描述。
[0207] 簡化的計算設(shè)備1100還可W包括多種計算機可讀介質(zhì)。計算機可讀介質(zhì)可W是任 意可用介質(zhì)，其可W經(jīng)由存儲設(shè)備1160訪問，并包括可移除（1170)和/或不可移除（1180)的 易失性和非易失性介質(zhì)，用于存儲信息，例如計算機可讀或計算機可執(zhí)行指令、數(shù)據(jù)結(jié)構(gòu)、 程序模塊或其它數(shù)據(jù)。通過例子而非限制，計算機可讀介質(zhì)可W包括計算機存儲介質(zhì)和通 信介質(zhì)。計算機存儲介質(zhì)指的是有形的計算機或機器可讀介質(zhì)或存儲設(shè)備，例如DVD、CD、軟 盤、磁帶驅(qū)動器、硬盤驅(qū)動器、光盤驅(qū)動器、固態(tài)存儲器設(shè)備、341、1?01、66?1?01、閃存或其它 存儲器技術(shù)、磁帶盒、磁帶、磁盤存儲設(shè)備或其它磁存儲設(shè)備、或可W用于存儲期望信息并 能由一個或多個計算設(shè)備訪問的任意其它設(shè)備。
[0208] 還可W通過使用多種前述通信介質(zhì)中的任一種編碼一個或多個調(diào)制的數(shù)據(jù)信號 或載波、或其它傳輸介質(zhì)或通信協(xié)議，并且包括任意有線或無線信息輸送機制，來完成存儲 信息，例如計算機可讀或計算機可執(zhí)行指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊等。注意，術(shù)語"調(diào)制的數(shù) 據(jù)信號"或"載波"通常指代具有一個或多個其特征集或W編碼信號中的信息的方式改變的 信號。例如，通信介質(zhì)包括有線介質(zhì)，例如攜帶一個或多個調(diào)制數(shù)據(jù)信號的有線網(wǎng)絡(luò)或直接 連線連接;W及無線介質(zhì)，例如，聲、RF、紅外、激光和其它無線介質(zhì)用于發(fā)送和/或接收一個 或多個調(diào)制數(shù)據(jù)信號或載波。對上述任意組合也應(yīng)該包含于通信介質(zhì)的范圍內(nèi)。
[0209] 還可W通過使用多個前述通信介質(zhì)編碼一個或多個調(diào)制數(shù)據(jù)信號或載波、或其它 傳輸機制或通信協(xié)議，并包括任意有線或無線信息輸送機制，實現(xiàn)信息的保留，所述信息例 如是計算機可讀或計算機可執(zhí)行指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊等。注意，術(shù)語"調(diào)制的數(shù)據(jù)信 號"或"載波"通常指代具有一個或多個其特征集或W編碼信號中的信息的方式改變的信 號。例如，通信介質(zhì)包括有線介質(zhì)，例如攜帶一個或多個調(diào)制數(shù)據(jù)信號的有線網(wǎng)絡(luò)或直接連 線連接；W及無線介質(zhì)，例如，聲、RF、紅外、激光和其它無線介質(zhì)用于發(fā)送和/或接收一個或 多個調(diào)制數(shù)據(jù)信號或載波。對上述任意的組合也應(yīng)該被包括于通信介質(zhì)的范圍內(nèi)。
[0210] 此外，可W從任意期望組合的計算機可執(zhí)行指令或其他數(shù)據(jù)指令形式的計算機或 機器可讀介質(zhì)或存儲設(shè)備自己通信介質(zhì)中，存儲、接收、發(fā)送或讀取實現(xiàn)本文描述的筆劃理 清器的各個實施例的一些或全部的軟件、程序和/或計算機程序產(chǎn)品或其一部分。
[0211] 最后，本文描述的筆劃理清器還可W在由計算設(shè)備執(zhí)行的計算機可執(zhí)行指令(例 如，程序模塊)的一般上下文中得W進一步的描述。通常，程序模塊包括例程、程序、對象、部 件、數(shù)據(jù)結(jié)構(gòu)等，其執(zhí)行特定任務(wù)戶歐實現(xiàn)特定抽象數(shù)據(jù)類型。本文描述的實施例還可W在 分布式計算環(huán)境中實現(xiàn)，其中通過一個或多個遠程處理設(shè)備執(zhí)行任務(wù)，或者在通過一個或 多個通信網(wǎng)絡(luò)鏈接的一個或多個設(shè)備的云端執(zhí)行任務(wù)。在分布式計算環(huán)境中，程序模塊可 W位于本地和遠程計算機存儲介質(zhì)中，其包括介質(zhì)存儲設(shè)備。此外，前述指令可W整體或部 分地實現(xiàn)為硬件邏輯電路，其可W包括或不包括處理器。
[0212] 出于圖示和描述的目的提出了對筆劃理清器的前述說明。其并不打算窮舉所要求 保護主題或?qū)⑵湎拗频剿_的精度。根據(jù)上述教導(dǎo)，許多修改和變型是可行的。此外，應(yīng) 該注意的是，前述替代實施例的任一個或全部可W在任意期望的組合中使用，W形成筆劃 理清器的另外的混合實施例。本發(fā)明的范圍并非旨在受限于該詳細描述，而是通過隨附權(quán) 利要求進行限定。雖然W專用于結(jié)構(gòu)特征和/或方法動作的語言描述了本發(fā)明的主題，但可 W理解的是在隨附權(quán)利要求中定義的本發(fā)明的主題不必受限于上述特定特征或行為。而 是，上述特定特征和行為被公開為實現(xiàn)權(quán)利要求的實例形式。
【主權(quán)項】
1. 一種用于接收文本輸入的計算機實現(xiàn)過程，包括： 利用計算機來執(zhí)行過程動作，所述過程動作用于： 接收多個交疊筆劃； 在對筆劃或人類可讀字符中任一執(zhí)行基于筆跡的辨識之前，自動分割和合成所述交疊 筆劃以形成一個或多個人類可讀字符；以及 在已經(jīng)形成一個或多個人類可讀字符之后，執(zhí)行對所述人類可讀字符的基于筆跡的辨 識以生成對應(yīng)的機器可讀文本。2. 根據(jù)權(quán)利要求1所述的計算機實現(xiàn)過程，其中，所述基于筆跡的辨識是在逐字符的基 礎(chǔ)上執(zhí)行的。3. 根據(jù)權(quán)利要求1所述的計算機實現(xiàn)過程，其中，所述基于筆跡的辨識是在完整詞語的 基礎(chǔ)上執(zhí)行的。4. 根據(jù)權(quán)利要求1所述的計算機實現(xiàn)過程，其中，當所述筆劃正在被輸入時，用戶界面 實時地顯示對所述交疊筆劃的自動分割和合成的經(jīng)縮放的表示。5. 根據(jù)權(quán)利要求1所述的計算機實現(xiàn)過程，其中，當每個筆劃正在被輸入時，用戶界面 實時地顯示該筆劃的漸隱痕跡。6. 根據(jù)權(quán)利要求1所述的計算機實現(xiàn)過程，其中，用戶界面顯示與所述機器可讀文本對 應(yīng)的一個或多個能夠選擇的辨識候選。7. 根據(jù)權(quán)利要求6所述的計算機實現(xiàn)過程，其中，所述辨識候選包括基于詞典的建議和 基于搜索的建議的任意組合。8. 根據(jù)權(quán)利要求1所述的計算機實現(xiàn)過程，其中，用戶界面包括繪畫模式，所述繪畫模 式允許輸入由未被分割和合成以形成人類可讀字符的筆劃形成的草圖。9. 一種用于接收文本輸入的系統(tǒng)，包括： 書寫面板，用于接收多個交疊筆劃的輸入； 用于在對筆劃或人類可讀字符中的任一個執(zhí)行基于筆跡的辨識之前，分割和合成所述 交疊筆劃以形成一個或多個人類可讀字符的設(shè)備；以及 用于執(zhí)行對所述人類可讀字符的基于筆跡的辨識以生成對應(yīng)的機器可讀文本的設(shè)備。10. -種其中存儲有用于接收文本輸入的計算機可執(zhí)行指令的計算機可讀介質(zhì)，所述 指令使得計算設(shè)備執(zhí)行方法，所述方法包括： 接收在觸摸屏上的多個交疊筆劃； 在對筆劃或人類可讀字符中任一執(zhí)行任何基于筆跡的辨識之前，分割和合成所述交疊 筆劃以形成一個或多個人類可讀字符；以及 執(zhí)行對所述人類可讀字符的基于筆跡的辨識以生成對應(yīng)的機器可讀文本。
【文檔編號】G06F3/0488GK105830011SQ201480069495
【公開日】2016年8月3日
【申請日】2014年11月24日
【發(fā)明人】W·金茨勒, K·P·欣克利, M·阿格拉瓦爾
【申請人】微軟技術(shù)許可有限責任公司