專利名稱：信息處理方法和信息處理設(shè)備及存儲媒介的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及模式識別，如字符和語音模式，尤其是一種為字符、語音等的模式識別提供數(shù)據(jù)的技術(shù)。
傳統(tǒng)上，為了對構(gòu)成一種模式的手寫字符進(jìn)行識別，一個步進(jìn)過程使用分類樹對模式進(jìn)行分類。
由于使用分類樹的傳統(tǒng)識別方法中，為了準(zhǔn)備節(jié)點，注意力只集中在各個節(jié)點的特征數(shù)上，不能確定模式更廣泛的方面。
為了生成一個識別帶有大量特征的模式的分類樹，必須采用一種方法，在各個節(jié)點上選擇一個特征軸，因為計算是需要時間的。
另外，有一種傳統(tǒng)方法，使用一個N元語法表，用于句子識別，根據(jù)它，一個有限自動機被用作一種構(gòu)成句子的語言模型，基于這種模型，計算出字符行出現(xiàn)的前置可能性。
換句話說，根據(jù)這種方法，一個步驟是從大規(guī)模語句數(shù)據(jù)庫中，計算關(guān)于構(gòu)成句子的元素行連續(xù)的可能性。
然而，對于包含幾千種字符類別的語言如日語或中文來說，即使是構(gòu)造一個三元語法表(N＝3)，也需要大量的語句數(shù)據(jù)。
如果一個表是用少量的語句數(shù)據(jù)生成的，可靠轉(zhuǎn)換可能性和不可靠轉(zhuǎn)換可能性會在表中共存，產(chǎn)生缺陷。
構(gòu)造分類樹的傳統(tǒng)方法是通過包含模式逐步退化的預(yù)處理來進(jìn)行的。根據(jù)這種方法，對模式的宏觀到微觀形式，能夠構(gòu)造一個平衡很好的分類樹。結(jié)果，可以產(chǎn)生一種盡可能接近人類識別能力的識別功能。
但是，由于這種方法用多種訓(xùn)練模式來吸收模式修正，所以就需要有龐大數(shù)量的訓(xùn)練模式。
這種情況將結(jié)合圖32來解釋。
假設(shè)根據(jù)傳統(tǒng)方法，為從“0”到“9”的數(shù)字位圖識別產(chǎn)生一個分類樹。
一個用上述方法建立的分類樹形狀如圖32中所示。三種類別的訓(xùn)練模式，“4”、“5”和“6”，在圖32中從右邊起第五個分支。
換句話，廣義地講，在圖32右起第五分支上，只有“4”、“5”和“6”三個類別對訓(xùn)練模式是有效的。
作為例子，考慮一個完整的使用如此提供的分類樹的新位圖模式識別過程。廣義來說，圖41A到41E中所示的所有位圖都有與圖32右起第五分支相同的形狀。換句話說，當(dāng)上面解釋的分類樹用于識別這些位圖時，位圖總是被分類為屬于類別“4”、“5”和“6”。結(jié)果，圖41A到41C中的位圖被正確地識別出來，但圖41D中所識別的位圖會被排除，而圖41E中的位圖顯然是被錯誤識別的。
這種缺陷產(chǎn)生的原因是，模式中沒有如圖41E中位圖形狀的類別“2”。這說明，對傳統(tǒng)方法來說，需要包含所有可能的排列變化的數(shù)目龐大的訓(xùn)練模式。
因此，本發(fā)明的一個目的是提供一種分類樹的生成方法，用于生成一個由筆劃向量組成的分類樹，用它可以恰當(dāng)?shù)胤从骋粋€有大量特征的模式的宏觀結(jié)構(gòu)特征并可以恰當(dāng)?shù)胤从炒嬖谟陬悇e之間的競爭關(guān)系，本發(fā)明還提供與該方法相應(yīng)的設(shè)備；并提供一種字符識別方法，通過它，一個已生成的分類樹被用于在高速和高識別率下識別字符，以及與該方法相應(yīng)的設(shè)備。
依據(jù)本發(fā)明，從一個字符模式中能夠有效地生成一個分層的字符模式。
另外，在已生成的分層字符模式的基礎(chǔ)上，可以產(chǎn)生一個分類樹，其中類別的競爭在上層最激烈，其中類別被優(yōu)先在緊接著的下一層分類。
進(jìn)而，用產(chǎn)生的分類樹可以生成一個存儲器有效的N元語法表。
而且，通過查找如此得到的N元語法表，能夠進(jìn)行高速和高識別率的識別。
根據(jù)本發(fā)明，從訓(xùn)練模式中提取子模式，而且對子模式的分層提前進(jìn)行。基于分層的子模式，子模式的分類樹就準(zhǔn)備好了，由此，即使以很少數(shù)量的訓(xùn)練模式，也可以提供高識別率。
根據(jù)本發(fā)明，在分層過程中，數(shù)據(jù)從詳細(xì)子模式數(shù)據(jù)的依次退化中產(chǎn)生，所以能夠提供快速的識別處理過程。
根據(jù)本發(fā)明，分類樹通過從高級到低級展開的分層子模式數(shù)據(jù)而得到，所以能夠提供有高識別效率的字典數(shù)據(jù)。
根據(jù)本發(fā)明，當(dāng)子模式被看作通過分割訓(xùn)練模式而得到的模式段時，子模式的準(zhǔn)備就變得容易了。
根據(jù)本發(fā)明，選擇一個分類效率最高的變量，對所選的變量準(zhǔn)備一個分類樹。作為結(jié)果，可以提供一個與傳統(tǒng)不同的有效的分類樹。
根據(jù)本發(fā)明，分層在一個輸入模式上進(jìn)行。通過跟蹤分類樹來識別分層的輸入模式，從模式的高級數(shù)據(jù)一直持續(xù)到低級。結(jié)果，得到了高速度下的高識別率。
根據(jù)本發(fā)明，當(dāng)模式由位圖數(shù)據(jù)組成時，可以對通過掃描儀等輸入的圖象數(shù)據(jù)進(jìn)行高效的識別。
根據(jù)本發(fā)明，當(dāng)模式是筆劃數(shù)據(jù)時，可以對由筆輸入的筆跡數(shù)據(jù)進(jìn)行高效的識別。
根據(jù)本發(fā)明，當(dāng)模式為語音數(shù)據(jù)時，能夠?qū)τ甥溈孙L(fēng)等輸入的語音數(shù)據(jù)進(jìn)行高效的識別。


圖1是一個方塊圖，描述依據(jù)本發(fā)明第一實施方案的設(shè)備設(shè)置；圖2是一個流程圖，表現(xiàn)第一實施方案生成一個聯(lián)機手寫字符識別字典的方法；圖3是一個流程圖，表現(xiàn)第一實施方案生成一個聯(lián)機手寫字符識別字典的過程；圖4用來解釋在第一實施方案中的一個筆劃生成階段的處理；
圖5顯示了一個分層向量序列；圖6解釋在第一實施方案中向量的平均化過程；圖7顯示第一實施方案的分類樹；圖8顯示在第一實施方案中，聯(lián)機手寫字符識別字典的分類樹的示例數(shù)據(jù)配置；圖9是一個流程圖，顯示第一實施方案的聯(lián)機手寫字符識別方法；圖10是一個詳細(xì)流程圖，表現(xiàn)第一實施方案的分類樹產(chǎn)生過程；圖11描述了第一實施方案在圖10的步驟S1007中分支的生成；圖12描述了根據(jù)第一實施方案的設(shè)備的第一設(shè)置；圖13描述了根據(jù)第一實施方案的設(shè)備的第二設(shè)置；圖14是一個方塊圖，描述了依據(jù)第二實施方案的設(shè)備設(shè)置；圖15是一個概念圖，表現(xiàn)依據(jù)第二實施方案的信息處理；圖16描述了一個金字塔形狀的神經(jīng)網(wǎng)絡(luò)，它是第二實施方案處理過程的一部分；圖17是一個流程圖，顯示依據(jù)第二實施方案的信息處理；圖18描述了依據(jù)第二實施方案的一個示例性訓(xùn)練模式；圖19描述了依據(jù)第二實施方案的一個分層訓(xùn)練模式的例子；圖20顯示了依據(jù)第二實施方案的一個分類樹生成過程；圖21描述了依據(jù)第二實施方案生成的分類樹的例子；圖22顯示了一個依據(jù)第二實施方案的大類別分組的例子；圖23是一個流程圖，描述了依據(jù)第二實施方案的第二處理過程；圖24是第二流程圖，描述了依據(jù)第二實施方案的信息處理過程；圖25描述了依據(jù)第二實施方案的程序模塊的存儲器布局例子；圖26描述了依據(jù)第三實施方案的設(shè)備的硬件設(shè)置；
圖27描述了依據(jù)第三實施方案的分類樹準(zhǔn)備過程；圖28描述了依據(jù)第三實施方案的設(shè)備配置；圖29是一個流程圖，描述了第三實施方案的處理過程；圖30解釋了依據(jù)第三實施方案對子模式的提取；圖31描述了依據(jù)第三實施方案的金字塔形；圖32顯示一個依據(jù)第三實施方案而產(chǎn)生的分類樹；圖33是一個流程圖，描述了依據(jù)第三實施方案的分類準(zhǔn)備過程；圖34描述了低級的分層模式，它們是依據(jù)第三實施方案，通過所選擇的神經(jīng)元產(chǎn)生的；圖35描述了一個依據(jù)第三實施方案最終準(zhǔn)備的分類樹；圖36描述了依據(jù)第三實施方案的識別處理；圖37描述了依據(jù)第三實施方案的分類樹生成過程；圖38是一個流程圖，描述了依據(jù)第三實施方案的第二處理過程；圖39描述了依據(jù)第三實施方案的子向量提取設(shè)備；圖40描述了依據(jù)第三實施方案的第二識別處理過程；圖41A、41B、41C、41D和41E描述了現(xiàn)有技術(shù)；圖42描述了依據(jù)第三實施方案，對一個語音模式進(jìn)行傅里葉變換，而得到的包絡(luò)線；圖43顯示了對應(yīng)于X軸頻率的語音模式的強度；及圖44顯示了對應(yīng)于X軸時間的語音模式的頻率。
在第一實施方案中，描述了一種為識別一個聯(lián)機輸入的筆劃而生成分類樹的方法及使用生成的分類樹的識別處理過程。
首先，描述依據(jù)這個實施方案識別字符的方法和設(shè)備的主要特點，隨之是它們的詳細(xì)描述。
在依據(jù)本實施方案的字符識別方法中，一個訓(xùn)練筆劃被分為向量形式組成的筆劃段，得到的向量系列被分層，然后依據(jù)獲得的分層向量系列生成一個分類樹。
在對向量系列分層的過程中，構(gòu)成訓(xùn)練筆劃的向量系列信息被逐步退化。
當(dāng)生成分類樹時，選擇一個向量，它可以保證在上層類別間最激烈的競爭及在緊接著的下一層類別間依據(jù)平均信息量(entropy)標(biāo)準(zhǔn)(后面將對此進(jìn)行討論)的良好分隔。根據(jù)其結(jié)果被退化的向量又被向低層展開。
聯(lián)機手寫字符識別的字典保留上述分類樹作為其內(nèi)容。
接著，根據(jù)前述分類樹確定由用戶手寫的筆劃的類別。
現(xiàn)在將結(jié)合附圖對本發(fā)明進(jìn)行描述。
<分類樹的結(jié)構(gòu)和生成方法>
圖1顯示了一個信息處理設(shè)備的示意性配置的例子，該設(shè)備應(yīng)用了依據(jù)本實施方案的聯(lián)機手寫字符識別方法。
一個依據(jù)本實施方案的聯(lián)機手寫字符識別設(shè)備主要由一個筆劃輸入設(shè)備401、一個顯示器402、一個中央處理單元(CPU)403及一個存儲器404組成。
筆劃輸入設(shè)備401帶有，例如數(shù)字化儀和筆；它將一個字符或圖形的坐標(biāo)數(shù)據(jù)傳遞給CPU403，該字符或圖形已用筆在數(shù)字化儀上輸入了。
顯示器402顯示通過筆劃輸入設(shè)備401輸入的筆劃數(shù)據(jù)及CPU403識別的結(jié)果。
CPU403識別一個由輸入的筆劃數(shù)據(jù)組成的字符或圖形，而且還控制整個設(shè)備。
存儲器404記錄一個識別程序和一個供CPU403使用的字典，它還臨時記錄輸入的筆劃數(shù)據(jù)、識別程序使用的變量等。
圖2是一個處理流程圖，它為根據(jù)本發(fā)明的實施方案生成聯(lián)機手寫字符識別字典的過程提供了一個最好的描述。
針對圖2，標(biāo)號S101表示一個輸入訓(xùn)練筆劃的步驟，而S102表示一個將輸入的訓(xùn)練筆劃分為筆劃段的步驟。
標(biāo)號S103表示一個產(chǎn)生筆劃段向量的步驟，筆劃段由在前面的筆劃分隔步驟中進(jìn)行的分隔而得到。
標(biāo)號S104代表一個對由前面產(chǎn)生筆劃段向量的步驟得到的向量系列進(jìn)行預(yù)分層處理的步驟。
標(biāo)號S105表示在對向量系列進(jìn)行預(yù)分層處理的步驟中生成的分層的向量系列。
標(biāo)號S106表示根據(jù)分層的向量系列產(chǎn)生一個分類樹的分類樹生成步驟。
標(biāo)號S107是一個區(qū)分展開向量的步驟，該向量在分類樹產(chǎn)生步驟中被生成分類樹的過程所使用。
標(biāo)號S108表示一個已被完成的分類樹。
在這個實施方案中，輸入是S101中的一個訓(xùn)練筆劃而輸出是分類樹108。
現(xiàn)在參照圖3到圖7，描述在依據(jù)本發(fā)明第一實施方案的字符識別處理過程中生成一個分類樹的過程。
為了更易于理解，將用三個不同的字符“く”、“し”和“つ”作為例子來代表將被識別的類別，它們分別讀作“ku”，“shi”和“tsu”，每個都由一筆寫成。
假設(shè)為生成字典，“く”、“し”和“つ”中的每一個分別有一百個訓(xùn)練模式；這如下面所表示TPi，j(訓(xùn)練模式i，j)其中i是一個表示類別的下標(biāo)，它的值在下面的范圍中0≤i≤2j是表示訓(xùn)練模式數(shù)目的下標(biāo)，它的值在下面的范圍中1≤j≤100如圖3中的流程圖所示，生成聯(lián)機手寫字符識別字典的過程由三個步驟組成，即一個向量生成步驟、一個預(yù)分層處理步驟和一個分類樹生成步驟。下面將對每個步驟進(jìn)行描述。
(F1)向量生成步驟參照圖4，將詳細(xì)敘述向量生成步驟。
首先，訓(xùn)練筆劃被分成n段(在圖4中，n＝8)。雖然圖4中所示的n段是根據(jù)筆劃的距離分成相等的n段，但本發(fā)明并不僅限于此。
例如，如果一個筆劃輸入設(shè)備在起始和結(jié)尾點的附近受不穩(wěn)定筆劃的影響，那么為了從起始和結(jié)尾點附近的筆劃部分獲得詳細(xì)段向量所作的努力就沒有什么意義了。在這種情況下，允許n個筆劃段的起始段和結(jié)尾段有比其余段更長的距離。
在下一步驟中，由n個筆劃段的各段構(gòu)成向量。
在圖4中，筆劃段被量化為從0到11的12個方向上的基本向量?；鞠蛄?60度等間距分布；但本發(fā)明并不受此限制。
例如，圖4中所示的12個方向上的基本向量中，一個左上端的基本向量(如向量10或11)在一個手寫筆劃中并未出現(xiàn)。于是，可以使用一組基本向量，其中該基本向量的間隔角度更大一些。
在產(chǎn)生向量的過程中，如圖2所示，將筆劃分割為筆劃段的步驟和為每段產(chǎn)生向量的步驟對所有訓(xùn)練筆劃都要進(jìn)行。
在圖4示例的情況下，輸入的筆劃被轉(zhuǎn)換為基本向量系列”12455421”。
(F2)預(yù)分層步驟對已被轉(zhuǎn)換為向量的訓(xùn)練筆劃進(jìn)行金字塔式的預(yù)分層。
圖5表示了一個例子。
在圖5中，從為每段產(chǎn)生向量的步驟中獲得的向量系列的兩個相鄰向量的平均向量被儲存在上層，以便順序地將向量信息減少到一半(或退化)。
圖4所示的筆劃的8個基本向量最終將被按順序轉(zhuǎn)換為4個向量，兩個向量及一個向量。
參照圖6，將詳細(xì)描述一種對兩個相鄰向量進(jìn)行平均的方法。
為了敘述的方便，圖5中所示的12個方向的基本向量在圖6中為8個方向。應(yīng)當(dāng)注意的是，即使基本向量的總數(shù)或各個基本向量的方向發(fā)生變化，本發(fā)明的精神也不受影響。
下面的敘述基于一個假設(shè)，即基本向量有8個方向。兩個相鄰向量的第一向量將表示為”pre”，而隨后的向量為”post”。
以一種簡單的方式，兩個向量的平均可以如下給出(pre+post)/2
但是，會有這樣的情況，即由上述公式得到的平均結(jié)果不能提供一個基本向量。
一般來說，等分為8個方向的向量和其平均向量提供16個方向上的向量，必須對它們進(jìn)行處理，來提供8個方向上的向量。
圖6描述了這種方法。
在圖6中，“→”(800)表示在上層中一個向右的向量(No.2)。下面給出的8對向量表示存在于下層中的向量對。
具體來說，有下列8對，它們可以是在上層中由No.2表示的向量對(pre，post)(2，2)，(1，3)(3，1)，(0，4)(2，3)，(3，2)(3，4)，(4，3)這適用于下列條件，由(pre+post)/2得到的pre和post的平均值大于1.5和2.5或較小。
如果上層中的向量數(shù)目不為2，則將使用一組以45度轉(zhuǎn)換圖6所示的向量集合而得到的向量。
向量集合，即上層中的向量和下層中的兩個向量，并不限于圖6中所示的那一個；它可以是任何向量集合，只要上層的向量能夠被看作是下層中兩個向量的平均向量。
(F3)分類樹生成步驟在預(yù)分層過程(F2)中，訓(xùn)練筆劃(TPi，j)的所有段都被展開為金字塔形自頂?shù)降椎南蛄浚鐖D5所示。為生成分類樹，向量被反向處理，即從頂端到底部。
在下面的描述中，假設(shè)基本向量有8個方向，或在圖6中有8個向量編號從0到7。在這里，向量金字塔中的所有向量將被這些基本向量所包含。
最高層包含8個向量；所以，從根節(jié)點將展開8個分支，如圖7所示。
此時，存在于分支中的訓(xùn)練筆劃(TPi，j)的數(shù)目被計算出來。依靠計數(shù)結(jié)果，下列三種處理類型之一將被實施1.如果在一個分支中不存在訓(xùn)練筆劃(TPi，j)，則該特定分支被除去。
2.如果只有出自訓(xùn)練筆劃(TPi，j)的某一類別的筆劃存在(如筆劃“つ”存在)，則該特定分支被轉(zhuǎn)換為一個葉子并分配類別號碼(如“つ”)。
3.在上面1和2所描述的情況之外的其它情況，即如果多個類別的筆劃混合在一起，則特定分支被轉(zhuǎn)換為一個節(jié)點，繼續(xù)生成分類樹。
圖7顯示了處理結(jié)果。在圖7中，分支由在圖5中最高層的向量表示(以后稱為“第一層”)。
在表示類別種類的列中出現(xiàn)的帶“X”的分支對應(yīng)于沒有訓(xùn)練筆劃(TPi，j)存在的情況，因而它們被除去。
左起第三分支只有類別“つ”的訓(xùn)練筆劃。這對應(yīng)于只有一個特定類別(如“つ”)存在的情況，所以該分支被轉(zhuǎn)換為葉子。
例如，左起第四和第五分支有類別“く”、“し”和“つ”的訓(xùn)練筆劃；它們對應(yīng)于除1和2之外的其它情況，即多個類別的筆劃混合在一起。于是這些分支提供了節(jié)點。
下面將描述如何從節(jié)點生成分支。
從節(jié)點生成分支最有效的方法應(yīng)當(dāng)使分支被展開時所得到的類別信息越多越好。
下面描述在形成分支時如何選擇最有效向量的方法。
存在于某一節(jié)點的訓(xùn)練筆劃(TPi，j)中的類別No.i的訓(xùn)練筆劃數(shù)目表示為Ni。當(dāng)節(jié)點中存在的訓(xùn)練筆劃的總數(shù)表示為N時，則節(jié)點中每個類別存在的可能性pi可以如下表示pi＝Ni/N例如，如果在某一節(jié)點中，類別種類數(shù)為2，則N=Σi=02Ni]]>
于是，當(dāng)獲得關(guān)于節(jié)點的信息時，平均信息量將表示為下列表達(dá)式
接著，在這個節(jié)點中，選擇某一向量，并計算一個分支被展開時平均信息量的減少。
如上所述，從單一向量向下層展開的分支數(shù)目為8。訓(xùn)練筆劃(TPi，j)在8個分支中的分布由在展開的分支中存在的訓(xùn)練筆劃(TPi，j)的數(shù)目表示，即Ni，b其中Ni，b中的i代表一個類別數(shù)目而b代表分支數(shù)目。
此時，借以獲得每個分支信息的平均信息量如前面所討論的情況一樣，表示為下列表達(dá)式Entropybranch=-Σi=02ρilog(ρi)=-Σi=02Ni,bNblog(Ni,bNb)]]>
在這個表達(dá)式中，Nb=Σi=02Ni,b]]>表示存在于分支中的訓(xùn)練筆劃(TPi，j)的總數(shù)。
每個分支中的分布概率表示為Nb/N其中N與表達(dá)式(1)中的N相同。因此，當(dāng)展開分支時平均信息量的平均值由下列表達(dá)式表示
平均信息量的平均減量由下式得到
如下所示，用分支數(shù)目的對數(shù)去除K值所得的值代表展開分支時的分類效率
選擇使這個值為其最大值的向量來展開分支。
分支可以被展開為一個多向量組，而不僅僅展開為一個向量。在這里，表達(dá)式(5)中的BranchNumber為(所選向量的數(shù)目)×8在這個實施方案中，表達(dá)式(5)中所得的值被用作展開分支時表示分類效率的值；然而，顯然該值并不僅限于由表達(dá)式(5)所得，只要它是代表分支展開效率的函數(shù)即可，如在題為“Classificationand Regression Trees”的文獻(xiàn)中所述的“Ginicriterion”。
于是，一旦確定了一個或一組將被展開的向量，分支就被展開而葉子和節(jié)點相應(yīng)地產(chǎn)生。最后，當(dāng)所有向量都已被轉(zhuǎn)換為葉子，分類樹就完成了。
上面所描述的處理過程在圖10中以流程圖的形式進(jìn)行描述?，F(xiàn)在將敘述圖8中生成分類樹的過程。
首先，在步驟S1000中，將一個關(guān)注節(jié)點設(shè)置為圖8中所示的根節(jié)點。
在步驟S1001中，用下列三個條件檢查所設(shè)的關(guān)注節(jié)點1.存在一個訓(xùn)練筆劃。
2.只存在一種類別的訓(xùn)練模式。
3.存在多種類別的訓(xùn)練模式。
如果滿足條件1，則程序進(jìn)行到步驟S1002。如果滿足條件2，則程序進(jìn)行到步驟S1005。如果滿足條件3，則程序進(jìn)行到步驟S1006。
在步驟S1002中，節(jié)點被從分類樹中刪除掉。
在步驟S1003中，檢查所有其它節(jié)點是否都已被轉(zhuǎn)換為葉子節(jié)點。如果檢查結(jié)果為YES，則程序終止處理過程；如果檢查結(jié)果為NO，則程序進(jìn)行到步驟S1004，在該步驟中選擇另一個節(jié)點作為關(guān)注節(jié)點。然后，程序返回到步驟S1001，重復(fù)相同的處理過程。
在步驟S1005中，給節(jié)點分配類別號碼作為葉子節(jié)點。程序隨后進(jìn)行到步驟S1003。
在步驟S1006中，根據(jù)前述平均信息量標(biāo)準(zhǔn)，從包含在節(jié)點中的向量串中選擇一個向量。
在步驟S1007中，生成所選向量下一層的向量對的分支。
圖11描述了在這一步所執(zhí)行的處理；它顯示了下層向量對的例子。
參照圖11，假設(shè)5000表示一個在步驟S1006中已被選中的向量，它具有方向“2”。在下層有8個不同的向量對，即5001、5002、5003、5004、5005、5006、5007和5008，它們與向量5000相匹配。生成以這些向量對為新節(jié)點的分支。
上面敘述了在步驟S1007中實行的處理過程的一個特例。
在下面的步驟中，程序進(jìn)行到步驟S1008，在這里將已生成分支的節(jié)點之一設(shè)為下一個關(guān)注節(jié)點，然后返回到步驟S1001來重復(fù)同樣的處理過程。
根據(jù)上述過程如圖8所示生成分類樹，就有可能產(chǎn)生一個反映相似的類別之間詳細(xì)特性不同點的分類樹，同時維持有許多特征的筆劃模式的整體分類。參照生成的分類樹，能夠?qū)崿F(xiàn)高識別率下的快速字符識別。
在這個實施方案中，對根據(jù)本發(fā)明生成聯(lián)機手寫字符識別字典的方法所作敘述，假設(shè)有一個訓(xùn)練筆劃。但是，顯然，根據(jù)本實施方案，在實際使用時，在輸入字符多于一個筆劃的系統(tǒng)中，可以應(yīng)用同樣的處理過程處理每一個筆劃。
下面將進(jìn)一步詳細(xì)描述如圖8所示的分類樹的生成。
圖8是將圖7的分層向下增加而得；它省略了已被刪除的分支。圖8中處于方框(□)中的分支說明它們是葉子。
除葉子之外的所有分支都將成為節(jié)點；因此，將實施進(jìn)一步的分支展開。圖8顯示左邊第二個節(jié)點(201)進(jìn)一步的分支展開結(jié)果。
在左起第二個節(jié)點(201)中，三種類別即”く”，“し”和”つ”并存，需要進(jìn)行分支展開。
只有一個向量(畫圈的向量)代表節(jié)點的狀態(tài)；因此，將被展開的向量是唯一確定的。要展開的向量對以圖6中所示的向量對為基礎(chǔ)。特別地，展開一個分支來符合下層兩個向量的8個組合，其上層的向量可以是處于右下方向(No.3)的向量。這種狀態(tài)說明向量在圖5中已經(jīng)被展開到第二層了。
進(jìn)而，一個左起第二分支的節(jié)點(202)包括兩個類別，即“し”和”く”。于是需要進(jìn)一步的分支展開。假設(shè)代表節(jié)點的兩個向量的第一向量已經(jīng)被選中，對其進(jìn)行展開，作為區(qū)分展開向量的步驟S107所給出的結(jié)果。象上層的情況一樣，根據(jù)第一向量的狀態(tài)，展開8個分支，刪除一些分支，將一些分支轉(zhuǎn)換為葉子，將一些分支轉(zhuǎn)換為節(jié)點。轉(zhuǎn)換為節(jié)點的分支必須進(jìn)一步進(jìn)行展開，直至所有分支的未端最終都轉(zhuǎn)換為葉子為止。
圖12主要顯示了信息處理單元的存儲器內(nèi)部設(shè)置，其中應(yīng)用了依據(jù)本實施方案的聯(lián)機手寫字符識別方法。一個CPU1201對應(yīng)于在圖1中用403表示的CPU；它根據(jù)儲存在存儲器1202(后面將進(jìn)行討論)中的控制程序執(zhí)行本實施方案中描述的各種處理過程。實現(xiàn)流程圖(后面將進(jìn)行討論)所描述的處理過程的控制程序也被儲存在存儲器1202中，并由CPU1201來運行。
存儲器1202有一個程序段1202-1，儲存供CPU1201執(zhí)行各種處理過程的控制程序，及一個數(shù)據(jù)段1202-2，儲存各種參數(shù)和數(shù)據(jù)。例如，程序段儲存圖10流程圖的各個部分，作為子程序1202-1-1到1202-1-3。子程序包括在區(qū)分關(guān)注節(jié)點狀態(tài)的S1001中使用的處理程序，在刪除節(jié)點的S1002中使用的處理程序，在用于葉子節(jié)點的S1005中使用的處理程序，在選擇適當(dāng)向量的S1006中使用的處理程序，在生成向量對分支的S1007中使用的處理程序，及根據(jù)已生成的分類樹識別輸入模式的程序；這些分別用于各種處理過程的子程序儲存在程序段1202-1中。在執(zhí)行每個處理過程(下面將進(jìn)行討論)時，為了CPU1201執(zhí)行處理過程的需要，從存儲器1202中讀出一個控制程序。數(shù)據(jù)段1202-2有一個訓(xùn)練模式緩沖區(qū)1202-1，用于暫時保存各個訓(xùn)練模式；一個區(qū)域1202-2-2，用于保存從各個訓(xùn)練模式得到的以金字塔形展開的向量數(shù)據(jù)模式；及一個分類樹緩沖區(qū)1202-2-3，用于保存生成的分類樹。
一個硬盤驅(qū)動器(HDD)1203保存所有訓(xùn)練模式以及有關(guān)分類樹的數(shù)據(jù)，分類樹用本實施方案所述的方法生成。
存儲器1202可以是一個內(nèi)置ROM(只讀存儲器)、RAM(隨機存取存儲器)、HD(硬盤)或類似的設(shè)備。程序和數(shù)據(jù)可以預(yù)先儲存在存儲器中，或者程序或數(shù)據(jù)可以在處理之前，從一個能與設(shè)備的主體分開的存儲媒介如軟盤(FD)或CD-ROM中讀出。作為另一個選擇，這些程序或數(shù)據(jù)可以通過公共線路、局域網(wǎng)或其它通信設(shè)備從另一個設(shè)備中讀出。
<基于已生成的分類樹的字符識別方法>
在第二實施方案中，將對根據(jù)分類樹進(jìn)行聯(lián)機手寫字符識別的方法進(jìn)行描述，分類樹由上述實施方案中所述的處理過程產(chǎn)生。
圖9顯示一個流程圖，它為處理過程提供了一個最好的描述。
在圖9中，標(biāo)號301表示用戶輸入的手寫筆劃數(shù)據(jù)。手寫筆劃與第一實施方案中所示的訓(xùn)練筆劃101相同。
步驟S302是將手寫筆劃分為筆劃段的步驟。
步驟S303是產(chǎn)生筆劃段向量的步驟，其中由上一步處理過程得到的筆劃段被變換為向量。
步驟S304是對向量系列進(jìn)行預(yù)分層的步驟，向量系列由前面產(chǎn)生筆劃段向量的步驟中得到。
標(biāo)號305表示一個分層的向量系列，它經(jīng)過了預(yù)分層步驟的處理。
步驟S307是類別區(qū)分步驟，根據(jù)分層的向量系列305，參考分類樹306給出的分類數(shù)據(jù)，確定手寫筆劃301的類別。
分類樹306是一個為類別分類提供必需信息的分類樹；它應(yīng)當(dāng)是用第一實施方案所述方法生成的分類樹。
在將筆劃分為筆劃段的步驟S102中、產(chǎn)生筆劃段向量的步驟S103中和預(yù)分層步驟S104中所用過的同樣三種處理過程被分別用在前面提到的將筆劃分為筆劃段的步驟S302中、產(chǎn)生筆劃段向量的步驟S303中和預(yù)分層步驟S304中。
分層的向量系列305與第一實施方案中的訓(xùn)練模式一樣多，但在本實施方案中，只有一個是從手寫筆劃中得到的。
在類別區(qū)分步驟S307，當(dāng)根據(jù)圖8所示的分類樹跟蹤分層的向量系列305到達(dá)一個葉子時，將存在于葉子中的類別作為識別結(jié)果輸出。
圖13主要顯示了信息處理單元的存儲器內(nèi)部設(shè)置，其中應(yīng)用了依據(jù)本實施方案的聯(lián)機手寫字符識別方法。一個CPU1301對應(yīng)于在圖1中用403表示的CPU；它根據(jù)儲存在存儲器1302(后面將進(jìn)行討論)中的控制程序執(zhí)行本實施方案中描述的各種處理過程。實現(xiàn)流程圖(后面將進(jìn)行討論)所描述的處理過程的控制程序也被儲存在存儲器1302中，并由CPU1301來運行。
存儲器1302有一個程序段1302-1，儲存供CPU1301執(zhí)行各種處理過程的控制程序，及一個數(shù)據(jù)段1302-2，儲存各種參數(shù)和數(shù)據(jù)。例如，程序段儲存圖9所示流程圖的各個部分，作為子程序。子程序包括在把筆劃分為筆劃段的S302中使用的處理過程、在產(chǎn)生筆劃段向量的S303中使用的處理過程、在預(yù)分層的S304中使用的處理過程和在區(qū)分類別的S307中所使用的處理過程；這些分別用于各種處理過程的子程序儲存在程序段1302-1中。在執(zhí)行每個處理過程(下面將進(jìn)行討論)時，為了CPU1301執(zhí)行處理過程的需要，從存儲器1302中讀出一個控制程序。數(shù)據(jù)段1302-2有一個緩沖區(qū)，用于保存用戶輸入的模式；一個區(qū)域，用于保存從輸入模式得到的以金字塔形展開的向量數(shù)據(jù)模式；及一個緩沖區(qū)，用于保存輸入模式的識別候選對象。
一個硬盤驅(qū)動器(HDD)1303保存有關(guān)分類樹的數(shù)據(jù)，分類樹用前面的實施方案中所述的方法生成。
存儲器1302可以是一個內(nèi)置ROM(只讀存儲器)、RAM(隨機存取存儲器)、HD(硬盤)或類似的設(shè)備。程序和數(shù)據(jù)可以預(yù)先儲存在存儲器中，或者程序或數(shù)據(jù)可以在處理之前，從一個能與設(shè)備主體分開的存儲媒介如軟盤(FD)或CD-ROM中讀出。作為另一個選擇，這些程序或數(shù)據(jù)可以通過公共線路、局域網(wǎng)或其它通信設(shè)備從另一個設(shè)備中讀出。
這樣，根據(jù)本實施方案，采用生成的筆劃向量分類樹——它成功地反映類別間競爭關(guān)系，能夠?qū)崿F(xiàn)具有高識別率、非常快速的聯(lián)機手寫字符識別。
(第二實施方案)在第二實施方案中，將敘述一個例子，其中根據(jù)對訓(xùn)練模式分層而生成的分類樹，生成一個N元語法表。
依據(jù)本實施方案，在訓(xùn)練模式的分層處理過程中，訓(xùn)練模式的特征將被逐步退化。
在根據(jù)本實施方案生成分類樹時，選擇一個變量，它保證在上層類別之間最激烈的競爭及在緊接著的下一層類別間有良好分隔，并向下層展開上述的退化變量。
本實施方案中的訓(xùn)練筆劃被分割，由分割得到的筆劃段被轉(zhuǎn)換為向量，產(chǎn)生的向量系列被以金字塔形進(jìn)行分層，產(chǎn)生分層的向量系列。分層的向量系列被用來生成一個分類樹，根據(jù)分類樹生成一個N元語法表。
在依據(jù)第二實施方案的預(yù)分層過程中，構(gòu)成訓(xùn)練筆劃的向量系列信息被逐步退化。
在依據(jù)本實施方案的分類樹生成過程中，選擇一個向量，它可以保證在上層類別間最激烈的競爭及在緊接著的下一層類別間的良好分隔。以其結(jié)果為基礎(chǔ)，向下層展開退化的向量。
進(jìn)而，在實施方案中，參照生成的N元語法表，對用戶輸入的一個句子進(jìn)行識別。
現(xiàn)在，結(jié)合附圖，詳細(xì)描述依據(jù)本發(fā)明該實施方案的信息處理設(shè)備。
<在圖象情況下>
圖14是一個方塊圖，顯示了一個信息處理設(shè)備的配置，其中將應(yīng)用包含在下面本發(fā)明整個實施方案中的模式識別系統(tǒng)。
一個模式識別設(shè)備由一個模式輸入設(shè)備1401、一個顯示器1402、一個中央處理單元(CPU)1403和一個存儲器1404組成。
模式輸入設(shè)備1401帶有，例如數(shù)字化儀和筆，如果它適于聯(lián)機字符識別；它將一個字符或圖形的坐標(biāo)數(shù)據(jù)傳遞給CPU1403。模式輸入設(shè)備可以是一個掃描儀、麥克風(fēng)等，只要它能夠把將要被識別的模式作為圖象輸入。
顯示器1402顯示模式輸入設(shè)備1401輸入的模式數(shù)據(jù)及CPU1403識別的結(jié)果。
CPU1403識別一個輸入模式，而且還控制有關(guān)設(shè)備。
存儲器1404儲存一個識別程序或一個供CPU1403使用的字典，它還臨時儲存輸入的模式數(shù)據(jù)、識別程序使用的變量等。
圖15是一個概念圖，描述依據(jù)本發(fā)明的實施方案的信息處理過程。標(biāo)號1501表示訓(xùn)練模式，而S1502表示將訓(xùn)練模式1501應(yīng)用到神經(jīng)網(wǎng)絡(luò)上的預(yù)分層步驟。標(biāo)號1503表示經(jīng)過神經(jīng)網(wǎng)絡(luò)處理的分層的訓(xùn)練模式；S1504表示根據(jù)分層的訓(xùn)練模式1503生成分類樹的步驟。
標(biāo)號S1505表示區(qū)分展開變量的步驟，展開變量在產(chǎn)生分類樹的步驟S1504中生成分類樹的過程中使用。
標(biāo)號S1506表示由步驟S1504中執(zhí)行的處理過程生成的分類樹。
標(biāo)號S1507表示一個語句數(shù)據(jù)庫；語句數(shù)據(jù)庫包括多種常用句子模式。在N元語法表生成步驟中，為確定已經(jīng)提前生成的分類樹的預(yù)先概率，對語句數(shù)據(jù)庫進(jìn)行訪問，后面將加以討論。
標(biāo)號S1508表示一個根據(jù)語句數(shù)據(jù)庫1507和分類樹1506來生成N元語法表1509的N元語法表生成步驟。本實施方案中的輸入為訓(xùn)練模式1501而輸出為N元語法表1509。
現(xiàn)在，參照圖16到圖20，將詳細(xì)敘述依據(jù)本實施方案的處理過程。
首先，假設(shè)有10個數(shù)字模式從0到9，作為輸入模式寫在一個16×16的網(wǎng)格上。圖18顯示了0的輸入模式例子。
為生成一個字典，從0到9，每個都有100個訓(xùn)練模式。這些被命名為LTi，j(學(xué)習(xí)模板i，j)其中i是一個表示類別的下標(biāo)，它的值在下面的范圍中0≤i≤9j是表示訓(xùn)練模式數(shù)目的下標(biāo)，它的值在下面的范圍中1≤j≤100如圖16所示，設(shè)置一個四層神經(jīng)網(wǎng)絡(luò)。
圖16中的四層從頂層到底層分別包括含有2×2，4×4，8×8和16×16神經(jīng)元的神經(jīng)元組。
生成模式識別字典的方法由三個步驟組成，即一個神經(jīng)網(wǎng)絡(luò)展開步驟，一個分類樹生成步驟和一個N元語法表生成步驟。對照圖17，將按順序描述每一個步驟。
(F171)神經(jīng)網(wǎng)絡(luò)展開步驟首先，訓(xùn)練模板被輸入到16×16神經(jīng)元的最底層，如圖16所示。此時，假設(shè)在輸入模式(LTi，j)白色部分的神經(jīng)元為OFF(關(guān)閉)，而在黑色部分的神經(jīng)元ON(開)。此后，黑色將說明神經(jīng)元為ON，白色說明神經(jīng)元為OFF。
神經(jīng)網(wǎng)絡(luò)的設(shè)置非常簡單；如果在下一層的2×2個神經(jīng)元中有任何一個神經(jīng)元為ON，則其上一層的一個神經(jīng)元應(yīng)當(dāng)為ON。這條規(guī)則應(yīng)用在向上處理輸入模式中。
圖19說明對圖18所示的訓(xùn)練模板進(jìn)行處理的結(jié)果。
最終，輸入模式的特征空間形成了一個256維的超正方體點陣，其具有2256種不同的數(shù)據(jù)組合。
數(shù)據(jù)的組合數(shù)在第一層為24，在第二層為216，而在第三層為264。神經(jīng)網(wǎng)絡(luò)的設(shè)置不僅限于此。
(F172)分類樹生成步驟在神經(jīng)網(wǎng)絡(luò)展開步驟F171中，所有訓(xùn)練模板(LTi，j)被展開到神經(jīng)網(wǎng)絡(luò)上，如圖16所示。從頂層到底層生成分類樹，這與神經(jīng)網(wǎng)展開的情況相反。
規(guī)則的節(jié)點從一個虛擬存在于最高層(2×2)上的神經(jīng)元開始，如圖16所示。
作為展開訓(xùn)練模板(LTi，j)的結(jié)果，圖16中最高層(2×2)的一些神經(jīng)元為ON。換句話說，最高層(2×2)不完全為OFF，除非存在一個全白的訓(xùn)練模板。
這樣，對應(yīng)于所有訓(xùn)練模板(LTi，j)，虛擬存在的最高層神經(jīng)元為ON。
最高層(2×2)有24＝16種狀態(tài)。因為上面提到過，不存在所有神經(jīng)元都為OFF的情況，所以更精確地說，是有15種狀態(tài)；因此，從一個根節(jié)點展開16個分支，如圖20所示。
此時，對出現(xiàn)在分支中的訓(xùn)練模板(LTi，j)的數(shù)目進(jìn)行計數(shù)。根據(jù)計數(shù)的結(jié)果，將進(jìn)行下列三種處理過程之一(1)如果在一個分支中沒有訓(xùn)練模板(LTi，j)存在，則該特定分支被除去。
(2)如果只存在出自訓(xùn)練模板(LTi，j)中的某一類別(例如“1”)，則該特定分支被設(shè)為一個葉子并為其分配類別號碼(如“1”)。
(3)在除上述(1)和(2)所描述的情況之外的情況下，即如果多個類別的模板混合在一起，則該特定分支被設(shè)為一個節(jié)點，繼續(xù)生成分類樹。
圖20顯示了處理結(jié)果。
通過顯示圖16中最高層(第一層)神經(jīng)元的ON/OFF來表示分支的狀態(tài)。特別地，黑色部分表示神經(jīng)元為ON，而白色部分表示神經(jīng)元為OFF。
在顯示類別種類的列中以“×”表示的分支對應(yīng)于沒有訓(xùn)練模板(LTi，j)存在的情況(1)，并且它們會被除掉。
嚴(yán)格地說，最左邊的分支不會從根節(jié)點展開得到。
左起第八個分支只有類別1的訓(xùn)練模板。這對應(yīng)于只存在訓(xùn)練模板(LTi，j)的一個特定類別(如“1”)的情況(2)，于是該分支被轉(zhuǎn)換為葉子。
又如，左起第十二個分支具有類別2、4、5和6的訓(xùn)練模板；這對應(yīng)于除情況(1)和(2)之外的情況(3)，即多個類別的模板混在一起。于是這個分支就提供了一個節(jié)點。
下面將描述如何從節(jié)點生成分支。
將要敘述的是生成分支最有效的方法。最有效的方法應(yīng)當(dāng)使分支被展開時所得到的關(guān)于類別的信息越多越好。
一般來說，在這種條件下展開分支的方法有很多種，以至于很難決定采用哪一種。迄今為止，這已成為成功地生成用于識別的分類樹的一個障礙。
我們將進(jìn)行一種嘗試，限制將從節(jié)點展開的分支，使其只有一個分支，其中為ON的神經(jīng)元在這個節(jié)點被展開到下層。
例如，在圖20中左起第十二個分支中，三個神經(jīng)元之一，即圖16中第一層的左上、左下和右下神經(jīng)元之一被選中，在所選神經(jīng)元下面，與神經(jīng)元狀態(tài)，即圖16中第二層下面四個神經(jīng)元的狀態(tài)，有關(guān)的分支被展開。這顯著地減少了展開分支所需的計算時間。另外，這種限制在實質(zhì)上對將要生成的分類樹的分類行為沒有嚴(yán)重的損害。
現(xiàn)在將對從節(jié)點中狀態(tài)為ON的神經(jīng)元中選擇一個展開效率最高的神經(jīng)元的方法進(jìn)行描述。
存在于某一節(jié)點中的訓(xùn)練模板(LTi，j)中的類別No.i的訓(xùn)練模板數(shù)用Ni表示。當(dāng)節(jié)點中的總訓(xùn)練模板數(shù)表示為N時，在節(jié)點中每種類別的存在概率pi可以如下表示pi＝Ni/N
其中N=Σi=09Ni]]>因此，當(dāng)?shù)玫疥P(guān)于節(jié)點的信息時，平均信息量將用下列表達(dá)式表示
于是，在這個節(jié)點中狀態(tài)為ON的神經(jīng)元中的一個被選中，并由此計算出展開分支時平均信息量的減量。
如上所述，從單一神經(jīng)元向下層展開的分支數(shù)為16。訓(xùn)練模板(LTi，j)在16個分支中的分布由存在于展開分支中訓(xùn)練模板(LTi，j)數(shù)目表示，即Ni，b其中Ni，b的i表示一個類別號碼，而b表示分支號碼。
此時，得出有關(guān)每個分支的信息的平均信息量用下列表達(dá)式表示，與前面討論的情況類似Entropybranch=-Σi=09ρilog(ρi)=-Σi=09(Ni,bNb)logNi,bNb]]>
在這個表達(dá)式中Nb=Σi=09Ni,b]]>表示在分支中的訓(xùn)練模板(LTi，j)的總數(shù)。
每個分支中的分布概率表示為
Nb/N其中N與表達(dá)式(6)中的N相同，因此，展開分支時平均信息量的平均值表示為下列表達(dá)式
平均信息量的平均減量由下式得到
如下所示，用分支數(shù)去除該值所得的值代表分支被展開時的分類效率
選擇使這個值為其最大值的神經(jīng)元來展開分支。
分支可以根據(jù)一個多神經(jīng)元組，而不僅是一個神經(jīng)元來展開。
此時，把神經(jīng)元數(shù)目乘以16，將得到表達(dá)式(10)中的BranchNumber(分支數(shù)目)。在技術(shù)上，與展開有關(guān)的下層所有神經(jīng)元都為OFF的狀態(tài)是不可能出現(xiàn)的；因此，BranchNumber將為神經(jīng)元數(shù)目乘以15。
在這個實施方案中，表達(dá)式(10)所得的值被用作展開分支時表示分類效率的值；然而，顯然該值并不僅限于由表達(dá)式(10)獲得，只要它是一個代表分支展開效率的函數(shù)，如在題為”Classificationand Regression Trees”中描述的”Ginicriterion”。
這樣，一旦確定了一個或一組將要展開的神經(jīng)元，分支就被展開，并相應(yīng)生成葉子和節(jié)點。
最后，當(dāng)所有神經(jīng)元都已被轉(zhuǎn)換為葉子時，分類樹就完成了。
圖8表示實際生成的分類樹的內(nèi)容。
圖8給出了圖7更多的細(xì)節(jié)；它省略了被刪除的分支。圖8中畫圈的分支表示葉子。
除葉子之外的所有分支都將轉(zhuǎn)換為節(jié)點；從而，進(jìn)行進(jìn)一步的分支展開。圖21只表現(xiàn)關(guān)于右起第三個節(jié)點的進(jìn)一步展開的結(jié)果。
在右起第三個節(jié)點中，三種類別，即“1”，“7”和“9”共存，需要進(jìn)行分支展開。假設(shè)根據(jù)區(qū)分展開變量的步驟S1505(圖15)所給出的結(jié)果，已經(jīng)選定第一層右上方的神經(jīng)元在第一層進(jìn)行展開。
象圖20所示情況那樣，根據(jù)右上方神經(jīng)元的狀態(tài)，24＝16個分支被展開，并且，一些分支被刪除，一些分支被轉(zhuǎn)換為葉子，一些分支被轉(zhuǎn)換為節(jié)點。
被轉(zhuǎn)換為節(jié)點的分支必須進(jìn)一步進(jìn)行展開，直到所有分支的未端最后都轉(zhuǎn)變?yōu)槿~子為止。
在圖21中，為了清楚，疊置第一層和第二層來表示右起第三個節(jié)點的展開結(jié)果。實際上，這些狀態(tài)由圖16所描述的神經(jīng)網(wǎng)絡(luò)中第一層的四個神經(jīng)元和第二層的四個右上神經(jīng)元來表示。
(F173)N元語法表生成步驟所圖21所描述的，作為分類樹生成步驟(F172)的結(jié)果得到的分類樹的第一層相當(dāng)于所有要被識別的類別的整體分類，整體分類以其形狀為基礎(chǔ)。
因此，根據(jù)整體分類中的類別組生成一個N元語法表應(yīng)當(dāng)為更小的數(shù)據(jù)庫提供很高的可靠狀態(tài)變換概率。此時，整體分類中的類別組被當(dāng)作一個虛擬類別組。
然而，應(yīng)當(dāng)注意，由分類樹生成步驟的結(jié)果得到的分類樹的第一層并不總是唯一的。
例如，在圖21中，類別1存在于4個分支或節(jié)點中。這種現(xiàn)象一般被看作“重疊類”，比如，可以參考題為“A Survey ofDecision Tree Classifier Methodoloty”的文獻(xiàn)(出自IEEETransactions on Systems，Man，Cybernetics vol.21，No.3，May/June 1991)。
有一種方法可以使“重疊類”變成唯一的把某一類別出現(xiàn)概率最高的分支設(shè)為該特定類別專用的分支?，F(xiàn)在參照圖21，如果類別1出現(xiàn)的概率在左起第二分支最高，則在左起第一、第三和第六分支中的類別1都被忽略。
圖22中顯示了一個如此生成的整體分類類別組的例子。
在圖22中，注有畫圈數(shù)字的類別有最高的出現(xiàn)概率。
例如，根據(jù)圖示，左邊的類別1形成第一類別組，類別4和6形成第二類別組，類別7和9形成第三類別組，而類別0、2、3、5和8形成第四類別組。結(jié)果，原來的10個類別減少到4個組。這4個組被用作新的虛擬類別組，來生成N元語法表。
這樣生成的N元語法表能夠合并到整句識別算法中，雖然它已經(jīng)用由分類樹生成步驟得到的分類樹信息生成了。這意味著，N元語法表可以用來確定一個句子的預(yù)先概率，并可以用一個完全不同的識別算法而不用前面提到的分類樹來確定后置概率。
顯然，N元語法表可以建立在一個眾所周知的算法如DP匹配或全搜索算法中，通過用N元語法表確定句子的預(yù)先概率來識別一個句子，以便確定含有構(gòu)成句子模式形狀的全部組合的所有模式的預(yù)先概率。
在上面的敘述中，分類樹的第一層被當(dāng)作整體分類樹類別；但整體分類類別組可以由直到第n層的任何層數(shù)組成。
<在筆劃情況下>
圖23描述了依據(jù)第二實施方案的處理過程。
標(biāo)號2301表示一個訓(xùn)練筆劃；在筆劃分割步驟S2302中，訓(xùn)練筆劃被分為多個筆劃段。
在產(chǎn)生筆劃段向量的步驟S2303中，由筆劃分割步驟S2302得到的筆劃段被量化為向量。
在預(yù)分層步驟2304中，由產(chǎn)生筆劃段向量的步驟S2303得到的向量系列被分層，以生成分層的向量系列2305。這個處理過程將在后面詳細(xì)敘述。
在分類樹生成步驟2306中，根據(jù)分層的向量系列2305，生成一個分類樹2308。
區(qū)分展開向量的步驟S2307在分類樹生成步驟S2306生成分類樹的過程中進(jìn)行。
在N元語法表生成步驟2310中，根據(jù)一個語句數(shù)據(jù)庫2309和分類樹2308生成一個N元語法表2311。
圖23流程圖所示處理過程中的輸入是一個訓(xùn)練模式，即訓(xùn)練筆劃2301，語句數(shù)據(jù)庫2309，輸出是一個N元語法表，即N元語法表2311。
現(xiàn)在對照圖24，將詳細(xì)描述生成N元語法表的方法。
為了讀者易于理解，將用三個不同的字符“く”、“し”和“つ”作為例子來代表將被識別的類別，它們分別讀作“ku”，“shi”和“tsu”，每個都由一筆寫成。
假設(shè)為生成字典，“く”、“し”和“つ”中的每一個分別有一百個訓(xùn)練模式；這如下面所表示TPi，j(訓(xùn)練模式i，j)其中i是一個表示類別的下標(biāo)，它的值在下面的范圍中0≤i≤2j是表示訓(xùn)練模式數(shù)目的下標(biāo)，它的值在下面的范圍中1≤j≤100如圖24中的流程圖所示，生成聯(lián)機手寫字符識別字典的過程由四個步驟組成，即一個向量生成步驟、一個預(yù)分層處理步驟、一個分類樹生成步驟和一個N元語法表生成步驟。向量生成步驟、預(yù)分層處理步驟和分類樹生成步驟與在第一實施方案中參照圖3所敘述的步驟相同；因此，將只對N元語法表生成步驟進(jìn)行描述。
(F24)N元語法表生成步驟根據(jù)按(F3)分類樹生成步驟所述生成的分類樹，將生成一個N元語法表。
上述N元語法表的每個元素的單元是一個由一個字符組成的字；然而，顯然，單元可以替換為一個由詞構(gòu)成的分句或類似內(nèi)容。
本發(fā)明可以應(yīng)用于一個由多個單元構(gòu)成的系統(tǒng)或一個由單個單元構(gòu)成的設(shè)備。
很明顯，本發(fā)明的目的能夠通過向系統(tǒng)或設(shè)備提供一個存儲媒介而達(dá)到，在該媒介中，記錄著實現(xiàn)前述實施方案功能的軟件程序代碼，這樣，系統(tǒng)或設(shè)備的計算機、CPU或MPU就能夠從存儲媒介中讀取程序代碼，并運行程序代碼。
在這里，從存儲媒介讀出的程序代碼本身會實現(xiàn)實施方案的功能，而儲存程序代碼的存儲媒介則構(gòu)成本發(fā)明。
提供程序代碼的存儲媒介可以是一個軟盤、硬盤、光盤、磁光盤片、CD-ROM、CD-RAM、磁帶、非易失存儲卡或類似介質(zhì)。
顯然，本發(fā)明還包括一種情況，運行計算機讀出的程序代碼產(chǎn)生前述實施方案所要實現(xiàn)的功能并且使一個在計算機上運行的操作系統(tǒng)(OS)或類似系統(tǒng)，根據(jù)程序代碼指令執(zhí)行一部分或全部實際處理過程，從而完成前述實施方案的功能。
進(jìn)而，本發(fā)明顯然還包括一種情況，從存儲媒介讀出的程序代碼被寫入插入計算機的性能擴展板或?qū)懭胗膳c計算機相連的性能擴展單元所提供的存儲器中，這樣性能擴展板或性能擴展單元中提供的CPU根據(jù)程序代碼的指令執(zhí)行一部分或全部實際處理過程，于是完成了前述實施方案的功能。
當(dāng)把本發(fā)明應(yīng)用到前面的存儲媒介中時，與前面描述過的流程圖對應(yīng)的程序代碼被儲存到存儲媒介中。為了簡明扼要，圖25中一個存儲分配圖例子表示的各個模塊將存儲在存儲媒介中。
特別地，至少下列模塊的程序代碼將被儲存在存儲媒介中步驟S1502或S2304的預(yù)分層處理模塊；步驟S1504或S2306的分類樹生成模塊；步驟S1505或S2307的展開變量區(qū)分模塊；步驟S1508或S2310的N元語法表生成模塊；步驟S2302的筆劃分割模塊；及步驟S2303的向量形成模塊。
這樣，根據(jù)本發(fā)明，從構(gòu)成句子的模式類別的整體分類得到組，在此基礎(chǔ)上生成N元語法表。其優(yōu)點在于，即使以一個較小的數(shù)據(jù)庫，也能夠生成一個高度可靠的N元語法表。
另一個優(yōu)點在于，實行類別的分組，以便成功地反映模式形狀的相似之處，從而帶來了句子的高識別率。
(第三實施方案)在第三實施方案中，將描述一個例子，其中從輸入模式中提取子模式，并將子模式分層生成一個分類樹。
下面將結(jié)合附圖描述本發(fā)明的一個優(yōu)選實施方案。
<在圖象情況下>
圖26是一個方塊圖，顯示依據(jù)本發(fā)明，與下面所有實施方案有關(guān)的信息處理設(shè)備的配置。
該設(shè)備由一個模式輸入設(shè)備2601，一個顯示器2602，一個中央處理單元(CPU)2603和一個存儲器2604組成。
模式輸入設(shè)備2601中有比如數(shù)字化儀和筆，如果要進(jìn)行聯(lián)機字符識別的話；它把用筆在數(shù)字化儀上輸入的字符或圖形的坐標(biāo)數(shù)據(jù)傳遞給CPU2603。模式輸入設(shè)備可以是一個以光學(xué)方式讀取圖象的掃描儀、一個接收語音的麥克風(fēng)，或任何其它設(shè)備，只要它可以接收要進(jìn)行識別的模式；通過這些輸入設(shè)備輸入的模式甚至還可以通過通信設(shè)備進(jìn)行輸入。顯示器2602顯示一個通過模式輸入設(shè)備2601輸入的模式數(shù)據(jù)，以及CPU2603提供的識別結(jié)果；它可以是一個CRT(陰極射線管)、LCD(液晶)顯示器，或其它類似設(shè)備。CPU2603主要識別輸入模式并控制所有組成設(shè)備。存儲器2604儲存一個識別程序和一個由CPU2603使用的字典并臨時儲存輸入模式和識別程序使用的變量等。
圖27是一個圖示，它為本實施方案的基本配置提供了最好的描述。標(biāo)號2701表示訓(xùn)練模式；2702表示子模式提取器，用每個子模式把訓(xùn)練模式分開；2703是一個預(yù)分層處理器，金字塔形展開子模式；2704表示分層的訓(xùn)練子模式；2705表示分類樹生成器，它根據(jù)分層的訓(xùn)練子模式來生成一個分類樹；2706表示一個展開變量區(qū)分器，分類樹生成器用它來生成一個分類樹；以及2707表示一個由分類樹生成器生成的分類樹。在這里本發(fā)明的輸入是一個訓(xùn)練模式，而輸出則是一個分類樹。
圖28主要顯示了信息處理設(shè)備的存儲器內(nèi)部設(shè)置，其中應(yīng)用了依據(jù)本實施方案的聯(lián)機手寫字符識別方法。一個CPU2801，與圖26中的2603相同，根據(jù)儲存在存儲器2802(后面將進(jìn)行討論)中的控制程序執(zhí)行本實施方案中描述的各種處理過程。流程圖(后面將進(jìn)行討論)所描述的處理過程也由CPU2801根據(jù)儲存在存儲器2802中的控制程序來執(zhí)行。
存儲器2802有一個程序段2802-1，儲存供CPU2801執(zhí)行各種處理過程的控制程序，及一個數(shù)據(jù)段2802-2，儲存各種參數(shù)和數(shù)據(jù)。例如，程序段儲存圖33流程圖的各個部分，作為子程序。子程序是區(qū)分關(guān)注節(jié)點狀態(tài)的步驟S1001中使用的處理程序；在刪除節(jié)點的步驟S1002中使用的處理程序；在用于葉子節(jié)點的步驟S1005中使用的處理程序；在選擇適當(dāng)神經(jīng)元的步驟S3306中使用的處理程序；在生成神經(jīng)元分支的步驟S3307中使用的處理程序；及用已生成的分類樹識別輸入模式的程序。用于這些處理過程的子程序儲存在程序段2802-1中。在執(zhí)行每個處理過程(下面將進(jìn)行討論)時，從存儲器2802中讀出一個處理過程的控制程序并由CPU2801執(zhí)行。數(shù)據(jù)段2802-2有一個訓(xùn)練模式緩沖區(qū)，用于暫時保存訓(xùn)練模式，一個區(qū)域，用于保存金字塔形展開的訓(xùn)練模式；及一個分類樹緩沖區(qū)，用于保存生成的分類樹。
一個硬盤驅(qū)動器(HDD)2803保存所有訓(xùn)練模式以及分類樹的數(shù)據(jù)，分類樹用本實施方案所述的方法生成。分類樹數(shù)據(jù)使我們有可能跟蹤圖34分類樹所示的路徑。
存儲器2802可以是一個內(nèi)置ROM(只讀存儲器)、RAM(隨機存取存儲器)、HD(硬盤)或類似的設(shè)備。程序和數(shù)據(jù)可以預(yù)先儲存在存儲器中，或者程序或數(shù)據(jù)可以在處理之前，從一個能與設(shè)備的主體分開的存儲媒介如軟盤(FD)或CD-ROM中讀出。作為另一個選擇，這些程序或數(shù)據(jù)可以通過公共線路、局域網(wǎng)或其它通信設(shè)備從另一個設(shè)備中讀出。
一個輸入設(shè)備2804用來輸入一個模式，將要用儲存在HDD2803中的分類樹對它進(jìn)行識別；一個掃描儀用來根據(jù)已生成的分類樹識別一個圖象模式，分類樹用光學(xué)輸入的訓(xùn)練圖象模式生成。一支筆和數(shù)字化儀或觸摸板可以用來識別筆輸入的筆劃數(shù)據(jù)；或一個麥克風(fēng)用于識別語音數(shù)據(jù)。
除了直接經(jīng)過輸入設(shè)備之外，這種識別數(shù)據(jù)顯然還可以經(jīng)過公共線路、局域網(wǎng)等，通過前述另一設(shè)備的輸入單元而獲得。
現(xiàn)在，將參照圖29到圖33，敘述本發(fā)明的操作。
首先，將寫在8×8網(wǎng)格上的從0到9共10個數(shù)字(類別)作為輸入模式。圖31底部顯示了0的輸入模式。
假設(shè)對0到9中的每一個有100個訓(xùn)練模式，用于生成字典。這意味著，由于共有10個類別，總共將有1000個訓(xùn)練模式。這些被命名為LTi，j(學(xué)習(xí)模板i，j)，其中i是一個表示類別0到9的下標(biāo)，它的值域為0≤i≤9，j是表示訓(xùn)練模式數(shù)目的下標(biāo)，它的值域為1≤j≤100。
根據(jù)實施方案生成模式識別字典的方法由三個步驟組成，即一個提取子模式步驟、一個金字塔形展開步驟和一個生成分類樹步驟。這些步驟將結(jié)合圖29中的流程圖按順序進(jìn)行描述。
(F2901)子模式提取步驟在提取子模式的步驟F2901中，訓(xùn)練模式400被分為子模式，如圖30所示，并且子模式被提取出來。圖30描述了訓(xùn)練模式400，即一個寫入字母“A”，它被分成9個子模式(形成3×3矩陣)，并被提取出來。子模式可以以圖30所示的方式提取，其中子模式可以是重疊的，或不重疊的。根據(jù)儲存在存儲器2802中的子模式提取規(guī)則提取子模式。
圖31詳細(xì)描述了提取子模式的步驟。圖31顯示一個訓(xùn)練模式(即寫入數(shù)字0)的中心部分被提取的過程。中心部分可以看作與圖30出自3×3子模式的子模式401等同。
圖31中，訓(xùn)練模式501呈現(xiàn)在一個8×8的位圖上，呈現(xiàn)在4×4位圖上的9(3×3)個子模式被提取。
(F2902)金字塔形展開步驟在子模式提取步驟F2902被提取的9個子模式中的每一個都有三層(502到504)的金字塔。圖31中，最高層504由一個1×1神經(jīng)元組構(gòu)成，中間層503由一個2×2神經(jīng)元組構(gòu)成，最底層502由一個4×4神經(jīng)元組構(gòu)成。
一個提取出來的訓(xùn)練子模式首先輸入到圖31中有4×4個神經(jīng)元的最底層。此時，假設(shè)輸入模式(LTi，j)501的白色部分中的神經(jīng)元為OFF，而黑色部分的神經(jīng)元為ON。此后，黑色說明神經(jīng)元為ON，白色說明神經(jīng)元為OFF。
金字塔的設(shè)置非常簡單；如果在下層2×2個神經(jīng)元中有任何一個為ON，則其緊接著該層的上一層的一個神經(jīng)元就應(yīng)為ON。在圖31中，子模式502中神經(jīng)元505到508之中的507和508為ON；則對應(yīng)于神經(jīng)元507和508，神經(jīng)元509也為ON。這個規(guī)則在向上處理輸入模式時應(yīng)用。然而，金字塔規(guī)則的設(shè)置并不局限于此；作為一種替換選擇，黑色的神經(jīng)元可以計為1，當(dāng)一個均值超過閾值時，將上方的一個神經(jīng)元置為ON，或其它可以使用的規(guī)則，只要上方的神經(jīng)元狀態(tài)是由下方的多個神經(jīng)元狀態(tài)決定的即可。
根據(jù)下方神經(jīng)元狀態(tài)確定上方神經(jīng)元狀態(tài)的處理過程在構(gòu)成一個子模式的所有神經(jīng)元上進(jìn)行，并且處理過程全部子模式上重復(fù)進(jìn)行。
(F2903)分類樹生成步驟在金字塔式展開步驟F2902中，所有訓(xùn)練模式(LTi，j)被金字塔式展開，如圖31所示。分類樹將自頂層到底層生成，也就是說，與F2902金字塔式展開的方向相反。
根節(jié)點從圖31的最高層(1×1)神經(jīng)元開始。
作為金字塔式展開訓(xùn)練子模式(LTi，j)的結(jié)果，圖31第二層模式503(2×2)的一個或多個神經(jīng)元應(yīng)當(dāng)為ON。這是因為根據(jù)本實施方案所采用的規(guī)則，第二層(2×2)的所有神經(jīng)元不會都為OFF，除非存在一個全白的訓(xùn)練子模式。因此，對所有訓(xùn)練子模式(LTi，j)，最高層(1×1)神經(jīng)元的狀態(tài)為ON。第二層(2×2)有16種(24)狀態(tài)(嚴(yán)格來說，是15種狀態(tài)，因為如上所述，不存在所有神經(jīng)元都為OFF的狀態(tài))；于是，如圖32所示，從根節(jié)點展開16個分支。
用表現(xiàn)圖31第二層神經(jīng)元組的ON狀態(tài)來表示圖32中分支的狀態(tài)。其中黑色區(qū)域代表ON，白色區(qū)域代表OFF。
在顯示類別種類的列中以“X”表示的分支對應(yīng)于沒有訓(xùn)練子模式(LTi，j)存在的情況1，并且它們會被去除掉。(嚴(yán)格地說，從根節(jié)點展開不會得到最左邊的分支)左起第八個分支只有類別1的子模式。這對應(yīng)于只存在訓(xùn)練子模式(LTi，j)的一個特定類別(如“1”)的情況2，于是該分支被轉(zhuǎn)換為葉子。
又如，右起第十五個分支具有類別4、5和6的訓(xùn)練模板；這對應(yīng)于除情況1和2之外的情況3，即多個類別的子模式混在一起。于是這個分支就提供了一個節(jié)點。
生成分類樹的過程如圖33給出的流程圖所描述。下面敘述生成分類樹的過程，如圖35所示。步驟S1000到S1005與第一實施方案結(jié)合圖10所述的相同；所以將只敘述步驟S3306到S3308。
在步驟S3306，根據(jù)平均信息量標(biāo)準(zhǔn)從包含在一個節(jié)點中的神經(jīng)元中選出一個。
在步驟S3307中，生成所選神經(jīng)元下層神經(jīng)元組的分支。
圖34描述了在這一步進(jìn)行的處理；它顯示了當(dāng)左上方神經(jīng)元被選定時，下層神經(jīng)元組的一個例子。
參照圖34，假設(shè)神經(jīng)元900是在步驟S3306中被選定的神經(jīng)元。對應(yīng)于所選神經(jīng)元，在下層有15種不同的神經(jīng)元狀態(tài)組合，也就是說，下層有15種不同的模式。這些組合中的每一個都為生成分支提供一個新節(jié)點。
步驟S3307所執(zhí)行的處理已經(jīng)描述過了。
接著，程序進(jìn)行到步驟S3308，在這里它把已生成的分支的一個節(jié)點作為下一個關(guān)注節(jié)點。在步驟S3308，程序轉(zhuǎn)移關(guān)注節(jié)點并返回到步驟S1001，以重復(fù)同樣的處理。
如圖35所示，根據(jù)上述過程生成分類樹就有可能產(chǎn)生一個反映相似的類別之間詳細(xì)特性不同點的分類樹，同時維持有許多特征的模式的整體分類。參照生成的分類樹，能夠?qū)崿F(xiàn)高識別率下的快速字符識別。
下面將敘述如何從節(jié)點產(chǎn)生分支。
現(xiàn)在描述從節(jié)點產(chǎn)生分支的方法。上述內(nèi)容是在選定了左上方神經(jīng)元的情況下進(jìn)行的。自然，我們應(yīng)當(dāng)在從節(jié)點展開分支時，努力實現(xiàn)效率最高的分支生成。當(dāng)展開分支時，選擇使所得到的有關(guān)類別信息盡可能多的神經(jīng)元，可以實現(xiàn)高效率。
一般來說，在這種條件下展開分支的方法有很多種，以至于很難決定采用哪一種。迄今為止，這已成為成功地生成用于識別的分類樹的一個障礙。
我們將進(jìn)行一種嘗試，限制將從節(jié)點展開的分支，使其中為ON的神經(jīng)元在這個節(jié)點被展開到下層。例如，在圖32中右起第十五個分支中，三個神經(jīng)元之一，即圖31中第二層的左上、左下和右下神經(jīng)元之一被選中，與在所選神經(jīng)元底下第三層中的四個下部神經(jīng)元的狀態(tài)有關(guān)的分支被展開，如圖31所示。
這顯著地減少了展開分支所需的計算時間。另外，這種限制在實質(zhì)上對將要生成的分類樹的分類行為沒有嚴(yán)重的損害。
現(xiàn)在將對從節(jié)點中狀態(tài)為ON的神經(jīng)元中選擇一個展開效率最高的神經(jīng)元的方法進(jìn)行描述。
存在于某一節(jié)點中的訓(xùn)練子模式(LTi，j)中的類別No.i的子模式數(shù)用Ni表示。當(dāng)節(jié)點中的總訓(xùn)練子模式數(shù)表示為N時，在節(jié)點中每種類別的存在概率pi可以如下表示pi＝Ni/N其中N=Σi=02Ni]]>因此，當(dāng)?shù)玫疥P(guān)于節(jié)點的信息時，平均信息量將用下列表達(dá)式表示
于是，在這個節(jié)點中狀態(tài)為ON的神經(jīng)元中的一個被選中，并由此計算出展開分支時平均信息量的減量。
如上所述，從單一神經(jīng)元向下層展開的分支數(shù)為16。訓(xùn)練子模式(LTi，j)在16個分支中的分布由存在于展開分支中訓(xùn)練子模式(LTi，j)數(shù)目表示，即Ni，b其中Ni，b的i表示一個類別號碼，而b表示分支號碼。
此時，得出有關(guān)每個分支的信息的平均信息量用下列表達(dá)式表示，與前面討論的情況類似Entropybranch=-Σi=09ρilog(ρi)=-Σi=09Ni,bNblog(Ni,bNb)]]>
在這個表達(dá)式中Nb=Σi=09Ni,b]]>表示在分支中的訓(xùn)練子模式(LTi，j)的總數(shù)。
每個分支中的分布概率表示為Nb/N其中N與表達(dá)式(11)中的N相同，因此，展開分支時平均信息量的平均值表示為下列表達(dá)式
平均信息量的平均減量由下式得到
如下所示，用分支數(shù)的對數(shù)去除該值所得的值代表分支被展開時的分類效率
選擇使這個值為其最大值的神經(jīng)元來展開分支。
分支可以根據(jù)一個多神經(jīng)元組，而不僅是一個神經(jīng)元來展開。
此時，把神經(jīng)元數(shù)目乘以16，將得到表達(dá)式(15)中的BranchNumber(分支數(shù)目)。然而，在技術(shù)上，與展開有關(guān)的下層所有神經(jīng)元都為OFF的狀態(tài)是不可能出現(xiàn)的；因此，為了精確起見，BranchNumber將為神經(jīng)元數(shù)目乘以15。在這個實施方案中，表達(dá)式(15)所得的值被用作展開分支時表示分類效率的值；然而，顯然該值并不僅限于由表達(dá)式(15)獲得，只要它是一個代表分支展開效率的函數(shù)，如在題為”Classification and RegressionTrees”中描述的”Ginicriterion”。
這樣，一旦確定了一個或一組神經(jīng)元將要展開的神經(jīng)元，分支就被展開，并相應(yīng)生成葉子和節(jié)點。
最后，當(dāng)所有神經(jīng)元都已被轉(zhuǎn)換為葉子時，分類樹就完成了。
圖35表示分類樹的例子，它在生成分類樹過程F2903中生成并儲存在HDD2803中。
在圖35中，省略了S1002中已被刪除的分支。圖35中畫圈的分支表示已分配了類別號的葉子，是S1005中的自由節(jié)點。
除葉子之外的所有分支都將轉(zhuǎn)換為節(jié)點；從而，進(jìn)行進(jìn)一步的分支展開。圖35只表現(xiàn)關(guān)于右起第三個節(jié)點的進(jìn)一步展開的結(jié)果。
在右起第三個節(jié)點中，三種類別，即“1”，“ 7”和“9”共存，需要進(jìn)行分支展開。假設(shè)根據(jù)展開變量區(qū)分器所給出的結(jié)果，已經(jīng)選定第一層右上方的神經(jīng)元在第一層進(jìn)行展開。于是，象圖33所示情況那樣，根據(jù)右上方神經(jīng)元的狀態(tài)，24＝16個分支被展開，并且，一些分支被刪除，一些分支被轉(zhuǎn)換為葉子，一些分支被轉(zhuǎn)換為節(jié)點。被轉(zhuǎn)換為節(jié)點的分支必須進(jìn)一步進(jìn)行展開，直到所有分支的未端最后都轉(zhuǎn)變?yōu)槿~子為止。
在圖35中，為了清楚，疊置第一層和第二層來表示右起第三個節(jié)點的展開結(jié)果。實際上，這些狀態(tài)由圖29所描述金字塔的第一層的四個神經(jīng)元和第二層的右上四個神經(jīng)元來表示。
圖36顯示了用上述過程生成的分類樹識別一個輸入模式的流程。圖36中標(biāo)號3601表示一個輸入模式；3602表示從輸入模式中提取子模式的子模式提取器；3603表示對輸入模式作金字塔式分層的預(yù)分層處理器；3604表示由金字塔分層過程得到的已分層的子模式；3605表示一個分類樹；3606表示根據(jù)分層的輸入子模式和分類樹確定類別的判別概率的類別鑒別器；及3607表示合成由類別鑒別器獲得的各個類別判別概率的判別概率合成器。本發(fā)明在這里的輸入為輸入模式，輸出為識別候選對象。
上述的分類樹最好是能夠在本實施方案中生成的分類樹。
輸入模式3601對應(yīng)于訓(xùn)練模式2701；雖然是通過輸入設(shè)備3601輸入，但實質(zhì)上的數(shù)據(jù)設(shè)置是相同的。子模式提取器3602和預(yù)分層處理器3603與圖27中相應(yīng)的設(shè)備完全相同。在圖27所示的情況下，分層的輸入子模式象訓(xùn)練模式一樣多，而在本實施方案中，只有一個是從輸入模式中導(dǎo)出的。
當(dāng)按照分層的輸入子模式3604跟蹤圖36中的分類樹到達(dá)一個葉子節(jié)點時，類別鑒別器向一個顯示器或一臺打印機輸入在該葉節(jié)點中存在的類別，作為識別的結(jié)果。
如果沒有到達(dá)葉子節(jié)點，則在途經(jīng)直至最后的節(jié)點中所含的類別概率被作為結(jié)果輸出。
判別概率合成器3607確定類別鑒別器3606給出的每個子模式結(jié)果的算術(shù)均值、幾何均值或其它均值。
<在筆劃情況下>
本實施方案中，所輸入的訓(xùn)練數(shù)據(jù)和要識別的訓(xùn)練數(shù)據(jù)是通過筆或其它坐標(biāo)輸入設(shè)備輸入的筆劃數(shù)據(jù)。上述圖象例子有關(guān)的數(shù)據(jù)被作為位圖數(shù)據(jù)處理，本實施方案中的輸入筆劃被分割并量化為向量。然而，整個流程是以第一實施方案為基礎(chǔ)的。
圖37顯示了一個處理流程圖，它描述了在本實施方案中生成分類樹的過程。標(biāo)號3701代表一個訓(xùn)練筆劃；3702代表一個筆劃分割器，用來分割筆劃；3703代表產(chǎn)生筆劃段向量的向量生成器，筆劃段已經(jīng)由筆劃分割器生成了；3704代表一個子向量提取器，從向量生成器形成的向量系列中部分提取子向量；3705代表預(yù)分層處理器，對子向量提取器產(chǎn)生的向量系列分層；3706代表預(yù)分層處理器產(chǎn)生的分層子向量系列；3707代表根據(jù)分層向量系列生成分類樹的分類樹生成器；3708代表分類樹生成器用來生成分類樹的展開向量鑒別器；及3709代表分類樹生成器生成的分類樹。
本實施方案中，輸入為訓(xùn)練筆劃，輸出為分類樹。
現(xiàn)在對照圖37到39，描述本實施方案的操作。
用三個不同的字符“く”、“し”和“つ”作為例子來代表將被識別的類別，它們分別讀作“ku”，“shi”和“tsu”，每個都由一筆寫成。
假設(shè)為生成字典，“く”、“し”和“つ”中的每一個分別有100個訓(xùn)練模式；這如下面所表示TPi，j(訓(xùn)練模式i，j)其中i是一個表示類別的下標(biāo)，它的值域為0≤i≤2，j是表示訓(xùn)練模式數(shù)目的下標(biāo)，它的值域為1≤j≤100如圖38中的流程圖所示，根據(jù)實施方案生成聯(lián)機手寫字符識別字典的過程由四個步驟組成，即一個向量生成步驟、一個子向量提取步驟、一個預(yù)分層處理步驟和一個分類樹生成步驟。向量生成步驟、預(yù)分層處理步驟和分類樹生成步驟與第一實施方案結(jié)合圖3所述的步驟相同；因此，只敘述子向量提取步驟。
(F38)子向量提取步驟參照圖39，將詳細(xì)描述子向量提取步驟F38。
在圖39中，筆劃被等分為16段，并被轉(zhuǎn)換為向量5421124554211245。
由16個向量組成的向量系列被部分提取，形成3個子向量系列組，每個組由一個8向量系列組成。
子向量系列可以如圖39所示被重疊提取，或者，不重疊提取。
在圖39中，每個子向量系列所含向量的數(shù)目為8；然而，該數(shù)字并不僅限于此。
圖40顯示了描述聯(lián)機手寫字符識別過程的處理流程圖。標(biāo)號4001表示一個用戶輸入的手寫筆劃；4002表示分割手寫筆劃的筆劃分割器；4003表示產(chǎn)生筆劃段向量的向量生成器，筆劃段已由筆劃分割器生成；4004表示從向量生成器得到的向量系列中部分提取向量的子向量提取器；4005表示對子向量提取器產(chǎn)生的向量系列分層的預(yù)分層處理器；4006表示預(yù)分層處理器產(chǎn)生的分層子向量系列；4007表示提供類別分類所需信息的分類樹；4008表示根據(jù)分層向量系列，參照分類樹確定手寫筆劃類別的類別鑒別器；及4009代表合成從類別鑒別器接收的每個類別的判別概率的判別概率合成器。本實施方案中，輸入為手寫筆劃，而輸出為識別候選對象。前述分類樹最好是在前面的例子中生成的分類樹。
手寫筆劃4001對應(yīng)訓(xùn)練筆劃3701；實質(zhì)上是相同的。筆劃分割器4002、向量生成器4003、子向量提取器4004及預(yù)分層處理器4005與圖37中的相應(yīng)設(shè)備完全一樣。在圖37所示情況下，分層的子向量系列3706象訓(xùn)練模式一樣多，然而，在這個例子中，只有一個分層的子向量系列4006是從手寫筆劃得到的。
當(dāng)按照分層的子向量系列4006跟蹤圖7中的分類樹到達(dá)一個葉子節(jié)點時，類別鑒別器4008向一個顯示器或一臺打印機輸入在該葉節(jié)點中存在的類別，作為識別的結(jié)果。如果沒有到達(dá)葉子節(jié)點，則在途經(jīng)直至最后的節(jié)點中所含的類別概率被作為結(jié)果輸出。
判別概率合成器4009確定從類別鑒別器4008接收的每個子模式結(jié)果的算術(shù)均值、幾何均值或其它均值。
<在語音的情況下>
也有可能用前面圖象例子中所述的分類樹生成過程和識別過程來識別語音。
語音數(shù)據(jù)以時序數(shù)據(jù)的方式表示，對其進(jìn)行傅利葉變換提取包絡(luò)線。其結(jié)果如圖42所示，它表現(xiàn)了一個語音數(shù)據(jù)傅利葉變換的結(jié)果例子，該語音數(shù)據(jù)為“あしたいく”，讀作”a-shi-ta-i-ku”，意思為“明天將要走”。從圖42可以看出，與二進(jìn)制位圖數(shù)據(jù)不同，處理過的語音數(shù)據(jù)具有模擬強度值和象山脈一樣表面起伏不平的三維形狀。
三維數(shù)據(jù)被按預(yù)定軸向切開，并轉(zhuǎn)換為N個二維位圖數(shù)據(jù)。這樣，就可以實施前面實施方案中描述過的位圖數(shù)據(jù)分類樹生成過程來生成一個分類樹。輸入語音可以用進(jìn)行傅利葉變換并沿預(yù)定軸向切割而得的位圖數(shù)據(jù)來表示，以便也可以對它們進(jìn)行識別。
圖43描述了圖42的數(shù)據(jù)，它是以強度和頻率為軸切割的；圖44描述了圖42的數(shù)據(jù)，它是以頻率和時間切割的。
如圖42所示的整個三維設(shè)置的識別結(jié)果可以通過對上述N個二維位圖的識別結(jié)果進(jìn)行平均計算(如算術(shù)平均)而得到。
權(quán)利要求
1.一種生成分類樹的信息處理方法，分類樹是字符識別使用的識別字典，包括一個分割步驟，將預(yù)定的訓(xùn)練筆劃分為多個段；一個向量量化步驟，對所述分割步驟得到的所述段中的所述筆劃進(jìn)行向量量化；分層筆劃向量生成步驟，合成所述分割步驟得到的分為所述段的相鄰筆劃，獲得筆劃組生成上層筆劃向量，并產(chǎn)生一個分層的向量系列；及一個分類樹生成步驟，在所述分層筆劃向量生成步驟得到的所述分層筆劃向量系列中，從上層筆劃向量中選擇一個使預(yù)定平均信息量函數(shù)達(dá)到最大值的筆劃向量，并展開所述筆劃向量，產(chǎn)生低層筆劃向量，生成一個分類樹。
2.依據(jù)權(quán)利要求1的方法，其中，在所述向量量化步驟，從所述分割步驟得到的分為所述段的所述筆劃被量化，以獲得8個方向上的向量，相鄰向量間的交角彼此相等。
3.依據(jù)權(quán)利要求1的方法，其中，在所述向量量化步驟，從所述分割步驟得到的所述段的所述筆劃被量化，以獲得16個方向上的向量，相鄰向量間的交角彼此相等。
4.依據(jù)權(quán)利要求1的方法，其中，當(dāng)?shù)玫剿龇謱庸P劃向量系列的所述上層筆劃向量之一的低層向量組的信息時，所述平均信息量函數(shù)輸出一個平均信息量的減少值，所述分層筆劃向量系列是在所述分層筆劃向量生成步驟產(chǎn)生的。
5.依據(jù)權(quán)利要求1的方法，其中，在所述分類樹生成步驟，如果一個與所述低層筆劃向量組對應(yīng)的訓(xùn)練筆劃沒有出現(xiàn)，所述分類樹的所述低層筆劃向量組被認(rèn)為無效。
6.依據(jù)權(quán)利要求5的方法，其中，在所述分類樹生成步驟，如果存在一個對應(yīng)于所述低層筆劃向量組的單一類別訓(xùn)練筆劃，則所述單一類別的號碼被分配給所述低層筆劃向量組。
7.依據(jù)權(quán)利要求6的方法，其中，在所述分類樹生成步驟，如果存在一個對應(yīng)于所述低層筆劃向量的多類別訓(xùn)練筆劃，則從所述低層筆劃向量組的上層筆劃向量中選擇一個使所述預(yù)定平均信息量函數(shù)值最大的上層筆劃向量。
8.依據(jù)權(quán)利要求1的方法，還包括用生成的分類樹識別字符的步驟，所述識別步驟包括一個分割步驟，將輸入筆劃分為多個段；一個向量量化步驟，對所述分割步驟得到的所述段的筆劃執(zhí)行向量量化；一個分層筆劃向量生成步驟，對所述分割步驟得到的所述段相鄰筆劃進(jìn)行合成，獲得筆劃組，以生成上層筆劃向量，并產(chǎn)生一個分層向量系列；及一個識別步驟，在所述分層筆劃向量生成步驟生成的所述分層筆劃向量系列中，從所述上層筆劃向量到低層筆劃向量按順序跟蹤所述分類樹，以得出識別類別。
9.一種生成分類樹的信息處理裝置，分類樹是字符識別使用的識別字典，包括一個分割裝置，將預(yù)定的訓(xùn)練筆劃分為多個段；一個向量量化裝置，對所述分割裝置得到的所述段的所述筆劃進(jìn)行向量量化；分層筆劃向量生成裝置，合成所述分割裝置得到的所述段的相鄰筆劃，獲得筆劃組生成上層筆劃向量，并產(chǎn)生一個分層的向量系列；及一個分類樹生成裝置，在所述分層筆劃向量生成裝置得到的所述分層筆劃向量系列中，從上層筆劃向量中選擇一個使預(yù)定平均信息量函數(shù)達(dá)到最大值的筆劃向量，并展開所述筆劃向量，產(chǎn)生低層筆劃向量，生成一個分類樹。
10.依據(jù)權(quán)利要求9的裝置，其中，所述向量量化裝置對所述分割裝置得到的所述段的所述筆劃被量化，以獲得8個方向上的向量，相鄰向量間的交角彼此相等。
11.依據(jù)權(quán)利要求9的裝置，其中，所述向量量化裝置對由所述分割裝置得到的所述段的所述筆劃進(jìn)行量化，以獲得16個方向上的向量，相鄰向量間的交角彼此相等。
12.依據(jù)權(quán)利要求9的裝置，其中，當(dāng)?shù)玫剿龇謱庸P劃向量系列的所述上層筆劃向量之一的低層向量組的信息時，所述平均信息量函數(shù)輸出一個平均信息量的減少值，所述分層筆劃向量系列是在所述分層筆劃向量生成裝置產(chǎn)生的。
13.依據(jù)權(quán)利要求9的裝置，其中，如果一個與所述低層筆劃向量組對應(yīng)的訓(xùn)練筆劃沒有出現(xiàn)，所述分類樹生成裝置認(rèn)為所述分類樹的所述低層筆劃向量組是無效的。
14.依據(jù)權(quán)利要求13的裝置，其中，如果存在一個對應(yīng)于所述低層筆劃向量組的單一類別訓(xùn)練筆劃，則所述分類樹生成裝置為所述低層筆劃向量組分配所述單一類別的號碼。
15.依據(jù)權(quán)利要求14的裝置，其中，如果存在一個對應(yīng)于所述低層筆劃向量組的多類別訓(xùn)練筆劃，所述分類樹生成裝置從所述低層筆劃向量的上層筆劃向量中選擇一個使所述預(yù)定平均信息量函數(shù)值最大的上層筆劃向量。
16.依據(jù)權(quán)利要求9的裝置，還包括用生成的分類樹識別字符的裝置，所述識別裝置包括一個分割裝置，將輸入筆劃分為多個段；一個向量量化裝置，對所述分割裝置得到的所述段的筆劃執(zhí)行向量量化；一個分層筆劃向量生成裝置，對所述分割裝置得到的所述段相鄰筆劃進(jìn)行合成，獲得筆劃組，以生成上層筆劃向量，并產(chǎn)生一個分層向量系列；及一個識別裝置，在所述分層筆劃向量生成裝置生成的所述分層筆劃向量系列中，從所述上層筆劃向量到低層筆劃向量按順序跟蹤所述分類樹，以得出識別類別。
17.一個計算機可存取存儲器，其中儲存了由從低層向高層展開的筆劃向量系列構(gòu)成的筆劃向量分類樹數(shù)據(jù)，所述筆劃向量分類數(shù)據(jù)包括根節(jié)點生成數(shù)據(jù)，葉節(jié)點屬性數(shù)據(jù)，其屬性為只存在一個單一類別筆劃向量系列，它包括所述單一類別的所述筆劃向量系列，及節(jié)點屬性數(shù)據(jù)，對多種類別，其屬性為只存在一個所述多類別筆劃向量系列，它包括所述多種類別的所述筆劃向量系列，其中在所述低層到高層中，對所述每一層，所述筆劃向量系列分別被分配給所述葉節(jié)點屬性數(shù)據(jù)和所述多類別的節(jié)點屬性數(shù)據(jù)的節(jié)點，而所述根節(jié)點屬性數(shù)據(jù)被認(rèn)為是一個最低層的起始節(jié)點；并且其中，當(dāng)一個多種類別組成的，由多個筆劃向量系列構(gòu)成的筆劃向量系列在所述層訓(xùn)練筆劃向量系列中出現(xiàn)時，從筆劃向量系列中選擇一個使預(yù)定平均信息量函數(shù)值最大的筆劃向量，該筆劃向量系列包含在所述多類別節(jié)點數(shù)據(jù)的所述節(jié)點中，并展開所述選中筆劃向量下層的筆劃向量系列，以便獲得與所述多類別節(jié)點屬性數(shù)據(jù)的所述節(jié)點相連的下一層節(jié)點，為其分配所述的多類別筆劃向量系列。
18.一種生成分層模式的信息處理方法包括第一退化模式生成步驟，為被分為多個段的模式計算在所述多段間相鄰段數(shù)據(jù)的邏輯和，并生成第一退化模式；第二退化模式生成步驟，計算在由所述第一退化模式生成步驟得到的所述第一退化模式的多段之間，相鄰段數(shù)據(jù)的邏輯和，并生成第二退化模式；及一個重復(fù)步驟，以所述第二退化模式生成步驟得到的所述第二退化模式為基礎(chǔ)，重復(fù)所述第二退化模式生成步驟的處理過程，重復(fù)次數(shù)為預(yù)定的n次，并生成有n-1層的分層模式。
19.依據(jù)權(quán)利要求18的信息處理方法，其中所述被分為多段的模式是一個字符識別字典的訓(xùn)練字符模式。
20.依據(jù)權(quán)利要求18的信息處理方法，其中所述多個段類似于有一定大小的矩形。
21.依據(jù)權(quán)利要求18的信息處理方法，其中所述相鄰段范圍為連續(xù)的2×2段。
22.依據(jù)權(quán)利要求18的信息處理方法，其中還包括一個分類樹生成步驟，以所述重復(fù)步驟產(chǎn)生的多個分層模式為基礎(chǔ)，生成分類樹，所述分類樹生成步驟包括連接生成步驟，為所述分層模式的每層生成一個連接，它是一個由退化模式展開而得的段到相應(yīng)在低層包括一個模式部分的段；及重復(fù)步驟，重復(fù)所述連接生成步驟的處理，直至一個相應(yīng)的包括模式部分的段在低層不存在，并生成一個分類樹。
23.依據(jù)權(quán)利要求18的信息處理方法，其中在所述連接生成步驟中，在所述分層模式的每層，從所述段中選擇一個段，包括所述退化模式，它使得預(yù)定的平均信息量函數(shù)達(dá)到最大值，其中在低層的一個段中生成一個連接，包括模式部分，與所述已選擇的段對應(yīng)。
24.依據(jù)權(quán)利要求23的信息處理方法，其中，對所述分層模式的每一層，當(dāng)?shù)玫脚c包含所述退化模式部分的所述段之一相對應(yīng)的低層段信息時，所述平均信息量函數(shù)輸出一個平均信息量的減少值。
25.依據(jù)權(quán)利要求18的信息處理方法，還包括一個N元語法表生成步驟，在所述分類樹中使用一個預(yù)定分層模式來生成N元語法表，分類樹是在所述分類樹生成步驟生成的。
26.依據(jù)權(quán)利要求25的信息處理方法，其中所述N元語法表生成步驟包括一個出現(xiàn)概率生成步驟，在所述分類樹生成步驟生成的分類樹中應(yīng)用所述預(yù)定分層模式；和一個步驟，當(dāng)屬于相同類別的多個模式屬于不同連接時，為一個最可能出現(xiàn)的模式選擇一個連接，釋放剩余的屬于相同類別但不屬于所選連接的模式，并生成所述N元語法表。
27.依據(jù)權(quán)利要求25的信息處理方法，其中在所述N元語法表生成步驟中得到的N元語法表被搜索，來識別與輸入字符模式對應(yīng)的類別。
28.一個生成分層模式的信息處理設(shè)備包括第一退化模式生成裝置，為被分為多個段的模式計算在所述多段間相鄰段數(shù)據(jù)的邏輯和，并生成第一退化模式；第二退化模式生成裝置，計算在由所述第一退化模式生成步驟得到的所述第一退化模式的多段之間，相鄰段數(shù)據(jù)的邏輯和，并生成第二退化模式；及一個重復(fù)裝置，以所述第二退化模式生成裝置得到的所述第二退化模式為基礎(chǔ)，重復(fù)所述第二退化模式生成裝置執(zhí)行的處理過程，重復(fù)次數(shù)為預(yù)定的n次，并生成有n-1層的分層模式。
29.依據(jù)權(quán)利要求28的信息處理設(shè)備，其中所述被分為多段的模式是一個字符識別字典的訓(xùn)練字符模式。
30.依據(jù)權(quán)利要求28的信息處理設(shè)備，其中所述多個段類似于有一定大小的矩形。
31.依據(jù)權(quán)利要求28的信息處理設(shè)備，其中所述相鄰段范圍為連續(xù)的2×2段。
32.依據(jù)權(quán)利要求28的信息處理設(shè)備，其中還包括一個分類樹生成裝置，以所述重復(fù)裝置產(chǎn)生的多個分層模式為基礎(chǔ)，生成分類樹，所述分類樹生成裝置包括連接生成裝置，為所述分層模式的每層生成一個連接，它從退化模式展開而得的段到相應(yīng)在低層包括一個模式部分的段；及重復(fù)裝置，重復(fù)所述連接生成裝置的處理，直至一個相應(yīng)的包括模式部分的段在低層不存在，并生成一個分類樹。
33.依據(jù)權(quán)利要求28的信息處理設(shè)備，其中所述連接生成裝置，在所述分層模式的每層，從所述段中選擇一個段，包括所述退化模式，它使得預(yù)定的平均信息量函數(shù)達(dá)到最大值，其中在低層的一個段中生成一個連接，包括模式部分，與所述已選擇的段對應(yīng)。
34.依據(jù)權(quán)利要求33的信息處理設(shè)備，其中，對所述分層模式的每一層，當(dāng)?shù)玫脚c包含所述退化模式部分的所述段之一相對應(yīng)的低層段信息時，所述平均信息量函數(shù)輸出一個平均信息量的減少值。
35.依據(jù)權(quán)利要求28的信息處理設(shè)備，還包括一個N元語法表生成裝置，在所述分類樹中使用一個預(yù)定分層模式來生成N元語法表，分類樹是由所述分類樹生成裝置生成的。
36.依據(jù)權(quán)利要求35的信息處理設(shè)備，其中所述N元語法表生成裝置包括一個出現(xiàn)概率生成裝置，在所述分類樹生成裝置生成的分類樹中應(yīng)用所述預(yù)定分層模式；和一個裝置，當(dāng)屬于相同類別的多個模式屬于不同連接時，為一個最可能出現(xiàn)的模式選擇一個連接，釋放剩余的屬于相同類別但不屬于所選連接的模式，并生成所述N元語法表。
37.依據(jù)權(quán)利要求35的信息處理設(shè)備，其中在所述N元語法表生成裝置中得到的N元語法表被搜索，來識別與輸入字符模式對應(yīng)的類別。
38.一個計算機程序產(chǎn)品，具有儲存著生成分層字符模式的計算機可存取程序代碼，所述程序代碼包括程序代碼，為被分為多個段的字符模式計算在所述多段間相鄰段數(shù)據(jù)的邏輯和，并生成第一退化字符模式；程序代碼，計算在所述第一退化字符模式的多段之間，相鄰段數(shù)據(jù)的邏輯和，并生成第二退化字符模式；及程序代碼，以所述第二退化字符模式為基礎(chǔ)，重復(fù)生成所述第二退化字符模式的處理過程，重復(fù)次數(shù)為預(yù)定的n次，并生成有n-1層的分層字符模式。
39.一種信息處理方法包括一個子模式提取步驟，從訓(xùn)練模式中提取子模式；一個分層步驟，對所述被提取的子模式提前分層；及一個分類樹生成步驟，以得到的子模式層為基礎(chǔ)，對所述子模式生成一個分類樹。
40.依據(jù)權(quán)利要求39的一種信息處理方法，其中在所述分層處理步驟，數(shù)據(jù)由退化產(chǎn)生，從所述子模式中的詳細(xì)數(shù)據(jù)開始。
41.依據(jù)權(quán)利要求39的一種信息處理方法，其中在所述分類樹生成步驟，數(shù)據(jù)從所述子模式層中的上層向下層展開。
42.依據(jù)權(quán)利要求39的一種信息處理方法，其中所述子模式是通過分割所述訓(xùn)練模式得到的模式部分。
43.依據(jù)權(quán)利要求39的一種信息處理方法，其中在所述分類樹生成步驟，選擇一個使分類效率最高的變量，并且，所述分類樹是根據(jù)所述變量生成的。
44.依據(jù)權(quán)利要求39的一種信息處理方法，還包括一個模式輸入步驟，輸入一個模式；一個輸入模式分層步驟，對所述輸入模式進(jìn)行分層；及一個標(biāo)識步驟，通過從分層模式數(shù)據(jù)的上層到下層跟蹤所述分類樹來標(biāo)識所述模式。
45.依據(jù)權(quán)利要求39的一種信息處理方法，其中所述模式是位圖數(shù)據(jù)。
46.依據(jù)權(quán)利要求39的一種信息處理方法，其中所述模式是筆劃數(shù)據(jù)。
47.依據(jù)權(quán)利要求39的一種信息處理方法，其中所述模式是語音數(shù)據(jù)。
48.一種信息處理設(shè)備包括一個子模式提取裝置，從訓(xùn)練模式中提取子模式；一個分層裝置，對所述被提取的子模式提前分層；及一個分類樹生成裝置，以得到的子模式層為基礎(chǔ)對所述子模式生成一個分類樹。
49.依據(jù)權(quán)利要求48的一種信息處理設(shè)備，其中所述分層處理裝置由退化產(chǎn)生數(shù)據(jù)，從所述子模式中的詳細(xì)數(shù)據(jù)開始。
50.依據(jù)權(quán)利要求48的一種信息處理裝置，其中所述分類樹生成裝置，從所述子模式層中的上層向下層展開數(shù)據(jù)。
51.依據(jù)權(quán)利要求48的一種信息處理裝置，其中所述子模式是通過分割所述訓(xùn)練模式得到的模式部分。
52.依據(jù)權(quán)利要求48的一種信息處理裝置，其中所述分類樹生成裝置，選擇一個使分類效率最高的變量，并且，所述分類樹是根據(jù)所述變量生成的。
53.依據(jù)權(quán)利要求48的一種信息處理裝置，還包括一個模式輸入裝置，輸入一個模式；一個輸入模式分層裝置，對所述輸入模式進(jìn)行分層；及一個標(biāo)識裝置，通過從分層模式數(shù)據(jù)的上層到下層跟蹤所述分類樹來標(biāo)識所述模式。
54.依據(jù)權(quán)利要求48的一種信息處理裝置，其中所述模式是位圖數(shù)據(jù)。
55.依據(jù)權(quán)利要求48的一種信息處理裝置，其中所述模式是筆劃數(shù)據(jù)。
56.依據(jù)權(quán)利要求48的一種信息處理裝置，其中所述模式是語音數(shù)據(jù)。
全文摘要
本發(fā)明涉及一種分類生成方法，它恰當(dāng)?shù)胤从沉四Ｊ降暮暧^結(jié)構(gòu)特征，并充分反映了類別之間的競爭關(guān)系。當(dāng)一個輸入模式由筆劃形成時，一個訓(xùn)練筆劃被分為多個段，并對分段的筆劃進(jìn)行向量量化。在分段的量化筆劃中，相鄰的筆劃組被合成，分別生成上層筆劃向量。在分層的筆劃向量系列中，從上層筆劃向量中選出一個使預(yù)定平均信息量函數(shù)達(dá)到最大值的向量，并向下層筆劃向量組展開。結(jié)果，得到了一個分類樹。
文檔編號G06K9/62GK1163437SQ9710220
公開日1997年10月29日 申請日期1997年1月10日 優(yōu)先權(quán)日1996年1月12日
發(fā)明者吉井裕人, 新井常一, 高須英司 申請人:佳能株式會社