中文字符的編碼方式的識別方法和裝置制造方法
【專利摘要】本發(fā)明實施例提供一種中文字符序列的編碼方式的識別方法和裝置。該方法包括：從待識別中文字符序列中獲取字符序列特征，所述字符序列特征包括：字符序列的長度特征，或者字符序列的長度特征以及字符序列的異常編碼點特征；根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式。由于無需事先建立復(fù)雜的字符概率分布模型，因此簡化了識別編碼方式的識別流程；對于海量網(wǎng)絡(luò)數(shù)據(jù)中的待識別中文字符序列，采用長度特征縮小了檢測范圍，避免了直接對待識別中文字符序列逐一檢測異常編碼點導(dǎo)致的對內(nèi)存的占用，在縮小檢測范圍后，進一步結(jié)合異常編碼點特征，提高了編碼方式的識別效率和準確率。
【專利說明】中文字符的編碼方式的識別方法和裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明實施例涉及計算機數(shù)據(jù)通信【技術(shù)領(lǐng)域】，尤其涉及一種中文字符的編碼方式的識別方法和裝置。

【背景技術(shù)】
[0002]隨著計算機通信技術(shù)的不斷發(fā)展，人們創(chuàng)造了多種編碼方式用于在網(wǎng)絡(luò)中傳輸數(shù)據(jù)，對于中文字符來說，常用的編碼方式有GBK，GB2312和UTF-8。在獲取到網(wǎng)絡(luò)中傳輸?shù)慕?jīng)編碼后的中文字符序列之后，需要對獲取到的中文字符序列進行解碼，才能正確還原出中文字符序列對應(yīng)的原始數(shù)據(jù)，因此，識別中文字符序列的編碼方式的技術(shù)應(yīng)運而生。
[0003]現(xiàn)有的中文字符序列的編碼方式的識別技術(shù)主要包括:編碼模式法和字符分布法。
[0004]編碼模式法主要是基于編碼范圍判斷編碼方式，對于海量的字符序列，只能基于編碼范圍逐個檢測，不僅檢測效率低，而且當存在大量的編碼重合點時，會導(dǎo)致無法決策是哪種編碼方式。
[0005]字符分布法是以字符分布概率為模型，在對編碼方式進行識別前需要針對特定的字符集建立字符概率分布模型，實現(xiàn)起來較復(fù)雜，且識別時會占用大量內(nèi)存，導(dǎo)致識別效率低；同時面對錯綜復(fù)雜的網(wǎng)絡(luò)環(huán)境，網(wǎng)絡(luò)數(shù)據(jù)流中往往是中、英文和其余特殊符號夾雜在一起，當英文字符等非中文字符占多數(shù)的情況下，往往會干擾中文字符編碼方式的識別，尤其是影響基于字符概率分布模型的字符編碼識別方案的識別準確性。


【發(fā)明內(nèi)容】

[0006]本發(fā)明實施例提供一種中文字符的編碼方式的識別方法和裝置，以簡化識別流程，降低對內(nèi)存的占用，并提高對于海量網(wǎng)絡(luò)數(shù)據(jù)中的中文字符序列的編碼方式識別效率和準確率。
[0007]第一方面，本發(fā)明實施例提供了一種中文字符序列的編碼方式的識別方法，包括:
[0008]從待識別中文字符序列中獲取字符序列特征，所述字符序列特征包括:字符序列的長度特征，或者字符序列的長度特征以及字符序列的異常編碼點特征；
[0009]根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式。
[0010]第二方面，本發(fā)明實施例還提供了一種中文字符序列的編碼方式的識別裝置，包括:
[0011]字符序列特征獲取模塊，用于從待識別中文字符序列中獲取字符序列特征，所述字符序列特征包括:字符序列的長度特征，或者字符序列的長度特征以及字符序列的異常編碼點特征；
[0012]編碼方式確定模塊，用于根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式。
[0013]本發(fā)明實施例提供的中文字符序列的編碼方式的識別方法和裝置，通過從待識別中文字符序列中獲取字符序列的長度特征，或者獲取字符序列的長度特征以及字符序列的異常編碼點特征，并基于獲取到的字符序列特征，能夠確定待識別中文字符序列的編碼方式，由于無需事先建立復(fù)雜的字符概率分布模型，因此簡化了識別編碼方式的識別流程；對于海量網(wǎng)絡(luò)數(shù)據(jù)中的待識別中文字符序列，采用長度特征縮小了檢測范圍，避免了直接對待識別中文字符序列逐一檢測異常編碼點導(dǎo)致的對內(nèi)存的占用，在縮小檢測范圍后，進一步結(jié)合異常編碼點特征，提高了編碼方式的識別效率和準確率。

【專利附圖】

【附圖說明】
[0014]為了更清楚地說明本發(fā)明，下面將對本發(fā)明中所需要使用的附圖做一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0015]圖1為本發(fā)明實施例一提供的一種中文字符的編碼方式的識別方法的流程圖；
[0016]圖2為本發(fā)明實施例二提供的一種中文字符的編碼方式的識別方法的流程圖；
[0017]圖3為本發(fā)明實施例三提供的一種中文字符的編碼方式的識別方法的流程圖；
[0018]圖4為本發(fā)明實施例四提供的一種中文字符的編碼方式的識別方法的流程圖；
[0019]圖5為本發(fā)明實施例五提供的一種中文字符序列的編碼方式的識別裝置的結(jié)構(gòu)示意圖。

【具體實施方式】
[0020]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明實施例中的技術(shù)方案作進一步詳細描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?？梢岳斫獾氖?，此處所描述的具體實施例僅用于解釋本發(fā)明，而非對本發(fā)明的限定，基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部內(nèi)容。
[0021]實施例一
[0022]請參閱圖1，為本發(fā)明實施例一提供的一種中文字符的編碼方式的識別方法的流程圖。本發(fā)明實施例的方法適用于中文字符的編碼方式的識別系統(tǒng)，該系統(tǒng)包括:分流設(shè)備和數(shù)據(jù)還原設(shè)備，其中，分流設(shè)備用于獲取網(wǎng)絡(luò)中的待識別中文字符序列；數(shù)據(jù)還原設(shè)備用于從分流設(shè)備獲取待識別中文字符序列，并識別所述待識別中文序列的編碼方式。本發(fā)明實施例的方法可以由配置以硬件和/或軟件實現(xiàn)的中文字符的編碼方式的識別裝置來執(zhí)行，該實現(xiàn)裝置典型的是配置于數(shù)據(jù)還原設(shè)備中。
[0023]該方法包括:
[0024]步驟110、從待識別中文字符序列中獲取字符序列特征，所述字符序列特征包括:字符序列的長度特征，或者字符序列的長度特征以及字符序列的異常編碼點特征；
[0025]本步驟具體是從待識別中文字符序列中獲取相應(yīng)的字符序列特征，所述字符序列特征可以只是待識別中文字符序列的長度特征，也可以是所述長度特征與所述待識別中文字符序列的異常編碼點特征。
[0026]其中，字符序列的長度特征是指所述待識別中文字符序列的長度。
[0027]所述字符序列的異常編碼點與中文字符對應(yīng)的編碼方式的編碼范圍有關(guān)，某種編碼方式的異常編碼點位于該編碼方式的編碼范圍之外，不同的編碼方式的編碼范圍不同。對于中文字符來說，常用的編碼方式有GBK編碼，GB2312編碼和UTF-8編碼。
[0028]以十六進制的編碼范圍為例，對GBK編碼，GB2312編碼和UTF-8編碼各自的異常編碼點進行說明。
[0029]其中，GB2312編碼采用雙字節(jié)編碼，也即一個中文字符占兩個字節(jié)，高位字節(jié)的編碼范圍為OxBO?0xF7，低位字節(jié)的編碼范圍為OxAl?OxFE。不在該高位字節(jié)的編碼范圍和/或該低位字節(jié)的編碼范圍內(nèi)的編碼為GB2312異常編碼點。
[0030]GBK編碼采用雙字節(jié)編碼，兼容GB2312編碼，其中GBK編碼的高位字節(jié)的編碼范圍為0x81?OxFE，低位字節(jié)的編碼范圍為0x40?OxFE，不在該高位字節(jié)的編碼范圍和/或該低位字節(jié)的編碼范圍內(nèi)的編碼為GBK異常編碼點。
[0031]UTF-8編碼采用三字節(jié)編碼，也即采用3個字節(jié)編碼一個中文字符，高位字節(jié)的編碼范圍為OxEO?OxEF，中位字節(jié)的編碼范圍為0x80?OxBF，低位字節(jié)的編碼范圍為0x80?OxBF，不在該高位字節(jié)的編碼范圍、中位字節(jié)的編碼范圍和/或該低位字節(jié)的編碼范圍內(nèi)的編碼為UTF-8異常編碼點。
[0032]步驟120、根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式。
[0033]本步驟中，既可以根據(jù)字符序列的長度特征確定所述待識別中文字符序列的編碼方式，也可以根據(jù)字符序列的長度特征以及字符序列的異常編碼點特征，確定所述待識別中文字符序列的編碼方式。
[0034]需要說明的是，根據(jù)字符序列的長度特征，主要是指待識別中文字符序列的長度能否被2整除，以此初步識別所述待識別中文字符序列的編碼方式是否為UTF-8編碼；如果長度能被2整除，需要進一步識別編碼方式，則需要根據(jù)字符序列的長度特征以及字符序列的異常編碼點特征，確定所述待識別中文字符序列的編碼方式。
[0035]本實施例的技術(shù)方案，通過從待識別中文字符序列中獲取字符序列的長度特征，或者獲取字符序列的長度特征以及字符序列的異常編碼點特征，并基于獲取到的字符序列特征，能夠確定待識別中文字符序列的編碼方式，由于無需事先建立復(fù)雜的字符概率分布模型，因此簡化了識別編碼方式的識別流程；對于海量網(wǎng)絡(luò)數(shù)據(jù)中的待識別中文字符序列，采用長度特征縮小了檢測范圍，避免了直接對待識別中文字符序列逐一檢測異常編碼點導(dǎo)致的對內(nèi)存的占用，在縮小檢測范圍后，進一步結(jié)合異常編碼點特征，提高了編碼方式的識別效率和準確率。
[0036]在本實施例的基礎(chǔ)上，在步驟120之后，還可以包括:
[0037]步驟130、根據(jù)確定的所述編碼方式對應(yīng)的解碼方式對所述待識別中文字符序列進行解碼。
[0038]在確定所述待識別中文字符序列的編碼方式，采用確定的編碼方式對所述待識別中文字符序列進行解碼，能夠還原所述待識別中文字符序列。
[0039]待識別中文字符序列可以來自于用戶的微博內(nèi)容或在論壇等的發(fā)帖內(nèi)容，數(shù)據(jù)還原設(shè)備確定待識別中文字符序列的編碼方式之后，進一步解碼，可以還原用戶發(fā)布的原始信息，有利于提取指定數(shù)據(jù)段的短文本內(nèi)容，以分析用戶行為。
[0040]實施例二
[0041]請參閱圖2，為本發(fā)明實施例二提供的一種中文字符的編碼方式的識別方法的流程圖。本實施例在上述實施例的基礎(chǔ)上，提供了根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式的優(yōu)選方案。
[0042]該優(yōu)選方法包括:
[0043]步驟210、如果所述待識別中文字符序列的長度不能被2整除，則確定所述待識別中文字符序列的編碼方式為UTF-8編碼；
[0044]本步驟中，由于GB2312編碼和GBK編碼均采用雙字節(jié)編碼，UTF-8編碼采用三字節(jié)編碼，因此如果所述待識別中文字符序列的長度不能被2整除，則對應(yīng)的編碼方式一定不是GB2312編碼和GBK編碼，因此可以確定所述待識別中文字符序列的編碼方式為UTF-8編碼。
[0045]需要說明的是，如果所述待識別中文字符序列的長度能被2整除，則需要進一步根據(jù)字符序列的長度特征以及字符序列的異常編碼點特征，確定所述待識別中文字符序列的編碼方式。
[0046]步驟220、如果所述待識別中文字符序列的長度能被2整除，且所述待識別中文字符序列的每兩個字節(jié)存在GBK異常編碼點，則確定所述待識別中文字符序列的編碼方式為UTF-8編碼；
[0047]本步驟具體是根據(jù)所述字符序列的長度特征和所述字符序列的異常編碼點特征對所述待識別中文字符序列的編碼方式進行識別。
[0048]具體地，由于GB2312編碼和GBK編碼均采用雙字節(jié)編碼，UTF-8編碼采用三字節(jié)編碼，因此如果所述待識別中文字符序列的長度能被2整除，則對應(yīng)的編碼方式可能是GB2312編碼、GBK編碼和UTF-8編碼中的任何一種，通過以待識別中文字符序列的每兩個字節(jié)為識別單位，對于各識別單位，進一步判斷是否存在GBK異常編碼點，如果檢測到有一個識別單位中存在GBK異常編碼點，則對應(yīng)的編碼方式不是GBK編碼，又由于GBK編碼的編碼范圍兼容GB2312編碼的編碼范圍，因此可以確定所述待識別中文字符序列的編碼方式為UTF-8編碼。
[0049]步驟230、如果所述待識別中文字符序列的長度能被2整除，且所述待識別中文字符序列的每兩個字節(jié)存在GB2312異常編碼點，且所述待識別中文字符序列的每兩個字節(jié)不存在GBK異常編碼點，則確定所述待識別中文字符序列的編碼方式為GBK編碼；
[0050]本步驟具體是根據(jù)所述字符序列的長度特征和所述字符序列的異常編碼點特征對所述待識別中文字符序列的編碼方式進行識別。
[0051]具體地，由于GB2312編碼和GBK編碼均采用雙字節(jié)編碼，UTF-8編碼采用三字節(jié)編碼，因此如果所述待識別中文字符序列的長度能被2整除，則對應(yīng)的編碼方式可能是GB2312編碼、GBK編碼和UTF-8編碼中的任何一種，通過以待識別中文字符序列的每兩個字節(jié)為識別單位，如果所述待識別中文字符序列的每兩個字節(jié)存在GB2312異常編碼點，且所述待識別中文字符序列的每兩個字節(jié)不存在GBK異常編碼點，則可以確定待識別中文字符序列的編碼范圍雖然位于GB2312編碼的編碼范圍之外，但位于GBK編碼的編碼范圍內(nèi)，因此可以確定所述待識別中文字符序列的編碼方式為GBK編碼。
[0052]步驟240、如果所述待識別中文字符序列的長度能被2整除，且所述待識別中文字符序列的每兩個字節(jié)不存在GB2312異常編碼點，則確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼；
[0053]本步驟具體是根據(jù)所述字符序列的長度特征和所述字符序列的異常編碼點特征對所述待識別中文字符序列的編碼方式進行識別。
[0054]具體地，由于GB2312編碼和GBK編碼均采用雙字節(jié)編碼，UTF-8編碼采用三字節(jié)編碼，因此如果所述待識別中文字符序列的長度能被2整除，則對應(yīng)的編碼方式可能是GB2312編碼、GBK編碼和UTF-8編碼中的任何一種，通過以待識別中文字符序列的每兩個字節(jié)為識別單位，如果所述待識別中文字符序列的每兩個字節(jié)不存在GB2312異常編碼點，則可以確定待識別中文字符序列的編碼范圍位于GB2312編碼的編碼范圍內(nèi)，又由于GBK編碼的編碼范圍兼容GB2312編碼的編碼范圍，因此可以確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼。
[0055]步驟250、如果所述待識別中文字符序列的長度能被2整除，且不能被3整除，且所述待識別中文字符序列的每兩個字節(jié)存在GB2312異常編碼點，且所述待識別中文字符序列的每兩個字節(jié)不存在GBK異常編碼點，則確定所述待識別中文字符序列的編碼方式為GBK編碼；
[0056]本步驟具體是根據(jù)所述字符序列的長度特征和所述字符序列的異常編碼點特征對所述待識別中文字符序列的編碼方式進行識別。
[0057]具體地，由于GB2312編碼和GBK編碼均采用雙字節(jié)編碼，UTF-8編碼采用三字節(jié)編碼，因此如果所述待識別中文字符序列的長度能被2整除，且不能被3整除，則對應(yīng)的編碼方式可能是GB2312編碼或GBK編碼，通過以待識別中文字符序列的每兩個字節(jié)為識別單位，如果所述待識別中文字符序列的每兩個字節(jié)存在GB2312異常編碼點，且所述待識別中文字符序列的每兩個字節(jié)不存在GBK異常編碼點，則可以確定待識別中文字符序列的編碼范圍雖然位于GB2312編碼的編碼范圍之外，但位于GBK編碼的編碼范圍內(nèi)，因此可以確定所述待識別中文字符序列的編碼方式為GBK編碼。
[0058]步驟260、如果所述待識別中文字符序列的長度能被2整除，且不能被3整除，且所述待識別中文字符序列的每兩個字節(jié)不存在GB2312異常編碼點，則確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼；
[0059]本步驟具體是根據(jù)所述字符序列的長度特征和所述字符序列的異常編碼點特征對所述待識別中文字符序列的編碼方式進行識別。
[0060]具體地，由于GB2312編碼和GBK編碼均采用雙字節(jié)編碼，UTF-8編碼采用三字節(jié)編碼，因此如果所述待識別中文字符序列的長度能被2整除，且不能被3整除，則對應(yīng)的編碼方式可能是GB2312編碼或GBK編碼，通過以待識別中文字符序列的每兩個字節(jié)為識別單位，如果所述待識別中文字符序列的每兩個字節(jié)不存在GB2312異常編碼點，則可以確定待識別中文字符序列的編碼范圍位于GB2312編碼的編碼范圍內(nèi)，又由于GBK編碼的編碼范圍兼容GB2312編碼的編碼范圍，因此可以確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼。
[0061]步驟270、如果所述待識別中文字符序列的長度能被6整除，且所述待識別中文字符序列的每三個字節(jié)不存在UTF-8異常編碼點，則確定所述待識別中文字符序列的編碼方式為UTF-8編碼；
[0062]本步驟具體是根據(jù)所述字符序列的長度特征和所述字符序列的異常編碼點特征對所述待識別中文字符序列的編碼方式進行識別。
[0063]具體地，由于GB2312編碼和GBK編碼均采用雙字節(jié)編碼，UTF-8編碼采用三字節(jié)編碼，因此如果所述待識別中文字符序列的長度能被6整除，則對應(yīng)的編碼方式可能是GB2312編碼、GBK編碼和UTF-8編碼中的任何一種，通過以待識別中文字符序列的每三個字節(jié)為識別單位，對于各識別單位，進一步判斷是否存在UTF-8異常編碼點，若否，則可以確定待識別中文字符序列的編碼范圍位于UTF-8編碼的編碼范圍之內(nèi)，因此確定所述待識別中文字符序列的編碼方式為UTF-8編碼。
[0064]步驟280、如果所述待識別中文字符序列的長度能被6整除，且所述待識別中文字符序列的每三個字節(jié)存在UTF-8異常編碼點，則確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼。
[0065]本步驟具體是根據(jù)所述字符序列的長度特征和所述字符序列的異常編碼點特征對所述待識別中文字符序列的編碼方式進行識別。
[0066]具體地，由于GB2312編碼和GBK編碼均采用雙字節(jié)編碼，UTF-8編碼采用三字節(jié)編碼，因此如果所述待識別中文字符序列的長度能被6整除，則對應(yīng)的編碼方式可能是GB2312編碼、GBK編碼和UTF-8編碼中的任何一種，通過以待識別中文字符序列的每三個字節(jié)為識別單位，對于各識別單位，進一步判斷是否存在UTF-8異常編碼點，若是，則可以確定待識別中文字符序列的編碼范圍位于UTF-8編碼的編碼范圍之外，因此確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼。
[0067]本實施例的技術(shù)方案，在從待識別中文字符序列中獲取字符序列的長度特征，或者獲取字符序列的長度特征以及字符序列的異常編碼點特征之后，通過獲取到的長度特征，縮小了檢測范圍，避免了直接對待識別中文字符序列逐一檢測異常編碼點導(dǎo)致的對內(nèi)存的占用，在縮小檢測范圍后，進一步結(jié)合異常編碼點特征，提高了編碼方式的識別效率和準確率。
[0068]在上述實施例中，步驟210-步驟280是相互獨立的，都是根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式的優(yōu)選實施方式。即可以執(zhí)行步驟210-步驟280中的至少一項，且執(zhí)行順序不限。
[0069]實施例三
[0070]請參閱圖3，為本發(fā)明實施例三提供的一種中文字符的編碼方式的識別方法的流程圖。本實施例在上述實施例的基礎(chǔ)上，提供了根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式的具體實現(xiàn)方案。
[0071]步驟310、判斷待識別中文字符序列的長度是否能被2整除，若否，則執(zhí)行步驟320 ;若是，則執(zhí)行步驟330 ；
[0072]步驟320、確定所述待識別中文字符序列的編碼方式為UTF-8編碼，流程結(jié)束。
[0073]本步驟中，由于GB2312編碼和GBK編碼均采用雙字節(jié)編碼，UTF-8編碼采用三字節(jié)編碼，因此如果所述待識別中文字符序列的長度不能被2整除，則對應(yīng)的編碼方式一定不是GB2312編碼和GBK編碼，因此可以確定所述待識別中文字符序列的編碼方式為UTF-8編碼。
[0074]步驟330、判斷所述待識別中文字符序列的每兩個字節(jié)是否存在GBK異常編碼點，若是，則執(zhí)行步驟320 ;若否，則執(zhí)行步驟340 ；
[0075]由于GB2312編碼和GBK編碼均采用雙字節(jié)編碼，UTF-8編碼采用三字節(jié)編碼，因此如果所述待識別中文字符序列的長度能被2整除，則對應(yīng)的編碼方式可能是GB2312編碼、GBK編碼和UTF-8編碼中的任何一種，通過以待識別中文字符序列的每兩個字節(jié)為識別單位，對于各識別單位，進一步判斷是否存在GBK異常編碼點，如果檢測到有一個識別單位中存在GBK異常編碼點，則對應(yīng)的編碼方式不是GBK編碼，又由于GBK編碼的編碼范圍兼容GB2312編碼的編碼范圍，因此可以確定所述待識別中文字符序列的編碼方式為UTF-8編碼。
[0076]步驟340、判斷待識別中文字符序列的長度是否能被3整除，若否，則執(zhí)行步驟350 ;若是，則執(zhí)行步驟360 ；
[0077]由于GB2312編碼和GBK編碼均采用雙字節(jié)編碼，UTF-8編碼采用三字節(jié)編碼，因此如果所述待識別中文字符序列的長度能被2整除，則對應(yīng)的編碼方式可能是GB2312編碼、GBK編碼和UTF-8編碼中的任何一種，通過以待識別中文字符序列的每兩個字節(jié)為識別單位，對于各識別單位，如果不存在GBK異常編碼點，則需要進一步檢測待識別中文字符序列的長度是否能被3整除，以確定所述待識別中文字符序列的編碼方式。
[0078]步驟350、確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼，流程結(jié)束。
[0079]在步驟340的基礎(chǔ)上，如果不能被3整除，由于UTF-8編碼采用三字節(jié)編碼，則可以確定所述待識別中文字符序列的編碼方式不是UTF-8編碼，從而得到所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼。
[0080]步驟360、判斷所述待識別中文字符序列的每三個字節(jié)是否存在UTF-8異常編碼點，若是，則執(zhí)行步驟350 ;若否，則執(zhí)行步驟320 ；
[0081]在步驟340的基礎(chǔ)上，如果能被3整除，則對應(yīng)的編碼方式可能是GB2312編碼、GBK編碼和UTF-8編碼中的任何一種，通過以待識別中文字符序列的每三個字節(jié)為識別單位，對于各識別單位，進一步判斷結(jié)果為存在UTF-8異常編碼點，則可以確定待識別中文字符序列的編碼范圍位于UTF-8編碼的編碼范圍之外，因此確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼。
[0082]在步驟340的基礎(chǔ)上，如果能被3整除，則對應(yīng)的編碼方式可能是GB2312編碼、GBK編碼和UTF-8編碼中的任何一種，通過以待識別中文字符序列的每三個字節(jié)為識別單位，對于各識別單位，進一步判斷結(jié)果為不存在UTF-8異常編碼點，則可以確定待識別中文字符序列的編碼范圍位于UTF-8編碼的編碼范圍內(nèi)，因此確定所述待識別中文字符序列的編碼方式為UTF-8編碼。
[0083]實施例四
[0084]請參閱圖4，為本發(fā)明實施例四提供的一種中文字符的編碼方式的識別方法的流程圖。
[0085]該方法包括:
[0086]步驟410、從待識別字符序列中獲取待識別中文字符序列；
[0087]從網(wǎng)絡(luò)中直接獲取的待識別字符序列通常是中、英文和其余特殊符號混合的組合，因此通過本步驟可以從直接獲取到的待識別字符序列中剔除非中文字符，得到待識別中文字符序列。
[0088]作為本步驟的一種優(yōu)選的實施方式，具體可以包括:
[0089]將所述待識別字符序列的每個字節(jié)分別進行十六進制轉(zhuǎn)化；
[0090]對于各字節(jié)，如果該字節(jié)對應(yīng)的十六進制值大于0X7F，則保留該字節(jié)，否則，將該字節(jié)從所述待識別字符序列中刪除，將剩余的字符序列作為所述待識別中文序列。
[0091]需要說明的是，對于待識別字符序列，由于非中文字符通常采用ASCII編碼，而ASCII編碼采用單字節(jié)編碼，編碼范圍為0x00?0x7F，因此通過檢測進行十六進制轉(zhuǎn)化后的待識別字符序列的各字節(jié)，如果該字節(jié)對應(yīng)的十六進制值大于0X7F，則該字節(jié)為中文字符，從而保留該字節(jié)，如果該字節(jié)對應(yīng)的十六進制值小于等于0X7F，則為采用ASCII編碼的非中文字符，例如，字母或者數(shù)字，從而刪除該字節(jié)，進而由剩余的字符序列形成所述待識別中文序列。
[0092]本實施方式，基于ASCII編碼的編碼范圍，以字節(jié)為單位進行中文字符的識別，識別方式簡單，提高了從錯綜復(fù)雜的網(wǎng)絡(luò)環(huán)境中獲取到的海量待識別字符序列中獲取待識別中文字符序列的識別率。
[0093]步驟420、從待識別中文字符序列中獲取字符序列特征，所述字符序列特征包括:字符序列的長度特征，或者字符序列的長度特征以及字符序列的異常編碼點特征；
[0094]步驟430、根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式。
[0095]本步驟同樣適用于實施例二中的步驟210-步驟280，此處不再贅述。
[0096]本實施例的技術(shù)方案，基于ASCII編碼的編碼范圍，以字節(jié)為單位進行中文字符的識別，識別方式簡單，提高了從錯綜復(fù)雜的網(wǎng)絡(luò)環(huán)境中獲取到的海量待識別字符序列中獲取待識別中文字符序列的識別率；克服了傳統(tǒng)的編碼模式識別技術(shù)只適用于字符序列存在大量中文字符序列時的識別的局限，不但適用于存在大量中文字符的待識別字符序列，還適用于存在大量ASCII字符等噪聲字符的待識別字符序列，根據(jù)中文字符編碼特征和非中文字符數(shù)據(jù)傳輸特點，提高了識別中文字符的識別率；在得到待識別中文字符序列之后，通過從待識別中文字符序列中獲取字符序列的長度特征，或者獲取字符序列的長度特征以及字符序列的異常編碼點特征，并基于獲取到的字符序列特征，能夠確定待識別中文字符序列的編碼方式，由于無需事先建立復(fù)雜的字符概率分布模型，因此簡化了識別編碼方式的識別流程；對于海量網(wǎng)絡(luò)數(shù)據(jù)中的待識別中文字符序列，采用長度特征縮小了檢測范圍，避免了直接對待識別中文字符序列逐一檢測異常編碼點導(dǎo)致的對內(nèi)存的占用，在縮小檢測范圍后，進一步結(jié)合異常編碼點特征，提高了編碼方式的識別效率和準確率。
[0097]實施例五
[0098]請參閱圖5，為本發(fā)明實施例五提供的一種中文字符序列的編碼方式的識別裝置的結(jié)構(gòu)示意圖，該裝置包括:字符序列特征獲取模塊510和編碼方式確定模塊520。
[0099]其中，字符序列特征獲取模塊510用于從待識別中文字符序列中獲取字符序列特征，所述字符序列特征包括:字符序列的長度特征，或者字符序列的長度特征以及字符序列的異常編碼點特征；編碼方式確定模塊520用于根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式。
[0100]本實施例的技術(shù)方案，通過從待識別中文字符序列中獲取字符序列的長度特征，或者獲取字符序列的長度特征以及字符序列的異常編碼點特征，并基于獲取到的字符序列特征，能夠確定待識別中文字符序列的編碼方式，由于無需事先建立復(fù)雜的字符概率分布模型，因此簡化了識別編碼方式的識別流程；對于海量網(wǎng)絡(luò)數(shù)據(jù)中的待識別中文字符序列，采用長度特征縮小了檢測范圍，避免了直接對待識別中文字符序列逐一檢測異常編碼點導(dǎo)致的對內(nèi)存的占用，在縮小檢測范圍后，進一步結(jié)合異常編碼點特征，提高了編碼方式的識別效率和準確率。
[0101]在上述方案中，編碼方式確定模塊520有多種實施方式,例如包括下述至少一項:第一編碼方式確定單元、第二編碼方式確定單元、第三編碼方式確定單元、第四編碼方式確定單元、第五編碼方式確定單元、第六編碼方式確定單元、第七編碼方式確定單元和第八編碼方式確定單元。
[0102]其中，第一編碼方式確定單元用于如果所述待識別中文字符序列的長度不能被2整除，則確定所述待識別中文字符序列的編碼方式為UTF-8編碼；第二編碼方式確定單元用于如果所述待識別中文字符序列的長度能被2整除，且所述待識別中文字符序列的每兩個字節(jié)存在GBK異常編碼點，則確定所述待識別中文字符序列的編碼方式為UTF-8編碼；第三編碼方式確定單元用于如果所述待識別中文字符序列的長度能被2整除，且所述待識別中文字符序列的每兩個字節(jié)存在GB2312異常編碼點，且所述待識別中文字符序列的每兩個字節(jié)不存在GBK異常編碼點，則確定所述待識別中文字符序列的編碼方式為GBK編碼；第四編碼方式確定單元用于如果所述待識別中文字符序列的長度能被2整除，且所述待識別中文字符序列的每兩個字節(jié)不存在GB2312異常編碼點，則確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼；第五編碼方式確定單元用于如果所述待識別中文字符序列的長度能被2整除，且不能被3整除，且所述待識別中文字符序列的每兩個字節(jié)存在GB2312異常編碼點，且所述待識別中文字符序列的每兩個字節(jié)不存在GBK異常編碼點，則確定所述待識別中文字符序列的編碼方式為GBK編碼；第六編碼方式確定單元用于如果所述待識別中文字符序列的長度能被2整除，且不能被3整除，且所述待識別中文字符序列的每兩個字節(jié)不存在GB2312異常編碼點，則確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼；第七編碼方式確定單元用于如果所述待識別中文字符序列的長度能被6整除，且所述待識別中文字符序列的每三個字節(jié)不存在UTF-8異常編碼點，則確定所述待識別中文字符序列的編碼方式為UTF-8編碼；第八編碼方式確定單元用于如果所述待識別中文字符序列的長度能被6整除，且所述待識別中文字符序列的每三個字節(jié)存在UTF-8異常編碼點，則確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼。
[0103]在上述方案中，所述裝置還可以包括:中文字符序列獲取模塊501，用于在從待識別中文字符序列中獲取字符序列特征之前，從待識別字符序列中獲取待識別中文字符序列。
[0104]中文字符序列獲取模塊501優(yōu)選包括:字節(jié)轉(zhuǎn)化單元和字節(jié)處理單元。
[0105]其中，字節(jié)轉(zhuǎn)化單元用于將所述待識別字符序列的每個字節(jié)分別進行十六進制轉(zhuǎn)化；字節(jié)處理單元用于對于各字節(jié)，如果該字節(jié)對應(yīng)的十六進制值大于0X7F，則保留該字節(jié)，否則，將該字節(jié)從所述待識別字符序列中刪除，將剩余的字符序列作為所述待識別中文序列。
[0106]在上述方案中，所述裝置還可以包括:解碼模塊530，用于在根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式之后，根據(jù)確定的所述編碼方式對應(yīng)的解碼方式對所述待識別中文字符序列進行解碼。
[0107]本發(fā)明實施例提供的中文字符的編碼方式的識別裝置可執(zhí)行本發(fā)明任意實施例所提供的中文字符的編碼方式的識別方法，具備執(zhí)行方法相應(yīng)的功能模塊和有益效果。
[0108]最后應(yīng)說明的是:以上各實施例僅用于說明本發(fā)明的技術(shù)方案，而非對其進行限制；實施例中優(yōu)選的實施方式，并非對其進行限制，對于本領(lǐng)域技術(shù)人員而言，本發(fā)明可以有各種改動和變化。凡在本發(fā)明的精神和原理之內(nèi)所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種中文字符序列的編碼方式的識別方法，其特征在于，包括: 從待識別中文字符序列中獲取字符序列特征，所述字符序列特征包括:字符序列的長度特征，或者字符序列的長度特征以及字符序列的異常編碼點特征； 根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式，包括下述至少一項: 如果所述待識別中文字符序列的長度不能被2整除，則確定所述待識別中文字符序列的編碼方式為UTF-8編碼； 如果所述待識別中文字符序列的長度能被2整除，且所述待識別中文字符序列的每兩個字節(jié)存在GBK異常編碼點，則確定所述待識別中文字符序列的編碼方式為UTF-8編碼； 如果所述待識別中文字符序列的長度能被2整除，且所述待識別中文字符序列的每兩個字節(jié)存在GB2312異常編碼點，且所述待識別中文字符序列的每兩個字節(jié)不存在GBK異常編碼點，則確定所述待識別中文字符序列的編碼方式為GBK編碼； 如果所述待識別中文字符序列的長度能被2整除，且所述待識別中文字符序列的每兩個字節(jié)不存在GB2312異常編碼點，則確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼； 如果所述待識別中文字符序列的長度能被2整除，且不能被3整除，且所述待識別中文字符序列的每兩個字節(jié)存在GB2312異常編碼點，且所述待識別中文字符序列的每兩個字節(jié)不存在GBK異常編碼點，則確定所述待識別中文字符序列的編碼方式為GBK編碼； 如果所述待識別中文字符序列的長度能被2整除，且不能被3整除，且所述待識別中文字符序列的每兩個字節(jié)不存在GB2312異常編碼點，則確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼； 如果所述待識別中文字符序列的長度能被6整除，且所述待識別中文字符序列的每三個字節(jié)不存在UTF-8異常編碼點，則確定所述待識別中文字符序列的編碼方式為UTF-8編碼； 如果所述待識別中文字符序列的長度能被6整除，且所述待識別中文字符序列的每三個字節(jié)存在UTF-8異常編碼點，則確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在從待識別中文字符序列中獲取字符序列特征之前，還包括: 從待識別字符序列中獲取待識別中文字符序列。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，從待識別字符序列中獲取待識別中文字符序列，包括: 將所述待識別字符序列的每個字節(jié)分別進行十六進制轉(zhuǎn)化； 對于各字節(jié)，如果該字節(jié)對應(yīng)的十六進制值大于0X7F，則保留該字節(jié)，否則，將該字節(jié)從所述待識別字符序列中刪除，將剩余的字符序列作為所述待識別中文序列。
5.根據(jù)權(quán)利要求1-4任一所述的方法，其特征在于，在根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式之后，還包括: 根據(jù)確定的所述編碼方式對應(yīng)的解碼方式對所述待識別中文字符序列進行解碼。
6.一種中文字符序列的編碼方式的識別裝置，其特征在于，包括: 字符序列特征獲取模塊，用于從待識別中文字符序列中獲取字符序列特征，所述字符序列特征包括:字符序列的長度特征，或者字符序列的長度特征以及字符序列的異常編碼點特征； 編碼方式確定模塊，用于根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式。
7.根據(jù)權(quán)利要求1所述的裝置，其特征在于，編碼方式確定模塊包括下述至少一項: 第一編碼方式確定單元，用于如果所述待識別中文字符序列的長度不能被2整除，則確定所述待識別中文字符序列的編碼方式為UTF-8編碼； 第二編碼方式確定單元，用于如果所述待識別中文字符序列的長度能被2整除，且所述待識別中文字符序列的每兩個字節(jié)存在GBK異常編碼點，則確定所述待識別中文字符序列的編碼方式為UTF-8編碼； 第三編碼方式確定單元，用于如果所述待識別中文字符序列的長度能被2整除，且所述待識別中文字符序列的每兩個字節(jié)存在GB2312異常編碼點，且所述待識別中文字符序列的每兩個字節(jié)不存在GBK異常編碼點，則確定所述待識別中文字符序列的編碼方式為GBK編碼； 第四編碼方式確定單元，用于如果所述待識別中文字符序列的長度能被2整除，且所述待識別中文字符序列的每兩個字節(jié)不存在GB2312異常編碼點，則確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼； 第五編碼方式確定單元，用于如果所述待識別中文字符序列的長度能被2整除，且不能被3整除，且所述待識別中文字符序列的每兩個字節(jié)存在GB2312異常編碼點，且所述待識別中文字符序列的每兩個字節(jié)不存在GBK異常編碼點，則確定所述待識別中文字符序列的編碼方式為GBK編碼； 第六編碼方式確定單元，用于如果所述待識別中文字符序列的長度能被2整除，且不能被3整除，且所述待識別中文字符序列的每兩個字節(jié)不存在GB2312異常編碼點，則確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼； 第七編碼方式確定單元，用于如果所述待識別中文字符序列的長度能被6整除，且所述待識別中文字符序列的每三個字節(jié)不存在UTF-8異常編碼點，則確定所述待識別中文字符序列的編碼方式為UTF-8編碼； 第八編碼方式確定單元，用于如果所述待識別中文字符序列的長度能被6整除，且所述待識別中文字符序列的每三個字節(jié)存在UTF-8異常編碼點，則確定所述待識別中文字符序列的編碼方式為GB2312編碼或GBK編碼。
8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括:中文字符序列獲取模塊，用于在從待識別中文字符序列中獲取字符序列特征之前，從待識別字符序列中獲取待識別中文字符序列。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，中文字符序列獲取模塊包括: 字節(jié)轉(zhuǎn)化單元，用于將所述待識別字符序列的每個字節(jié)分別進行十六進制轉(zhuǎn)化； 字節(jié)處理單元，用于對于各字節(jié)，如果該字節(jié)對應(yīng)的十六進制值大于0X7F，則保留該字節(jié)，否則，將該字節(jié)從所述待識別字符序列中刪除，將剩余的字符序列作為所述待識別中文序列。
10.根據(jù)權(quán)利要求6-9任一所述的裝置，其特征在于，所述裝置還包括:解碼模塊，用于在根據(jù)所述字符序列特征，基于設(shè)定的中文編碼識別策略，確定所述待識別中文字符序列的編碼方式之后，根據(jù)確定的所述編碼方式對應(yīng)的解碼方式對所述待識別中文字符序列進行解碼。
【文檔編號】G06F17/22GK104360988SQ201410553461
【公開日】2015年2月18日 申請日期:2014年10月17日 優(yōu)先權(quán)日:2014年10月17日
【發(fā)明者】許敬緩 申請人:北京銳安科技有限公司