基于點(diǎn)到局部特征空間距離的分類器模型建立方法
【專利摘要】本發(fā)明涉及一種基于點(diǎn)到局部特征空間距離的分類器模型建立方法。其技術(shù)方案是：對(duì)于任一未知類別的樣本點(diǎn)Xi，采用K近鄰方法確定任一未知類別的樣本點(diǎn)Xi的K個(gè)已知類別為cj(j＝1,2,...L)的近鄰點(diǎn)，再分別組成類別為cj(j＝1,2,...L)的局部特征空間，計(jì)算未知類別的樣本點(diǎn)Xi到每一個(gè)具有不同類別的局部特征空間的歐氏距離，然后選擇到未知類別樣本點(diǎn)Xi歐氏距離最小的局部特征空間的類別，作為未知類別樣本點(diǎn)Xi的類別。本發(fā)明能有效地抑制噪聲或奇異點(diǎn)對(duì)數(shù)據(jù)類別預(yù)測(cè)的干擾，增強(qiáng)了分類器模型的魯棒性能，提高了未知類別的樣本點(diǎn)的類別預(yù)測(cè)效果。
【專利說(shuō)明】基于點(diǎn)到局部特征空間距離的分類器模型建立方法
[0001] 所屬領(lǐng)域
[0002] 本發(fā)明屬于分類器【技術(shù)領(lǐng)域】。具體涉及一種基于點(diǎn)到局部特征空間距離的分類器 模型建立方法。

【背景技術(shù)】
[0003] 數(shù)據(jù)挖掘的主要任務(wù)有分類分析、聚類分析、關(guān)聯(lián)規(guī)則分析、序列模式分析等，其 中分類分析由于其特殊地位，一直是數(shù)據(jù)挖掘研究的熱點(diǎn)。對(duì)于數(shù)據(jù)分類問(wèn)題，通常采取 的流程是首先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，然后采用線性或者非線性特征提取方法，從預(yù)處理的數(shù) 據(jù)中提取最有利于分類的特征，最后建立分類器模型，對(duì)所提取的特征進(jìn)行類別預(yù)測(cè)。在整 個(gè)數(shù)據(jù)分類過(guò)程中，如何建立數(shù)據(jù)分類模型是關(guān)系到數(shù)據(jù)分類效果好壞的關(guān)鍵之一。分類 器模型的任務(wù)就是訓(xùn)練一個(gè)分類器，分析輸入的樣本集合，通過(guò)在訓(xùn)練集中的數(shù)據(jù)表現(xiàn)出 來(lái)的特性，為每一個(gè)類尋找一種準(zhǔn)確的描述。由所生成的類描述對(duì)未來(lái)的測(cè)試數(shù)據(jù)進(jìn)行分 類，盡管這些未來(lái)的測(cè)試數(shù)據(jù)的類別標(biāo)簽是未知的，但仍可以由此預(yù)測(cè)這些新數(shù)據(jù)所屬的 類別。
[0004] 目前有許多方法和技術(shù)可以用于構(gòu)造分類器模型，例如決策樹、決策表、神經(jīng)網(wǎng) 絡(luò)、K近鄰方法、遺傳算法、貝葉斯方法以及支持向量機(jī)等。然而，這些單一的分類技術(shù)在應(yīng) 用中常常會(huì)受到一定條件的限制。對(duì)于一些非線性分類方法，如神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)，由 于算法復(fù)雜，造成計(jì)算代價(jià)很高。另外決策樹、決策表，遺傳算法和貝葉斯方法也因?yàn)橛?jì)算 復(fù)雜，運(yùn)算量大，給大數(shù)據(jù)分類帶來(lái)很大的困擾。作為一種計(jì)算簡(jiǎn)單的數(shù)據(jù)分類方法，K近 鄰采用一種以點(diǎn)到點(diǎn)的歐氏距離作為近鄰點(diǎn)選擇的度量，在K設(shè)置為1的情況下，K近鄰方 法轉(zhuǎn)化為最近鄰方法，未知類別數(shù)據(jù)樣本點(diǎn)的類別就可以預(yù)測(cè)為距離其最近的樣本點(diǎn)的類 另IJ，因此計(jì)算成本相對(duì)較低。但是K近鄰方法的魯棒性能比較差，在數(shù)據(jù)中如果包含有噪聲 或者奇異點(diǎn)的時(shí)候，特別是當(dāng)噪聲或者奇異點(diǎn)距離預(yù)測(cè)樣本點(diǎn)比較近的時(shí)候，很容易影響 未知類別樣本點(diǎn)的預(yù)測(cè)效果，對(duì)數(shù)據(jù)的分類結(jié)果造成很大的影響。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明目的在于提出一種基于點(diǎn)到局部特征空間距離的分類器模型建立方法，所 建立的分類器模型能有效地抑制噪聲或奇異點(diǎn)對(duì)數(shù)據(jù)類別預(yù)測(cè)的干擾，能增強(qiáng)分類器模型 的魯棒性能，能提高未知類別的樣本點(diǎn)的類別預(yù)測(cè)效果。
[0006] 為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是，所述分類器模型建立方法的具體步 驟是：
[0007] 步驟一、計(jì)算任一未知類別的樣本點(diǎn)Xi與類別為Cs的所有樣本點(diǎn)之間的歐式距 離，取所述歐式距離由小到大排列的前k個(gè)類別為Cs的樣本點(diǎn)，將所述 前k個(gè)類別為Cs的樣本點(diǎn)作為任一未知類別樣本點(diǎn)Xi的類別為Cs的局 部近鄰點(diǎn)，構(gòu)建類別為Cs的局部特征空間。i表示自然數(shù)，s G {1，2，...，L}，L表 示所有樣本點(diǎn)的類別總數(shù)。
[0008] 步驟二、重復(fù)步驟一，分別從類別為ct(t = 1，2, . . .，L-1)的所有樣本點(diǎn)中，選取k 個(gè)類別為 Ct (t = 1，2, . . .，L-1)的局部近鄰點(diǎn) G = 1，2，".,1-1)，構(gòu)建相應(yīng) 的類別為ct(t = 1，2, . . .，L-1)的局部特征空(/ = 1.2...1-】）。L表示所有樣本 點(diǎn)的類別總數(shù)，所述的K為大于3的自然數(shù)。
[0009] 步驟三、分別計(jì)算任一未知類別的樣本點(diǎn)Xi到類別為的局部特征空間 的歐氏距離
[0010] ^Xi-/c^(Xi)W (1)
[0011] 式⑴中：
[0012] Cj表示類別為C1, c2, --?，C1中的任一類；
[0013] /M(<)表示任一未知類別的樣本點(diǎn)Xi到類別為C j的局部特征空間乂，本）的投 影，

【權(quán)利要求】
1. 一種基于點(diǎn)到局部特征空間距離的分類器模型建立方法，其特征在于所述分類器模 型建立方法的具體步驟是： 步驟一、計(jì)算任一未知類別的樣本點(diǎn)Xi與類別為cs的所有樣本點(diǎn)之間的歐式距離，取 所述歐式距離由小到大排列的前k個(gè)類別為cs的樣本點(diǎn)，將所述前k個(gè) 類別為1的樣本點(diǎn)；^;>，；^乂...，；^ 1>作為任一未知類別樣本點(diǎn)\的類別為1的局部近鄰 點(diǎn)，構(gòu)建類別為(^的局部特征空間A1%.);i表示自然數(shù)，sG{1，2, ...，L}，L表示所有 樣本點(diǎn)的類別總數(shù)； 步驟二、重復(fù)步驟一，分別從類別為ct(t= 1，2,. . .，L-1)的所有樣本點(diǎn)中，選取k個(gè) 類別為ct(t= 1，2,?…，L-1)的局部近鄰點(diǎn)(t= 1，2,?…，L-1)，構(gòu)建相 應(yīng)的類別為ct(t= 1，2, ? ? ?，L-1)的局部特征空間(牟）（t= 1，2, ? ? ?L-1)，L表示所有 樣本點(diǎn)的類別總數(shù)； 步驟三、分別計(jì)算任一未知類別的樣本點(diǎn)\到類別為的局部特征空間的歐 氏距離
式⑴中： Cj表不類別為Cpc2, ? ? ?，q中的任一類， 廣表示任一未知類別的樣本點(diǎn)\到類別為&的局部特征空間#"(X,)的投影，
式⑵中： 表示任一未知類別的樣本點(diǎn)Xi的類別為Cj的局部近鄰點(diǎn)，aim(m=1，2,. . .，k)表 示是在類別為Cj的局部特征空間內(nèi)，由類別為Cj的局部近鄰點(diǎn)(m= 1,2，...，幻所線性表 示的任一未知類別的樣本點(diǎn)\的線性系數(shù)，
步驟四、預(yù)測(cè)任一未知類別的樣本點(diǎn)\的類別 將任一未知類別的樣本點(diǎn)\到類別為的局部特征空間S(M(X,)的歐氏距離 '(義）按照由小到大的順序進(jìn)行排列，選擇到任一未知類別的樣本點(diǎn)\具有最小歐氏距 離的局部特征空間的類別，作為任一未知類別的樣本點(diǎn)\的類別，其中&表示類別為Cl，c2, . . .，q中的任一類。
2. 根據(jù)權(quán)利要求1所述的基于點(diǎn)到局部特征空間距離的分類器模型建立方法，其特征 在于所述的K為大于3的自然數(shù)。
【文檔編號(hào)】G06F17/30GK104408129SQ201410699884
【公開日】2015年3月11日 申請(qǐng)日期:2014年11月26日 優(yōu)先權(quán)日:2014年11月26日
【發(fā)明者】李波, 王運(yùn)慶, 張曉龍 申請(qǐng)人:武漢科技大學(xué)