一種正則化rbf網(wǎng)絡(luò)多標(biāo)簽分類方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于多標(biāo)簽分類技術(shù)領(lǐng)域，具體涉及一種正則化RBF網(wǎng)絡(luò)多標(biāo)簽分類方 法。
【背景技術(shù)】
[0002] 在傳統(tǒng)機(jī)器學(xué)習(xí)的框架下，分類問題研究如何將待分類樣本準(zhǔn)確的劃分到唯一的 某一類中。如果候選類別只有兩個(gè)，這類問題被稱作二值分類問題。如果候選類別有多個(gè)， 這類問題被稱作多類分類問題。二值分類問題和多類分類問題都是單標(biāo)簽分類問題。然 而，在真實(shí)世界中，同時(shí)具有多個(gè)概念標(biāo)記的歧義性對(duì)象廣泛存在。例如在文檔分類中，每 篇文檔可能同時(shí)屬于多個(gè)主題，從不同的角度分析一篇新聞報(bào)道，可將其劃分為"政治"和 "經(jīng)濟(jì)"類；在功能基因組研究中，每個(gè)基因可能同時(shí)具有"新陳代謝"和"轉(zhuǎn)錄"等多種功 能；在場(chǎng)景分類中，每幅圖像可能同時(shí)包含"海灘"和"落日"等多種語義信息。這樣的分類 問題被稱作多標(biāo)簽分類問題。
[0003] M. -L. Zhang. ML-RBF:RBF neural networks for multi-label learning. Neural Processing Letters, 2009, 29 (2) :61-74.提出了 RBF神經(jīng)網(wǎng)絡(luò)的多標(biāo)簽分類算法，該方法 包括：首先，對(duì)于訓(xùn)練集中的每一個(gè)標(biāo)簽，利用Kmeans算法對(duì)其聚類，聚類得出的中心點(diǎn)作 為RBF的隱藏層節(jié)點(diǎn)；其次，通過最小化平方和誤差函數(shù)解得輸出層權(quán)重向量。但是該方法 沒有進(jìn)行正則化處理，使得分類結(jié)果不能達(dá)到最優(yōu)的效果。
[0004] M.-L. Zhang, Z.-J. Wang. MIMLRBF: RBF neural networks for multi-instance multi-label learning. Neurocomputing, 2009, 72 (16-18) :3951-3956.提出了 多實(shí)例 多標(biāo)簽問題的RBF神經(jīng)網(wǎng)絡(luò)算法，該方法包括：首先，對(duì)于訓(xùn)練集中的每一個(gè)標(biāo)簽，利用 k-MED0IDS算法對(duì)其聚類，聚類得出的中心點(diǎn)作為網(wǎng)絡(luò)的隱藏層神經(jīng)元；其次，通過最小 化平方和誤差函數(shù)，優(yōu)化隱藏層神經(jīng)元與輸出層神經(jīng)元之間的權(quán)值矩陣。該方法是針對(duì)多 實(shí)例多標(biāo)簽問題的，不能直接用于解決單獨(dú)的多標(biāo)簽分類問題，并且該方法也沒有進(jìn)行正 則化處理，使得分類方法不能得到最優(yōu)的分類結(jié)果。
[0005] 上述RBF網(wǎng)絡(luò)多標(biāo)簽分類方法，都沒有使用正則化技術(shù)，限制了分類方法的分類 結(jié)果，降低了分類方法的泛化性能。

【發(fā)明內(nèi)容】

[0006] 為了克服上述現(xiàn)有技術(shù)存在的缺陷，本發(fā)明的目的在于提供一種正則化RBF網(wǎng)絡(luò) 多標(biāo)簽分類方法，該方法聚類速度快、泛化性能好，能夠增強(qiáng)RBF網(wǎng)絡(luò)的泛化性能。
[0007] 本發(fā)明是通過以下技術(shù)方案來實(shí)現(xiàn)：
[0008] -種正則化RBF網(wǎng)絡(luò)多標(biāo)簽分類方法，包括以下步驟：
[0009] 步驟1 :構(gòu)建RBF網(wǎng)絡(luò)
[0010] 包括構(gòu)造網(wǎng)絡(luò)的輸入層結(jié)點(diǎn)、隱藏層結(jié)點(diǎn)及輸出層結(jié)點(diǎn)；
[0011] 輸入層結(jié)點(diǎn)，由η個(gè)結(jié)點(diǎn)組成，每一個(gè)結(jié)點(diǎn)對(duì)應(yīng)輸入樣本向量的一個(gè)特征；
[0012] 隱藏層結(jié)點(diǎn)，依次對(duì)數(shù)據(jù)集對(duì)應(yīng)的標(biāo)簽集中的每一個(gè)標(biāo)簽.1的正樣本集％進(jìn)行聚 類，聚類之后得到A = 個(gè)聚類中心，α為常量參數(shù)；所有的標(biāo)簽聚類形成的聚類中心 構(gòu)成了徑向基函數(shù)RBF的隱藏層結(jié)點(diǎn)；
[0013] 輸出層結(jié)點(diǎn)，由q個(gè)結(jié)點(diǎn)組成，每一個(gè)輸出層結(jié)點(diǎn)都是一個(gè)潛在的輸出標(biāo)簽；
[0014] 步驟2 :用訓(xùn)練數(shù)據(jù)訓(xùn)練RBF網(wǎng)絡(luò)
[0015] 建立帶正則項(xiàng)的RBF網(wǎng)絡(luò)多標(biāo)簽分類模型，選取公開多標(biāo)簽數(shù)據(jù)集，選擇其中的 一部分作為訓(xùn)練數(shù)據(jù)集，對(duì)RBF網(wǎng)絡(luò)多標(biāo)簽分類器進(jìn)行正則參數(shù)尋優(yōu)，得到連接隱藏層和 輸出層的權(quán)值矩陣；
[0016] 步驟3 :利用RBF網(wǎng)絡(luò)預(yù)測(cè)標(biāo)簽
[0017] 對(duì)于RBF網(wǎng)絡(luò)的輸出層結(jié)點(diǎn)，設(shè)定常量0為閾值；利用連接隱藏層和輸出層的權(quán)值 矩陣值，得出網(wǎng)絡(luò)中每個(gè)結(jié)點(diǎn)的輸出值，比較每個(gè)結(jié)點(diǎn)輸出值與閾值〇的大小關(guān)系，大于閾 值〇的作為樣本的潛在標(biāo)簽，實(shí)現(xiàn)多標(biāo)簽分類。
[0018] 步驟1所述的RBF網(wǎng)絡(luò)構(gòu)建，具體包括以下步驟：
[0019] 1)設(shè);T = ITi或者f，表示維度為η的樣本空間；其中，JT表示維度為η的實(shí)數(shù)空 間，Σ?表示維度為η的復(fù)數(shù)空間
表示具有q個(gè)可能的類標(biāo)簽的標(biāo)簽空 間，多標(biāo)簽訓(xùn)練集為：
[0020]
[0021] 包含m個(gè)樣本數(shù)據(jù)，g e.；r;是一個(gè)η維的特征向量(?,?,…X 是與Χι 相對(duì)應(yīng)的標(biāo)簽集；
[0022] 網(wǎng)絡(luò)的輸入層由η個(gè)結(jié)點(diǎn)組成，用于將η維的樣本X1輸入網(wǎng)絡(luò)；
[0023] 2)對(duì)標(biāo)簽空間…M中的每一個(gè)標(biāo)簽&的正樣本集"進(jìn)行聚類；
[0024] 3)標(biāo)簽空間;F = 的維度為q，網(wǎng)絡(luò)的輸出層結(jié)點(diǎn)由q個(gè)結(jié)點(diǎn)組成，一個(gè) 輸出結(jié)點(diǎn)對(duì)應(yīng)標(biāo)簽空間中的一個(gè)標(biāo)簽，則網(wǎng)絡(luò)輸出為向量f :
[0025] 向量 f = [A, f2, . . .，fq];
[0026] 向量f的每一個(gè)分量值Λ對(duì)應(yīng)網(wǎng)絡(luò)的一個(gè)輸出結(jié)點(diǎn)的輸出值。
[0027] 步驟2)所述對(duì)正樣本集K.進(jìn)行聚類的具體步驟為：
中的每一個(gè)標(biāo)簽&，找出正樣本集合
[0029] 其中，Uj, Yj為多標(biāo)簽訓(xùn)練集中的一個(gè)樣本，x, 是一個(gè)η維的特征向量， K =>'是與Xj相對(duì)應(yīng)的標(biāo)簽集，）??是集合Yj的一個(gè)元素；
[0030] (2)利用SOM聚類法，對(duì)正樣本集合％聚類，聚類之后得到k個(gè)聚類中心， # =仏|%1，α為常量參數(shù)，形成聚類中心為向i

[0031] (3)重復(fù)步驟⑴和（2)，直至標(biāo)簽集中的每一個(gè)標(biāo)簽對(duì)應(yīng)的正樣本集合都聚類產(chǎn) 生聚類中心，并將這些聚類中心合并，得到網(wǎng)絡(luò)隱藏層結(jié)點(diǎn)為向量 隱藏層結(jié)點(diǎn)數(shù)量為L(zhǎng)
9
[0032] 步驟2所述訓(xùn)練RBF網(wǎng)絡(luò)，具體包括以下步驟：
[0033] 1)對(duì)于樣本\，夂?是一個(gè)η維的特征向量，RBF網(wǎng)絡(luò)輸出層的第￡個(gè)輸出結(jié) 點(diǎn)，其輸出值/；形式化的定義如下：
[0038] β為連接隱藏層和輸出層的權(quán)值矩陣，見為矩陣β的第i行第《列元素，L為網(wǎng) 絡(luò)的隱藏層結(jié)點(diǎn)數(shù)量，m為多標(biāo)簽訓(xùn)練集的總訓(xùn)練樣本數(shù)量；Φ i (X]，C1)為RBF網(wǎng)絡(luò)的隱藏 層結(jié)點(diǎn)C1在網(wǎng)絡(luò)輸入樣本為X ,時(shí)，隱藏層結(jié)點(diǎn)c 輸出函數(shù)值；
[0039] RBF網(wǎng)絡(luò)的隱藏層函數(shù)采用高斯函數(shù)作為徑向基函數(shù)，則（J)1 (X]，C1)函數(shù)形式化 的定義如下：
[0041] 其中，C1為徑向基函數(shù)Φ J ·)的中心，即RBF網(wǎng)絡(luò)隱藏層結(jié)點(diǎn)，σ稱為徑向基函 數(shù)的擴(kuò)展常數(shù)，反應(yīng)函數(shù)圖像的寬度，通過計(jì)算每對(duì)網(wǎng)絡(luò)隱藏層結(jié)點(diǎn)之間的距離來獲得，形 式化的定義為：
[0043] 其中，μ為調(diào)節(jié)參數(shù)，為網(wǎng)絡(luò)的隱藏層結(jié)點(diǎn)數(shù)量，dP Ch為網(wǎng)絡(luò)隱藏層結(jié)點(diǎn)；
[0044] 則，RBF網(wǎng)絡(luò)輸出向量f = [4 f2, · · ·，fq]形式化的定義為：
[0045] f = Ηβ (6)
[0046] H和β定義如式⑵和式（3)，向量f的每一個(gè)分量值/)為網(wǎng)絡(luò)的一個(gè)輸出結(jié)點(diǎn) 的輸出值，定義如式⑴所示；
[0047] 2)最小化網(wǎng)絡(luò)輸出誤差值，如下式：
[0049] 其中，T為多標(biāo)簽訓(xùn)練集的m個(gè)訓(xùn)練樣本的目標(biāo)標(biāo)簽矩陣，f為RBF網(wǎng)絡(luò)輸出向量， λ Ω (f)為正則項(xiàng)，λ為正則參數(shù)：
[0050] 則有，最小化
丨等價(jià)于：
[0051 ] minw(| |Ηβ-Τ| | + λ β) ⑶
[0052] 利用嶺回歸的方法求解，隱藏層和輸出層的權(quán)值矩陣β表示為：
[0053] β = (ΗΤΗ+ λ I) 1Ht