模型，將模型保存在本地并去重處理；
[0093] 各節(jié)點(diǎn)將新接收到的模型轉(zhuǎn)發(fā)給單跳鄰居節(jié)點(diǎn)；
[0094] 當(dāng)各節(jié)點(diǎn)都得到其他所有網(wǎng)絡(luò)節(jié)點(diǎn)的稀疏模型后，在節(jié)點(diǎn)本地進(jìn)行平均，得到一 致性模型；
[0095] 7.仿真實(shí)驗(yàn)評估
[0096]采用仿真軟件 MATLAB2013 版，在 Microsoft windows 7, CPU 主頻為 3. 2GHz，內(nèi) 存4. 0GB下仿真驗(yàn)證本發(fā)明的方法。使用模擬數(shù)據(jù)集和UCI數(shù)據(jù)庫中的4個(gè)基準(zhǔn)數(shù)據(jù)集 對本發(fā)明的方法進(jìn)行實(shí)驗(yàn)驗(yàn)證。其中模擬數(shù)據(jù)集由兩類非線性可分的數(shù)據(jù)組成，一類服 從均值為m Ul= [0, 0] T，協(xié)方差矩陣為2 = [0. 6, 0 ;0, 0. 4]T的二維高斯分布；另一類服 從混合參數(shù)分別為n丨=〇? 3和JT 2= 0? 7,均值分別為mu 2= [-2, -2]:和mu 3= [2, 2] T， 協(xié)方差矩陣均為2的二維混合高斯分布；每類訓(xùn)練數(shù)據(jù)個(gè)數(shù)為300,每類測試數(shù)據(jù)個(gè)數(shù)為 200。實(shí)驗(yàn)中使用的網(wǎng)絡(luò)由30個(gè)節(jié)點(diǎn)構(gòu)成，為了驗(yàn)證不同網(wǎng)絡(luò)連通度對算法在預(yù)測精度和 模型稀疏率上的影響，使用了連通度為〇. 0896、平均度為2. 7333的網(wǎng)絡(luò)結(jié)構(gòu)和連通度為 0. 0345、平均度為1. 0000的環(huán)狀結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)。本實(shí)驗(yàn)中核函數(shù)選用高斯核函數(shù)k(Xi，Xj) =exp (-1 |Xi-Xj| 12/2 〇 2)，實(shí)驗(yàn)中使用的參數(shù)值為 〇 = 0? 2, X = 1. 2, C = 2。UCI 數(shù)據(jù)庫 中的4個(gè)基準(zhǔn)數(shù)據(jù)集的基本信息如表1所示，各數(shù)據(jù)集實(shí)驗(yàn)設(shè)置及參數(shù)值如表2所示。在 模擬數(shù)據(jù)集上的實(shí)驗(yàn)進(jìn)行了 100次，在UCI數(shù)據(jù)庫中的4個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)各進(jìn)行了 20次。 表1 UCI數(shù)據(jù)集基本信息
【主權(quán)項(xiàng)】
1. 一種無線傳感器網(wǎng)絡(luò)中核分類器的分布式訓(xùn)練方法，其是在w下前提條件下進(jìn)行 的： a. 網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)都有唯一的ID號(hào)； b. 網(wǎng)絡(luò)中各節(jié)點(diǎn)僅僅與其單跳鄰居節(jié)點(diǎn)通信； C.網(wǎng)絡(luò)中各節(jié)點(diǎn)使用相同的核函數(shù)和相同的參數(shù)值； 其特征在于；該無線傳感器網(wǎng)絡(luò)中核分類器分布式訓(xùn)練方法的步驟如下， 步驟1 ;節(jié)點(diǎn)本地初始化 該一階段的特征是各節(jié)點(diǎn)對本地訓(xùn)練樣本進(jìn)行處理，并初始化各參數(shù)；該階段具體步 驟如下： 步驟1. 1 ;各節(jié)點(diǎn)本地訓(xùn)練樣本的特征信息歸一化處理； 步驟1.2;各節(jié)點(diǎn)本地核參數(shù)0和正則系數(shù)A的初始化、網(wǎng)絡(luò)規(guī)模N的初始化； 步驟2 ;節(jié)點(diǎn)本地稀疏模型求解 該一階段的特征是將具有稀疏特性的L1正則化引入核分類優(yōu)化問題進(jìn)行稀疏模型求 解； 首先各節(jié)點(diǎn)根據(jù)本地訓(xùn)練樣本構(gòu)建基于L1正則化的核最小平方誤差優(yōu)化問題，然后 利用交替方向乘子方法對優(yōu)化問題進(jìn)行稀疏模型求解，最后將得到的非零解與對應(yīng)的訓(xùn)練 樣本組成稀疏模型；該一階段的具體步驟描述如下： 步驟2. 1 ;各節(jié)點(diǎn)為本地訓(xùn)練樣本增加表示字段node_ID和example_ID W唯一標(biāo)識(shí) 每個(gè)訓(xùn)練樣本，增加發(fā)送標(biāo)志字段is_sended W說明該樣本是否已經(jīng)發(fā)送過來避免重復(fù)發(fā) 送； 步驟2. 2 ;各節(jié)點(diǎn)利用高斯核函數(shù)k(x。Xj) = exp(-| Ixf-Xjl 12/2 0 2)對本地歸一化后 的訓(xùn)練樣本進(jìn)行核矩陣計(jì)算； 步驟2. 3;各節(jié)點(diǎn)對得到的核矩陣進(jìn)行增廣，結(jié)合正則系數(shù)A構(gòu)建核優(yōu)化問題； 步驟2. 4 ;各節(jié)點(diǎn)利用交替方向乘子法對構(gòu)建的核優(yōu)化問題進(jìn)行求解； 步驟2. 5 ;將解中非零項(xiàng)W及對應(yīng)的樣本信息提取出來作為本節(jié)點(diǎn)上的稀疏模型； 步驟3 ;節(jié)點(diǎn)將本地稀疏模型和錯(cuò)分樣本發(fā)送給單跳鄰居節(jié)點(diǎn) 該一階段的特征是各節(jié)點(diǎn)對本地得到的最新稀疏模型進(jìn)行整理，將整理后的稀疏模型 和最新錯(cuò)分樣本組合在一起發(fā)送給單跳鄰居節(jié)點(diǎn)；在對稀疏模型進(jìn)行整理過程中，借助了 is_sended標(biāo)識(shí)字段查看對應(yīng)樣本的特征信息是否發(fā)送過，從而決定樣本對應(yīng)的特征信息 在稀疏模型中攜帶與否，W此減少數(shù)據(jù)傳輸量；該一階段的具體步驟描述如下： 步驟3. 1 ;各節(jié)點(diǎn)整理要發(fā)送出去的最新稀疏模型，如果最新稀疏模型中訓(xùn)練樣本的 is_sended字段為0,表示該樣本還沒有被發(fā)送過，此時(shí)需要將該訓(xùn)練樣本的原始特征信息 保留在模型中；如果is_sended字段為1，代表該訓(xùn)練樣本的原始特征信息已經(jīng)發(fā)送過，此 時(shí)只將該樣本的標(biāo)識(shí)字段信息保留在模型中； 步驟3. 2 ;各節(jié)點(diǎn)將整理好的模型信息和錯(cuò)分樣本信息組織在一起，發(fā)送給其單跳鄰 居節(jié)點(diǎn)； 步驟4 ;節(jié)點(diǎn)接收信息 該一階段的特征是各節(jié)點(diǎn)首先利用接收到的鄰居節(jié)點(diǎn)模型，逐個(gè)對本地訓(xùn)練樣本集進(jìn) 行測試，W找出鄰居節(jié)點(diǎn)模型不能正確分類的訓(xùn)練樣本，記作錯(cuò)分樣本；然后，各節(jié)點(diǎn)將接 收到的鄰居節(jié)點(diǎn)模型中帶有原始特征信息的訓(xùn)練樣本加入到本地訓(xùn)練樣本集合；同樣，各 節(jié)點(diǎn)將接收到的鄰居節(jié)點(diǎn)的錯(cuò)分樣本加入到本地訓(xùn)練樣本集；最后，各節(jié)點(diǎn)對本地訓(xùn)練樣 本集進(jìn)行去重處理，得到最新的訓(xùn)練樣本集合； 步驟4. 1 ;各節(jié)點(diǎn)接收鄰居節(jié)點(diǎn)發(fā)送過來的數(shù)據(jù)包，然后將數(shù)據(jù)包逐個(gè)分解，分解出稀 疏模型和錯(cuò)分樣本； 步驟4. 2 ;各節(jié)點(diǎn)利用接收到的每個(gè)稀疏模型對本地訓(xùn)練樣本集進(jìn)行測試，找出所有 鄰居節(jié)點(diǎn)不能正確分類的訓(xùn)練樣本，記作錯(cuò)分樣本； 步驟4. 3 ;對找到的錯(cuò)分樣本去除重復(fù)處理，并對去重后的錯(cuò)分樣本依據(jù)is_sended字 段的值進(jìn)行整理，如果錯(cuò)分樣本的is_sended字段為0,表示該樣本還沒有被發(fā)送過，則將 該樣本作為錯(cuò)分樣本，如果is_sended字段為1，表示該樣本已經(jīng)發(fā)送過，則該樣本不作為 錯(cuò)分樣本； 步驟4. 4 ;各節(jié)點(diǎn)將接收到的每個(gè)稀疏模型中帶有原始特征信息的訓(xùn)練樣本加入到本 地訓(xùn)練樣本集合； 步驟4. 5 ;各節(jié)點(diǎn)將接收到的所有錯(cuò)分樣本加入到本地訓(xùn)練集合； 步驟4. 6 ;各節(jié)點(diǎn)對本地訓(xùn)練樣本集合去重處理，得到最新的訓(xùn)練樣本集合； 步驟5 ;各節(jié)點(diǎn)循環(huán)優(yōu)化求解 該一階段的特征是在各節(jié)點(diǎn)本地訓(xùn)練樣本集沒有穩(wěn)定之前，按著步驟2、步驟3、步驟4 的順序循環(huán)優(yōu)化求解，直至各節(jié)點(diǎn)本地訓(xùn)練樣本集和稀疏模型穩(wěn)定；該一階段的具體步驟 如下： 步驟5. 1 ;各節(jié)點(diǎn)按照階段2、階段3、階段4的順序進(jìn)行優(yōu)化求解； 步驟5. 2 ;各節(jié)點(diǎn)判斷最新本地訓(xùn)練樣本集與前一次訓(xùn)練樣本集是否一致，當(dāng)所有節(jié) 點(diǎn)都前后兩次的訓(xùn)練數(shù)據(jù)集都一致時(shí)，執(zhí)行步驟6,否則，各節(jié)點(diǎn)按照階段2、階段3、階段4 的順序進(jìn)行優(yōu)化求解； 步驟6 ;節(jié)點(diǎn)模型一致性 該一階段的特征是僅依靠相鄰節(jié)點(diǎn)間的相互協(xié)作使各節(jié)點(diǎn)得到所有其他節(jié)點(diǎn)上的模 型，然后在本地對所有模型進(jìn)行平均，W實(shí)現(xiàn)模型一致性；該階段具體步驟如下： 步驟6. 1 ;各節(jié)點(diǎn)將本地稀疏模型發(fā)送給單跳鄰居節(jié)點(diǎn)； 步驟6. 2 ;各節(jié)點(diǎn)接收鄰居節(jié)點(diǎn)發(fā)送過來的稀疏模型，將模型保存在本地并去重處理； 步驟6. 3 ;各節(jié)點(diǎn)將新接收到的模型轉(zhuǎn)發(fā)給單跳鄰居節(jié)點(diǎn)； 步驟6. 4;當(dāng)各節(jié)點(diǎn)都得到所有節(jié)點(diǎn)的稀疏模型后，在節(jié)點(diǎn)本地進(jìn)行平均，得到一致性 模型。
【專利摘要】一種無線傳感器網(wǎng)絡(luò)中核分類器的分布式訓(xùn)練方法，本發(fā)明屬于無線傳感器網(wǎng)絡(luò)中數(shù)據(jù)融合技術(shù)領(lǐng)域，涉及一種無線傳感器網(wǎng)絡(luò)中核分類器的分布式訓(xùn)練方法。針對已有的無線傳感器網(wǎng)絡(luò)中核分類器訓(xùn)練方法存在的高通信代價(jià)問題，本發(fā)明提出了一種網(wǎng)內(nèi)分布式協(xié)同訓(xùn)練核分類器的方法。該方法中各節(jié)點(diǎn)對本地基于L1正則化核分類優(yōu)化問題進(jìn)行稀疏模型求解，相鄰節(jié)點(diǎn)間以交換本地稀疏模型和錯(cuò)分樣本的方式進(jìn)行協(xié)作，當(dāng)各節(jié)點(diǎn)得到穩(wěn)定模型后，利用平均一致性方法實(shí)現(xiàn)各節(jié)點(diǎn)模型的一致性。與現(xiàn)有方法相比，本發(fā)明可以得到與集中式訓(xùn)練相當(dāng)?shù)念A(yù)測效果、稀疏率明顯低于集中式訓(xùn)練模型的稀疏效果，而且能顯著降低無線傳感器網(wǎng)絡(luò)中核分類器訓(xùn)練時(shí)的數(shù)據(jù)通信代價(jià)。
【IPC分類】G06K9-62
【公開號(hào)】CN104573720
【申請?zhí)枴緾N201410853469
【發(fā)明人】侯義斌, 及歆榮, 侯翠琴
【申請人】北京工業(yè)大學(xué)
【公開日】2015年4月29日
【申請日】2014年12月31日