基于深度置信網(wǎng)絡(luò)的認知決策方法
【專利摘要】本發(fā)明公開了基于深度置信網(wǎng)絡(luò)認知決策方法，包括如下步驟：深度置信網(wǎng)絡(luò)的輸出作為決策過程的輸入；對決策過程進行訓練，調(diào)整權(quán)值和閾值；對誤認知的樣本進行再次訓練，實現(xiàn)錯誤控制；重復(fù)上述步驟，直至對測試樣本的認知準確性達到設(shè)定值，實現(xiàn)錯誤控制；根據(jù)訓練和再訓練的決策模型，判斷并輸出決策結(jié)果。本發(fā)明能夠進一步控制認知決策的準確性。
【專利說明】
基于深度置信網(wǎng)絡(luò)的認知決策方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及認知計算技術(shù)領(lǐng)域，特別涉及基于深度置信網(wǎng)絡(luò)的認知決策方法。
【背景技術(shù)】
[0002] 在數(shù)據(jù)規(guī)模不斷膨脹的今天，用戶從中提取自己感興趣的信息的過程變得愈發(fā)困 難。在這種背景下，如何通過計算機實現(xiàn)類似人類的認知與判斷，發(fā)現(xiàn)規(guī)律，從而做出準確 的判斷就顯得尤為重要。現(xiàn)有基于多層感知器分類決策技術(shù)在尋找局部最優(yōu)解的時候存在 一定的困難，耗費時間較長。深度置信網(wǎng)絡(luò)在一定程度上能夠解決多層感知器尋找局部最 優(yōu)解的難題，但是如何提高其準確性，仍是一個十分重要問題。

【發(fā)明內(nèi)容】

[0003] 鑒于上述現(xiàn)有技術(shù)的不足之處，本發(fā)明提出一種基于深度置信網(wǎng)絡(luò)的認知決策方 法，借用深度置信網(wǎng)絡(luò)訓練模型，在決策過程中通過對誤認知樣本的再學習，提升認知決策 的準確性。
[0004] 基于深度置信網(wǎng)絡(luò)的認知決策方法，包括：
[0005] 步驟1、選取輸入樣本集，根據(jù)樣本集建立輸入模型，對輸入樣本集的數(shù)據(jù)進行分 類屬性特征提??；
[0006] 步驟2、對深度置信網(wǎng)絡(luò)進行訓練，首先單獨逐層訓練每一層的限制玻爾茲曼機， 然后在深度置信網(wǎng)絡(luò)最后一層設(shè)置BP網(wǎng)絡(luò)，使用上一層限制玻爾茲曼機的輸出作為BP網(wǎng)絡(luò) 的輸入，最后采用反向傳播網(wǎng)絡(luò)將錯誤信息自上到下傳遞給各層限制玻爾茲曼機；
[0007] 步驟3、深度置信網(wǎng)絡(luò)的輸出作為決策過程的輸入，對決策過程進行訓練，調(diào)整權(quán) 值和閾值，對誤認知樣本進行再訓練；
[0008] 步驟4、判斷信息是否達到預(yù)設(shè)的準確度，若是則訓練結(jié)束；否則繼續(xù)判斷是否達 到再訓練所設(shè)定的循環(huán)次數(shù)，若是則訓練結(jié)束，否則重復(fù)步驟3;
[0009] 步驟5、輸出決策結(jié)果。
[0010] 步驟3的具體過程為：
[0011] S31、記錄所有誤認知樣本，并獲取所述誤認知樣本的決策函數(shù)輸出范圍[yi，y2];
[0012] S32、對所有決策函數(shù)輸出范圍在[yi，y2]的樣本進行再訓練，并構(gòu)建再訓練決策函 數(shù)；
[0013] S33、對所有決策函數(shù)輸出范圍在[yl，y2]的樣本，采用所述再訓練決策函數(shù)進行 再認知訓練，并按照第一次決策中的訓練方法對所述再訓練決策函數(shù)的閾值和權(quán)值進行訓 練；
[0014] S34、重復(fù)S31~S33,直至認知結(jié)果準確度達到設(shè)定值。
[0015] 本發(fā)明通過對海量數(shù)據(jù)進行建模與特征提取，獲取輸入信息；利用深度置信網(wǎng)絡(luò) 技術(shù)訓練模型，獲取初始訓練結(jié)果;通過誤認知數(shù)據(jù)再訓練機制來保證模型認知的準確性； 增加了誤認知樣本數(shù)據(jù)再訓練機制，構(gòu)建一種新的具有錯誤控制功能的認知決策模型，并 對無法正確認知的樣本進行再次決策，直至滿足設(shè)定的誤差閾值。本發(fā)明能夠有效提高對 信息有效性認知決策的準確度。
【附圖說明】
[0016] 圖1為基于深度置信網(wǎng)絡(luò)的認知決策模型；
[0017] 圖2為基于深度置信網(wǎng)絡(luò)的認知決策方法的流程圖。
【具體實施方式】
[0018] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對 本發(fā)明進行進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。
[0019] 在本實施例使用的訓練模型中，深度置信網(wǎng)絡(luò)的每一層都是一個受限玻爾茲曼 機。為了使討論更具一般性，假設(shè)深度置信網(wǎng)絡(luò)訓練的每一層都是一個包含可視層和隱藏 層的馬爾科夫隨機場模型(Random Markov Field)，用V=(Vi，...，Vm)表示顯示層變量矩 陣，用11=(出，...，仏)表示隱藏層變量矩陣，根據(jù)(V，H)吉布斯分布，用隱藏層變量矩陣H來 表示顯示層變量矩陣V的邊緣分布：
[0020] h ^ h
[0021] 其中：
[0022] C=^cxp(-￡(v,h)) (2) Xh
[0023] 根據(jù)公式(2)，定義模型參數(shù)0的似然函數(shù)如下：
[0024] In /--(0|v) = In p(vjB) = In Vcxp(-￡(v,h))-ln^oxp(--￡(v,h)') (3) i. v：,h
[0025] 根據(jù)上述似然函數(shù)，計算參數(shù)0調(diào)整的梯度值：
v4)
[0027]每一個受限玻爾茲曼機都包含兩層:一層隱藏層和一層可視層，分別代表隱藏變 量和顯示變量。在受限玻爾茲曼機中，可視層和隱藏層都不與自身相連接。假設(shè)取值只有0 和1，可以得到該受限玻爾茲曼機網(wǎng)絡(luò)的能量方程：
(5)
[0029]從公式（5)可以看出，該能量方程中，權(quán)重只需要全局調(diào)節(jié)，偏置因子也是相互獨 立的。如果將受限玻爾茲曼機看做一個圖，則該圖只存在隱藏層與可視層之間的連接而不 存在層內(nèi)的連接。根據(jù)吉布斯分布和公式(5)的能量方程，可以推算出條件概率公式如下：
[0030] m P(V, = 11 h) = w^h, + b.) ( 6 ) /=!
[0031] m P(I/.=!!%) = a(^ H；, v； + r,.} (7 ) ?=1
[0032] 根據(jù)梯度計算公式(4)、能量方程公式(5)以及公式(6) (7)，得到權(quán)重梯度更新 [0033]計算方程：
(8)
[0035]偏執(zhí)因子更新方程：
[0038] 采用對比散度(Contrastive Divergence)算法來訓練RBM網(wǎng)絡(luò)，根據(jù)公式（8)、（9) 和(10)，當訓練C個數(shù)據(jù)點時，得到以下權(quán)重參數(shù)以及偏置因子參數(shù)調(diào)整的計算公式： (9) (10)
[0042]根據(jù)公式（11)、（12)和（13)，可以得到一個通用的參數(shù)0的學習函數(shù)： (11) (12) (13)
(14 >
[0044] 在公式(14)中，參數(shù)巾表示慣性項因子，參數(shù)q代表學習率，參數(shù)X表示懲罰因子。
[0045] -個深度置信網(wǎng)絡(luò)本質(zhì)上是由一系列的受限玻爾茲曼機構(gòu)成的。每一個受限玻爾 茲曼機的隱藏層是下一層受限玻爾茲曼機的顯示層。RBM網(wǎng)絡(luò)的訓練是從第一層開始，當?shù)?一層的所有訓練步驟執(zhí)行完成后，會將學習（抽象)到的特征格式化放在隱藏層作為下一層 RBM網(wǎng)絡(luò)的輸入進行訓練。這個步驟將重復(fù)執(zhí)行，直到最后一層的RBM網(wǎng)絡(luò)都訓練前。在最后 一層訓練前，將有一個反饋機制來修正訓練參數(shù)。注意，這個反饋修正只對最后一層RBM有 效。
[0046] 圖1是本發(fā)明的認知決策模型，信息內(nèi)容用a=[ai，a2, . . .，aml]表示，上下文信息 用...，bm2]表示。表示有ml種信息種類和m2種上下文信息種類。a和b共同組成深 度置信網(wǎng)絡(luò)的輸入x=[a，b]。
[0047] 圖2是本實施例的實施流程圖，通過對海量數(shù)據(jù)進行建模與特征提取，獲取輸入信 息;利用深度置信網(wǎng)絡(luò)技術(shù)訓練模型，獲取初始訓練結(jié)果;通過誤認知數(shù)據(jù)再訓練機制來保 證模型認知的準確性，進一步改善了認知決策的準確率性能。
[0048]本發(fā)明方案所公開的技術(shù)手段不僅限于上述實施方式所公開的技術(shù)手段，還包括 由以上技術(shù)特征任意組合所組成的技術(shù)方案。
【主權(quán)項】
1. 基于深度置信網(wǎng)絡(luò)的認知決策方法，其特征在于，包括： 步驟1、選取輸入樣本集，根據(jù)樣本集建立輸入模型，對輸入樣本集的數(shù)據(jù)進行分類屬 性特征提??； 步驟2、對深度置信網(wǎng)絡(luò)進行訓練，首先單獨逐層訓練每一層的限制玻爾茲曼機，然后 在深度置信網(wǎng)絡(luò)最后一層設(shè)置BP網(wǎng)絡(luò)，使用上一層限制玻爾茲曼機的輸出作為BP網(wǎng)絡(luò)的輸 入，最后采用反向傳播網(wǎng)絡(luò)將錯誤信息自上到下傳遞給各層限制玻爾茲曼機； 步驟3、深度置信網(wǎng)絡(luò)的輸出作為決策過程的輸入，對決策過程進行訓練，調(diào)整權(quán)值和 閾值，對誤認知樣本進行再訓練； 步驟4、判斷信息是否達到預(yù)設(shè)的準確度，若是則訓練結(jié)束；否則繼續(xù)判斷是否達到再 訓練所設(shè)定的循環(huán)次數(shù)，若是則訓練結(jié)束，否則重復(fù)步驟3; 步驟5、輸出決策結(jié)果。2. 根據(jù)權(quán)利要求1所述的基于深度置信網(wǎng)絡(luò)的認知決策方法，其特征在于，步驟3的具 體過程為： 531、 記錄所有誤認知樣本，并獲取所述誤認知樣本的決策函數(shù)輸出范圍[yi，y2]; 532、 對所有決策函數(shù)輸出范圍在[yi，y2]的樣本進行再訓練，并構(gòu)建再訓練決策函數(shù)； 533、 對所有決策函數(shù)輸出范圍在[yi，y2]的樣本，采用所述再訓練決策函數(shù)進行再認知 訓練，并按照第一次決策中的訓練方法對所述再訓練決策函數(shù)的閾值和權(quán)值進行訓練； 534、 重復(fù)S31~S33,直至認知結(jié)果準確度達到設(shè)定值。
【文檔編號】G06K9/62GK105894011SQ201610184418
【公開日】2016年8月24日
【申請日】2016年3月28日
【發(fā)明人】王堃, 陸恒, 岳東, 孫雁飛, 吳蒙, 亓晉, 陳思光
【申請人】南京郵電大學