一種神經(jīng)元硬件結(jié)構(gòu)及用這種結(jié)構(gòu)模擬脈沖神經(jīng)網(wǎng)絡(luò)的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及大規(guī)模脈沖神經(jīng)網(wǎng)絡(luò)技術(shù)，具體是一種用神經(jīng)元硬件結(jié)構(gòu)模擬脈沖神經(jīng)網(wǎng)絡(luò)的方法。
【背景技術(shù)】
[0002]神經(jīng)科學(xué)的快速發(fā)展已經(jīng)積累了很多關(guān)于人類大腦結(jié)構(gòu)和功能的知識。研究表明大腦是由密集的、復(fù)雜的神經(jīng)元互聯(lián)組成，其顯現(xiàn)出許多驚人的特性，例如模式識別和決策控制等。當(dāng)前關(guān)于生物神經(jīng)元的理解是:它們通過脈沖的時序傳輸信息和進(jìn)行計算。研究者提出了脈沖神經(jīng)網(wǎng)絡(luò)的計算模型，它模擬了神經(jīng)元之間的信息傳輸和神經(jīng)元內(nèi)部的信號處理等行為。目前有許多領(lǐng)域采用基于脈沖神經(jīng)網(wǎng)絡(luò)的運算方法，例如預(yù)測、圖像處理、模式識別和人工視覺系統(tǒng)等等，這些應(yīng)用都要求大量的神經(jīng)元互聯(lián)形成一個脈沖神經(jīng)網(wǎng)絡(luò)系統(tǒng)，因此，需要一個高效的架構(gòu)去構(gòu)建脈沖神經(jīng)網(wǎng)絡(luò)硬件系統(tǒng)。
[0003]目前在實現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò)時，常用的方法是采用軟件模擬脈沖神經(jīng)網(wǎng)絡(luò)的方法。軟件建模模擬脈沖神經(jīng)網(wǎng)絡(luò)比較容易實現(xiàn)、開發(fā)周期短，但是軟件一般是基于馮.諾依曼的串行執(zhí)行架構(gòu)，因此對于大規(guī)模神經(jīng)網(wǎng)絡(luò)而言，軟件模擬需要占用大量的模擬時間并且可拓展性較差。
[0004]其它的實現(xiàn)方法包括采用專用集成電路。比如單片VLSI模型(VeryLarge ScaleIntegrat1n，也就是VLSI，超大規(guī)模集成電路)和晶片規(guī)模的神經(jīng)元專用集成電路系統(tǒng)。相對第一類軟件模擬的方法，這種方法在執(zhí)行速度上有了很大的提高；另外也可以采用FPGA的器件(Field Programmable Gate Array，也就是FPGA，現(xiàn)場可編程門陣列)來實現(xiàn)，現(xiàn)場可編程門陣列器件可以實現(xiàn)一個高度并行的數(shù)字系統(tǒng)，且可以通過比特流更改器件配置，具有較好的靈活性。在采用專用集成電路和現(xiàn)場可編程門陣列器件實現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò)的過程中，神經(jīng)元節(jié)點的硬件結(jié)構(gòu)非常重要。因為如果神經(jīng)元節(jié)點占用的硬件資源較少，那么硬件器件就可以容納更多的神經(jīng)元，非常利于實現(xiàn)大規(guī)模神經(jīng)網(wǎng)絡(luò)硬件系統(tǒng)。
[0005]因此脈沖神經(jīng)網(wǎng)絡(luò)的實現(xiàn)需要考慮系統(tǒng)可拓展的能力，較低的計算資源消耗，和較高的執(zhí)行速度。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足，而提供一種用神經(jīng)元硬件結(jié)構(gòu)模擬脈沖神經(jīng)網(wǎng)絡(luò)的方法。這種神經(jīng)元硬件結(jié)構(gòu)能減少單個神經(jīng)元節(jié)點占用的硬件資源。通過使用這種神經(jīng)元硬件結(jié)構(gòu)模擬脈沖神經(jīng)網(wǎng)絡(luò)，具有模擬時間短、可拓展性較好，而且能夠減少脈沖神經(jīng)網(wǎng)絡(luò)占用的硬件資源，進(jìn)而能提高硬件器件容納神經(jīng)元的能力。
[0007]實現(xiàn)本
【發(fā)明內(nèi)容】
的技術(shù)方案是:
一種神經(jīng)元硬件結(jié)構(gòu)，包括神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)包括多個神經(jīng)元層，所述神經(jīng)元層包含多個神經(jīng)元，所述神經(jīng)元包含一個突觸層，所述突觸層包含多個突觸。
[0008]所述的突觸為IP核，所述IP核的輸入、輸出信號端口包括脈沖輸入端口、配置信息輸入端口、在恢復(fù)狀態(tài)的資源份數(shù)輸入/輸出端口、在活動狀態(tài)的資源份數(shù)輸入/輸出端口、在不活動狀態(tài)的資源份數(shù)輸入/輸出端口、突觸電流輸入/輸出端口、突觸效能的利用率輸入/輸出端口和輸入/輸出握手信號端口。
[0009]所述的突觸層為多個突觸并聯(lián)形成的突觸網(wǎng)絡(luò)。
[0010]所述的神經(jīng)元包括神經(jīng)元計算核心、數(shù)據(jù)包解碼器、參數(shù)存儲器、脈沖緩存器、細(xì)胞控制器、脈沖產(chǎn)生控制器、拓?fù)湫畔⒋鎯ζ骱屯ㄐ沤涌谀K，通信接口模塊、數(shù)據(jù)包解碼器、脈沖緩存器、神經(jīng)元計算核心、細(xì)胞控制器和脈沖產(chǎn)生控制器順序連接，脈沖產(chǎn)生控制器與通信接口模塊連接，參數(shù)存儲器與數(shù)據(jù)包解碼器、神經(jīng)元計算核心、脈沖產(chǎn)生控制器連接;拓?fù)湫畔⒋鎯ζ髋c數(shù)據(jù)包解碼器、脈沖產(chǎn)生控制器連接；
通信接口模塊與神經(jīng)元層的層控制器連接。
[0011]所述的神經(jīng)元層為多個神經(jīng)元并聯(lián)形成的神經(jīng)元網(wǎng)絡(luò)。
[0012]所述神經(jīng)元層包括順序連接的層數(shù)據(jù)包解碼器、存儲器、神經(jīng)元計算塊、層控制器、層數(shù)據(jù)包生成器和層通信接口模塊，層通信接口模塊與層數(shù)據(jù)包解碼器連接；
層通信接口模塊與全局通信模塊連接。
[0013]—種用上述的神經(jīng)元硬件結(jié)構(gòu)模擬脈沖神經(jīng)網(wǎng)絡(luò)的方法，包括如下步驟:
1)確定突觸模型:采用具有動態(tài)突觸特性的神經(jīng)元數(shù)學(xué)模型模擬生物學(xué)突觸的動力學(xué)特性；
2)模擬突觸:基于具有動態(tài)突觸特性的神經(jīng)元數(shù)學(xué)模型，采用一個IP核模擬單個突觸的功能，并將IP核作為多個突觸共享的計算組件；
3)模擬神經(jīng)元:在同一個神經(jīng)元內(nèi)，多個突觸共享一個突觸的計算組件IP核，多個虛擬的突觸與數(shù)據(jù)包解碼器、參數(shù)存儲器、脈沖緩存器、細(xì)胞控制器、脈沖產(chǎn)生控制器、拓?fù)湫畔⒋鎯ζ骱屯ㄐ沤涌谀K模擬一個神經(jīng)元的功能；
4)模擬神經(jīng)元層:在同一層脈沖神經(jīng)網(wǎng)絡(luò)中，多個神經(jīng)元共享一個神經(jīng)元的計算組件，多個虛擬的神經(jīng)元與層數(shù)據(jù)包解碼器、存儲器、神經(jīng)元計算塊、層控制器、層數(shù)據(jù)包生成器和層通信接口模塊模擬多個神經(jīng)元；
5)模擬神經(jīng)網(wǎng)絡(luò):采用統(tǒng)一格式的數(shù)據(jù)包將多個神經(jīng)元層進(jìn)行互聯(lián)，并且神經(jīng)元層內(nèi)部和多個神經(jīng)元層之間，通過數(shù)據(jù)包進(jìn)行通信，全局通信模塊負(fù)責(zé)所有數(shù)據(jù)包的調(diào)度工作，從而構(gòu)建一個大規(guī)模脈沖神經(jīng)網(wǎng)絡(luò)。
[0014]所述統(tǒng)一格式的數(shù)據(jù)包是指數(shù)據(jù)包括四個部分:神經(jīng)元節(jié)點地址、突觸地址、數(shù)據(jù)包類型和負(fù)載，
在數(shù)據(jù)包中，神經(jīng)元節(jié)點地址表示目的神經(jīng)元節(jié)點的地址；
突觸地址定義了在一個神經(jīng)元內(nèi)突觸的地址；
數(shù)據(jù)包類型部分被用來標(biāo)志數(shù)據(jù)報類型，共有兩種類型:配置數(shù)據(jù)包和脈沖數(shù)據(jù)包。
[0015]所述具有動態(tài)突觸特性的神經(jīng)元數(shù)學(xué)模型為Tsodykes提出的突觸動力學(xué)模型，該模型描述的神經(jīng)元行為如下:通過突觸從其它的神經(jīng)元接受信息，它有多個突觸輸入和單個輸出，輸入突觸產(chǎn)生興奮性或者抑制性突觸后電位進(jìn)入神經(jīng)元細(xì)胞體，然后引起細(xì)胞膜電位的改變;如果細(xì)胞膜電位超過閾值，神經(jīng)元將輸出脈沖，相反則沒有脈沖輸出。
[0016]突觸層的共享和單個神經(jīng)元硬件結(jié)構(gòu)工作原理如下:
當(dāng)通信接口模塊接收到數(shù)據(jù)包時，數(shù)據(jù)包解碼器解碼收到的數(shù)據(jù)包。數(shù)據(jù)包具有兩種類型:配置數(shù)據(jù)包和脈沖數(shù)據(jù)包。數(shù)據(jù)包被解碼完成之后，如果接收到的數(shù)據(jù)包是配置數(shù)據(jù)包，則將其攜帶的配置信息，如權(quán)值、衰減系數(shù)、閾值和拓?fù)湫畔⒌?，分別存入?yún)?shù)存儲器和拓?fù)湫畔⒋鎯ζ?，這些參數(shù)和拓?fù)渑渲眯畔⒎謩e被用于突觸計算和脈沖生成。當(dāng)脈沖數(shù)據(jù)包到達(dá)時，首先從參數(shù)存儲器中讀取配置參數(shù)和初始細(xì)胞膜電位值，然后神經(jīng)元計算核心組件依次計算每個突觸的興奮性突觸后電位或者抑制性突觸電位并輸入到脈沖生成控制器中等待處理。在完成所有突觸的計算之后，脈沖生成控制器將根據(jù)從拓?fù)湫畔⒋鎯ζ髦凶x取的通信參數(shù)生成相應(yīng)的脈沖數(shù)據(jù)包，并通過通信接口模塊傳送到目的神經(jīng)元和突觸。
[0017]神經(jīng)元層的共享:脈沖神經(jīng)網(wǎng)絡(luò)系統(tǒng)一般是由不同的層組成。對于硬件脈沖神經(jīng)網(wǎng)絡(luò)系統(tǒng)，除了單個神經(jīng)元內(nèi)部的共享機制以外，為提供進(jìn)一步優(yōu)化設(shè)計，在相同層的神經(jīng)元也共享一個神經(jīng)元的計算組件。神