一種基于神經(jīng)形態(tài)電路的類腦協(xié)處理器的制造方法
【技術領域】
[0001]本發(fā)明涉及一種計算機領域的裝置，具體講涉及一種基于神經(jīng)形態(tài)電路的類腦協(xié)處理器。
【背景技術】
[0002]自從上世紀四十年代，馮?諾依曼提出采用二進制和程序存儲計算機架構以來，計算機依靠電子技術的不斷改進和摩爾定律不斷微縮計算機高速發(fā)展到今天。依靠順序執(zhí)行預定義的代碼，通過總線在存儲器和處理器間不斷調(diào)用數(shù)據(jù)，計算機具有強大的數(shù)值處理能力。在此基礎上，人們已經(jīng)開發(fā)出各種具有復雜功能的大型軟件，廣泛用于軍事、經(jīng)濟、教育和科研等各個領域，當今世界科技的發(fā)展與進步同計算機密不可分。
[0003]大數(shù)據(jù)信息網(wǎng)絡和智能移動設備的蓬勃發(fā)展，產(chǎn)生了海量非結構化信息，伴生了對這些信息的高效能處理需求的急劇增長。然而，傳統(tǒng)馮.諾依曼計算機在處理上述問題時面臨兩方面的巨大挑戰(zhàn)。一方面是其處理器和存儲器分離，由于采用總線通信、同步、串行和集中的工作方式，在處理大型復雜問題時不僅能耗高、效率低，而且面向數(shù)值計算的特性使其在處理非形式化問題時軟件編程復雜度高，甚至無法實現(xiàn)。另一方面，其主要遵循摩爾微縮定律增加密度、降低成本和提高性能，本發(fā)明人預計在未來10到15年內(nèi)微縮將抵達其物理極限，靠物理微縮這一手段難以進一步提高能效，其發(fā)展必將受到根本性限制。
[0004]因此，2011年國際半導體技術發(fā)展指南中指出了解決上述挑戰(zhàn)的有效策略之一是借鑒人腦發(fā)展類腦計算技術。擁有111量級的神經(jīng)元和115量級的可塑突觸連接，體積僅為2升的人腦具有現(xiàn)有計算機架構無法比擬的并行計算、強魯棒性、可塑性和容錯能力，而其能耗僅為10瓦量級。神經(jīng)網(wǎng)絡由大量神經(jīng)元構成，雖然單個神經(jīng)元結構和行為比較簡單，但通過一定地學習規(guī)則卻能呈現(xiàn)出豐富的網(wǎng)絡處理功能。這種網(wǎng)絡結構不同于傳統(tǒng)的計算機處理方式，通過信息的分布式存儲和并行協(xié)同處理，只需定義基本的學習規(guī)則即可模擬出大腦的自適應學習過程，不需明確的編程，處理一些非形式化問題時具有優(yōu)勢。
[0005]實現(xiàn)類腦計算技術的方法主要有兩種:一種是利用軟件算法在現(xiàn)有計算機架構上模擬并行分布式類腦計算神經(jīng)網(wǎng)絡，另一種是用大規(guī)模集成模擬、數(shù)字或數(shù)模混合的電路及軟件系統(tǒng)來實現(xiàn)，即神經(jīng)形態(tài)(Neuronmorphic)器件[1_2]。但由于軟件算法實現(xiàn)的類腦計算模型執(zhí)行載體仍是傳統(tǒng)計算機，其能耗較之人腦的能源效率優(yōu)化仍有很大差距。而基于硅技術的由神經(jīng)形態(tài)器件實現(xiàn)的類腦計算神經(jīng)網(wǎng)絡能耗較之目前的軟件實現(xiàn)辦法有顯著改善。因此，目前最有效的方法是基于神經(jīng)形態(tài)電路的類腦計算方案。
[0006]微納加工技術在最近二三十年迅猛發(fā)展，新型納米器件(包括相變器件[3]和阻變器件[4]等)也迅速發(fā)展，依靠不同的電阻阻值來區(qū)分不同的存儲狀態(tài)。一方面，其讀寫速度、器件密度、編程電壓等各項指標都可以與當今領先的存儲技術媲美；且其掉電不丟失，屬于非易失性器件，能耗相當?shù)停浅＿m合作為新一代存儲器。另一方面，其電阻狀態(tài)可通過電信號調(diào)制，該特性可以模擬神經(jīng)網(wǎng)絡間連接突觸連接權重自適應修改的行為[5-6]。Nature雜志2013年11月06日在特刊中報道了新型納米器件有望為神經(jīng)形態(tài)器件帶來突破[7]。
[0007]目前，國際上許多知名企業(yè)、研究機構和大學目前已開展類腦計算的相關研究，例如IBM公司[8]、ARM公司[2]、HP公司[9]、瑞士洛桑聯(lián)邦理工學院[10]、海德堡大學和斯坦福大學等?？梢?，借助基于神經(jīng)形態(tài)器件的類腦計算來推動信息技術的發(fā)展已經(jīng)成為國際研究的趨勢。但類腦計算技術的發(fā)展尚處于探索階段，尚無具體的應用場景，缺乏能夠與當今的計算機技術結合的相關應用。
[0008]為了克服傳統(tǒng)計算機難以解決非形式化問題和/或非結構化信息的弊端，本發(fā)明提出了基于神經(jīng)形態(tài)電路的類腦協(xié)處理器。

【發(fā)明內(nèi)容】

[0009]本發(fā)明的上述目的是通過基于神經(jīng)形態(tài)電路的類腦協(xié)處理器的技術方案來實現(xiàn)的。
[0010]一種基于神經(jīng)形態(tài)電路的類腦協(xié)處理器，所述類腦協(xié)處理器包括存儲模塊、處理模塊和數(shù)據(jù)接口，其改進之處在于:所述處理模塊為集存儲與處理于一體的具有階層結構的神經(jīng)形態(tài)電路的處理模塊；
[0011]所述存儲模塊為存儲訓練特征信息的存儲模塊；
[0012]所述類腦協(xié)處理器包括:分別與所述基于神經(jīng)形態(tài)電路的處理模塊的輸入端和輸出端連接的編碼器和解碼器，以及分別與所述存儲訓練特征信息的存儲模塊和所述解碼器的輸出端連接的比對模塊。
[0013]進一步的，所述存儲模塊根據(jù)指令輸出訓練特征信息集合；
[0014]所述編碼器對待處理信息進行選擇和分類，將表述待處理信息的信號轉換為類神經(jīng)傳輸信號，并發(fā)送至所述處理模塊；
[0015]所述處理模塊根據(jù)所述類神經(jīng)傳輸信號輸出類腦計算后包含特征信息的類神經(jīng)傳輸信號；
[0016]所述解碼器將所述包含特征信息的類神經(jīng)傳輸信號轉換為特征信息；
[0017]所述比對模塊將所述特征信息和所述訓練特征信息集合進行對比，輸出比對結果O
[0018]進一步的，所述處理模塊為通過基于階層結構的神經(jīng)形態(tài)電路接收輸入信號，存儲和處理信息，完成類腦計算并輸出結果的處理模塊。
[0019]進一步的，所述神經(jīng)形態(tài)電路的階層結構按硬件結構劃分或軟件配置劃分。
[0020]進一步的，所述硬件結構劃分為利用不同的物理結構來構造所述神經(jīng)形態(tài)電路的階層結構。
[0021]進一步的，所述軟件配置劃分為利用不同底層硬件網(wǎng)絡配置文件的路由信息來構造所述神經(jīng)形態(tài)電路的階層結構。
[0022]進一步的，所述神經(jīng)形態(tài)電路的層數(shù)為1-100層；所述階層結構的神經(jīng)形態(tài)電路的信號傳遞是通訊模塊實現(xiàn)的。
[0023]進一步的，所述階層結構的神經(jīng)形態(tài)電路的各層結構包括相同和/或不同結構的電路。
[0024]進一步的，所述階層結構的神經(jīng)形態(tài)電路的各層結構包括相同數(shù)目和/或不同數(shù)目的神經(jīng)形態(tài)器件。
[0025]進一步的，所述通訊模塊的通訊模式包括逐層傳遞和隔層傳遞，間隔為0-98層。
[0026]進一步的，所述神經(jīng)形態(tài)電路包括其間通過AER機制通信的神經(jīng)形態(tài)節(jié)點。
[0027]進一步的，所述神經(jīng)形態(tài)節(jié)點包括選擇網(wǎng)絡路徑的片上路由網(wǎng)絡及存儲并處理信息的片上神經(jīng)形態(tài)網(wǎng)絡。
[0028]進一步的，所述片上路由網(wǎng)絡包括路由信息。
[0029]進一步的，所述片上神經(jīng)形態(tài)網(wǎng)絡包括神經(jīng)形態(tài)器件。
[0030]進一步的，所述神經(jīng)形態(tài)節(jié)點內(nèi)、所述神經(jīng)形態(tài)節(jié)點間、所述神經(jīng)形態(tài)電路的層間通過類神經(jīng)傳輸信號通信。
[0031]進一步的，所述神經(jīng)形態(tài)節(jié)點內(nèi)的神經(jīng)形態(tài)器件產(chǎn)生類神經(jīng)傳輸信號，經(jīng)過片上路由網(wǎng)絡添加AER信息，再發(fā)送至下一神經(jīng)形態(tài)節(jié)點。
[0032]進一步的，所述片上路由網(wǎng)絡由接收類神經(jīng)傳輸信號中的AER信息，通過所述AER信息識別所述片上神經(jīng)形態(tài)網(wǎng)絡的目標神經(jīng)形態(tài)器件。
[0033]進一步的，所述AER信息包括節(jié)點地址和片內(nèi)神經(jīng)形態(tài)器件地址。
[0034]進一步的，所述節(jié)點地址標識產(chǎn)生類神經(jīng)傳輸信號的類神經(jīng)元器件所屬神經(jīng)形態(tài)節(jié)點的位置。
[0035]進一步的，所述片內(nèi)神經(jīng)形態(tài)器件地址標識產(chǎn)生類神經(jīng)傳輸信號的神經(jīng)形態(tài)器件在所述神經(jīng)形態(tài)節(jié)點的位置。
[0036]進一步的，所述片上路由網(wǎng)絡接收類神經(jīng)傳輸信號，獲取所述類神經(jīng)傳輸信號中的AER信息，讀取路由信息，選擇網(wǎng)絡路徑，通過所述片上路由網(wǎng)絡的端點將所述類神經(jīng)傳輸信號傳送至神經(jīng)形態(tài)節(jié)點。
[0037]進一步的，所述網(wǎng)絡路徑包括神經(jīng)形態(tài)節(jié)點間的網(wǎng)絡路徑、片上神經(jīng)形態(tài)網(wǎng)絡間的網(wǎng)絡路徑和神經(jīng)形態(tài)器件間的網(wǎng)絡路徑。
[0038]進一步的，所述神經(jīng)形態(tài)器件包括類樹突器件、類神經(jīng)元胞體器件、類軸突器件和類關觸器件。
[0039]進一步的，所述類樹突器件用于接收所述類軸突器件和/或類神經(jīng)元胞體器件輸出的類神經(jīng)傳輸信號，實現(xiàn)所述類神經(jīng)傳輸信號的積分。
[0040]進一步的，所述類神經(jīng)元胞體器件用于接收并處理外部輸入信號和/或所述類樹突器件輸出的類神經(jīng)傳輸信號。
[0041]進一步的，所述類軸突器件為所述類神經(jīng)元胞體器件的輸出通道，將所述類神經(jīng)元胞體器件發(fā)出的類神經(jīng)傳輸信號傳遞給其他神經(jīng)形態(tài)器件。
[0042]進一步的，所述類突觸器件為所述神經(jīng)形態(tài)器件之間的連接器件，所述類突觸器件根據(jù)兩端類神經(jīng)傳輸信號調(diào)整自身的連接權重。
[0043]進一步的，所述處理模塊包括關聯(lián)模塊、擴展模塊、固化功能網(wǎng)絡模塊和/或可配置功能網(wǎng)絡模塊。
[0044]進一步的，所述關聯(lián)模塊為記錄處理模塊中每個功能網(wǎng)絡模塊內(nèi)信號的通訊規(guī)貝U，使固化功能網(wǎng)絡模塊相互關聯(lián)組合，實現(xiàn)所述固化功能網(wǎng)絡模塊的信息關聯(lián)，共同處理信息的模塊。
[0045]進一步的，所述擴展模塊為將已有功能網(wǎng)絡模塊配置為組合功能的模塊。
[0046]進一步的，所述固化功能網(wǎng)絡模塊包括:聲音功能網(wǎng)絡模塊、靜態(tài)圖像功能網(wǎng)絡模塊、文本功能網(wǎng)絡模塊、數(shù)值功能網(wǎng)絡模塊、動態(tài)視頻功能網(wǎng)絡模塊和其他功能網(wǎng)絡模塊，分別用于對聲音、靜態(tài)圖片、文本、數(shù)值、動態(tài)視頻和其他輸入信號進行類腦計算，輸出聲音、靜態(tài)圖片、文本、數(shù)值和/或動態(tài)視頻的表述特征信息的類神經(jīng)傳輸信號。
[0047]進一步的，所述處理模塊中每個所述固化功能網(wǎng)絡模塊內(nèi)信號通過一定的規(guī)則進行通訊，模塊之間信號通過一定的規(guī)則進行通訊，實現(xiàn)所述處理模塊的信息轉換。
[0048]進一步的，所述存儲模塊包括用于存儲訓練特征信息的訓練特征庫和/或可配置訓練特征庫。
[0049]進一步的，所述存儲模塊根據(jù)接收的計算指令確定所述訓練特征庫，輸出訓練特征信息集合。
[0050]進一步的，所述訓練特征庫包括分別存儲聲音、靜態(tài)圖片、文本、數(shù)值和動態(tài)視頻的相關訓練特征信息的聲音特征存儲庫、靜態(tài)圖像特征存儲庫、文本特征存儲庫、數(shù)值特征存儲庫、動態(tài)視頻特征存儲庫和/或其他可配置功能存儲庫。
[0051 ] 進一步的,所述聲音特征存儲庫、所述靜態(tài)圖像特征存儲庫、所述文本特征存儲庫、所述數(shù)值特征存儲庫、所述動態(tài)視頻特征存儲模塊相互關聯(lián)。
[0052]進一步的，所述數(shù)據(jù)接口包括與數(shù)據(jù)總線交互的信息交換接口、其他相同結構和/或不同結構的類腦協(xié)處理器連接的擴展接口、智能傳感輸入接口和智能控制輸出接口。
[0053]進一步的，根據(jù)底層硬件網(wǎng)絡配置文件，通過訓練將所述可配置功能網(wǎng)絡模塊轉換成所述固化功能網(wǎng)絡模塊，可配置特征存儲庫提取訓練產(chǎn)生的類神經(jīng)傳輸信號的特征信息，存儲所述特征信息形成訓練特征庫。
[0054]進一步的，所述訓練特征庫與所述固化功能網(wǎng)絡模塊通過計算指令關聯(lián)。
[0055]進一步的，所述底層硬件網(wǎng)絡配置文件包括路由信息、神經(jīng)形態(tài)節(jié)點間的通訊協(xié)議、神經(jīng)形態(tài)節(jié)點中的片上路由網(wǎng)絡的通訊協(xié)議、神經(jīng)形態(tài)節(jié)點中的神經(jīng)形態(tài)器件中的器件信息、神經(jīng)形態(tài)器件輸入輸出接口的封裝信息。
[0056]進一步的，所述器件信息包括類神經(jīng)元胞體器件模型和參數(shù)、類突觸器件模型和參數(shù)、類樹突器件的模型和參數(shù)、類軸突器件的模型和參數(shù)。
[0057]進一步的，所述存儲模塊和所述比對模塊為內(nèi)嵌式或外接式的模塊。
[0058]進一步的，所述存儲模塊與所述處理模塊協(xié)同計算機完成類腦計算。
[0059]進一步的，所述類腦協(xié)處理器用于處理所述非形式化問題和/或形式化問題，非結構化信息和/或結構化信息。
[0060]與現(xiàn)有技術相比，本發(fā)明的有益效果在于:
[0061]1、本發(fā)明的技術方案中的基于神經(jīng)形態(tài)電路的類腦協(xié)處理器采用并行計算和分布式存儲，大大提高了工作效率；
[0062]由于該協(xié)處理器是基于神經(jīng)形態(tài)電路實現(xiàn)并行協(xié)同處理和分布式存儲的，所以當電路中的某一器件出現(xiàn)故障時，協(xié)處理器仍可完成處理和存儲，具有現(xiàn)有技術中無法比擬的強大的容錯能力；
[0063]又由于該類腦協(xié)處理器是通過神經(jīng)形態(tài)電路的分層結構來逐級處理的，所以實現(xiàn)非形式化問題和/或非結構化信息的處理較之現(xiàn)有技術的效率要高。
[0064]2、本發(fā)明提供的類腦協(xié)處理器是基于神經(jīng)形態(tài)電路的，電路中的類突觸器件是通過類神經(jīng)傳輸信號調(diào)整自身的連接權重實現(xiàn)自適應性，快速完成類腦計算，適于處理非形式化問題和/或非結構化信息。
[0065]3、本發(fā)明提供的技術方案中的神經(jīng)形態(tài)電路是按一定的連接規(guī)則將簡單的基礎器件連接起來，最終實現(xiàn)自適應，大大簡化了編程，整個處理過程只需定義簡單的計算規(guī)則和通訊規(guī)則。
[0066]4、本發(fā)明提供的技術方案中的基于神經(jīng)形態(tài)電路的類腦協(xié)處理器，將存儲和處理集成到一起，與依靠總線傳輸數(shù)據(jù)的存儲與計算分離的傳統(tǒng)計算機結構相比，一方面大大提高了速度，另一方面顯著降低了能耗。
[0067]5、本發(fā)明提供的技術方案中的基于神經(jīng)形態(tài)電路的類腦協(xié)處理器，將神經(jīng)形態(tài)網(wǎng)絡硬件化并利用硬件處理的高速性，從而大大提高了系統(tǒng)的處理速度；
[0068]由于提供的神經(jīng)形態(tài)電路既可以采用傳統(tǒng)的硅晶體管器件；也可以采用新型納米器件(包括相變器件、阻變器件、自旋電子學器件、單電子器件等)，進一步獲得高密度和低能耗處理的技術效果。
[0069]6、本發(fā)明的類腦協(xié)處理器中各種固化網(wǎng)絡和與之對應的各種特