專利名稱：具有學(xué)習(xí)和表達(dá)能力的神經(jīng)網(wǎng)絡(luò)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)，具體且不排他地說，本發(fā)明涉及基于一個(gè)或多個(gè)下述特性的神經(jīng)網(wǎng)絡(luò)，所述特性包括時(shí)間、空間、強(qiáng)度、數(shù)量，以及相對(duì)位置；并且可用于學(xué)習(xí)、知識(shí)獲取、發(fā)現(xiàn)、數(shù)據(jù)挖掘和表達(dá)中的一種或多種。
背景技術(shù)：
現(xiàn)有的神經(jīng)網(wǎng)絡(luò)通?；诤２紝W(xué)習(xí)法(Hebbian learning)的單個(gè)解釋。海布概念這一基礎(chǔ)常常被表述為“連在一起的神經(jīng)元一起觸發(fā)(fire)”。實(shí)際的解釋是“連在一起”是由將兩神經(jīng)元連接在一起的突觸實(shí)現(xiàn)的。起連接作用的突觸的強(qiáng)度被修改或加權(quán)，以反映突觸前神經(jīng)元與突觸后神經(jīng)元(或反之亦然)同時(shí)觸發(fā)的重要性/概率。
使用該概念，已發(fā)展出了將若干輸入神經(jīng)元通過突觸關(guān)聯(lián)到若干輸出神經(jīng)元的神經(jīng)網(wǎng)絡(luò)。輸入神經(jīng)元限定輸入狀態(tài)；而輸出神經(jīng)元限定期望輸出。
因此幾乎全部現(xiàn)有的神經(jīng)網(wǎng)絡(luò)都基于三層的概念輸入神經(jīng)元層、隱藏神經(jīng)元層，以及輸出神經(jīng)元層。圖1和圖2是現(xiàn)有神經(jīng)網(wǎng)絡(luò)的圖示。
對(duì)這類神經(jīng)網(wǎng)絡(luò)的訓(xùn)練在其最基本形式中是通過施加特定輸入狀態(tài)到所有輸入神經(jīng)元、選擇特定輸出神經(jīng)元來表示特定輸入狀態(tài)，并調(diào)整隱藏層中突觸強(qiáng)度或權(quán)重。就是說，訓(xùn)練是在假定已知期望輸出的知識(shí)下進(jìn)行的。在訓(xùn)練完成之后，施加不同輸入狀態(tài)將引起不同的輸出神經(jīng)元以不同水平的置信度被激活。因此輸入事件的識(shí)別取決于原始訓(xùn)練狀態(tài)與當(dāng)前輸入狀態(tài)的匹配有多接近。
取決于期望輸出神經(jīng)元的數(shù)目和期望結(jié)果的準(zhǔn)確度，這類神經(jīng)網(wǎng)絡(luò)通常需要數(shù)以百千計(jì)的不同輸入狀態(tài)來進(jìn)行廣泛、重復(fù)的訓(xùn)練。這產(chǎn)生僅有10,000個(gè)輸入和輸出神經(jīng)元數(shù)量級(jí)的實(shí)用網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有多達(dá)一千萬個(gè)互聯(lián)的突觸或表示突觸的權(quán)重(當(dāng)前存在的神經(jīng)網(wǎng)絡(luò)較之具有1012個(gè)神經(jīng)元和1016個(gè)突觸連接的人腦在大小上還是很小的)。
此外，現(xiàn)有網(wǎng)絡(luò)是基于生成預(yù)定義輸出神經(jīng)元來訓(xùn)練的，并且以后可以識(shí)別與用于輸入的訓(xùn)練集非常類似的輸入?，F(xiàn)有的神經(jīng)網(wǎng)絡(luò)不能夠獨(dú)立學(xué)習(xí)，因?yàn)橛?xùn)練它們使用了在先假定一期望目標(biāo)是由輸出神經(jīng)元表示的?，F(xiàn)有神經(jīng)網(wǎng)絡(luò)不能夠根據(jù)輸出層中的任何輸出神經(jīng)元的激勵(lì)來表達(dá)和回憶輸入狀態(tài)。
現(xiàn)有的神經(jīng)網(wǎng)絡(luò)是基于施加獨(dú)立輸入狀態(tài)到網(wǎng)絡(luò)來訓(xùn)練的，其中訓(xùn)練的順序通常不重要。當(dāng)廣泛、深入的訓(xùn)練完成后，輸出神經(jīng)元不再顯著依賴輸入狀態(tài)被施加到網(wǎng)絡(luò)的順序?，F(xiàn)有的神經(jīng)網(wǎng)絡(luò)提供的是完全基于當(dāng)前輸入狀態(tài)的輸出。輸入狀態(tài)施加的順序與網(wǎng)絡(luò)識(shí)別它們的能力無關(guān)。
現(xiàn)有神經(jīng)網(wǎng)絡(luò)可能具有下列缺點(diǎn)的一些或全部1.它們需要基于預(yù)定或期望的輸出目標(biāo)先訓(xùn)練，一它們不學(xué)習(xí)；2.它們僅能識(shí)別與所受訓(xùn)練的輸入狀態(tài)相似的輸入狀態(tài)(對(duì)象)；3.它們計(jì)算量非常大，因此很慢；4.它們?cè)谟?jì)算上受限于表示僅僅相當(dāng)小數(shù)目的神經(jīng)元；5.如果要它們識(shí)別不同的對(duì)象，則它們需要重新訓(xùn)練；6.它們不能通過施加激勵(lì)到輸出神經(jīng)元來表達(dá)或回憶輸入對(duì)象；7.它們基于全部輸入神經(jīng)元的并發(fā)激勵(lì)；8.它們不具創(chuàng)造性，并且不能表達(dá)或回憶事件；9.它們僅能標(biāo)識(shí)/識(shí)別它們所針對(duì)訓(xùn)練的事件；10.它們假定并發(fā)或快速連續(xù)觸發(fā)的神經(jīng)元被突觸鏈接，但是不區(qū)分彼此或神經(jīng)元觸發(fā)的順序；以及11.每個(gè)隱藏層神經(jīng)元可并發(fā)接收來自多個(gè)輸入神經(jīng)元的輸入。

發(fā)明內(nèi)容
根據(jù)一個(gè)方面，提供了包括多個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)神經(jīng)元中的任何一個(gè)神經(jīng)元都能夠通過到所述多個(gè)神經(jīng)元中的又一個(gè)神經(jīng)元的活動(dòng)連接來關(guān)聯(lián)、或者與自身關(guān)聯(lián)、或者與所述多個(gè)神經(jīng)元中的任何其他神經(jīng)元關(guān)聯(lián)。這個(gè)過程被稱作學(xué)習(xí)。
根據(jù)第二方面，提供了包括多個(gè)基本神經(jīng)元(elemental neuron)和多個(gè)結(jié)構(gòu)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，所述多個(gè)結(jié)構(gòu)神經(jīng)元表示任意神經(jīng)元對(duì)之間的關(guān)聯(lián)，所述神經(jīng)元對(duì)是從下述組中選擇的，所述組包括兩個(gè)基本神經(jīng)元、兩個(gè)結(jié)構(gòu)神經(jīng)元、一個(gè)結(jié)構(gòu)神經(jīng)元和一個(gè)基本神經(jīng)元、以及一個(gè)基本神經(jīng)元和一個(gè)結(jié)構(gòu)神經(jīng)元。
每個(gè)結(jié)構(gòu)神經(jīng)元可表示由一對(duì)神經(jīng)元表示的組合信息或記憶。使被組合來形成結(jié)構(gòu)神經(jīng)元的那對(duì)神經(jīng)元回憶的過程被稱作表達(dá)。每個(gè)結(jié)構(gòu)神經(jīng)元僅可從兩個(gè)神經(jīng)元接收輸入。
多個(gè)基本神經(jīng)元可在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的根層中表示；并且每個(gè)基本神經(jīng)元可表示下述至少一個(gè)基本激勵(lì)、定義的基本模式、和定義的基本數(shù)據(jù)元素。每個(gè)基本神經(jīng)元可表示下述一個(gè)或兩個(gè)基本輸入激勵(lì)和正被處理的信息的輸出激勵(lì)。每個(gè)基本神經(jīng)元可以是大腦中神經(jīng)元的等同物，大腦中的神經(jīng)元是從由下述神經(jīng)元組成的組中選擇出的感應(yīng)神經(jīng)元、運(yùn)動(dòng)神經(jīng)元、皮質(zhì)內(nèi)神經(jīng)元以及皮質(zhì)間神經(jīng)元。由神經(jīng)元表示的信息可能是記憶，而處理可能是學(xué)習(xí)或表達(dá)。
所述多個(gè)神經(jīng)元關(guān)聯(lián)可在多個(gè)更深的神經(jīng)元層中表示。所述多個(gè)更深的層中的層的數(shù)目可由待處理或表達(dá)的記憶或模式的范圍決定，其中記憶表示多個(gè)基本神經(jīng)元。表示所述記憶所需的基本神經(jīng)元和結(jié)構(gòu)神經(jīng)元的數(shù)目可由待處理記憶的性質(zhì)決定。
根據(jù)第三方面，提供了包括由關(guān)聯(lián)鏈接的多個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，相同或更深神經(jīng)網(wǎng)絡(luò)層中的神經(jīng)元的所有關(guān)聯(lián)都能夠被表達(dá)。
第四方面提供了包括多個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，每個(gè)神經(jīng)元由陣列中的唯一可尋址的節(jié)點(diǎn)表示。
第五方面提供了包括多個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，每個(gè)神經(jīng)元整體上由陣列中的單個(gè)節(jié)點(diǎn)表示。
第六方面是包括陣列中的多個(gè)節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)，所述陣列中的每個(gè)節(jié)點(diǎn)包括指針。每個(gè)指針是節(jié)點(diǎn)的這樣的數(shù)據(jù)元素，該數(shù)據(jù)元素表示陣列中的特定節(jié)點(diǎn)的唯一的地址，每個(gè)地址表示多個(gè)神經(jīng)元中的神經(jīng)元。每個(gè)指針表示突觸連接。
第七方面提供了包括陣列中的多個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，所述陣列的每個(gè)節(jié)點(diǎn)中存在用于提供表達(dá)和用于記憶的學(xué)習(xí)的指針倒數(shù)第二個(gè)方面提供了包括多個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，每個(gè)神經(jīng)元由陣列中的節(jié)點(diǎn)表示，每個(gè)節(jié)點(diǎn)具有多個(gè)指針，每個(gè)節(jié)點(diǎn)中的每個(gè)指針具有特定和唯一的功能。除了指針可表示基本或根層神經(jīng)元中的基本激勵(lì)的值情形之外，每個(gè)指針包含另一個(gè)神經(jīng)元的地址。所需指針的數(shù)目可取決于所述神經(jīng)網(wǎng)絡(luò)所執(zhí)行的功能。對(duì)于執(zhí)行學(xué)習(xí)和表達(dá)功能的神經(jīng)網(wǎng)絡(luò)，所需指針的數(shù)目至少是四個(gè)。
這樣，所述多個(gè)神經(jīng)元中的每個(gè)神經(jīng)元可由表示所述多個(gè)神經(jīng)元的所述陣列中的相同大小的節(jié)點(diǎn)表示，每個(gè)節(jié)點(diǎn)包含固定數(shù)目的指針。
除了和每個(gè)神經(jīng)元的特性有關(guān)的指針之外，用于表示神經(jīng)元的陣列中的節(jié)點(diǎn)還可維護(hù)的額外的數(shù)據(jù)元素。數(shù)據(jù)元素可被定義為表示每個(gè)神經(jīng)元激活的頻率，它的關(guān)聯(lián)的強(qiáng)度等。
本發(fā)明還擴(kuò)展為包括計(jì)算機(jī)程序代碼的計(jì)算機(jī)可用介質(zhì)，計(jì)算機(jī)程序代碼被配置為使一個(gè)或多個(gè)處理器執(zhí)行一個(gè)或多個(gè)函數(shù)，以執(zhí)行上述方法。
最后一個(gè)方面提供了神經(jīng)網(wǎng)絡(luò)，其中該神經(jīng)網(wǎng)絡(luò)是雙向的，從而使得能夠正向工作和反向工作，正向時(shí)從輸入得到節(jié)點(diǎn)或創(chuàng)建節(jié)點(diǎn)，而反向時(shí)從節(jié)點(diǎn)得到輸入。正向是學(xué)習(xí)，反向是表達(dá)。
所述神經(jīng)網(wǎng)絡(luò)可被用于下述一個(gè)或多個(gè)方面監(jiān)控和預(yù)測(cè)股票價(jià)格運(yùn)動(dòng)、互聯(lián)網(wǎng)監(jiān)測(cè)、互聯(lián)網(wǎng)安全、計(jì)算機(jī)病毒和蠕蟲檢測(cè)、數(shù)據(jù)壓縮、語音和文本中的短語識(shí)別、語音和文本中的從句、剽竊檢測(cè)、生物信息學(xué)、視覺識(shí)別、語義分析和本體表示，以及機(jī)器人學(xué)。


為了容易理解本發(fā)明并將其投入實(shí)用，現(xiàn)在參考說明性附圖對(duì)僅本發(fā)明優(yōu)選實(shí)施方式的非限定性示例進(jìn)行描述，在附圖中
圖1圖示了現(xiàn)有的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；圖2進(jìn)一步圖示了現(xiàn)有的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；圖3圖示了兩個(gè)神經(jīng)元和一個(gè)突觸之間的現(xiàn)有關(guān)系；圖4圖示了根據(jù)本發(fā)明的三個(gè)神經(jīng)元之間的關(guān)系；圖5是本發(fā)明的處理流程的流程圖；圖6圖示了神經(jīng)元和指針/鏈接之間的關(guān)系；圖7(a)到圖7(n)圖示了說明關(guān)聯(lián)的事件序列；圖8是學(xué)習(xí)過程的流程圖；圖9是匹配過程的流程圖；圖10是在學(xué)習(xí)過程期間創(chuàng)建神經(jīng)元的流程圖；以及圖11是神經(jīng)元的表達(dá)的過程的流程圖。
具體實(shí)施例方式
根據(jù)本發(fā)明的優(yōu)選方面本質(zhì)上提供了神經(jīng)網(wǎng)絡(luò)和用于利用神經(jīng)元關(guān)聯(lián)構(gòu)造這種神經(jīng)網(wǎng)絡(luò)的方法，神經(jīng)元關(guān)聯(lián)是基于包括時(shí)間、空間、強(qiáng)度、大小和相對(duì)位置中的至少一個(gè)特性的，并且用于形成記憶，記憶包括輸入激勵(lì)(由基本神經(jīng)元表示)或輸出動(dòng)作(由基本神經(jīng)元表示)中的一個(gè)或兩者。
還提供了由表示多個(gè)基本激勵(lì)的結(jié)構(gòu)神經(jīng)元表示的一個(gè)或多個(gè)記憶的記憶回憶和記憶表達(dá)的任意一個(gè)或兩者。除了其已經(jīng)學(xué)習(xí)的事物之外，神經(jīng)網(wǎng)絡(luò)還允許新的行為或思想的可能表達(dá)，從而可表現(xiàn)出創(chuàng)造性。輸入激勵(lì)可包括聽覺、視覺、觸覺等中的一個(gè)或多個(gè)。
輸出激勵(lì)可包括運(yùn)動(dòng)、動(dòng)作、講話等中的一個(gè)或多個(gè)，每個(gè)都由適當(dāng)?shù)幕旧窠?jīng)元定義。
現(xiàn)有的神經(jīng)網(wǎng)絡(luò)是基于這樣的假定并發(fā)激活兩個(gè)神經(jīng)元(神經(jīng)元B和C)在它們之間創(chuàng)建了活動(dòng)的突觸連接，或增強(qiáng)已有的突觸連接。這在有兩個(gè)神經(jīng)元和一個(gè)突觸的圖3中作出了圖示。
根據(jù)本發(fā)明的一個(gè)方面，激勵(lì)或激活兩個(gè)神經(jīng)元?jiǎng)?chuàng)建了經(jīng)由另外的第三神經(jīng)元(關(guān)聯(lián)神經(jīng)元)的在這兩個(gè)神經(jīng)元之間的關(guān)聯(lián)。這在有三個(gè)神經(jīng)元41、42和43與兩個(gè)突觸44和45的圖4中作出了圖示。為方便起見，這個(gè)基本的神經(jīng)結(jié)構(gòu)在整個(gè)說明書中將被稱作“神經(jīng)元組件”。神經(jīng)元41、42和43可基于鄰近特性而關(guān)聯(lián)在一起，所述特性包括時(shí)間、空間、強(qiáng)度、大小和相對(duì)位置中的至少一個(gè)。神經(jīng)元43處于神經(jīng)結(jié)構(gòu)中比神經(jīng)元41、42兩者更深的層中。神經(jīng)元41、42可處于神經(jīng)結(jié)構(gòu)的相同或不同的層中。神經(jīng)元在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的深度或?qū)邮腔谝磉_(dá)其表示的基本神經(jīng)元所需的步驟數(shù)。
神經(jīng)結(jié)構(gòu)包括神經(jīng)元，其中每個(gè)神經(jīng)元表示數(shù)據(jù)、事件、對(duì)象、概念或行為的記憶。每個(gè)神經(jīng)元所表示的信息的類型可變化，并取決于構(gòu)成神經(jīng)網(wǎng)絡(luò)的基本神經(jīng)元(表示感覺和/或運(yùn)動(dòng)神經(jīng)元激勵(lì))?；炯?lì)僅在每個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的根層處所維護(hù)的基本神經(jīng)元中表示。更深層或后續(xù)層的神經(jīng)元(結(jié)構(gòu)神經(jīng)元)僅表示其他神經(jīng)元的關(guān)聯(lián)，并不在它們本身之中存儲(chǔ)感覺、運(yùn)動(dòng)或基本激勵(lì)值。
神經(jīng)結(jié)構(gòu)中的每個(gè)神經(jīng)元可表示僅兩個(gè)神經(jīng)元的關(guān)聯(lián)，這兩個(gè)神經(jīng)元一個(gè)是起始神經(jīng)元(initiating neuron)，另一個(gè)是被關(guān)聯(lián)神經(jīng)元(associated neuron)，雖然通過關(guān)聯(lián)關(guān)聯(lián)神經(jīng)元(associating neuron)每個(gè)神經(jīng)元可作為起始神經(jīng)元和/或作為被關(guān)聯(lián)神經(jīng)元參與無限數(shù)目的關(guān)聯(lián)。起始神經(jīng)元41可具有任何數(shù)目的后繼神經(jīng)元，例如神經(jīng)元43，其中神經(jīng)元41的后繼神經(jīng)元是將神經(jīng)元41作為其起始神經(jīng)元的關(guān)聯(lián)神經(jīng)元(43)。另一個(gè)神經(jīng)元42可具有任何數(shù)目的前驅(qū)神經(jīng)元(precessorneuron)，其中神經(jīng)元42的前驅(qū)神經(jīng)元是將神經(jīng)元42作為其被關(guān)聯(lián)神經(jīng)元的關(guān)聯(lián)神經(jīng)元(43)。因此，神經(jīng)元43可被稱作關(guān)聯(lián)神經(jīng)元、神經(jīng)元41的后繼神經(jīng)元，或神經(jīng)元42的前驅(qū)神經(jīng)元。
關(guān)聯(lián)是基本神經(jīng)元41、42中的一個(gè)作為起始神經(jīng)元，而一個(gè)是被關(guān)聯(lián)神經(jīng)元。假定神經(jīng)元41是起始神經(jīng)元，那么神經(jīng)元42是被關(guān)聯(lián)神經(jīng)元，當(dāng)神經(jīng)元41觸發(fā)或被激活時(shí)，關(guān)聯(lián)神經(jīng)元43被加強(qiáng)。在神經(jīng)元41觸發(fā)的同時(shí)或隨后，神經(jīng)元42觸發(fā)或被激活，從而也加強(qiáng)了關(guān)聯(lián)神經(jīng)元43。神經(jīng)元43然后被認(rèn)為已激活。如果關(guān)聯(lián)神經(jīng)元43原先不存在(即不存在關(guān)聯(lián)起始神經(jīng)元41和被關(guān)聯(lián)神經(jīng)元42的神經(jīng)元)，那么其被創(chuàng)建并可隨后被激活，否則其僅被激活。神經(jīng)元41和42的鄰近激活或觸發(fā)引起關(guān)聯(lián)神經(jīng)元43的激活，以及神經(jīng)元41與43之間和神經(jīng)元42與43之間的活動(dòng)連接的創(chuàng)建，或現(xiàn)有突觸連接的增強(qiáng)。關(guān)聯(lián)神經(jīng)元43表示從另外兩個(gè)神經(jīng)元41、42所學(xué)習(xí)的事物總和。該總和可包括下列一個(gè)或多個(gè)記憶痕跡(memory trace)、兩個(gè)神經(jīng)元的經(jīng)歷的組合、事件序列、事件的鄰近度等。一旦關(guān)聯(lián)神經(jīng)元被激活或創(chuàng)建以表示期望的記憶或事件，期望的記憶或事件就不需要在另一個(gè)神經(jīng)元中重新創(chuàng)建。
鄰近度或鄰近激活或觸發(fā)的定義將由每個(gè)神經(jīng)網(wǎng)絡(luò)的操作規(guī)則來定義。鄰近度(″ΔP″)可在一個(gè)層中變化，可在多個(gè)多個(gè)層間變化，并可根據(jù)正表示的基本神經(jīng)元的類型而變化。處于神經(jīng)網(wǎng)絡(luò)中更深層的神經(jīng)元很少可能會(huì)緊密鄰近，因此可能ΔP將增加。如果ΔP表示時(shí)間或時(shí)間的事件，ΔP可能短至零、毫秒或秒，或長達(dá)分鐘、小時(shí)、天或周。真實(shí)世界中同時(shí)發(fā)生的事件仍可基于突觸激活或觸發(fā)的次數(shù)或樹狀觸發(fā)路徑的長度的差異來在時(shí)間上表示。ΔP還可根據(jù)正由神經(jīng)結(jié)構(gòu)所表示的記憶或事件的處理需求而變化。ΔP還可表示對(duì)象或事件之間的空間關(guān)系，并還可表示大腦中神經(jīng)元的空間拓?fù)潢P(guān)系。
根據(jù)本發(fā)明的神經(jīng)網(wǎng)絡(luò)包括兩個(gè)基本要素1.基本神經(jīng)元，其可表示基本激勵(lì)、感覺或運(yùn)動(dòng)神經(jīng)元、或者所要求或期望的這類基本數(shù)據(jù)。這些是構(gòu)成神經(jīng)網(wǎng)絡(luò)的基本神經(jīng)元或根神經(jīng)元。不同類型的基本神經(jīng)元可取決于其所表示的經(jīng)歷或事件或信息的類型而被定義。例如，如果表示聽覺皮層，基本神經(jīng)元將是表示明晰的聲音的?；旧窠?jīng)元可結(jié)合許多不同類型的基本神經(jīng)元，例如一組是表示聲能或聲音的強(qiáng)度(音量)的，而另一組是表示聲音的頻率的。
如果表示嗅覺和味覺，可能有一組味覺的神經(jīng)元和另一組嗅覺感覺的神經(jīng)元。
在視覺上，可能有表示彩色的圓錐、棒、邊緣、對(duì)比度、運(yùn)動(dòng)等的多組基本神經(jīng)元，如神經(jīng)節(jié)細(xì)胞所表示的，或?qū)ｉT表示感光神經(jīng)元。
對(duì)皮膚感受器，可能有基本神經(jīng)元對(duì)應(yīng)于觸覺-機(jī)械性激勵(lì)感受器神經(jīng)元；溫度-熱感受器神經(jīng)元；疼痛-傷害感受器神經(jīng)元等。運(yùn)動(dòng)可由導(dǎo)致運(yùn)動(dòng)的各種類型的運(yùn)動(dòng)神經(jīng)元來表示。
當(dāng)感覺神經(jīng)元觸發(fā)或被激活時(shí)，其將已從特定位置處的特定細(xì)胞或感覺器官接收到的某形式的能量經(jīng)突觸或神經(jīng)細(xì)胞傳輸?shù)酱竽X的不同區(qū)域。所有感覺神經(jīng)元具有類似的中央處理機(jī)制。當(dāng)在大腦中運(yùn)動(dòng)神經(jīng)元觸發(fā)或被激活時(shí)，其引起身體中特定位置處的肌肉收縮，從而產(chǎn)生運(yùn)動(dòng)。當(dāng)感覺神經(jīng)元檢測(cè)到事件時(shí)，其將數(shù)據(jù)傳遞到大腦中，在大腦中，該數(shù)據(jù)在大腦的神經(jīng)結(jié)構(gòu)中被處理。
還可定義人工基本神經(jīng)元。例如，如果使用神經(jīng)網(wǎng)絡(luò)來處理英文文本，可定義一組基本神經(jīng)元來表示字母字符和標(biāo)點(diǎn)字符。對(duì)于中文，可為每個(gè)中文字符或其子集定義基本神經(jīng)元。如果使用神經(jīng)結(jié)構(gòu)來處理蛋白質(zhì)序列，可定義基本神經(jīng)元來表示二十個(gè)氨基酸或其子集。對(duì)于語音，可定義不同的運(yùn)動(dòng)神經(jīng)元來產(chǎn)生不同的肌肉收縮，從而產(chǎn)生對(duì)應(yīng)于音素聲音，等等。
基本神經(jīng)元可以是起始神經(jīng)元和被關(guān)聯(lián)神經(jīng)元，但不可以是關(guān)聯(lián)神經(jīng)元。
2.結(jié)構(gòu)神經(jīng)元表示神經(jīng)結(jié)構(gòu)。如圖4所示的神經(jīng)結(jié)構(gòu)包括表示其他神經(jīng)元的關(guān)聯(lián)的神經(jīng)元，不管它們是感覺神經(jīng)元、運(yùn)動(dòng)神經(jīng)元，還是其他結(jié)構(gòu)神經(jīng)元。這樣，神經(jīng)結(jié)構(gòu)可以增長，表示越來越多的信息。結(jié)構(gòu)神經(jīng)元還可被用于形成表示多組不同的基本神經(jīng)元的結(jié)構(gòu)神經(jīng)元之間的關(guān)聯(lián)。例如，可在由字母基本神經(jīng)元的關(guān)聯(lián)所表示的英文單詞“ball”和由視覺基本神經(jīng)元的關(guān)聯(lián)所表示的形狀“ball”之間形成關(guān)聯(lián)。這樣可以建立神經(jīng)網(wǎng)絡(luò)，其允許跨越不同皮層或跨越不同神經(jīng)網(wǎng)絡(luò)的信息的關(guān)聯(lián)。在形狀“ball”和由運(yùn)動(dòng)神經(jīng)元的關(guān)聯(lián)所表示的口語單詞“ball”之間可存在關(guān)聯(lián)，以使音素神經(jīng)元能夠產(chǎn)生聲音“ball”。
結(jié)構(gòu)神經(jīng)元是基于包括時(shí)間、空間、強(qiáng)度、大小和相對(duì)位置的特性而彼此關(guān)聯(lián)的。如果用神經(jīng)結(jié)構(gòu)來表示語音，關(guān)聯(lián)將是時(shí)間性質(zhì)，表示在表達(dá)語音中使用的音素、詞、短語、從句等的順序。同樣，如果處理文本或讀書，單獨(dú)字符的處理將是時(shí)間性質(zhì)的，逐步形成詞、短語、從句等。大腦中的許多神經(jīng)元也是空間或地形組織的，例如用于視覺、聽力、觸覺、疼痛等的那些。象這樣可以構(gòu)造表示空間特性的神經(jīng)結(jié)構(gòu)。例如，在表示視覺場(chǎng)景的神經(jīng)結(jié)構(gòu)的形成中，表示邊緣或直線或曲線或物體或圖案的神經(jīng)元可被關(guān)聯(lián)到神經(jīng)結(jié)構(gòu)中，該神經(jīng)結(jié)構(gòu)基于鄰近關(guān)系(近的物體和遠(yuǎn)的物體，或高的物體與低的物體)將表示點(diǎn)的基本神經(jīng)元關(guān)聯(lián)為線或曲線，從而建立環(huán)境的三維地圖?？梢允褂孟嗤纳窠?jīng)結(jié)構(gòu)來表示由空間和時(shí)間定義的四維中任意維里的信息。
如上所述，由空間神經(jīng)結(jié)構(gòu)表示的形狀“ball”可與由時(shí)間神經(jīng)結(jié)構(gòu)表示的口語單詞“ball”相關(guān)聯(lián)。
結(jié)構(gòu)神經(jīng)元是關(guān)聯(lián)神經(jīng)元。結(jié)構(gòu)神經(jīng)元還可以是起始神經(jīng)元和被關(guān)聯(lián)神經(jīng)元中的一種或兩種。
神經(jīng)結(jié)構(gòu)中的關(guān)聯(lián)的根層處基本神經(jīng)元的組合允許創(chuàng)建表示皮層(神經(jīng)集合)中特定基本特性或特征的結(jié)構(gòu)神經(jīng)元。神經(jīng)結(jié)構(gòu)允許用神經(jīng)結(jié)構(gòu)中的動(dòng)態(tài)關(guān)聯(lián)來表示特性組合。新皮層中由感覺神經(jīng)元引起的神經(jīng)活動(dòng)總是被分布到大腦中不同區(qū)域。在感覺系統(tǒng)中，大腦的不同區(qū)域可以處理同一輸入激勵(lì)的不同方面(空間/時(shí)間/強(qiáng)度/大小/相對(duì)位置)。為了表示一致的概念/認(rèn)知和行為，所提議的神經(jīng)結(jié)構(gòu)允許同一區(qū)域內(nèi)的神經(jīng)關(guān)聯(lián)。神經(jīng)結(jié)構(gòu)中更深層的關(guān)聯(lián)(皮層內(nèi)關(guān)聯(lián))允許表示愈加復(fù)雜的信息或行為。
神經(jīng)元可根據(jù)其功能、特性、層級(jí)、性質(zhì)等來組織、分類或命名。也可為針對(duì)特定緯度來定義神經(jīng)元。該緯度可以是時(shí)間、距離、空間、長度、高度、斜度、廣度，或任何其他可定義的特性。
在其特定緯度中，任何兩個(gè)神經(jīng)元可根據(jù)它們相對(duì)的或相關(guān)的發(fā)生、位置、比例或大小而被區(qū)分。該相對(duì)定位由ΔP表示。
構(gòu)造神經(jīng)網(wǎng)絡(luò)的基本參數(shù)是對(duì)于任何兩個(gè)通過相對(duì)位置相聯(lián)系的活動(dòng)神經(jīng)元A和B，存在第三神經(jīng)元C，其具有經(jīng)由突觸到神經(jīng)元A和B兩者的連接。如果這樣的神經(jīng)元不存在，那么可以創(chuàng)建這樣的神經(jīng)元和其連接。因此神經(jīng)元C將神經(jīng)元A和B關(guān)聯(lián)在一起，從而維持A和B的相對(duì)位置。A和B可能但不一定在它們的相對(duì)位置中是連續(xù)或連貫的。因此神經(jīng)元C可以關(guān)聯(lián)表示事件的任何兩個(gè)神經(jīng)元A和B，無論該事件是并發(fā)的、連續(xù)的、連貫的、非連續(xù)的、非連貫的或重疊的。
關(guān)聯(lián)的邏輯是對(duì)于任何兩個(gè)觸發(fā)或被激活的活動(dòng)神經(jīng)元A和B，其中的一個(gè)將是起始神經(jīng)元。第三神經(jīng)元C將關(guān)聯(lián)起始神經(jīng)元與第二神經(jīng)元，并保留它們激活或觸發(fā)的順序。這樣，神經(jīng)元C表示由第二神經(jīng)事件跟隨的起始神經(jīng)事件的組合事件。這個(gè)新神經(jīng)元C可以隨后參與與其他神經(jīng)元的結(jié)合(從而創(chuàng)建新的關(guān)聯(lián))，等等。
創(chuàng)建新的神經(jīng)元的基本規(guī)則是如果神經(jīng)元A觸發(fā)或被激活，神經(jīng)元B與之并發(fā)或隨后觸發(fā)或被激活，那么新的神經(jīng)元C可被構(gòu)造并可能觸發(fā)或被激活，從而表示神經(jīng)元A和B的關(guān)聯(lián)(即事件AB在時(shí)間或空間上的關(guān)聯(lián))。如果神經(jīng)元C因?yàn)樵谇暗氖录蜿P(guān)聯(lián)而已經(jīng)存在，那么神經(jīng)元C也可以類似地被重新激活或觸發(fā)，并允許其參與隨后現(xiàn)有的或新的激活，從而允許其形成新的關(guān)聯(lián)。這允許構(gòu)造具有無限數(shù)目的關(guān)聯(lián)和/或關(guān)系的神經(jīng)網(wǎng)絡(luò)。
圖5中示出了表示創(chuàng)建新的神經(jīng)網(wǎng)絡(luò)的基本流程的流程圖。這個(gè)優(yōu)選實(shí)施示例示出了用于處理基本事件的簡單順序的處理步驟和模型應(yīng)用。
圖5中，在50中神經(jīng)網(wǎng)絡(luò)或表示神經(jīng)網(wǎng)絡(luò)的陣列被初始化。在51中每個(gè)基本神經(jīng)元的類型或種類被定義，并可被相關(guān)到例如文本、視覺斜度、顏色、邊緣、聲音、音量、味覺、嗅覺感受、色錐、色棒、疼痛、對(duì)比度、運(yùn)動(dòng)、肌肉運(yùn)動(dòng)、神經(jīng)節(jié)細(xì)胞、受光體、觸覺、機(jī)械性激勵(lì)感受器、溫度、熱感受器、傷害感受器、運(yùn)動(dòng)、語言、符號(hào)、字母、詞等等。
在52中基本神經(jīng)元然后被定義/編程/輸入。然后考慮的問題是基本神經(jīng)元已經(jīng)存在？(53)。對(duì)于要由已定義類型的已定義基本神經(jīng)元所表示的每個(gè)唯一值，全部基本神經(jīng)元必須被創(chuàng)建，并作為一列后繼神經(jīng)元被附接到根神經(jīng)元，從而由表示該神經(jīng)元網(wǎng)絡(luò)的陣列中的節(jié)點(diǎn)零表示的根神經(jīng)元。如果詢問的答案是“否”，新的基本神經(jīng)元被創(chuàng)建(54)，然后處理回到(52)。如果詢問的答案是“是”，處理繼續(xù)前進(jìn)到55。這里，關(guān)聯(lián)神經(jīng)元的規(guī)則被定義。可替換地，當(dāng)新的基本神經(jīng)元在學(xué)習(xí)過程中出現(xiàn)時(shí)，其可被定義。
第一神經(jīng)元或下一個(gè)起始神經(jīng)元被找到(56)。這個(gè)是指定的神經(jīng)元A。隨后的神經(jīng)元(神經(jīng)元B)然后被找到(57)。如果神經(jīng)元A和神經(jīng)元B的關(guān)聯(lián)已經(jīng)存在(58)，處理回到56。如果不存在，神經(jīng)元C被創(chuàng)建，以表示神經(jīng)元A和神經(jīng)元B的關(guān)聯(lián)或組合(59)，然后處理回到56。在這個(gè)過程中神經(jīng)元C可被稱為關(guān)聯(lián)神經(jīng)元。
圖8的流程圖提供了圖5的步驟56到59的更多細(xì)節(jié)。這里，神經(jīng)處理或?qū)W習(xí)屬于由基本神經(jīng)元事件的模式或序列表示的經(jīng)歷。
在步驟81中，事件指針被指向事件模式或序列中的第一個(gè)基本事件。在步驟82中，匹配的神經(jīng)元被找到。匹配神經(jīng)元是神經(jīng)網(wǎng)絡(luò)中與事件指針?biāo)赶虻氖录哪Ｊ交蛐蛄兄械闹饕录蚨鄠€(gè)主要事件相匹配的神經(jīng)元(記憶)。這個(gè)匹配神經(jīng)元被定義為起始神經(jīng)元(神經(jīng)元A)。然后根據(jù)神經(jīng)網(wǎng)絡(luò)的已定義規(guī)則，事件指針被更新以指向下一個(gè)事件。
然后在步驟83中，另一個(gè)匹配神經(jīng)元被找到。再一次，這個(gè)神經(jīng)元(記憶)是針對(duì)由事件指針指向的事件的模式或順序中的事件或多個(gè)事件。這另一個(gè)匹配神經(jīng)元被定義為被關(guān)聯(lián)神經(jīng)元(神經(jīng)元B)。然后，根據(jù)神經(jīng)網(wǎng)絡(luò)的已定義規(guī)則，事件指針被更新以指向下一個(gè)事件。如此，新的關(guān)聯(lián)神經(jīng)元或關(guān)聯(lián)總是被創(chuàng)建，盡管要符合一定規(guī)則。通常神經(jīng)元C先前并不存在，否則在步驟82處其已被匹配。
已完成單遍的處理后，相同的數(shù)據(jù)或事件序列可被重新處理(如果期望這樣的話)，從而相應(yīng)擴(kuò)充神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。
在步驟84中，另一個(gè)未被使用過的神經(jīng)元被找到。在步驟85中，創(chuàng)建關(guān)聯(lián)神經(jīng)元(神經(jīng)元C)。在86中，步驟82到85的過程被重復(fù)，直到事件模式或序列中不再有事件被處理為止。
圖9提供了圖8的處理步驟82和83(尋找匹配神經(jīng)元)的更多細(xì)節(jié)。
在步驟91中，匹配神經(jīng)元指針通過指向根神經(jīng)元而被置零。對(duì)于匹配神經(jīng)元的每個(gè)后繼神經(jīng)元(步驟91)，檢查被執(zhí)行以確定后繼神經(jīng)元的完整表達(dá)是否與正被處理的事件模式或序列中的隨后的事件或多個(gè)事件或序列相匹配。如果的確匹配，處理前進(jìn)到步驟93，其中匹配神經(jīng)元的指針被設(shè)為指向匹配事件模式或順序的后繼神經(jīng)元。另外，事件指針可被調(diào)節(jié)指向事件模式或序列的剩余事件，即到那時(shí)為止還未被匹配的事件。處理然后回到步驟92并繼續(xù)。如果步驟92的結(jié)果是不匹配，在步驟94中，匹配神經(jīng)元指針被返回指向最后匹配神經(jīng)元，然后處理在步驟95中結(jié)束。
圖10更詳細(xì)地圖示了圖8中步驟85的過程一關(guān)聯(lián)神經(jīng)元的創(chuàng)建。在步驟101中，關(guān)聯(lián)神經(jīng)元的起始指針被設(shè)為指向起始神經(jīng)元，在步驟102中，關(guān)聯(lián)神經(jīng)元的被關(guān)聯(lián)神經(jīng)元指針被設(shè)為指向被關(guān)聯(lián)神經(jīng)元。因?yàn)殛P(guān)聯(lián)神經(jīng)元沒有后繼神經(jīng)元(剛被激活或創(chuàng)建)，其后繼神經(jīng)元指針被置零(步驟103)。關(guān)聯(lián)神經(jīng)元的下一個(gè)神經(jīng)元指針然后被設(shè)為等于起始神經(jīng)元的后繼神經(jīng)元指針。最后，在步驟105中，起始神經(jīng)元的后繼指針被設(shè)為指向關(guān)聯(lián)神經(jīng)元，從而關(guān)聯(lián)神經(jīng)元成為起始神經(jīng)元的后繼神經(jīng)元列表中的第一個(gè)條目。
表示一個(gè)共同特性的一組基本神經(jīng)元可被組織成一個(gè)皮層。因此，可以具有視皮層，其包含涉及第一視覺特性(例如用于顏色的一組神經(jīng)元)的多組神經(jīng)元；用于第二視覺特性(例如形狀)的第二組；用于第三視覺特性(例如大小)的第三組，等等。來自一個(gè)神經(jīng)網(wǎng)絡(luò)的表示獨(dú)特模式或事件的結(jié)構(gòu)神經(jīng)元可以是另一個(gè)神經(jīng)網(wǎng)絡(luò)中的基本神經(jīng)元。可能由多個(gè)神經(jīng)網(wǎng)絡(luò)(以及其中的神經(jīng)元)表示的多個(gè)皮層可被互鏈或相關(guān)，以形成不但可以提供完整的學(xué)習(xí)環(huán)境而且可以提供智能行為潛能的完整的“大腦”。
傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)通常是單向的。這意味著給出一定輸入可得到輸出。然而，它們不能反向工作。就是說，給出輸出不可以得到輸入。
本發(fā)明提供了“表達(dá)”的能力，由此可以表達(dá)導(dǎo)致任意神經(jīng)元的構(gòu)造的事件序列。表達(dá)的重要性在于其允許事件的完整序列由單個(gè)神經(jīng)元來表示，并且可通過激活那個(gè)單個(gè)神經(jīng)元、然后按照與創(chuàng)建它們時(shí)相同的相對(duì)位置或順序激活表示起始神經(jīng)元和被關(guān)聯(lián)神經(jīng)元的關(guān)聯(lián)的多個(gè)神經(jīng)元，從而再現(xiàn)該序列。如此，可以表達(dá)表示完整的經(jīng)歷或記憶(事件序列)的單個(gè)神經(jīng)元，從而回憶該經(jīng)歷。
表達(dá)能力是經(jīng)由神經(jīng)結(jié)構(gòu)中每個(gè)神經(jīng)元的起始指針和被關(guān)聯(lián)指針實(shí)現(xiàn)的。
在圖11中圖示了表達(dá)。當(dāng)需要表達(dá)時(shí)，在步驟111中第一檢查確定要被表達(dá)的神經(jīng)元的起始指針是否等于零。如果“是”，其一定是基本神經(jīng)元且處理過程回到步驟114，其中，表達(dá)是存儲(chǔ)在被關(guān)聯(lián)神經(jīng)元之中的基本事件或值的激活，以表示該基本神經(jīng)元。如果該值不是零，開始步驟112。步驟112中是要表達(dá)由神經(jīng)元的起始神經(jīng)元指針?biāo)赶虻纳窠?jīng)元的表達(dá)。步驟113中是要表達(dá)由神經(jīng)元的被關(guān)聯(lián)神經(jīng)元指針?biāo)赶虻纳窠?jīng)元的表達(dá)。這繼續(xù)到所有表示記憶的基本神經(jīng)元都已經(jīng)被表達(dá)為止。
網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都具有地址來標(biāo)識(shí)其在可尋址節(jié)點(diǎn)陣列中的位置，其中每個(gè)節(jié)點(diǎn)表示單個(gè)神經(jīng)元。所有的神經(jīng)元指針指向表示神經(jīng)元陣列中單個(gè)神經(jīng)元的節(jié)點(diǎn)的地址。地址或指針的位大小(bit size)將影響表示神經(jīng)網(wǎng)絡(luò)的陣列中可以表示的神經(jīng)元的最大數(shù)目。例如使用32位的指針地址大小將允許建立包括232或者說4,294,967,296個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)。
每個(gè)神經(jīng)元是由傳統(tǒng)陣列或結(jié)構(gòu)中的單個(gè)的固定長度的節(jié)點(diǎn)表示的?？稍陉嚵兄写鎯?chǔ)的神經(jīng)元的數(shù)目將依賴于總的可用記憶存儲(chǔ)(內(nèi)部的和/或外部的)，并依賴于指針地址結(jié)構(gòu)(a)16位指針地址結(jié)構(gòu)將允許多達(dá)216個(gè)神經(jīng)元。
即6.4×103個(gè)神經(jīng)元；(b)32位指針地址結(jié)構(gòu)將允許多達(dá)232個(gè)神經(jīng)元。
即4.1×109個(gè)神經(jīng)元；(c)48位指針地址結(jié)構(gòu)將允許多達(dá)248個(gè)神經(jīng)元。
即2.7×1014個(gè)神經(jīng)元；(d)64位指針地址結(jié)構(gòu)將允許多達(dá)264個(gè)神經(jīng)元。
即1.8×1019個(gè)神經(jīng)元；因?yàn)槿四X具有大約1012個(gè)神經(jīng)元，使用48位指針地址結(jié)構(gòu)可以匹配一百個(gè)人腦的容量。根據(jù)最新的支持64位尋址的計(jì)算機(jī)，可以具有能力表示包括1019個(gè)神經(jīng)元的神經(jīng)結(jié)構(gòu)，大小等同于一千萬個(gè)人腦連在一起。
要表示神經(jīng)網(wǎng)絡(luò)，節(jié)點(diǎn)要包括最少4個(gè)指針。每個(gè)指針包括到另一個(gè)神經(jīng)元的地址。如以上說明的，使用32位的地址大小將允許構(gòu)造包括高達(dá)232或40億個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)。
如圖6所示，在最基本的實(shí)現(xiàn)中，每個(gè)神經(jīng)元可由四個(gè)指針/鏈接(P1、P2、P3、P4)表示。每個(gè)指針是到另一個(gè)神經(jīng)元的地址或位置的鏈接。神經(jīng)元通常要具有四個(gè)指針，這是要?jiǎng)?chuàng)建帶表達(dá)能力的智能神經(jīng)網(wǎng)絡(luò)所需的最小值。然而，神經(jīng)元可具有多于四個(gè)指針，以提供額外的功能。例如在創(chuàng)建表示起始神經(jīng)元A和被關(guān)聯(lián)神經(jīng)元B的關(guān)聯(lián)的神經(jīng)元C的過程中，神經(jīng)元C需要下列指針P1-到起始神經(jīng)元(即神經(jīng)元A)的指針；P2-到參與形成關(guān)聯(lián)的另一個(gè)神經(jīng)元(即神經(jīng)元B)的指針；P3-到以神經(jīng)元C作為起始神經(jīng)元的一列(LsC)更深層的神經(jīng)元的指針(神經(jīng)元C的后繼指針)；以及P4-到將神經(jīng)元A作為其起始神經(jīng)元的下一個(gè)神經(jīng)元的指針(LA)(神經(jīng)元A的“下個(gè)后繼者”指針)。
還可以為神經(jīng)元C定義額外的指針，如果有必要向被關(guān)聯(lián)神經(jīng)元提供關(guān)于前驅(qū)者的信息的話。例如P5-到將神經(jīng)元C作為被關(guān)聯(lián)神經(jīng)元的一列(LpC)更深層的神經(jīng)元的指針(前驅(qū)者指針)；以及P6-到將神經(jīng)元B作為其被關(guān)聯(lián)神經(jīng)元的一列中的下一個(gè)神經(jīng)元的指針(“下個(gè)前驅(qū)者”指針)。
更深層的神經(jīng)元可表示復(fù)雜的事件序列。因?yàn)槊總€(gè)結(jié)構(gòu)神經(jīng)元具有至少一個(gè)起始神經(jīng)元和一個(gè)被關(guān)聯(lián)神經(jīng)元，處于第十層的單個(gè)神經(jīng)元可表示多達(dá)210或1,024個(gè)基本事件的序列。神經(jīng)元僅可以與相同層的神經(jīng)元關(guān)聯(lián)不是必要條件。
因此，在存儲(chǔ)新的事件序列的過程中，僅僅需要識(shí)別表示事件流中的現(xiàn)有事件序列的那些現(xiàn)有神經(jīng)元，然后通過構(gòu)造新的神經(jīng)元來將這些關(guān)聯(lián)在一起，例如，如果有分別為1,024個(gè)事件和512個(gè)事件的兩個(gè)事件序列，則可以構(gòu)造單個(gè)新的神經(jīng)元來表示1,536個(gè)事件的事件序列。從而可以在神經(jīng)網(wǎng)絡(luò)中節(jié)省地表示新的序列/事件信息。
這在圖7(a)到圖7(n)中得到圖示。圖7(a)到圖7(n)圖示了從對(duì)句子“The cat sat on the mat”的處理文本和學(xué)習(xí)得到的可能神經(jīng)網(wǎng)絡(luò)。標(biāo)有箭頭的直線指示出起始神經(jīng)元和關(guān)聯(lián)神經(jīng)元之間的連接，而標(biāo)有圓圈的直線指示出被關(guān)聯(lián)神經(jīng)元和關(guān)聯(lián)神經(jīng)元之間的連接。
在圖7(a)中，零層中的第一基本神經(jīng)元701和第二基本神經(jīng)元702識(shí)別或表示字母“T”和“H”，并關(guān)聯(lián)以形成由第一層中的關(guān)聯(lián)神經(jīng)元711表示的字母組合“TH”。
圖7(b)示出了識(shí)別字母“E”的第三基本神經(jīng)元703和識(shí)別空格“＾”的第四基本神經(jīng)元704。這兩個(gè)關(guān)聯(lián)在一起而形成由第一層中的關(guān)聯(lián)神經(jīng)元712表示的組合“E＾”。第一層中的結(jié)構(gòu)神經(jīng)元711和712關(guān)聯(lián)以形成由關(guān)聯(lián)神經(jīng)元721表示的單字(distinct word)“THE＾”。
在圖7(c)、(d)和(e)中，零層中的接下去的兩個(gè)基本神經(jīng)元705和706分別識(shí)別字母“C”和“A”，并關(guān)聯(lián)以形成由第一層中的關(guān)聯(lián)神經(jīng)元713表示的字母組合“CA”。
對(duì)字母“T”和“＾”，神經(jīng)元701與神經(jīng)元704相關(guān)聯(lián)以創(chuàng)建第一層中的表示組合“T＾”的關(guān)聯(lián)神經(jīng)元714。神經(jīng)元714和713然后關(guān)聯(lián)以創(chuàng)建第二層中的關(guān)聯(lián)神經(jīng)元722，從而形成單字“CAT＾”(圖7(e))。神經(jīng)元721和722然后可以關(guān)聯(lián)，以在第三層中的關(guān)聯(lián)神經(jīng)元731處給出形成短語“THE＾CAT＾”的結(jié)果(圖7(f)和7(g))。
對(duì)于對(duì)圖7(h)所示的單字“SAT＾”，神經(jīng)元707識(shí)別字母“S”，并與神經(jīng)元706相關(guān)聯(lián)以在第一層中的關(guān)聯(lián)神經(jīng)元715處給出結(jié)果，即字母組合“SA”。第一層中的神經(jīng)元715與神經(jīng)元714(″T＾″)相關(guān)聯(lián)，以在第二層中的關(guān)聯(lián)神經(jīng)元723處給出結(jié)果，即單字“SAT＾”。
在圖7(i)和7(j)中，神經(jīng)元708和709分別識(shí)別字母“O”和“N”，然后關(guān)聯(lián)以形成由第一層中的關(guān)聯(lián)神經(jīng)元716表示的字母組合(和單詞)“ON”。神經(jīng)元716與神經(jīng)元704相關(guān)聯(lián)，以在第二層中的關(guān)聯(lián)神經(jīng)元724處給出結(jié)果，即單字“ON＾”。第二層中的神經(jīng)元723與神經(jīng)元724相關(guān)聯(lián)，以在第三層中的關(guān)聯(lián)神經(jīng)元732處給出結(jié)果，即從句“SAT＾ON”。第三層中的神經(jīng)元731和神經(jīng)元732可關(guān)聯(lián)以在第四層中的神經(jīng)元741處給出結(jié)果，即從句“THE＾CAT＾SAT＾ON＾”。
圖7(k)和(1)圖示了神經(jīng)元7010識(shí)別字母“M”并與神經(jīng)元706相關(guān)聯(lián)以在第一層中的神經(jīng)元717處給出結(jié)果，即字母組合“MA”。神經(jīng)元717與神經(jīng)元712(“T＾”)相關(guān)聯(lián)，以在神經(jīng)元725處給出結(jié)果，即單字“MAT＾”。神經(jīng)元721與神經(jīng)元725(“THE＾”)相關(guān)聯(lián)，以在神經(jīng)元733處給出結(jié)果，即短語“THE＾MAT”。
神經(jīng)元741和733可以相關(guān)聯(lián)，以在第五層中的神經(jīng)元751處給出結(jié)果，即句子“THE＾CAT＾SAT＾ON＾THE＾MAT”。很明顯每個(gè)關(guān)聯(lián)神經(jīng)元具有至多一個(gè)起始神經(jīng)元和一個(gè)被關(guān)聯(lián)神經(jīng)元。然而，神經(jīng)元可以具有多個(gè)后繼和前驅(qū)神經(jīng)元。例如基本神經(jīng)元701(“T”)具有表示“TH”(711)和表示“T＾”(714)的后繼神經(jīng)元?；旧窠?jīng)元706(“A”)具有表示“CA”(713)、“SA”(715)和“MA”(717)的三個(gè)前驅(qū)神經(jīng)元。
要擴(kuò)展其中零層中的神經(jīng)元7011識(shí)別字母“D”的圖7(m)中圖示句子。神經(jīng)元7011與神經(jīng)元704相關(guān)聯(lián)，以在神經(jīng)元719處給出結(jié)果(組合“D＾”)。神經(jīng)元706與神經(jīng)元709組合以在神經(jīng)元720處給出結(jié)果(組合“AN”)。神經(jīng)元720與神經(jīng)元719相關(guān)聯(lián)，以在神經(jīng)元726處給出結(jié)果(組合“AND＾”)。神經(jīng)元733與神經(jīng)元726相關(guān)聯(lián)，以在神經(jīng)元742處給出結(jié)果(組合“THE＾MAT＾AND＾”)。神經(jīng)元741與742可以相關(guān)聯(lián)，以在神經(jīng)元752處給出結(jié)果(表示短語“THE＾CAT＾SAT＾ON＾THE＾MAT＾AND＾的組合”)。
圖7(n)中示出了零層中每個(gè)基本神經(jīng)元僅表示一個(gè)字母/字符。第一層中的每個(gè)神經(jīng)元表示兩個(gè)字母/字符的關(guān)聯(lián)；第二層中的每個(gè)神經(jīng)元可表示多達(dá)4個(gè)字母/字符的關(guān)聯(lián)；第三層中多達(dá)8個(gè)字母/字符；第四層中多達(dá)16個(gè)字母/字符；第五層中多達(dá)32個(gè)字母/字符；以2的倍數(shù)繼續(xù)，第十層中每個(gè)神經(jīng)元可表示多達(dá)1,024個(gè)字母/字符的關(guān)聯(lián)；而第二十層中的每個(gè)神經(jīng)元可表示多達(dá)1,048,576個(gè)基本事件的關(guān)聯(lián)。
可見，對(duì)于文本識(shí)別，所需的基本神經(jīng)元的數(shù)目是相當(dāng)有限的。下列每個(gè)都需要一個(gè)基本神經(jīng)元1.大寫字母表的26個(gè)字母；2.小寫字母表的26個(gè)字母；3.10個(gè)數(shù)字；4.標(biāo)準(zhǔn)字母數(shù)字鍵盤上的32個(gè)標(biāo)點(diǎn)符號(hào)和類似的字符；5.可能需要的任何其他特殊字符(例如來自希臘字母表)。
在學(xué)習(xí)過程期間，所需的結(jié)構(gòu)神經(jīng)元的數(shù)目和所需的結(jié)構(gòu)化神經(jīng)元的層數(shù)可能由于使用神經(jīng)網(wǎng)絡(luò)的緣故而增長。使用文本識(shí)別的示例，有關(guān)檔案的數(shù)目，有關(guān)(一個(gè)或多個(gè))學(xué)習(xí)事件的大小，檔案中使用的語言，以及單詞、短語、從句、句子、段落、章節(jié)、書等等的最大可能數(shù)目將影響結(jié)果神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的大小。作為示例，如果威廉莎士比亞的全部劇本使用本發(fā)明以文本識(shí)別來記錄，在第一劇本被記錄之后，將會(huì)有某一數(shù)目的結(jié)構(gòu)神經(jīng)元“N1”。當(dāng)?shù)诙”颈挥涗洉r(shí)，在相同的神經(jīng)網(wǎng)絡(luò)中，總計(jì)所需的神經(jīng)元將不會(huì)是每個(gè)劇本獨(dú)立處理過程所需的那些(神經(jīng)元)的簡單的算術(shù)總和。只有超出為第一劇本創(chuàng)建的那些(神經(jīng)元)的處理第二劇本所需的額外的神經(jīng)元將被加到N1，以給出增大后的總的N2。用于任何先前存在的字母、單詞、短語、從句、句子(等等)的神經(jīng)元將不會(huì)被增加，但它們新的關(guān)聯(lián)將被增加。當(dāng)?shù)谌齽”颈挥涗洉r(shí)，所需的額外的神經(jīng)元將被同樣地增加以給出N3。
在最后的劇本被輸入之前，所需神經(jīng)元的數(shù)目上的增長將不會(huì)很大。主要的增長將在于神經(jīng)結(jié)構(gòu)中的更深的層，其中新的關(guān)聯(lián)將被增加。最深的層可以是單個(gè)神經(jīng)元，其具有要表示全部劇本所需的所有的關(guān)聯(lián)。
因?yàn)槊繉又械拿總€(gè)神經(jīng)元可以與任意層中的任何其他神經(jīng)元相關(guān)聯(lián)以在第三神經(jīng)元處給出結(jié)果，可得到的可能的排列組合的數(shù)目是很大的。
考慮圖7(a)到圖7(n)，存在可能被用于在神經(jīng)元751處提供結(jié)果(“THE＾CAT＾SAT＾ON＾THE＾MAT”)的不同的組合。例如，在圖示出的第一層中下列組合被記錄“TH”、“E＾”、“CA”、“T＾”、“SA”、“ON”，以及“MA”。
其他組合是可能的。例如“TH”、“HE”、“E＾”、“CA”、“AT”、“T＾”、“ON”、“N＾”、以及“MA”。
在第二層中可能跟隨更大范圍的可能的組合。通過采用適于使用神經(jīng)網(wǎng)絡(luò)的期望目標(biāo)的規(guī)則，從而減少或消除組合，效率也可得到提高。
如果考慮十層的神經(jīng)元，其能夠表示多達(dá)1,024個(gè)基本事件的序列?？赏ㄟ^沿著指針一直到基本或根層來表達(dá)第一元素。這樣允許相對(duì)迅速的表達(dá)。
對(duì)于學(xué)習(xí)和在表達(dá)期間兩者而言，基本神經(jīng)元可被頻繁地激活。在純粹二進(jìn)制實(shí)現(xiàn)中，可以通過單個(gè)第一層神經(jīng)元來表達(dá)或關(guān)聯(lián)兩個(gè)基本神經(jīng)元或根層神經(jīng)元?？赏ㄟ^一個(gè)第二層神經(jīng)元來表達(dá)或關(guān)聯(lián)兩個(gè)第一層神經(jīng)元，依次類推。如果1,024個(gè)基本事件的序列被激活且通過網(wǎng)絡(luò)被學(xué)習(xí)/表達(dá)，那么在每層中可以處理下列數(shù)目的神經(jīng)元1,024 第零層512第一層256第二層128第三層64 第四層32 第五層16 第六層8 第七層4 第八層2 第九層1 第十層從而表示基本事件的整個(gè)序列。
如果在根層處的神經(jīng)元觸發(fā)之間的基本時(shí)間是1毫秒，那么第十層神經(jīng)元將是每1024毫秒或每秒才觸發(fā)或被激活一次。因此如果表示神經(jīng)結(jié)構(gòu)的陣列是作為不同的存儲(chǔ)塊/區(qū)域的組合而被表示的，那么更深層的神經(jīng)元可以被存儲(chǔ)在較慢的存儲(chǔ)/記憶區(qū)域中不影響學(xué)習(xí)和表達(dá)的性能。
在優(yōu)選的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，基本神經(jīng)元將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的根神經(jīng)元作為其起始神經(jīng)元。這樣就允許不限數(shù)目的基本神經(jīng)元被即時(shí)創(chuàng)建，而不是必須預(yù)定義基本神經(jīng)元。可替換地，可以將結(jié)構(gòu)中的預(yù)定神經(jīng)存儲(chǔ)/記憶區(qū)域分配給基本神經(jīng)元，然后每個(gè)基本神經(jīng)元就可被直接地定址(例如對(duì)ASCII文本字符是8位)，256個(gè)神經(jīng)元的地址可以預(yù)先分配(0到255)而第一結(jié)構(gòu)神經(jīng)元的地址將處于地址256。
在優(yōu)選的模式中，新的基本神經(jīng)元可以在任何時(shí)候、任何位置被添加到神經(jīng)元結(jié)構(gòu)，從而提供了完全的靈活性。當(dāng)使用用于基本神經(jīng)元的預(yù)定義區(qū)域時(shí)，因?yàn)闊o需搜索附于根神經(jīng)元的后繼者的列表，處理過程可能會(huì)更快。
基本神經(jīng)元可能這樣表示它們的起始神經(jīng)元指針被設(shè)置為零-指向根神經(jīng)元(無論其是否存在)，而它們的被關(guān)聯(lián)神經(jīng)元指針被設(shè)為要由那個(gè)基本神經(jīng)元表示的基本事件的值?；旧窠?jīng)元總是可以容易地確定或識(shí)別，因?yàn)槠淦鹗忌窠?jīng)元值總是零。因此，當(dāng)表達(dá)神經(jīng)元時(shí)，要判定我們什么時(shí)候已達(dá)到基本神經(jīng)元是容易的，因?yàn)槠鹗忌窠?jīng)元值為零，指向根神經(jīng)元。替換方法可被用來定義基本神經(jīng)元，不影響所表示的神經(jīng)網(wǎng)絡(luò)的實(shí)質(zhì)。
在優(yōu)選的模式中，起始神經(jīng)元的新的后繼神經(jīng)元被簡單地添加到列表的開頭。因此，它們被直接地附接到起始神經(jīng)元。這樣最近的記憶痕跡被容易地表達(dá)。
然而，許多的選擇可以用于維持后繼神經(jīng)元的列表。神經(jīng)結(jié)構(gòu)允許以用戶選擇的任何方式使用這項(xiàng)特性，來向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提供額外的功能。例如，新的關(guān)聯(lián)神經(jīng)元可以被添加到列表的結(jié)尾，或者列表可以用數(shù)字順序、字母順序等等來維護(hù)。同樣地，可以將頻繁訪問的神經(jīng)元向列表的開頭移動(dòng)，或移動(dòng)到列表的開頭，使得越是最近激活的記憶總是更容易訪問。這還意味著越久的記憶處于列表的結(jié)尾，并更少可能會(huì)經(jīng)歷表達(dá)。
這樣，列表的順序可以被用來表示起始神經(jīng)元的后繼神經(jīng)元的相對(duì)突觸強(qiáng)度或激活層級(jí)，而非必須使用權(quán)重來表示突觸連接的強(qiáng)度，如果期望這樣的話。
可以通過簡單表達(dá)由起始神經(jīng)元指針表示的神經(jīng)元，然后表達(dá)由被關(guān)聯(lián)神經(jīng)元指針表示的神經(jīng)元，來表達(dá)由任意神經(jīng)元表示的記憶。如果起始指針是零，可以表達(dá)基本神經(jīng)元的基本值。否則，可以針對(duì)起始指針重復(fù)處理-表達(dá)其起始神經(jīng)元指針和其被關(guān)聯(lián)神經(jīng)元指針，依次類推。因此，任意神經(jīng)元可以通過按順序表達(dá)其多個(gè)部分來完全表達(dá)。
可以創(chuàng)建表示學(xué)到的知識(shí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。例如，如果下列文本的句子是輸入LUCY＾IS＾CRYING＾UNDER＾THE＾TABLE＾.
JOHN＾IS＾PLAYING＾IN＾THE＾PARK＾.
PETER＾IS＾READING＾IN＾THE＾CHAIR＾.
MARY＾IS＾SLEEPING＾UNDER＾THE＾TREE＾.
JOHN＾IS＾RUNNING＾IN＾THE＾RACE＾.
PETER＾IS＾PLAYING＾ON＾THE＾SWING＾.
MARY＾IS＾TALKING＾ON＾THE＾PHONE＾，可以創(chuàng)建表示下列短語或記憶的神經(jīng)元IS CRYINGIS RUNNINGIS READINGIS SLEEPINGIS PLAYINGIS TALKING在這個(gè)例子中“IS＾”具有六個(gè)后繼神經(jīng)元。
同樣地可以創(chuàng)建下列短語或記憶UNDER THE TABLEUNDER THE TREEIN THE PARKIN THE CHAIRIN THE RACEON THE SWING
ON THE PHONE因此LUCY與IS CRYING相關(guān)聯(lián)，而IS與六個(gè)不同的動(dòng)作相關(guān)聯(lián)。通過改變IS的替換后繼神經(jīng)元的表達(dá)，可以表達(dá)多達(dá)六個(gè)不同的短語/從句LUCY IS CRYINGLUCY IS RUNNINGLUCY IS READINGLUCY IS SLEEPINGLUCY IS PLAYINGLUCY IS TALKING雖然只是第一短語曾經(jīng)被學(xué)習(xí)，或被輸入到神經(jīng)網(wǎng)絡(luò)，但是可以對(duì)JOHN、PETER和MARY作同樣的事情。
可以根據(jù)結(jié)構(gòu)**IS和IS**來有效地生成新的表達(dá)。即LUCY IS IS CRYINGJOHN IS IS RUNNINGMARY IS IS READINGLUCY IS IS SLEEPINGPETER IS IS PLAYINGIS TALKING因此，可以創(chuàng)建或表達(dá)30(5×6)個(gè)短語/從句，它們?cè)诰浞ê驼Z義上都是正確的。同樣地ON THE THE TABLEIN THE THE PARKUNDER THETHE CHAIRTHE TREETHE RACETHE SWINGTHE PHONE提供了生成21(3×7)個(gè)這樣性質(zhì)的短語/從句的可能性，所述短語/從句都是句法上正確的，但不都是語義上正確的。
將這兩組組合在一起給出結(jié)構(gòu){*}IS{*}(*)THE{*}這樣提供了{(lán)5}IS{6}*{3}THE{7}個(gè)表達(dá)，或5×6×3×7＝630個(gè)可能的表達(dá)，雖然只學(xué)習(xí)了七個(gè)輸入的句子。因此神經(jīng)模型允許學(xué)習(xí)和建立記憶的神經(jīng)結(jié)構(gòu)，并還允許根據(jù)用戶定義的過程將這些神經(jīng)元或記憶組合成新的表達(dá)或行為。用先前已學(xué)習(xí)到的，大腦可以探索句法上行得通的概念或建議。用數(shù)百萬的神經(jīng)元，可以表達(dá)數(shù)十億的句法上正確的句子。就是說，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為創(chuàng)造性表達(dá)提供了理想的方法。
通過使用上述的神經(jīng)網(wǎng)絡(luò)，可以具有這樣的系統(tǒng)·能夠?qū)W習(xí)；·具有表達(dá)能力；·存儲(chǔ)關(guān)聯(lián)而不是數(shù)據(jù)；·能夠有效使用計(jì)算機(jī)的內(nèi)存和存儲(chǔ)空間；·計(jì)算上有效率。
因此網(wǎng)絡(luò)能夠識(shí)別關(guān)聯(lián)模式中的模式。這樣其可用于各種工業(yè)，例如監(jiān)控和預(yù)測(cè)股票價(jià)格運(yùn)動(dòng)、因特網(wǎng)監(jiān)測(cè)、安全、計(jì)算機(jī)病毒檢測(cè)、言語和文本中的短語、言語和文本中的從句、剽竊檢測(cè)、數(shù)據(jù)壓縮，等等。
上述神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和處理過程可以實(shí)現(xiàn)在軟件或硬件中。如果在硬件中，它們可能是芯片的一部分、專用芯片的全部，或者芯片陣列，都可作為基本或結(jié)構(gòu)神經(jīng)元?；竞徒Y(jié)構(gòu)神經(jīng)可在芯片的一部分中，或在專用神經(jīng)元的存儲(chǔ)陣列中。當(dāng)所有的神經(jīng)元都存在時(shí)，在第一遍數(shù)據(jù)后，第一基本神經(jīng)元將學(xué)習(xí)到數(shù)據(jù)的第一元素。例如，圖7(a)到圖7(n)中使用的示例中的大寫字母“T”。下個(gè)基本神經(jīng)元將學(xué)習(xí)數(shù)據(jù)的下個(gè)元素。還是使用圖7(a)到圖7(n)的示例，即小寫字母“h”。依次類推。因?yàn)榛旧窠?jīng)元和神經(jīng)網(wǎng)絡(luò)的更低層中的那些神經(jīng)元將被更頻繁地激活以創(chuàng)建更深層中的關(guān)聯(lián)，為了最佳性能它們需要更快的處理器速度。更深層的神經(jīng)元將被更不頻繁的激活，因此可被存儲(chǔ)在具有更慢的處理器速度的存儲(chǔ)器中。
因此，提供了這樣的神經(jīng)網(wǎng)絡(luò)，其基于包括感覺神經(jīng)元、運(yùn)動(dòng)神經(jīng)元的神經(jīng)元以及突觸連接的概念。大腦中的每個(gè)神經(jīng)元可以以簡單的方式由陣列或存儲(chǔ)器中的單個(gè)節(jié)點(diǎn)來表示。神經(jīng)元是陣列或存儲(chǔ)器中的固定長度的節(jié)點(diǎn)。每個(gè)突觸連接可以由每個(gè)節(jié)點(diǎn)中的指向其他神經(jīng)元的指針來表示。陣列中的神經(jīng)節(jié)點(diǎn)可單獨(dú)排他地包括指向數(shù)據(jù)陣列中其他神經(jīng)元的指針。然而，運(yùn)動(dòng)或感覺神經(jīng)元包括用于與外部環(huán)境相互作用的感覺值或運(yùn)動(dòng)值。每個(gè)神經(jīng)元包含到其他神經(jīng)元的連接。如果期望的話，神經(jīng)元還可維持其他信息，例如學(xué)習(xí)期間激活的頻率、后繼神經(jīng)元的數(shù)目、前驅(qū)神經(jīng)元的數(shù)目等等，以協(xié)助處理和用作用于創(chuàng)建關(guān)聯(lián)和用于表達(dá)的規(guī)則中。
為了用接口連接到并與外部輸入設(shè)備或外部輸出設(shè)備裝置交互，可定義相應(yīng)于感覺神經(jīng)元或運(yùn)動(dòng)神經(jīng)元的基本神經(jīng)元。
使用用于創(chuàng)建神經(jīng)結(jié)構(gòu)和經(jīng)過神經(jīng)連接的合適的規(guī)則，可以根據(jù)神經(jīng)元和突觸關(guān)聯(lián)來表示和建立/構(gòu)造神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)通過在神經(jīng)元之間創(chuàng)建關(guān)聯(lián)來學(xué)習(xí)。對(duì)于任意神經(jīng)元，其表示可以被回憶或表達(dá)，并且多個(gè)關(guān)聯(lián)的探查以及它的到其他神經(jīng)元的關(guān)聯(lián)的排列可以被回憶或表達(dá)。神經(jīng)元可以表示記憶，其中記憶被定義為神經(jīng)元的表達(dá)。
用接口連接或?qū)W習(xí)或處理外部感覺神經(jīng)元事件的經(jīng)歷和創(chuàng)建輸入經(jīng)歷的記憶是由神經(jīng)元和神經(jīng)元之間新的連接來表示的。
用接口連接或?qū)W習(xí)或表示外部運(yùn)動(dòng)神經(jīng)元事件的活動(dòng)和創(chuàng)建輸出動(dòng)作的記憶是由新的神經(jīng)元和神經(jīng)元之間新的連接來表示的。
神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)，它可以表達(dá)或回憶或記起記憶，它可以與外部環(huán)境相互作用或表達(dá)自己，并有能力思考(被定義為探索如上所述的可替換的神經(jīng)元關(guān)聯(lián)的過程)和創(chuàng)造性地表達(dá)自己。
本發(fā)明還擴(kuò)展到包括計(jì)算機(jī)程序代碼的計(jì)算機(jī)可用介質(zhì)或?qū)ｉT制造的數(shù)字處理器芯片，它們被定制以使一個(gè)或多個(gè)處理器執(zhí)行一個(gè)或多個(gè)功能以執(zhí)行上述的方法。
雖然已經(jīng)在前面的描述中描述了本發(fā)明的優(yōu)選實(shí)施例，但是本領(lǐng)域的技術(shù)人員將明白，可在設(shè)計(jì)、構(gòu)造或操作的細(xì)節(jié)中作出許多變化或修改而不脫離本發(fā)明。
權(quán)利要求
1.一種包括多個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)神經(jīng)元中的任何一個(gè)能夠通過到所述多個(gè)神經(jīng)元中的又一個(gè)神經(jīng)元的活動(dòng)連接來與自身或與所述多個(gè)神經(jīng)元中的另一個(gè)神經(jīng)元關(guān)聯(lián)或鏈接。
2.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)，其中，所述又一個(gè)神經(jīng)元在比所述神經(jīng)元和所述另一個(gè)神經(jīng)元都深的層級(jí)中。
3.如權(quán)利要求1或2所述的神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)元和所述另一個(gè)神經(jīng)元在從包括相同和不同層級(jí)的組中選出的層級(jí)中。
4.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)神經(jīng)元包括多個(gè)基本神經(jīng)元和多個(gè)結(jié)構(gòu)神經(jīng)元；所有基本神經(jīng)元和結(jié)構(gòu)神經(jīng)元都能夠被關(guān)聯(lián)；所有基本神經(jīng)元都能夠表達(dá)它們的基本值，并且所有結(jié)構(gòu)神經(jīng)元都能夠表達(dá)它們關(guān)聯(lián)到的一對(duì)神經(jīng)元。
5.如權(quán)利要求4所述的神經(jīng)網(wǎng)絡(luò)，其中，每個(gè)結(jié)構(gòu)神經(jīng)元表示由一對(duì)神經(jīng)元表示的組合信息或記憶，所述結(jié)構(gòu)神經(jīng)元自所述神經(jīng)元對(duì)接收輸入；并且每個(gè)基本神經(jīng)元表示從下述組中選出的至少一個(gè)，所述組包括正被處理的信息的輸出激勵(lì)、基本激勵(lì)、定義的基本模式、定義的基本數(shù)據(jù)元素、以及基本輸入激勵(lì)。
6.如權(quán)利要求4或5所述的神經(jīng)網(wǎng)絡(luò)，其中，關(guān)聯(lián)是從下述組中選出的至少一個(gè)，所述組包括基本神經(jīng)元與基本神經(jīng)元、基本神經(jīng)元與結(jié)構(gòu)神經(jīng)元、結(jié)構(gòu)神經(jīng)元與基本神經(jīng)元、結(jié)構(gòu)神經(jīng)元與結(jié)構(gòu)神經(jīng)元。
7.如權(quán)利要求1到6中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)神經(jīng)元中的每個(gè)是從下述組中選出的一個(gè)或多個(gè)，所述組包括起始神經(jīng)元、被關(guān)聯(lián)神經(jīng)元、以及關(guān)聯(lián)神經(jīng)元。
8.如權(quán)利要求7所述的神經(jīng)網(wǎng)絡(luò)，其中，起始神經(jīng)元經(jīng)由到所述關(guān)聯(lián)神經(jīng)元的活動(dòng)連接與被關(guān)聯(lián)神經(jīng)元關(guān)聯(lián)。
9.如權(quán)利要求8所述的神經(jīng)網(wǎng)絡(luò)，其中，所述起始神經(jīng)元、所述被關(guān)聯(lián)神經(jīng)元和所述關(guān)聯(lián)神經(jīng)元是基于鄰近特性連接的，所述鄰近特性是下述至少一個(gè)時(shí)間、空間、強(qiáng)度、大小和相對(duì)位置。
10.如權(quán)利要求1到9中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，由神經(jīng)元表示的信息是記憶，并且處理是學(xué)習(xí)和表達(dá)中的至少一種學(xué)習(xí)和表達(dá)。
11.如權(quán)利要求4到10中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，如果在表達(dá)期間需要更多步驟來表達(dá)其表示的基本神經(jīng)元，則所述神經(jīng)網(wǎng)絡(luò)的層級(jí)是所述神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中更深的層級(jí)。
12.如權(quán)利要求1到6中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)神經(jīng)元中的一個(gè)是起始神經(jīng)元、所述多個(gè)神經(jīng)元中的另一個(gè)是被關(guān)聯(lián)神經(jīng)元，并且所述又一個(gè)神經(jīng)元是關(guān)聯(lián)神經(jīng)元；所述結(jié)構(gòu)使得當(dāng)所述起始神經(jīng)元觸發(fā)或被激活時(shí)，所述關(guān)聯(lián)神經(jīng)元被加強(qiáng)；并且當(dāng)被關(guān)聯(lián)神經(jīng)元觸發(fā)或被激活時(shí)，所述關(guān)聯(lián)神經(jīng)元進(jìn)一步被加強(qiáng)，從而被激活并且能夠觸發(fā)。
13.如權(quán)利要求12所述的神經(jīng)網(wǎng)絡(luò)，其中，所述被關(guān)聯(lián)神經(jīng)元與所述起始神經(jīng)元同時(shí)觸發(fā)或被激活。
14.如權(quán)利要求12所述的神經(jīng)網(wǎng)絡(luò)，其中，相對(duì)于所述關(guān)聯(lián)神經(jīng)元，所述被關(guān)聯(lián)神經(jīng)元在所述起始神經(jīng)元之后觸發(fā)或被激活。
15.如權(quán)利要求12到14中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的激活或觸發(fā)基于鄰近特性。
16.如權(quán)利要求15所述的神經(jīng)網(wǎng)絡(luò)，其中，所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的所述鄰近激活或觸發(fā)引起所述起始神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間、以及所述被關(guān)聯(lián)神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間新突觸連接的創(chuàng)建或現(xiàn)有突觸連接的增強(qiáng)。
17.如權(quán)利要求12到16中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，所述關(guān)聯(lián)神經(jīng)元表示從所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元學(xué)到的總和；所述總和包括從下述組中選出的一個(gè)或多個(gè)，所述組包括記憶痕跡、所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的經(jīng)歷的組合、記憶、以及事件序列。
18.如權(quán)利要求4到17中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，所有基本神經(jīng)元表示在所述神經(jīng)網(wǎng)絡(luò)的根層中。
19.如權(quán)利要求12到18中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，一旦所述關(guān)聯(lián)神經(jīng)元被激活以表示期望的結(jié)果，就不需要在另一個(gè)神經(jīng)元中重新創(chuàng)建所述期望的結(jié)果。
20.一種包括多個(gè)基本神經(jīng)元和多個(gè)結(jié)構(gòu)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，所述多個(gè)結(jié)構(gòu)神經(jīng)元表示任意神經(jīng)元對(duì)之間的關(guān)聯(lián)，所述神經(jīng)元對(duì)是從下述組中選出的，所述組包括兩個(gè)基本神經(jīng)元、兩個(gè)結(jié)構(gòu)神經(jīng)元、一個(gè)結(jié)構(gòu)神經(jīng)元和一個(gè)基本神經(jīng)元、以及一個(gè)基本神經(jīng)元和一個(gè)結(jié)構(gòu)神經(jīng)元。
21.如權(quán)利要求20所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)基本神經(jīng)元表示在所述神經(jīng)網(wǎng)絡(luò)的根層中，并且每個(gè)基本神經(jīng)元表示下述至少一個(gè)基本激勵(lì)、定義的模式和定義的數(shù)據(jù)元素；每個(gè)基本激勵(lì)用于表示正被處理的信息的輸出激勵(lì)和基本輸入激勵(lì)中的至少一個(gè)。
22.如權(quán)利要求20或21所述的神經(jīng)網(wǎng)絡(luò)，其中，每個(gè)基本神經(jīng)元是從包括感覺神經(jīng)元和運(yùn)動(dòng)神經(jīng)元的組中選出的。
23.如權(quán)利要求21所述的神經(jīng)網(wǎng)絡(luò)，其中，所述信息是記憶。
24.如權(quán)利要求20到23中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，所述處理是學(xué)習(xí)和表達(dá)中的至少一個(gè)。
25.如權(quán)利要求20到24中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)神經(jīng)關(guān)聯(lián)表示在多個(gè)更深的神經(jīng)層級(jí)中。
26.如權(quán)利要求25所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)更深層級(jí)中的層數(shù)由待處理或表達(dá)的記憶或模式的范圍確定，其中記憶表示多個(gè)基本神經(jīng)元。
27.如權(quán)利要求26所述的神經(jīng)網(wǎng)絡(luò)，其中，表示所述記憶所需的基本神經(jīng)元和結(jié)構(gòu)神經(jīng)元的數(shù)目由所述待處理的記憶的性質(zhì)確定。
28.如權(quán)利要求20到27中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)結(jié)構(gòu)神經(jīng)元中的任何一個(gè)都能夠通過到所述多個(gè)結(jié)構(gòu)神經(jīng)元中的又一個(gè)結(jié)構(gòu)神經(jīng)元的活動(dòng)連接來與所述多個(gè)神經(jīng)元中的另一個(gè)結(jié)構(gòu)神經(jīng)元關(guān)聯(lián)。
29.如權(quán)利要求28所述的神經(jīng)網(wǎng)絡(luò)，其中，所述又一個(gè)結(jié)構(gòu)神經(jīng)元在比所述結(jié)構(gòu)神經(jīng)元和所述另一個(gè)結(jié)構(gòu)神經(jīng)元都深的層級(jí)中。
30.一種包括由關(guān)聯(lián)鏈接的多個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，所有神經(jīng)元都能夠被表達(dá)。
31.如權(quán)利要求30所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)神經(jīng)元包括多個(gè)基本神經(jīng)元和多個(gè)結(jié)構(gòu)神經(jīng)元；所有基本神經(jīng)元都能夠表達(dá)它們的基本值，并且所有結(jié)構(gòu)神經(jīng)元都能夠表達(dá)它們關(guān)聯(lián)到的一對(duì)神經(jīng)元。
32.一種包括多個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，每個(gè)神經(jīng)元都由陣列中唯一可尋址的節(jié)點(diǎn)表示。
33.如權(quán)利要求32所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)神經(jīng)元的每個(gè)都由關(guān)聯(lián)連接，所有的神經(jīng)元都能夠被表達(dá)。
34.如權(quán)利要求33所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)神經(jīng)元包括多個(gè)基本神經(jīng)元和多個(gè)結(jié)構(gòu)神經(jīng)元；所有基本神經(jīng)元都能夠表達(dá)它們的基本值，并且所有結(jié)構(gòu)神經(jīng)元都能夠表達(dá)它們關(guān)聯(lián)到的一對(duì)神經(jīng)元。
35.如權(quán)利要求32到34中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，每個(gè)神經(jīng)元由所述陣列中的單個(gè)節(jié)點(diǎn)整體表示。
36.一種包括陣列中的多個(gè)節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)，每個(gè)節(jié)點(diǎn)包括至少一個(gè)指針，每個(gè)指針是所述節(jié)點(diǎn)的數(shù)據(jù)元素；每個(gè)數(shù)據(jù)元素表示所述陣列中特定節(jié)點(diǎn)的唯一地址，每個(gè)地址表示多個(gè)神經(jīng)元中的神經(jīng)元。
37.如權(quán)利要求36所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)神經(jīng)元中的每個(gè)都由關(guān)聯(lián)鏈接，所有的神經(jīng)元都能夠被表達(dá)。
38.如權(quán)利要求36或37所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)神經(jīng)元包括多個(gè)基本神經(jīng)元和多個(gè)結(jié)構(gòu)神經(jīng)元；所有基本神經(jīng)元都能夠表達(dá)它們的基本值，并且所有結(jié)構(gòu)神經(jīng)元都能夠表達(dá)它們關(guān)聯(lián)到的一對(duì)神經(jīng)元。
39.如權(quán)利要求36到38中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)神經(jīng)元中的每個(gè)都由陣列中的可尋址節(jié)點(diǎn)表示。
40.一種包括陣列中的多個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，所述陣列具有用于提供表達(dá)的指針。
41.如權(quán)利要求40所述的神經(jīng)網(wǎng)絡(luò)，其中，每個(gè)神經(jīng)元由陣列中的節(jié)點(diǎn)表示，每個(gè)節(jié)點(diǎn)具有多個(gè)指針。
42.如權(quán)利要求41所述的神經(jīng)網(wǎng)絡(luò)，其中，每個(gè)節(jié)點(diǎn)中的每個(gè)指針包含下述至少一個(gè)另一個(gè)神經(jīng)元的獨(dú)有地址，以及基本神經(jīng)元的基本值。
43.如權(quán)利要求41或42所述的神經(jīng)網(wǎng)絡(luò)，其中，每個(gè)指針具有特定并唯一的功能，并且表示突觸連接。
44.如權(quán)利要求42或當(dāng)附加于權(quán)利要求42時(shí)43所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個(gè)神經(jīng)元包括多個(gè)基本神經(jīng)元和多個(gè)結(jié)構(gòu)神經(jīng)元；所有基本神經(jīng)元都能夠表達(dá)它們的基本值，并且所有結(jié)構(gòu)神經(jīng)元都能夠表達(dá)它們關(guān)聯(lián)到的一對(duì)神經(jīng)元。
45.如權(quán)利要求44所述的神經(jīng)網(wǎng)絡(luò)，其中，所述指針除了表示所述基本神經(jīng)元中的基本激勵(lì)的值之外，每個(gè)指針還包含另一個(gè)神經(jīng)元的地址。
46.如權(quán)利要求41到45中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，指針的數(shù)目取決于所述神經(jīng)網(wǎng)絡(luò)所執(zhí)行的功能。
47.如權(quán)利要求41到46中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，每個(gè)神經(jīng)元的指針的數(shù)目至少為二。
48.如權(quán)利要求41到47中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，指向神經(jīng)元的每個(gè)指針的功能是從下述組中選出的，所述組包括起始、關(guān)聯(lián)、后繼、所述起始神經(jīng)元的下個(gè)后繼、前驅(qū)、以及所述關(guān)聯(lián)神經(jīng)元的下個(gè)前驅(qū)。
49.如權(quán)利要求1到48中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，所有的神經(jīng)元都是固定長度的。
50.一種在神經(jīng)網(wǎng)絡(luò)中使用的神經(jīng)組件，所述神經(jīng)組件包括起始神經(jīng)元、被關(guān)聯(lián)神經(jīng)元、以及操作連接到所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的關(guān)聯(lián)神經(jīng)元。
51.如權(quán)利要求50所述的神經(jīng)組件，其中，當(dāng)所述起始神經(jīng)元觸發(fā)或被激活時(shí)，所述關(guān)聯(lián)神經(jīng)元被加強(qiáng)；且當(dāng)所述被關(guān)聯(lián)神經(jīng)元觸發(fā)或被激活時(shí)，所述關(guān)聯(lián)神經(jīng)元被加強(qiáng)和激活，并且能夠觸發(fā)。
52.如權(quán)利要求51所述的神經(jīng)組件，其中，所述被關(guān)聯(lián)神經(jīng)元與所述起始神經(jīng)元同時(shí)觸發(fā)。
53.如權(quán)利要求51所述的神經(jīng)組件，其中，所述被關(guān)聯(lián)神經(jīng)元在所述起始神經(jīng)元之后觸發(fā)。
54.如權(quán)利要求50到53中的任何一個(gè)所述的神經(jīng)組件，其中，所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的所述激活或觸發(fā)基于鄰近特性。
55.如權(quán)利要求54所述的神經(jīng)組件，其中，所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的鄰近激活或觸發(fā)引起所述起始神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間、以及所述被關(guān)聯(lián)神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間新突觸連接的創(chuàng)建或現(xiàn)有突觸連接的增強(qiáng)。
56.如權(quán)利要求50到55中的任何一個(gè)所述的神經(jīng)組件，其中，所述關(guān)聯(lián)神經(jīng)元表示從起始神經(jīng)元和被關(guān)聯(lián)神經(jīng)元學(xué)到的總和。
57.如權(quán)利要求56所述的神經(jīng)組件，其中，所述總和包括從下述組中選出的一個(gè)或多個(gè)，所述組包括記憶痕跡、所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的經(jīng)歷的組合、記憶、以及事件序列。
58.如權(quán)利要求50到57中的任何一個(gè)所述的神經(jīng)組件，其中，一旦所述關(guān)聯(lián)神經(jīng)元被激活以表示期望的結(jié)果，就不需要在另一個(gè)神經(jīng)元中重新創(chuàng)建所述期望的結(jié)果。
59.一種用于創(chuàng)建神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元的關(guān)聯(lián)的方法，所述神經(jīng)網(wǎng)絡(luò)具有多個(gè)神經(jīng)元，所述多個(gè)神經(jīng)元中的一個(gè)是起始神經(jīng)元，所述多個(gè)神經(jīng)元中的另一個(gè)是被關(guān)聯(lián)神經(jīng)元，并且所述多個(gè)神經(jīng)元中的又一個(gè)是關(guān)聯(lián)神經(jīng)元；所述方法包括(a)激活或觸發(fā)所述起始神經(jīng)元以加強(qiáng)所述關(guān)聯(lián)神經(jīng)元；以及(b)激活或觸發(fā)所述被關(guān)聯(lián)神經(jīng)元以加強(qiáng)和激活所述關(guān)聯(lián)神經(jīng)元，所述關(guān)聯(lián)神經(jīng)元被激活，并且能夠觸發(fā)。
60.如權(quán)利要求59所述的方法，其中，所述被關(guān)聯(lián)神經(jīng)元與所述起始神經(jīng)元同時(shí)觸發(fā)或被激活。
61.如權(quán)利要求59所述的方法，其中，所述被關(guān)聯(lián)神經(jīng)元在所述起始神經(jīng)元之后觸發(fā)或被激活。
62.如權(quán)利要求59到61中的任何一個(gè)所述的方法，其中，所述起始神經(jīng)元的激活或觸發(fā)和所述被關(guān)聯(lián)神經(jīng)元的激活或觸發(fā)基于鄰近特性。
63.如權(quán)利要求62所述的方法，其中，所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的鄰近激活或觸發(fā)引起所述起始神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間、以及所述被關(guān)聯(lián)神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間新突觸連接的創(chuàng)建或現(xiàn)有突觸連接的增強(qiáng)。
64.如權(quán)利要求59到63中的任何一個(gè)所述的方法，其中，所述關(guān)聯(lián)神經(jīng)元表示從起始神經(jīng)元和被關(guān)聯(lián)神經(jīng)元學(xué)到的總和。
65.如權(quán)利要求64所述的方法，其中，所述總和包括從下述組中選出的一個(gè)或多個(gè)，所述組包括記憶痕跡、所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的經(jīng)歷的組合、記憶、以及事件序列。
66.如權(quán)利要求59到65中的任何一個(gè)所述的方法，其中，一旦所述關(guān)聯(lián)神經(jīng)元被激活以表示期望的結(jié)果，就不需要在另一個(gè)神經(jīng)元中重新創(chuàng)建所述期望的結(jié)果。
67.一種操作神經(jīng)網(wǎng)絡(luò)的方法，所述神經(jīng)網(wǎng)絡(luò)具有包括多個(gè)基本神經(jīng)元和多個(gè)結(jié)構(gòu)神經(jīng)元的多個(gè)神經(jīng)元，所述方法包括(a)定義所述基本神經(jīng)元和結(jié)構(gòu)神經(jīng)元將表示的事件；(b)針對(duì)所有已定義事件的待表示唯一值的總數(shù)創(chuàng)建所需數(shù)目的基本神經(jīng)元；以及(c)為所述多個(gè)神經(jīng)元的關(guān)聯(lián)創(chuàng)建一組規(guī)則。
68.如權(quán)利要求67所述的方法，其中，所述多個(gè)神經(jīng)元的任何一個(gè)都能夠經(jīng)由到所述多個(gè)神經(jīng)元中的又一個(gè)神經(jīng)元的活躍連接來與所述多個(gè)神經(jīng)元中的另一個(gè)神經(jīng)元關(guān)聯(lián)。
69.如權(quán)利要求68所述的方法，其中，所述又一個(gè)神經(jīng)元在比所述神經(jīng)元和所述另一個(gè)神經(jīng)元都深的層級(jí)。
70.如權(quán)利要求68或69所述的方法，其中，所述神經(jīng)元和所述另一個(gè)神經(jīng)元在相同的層級(jí)中。
71.如權(quán)利要求68或69所述的方法，其中，所述神經(jīng)元和所述另一個(gè)神經(jīng)元在不同的層級(jí)上。
72.如權(quán)利要求67到71中的任何一個(gè)所述的方法，其中，所有基本神經(jīng)元都能夠表達(dá)它們的基本值，并且所有結(jié)構(gòu)神經(jīng)元都能夠表達(dá)它們關(guān)聯(lián)到的一對(duì)神經(jīng)元。
73.如權(quán)利要求72所述的方法，其中，關(guān)聯(lián)是從下述組中選出的一個(gè)或多個(gè)，所述組包括基本神經(jīng)元與基本神經(jīng)元、基本神經(jīng)元與結(jié)構(gòu)神經(jīng)元、結(jié)構(gòu)神經(jīng)元與基本神經(jīng)元、結(jié)構(gòu)神經(jīng)元與結(jié)構(gòu)神經(jīng)元。
74.如權(quán)利要求67到73中的任何一個(gè)所述的方法，其中，所述多個(gè)神經(jīng)元的每個(gè)是從下述組中選出的一個(gè)或多個(gè)，所述組包括起始神經(jīng)元、被關(guān)聯(lián)神經(jīng)元、以及關(guān)聯(lián)神經(jīng)元。
75.如權(quán)利要求74所述的方法，其中，起始神經(jīng)元通過到所述關(guān)聯(lián)神經(jīng)元的活躍連接來與被關(guān)聯(lián)神經(jīng)元關(guān)聯(lián)。
76.如權(quán)利要求75所述的方法，其中，所述起始神經(jīng)元、所述被關(guān)聯(lián)神經(jīng)元和所述關(guān)聯(lián)神經(jīng)元基于鄰近特性被連接。
77.如權(quán)利要求76所述的方法，其中，所述鄰近特性是下述至少一個(gè)時(shí)間、空間、強(qiáng)度、大小和相對(duì)位置。
78.如權(quán)利要求69到77中的任何一個(gè)所述的方法，其中，如果在回憶期間需要更多的步驟來表達(dá)所述基本神經(jīng)元，則所述神經(jīng)網(wǎng)絡(luò)的層級(jí)是所述神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中更深的層級(jí)。
79.如權(quán)利要求74到77中的任何一個(gè)所述的方法，還包括(a)激活或觸發(fā)所述起始神經(jīng)元加強(qiáng)所述關(guān)聯(lián)神經(jīng)元；以及(b)激活或觸發(fā)所述被關(guān)聯(lián)神經(jīng)元加強(qiáng)并激活所述關(guān)聯(lián)神經(jīng)元，所述關(guān)聯(lián)神經(jīng)元然后被激活，并且能夠觸發(fā)。
80.如權(quán)利要求79所述的方法，其中，所述被關(guān)聯(lián)神經(jīng)元與所述起始神經(jīng)元同時(shí)觸發(fā)或被激活。
81.如權(quán)利要求79所述的方法，其中，所述被關(guān)聯(lián)神經(jīng)元在所述起始神經(jīng)元之后觸發(fā)或被激活。
82.如權(quán)利要求79到81中的任何一個(gè)所述的方法，所述起始神經(jīng)元的激活或觸發(fā)和所述被關(guān)聯(lián)神經(jīng)元的激活或觸發(fā)基于鄰近特性。
83.如權(quán)利要求82所述的方法，其中，所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的鄰近激活或觸發(fā)引起所述起始神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間、以及所述被關(guān)聯(lián)神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間新突觸連接的創(chuàng)建或現(xiàn)有突觸連接的增強(qiáng)。
84.如權(quán)利要求79到83中的任何一個(gè)所述的方法，其中，所述關(guān)聯(lián)神經(jīng)元表示從所述起始神經(jīng)元和被關(guān)聯(lián)神經(jīng)元學(xué)到的總和。
85.如權(quán)利要求84所述的方法，其中，所述總和包括從下述組中選出的一個(gè)或多個(gè)，所述組包括記憶痕跡、所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的經(jīng)歷的組合、記憶、以及事件序列。
86.如權(quán)利要求69到85中的任何一個(gè)所述的方法，其中，所述多個(gè)基本神經(jīng)元表示在所述神經(jīng)網(wǎng)絡(luò)的根層級(jí)中，并且每個(gè)基本神經(jīng)元對(duì)應(yīng)于基本激勵(lì)或模式，每個(gè)基本激勵(lì)是用于表示正被處理的信息的輸出激勵(lì)和基本輸入激勵(lì)中的一個(gè)。
87.如權(quán)利要求86所述的方法，其中，所述信息是記憶。
88.如權(quán)利要求86或87所述的方法，其中，所述處理是表達(dá)。
89.如權(quán)利要求86到88中的任何一個(gè)所述的方法，其中，所述多個(gè)結(jié)構(gòu)神經(jīng)元表示在多個(gè)更深的神經(jīng)元層級(jí)中。
90.如權(quán)利要求89所述的方法，其中，所述多個(gè)更深層級(jí)中的層數(shù)由待處理或表達(dá)的所述記憶或模式的范圍確定，其中記憶表示多個(gè)基本激勵(lì)，并且每個(gè)基本激勵(lì)由基本神經(jīng)元直接表示。
91.如權(quán)利要求90所述的方法，其中，表示所述記憶所需的基本神經(jīng)元的數(shù)目由待處理的所述記憶的性質(zhì)確定。
92.如權(quán)利要求67到91中的任何一個(gè)所述的方法，其中，每個(gè)神經(jīng)元由陣列中的單個(gè)固定長度的節(jié)點(diǎn)整體表示。
93.如權(quán)利要求67到91中的任何一個(gè)所述的方法，其中，所述多個(gè)神經(jīng)元的每個(gè)都在陣列中，所述陣列具有用于提供表達(dá)的指針。
94.如權(quán)利要求93所述的方法，其中每個(gè)神經(jīng)元由所述陣列中的節(jié)點(diǎn)表示，每個(gè)節(jié)點(diǎn)具有多個(gè)指針，每個(gè)節(jié)點(diǎn)中的每個(gè)指針包含另一個(gè)神經(jīng)元獨(dú)有的地址。
95.如權(quán)利要求67到94中的任何一個(gè)所述的方法，其中，所有的神經(jīng)元都是固定長度的。
96.一種包括計(jì)算機(jī)程序代碼的計(jì)算機(jī)可用介質(zhì)，所述計(jì)算機(jī)程序代碼配置為使一個(gè)或多個(gè)處理器執(zhí)行一個(gè)或多個(gè)功能以執(zhí)行如權(quán)利要求67到95中任何一個(gè)所述的方法。
97.如權(quán)利要求1到49中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)網(wǎng)絡(luò)是雙向的。
98.一種神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)網(wǎng)絡(luò)是雙向的，并被使得能夠正向工作和反向工作，在正向中從事件得到輸出，而在反向中從輸出得到事件。
99.如權(quán)利要求98所述的神經(jīng)網(wǎng)絡(luò)，其中，所述正向是學(xué)習(xí)，所述反向是表達(dá)。
100.如權(quán)利要求1到49、97到99中的任何一個(gè)所述的神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)網(wǎng)絡(luò)存儲(chǔ)關(guān)聯(lián)而不是數(shù)據(jù)。
101.如權(quán)利要求100所述的神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)網(wǎng)絡(luò)識(shí)別關(guān)聯(lián)的模式中的模式。
102.如權(quán)利要求100或101中所述的神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)網(wǎng)絡(luò)被用于下述一個(gè)或多個(gè)監(jiān)控和預(yù)測(cè)股票價(jià)格運(yùn)動(dòng)、互聯(lián)網(wǎng)監(jiān)測(cè)、互聯(lián)網(wǎng)安全、計(jì)算機(jī)病毒檢測(cè)、計(jì)算機(jī)蠕蟲檢測(cè)、語音和文本中的短語、語音和文本中的從句、剽竊檢測(cè)、生物信息學(xué)、視覺識(shí)別、語義分析、數(shù)據(jù)本體的表示、機(jī)器人學(xué)、以及數(shù)據(jù)壓縮。
全文摘要
一種包括多個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，其中所述多個(gè)神經(jīng)元中的任何一個(gè)都能夠通過到所述多個(gè)神經(jīng)元中的又一個(gè)神經(jīng)元的活動(dòng)連接來與自身或所述多個(gè)神經(jīng)元中的另一個(gè)神經(jīng)元關(guān)聯(lián)。
文檔編號(hào)G06F15/18GK1826594SQ200480017847
公開日2006年8月30日 申請(qǐng)日期2004年6月21日 優(yōu)先權(quán)日2003年6月26日
發(fā)明者羅伯特·喬治·赫克斯 申請(qǐng)人:紐諾麥蒂克斯私人有限公司