專利名稱：對神經(jīng)網(wǎng)絡(luò)進行組織的制作方法
對神經(jīng)網(wǎng)絡(luò)進行組織相關(guān)申請的交叉引用根據(jù)美國法典第35篇第119條第(e)項，本申請要求享有2010年2月5日提交的第61/301，781號美國專利申請的權(quán)益，該美國專利申請的內(nèi)容以引用的方式納入本文。
背景技術(shù)：
本說明書涉及對訓練的和未訓練的神經(jīng)網(wǎng)絡(luò)進行組織的方法，以及對神經(jīng)網(wǎng)絡(luò)進行組織的方法。神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)和功能方面啟發(fā)的裝置。具體地，神經(jīng)網(wǎng)絡(luò)使用被稱為“節(jié)點”的互連結(jié)構(gòu)的系統(tǒng)來模擬生物神經(jīng)元網(wǎng)絡(luò)的信息編碼和其他處理能力。神經(jīng)網(wǎng)絡(luò)中節(jié)點之間連接的排列和強度決定神經(jīng)網(wǎng)絡(luò)的信息處理或信息儲存的結(jié)果。神經(jīng)網(wǎng)絡(luò)可以被“訓練”以產(chǎn)生需要的網(wǎng)絡(luò)內(nèi)信號流并且達到需要的信息處理或信息儲存的結(jié)果。一般來說，在學習過程中訓練神經(jīng)網(wǎng)絡(luò)可改變節(jié)點間連接的排列和/或強度。當神經(jīng)網(wǎng)絡(luò)達到對給出的輸入組有足夠合適的處理結(jié)果時，可以認為所述神經(jīng)網(wǎng)絡(luò)是“訓練的”。神經(jīng)網(wǎng)絡(luò)可以用于多種不同的裝置中來進行非線性數(shù)據(jù)處理和分析。非線性數(shù)據(jù)處理不滿足疊加原理，即需要確定的變量不能表示為獨立成分的線性和。其中可用非線性數(shù)據(jù)處理的情況的實例包括模式和序列識別、新穎性檢測和序貫決策作出、復雜系統(tǒng)建模以及多種其他情況中的系統(tǒng)和技術(shù)。

發(fā)明內(nèi)容
本說明書描述了對訓練的和未訓練的神經(jīng)網(wǎng)絡(luò)進行組織的方法，以及對神經(jīng)網(wǎng)絡(luò)進行組織的方法。對大鼠新皮質(zhì)中生物神經(jīng)元進行組織的研究已經(jīng)給出了關(guān)于神經(jīng)網(wǎng)絡(luò)中節(jié)點可以如何被有利地組織的線索。具有模擬大鼠新皮質(zhì)中對生物神經(jīng)元進行組織的互連的神經(jīng)網(wǎng)絡(luò)可以被訓練以提高信息處理和/或信息儲存。在本說明書所述的主題的第一個方面，神經(jīng)網(wǎng)絡(luò)裝置可以在硬件、軟件或兩者的結(jié)合中實施。所述神經(jīng)網(wǎng)絡(luò)裝置包括由集間連接互連的節(jié)點集的集合，每個節(jié)點集本身包括由多個集內(nèi)連接互連的節(jié)點的網(wǎng)絡(luò)，其中每個集間連接和集內(nèi)連接都有相關(guān)的權(quán)重，每個權(quán)重體現(xiàn)由相關(guān)連接連接的節(jié)點之間的連接強度，與連接到其他節(jié)點集內(nèi)的節(jié)點相比，每個集內(nèi)的節(jié)點更可能連接到該集內(nèi)的其他節(jié)點。在本說明書所述的主題的第二個方面，形成神經(jīng)網(wǎng)絡(luò)裝置的機器實施方法包括，形成在硬件、軟件或兩者的結(jié)合中實施的節(jié)點網(wǎng)絡(luò)，通過以體現(xiàn)節(jié)點共有的共同鄰點數(shù)目的概率來連接或斷開節(jié)點而分配或再分配網(wǎng)絡(luò)節(jié)點間的連接。這些方面和其他方面可以包括以下特征中的一個或多個。與集間連接相關(guān)的權(quán)重可以體現(xiàn)出于具體目的對神經(jīng)裝置的訓練。集內(nèi)連接可以體現(xiàn)出于具體目的對神經(jīng)網(wǎng)絡(luò)裝置的訓練至比集間連接小的程度?？筛鶕?jù)兩兩連接關(guān)系連接節(jié)點并形成節(jié)點集。對于具有更多連接數(shù)目的節(jié)點集，每個節(jié)點集內(nèi)平均權(quán)重的方差通常減小。隨著各個節(jié)點集內(nèi)連接數(shù)超過所述各自節(jié)點集內(nèi)節(jié)點數(shù)，所述各個節(jié)點集的平均互連強度可以漸近地達到各自的極限。例如，所述各自的極限基本相同。對于集內(nèi)連接數(shù)小于同一節(jié)點集內(nèi)的節(jié)點數(shù)的節(jié)點集，集內(nèi)連接的權(quán)重大小可以與一套水平中的不同水平顯著相關(guān)。例如，每個不同的水平可以與所述集內(nèi)的不同節(jié)點數(shù)目相關(guān)。神經(jīng)網(wǎng)絡(luò)裝置可以包括被配置以基于每個集內(nèi)連接的集內(nèi)其他節(jié)點數(shù)目來改變所述集內(nèi)連接各自的權(quán)重大小的適配器組件。例如，在對所述神經(jīng)網(wǎng)絡(luò)裝置訓練前，可以配置適配器組件以改變各自權(quán)重的大小。這樣的神經(jīng)網(wǎng)絡(luò)裝置可以是未訓練的。神經(jīng)網(wǎng)絡(luò)裝置可以包括被配置以基于節(jié)點集內(nèi)節(jié)點數(shù)目來改變每個節(jié)點集內(nèi)節(jié)點之間連接概率的適配器組件。例如，在對所述神經(jīng)網(wǎng)絡(luò)裝置訓練前，可以配置適配器組件以改變每個權(quán)重的大小。連接可以包括相互連接和非相互連接。非相互連接大約兩倍于相互連接。集內(nèi)的節(jié)點與該集內(nèi)的其他節(jié)點連接可能性是與其他節(jié)點集內(nèi)的節(jié)點連接的兩倍。具有10到100個節(jié)點的節(jié)點集的數(shù)目可以大于具有少于10個和多于100個節(jié)點的節(jié)點集的數(shù)目。神經(jīng)網(wǎng)絡(luò)裝置可以具有10到100個節(jié)點集。可以重復分配或再分配直到達到準穩(wěn)態(tài)?？筛鶕?jù)兩兩連接關(guān)系連接節(jié)點?？梢詫?jié)點的網(wǎng)絡(luò)進行訓練，例如通過以 相對穩(wěn)定的權(quán)重來確定節(jié)點集內(nèi)連接的權(quán)重，并確定節(jié)點集之間的連接的權(quán)重以體現(xiàn)所述訓練，同時保持所述節(jié)點集內(nèi)連接的權(quán)重相對不變。基于共同連接到第一和第二節(jié)點的節(jié)點數(shù)目，可以對第一和第二節(jié)點間的每個連接分配權(quán)重?？筛鶕?jù)隨機分配過程或者根據(jù)其中依照兩個節(jié)點連接的可能性進行連接分配的過程，來分配初始組的連接。通過所述方法可以形成未訓練的神經(jīng)網(wǎng)絡(luò)裝置?？梢灾貜头峙浠蛟俜峙洌钡礁鱾€節(jié)點集內(nèi)的連接數(shù)目超過該各個節(jié)點集內(nèi)的節(jié)點數(shù)目?？梢砸噪S著連接數(shù)目超過節(jié)點數(shù)目達到極限的權(quán)重來確定各個節(jié)點集內(nèi)的連接的權(quán)重。不同大小節(jié)點集的極限基本相同。本說明書所述主題的一個或多個實施方案的細節(jié)在以下的附圖和說明書中給出。所述主題的其他特征、方面和優(yōu)點通過所述說明書、附圖以及權(quán)利要求書將變得明顯。


圖I是神經(jīng)網(wǎng)絡(luò)裝置的示意圖。圖2A-2F的圖呈現(xiàn)的示例性實例是不同數(shù)目的節(jié)點的組中出現(xiàn)不同數(shù)目的連接的頻率。圖3A-3F的圖呈現(xiàn)的示例性實例是連接可以在圖2A-2F的組中出現(xiàn)的頻率和預期要出現(xiàn)的連接是隨機分配的連接的頻率之間的差異。圖4A、4B的圖呈現(xiàn)的示例性實例是體現(xiàn)共有不同數(shù)目的共同鄰點的給定節(jié)點對自連的可能性的不同概率。圖5A、5B的圖呈現(xiàn)的示例性實例是在6個節(jié)點的組或集內(nèi)節(jié)點之間互連的不同平均強度。圖6的圖呈現(xiàn)的示例性實例是具有不同數(shù)目互連的節(jié)點之間互連強度的不同概率密度分布。圖7A、7B的圖呈現(xiàn)的示例性實例是在6個節(jié)點的組或集內(nèi)節(jié)點之間平均互連強度的不同方差。圖8的圖呈現(xiàn)的示例性實例是在一個節(jié)點集內(nèi)的節(jié)點對和在兩個不同節(jié)點集內(nèi)的節(jié)點對連接的概率。
圖9A、9B的圖呈現(xiàn)的示例性實例是訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置中節(jié)點集大小的不同分布。圖10的圖呈現(xiàn)的示例性實例是包含節(jié)點集連接性的神經(jīng)網(wǎng)絡(luò)裝置的集聚系數(shù)。圖11的圖1100呈現(xiàn)的示例性曲線1105是包括節(jié)點集連接性的神經(jīng)網(wǎng)絡(luò)裝置的輸入連接的累積分布。圖12的圖呈現(xiàn)的示例性實例是包括節(jié)點集連接性的神經(jīng)網(wǎng)絡(luò)裝置的節(jié)點對共有的共同鄰點數(shù)目的概率密度分布曲線。在各圖中同樣的參考編號和命名指示相同的要素。
具體實施例方式
圖I是神經(jīng)網(wǎng)絡(luò)裝置100的示意圖。神經(jīng)網(wǎng)絡(luò)裝置100是使用互連節(jié)點的系統(tǒng)來模擬生物神經(jīng)元網(wǎng)絡(luò)的信息編碼和其他處理能力的裝置。神經(jīng)網(wǎng)絡(luò)裝置100可以在硬件、軟件或兩者的結(jié)合中實施。神經(jīng)網(wǎng)絡(luò)裝置100包括通過多個連接110互連的多個節(jié)點105。節(jié)點105是類似于生物網(wǎng)絡(luò)中的神經(jīng)元的離散信息處理構(gòu)件。節(jié)點105通常處理經(jīng)一個或多個連接110接收的一個或多個輸入信號，以產(chǎn)生經(jīng)一個或多個連接110輸出的一個或多個輸出信號。例如，在一些實施中，節(jié)點105可以是對多個輸入信號加權(quán)并求和的人工神經(jīng)元，將所述和代入一個或多個非線性活動函數(shù)，并輸出一個或多個輸出信號。神經(jīng)網(wǎng)絡(luò)裝置100中的節(jié)點105被組織成多個節(jié)點集115、120、125、130。每個節(jié)點集115、120、125、130都是節(jié)點的集合。各個節(jié)點集115、120、125、130內(nèi)的節(jié)點105與相同各個節(jié)點集115、120、125、130內(nèi)的其他節(jié)點比與節(jié)點集115、120、125、130中的其他節(jié)點集內(nèi)的節(jié)點更有可能建立連接110。例如，在一些實施中，各個節(jié)點集115、120、125、130內(nèi)的節(jié)點105與相同各個節(jié)點集115、120、125、130內(nèi)其他節(jié)點建立連接110的可能性I. 5倍于或2倍于與其他節(jié)點集115、120、125、130中其他節(jié)點集內(nèi)的節(jié)點建立連接110。在不同節(jié)點集115、120、125、130中可以發(fā)現(xiàn)不同數(shù)目的節(jié)點105。例如，在所述示例性實施中，節(jié)點集115、120各自包含6個節(jié)點105，而節(jié)點集125包含7個節(jié)點105，節(jié)點集130包含4個節(jié)點105。雖然為了清楚起見節(jié)點集115、120、125、130被分離的二維邊界分離，但是節(jié)點105的多級互連網(wǎng)絡(luò)也可以組織成節(jié)點集。如下文進一步所述的，節(jié)點集115、120、125、130——以及節(jié)點105與節(jié)點集115、120、125、130內(nèi)外的節(jié)點的連接——可以具有類似生物神經(jīng)元簇特征的一個或多個特征。連接110是節(jié)點105之間的連接，類似于生物網(wǎng)絡(luò)中神經(jīng)元的突觸及其他連接。連接110可以包括例如前饋連接、反饋連接、循環(huán)連接或它們的結(jié)合。連接110可以是單向的(例如輸入或輸出)或雙向的(即可逆的)?？梢愿鶕?jù)由連接110連接的節(jié)點105之間的關(guān)系對連接Iio進行分類。例如，某些連接110，即集內(nèi)連接145，連接單個節(jié)點集115、120、125、130內(nèi)的節(jié)點105。其他連接110，即集間連接150，連接在不同節(jié)點集115、120、125,130內(nèi)的節(jié)點105。在不同的節(jié)點集115、120、125、130內(nèi)可以發(fā)現(xiàn)不同數(shù)目的集內(nèi)連接145。例如，在所述示例性實施中，節(jié)點集115包含6個集內(nèi)連接145。節(jié)點集120包含7個集內(nèi)連接145。節(jié)點集125包含8個集內(nèi)連接145。節(jié)點集130包含5個集內(nèi)連接145。因此，即使包含同樣數(shù)目節(jié)點110的節(jié)點集(例如節(jié)點集115、120)也可以包含有不同數(shù)目的集內(nèi)連接145。神經(jīng)網(wǎng)絡(luò)裝置100是無中心的，因為神經(jīng)網(wǎng)絡(luò)裝置100和節(jié)點集115、120、125、130都不包含中心節(jié)點。中心節(jié)點是那些在網(wǎng)絡(luò)或網(wǎng)絡(luò)集內(nèi)具有比其他節(jié)點顯著多數(shù)目的連接的節(jié)點。例如，輪形網(wǎng)絡(luò)中的中央節(jié)點(即，在其他節(jié)點都具有3個連接的網(wǎng)絡(luò)中具有n-1個連接的節(jié)點)是中心節(jié)點的實例。中心節(jié)點的其他實例包括節(jié)點集內(nèi)的節(jié)點，即這些節(jié)點具有存在于此節(jié)點集內(nèi)每節(jié)點連接的總體分布樣式以外的大量連接。因此，這種節(jié)點集內(nèi)的節(jié)點不限于具有相同的三個連接，而是可以是不同分布的，例如如下文進一步所述。在一些實施中，一組節(jié)點集內(nèi)的節(jié)點(例如神經(jīng)網(wǎng)絡(luò)裝置100中的所有節(jié)點)可以都具有相同的等級。
每個連接110都可以具有表征連接的節(jié)點105之間連接強度的相關(guān)權(quán)重。此權(quán)重類似于生物網(wǎng)絡(luò)中神經(jīng)元之間的突觸和其他連接的強度。如下進一步所述，在一些實施中，在單個節(jié)點集115、120、125、130中的集內(nèi)連接145可以具有體現(xiàn)節(jié)點105的數(shù)目和/或所述節(jié)點集內(nèi)的集內(nèi)連接145的數(shù)目的權(quán)重。在一些實施中，集內(nèi)連接145的權(quán)重大小可以具有相對低的方差。所述方差可以足夠低，使得——對于具有給出數(shù)目節(jié)點105的節(jié)點集115、120、125、130中的至少一些數(shù)目集內(nèi)連接145——具有相對小數(shù)目的集內(nèi)連接145的節(jié)點集內(nèi)的集內(nèi)連接權(quán)重大小與一套顯著分散的水平中的一個水平相關(guān)。隨著神經(jīng)網(wǎng)絡(luò)裝置100被訓練，所述權(quán)重經(jīng)過合適的改變產(chǎn)生需要的信號流并達到需要的信息處理或信息儲存結(jié)果。在一些實施中，集內(nèi)連接權(quán)重的大小可以相對獨立于神經(jīng)網(wǎng)絡(luò)裝置100的任何訓練。在一些實施中，訓練主要地或者甚至唯一地體現(xiàn)為集間連接150的權(quán)重。圖2-12呈現(xiàn)的示例性實例是組織訓練的和未訓練的神經(jīng)網(wǎng)絡(luò)裝置均可以具有的特征。這些特征中的一個或多個可以促進信息處理和/或儲存。例如，圖2A-2F的圖呈現(xiàn)的示例性實例是，在具有12個節(jié)點的訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置的實施中，在不同數(shù)目的節(jié)點的組中出現(xiàn)不同數(shù)目的連接的頻率。具體地，圖2A的圖205呈現(xiàn)的示例性實例是在三節(jié)點組中出現(xiàn)0-6個連接的頻率。圖2B的圖210呈現(xiàn)的示例性實例是在四節(jié)點組中出現(xiàn)0-9個連接的頻率。圖2C的圖215呈現(xiàn)的示例性實例是在五節(jié)點組中出現(xiàn)0-11個連接的頻率。圖2D的圖220呈現(xiàn)的示例性實例是在六節(jié)點組中0-15個連接出現(xiàn)的頻率。圖2E的圖225呈現(xiàn)的示例性實例是在七節(jié)點組中0-19個連接出現(xiàn)的頻率。圖2F的圖230呈現(xiàn)的示例性實例是在八節(jié)點組中0-22個連接出現(xiàn)的頻率。圖2A-2F中的節(jié)點組不一定是形成節(jié)點集的節(jié)點。而是，這些組可能代表節(jié)點在神經(jīng)網(wǎng)絡(luò)裝置內(nèi)可能的隨機分組。因此，某些這樣的節(jié)點組有可能在所述組中的節(jié)點之間具有零個連接。對于多于三個節(jié)點的組，組內(nèi)出現(xiàn)一個連接的頻率高于組內(nèi)出現(xiàn)零個連接的頻率。而且，對于具有四個或更多節(jié)點的組，組內(nèi)出現(xiàn)的連接數(shù)目與組內(nèi)節(jié)點數(shù)目相同的頻率是大約10'對于這些有四個或更多節(jié)點的組，組內(nèi)出現(xiàn)的連接數(shù)目與組內(nèi)節(jié)點數(shù)目相同的頻率小于大約10'圖2A-2F中的這些組內(nèi)出現(xiàn)連接的頻率不同于預期要出現(xiàn)的連接是隨機分配的連接的頻率。圖3A-3F的圖呈現(xiàn)示例性實例是這樣的差異，即圖2A-2F中組內(nèi)出現(xiàn)連接的頻率與預期要出現(xiàn)的連接是隨機分配的連接的頻率之間的差異。在本申請的這些和其他示例性實例中，總連接概率是O. 15。可組織訓練的和未訓練的神經(jīng)網(wǎng)絡(luò)裝置，以具有在其他總連接概率下的相應(yīng)特征。圖2A-2F中的這些差異表示為歸一化的參數(shù)，所述參數(shù)體現(xiàn)超出預期的連接的存在(即參數(shù)為正值)，以及預期連接的不存在(即參數(shù)為負值)。在示例性實施中，這種歸一化的參數(shù)是通過計算兩個頻率之間的差異得到的，這兩個頻率是在具體組內(nèi)出現(xiàn)連接的實際頻率和預期要出現(xiàn)的連接是隨機分配的連接的頻率。然后，將計算出的差異通過預期要出現(xiàn)的連接是隨機分配的連接的頻率進行歸一化。具體地，圖3A的圖305呈現(xiàn)的示例性實例是在3節(jié)點組內(nèi)出現(xiàn)O到6個連接的頻率與預期的偏差。圖3B的圖310呈現(xiàn)的示例性實例是在4節(jié)點組內(nèi)出現(xiàn)O到9個連接的頻率與預期的偏差。圖3C的圖315呈現(xiàn)的示例性實例是在5節(jié)點組內(nèi)出現(xiàn)O到11個連接的頻率與預期的偏差。圖3D的圖320呈現(xiàn)的示例性實例是在6節(jié)點組內(nèi)出現(xiàn)O到15個連接的頻率與預期的偏差。圖3E的圖325呈現(xiàn)的示例性實例是在7節(jié)點組內(nèi)出現(xiàn)O到19個 連接的頻率與預期的偏差。圖3F的圖330呈現(xiàn)的示例性實例是在8節(jié)點組內(nèi)出現(xiàn)O到22個連接的頻率與預期的偏差。圖3A-3F中的節(jié)點組不一定是形成節(jié)點集的節(jié)點。而是這些節(jié)點組代表節(jié)點在神經(jīng)網(wǎng)絡(luò)裝置內(nèi)可能的隨機分組。對于所有大小的組，相對大數(shù)目的連接在節(jié)點隨機分組中的頻率比預期是隨機分配的連接的頻率更高。這些與預期的偏差在連接數(shù)目超過所述隨機分組內(nèi)的節(jié)點數(shù)目時通常變得顯著。例如，圖310顯示，4節(jié)點隨機分組比預期是隨機分配的連接更可能有5個或更多的連接。另例如，圖315顯示，5節(jié)點隨機分組比預期是隨機分配的連接更可能有6個或更多的連接。再例如，圖320顯示，6節(jié)點隨機分組比預期是隨機分配的連接更可能有7個或更多的連接。例如，在6節(jié)點或更多節(jié)點的組中，中等數(shù)目的連接在節(jié)點隨機分組中的頻率比預期是隨機分配的連接的頻率更低。這些與預期的偏差在連接數(shù)目少于隨機分組中的節(jié)點數(shù)目但大于或等于所述隨機分組中一半節(jié)點數(shù)目時通常是顯著的。例如，圖320顯示，6節(jié)點隨機分組具有3個、4個或5個連接的可能比預期是隨機分配的連接小。另例如，圖325顯示，7節(jié)點隨機分組具有4個、5個或6個連接的可能比預期是隨機分配的連接小。再例如，線圖330顯示，8節(jié)點隨機分組具有4個、5個、6個或7個(還有8個或9個)連接的可能比預期是隨機分配的連接小。在神經(jīng)網(wǎng)絡(luò)裝置的實施中節(jié)點間的連接性可以具有類似生物神經(jīng)元簇的一個或更多特征的另一種方式是共有共同鄰點的任兩個節(jié)點自連的概率。圖4A、4B的圖呈現(xiàn)的示例性實例是體現(xiàn)在訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置的實施中，共有不同數(shù)目共同鄰點的給定節(jié)點對自連的可能性的不同概率。共同鄰點是與節(jié)點對的每一個均連接的第三節(jié)點。在圖4A中，圖405呈現(xiàn)了一套示例性概率實例，所述概率是在12節(jié)點神經(jīng)網(wǎng)絡(luò)裝置的實施中，共有O個、I個、2個、3個和4個共同鄰點的神經(jīng)網(wǎng)絡(luò)裝置中的給定節(jié)點對自連的概率。如所示，隨著節(jié)點對共有的共同鄰點數(shù)目增加，所述節(jié)點對自連的概率增力口。因此，節(jié)點對之間連接的可能性與所述節(jié)點對共有的共同鄰點的數(shù)目正相關(guān)。作為對比，如果節(jié)點對連接的概率獨立于所述對共有的共同鄰點的數(shù)目，那么所述連接概率將不隨這對節(jié)點共有的共同鄰點的數(shù)目增加，而是維持不變。
在圖4B中，圖410呈現(xiàn)的示例性實例是一套線性增加的概率，所述概率是在12節(jié)點神經(jīng)網(wǎng)絡(luò)裝置的實施中，共有O個、I個、2個、3個和4個共同鄰點的給定節(jié)點對自連的概率。如所示，隨著節(jié)點對共有的共同鄰點數(shù)目增加，所述節(jié)點對自連的概率線性增加。因此，節(jié)點對之間連接的可能性與所述節(jié)點對共有的共同鄰點的數(shù)目正相關(guān)。例如，共有4個共同鄰點的節(jié)點對連接的可能性幾乎是沒有任何共同鄰點的節(jié)點對的三倍。雖然圖405、410呈現(xiàn)的是在具有12個節(jié)點的神經(jīng)網(wǎng)絡(luò)裝置中共有共同鄰點的節(jié)點對自連的示例性概率，但相應(yīng)的性質(zhì)也可以在其他大小的神經(jīng)網(wǎng)絡(luò)裝置中體現(xiàn)。在訓練或未訓練的神經(jīng)網(wǎng)絡(luò)裝置的一些實施中，節(jié)點連接的概率還體現(xiàn)具有共同鄰點的連接的類型。例如，在一些實施中，從相同共同鄰點接受輸入的節(jié)點對比輸出到相同共同鄰點的節(jié)點對更可能連接。在一些實施中，不但任意兩個節(jié)點自連的概率體現(xiàn)共同鄰點的數(shù)目，而且這些兩個節(jié)點之間的互連強度(即連接的權(quán)重)也體現(xiàn)共有的共同鄰點的數(shù)目。具體地，兩個節(jié)點之間的互連強度隨共有的共同鄰點數(shù)目的增加而增加。共有共同鄰點的給定節(jié)點對自連的可能性增加可以用于形成包括如下節(jié)點集的訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置，即其中在具體節(jié)點集內(nèi)的節(jié)點與該相同節(jié)點集內(nèi)其他節(jié)點比與其他節(jié)點集內(nèi)的節(jié)點更可能連接。這樣的節(jié)點集的實例有節(jié)點集115、120、125、130 (圖I)。具體地，根據(jù)節(jié)點之間存在連接的概率，連接甚至可以在未訓練的神經(jīng)網(wǎng)絡(luò)裝置中形成。多種不同的方法可以用于形成這類神經(jīng)網(wǎng)絡(luò)裝置。例如，在一些實施中，可以根據(jù)多種不同過程中的任一種將一套初始連接分配到一套節(jié)點中，這些過程包括隨機分配過程以及根據(jù)其中依照模擬例如連接的兩個生物神經(jīng)元的距離依賴的概率的概率空間進行連接分配的過程。在分配這樣的一套初始連接后，可以使用連接再分配過程來對神經(jīng)網(wǎng)絡(luò)進行再組織，直到所述網(wǎng)絡(luò)體現(xiàn)需要的連接概率或其他特征。例如，所述連接再分配可以包括迭代過程，所述迭代過程除去節(jié)點間的連接，然后根據(jù)體現(xiàn)共有的共同鄰點的數(shù)目和/或 與這些共同鄰點的連接類型的概率，將所除去的連接再分配給新的節(jié)點。因此，連接再分配過程甚至可以在訓練開始前用于組織神經(jīng)網(wǎng)絡(luò)裝置以使其具有需要的特性。在其他實施方案中，一套初始連接的分配也體現(xiàn)需要的連接概率或其他特征。換句話說，所有連接分配都可以體現(xiàn)所需要的特征。在這樣的實施中，連接向一套節(jié)點的初始分配可能不會顯著地影響連接分配，因為連接稀疏且不同連接存在的概率大致相等。但是，隨著連接密度增加且節(jié)點開始共有共同的鄰點，具有共同的鄰點的節(jié)點自連的概率增加。隨著進行更多的連接分配，節(jié)點會趨于分組成節(jié)點集，在所述節(jié)點集內(nèi)與連接到其他節(jié)點集內(nèi)的節(jié)點相比，節(jié)點更可能連接到同一個節(jié)點集內(nèi)的其他節(jié)點。在一些實施中，這種連接分配過程可以包括迭代過程，所述迭代過程除去節(jié)點間的連接，然后根據(jù)新節(jié)點之間存在連接的概率將所述連接分配給新節(jié)點。這種再分配過程可以用于組織甚至未訓練的神經(jīng)網(wǎng)絡(luò)裝置。換句話說，節(jié)點集因此可以在訓練前形成，并且連接分配(有或無連接再分配)可以在訓練神經(jīng)網(wǎng)絡(luò)裝置前進行。有了預先存在的節(jié)點集，神經(jīng)網(wǎng)絡(luò)裝置訓練可以得到神經(jīng)網(wǎng)絡(luò)裝置，所述神經(jīng)網(wǎng)絡(luò)裝置能達到需要的信息處理或信息儲存結(jié)果，并具有根據(jù)預先存的節(jié)點集進行組織的神經(jīng)網(wǎng)絡(luò)——和所述神經(jīng)網(wǎng)絡(luò)中的節(jié)點集。
在一些實施中，這種連接分配(有或無連接再分配)可以在訓練神經(jīng)網(wǎng)絡(luò)裝置時進行。例如，訓練可以在神經(jīng)網(wǎng)絡(luò)裝置中開始。隨著訓練的進行，可以優(yōu)先除去那些對正被訓練的神經(jīng)網(wǎng)絡(luò)裝置的信息處理或信息儲存不是非常重要的連接(即具有較低權(quán)重的連接)，并根據(jù)新節(jié)點之間存在連接的概率再分配給新的節(jié)點。有時，所述再分配的連接對正被訓練的神經(jīng)網(wǎng)絡(luò)裝置的目的信息處理或信息儲存可能是重要的，所述神經(jīng)網(wǎng)絡(luò)裝置將需要額外的訓練以使所述再分配適合。實際上，原來與正被訓練的神經(jīng)網(wǎng)絡(luò)裝置的目的信息處理或信息儲存相關(guān)的連接可能變得不太相關(guān)，并因此可以被再分配。這里，隨著所述神經(jīng)網(wǎng)絡(luò)裝置隨時間再組織，所述神經(jīng)網(wǎng)絡(luò)裝置可以模擬生物可塑性?？梢詫嵤┧龇峙浜?或再分配過程，以通過在硬件、軟件或兩者結(jié)合中實施的適配器組件得到具有需要的特征的神經(jīng)網(wǎng)絡(luò)裝置。例如，在一些實施中，這樣的適配器組件可以是計算機系統(tǒng)的一部分，其分配和/或改變未訓練的神經(jīng)網(wǎng)絡(luò)裝置中的權(quán)重。在其他實施中，這樣的適配器組件可以和神經(jīng)網(wǎng)絡(luò)裝置訓練器相連來工作，或者是神經(jīng)網(wǎng)絡(luò)裝置訓練器的一部分，所述神經(jīng)網(wǎng)絡(luò)裝置訓練器訓練所述神經(jīng)網(wǎng)絡(luò)以產(chǎn)生需要的信號流。
在實施神經(jīng)網(wǎng)絡(luò)裝置中的節(jié)點連接可以具有類似生物神經(jīng)元簇特征的一個或多 個特征的另一種方式是以節(jié)點之間的互連強度(即連接的權(quán)重)的形式。圖5A，5B的圖呈現(xiàn)的示例性實例是在具有12個節(jié)點的訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置的實施中，6節(jié)點的組或集內(nèi)節(jié)點之間互連的不同平均強度。所述節(jié)點組不一定是形成單個節(jié)點集的節(jié)點。而是這些節(jié)點組是節(jié)點在神經(jīng)網(wǎng)絡(luò)裝置中的可能的隨機分組。但是，由于所述神經(jīng)網(wǎng)絡(luò)裝置中的節(jié)點數(shù)目是相對適中的(即12個節(jié)點)，因此隨機選擇的節(jié)點有較高可能性實際上是單個節(jié)點集的一部分。因此，這些節(jié)點組的性質(zhì)可以外推到節(jié)點集?？梢酝ㄟ^在硬件、軟件或兩者結(jié)合中實施的適配器組件來分配和/或改變這種互連的強度。例如，在一些實施中，這樣的適配器組件可以是計算機系統(tǒng)的一部分，其分配和/或改變未訓練的神經(jīng)網(wǎng)絡(luò)裝置中的權(quán)重。在其他實施中，這樣的適配器組件可以和神經(jīng)網(wǎng)絡(luò)裝置訓練器相連或者作為神經(jīng)網(wǎng)絡(luò)裝置訓練器的一部分而工作，所述神經(jīng)網(wǎng)絡(luò)裝置訓練器可訓練所述神經(jīng)網(wǎng)絡(luò)以產(chǎn)生需要的信號流。在圖5A中的圖505中，至少對于小于或等于組或集內(nèi)的節(jié)點數(shù)目的連接數(shù)目，隨著所述組或集內(nèi)的連接數(shù)目增加，代表所述組或集內(nèi)節(jié)點之間互連強度的示例性實例的權(quán)重增加。具體地，在所述示例性圖示中，至少對于有6個或更少個的連接的6節(jié)點的組或集(在有12節(jié)點神經(jīng)網(wǎng)絡(luò)裝置中)，平均互連強度隨連接數(shù)目的增加而增加。進一步地，隨著組或集內(nèi)連接的數(shù)目增加超過該組或集內(nèi)的節(jié)點數(shù)目，代表所述組或集內(nèi)節(jié)點之間的互連強度的示例性實例的權(quán)重趨于變得不可區(qū)分。具體地，在示例性圖示中，對于有7個或更多個的連接的6節(jié)點的組或集(在有12節(jié)點神經(jīng)網(wǎng)絡(luò)裝置中)，平均互連強度趨于不可區(qū)分。進一步地，對于小于或等于組或集內(nèi)的節(jié)點數(shù)目的連接數(shù)目，互連強度的大小與可區(qū)分分散的水平相關(guān)。具體地，有I個連接的6節(jié)點的組或集具有平均互連強度510。有2個連接的6節(jié)點的組或集具有平均互連強度515。有3個連接的6節(jié)點的組或集具有平均互連強度520。有4個連接的6節(jié)點的組或集具有平均互連強度525。有5個連接的6節(jié)點的組或集具有平均互連強度530。有6個連接的6節(jié)點的組或集具有平均互連強度535。對于有7個或更多連接的6節(jié)點的組或集，平均互連強度585可能變得不可區(qū)分。在圖5B的圖550中，在神經(jīng)網(wǎng)絡(luò)裝置的一些實施中，代表節(jié)點集內(nèi)節(jié)點之間的互連強度的示例性實例的權(quán)重隨著所述組或集內(nèi)連接數(shù)目的增加而增加。具體地，隨著所述組或集內(nèi)連接數(shù)目增加，平均連接強度非線性地增加，每增加一個連接的互連強度的增加減小。在呈現(xiàn)的示例性實例中，隨著所述組或集內(nèi)連接數(shù)目超過所述組或集內(nèi)節(jié)點數(shù)目，平均連接強度漸近地達到極限。在一些實施中，對平均互連強度的該極限可模擬代表生物神經(jīng)元之間最強互連的飽和水平。例如，平均互連強度的極限可以獨立于組或集內(nèi)的節(jié)點數(shù)目，并且對于不同大小的組或集都基本相同。進一步地，對于至少某些數(shù)目的連接，連接的互連強度的大小與可區(qū)分分散的水平相關(guān)。例如，有I個連接的6節(jié)點的組或集具有平均互連強度555。有2個連接的6節(jié)點的組或集具有平均互連強度560。有3個連接的6節(jié)點的組或集具有平均互連強度565。有4個連接的6節(jié)點的組或集具有平均互連強度570。有5個連接的6節(jié)點的組或集具有平均互連強度575。有6個連接的6節(jié)點的組或集具有平均互連強度580。平均互連強度繼續(xù)增加，直到6節(jié)點的組或集具有12個或更多個連接。
雖然圖505、550僅呈現(xiàn)了在有12個節(jié)點的神經(jīng)網(wǎng)絡(luò)裝置中具有6個節(jié)點的組或集的示例性實例，但其他大小的組或集內(nèi)節(jié)點之間的平均互連強度也具有可在其他大小的神經(jīng)網(wǎng)絡(luò)裝置中體現(xiàn)的類似性質(zhì)。節(jié)點組或集內(nèi)節(jié)點之間的平均互連強度體現(xiàn)了這些組或集內(nèi)的連接數(shù)目，組或節(jié)點集內(nèi)連接的權(quán)重不一定體現(xiàn)對所述神經(jīng)網(wǎng)絡(luò)裝置的訓練。在這方面，如前文所述，將權(quán)重在訓練過程中合適地改變，以產(chǎn)生需要的信號流并達到需要的信息處理或信息儲存結(jié)果。高度互連的組或集(例如其中所述組或節(jié)點集內(nèi)的連接數(shù)目超過所述組或節(jié)點集內(nèi)的節(jié)點數(shù)目的組)可能是如下的組或節(jié)點集，即在所述組或節(jié)點集內(nèi)，與連接到其他組或節(jié)點集內(nèi)的節(jié)點相比，節(jié)點更可能連接到該組或節(jié)點集內(nèi)的其他節(jié)點。但是，隨著高度連接的組或集的權(quán)重變得不可區(qū)分并且甚至可能漸近地達到極限，體現(xiàn)具體訓練的權(quán)重主要或甚至排他性地體現(xiàn)為不同組或集內(nèi)的節(jié)點之間的連接權(quán)重。鑒于此，在一些實施中，-訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置的節(jié)點組內(nèi)的平均互連強度體現(xiàn)每個組內(nèi)的連接數(shù)目，并且-任何節(jié)點對連接的概率可體現(xiàn)這些節(jié)點共有的共同鄰點的數(shù)目，節(jié)點對之間的平均互連強度還可以體現(xiàn)這些節(jié)點共有的共同鄰點的數(shù)目。在這方面，當隨機選擇的節(jié)點組包含具有若干共同鄰點的節(jié)點對時，所述節(jié)點對連接的概率更高。因此，這樣的隨機選擇的節(jié)點組(即包含具有若干共同鄰點的節(jié)點對的組)相對于包含具有更少共同鄰點的節(jié)點對的組可能有更多的連接。由于平均互連強度隨著組內(nèi)連接數(shù)目的增加而增加，包含有更大共同鄰點數(shù)目的節(jié)點對的隨機選擇組可能具有更高的平均互連強度。在一些實施中，訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置中的節(jié)點可以具有體現(xiàn)所述組或集內(nèi)的這些節(jié)點共有的共同鄰點的數(shù)目的平均互連強度。這種互連強度可以通過在硬件、軟件或兩者結(jié)合中實施的適配器組件來分配和/或改變。例如，在一些實施中，這樣的適配器組件可以是計算機系統(tǒng)的一部分，其分配和/或改變未訓練的神經(jīng)網(wǎng)絡(luò)裝置中的權(quán)重。在其他實施中，這樣的適配器組件可以和神經(jīng)網(wǎng)絡(luò)裝置訓練器相連或者作為神經(jīng)網(wǎng)絡(luò)裝置訓練器的一部分而工作，所述神經(jīng)網(wǎng)絡(luò)裝置訓練器可訓練所述神經(jīng)網(wǎng)絡(luò)以產(chǎn)生需要的信號流。
圖6的圖600呈現(xiàn)的示例性實例是，在具有12個節(jié)點的訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置的實施中，具有不同互連數(shù)目的節(jié)點之間的互連強度的不同概率密度分布。具體地，曲線605呈現(xiàn)的示例性實例是具有O個共同鄰點的節(jié)點之間的連接具有具體互連強度的概率。曲線610呈現(xiàn)的示例性實例是具有I個共同鄰點的節(jié)點之間的連接具有具體互連強度的概率。曲線615呈現(xiàn)的示例性實例是具有2個共同鄰點的節(jié)點之間的連接具有具體互連強度的概率。曲線620呈現(xiàn)的示例性實例是具有3個共同鄰點的節(jié)點之間的連接具有具體互連強度的概率。如所示，隨著共同鄰點數(shù)目增加，節(jié)點之間的平均互連強度也增加。進一步地，圖605、610、615、620呈 現(xiàn)的示例性概率分布是正偏態(tài)的。在一些實施中，正偏態(tài)隨著共同鄰點數(shù)目的增加而增加(如所示)。雖然圖600呈現(xiàn)的是具有12個節(jié)點的神經(jīng)網(wǎng)絡(luò)裝置中互連強度的概率密度分布，但相應(yīng)的性質(zhì)可以體現(xiàn)在其他大小的神經(jīng)網(wǎng)絡(luò)裝置中。在神經(jīng)網(wǎng)絡(luò)裝置的一些實施中，隨著隨機選擇的組或節(jié)點集內(nèi)連接數(shù)目增加，互連強度的方差趨向于減小。圖7A、7B的圖呈現(xiàn)的示例性實例是，在實施訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置中，6節(jié)點的組或集內(nèi)節(jié)點之間平均互連強度的不同方差。節(jié)點組不一定是形成單個節(jié)點集的節(jié)點。而是這些節(jié)點組是神經(jīng)網(wǎng)絡(luò)裝置中可能的隨機節(jié)點分組。但是，由于所述神經(jīng)網(wǎng)絡(luò)裝置中的節(jié)點數(shù)目是相對適中的(即12個節(jié)點)，因此隨機選擇的節(jié)點有較高可能性實際上是單個節(jié)點集的一部分。因此，這些節(jié)點組的性質(zhì)可以外推到節(jié)點集。平均互連強度的這種方差可以通過在硬件、軟件或兩者結(jié)合中實施的適配器組件來獲得。例如，在一些實施中，這樣的適配器組件可以是計算機系統(tǒng)的一部分，其分配和/或改變未訓練的神經(jīng)網(wǎng)絡(luò)裝置中的權(quán)重。在其他實施中，這樣的適配器組件可以和神經(jīng)網(wǎng)絡(luò)裝置訓練器相連或者作為神經(jīng)網(wǎng)絡(luò)裝置訓練器的一部分而工作，所述神經(jīng)網(wǎng)絡(luò)裝置訓練器可訓練所述神經(jīng)網(wǎng)絡(luò)以產(chǎn)生需要的信號流。在圖7A的圖705中，代表互連強度的權(quán)重的方差趨向于隨6節(jié)點的組或集內(nèi)的連接數(shù)目增加而減小。換句話說，平均互連強度趨向于隨著不同的6節(jié)點的組或集內(nèi)的連接數(shù)目增加而變得更一致。在所述示例性圖示中，方差的減小不是平滑的。例如，有4個連接的6節(jié)點的組或集的平均互連強度的方差大于有3個連接的6節(jié)點的組或集的平均互連強度的方差。在圖7B的圖710中，代表互連強度的權(quán)重的方差也趨向于隨著不同的6節(jié)點的組或集內(nèi)的連接數(shù)目增加而減小。在所述示例性圖示中，所述方差減小是平滑的。在所述示例性圖示中，對于節(jié)點數(shù)目是連接數(shù)目的一半或更少的組或集(即對于示例性的6節(jié)點的組或集，具有3個或更少個連接的組或集)，每增加一個連接的減小速率最大。對于連接數(shù)目大約等于節(jié)點數(shù)目的組或集，每增加一個連接的方差的減小速率降低，對于連接數(shù)目2倍或更多倍于節(jié)點數(shù)目的組或集，每增加一個連接方差的減小速率升高。在其他實施中，每增加一個連接的方差的減小速率不變。雖然圖705、710僅示例了具有6個節(jié)點的組或集，但在其他大小的組或集內(nèi)節(jié)點之間的平均互連強度的方差可以有類似性質(zhì)。如前文所述，在訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置的一些實施中，與連接到其他節(jié)點集內(nèi)的節(jié)點相比，節(jié)點集內(nèi)的節(jié)點更可能連接于該節(jié)點集內(nèi)的其他節(jié)點。例如，在一些實施中，節(jié)點集內(nèi)的節(jié)點連接于該節(jié)點集內(nèi)其他節(jié)點的可能性I. 5倍或2倍于連接到其他節(jié)點集內(nèi)的節(jié)點的可能性。圖8的圖800呈現(xiàn)的示例性實例是一個節(jié)點集內(nèi)的節(jié)點對和兩個不同節(jié)點集內(nèi)的節(jié)點對連接的概率。在所示的示例性實施中，單個節(jié)點集內(nèi)的節(jié)點連接的可能性大約2倍于連接到其他節(jié)點集內(nèi)的節(jié)點的可能性。具體地，單個節(jié)點集內(nèi)的節(jié)點對的平均連接概率為O. 14±0. 02，是屬于不同節(jié)點集的節(jié)點對的連接概率O. 07±0. 005的大約2倍。在訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置的一些實施中，節(jié)點集內(nèi)的平均節(jié)點數(shù)目在10到100間。在一些實施中，訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置可以包含10到100個這樣的節(jié)點集單元。圖9A、9B的圖呈現(xiàn)的示例性實例是訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置中節(jié)點集大小的不同分布。 在圖9A的圖905中，具有10到100個節(jié)點的節(jié)點集的數(shù)目大于具有少于10個和多于100個節(jié)點的節(jié)點集的數(shù)目。實際上，在一些實施中，具有多于100個節(jié)點的節(jié)點集可以由如下的分散的節(jié)點集形成，所述分散的節(jié)點集共有足夠多連接來互連并成為節(jié)點集的集。進一步地，節(jié)點集的示例性分布是正偏態(tài)的。在圖9B的圖910中，具有10到100個節(jié)點的節(jié)點集的數(shù)目大于具有少于10個和多于100個節(jié)點的節(jié)點集的數(shù)目。在所述示例性分布中，節(jié)點集的大小平滑變化并在每個節(jié)點集有20到30個節(jié)點時達到最大值。在一些實施中，具有多于100個節(jié)點的節(jié)點集可以由如下的分散的節(jié)點集形成，所述分散的節(jié)點集共有足夠多連接來互連并成為節(jié)點集的集。進一步地，所述節(jié)點集的示例性分布是正偏態(tài)的。在訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置(其中在一個節(jié)點集內(nèi)的節(jié)點比在不同節(jié)點集內(nèi)的節(jié)點更可能連接)的一些實施中，所述神經(jīng)網(wǎng)絡(luò)裝置的集聚系數(shù)更高。集聚系數(shù)是神經(jīng)網(wǎng)絡(luò)裝置中節(jié)點趨向于聚集在一起的程度的度量。本文使用的頂點的集聚系數(shù)是其相鄰頂點之間的連接與它們之間可能存在連接的數(shù)目的比例(即，所謂的“局部集聚系數(shù)”或“Strogatz集聚系數(shù)”)。圖10的圖1000呈現(xiàn)的示例性實例是訓練的或未訓練的包含節(jié)點集連接性的神經(jīng)網(wǎng)絡(luò)裝置的集聚系數(shù)1005，以及一為了比較一以相同兩兩連接概率具有隨機連接性的網(wǎng)絡(luò)的集聚系數(shù)1010?？梢钥闯觯泄?jié)點集連接性的集聚系數(shù)顯著大于具有隨機連接性的集聚系數(shù)。在訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置(其中在一個節(jié)點集內(nèi)的節(jié)點比不同節(jié)點集內(nèi)的節(jié)點更可能連接)的一些實施中，每個節(jié)點的輸入連接的數(shù)目比在冪律分布無標度網(wǎng)絡(luò)(power law scale-free network)中下降得更迅速。圖11的圖1100呈現(xiàn)了在訓練的和未訓練的包含節(jié)點集連接性的神經(jīng)網(wǎng)絡(luò)裝置中的輸入連接的累積分布的示例性圖1105，以及——為了比較——在冪律分布無標度網(wǎng)絡(luò)中輸入連接的累積分布的圖1110。如所示，在所述無標度網(wǎng)絡(luò)中，冪律分布體現(xiàn)在雙對數(shù)圖中斜率下降的直線中。在另一方面，在雙對數(shù)標度上，圖1105所示的輸入連接的累積分布相對不變，但隨后更迅速地降低。這種更迅速的下降類似生物神經(jīng)元中對輸入連接的形態(tài)學約束(constraint)和其他約束。這些約束的例子包括生物神經(jīng)元中的樹突分支以及可以用于形成連接的刺的數(shù)目。體現(xiàn)這類約束的神經(jīng)網(wǎng)絡(luò)與無標度網(wǎng)絡(luò)差異在于節(jié)點可自由地形成更大數(shù)目的互連，且每個節(jié)點的連接的數(shù)目有寬得多的分布。在訓練的或未訓練的神經(jīng)網(wǎng)絡(luò)裝置(其中在一個節(jié)點集內(nèi)的節(jié)點比不同節(jié)點集內(nèi)的節(jié)點更可能連接)的一些實施中，有很多共同鄰點的節(jié)點對的數(shù)目和有很少共同鄰點的節(jié)點對的數(shù)目都大于隨機網(wǎng)絡(luò)。圖12的圖1200呈現(xiàn)的示例性實例是訓練的和未訓練的包含節(jié)點集連接性的神經(jīng)網(wǎng)絡(luò)裝置的節(jié)點對共有的共同鄰點數(shù)目的概率密度分布曲線1205，以及——為了比較——具有隨機連接性的網(wǎng)絡(luò)中節(jié)點對共有的共同鄰點的數(shù)目的曲線1210?？梢钥闯?，有很多共同鄰點的節(jié)點對的數(shù)目和有很少共同鄰點的節(jié)點對的數(shù)目都大于隨機網(wǎng)絡(luò)。可以對神經(jīng)網(wǎng)絡(luò)裝置進行組織以使其具有上述的一個或多個特征。例如，圖13是可以用來對神經(jīng)網(wǎng)絡(luò)裝置進行組織的過程1300的流程圖。過程1300可以由可依照一套或 多套機器可讀指令集的邏輯進行操作的一個或多個數(shù)據(jù)處理設(shè)備的系統(tǒng)執(zhí)行。例如，過程1300可以由在訓練前或在訓練過程中運行用于對神經(jīng)網(wǎng)絡(luò)裝置進行組織的軟件的一臺或多臺計算機的系統(tǒng)來進行。執(zhí)行過程1300的系統(tǒng)在步驟1305從節(jié)點的集合中選擇節(jié)點對。所述節(jié)點對可以被隨機選擇，或者遵循用于節(jié)點選擇的組織方法——例如通過遍歷節(jié)點的多維陣列——進行選擇。在一些實施中，從中選擇所述對的節(jié)點的集合可以排列在例如體現(xiàn)任一節(jié)點對連接可能性的概率空間中。因此，概率空間類似生物神經(jīng)元的系統(tǒng)，在所述系統(tǒng)中神經(jīng)元連接的概率是所述神經(jīng)元之間間隔距離的函數(shù)。在一些實施中，節(jié)點在概率空間中不是周期性排列。例如，在一些實施中，可以提供對概率空間中的其他周期性位置干擾較小的不同節(jié)點。在其他實施中，節(jié)點可以被隨機分配至概率空間中的位置。執(zhí)行過程1300的系統(tǒng)在步驟1310確定所選擇的節(jié)點對共有的共同鄰點的數(shù)目。共同鄰點的數(shù)目可以從已經(jīng)存在于節(jié)點集合中的連接的記錄確定。執(zhí)行過程1300的系統(tǒng)在步驟1315還確定所選擇的節(jié)點對連接的概率。確定的概率可體現(xiàn)共同鄰點的數(shù)目。例如，在一些實施中，所述概率依據(jù)圖405、410(圖4A、4B)提供的示例連接概率進行確定。在節(jié)點排列在體現(xiàn)任何節(jié)點對連接的可能性的概率空間中的實施中，共同鄰點的數(shù)目會改變概率空間的“原始”概率。使用所確定的所選節(jié)點對連接的概率，執(zhí)行過程1300的系統(tǒng)在判斷步驟1320還確定所選擇節(jié)點是否會被連接。例如，可以將隨機選擇的數(shù)目與所選擇節(jié)點對連接的概率進行比較，如果隨機選擇的數(shù)目落在所述概率內(nèi)，那么所述系統(tǒng)確定所述節(jié)點會被連接。作為對確定所選擇節(jié)點會被連接的響應(yīng)，執(zhí)行過程1300的系統(tǒng)在步驟1325在所選擇節(jié)點對之間形成連接并返回至步驟1305以選擇另一節(jié)點對。所述連接可以通過例如將新連接的標記記錄在存在于所述節(jié)點集合中的連接的記錄中而形成。所述記錄可以被存儲在一個或多個數(shù)據(jù)存儲裝置中。作為對確定所選擇節(jié)點不會被連接的響應(yīng)，執(zhí)行過程1300的系統(tǒng)返回至步驟1305以選擇另一節(jié)點對。在某一時刻，在達到足夠的連接密度后，系統(tǒng)退出過程1300 (未顯示)。在一些實施中，執(zhí)行過程1300的系統(tǒng)在步驟1315對不同類型的連接確定節(jié)點連接的不同概率。例如，所述系統(tǒng)可以確定所述節(jié)點以可逆關(guān)系連接的第一概率以及所述節(jié)點以不可逆關(guān)系連接的第一概率。在一些實施中，不可逆關(guān)系大約兩倍于可逆關(guān)系。這些不同的概率可以用于在步驟1320確定所選擇節(jié)點是否會被連接。在步驟1325形成的連接的種類可以相應(yīng)地體現(xiàn)所述結(jié)果。過程例如過程1300的示例性實施以MATLAB代碼呈現(xiàn)如下。

權(quán)利要求
1.一種可以在硬件、軟件、或兩者的結(jié)合中實施的神經(jīng)網(wǎng)絡(luò)裝置，包括 由集間連接互連的節(jié)點集的集合，每個節(jié)點集本身包括由多個集內(nèi)連接互連的節(jié)點的網(wǎng)絡(luò)，其中每個集間連接和集內(nèi)連接都有相關(guān)的權(quán)重，每個權(quán)重體現(xiàn)由相關(guān)連接連接的節(jié)點之間的連接強度，與連接到其他節(jié)點集內(nèi)的節(jié)點相比，每個集內(nèi)的節(jié)點更可能連接到該集內(nèi)的其他的節(jié)點。
2.權(quán)利要求I的神經(jīng)網(wǎng)絡(luò)裝置，其中所述與集間連接相關(guān)的權(quán)重體現(xiàn)出于具體目的對神經(jīng)網(wǎng)絡(luò)裝置的訓練。
3.權(quán)利要求2的神經(jīng)網(wǎng)絡(luò)裝置，其中所述集內(nèi)連接體現(xiàn)出于具體目的對神經(jīng)網(wǎng)絡(luò)裝置 的訓練至比集間連接小的程度。
4.前述權(quán)利要求任一項的神經(jīng)網(wǎng)絡(luò)裝置，其中根據(jù)兩兩連接關(guān)系連接節(jié)點并形成節(jié)點集。
5.前述權(quán)利要求任一項的神經(jīng)網(wǎng)絡(luò)裝置，其中，對于具有更多連接數(shù)目的節(jié)點集，每個節(jié)點集內(nèi)的平均權(quán)重的方差通常減小。
6.前述權(quán)利要求任一項的神經(jīng)網(wǎng)絡(luò)裝置，其中隨著各個節(jié)點集內(nèi)的連接數(shù)目超過各自的節(jié)點集內(nèi)的節(jié)點數(shù)目，所述各個節(jié)點集的平均互連強度逐漸達到各自的極限。
7.權(quán)利要求6所述的神經(jīng)網(wǎng)絡(luò)裝置，其中所述各自的極限基本相同。
8.前述權(quán)利要求任一項的神經(jīng)網(wǎng)絡(luò)裝置，其中，對于集內(nèi)連接數(shù)小于同一節(jié)點集內(nèi)的節(jié)點數(shù)的節(jié)點集，所述集內(nèi)連接的權(quán)重大小與一套水平中的分散水平顯著相關(guān)。
9.權(quán)利要求8的神經(jīng)網(wǎng)絡(luò)裝置，其中每個分散水平與所述節(jié)點集內(nèi)的不同節(jié)點數(shù)目相關(guān)。
10.前述權(quán)利要求任一項的神經(jīng)網(wǎng)絡(luò)裝置，還包括適配器組件，所述適配器組件被配置以基于每個集內(nèi)連接的集內(nèi)其他節(jié)點數(shù)目來改變所述集內(nèi)連接各自的權(quán)重大小。
11.權(quán)利要求10的神經(jīng)網(wǎng)絡(luò)裝置，其中所述適配器組件被配置以在對神經(jīng)網(wǎng)絡(luò)裝置進行訓練前改變各自權(quán)重的大小。
12.前述權(quán)利要求任一項的神經(jīng)網(wǎng)絡(luò)裝置，其中所述神經(jīng)網(wǎng)絡(luò)裝置是未訓練的。
13.前述權(quán)利要求任一項的神經(jīng)網(wǎng)絡(luò)裝置，還包括適配器組件，所述適配器組件被配置以基于節(jié)點集內(nèi)的節(jié)點數(shù)目來改變每個節(jié)點集內(nèi)節(jié)點之間的連接概率。
14.權(quán)利要求13的神經(jīng)網(wǎng)絡(luò)裝置，其中所述適配器組件被配置以在對神經(jīng)網(wǎng)絡(luò)裝置進行訓練前改變各自權(quán)重的大小。
15.前述權(quán)利要求任一項的神經(jīng)網(wǎng)絡(luò)裝置，其中所述連接包括相互連接和非相互連接。
16.權(quán)利要求15的神經(jīng)網(wǎng)絡(luò)裝置，其中所述非相互連接約兩倍于所述相互連接。
17.前述權(quán)利要求任一項的神經(jīng)網(wǎng)絡(luò)裝置，其中所述每個集內(nèi)內(nèi)的節(jié)點與該集內(nèi)的其他節(jié)點連接可能性是與其他節(jié)點集內(nèi)內(nèi)的節(jié)點連接的兩倍。
18.前述權(quán)利要求任一項的神經(jīng)網(wǎng)絡(luò)裝置，其中具有10到100個節(jié)點的節(jié)點集的數(shù)目大于具有少于10個和多于100個節(jié)點的節(jié)點集的數(shù)目。
19.前述權(quán)利要求任一項的神經(jīng)網(wǎng)絡(luò)裝置，其中有10到100個節(jié)點集。
20.一種形成神經(jīng)網(wǎng)絡(luò)裝置的機器實施方法，該方法包括 形成在硬件、軟件或兩者的結(jié)合中實施的節(jié)點網(wǎng)絡(luò)；并 通過以體現(xiàn)節(jié)點共有的共同鄰點數(shù)目的概率來連接或斷開節(jié)點而分配或再分配所述網(wǎng)絡(luò)的節(jié)點間連接。
21.權(quán)利要求20的方法，還包括重復所述分配和再分配直到達到準穩(wěn)態(tài)。
22.權(quán)利要求21的方法，其中所述準穩(wěn)態(tài)包括權(quán)利要求I到19任一項的神經(jīng)網(wǎng)絡(luò)裝 置。
23.權(quán)利要求20到22任一項的方法，其中根據(jù)兩兩連接關(guān)系連接所述節(jié)點。
24.權(quán)利要求20到23任一項的方法，還包括對所述節(jié)點網(wǎng)絡(luò)進行訓練。
25.權(quán)利要求24的方法，其中對所述節(jié)點網(wǎng)絡(luò)進行訓練包括以相對穩(wěn)定的權(quán)重來確定節(jié)點集內(nèi)的連接的權(quán)重；并 確定節(jié)點集之間的連接的權(quán)重以體現(xiàn)所述訓練，同時保持所述節(jié)點集內(nèi)連接的權(quán)重相對不變。
26.權(quán)利要求20到25任一項的方法，還包括基于共同連接到第一和第二節(jié)點的節(jié)點數(shù)目，對第一和第二節(jié)點間的每個連接分配權(quán)重。
27.權(quán)利要求20到26任一項的方法，還包括根據(jù)隨機分配過程或者根據(jù)其中依照兩個節(jié)點連接的可能性進行連接分配的過程，分配一套初始的連接。
28.權(quán)利要求20到27任一項的方法，其中所述方法可形成未訓練的神經(jīng)網(wǎng)絡(luò)裝置。
29.權(quán)利要求20到28任一項的方法，還包括重復分配或再分配，直到各個節(jié)點集內(nèi)的連接數(shù)目超過該各個節(jié)點集內(nèi)的節(jié)點數(shù)目。
30.權(quán)利要求29的方法，還包括以隨著連接數(shù)目超過節(jié)點數(shù)目達到極限的權(quán)重來確定各個節(jié)點集的連接的權(quán)重。
31.權(quán)利要求30的方法，其中不同大小的節(jié)點集的極限基本相同。
全文摘要
用于對訓練的和未訓練的神經(jīng)網(wǎng)絡(luò)進行組織的方法、系統(tǒng)和裝置，包括編碼在計算機存儲介質(zhì)中的計算機程序。在一個方面，神經(jīng)網(wǎng)絡(luò)裝置包括由集間連接互連的節(jié)點集的集合，每個節(jié)點集本身包括由多個集內(nèi)連接互連的節(jié)點的網(wǎng)絡(luò)，其中每個集間連接和集內(nèi)連接都有相關(guān)的權(quán)重，每個權(quán)重體現(xiàn)由相關(guān)連接連接的節(jié)點之間的連接強度，與連接到其他節(jié)點集內(nèi)的節(jié)點相比，每個集內(nèi)的節(jié)點更可能連接到該集內(nèi)其他節(jié)點。
文檔編號G06N3/04GK102859538SQ201180017192
公開日2013年1月2日 申請日期2011年2月4日 優(yōu)先權(quán)日2010年2月5日
發(fā)明者H·馬克拉姆, R·德坎波斯佩林, T·K·伯格 申請人:洛桑聯(lián)邦理工學院(Epfl)