神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法
神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法
【專利摘要】突觸電路（20）具備可變電阻元件（10），神經(jīng)元電路（30）具備產(chǎn)生雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓（以下稱為規(guī)定的脈沖電壓）的波形發(fā)生電路（32），第一輸入信號(hào)（其他的神經(jīng)網(wǎng)絡(luò)電路元件（40）的輸出信號(hào)）具有規(guī)定的脈沖電壓波形，將與可變電阻元件（10）相同的神經(jīng)網(wǎng)絡(luò)電路元件（40）內(nèi)生成的規(guī)定的脈沖電壓波形的時(shí)間中間點(diǎn)稱為中間點(diǎn)，在以該中間點(diǎn)為基準(zhǔn)在前后具有規(guī)定的時(shí)間寬度的期間（以下稱為允許輸入期間），通過使第一輸入信號(hào)能夠輸入至可變電阻元件（10）的控制電極（15），根據(jù)依賴于針對(duì)允許輸入期間的第一輸入信號(hào)的輸入時(shí)刻而產(chǎn)生的第一電極（13）和控制電極（15）之間的電位差，使可變電阻元件（10）的電阻值發(fā)生變化。
【專利說明】神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法。
【背景技術(shù)】
[0002]當(dāng)前，計(jì)算機(jī)的發(fā)展是顯著的，在日常生活中的多種多樣的情況下得以利用。但是，現(xiàn)有的計(jì)算機(jī)的處理能力的發(fā)展是通過部件的細(xì)微化和算法的進(jìn)化而實(shí)現(xiàn)的，基本的信息處理的原理沒有變化。另一方面，這些計(jì)算機(jī)，由于其處理方式的特性，對(duì)于人能夠容易地進(jìn)行的動(dòng)作非常不擅長(zhǎng)。例如實(shí)時(shí)的面部識(shí)別、空間結(jié)構(gòu)的把握等。這樣的處理的能力，即使使用最新的算法和最大規(guī)模的計(jì)算機(jī)，也無法趕上人類的處理速度。
[0003]與此相對(duì)，模擬生物體的腦的信息處理方式的計(jì)算機(jī)的研究正在進(jìn)行。該處理模型中最基本的是神經(jīng)網(wǎng)絡(luò)(neural network)。
[0004]神經(jīng)網(wǎng)絡(luò)是模擬生物體的神經(jīng)回路網(wǎng)的網(wǎng)絡(luò)。在此，已知在生物體的神經(jīng)細(xì)胞中，對(duì)大致一定形狀的脈 沖(尖峰脈沖，spike pulse)進(jìn)行交互。在此，作為實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)電路，提出了更忠實(shí)地模擬生物體的神經(jīng)回路、對(duì)脈沖直接進(jìn)行處理的模型(model)。例如，在專利文獻(xiàn)I中，公開了使用脈沖密度表現(xiàn)信息的模型(脈沖密度模型)。該模型為使用例如一定時(shí)間中傳播的脈沖的數(shù)量表現(xiàn)模擬信息的模型。另外，在專利文獻(xiàn)2中，公開了使用脈沖定時(shí)表現(xiàn)信息的模型(脈沖定時(shí)模型)。該模型是使用脈沖與脈沖的時(shí)間間隔來表現(xiàn)模擬信息的模型。在對(duì)這些脈沖信號(hào)進(jìn)行處理的模型中，神經(jīng)元(neuixm)間交互的信號(hào)是一定(固定)波形的信號(hào)，所以具有容易硬件化的優(yōu)點(diǎn)。但是，在專利文獻(xiàn)I這樣的脈沖密度模型中需要提取出密度，所以為了表現(xiàn)信息需要花費(fèi)一定的時(shí)間。因此，具有無法表現(xiàn)神經(jīng)元的細(xì)微的時(shí)間標(biāo)度下的動(dòng)作的缺點(diǎn)。另一方面，如專利文獻(xiàn)2這樣的脈沖定時(shí)模型，能夠利用一個(gè)一個(gè)的脈沖表現(xiàn)信息，所以能夠進(jìn)行比脈沖密度模型更高速的信息處理。例如，在非專利文獻(xiàn)I中，公開了通過使用脈沖定時(shí)模型，能夠得到比使用脈沖密度模型的情況下更高的性能的情況。
[0005]現(xiàn)有技術(shù)文獻(xiàn)
[0006]專利文獻(xiàn)
[0007]專利文獻(xiàn)1:日本特開平7-114524號(hào)公報(bào)
[0008]專利文獻(xiàn)2:日本特開2010 - 146514號(hào)公報(bào)
[0009]非專利文獻(xiàn)
[0010]非專利文獻(xiàn)1: W.Maass、 Networks of Spiking Neurons:The Third Generationof Neural Network Models、”Neural Networks、vol.10、n0.9、pp.1659 一 1671、1997.
【發(fā)明內(nèi)容】
[0011]發(fā)明要解決的技術(shù)問題
[0012]但是，在實(shí)現(xiàn)如專利文獻(xiàn)2這樣的脈沖定時(shí)模型的神經(jīng)網(wǎng)絡(luò)電路中，具有神經(jīng)網(wǎng)絡(luò)電路整體的電路面積變大的技術(shù)問題。[0013]本發(fā)明的目的在于，提供一種能夠以更少的數(shù)量的元件的結(jié)構(gòu)實(shí)現(xiàn)通過脈沖定時(shí)進(jìn)行的學(xué)習(xí)動(dòng)作的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)電路。
[0014]用于解決技術(shù)問題的技術(shù)手段
[0015]為了解決上述技術(shù)問題的一個(gè)方式的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，為連接有多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件(40)而構(gòu)成的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于:上述多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件(40)分別具備:被輸入其他的神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號(hào)(以下稱為第一輸入信號(hào))的至少I個(gè)突觸電路(20)，；和被輸入上述至少I個(gè)突觸電路(20)的輸出信號(hào)的I個(gè)神經(jīng)元電路(30)，上述突觸電路(20)具備可變電阻元件(10)，該可變電阻元件(10)包括:形成于半導(dǎo)體膜(11)上的第一電極(13)和第二電極(14);和在上述半導(dǎo)體膜(11)的主面隔著鐵電體膜(12)形成的控制電極(15)，響應(yīng)上述第一電極(13)和上述控制電極
[15]之間的電位差，上述第一電極(13)和上述第二電極(14)之間的電阻值發(fā)生變化，上述神經(jīng)元電路(30)具備產(chǎn)生雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓(以下稱為規(guī)定的脈沖電壓)的波形發(fā)生電路(32)，，上述第一輸入信號(hào)具有上述規(guī)定的脈沖電壓波形，將在與上述可變電阻元件(10)相同的神經(jīng)網(wǎng)絡(luò)電路元件(40)內(nèi)生成的上述規(guī)定的脈沖電壓波形的時(shí)間中間點(diǎn)稱為中間點(diǎn)，在以該中間點(diǎn)為基準(zhǔn)在前后具有規(guī)定的時(shí)間寬度的期間，以下將該期間稱為允許輸入期間，使上述第一輸入信號(hào)能夠輸入至上述可變電阻元件(10)的上述控制電極(15),根據(jù)上述允許輸入期間中的依賴于上述第一輸入信號(hào)的輸入時(shí)刻而產(chǎn)生的上述第一電極(13)和上述控制電極(15)之間的電位差，使上述可變電阻元件(10)的電阻值發(fā)生變化。
[0016]本發(fā)明的上述目的、其他目的、特征和優(yōu)點(diǎn)，通過參照添加的附圖、根據(jù)以下的優(yōu)選實(shí)施方式的詳細(xì)的說明能夠清楚。
[0017]發(fā)明的效果
[0018]根據(jù)本發(fā)明，能夠以更少的數(shù)量的元件結(jié)構(gòu)實(shí)現(xiàn)利用脈沖定時(shí)進(jìn)行的學(xué)習(xí)動(dòng)作?！緦＠綀D】
【附圖說明】
[0019]圖1表示實(shí)施方式的神經(jīng)網(wǎng)絡(luò)電路元件的框圖。
[0020]圖2A表不實(shí)施方式的第一輸入信號(hào)電壓和第三輸入信號(hào)電壓中使用的雙極性鋸齒形脈沖電壓的形狀。
[0021]圖2B表示實(shí)施方式的第一輸入電壓和第三輸入電壓中使用墨西哥帽形脈沖電壓的形狀。
[0022]圖2C表示實(shí)施方式的第二輸入電壓中使用的方波脈沖電壓的形狀。
[0023]圖3表示在實(shí)施方式的第一開關(guān)中，對(duì)圖2A所示的雙極性鋸齒形脈沖電壓Vpke的導(dǎo)通和非導(dǎo)通，使用圖2C所示的方波脈沖電壓VrosT2，進(jìn)行開關(guān)的動(dòng)作。
[0024]圖4表示實(shí)施方式的第一開關(guān)中，對(duì)圖2B所示的墨西哥帽形脈沖電壓Vpke的導(dǎo)通和非導(dǎo)通，使用圖2C所示的方波脈沖電壓VrasT2，進(jìn)行開關(guān)的動(dòng)作。
[0025]圖5A表示實(shí)施方式的可變電阻元件的截面圖。
[0026]圖5B表示實(shí)施方式的可變電阻元件的電路記號(hào)。
[0027]圖6表示實(shí)施例的STDP的評(píng)價(jià)電路。
[0028]圖7A表示實(shí)施例1的第一輸入信號(hào)電壓中使用的雙極性鋸齒形脈沖電壓的形狀。[0029]圖7B表示實(shí)施例1的第二輸入電壓中使用的方波脈沖電壓的形狀。
[0030]圖7C表示實(shí)施例1的非對(duì)稱型STDP。
[0031 ]圖8表示實(shí)施例1的積分動(dòng)作的評(píng)價(jià)中使用的電路。
[0032]圖9表示實(shí)施例1的非對(duì)稱型STDP。
[0033]圖1OA表示實(shí)施例2的第一輸入信號(hào)電壓中使用的墨西哥帽形脈沖電壓的形狀。
[0034]圖1OB表示實(shí)施例2的第二輸入電壓中使用的方波脈沖電壓的形狀。
[0035]圖1OC表示實(shí)施例2的對(duì)稱型STDP。
[0036]圖1lA表示用于說明階層型神經(jīng)網(wǎng)絡(luò)的概略圖。
[0037]圖1lB表示用于說明相互結(jié)合型神經(jīng)網(wǎng)絡(luò)的概略圖。
[0038]圖12表示用于說明一般的神經(jīng)元的動(dòng)作的概略圖。
[0039]圖13表示用于說明積分點(diǎn)火(Integrate-and-Fire)型神經(jīng)元的動(dòng)作的概略圖。
[0040]圖14A表示用于說明STDP的概略圖。
[0041]圖14B表示表現(xiàn)非對(duì)稱型STDP的特征的概略圖。
[0042]圖14C表示表現(xiàn)對(duì)稱型STDP的概略圖。
[0043]圖15表示專利文獻(xiàn)2公開的電阻變化型存儲(chǔ)元件的截面圖。
[0044]圖16A表示表現(xiàn)專利文獻(xiàn)2公開的現(xiàn)有的STDP神經(jīng)網(wǎng)絡(luò)電路元件的框圖。
[0045]圖16B表示表現(xiàn)專利文獻(xiàn)2公開的現(xiàn)有的突觸電路的STDP部的框圖。
[0046]圖16C表示表現(xiàn)專利文獻(xiàn)2公開的現(xiàn)有的突觸電路的STDP部的框圖。
[0047]圖17表示實(shí)施方式的信號(hào)發(fā)生電路。
【具體實(shí)施方式】
[0048][神經(jīng)網(wǎng)絡(luò)的說明]
[0049]首先，對(duì)作為本發(fā)明的實(shí)施方式的前提的神經(jīng)網(wǎng)絡(luò)和用于實(shí)現(xiàn)該網(wǎng)絡(luò)的現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路的技術(shù)問題進(jìn)行更詳細(xì)的說明。神經(jīng)網(wǎng)絡(luò)是模擬生物體的神經(jīng)回路網(wǎng)的網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)以模擬作為神經(jīng)回路網(wǎng)的功能單位的神經(jīng)細(xì)胞的神經(jīng)元為功能單位，以網(wǎng)絡(luò)狀配置多個(gè)神經(jīng)元而進(jìn)行信息處理。例如有如圖1lA所示以階層狀連接神經(jīng)元100而得的階層型神經(jīng)網(wǎng)絡(luò)、如圖1lB所示將神經(jīng)元100彼此相互連接而得的相互結(jié)合型神經(jīng)網(wǎng)絡(luò)(霍普菲爾德網(wǎng)絡(luò)，Hopfield network)。
[0050]神經(jīng)網(wǎng)絡(luò)大體上具有兩種功能。第一種為從輸入得到輸出的“處理”功能，第二種為將神經(jīng)網(wǎng)絡(luò)整體的輸入輸出的關(guān)系設(shè)定為所期望的關(guān)系的“學(xué)習(xí)”功能。
[0051][處理功能]
[0052]在此以階層型神經(jīng)網(wǎng)絡(luò)電路為例對(duì)信息處理的動(dòng)作進(jìn)行說明。圖1lA所示的階層型神經(jīng)網(wǎng)絡(luò)包括輸入層400、中間層500、輸出層600三個(gè)層。各層至少包含I個(gè)神經(jīng)元100。輸入層400與中間層500的各神經(jīng)元100連接，同樣地，中間層500的各神經(jīng)元100與輸出層的各神經(jīng)元100連接。輸入信號(hào)200向輸入層400輸入，以中間層500、輸出層600的順序傳播，從輸出層600輸出。在神經(jīng)元100，對(duì)輸入值進(jìn)行后述的規(guī)定的運(yùn)算，將其輸出值向下一個(gè)層的神經(jīng)元傳播。由此，從輸出層600輸出的輸出值，成為網(wǎng)絡(luò)的最終輸出300。該一系列動(dòng)作為神經(jīng)網(wǎng)絡(luò)的信息處理，包含于中間層500的神經(jīng)元足夠多時(shí)，能夠?qū)崿F(xiàn)任意的輸入輸出。圖1lA所示的階層型神經(jīng)網(wǎng)絡(luò)具備3個(gè)層，但也可以具備多個(gè)中間層500。[0053]接著，對(duì)作為神經(jīng)網(wǎng)絡(luò)的構(gòu)成單位的神經(jīng)元進(jìn)行說明。圖12為神經(jīng)元的示意圖。神經(jīng)元100具備突觸(synapse)部121、122和神經(jīng)元部130。此外,突觸部的數(shù)量等于與前級(jí)連接的神經(jīng)元的數(shù)量，即輸入信號(hào)的數(shù)量。突觸部121、122分別對(duì)來自外部的多個(gè)輸入信號(hào)111、112進(jìn)行加權(quán)。加權(quán)的值(W1 2)稱為連接權(quán)重。神經(jīng)元部130，對(duì)由突觸部加權(quán)后的輸入信號(hào)的和進(jìn)行計(jì)算，將對(duì)和的值進(jìn)行非線性運(yùn)算而得的值輸出。在此，來自外部的輸入信號(hào)分別表示為Xi (1、2、……、η)。η等于輸入信號(hào)的數(shù)量。如式I所示，突觸部針對(duì)各輸入信號(hào)，對(duì)對(duì)應(yīng)的連接權(quán)重的值K (1、2、……、η)進(jìn)行乘法運(yùn)算，神經(jīng)元部對(duì)它們的和Vn進(jìn)行計(jì)算。
[0054]Vn= XwiXi (式 I)
[0055]在此，Σ為關(guān)于i的和記號(hào)。
[0056]進(jìn)而神經(jīng)元部，將對(duì)求得的和Vn進(jìn)行非線性運(yùn)算f的結(jié)果作為輸出值y。由此神經(jīng)元的輸出y如式2所示。
[0057]y = f (Vn)(式 2)
[0058]非線性函數(shù)f使用具有飽和特性的單調(diào)增加函數(shù)。例如，多使用階躍函數(shù)(階梯函數(shù))或 S 型函數(shù)(sigmoid function)。
[0059]神經(jīng)網(wǎng)絡(luò)中，多個(gè)神經(jīng)元能夠同時(shí)進(jìn)行運(yùn)算，所以具有并行處理性。即，其特長(zhǎng)在于，與現(xiàn)有的計(jì)算機(jī)的逐次信息處理不同，能夠進(jìn)行并行信息處理。
[0060][學(xué)習(xí)功能]
[0061]神經(jīng)網(wǎng)絡(luò)的重要的特征，不僅在于如上所述的從輸入得到輸出的“處理”功能，還在于具備“學(xué)習(xí)”功能這方面。在此所說的學(xué)習(xí)，是指通過對(duì)上述的突觸的連接權(quán)重進(jìn)行更新，將神經(jīng)網(wǎng)絡(luò)整體的輸入輸出的關(guān)系設(shè)定為所期望的關(guān)系。
[0062][脈沖神經(jīng)元模型]
[0063]上面詳細(xì)敘述了神經(jīng)網(wǎng)絡(luò)的處理功能和學(xué)習(xí)功能。在上面說明中使用的模型中，在神經(jīng)元間傳播的信號(hào)，是將電流或電位的值以模擬值表現(xiàn)的信號(hào)。與此相對(duì)，已知在生物體的神經(jīng)細(xì)胞中，對(duì)大致一定形狀的脈沖(尖峰脈沖)進(jìn)行交互。在此，提出了更忠實(shí)地模擬生物體的神經(jīng)回路，對(duì)脈沖直接處理的模型。例如，在專利文獻(xiàn)I中，公開了使用脈沖密度表現(xiàn)信息的模型(脈沖密度模型)。該模型為使用例如一定時(shí)間中傳播的脈沖的數(shù)量表現(xiàn)模擬信息的模型。另外，在專利文獻(xiàn)2中，公開了使用脈沖定時(shí)表現(xiàn)信息的模型(脈沖定時(shí)模型)。該模型是使用脈沖與脈沖的時(shí)間間隔來表現(xiàn)模擬信息的模型。在對(duì)這些脈沖信號(hào)進(jìn)行處理的模型中，神經(jīng)元間交互的信號(hào)是一定(固定)波形的信號(hào)，所以具有后述的容易硬件化的優(yōu)點(diǎn)。但是，在脈沖密度模型中需要提取出密度，所以為了表現(xiàn)信息需要花費(fèi)一定的時(shí)間。因此，具有無法表現(xiàn)神經(jīng)元的細(xì)微時(shí)間標(biāo)度下的動(dòng)作的缺點(diǎn)。另一方面，脈沖定時(shí)模型，能夠利用一個(gè)一個(gè)的脈沖表現(xiàn)信息，所以能夠進(jìn)行比脈沖密度模型更高速的信息處理。例如，在非專利文獻(xiàn)I中，公開了通過使用脈沖定時(shí)模型，能夠得到比使用脈沖密度模型的情況下更高的性能的情況。
[0064]如上所述，作為能夠適用于使用脈沖的信息表現(xiàn)的神經(jīng)元的動(dòng)作模型，提出了積分點(diǎn)火(Integrate-and-Fire)模型。在此,對(duì)具有2個(gè)輸入端子的神經(jīng)元的積分點(diǎn)火動(dòng)作，用圖13進(jìn)行說明。
[0065]如圖13所示，從外部或其他的神經(jīng)元，將輸入脈沖X1輸入至突觸1、將輸入脈沖X2輸入至突觸2時(shí)，在輸入脈沖的時(shí)刻，在各個(gè)突觸部出現(xiàn)單峰性的電壓變化。這樣的突觸部的電位稱為突觸后電位(Post-synaptic potential下面簡(jiǎn)稱為“PSP”)。圖13表示突觸I和突觸2的PSP的時(shí)間變化P1 &)和己(t)。PSP的高度與突觸結(jié)合強(qiáng)度成比例。在此t表示時(shí)間。
[0066]神經(jīng)元對(duì)來自與之連接的所有的突觸的PSP的總和進(jìn)行運(yùn)算。這被稱為神經(jīng)元的內(nèi)部電位Vn (t)。向神經(jīng)元的輸入端子為2個(gè)時(shí)，如圖13所示，內(nèi)部電位Vn (USP1 (t)和己(t)之和。作為一般的表示，內(nèi)部電位Vn (t)如式3所示。
[0067]Vn (t) = XPi (t)(式 3)
[0068]在此，Pi為突觸i的PSP，Σ為關(guān)于i的和記號(hào)。
[0069]如圖13所示，內(nèi)部電位Vn超過預(yù)先決定的閾值Vth時(shí)，該神經(jīng)元輸出脈沖信號(hào)y。這被稱為神經(jīng)元的“點(diǎn)火(Fire)”。脈沖輸出y從神經(jīng)元輸出、經(jīng)過一定的傳遞時(shí)間tDelay后，輸入至其他的神經(jīng)元。
[0070]使用由脈沖定時(shí)實(shí)現(xiàn)的信息表現(xiàn)時(shí)，即使在學(xué)習(xí)動(dòng)作的突觸連接權(quán)重的更新中也能夠利用脈沖定時(shí)。特別是，使用尖峰定時(shí)突觸可塑性(Spike-timing dependentsynaptic plasticity,以下簡(jiǎn)稱為“STDP”)的性質(zhì)的學(xué)習(xí)動(dòng)作受到注目。STDP的特征在于，在著眼于某突觸I時(shí)，依賴于將信號(hào)送至突觸I的神經(jīng)元(前神經(jīng)元)點(diǎn)火的時(shí)刻，和接收在突觸I加權(quán)后的信號(hào)的神經(jīng)元(后神經(jīng)元)點(diǎn)火的時(shí)刻，突觸I的突觸連接權(quán)重發(fā)生變化。在實(shí)際的生物的神經(jīng)細(xì)胞中，能夠觀測(cè)到幾種STDP。
[0071]在此，使用圖14A，對(duì)STDP進(jìn)行說明。如圖14A所示，設(shè)連接于突觸120的前神經(jīng)元點(diǎn)火的時(shí)刻為tPKE，令后神經(jīng)元點(diǎn)火的時(shí)刻為trosT。STDP是指，將此時(shí)的tPKE和trosT的時(shí)間差trasT-tPKE#為函數(shù)，突觸的結(jié)合強(qiáng)度w變化的特性。已知STDP大體上分為2種類。圖14B所示的特性為非對(duì)稱型STDP，突觸結(jié)合強(qiáng)度的變化量Aw不僅依賴于2個(gè)脈沖的時(shí)間差tPQST-tPKE，還依賴于兩個(gè)脈沖的時(shí)間順序。圖14C所示的特性為對(duì)稱型STDP，突觸結(jié)合強(qiáng)度的變化量Aw僅由2個(gè)脈沖的時(shí)間差tP()ST-tPKE的函數(shù)決定，不依賴于脈沖的順序。
[0072][集成電路化]
[0073]上面對(duì)神經(jīng)網(wǎng)絡(luò)的概況進(jìn)行了詳細(xì)敘述，但構(gòu)成神經(jīng)網(wǎng)絡(luò)時(shí)，上述的神經(jīng)元的功能如何實(shí)現(xiàn)是一個(gè)問題。在現(xiàn)有技術(shù)中，多數(shù)情況下使用現(xiàn)有型計(jì)算機(jī)，使用通過軟件處理實(shí)現(xiàn)神經(jīng)元的功能的方案。但是，在這種情況下，多個(gè)神經(jīng)元的處理由CPU分時(shí)進(jìn)行，所以本來的并行信息處理并沒有進(jìn)行。
[0074]因此，使用硬件構(gòu)成神經(jīng)元而實(shí)現(xiàn)集成電路化是必須的。
[0075]如上所述，表現(xiàn)基于利用脈沖定時(shí)實(shí)現(xiàn)的信息表現(xiàn)的神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)較高的性能。另外，神經(jīng)元間交互的信號(hào)是一定(固定)波形的信號(hào)，所以容易硬件化。所以，近年來，安裝有使用STDP的學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)的硬件化，即關(guān)于神經(jīng)網(wǎng)絡(luò)電路的實(shí)現(xiàn)的研究得以廣泛進(jìn)行。在包含使用STDP的學(xué)習(xí)功能的現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路中，實(shí)現(xiàn)適于將突觸結(jié)合強(qiáng)度作為模擬量存儲(chǔ)的元件是最大的技術(shù)問題。對(duì)此，例如在專利文獻(xiàn)2中，公開了將可變電阻型存儲(chǔ)元件的可變電阻值作為突觸連接權(quán)重存儲(chǔ)的方案。圖15為專利文獻(xiàn)2公開的可變電阻型存儲(chǔ)元件720的截面示意圖?？勺冸娮栊痛鎯?chǔ)元件720具有由上部電極721和下部電極723夾著金屬氧化膜722的結(jié)構(gòu)。該元件是在上部電極721和下部電極723之間施加電壓時(shí)，依賴于流過的電流值、上部電極721和下部電極723之間的電阻值非易失地變化的元件。
[0076]圖16A是專利文獻(xiàn)2公開的現(xiàn)有的STDP神經(jīng)網(wǎng)絡(luò)電路元件的框圖。在此，神經(jīng)網(wǎng)絡(luò)電路元件，是用硬件對(duì)作為神經(jīng)網(wǎng)絡(luò)的功能單位的神經(jīng)元進(jìn)行再現(xiàn)的元件。神經(jīng)網(wǎng)絡(luò)電路元件700包括多個(gè)突觸電路710和I個(gè)神經(jīng)元電路730。突觸電路710使用可變電阻型存儲(chǔ)元件720對(duì)突觸連接權(quán)重進(jìn)行存儲(chǔ)。另外，通過上述方案對(duì)可變電阻型存儲(chǔ)元件720的電阻值進(jìn)行變更，實(shí)現(xiàn)學(xué)習(xí)功能。圖16B和圖16C是關(guān)于圖16A中表示的STDP部的具體結(jié)構(gòu)在專利文獻(xiàn)2中例示的電路圖。
[0077]由圖1lA和圖1lB可知，為了構(gòu)成神經(jīng)網(wǎng)絡(luò)電路，針對(duì)I個(gè)神經(jīng)元電路，需要多個(gè)輸入端子。另外，隨著神經(jīng)網(wǎng)絡(luò)電路整體的神經(jīng)網(wǎng)絡(luò)電路元件的數(shù)量的增加，針對(duì)I個(gè)神經(jīng)元電路所需的輸入端子的數(shù)量增加。針對(duì)I個(gè)神經(jīng)元電路，需要與輸入端子的數(shù)量相同數(shù)量的突觸電路。因此，在構(gòu)成由多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件形成的神經(jīng)網(wǎng)絡(luò)電路時(shí)，需要非常多的突觸電路。例如，在圖1lB所示的相互結(jié)合型神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元的數(shù)量為η時(shí)需要的突觸的數(shù)量為η的2次方。因此，為了使神經(jīng)網(wǎng)絡(luò)電路的面積更小，突觸電路的結(jié)構(gòu)的簡(jiǎn)略化是重要的。
[0078]在現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路元件700中，在突觸電路710中生成向神經(jīng)元電路730傳播的信號(hào)，和用于通過STDP對(duì)電阻變化型存儲(chǔ)元件720的突觸權(quán)重進(jìn)行更新的信號(hào)。例如，在圖16Α中的脈沖發(fā)生部或STDP部生成波形。因此，在突觸電路內(nèi)，需要圖16Β和圖16C所示的信號(hào)發(fā)生器和運(yùn)算電路，突觸電路710的結(jié)構(gòu)將變得大規(guī)模化。
[0079]由以上的方面可知，在現(xiàn)有的突觸電路710及其驅(qū)動(dòng)方法中，存在突觸電路710的面積變得極大的技術(shù)問題，使用該電路的神經(jīng)網(wǎng)絡(luò)電路的規(guī)模也變得很大。
[0080]針對(duì)上述現(xiàn)有的技術(shù)問題，本發(fā)明的
【發(fā)明者】們，經(jīng)過銳意研究，得到了下面的實(shí)施方式，作為能夠以更少的數(shù)量的元件的結(jié)構(gòu)實(shí)現(xiàn)通過STDP實(shí)現(xiàn)的學(xué)習(xí)動(dòng)作的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)電路。
[0081]本發(fā)明的
【發(fā)明者】們，注意到在現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路元件700中，在突觸電路710內(nèi)生成用于更新突觸權(quán)重的非線性波形，是由于輸入至突觸電路730的來自其他的神經(jīng)網(wǎng)絡(luò)電路元件的信號(hào)(在此稱為其他輸入信號(hào))是尖峰脈沖本身(圖11的輸入脈沖Xl)。即，在現(xiàn)有的結(jié)構(gòu)中，由于其他的輸入信號(hào)為尖峰脈沖，所以為了與和輸入的該突觸電路710相同的神經(jīng)網(wǎng)絡(luò)電路元件700生成的尖峰脈沖(在此稱為自身輸入信號(hào))進(jìn)行比較，需要將其他輸入信號(hào)作為觸發(fā)器由該突觸電路710另外產(chǎn)生非線性波形。
[0082]在此，本發(fā)明的
【發(fā)明者】們得出了以下結(jié)論:通過令神經(jīng)網(wǎng)絡(luò)電路元件的輸出信號(hào)自身為非線性波形，能夠不再需要在神經(jīng)網(wǎng)絡(luò)電路元件的突觸電路接收其他的輸入信號(hào)之后再轉(zhuǎn)換為非線性波形。進(jìn)而，得出了在對(duì)非線性波形彼此進(jìn)行比較時(shí)，為了有效地檢測(cè)出輸入時(shí)刻差，優(yōu)選使用后述的雙極性鋸齒形波形(bipolar sawtooth waveform)或墨西哥帽形波形(mexican-hat waveform)作為該非線性波形的結(jié)論。
[0083]以下參照【專利附圖】
].gif)
【附圖說明】本發(fā)明的實(shí)施方式的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法。
[0084](實(shí)施方式)
[0085]圖1表示實(shí)施方式的神經(jīng)網(wǎng)絡(luò)電路元件40的框圖。I個(gè)神經(jīng)網(wǎng)絡(luò)電路元件40包括至少I個(gè)輸入端子51與輸入端子51數(shù)量相同的突觸電路20、1個(gè)神經(jīng)元電路30和I個(gè)輸出端子52。另外，神經(jīng)網(wǎng)絡(luò)電路，如圖11A、圖1lB所示，由多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件40連接構(gòu)成。具體而言，神經(jīng)網(wǎng)絡(luò)電路元件40的輸出端子52，與其他的神經(jīng)網(wǎng)絡(luò)電路元件40的輸入端子51連接。
[0086]神經(jīng)網(wǎng)絡(luò)電路元件40的輸入端子51，與突觸電路20的第一輸入端子41連接。突觸電路20的輸出端子44，與神經(jīng)元電路30的輸入端子45連接。神經(jīng)元電路30的第一輸出端子46，與神經(jīng)網(wǎng)絡(luò)電路元件40的輸出端子52連接。此外，在圖1中，為便于觀察附圖，僅記載了 I個(gè)神經(jīng)元電路30和I個(gè)突觸電路20，但實(shí)際上在I個(gè)神經(jīng)元電路30連接有多個(gè)突觸電路20。
[0087]神經(jīng)元電路30，包括積分電路31、波形發(fā)生電路32和延遲電路33。
[0088]神經(jīng)元電路30的輸入端子44，與積分電路31連接。積分電路31，對(duì)從與神經(jīng)元電路30連接的多個(gè)突觸電路20流入的電流的和進(jìn)行運(yùn)算。而且，運(yùn)算值超過規(guī)定的值時(shí)，向波形發(fā)生電路32輸出信號(hào)(觸發(fā)器信號(hào))。
[0089]信號(hào)發(fā)生電路32，以來自積分電路31的信號(hào)作為觸發(fā)器，生成非線性波形脈沖電壓Vram和開關(guān)脈沖電壓Vtost2。非線性波形脈沖電壓Vrosn，例如為圖2A或圖2B所示的形狀，或?qū)⑦@些進(jìn)行符號(hào)反轉(zhuǎn)而形成的形狀。在此將圖2A所示的非線性波形脈沖電壓稱為“雙極性鋸齒形脈沖電壓”。雙極性鋸齒形脈沖電壓的特征在于，最初為O伏特的電位，隨時(shí)間的經(jīng)過而下降至規(guī)定的負(fù)電位，其后上升到規(guī)定的正電位，然后再恢復(fù)為O伏特。另一方面，將圖2B所示的非線性波形脈沖電壓稱為“墨西哥帽形脈沖電壓”。在為墨西哥帽形脈沖電壓的情況下，最初為O伏特的電位，隨時(shí)間的經(jīng)過而下降至規(guī)定的負(fù)電位，然后上升到規(guī)定的正電位。其后，電位下降到規(guī)定的負(fù)值后，再返回O伏特。在開關(guān)脈沖電SVtost2，能夠使用例如圖2C所示的方波脈沖電壓。
[0090]例如，信號(hào)發(fā)生電路32，如圖17所示，具備以來自積分電路31的輸出信號(hào)為觸發(fā)器進(jìn)行驅(qū)動(dòng)的數(shù)字/模擬轉(zhuǎn)換器321，和存儲(chǔ)有用于生成雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的數(shù)字波形數(shù)據(jù)的數(shù)字存儲(chǔ)器322。數(shù)字/模擬轉(zhuǎn)換器321，在輸入來自積分電路31的輸出信號(hào)時(shí)，從數(shù)字存儲(chǔ)器322讀出數(shù)字波形數(shù)據(jù)，將其轉(zhuǎn)換為模擬波形輸出。
[0091]非線性波形脈沖電壓Vrosn通過延遲電路32經(jīng)過規(guī)定的延遲時(shí)間后，輸出至第一輸出端子45。神經(jīng)元電路30的第一輸出端子45，與神經(jīng)網(wǎng)絡(luò)電路元件40的輸出端子52連接，所以延遲電路33的輸出信號(hào)成為神經(jīng)網(wǎng)絡(luò)電路元件40的輸出信號(hào)。而且，該輸出信號(hào)作為第一輸入信號(hào)電壓(即非線性波形脈沖電壓Vpke)被輸入至其他的神經(jīng)網(wǎng)絡(luò)電路元件(省略圖示)的突觸電路的第一輸入端子。開關(guān)脈沖電壓Vtost2，輸出至神經(jīng)元電路30的第二輸出端子46。第二輸出端子46，與連接至神經(jīng)元電路30的、所有的突觸電路20的第二輸入端子42連接,作為第二輸入信號(hào)電壓60被輸入。
[0092]突觸電路20，具備第一開關(guān)22、第二開關(guān)21、后述的可變電阻元件10和規(guī)定的直流電壓源23。突觸電路20的第一輸入端子41，與第一開關(guān)22的輸入端子26連接。突觸電路20的第二輸入端子42，與第一開關(guān)的控制端子28連接。
[0093]第一開關(guān)22的輸出端子27，與可變電阻元件10的控制電極15連接。突觸電路20的輸出端子43，與可變電阻元件10的第二電極14連接。突觸電路20的輸出端子43，與神經(jīng)元電路30的輸入端子44連接。突觸電路20的第一輸入信號(hào)電壓60，為來自其他的神經(jīng)網(wǎng)絡(luò)電路元件(省略圖示)的非線性波形脈沖電壓VPKE。另外，向突觸電路20的第二輸入端子42輸入的第二輸入信號(hào)電壓70，為相同的神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)的神經(jīng)元電路30的波形生成電路32生成的開關(guān)脈沖電壓VP()ST2。
[0094]在此，本實(shí)施方式的神經(jīng)網(wǎng)絡(luò)電路元件40的結(jié)構(gòu)中的重點(diǎn)在于，波形生成均由神經(jīng)元電路30進(jìn)行，使用生成的非線性波形脈沖電壓Vrosn (輸入至其他的神經(jīng)網(wǎng)絡(luò)電路元件40的非線性波形脈沖電壓Vpke)和開關(guān)脈沖電壓VrosT2進(jìn)行處理和學(xué)習(xí)動(dòng)作。由此能夠使突觸電路20簡(jiǎn)化。
[0095]接著，對(duì)可變電阻元件10進(jìn)行說明。圖5A和圖5B分別表示可變電阻元件10的截面示意圖和電路記號(hào)。可變電阻元件10具備半導(dǎo)體膜11、鐵電體膜12、第一電極13、第二電極14和控制電極15。Z軸為鐵電體膜12的法線方向。X軸為與Z軸正交的方向。另夕卜，對(duì)可變電阻元件10的電路記號(hào)如圖5B所示地標(biāo)記。在圖1中，基于圖5B的標(biāo)記表示組入了該可變電阻元件10的神經(jīng)網(wǎng)絡(luò)電路元件40。
[0096]半導(dǎo)體膜11的材料例如為ZnO、GaN或InGaZnO。鐵電體膜12的材料例如為Pb(Zr、Ti)03、Sr (B1、Ta) 0，或Bi12TiO2015第一電極13、第二電極14和控制電極15例如為由鉬膜和鈦膜構(gòu)成的層疊體。
[0097]半導(dǎo)體膜11、鐵電體膜12和控制電極15沿Z軸層疊。在半導(dǎo)體膜11的表側(cè)的面，配置有第一電極13和第二電極14。
[0098]接著，對(duì)于本實(shí)施方式的、可變電阻元件10的可變電阻值，用圖5A進(jìn)行說明。可變電阻元件10的可變電阻值，為第一電極13和第二電極14之間的電阻值。鐵電體膜12的一部分具有上方向的極化方向時(shí)，該一部分上層疊的半導(dǎo)體膜11的部分具有低電阻。另一方面，鐵電體膜12的一部分具有下方向的極化方向時(shí)，該一部分上層疊的半導(dǎo)體層11的部分具有高電阻。此時(shí)，第一電極13和第二電極14之間的電阻值，成為第一電極13和第二電極14所夾的區(qū)域的半導(dǎo)體的電阻值。由此，根據(jù)該區(qū)域之下層疊的鐵電體膜12中具有上方向和下方向的極化方向的區(qū)域的比例，第一電極13和第二電極14之間的電阻值連續(xù)地變化。
[0099]接著，對(duì)于本實(shí)施方式的可變電阻元件10的電阻值的控制方法，用圖5A進(jìn)行說明?？勺冸娮柙?0中，通過在第一電極13、第二電極14和控制電極15之間設(shè)置電位差，使鐵電體膜12的極化方向發(fā)生變化，控制第一電極13和第二電極14之間的電阻值。例如，以第一電極13和第二電極14為基準(zhǔn)，在兩電極和控制電極15之間設(shè)置正的電位差時(shí)，通過鐵電體膜12的極化實(shí)現(xiàn)的電場(chǎng)的朝向容易朝向上方向(半導(dǎo)體膜11側(cè))。相反，在設(shè)置負(fù)的電位差時(shí)，通過鐵電體膜12極化實(shí)現(xiàn)的電場(chǎng)的朝向容易朝向下方向(控制電極15側(cè))。另外，施加的電位差的絕對(duì)值越大，通過電位差實(shí)現(xiàn)的鐵電體膜12的極化的變化量越大。因此，設(shè)置正的電位差時(shí)，第一電極13和第二電極14之間的電阻值減少，設(shè)置負(fù)的電位差時(shí)第一電極13和第二電極14之間的電阻值增加，這些電阻值的變化隨著施加的電位差的絕對(duì)值越大而越顯著。在此，上方向是指半導(dǎo)體膜11層疊的方向，下方向是指控制電極15層疊的方向。
[0100]接著對(duì)神經(jīng)網(wǎng)絡(luò)電路元件40的動(dòng)作的詳細(xì)情況進(jìn)行說明。
[0101 ] 首先對(duì)處理動(dòng)作進(jìn)行說明。
[0102]在“處理”動(dòng)作期間，根據(jù)突觸電路的第二輸入信號(hào)電壓70，第一開關(guān)22，保持可變電阻元件10的控制電極15和突觸電路20的第一輸入端子41之間為非導(dǎo)通的狀態(tài)。
[0103]另外，第二開關(guān)21，在作為第一輸入信號(hào)的非線性波形脈沖電壓Vpke輸入至突觸電路20的期間，將直流電壓源(第一基準(zhǔn)電壓源)23和可變電阻元件10的第一電極13連接。即，從其他的神經(jīng)網(wǎng)絡(luò)電路元件(省略圖示)，非線性波形脈沖電壓Vpke作為第一輸入信號(hào)電壓60被向突觸電路20輸入時(shí),根據(jù)該非線性波形脈沖電壓Vpke,第二開關(guān)21開閉。例如，第二開關(guān)21，在非線性波形脈沖電壓Vpke為規(guī)定的電壓以上的HI電平的期間為閉合狀態(tài)，在其以外的期間為打開狀態(tài)。另外，突觸電路20的第二電極14，成為與接地電壓(以與第一基準(zhǔn)電壓不同的方式，從第二基準(zhǔn)電壓源供給的第二基準(zhǔn)電壓)相等的電位。
[0104]第2開關(guān)21為閉合狀態(tài)時(shí)，直流電壓源23和可變電阻元件10的第一電極13連接?？勺冸娮柙?0，如上所述，具有第一電極13和第二電極14之間的電阻值可變的特性。通過使第二開關(guān)21為閉合狀態(tài)，在可變電阻元件10的第一電極13和第二電極14之間施加有電源電壓VDD，從直流電壓源23向可變電阻元件10的第二電極14，與可變電阻元件10的當(dāng)前的傳導(dǎo)率(電阻值的倒數(shù))成比例的電流流過，輸入至神經(jīng)元電路30。輸入至神經(jīng)元電路30的電流的大小，與突觸連接權(quán)重w成比例，表現(xiàn)圖13的PSP (P1 (t)、P2 (t))。由此，在本實(shí)施方式中，可變電阻元件10的傳導(dǎo)率(電阻值的倒數(shù))相當(dāng)于突觸連接權(quán)重W。
[0105]向這樣的神經(jīng)元電路30的輸入，是從多個(gè)其他的神經(jīng)網(wǎng)絡(luò)電路元件經(jīng)由突觸電路20非同步地施加的。來自這些多個(gè)突觸電路20的輸入電流，在神經(jīng)元電路30的積分電路31進(jìn)行時(shí)間空間求和(時(shí)間求和和空間求和)。由時(shí)間空間求和生成的積分電壓視為內(nèi)部電位Vn。內(nèi)部電位Vn超過規(guī)定的閾值電壓Vth時(shí)，波形發(fā)生電路32生成脈沖電壓(VrasT1、VresT2)。其中，由波形發(fā)生電路32生成的非線性波形脈沖電壓Vrosn，在經(jīng)過由延遲電路33設(shè)定的規(guī)定的延遲時(shí)間后，向其他的神經(jīng)網(wǎng)絡(luò)電路元件電路(省略圖示)的突觸電路的第一輸入端子作為第一輸入信號(hào)電壓Vpke而施加。該延遲時(shí)間相當(dāng)于神經(jīng)元模型中的傳遞延遲時(shí)間 tDelay。
[0106]接著，對(duì)學(xué)習(xí)動(dòng)作，特別是利用STDP的學(xué)習(xí)動(dòng)作進(jìn)行說明。
[0107]在“學(xué)習(xí)”動(dòng)作時(shí)，神經(jīng)元電路30的波形發(fā)生電路32與非線性波形脈沖電壓Vpqsti同時(shí)生成開關(guān)脈沖電壓VPQST2。例如，以圖2A和圖2B或圖2C的各個(gè)中分別以虛線表示的時(shí)刻Tin為相同時(shí)刻的方式,輸出脈沖電壓。開關(guān)脈沖電壓Vtot2作為第二輸入信號(hào)電壓70向突觸電路20的第一開關(guān)22的控制端子28施加。另外，其他的神經(jīng)網(wǎng)絡(luò)電路元件的非線性波形脈沖電壓Vpke,作為第一輸入信號(hào)電壓60被向突觸電路20的第一開關(guān)22的輸入端子26輸入。在突觸電路20，通過開關(guān)脈沖電壓VrosT2，對(duì)第一開關(guān)22進(jìn)行切換。開關(guān)脈沖電壓Vtot2，以相同的神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)生成的非線性波形脈沖電壓Vpke的時(shí)間中間點(diǎn)為中間點(diǎn)，以該中間點(diǎn)為基準(zhǔn)在前后具有規(guī)定的時(shí)間寬度的期間，成為規(guī)定的電壓電平(HI電平)。
[0108]接著，對(duì)在具備可變電阻元件10的突觸電路20中實(shí)現(xiàn)STDP的方法，用圖1進(jìn)行說明。例如，考慮開關(guān)脈沖電壓Vtost2為HI電平期間，通過第一開關(guān)22使可變電阻元件10的控制電極15和突觸電路20的第一輸入端子41連接的情況。即，開關(guān)脈沖電壓VrosT2為HI電平的期間，為第一信號(hào)電壓Vpke能夠輸入至可變電阻元件10的控制電極15的允許輸入期間。此時(shí)，在通過開關(guān)脈沖電SVrosT2，第一開關(guān)22在使可變電阻元件10的控制電極15和第一輸入端子41導(dǎo)通的期間，非線性波形脈沖電壓Vpke被輸入時(shí)，僅在該期間，對(duì)可變電阻元件10的控制電極15施加脈沖電壓。因此，非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vtot2在時(shí)間上疊加輸入，由此在可變電阻元件10的控制電極15施加有有限的電壓。即，通過在第一電極13和第二電極14與控制電極15之間設(shè)置有電位差，所以根據(jù)該電位差，可變電阻元件10的電阻值變更。如上所述，在本實(shí)施方式中，可變電阻元件10的電阻值的倒數(shù)(傳導(dǎo)率)表示突觸結(jié)合強(qiáng)度，所以能夠進(jìn)行對(duì)該電阻值的變化對(duì)突觸電路20的突觸結(jié)合強(qiáng)度進(jìn)行更新的“學(xué)習(xí)”動(dòng)作。
[0109]另外，根據(jù)非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vtot2被施加的時(shí)刻，施加至可變電阻元件10的控制電極15的脈沖電壓的波形發(fā)生變化。如上所述，可變電阻元件10的電阻值變化的程度，依賴于施加的電壓的大小、即電壓波形。因此，依賴于根據(jù)2個(gè)脈沖電壓被施加的時(shí)刻而變化的生成波形的形狀，電阻值變化的程度也變化。在本實(shí)施方式中，通過將圖2A所示的雙極性鋸齒形脈沖電壓作為非線性波形脈沖電壓使用，能夠?qū)崿F(xiàn)圖14B所示的非對(duì)稱型的STDP，通過使用圖2B所示的墨西哥帽形脈沖電壓作為非線性波形脈沖電壓，能夠?qū)崿F(xiàn)圖14C所示的對(duì)稱型的STDP。
[0110]令非線性波形脈沖電壓Vpke為圖2A所示的雙極性鋸齒形脈沖電壓，令開關(guān)脈沖電壓VP(BT2為圖2C所不的方波脈沖電壓時(shí),對(duì)于第一開關(guān)22的動(dòng)作,在圖3中總結(jié)。在此,僅考慮在開關(guān)脈沖電壓Vtost2為HI電平期間，非線性波形脈沖電壓Vpke施加至可變電阻元件10的控制電極15的情況。通過第一開關(guān)22的動(dòng)作，令施加至控制電極15的電壓為Vsample。非線性波形脈沖電壓Vpke與開關(guān)脈沖電壓Vtost2的輸入時(shí)刻差trosT；rtpRE變化時(shí)，Vsample的波形也發(fā)生變化。例如tresT2-tPKE < O時(shí)(非線性波形脈沖電壓Vpke比開關(guān)脈沖電壓Vresn更早被輸入時(shí))，非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vtot2在時(shí)間上疊加時(shí),Vsample的負(fù)方向的電位差變化變大?？勺冸娮柙?0的、在第一電極13和第二電極14與控制電極15之間設(shè)置的負(fù)電位差越大，傳導(dǎo)率(電阻值的倒數(shù))減小得越大。由此，Vsample的負(fù)方向的變化增大時(shí)，傳導(dǎo)率(電阻值的倒數(shù))大幅減小。另一方面，tP()ST2-tPKE > O時(shí)(非線性波形脈沖電壓Vpke比開關(guān)脈沖電壓Vresn更晚被輸入時(shí))，非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vkbt2在時(shí)間上疊加時(shí)，Vsample的正方向的電位差變化變大。可變電阻元件10的、在第一電極13和第二電極14與控制電極15之間設(shè)置的正電位差越大，傳導(dǎo)率(電阻值的倒數(shù))增加得越大。由此，Vsample的正方向的變化增大時(shí)，傳導(dǎo)率(電阻值的倒數(shù))大幅增加。
[0111]同樣地，令非線性波形脈沖電壓Vpke為圖2B所示的墨西哥帽形脈沖電壓，令開關(guān)脈沖電壓Vtost2為圖2C所不的方波脈沖電壓時(shí),對(duì)于第一開關(guān)22的動(dòng)作,在圖4中總結(jié)。在此，僅考慮在開關(guān)脈沖電壓VrosT2為HI電平期間(即上述的允許輸入期間)，非線性波形脈沖電壓Vpke施加至可變電阻元件10的控制電極15的情況。非線性波形脈沖電壓Vpke與開關(guān)脈沖電壓VrosT2的輸入時(shí)刻差1_2-、變化時(shí)，Vsample的波形也發(fā)生變化。例如，在非線性波形脈沖電壓Vpke的電位為正值的時(shí)刻，施加開關(guān)脈沖電壓Vtot2時(shí)，Vsample的正方向的電位差變化變大。可變電阻元件10的、在第一電極13和第二電極14與控制電極15之間設(shè)置的正電位差越大，傳導(dǎo)率(電阻值的倒數(shù))增加得越大。由此，Vsample的正方向的變化增大時(shí)，傳導(dǎo)率(電阻值的倒數(shù))大幅增加。另一方面，在非線性波形脈沖電壓Vpke的電位為負(fù)值的時(shí)刻，施加開關(guān)脈沖電壓Vtost2時(shí)，Vsaniple的負(fù)方向的電位差變化變大?？勺冸娮柙?0的、在第一電極13和第二電極14與控制電極15之間設(shè)置的負(fù)電位差越大，傳導(dǎo)率(電阻值的倒數(shù))減小得越大。由此，Vsample的負(fù)方向的變化增大時(shí)，傳導(dǎo)率(電阻值的倒數(shù))大幅減小。
[0112]這樣通過使用開關(guān)脈沖電壓Vtost2對(duì)第一開關(guān)22進(jìn)行切換，基于在相同的神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)生成的開關(guān)脈沖電壓(第二輸入信號(hào)電壓)VrosT2和從其他的神經(jīng)網(wǎng)絡(luò)電路兀件輸入的非線性波形脈沖電壓(第一輸入信號(hào)電壓)Vpee的輸入時(shí)刻差,在可變電阻兀件10的第一電極13、第二電極14和控制電極15之間設(shè)置有依賴于該輸入時(shí)刻差的電位差。根據(jù)這樣設(shè)置的電位差，在可變電阻元件10依賴于輸入時(shí)刻差的電阻值的調(diào)制得以實(shí)現(xiàn)。
[0113]這樣，將從其他的神經(jīng)網(wǎng)絡(luò)電路元件輸入的作為雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的非線性脈沖波形電壓Vpke，與在相同神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)的神經(jīng)元電路30生成的雙極性鋸齒形脈沖電壓Vrasn的生成時(shí)刻相應(yīng)的開關(guān)脈沖電壓Vtost2進(jìn)行比較，所以不需要由突觸電路20自身生成該比較用的波形，能夠使突觸電路20的面積減小。由此，能夠使神經(jīng)網(wǎng)絡(luò)電路元件40自身的電路面積減小。由此，能夠以更少的數(shù)量的元件結(jié)構(gòu)實(shí)現(xiàn)利用脈沖定時(shí)進(jìn)行的學(xué)習(xí)動(dòng)作。
[0114]另外，作為比較對(duì)象的非線性脈沖波形電壓Vpke、使用具有2個(gè)極性、以O(shè)伏特的位置為基準(zhǔn)成為點(diǎn)對(duì)稱的雙極性鋸齒形脈沖電壓波形，或者使用以O(shè)伏特的時(shí)間為基準(zhǔn)成為線對(duì)稱的墨西哥帽形脈沖電壓波形。因此，能夠使第一輸入信號(hào)電壓Vpke和作為比較的第二輸入信號(hào)電壓的開關(guān)脈沖電壓vrosT2i間的時(shí)刻偏差容易地反映至可變電阻元件10的電阻值的調(diào)制。
[0115]非線性脈沖波形電壓VPKE、VrosT1的波形，只要分別是上述這樣的雙極性鋸齒形脈沖電壓波形或墨西哥帽形脈沖電壓波形，沒有特別的限定，但是例如，在為雙極性鋸齒形脈沖電壓時(shí)，能夠采用圖2A所示那樣的、連接各極性的頂點(diǎn)和O伏特的位置之間的線段的傾斜角度比其他部分的傾斜角度更大的波形。由于O伏特的位置附近的區(qū)域的傾斜度較大，即使在第一輸入信號(hào)電壓Vpke和第三輸入信號(hào)電壓Vrosn的輸入時(shí)刻差很微小時(shí)，電位差Veffect的變化變大，所以能夠針對(duì)輸入時(shí)刻差提高靈敏度。同樣地，在為墨西哥帽形脈沖電壓時(shí)，如圖2B所示，由于連接各極性的頂點(diǎn)彼此之間的線段的傾斜度較大，所以即使在第一輸入信號(hào)電壓Vpke和第三輸入信號(hào)電壓Vrosn的輸入時(shí)刻差很微小時(shí)，電位差VrffK；t的變化也變大，所以能夠相對(duì)于輸入時(shí)刻差提高靈敏度。
[0116]此外，在本實(shí)施方式中，使用非線性波形脈沖電壓Vpke，對(duì)突觸電路20的第二開關(guān)21進(jìn)行開閉，但也可以例如在輸入非線性波形脈沖電壓Vpke的期間，使用成為規(guī)定的電壓的方波脈沖電壓對(duì)第二開關(guān)21進(jìn)行開閉。
[0117](實(shí)施例)
[0118]以下參照實(shí)施例對(duì)本發(fā)明進(jìn)行更詳細(xì)的說明。
[0119](實(shí)施例1)
[0120](可變電阻元件10的制作)
[0121]將厚度30nm的由釕酸鍶(SrRuO3)形成的氧化物導(dǎo)電膜，在由鈦酸鍶(SrTiO3)形成的(001)單晶基板上，通過脈沖激光沉積(以下稱為PLD)法堆積。堆積時(shí)的基板的溫度為700V。堆積后,通過光刻和離子統(tǒng)削(ion milling)法形成控制電極15。[0122]在基板的溫度為700°C的狀態(tài)，使用PLD法在SRO上堆積由厚度450nm的鋯鈦酸鉛(Pb (Zr、Ti) O3)形成的鐵電體膜12。其后，使基板的溫度下降至400°C。接著，堆積由厚度30nm的氧化鋅(ZnO)形成的半導(dǎo)體膜11。
[0123]在半導(dǎo)體膜11上形成圖案化后的抗蝕劑后，將由厚度5nm的鈦膜和厚度30nm的鉬膜形成的層疊體，在室溫下通過電子束蒸鍍法進(jìn)行堆積。堆積后，通過剝離法形成第一電極13和第二電極14。這樣，得到可變電阻元件10。[0124](突觸電路的評(píng)價(jià))
[0125]對(duì)構(gòu)成圖6所示的突觸電路，使用上述的可變電阻元件10的突觸電路的STDP特性進(jìn)行評(píng)價(jià)。在Vdd連接0.1伏特的直流電壓源。在第一開關(guān)使用圖6所示的開關(guān)電路25。開關(guān)電路25，僅在開關(guān)脈沖電壓Vtost2為HI電平的期間，非線性波形脈沖電壓Vpke施加至可變電阻元件10的控制電極15，其以外的期間，可變電阻元件10的控制電極15進(jìn)行接地的動(dòng)作。此外，在圖6中，圖1的第二開關(guān)21的結(jié)構(gòu)省略。
[0126]在本實(shí)施例中，通過令圖7A所示的波形為非線性波形脈沖電壓Vpke，令圖7B所示的波形為開關(guān)脈沖電壓VrosT2，將開關(guān)電路25作為圖1的第一開關(guān)22使用而實(shí)現(xiàn)圖3所示的開關(guān)動(dòng)作。一邊改變所施加的非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vkbt2的時(shí)刻，一邊對(duì)施加兩脈沖電壓的前后的傳導(dǎo)率(電阻值的倒數(shù))的變化進(jìn)行測(cè)定，如圖7C所示，得到圖14B這樣的非對(duì)稱形的STDP。
[0127](積分動(dòng)作的評(píng)價(jià))
[0128]接著，制作圖8所示的將積分電路31連接至I個(gè)突觸電路20而得的電路，對(duì)由STDP實(shí)現(xiàn)的可變電阻元件10的電阻變化伴隨的積分動(dòng)作的變化進(jìn)行評(píng)價(jià)。
[0129]積分電路31包括運(yùn)算放大器53、電容器36和電阻37。電容器36的電容值為I皮法，電阻37的電阻值為I兆歐姆。積分電路31使用從突觸電路20輸入的電流對(duì)電容器36進(jìn)行充電。通過該動(dòng)作，電流的時(shí)間積分的運(yùn)算結(jié)果作為積分電位Vn被輸出。另外，電容器36配置于運(yùn)算放大器35的負(fù)極性輸入端子(_)和輸出端子間。另外運(yùn)算放大器35的輸出信號(hào)經(jīng)由電阻37回到負(fù)極性輸入端子(_)。其結(jié)果是，通過運(yùn)算放大器35的反饋功能，向負(fù)極性輸入端子(_)的輸入成為虛擬接地。
[0130]由于向運(yùn)算放大器35的負(fù)極性輸入端子(_)的輸入成為虛擬接地，所以與突觸電路20的數(shù)量和電容器36的積分電位無關(guān)地，由規(guī)定的電源電壓和可變電阻元件20的電阻值決定的一定電流，通過各突觸電路20，向神經(jīng)元電流30輸入。
[0131]使用與圖6同樣的電路25作為圖8所示的突觸電路20的第一開關(guān)22，使用場(chǎng)效應(yīng)晶體管24作為第二開關(guān)21。在場(chǎng)效應(yīng)晶體管24的柵極端子施加非線性波形脈沖電壓VPKE。本實(shí)施例中使用的場(chǎng)效應(yīng)晶體管24，在非線性波形脈沖電壓VpkeSHI時(shí)為導(dǎo)通，在其以外的情況下為斷開。場(chǎng)效應(yīng)晶體管24的導(dǎo)通電阻為可變電阻元件10的電阻值的百分之一以下，所以直流電壓源23和運(yùn)算放大器35的負(fù)極性輸入端子(_)之間的電阻值大約等于可變電阻元件10的電阻值。因此，僅在非線性波形脈沖電壓Vpke為HI的期間，在可變電阻元件10流過脈沖電流。脈沖電流的大小大體上與可變電阻元件10的電阻值的倒數(shù)(傳導(dǎo)率)成比例。
[0132]輸入至神經(jīng)元電路20的脈沖電流，對(duì)積分電路31的電容器36進(jìn)行充電，所以時(shí)間積分結(jié)果作為輸出Vn被輸出。對(duì)被施加非線性波形脈沖電壓Vpke而20微秒后的積分電壓Vn進(jìn)行評(píng)價(jià)。
[0133]在本實(shí)施例中，令圖7A所示的波形為非線性波形脈沖電壓Vpke，令圖7B所示的波形為開關(guān)脈沖電壓VrosT2。一邊改變所施加的非線性波形脈沖電壓和開關(guān)脈沖電壓的時(shí)刻，一邊對(duì)施加兩脈沖電壓的前后的積分電壓Vn的變化進(jìn)行測(cè)定。圖9的左軸表示積分電壓的變化量。在圖9的右軸，為了參考，對(duì)與圖7C所示的傳導(dǎo)率的變化量相同的量進(jìn)行繪點(diǎn)(plot)。積分電壓的變化量,表示與傳導(dǎo)率的變化量對(duì)應(yīng)的特性,表示可變電阻元件10的STDP特性也反映于積分電路31的積分動(dòng)作。
[0134](實(shí)施例2)
[0135](突觸電路100的評(píng)價(jià))
[0136]與實(shí)施例1同樣地，對(duì)構(gòu)成圖6所示突觸電路、使用可變電阻元件10的突觸電路的STDP特性進(jìn)行評(píng)價(jià)。
[0137]令圖1OA所示的波形為非線性波形脈沖電壓Vpke，令圖1OB所示的波形為開關(guān)脈沖電壓Vtost2，測(cè)定施加的前后的傳導(dǎo)率(電阻值的倒數(shù))的變化。如圖1OC的左軸所示，得到圖14C這樣的對(duì)稱形的STDP特性。
[0138](積分動(dòng)作的評(píng)價(jià))
[0139]接著，與實(shí)施例1同樣地，制作圖8所示那樣的將積分電路31連接至I個(gè)突觸電路20而得的電路，對(duì)由STDP實(shí)現(xiàn)的可變電阻元件10的電阻變化伴隨的積分動(dòng)作的變化，施加非線性波形脈沖電壓Vpke而基于20微秒后的積分電壓Vn進(jìn)行評(píng)價(jià)。
[0140]圖1OC的右軸表不積分電壓的變化量。積分電壓的變化量，表不與傳導(dǎo)率的變化量對(duì)應(yīng)的特性，表示可變電阻元件10的對(duì)稱性STDP特性也反映于積分電路31的積分動(dòng)作。
[0141]根據(jù)上述說明，本領(lǐng)域技術(shù)人員能夠清楚本發(fā)明的多種改良和其他的實(shí)施方式。因此，上述說明，僅應(yīng)被解釋為例示，是以向本領(lǐng)域技術(shù)人員表現(xiàn)實(shí)行本發(fā)明的最優(yōu)的方式為目的而提供的。能夠在不脫離本發(fā)明的主旨的情況下，對(duì)其結(jié)構(gòu)和/或功能的詳細(xì)內(nèi)容進(jìn)行實(shí)質(zhì)性的變更。
[0142]產(chǎn)業(yè)上的可利用性
[0143]本發(fā)明能夠用于神經(jīng)網(wǎng)絡(luò)電路的權(quán)重更新動(dòng)作。
[0144]附圖標(biāo)記說明
[0145]10可變電阻元件
[0146]11半導(dǎo)體膜
[0147]12鐵電體膜
[0148]13第一電極
[0149]14第二電極
[0150]15控制電極
[0151]20突觸電路
[0152]21第二開關(guān)
[0153]22第一開關(guān)
[0154]23直流電壓源(第一基準(zhǔn)電壓源)
[0155]30神經(jīng)元電路
[0156]31積分電路
[0157]32波形發(fā)生電路
[0158]33延遲電路
[0159]40神經(jīng)網(wǎng)絡(luò)電路元件
[0160]54接地電壓源(第二基準(zhǔn)電壓源)
[0161]321數(shù)字/模擬轉(zhuǎn)換器
[0162]322數(shù)字存儲(chǔ)器
【權(quán)利要求】
1.一種神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，該神經(jīng)網(wǎng)絡(luò)電路通過連接多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件(40)而構(gòu)成，該神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法的特征在于: 所述多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件(40)分別具備: 被輸入其他的神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號(hào)的至少I個(gè)突觸電路(20)，以下將該輸出信號(hào)稱為第一輸入信號(hào)；和 被輸入所述至少I個(gè)突觸電路(20)的輸出信號(hào)的I個(gè)神經(jīng)元電路(30)， 所述突觸電路(20)具備可變電阻元件(10)，該可變電阻元件(10)包括:形成于半導(dǎo)體膜(11)上的第一電極(13)和第二電極(14);和在所述半導(dǎo)體膜(11)的主面隔著鐵電體膜(12)形成的控制電極(15)，響應(yīng)所述第一電極(13)和所述控制電極(15)之間的電位差，所述第一電極(13)和所述第二電極(14)之間的電阻值發(fā)生變化， 所述神經(jīng)元電路(30)具備產(chǎn)生雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的波形發(fā)生電路(32)，以下將該雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓稱為規(guī)定的脈沖電壓，所述第一輸入信號(hào)具有所述規(guī)定的脈沖電壓波形， 將在與所述可變電阻元件(10)相同的神經(jīng)網(wǎng)絡(luò)電路元件(40)內(nèi)生成的所述規(guī)定的脈沖電壓波形的時(shí)間中間點(diǎn)稱為中間點(diǎn)，在以該中間點(diǎn)為基準(zhǔn)在前后具有規(guī)定的時(shí)間寬度的期間，以下將該期間稱為允許輸 入期間，使所述第一輸入信號(hào)能夠輸入至所述可變電阻元件(10)的所述控制電極(15)，根據(jù)所述允許輸入期間中的依賴于所述第一輸入信號(hào)的輸入時(shí)刻而產(chǎn)生的所述第一電極(13)和所述控制電極(15)之間的電位差，使所述可變電阻元件(10)的電阻值發(fā)生變化。
2.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于: 所述突觸電路(20)具備第一開關(guān)(22)，該第一開關(guān)(22)對(duì)是否能夠?qū)⑤斎氲乃龅谝惠斎胄盘?hào)輸入至所述可變電阻元件(10)的所述控制電極(15)進(jìn)行切換， 所述神經(jīng)兀電路(30)生成第二輸入信號(hào),該第二輸入信號(hào)用于對(duì)所述第一開關(guān)(22)進(jìn)行切換，以使得在所述允許輸入期間成為所述第一輸入信號(hào)能夠輸入至所述控制電極(15)的狀態(tài)。
3.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于: 所述神經(jīng)元電路(30)包括: 對(duì)在所述至少I個(gè)突觸電路(20)的所述可變電阻元件(10)流過的電流值進(jìn)行積分的積分電路(31);和 使由所述波形發(fā)生電路(32)產(chǎn)生的所述雙極性鋸齒形脈沖電壓延遲規(guī)定時(shí)間并將其作為所述神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號(hào)輸出的延遲電路(33)， 所述波形發(fā)生電路(32)，產(chǎn)生與由所述積分電路(31)積分后的電流值相應(yīng)的所述規(guī)定的脈沖電壓。
4.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于: 所述突觸電路(20)具備第二開關(guān)(21)，該第二開關(guān)(21)的一端與第一基準(zhǔn)電壓源(23)連接，另一端與所述可變電阻元件(10)的所述第一電極(13)連接， 所述第二開關(guān)(21)構(gòu)成為在被輸入所述第一輸入信號(hào)的期間，連接所述第一基準(zhǔn)電壓源(23)和所述第一電極(13)。
5.一種神經(jīng)網(wǎng)絡(luò)電路，其通過多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件(40)連接而構(gòu)成，該神經(jīng)網(wǎng)絡(luò)電路的特征在于: 所述多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件(40)分別具備: 被輸入其他的神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號(hào)的至少I個(gè)突觸電路(20)，以下將該輸出信號(hào)稱為第一輸入信號(hào)；和 被輸入所述至少I個(gè)突觸電路(20)的輸出信號(hào)的I個(gè)神經(jīng)元電路(30)， 所述突觸電路(20)具備可變電阻元件(10)，該可變電阻元件(10)包括:形成于半導(dǎo)體膜(11)上的第一電極(13)和第二電極(14);和在所述半導(dǎo)體膜(11)的主面隔著鐵電體膜(12)形成的控制電極(15)，響應(yīng)所述第一電極(13)和所述控制電極(15)之間的電位差，所述第一電極(13)和所述第二電極(14)之間的電阻值發(fā)生變化， 所述神經(jīng)元電路(30)具有生成雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的波形發(fā)生電路(32)，以下將該雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓稱為規(guī)定的脈沖電壓，所述第一輸入信號(hào)具有所述規(guī)定的脈沖電壓波形， 將在與所述可變電阻元件(10)相同的神經(jīng)網(wǎng)絡(luò)電路元件(40)內(nèi)生成的所述規(guī)定的脈沖電壓波形的時(shí)間中間點(diǎn)稱為中間點(diǎn)，在以該中間點(diǎn)為基準(zhǔn)在前后具有規(guī)定的時(shí)間寬度的期間，以下將該期間稱為允許輸入期間，使所述第一輸入信號(hào)能夠輸入至所述可變電阻元件(10)的所述控制電極(15)，根據(jù)所述允許輸入期間中的依賴于所述第一輸入信號(hào)的輸入時(shí)刻而產(chǎn)生的所述第一電極(13)和所述控制電極(15)之間的電位差，使所述可變電阻元件(10)的電阻值發(fā)生變 化。
【文檔編號(hào)】G06N3/063GK103460220SQ201280015280
【公開日】2013年12月18日 申請(qǐng)日期:2012年5月29日 優(yōu)先權(quán)日:2012年1月23日
【發(fā)明者】西谷雄, 金子幸廣, 上田路人 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社
【專利摘要】突觸電路（20）具備可變電阻元件（10），神經(jīng)元電路（30）具備產(chǎn)生雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓（以下稱為規(guī)定的脈沖電壓）的波形發(fā)生電路（32），第一輸入信號(hào)（其他的神經(jīng)網(wǎng)絡(luò)電路元件（40）的輸出信號(hào)）具有規(guī)定的脈沖電壓波形，將與可變電阻元件（10）相同的神經(jīng)網(wǎng)絡(luò)電路元件（40）內(nèi)生成的規(guī)定的脈沖電壓波形的時(shí)間中間點(diǎn)稱為中間點(diǎn)，在以該中間點(diǎn)為基準(zhǔn)在前后具有規(guī)定的時(shí)間寬度的期間（以下稱為允許輸入期間），通過使第一輸入信號(hào)能夠輸入至可變電阻元件（10）的控制電極（15），根據(jù)依賴于針對(duì)允許輸入期間的第一輸入信號(hào)的輸入時(shí)刻而產(chǎn)生的第一電極（13）和控制電極（15）之間的電位差，使可變電阻元件（10）的電阻值發(fā)生變化。
【專利說明】神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法。
【背景技術(shù)】
[0002]當(dāng)前，計(jì)算機(jī)的發(fā)展是顯著的，在日常生活中的多種多樣的情況下得以利用。但是，現(xiàn)有的計(jì)算機(jī)的處理能力的發(fā)展是通過部件的細(xì)微化和算法的進(jìn)化而實(shí)現(xiàn)的，基本的信息處理的原理沒有變化。另一方面，這些計(jì)算機(jī)，由于其處理方式的特性，對(duì)于人能夠容易地進(jìn)行的動(dòng)作非常不擅長(zhǎng)。例如實(shí)時(shí)的面部識(shí)別、空間結(jié)構(gòu)的把握等。這樣的處理的能力，即使使用最新的算法和最大規(guī)模的計(jì)算機(jī)，也無法趕上人類的處理速度。
[0003]與此相對(duì)，模擬生物體的腦的信息處理方式的計(jì)算機(jī)的研究正在進(jìn)行。該處理模型中最基本的是神經(jīng)網(wǎng)絡(luò)(neural network)。
[0004]神經(jīng)網(wǎng)絡(luò)是模擬生物體的神經(jīng)回路網(wǎng)的網(wǎng)絡(luò)。在此，已知在生物體的神經(jīng)細(xì)胞中，對(duì)大致一定形狀的脈 沖(尖峰脈沖，spike pulse)進(jìn)行交互。在此，作為實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)電路，提出了更忠實(shí)地模擬生物體的神經(jīng)回路、對(duì)脈沖直接進(jìn)行處理的模型(model)。例如，在專利文獻(xiàn)I中，公開了使用脈沖密度表現(xiàn)信息的模型(脈沖密度模型)。該模型為使用例如一定時(shí)間中傳播的脈沖的數(shù)量表現(xiàn)模擬信息的模型。另外，在專利文獻(xiàn)2中，公開了使用脈沖定時(shí)表現(xiàn)信息的模型(脈沖定時(shí)模型)。該模型是使用脈沖與脈沖的時(shí)間間隔來表現(xiàn)模擬信息的模型。在對(duì)這些脈沖信號(hào)進(jìn)行處理的模型中，神經(jīng)元(neuixm)間交互的信號(hào)是一定(固定)波形的信號(hào)，所以具有容易硬件化的優(yōu)點(diǎn)。但是，在專利文獻(xiàn)I這樣的脈沖密度模型中需要提取出密度，所以為了表現(xiàn)信息需要花費(fèi)一定的時(shí)間。因此，具有無法表現(xiàn)神經(jīng)元的細(xì)微的時(shí)間標(biāo)度下的動(dòng)作的缺點(diǎn)。另一方面，如專利文獻(xiàn)2這樣的脈沖定時(shí)模型，能夠利用一個(gè)一個(gè)的脈沖表現(xiàn)信息，所以能夠進(jìn)行比脈沖密度模型更高速的信息處理。例如，在非專利文獻(xiàn)I中，公開了通過使用脈沖定時(shí)模型，能夠得到比使用脈沖密度模型的情況下更高的性能的情況。
[0005]現(xiàn)有技術(shù)文獻(xiàn)
[0006]專利文獻(xiàn)
[0007]專利文獻(xiàn)1:日本特開平7-114524號(hào)公報(bào)
[0008]專利文獻(xiàn)2:日本特開2010 - 146514號(hào)公報(bào)
[0009]非專利文獻(xiàn)
[0010]非專利文獻(xiàn)1: W.Maass、 Networks of Spiking Neurons:The Third Generationof Neural Network Models、”Neural Networks、vol.10、n0.9、pp.1659 一 1671、1997.
【發(fā)明內(nèi)容】
[0011]發(fā)明要解決的技術(shù)問題
[0012]但是，在實(shí)現(xiàn)如專利文獻(xiàn)2這樣的脈沖定時(shí)模型的神經(jīng)網(wǎng)絡(luò)電路中，具有神經(jīng)網(wǎng)絡(luò)電路整體的電路面積變大的技術(shù)問題。[0013]本發(fā)明的目的在于，提供一種能夠以更少的數(shù)量的元件的結(jié)構(gòu)實(shí)現(xiàn)通過脈沖定時(shí)進(jìn)行的學(xué)習(xí)動(dòng)作的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)電路。
[0014]用于解決技術(shù)問題的技術(shù)手段
[0015]為了解決上述技術(shù)問題的一個(gè)方式的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，為連接有多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件(40)而構(gòu)成的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于:上述多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件(40)分別具備:被輸入其他的神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號(hào)(以下稱為第一輸入信號(hào))的至少I個(gè)突觸電路(20)，；和被輸入上述至少I個(gè)突觸電路(20)的輸出信號(hào)的I個(gè)神經(jīng)元電路(30)，上述突觸電路(20)具備可變電阻元件(10)，該可變電阻元件(10)包括:形成于半導(dǎo)體膜(11)上的第一電極(13)和第二電極(14);和在上述半導(dǎo)體膜(11)的主面隔著鐵電體膜(12)形成的控制電極(15)，響應(yīng)上述第一電極(13)和上述控制電極
[15]之間的電位差，上述第一電極(13)和上述第二電極(14)之間的電阻值發(fā)生變化，上述神經(jīng)元電路(30)具備產(chǎn)生雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓(以下稱為規(guī)定的脈沖電壓)的波形發(fā)生電路(32)，，上述第一輸入信號(hào)具有上述規(guī)定的脈沖電壓波形，將在與上述可變電阻元件(10)相同的神經(jīng)網(wǎng)絡(luò)電路元件(40)內(nèi)生成的上述規(guī)定的脈沖電壓波形的時(shí)間中間點(diǎn)稱為中間點(diǎn)，在以該中間點(diǎn)為基準(zhǔn)在前后具有規(guī)定的時(shí)間寬度的期間，以下將該期間稱為允許輸入期間，使上述第一輸入信號(hào)能夠輸入至上述可變電阻元件(10)的上述控制電極(15),根據(jù)上述允許輸入期間中的依賴于上述第一輸入信號(hào)的輸入時(shí)刻而產(chǎn)生的上述第一電極(13)和上述控制電極(15)之間的電位差，使上述可變電阻元件(10)的電阻值發(fā)生變化。
[0016]本發(fā)明的上述目的、其他目的、特征和優(yōu)點(diǎn)，通過參照添加的附圖、根據(jù)以下的優(yōu)選實(shí)施方式的詳細(xì)的說明能夠清楚。
[0017]發(fā)明的效果
[0018]根據(jù)本發(fā)明，能夠以更少的數(shù)量的元件結(jié)構(gòu)實(shí)現(xiàn)利用脈沖定時(shí)進(jìn)行的學(xué)習(xí)動(dòng)作?！緦＠綀D】
【附圖說明】
[0019]圖1表示實(shí)施方式的神經(jīng)網(wǎng)絡(luò)電路元件的框圖。
[0020]圖2A表不實(shí)施方式的第一輸入信號(hào)電壓和第三輸入信號(hào)電壓中使用的雙極性鋸齒形脈沖電壓的形狀。
[0021]圖2B表示實(shí)施方式的第一輸入電壓和第三輸入電壓中使用墨西哥帽形脈沖電壓的形狀。
[0022]圖2C表示實(shí)施方式的第二輸入電壓中使用的方波脈沖電壓的形狀。
[0023]圖3表示在實(shí)施方式的第一開關(guān)中，對(duì)圖2A所示的雙極性鋸齒形脈沖電壓Vpke的導(dǎo)通和非導(dǎo)通，使用圖2C所示的方波脈沖電壓VrosT2，進(jìn)行開關(guān)的動(dòng)作。
[0024]圖4表示實(shí)施方式的第一開關(guān)中，對(duì)圖2B所示的墨西哥帽形脈沖電壓Vpke的導(dǎo)通和非導(dǎo)通，使用圖2C所示的方波脈沖電壓VrasT2，進(jìn)行開關(guān)的動(dòng)作。
[0025]圖5A表示實(shí)施方式的可變電阻元件的截面圖。
[0026]圖5B表示實(shí)施方式的可變電阻元件的電路記號(hào)。
[0027]圖6表示實(shí)施例的STDP的評(píng)價(jià)電路。
[0028]圖7A表示實(shí)施例1的第一輸入信號(hào)電壓中使用的雙極性鋸齒形脈沖電壓的形狀。[0029]圖7B表示實(shí)施例1的第二輸入電壓中使用的方波脈沖電壓的形狀。
[0030]圖7C表示實(shí)施例1的非對(duì)稱型STDP。
[0031 ]圖8表示實(shí)施例1的積分動(dòng)作的評(píng)價(jià)中使用的電路。
[0032]圖9表示實(shí)施例1的非對(duì)稱型STDP。
[0033]圖1OA表示實(shí)施例2的第一輸入信號(hào)電壓中使用的墨西哥帽形脈沖電壓的形狀。
[0034]圖1OB表示實(shí)施例2的第二輸入電壓中使用的方波脈沖電壓的形狀。
[0035]圖1OC表示實(shí)施例2的對(duì)稱型STDP。
[0036]圖1lA表示用于說明階層型神經(jīng)網(wǎng)絡(luò)的概略圖。
[0037]圖1lB表示用于說明相互結(jié)合型神經(jīng)網(wǎng)絡(luò)的概略圖。
[0038]圖12表示用于說明一般的神經(jīng)元的動(dòng)作的概略圖。
[0039]圖13表示用于說明積分點(diǎn)火(Integrate-and-Fire)型神經(jīng)元的動(dòng)作的概略圖。
[0040]圖14A表示用于說明STDP的概略圖。
[0041]圖14B表示表現(xiàn)非對(duì)稱型STDP的特征的概略圖。
[0042]圖14C表示表現(xiàn)對(duì)稱型STDP的概略圖。
[0043]圖15表示專利文獻(xiàn)2公開的電阻變化型存儲(chǔ)元件的截面圖。
[0044]圖16A表示表現(xiàn)專利文獻(xiàn)2公開的現(xiàn)有的STDP神經(jīng)網(wǎng)絡(luò)電路元件的框圖。
[0045]圖16B表示表現(xiàn)專利文獻(xiàn)2公開的現(xiàn)有的突觸電路的STDP部的框圖。
[0046]圖16C表示表現(xiàn)專利文獻(xiàn)2公開的現(xiàn)有的突觸電路的STDP部的框圖。
[0047]圖17表示實(shí)施方式的信號(hào)發(fā)生電路。
【具體實(shí)施方式】
[0048][神經(jīng)網(wǎng)絡(luò)的說明]
[0049]首先，對(duì)作為本發(fā)明的實(shí)施方式的前提的神經(jīng)網(wǎng)絡(luò)和用于實(shí)現(xiàn)該網(wǎng)絡(luò)的現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路的技術(shù)問題進(jìn)行更詳細(xì)的說明。神經(jīng)網(wǎng)絡(luò)是模擬生物體的神經(jīng)回路網(wǎng)的網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)以模擬作為神經(jīng)回路網(wǎng)的功能單位的神經(jīng)細(xì)胞的神經(jīng)元為功能單位，以網(wǎng)絡(luò)狀配置多個(gè)神經(jīng)元而進(jìn)行信息處理。例如有如圖1lA所示以階層狀連接神經(jīng)元100而得的階層型神經(jīng)網(wǎng)絡(luò)、如圖1lB所示將神經(jīng)元100彼此相互連接而得的相互結(jié)合型神經(jīng)網(wǎng)絡(luò)(霍普菲爾德網(wǎng)絡(luò)，Hopfield network)。
[0050]神經(jīng)網(wǎng)絡(luò)大體上具有兩種功能。第一種為從輸入得到輸出的“處理”功能，第二種為將神經(jīng)網(wǎng)絡(luò)整體的輸入輸出的關(guān)系設(shè)定為所期望的關(guān)系的“學(xué)習(xí)”功能。
[0051][處理功能]
[0052]在此以階層型神經(jīng)網(wǎng)絡(luò)電路為例對(duì)信息處理的動(dòng)作進(jìn)行說明。圖1lA所示的階層型神經(jīng)網(wǎng)絡(luò)包括輸入層400、中間層500、輸出層600三個(gè)層。各層至少包含I個(gè)神經(jīng)元100。輸入層400與中間層500的各神經(jīng)元100連接，同樣地，中間層500的各神經(jīng)元100與輸出層的各神經(jīng)元100連接。輸入信號(hào)200向輸入層400輸入，以中間層500、輸出層600的順序傳播，從輸出層600輸出。在神經(jīng)元100，對(duì)輸入值進(jìn)行后述的規(guī)定的運(yùn)算，將其輸出值向下一個(gè)層的神經(jīng)元傳播。由此，從輸出層600輸出的輸出值，成為網(wǎng)絡(luò)的最終輸出300。該一系列動(dòng)作為神經(jīng)網(wǎng)絡(luò)的信息處理，包含于中間層500的神經(jīng)元足夠多時(shí)，能夠?qū)崿F(xiàn)任意的輸入輸出。圖1lA所示的階層型神經(jīng)網(wǎng)絡(luò)具備3個(gè)層，但也可以具備多個(gè)中間層500。[0053]接著，對(duì)作為神經(jīng)網(wǎng)絡(luò)的構(gòu)成單位的神經(jīng)元進(jìn)行說明。圖12為神經(jīng)元的示意圖。神經(jīng)元100具備突觸(synapse)部121、122和神經(jīng)元部130。此外,突觸部的數(shù)量等于與前級(jí)連接的神經(jīng)元的數(shù)量，即輸入信號(hào)的數(shù)量。突觸部121、122分別對(duì)來自外部的多個(gè)輸入信號(hào)111、112進(jìn)行加權(quán)。加權(quán)的值(W1 2)稱為連接權(quán)重。神經(jīng)元部130，對(duì)由突觸部加權(quán)后的輸入信號(hào)的和進(jìn)行計(jì)算，將對(duì)和的值進(jìn)行非線性運(yùn)算而得的值輸出。在此，來自外部的輸入信號(hào)分別表示為Xi (1、2、……、η)。η等于輸入信號(hào)的數(shù)量。如式I所示，突觸部針對(duì)各輸入信號(hào)，對(duì)對(duì)應(yīng)的連接權(quán)重的值K (1、2、……、η)進(jìn)行乘法運(yùn)算，神經(jīng)元部對(duì)它們的和Vn進(jìn)行計(jì)算。
[0054]Vn= XwiXi (式 I)
[0055]在此，Σ為關(guān)于i的和記號(hào)。
[0056]進(jìn)而神經(jīng)元部，將對(duì)求得的和Vn進(jìn)行非線性運(yùn)算f的結(jié)果作為輸出值y。由此神經(jīng)元的輸出y如式2所示。
[0057]y = f (Vn)(式 2)
[0058]非線性函數(shù)f使用具有飽和特性的單調(diào)增加函數(shù)。例如，多使用階躍函數(shù)(階梯函數(shù))或 S 型函數(shù)(sigmoid function)。
[0059]神經(jīng)網(wǎng)絡(luò)中，多個(gè)神經(jīng)元能夠同時(shí)進(jìn)行運(yùn)算，所以具有并行處理性。即，其特長(zhǎng)在于，與現(xiàn)有的計(jì)算機(jī)的逐次信息處理不同，能夠進(jìn)行并行信息處理。
[0060][學(xué)習(xí)功能]
[0061]神經(jīng)網(wǎng)絡(luò)的重要的特征，不僅在于如上所述的從輸入得到輸出的“處理”功能，還在于具備“學(xué)習(xí)”功能這方面。在此所說的學(xué)習(xí)，是指通過對(duì)上述的突觸的連接權(quán)重進(jìn)行更新，將神經(jīng)網(wǎng)絡(luò)整體的輸入輸出的關(guān)系設(shè)定為所期望的關(guān)系。
[0062][脈沖神經(jīng)元模型]
[0063]上面詳細(xì)敘述了神經(jīng)網(wǎng)絡(luò)的處理功能和學(xué)習(xí)功能。在上面說明中使用的模型中，在神經(jīng)元間傳播的信號(hào)，是將電流或電位的值以模擬值表現(xiàn)的信號(hào)。與此相對(duì)，已知在生物體的神經(jīng)細(xì)胞中，對(duì)大致一定形狀的脈沖(尖峰脈沖)進(jìn)行交互。在此，提出了更忠實(shí)地模擬生物體的神經(jīng)回路，對(duì)脈沖直接處理的模型。例如，在專利文獻(xiàn)I中，公開了使用脈沖密度表現(xiàn)信息的模型(脈沖密度模型)。該模型為使用例如一定時(shí)間中傳播的脈沖的數(shù)量表現(xiàn)模擬信息的模型。另外，在專利文獻(xiàn)2中，公開了使用脈沖定時(shí)表現(xiàn)信息的模型(脈沖定時(shí)模型)。該模型是使用脈沖與脈沖的時(shí)間間隔來表現(xiàn)模擬信息的模型。在對(duì)這些脈沖信號(hào)進(jìn)行處理的模型中，神經(jīng)元間交互的信號(hào)是一定(固定)波形的信號(hào)，所以具有后述的容易硬件化的優(yōu)點(diǎn)。但是，在脈沖密度模型中需要提取出密度，所以為了表現(xiàn)信息需要花費(fèi)一定的時(shí)間。因此，具有無法表現(xiàn)神經(jīng)元的細(xì)微時(shí)間標(biāo)度下的動(dòng)作的缺點(diǎn)。另一方面，脈沖定時(shí)模型，能夠利用一個(gè)一個(gè)的脈沖表現(xiàn)信息，所以能夠進(jìn)行比脈沖密度模型更高速的信息處理。例如，在非專利文獻(xiàn)I中，公開了通過使用脈沖定時(shí)模型，能夠得到比使用脈沖密度模型的情況下更高的性能的情況。
[0064]如上所述，作為能夠適用于使用脈沖的信息表現(xiàn)的神經(jīng)元的動(dòng)作模型，提出了積分點(diǎn)火(Integrate-and-Fire)模型。在此,對(duì)具有2個(gè)輸入端子的神經(jīng)元的積分點(diǎn)火動(dòng)作，用圖13進(jìn)行說明。
[0065]如圖13所示，從外部或其他的神經(jīng)元，將輸入脈沖X1輸入至突觸1、將輸入脈沖X2輸入至突觸2時(shí)，在輸入脈沖的時(shí)刻，在各個(gè)突觸部出現(xiàn)單峰性的電壓變化。這樣的突觸部的電位稱為突觸后電位(Post-synaptic potential下面簡(jiǎn)稱為“PSP”)。圖13表示突觸I和突觸2的PSP的時(shí)間變化P1 &)和己(t)。PSP的高度與突觸結(jié)合強(qiáng)度成比例。在此t表示時(shí)間。
[0066]神經(jīng)元對(duì)來自與之連接的所有的突觸的PSP的總和進(jìn)行運(yùn)算。這被稱為神經(jīng)元的內(nèi)部電位Vn (t)。向神經(jīng)元的輸入端子為2個(gè)時(shí)，如圖13所示，內(nèi)部電位Vn (USP1 (t)和己(t)之和。作為一般的表示，內(nèi)部電位Vn (t)如式3所示。
[0067]Vn (t) = XPi (t)(式 3)
[0068]在此，Pi為突觸i的PSP，Σ為關(guān)于i的和記號(hào)。
[0069]如圖13所示，內(nèi)部電位Vn超過預(yù)先決定的閾值Vth時(shí)，該神經(jīng)元輸出脈沖信號(hào)y。這被稱為神經(jīng)元的“點(diǎn)火(Fire)”。脈沖輸出y從神經(jīng)元輸出、經(jīng)過一定的傳遞時(shí)間tDelay后，輸入至其他的神經(jīng)元。
[0070]使用由脈沖定時(shí)實(shí)現(xiàn)的信息表現(xiàn)時(shí)，即使在學(xué)習(xí)動(dòng)作的突觸連接權(quán)重的更新中也能夠利用脈沖定時(shí)。特別是，使用尖峰定時(shí)突觸可塑性(Spike-timing dependentsynaptic plasticity,以下簡(jiǎn)稱為“STDP”)的性質(zhì)的學(xué)習(xí)動(dòng)作受到注目。STDP的特征在于，在著眼于某突觸I時(shí)，依賴于將信號(hào)送至突觸I的神經(jīng)元(前神經(jīng)元)點(diǎn)火的時(shí)刻，和接收在突觸I加權(quán)后的信號(hào)的神經(jīng)元(后神經(jīng)元)點(diǎn)火的時(shí)刻，突觸I的突觸連接權(quán)重發(fā)生變化。在實(shí)際的生物的神經(jīng)細(xì)胞中，能夠觀測(cè)到幾種STDP。
[0071]在此，使用圖14A，對(duì)STDP進(jìn)行說明。如圖14A所示，設(shè)連接于突觸120的前神經(jīng)元點(diǎn)火的時(shí)刻為tPKE，令后神經(jīng)元點(diǎn)火的時(shí)刻為trosT。STDP是指，將此時(shí)的tPKE和trosT的時(shí)間差trasT-tPKE#為函數(shù)，突觸的結(jié)合強(qiáng)度w變化的特性。已知STDP大體上分為2種類。圖14B所示的特性為非對(duì)稱型STDP，突觸結(jié)合強(qiáng)度的變化量Aw不僅依賴于2個(gè)脈沖的時(shí)間差tPQST-tPKE，還依賴于兩個(gè)脈沖的時(shí)間順序。圖14C所示的特性為對(duì)稱型STDP，突觸結(jié)合強(qiáng)度的變化量Aw僅由2個(gè)脈沖的時(shí)間差tP()ST-tPKE的函數(shù)決定，不依賴于脈沖的順序。
[0072][集成電路化]
[0073]上面對(duì)神經(jīng)網(wǎng)絡(luò)的概況進(jìn)行了詳細(xì)敘述，但構(gòu)成神經(jīng)網(wǎng)絡(luò)時(shí)，上述的神經(jīng)元的功能如何實(shí)現(xiàn)是一個(gè)問題。在現(xiàn)有技術(shù)中，多數(shù)情況下使用現(xiàn)有型計(jì)算機(jī)，使用通過軟件處理實(shí)現(xiàn)神經(jīng)元的功能的方案。但是，在這種情況下，多個(gè)神經(jīng)元的處理由CPU分時(shí)進(jìn)行，所以本來的并行信息處理并沒有進(jìn)行。
[0074]因此，使用硬件構(gòu)成神經(jīng)元而實(shí)現(xiàn)集成電路化是必須的。
[0075]如上所述，表現(xiàn)基于利用脈沖定時(shí)實(shí)現(xiàn)的信息表現(xiàn)的神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)較高的性能。另外，神經(jīng)元間交互的信號(hào)是一定(固定)波形的信號(hào)，所以容易硬件化。所以，近年來，安裝有使用STDP的學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)的硬件化，即關(guān)于神經(jīng)網(wǎng)絡(luò)電路的實(shí)現(xiàn)的研究得以廣泛進(jìn)行。在包含使用STDP的學(xué)習(xí)功能的現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路中，實(shí)現(xiàn)適于將突觸結(jié)合強(qiáng)度作為模擬量存儲(chǔ)的元件是最大的技術(shù)問題。對(duì)此，例如在專利文獻(xiàn)2中，公開了將可變電阻型存儲(chǔ)元件的可變電阻值作為突觸連接權(quán)重存儲(chǔ)的方案。圖15為專利文獻(xiàn)2公開的可變電阻型存儲(chǔ)元件720的截面示意圖?？勺冸娮栊痛鎯?chǔ)元件720具有由上部電極721和下部電極723夾著金屬氧化膜722的結(jié)構(gòu)。該元件是在上部電極721和下部電極723之間施加電壓時(shí)，依賴于流過的電流值、上部電極721和下部電極723之間的電阻值非易失地變化的元件。
[0076]圖16A是專利文獻(xiàn)2公開的現(xiàn)有的STDP神經(jīng)網(wǎng)絡(luò)電路元件的框圖。在此，神經(jīng)網(wǎng)絡(luò)電路元件，是用硬件對(duì)作為神經(jīng)網(wǎng)絡(luò)的功能單位的神經(jīng)元進(jìn)行再現(xiàn)的元件。神經(jīng)網(wǎng)絡(luò)電路元件700包括多個(gè)突觸電路710和I個(gè)神經(jīng)元電路730。突觸電路710使用可變電阻型存儲(chǔ)元件720對(duì)突觸連接權(quán)重進(jìn)行存儲(chǔ)。另外，通過上述方案對(duì)可變電阻型存儲(chǔ)元件720的電阻值進(jìn)行變更，實(shí)現(xiàn)學(xué)習(xí)功能。圖16B和圖16C是關(guān)于圖16A中表示的STDP部的具體結(jié)構(gòu)在專利文獻(xiàn)2中例示的電路圖。
[0077]由圖1lA和圖1lB可知，為了構(gòu)成神經(jīng)網(wǎng)絡(luò)電路，針對(duì)I個(gè)神經(jīng)元電路，需要多個(gè)輸入端子。另外，隨著神經(jīng)網(wǎng)絡(luò)電路整體的神經(jīng)網(wǎng)絡(luò)電路元件的數(shù)量的增加，針對(duì)I個(gè)神經(jīng)元電路所需的輸入端子的數(shù)量增加。針對(duì)I個(gè)神經(jīng)元電路，需要與輸入端子的數(shù)量相同數(shù)量的突觸電路。因此，在構(gòu)成由多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件形成的神經(jīng)網(wǎng)絡(luò)電路時(shí)，需要非常多的突觸電路。例如，在圖1lB所示的相互結(jié)合型神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元的數(shù)量為η時(shí)需要的突觸的數(shù)量為η的2次方。因此，為了使神經(jīng)網(wǎng)絡(luò)電路的面積更小，突觸電路的結(jié)構(gòu)的簡(jiǎn)略化是重要的。
[0078]在現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路元件700中，在突觸電路710中生成向神經(jīng)元電路730傳播的信號(hào)，和用于通過STDP對(duì)電阻變化型存儲(chǔ)元件720的突觸權(quán)重進(jìn)行更新的信號(hào)。例如，在圖16Α中的脈沖發(fā)生部或STDP部生成波形。因此，在突觸電路內(nèi)，需要圖16Β和圖16C所示的信號(hào)發(fā)生器和運(yùn)算電路，突觸電路710的結(jié)構(gòu)將變得大規(guī)模化。
[0079]由以上的方面可知，在現(xiàn)有的突觸電路710及其驅(qū)動(dòng)方法中，存在突觸電路710的面積變得極大的技術(shù)問題，使用該電路的神經(jīng)網(wǎng)絡(luò)電路的規(guī)模也變得很大。
[0080]針對(duì)上述現(xiàn)有的技術(shù)問題，本發(fā)明的
【發(fā)明者】們，經(jīng)過銳意研究，得到了下面的實(shí)施方式，作為能夠以更少的數(shù)量的元件的結(jié)構(gòu)實(shí)現(xiàn)通過STDP實(shí)現(xiàn)的學(xué)習(xí)動(dòng)作的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)電路。
[0081]本發(fā)明的
【發(fā)明者】們，注意到在現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路元件700中，在突觸電路710內(nèi)生成用于更新突觸權(quán)重的非線性波形，是由于輸入至突觸電路730的來自其他的神經(jīng)網(wǎng)絡(luò)電路元件的信號(hào)(在此稱為其他輸入信號(hào))是尖峰脈沖本身(圖11的輸入脈沖Xl)。即，在現(xiàn)有的結(jié)構(gòu)中，由于其他的輸入信號(hào)為尖峰脈沖，所以為了與和輸入的該突觸電路710相同的神經(jīng)網(wǎng)絡(luò)電路元件700生成的尖峰脈沖(在此稱為自身輸入信號(hào))進(jìn)行比較，需要將其他輸入信號(hào)作為觸發(fā)器由該突觸電路710另外產(chǎn)生非線性波形。
[0082]在此，本發(fā)明的
【發(fā)明者】們得出了以下結(jié)論:通過令神經(jīng)網(wǎng)絡(luò)電路元件的輸出信號(hào)自身為非線性波形，能夠不再需要在神經(jīng)網(wǎng)絡(luò)電路元件的突觸電路接收其他的輸入信號(hào)之后再轉(zhuǎn)換為非線性波形。進(jìn)而，得出了在對(duì)非線性波形彼此進(jìn)行比較時(shí)，為了有效地檢測(cè)出輸入時(shí)刻差，優(yōu)選使用后述的雙極性鋸齒形波形(bipolar sawtooth waveform)或墨西哥帽形波形(mexican-hat waveform)作為該非線性波形的結(jié)論。
[0083]以下參照【專利附圖】
【附圖說明】本發(fā)明的實(shí)施方式的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法。
[0084](實(shí)施方式)
[0085]圖1表示實(shí)施方式的神經(jīng)網(wǎng)絡(luò)電路元件40的框圖。I個(gè)神經(jīng)網(wǎng)絡(luò)電路元件40包括至少I個(gè)輸入端子51與輸入端子51數(shù)量相同的突觸電路20、1個(gè)神經(jīng)元電路30和I個(gè)輸出端子52。另外，神經(jīng)網(wǎng)絡(luò)電路，如圖11A、圖1lB所示，由多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件40連接構(gòu)成。具體而言，神經(jīng)網(wǎng)絡(luò)電路元件40的輸出端子52，與其他的神經(jīng)網(wǎng)絡(luò)電路元件40的輸入端子51連接。
[0086]神經(jīng)網(wǎng)絡(luò)電路元件40的輸入端子51，與突觸電路20的第一輸入端子41連接。突觸電路20的輸出端子44，與神經(jīng)元電路30的輸入端子45連接。神經(jīng)元電路30的第一輸出端子46，與神經(jīng)網(wǎng)絡(luò)電路元件40的輸出端子52連接。此外，在圖1中，為便于觀察附圖，僅記載了 I個(gè)神經(jīng)元電路30和I個(gè)突觸電路20，但實(shí)際上在I個(gè)神經(jīng)元電路30連接有多個(gè)突觸電路20。
[0087]神經(jīng)元電路30，包括積分電路31、波形發(fā)生電路32和延遲電路33。
[0088]神經(jīng)元電路30的輸入端子44，與積分電路31連接。積分電路31，對(duì)從與神經(jīng)元電路30連接的多個(gè)突觸電路20流入的電流的和進(jìn)行運(yùn)算。而且，運(yùn)算值超過規(guī)定的值時(shí)，向波形發(fā)生電路32輸出信號(hào)(觸發(fā)器信號(hào))。
[0089]信號(hào)發(fā)生電路32，以來自積分電路31的信號(hào)作為觸發(fā)器，生成非線性波形脈沖電壓Vram和開關(guān)脈沖電壓Vtost2。非線性波形脈沖電壓Vrosn，例如為圖2A或圖2B所示的形狀，或?qū)⑦@些進(jìn)行符號(hào)反轉(zhuǎn)而形成的形狀。在此將圖2A所示的非線性波形脈沖電壓稱為“雙極性鋸齒形脈沖電壓”。雙極性鋸齒形脈沖電壓的特征在于，最初為O伏特的電位，隨時(shí)間的經(jīng)過而下降至規(guī)定的負(fù)電位，其后上升到規(guī)定的正電位，然后再恢復(fù)為O伏特。另一方面，將圖2B所示的非線性波形脈沖電壓稱為“墨西哥帽形脈沖電壓”。在為墨西哥帽形脈沖電壓的情況下，最初為O伏特的電位，隨時(shí)間的經(jīng)過而下降至規(guī)定的負(fù)電位，然后上升到規(guī)定的正電位。其后，電位下降到規(guī)定的負(fù)值后，再返回O伏特。在開關(guān)脈沖電SVtost2，能夠使用例如圖2C所示的方波脈沖電壓。
[0090]例如，信號(hào)發(fā)生電路32，如圖17所示，具備以來自積分電路31的輸出信號(hào)為觸發(fā)器進(jìn)行驅(qū)動(dòng)的數(shù)字/模擬轉(zhuǎn)換器321，和存儲(chǔ)有用于生成雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的數(shù)字波形數(shù)據(jù)的數(shù)字存儲(chǔ)器322。數(shù)字/模擬轉(zhuǎn)換器321，在輸入來自積分電路31的輸出信號(hào)時(shí)，從數(shù)字存儲(chǔ)器322讀出數(shù)字波形數(shù)據(jù)，將其轉(zhuǎn)換為模擬波形輸出。
[0091]非線性波形脈沖電壓Vrosn通過延遲電路32經(jīng)過規(guī)定的延遲時(shí)間后，輸出至第一輸出端子45。神經(jīng)元電路30的第一輸出端子45，與神經(jīng)網(wǎng)絡(luò)電路元件40的輸出端子52連接，所以延遲電路33的輸出信號(hào)成為神經(jīng)網(wǎng)絡(luò)電路元件40的輸出信號(hào)。而且，該輸出信號(hào)作為第一輸入信號(hào)電壓(即非線性波形脈沖電壓Vpke)被輸入至其他的神經(jīng)網(wǎng)絡(luò)電路元件(省略圖示)的突觸電路的第一輸入端子。開關(guān)脈沖電壓Vtost2，輸出至神經(jīng)元電路30的第二輸出端子46。第二輸出端子46，與連接至神經(jīng)元電路30的、所有的突觸電路20的第二輸入端子42連接,作為第二輸入信號(hào)電壓60被輸入。
[0092]突觸電路20，具備第一開關(guān)22、第二開關(guān)21、后述的可變電阻元件10和規(guī)定的直流電壓源23。突觸電路20的第一輸入端子41，與第一開關(guān)22的輸入端子26連接。突觸電路20的第二輸入端子42，與第一開關(guān)的控制端子28連接。
[0093]第一開關(guān)22的輸出端子27，與可變電阻元件10的控制電極15連接。突觸電路20的輸出端子43，與可變電阻元件10的第二電極14連接。突觸電路20的輸出端子43，與神經(jīng)元電路30的輸入端子44連接。突觸電路20的第一輸入信號(hào)電壓60，為來自其他的神經(jīng)網(wǎng)絡(luò)電路元件(省略圖示)的非線性波形脈沖電壓VPKE。另外，向突觸電路20的第二輸入端子42輸入的第二輸入信號(hào)電壓70，為相同的神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)的神經(jīng)元電路30的波形生成電路32生成的開關(guān)脈沖電壓VP()ST2。
[0094]在此，本實(shí)施方式的神經(jīng)網(wǎng)絡(luò)電路元件40的結(jié)構(gòu)中的重點(diǎn)在于，波形生成均由神經(jīng)元電路30進(jìn)行，使用生成的非線性波形脈沖電壓Vrosn (輸入至其他的神經(jīng)網(wǎng)絡(luò)電路元件40的非線性波形脈沖電壓Vpke)和開關(guān)脈沖電壓VrosT2進(jìn)行處理和學(xué)習(xí)動(dòng)作。由此能夠使突觸電路20簡(jiǎn)化。
[0095]接著，對(duì)可變電阻元件10進(jìn)行說明。圖5A和圖5B分別表示可變電阻元件10的截面示意圖和電路記號(hào)。可變電阻元件10具備半導(dǎo)體膜11、鐵電體膜12、第一電極13、第二電極14和控制電極15。Z軸為鐵電體膜12的法線方向。X軸為與Z軸正交的方向。另夕卜，對(duì)可變電阻元件10的電路記號(hào)如圖5B所示地標(biāo)記。在圖1中，基于圖5B的標(biāo)記表示組入了該可變電阻元件10的神經(jīng)網(wǎng)絡(luò)電路元件40。
[0096]半導(dǎo)體膜11的材料例如為ZnO、GaN或InGaZnO。鐵電體膜12的材料例如為Pb(Zr、Ti)03、Sr (B1、Ta) 0，或Bi12TiO2015第一電極13、第二電極14和控制電極15例如為由鉬膜和鈦膜構(gòu)成的層疊體。
[0097]半導(dǎo)體膜11、鐵電體膜12和控制電極15沿Z軸層疊。在半導(dǎo)體膜11的表側(cè)的面，配置有第一電極13和第二電極14。
[0098]接著，對(duì)于本實(shí)施方式的、可變電阻元件10的可變電阻值，用圖5A進(jìn)行說明。可變電阻元件10的可變電阻值，為第一電極13和第二電極14之間的電阻值。鐵電體膜12的一部分具有上方向的極化方向時(shí)，該一部分上層疊的半導(dǎo)體膜11的部分具有低電阻。另一方面，鐵電體膜12的一部分具有下方向的極化方向時(shí)，該一部分上層疊的半導(dǎo)體層11的部分具有高電阻。此時(shí)，第一電極13和第二電極14之間的電阻值，成為第一電極13和第二電極14所夾的區(qū)域的半導(dǎo)體的電阻值。由此，根據(jù)該區(qū)域之下層疊的鐵電體膜12中具有上方向和下方向的極化方向的區(qū)域的比例，第一電極13和第二電極14之間的電阻值連續(xù)地變化。
[0099]接著，對(duì)于本實(shí)施方式的可變電阻元件10的電阻值的控制方法，用圖5A進(jìn)行說明?？勺冸娮柙?0中，通過在第一電極13、第二電極14和控制電極15之間設(shè)置電位差，使鐵電體膜12的極化方向發(fā)生變化，控制第一電極13和第二電極14之間的電阻值。例如，以第一電極13和第二電極14為基準(zhǔn)，在兩電極和控制電極15之間設(shè)置正的電位差時(shí)，通過鐵電體膜12的極化實(shí)現(xiàn)的電場(chǎng)的朝向容易朝向上方向(半導(dǎo)體膜11側(cè))。相反，在設(shè)置負(fù)的電位差時(shí)，通過鐵電體膜12極化實(shí)現(xiàn)的電場(chǎng)的朝向容易朝向下方向(控制電極15側(cè))。另外，施加的電位差的絕對(duì)值越大，通過電位差實(shí)現(xiàn)的鐵電體膜12的極化的變化量越大。因此，設(shè)置正的電位差時(shí)，第一電極13和第二電極14之間的電阻值減少，設(shè)置負(fù)的電位差時(shí)第一電極13和第二電極14之間的電阻值增加，這些電阻值的變化隨著施加的電位差的絕對(duì)值越大而越顯著。在此，上方向是指半導(dǎo)體膜11層疊的方向，下方向是指控制電極15層疊的方向。
[0100]接著對(duì)神經(jīng)網(wǎng)絡(luò)電路元件40的動(dòng)作的詳細(xì)情況進(jìn)行說明。
[0101 ] 首先對(duì)處理動(dòng)作進(jìn)行說明。
[0102]在“處理”動(dòng)作期間，根據(jù)突觸電路的第二輸入信號(hào)電壓70，第一開關(guān)22，保持可變電阻元件10的控制電極15和突觸電路20的第一輸入端子41之間為非導(dǎo)通的狀態(tài)。
[0103]另外，第二開關(guān)21，在作為第一輸入信號(hào)的非線性波形脈沖電壓Vpke輸入至突觸電路20的期間，將直流電壓源(第一基準(zhǔn)電壓源)23和可變電阻元件10的第一電極13連接。即，從其他的神經(jīng)網(wǎng)絡(luò)電路元件(省略圖示)，非線性波形脈沖電壓Vpke作為第一輸入信號(hào)電壓60被向突觸電路20輸入時(shí),根據(jù)該非線性波形脈沖電壓Vpke,第二開關(guān)21開閉。例如，第二開關(guān)21，在非線性波形脈沖電壓Vpke為規(guī)定的電壓以上的HI電平的期間為閉合狀態(tài)，在其以外的期間為打開狀態(tài)。另外，突觸電路20的第二電極14，成為與接地電壓(以與第一基準(zhǔn)電壓不同的方式，從第二基準(zhǔn)電壓源供給的第二基準(zhǔn)電壓)相等的電位。
[0104]第2開關(guān)21為閉合狀態(tài)時(shí)，直流電壓源23和可變電阻元件10的第一電極13連接?？勺冸娮柙?0，如上所述，具有第一電極13和第二電極14之間的電阻值可變的特性。通過使第二開關(guān)21為閉合狀態(tài)，在可變電阻元件10的第一電極13和第二電極14之間施加有電源電壓VDD，從直流電壓源23向可變電阻元件10的第二電極14，與可變電阻元件10的當(dāng)前的傳導(dǎo)率(電阻值的倒數(shù))成比例的電流流過，輸入至神經(jīng)元電路30。輸入至神經(jīng)元電路30的電流的大小，與突觸連接權(quán)重w成比例，表現(xiàn)圖13的PSP (P1 (t)、P2 (t))。由此，在本實(shí)施方式中，可變電阻元件10的傳導(dǎo)率(電阻值的倒數(shù))相當(dāng)于突觸連接權(quán)重W。
[0105]向這樣的神經(jīng)元電路30的輸入，是從多個(gè)其他的神經(jīng)網(wǎng)絡(luò)電路元件經(jīng)由突觸電路20非同步地施加的。來自這些多個(gè)突觸電路20的輸入電流，在神經(jīng)元電路30的積分電路31進(jìn)行時(shí)間空間求和(時(shí)間求和和空間求和)。由時(shí)間空間求和生成的積分電壓視為內(nèi)部電位Vn。內(nèi)部電位Vn超過規(guī)定的閾值電壓Vth時(shí)，波形發(fā)生電路32生成脈沖電壓(VrasT1、VresT2)。其中，由波形發(fā)生電路32生成的非線性波形脈沖電壓Vrosn，在經(jīng)過由延遲電路33設(shè)定的規(guī)定的延遲時(shí)間后，向其他的神經(jīng)網(wǎng)絡(luò)電路元件電路(省略圖示)的突觸電路的第一輸入端子作為第一輸入信號(hào)電壓Vpke而施加。該延遲時(shí)間相當(dāng)于神經(jīng)元模型中的傳遞延遲時(shí)間 tDelay。
[0106]接著，對(duì)學(xué)習(xí)動(dòng)作，特別是利用STDP的學(xué)習(xí)動(dòng)作進(jìn)行說明。
[0107]在“學(xué)習(xí)”動(dòng)作時(shí)，神經(jīng)元電路30的波形發(fā)生電路32與非線性波形脈沖電壓Vpqsti同時(shí)生成開關(guān)脈沖電壓VPQST2。例如，以圖2A和圖2B或圖2C的各個(gè)中分別以虛線表示的時(shí)刻Tin為相同時(shí)刻的方式,輸出脈沖電壓。開關(guān)脈沖電壓Vtot2作為第二輸入信號(hào)電壓70向突觸電路20的第一開關(guān)22的控制端子28施加。另外，其他的神經(jīng)網(wǎng)絡(luò)電路元件的非線性波形脈沖電壓Vpke,作為第一輸入信號(hào)電壓60被向突觸電路20的第一開關(guān)22的輸入端子26輸入。在突觸電路20，通過開關(guān)脈沖電壓VrosT2，對(duì)第一開關(guān)22進(jìn)行切換。開關(guān)脈沖電壓Vtot2，以相同的神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)生成的非線性波形脈沖電壓Vpke的時(shí)間中間點(diǎn)為中間點(diǎn)，以該中間點(diǎn)為基準(zhǔn)在前后具有規(guī)定的時(shí)間寬度的期間，成為規(guī)定的電壓電平(HI電平)。
[0108]接著，對(duì)在具備可變電阻元件10的突觸電路20中實(shí)現(xiàn)STDP的方法，用圖1進(jìn)行說明。例如，考慮開關(guān)脈沖電壓Vtost2為HI電平期間，通過第一開關(guān)22使可變電阻元件10的控制電極15和突觸電路20的第一輸入端子41連接的情況。即，開關(guān)脈沖電壓VrosT2為HI電平的期間，為第一信號(hào)電壓Vpke能夠輸入至可變電阻元件10的控制電極15的允許輸入期間。此時(shí)，在通過開關(guān)脈沖電SVrosT2，第一開關(guān)22在使可變電阻元件10的控制電極15和第一輸入端子41導(dǎo)通的期間，非線性波形脈沖電壓Vpke被輸入時(shí)，僅在該期間，對(duì)可變電阻元件10的控制電極15施加脈沖電壓。因此，非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vtot2在時(shí)間上疊加輸入，由此在可變電阻元件10的控制電極15施加有有限的電壓。即，通過在第一電極13和第二電極14與控制電極15之間設(shè)置有電位差，所以根據(jù)該電位差，可變電阻元件10的電阻值變更。如上所述，在本實(shí)施方式中，可變電阻元件10的電阻值的倒數(shù)(傳導(dǎo)率)表示突觸結(jié)合強(qiáng)度，所以能夠進(jìn)行對(duì)該電阻值的變化對(duì)突觸電路20的突觸結(jié)合強(qiáng)度進(jìn)行更新的“學(xué)習(xí)”動(dòng)作。
[0109]另外，根據(jù)非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vtot2被施加的時(shí)刻，施加至可變電阻元件10的控制電極15的脈沖電壓的波形發(fā)生變化。如上所述，可變電阻元件10的電阻值變化的程度，依賴于施加的電壓的大小、即電壓波形。因此，依賴于根據(jù)2個(gè)脈沖電壓被施加的時(shí)刻而變化的生成波形的形狀，電阻值變化的程度也變化。在本實(shí)施方式中，通過將圖2A所示的雙極性鋸齒形脈沖電壓作為非線性波形脈沖電壓使用，能夠?qū)崿F(xiàn)圖14B所示的非對(duì)稱型的STDP，通過使用圖2B所示的墨西哥帽形脈沖電壓作為非線性波形脈沖電壓，能夠?qū)崿F(xiàn)圖14C所示的對(duì)稱型的STDP。
[0110]令非線性波形脈沖電壓Vpke為圖2A所示的雙極性鋸齒形脈沖電壓，令開關(guān)脈沖電壓VP(BT2為圖2C所不的方波脈沖電壓時(shí),對(duì)于第一開關(guān)22的動(dòng)作,在圖3中總結(jié)。在此,僅考慮在開關(guān)脈沖電壓Vtost2為HI電平期間，非線性波形脈沖電壓Vpke施加至可變電阻元件10的控制電極15的情況。通過第一開關(guān)22的動(dòng)作，令施加至控制電極15的電壓為Vsample。非線性波形脈沖電壓Vpke與開關(guān)脈沖電壓Vtost2的輸入時(shí)刻差trosT；rtpRE變化時(shí)，Vsample的波形也發(fā)生變化。例如tresT2-tPKE < O時(shí)(非線性波形脈沖電壓Vpke比開關(guān)脈沖電壓Vresn更早被輸入時(shí))，非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vtot2在時(shí)間上疊加時(shí),Vsample的負(fù)方向的電位差變化變大?？勺冸娮柙?0的、在第一電極13和第二電極14與控制電極15之間設(shè)置的負(fù)電位差越大，傳導(dǎo)率(電阻值的倒數(shù))減小得越大。由此，Vsample的負(fù)方向的變化增大時(shí)，傳導(dǎo)率(電阻值的倒數(shù))大幅減小。另一方面，tP()ST2-tPKE > O時(shí)(非線性波形脈沖電壓Vpke比開關(guān)脈沖電壓Vresn更晚被輸入時(shí))，非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vkbt2在時(shí)間上疊加時(shí)，Vsample的正方向的電位差變化變大。可變電阻元件10的、在第一電極13和第二電極14與控制電極15之間設(shè)置的正電位差越大，傳導(dǎo)率(電阻值的倒數(shù))增加得越大。由此，Vsample的正方向的變化增大時(shí)，傳導(dǎo)率(電阻值的倒數(shù))大幅增加。
[0111]同樣地，令非線性波形脈沖電壓Vpke為圖2B所示的墨西哥帽形脈沖電壓，令開關(guān)脈沖電壓Vtost2為圖2C所不的方波脈沖電壓時(shí),對(duì)于第一開關(guān)22的動(dòng)作,在圖4中總結(jié)。在此，僅考慮在開關(guān)脈沖電壓VrosT2為HI電平期間(即上述的允許輸入期間)，非線性波形脈沖電壓Vpke施加至可變電阻元件10的控制電極15的情況。非線性波形脈沖電壓Vpke與開關(guān)脈沖電壓VrosT2的輸入時(shí)刻差1_2-、變化時(shí)，Vsample的波形也發(fā)生變化。例如，在非線性波形脈沖電壓Vpke的電位為正值的時(shí)刻，施加開關(guān)脈沖電壓Vtot2時(shí)，Vsample的正方向的電位差變化變大。可變電阻元件10的、在第一電極13和第二電極14與控制電極15之間設(shè)置的正電位差越大，傳導(dǎo)率(電阻值的倒數(shù))增加得越大。由此，Vsample的正方向的變化增大時(shí)，傳導(dǎo)率(電阻值的倒數(shù))大幅增加。另一方面，在非線性波形脈沖電壓Vpke的電位為負(fù)值的時(shí)刻，施加開關(guān)脈沖電壓Vtost2時(shí)，Vsaniple的負(fù)方向的電位差變化變大?？勺冸娮柙?0的、在第一電極13和第二電極14與控制電極15之間設(shè)置的負(fù)電位差越大，傳導(dǎo)率(電阻值的倒數(shù))減小得越大。由此，Vsample的負(fù)方向的變化增大時(shí)，傳導(dǎo)率(電阻值的倒數(shù))大幅減小。
[0112]這樣通過使用開關(guān)脈沖電壓Vtost2對(duì)第一開關(guān)22進(jìn)行切換，基于在相同的神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)生成的開關(guān)脈沖電壓(第二輸入信號(hào)電壓)VrosT2和從其他的神經(jīng)網(wǎng)絡(luò)電路兀件輸入的非線性波形脈沖電壓(第一輸入信號(hào)電壓)Vpee的輸入時(shí)刻差,在可變電阻兀件10的第一電極13、第二電極14和控制電極15之間設(shè)置有依賴于該輸入時(shí)刻差的電位差。根據(jù)這樣設(shè)置的電位差，在可變電阻元件10依賴于輸入時(shí)刻差的電阻值的調(diào)制得以實(shí)現(xiàn)。
[0113]這樣，將從其他的神經(jīng)網(wǎng)絡(luò)電路元件輸入的作為雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的非線性脈沖波形電壓Vpke，與在相同神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)的神經(jīng)元電路30生成的雙極性鋸齒形脈沖電壓Vrasn的生成時(shí)刻相應(yīng)的開關(guān)脈沖電壓Vtost2進(jìn)行比較，所以不需要由突觸電路20自身生成該比較用的波形，能夠使突觸電路20的面積減小。由此，能夠使神經(jīng)網(wǎng)絡(luò)電路元件40自身的電路面積減小。由此，能夠以更少的數(shù)量的元件結(jié)構(gòu)實(shí)現(xiàn)利用脈沖定時(shí)進(jìn)行的學(xué)習(xí)動(dòng)作。
[0114]另外，作為比較對(duì)象的非線性脈沖波形電壓Vpke、使用具有2個(gè)極性、以O(shè)伏特的位置為基準(zhǔn)成為點(diǎn)對(duì)稱的雙極性鋸齒形脈沖電壓波形，或者使用以O(shè)伏特的時(shí)間為基準(zhǔn)成為線對(duì)稱的墨西哥帽形脈沖電壓波形。因此，能夠使第一輸入信號(hào)電壓Vpke和作為比較的第二輸入信號(hào)電壓的開關(guān)脈沖電壓vrosT2i間的時(shí)刻偏差容易地反映至可變電阻元件10的電阻值的調(diào)制。
[0115]非線性脈沖波形電壓VPKE、VrosT1的波形，只要分別是上述這樣的雙極性鋸齒形脈沖電壓波形或墨西哥帽形脈沖電壓波形，沒有特別的限定，但是例如，在為雙極性鋸齒形脈沖電壓時(shí)，能夠采用圖2A所示那樣的、連接各極性的頂點(diǎn)和O伏特的位置之間的線段的傾斜角度比其他部分的傾斜角度更大的波形。由于O伏特的位置附近的區(qū)域的傾斜度較大，即使在第一輸入信號(hào)電壓Vpke和第三輸入信號(hào)電壓Vrosn的輸入時(shí)刻差很微小時(shí)，電位差Veffect的變化變大，所以能夠針對(duì)輸入時(shí)刻差提高靈敏度。同樣地，在為墨西哥帽形脈沖電壓時(shí)，如圖2B所示，由于連接各極性的頂點(diǎn)彼此之間的線段的傾斜度較大，所以即使在第一輸入信號(hào)電壓Vpke和第三輸入信號(hào)電壓Vrosn的輸入時(shí)刻差很微小時(shí)，電位差VrffK；t的變化也變大，所以能夠相對(duì)于輸入時(shí)刻差提高靈敏度。
[0116]此外，在本實(shí)施方式中，使用非線性波形脈沖電壓Vpke，對(duì)突觸電路20的第二開關(guān)21進(jìn)行開閉，但也可以例如在輸入非線性波形脈沖電壓Vpke的期間，使用成為規(guī)定的電壓的方波脈沖電壓對(duì)第二開關(guān)21進(jìn)行開閉。
[0117](實(shí)施例)
[0118]以下參照實(shí)施例對(duì)本發(fā)明進(jìn)行更詳細(xì)的說明。
[0119](實(shí)施例1)
[0120](可變電阻元件10的制作)
[0121]將厚度30nm的由釕酸鍶(SrRuO3)形成的氧化物導(dǎo)電膜，在由鈦酸鍶(SrTiO3)形成的(001)單晶基板上，通過脈沖激光沉積(以下稱為PLD)法堆積。堆積時(shí)的基板的溫度為700V。堆積后,通過光刻和離子統(tǒng)削(ion milling)法形成控制電極15。[0122]在基板的溫度為700°C的狀態(tài)，使用PLD法在SRO上堆積由厚度450nm的鋯鈦酸鉛(Pb (Zr、Ti) O3)形成的鐵電體膜12。其后，使基板的溫度下降至400°C。接著，堆積由厚度30nm的氧化鋅(ZnO)形成的半導(dǎo)體膜11。
[0123]在半導(dǎo)體膜11上形成圖案化后的抗蝕劑后，將由厚度5nm的鈦膜和厚度30nm的鉬膜形成的層疊體，在室溫下通過電子束蒸鍍法進(jìn)行堆積。堆積后，通過剝離法形成第一電極13和第二電極14。這樣，得到可變電阻元件10。[0124](突觸電路的評(píng)價(jià))
[0125]對(duì)構(gòu)成圖6所示的突觸電路，使用上述的可變電阻元件10的突觸電路的STDP特性進(jìn)行評(píng)價(jià)。在Vdd連接0.1伏特的直流電壓源。在第一開關(guān)使用圖6所示的開關(guān)電路25。開關(guān)電路25，僅在開關(guān)脈沖電壓Vtost2為HI電平的期間，非線性波形脈沖電壓Vpke施加至可變電阻元件10的控制電極15，其以外的期間，可變電阻元件10的控制電極15進(jìn)行接地的動(dòng)作。此外，在圖6中，圖1的第二開關(guān)21的結(jié)構(gòu)省略。
[0126]在本實(shí)施例中，通過令圖7A所示的波形為非線性波形脈沖電壓Vpke，令圖7B所示的波形為開關(guān)脈沖電壓VrosT2，將開關(guān)電路25作為圖1的第一開關(guān)22使用而實(shí)現(xiàn)圖3所示的開關(guān)動(dòng)作。一邊改變所施加的非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vkbt2的時(shí)刻，一邊對(duì)施加兩脈沖電壓的前后的傳導(dǎo)率(電阻值的倒數(shù))的變化進(jìn)行測(cè)定，如圖7C所示，得到圖14B這樣的非對(duì)稱形的STDP。
[0127](積分動(dòng)作的評(píng)價(jià))
[0128]接著，制作圖8所示的將積分電路31連接至I個(gè)突觸電路20而得的電路，對(duì)由STDP實(shí)現(xiàn)的可變電阻元件10的電阻變化伴隨的積分動(dòng)作的變化進(jìn)行評(píng)價(jià)。
[0129]積分電路31包括運(yùn)算放大器53、電容器36和電阻37。電容器36的電容值為I皮法，電阻37的電阻值為I兆歐姆。積分電路31使用從突觸電路20輸入的電流對(duì)電容器36進(jìn)行充電。通過該動(dòng)作，電流的時(shí)間積分的運(yùn)算結(jié)果作為積分電位Vn被輸出。另外，電容器36配置于運(yùn)算放大器35的負(fù)極性輸入端子(_)和輸出端子間。另外運(yùn)算放大器35的輸出信號(hào)經(jīng)由電阻37回到負(fù)極性輸入端子(_)。其結(jié)果是，通過運(yùn)算放大器35的反饋功能，向負(fù)極性輸入端子(_)的輸入成為虛擬接地。
[0130]由于向運(yùn)算放大器35的負(fù)極性輸入端子(_)的輸入成為虛擬接地，所以與突觸電路20的數(shù)量和電容器36的積分電位無關(guān)地，由規(guī)定的電源電壓和可變電阻元件20的電阻值決定的一定電流，通過各突觸電路20，向神經(jīng)元電流30輸入。
[0131]使用與圖6同樣的電路25作為圖8所示的突觸電路20的第一開關(guān)22，使用場(chǎng)效應(yīng)晶體管24作為第二開關(guān)21。在場(chǎng)效應(yīng)晶體管24的柵極端子施加非線性波形脈沖電壓VPKE。本實(shí)施例中使用的場(chǎng)效應(yīng)晶體管24，在非線性波形脈沖電壓VpkeSHI時(shí)為導(dǎo)通，在其以外的情況下為斷開。場(chǎng)效應(yīng)晶體管24的導(dǎo)通電阻為可變電阻元件10的電阻值的百分之一以下，所以直流電壓源23和運(yùn)算放大器35的負(fù)極性輸入端子(_)之間的電阻值大約等于可變電阻元件10的電阻值。因此，僅在非線性波形脈沖電壓Vpke為HI的期間，在可變電阻元件10流過脈沖電流。脈沖電流的大小大體上與可變電阻元件10的電阻值的倒數(shù)(傳導(dǎo)率)成比例。
[0132]輸入至神經(jīng)元電路20的脈沖電流，對(duì)積分電路31的電容器36進(jìn)行充電，所以時(shí)間積分結(jié)果作為輸出Vn被輸出。對(duì)被施加非線性波形脈沖電壓Vpke而20微秒后的積分電壓Vn進(jìn)行評(píng)價(jià)。
[0133]在本實(shí)施例中，令圖7A所示的波形為非線性波形脈沖電壓Vpke，令圖7B所示的波形為開關(guān)脈沖電壓VrosT2。一邊改變所施加的非線性波形脈沖電壓和開關(guān)脈沖電壓的時(shí)刻，一邊對(duì)施加兩脈沖電壓的前后的積分電壓Vn的變化進(jìn)行測(cè)定。圖9的左軸表示積分電壓的變化量。在圖9的右軸，為了參考，對(duì)與圖7C所示的傳導(dǎo)率的變化量相同的量進(jìn)行繪點(diǎn)(plot)。積分電壓的變化量,表示與傳導(dǎo)率的變化量對(duì)應(yīng)的特性,表示可變電阻元件10的STDP特性也反映于積分電路31的積分動(dòng)作。
[0134](實(shí)施例2)
[0135](突觸電路100的評(píng)價(jià))
[0136]與實(shí)施例1同樣地，對(duì)構(gòu)成圖6所示突觸電路、使用可變電阻元件10的突觸電路的STDP特性進(jìn)行評(píng)價(jià)。
[0137]令圖1OA所示的波形為非線性波形脈沖電壓Vpke，令圖1OB所示的波形為開關(guān)脈沖電壓Vtost2，測(cè)定施加的前后的傳導(dǎo)率(電阻值的倒數(shù))的變化。如圖1OC的左軸所示，得到圖14C這樣的對(duì)稱形的STDP特性。
[0138](積分動(dòng)作的評(píng)價(jià))
[0139]接著，與實(shí)施例1同樣地，制作圖8所示那樣的將積分電路31連接至I個(gè)突觸電路20而得的電路，對(duì)由STDP實(shí)現(xiàn)的可變電阻元件10的電阻變化伴隨的積分動(dòng)作的變化，施加非線性波形脈沖電壓Vpke而基于20微秒后的積分電壓Vn進(jìn)行評(píng)價(jià)。
[0140]圖1OC的右軸表不積分電壓的變化量。積分電壓的變化量，表不與傳導(dǎo)率的變化量對(duì)應(yīng)的特性，表示可變電阻元件10的對(duì)稱性STDP特性也反映于積分電路31的積分動(dòng)作。
[0141]根據(jù)上述說明，本領(lǐng)域技術(shù)人員能夠清楚本發(fā)明的多種改良和其他的實(shí)施方式。因此，上述說明，僅應(yīng)被解釋為例示，是以向本領(lǐng)域技術(shù)人員表現(xiàn)實(shí)行本發(fā)明的最優(yōu)的方式為目的而提供的。能夠在不脫離本發(fā)明的主旨的情況下，對(duì)其結(jié)構(gòu)和/或功能的詳細(xì)內(nèi)容進(jìn)行實(shí)質(zhì)性的變更。
[0142]產(chǎn)業(yè)上的可利用性
[0143]本發(fā)明能夠用于神經(jīng)網(wǎng)絡(luò)電路的權(quán)重更新動(dòng)作。
[0144]附圖標(biāo)記說明
[0145]10可變電阻元件
[0146]11半導(dǎo)體膜
[0147]12鐵電體膜
[0148]13第一電極
[0149]14第二電極
[0150]15控制電極
[0151]20突觸電路
[0152]21第二開關(guān)
[0153]22第一開關(guān)
[0154]23直流電壓源(第一基準(zhǔn)電壓源)
[0155]30神經(jīng)元電路
[0156]31積分電路
[0157]32波形發(fā)生電路
[0158]33延遲電路
[0159]40神經(jīng)網(wǎng)絡(luò)電路元件
[0160]54接地電壓源(第二基準(zhǔn)電壓源)
[0161]321數(shù)字/模擬轉(zhuǎn)換器
[0162]322數(shù)字存儲(chǔ)器
【權(quán)利要求】
1.一種神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，該神經(jīng)網(wǎng)絡(luò)電路通過連接多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件(40)而構(gòu)成，該神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法的特征在于: 所述多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件(40)分別具備: 被輸入其他的神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號(hào)的至少I個(gè)突觸電路(20)，以下將該輸出信號(hào)稱為第一輸入信號(hào)；和 被輸入所述至少I個(gè)突觸電路(20)的輸出信號(hào)的I個(gè)神經(jīng)元電路(30)， 所述突觸電路(20)具備可變電阻元件(10)，該可變電阻元件(10)包括:形成于半導(dǎo)體膜(11)上的第一電極(13)和第二電極(14);和在所述半導(dǎo)體膜(11)的主面隔著鐵電體膜(12)形成的控制電極(15)，響應(yīng)所述第一電極(13)和所述控制電極(15)之間的電位差，所述第一電極(13)和所述第二電極(14)之間的電阻值發(fā)生變化， 所述神經(jīng)元電路(30)具備產(chǎn)生雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的波形發(fā)生電路(32)，以下將該雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓稱為規(guī)定的脈沖電壓，所述第一輸入信號(hào)具有所述規(guī)定的脈沖電壓波形， 將在與所述可變電阻元件(10)相同的神經(jīng)網(wǎng)絡(luò)電路元件(40)內(nèi)生成的所述規(guī)定的脈沖電壓波形的時(shí)間中間點(diǎn)稱為中間點(diǎn)，在以該中間點(diǎn)為基準(zhǔn)在前后具有規(guī)定的時(shí)間寬度的期間，以下將該期間稱為允許輸 入期間，使所述第一輸入信號(hào)能夠輸入至所述可變電阻元件(10)的所述控制電極(15)，根據(jù)所述允許輸入期間中的依賴于所述第一輸入信號(hào)的輸入時(shí)刻而產(chǎn)生的所述第一電極(13)和所述控制電極(15)之間的電位差，使所述可變電阻元件(10)的電阻值發(fā)生變化。
2.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于: 所述突觸電路(20)具備第一開關(guān)(22)，該第一開關(guān)(22)對(duì)是否能夠?qū)⑤斎氲乃龅谝惠斎胄盘?hào)輸入至所述可變電阻元件(10)的所述控制電極(15)進(jìn)行切換， 所述神經(jīng)兀電路(30)生成第二輸入信號(hào),該第二輸入信號(hào)用于對(duì)所述第一開關(guān)(22)進(jìn)行切換，以使得在所述允許輸入期間成為所述第一輸入信號(hào)能夠輸入至所述控制電極(15)的狀態(tài)。
3.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于: 所述神經(jīng)元電路(30)包括: 對(duì)在所述至少I個(gè)突觸電路(20)的所述可變電阻元件(10)流過的電流值進(jìn)行積分的積分電路(31);和 使由所述波形發(fā)生電路(32)產(chǎn)生的所述雙極性鋸齒形脈沖電壓延遲規(guī)定時(shí)間并將其作為所述神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號(hào)輸出的延遲電路(33)， 所述波形發(fā)生電路(32)，產(chǎn)生與由所述積分電路(31)積分后的電流值相應(yīng)的所述規(guī)定的脈沖電壓。
4.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于: 所述突觸電路(20)具備第二開關(guān)(21)，該第二開關(guān)(21)的一端與第一基準(zhǔn)電壓源(23)連接，另一端與所述可變電阻元件(10)的所述第一電極(13)連接， 所述第二開關(guān)(21)構(gòu)成為在被輸入所述第一輸入信號(hào)的期間，連接所述第一基準(zhǔn)電壓源(23)和所述第一電極(13)。
5.一種神經(jīng)網(wǎng)絡(luò)電路，其通過多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件(40)連接而構(gòu)成，該神經(jīng)網(wǎng)絡(luò)電路的特征在于: 所述多個(gè)神經(jīng)網(wǎng)絡(luò)電路元件(40)分別具備: 被輸入其他的神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號(hào)的至少I個(gè)突觸電路(20)，以下將該輸出信號(hào)稱為第一輸入信號(hào)；和 被輸入所述至少I個(gè)突觸電路(20)的輸出信號(hào)的I個(gè)神經(jīng)元電路(30)， 所述突觸電路(20)具備可變電阻元件(10)，該可變電阻元件(10)包括:形成于半導(dǎo)體膜(11)上的第一電極(13)和第二電極(14);和在所述半導(dǎo)體膜(11)的主面隔著鐵電體膜(12)形成的控制電極(15)，響應(yīng)所述第一電極(13)和所述控制電極(15)之間的電位差，所述第一電極(13)和所述第二電極(14)之間的電阻值發(fā)生變化， 所述神經(jīng)元電路(30)具有生成雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的波形發(fā)生電路(32)，以下將該雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓稱為規(guī)定的脈沖電壓，所述第一輸入信號(hào)具有所述規(guī)定的脈沖電壓波形， 將在與所述可變電阻元件(10)相同的神經(jīng)網(wǎng)絡(luò)電路元件(40)內(nèi)生成的所述規(guī)定的脈沖電壓波形的時(shí)間中間點(diǎn)稱為中間點(diǎn)，在以該中間點(diǎn)為基準(zhǔn)在前后具有規(guī)定的時(shí)間寬度的期間，以下將該期間稱為允許輸入期間，使所述第一輸入信號(hào)能夠輸入至所述可變電阻元件(10)的所述控制電極(15)，根據(jù)所述允許輸入期間中的依賴于所述第一輸入信號(hào)的輸入時(shí)刻而產(chǎn)生的所述第一電極(13)和所述控制電極(15)之間的電位差，使所述可變電阻元件(10)的電阻值發(fā)生變 化。
【文檔編號(hào)】G06N3/063GK103460220SQ201280015280
【公開日】2013年12月18日 申請(qǐng)日期:2012年5月29日 優(yōu)先權(quán)日:2012年1月23日
【發(fā)明者】西谷雄, 金子幸廣, 上田路人 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社
相關(guān)技術(shù)
網(wǎng)友詢問留言
已有0條留言
- 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊！
1