神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和設(shè)備及數(shù)據(jù)處理設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]以下描述涉及神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備和數(shù)據(jù)處理設(shè)備。
【背景技術(shù)】
[0002]作為解決將輸入圖案分類為預(yù)定組的問題的方法，將人類所擁有的高效的圖案識(shí)別方法應(yīng)用于計(jì)算機(jī)的研究正活躍地進(jìn)行。正在進(jìn)行的研究的一種形式涉及通過數(shù)學(xué)表達(dá)式對(duì)人類神經(jīng)細(xì)胞的生物特性進(jìn)行建模而獲得的人工神經(jīng)網(wǎng)絡(luò)。為了解決該問題，人工神經(jīng)網(wǎng)絡(luò)可使用基于人類的學(xué)習(xí)能力構(gòu)建的算法。基于所述算法，人工神經(jīng)網(wǎng)絡(luò)可生成輸入圖案與輸出圖案之間的映射，該生成可表示人工神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)能力。此外，人工神經(jīng)網(wǎng)絡(luò)可具有泛化能力，從而可基于學(xué)習(xí)結(jié)果生成關(guān)于在學(xué)習(xí)處理中未使用過的輸入圖案相對(duì)正確的輸出。

【發(fā)明內(nèi)容】

[0003]提供本
【發(fā)明內(nèi)容】
來(lái)以簡(jiǎn)化的形式介紹在下面的【具體實(shí)施方式】中進(jìn)一步描述的對(duì)構(gòu)思的選擇。本
【發(fā)明內(nèi)容】
不意在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不意在用來(lái)幫助確定所要求保護(hù)的主題的范圍。
[0004]在一總體方面，提供一種基于訓(xùn)練數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，所述方法包括:接收包括序列數(shù)據(jù)的訓(xùn)練數(shù)據(jù)；從神經(jīng)網(wǎng)絡(luò)中的隱藏節(jié)點(diǎn)選擇參考隱藏節(jié)點(diǎn)；基于通過從隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)而獲得的剩余隱藏節(jié)點(diǎn)并基于訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，剩余隱藏節(jié)點(diǎn)與之后時(shí)間間隔中的隱藏節(jié)點(diǎn)相連接，并且忽略參考隱藏節(jié)點(diǎn)與之后時(shí)間間隔中的隱藏節(jié)點(diǎn)之間的連接。
[0005]可在基于一項(xiàng)序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練期間排除參考隱藏節(jié)點(diǎn)。
[0006]選擇步驟可包括:從隱藏節(jié)點(diǎn)隨機(jī)選擇參考隱藏節(jié)點(diǎn)。
[0007]選擇步驟可包括:響應(yīng)于基于一項(xiàng)序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)束，從隱藏節(jié)點(diǎn)隨機(jī)選擇其他參考隱藏節(jié)點(diǎn)；訓(xùn)練步驟可包括:基于另一項(xiàng)序列數(shù)據(jù)，并基于通過從隱藏節(jié)點(diǎn)排除所述其他參考隱藏節(jié)點(diǎn)而獲得的剩余隱藏節(jié)點(diǎn)，來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
[0008]序列數(shù)據(jù)可包括語(yǔ)音數(shù)據(jù)、圖像數(shù)據(jù)、生物數(shù)據(jù)和手寫數(shù)據(jù)中的任意一個(gè)或任意組合。
[0009]所述方法還可包括:基于訓(xùn)練結(jié)果更新應(yīng)用于神經(jīng)網(wǎng)絡(luò)的連接權(quán)重。
[0010]訓(xùn)練步驟可包括:基于預(yù)定重復(fù)次數(shù)控制神經(jīng)網(wǎng)絡(luò)重復(fù)學(xué)習(xí)訓(xùn)練數(shù)據(jù)。
[0011]神經(jīng)網(wǎng)絡(luò)可為遞歸神經(jīng)網(wǎng)絡(luò)，并可包括多個(gè)隱藏層。
[0012]—種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可包括程序，所述程序包括用于使計(jì)算機(jī)執(zhí)行所述方法的指令。
[0013]在另一總體方面，提供一種基于訓(xùn)練數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，所述方法包括:接收包括序列數(shù)據(jù)的訓(xùn)練數(shù)據(jù)；從神經(jīng)網(wǎng)絡(luò)中的隱藏節(jié)點(diǎn)選擇參考隱藏節(jié)點(diǎn)；在基于一項(xiàng)序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練期間，通過從隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
[0014]通過從隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)而獲得的剩余隱藏節(jié)點(diǎn)可與之后時(shí)間間隔中的隱藏節(jié)點(diǎn)相連接；并且可忽略參考隱藏節(jié)點(diǎn)與之后時(shí)間間隔中的隱藏節(jié)點(diǎn)之間的連接。
[0015]選擇步驟可包括:響應(yīng)于基于所述項(xiàng)序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)束，從隱藏節(jié)點(diǎn)隨機(jī)選擇其他參考隱藏節(jié)點(diǎn)；訓(xùn)練步驟可包括:基于另一項(xiàng)序列數(shù)據(jù)，并基于通過從隱藏節(jié)點(diǎn)排除所述其他參考隱藏節(jié)點(diǎn)而獲得的剩余隱藏節(jié)點(diǎn)，來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
[0016]在另一總體方面，提供一種基于訓(xùn)練數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備，所述設(shè)備包括:訓(xùn)練數(shù)據(jù)存儲(chǔ)器，被配置為存儲(chǔ)包括序列數(shù)據(jù)的訓(xùn)練數(shù)據(jù)；神經(jīng)網(wǎng)絡(luò)訓(xùn)練器，被配置為在基于一項(xiàng)序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練期間，通過從神經(jīng)網(wǎng)絡(luò)中的隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
[0017]神經(jīng)網(wǎng)絡(luò)訓(xùn)練器可被配置為:響應(yīng)于基于所述項(xiàng)序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)束，在基于另一項(xiàng)序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練期間，通過從隱藏節(jié)點(diǎn)排除其他參考隱藏節(jié)點(diǎn)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
[0018]在另一總體方面，提供一種數(shù)據(jù)處理設(shè)備，包括:訓(xùn)練器，被配置為通過在基于一項(xiàng)序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練期間，從神經(jīng)網(wǎng)絡(luò)中的隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
[0019]可忽略參考隱藏節(jié)點(diǎn)與上層中的節(jié)點(diǎn)之間的連接。
[0020]可忽略參考隱藏節(jié)點(diǎn)與之后時(shí)間間隔中的節(jié)點(diǎn)之間的連接。
[0021]訓(xùn)練器可被配置為:在基于所述項(xiàng)序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練期間，通過從每個(gè)時(shí)間間隔中的隱藏節(jié)點(diǎn)排除相同的參考隱藏節(jié)點(diǎn)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
[0022]從以下【具體實(shí)施方式】、附圖和權(quán)利要求，其它特征和方面將是清楚的。
【附圖說明】
[0023]圖1是示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備的示例的示圖。
[0024]圖2和圖3是示出在神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備中基于序列數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的示例的示圖。
[0025]圖4是示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的示例的流程圖。
[0026]圖5是示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的另一示例的流程圖。
[0027]圖6是示出數(shù)據(jù)處理設(shè)備的示例的示圖。
[0028]貫穿附圖和【具體實(shí)施方式】，除非另外描述或規(guī)定，否則相同的附圖參考標(biāo)號(hào)將被理解為表示相同的元件、特征和結(jié)構(gòu)。附圖可不必成比例，并且為了清楚、說明和方便起見，可夸大附圖中元件的相對(duì)尺寸、比例和繪示。
【具體實(shí)施方式】
[0029]提供以下詳細(xì)描述來(lái)幫助讀者獲得對(duì)在此描述的方法、設(shè)備和/或系統(tǒng)的全面理解。然而，在此描述的系統(tǒng)、設(shè)備和/或方法的各種改變、修改及等同物對(duì)本領(lǐng)域的普通技術(shù)人員而言將是清楚的。所描述的處理步驟和/或操作的進(jìn)展是示例；然而，除了必需按特定順序發(fā)生的步驟和/或操作之外，步驟和/或操作的順序不限于在此闡述的順序，并且可如本領(lǐng)域中所知的那樣改變。此外，為了更加清楚和簡(jiǎn)明，可省略對(duì)本領(lǐng)域的普通技術(shù)人員公知的功能和構(gòu)造的描述。
[0030]在此描述的特征可以以不同的形式來(lái)實(shí)現(xiàn)，并且不應(yīng)被解釋為限于在此描述的示例。相反地，提供在此描述的示例，使得本公開將是全面而完整的，并且在此描述的示例將向本領(lǐng)域的普通技術(shù)人員傳達(dá)本公開的全部范圍。
[0031]圖1是示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備100的示例的示圖。神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備100訓(xùn)練神經(jīng)網(wǎng)絡(luò)或人工神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)可以是通過軟件或硬件實(shí)施的通過使用由連接線連接的多個(gè)人工神經(jīng)元來(lái)模擬生物系統(tǒng)的計(jì)算能力的識(shí)別模型。
[0032]神經(jīng)網(wǎng)絡(luò)的識(shí)別模型可識(shí)別序列數(shù)據(jù)，可用于諸如語(yǔ)音識(shí)別、圖像識(shí)別、身體狀態(tài)識(shí)別和手寫識(shí)別的領(lǐng)域。序列數(shù)據(jù)可指具有時(shí)間性或序列的數(shù)據(jù)，例如，語(yǔ)音數(shù)據(jù)、圖像數(shù)據(jù)、生物(b1metric)數(shù)據(jù)、手寫數(shù)據(jù)和/或其它類型的數(shù)據(jù)。例如，神經(jīng)網(wǎng)絡(luò)的識(shí)別模型可識(shí)別輸入語(yǔ)音數(shù)據(jù)中的內(nèi)容或圖像中出現(xiàn)的圖形。此外，神經(jīng)網(wǎng)絡(luò)的識(shí)別模型可通過分析生物信號(hào)(例如，心電圖(ECG)、腦電圖(EEG)和/或其它類型的信號(hào))識(shí)別用戶的身體狀態(tài)，并可通過分析用戶的手勢(shì)識(shí)別手寫輸入。作為一個(gè)示例，神經(jīng)網(wǎng)絡(luò)的識(shí)別模型可用于基于在脫氧核糖核酸(DNA)測(cè)序裝置中測(cè)得的信號(hào)來(lái)估計(jì)恰當(dāng)?shù)腄NA序列。
[0033]具有神經(jīng)元的簡(jiǎn)化的生物功能的人工神經(jīng)元可用于神經(jīng)網(wǎng)絡(luò)，并可通過具有連接權(quán)重的連接線互相連接。連接權(quán)重可以是連接線的預(yù)定值，并還可被表示為連接強(qiáng)度。神經(jīng)網(wǎng)絡(luò)可使用人工神經(jīng)元執(zhí)行人類認(rèn)知功能或訓(xùn)練處理。人工神經(jīng)元還可被稱為節(jié)點(diǎn)。
[0034]神經(jīng)網(wǎng)絡(luò)可包括多個(gè)層。例如，神經(jīng)網(wǎng)絡(luò)可包括輸入層、隱藏層和輸出層。輸入層可接收輸入以執(zhí)行訓(xùn)練，并將接收到的輸入傳輸?shù)诫[藏層。輸出層可基于從隱藏層的節(jié)點(diǎn)接收的信號(hào)生成神經(jīng)網(wǎng)絡(luò)的輸出。隱藏層可設(shè)置在輸入層和輸出層之間，以將通過輸入層傳輸?shù)挠?xùn)練數(shù)據(jù)改變?yōu)槿菀最A(yù)測(cè)的值。包括在輸入層和隱藏層中的節(jié)點(diǎn)可通過具有連接權(quán)重的連接線互相連接，包括在隱藏層和輸出層中的節(jié)點(diǎn)可通過具有連接權(quán)重的連接線互相連接。輸入層、隱藏層和輸出層的每個(gè)可包括多個(gè)節(jié)點(diǎn)。
[0035]神經(jīng)網(wǎng)絡(luò)可包括多個(gè)隱藏層。包括多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)可被稱為深度神經(jīng)網(wǎng)絡(luò)，深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練可被稱為深度學(xué)習(xí)。包括在隱藏層中的節(jié)點(diǎn)可被稱為隱藏節(jié)點(diǎn)。之前時(shí)間間隔(優(yōu)選地，前一時(shí)間間隔)中的隱藏節(jié)點(diǎn)的輸出可與當(dāng)前時(shí)間間隔的隱藏節(jié)點(diǎn)相連接。此外，當(dāng)前時(shí)間間隔中的隱藏節(jié)點(diǎn)的輸出可與之后時(shí)間間隔(優(yōu)選地，下一時(shí)間間隔)的隱藏節(jié)點(diǎn)相連接。在不同時(shí)