神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和設(shè)備以及識別方法和設(shè)備的制造方法【專利摘要】本發(fā)明提供一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和設(shè)備以及識別方法和設(shè)備。所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備接收數(shù)據(jù)并基于通過從包括在神經(jīng)網(wǎng)絡(luò)中的多個隱藏節(jié)點排除參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點將之前時間間隔中的值保持到之后時間間隔。【專利說明】神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和設(shè)備以及識別方法和設(shè)備[0001]本申請要求于2015年2月23日提交到韓國知識產(chǎn)權(quán)局的第10-2015-0025077號韓國專利申請的權(quán)益，針對所有目的，該韓國專利申請的全部公開通過引用合并于此。
技術(shù)領(lǐng)域：
[0002]以下描述涉及一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和設(shè)備。以下描述還涉及一種識別方法和設(shè)備。【
背景技術(shù)：
】[0003]近來，正在積極地進(jìn)行將人的模式識別方法應(yīng)用到實際的計算機(jī)以解決將輸入模式分類為預(yù)定組的問題的研究。作為一個示例，正在通過基于數(shù)學(xué)表達(dá)式對人的生物神經(jīng)細(xì)胞的特征進(jìn)行建模來進(jìn)行關(guān)于人工神經(jīng)網(wǎng)絡(luò)的研究。為了執(zhí)行上述建模，人工神經(jīng)網(wǎng)絡(luò)可使用模擬人的學(xué)習(xí)能力的算法。基于學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)可產(chǎn)生輸入模式與輸出模式之間的映射，產(chǎn)生映射還可被表示為人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力。此外，響應(yīng)于在之前的學(xué)習(xí)處理中未使用的新的輸入模式，人工神經(jīng)網(wǎng)絡(luò)可具有泛化能力，以基于學(xué)習(xí)結(jié)果輸出相對準(zhǔn)確的輸出?！?br/>發(fā)明內(nèi)容】[0004]提供本【
發(fā)明內(nèi)容】來以簡化的形式介紹對在下面的【具體實施方式】中進(jìn)一步描述的構(gòu)思的選擇。本【
發(fā)明內(nèi)容】不意在標(biāo)識所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不意在用來幫助確定所要求保護(hù)的主題的范圍。[0005]在一個總體方面，一種使用學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法包括：從神經(jīng)網(wǎng)絡(luò)中的多個隱藏節(jié)點選擇參考隱藏節(jié)點；基于通過從所述多個隱藏節(jié)點排除參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點將之前時間間隔中的值保持到之后時間間隔。[0006]選擇步驟可包括：針對每個時間間隔從所述多個隱藏節(jié)點隨機(jī)選擇參考隱藏節(jié)點。[0007]參考隱藏節(jié)點可將在之前時間間隔中的相應(yīng)參考隱藏節(jié)點中包括的長期記憶值保持到之后時間間隔。[0008]參考隱藏節(jié)點可阻止從包括相應(yīng)參考隱藏節(jié)點的隱藏層的下層輸入的值。[0009]參考隱藏節(jié)點可阻止輸出到包括相應(yīng)參考隱藏節(jié)點的隱藏層的上層的值。[0010]剩余隱藏節(jié)點可連接到其它時間間隔的隱藏節(jié)點，其中，所述其它時間間隔包括之前時間間隔和之后時間間隔。[0011]學(xué)習(xí)數(shù)據(jù)可包括：包括語音數(shù)據(jù)、圖像數(shù)據(jù)、生物數(shù)據(jù)和手寫數(shù)據(jù)中的至少一個的序列數(shù)據(jù)。[0012]訓(xùn)練步驟可包括：基于訓(xùn)練結(jié)果更新包括在神經(jīng)網(wǎng)絡(luò)中的連接權(quán)重。[0013]所述神經(jīng)網(wǎng)絡(luò)可以是包括多個隱藏層的遞歸神經(jīng)網(wǎng)絡(luò)。[0014]在另一總體方面，一種識別方法包括：接收序列數(shù)據(jù)；使用包括多個隱藏節(jié)點的神經(jīng)網(wǎng)絡(luò)識別序列數(shù)據(jù)，其中，所述多個隱藏節(jié)點包括當(dāng)前時間間隔之前的時間間隔中的相應(yīng)隱藏節(jié)點的值以及基于所述相應(yīng)隱藏節(jié)點的值將被傳送到當(dāng)前時間間隔的概率計算的值，其中，神經(jīng)網(wǎng)絡(luò)基于通過從所述多個隱藏節(jié)點排除參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點被訓(xùn)練。[0015]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，可針對每個時間間隔從所述多個隱藏節(jié)點隨機(jī)選擇參考隱藏節(jié)點。[0016]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，參考隱藏節(jié)點可將之前時間間隔中的值保持到之后時間間隔。[0017]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，剩余隱藏節(jié)點可連接到其它時間間隔的隱藏節(jié)點。[0018]在另一總體方面，一種非暫時性計算機(jī)可讀存儲介質(zhì)包括程序，所述程序包括指令以使計算機(jī)執(zhí)行以上提出的第一方法。[0019]在另一總體方面，一種用于使用學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的設(shè)備，所述設(shè)備包括：接收器，被配置為接收學(xué)習(xí)數(shù)據(jù)；訓(xùn)練器，被配置為基于通過從包括在神經(jīng)網(wǎng)絡(luò)中的多個隱藏節(jié)點排除參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點將之前時間間隔中的值保持到之后時間間隔。[0020]可針對每個時間間隔從所述多個隱藏節(jié)點隨機(jī)選擇并排除參考隱藏節(jié)點。[0021]參考隱藏節(jié)點可保持在之前時間間隔中的相應(yīng)參考隱藏節(jié)點中包括的長期記憶值。[0022]參考隱藏節(jié)點可阻止從包括相應(yīng)參考隱藏節(jié)點的隱藏層的下層輸入的值。[0023]參考隱藏節(jié)點可阻止輸出到包括相應(yīng)參考隱藏節(jié)點的隱藏層的上層的值。[0024]在另一總體方面，一種識別設(shè)備包括：接收器，被配置為接收序列數(shù)據(jù)；識別器，被配置為使用包括多個隱藏節(jié)點的神經(jīng)網(wǎng)絡(luò)識別序列數(shù)據(jù)，其中，所述多個隱藏節(jié)點包括當(dāng)前時間間隔之前的時間間隔中的相應(yīng)隱藏節(jié)點的值以及基于所述相應(yīng)隱藏節(jié)點的值將被傳送到當(dāng)前時間間隔的概率計算的值，其中，神經(jīng)網(wǎng)絡(luò)基于通過從所述多個隱藏節(jié)點排除參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點被訓(xùn)練。[0025]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，可針對每個時間間隔從所述多個隱藏節(jié)點隨機(jī)選擇參考隱藏節(jié)點。[0026]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，參考隱藏節(jié)點可將之前時間間隔中的值保持到之后時間間隔。[0027]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，剩余隱藏節(jié)點可連接到其它時間間隔的隱藏節(jié)點。[0028]在另一總體方面，一種使用學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法包括：基于通過從多個隱藏節(jié)點排除參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點在第一時間間隔中訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，從神經(jīng)網(wǎng)絡(luò)中的多個隱藏節(jié)點選擇參考隱藏節(jié)點；在之后時間間隔中訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點將之前時間間隔中的值保持到之后時間間隔。[0029]在第一時間間隔中訓(xùn)練神經(jīng)網(wǎng)絡(luò)的步驟可包括：針對每個時間間隔從所述多個隱藏節(jié)點隨機(jī)選擇參考隱藏節(jié)點。[0030]參考隱藏節(jié)點可將在之前時間間隔中的相應(yīng)參考隱藏節(jié)點中包括的長期記憶值保持到之后時間間隔。[0031]參考隱藏節(jié)點可阻止從包括相應(yīng)參考隱藏節(jié)點的隱藏層的下層輸入的值。[0032]參考隱藏節(jié)點可阻止輸出到包括相應(yīng)參考隱藏節(jié)點的隱藏層的上層的值。[0033]剩余隱藏節(jié)點可連接到包括之前時間間隔和之后時間間隔的其它時間間隔的隱藏節(jié)點。[0034]訓(xùn)練步驟可包括：基于訓(xùn)練結(jié)果更新包括在神經(jīng)網(wǎng)絡(luò)中的連接權(quán)重。[0035]從以下【具體實施方式】、附圖和權(quán)利要求，其它特征和方面將是清楚的。【附圖說明】[0036]圖1示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備的示例。[0037]圖2示出訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程的示例。[0038]圖3示出訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程的另一示例。[0039]圖4示出更新包括在隱藏層中的隱藏節(jié)點的值的過程以及基于該過程的學(xué)習(xí)算法的示例。[0040]圖5示出識別設(shè)備的示例。[0041]圖6示出在基于預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)執(zhí)行的識別期間確定隱藏節(jié)點的值的過程的示例。[0042]圖7示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的示例。[0043]圖8示出識別方法的示例。[0044]貫穿附圖和【具體實施方式】，相同的參考標(biāo)號表示相同的元件。附圖可不必成比例，并且為了清楚、說明和方便起見，可夸大附圖中元件的相對尺寸、比例和繪示?！揪唧w實施方式】[0045]提供以下詳細(xì)描述來幫助讀者獲得對在此描述的方法、設(shè)備和/或系統(tǒng)的全面理解。然而，在此描述的方法、設(shè)備和/或系統(tǒng)的各種改變、修改及等同物對本領(lǐng)域的普通技術(shù)人員而言將是清楚的。在此描述的操作的順序僅是示例，并不限于在此闡述的順序，而是除了必需按特定順序發(fā)生的操作之外，在此描述的操作的順序可如本領(lǐng)域普通技術(shù)人員將清楚的那樣改變。此外，為了更加清楚和簡明，可省略對本領(lǐng)域的普通技術(shù)人員公知的功能和構(gòu)造的描述。[0046]在此描述的特征可以以不同的形式來實現(xiàn)，并且不應(yīng)被解釋為限于在此描述的示例。相反地，提供在此描述的示例，使得本公開將是全面而完整的，并且在此描述的示例將向本領(lǐng)域的普通技術(shù)人員傳達(dá)本公開的全部范圍。[0047]圖1示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備100。[0048]神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備100訓(xùn)練神經(jīng)網(wǎng)絡(luò)，例如，人工神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是，例如，使用通過使用經(jīng)由適當(dāng)?shù)倪B接線連接的許多人工神經(jīng)元來模擬生物系統(tǒng)的計算能力的硬件和/或軟件所實施的識別模型。[0049]在以上提及的神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元潛在地是具有對生物神經(jīng)元的功能進(jìn)行建模的簡化功能的人工神經(jīng)元。在這樣的示例中，人工神經(jīng)元潛在地通過具有連接權(quán)重的連接線互相連接。這里，連接權(quán)重是連接線的預(yù)定值并還被稱為，例如，連接強(qiáng)度。神經(jīng)網(wǎng)絡(luò)使用人工神經(jīng)元來執(zhí)行人的認(rèn)知功能或?qū)W習(xí)處理。人工神經(jīng)元還被稱為，例如，作為神經(jīng)網(wǎng)絡(luò)的單位元件的節(jié)點。[0050]在一個示例中，神經(jīng)網(wǎng)絡(luò)包括多個層。例如，神經(jīng)網(wǎng)絡(luò)包括：輸入層、隱藏層和輸出層。輸入層接收輸入以執(zhí)行學(xué)習(xí)，并將接收的輸入傳送到隱藏層。輸出層基于從隱藏層的節(jié)點接收的信號產(chǎn)生神經(jīng)網(wǎng)絡(luò)的輸出。隱藏層位于輸入層與輸出層之間，并將通過輸入層傳送的學(xué)習(xí)數(shù)據(jù)改變?yōu)槿菀最A(yù)測的值。例如，包括在輸入層中的節(jié)點與包括在隱藏層中的節(jié)點通過具有連接權(quán)重的連接線互相連接，包括在隱藏層中的節(jié)點與包括在輸出層中的節(jié)點通過具有連接權(quán)重的連接線互相連接。在這樣的示例中，輸入層、隱藏層和輸出層中的每個包括多個節(jié)點。[0051]在一個示例中，神經(jīng)網(wǎng)絡(luò)包括多個隱藏層。包括多個隱藏層的這樣的神經(jīng)網(wǎng)絡(luò)還被稱為，例如，深度神經(jīng)網(wǎng)絡(luò)。這樣的深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練還被稱為，例如，深度學(xué)習(xí)。包括在隱藏層中的節(jié)點還被稱為，例如，隱藏節(jié)點。此外，在一個示例中，之前時間間隔中的隱藏節(jié)點的輸出連接到當(dāng)前時間間隔的隱藏節(jié)點。此外，在一個示例中，當(dāng)前時間間隔中的隱藏節(jié)點的輸出連接到之后時間間隔的隱藏節(jié)點。這樣的連接允許節(jié)點互相交互并允許在整個網(wǎng)絡(luò)傳播節(jié)點之間的關(guān)系。具有包括在不同時間間隔中并互相遞歸連接的隱藏節(jié)點的神經(jīng)網(wǎng)絡(luò)還被稱為，例如，遞歸神經(jīng)網(wǎng)絡(luò)。[0052]神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備100通過監(jiān)督學(xué)習(xí)處理來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。監(jiān)督學(xué)習(xí)處理是例如這樣的方法：將學(xué)習(xí)數(shù)據(jù)和與學(xué)習(xí)數(shù)據(jù)相應(yīng)的輸出數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)并更新連接線的連接權(quán)重，以輸出適當(dāng)和/或期望的與學(xué)習(xí)數(shù)據(jù)相應(yīng)的輸出數(shù)據(jù)。這里，在一個示例中，學(xué)習(xí)數(shù)據(jù)是指：神經(jīng)網(wǎng)絡(luò)能夠用作用于得到將使神經(jīng)網(wǎng)絡(luò)實現(xiàn)正確模式識別的適當(dāng)權(quán)重和連接的基礎(chǔ)的一組訓(xùn)練數(shù)據(jù)。例如，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備100基于反向傳播學(xué)習(xí)技術(shù)和適當(dāng)?shù)牡聽査?guī)則來更新人工神經(jīng)元之間的連接權(quán)重。[0053]例如，反向傳播學(xué)習(xí)技術(shù)是這樣的方法：通過正演計算處理來估計學(xué)習(xí)數(shù)據(jù)的誤差，并沿從神經(jīng)元的輸出層開始向神經(jīng)元的隱藏層和神經(jīng)元的輸入層的反方向傳播估計的誤差，從而調(diào)整涉及到減小誤差的神經(jīng)元之間的連接權(quán)重。當(dāng)按照輸入層、隱藏層和輸出層的順序分類數(shù)據(jù)時神經(jīng)網(wǎng)絡(luò)被處理。在反向傳播學(xué)習(xí)中，按照輸出層、隱藏層和輸入層的順序沿反方向更新連接權(quán)重。[0054]參照圖1，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備100包括：接收器110和訓(xùn)練器120。在一個示例中，使用硬件模塊實施神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備1〇〇。例如，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備1〇〇包括在各種類型的計算裝置和/或系統(tǒng)中，例如，智能電話、平板計算機(jī)、膝上型計算機(jī)、臺式計算機(jī)、電視機(jī)、可穿戴裝置、安全系統(tǒng)和智能家居系統(tǒng)。然而，這些僅是計算裝置的示例，并不意在作為限制。[0055]在圖1的示例中，接收器110接收學(xué)習(xí)數(shù)據(jù)。例如，學(xué)習(xí)數(shù)據(jù)包括：包括語音數(shù)據(jù)、圖像數(shù)據(jù)、生物數(shù)據(jù)和手寫數(shù)據(jù)中的至少一個的序列數(shù)據(jù)。即，學(xué)習(xí)數(shù)據(jù)包括用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)以更好地識別之后示例的一序列的示例。[0056]在圖1的示例中，訓(xùn)練器120從學(xué)習(xí)數(shù)據(jù)提取特征值。例如，訓(xùn)練器120從語音數(shù)據(jù)提取隨時間變化的相對變化，并基于提取的特征值訓(xùn)練神經(jīng)網(wǎng)絡(luò)。因此，語音數(shù)據(jù)基于預(yù)定時間單位被劃分，劃分的結(jié)果被輸入到神經(jīng)網(wǎng)絡(luò)作為學(xué)習(xí)數(shù)據(jù)。通過以這樣的方式處理語音數(shù)據(jù)，可將學(xué)習(xí)數(shù)據(jù)用作用于處理將來數(shù)據(jù)的基礎(chǔ)。[0057]在這樣的示例中，訓(xùn)練器120基于通過從包括在神經(jīng)網(wǎng)絡(luò)中的多個隱藏節(jié)點排除至少一個參考隱藏節(jié)點而獲得的剩余隱藏節(jié)點來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。因此，剩余隱藏節(jié)點、輸入層的節(jié)點和輸出層的節(jié)點都包括在一個學(xué)習(xí)模式中。神經(jīng)網(wǎng)絡(luò)是例如具有包括在不同時間間隔中并互相連接的隱藏節(jié)點的遞歸神經(jīng)網(wǎng)絡(luò)，并且還包括多個隱藏層。在這樣的示例中，在連續(xù)的時間間隔中，隱藏節(jié)點的輸出值被輸入到之后時間間隔中的隱藏層。[0058]在圖1的示例中，訓(xùn)練器120從多個隱藏節(jié)點隨機(jī)選擇至少一個參考隱藏節(jié)點。當(dāng)輸入相同的學(xué)習(xí)數(shù)據(jù)時，訓(xùn)練器120針對每個時間間隔隨機(jī)選擇至少一個參考隱藏節(jié)點。因此，通過使用這樣的方法，訓(xùn)練器120基于針對每個時間間隔的不同學(xué)習(xí)模式來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。[0059]參考隱藏節(jié)點是指，例如，從訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理排除的隱藏節(jié)點。參考隱藏節(jié)點與上層的節(jié)點之間的連接被忽略，例如，通過在訓(xùn)練處理期間不考慮這樣的連接。例如，當(dāng)訓(xùn)練時，參考隱藏節(jié)點阻止輸出到上層的值。在此示例中，上層意在指示：沿網(wǎng)絡(luò)的最后輸出的方向，相對于包括相應(yīng)參考隱藏節(jié)點的隱藏層來說，在節(jié)點分層中設(shè)置得更高的另一隱藏層或輸出層。因此，當(dāng)在訓(xùn)練中考慮參考隱藏節(jié)點與上層的節(jié)點之間的連接時，參考隱藏節(jié)點的輸出不被輸入到上層的節(jié)點，或者參考隱藏節(jié)點將"〇"值或另一適當(dāng)?shù)目罩递敵龅缴蠈拥墓?jié)點。[0060]因此，如以上討論，在學(xué)習(xí)處理期間，當(dāng)前時間間隔的參考隱藏節(jié)點與不同于當(dāng)前時間間隔的時間間隔的隱藏節(jié)點之間的連接被忽略。然而，在此示例中，仍可潛在地保持參考隱藏節(jié)點與和不同于當(dāng)前時間間隔的時間間隔中的參考隱藏節(jié)點相應(yīng)的隱藏節(jié)點之間的連接。以下，還意圖使用術(shù)語"自相應(yīng)隱藏節(jié)點"來指示與不同于當(dāng)前時間間隔的時間間隔中的參考隱藏節(jié)點相應(yīng)的隱藏節(jié)點。因此，參考隱藏節(jié)點將之前時間間隔中的自相應(yīng)隱藏節(jié)點的值傳送到之后時間間隔中的對應(yīng)的自相應(yīng)隱藏節(jié)點。例如，參考隱藏節(jié)點與另一時間間隔中的自相應(yīng)隱藏節(jié)點之間的連接權(quán)重可以是"1"。由于參考隱藏節(jié)點被隨機(jī)選擇并且還從每個時間間隔被排除，因此在各個示例中，在其它時間間隔中的自相應(yīng)隱藏節(jié)點被適當(dāng)?shù)剡x擇為相應(yīng)時間間隔的參考隱藏節(jié)點或不被選擇為相應(yīng)時間間隔的參考隱藏節(jié)點。[0061]在這樣的示例中，通過從多個隱藏節(jié)點排除至少一個參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點連接到其它時間間隔的隱藏節(jié)點。[0062]當(dāng)基于一組學(xué)習(xí)數(shù)據(jù)執(zhí)行的訓(xùn)練結(jié)束時，如果需要，則訓(xùn)練器120可選擇地基于另一組學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。[0063]因此，訓(xùn)練器120考慮基于學(xué)習(xí)數(shù)據(jù)執(zhí)行的訓(xùn)練的結(jié)果，更新應(yīng)用于神經(jīng)網(wǎng)絡(luò)的連接權(quán)重。訓(xùn)練器120通過將從神經(jīng)網(wǎng)絡(luò)的輸出層輸出的輸出值與期望基于學(xué)習(xí)數(shù)據(jù)獲得的期望值進(jìn)行比較來計算誤差。因此，訓(xùn)練器120調(diào)整應(yīng)用于神經(jīng)網(wǎng)絡(luò)的連接權(quán)重以減小計算的誤差。訓(xùn)練器120基于針對訓(xùn)練處理指定的預(yù)設(shè)學(xué)習(xí)次數(shù)，控制神經(jīng)網(wǎng)絡(luò)重復(fù)學(xué)習(xí)包括在學(xué)習(xí)數(shù)據(jù)的組中的所有序列數(shù)據(jù)。[0064]圖2示出訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程的示例。[0065]圖2示出與針對每個時間戳的預(yù)定神經(jīng)網(wǎng)絡(luò)相應(yīng)的學(xué)習(xí)模式240、250和260。在圖2中，呈現(xiàn)特定連接線以指定神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。為了更加便于描述和簡明，基于包括在當(dāng)前時間間隔T的學(xué)習(xí)模式250中的參考隱藏節(jié)點252和256提供以下描述。在圖2的示例中，從學(xué)習(xí)模式排除的參考隱藏節(jié)點由實心圓指示。[0066]在圖2的示例中，學(xué)習(xí)模式240是之前時間間隔T-1的學(xué)習(xí)模式，學(xué)習(xí)模式250是當(dāng)前時間間隔T的學(xué)習(xí)模式，學(xué)習(xí)模式260是之后時間間隔T+1的學(xué)習(xí)模式。與之前時間間隔T-1、當(dāng)前時間間隔T和之后時間間隔T+1相應(yīng)的各個學(xué)習(xí)模式240、250和260被用于學(xué)習(xí)處理。[0067]在圖2的示例中，神經(jīng)網(wǎng)絡(luò)包括輸入層210、隱藏層220和輸出層230。在此示例中，輸入層210是序列數(shù)據(jù)作為學(xué)習(xí)數(shù)據(jù)被輸入到的底層。隱藏層220是設(shè)置在輸入層210與輸出層230之間的中間層。輸出層230是呈現(xiàn)輸入到輸入層210的序列數(shù)據(jù)的輸出值的頂層。例如，輸入層210、隱藏層220和輸出層230中的每個包括多個節(jié)點。包括在隱藏層220中的節(jié)點還被稱為，例如，隱藏節(jié)點。[0068]按照流經(jīng)神經(jīng)網(wǎng)絡(luò)的信息，神經(jīng)網(wǎng)絡(luò)沿經(jīng)過輸入層210、隱藏層220和輸出層230的方向被連接。當(dāng)學(xué)習(xí)數(shù)據(jù)被輸入到輸入層210的節(jié)點時，學(xué)習(xí)數(shù)據(jù)通過在輸入層210的節(jié)點中執(zhí)行的變換被傳送到隱藏節(jié)點，從而在輸出層230中產(chǎn)生輸出值。為了更加清楚和簡明，圖2示出一個隱藏層（例如，隱藏層220)。然而，示例不限于此，因為神經(jīng)網(wǎng)絡(luò)潛在地包括多個隱藏層，而非僅單個隱藏層。[0069]神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備將序列數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)的輸入層210,并訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使得序列數(shù)據(jù)的適當(dāng)?shù)姆诸惤Y(jié)果從神經(jīng)網(wǎng)絡(luò)的輸出層230輸出。由神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備訓(xùn)練的神經(jīng)網(wǎng)絡(luò)是，例如，不同時間間隔的隱藏節(jié)點通常彼此連接以提供最穩(wěn)健的分類性能的遞歸神經(jīng)網(wǎng)絡(luò)。當(dāng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，包括在隱藏層中的隱藏節(jié)點連接到之后時間間隔的隱藏節(jié)點。例如，當(dāng)前時間間隔T的隱藏節(jié)點的輸出值被輸入到之后時間間隔T+1的隱藏節(jié)點。[0070]例如，在學(xué)習(xí)序列數(shù)據(jù)的處理中，由神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備基于多個隱藏節(jié)點被部分忽略的學(xué)習(xí)模式訓(xùn)練神經(jīng)網(wǎng)絡(luò)。在這樣的示例中，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備從隱藏節(jié)點隨機(jī)選擇將被排除或忽略的參考隱藏節(jié)點。[0071]作為一個示例，當(dāng)輸入一項序列數(shù)據(jù)時，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備在每個時間間隔從隱藏節(jié)點選擇參考隱藏節(jié)點。一旦被選擇，選擇的參考隱藏節(jié)點從基于這一項序列數(shù)據(jù)執(zhí)行的全部過程被排除。由于選擇的參考隱藏節(jié)點從學(xué)習(xí)處理中的所有時間間隔被排除，所以需要除選擇的數(shù)據(jù)之外的額外項序列數(shù)據(jù)，從而呈現(xiàn)剩余數(shù)據(jù)，以使選擇的參考隱藏節(jié)點被訓(xùn)練。因此，足以訓(xùn)練所有隱藏節(jié)點的時間量由于對額外訓(xùn)練數(shù)據(jù)的需求而潛在地增加。[0072]作為另一示例，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備針對每個時間間隔從多個隱藏節(jié)點隨機(jī)選擇參考隱藏節(jié)點。由于針對每個時間間隔隨機(jī)選擇將從學(xué)習(xí)處理排除的參考隱藏節(jié)點，因此在之前時間間隔中被選擇為參考隱藏節(jié)點并從學(xué)習(xí)處理排除的隱藏節(jié)點在當(dāng)前時間間隔中潛在地不被選擇為參考隱藏節(jié)點，從而在當(dāng)前時間間隔中參與學(xué)習(xí)處理。通過每次使用一項序列數(shù)據(jù)，許多隱藏節(jié)點以這種方式被訓(xùn)練。當(dāng)在之前時間間隔中被選擇為參考隱藏節(jié)點并從學(xué)習(xí)處理排除的隱藏節(jié)點在當(dāng)前時間間隔中未被排除并被訓(xùn)練時，相應(yīng)隱藏節(jié)點隨后在當(dāng)前時間間隔中具有有意義的值。因此，相應(yīng)隱藏節(jié)點能夠保持在相應(yīng)隱藏節(jié)點被選擇為在直到當(dāng)前時間間隔的時間間隔中的參考隱藏節(jié)點之前確定的值，從而參與學(xué)習(xí)處理。例如，為了針對每個時間間隔隨機(jī)選擇參考隱藏節(jié)點，相應(yīng)隱藏節(jié)點的值潛在地需要在多個時間間隔期間被保持，以調(diào)整給定節(jié)點被選擇為隱藏的時間間隔。以下，參照圖2的學(xué)習(xí)模式240至260提供相關(guān)描述。[0073]參照圖2的示例，從學(xué)習(xí)模式240至260中的每個隨機(jī)選擇并排除不同的參考隱藏節(jié)點。[0074]在圖2的示例中，在當(dāng)前時間間隔T的學(xué)習(xí)模式250中，設(shè)置在隱藏層兩端的節(jié)點被選擇為將被排除在考慮之外的參考隱藏節(jié)點252和256。參考隱藏節(jié)點252將之前時間間隔T-1中的值保持到之后時間間隔T+1。例如，學(xué)習(xí)模式240的隱藏節(jié)點242、學(xué)習(xí)模式250的參考隱藏節(jié)點252和學(xué)習(xí)模式260的隱藏節(jié)點262具有相同的值。在此示例中，隱藏節(jié)點或參考隱藏節(jié)點的值指示相應(yīng)節(jié)點的長期記憶值。長期記憶值指示由相應(yīng)節(jié)點在多個時間間隔期間保持的值。這樣的長期記憶值是用作代替從下層傳送的值或傳送到上層的值的替代的值。[0075]類似地，參考隱藏節(jié)點256將之前時間間隔T-1的值保持到之后時間間隔T+1。例如，學(xué)習(xí)模式240的隱藏節(jié)點246、學(xué)習(xí)模式250的參考隱藏節(jié)點256和學(xué)習(xí)模式260的參考隱藏節(jié)點266潛在地都具有相同的值。由于參考隱藏節(jié)點266包括在學(xué)習(xí)模式260中，所以參考隱藏節(jié)點256將相同的值保持到下一個之后時間間隔T+2。[0076]當(dāng)前時間間隔T中的學(xué)習(xí)模式250的隱藏節(jié)點254指示通過從多個隱藏節(jié)點排除參考隱藏節(jié)點252和256所獲得的剩余隱藏節(jié)點。隱藏節(jié)點254潛在地連接到其它時間間隔的隱藏節(jié)點。例如，隱藏節(jié)點254連接到之前時間間隔T-1中的學(xué)習(xí)模式240的隱藏節(jié)點。隱藏節(jié)點254還連接到之后時間間隔T+1中的學(xué)習(xí)模式260的隱藏節(jié)點。雖然隱藏節(jié)點254連接到學(xué)習(xí)模式260的參考隱藏節(jié)點266,但是參考隱藏節(jié)點266忽略從隱藏節(jié)點254接收的值并保持學(xué)習(xí)模式250的參考隱藏節(jié)點256的值。[0077]圖3示出訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程的另一示例。[0078]參照圖3的示例，在神經(jīng)網(wǎng)絡(luò)中，包括在輸入層310、隱藏層320和輸出層330中的多個節(jié)點彼此連接。在圖3中，實線表示這樣的連接，所述連接是節(jié)點正常彼此連接的連接，虛線表示使得節(jié)點之間的連接被忽略的連接，點劃線表示使得相應(yīng)隱藏節(jié)點的值還在之后時間間隔中被保持的連接。[0079]在圖3的示例中，學(xué)習(xí)模式340指示之前時間間隔T-1中的學(xué)習(xí)模式，學(xué)習(xí)模式350指示當(dāng)前時間間隔T中的學(xué)習(xí)模式，學(xué)習(xí)模式360指示之后時間間隔T+1中的學(xué)習(xí)模式。[0080]在之前時間間隔T-1中，隱藏節(jié)點344從隱藏節(jié)點342、344和346中被選擇為參考隱藏節(jié)點。在此示例中，隱藏節(jié)點344還被稱為，例如，參考隱藏節(jié)點344。在這樣的示例中，參考隱藏節(jié)點344與相應(yīng)于上層的輸出層330的節(jié)點之間的連接被忽略。例如，參考隱藏節(jié)點344阻止輸出到相應(yīng)于上層的輸出層330的值。[0081]針對與其它時間間隔的節(jié)點的連接，在參考隱藏節(jié)點344與包括在當(dāng)前時間間隔T的隱藏層中的節(jié)點之間的連接實質(zhì)上被忽略時，參考隱藏節(jié)點344與當(dāng)前時間間隔T中的相應(yīng)于參考隱藏節(jié)點344的隱藏節(jié)點354之間的連接被保持。因此，之前時間間隔T-1中的參考隱藏節(jié)點344的值被相應(yīng)地保持到當(dāng)前時間間隔T。在這樣的示例中，保持的值是，例如，相應(yīng)的長期記憶值。[0082]然而，在一個示例中，參考隱藏節(jié)點344與相應(yīng)于下層的輸入層310的節(jié)點之間的連接不被忽略。由于參考隱藏節(jié)點344代替使用輸入的值而忽略從輸入層310輸入的值，因此參考隱藏節(jié)點344阻止從輸入層310輸入的值。[0083]在之前時間間隔T-1中，通過從隱藏節(jié)點342、344和346排除參考隱藏節(jié)點344所獲得的剩余隱藏節(jié)點（例如，隱藏節(jié)點342和346)連接到當(dāng)前時間間隔T的隱藏節(jié)點352、354和356以及相應(yīng)于上層的輸出層330的節(jié)點。[0084]在當(dāng)前時間間隔T中，隱藏節(jié)點352和354從隱藏節(jié)點352、354和356被選擇為參考隱藏節(jié)點。在此示例中，隱藏節(jié)點352和354還被稱為，例如，參考隱藏節(jié)點352和354。因此，參考隱藏節(jié)點352和354與相應(yīng)于上層的輸出層的節(jié)點的連接被忽略。在這樣的示例中，參考隱藏節(jié)點352和354阻止輸出到相應(yīng)于上層的輸出層的值。[0085]如所討論的，針對與其它時間間隔的節(jié)點的連接，在參考隱藏節(jié)點352與之后時間間隔T+1中的隱藏層的隱藏節(jié)點之間的連接實質(zhì)上被忽略時，參考隱藏節(jié)點352與之后時間間隔T+1中的相應(yīng)于參考隱藏節(jié)點352的隱藏節(jié)點362的連接被保持。在此示例中，參考隱藏節(jié)點352連接到之前時間間隔T-1中的隱藏節(jié)點。例如，在同時忽略其它隱藏節(jié)點（例如，隱藏節(jié)點344和346)的值時，參考隱藏節(jié)點352保持之前時間間隔T-1中的與節(jié)點本身相應(yīng)的隱藏節(jié)點342的值。因此，當(dāng)前時間間隔T中的參考隱藏節(jié)點352將之前時間間隔T-1中的值保持到之后時間間隔T+1。[0086]類似地，參考隱藏節(jié)點354也將之前時間間隔T-1中的隱藏節(jié)點344的值保持到之后時間間隔T+1。[0087]然而，參考隱藏節(jié)點352和354與相應(yīng)于下層的輸入層的節(jié)點的連接不被忽略。由于參考隱藏節(jié)點352和354代替使用輸入的值而忽略從輸入層輸入的值，因此參考隱藏節(jié)點352和354阻止從輸入層輸入的值。[0088]在當(dāng)前時間間隔T中，通過從隱藏節(jié)點352、354和356排除參考隱藏節(jié)點352和354所獲得的剩余隱藏節(jié)點（例如，隱藏節(jié)點356)連接到之后時間間隔T+1的隱藏節(jié)點362、364和366以及上層的節(jié)點。[0089]圖4示出更新包括在隱藏層中的隱藏節(jié)點400的值的過程以及基于這樣的過程的學(xué)習(xí)算法的示例。[0090]在本示例中，由神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備訓(xùn)練的神經(jīng)網(wǎng)絡(luò)是例如基于長短期記憶（LSTM)的遞歸神經(jīng)網(wǎng)絡(luò)。與其它類型的神經(jīng)網(wǎng)絡(luò)相比，基于LSTM的遞歸神經(jīng)網(wǎng)絡(luò)通過使用三個門提尚具有相對長的序列的序列數(shù)據(jù)的識別率。[0091]圖4示出包括在神經(jīng)網(wǎng)絡(luò)的隱藏層中的隱藏節(jié)點400。在圖4的示例中，隱藏節(jié)點400包括：輸入門410、忽略門（forgetgate)420、胞元（cell)430和輸出門440。[0092]在圖4的示例中，輸入門410控制從包括隱藏節(jié)點400的隱藏層的下層傳送的值。當(dāng)輸入門410的輸出值是"0"時，隱藏節(jié)點400忽略從下層傳送的值。可如以下等式1所示計算輸入門410的輸出值bf。[0093]等式1[0096]在以上等式1中，af表示輸入到輸入門410的值，xf表示從當(dāng)前時間間隔的下層傳送的值，Wll表示施加于xf的權(quán)重。此外，bff1表示之前時間間隔中的自相應(yīng)隱藏節(jié)點的輸出值，whl表示施加于的權(quán)重。此外，S^1表示之前時間間隔中胞元430的輸出值，Wd表示施加于S^1的權(quán)重。此外，f()表示門的激活函數(shù)。最后，I表示包括在下層中的節(jié)點數(shù)，H表示包括在包括隱藏節(jié)點400的隱藏層中的節(jié)點數(shù)，C表示包括在隱藏節(jié)點400中的包括胞元430的胞元數(shù)。[0097]在圖4的示例中，忽略門420控制從之前時間間隔中的隱藏節(jié)點傳送的值。當(dāng)忽略門420的輸出值是"0"時，隱藏節(jié)點400忽略從之前時間間隔中的隱藏節(jié)點傳送的值。例如，如以下等式2所示計算忽略門420的輸出值bk[0098]等式2[0101]在等式2中，a:|表示輸入到忽略門420的值，Wi#、Wh0和wt0分別表示施加于bt1和sp的權(quán)重。[0102]例如，如上所示，當(dāng)隱藏節(jié)點400被選擇為將被排除的參考隱藏節(jié)點時，忽略門420輸出"1"。[0103]胞元430包括隱藏節(jié)點400的記憶值。如以下等式3所示計算胞元430的輸出值s|〇[0104]等式3[0107]在等式3中，af表示輸入到胞元430的值，Wl。和wh。分別表示施加于xf和bf1的權(quán)重。此外，g()表示胞元輸入激活函數(shù)。[0108]當(dāng)隱藏節(jié)點400被選擇為將被排除的參考隱藏節(jié)點時，輸入到胞元430的值是"0"，忽略門420的輸出值:b:f是"1"。在圖4的示例中，胞元430的輸出值s|與在之前時間間隔中胞元的輸出值相同。因此，當(dāng)隱藏節(jié)點400被選擇為參考隱藏節(jié)點時，隱藏節(jié)點400將之前時間間隔中的值保持到之后時間間隔。[0109]在圖4的示例中，輸出門440控制傳送到包括隱藏節(jié)點400的隱藏層的上層的值。當(dāng)輸出門440的輸出值是"0"時，隱藏節(jié)點400不將隱藏節(jié)點400的輸出值傳送到上層。例如，如以下等式4所示計算輸出門440的輸出值。[0110]等式4/MC[0111]'??二::.1.j.1[0112]4=/(4)[0113]在等式4中，表示輸入到輸出門440的值，wiu、whjpw分別表示施加到bfrhPsg的權(quán)重。[0114]此外，如以下等式5所示計算隱藏節(jié)點400的最終輸出值tt。[0115]等式5[0116]!>|=兒力(4)[0117]在等式5中，h()表示胞元輸出激活函數(shù)。[0118]基于輸入到神經(jīng)網(wǎng)絡(luò)的輸入層的序列數(shù)據(jù)通過輸出層輸出輸出值并因此與通過神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)的正向傳遞相應(yīng)的示例，提供上述討論以描述隱藏節(jié)點的狀態(tài)。通過經(jīng)過神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)的正向傳遞，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備更新每個隱藏節(jié)點的值。此外，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備基于從輸出層輸出的輸出值估計誤差。[0119]神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備沿從輸出層經(jīng)隱藏層到輸入層的反方向傳播估計的誤差，并更新連接權(quán)重以減小誤差。這樣的傳播還被稱為，例如，反向傳遞。在這樣的示例中，沿時間上的反方向以及沿從輸出層經(jīng)隱藏層到輸入層的反方向執(zhí)行傳播。當(dāng)執(zhí)行正向傳遞時，t(時間）的值增大，從而使用時間上的正方向。相反地，當(dāng)執(zhí)行反向傳遞時，t的值減小，從而使用時間上的反方向。[0120]例如，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備定義目標(biāo)函數(shù)以測量當(dāng)前設(shè)置的連接權(quán)重的優(yōu)化率?；谀繕?biāo)函數(shù)的結(jié)果，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備連續(xù)改變連接權(quán)重并重復(fù)執(zhí)行訓(xùn)練。目標(biāo)函數(shù)是，例如，用于計算基于學(xué)習(xí)數(shù)據(jù)實際從神經(jīng)網(wǎng)絡(luò)輸出的輸出值與期望被輸出的期望值之間的誤差的誤差函數(shù)。因此，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備可更新連接權(quán)重以減小誤差函數(shù)的值。[0121]在反向傳遞中，如以下等式6所示定義輸入到隱藏節(jié)點400的值和輸入到胞元430的值[0122]等式6[0123][0124]在等式6中，0表示目標(biāo)函數(shù)。此外，在一個示例中，0表示神經(jīng)網(wǎng)絡(luò)中的交叉熵誤差信號。[0125]如以下等式7所示計算從上層輸入到隱藏節(jié)點400的值[0126]等式7[0127][0128]在等式7中，S|表示從當(dāng)前時間間隔中的上層傳送的值，iff1表示從之后時間間隔中的自相應(yīng)隱藏節(jié)點輸出的值，wjPw別表示施加于％和6th+1的權(quán)重。此外，K表示包括在上層中的節(jié)點數(shù)。[0129]當(dāng)隱藏節(jié)點400被選擇為將被排除的參考隱藏節(jié)點時，隱藏節(jié)點400忽略輸入到隱藏節(jié)點400的值。[0130]如以下等式8所示計算從輸出門440輸出的值8^。[0131]等式8[0132]4-/(4)"(4)4c^'i[0133]此外，如以下等式9所示計算輸入到胞元430的值和從胞元430輸出的值^([0134]等式9[0135]=心的父)#+！.十叫4(〇f銷果集涵輿[0136]<^.rf街沒批其它[0137]在等式9中，e$+1::表示輸入到之后時間間隔中的自相應(yīng)隱藏節(jié)點的胞元的值，5f+1表示從之后時間間隔中的自相應(yīng)隱藏節(jié)點的輸入門410輸出的值，S|+1表示從之后時間間隔中的自相應(yīng)隱藏節(jié)點的忽略門420輸出的值。[0138]當(dāng)隱藏節(jié)點400被選擇為將被排除的參考隱藏節(jié)點時，胞元430輸出"0"。[0139]如以下等式10所示計算從忽略門420輸出的值。[0140]等式10/Qf如果單武丟棄[。141]其它vml[0142]當(dāng)隱藏節(jié)點400被選擇為將被排除的參考隱藏節(jié)點時，忽略門420輸出"0"。[0143]如以下等式11所示計算從隱藏節(jié)點400輸出的值$。:[0144]等式11G[0145]^：:-/'(a；)Yi9i<4M[0146]如上所述，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備通過反向傳播學(xué)習(xí)方法更新包括在神經(jīng)網(wǎng)絡(luò)中的節(jié)點的連接權(quán)重。[0147]圖5示出識別設(shè)備500。[0148]參照圖5的示例，識別設(shè)備500包括：接收器510和識別器520。識別設(shè)備500具有各種各樣的潛在應(yīng)用。例如，識別設(shè)備500可被用于諸如語音識別、圖像識別、身體狀態(tài)識別和手寫識別的領(lǐng)域。然而，這些僅是識別領(lǐng)域的示例，并不應(yīng)被視為限制。識別設(shè)備500潛在地通過使用硬件模塊被實施。例如，識別設(shè)備500包括在各種計算設(shè)備和/或系統(tǒng)中，諸如，例如，智能電話、平板計算機(jī)、膝上型計算機(jī)、臺式計算機(jī)、電視機(jī)、可穿戴裝置、安全系統(tǒng)和智能家居系統(tǒng)。[0149]接收器510接收序列數(shù)據(jù)。序列數(shù)據(jù)是，例如，具有時間性和順序的語音數(shù)據(jù)、圖像數(shù)據(jù)、生物數(shù)據(jù)和手寫數(shù)據(jù)。[0150]識別器520識別基于預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)輸入的序列數(shù)據(jù)。作為潛在地被識別的示例，識別器520從輸入的語音數(shù)據(jù)識別句子或單詞，并從圖像識別對象。此外，識別器520潛在地通過分析生物信號（例如，心電圖（ECG)和腦電圖（EEG))識別用戶身體狀態(tài)，或通過分析用戶動作識別輸入的手寫。作為另一示例，識別器520被應(yīng)用于脫氧核糖核酸（DNA)序列裝置以從監(jiān)視的信號估計恰當(dāng)?shù)腄NA序列。[0151]在一個示例中，識別器520從序列數(shù)據(jù)提取特征值并將提取的特征值輸入到分類器，從而輸出由分類器得到的序列數(shù)據(jù)的分析結(jié)果或識別結(jié)果。[0152]由識別器520使用的預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)包括多個隱藏節(jié)點。多個隱藏節(jié)點包括當(dāng)前時間間隔之前的時間間隔中的相應(yīng)隱藏節(jié)點的值，還包括基于所述相應(yīng)隱藏節(jié)點的值將被傳送到當(dāng)前時間間隔中的概率所計算的值。將參照圖6提供關(guān)于計算多個隱藏節(jié)點的值的過程的描述。[0153]在此示例中，預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)基于通過從多個隱藏節(jié)點排除至少一個參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點被訓(xùn)練（如以上進(jìn)一步的描述）。當(dāng)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，針對每個時間間隔從多個隱藏節(jié)點隨機(jī)選擇并排除參考隱藏節(jié)點。參考隱藏節(jié)點將之前時間間隔中的值保持到之后時間間隔。如所討論的，剩余隱藏節(jié)點連接到其它時間間隔的隱藏節(jié)點。[0154]圖6示出在基于預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)執(zhí)行的識別期間確定隱藏節(jié)點的值的過程的示例。[0155]圖6示出針對每個時間戳的預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的識別模式610、620和630。在圖6中，一些連接線在圖6中被示出以描述基于預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的識別方法。為了更加便于描述和簡明，基于包括在當(dāng)前時間間隔T的學(xué)習(xí)模式630中的隱藏節(jié)點636提供以下描述。在訓(xùn)練處理期間，針對由識別設(shè)備使用的神經(jīng)網(wǎng)絡(luò)，基于具有P值的概率排除包括在神經(jīng)網(wǎng)絡(luò)中的隱藏節(jié)點。[0156]在圖6的示例中，識別模式630是當(dāng)前時間間隔T的學(xué)習(xí)模式，識別模式620是第一之前時間間隔T-1的學(xué)習(xí)模式，識別模式610是第二之前時間間隔T-2的學(xué)習(xí)模式。[0157]識別設(shè)備基于當(dāng)前時間間隔T之前的時間間隔中的相應(yīng)隱藏節(jié)點的值以及所述相應(yīng)隱藏節(jié)點的值將被傳送到當(dāng)前時間間隔T的概率來確定當(dāng)前時間間隔T中的隱藏節(jié)點636的值。[0158]作為示例，隱藏節(jié)點626未被排除，從而第一之前時間間隔T-1中的隱藏節(jié)點626的值（例如，A)被傳送到隱藏節(jié)點636。因此，隱藏節(jié)點626的值將被傳送到隱藏節(jié)點636的概率是"1_P"。[0159]隱藏節(jié)點626代替隱藏節(jié)點616而被排除，從而第二之前時間間隔T-2中的隱藏節(jié)點616的值（例如，B)被傳送到隱藏節(jié)點636。因此，隱藏節(jié)點616的值將被傳送到隱藏節(jié)點636的概率是"p(l-p)"。[0160]為了將第三之前時間間隔中的隱藏節(jié)點的值C傳送到隱藏節(jié)點636,排除隱藏節(jié)點616和626,而不排除第三之前時間間隔中的隱藏節(jié)點。因此，C將被傳送到隱藏節(jié)點636的概率是"p2(l-p)"。[0161]基于上述方法，當(dāng)前時間間隔T中的隱藏節(jié)點636具有"AX(1-p)+BXp(1-p)+CXp2(l-p)+..."的值。在此示例中，與隱藏節(jié)點636的計算結(jié)果相應(yīng)的值指示長期記憶值。因此，長期記憶值是代替從下層傳送的值和傳送到上層的值而在多個時間間隔期間由隱藏節(jié)點保持的值。[0162]圖7示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的示例。[0163]此外，圖7是示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備的操作方法的流程圖。參照圖7的示例，神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法包括：在操作710,從包括在神經(jīng)網(wǎng)絡(luò)中的多個隱藏節(jié)點選擇至少一個參考隱藏節(jié)點；在操作720,基于通過從多個隱藏節(jié)點排除至少一個參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。[0164]由于參照圖1至圖4提供的描述也在這里適用，因此，為了更加清楚和簡明，將省略針對圖7的重復(fù)描述。[0165]圖8示出識別方法的示例。[0166]此外，圖8是示出識別設(shè)備的操作方法的流程圖。參照圖8的示例，識別方法包括：在操作810,接收序列數(shù)據(jù)；在操作820,基于包括多個隱藏節(jié)點的神經(jīng)網(wǎng)絡(luò)識別序列數(shù)據(jù)。在此示例中，多個隱藏節(jié)點包括當(dāng)前時間間隔之前的時間間隔中的相應(yīng)隱藏節(jié)點的值，以及基于所述相應(yīng)隱藏節(jié)點的值將被傳送到當(dāng)前時間間隔的概率所計算的值。由此基于通過從多個隱藏節(jié)點排除至少一個參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。[0167]由于參照圖1至圖6提供的描述也在這里適用，因此，為了更加清楚和簡明，將省略針對圖8的重復(fù)描述。[0168]在呈現(xiàn)的示例的一方面，可通過基于排除部分隱藏節(jié)點的學(xué)習(xí)模式訓(xùn)練神經(jīng)網(wǎng)絡(luò)，在遞歸神經(jīng)網(wǎng)絡(luò)中獲得整體效果并有效減少訓(xùn)練時間。[0169]在呈現(xiàn)的示例的另一方面，由于從學(xué)習(xí)處理排除的參考隱藏節(jié)點將之前時間間隔中的值保持到之后時間間隔，因此可將排除方法應(yīng)用于基于LSTM的遞歸神經(jīng)網(wǎng)絡(luò)。[0170]在呈現(xiàn)的示例的另一方面，可通過基于代替所有隱藏節(jié)點的部分隱藏節(jié)點訓(xùn)練神經(jīng)網(wǎng)絡(luò)，防止神經(jīng)網(wǎng)絡(luò)與將被識別的實際目標(biāo)過度適應(yīng)（例如，過度擬合），所述過度適應(yīng)潛在地導(dǎo)致對實際目標(biāo)的識別率的降低。[0171]在呈現(xiàn)的示例的另一方面，可基于部分隱藏節(jié)點訓(xùn)練神經(jīng)網(wǎng)絡(luò)，從而解決由訓(xùn)練的結(jié)果導(dǎo)致的隱藏節(jié)點的連接權(quán)重彼此相似的互適應(yīng)問題。[0172]執(zhí)行參照圖1至圖8在此描述的操作的圖1至圖8所示的設(shè)備、單元、模塊、裝置和其它組件通過硬件組件被實施。硬件組件的示例包括控制器、傳感器、產(chǎn)生器、驅(qū)動器和本領(lǐng)域普通技術(shù)人員已知的任何其它電子組件。在一個示例中，硬件組件通過一個或多個處理器或計算機(jī)被實施。處理器或計算機(jī)通過一個或多個處理元件（例如，邏輯門陣列、控制器和算術(shù)邏輯單元）、數(shù)字信號處理器、微型計算機(jī)、可編程邏輯控制器、現(xiàn)場可編程門陣列、可編程邏輯陣列、微處理器或本領(lǐng)域普通技術(shù)人員已知的能夠以限定的方式響應(yīng)并執(zhí)行指令以實現(xiàn)期望結(jié)果的任何其它裝置或裝置的組合被實施。在一個示例中，處理器或計算機(jī)包括或連接到存儲由處理器或計算機(jī)執(zhí)行的指令或軟件的一個或多個存儲器。例如，由處理器或計算機(jī)實施的硬件組件執(zhí)行指令或軟件（例如，操作系統(tǒng)（0S)和在0S上運(yùn)行的一個或多個軟件應(yīng)用），以執(zhí)行這里針對圖1至圖8描述的操作。硬件組件還響應(yīng)于指令或軟件的執(zhí)行來訪問、操作、處理、創(chuàng)建并存儲數(shù)據(jù)。為了簡明，可在在此描述的示例的描述中使用單數(shù)術(shù)語"處理器"或"計算機(jī)"，但是在其它示例中，使用多個處理器或多個計算機(jī)，或者處理器或計算機(jī)包括多個處理元件或多種類型的處理元件，或者包括兩者。在一個示例中，硬件組件包括多個處理器，在另一示例中，硬件組件包括處理器和控制器。硬件組件具有不同處理配置中的任何一個或多個，不同處理配置的示例包括單個處理器、獨(dú)立處理器、并行處理器、單指令單數(shù)據(jù)（SISD)多處理、單指令多數(shù)據(jù)（SHffi)多處理、多指令單數(shù)據(jù)(MISD)多處理和多指令多數(shù)據(jù)（M頂D)多處理。[0173]由上述執(zhí)行指令或軟件以執(zhí)行在此描述的操作的處理器或計算機(jī)來執(zhí)行圖1至圖8所示的執(zhí)行針對圖1至圖8在此描述的操作的方法。[0174]用于控制處理器或計算機(jī)實施硬件組件并執(zhí)行如上所述的方法的指令或軟件被寫為計算機(jī)程序、代碼段、指令或它們的任何組合，以獨(dú)立地或共同地指示或配置處理器或計算機(jī)作為用于執(zhí)行由硬件組件執(zhí)行的操作和如上所述的方法的機(jī)器或?qū)Ｓ糜嬎銠C(jī)進(jìn)行操作。在一個示例中，指令或軟件包括由處理器或計算機(jī)直接執(zhí)行的機(jī)器代碼，例如，由編譯器產(chǎn)生的機(jī)器代碼。在另一示例中，指令或軟件包括由處理器或計算機(jī)使用解釋器執(zhí)行的更高級代碼。本領(lǐng)域的普通編程技術(shù)人員可基于附圖中示出的框圖和流程圖以及說明書中的對應(yīng)描述容易地編寫指令或軟件，其中，附圖中示出的框圖和流程圖以及說明書中的對應(yīng)描述公開了用于執(zhí)行由硬件組件執(zhí)行的操作和如上所述的方法的算法。[0175]用于控制處理器或計算機(jī)實施硬件組件并執(zhí)行如上所述的方法的指令或軟件以及任何關(guān)聯(lián)的數(shù)據(jù)、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)被記錄、存儲或固定在一個或多個非暫時性計算機(jī)可讀存儲介質(zhì)中或上。非暫時性計算機(jī)可讀存儲介質(zhì)的示例包括只讀存儲器（ROM)、隨機(jī)存取存儲器（RAM)、閃存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-RLTH、BD-RE、磁帶、軟盤、磁光數(shù)據(jù)存儲裝置、光學(xué)數(shù)據(jù)存儲裝置、硬盤、固態(tài)盤和本領(lǐng)域普通技術(shù)人員已知的能夠以非暫時性方式存儲指令或軟件以及任何關(guān)聯(lián)的數(shù)據(jù)、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)并將指令或軟件以及任何關(guān)聯(lián)的數(shù)據(jù)、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)提供給處理器或計算機(jī)使得處理器或計算機(jī)可執(zhí)行指令的任何裝置。在一個示例中，指令或軟件以及任何關(guān)聯(lián)的數(shù)據(jù)、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)分布在聯(lián)網(wǎng)的計算機(jī)系統(tǒng)中，從而由處理器或計算機(jī)以分布方式存儲、訪問并執(zhí)行指令和軟件以及任何關(guān)聯(lián)的數(shù)據(jù)、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)。[0176]僅作為非詳盡的說明，在此描述的終端/裝置/單元可以是移動裝置（例如，蜂窩電話、智能電話、可穿戴智能裝置（諸如戒指、手表、眼鏡、手鏈、腳鏈、腰帶、項鏈、耳飾、頭帶、頭盔或嵌入在衣服中的裝置）、便攜式個人計算機(jī)（PC)(例如，膝上型計算機(jī)、筆記本、小型筆記本、上網(wǎng)本或超便攜移動PC(UMPC))、平板PC(tablet)、平板手機(jī)、個人數(shù)字助理(PDA)、數(shù)碼相機(jī)、便攜式游戲機(jī)、MP3播放器、便攜式/個人多媒體播放器（PMP)、手持電子書、全球定位系統(tǒng)（GPS)導(dǎo)航裝置或傳感器）或固定裝置（例如，臺式PC、高清電視（HDTV)、DVD播放器、藍(lán)光播放器、機(jī)頂盒或家用電器）或能夠進(jìn)行無線通信或網(wǎng)絡(luò)通信的任何其它移動或固定裝置。在一個示例中，可穿戴裝置是被設(shè)計為可直接安裝在用戶的身體上的裝置，例如，眼鏡或手鏈。在另一示例中，可穿戴裝置是使用附著裝置安裝在用戶的身體上的任何裝置，例如，使用臂帶附著于用戶的手臂或使用掛帶懸掛于用戶的頸部的智能電話或平板。[0177]雖然本公開包括特定示例，但是，對本領(lǐng)域的普通技術(shù)人員而言將清楚的是：在不脫離權(quán)利要求及其等同物的精神和范圍的情況下，可在這些示例中在形式和細(xì)節(jié)上進(jìn)行各種改變。在此描述的示例應(yīng)僅被理解為描述性意義，而不是為了限制的目的。每個示例中的特征或方面的描述應(yīng)被理解為可應(yīng)用于其它示例中的類似特征或方面。如果以不同的順序執(zhí)行所描述的技術(shù)和/或如果所描述的系統(tǒng)、架構(gòu)、裝置或電路中的組件以不同的方式來組合和/或由其它組件或他們的等同物來替換或補(bǔ)充，則可獲得合適的結(jié)果。因此，本公開的范圍不是由【具體實施方式】限定，而是由權(quán)利要求及其等同物限定，并且在權(quán)利要求及其等同物的范圍內(nèi)的所有變化應(yīng)被解釋為包括在本公開中。【主權(quán)項】1.一種使用學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，所述方法包括：從神經(jīng)網(wǎng)絡(luò)中的多個隱藏節(jié)點選擇參考隱藏節(jié)點；基于通過從所述多個隱藏節(jié)點排除參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點將之前時間間隔中的值保持到之后時間間隔。2.如權(quán)利要求1所述的方法，其中，選擇步驟包括：針對每個時間間隔從所述多個隱藏節(jié)點隨機(jī)選擇參考隱藏節(jié)點。3.如權(quán)利要求1所述的方法，其中，參考隱藏節(jié)點將在之前時間間隔中的相應(yīng)參考隱藏節(jié)點中包括的長期記憶值保持到之后時間間隔。4.如權(quán)利要求1所述的方法，其中，參考隱藏節(jié)點阻止從包括相應(yīng)參考隱藏節(jié)點的隱藏層的下層輸入的值。5.如權(quán)利要求1所述的方法，其中，參考隱藏節(jié)點阻止輸出到包括相應(yīng)參考隱藏節(jié)點的隱藏層的上層的值。6.如權(quán)利要求1所述的方法，其中，剩余隱藏節(jié)點連接到其它時間間隔的隱藏節(jié)點，其中，所述其它時間間隔包括之前時間間隔和之后時間間隔。7.如權(quán)利要求1所述的方法，其中，學(xué)習(xí)數(shù)據(jù)包括：包括語音數(shù)據(jù)、圖像數(shù)據(jù)、生物數(shù)據(jù)和手寫數(shù)據(jù)中的至少一個的序列數(shù)據(jù)。8.如權(quán)利要求1所述的方法，其中，訓(xùn)練步驟包括：基于訓(xùn)練結(jié)果更新包括在神經(jīng)網(wǎng)絡(luò)中的連接權(quán)重。9.如權(quán)利要求1所述的方法，其中，所述神經(jīng)網(wǎng)絡(luò)是包括多個隱藏層的遞歸神經(jīng)網(wǎng)絡(luò)。10.-種識別方法，包括：接收序列數(shù)據(jù)；使用包括多個隱藏節(jié)點的神經(jīng)網(wǎng)絡(luò)識別序列數(shù)據(jù)，其中，所述多個隱藏節(jié)點包括當(dāng)前時間間隔之前的時間間隔中的相應(yīng)隱藏節(jié)點的值以及基于所述相應(yīng)隱藏節(jié)點的值將被傳送到當(dāng)前時間間隔的概率計算的值，其中，神經(jīng)網(wǎng)絡(luò)基于通過從所述多個隱藏節(jié)點排除參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點被訓(xùn)練。11.如權(quán)利要求10所述的識別方法，其中，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，針對每個時間間隔從所述多個隱藏節(jié)點隨機(jī)選擇參考隱藏節(jié)點。12.如權(quán)利要求10所述的識別方法，其中，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，參考隱藏節(jié)點將之前時間間隔中的值保持到之后時間間隔。13.如權(quán)利要求10所述的識別方法，其中，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，剩余隱藏節(jié)點連接到其它時間間隔的隱藏節(jié)點。14.一種用于使用學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的設(shè)備，所述設(shè)備包括：接收器，被配置為接收學(xué)習(xí)數(shù)據(jù)；訓(xùn)練器，被配置為基于通過從包括在神經(jīng)網(wǎng)絡(luò)中的多個隱藏節(jié)點排除參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點將之前時間間隔中的值保持到之后時間間隔。15.如權(quán)利要求14所述的設(shè)備，其中，針對每個時間間隔從所述多個隱藏節(jié)點隨機(jī)選擇并排除參考隱藏節(jié)點。16.如權(quán)利要求14所述的設(shè)備，其中，參考隱藏節(jié)點保持在之前時間間隔中的相應(yīng)參考隱藏節(jié)點中包括的長期記憶值。17.如權(quán)利要求14所述的設(shè)備，其中，參考隱藏節(jié)點阻止從包括相應(yīng)參考隱藏節(jié)點的隱藏層的下層輸入的值。18.如權(quán)利要求14所述的設(shè)備，其中，參考隱藏節(jié)點阻止輸出到包括相應(yīng)參考隱藏節(jié)點的隱藏層的上層的值。19.一種識別設(shè)備，包括：接收器，被配置為接收序列數(shù)據(jù)；識別器，被配置為使用包括多個隱藏節(jié)點的神經(jīng)網(wǎng)絡(luò)識別序列數(shù)據(jù)，其中，所述多個隱藏節(jié)點包括當(dāng)前時間間隔之前的時間間隔中的相應(yīng)隱藏節(jié)點的值以及基于所述相應(yīng)隱藏節(jié)點的值將被傳送到當(dāng)前時間間隔的概率計算的值，其中，神經(jīng)網(wǎng)絡(luò)基于通過從所述多個隱藏節(jié)點排除參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點被訓(xùn)練。20.如權(quán)利要求19所述的識別設(shè)備，其中，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，針對每個時間間隔從所述多個隱藏節(jié)點隨機(jī)選擇參考隱藏節(jié)點。21.如權(quán)利要求19所述的識別設(shè)備，其中，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，參考隱藏節(jié)點將之前時間間隔中的值保持到之后時間間隔。22.如權(quán)利要求19所述的識別設(shè)備，其中，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，剩余隱藏節(jié)點連接到其它時間間隔的隱藏節(jié)點。23.-種使用學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，所述方法包括：基于通過從多個隱藏節(jié)點排除參考隱藏節(jié)點所獲得的剩余隱藏節(jié)點在第一時間間隔中訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，從神經(jīng)網(wǎng)絡(luò)中的多個隱藏節(jié)點選擇參考隱藏節(jié)點；在之后時間間隔中訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點將之前時間間隔中的值保持到之后時間間隔?！疚臋n編號】G06N3/08GK105913121SQ201510810225【公開日】2016年8月31日【申請日】2015年11月20日【發(fā)明人】柳尚賢,文太燮【申請人】三星電子株式會社