專利名稱：一種神經(jīng)網(wǎng)絡(luò)均衡器的優(yōu)化訓(xùn)練方法
技術(shù)領(lǐng)域：
本發(fā)明涉及無線通信領(lǐng)域，具體地說，涉及神經(jīng)網(wǎng)絡(luò)均衡器的優(yōu)化訓(xùn)練方法。
背景技術(shù)：
均衡是無線通信系統(tǒng)解決多路徑衰落、非線性放大失真等問題的核心方法。在信道和發(fā)送方功率放大器不引入任何振幅失真的情況下，基于均方誤差判據(jù)的線性均衡器可以實(shí)現(xiàn)以符號(hào)錯(cuò)誤概率為量度的優(yōu)化性能。但是復(fù)雜的無線環(huán)境和高速無線調(diào)制技術(shù)通常會(huì)導(dǎo)致顯著的振幅失真，這就使得線性均衡器的可用性受到了嚴(yán)重的限制。在這一背景下，提出了非線性均衡算法，如決策反饋法和最大似然序列估計(jì)法等。但是上述非線性方法仍然存在局限性，如對(duì)決策反饋法來說，其均衡器的核心仍是線性濾波器，只是引入了反饋結(jié)構(gòu)，將上一時(shí)間步的輸出反饋給輸出判定部件，以確定下一時(shí)間步的輸出。理論上，這類結(jié)構(gòu)不具備一般的非線性擬和能力。最大似然序列估計(jì)法是一種參數(shù)化的方法，它要求先驗(yàn)地假設(shè)信道統(tǒng)計(jì)特征和噪聲的統(tǒng)計(jì)分布，這使得其可用性受到模型適用條件的制約，并且，這種方法的計(jì)算開銷較大，特別是在信道的傳播延遲大的情況下。
人工神經(jīng)網(wǎng)絡(luò)是一種半?yún)?shù)化的智能計(jì)算模型，由于其在理論上具有一般的非線性擬和能力，以及神經(jīng)網(wǎng)絡(luò)具有長(zhǎng)程相關(guān)(權(quán)重)和短程相關(guān)(輸入時(shí)延或Gamma單元)相結(jié)合的記憶結(jié)構(gòu)，因此可被用來充分地建模系統(tǒng)的非線性動(dòng)力行為，和較靈活地處理時(shí)變系統(tǒng)動(dòng)力特征的長(zhǎng)程相關(guān)性和短程突發(fā)性，具有較好的適應(yīng)性和魯棒性。在論文“Nonlinear Channel Equalization Using MultilayerPerceptrons with Information-Theoretic Criterion”和“Nonlinear ChannelEqualization for QAM Signal Constellation Using Artificial NeuralNetworks”(發(fā)表在IEEE Transactions on Systems，Man，and Cybernetics，1999年4月第29卷)中介紹了兩種基于人工神經(jīng)網(wǎng)絡(luò)的非線性適應(yīng)均衡方法，相對(duì)于線性均衡方法具有明顯的性能優(yōu)勢(shì)。這種均衡器一般以多層感知機(jī)(MLP)或徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)為核心，實(shí)現(xiàn)非線性信號(hào)的補(bǔ)償。神經(jīng)網(wǎng)絡(luò)主要實(shí)現(xiàn)非線性濾波的作用，對(duì)被信道噪聲或其他噪聲源污染的輸入信號(hào)進(jìn)行補(bǔ)償，獲得期望中的源信號(hào)。由于達(dá)到一定復(fù)雜程度的神經(jīng)網(wǎng)絡(luò)具有通用的函數(shù)擬和能力，可以近似任意函數(shù)關(guān)系，因而適當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以反映出由信道、放大器和其他系統(tǒng)噪聲源對(duì)于輸入信號(hào)的響應(yīng)特性。
但是神經(jīng)網(wǎng)絡(luò)在非線性均衡中的應(yīng)用中仍受到一個(gè)關(guān)鍵因素的制約訓(xùn)練過程的收斂性問題。不同于傳統(tǒng)的解析優(yōu)化方法，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程主要利用局域信息；映象空間中的局域最優(yōu)點(diǎn)將干擾訓(xùn)練過程向全局最優(yōu)收斂，會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程具有較多的不確定性和可變性，即訓(xùn)練時(shí)間開銷的概率分布具有重尾(heavy-tailed)特性。具體到適應(yīng)性非線性均衡方法中，神經(jīng)網(wǎng)絡(luò)均衡器訓(xùn)練時(shí)間開銷的重尾性將導(dǎo)致訓(xùn)練過程，在某些時(shí)間周期中，無法成功達(dá)到對(duì)均衡器的訓(xùn)練質(zhì)量目標(biāo)，即訓(xùn)練過程不收斂，使得在這些時(shí)間周期內(nèi)，均衡器處于下優(yōu)性能狀態(tài)，嚴(yán)重影響均衡質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于提供一種神經(jīng)網(wǎng)絡(luò)均衡器的優(yōu)化訓(xùn)練方法，用以改善前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率。
本發(fā)明所述神經(jīng)網(wǎng)絡(luò)均衡器的優(yōu)化訓(xùn)練方法，包括以下步驟一、記錄神經(jīng)網(wǎng)絡(luò)均衡器在典型信道條件下的訓(xùn)練時(shí)間開銷；二、利用步驟一的訓(xùn)練時(shí)間開銷，計(jì)算神經(jīng)網(wǎng)絡(luò)均衡器的優(yōu)化重起點(diǎn)及對(duì)應(yīng)的期望開銷；三、將優(yōu)化重起點(diǎn)作為訓(xùn)練過程的控制參數(shù)，利用發(fā)送端傳送的訓(xùn)練序列訓(xùn)練神經(jīng)網(wǎng)絡(luò)均衡器，如果訓(xùn)練開銷超過優(yōu)化重起點(diǎn)所對(duì)應(yīng)的期望開銷，則隨機(jī)化神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)和偏移參數(shù)，重起訓(xùn)練過程；四、神經(jīng)網(wǎng)絡(luò)均衡器訓(xùn)練收斂后，其輸出補(bǔ)償失真的無線信號(hào)。
本發(fā)明所述神經(jīng)網(wǎng)絡(luò)均衡器的優(yōu)化訓(xùn)練方法可以有效降低典型的前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間開銷，從而在保留神經(jīng)網(wǎng)絡(luò)均衡器的自適應(yīng)性和非線性建模能力的情況下，顯著提高可用性。


圖1是本發(fā)明優(yōu)化訓(xùn)練方法的流程圖。
圖2是本發(fā)明所選用TLFN的拓?fù)浣Y(jié)構(gòu)示意圖。
圖3是典型的適應(yīng)性均衡器的訓(xùn)練過程示意圖。
圖4是采用本發(fā)明所述訓(xùn)練方法的計(jì)算開銷的理論值曲線圖。
圖5是采用本發(fā)明所述訓(xùn)練方法的計(jì)算開銷的仿真值曲線圖。
圖6是采用本發(fā)明所述訓(xùn)練方法的TLFN均衡器的訓(xùn)練精度仿真值曲線圖。
具體實(shí)施例方式
由于神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間的開銷分布具有重尾現(xiàn)象，而計(jì)算時(shí)間開銷分布的重尾現(xiàn)象在NP優(yōu)化問題中是普遍存在的，因此可以利用抑制NP優(yōu)化問題時(shí)間開銷重尾性的方法來解決神經(jīng)網(wǎng)絡(luò)訓(xùn)練的收斂問題。遵循上述思路，本發(fā)明提出了一種用于改善前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練效率的優(yōu)化訓(xùn)練方法。
本發(fā)明選用時(shí)間延遲前饋神經(jīng)網(wǎng)絡(luò)TLFN(Time Lagged Forward neuralNetworks)作為一個(gè)實(shí)施例，原因在于該類網(wǎng)絡(luò)拓?fù)渫瑫r(shí)具有長(zhǎng)程和短程記憶，可以較靈活折中建模對(duì)象的動(dòng)力行為的長(zhǎng)程相關(guān)性和短程突發(fā)性；并且該類網(wǎng)絡(luò)屬于前饋結(jié)構(gòu)，其訓(xùn)練的計(jì)算復(fù)雜性可以被控制在一個(gè)較低的水平上。本發(fā)明所述優(yōu)化訓(xùn)練方法也可以適用于其他類型的前饋網(wǎng)絡(luò)。
圖1是本發(fā)明所述方法的流程圖。首先根據(jù)信道的統(tǒng)計(jì)特征，利用非線性模型辨識(shí)方法，選擇適當(dāng)拓?fù)浣Y(jié)構(gòu)的TLFN均衡器。信道統(tǒng)計(jì)特征的確定可以依據(jù)某種先驗(yàn)?zāi)Ｐ停缂有愿咚拱自肼暤?，也可以依?jù)實(shí)際的測(cè)量數(shù)據(jù)。非線性模型辨識(shí)方法可以基于通常的熵方法的變形，如非線性不可約自相關(guān)方法。在確定了TLFN均衡器的結(jié)構(gòu)后，記錄TLFN均衡器在典型信道條件下的訓(xùn)練時(shí)間開銷，記錄的訓(xùn)練時(shí)間開銷越多，利用核密度估計(jì)法估計(jì)的TLFN均衡器訓(xùn)練開銷的概率分布就越精確。在期望訓(xùn)練開銷與重起點(diǎn)之間存在一定的函數(shù)關(guān)系，一般地，期望訓(xùn)練開銷和重起點(diǎn)都是以訓(xùn)練批次為單位，將期望訓(xùn)練開銷的最小值所對(duì)應(yīng)的重起點(diǎn)定義為優(yōu)化重起點(diǎn)，并將優(yōu)化重起點(diǎn)作為TLFN均衡器訓(xùn)練過程的控制參數(shù)，使訓(xùn)練開銷一旦超過優(yōu)化重起點(diǎn)所對(duì)應(yīng)的批次數(shù)，就隨機(jī)化TLFN的參數(shù)(權(quán)值和偏移)，重起訓(xùn)練過程。最后利用無線通信發(fā)送端傳送的訓(xùn)練序列訓(xùn)練TLFN，等訓(xùn)練過程收斂后，TLFN均衡器的輸出即作為失真的無線信號(hào)的補(bǔ)償信號(hào)。
圖2是TLFN的拓?fù)浣Y(jié)構(gòu)示意圖，有三層結(jié)構(gòu)輸入層、隱藏層和輸出層。輸入層的短程記憶機(jī)制可以采用時(shí)延線或者如Gamma記憶單元的卷積記憶結(jié)構(gòu)。如前所述，該類網(wǎng)絡(luò)同時(shí)具有長(zhǎng)程相關(guān)和短程相關(guān)的記憶結(jié)構(gòu)，可以較靈活地處理時(shí)變系統(tǒng)動(dòng)力特征的長(zhǎng)程相關(guān)性和短程突發(fā)性。
適應(yīng)性均衡器需要定期進(jìn)行訓(xùn)練，圖3給出了典型的訓(xùn)練過程示意圖。濾波單元首先針對(duì)特定的輸入，通過濾波估計(jì)發(fā)送端發(fā)送的波形，將估計(jì)值與決策單元獲得的實(shí)際信號(hào)的精確波形進(jìn)行比較，再根據(jù)估計(jì)誤差調(diào)整濾波單元的參數(shù)，以改善濾波性能。在本發(fā)明中，TLFN承擔(dān)濾波單元的作用。
利用隨機(jī)重起改善TLFN均衡器的訓(xùn)練收斂性問題是基于這樣的思路假設(shè)訓(xùn)練過程的計(jì)算開銷可以用一個(gè)隨機(jī)變量刻畫，并且計(jì)算開銷的概率分布是重尾的，即隨機(jī)變量X滿足P[X＞x]∝x-α，x→+∞，0＜α＜2那么其訓(xùn)練計(jì)算開銷的期望值不存在(發(fā)散)。但是如果假設(shè)不同訓(xùn)練過程的計(jì)算開銷是統(tǒng)計(jì)獨(dú)立的，為訓(xùn)練過程設(shè)定一個(gè)合適的截?cái)帱c(diǎn)n，n的單位可以靈活選擇，例如以訓(xùn)練樣本批次為單位。如果訓(xùn)練次數(shù)達(dá)到n，則隨機(jī)初始化權(quán)重，重起訓(xùn)練過程，這樣可以使訓(xùn)練的計(jì)算開銷具有一個(gè)有限的期望值。假設(shè)訓(xùn)練過程在某個(gè)計(jì)算開銷限制n之前結(jié)束的概率為p，在其后結(jié)束的概率為q＝1-p，則以n為重起點(diǎn)的隨機(jī)重起訓(xùn)練過程的計(jì)算開銷期望是E=Σk=1+∞kn(1-p)k-1p]]>=-npΣk=1+∞d(1-p)kdp]]>=-npddp[Σk=1+∞(1-p)k]]]>=-npddp(1-pp)]]>
=np]]>這是一個(gè)依賴于p和n的有限值。
進(jìn)一步確定優(yōu)化重起點(diǎn)。令d(n)和d(j-1，j)是兩個(gè)如下定義的隨機(jī)事件，d(n)訓(xùn)練在計(jì)算開銷n之內(nèi)完成；d(j-1，j)訓(xùn)練在計(jì)算開銷(j-1，j)之內(nèi)完成。
令El(n)為假設(shè)訓(xùn)練在計(jì)算開銷n之內(nèi)完成的條件下計(jì)算開銷的條件期望，即El(n)≡Σj=1nP[d(j-1,j)|d(n)]·j=Σj=1nPj-Pj-1Pnj]]>這里Pn，Pj，Pj-1分別是訓(xùn)練在計(jì)算開銷n，j，j-1之內(nèi)完成的概率，這些概率的估計(jì)值可以由非參數(shù)概率分布估計(jì)方法，如核估計(jì)方法獲得。
定義Er(n)為以n為重起點(diǎn)的隨機(jī)重起訓(xùn)練過程的計(jì)算開銷期望Er(n)≡Σi=0∞(1-Pn)i·Pn(i·n+El)]]>則，Er(n)=Σi=0∞(1-Pn)i·Pnin+Σi=0∞(1-Pn)i·PnEl]]>Er(n)=(1-Pn)Pnn+El----(1)]]>式(1)的最小值所對(duì)應(yīng)的n即為優(yōu)化重起點(diǎn)。
圖4和圖5分別給出了采用不同重起點(diǎn)隨機(jī)重起時(shí)，訓(xùn)練過程計(jì)算開銷的理論值和仿真值。仿真的方案如下，測(cè)試以300、400、500、…、17100、17200為重起點(diǎn)時(shí)的計(jì)算開銷(共170個(gè)測(cè)試點(diǎn))。這里受計(jì)算開銷的限制，為訓(xùn)練設(shè)立最大截?cái)帱c(diǎn)25000個(gè)訓(xùn)練批次，如果在進(jìn)行了25000個(gè)訓(xùn)練批次后仍未達(dá)到訓(xùn)練目標(biāo)，即平方誤差和小于等于2.2，則強(qiáng)制終止訓(xùn)練過程，并選用這25000個(gè)訓(xùn)練批次中所達(dá)到的最小誤差所對(duì)應(yīng)的TLFN參數(shù)作為訓(xùn)練結(jié)果。這樣，如果重起點(diǎn)是300，則最多執(zhí)行84次重起(25000/300的上取整)，其中最后一次重起后最多只訓(xùn)練100個(gè)批次。由圖可見，利用式(1)的最小值可以較準(zhǔn)確地估計(jì)優(yōu)化重起點(diǎn)。圖6給出采用不同重起點(diǎn)時(shí)隨機(jī)重起時(shí)TLFN均衡器訓(xùn)練精度的仿真值，由圖可見，使用優(yōu)化重起可以明顯降低訓(xùn)練輸出的誤差和誤差的波動(dòng)。
權(quán)利要求
1.一種神經(jīng)網(wǎng)絡(luò)均衡器的優(yōu)化訓(xùn)練方法，其特征在于，包括以下步驟一、記錄神經(jīng)網(wǎng)絡(luò)均衡器在典型信道條件下的訓(xùn)練時(shí)間開銷；二、利用步驟一的訓(xùn)練時(shí)間開銷，計(jì)算神經(jīng)網(wǎng)絡(luò)均衡器的優(yōu)化重起點(diǎn)及對(duì)應(yīng)的期望開銷；三、將優(yōu)化重起點(diǎn)作為訓(xùn)練過程的控制參數(shù)，利用發(fā)送端傳送的訓(xùn)練序列訓(xùn)練神經(jīng)網(wǎng)絡(luò)均衡器，如果訓(xùn)練開銷超過優(yōu)化重起點(diǎn)所對(duì)應(yīng)的期望開銷，則隨機(jī)化神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)和偏移參數(shù)，重起訓(xùn)練過程；四、神經(jīng)網(wǎng)絡(luò)均衡器訓(xùn)練收斂后，其輸出補(bǔ)償失真的無線信號(hào)。
2.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)均衡器的優(yōu)化訓(xùn)練方法，其特征在于，所述步驟二計(jì)算神經(jīng)網(wǎng)絡(luò)均衡器的優(yōu)化重起點(diǎn)的公式是Er(n)=(1-Pn)Pnn+El,]]>其中，n為重起點(diǎn)，Er(n)為以n為重起點(diǎn)的隨機(jī)重起訓(xùn)練過程的計(jì)算開銷期望，Pn是訓(xùn)練過程在計(jì)算開銷n之內(nèi)完成的概率，El(n)為假設(shè)訓(xùn)練過程在計(jì)算開銷n之內(nèi)完成的條件下計(jì)算開銷的條件期望。
全文摘要
本發(fā)明提供一種神經(jīng)網(wǎng)絡(luò)均衡器的優(yōu)化訓(xùn)練方法，首先記錄神經(jīng)網(wǎng)絡(luò)均衡器在典型信道條件下的訓(xùn)練時(shí)間開銷；利用所得的訓(xùn)練時(shí)間開銷，計(jì)算神經(jīng)網(wǎng)絡(luò)均衡器的優(yōu)化重起點(diǎn)；將優(yōu)化重起點(diǎn)作為訓(xùn)練過程的控制參數(shù)，利用發(fā)送端傳送的訓(xùn)練序列訓(xùn)練神經(jīng)網(wǎng)絡(luò)均衡器，如果訓(xùn)練開銷超過優(yōu)化重起點(diǎn)所對(duì)應(yīng)的期望開銷，則隨機(jī)化神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)和偏移參數(shù)，重起訓(xùn)練過程；神經(jīng)網(wǎng)絡(luò)均衡器訓(xùn)練收斂后，其輸出補(bǔ)償失真的無線信號(hào)。本發(fā)明可以有效降低典型的前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間開銷，從而在保留神經(jīng)網(wǎng)絡(luò)均衡器的自適應(yīng)性和非線性建模能力的情況下，顯著提高可用性。
文檔編號(hào)G06N3/00GK1485798SQ0213723
公開日2004年3月31日 申請(qǐng)日期2002年9月24日 優(yōu)先權(quán)日2002年9月24日
發(fā)明者侯越先, 王寧 申請(qǐng)人:深圳市中興通訊股份有限公司