一種基于連續(xù)狀態(tài)空間的認(rèn)知無線電接入問題新型算法模型的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明主要針對基于功率、信道分配的無線網(wǎng)接入決策算法模型進(jìn)行設(shè)計(jì)。涉 及無線網(wǎng)功率、信道分配、部分可觀察馬爾科夫模型（PartiallyObservableMarkov DecisionProcess,P0MDP)、非支配排序遺傳算法（Non-dominatedSortinggenetic algorithm,NSGA2)、蒙特卡羅值迭代算法（MonteCarloValueIteration,MCVI)。旨在 通過一種新型的算法模型，解決帶功率分配的無線網(wǎng)信道接入決策問題，提高局部范圍內(nèi) 無線網(wǎng)吞吐量。屬于認(rèn)知無線電、智能算法優(yōu)化領(lǐng)域。
【背景技術(shù)】
[0002] 當(dāng)前，隨著無線通信技術(shù)及其應(yīng)用的發(fā)展，許多應(yīng)用領(lǐng)域?qū)o線網(wǎng)傳輸?shù)乃俾屎?質(zhì)量都提出了較高的要求。但由于無線設(shè)備增長速度迅猛，有限的無線網(wǎng)頻帶已無法滿足 需求，由此顯現(xiàn)出如下3個(gè)重要挑戰(zhàn)： 1. 如何解決網(wǎng)絡(luò)資源幾乎被分配殆盡但實(shí)際利用率又極低的矛盾； 2. 存在多個(gè)無線網(wǎng)絡(luò)時(shí)，如何能快速建立不同網(wǎng)絡(luò)用戶間的通信信道，并能滿足用戶 一定的服務(wù)質(zhì)量（QoS,qualityofservice)要求； 3. 如何在復(fù)雜網(wǎng)絡(luò)環(huán)境下，使通信終端完成無線網(wǎng)絡(luò)自適應(yīng)接入，從而提高網(wǎng)絡(luò)運(yùn)行 的穩(wěn)健性和網(wǎng)絡(luò)維護(hù)的效率。
[0003] 在以往算法設(shè)計(jì)中，主要通過博弈算法、經(jīng)驗(yàn)公式等方法解決上述問題，但這類方 法適應(yīng)性較差，在不同網(wǎng)絡(luò)傳輸環(huán)境下需要進(jìn)行較大改動，降低了執(zhí)行與決策效率。而在一 些使用智能算法的方案中雖然彌補(bǔ)了適應(yīng)性差的缺陷，但也存在如下問題： 1. 難以解決連續(xù)狀態(tài)空間下的智能決策問題； 2. 無法兼顧無線網(wǎng)絡(luò)中功率分配和信道分配的綜合決策； 3. 算法時(shí)間復(fù)雜度較高。
[0004] 本發(fā)明基于這些問題，使用POMDP模型和MCVI算法提出了一種新型算法模型以解 決帶功率分配的無線網(wǎng)信道接入問題。與傳統(tǒng)解決POMDP模型的算法不同，MCVI算法可解 決連續(xù)狀態(tài)空間下的POMDP問題，提高了決策結(jié)果的可信度，但算法執(zhí)行速度較慢。
[0005] 為了加快算法執(zhí)行速度，本發(fā)明使用NSGA2優(yōu)化MCVI算法，旨在通過改進(jìn)后的算 法模型，更加高效、可靠的解決無線網(wǎng)絡(luò)中功率分配和信道分配問題。

【發(fā)明內(nèi)容】

[0006] MCVI算法是解決連續(xù)狀態(tài)空間下智能決策問題的有效離線算法，主要運(yùn)用了蒙特 卡羅模擬、信念樹和決策圖相互迭代更新的方法進(jìn)行決策。算法執(zhí)行完成后將生成最終決 策圖，該圖將被運(yùn)用于智能體的實(shí)時(shí)決策中。但原始的MCVI算法存在如下問題： 1. 重復(fù)計(jì)算智能體相同或相似的狀態(tài)，導(dǎo)致算法運(yùn)行速率降低； 2. 信念樹和決策圖的結(jié)點(diǎn)數(shù)隨時(shí)間呈線性增長，當(dāng)算法運(yùn)行一段時(shí)間后，運(yùn)行效率將 明顯降低； 3.對于實(shí)時(shí)性要求較高的智能決策問題，最終生成的決策圖較大，不便于搜索，降低了 智能體決策的實(shí)時(shí)性。
[0007] 本發(fā)明針對上述三個(gè)問題，提出了一種使用NSGA2進(jìn)行優(yōu)化的新型算法模型。該 模型通過MCVI算法的運(yùn)行參數(shù)，使用NSGA2對決策圖集合進(jìn)行優(yōu)化搜索，有效避免了相似 信念點(diǎn)重復(fù)計(jì)算的問題，從而抑制信念樹和決策圖結(jié)點(diǎn)的快速增長，極大提高了算法運(yùn)算 效率和實(shí)際運(yùn)用中的決策速度。NSGA2使用的MCVI運(yùn)行參數(shù)包括：達(dá)到單步目標(biāo)的運(yùn)行時(shí) 間、決策圖結(jié)點(diǎn)數(shù)、模擬決策平均回報(bào)值。
[0008] 基于改進(jìn)后的算法模型，本發(fā)明將其運(yùn)用到認(rèn)知無線電網(wǎng)絡(luò)接入問題中。解決的 問題主要包括：1.當(dāng)無線設(shè)備需要發(fā)送數(shù)據(jù)時(shí)，對發(fā)送信道和功率進(jìn)行決策；2.發(fā)送數(shù)據(jù) 時(shí)若當(dāng)前信道被占用，無線設(shè)備選擇等待或更換信道；3.數(shù)據(jù)發(fā)出后，發(fā)生沖突時(shí)如何處 理。
[0009] 為解決上述問題。主要
【發(fā)明內(nèi)容】
如下： 1)功率狀態(tài)空間使用連續(xù)實(shí)數(shù)空間：在傳統(tǒng)解決網(wǎng)絡(luò)信道接入問題的智能算法中，功 率狀態(tài)空間一般為離散值，無法直接使用連續(xù)狀態(tài)空間進(jìn)行決策，該方法降低了最終決策 結(jié)果的可信度。本發(fā)明針對這一缺陷，基于連續(xù)狀態(tài)空間POMDP模型求解的MCVI算法，將 其運(yùn)用于無線網(wǎng)功率、信道分配問題中，有效解決了該問題并提高了最終決策的可信度。
[0010] 2)使用連續(xù)狀態(tài)空間POMDP模型對無線網(wǎng)功率、信道分配問題建模：標(biāo)準(zhǔn)POMDP 模型由多元組a7；4疋r}組成，其中乂兒必>別表示智能體的狀態(tài)、執(zhí)行動作和 觀測結(jié)果，由于POMDP模型為部分可觀測模型，所以無法準(zhǔn)確確定智能體所處狀態(tài)，通常使 用信念集合贈代狀態(tài)集合5；且每一個(gè)信念點(diǎn)都表示了 5?合中所有狀態(tài)可能出現(xiàn)的概 率分布；r、z分別表示狀態(tài)轉(zhuǎn)移概率函數(shù)和觀測結(jié)果概率函數(shù)，其表達(dá)式分別為：a，Y )=/7(51'Ia, 51),Zka, 〇)=/?(〇|a, 51) 示單步?jīng)Q策回報(bào)值，表示為a) ;r表示折扣因 子。
[0011] 本發(fā)明中，設(shè)無線信道數(shù)為況則為2維數(shù)組，前M隹代表無線設(shè)備檢 測到相應(yīng)信道的功率，功率值為非負(fù)實(shí)數(shù)；斯1至2 ,V維代表各信道被其它終端連續(xù)占用 的周期數(shù)，本發(fā)明中一個(gè)周期指兩次動作決策間的時(shí)間間隔；第2 ?V+ 1維代表當(dāng)前無線 設(shè)備需要發(fā)送數(shù)據(jù)的剩余字節(jié)數(shù)；第2Z.V+ 維代表當(dāng)前無線設(shè)備正使用的發(fā)送信道d 為無線設(shè)備可選擇動作集，設(shè)最大發(fā)送功率為，最小發(fā)送功率為/，將區(qū)間A3J 離散為左個(gè)點(diǎn)，則J集合中包含AJ:個(gè)動作（為保證算法運(yùn)行速度在可接受范圍內(nèi)， K. .A、1GG)，將其編號為0到iJ，〇代表無線設(shè)備不發(fā)送任何數(shù)據(jù)，=XT-:至
【主權(quán)項(xiàng)】
1. 功率狀態(tài)空間使用連續(xù)實(shí)數(shù)空間：在傳統(tǒng)解決網(wǎng)絡(luò)信道接入問題的智能算法中，功 率狀態(tài)空間一般為離散值，無法直接使用連續(xù)狀態(tài)空間進(jìn)行決策；這種方法不僅加重了算 法運(yùn)行負(fù)擔(dān)，也降低了最終決策結(jié)果的可信度；為此，本發(fā)明基于連續(xù)狀態(tài)空間POMDP模型 求解的MCVI算法，將其運(yùn)用于無線網(wǎng)功率、信道分配問題中，有效解決了該問題并提高了 最終決策的可信度。
2. 使用基于連續(xù)狀態(tài)空間的POMDP模型對無線網(wǎng)功率、信道分配問題建模：標(biāo)準(zhǔn)POMDP 模型由多元組U 4 α 7； 4H組成； 本發(fā)明中，設(shè)無線信道數(shù)為況則為2 .· Λ - 2維數(shù)組，前M隹代表無線設(shè)備檢測到 相應(yīng)信道的功率，功率值為非負(fù)實(shí)數(shù)；斯1至2 ... T維代表各信道被其它終端連續(xù)占用的周 期數(shù)，本發(fā)明中一個(gè)周期指兩次動作決策間的時(shí)間間隔；第2 + 1維代表當(dāng)前無線設(shè) 備需要發(fā)送數(shù)據(jù)的剩余字節(jié)數(shù)；第I: z V τ ;維代表當(dāng)前無線設(shè)備正使用的發(fā)送信道為 無線設(shè)備可選擇動作集，設(shè)最大發(fā)送功率為，最小發(fā)送功率為，將區(qū)間A3J離 散為左個(gè)點(diǎn)，則J集合中包含A ·: J :個(gè)動作（為保證算法運(yùn)行速度在可接受范圍內(nèi)， < -Λ' i 1W)，將其編號為〇到代表無線設(shè)備不發(fā)送任何數(shù)據(jù)，m T -：至 U - #分別代表向1~礙信道以功率
發(fā)送數(shù)據(jù)，其中《為正 整數(shù)且取值范圍為[〇,幻代表觀測集合，該集合包含三個(gè)元素：{未發(fā)送數(shù)據(jù)，發(fā)送沖 突，發(fā)送成功};/?代表單步?jīng)Q策回報(bào)值，包括成功完成數(shù)據(jù)發(fā)送回報(bào)值尾Wsa，沖突回報(bào)值 兄_，更換發(fā)送信道回報(bào)值I胃,，等待回報(bào)值 3. NSGA2算法在本問題中的適應(yīng)性改進(jìn)：NSGA2使用的計(jì)算個(gè)體為決策圖，決策圖是由 多個(gè)結(jié)點(diǎn)組成；每個(gè)結(jié)點(diǎn)均包含一個(gè)決策動作信息，結(jié)點(diǎn)間為單向通路連接，每條通路均對 應(yīng)一個(gè)觀測值；當(dāng)無線設(shè)備檢測到某一觀測值時(shí)，可從當(dāng)前決策動作所在結(jié)點(diǎn)沿標(biāo)有對應(yīng) 觀測值的路徑查找下一個(gè)結(jié)點(diǎn)，既下一個(gè)決策動作；通過使用決策圖反復(fù)查找、觀測，無線 設(shè)備將得到完整的動作序列；在原始的MCVI算法中，由于大量相似信念點(diǎn)的存在，導(dǎo)致較 多動作序列被重復(fù)計(jì)算，而本發(fā)明中使用NSGA2算法進(jìn)行優(yōu)化可有效避免這一問題，通過 遺傳算法的迭代更新策略可有效去除包含較多重復(fù)動作序列的決策圖，從而提高算法模型 運(yùn)行效率。
【專利摘要】本發(fā)明屬于認(rèn)知無線電、智能算法優(yōu)化領(lǐng)域。當(dāng)前，隨著無線通信技術(shù)及其應(yīng)用的發(fā)展，無線網(wǎng)頻譜資源已幾乎被分配殆盡，但其實(shí)際利用率又極低。針對該問題，現(xiàn)有的智能求解算法模型存在如下問題：1.無法使用連續(xù)狀態(tài)空間進(jìn)行決策；2.無法兼顧功率分配與信道分配的綜合決策；3.算法復(fù)雜度高。為此，本發(fā)明使用基于連續(xù)狀態(tài)空間的POMDP模型為無線網(wǎng)功率、信道分配問題建模，并通過MCVI算法進(jìn)行決策。為加快算法運(yùn)行速度，使用NSGA2算法對其進(jìn)行優(yōu)化。主要發(fā)明點(diǎn)包括：1.功率狀態(tài)空間使用連續(xù)實(shí)數(shù)空間進(jìn)行決策；2.使用基于連續(xù)狀態(tài)空間的POMDP模型為無線網(wǎng)功率、信道分配問題建模；3.使用NSGA2改進(jìn)MCVI算法并使用改進(jìn)后的算法解決認(rèn)知無線電接入問題。
【IPC分類】G06N3-12, G06F19-00
【公開號】CN104765958
【申請?zhí)枴緾N201510136224
【發(fā)明人】江虹, 劉寅, 張秋云, 熊凱, 劉燕, 郭秋梅
【申請人】西南科技大學(xué)
【公開日】2015年7月8日
【申請日】2015年3月27日