一種基于勢(shì)博弈的多無(wú)人機(jī)協(xié)同搜索方法
【專利說(shuō)明】一種基于勢(shì)博弈的多無(wú)人機(jī)協(xié)同搜索方法 【技術(shù)領(lǐng)域】
[0001] 本發(fā)明是一種基于勢(shì)博弈的多無(wú)人機(jī)協(xié)同搜索方法，屬于無(wú)人機(jī)自主控制技術(shù)領(lǐng) 域。 【【背景技術(shù)】】
[0002] 在無(wú)人機(jī)所承擔(dān)的各種任務(wù)中，偵察和搜索(Reconnaissance and Search)是目 前無(wú)人機(jī)系統(tǒng)的首要任務(wù)，執(zhí)行這類任務(wù)的無(wú)人機(jī)通常稱為無(wú)人偵察機(jī)，典型的包括美軍 的"全球鷹(Global Hawk)"、"捕食者(Predator)"、"掃描鷹(Scan Eagle)"等無(wú)人機(jī)，其主 要功能為情報(bào)偵察、目標(biāo)搜索、目標(biāo)指示與定位、動(dòng)態(tài)目標(biāo)跟蹤以及戰(zhàn)場(chǎng)監(jiān)視等等。與偵察 衛(wèi)星相比，無(wú)人機(jī)的成本低，活動(dòng)區(qū)域不受衛(wèi)星軌道的限制，控制更加靈活，在針對(duì)動(dòng)態(tài)時(shí) 間敏感目標(biāo)時(shí)，可以在更短時(shí)間內(nèi)獲得更高分辨率的實(shí)時(shí)目標(biāo)圖像;與有人偵察機(jī)相比，無(wú) 人機(jī)能夠晝夜持續(xù)偵察，不必考慮飛行員的疲勞和傷亡，特別在對(duì)敵方嚴(yán)密設(shè)防的重要地 域執(zhí)行任務(wù)時(shí)，使用無(wú)人機(jī)更能體現(xiàn)出其優(yōu)越性。因此，采用無(wú)人機(jī)對(duì)作戰(zhàn)區(qū)域進(jìn)行目標(biāo)搜 索和情報(bào)偵察已經(jīng)成為當(dāng)前戰(zhàn)場(chǎng)信息獲取的重要手段。
[0003] 在無(wú)人機(jī)執(zhí)行任務(wù)過(guò)程中，搜索并且發(fā)現(xiàn)任務(wù)區(qū)域內(nèi)的目標(biāo)是后續(xù)進(jìn)行情報(bào)搜 集、目標(biāo)定位乃至打擊等一系列作戰(zhàn)活動(dòng)的基礎(chǔ)和前提。然而，在復(fù)雜的戰(zhàn)場(chǎng)條件下，由于 作戰(zhàn)任務(wù)區(qū)域的環(huán)境復(fù)雜性、目標(biāo)的不確定性、傳感器設(shè)備的不確定性和任務(wù)的時(shí)間緊迫 性等因素，使得目標(biāo)搜索問(wèn)題十分復(fù)雜，具體表現(xiàn)為:任務(wù)區(qū)域范圍大、環(huán)境復(fù)雜；目標(biāo)的類 型和運(yùn)動(dòng)特性復(fù)雜；目標(biāo)偵察搜索設(shè)備的性能有限；目標(biāo)搜索需要滿足任務(wù)時(shí)間要求等。
[0004] 對(duì)于目標(biāo)搜索任務(wù)來(lái)說(shuō)，單架無(wú)人機(jī)所掛載的傳感器性能有限，通常只能獲取有 限范圍內(nèi)的目標(biāo)信息，無(wú)法滿足對(duì)大量目標(biāo)的搜索和偵察需求;另一方面，由于無(wú)人機(jī)通常 是在高危環(huán)境下執(zhí)行任務(wù)，使得其故障率和毀傷率大大增加，此時(shí)，多無(wú)人機(jī)協(xié)同執(zhí)行任務(wù) 將具備如下的優(yōu)勢(shì)：可以通過(guò)相互之間的配合提高任務(wù)完成的質(zhì)量;可以通過(guò)資源和信息 的共孚擴(kuò)展執(zhí)彳丁任務(wù)的能力；可以通過(guò)任務(wù)的并彳丁執(zhí)彳丁縮短任務(wù)完成的時(shí)間、提尚任務(wù)執(zhí) 行的效率；當(dāng)出現(xiàn)平臺(tái)損毀時(shí)，可以通過(guò)任務(wù)重分配增加任務(wù)成功的概率。由此可見，組織 多架無(wú)人機(jī)協(xié)同執(zhí)行任務(wù)是未來(lái)網(wǎng)絡(luò)化戰(zhàn)場(chǎng)上的一種重要作戰(zhàn)方式，而如何有效控制多架 無(wú)人機(jī)在復(fù)雜環(huán)境中協(xié)同執(zhí)行搜索任務(wù)也逐漸成為近年來(lái)協(xié)同控制領(lǐng)域的重要內(nèi)容。
[0005] 多無(wú)人機(jī)協(xié)同搜索要求在滿足特定任務(wù)要求和約束條件下，對(duì)多架無(wú)人機(jī)實(shí)施有 效的控制，從而以最小的代價(jià)高質(zhì)量的完成對(duì)目標(biāo)的搜索，發(fā)現(xiàn)盡可能多的未知目標(biāo)。顯 然，協(xié)同搜索能夠帶來(lái)更好的作戰(zhàn)效能、實(shí)現(xiàn)更優(yōu)的資源利用。目前，多無(wú)人機(jī)協(xié)同控制的 結(jié)構(gòu)主要可分為集中式結(jié)構(gòu)和分布式結(jié)構(gòu)。在集中式結(jié)構(gòu)下，多架無(wú)人機(jī)通常在地面任務(wù) 控制站(或空中任務(wù)控制單元)的統(tǒng)一指揮和控制下執(zhí)行任務(wù)，作為中心的任務(wù)控制單元能 夠進(jìn)行慎思的規(guī)劃，具有良好的全局控制與決策能力，但是在未來(lái)多無(wú)人機(jī)網(wǎng)絡(luò)化作戰(zhàn)條 件下，集中式控制方式將面臨通信等諸多方面的問(wèn)題。
[0006] 隨著技術(shù)的不斷發(fā)展，無(wú)人機(jī)系統(tǒng)的性能不斷提升，無(wú)人機(jī)的自主能力也不斷增 強(qiáng)，分布式方式逐漸成為多無(wú)人機(jī)協(xié)同控制的研究熱點(diǎn)。在分布式控制方式下，每架無(wú)人機(jī) 具有相對(duì)獨(dú)立的控制器，多無(wú)人機(jī)之間通常采取協(xié)作的方式來(lái)解決全局控制問(wèn)題，系統(tǒng)具 有較好的魯棒性和容錯(cuò)性，并且大量的計(jì)算和決策能夠在無(wú)人機(jī)本地進(jìn)行，從而實(shí)現(xiàn)信息 的分散化、控制的分散化，使得控制的可靠性和靈活性大大改善。在上述分布式方式下，無(wú) 人機(jī)平臺(tái)之間的控制、決策以及信息都是高度分散的，多無(wú)人機(jī)之間的協(xié)同行為依賴于平 臺(tái)之間的信息交互。此時(shí)，多無(wú)人機(jī)協(xié)同控制將面臨如下挑戰(zhàn):通信的復(fù)雜性、計(jì)算的實(shí)時(shí) 性、環(huán)境的不確定性、信息的不一致性等問(wèn)題。 【
【發(fā)明內(nèi)容】
】
[0007] 1、發(fā)明目的：
[0008] 本發(fā)明提出了一種基于勢(shì)博弈的多無(wú)人機(jī)協(xié)同搜索方法，其目的是提供一種協(xié)同 控制方法，使得無(wú)人機(jī)在執(zhí)行搜索任務(wù)時(shí)能夠分布式地工作，獨(dú)立地針對(duì)自身所處的環(huán)境 做決策，從而達(dá)到整體效能的最優(yōu)，同時(shí)能夠應(yīng)對(duì)通信的復(fù)雜性、計(jì)算的實(shí)時(shí)性、信息的不 一致性等問(wèn)題。
[0009] 2、技術(shù)方案：
[0010] 本發(fā)明針對(duì)多無(wú)人機(jī)協(xié)同搜索的任務(wù)需求，開發(fā)了一種魯棒性強(qiáng)、實(shí)時(shí)性好的基 于勢(shì)博弈的多無(wú)人機(jī)協(xié)同搜索方法，該方法的步驟如下：
[0011] 步驟一:多無(wú)人機(jī)協(xié)同搜索問(wèn)題建模
[0012] 考慮用η架無(wú)人機(jī)(記為V= {vi，V2,…，Vn})對(duì)一個(gè)連續(xù)的任務(wù)區(qū)域〇eIR2(K表 示實(shí)數(shù)域)進(jìn)行搜索，每架無(wú)人機(jī)作為獨(dú)立的決策者采用分布式策略對(duì)任務(wù)區(qū)域進(jìn)行探索， 見附圖1。為了表示方便，將連續(xù)的任務(wù)區(qū)域DelR 2平均分配為M=LxXLy個(gè)單元(Lx，Ly表示 任務(wù)區(qū)域橫向、縱向分配的份數(shù)，Μ表示劃分的單元的個(gè)數(shù)），每個(gè)單元用其中心位置g=[x， y]T(x，y表示橫、縱坐標(biāo)的位置，T為數(shù)學(xué)符號(hào)轉(zhuǎn)置)等價(jià)代替。無(wú)人機(jī)^在時(shí)刻t對(duì)其覆蓋范 圍C,v內(nèi)的基本單元進(jìn)行一次獨(dú)立的測(cè)量，測(cè)量結(jié)果為Z , , g , t，其中 = {g I |g -//Λ?| < ，y1>t表示無(wú)人機(jī)w在時(shí)刻t的位置，RS1表示無(wú)人機(jī)傳感器的探測(cè) 范圍。若其中心位置位于C,v之內(nèi)，則某一單元g內(nèi)的信息可被無(wú)人機(jī)Vl檢測(cè)到。在時(shí)刻t，無(wú) 人機(jī)Vl執(zhí)行一次測(cè)量，觀測(cè)結(jié)果表示如下，
[0014] 此外，考慮機(jī)載傳感器的內(nèi)在特性，將其正確率和誤警率分別定義為P(Zi,g,t=l Qg= 1) =pc和P(Zi,g,t= 1 | 9g = 0) =pf，并假設(shè)這兩個(gè)參數(shù)已知，且在整個(gè)任務(wù)執(zhí)行過(guò)程中保 持不變，其中0g表示目標(biāo)存在于單元g中的概率。
[0015] 對(duì)于多無(wú)人機(jī)網(wǎng)絡(luò)的通信拓?fù)?，將其建模為一個(gè)動(dòng)態(tài)圖Gt=(et，Vt)，該動(dòng)態(tài)圖中 vt為頂點(diǎn)集合，表示為vt = {1，2,…，N}，et為連接邊集合，表示為et = {{i，j} : i，j ev; | I I < Rci}，其中yi,t和yj,t表示兩個(gè)不同無(wú)人機(jī)vi和vj在時(shí)刻t的位置，Rci為無(wú)人機(jī)的 通信范圍。無(wú)人機(jī)Vi在時(shí)刻t的鄰居集合表示為Ni,t={jev| {i, j}eet} U {i}，為表征方便， 設(shè)該無(wú)人機(jī)本身屬于其鄰居集合。無(wú)人機(jī)Vi在時(shí)刻t的度記為di,t= |Ni,t|，表示它將自身位 置信息和傳感器信息傳遞給鄰居個(gè)體的能力。
[0016] 步驟二:多無(wú)人機(jī)協(xié)調(diào)運(yùn)動(dòng)的勢(shì)博弈建模和雙對(duì)數(shù)-線性學(xué)習(xí)法勢(shì)博弈求解
[0017] (1)多無(wú)人機(jī)協(xié)調(diào)運(yùn)動(dòng)的勢(shì)博弈建模
[0018] 將多無(wú)人機(jī)協(xié)調(diào)運(yùn)動(dòng)建模成勢(shì)博弈的過(guò)程中，包括三方面的要素:博弈參與者、參 與者行動(dòng)集、效用函數(shù)。博弈參與者即為參與搜索過(guò)程的η架無(wú)人機(jī)，需要考慮的為行動(dòng)集 和效用函數(shù)的設(shè)計(jì)。
[0019] 博弈參與者行動(dòng)集Ai的設(shè)計(jì)：它定義了博弈參與者可選擇的全部行為，其中的元 素被稱為行動(dòng)，是參與者在博弈過(guò)程中的決策變量。無(wú)人機(jī)的搜索效率取決于其傳感器性 能以及其所在的位置，而特定無(wú)人機(jī)的傳感器性能在執(zhí)行任務(wù)過(guò)程中保持不變，所以它的 搜索效率由其位置決定。因此，將某一博弈者的行動(dòng)集定義為在任務(wù)區(qū)域內(nèi)它所能選擇的 位置，Ai={g|ge Ω }，Vv; e F。無(wú)人機(jī)vi的行動(dòng)表示為aiEAi，整個(gè)無(wú)人機(jī)群體的集體行動(dòng) 表示為3=(31，32，一，31〇，稱作行動(dòng)組合。設(shè)3(1：-1)為無(wú)人機(jī)￥：1在時(shí)刻1：-1的行動(dòng)組合，則根 據(jù)無(wú)人機(jī)運(yùn)動(dòng)特性以及障礙物等行動(dòng)約束，將時(shí)刻t行動(dòng)集簡(jiǎn)化為上一時(shí)刻行動(dòng)集的函數(shù)， 受限的行動(dòng)集，記為? (彳;〇 - ，見附圖2。按慣例規(guī)定，對(duì)于博弈者任一行動(dòng)&1已&， 有&16(：1(&1)，即無(wú)人機(jī)被允許停留在上一時(shí)刻的位置。
[0020] 在無(wú)人機(jī)被布置到任務(wù)器搜集信息時(shí)，密度函數(shù)/7: Ω^]1+(Κ+表示正的實(shí)數(shù) 集)用來(lái)記錄無(wú)人機(jī)對(duì)任務(wù)區(qū)域內(nèi)目標(biāo)時(shí)間發(fā)生概率的了解程度。由于信號(hào)衰減，傳感器性 能隨著目標(biāo)單元與無(wú)人機(jī)位置之間的幾何距離增大而降低，因此用非減可微函數(shù) /(|f-- >通+對(duì)傳感器的信號(hào)強(qiáng)度進(jìn)行量化分析，Ω為任務(wù)區(qū)域中單元格的 位置，Pl為無(wú)人機(jī)^的位置。無(wú)人機(jī)的性能用概率密度函數(shù)和信號(hào)衰減綜合表示如下：
[0024] 式中n(q)為密度函數(shù)，RSi為無(wú)人機(jī)Vi的傳感距離。
[0025] 博弈參與者效用函數(shù)Udai 的設(shè)計(jì):在效用函數(shù)的設(shè)計(jì)過(guò)程中，需考慮所設(shè)計(jì) 博弈的可擴(kuò)展性、靈活性、信息的局部性、以及效用函數(shù)的可求解性等因素。無(wú)人機(jī)^的效 用函數(shù)設(shè)計(jì)為問(wèn)題整體效用的邊際貢獻(xiàn)值，記做
[0027]根據(jù)勢(shì)函數(shù)的定義，按照式(3)設(shè)計(jì)效用函數(shù)，構(gòu)成的博弈為勢(shì)博弈，滿足勢(shì)博弈 的相關(guān)性質(zhì)，能利用各種學(xué)習(xí)算法保證其最優(yōu)性和收斂性。
[0028] (2)雙對(duì)數(shù)-線性學(xué)習(xí)法的勢(shì)博弈求解
[0029] 采用雙對(duì)數(shù)-線性學(xué)習(xí)法對(duì)問(wèn)題進(jìn)行求解，減少無(wú)人機(jī)計(jì)算資源的負(fù)擔(dān)，有利于多 無(wú)人機(jī)的實(shí)時(shí)運(yùn)動(dòng)控制。在雙對(duì)數(shù)-線性學(xué)習(xí)法中，首先按異步時(shí)間模型以相同的概率隨機(jī) 選擇一架無(wú)人改變其位置。與此同時(shí)，其他無(wú)人機(jī)保持之前的行動(dòng)不變a-dt) (t-1)。選擇出的無(wú)人機(jī)從其受限行動(dòng)集Cjadt-l))中選出嘗試動(dòng)作:?以改變其位置
[0032]其中Zl表示無(wú)人機(jī)Vl在受限行動(dòng)集中行動(dòng)的最大個(gè)數(shù)，表示為
[0033]無(wú)人機(jī)Vl在選擇出嘗試動(dòng)作表后，在時(shí)刻t按照策略?1(〇[ Δ (AO來(lái)更新其動(dòng)作， 博弈