本發(fā)明屬于空中交通管制的航班時(shí)刻優(yōu)化,具體涉及一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化方法及系統(tǒng)。
背景技術(shù):
1、長(zhǎng)遠(yuǎn)來(lái)看,航空運(yùn)輸需求將會(huì)呈現(xiàn)持續(xù)增長(zhǎng)趨勢(shì),但機(jī)場(chǎng)容量、航路點(diǎn)容量等空域資源是有限的,隨之而來(lái)的是,航班時(shí)刻需求增加,但機(jī)場(chǎng)沒有充足的可用資源,二者之間的矛盾將導(dǎo)致交通擁堵和航班延誤等情況的出現(xiàn)。
2、機(jī)場(chǎng)群是在一定地區(qū)范圍內(nèi)各機(jī)場(chǎng)與城市間形成的空間集群,以一個(gè)或多個(gè)樞紐機(jī)場(chǎng)為關(guān)鍵核心。伴隨著城市地區(qū)的擴(kuò)張,機(jī)場(chǎng)形成了相互制約的機(jī)場(chǎng)群??沼蛸Y源在機(jī)場(chǎng)群之間高度共享,所以需要協(xié)同發(fā)展、共同調(diào)控。以機(jī)場(chǎng)群為核心調(diào)控空域資源分配,能夠使機(jī)場(chǎng)資源得到更加科學(xué)合理的利用,將促進(jìn)機(jī)場(chǎng)群協(xié)同發(fā)展。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的是提供一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化方法及系統(tǒng)。
2、為了解決上述技術(shù)問(wèn)題,本發(fā)明第一方面提供了一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化方法,包括:
3、對(duì)實(shí)際的機(jī)場(chǎng)群航班運(yùn)行數(shù)據(jù)預(yù)處理,構(gòu)建航班運(yùn)行數(shù)據(jù)集;
4、馬爾科夫過(guò)程建模,確定智能體、狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)、環(huán)境模擬器;
5、構(gòu)建基于dqn的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化模型;
6、利用航班實(shí)際運(yùn)行數(shù)據(jù)集,驗(yàn)證優(yōu)化模型的合理性。
7、本發(fā)明的第二方面提供了一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化系統(tǒng),包括:
8、航班運(yùn)行數(shù)據(jù)集構(gòu)建模塊,用于對(duì)實(shí)際的機(jī)場(chǎng)群航班運(yùn)行數(shù)據(jù)預(yù)處理,構(gòu)建航班運(yùn)行數(shù)據(jù)集;
9、馬爾科夫過(guò)程建模模塊,用于進(jìn)行馬爾科夫過(guò)程建模,確定智能體、狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)、環(huán)境模擬器;
10、優(yōu)化模型構(gòu)建模塊,用于構(gòu)建基于dqn的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化模型;
11、合理性驗(yàn)證模塊,用于利用航班實(shí)際運(yùn)行數(shù)據(jù)集,驗(yàn)證優(yōu)化模型的合理性。
12、本發(fā)明的有益效果是:
13、本發(fā)明的基于深度強(qiáng)化學(xué)習(xí)的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化方法使用dqn優(yōu)化航班時(shí)刻表,用深度神經(jīng)網(wǎng)絡(luò)來(lái)代替?zhèn)鹘y(tǒng)強(qiáng)化學(xué)習(xí)的表格,結(jié)合了強(qiáng)化學(xué)習(xí)的決策能力與深度學(xué)習(xí)的數(shù)據(jù)分析能力,使得處理大規(guī)模數(shù)據(jù)空間的任務(wù)更加高效;dqn能夠進(jìn)行長(zhǎng)期規(guī)劃,考慮未來(lái)的獎(jiǎng)勵(lì),相較于傳統(tǒng)的啟發(fā)式算法能夠更好地避免陷入局部最優(yōu)解,有利于指導(dǎo)現(xiàn)實(shí)航班運(yùn)行時(shí)刻優(yōu)化。
14、本發(fā)明的其他特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書中闡述,并且,部分地從說(shuō)明書中變得顯而易見,或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)在說(shuō)明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。
15、為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂,下文特舉較佳實(shí)施例,并配合所附附圖,作詳細(xì)說(shuō)明如下。
1.一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化方法,其特征在于,包括:
2.如權(quán)利要求1所述的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化方法,其特征在于,
3.如權(quán)利要求2所述的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化方法,其特征在于,
4.如權(quán)利要求3所述的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化方法,其特征在于,
5.如權(quán)利要求4所述的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化方法,其特征在于,
6.如權(quán)利要求5所述的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化方法,其特征在于,
7.一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)場(chǎng)群航班時(shí)刻優(yōu)化系統(tǒng),其特征在于,包括: