本發(fā)明涉及群集系統(tǒng)優(yōu)化方法,具體涉及一種面向集群系統(tǒng)的資源優(yōu)化管理方法。
背景技術(shù):
集群系統(tǒng)是指一組相互獨立的計算機,利用高速通信網(wǎng)絡(luò)組成一個計算機系統(tǒng),每個群集節(jié)點,即集群中的每臺計算機,都是運行期自己進程的一個獨立服務(wù)器。這些進程可以彼此通信,對網(wǎng)絡(luò)客戶機來說就像是形成了一個單一系統(tǒng),協(xié)同起來向用戶提供應(yīng)用程序、系統(tǒng)資源和數(shù)據(jù)處理,并以單一系統(tǒng)的模式加以管理。然而現(xiàn)在的集群系統(tǒng)中,會存在由于資源分配不當(dāng),使得很多節(jié)點大部分時間都處于空閑狀態(tài),而該空閑狀態(tài)的節(jié)點所在隊列里又仍有很多待完成的作業(yè),由于這種情況,使得集群系統(tǒng)的節(jié)點利用率變得極低,造成集群系統(tǒng)工作效率低下。
技術(shù)實現(xiàn)要素:
本發(fā)明的目的在于提供一種面向集群系統(tǒng)的資源優(yōu)化管理方法,解決目前的集群系統(tǒng)中存在即是在有大量待完成的作業(yè)的情況下,仍有許多節(jié)點由于系統(tǒng)原因而處于空閑狀態(tài),導(dǎo)致的集群系統(tǒng)效率低下的問題,達到提升集群系統(tǒng)節(jié)點利用率,改善集群系統(tǒng)整體工作效率的目的。
本發(fā)明通過下述技術(shù)方案實現(xiàn):
一種面向集群系統(tǒng)的資源優(yōu)化管理方法,包括:步驟一、將集群系統(tǒng)中的計算節(jié)點整合為不同的隊列,當(dāng)任務(wù)進入某一隊列,則計算出該任務(wù)在所述隊列中的配置屬性;步驟二、根據(jù)任務(wù)的優(yōu)先級影響因子,計算該任務(wù)在隊列中的優(yōu)先級,并按照優(yōu)先級高低在隊列中為任務(wù)設(shè)定執(zhí)行順序,執(zhí)行順序為從高優(yōu)先級到低優(yōu)先級;步驟三、檢查隊列中是否有高優(yōu)先級任務(wù)已經(jīng)占據(jù)了部分資源,卻因為尚未獲取所有需要的資源而導(dǎo)致任務(wù)暫時無法執(zhí)行且所占用的資源處于空閑狀態(tài);步驟四、若步驟四中判斷有處于空閑的資源,則在不影響高優(yōu)先級任務(wù)的前提下,根據(jù)分配策略的選擇,將處于空閑狀態(tài)的資源分配給該隊列中低優(yōu)先級的任務(wù)。
進一步的,步驟二中任務(wù)的優(yōu)先級影響因子包括,
任務(wù)來源:提交該任務(wù)的用戶的級別;
公平共享:提交該任務(wù)的用戶的資源使用歷史記錄;
任務(wù)申請資源:該任務(wù)索要占用的計算節(jié)點數(shù);CPU個數(shù)、GPU個數(shù)、DSP個數(shù)、內(nèi)存;
服務(wù)級別:任務(wù)排隊等待的時間和任務(wù)所需時間的比值、任務(wù)已經(jīng)在隊列中排隊的時間。
進一步的,分配策略包括:
首次適應(yīng)策略:掃描隊列中處于排隊狀態(tài)的任務(wù),執(zhí)行第一個能放入處于空閑狀態(tài)的計算節(jié)點的任務(wù);
最優(yōu)適應(yīng)策略:掃描隊列中處于排隊狀態(tài)的任務(wù),執(zhí)行能夠最大程度利用處于空閑狀態(tài)的計算節(jié)點的數(shù)量和其空閑實現(xiàn)的任務(wù);
貪婪適應(yīng)策略:掃描隊列中處于排隊狀態(tài)的任務(wù),挑選出優(yōu)先級最高的任務(wù)分配給空閑節(jié)點,達到最大程度上使得系統(tǒng)中的空閑節(jié)點完全被利用起來的情況,提升了系統(tǒng)的整體效率。
本發(fā)明與現(xiàn)有技術(shù)相比,具有如下的優(yōu)點和有益效果:
1、本發(fā)明一種面向集群系統(tǒng)的資源優(yōu)化管理方法, 通過系統(tǒng)內(nèi)部對空閑節(jié)點的靈活調(diào)用與安排,達到提升集群系統(tǒng)中的節(jié)點利用率,提升集群系統(tǒng)整體效率的目的。
具體實施方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白,下面結(jié)合實施例,對本發(fā)明作進一步的詳細說明,本發(fā)明的示意性實施方式及其說明僅用于解釋本發(fā)明,并不作為對本發(fā)明的限定。
實施例
本發(fā)明一種面向集群系統(tǒng)的資源優(yōu)化管理方法,包括:
步驟一、將集群系統(tǒng)中的計算節(jié)點整合為不同的隊列,當(dāng)任務(wù)進入某一隊列,則計算出該任務(wù)在所述隊列中的配置屬性;
步驟二、根據(jù)任務(wù)的優(yōu)先級影響因子,計算該任務(wù)在隊列中的優(yōu)先級,并按照優(yōu)先級高低在隊列中為任務(wù)設(shè)定執(zhí)行順序,執(zhí)行順序為從高優(yōu)先級到低優(yōu)先級;
步驟三 、檢查隊列中是否有高優(yōu)先級任務(wù)已經(jīng)占據(jù)了部分資源,卻因為尚未獲取所有需要的資源而導(dǎo)致任務(wù)暫時無法執(zhí)行且所占用的資源處于空閑狀態(tài);
步驟四、若步驟四中判斷有處于空閑的資源,則在不影響高優(yōu)先級任務(wù)的前提下,根據(jù)分配策略的選擇,將處于空閑狀態(tài)的資源分配給該隊列中低優(yōu)先級的任務(wù)。
進一步的,步驟二中任務(wù)的優(yōu)先級影響因子包括,
任務(wù)來源:提交該任務(wù)的用戶的級別;
公平共享:提交該任務(wù)的用戶的資源使用歷史記錄;
任務(wù)申請資源:該任務(wù)索要占用的計算節(jié)點數(shù);CPU個數(shù)、GPU個數(shù)、DSP個數(shù)、內(nèi)存;
服務(wù)級別:任務(wù)排隊等待的時間和任務(wù)所需時間的比值、任務(wù)已經(jīng)在隊列中排隊的時間。
進一步的,分配策略包括:
首次適應(yīng)策略:掃描隊列中處于排隊狀態(tài)的任務(wù),執(zhí)行第一個能放入處于空閑狀態(tài)的計算節(jié)點的任務(wù);
最優(yōu)適應(yīng)策略:掃描隊列中處于排隊狀態(tài)的任務(wù),執(zhí)行能夠最大程度利用處于空閑狀態(tài)的計算節(jié)點的數(shù)量和其將處于空閑狀態(tài)的持續(xù)時長;該任務(wù)通過計算處于空閑狀態(tài)的計算節(jié)點的梳理
貪婪適應(yīng)策略:掃描隊列中處于排隊狀態(tài)的任務(wù),挑選出優(yōu)先級最高的任務(wù)分配給空閑節(jié)點。該策略最大程度上保障了利用空閑節(jié)點完成優(yōu)先級為第二高的任務(wù)。
以上所述的具體實施方式,對本發(fā)明的目的、技術(shù)方案和有益效果進行了進一步詳細說明,所應(yīng)理解的是,以上所述僅為本發(fā)明的具體實施方式而已,并不用于限定本發(fā)明的保護范圍,凡在本發(fā)明的精神和原則之內(nèi),所做的任何修改、等同替換、改進等,均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。