一種多星遙感數(shù)據(jù)處理系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及遙感數(shù)據(jù)處理領(lǐng)域，特別是涉及一種多星遙感數(shù)據(jù)處理系統(tǒng)。
【背景技術(shù)】
[0002] 傳統(tǒng)遙感地面站數(shù)據(jù)處理系統(tǒng)，針對(duì)多顆衛(wèi)星需要建立多套處理系統(tǒng)，使得傳統(tǒng) 遙感地面站的硬件設(shè)備的大幅增加，并且由于不同設(shè)備只處理不同衛(wèi)星的數(shù)據(jù)，導(dǎo)致這些 硬件設(shè)備的資源使用率也相對(duì)較低的。因此，隨著我國(guó)擁有的遙感衛(wèi)星數(shù)量快速增加，傳統(tǒng) 遙感地面站數(shù)據(jù)處理系統(tǒng)已不能滿足應(yīng)用的需要。
[0003] 而隨著集群負(fù)載調(diào)度算法和負(fù)載均衡技術(shù)的不斷發(fā)展，在利用超級(jí)計(jì)算機(jī)或高可 用性集群處理數(shù)據(jù)的過程中，越來越多的技術(shù)人員都在考慮利用負(fù)載均衡。但是部分負(fù)載 均衡靜態(tài)調(diào)度算法，比如傳統(tǒng)的有輪轉(zhuǎn)算法、加權(quán)輪轉(zhuǎn)算法，適用于小規(guī)模訪問量的系統(tǒng)， 但對(duì)于有大規(guī)模訪問量的集群，顯然效率低，且穩(wěn)定性差。而還有部分負(fù)載均衡動(dòng)態(tài)調(diào)度算 法，比如最小連接、加權(quán)最小連接等，都是以連接為粒度，沒有實(shí)現(xiàn)真正的動(dòng)態(tài)調(diào)度，負(fù)載均 衡效果并不理想。
[0004] 本發(fā)明即是考慮到負(fù)載均衡技術(shù)，對(duì)現(xiàn)有負(fù)載均衡算法進(jìn)行改進(jìn)，使其適用于多 星遙感數(shù)據(jù)處理過程。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)問題是提供一種多星遙感數(shù)據(jù)處理系統(tǒng)，用于解決傳統(tǒng)遙 感地面站數(shù)據(jù)處理系統(tǒng)不適用于多星遙感數(shù)據(jù)處理的問題。
[0006] 本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：一種多星遙感數(shù)據(jù)處理系統(tǒng)，包括：
[0007] 系統(tǒng)層，用于提供軟件支撐環(huán)境；
[0008] 數(shù)據(jù)服務(wù)層，用于存儲(chǔ)遙感數(shù)據(jù)和配置信息；
[0009] 基礎(chǔ)服務(wù)層，用于通過負(fù)載均衡調(diào)度器根據(jù)調(diào)度算法控制不同的資源節(jié)點(diǎn)處理不 同衛(wèi)星的遙感數(shù)據(jù)；
[0010] 應(yīng)用服務(wù)層，用于通過業(yè)務(wù)組件和所述基礎(chǔ)服務(wù)層的負(fù)載均衡調(diào)度器，進(jìn)行多星 遙感數(shù)據(jù)的任務(wù)調(diào)度與流程控制本發(fā)明的有益效果是：本發(fā)明解決了傳統(tǒng)模式下針對(duì)多顆 衛(wèi)星建立多套處理系統(tǒng)的問題，通過配置即可實(shí)現(xiàn)簡(jiǎn)單流程的任務(wù)調(diào)度，且提供簡(jiǎn)便的二 次開發(fā)接口以實(shí)現(xiàn)復(fù)雜流程的任務(wù)調(diào)度，實(shí)現(xiàn)了多星數(shù)據(jù)在一個(gè)系統(tǒng)中使用的目的；同時(shí) 提供了多種任務(wù)調(diào)度的負(fù)載均衡機(jī)制，提高了硬件資源的使用效率。
[0011] 在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。
[0012] 進(jìn)一步，所述負(fù)載均衡調(diào)度器用于探測(cè)所述資源節(jié)點(diǎn)是否在線、確認(rèn)所述資源節(jié) 點(diǎn)上的軟件系統(tǒng)是否運(yùn)行正常、收集所述節(jié)點(diǎn)上的參數(shù)信息、根據(jù)所述資源節(jié)點(diǎn)的故障情 況進(jìn)行報(bào)警以及動(dòng)態(tài)添加、修改或刪除所述資源節(jié)點(diǎn)。
[0013] 采用上述進(jìn)一步方案的有益效果是：使多星遙感數(shù)據(jù)處理系統(tǒng)具備完善的系統(tǒng)監(jiān) 控能力和強(qiáng)大的集群管理能力，能夠動(dòng)態(tài)添加，修改，刪除處理節(jié)點(diǎn)，能夠?qū)崟r(shí)顯示每個(gè)處 理節(jié)點(diǎn)的資源狀態(tài)、任務(wù)運(yùn)行狀態(tài)，具備故障設(shè)備自動(dòng)報(bào)警能力，具備在節(jié)點(diǎn)故障時(shí)系統(tǒng)正 常運(yùn)行的能力。
[0014] 進(jìn)一步，所述調(diào)度算法包括優(yōu)化的加權(quán)最小連接調(diào)度算法、優(yōu)化的負(fù)載最小優(yōu)先 算法、任務(wù)級(jí)并行計(jì)算算法、算法級(jí)并行計(jì)算算法和數(shù)據(jù)級(jí)并行計(jì)算算法中的一種或多種。
[0015] 采用上述進(jìn)一步方案的有益效果是：設(shè)定了多種負(fù)載均衡算法，便于負(fù)載均衡調(diào) 度器進(jìn)行資源節(jié)點(diǎn)的分配。
[0016] 進(jìn)一步，所述優(yōu)化的負(fù)載最小優(yōu)先算法包括：利用動(dòng)態(tài)反饋機(jī)制，通過周期性的負(fù) 載信息查詢來修正所述負(fù)載均衡調(diào)度器上的負(fù)載表，所述負(fù)載表中記錄了各個(gè)所述資源節(jié) 點(diǎn)的負(fù)載情況；當(dāng)下一個(gè)更新周期到來前，將請(qǐng)求分配到當(dāng)前綜合負(fù)載最小的所述資源節(jié) 點(diǎn)，并按照預(yù)設(shè)經(jīng)驗(yàn)算法修正該所述資源節(jié)點(diǎn)的負(fù)載信息，所述預(yù)設(shè)經(jīng)驗(yàn)算法的修正因子 包括遙感數(shù)據(jù)量和單位算法處理時(shí)間。進(jìn)一步，
[0017] 采用優(yōu)化的負(fù)載最小優(yōu)先算法分配相應(yīng)的資源節(jié)點(diǎn)處理不同衛(wèi)星的遙感數(shù)據(jù)包 括以下步驟：
[0018] 初始化負(fù)載表，將遙感數(shù)據(jù)量和單位算法處理時(shí)間作為計(jì)算因子計(jì)算負(fù)載信息；
[0019] 接收一個(gè)客戶機(jī)的新請(qǐng)求，如果負(fù)載表為空，依次將請(qǐng)求分配到集群的各資源節(jié) 點(diǎn)上，直到負(fù)載表的各項(xiàng)都不為空；
[0020] 如果負(fù)載表的各項(xiàng)都不為空，從負(fù)載表中選取負(fù)載數(shù)最小的節(jié)點(diǎn)，將新請(qǐng)求轉(zhuǎn)發(fā) 到該所述資源節(jié)點(diǎn)上，并根據(jù)預(yù)設(shè)經(jīng)驗(yàn)算法修正負(fù)載表中該所述資源節(jié)點(diǎn)的負(fù)載信息；
[0021] 循環(huán)上述相應(yīng)步驟，直到更新周期到達(dá)；
[0022] 若更新周期到達(dá)，則刷新負(fù)載表；
[0023] 若在更新周期內(nèi)存在未向負(fù)載均衡調(diào)度器發(fā)送節(jié)點(diǎn)信息的所述資源節(jié)點(diǎn)，則在負(fù) 載表中，將該所述資源節(jié)點(diǎn)設(shè)置為不可達(dá)節(jié)點(diǎn)；
[0024] 若在下一更新周期收到不可達(dá)節(jié)點(diǎn)發(fā)送的節(jié)點(diǎn)信息，則更新該不可達(dá)節(jié)點(diǎn)的表 項(xiàng)，將其重置為可達(dá)的資源節(jié)點(diǎn)。進(jìn)一步，
[0025] 所述將遙感數(shù)據(jù)量和單位算法處理時(shí)間作為計(jì)算因子計(jì)算負(fù)載信息包括：
[0026]
[0027] 其中，Xl為遙感數(shù)據(jù)量，x2為單位算法處理時(shí)間，Ti為負(fù)載信息，kl表示負(fù)載信 息對(duì)遙感數(shù)據(jù)量的依賴程度，k2表示負(fù)載信息對(duì)單位算法時(shí)間的依賴程度。
[0028] 采用上述進(jìn)一步方案的有益效果是：給出了一種全新優(yōu)化的負(fù)載均衡算法，能夠 使最大限度使用系統(tǒng)資源，并以此來改善各個(gè)服務(wù)器負(fù)載的平衡性。進(jìn)一步，
[0029] 所述應(yīng)用服務(wù)層的業(yè)務(wù)組件包括：
[0030] 第一外部接口適配組件，用于實(shí)現(xiàn)多星遙感數(shù)據(jù)處理系統(tǒng)與外部系統(tǒng)的交互；
[0031] 調(diào)度擴(kuò)展策略組件，用于結(jié)合所述第一外部接口適配組件，生成分別用于存儲(chǔ)遙 感數(shù)據(jù)中的訂單和任務(wù)的訂單/任務(wù)管理池；
[0032] 節(jié)點(diǎn)管理組件，用于提供資源節(jié)點(diǎn)的節(jié)點(diǎn)信息；
[0033] 流程配置管理組件，用于提供與訂單對(duì)應(yīng)的流程信息；
[0034] 流程控制與調(diào)度組件，用于提取訂單/任務(wù)管理池中未處理的訂單，并根據(jù)所述 流程配置管理組件提供的所述與訂單對(duì)應(yīng)的流程信息，將所述訂單分配到所述任務(wù)，再根 據(jù)所述節(jié)點(diǎn)管理組件提供的所述節(jié)點(diǎn)信息，將所述任務(wù)分配到不同的所述資源節(jié)點(diǎn)上用于 進(jìn)行處理。
[0035] 進(jìn)一步，所述應(yīng)用服務(wù)層的業(yè)務(wù)組件還包括第一數(shù)據(jù)庫(kù)管理組件，用于保存流程 執(zhí)行過程中的訂單/任務(wù)信息和日志信息。
[0036] 進(jìn)一步，所述應(yīng)用服務(wù)層，還設(shè)置有用于統(tǒng)計(jì)訂單的訂單統(tǒng)計(jì)模塊、用于配置參數(shù) 的參數(shù)配置模塊和用于收集錯(cuò)誤信息的錯(cuò)誤信息收集模塊。
[0037] 進(jìn)一步，
[0038] 所述流程控制與調(diào)度組件將將所述任務(wù)分配到不同的所述資源節(jié)點(diǎn)上后，相應(yīng)的 用于進(jìn)行處理的所述資源節(jié)點(diǎn)是通過所述應(yīng)用服務(wù)層的業(yè)務(wù)組件進(jìn)行任務(wù)處理，該進(jìn)行任 務(wù)處理的業(yè)務(wù)組件包括第二外部接口適配組件、任務(wù)擴(kuò)展組件、隊(duì)列配置管理組件、工作隊(duì) 列處理組件和第二數(shù)據(jù)庫(kù)管理組件；
[0039] 所述第二外部接口適配組件，用于實(shí)現(xiàn)與所述流程控制與調(diào)度組件的交互；
[0040] 所述任務(wù)擴(kuò)展組件，用于結(jié)合所述第二外部接口適配組件，生成用于存儲(chǔ)任務(wù)的 任務(wù)管理池；
[