石油云平臺(tái)資源監(jiān)控與預(yù)警模型的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種監(jiān)控模型，具體為石油云平臺(tái)資源監(jiān)控與預(yù)警模型。
【背景技術(shù)】
[0002] 對(duì)石油云平臺(tái)的監(jiān)控是石油云平臺(tái)研究的重要內(nèi)容，也是影響石油云平臺(tái)發(fā)展的 重要因素，對(duì)石油云平臺(tái)的發(fā)展和利用均具有重要意義。隨著石油云平臺(tái)的規(guī)模和硬件性 能不斷提升，傳統(tǒng)的石油云平臺(tái)監(jiān)控系統(tǒng)已經(jīng)無(wú)法實(shí)時(shí)監(jiān)控石油云平臺(tái)的狀態(tài)信息。

【發(fā)明內(nèi)容】

[0003] 針對(duì)上述技術(shù)問(wèn)題，本發(fā)明提供一種石油云平臺(tái)資源監(jiān)控與預(yù)警模型，利用分組 技術(shù)，設(shè)計(jì)一套對(duì)石油云平臺(tái)進(jìn)行實(shí)時(shí)監(jiān)并預(yù)警的模型。
[0004] 具體技術(shù)方案為：
[0005] 石油云平臺(tái)監(jiān)控與預(yù)警模型，包括中控模塊，服務(wù)模塊、代理模塊、遠(yuǎn)程管理模塊 以及預(yù)警模塊；
[0006] 多個(gè)服務(wù)模塊分別與中控模塊之間通過(guò)心跳協(xié)議通訊，多個(gè)代理模塊分組，每組 分別與一個(gè)服務(wù)模塊之間通過(guò)心跳協(xié)議通訊；
[0007] (D代理模塊
[0008] 代理模塊通過(guò)算法得到如下信息：
[0009] (a)進(jìn)程信息：1分鐘運(yùn)行進(jìn)程數(shù)、5分鐘運(yùn)行進(jìn)程數(shù)和15分鐘運(yùn)行進(jìn)程數(shù)；
[0010] (b)CPU的信息：用戶時(shí)間百分比、NICE時(shí)間百分比、系統(tǒng)時(shí)間百分比、I/O時(shí)間百分 比、空閑時(shí)間百分比、所有CPU的用戶時(shí)間百分比、所有CPU的NICE時(shí)間百分比、所有CPU的系 統(tǒng)時(shí)間百分比、所有CHJ的I/O等待時(shí)間百分比和所有CPU的空閑時(shí)間百分比；
[0011] (C)內(nèi)存信息:總內(nèi)存、使用內(nèi)存和空閑內(nèi)存；
[0012] (d)交換區(qū)信息:總交換區(qū)、使用交換區(qū)和空閑交換區(qū)；
[0013] (e)磁盤信息:磁盤每秒IO次數(shù)、磁盤讀速度、磁盤讀字節(jié)數(shù)、磁盤寫速度和磁盤寫 字節(jié)數(shù)；
[0014] ⑴網(wǎng)絡(luò)流量信息：IP接受包率、IP回應(yīng)包率、IP請(qǐng)求包率、TCP接受段率、TCP發(fā)送 段率、TCP重發(fā)段率、UDP接受包率和UDP接受包率；
[0015]代理模塊將上述采集的信息通過(guò)心跳協(xié)議每隔3秒發(fā)送給服務(wù)模塊，由服務(wù)模塊 處理這些信息。
[0016] ⑵服務(wù)模塊
[0017] 服務(wù)模塊將代理模塊采集的信息統(tǒng)一存儲(chǔ)到緩存中，定時(shí)將信息寫入數(shù)據(jù)庫(kù)中； 數(shù)據(jù)庫(kù)提供了兩種接口，MySQL和Oracle;信息被分為即時(shí)信息、一月歷史信息和三月歷史 信息，即時(shí)信息每5秒從緩存中取出信息更新即時(shí)信息，一月歷史信息和三月歷史信息每30 秒從緩存中取出信息將信息存儲(chǔ)到歷史信息中；信息供預(yù)警模塊進(jìn)行數(shù)據(jù)挖掘使用；
[0018] 服務(wù)模塊將自身的狀態(tài)信息和代理模塊采集的信息，通過(guò)心跳協(xié)議每隔3秒發(fā)送 給中控模塊。
[0019] ⑶中控模塊
[0020]中控模塊接受服務(wù)模塊發(fā)送過(guò)來(lái)的信息，服務(wù)模塊出現(xiàn)故障及時(shí)告知代理模塊， 代理模塊進(jìn)行處理，同時(shí)通過(guò)計(jì)算出石油云平臺(tái)的負(fù)載均衡算法，使得石油云平臺(tái)的負(fù)載 處于一定的穩(wěn)定、平衡狀態(tài)之中。
[0021 ] (4)預(yù)警模塊
[0022]預(yù)警模塊由處于Hadoop環(huán)境中的集群設(shè)計(jì)出的κ-means對(duì)海量數(shù)據(jù)的挖掘算法， 對(duì)海量數(shù)據(jù)進(jìn)行挖掘分析，判斷節(jié)點(diǎn)的運(yùn)行狀態(tài)及是否正常，并將信息及時(shí)反饋給用戶。 [0023] (5)遠(yuǎn)程管理模塊
[0024]用來(lái)管理該石油云平臺(tái)監(jiān)控與預(yù)警模型。
[0025]其中代理模塊的算法為：
[0026]采用分組機(jī)制適應(yīng)不同規(guī)模的機(jī)群以及對(duì)大規(guī)模機(jī)群的實(shí)時(shí)響應(yīng)，采用拓?fù)浣Y(jié)構(gòu) 解決Group的單點(diǎn)故障，用監(jiān)控與預(yù)警相結(jié)合對(duì)機(jī)群實(shí)時(shí)監(jiān)控，具體包括以下過(guò)程：
[0027] (1)機(jī)群分組
[0028]根據(jù)機(jī)群的規(guī)模確定將機(jī)群分成N組，
I其中， clusterSize為機(jī)群的總節(jié)點(diǎn)數(shù)，則每組的節(jié)點(diǎn)數(shù)
[0029]多余的節(jié)點(diǎn)數(shù)采用平均分配到隨機(jī)組中，每一組均有一個(gè)服務(wù)器，稱為Group，其 下的所有節(jié)點(diǎn)均由代理負(fù)責(zé)采集信息，稱為Agent，Agent采集的信息分為靜態(tài)信息和動(dòng)態(tài) 信息，機(jī)群分組包含以下執(zhí)行步驟：
[0030] ① Agent將信息通過(guò)通信協(xié)議定時(shí)交給Group處理；
[0031] ②Group對(duì)信息進(jìn)行分類，將信息分為即時(shí)信息和歷史信息，又將歷史信息分成1 月歷史信息和3月歷史信息；
[0032] ③Group定時(shí)將上述信息寫入指定數(shù)據(jù)庫(kù)中，以供用戶實(shí)時(shí)監(jiān)控且為預(yù)警方法提 供數(shù)據(jù)基礎(chǔ)；
[0033]④Group對(duì)Agent的響應(yīng)時(shí)間為3秒，符合大部分機(jī)群規(guī)模實(shí)時(shí)響應(yīng)需求；
[0034] (2)解決單點(diǎn)故障
[0035] Group存在單點(diǎn)故障，即當(dāng)某個(gè)Group出現(xiàn)故障時(shí)，該Group下的Agent將不能工作， 采用Group的冗余機(jī)制和星形拓?fù)浣Y(jié)構(gòu)，為每個(gè)GroupSiH 個(gè)備用Group，稱作 SecondaryGroup，SecondaryGroup與Group具有同樣的功能，但是當(dāng)沒(méi)有Agent與 SecondaryGroup通信時(shí)，SecondaryGroup只開(kāi)啟了 一個(gè)監(jiān)聽(tīng)線程，不斷地監(jiān)聽(tīng)是否有Agent 連接進(jìn)來(lái)，一旦有Agent連接進(jìn)來(lái)，SecondaryGroup將會(huì)啟動(dòng)數(shù)據(jù)處理功能，由于Group與 SecondaryGroup的靈活切換需要一個(gè)中心節(jié)點(diǎn)去處理，因此又引入星形拓?fù)浣Y(jié)構(gòu)，其中心 節(jié)點(diǎn)為服務(wù)器，又稱為Contro INode，所有Group和SecondaryGroup與Contro INode直接相 連，由此便形成了一個(gè)星形拓?fù)浣Y(jié)構(gòu)，解決單點(diǎn)故障包含以下具體步驟：
[0036] ① Agent在啟動(dòng)時(shí)記錄一個(gè)Group與SecondaryGroup的映射關(guān)系；
[0037] ②ControlNode實(shí)時(shí)記錄著每個(gè)Group與SecondaryGroup的映射關(guān)系；
[0038] ③一旦某個(gè)Group出現(xiàn)故障時(shí)，Agent將會(huì)自動(dòng)識(shí)別到當(dāng)前的Group已經(jīng)出現(xiàn)故障， Agent會(huì)自動(dòng)與SecondaryGroup建立通訊，將采集的信息交給SecondaryGroup處理；
[0039] ④Contro INode與此同時(shí)將映射Group->SecondaryGroup打上標(biāo)記，表不該Group 已經(jīng)出現(xiàn)故障，需要進(jìn)行人工恢復(fù)；
[0040] ⑤當(dāng)Group的故障恢復(fù)時(shí)，ControlNode將會(huì)取消此映射的標(biāo)記，同時(shí)通知 SecondaryGroup暫定處理由Agent采集的信息且通過(guò)SecondaryGroup告知Agent Group的 故障已經(jīng)解決；
[0041 ]⑥Agent接受到指令之后，重新與Group建立通訊，Group單點(diǎn)故障解決。
[0042]本發(fā)明提供的石油云平臺(tái)資源監(jiān)控與預(yù)警模型，采用分組機(jī)制，將模型分為五個(gè) 模塊，分別為中控模塊、服務(wù)模塊、代理模塊、遠(yuǎn)程管理模塊和預(yù)警模塊，適用不同規(guī)模的石 油云平臺(tái)，且實(shí)現(xiàn)石油云平臺(tái)的負(fù)載均衡而合理利用石油云平臺(tái)的資源，對(duì)石油云平臺(tái)進(jìn) 行實(shí)時(shí)監(jiān)控和預(yù)警。
【附圖說(shuō)明】
[0043]圖1是本發(fā)明的結(jié)構(gòu)示意圖；
[0044]圖2是本發(fā)明的代理模塊的采集節(jié)點(diǎn)信息示意圖。
【具體實(shí)施方式】
[0045]下面結(jié)合中國(guó)石化勝利油田物探研究院具有2000節(jié)點(diǎn)的集群規(guī)模對(duì)本發(fā)明做進(jìn) 一步的說(shuō)明。
[0046] (1)環(huán)境設(shè)置：
[0047] 中控模塊:1個(gè)；
[0048]服務(wù)模塊:20個(gè)；
[0049]代理模塊:100個(gè)/服務(wù)模塊；
[0050] 遠(yuǎn)程管理模塊:1個(gè)；
[0051 ]預(yù)警模塊:每個(gè)服務(wù)模塊分別安裝信號(hào)發(fā)射器。
[0052]石油云平臺(tái)資源監(jiān)控與預(yù)警模型的結(jié)構(gòu)如圖1所示。
[0053]具體的，代理模塊是與服務(wù)模塊建立通信的，相當(dāng)于客戶端。如圖2所示，代理模塊 實(shí)時(shí)采集節(jié)點(diǎn)的信息，包括靜態(tài)信息和動(dòng)態(tài)信息，具體信息見(jiàn)附表1和附表2。然后，代理模 塊通過(guò)心跳協(xié)議每隔3秒將采集的信息發(fā)送給服務(wù)模塊，發(fā)送的是靜態(tài)信息還是動(dòng)態(tài)信息 取決于遠(yuǎn)程管理模塊的命令，默認(rèn)自動(dòng)發(fā)送動(dòng)態(tài)信息。之后，代理模塊獲取服務(wù)模塊返回的 信息，主要包括了服務(wù)模塊的后繼模塊信息，以防止服務(wù)模塊出現(xiàn)故障之后，代理模塊能將 信息自動(dòng)發(fā)送到后繼服務(wù)模塊。
[0054]表 1


[0059] 服務(wù)模塊既相當(dāng)于服務(wù)器又相當(dāng)于客戶端，當(dāng)與中控模塊通信時(shí)，相當(dāng)于客戶端； 與代理模塊通信時(shí)，又相當(dāng)于服務(wù)器。當(dāng)服務(wù)模塊作為客戶端時(shí)，只需要每隔3秒通過(guò)心跳 協(xié)議將自己的狀態(tài)信息和其下的所有的代理模塊個(gè)數(shù)發(fā)送給中控模塊，然后獲取由中控模 塊反饋回來(lái)的信息，該信息主要是本身在環(huán)形拓?fù)鋱D中的前繼與后繼。
[0060] 當(dāng)服務(wù)模塊作為服務(wù)器時(shí)，是用來(lái)與代理模塊通信的。其作用是通過(guò)心跳協(xié)議每 隔3秒接受來(lái)自于代理模塊的信息，該信息包含了由代理模塊采集的動(dòng)態(tài)信息或者靜態(tài)信 息，這主要取決于代理模塊對(duì)遠(yuǎn)程管理模塊的命令反饋。服務(wù)模塊將這些信息存儲(chǔ)在緩存 中，然后，每隔5秒更新即時(shí)表，每隔30秒存儲(chǔ)到歷史表。數(shù)據(jù)庫(kù)支持MySQL集群數(shù)據(jù)庫(kù)和 Oracle數(shù)據(jù)庫(kù)，即MySQL有兩個(gè)數(shù)據(jù)庫(kù)，一個(gè)存儲(chǔ)即時(shí)數(shù)據(jù)，另一個(gè)則存儲(chǔ)歷史數(shù)據(jù)。
[0061] 服務(wù)模塊同時(shí)每隔3秒通過(guò)心跳協(xié)議將自己的前繼與后繼發(fā)送給代理模塊，使其 代理模塊發(fā)現(xiàn)服務(wù)模塊出現(xiàn)故障時(shí)，自動(dòng)連接到后繼服務(wù)模塊上去。
[0062] 中控模塊和服務(wù)模塊建立通信，中控模塊相當(dāng)于服務(wù)器，服務(wù)模塊相當(dāng)于客戶端， 中控模塊只有一個(gè)，服務(wù)模塊數(shù)量根據(jù)石油云平臺(tái)的規(guī)模確定。服務(wù)模塊每3秒通過(guò)心跳協(xié) 議將自己的狀態(tài)信息和代理模塊的個(gè)數(shù)發(fā)送給中控模塊，中控模塊實(shí)時(shí)記錄下服務(wù)模塊的 狀態(tài)信息和代理模塊的個(gè)數(shù)。通過(guò)這些信息，中控模塊可以計(jì)算出石油