一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法
【專利摘要】本發(fā)明公開了一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法,包括以下步驟:首先搭建基于云計(jì)算存儲(chǔ)平臺(tái)底層架構(gòu),其次搭建基于云計(jì)算存儲(chǔ)平臺(tái)高層架構(gòu),最后將基于云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)磁盤分區(qū);本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法通過設(shè)計(jì)基于云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)和磁盤分區(qū)方案,提供了一種新型的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法,提供了一種易實(shí)現(xiàn)、易擴(kuò)展、功能豐富的云基礎(chǔ)架構(gòu)解決方案;本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法提供的彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)還能夠?yàn)橹悄茈娋W(wǎng)大數(shù)據(jù)提供了一種新型的存儲(chǔ)方法,解決了電力大數(shù)據(jù)在使用時(shí)調(diào)用慢、計(jì)算慢的問題。
【專利說明】
一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種云計(jì)算存儲(chǔ)領(lǐng)域,尤其涉及一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法。
【背景技術(shù)】
[0002]隨著現(xiàn)代計(jì)算、通信和網(wǎng)絡(luò)計(jì)算的發(fā)展,電力系統(tǒng)的互聯(lián)程度和遠(yuǎn)距離輸電系統(tǒng)的不斷進(jìn)步,能覆蓋一個(gè)甚至多個(gè)大型區(qū)域的大規(guī)模電力系統(tǒng)正在不斷地出現(xiàn);伴隨著電力系統(tǒng)規(guī)模的不斷擴(kuò)大和結(jié)構(gòu)的越趨復(fù)雜,對(duì)于系統(tǒng)安全的評(píng)估、安全與經(jīng)濟(jì)運(yùn)行、系統(tǒng)控制將變得越來越困難;此外,最近2年在世界范圍內(nèi)成為熱潮的電力系統(tǒng)“智能化”趨勢(shì)也給現(xiàn)有的電力系統(tǒng)分析計(jì)算和控制工具帶來了極大挑戰(zhàn);但是,現(xiàn)有的大數(shù)據(jù)存儲(chǔ)平臺(tái)對(duì)于電力大數(shù)據(jù)的存儲(chǔ)并不適合,導(dǎo)致電力大數(shù)據(jù)在使用時(shí)出現(xiàn)調(diào)用慢、計(jì)算慢等問題。
【發(fā)明內(nèi)容】
[0003]本發(fā)明的目的是提供一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法,為智能電網(wǎng)大數(shù)據(jù)提供了一種新型的存儲(chǔ)技術(shù)方法,解決了電力大數(shù)據(jù)在使用時(shí)調(diào)用慢、計(jì)算慢的問題
為了解決上述問題,本發(fā)明采用下述方法方案:
一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法,包括以下步驟:
A:搭建基于云計(jì)算存儲(chǔ)平臺(tái)底層架構(gòu),包括以下步驟:
Al:在本地物理機(jī)器上,創(chuàng)建不少于兩臺(tái)的可長(zhǎng)時(shí)間運(yùn)行虛擬機(jī);
A2:將本地存儲(chǔ)分別掛載到對(duì)應(yīng)虛擬機(jī);
A3:禁用不同虛擬機(jī)之間由于負(fù)載均衡引起的數(shù)據(jù)迀移策略;
A4:為同一臺(tái)物理機(jī)器上運(yùn)行的所有虛擬機(jī),指定為相同的rack值;
A5:將Hadoop平臺(tái)安裝到虛擬機(jī)上;
B:搭建基于云計(jì)算存儲(chǔ)平臺(tái)高層架構(gòu),包括以下步驟;
B1:使用單個(gè)控制節(jié)點(diǎn)運(yùn)行OpenStack的核心服務(wù);
B2:使用多臺(tái)計(jì)算節(jié)點(diǎn)運(yùn)行OpenStack NOVA計(jì)算服務(wù),每臺(tái)計(jì)算節(jié)點(diǎn)上構(gòu)建多臺(tái)虛擬機(jī);
B3:使用OpenStack中根磁盤類型,運(yùn)行Hadoop架構(gòu)中的HDFS組件;
B4:通過異步執(zhí)行的后臺(tái)任務(wù)定期地對(duì)根磁盤中的數(shù)據(jù)進(jìn)行快照;
C:將基于云存儲(chǔ)平臺(tái)架磁盤分區(qū)。
[0004]所述的步驟C包括以下步驟:
Cl:將基于云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)磁盤分區(qū);
C2:增加一個(gè)與OpenStack中 1:113¥;[!'1:_;[1]1&86 8_¥01111116_81'0卯類似的標(biāo)志1;[13¥;[1'1:_localpersi s tent_volume_group,用來指定計(jì)算節(jié)點(diǎn)包含 local_persistent 卷;
C3:創(chuàng)建一個(gè)過濾器,以保證管理員能夠利用過濾器調(diào)度控制僅在包含local_persistent的計(jì)算節(jié)點(diǎn)上啟動(dòng)長(zhǎng)期運(yùn)行的Hadoop虛擬機(jī);
C4:修改Hadoop虛擬機(jī)本身的初始化序列,以避免對(duì)其連接的本地local_persistent磁盤進(jìn)行格式化;
C5:通過常用的OpenStack訪問控制機(jī)制來對(duì)這些卷進(jìn)行訪問。
[0005]步驟B2中所述的計(jì)算節(jié)點(diǎn)都采用了英特爾至強(qiáng)E3-1220 V2 O 3.10GHz、8MB緩存、16 GB內(nèi)存和I TB硬盤的硬件配置;不同的節(jié)點(diǎn)之間通過兩個(gè)不同的IG網(wǎng)絡(luò)進(jìn)行連接;其中,一個(gè)IG網(wǎng)絡(luò)用于OpenStack服務(wù)間的彼此通信;而另一個(gè)IG網(wǎng)絡(luò)用于將計(jì)算節(jié)點(diǎn)連接到公共網(wǎng)絡(luò)。
[0006]步驟BI中所述的OpenStack的核心服務(wù)包括Keystone ,Glance ,Cinder和Quantum;其中Cinder組件提供了卷管理服務(wù),并將控制節(jié)點(diǎn)上生成的卷通過iSCSI協(xié)議連接到其他的虛擬機(jī)節(jié)點(diǎn)。
[0007]本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法通過設(shè)計(jì)基于云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)和磁盤分區(qū)方案,提供了一種新型的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法,提供了一種易實(shí)現(xiàn)、易擴(kuò)展、功能豐富的云基礎(chǔ)架構(gòu)解決方案;本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法提供的彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)還能夠?yàn)橹悄茈娋W(wǎng)大數(shù)據(jù)提供了一種新型的存儲(chǔ)方法,解決了電力大數(shù)據(jù)在使用時(shí)調(diào)用慢、計(jì)算慢的問題。
【附圖說明】
[0008]圖1為本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法的流程示意圖;
圖2為本發(fā)明所述搭建基于云計(jì)算存儲(chǔ)平臺(tái)高層架構(gòu)的結(jié)構(gòu)示意圖;
圖3為本發(fā)明所述計(jì)算節(jié)點(diǎn)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0009]如圖1至圖3所示,本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法,包括以下步驟:
A:搭建基于云計(jì)算存儲(chǔ)平臺(tái)底層架構(gòu),包括以下步驟:
Al:在本地物理機(jī)器上,創(chuàng)建不少于兩臺(tái)的可長(zhǎng)時(shí)間運(yùn)行虛擬機(jī);
A2:將本地存儲(chǔ)分別掛載到對(duì)應(yīng)虛擬機(jī);
對(duì)于云計(jì)算系統(tǒng),數(shù)據(jù)存儲(chǔ)的主要制約因素是存儲(chǔ)在本地的數(shù)據(jù)存儲(chǔ)不是永久性的,將本地存儲(chǔ)掛載到虛擬機(jī)上,并使用長(zhǎng)時(shí)間運(yùn)行的虛擬機(jī)能夠保證本地存儲(chǔ)可以提供較長(zhǎng)時(shí)間的可用性;
A3:禁用不同虛擬機(jī)之間由于負(fù)載均衡引起的數(shù)據(jù)迀移策略;
對(duì)于云計(jì)算系統(tǒng)中常用的虛擬機(jī)迀移的負(fù)載平衡,由于其并沒有將數(shù)據(jù)存放的位置因素考慮在內(nèi),因此不同虛擬機(jī)之間由于負(fù)載均衡引起的數(shù)據(jù)迀移策略應(yīng)該被禁用;
A4:為同一臺(tái)物理機(jī)器上運(yùn)行的所有虛擬機(jī),指定為相同的rack值;
由于在云計(jì)算系統(tǒng)中,包含同一個(gè)文件副本的多臺(tái)虛擬機(jī),有可能被調(diào)度在相同的物理機(jī)器上,為了保證Hadoop的復(fù)制功能不被破壞,我們使用Hadoop的rack awareness屬性配置將同一臺(tái)物理機(jī)器上運(yùn)行的所有Hadoop虛擬機(jī)指定為相同的rack值,保證不同的物理機(jī)器上存在不同的數(shù)據(jù)副本。[ΟΟ? O] Α5:將Hadoop平臺(tái)安裝到虛擬機(jī)上;進(jìn)入下一步;
B:搭建基于云計(jì)算存儲(chǔ)平臺(tái)高層架構(gòu),包括以下步驟:
B1:使用單個(gè)控制節(jié)點(diǎn)運(yùn)行OpenStack的核心服務(wù);
步驟BI中所述的OpenStack的核心服務(wù)包括Keystone ,Glance ,Cinder和Quantum;其中Cinder組件提供了卷管理服務(wù),并將控制節(jié)點(diǎn)上生成的卷通過iSCSI協(xié)議連接到其他的虛擬機(jī)節(jié)點(diǎn);
B2:使用多臺(tái)計(jì)算節(jié)點(diǎn)運(yùn)行OpenStack NOVA計(jì)算服務(wù),每臺(tái)計(jì)算節(jié)點(diǎn)上構(gòu)建多臺(tái)虛擬機(jī);
每個(gè)計(jì)算節(jié)點(diǎn)都采用了英特爾至強(qiáng)E3-1220 V2 @ 3.10GHz,8MB緩存,16 GB內(nèi)存和ITB硬盤的硬件配置;不同的節(jié)點(diǎn)之間通過兩個(gè)不同的IG網(wǎng)絡(luò)進(jìn)行連接;其中,一個(gè)IG網(wǎng)絡(luò)用于OpenStack服務(wù)間的彼此通信;而另一個(gè)IG網(wǎng)絡(luò)用于將計(jì)算節(jié)點(diǎn)連接到公共網(wǎng)絡(luò);整個(gè)系統(tǒng)用OpenStack生成了大量長(zhǎng)期運(yùn)行的Hadoop虛擬機(jī),這些虛擬機(jī)整體構(gòu)成了與Hadoop集群類似的系統(tǒng)架構(gòu),其中每個(gè)虛擬機(jī)都類似于Hadoop集群的單個(gè)節(jié)點(diǎn),與直接硬件構(gòu)成的Hadoop集群相比,由于空閑的虛擬機(jī)并不會(huì)占用太多的硬件資源,因而,通過虛擬機(jī)的方式生成大于需求數(shù)量的Hadoop節(jié)點(diǎn),并不會(huì)造成太大的性能影響;
B3:使用OpenStack中根磁盤類型,運(yùn)行Hadoop架構(gòu)中的HDFS組件;
在OpenStack架構(gòu)中一共包含三種類型的存儲(chǔ):根磁盤,短暫磁盤和持久磁盤;其中,一臺(tái)虛擬機(jī)的根磁盤是直接駐留在宿主機(jī)器而不附著于網(wǎng)絡(luò)上,這也意味著其不依賴于網(wǎng)絡(luò)延遲和帶寬的影響;短暫磁盤的數(shù)據(jù)是非持久化的;持久磁盤是通過網(wǎng)絡(luò)依附于OpenStack卷服務(wù)的持久化存儲(chǔ),其使用和性能都受到網(wǎng)絡(luò)環(huán)境的影響;針對(duì)根磁盤,短暫磁盤和持久磁盤存儲(chǔ)類型的特點(diǎn),我們選擇使用根磁盤類型來運(yùn)行Hadoop架構(gòu)中的HDFS組件,如圖2所示,這樣在運(yùn)行實(shí)際Hadoop任務(wù)時(shí)能夠避免數(shù)據(jù)通過網(wǎng)絡(luò)進(jìn)行傳輸帶來的延遲影響;
B4:通過異步執(zhí)行的后臺(tái)任務(wù)定期地對(duì)根磁盤中的數(shù)據(jù)進(jìn)行快照;
由于根磁盤類型存儲(chǔ)不具有持續(xù)性,即存儲(chǔ)在根磁盤的數(shù)據(jù)在虛擬機(jī)終止之后將會(huì)丟失,因此需要定期地對(duì)根磁盤中的數(shù)據(jù)進(jìn)行快照,如果虛擬機(jī)崩潰,存儲(chǔ)在根磁盤中的數(shù)據(jù)并不會(huì)立即消失,如果虛擬機(jī)能夠進(jìn)行快速重新啟動(dòng),存儲(chǔ)將不會(huì)丟失;進(jìn)入下一步;
C:將基于云存儲(chǔ)平臺(tái)架構(gòu)的磁盤分區(qū),包括以下步驟:
在OpenStack架構(gòu)中,無論是根磁盤或者短暫磁盤的具體實(shí)現(xiàn)方式均是在本地存儲(chǔ)的一個(gè)文件;傳統(tǒng)的磁盤使用方案是將本地存儲(chǔ)磁盤進(jìn)行分區(qū),并將單個(gè)或者多個(gè)的分區(qū)附著到Hadoop虛擬機(jī);但是,將本地存儲(chǔ)磁盤進(jìn)行分區(qū)的方案由于將靜態(tài)地將磁盤的分區(qū)專用于Hadoop虛擬機(jī),當(dāng)存儲(chǔ)數(shù)據(jù)需求需要對(duì)磁盤進(jìn)行收縮或增長(zhǎng)時(shí),將本地存儲(chǔ)磁盤進(jìn)行分區(qū)的方案由于靈活性不足,并不能實(shí)現(xiàn),因此提供一種基于云存儲(chǔ)平臺(tái)架構(gòu)磁盤分區(qū)方案,包括以下步驟:
Cl:將基于云存儲(chǔ)平臺(tái)的磁盤分區(qū)存儲(chǔ)方案命名為local_persistent;
C2:增加一個(gè)與OpenStack中 1:113¥;[!'1:_;[1]1&86 8_¥01111116_81'0卯類似的標(biāo)志1;[13¥;[1'1:_localpersi s tent_volume_group,用來指定計(jì)算節(jié)點(diǎn)包含 local_persistent 卷;
OpenStack包含一個(gè)I ibvirt_images_volume_group配置標(biāo)記,I ibvirt_images_volume_group配置標(biāo)記用來指定在每個(gè)計(jì)算節(jié)點(diǎn)中包含的短暫磁盤卷組;增加一個(gè)類似的標(biāo)志libvirt_localpersistent_volume_group用來指定包含local_persistent卷,以保證能夠通過常用的OpenStack訪問控制機(jī)制來對(duì)local_persistent卷進(jìn)行訪問;
C3:創(chuàng)建一個(gè)過濾器,以保證管理員能夠利用過濾器調(diào)度控制僅在包含local_persistent的計(jì)算節(jié)點(diǎn)上啟動(dòng)長(zhǎng)期運(yùn)行的Hadoop虛擬機(jī);
C4:修改Hadoop虛擬機(jī)本身的初始化序列,以避免對(duì)其連接的本地local_persistent磁盤進(jìn)行格式化;
C5:通過常用的OpenStack訪問控制機(jī)制來對(duì)這些卷進(jìn)行訪問。
[0011]本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法通過設(shè)計(jì)基于云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)和磁盤分區(qū)方案,提供了一種新型的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法,提供了一種易實(shí)現(xiàn)、易擴(kuò)展、功能豐富的云基礎(chǔ)架構(gòu)解決方案;本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法提供的彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)還能夠?yàn)橹悄茈娋W(wǎng)大數(shù)據(jù)提供了一種新型的存儲(chǔ)方法,解決了電力大數(shù)據(jù)在使用時(shí)調(diào)用慢、計(jì)算慢的問題。
【主權(quán)項(xiàng)】
1.一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法,其特征在于:包括以下步驟: A:搭建基于云計(jì)算存儲(chǔ)平臺(tái)底層架構(gòu),包括以下步驟: Al:在本地物理機(jī)器上,創(chuàng)建不少于兩臺(tái)的可長(zhǎng)時(shí)間運(yùn)行虛擬機(jī); A2:將本地存儲(chǔ)分別掛載到對(duì)應(yīng)虛擬機(jī); A3:禁用不同虛擬機(jī)之間由于負(fù)載均衡引起的數(shù)據(jù)迀移策略; A4:為同一臺(tái)物理機(jī)器上運(yùn)行的所有虛擬機(jī),指定為相同的rack值; A5:將Hadoop平臺(tái)安裝到虛擬機(jī)上; B:搭建基于云計(jì)算存儲(chǔ)平臺(tái)高層架構(gòu),包括以下步驟; B1:使用單個(gè)控制節(jié)點(diǎn)運(yùn)行OpenStack的核心服務(wù); B2:使用多臺(tái)計(jì)算節(jié)點(diǎn)運(yùn)行OpenStack NOVA計(jì)算服務(wù),每臺(tái)計(jì)算節(jié)點(diǎn)上構(gòu)建多臺(tái)虛擬機(jī); B3:使用OpenStack中根磁盤類型,運(yùn)行Hadoop架構(gòu)中的HDFS組件; B4:通過異步執(zhí)行的后臺(tái)任務(wù)定期地對(duì)根磁盤中的數(shù)據(jù)進(jìn)行快照; C:將基于云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)磁盤分區(qū)。2.根據(jù)權(quán)利要求1所述的一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法,其特征在于:所述的步驟C包括以下步驟: Cl:將基于云存儲(chǔ)平臺(tái)的新型磁盤分區(qū)存儲(chǔ)命名; C2:增加一個(gè)與OpenStack中 I ibvirt_images_volume_group類似的標(biāo)志I ibvirt_localpersi s tent_volume_group,用來指定計(jì)算節(jié)點(diǎn)包含 local_persistent 卷; C3:創(chuàng)建一個(gè)過濾器,以保證管理員能夠利用過濾器調(diào)度控制僅在包含local_persistent的計(jì)算節(jié)點(diǎn)上啟動(dòng)長(zhǎng)期運(yùn)行的Hadoop虛擬機(jī); C3:創(chuàng)建一個(gè)過濾器,以保證管理員能夠利用過濾器調(diào)度控制僅在包含local_persistent的計(jì)算節(jié)點(diǎn)上啟動(dòng)長(zhǎng)期運(yùn)行的Hadoop虛擬機(jī); C4:修改Hadoop虛擬機(jī)本身的初始化序列,以避免對(duì)其連接的本地local_persistent磁盤進(jìn)行格式化; C5:通過常用的OpenStack訪問控制機(jī)制來對(duì)這些卷進(jìn)行訪問。3.根據(jù)權(quán)利要求1所述的一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法,其特征在于:步驟B2中所述的計(jì)算節(jié)點(diǎn)都采用了英特爾至強(qiáng)E3-1220 V2 @ 3.10GHz、8MB緩存、16 GB內(nèi)存和I TB硬盤的硬件配置;不同的節(jié)點(diǎn)之間通過兩個(gè)不同的IG網(wǎng)絡(luò)進(jìn)行連接;其中,一個(gè)IG網(wǎng)絡(luò)用于OpenStack服務(wù)間的彼此通信;而另一個(gè)IG網(wǎng)絡(luò)用于將計(jì)算節(jié)點(diǎn)連接到公共網(wǎng)絡(luò)。4.根據(jù)權(quán)利要求1所述的一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法,其特征在于:步驟BI中所述的OpenStack的核心服務(wù)包括Key s tone ,Glance ,Cinder和Quantum;其中Cinder組件提供了卷管理服務(wù),并將控制節(jié)點(diǎn)上生成的卷通過iSCSI協(xié)議連接到其他的虛擬機(jī)節(jié)點(diǎn)。
【文檔編號(hào)】G06F3/06GK106095335SQ201610396183
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月7日 公開號(hào)201610396183.2, CN 106095335 A, CN 106095335A, CN 201610396183, CN-A-106095335, CN106095335 A, CN106095335A, CN201610396183, CN201610396183.2
【發(fā)明人】馬建偉, 孫芊, 李強(qiáng), 宋寧希, 王磊, 楊磊, 李紅丹, 牛雨, 肖寒, 趙理
【申請(qǐng)人】國(guó)網(wǎng)河南省電力公司電力科學(xué)研究院, 國(guó)網(wǎng)河南省電力公司, 國(guó)家電網(wǎng)公司, 河南恩湃高科集團(tuán)有限公司