一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法
【專利摘要】本發(fā)明公開了一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法，包括以下步驟：首先搭建基于云計(jì)算存儲(chǔ)平臺(tái)底層架構(gòu)，其次搭建基于云計(jì)算存儲(chǔ)平臺(tái)高層架構(gòu)，最后將基于云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)磁盤分區(qū)；本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法通過設(shè)計(jì)基于云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)和磁盤分區(qū)方案，提供了一種新型的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法，提供了一種易實(shí)現(xiàn)、易擴(kuò)展、功能豐富的云基礎(chǔ)架構(gòu)解決方案；本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法提供的彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)還能夠?yàn)橹悄茈娋W(wǎng)大數(shù)據(jù)提供了一種新型的存儲(chǔ)方法，解決了電力大數(shù)據(jù)在使用時(shí)調(diào)用慢、計(jì)算慢的問題。
【專利說明】
一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種云計(jì)算存儲(chǔ)領(lǐng)域，尤其涉及一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法。
【背景技術(shù)】
[0002]隨著現(xiàn)代計(jì)算、通信和網(wǎng)絡(luò)計(jì)算的發(fā)展，電力系統(tǒng)的互聯(lián)程度和遠(yuǎn)距離輸電系統(tǒng)的不斷進(jìn)步，能覆蓋一個(gè)甚至多個(gè)大型區(qū)域的大規(guī)模電力系統(tǒng)正在不斷地出現(xiàn);伴隨著電力系統(tǒng)規(guī)模的不斷擴(kuò)大和結(jié)構(gòu)的越趨復(fù)雜，對(duì)于系統(tǒng)安全的評(píng)估、安全與經(jīng)濟(jì)運(yùn)行、系統(tǒng)控制將變得越來越困難;此外，最近2年在世界范圍內(nèi)成為熱潮的電力系統(tǒng)“智能化”趨勢(shì)也給現(xiàn)有的電力系統(tǒng)分析計(jì)算和控制工具帶來了極大挑戰(zhàn);但是，現(xiàn)有的大數(shù)據(jù)存儲(chǔ)平臺(tái)對(duì)于電力大數(shù)據(jù)的存儲(chǔ)并不適合，導(dǎo)致電力大數(shù)據(jù)在使用時(shí)出現(xiàn)調(diào)用慢、計(jì)算慢等問題。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是提供一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法，為智能電網(wǎng)大數(shù)據(jù)提供了一種新型的存儲(chǔ)技術(shù)方法，解決了電力大數(shù)據(jù)在使用時(shí)調(diào)用慢、計(jì)算慢的問題
為了解決上述問題，本發(fā)明采用下述方法方案:
一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法，包括以下步驟:
A:搭建基于云計(jì)算存儲(chǔ)平臺(tái)底層架構(gòu)，包括以下步驟:
Al:在本地物理機(jī)器上，創(chuàng)建不少于兩臺(tái)的可長(zhǎng)時(shí)間運(yùn)行虛擬機(jī)；
A2:將本地存儲(chǔ)分別掛載到對(duì)應(yīng)虛擬機(jī)；
A3:禁用不同虛擬機(jī)之間由于負(fù)載均衡引起的數(shù)據(jù)迀移策略；
A4:為同一臺(tái)物理機(jī)器上運(yùn)行的所有虛擬機(jī)，指定為相同的rack值；
A5:將Hadoop平臺(tái)安裝到虛擬機(jī)上；
B:搭建基于云計(jì)算存儲(chǔ)平臺(tái)高層架構(gòu)，包括以下步驟；
B1:使用單個(gè)控制節(jié)點(diǎn)運(yùn)行OpenStack的核心服務(wù)；
B2:使用多臺(tái)計(jì)算節(jié)點(diǎn)運(yùn)行OpenStack NOVA計(jì)算服務(wù)，每臺(tái)計(jì)算節(jié)點(diǎn)上構(gòu)建多臺(tái)虛擬機(jī)；
B3:使用OpenStack中根磁盤類型，運(yùn)行Hadoop架構(gòu)中的HDFS組件；
B4:通過異步執(zhí)行的后臺(tái)任務(wù)定期地對(duì)根磁盤中的數(shù)據(jù)進(jìn)行快照；
C:將基于云存儲(chǔ)平臺(tái)架磁盤分區(qū)。
[0004]所述的步驟C包括以下步驟:
Cl:將基于云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)磁盤分區(qū)；
C2:增加一個(gè)與OpenStack中 1:113￥；[!'1:_;[1]1&86 8_￥01111116_81'0卯類似的標(biāo)志1;[13￥；[1'1:_localpersi s tent_volume_group，用來指定計(jì)算節(jié)點(diǎn)包含 local_persistent 卷；
C3:創(chuàng)建一個(gè)過濾器，以保證管理員能夠利用過濾器調(diào)度控制僅在包含local_persistent的計(jì)算節(jié)點(diǎn)上啟動(dòng)長(zhǎng)期運(yùn)行的Hadoop虛擬機(jī)；
C4:修改Hadoop虛擬機(jī)本身的初始化序列，以避免對(duì)其連接的本地local_persistent磁盤進(jìn)行格式化；
C5:通過常用的OpenStack訪問控制機(jī)制來對(duì)這些卷進(jìn)行訪問。
[0005]步驟B2中所述的計(jì)算節(jié)點(diǎn)都采用了英特爾至強(qiáng)E3-1220 V2 O 3.10GHz、8MB緩存、16 GB內(nèi)存和I TB硬盤的硬件配置;不同的節(jié)點(diǎn)之間通過兩個(gè)不同的IG網(wǎng)絡(luò)進(jìn)行連接；其中，一個(gè)IG網(wǎng)絡(luò)用于OpenStack服務(wù)間的彼此通信;而另一個(gè)IG網(wǎng)絡(luò)用于將計(jì)算節(jié)點(diǎn)連接到公共網(wǎng)絡(luò)。
[0006]步驟BI中所述的OpenStack的核心服務(wù)包括Keystone ,Glance ,Cinder和Quantum;其中Cinder組件提供了卷管理服務(wù)，并將控制節(jié)點(diǎn)上生成的卷通過iSCSI協(xié)議連接到其他的虛擬機(jī)節(jié)點(diǎn)。
[0007]本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法通過設(shè)計(jì)基于云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)和磁盤分區(qū)方案，提供了一種新型的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法，提供了一種易實(shí)現(xiàn)、易擴(kuò)展、功能豐富的云基礎(chǔ)架構(gòu)解決方案;本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法提供的彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)還能夠?yàn)橹悄茈娋W(wǎng)大數(shù)據(jù)提供了一種新型的存儲(chǔ)方法，解決了電力大數(shù)據(jù)在使用時(shí)調(diào)用慢、計(jì)算慢的問題。
【附圖說明】
[0008]圖1為本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法的流程示意圖；
圖2為本發(fā)明所述搭建基于云計(jì)算存儲(chǔ)平臺(tái)高層架構(gòu)的結(jié)構(gòu)示意圖；
圖3為本發(fā)明所述計(jì)算節(jié)點(diǎn)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0009]如圖1至圖3所示，本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法，包括以下步驟:
A:搭建基于云計(jì)算存儲(chǔ)平臺(tái)底層架構(gòu)，包括以下步驟:
Al:在本地物理機(jī)器上，創(chuàng)建不少于兩臺(tái)的可長(zhǎng)時(shí)間運(yùn)行虛擬機(jī)；
A2:將本地存儲(chǔ)分別掛載到對(duì)應(yīng)虛擬機(jī)；
對(duì)于云計(jì)算系統(tǒng)，數(shù)據(jù)存儲(chǔ)的主要制約因素是存儲(chǔ)在本地的數(shù)據(jù)存儲(chǔ)不是永久性的，將本地存儲(chǔ)掛載到虛擬機(jī)上，并使用長(zhǎng)時(shí)間運(yùn)行的虛擬機(jī)能夠保證本地存儲(chǔ)可以提供較長(zhǎng)時(shí)間的可用性；
A3:禁用不同虛擬機(jī)之間由于負(fù)載均衡引起的數(shù)據(jù)迀移策略；
對(duì)于云計(jì)算系統(tǒng)中常用的虛擬機(jī)迀移的負(fù)載平衡，由于其并沒有將數(shù)據(jù)存放的位置因素考慮在內(nèi)，因此不同虛擬機(jī)之間由于負(fù)載均衡引起的數(shù)據(jù)迀移策略應(yīng)該被禁用；
A4:為同一臺(tái)物理機(jī)器上運(yùn)行的所有虛擬機(jī)，指定為相同的rack值；
由于在云計(jì)算系統(tǒng)中，包含同一個(gè)文件副本的多臺(tái)虛擬機(jī)，有可能被調(diào)度在相同的物理機(jī)器上，為了保證Hadoop的復(fù)制功能不被破壞，我們使用Hadoop的rack awareness屬性配置將同一臺(tái)物理機(jī)器上運(yùn)行的所有Hadoop虛擬機(jī)指定為相同的rack值，保證不同的物理機(jī)器上存在不同的數(shù)據(jù)副本。[ΟΟ? O] Α5:將Hadoop平臺(tái)安裝到虛擬機(jī)上;進(jìn)入下一步；
B:搭建基于云計(jì)算存儲(chǔ)平臺(tái)高層架構(gòu)，包括以下步驟:
B1:使用單個(gè)控制節(jié)點(diǎn)運(yùn)行OpenStack的核心服務(wù)；
步驟BI中所述的OpenStack的核心服務(wù)包括Keystone ,Glance ,Cinder和Quantum;其中Cinder組件提供了卷管理服務(wù)，并將控制節(jié)點(diǎn)上生成的卷通過iSCSI協(xié)議連接到其他的虛擬機(jī)節(jié)點(diǎn)；
B2:使用多臺(tái)計(jì)算節(jié)點(diǎn)運(yùn)行OpenStack NOVA計(jì)算服務(wù)，每臺(tái)計(jì)算節(jié)點(diǎn)上構(gòu)建多臺(tái)虛擬機(jī)；
每個(gè)計(jì)算節(jié)點(diǎn)都采用了英特爾至強(qiáng)E3-1220 V2 @ 3.10GHz，8MB緩存，16 GB內(nèi)存和ITB硬盤的硬件配置;不同的節(jié)點(diǎn)之間通過兩個(gè)不同的IG網(wǎng)絡(luò)進(jìn)行連接；其中，一個(gè)IG網(wǎng)絡(luò)用于OpenStack服務(wù)間的彼此通信;而另一個(gè)IG網(wǎng)絡(luò)用于將計(jì)算節(jié)點(diǎn)連接到公共網(wǎng)絡(luò);整個(gè)系統(tǒng)用OpenStack生成了大量長(zhǎng)期運(yùn)行的Hadoop虛擬機(jī)，這些虛擬機(jī)整體構(gòu)成了與Hadoop集群類似的系統(tǒng)架構(gòu)，其中每個(gè)虛擬機(jī)都類似于Hadoop集群的單個(gè)節(jié)點(diǎn)，與直接硬件構(gòu)成的Hadoop集群相比，由于空閑的虛擬機(jī)并不會(huì)占用太多的硬件資源，因而，通過虛擬機(jī)的方式生成大于需求數(shù)量的Hadoop節(jié)點(diǎn)，并不會(huì)造成太大的性能影響；
B3:使用OpenStack中根磁盤類型，運(yùn)行Hadoop架構(gòu)中的HDFS組件；
在OpenStack架構(gòu)中一共包含三種類型的存儲(chǔ):根磁盤，短暫磁盤和持久磁盤;其中，一臺(tái)虛擬機(jī)的根磁盤是直接駐留在宿主機(jī)器而不附著于網(wǎng)絡(luò)上，這也意味著其不依賴于網(wǎng)絡(luò)延遲和帶寬的影響；短暫磁盤的數(shù)據(jù)是非持久化的；持久磁盤是通過網(wǎng)絡(luò)依附于OpenStack卷服務(wù)的持久化存儲(chǔ)，其使用和性能都受到網(wǎng)絡(luò)環(huán)境的影響;針對(duì)根磁盤，短暫磁盤和持久磁盤存儲(chǔ)類型的特點(diǎn)，我們選擇使用根磁盤類型來運(yùn)行Hadoop架構(gòu)中的HDFS組件，如圖2所示，這樣在運(yùn)行實(shí)際Hadoop任務(wù)時(shí)能夠避免數(shù)據(jù)通過網(wǎng)絡(luò)進(jìn)行傳輸帶來的延遲影響；
B4:通過異步執(zhí)行的后臺(tái)任務(wù)定期地對(duì)根磁盤中的數(shù)據(jù)進(jìn)行快照；
由于根磁盤類型存儲(chǔ)不具有持續(xù)性，即存儲(chǔ)在根磁盤的數(shù)據(jù)在虛擬機(jī)終止之后將會(huì)丟失，因此需要定期地對(duì)根磁盤中的數(shù)據(jù)進(jìn)行快照，如果虛擬機(jī)崩潰，存儲(chǔ)在根磁盤中的數(shù)據(jù)并不會(huì)立即消失，如果虛擬機(jī)能夠進(jìn)行快速重新啟動(dòng)，存儲(chǔ)將不會(huì)丟失;進(jìn)入下一步；
C:將基于云存儲(chǔ)平臺(tái)架構(gòu)的磁盤分區(qū)，包括以下步驟:
在OpenStack架構(gòu)中，無論是根磁盤或者短暫磁盤的具體實(shí)現(xiàn)方式均是在本地存儲(chǔ)的一個(gè)文件;傳統(tǒng)的磁盤使用方案是將本地存儲(chǔ)磁盤進(jìn)行分區(qū)，并將單個(gè)或者多個(gè)的分區(qū)附著到Hadoop虛擬機(jī);但是，將本地存儲(chǔ)磁盤進(jìn)行分區(qū)的方案由于將靜態(tài)地將磁盤的分區(qū)專用于Hadoop虛擬機(jī)，當(dāng)存儲(chǔ)數(shù)據(jù)需求需要對(duì)磁盤進(jìn)行收縮或增長(zhǎng)時(shí)，將本地存儲(chǔ)磁盤進(jìn)行分區(qū)的方案由于靈活性不足，并不能實(shí)現(xiàn)，因此提供一種基于云存儲(chǔ)平臺(tái)架構(gòu)磁盤分區(qū)方案，包括以下步驟:
Cl:將基于云存儲(chǔ)平臺(tái)的磁盤分區(qū)存儲(chǔ)方案命名為local_persistent;
C2:增加一個(gè)與OpenStack中 1:113￥；[!'1:_;[1]1&86 8_￥01111116_81'0卯類似的標(biāo)志1;[13￥；[1'1:_localpersi s tent_volume_group，用來指定計(jì)算節(jié)點(diǎn)包含 local_persistent 卷；
OpenStack包含一個(gè)I ibvirt_images_volume_group配置標(biāo)記，I ibvirt_images_volume_group配置標(biāo)記用來指定在每個(gè)計(jì)算節(jié)點(diǎn)中包含的短暫磁盤卷組;增加一個(gè)類似的標(biāo)志libvirt_localpersistent_volume_group用來指定包含local_persistent卷，以保證能夠通過常用的OpenStack訪問控制機(jī)制來對(duì)local_persistent卷進(jìn)行訪問；
C3:創(chuàng)建一個(gè)過濾器，以保證管理員能夠利用過濾器調(diào)度控制僅在包含local_persistent的計(jì)算節(jié)點(diǎn)上啟動(dòng)長(zhǎng)期運(yùn)行的Hadoop虛擬機(jī)；
C4:修改Hadoop虛擬機(jī)本身的初始化序列，以避免對(duì)其連接的本地local_persistent磁盤進(jìn)行格式化；
C5:通過常用的OpenStack訪問控制機(jī)制來對(duì)這些卷進(jìn)行訪問。
[0011]本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法通過設(shè)計(jì)基于云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)和磁盤分區(qū)方案，提供了一種新型的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法，提供了一種易實(shí)現(xiàn)、易擴(kuò)展、功能豐富的云基礎(chǔ)架構(gòu)解決方案;本發(fā)明所述的電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法提供的彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)還能夠?yàn)橹悄茈娋W(wǎng)大數(shù)據(jù)提供了一種新型的存儲(chǔ)方法，解決了電力大數(shù)據(jù)在使用時(shí)調(diào)用慢、計(jì)算慢的問題。
【主權(quán)項(xiàng)】
1.一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法，其特征在于:包括以下步驟: A:搭建基于云計(jì)算存儲(chǔ)平臺(tái)底層架構(gòu)，包括以下步驟: Al:在本地物理機(jī)器上，創(chuàng)建不少于兩臺(tái)的可長(zhǎng)時(shí)間運(yùn)行虛擬機(jī)； A2:將本地存儲(chǔ)分別掛載到對(duì)應(yīng)虛擬機(jī)； A3:禁用不同虛擬機(jī)之間由于負(fù)載均衡引起的數(shù)據(jù)迀移策略； A4:為同一臺(tái)物理機(jī)器上運(yùn)行的所有虛擬機(jī)，指定為相同的rack值； A5:將Hadoop平臺(tái)安裝到虛擬機(jī)上； B:搭建基于云計(jì)算存儲(chǔ)平臺(tái)高層架構(gòu)，包括以下步驟； B1:使用單個(gè)控制節(jié)點(diǎn)運(yùn)行OpenStack的核心服務(wù)； B2:使用多臺(tái)計(jì)算節(jié)點(diǎn)運(yùn)行OpenStack NOVA計(jì)算服務(wù)，每臺(tái)計(jì)算節(jié)點(diǎn)上構(gòu)建多臺(tái)虛擬機(jī)； B3:使用OpenStack中根磁盤類型，運(yùn)行Hadoop架構(gòu)中的HDFS組件； B4:通過異步執(zhí)行的后臺(tái)任務(wù)定期地對(duì)根磁盤中的數(shù)據(jù)進(jìn)行快照； C:將基于云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)磁盤分區(qū)。2.根據(jù)權(quán)利要求1所述的一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法，其特征在于:所述的步驟C包括以下步驟: Cl:將基于云存儲(chǔ)平臺(tái)的新型磁盤分區(qū)存儲(chǔ)命名； C2:增加一個(gè)與OpenStack中 I ibvirt_images_volume_group類似的標(biāo)志I ibvirt_localpersi s tent_volume_group，用來指定計(jì)算節(jié)點(diǎn)包含 local_persistent 卷； C3:創(chuàng)建一個(gè)過濾器，以保證管理員能夠利用過濾器調(diào)度控制僅在包含local_persistent的計(jì)算節(jié)點(diǎn)上啟動(dòng)長(zhǎng)期運(yùn)行的Hadoop虛擬機(jī)； C3:創(chuàng)建一個(gè)過濾器，以保證管理員能夠利用過濾器調(diào)度控制僅在包含local_persistent的計(jì)算節(jié)點(diǎn)上啟動(dòng)長(zhǎng)期運(yùn)行的Hadoop虛擬機(jī)； C4:修改Hadoop虛擬機(jī)本身的初始化序列，以避免對(duì)其連接的本地local_persistent磁盤進(jìn)行格式化； C5:通過常用的OpenStack訪問控制機(jī)制來對(duì)這些卷進(jìn)行訪問。3.根據(jù)權(quán)利要求1所述的一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法，其特征在于:步驟B2中所述的計(jì)算節(jié)點(diǎn)都采用了英特爾至強(qiáng)E3-1220 V2 @ 3.10GHz、8MB緩存、16 GB內(nèi)存和I TB硬盤的硬件配置;不同的節(jié)點(diǎn)之間通過兩個(gè)不同的IG網(wǎng)絡(luò)進(jìn)行連接；其中，一個(gè)IG網(wǎng)絡(luò)用于OpenStack服務(wù)間的彼此通信；而另一個(gè)IG網(wǎng)絡(luò)用于將計(jì)算節(jié)點(diǎn)連接到公共網(wǎng)絡(luò)。4.根據(jù)權(quán)利要求1所述的一種電力大數(shù)據(jù)彈性云計(jì)算存儲(chǔ)平臺(tái)架構(gòu)方法，其特征在于:步驟BI中所述的OpenStack的核心服務(wù)包括Key s tone ,Glance ,Cinder和Quantum;其中Cinder組件提供了卷管理服務(wù)，并將控制節(jié)點(diǎn)上生成的卷通過iSCSI協(xié)議連接到其他的虛擬機(jī)節(jié)點(diǎn)。
【文檔編號(hào)】G06F3/06GK106095335SQ201610396183
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月7日 公開號(hào)201610396183.2, CN 106095335 A, CN 106095335A, CN 201610396183, CN-A-106095335, CN106095335 A, CN106095335A, CN201610396183, CN201610396183.2
【發(fā)明人】馬建偉, 孫芊, 李強(qiáng), 宋寧希, 王磊, 楊磊, 李紅丹, 牛雨, 肖寒, 趙理
【申請(qǐng)人】國(guó)網(wǎng)河南省電力公司電力科學(xué)研究院, 國(guó)網(wǎng)河南省電力公司, 國(guó)家電網(wǎng)公司, 河南恩湃高科集團(tuán)有限公司