一種基于單硬盤多分區(qū)的大數(shù)據(jù)管理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及電力系統(tǒng)中智能變電站大數(shù)據(jù)處理領(lǐng)域，具體涉及一種基于單硬盤多分區(qū)的大數(shù)據(jù)高效存儲與安全擦除方法。
【背景技術(shù)】
[0002]近年來，在國家政策的大力支持下，發(fā)電、輸電、用電得到了快速發(fā)展，伴隨而來的電網(wǎng)運行情況也越來越復(fù)雜。如果不能對電網(wǎng)運行中可能出現(xiàn)的各種故障信息進行有效的存儲與分析，電網(wǎng)的電能質(zhì)量將得不到保證。
[0003]為了應(yīng)對這些故障對電網(wǎng)穩(wěn)定性能和安全性能的影響，我國各相關(guān)高校、企業(yè)相繼開展了對電網(wǎng)運行中的大數(shù)據(jù)分析研究工作，目前常用的做法是采用一套裝置把這些數(shù)據(jù)保存在硬盤上，就地分析或遠程連接分析。一般來講，在單硬盤下直接保存數(shù)據(jù)，使寫入、讀取和擦除操作在同一個分區(qū)下，容易出現(xiàn)數(shù)據(jù)安全性不高，磁盤碎片多，可用空間變少等缺點；目前硬盤的容量越來越大，采用多硬盤存儲又會產(chǎn)生工程成本高，資源浪費的問題。因此開發(fā)出在單硬盤下安全可靠的大數(shù)據(jù)管理方法是非常必要的。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供基于單硬盤多分區(qū)的大數(shù)據(jù)高效存儲和安全擦除方法，用以解決現(xiàn)有技術(shù)中單硬盤存儲時容易出現(xiàn)數(shù)據(jù)安全性不高的問題。
[0005]為實現(xiàn)上述目的，本發(fā)明的方案包括:
[0006]一種基于單硬盤多分區(qū)的大數(shù)據(jù)管理方法，其特征在于，所述管理方法依次包括如下步驟:
[0007]步驟1:將與智能變電站故障錄波裝置相連的硬盤根據(jù)其容量和需要分成固定容量的η個分區(qū)，將這些分區(qū)按照一定的編號規(guī)則進行編號；
[0008]步驟2:設(shè)置每個分區(qū)的最小剩余空間值，該最小剩余空間值大于每天需要采集數(shù)據(jù)量的總和；
[0009]步驟3:將接收到的數(shù)據(jù)存儲到磁盤分區(qū)內(nèi)，當(dāng)數(shù)據(jù)存儲操作在第i個分區(qū)時，同時檢測第i+Ι個分區(qū)的剩余容量，并作出相應(yīng)處理，以保證第二天數(shù)據(jù)存儲具有足夠的分區(qū)空間；
[0010]步驟4:存儲接收到的數(shù)據(jù)時，按從第一個分區(qū)到最后一個分區(qū)再到第一個分區(qū)的規(guī)則，循環(huán)實現(xiàn)數(shù)據(jù)的存儲。
[0011]其中，步驟I中一定的編號規(guī)則是指從自然數(shù)I開始按照自然數(shù)的順序從小到大編號，其中一種編號是1，2，3……m，m是自然數(shù)。
[0012]進一步的，步驟3中的相應(yīng)處理是指在第i+Ι個分區(qū)剩余容量小于所設(shè)定的最小剩余空間值時，對其進行格式化處理。
[0013]進一步的，步驟4中循環(huán)存儲的時間間隔是一天，每天僅在一個分區(qū)做數(shù)據(jù)存儲。
[0014]本發(fā)明提供的一種基于單硬盤多分區(qū)的大數(shù)據(jù)管理方法，使得數(shù)據(jù)的讀寫與擦除不在同一個分區(qū)下，提高了單硬盤下數(shù)據(jù)存儲的可靠性、安全性。
[0015]數(shù)據(jù)的存儲每天僅在一個分區(qū)內(nèi)存儲，這樣有利于歷史數(shù)據(jù)的查找和回放。
[0016]同時，對數(shù)據(jù)分區(qū)采用格式化的方式進行擦除，有效的減少了磁盤碎片變少、可用空間變小的問題。
【附圖說明】
[0017]圖1是基于單硬盤多分區(qū)的大數(shù)據(jù)管理方法示意圖。
【具體實施方式】
[0018]下面結(jié)合附圖對本發(fā)明做進一步詳細的說明。
[0019]實施例
[0020]本發(fā)明提供的一種大數(shù)據(jù)管理方法，依次包括如下步驟:
[0021]步驟1:將與智能變電站故障錄波裝置相連的硬盤根據(jù)其容量和需要分成固定容量的η個分區(qū)，將這些分區(qū)按照一定的編號規(guī)則進行編號；
[0022]步驟2:設(shè)置每個分區(qū)的最小剩余空間值，該最小剩余空間值大于每天需要采集數(shù)據(jù)量的總和；
[0023]步驟3:將接收到的數(shù)據(jù)存儲到磁盤分區(qū)內(nèi)，當(dāng)數(shù)據(jù)存儲操作在第i個分區(qū)時，同時檢測第i+Ι個分區(qū)的剩余容量，并作出相應(yīng)處理，以保證第二天數(shù)據(jù)存儲具有足夠的分區(qū)空間。
[0024]步驟4:存儲接收到的數(shù)據(jù)時，按從第一個分區(qū)到最后一個分區(qū)再到第一個分區(qū)的規(guī)則，循環(huán)實現(xiàn)數(shù)據(jù)的存儲。
[0025]下面將結(jié)合附圖對本發(fā)明的【具體實施方式】做出進一步的詳細說明:
[0026]首先，將與智能變電站故障錄波裝置相連的硬盤根據(jù)其容量分成固定容量的η個分區(qū)，要保證每個分區(qū)的容量大于每天所要采集的數(shù)據(jù)量。以某一智能變電站為例，默認配置下智能變電站每秒1000Hz采樣頻率，每幀數(shù)據(jù)具有192路模擬量和512路的開關(guān)量，則在一天內(nèi)產(chǎn)生的數(shù)據(jù)總量為:(192 X 2+(512+15)/16 X 2) Byte/幀X 100Hz/秒X 3600/小時X 24/天?36GB。因此，每個分區(qū)的最小剩余空間值設(shè)定為50G，即可保證每天數(shù)據(jù)的完整性。在此，與智能變電站故障錄波裝置相連的硬盤為1T，現(xiàn)將它分為7個用于存儲智能變電站數(shù)據(jù)的分區(qū)，每個分區(qū)為100G，剩余的空間留作它用。在此，將7個磁盤分區(qū)編號為1，2，3，4，5，6，7，作為其他方式，也可以采用其他的編號規(guī)則，方便使用即可。
[0027]與智能變電站故障錄波裝置相連的硬盤接收到數(shù)據(jù)總線周波數(shù)據(jù)后，開辟出一個內(nèi)存緩沖區(qū)，該內(nèi)存緩沖區(qū)的大小為接收到數(shù)據(jù)包中的最大尺寸，用以保存每個周波的數(shù)據(jù)，進而轉(zhuǎn)發(fā)存儲到相應(yīng)的分區(qū)中。然后設(shè)置要存儲的分區(qū)號write_num和要檢測的分區(qū)號detec_numD有公式:
[0028]write_num = write_num% η ；
[0029]detec_num = (write_num+l) % n ；
[0030]其中n為用于接收智能變電站數(shù)據(jù)的分區(qū)的個數(shù)，在這里n = 7，write_num = 1，detec_num = 2。
[0031]存儲數(shù)據(jù)每經(jīng)過一天，則write_num加I。通過磁盤檢測判斷分區(qū)號為detec_num的分區(qū)容量是否寫滿，每天檢測一次，如果該分區(qū)剩余容量小于所設(shè)定的最小剩余空間值，則對該區(qū)做一定處理，使其剩余容量始終保持大于設(shè)定的最小剩余空間值，滿足數(shù)據(jù)的存儲；在這里是對該分區(qū)直接做格式化處理。因此，數(shù)據(jù)存儲操作只需往分區(qū)號值為write_num的分區(qū)上寫數(shù)據(jù)即可，而不需要考慮該分區(qū)是否有足夠容量。
[0032]同時，在每個分區(qū)中，每天按小時數(shù)為文件夾名保存數(shù)據(jù)文件，每個文件保存的時間間隔根據(jù)每天要接收的數(shù)據(jù)量來設(shè)定，在這里，每個文件大小約為20MB，因此設(shè)置文件保存時間間隔為10秒。
[0033]根據(jù)上述步驟，在第一天將數(shù)據(jù)存儲到編號為I的分區(qū)內(nèi)，同時磁盤檢測編號為2的分區(qū)中剩余容量是否大于最小剩余空間值，如果否，則對編號為2的分區(qū)進行處理以增大該分區(qū)的空間，在此是將編號為2的分區(qū)格式化。如此每天向后推移一個磁盤分區(qū)，到編號為7的分區(qū)以后又循環(huán)從編號為I的分區(qū)開始存儲，如此循環(huán)存儲智能變電站的數(shù)據(jù)。
[0034]以上給出了本發(fā)明具體的實施方式，但本發(fā)明不局限于所描述的實施方式。在本發(fā)明給出的思路下，采用對本領(lǐng)域技術(shù)人員而言容易想到的方式對上述實施例中的技術(shù)手段進行變換、替換、修改，并且起到的作用與本發(fā)明中的相應(yīng)技術(shù)手段基本相同、實現(xiàn)的發(fā)明目的也基本相同，這樣形成的技術(shù)方案是對上述實施例進行微調(diào)形成的，這種技術(shù)方案仍落入本發(fā)明的保護范圍內(nèi)。
【主權(quán)項】
1.一種基于單硬盤多分區(qū)的大數(shù)據(jù)管理方法，其特征在于，所述管理方法依次包括如下步驟: 步驟1:將與智能變電站故障錄波裝置相連的硬盤根據(jù)其容量和需要分成固定容量的η個分區(qū)，將這些分區(qū)按照一定的編號規(guī)則進行編號； 步驟2:設(shè)置每個分區(qū)的最小剩余空間值，該最小剩余空間值大于每天需要采集數(shù)據(jù)量的總和； 步驟3:將接收到的數(shù)據(jù)存儲到磁盤分區(qū)內(nèi)，當(dāng)數(shù)據(jù)存儲操作在第i個分區(qū)時，同時檢測第i+Ι個分區(qū)的剩余容量，并作出相應(yīng)處理，以保證第二天數(shù)據(jù)存儲具有足夠的分區(qū)空間； 步驟4:存儲接收到的數(shù)據(jù)時，按從第一個分區(qū)到最后一個分區(qū)再到第一個分區(qū)的規(guī)貝IJ，循環(huán)實現(xiàn)數(shù)據(jù)的存儲。2.根據(jù)權(quán)利要求1所述的一種基于單硬盤多分區(qū)的大數(shù)據(jù)管理方法，其特征在于，所述步驟I中一定的編號規(guī)則是指從自然數(shù)I開始按照自然數(shù)的順序從小到大編號。3.根據(jù)權(quán)利要求2所述的一種基于單硬盤多分區(qū)的大數(shù)據(jù)管理方法，其特征在于，所述編號是1，2, 3......m，m是自然數(shù)。4.根據(jù)權(quán)利要求1所述的一種基于單硬盤多分區(qū)的大數(shù)據(jù)管理方法，其特征在于，所述步驟3中的相應(yīng)處理是指在第i+Ι個分區(qū)剩余容量小于所設(shè)定的最小剩余空間值時，對其進行格式化處理。5.根據(jù)權(quán)利要求1所述的一種基于單硬盤多分區(qū)的大數(shù)據(jù)管理方法，其特征在于，所述步驟4中循環(huán)存儲的時間間隔是一天，每天僅在一個分區(qū)做數(shù)據(jù)存儲。
【專利摘要】本發(fā)明涉及一種基于單硬盤多分區(qū)的大數(shù)據(jù)管理方法，依次包括如下步驟：1，將與智能變電站故障錄波裝置相連的硬盤根據(jù)其容量和需要分成固定容量的n個分區(qū)，并按照一定的編號規(guī)則進行編號；2，設(shè)置每個分區(qū)的最小剩余空間值，該最小剩余空間值大于每天需要采集數(shù)據(jù)量的總和；3，將接收到的數(shù)據(jù)存儲到分區(qū)內(nèi)，當(dāng)數(shù)據(jù)存儲操作在第i個分區(qū)時，檢測第i+1個分區(qū)的剩余容量，并作出相應(yīng)處理，以保證第二天數(shù)據(jù)存儲具有足夠的分區(qū)空間；4，存儲接收到的數(shù)據(jù)時，按從第一個分區(qū)到最后一個分區(qū)再到第一個分區(qū)的規(guī)則，循環(huán)存儲。通過分區(qū)劃分使數(shù)據(jù)的讀寫與擦除不在同一個分區(qū)下，提高了單硬盤下數(shù)據(jù)存儲的可靠性、安全性。
【IPC分類】G06F3/06, G06F17/30
【公開號】CN105117177
【申請?zhí)枴緾N201510581298
【發(fā)明人】卓懷忠, 金華蓉, 竇中山, 王興安, 陳玉濤, 周曉娟, 王兆慶, 蔣懷貞, 劉永華, 卜銀娜, 胡葉賓, 戚振偉, 張鵬遠, 王四偉, 陳強
【申請人】許昌許繼軟件技術(shù)有限公司, 許繼電氣股份有限公司, 許繼集團有限公司, 國家電網(wǎng)公司
【公開日】2015年12月2日
【申請日】2015年9月14日