用電信息采集系統(tǒng)的任務(wù)并行處理方法
【專利摘要】本發(fā)明給出了一個用電信息采集系統(tǒng)的任務(wù)并行處理方法，建立分布式的采集通訊機(jī)組，由各采集通訊機(jī)并行采集線程對應(yīng)的分布在各地市的終端執(zhí)行采集任務(wù)，根據(jù)終端的不同類型，對采集的任務(wù)進(jìn)行分解：通過管理線程查詢當(dāng)前采集通訊機(jī)組所有采集線程的運(yùn)行狀態(tài)，當(dāng)有空閑的采集線程時，就去取任務(wù)隊(duì)列中需要執(zhí)行的任務(wù)；對各個地市之間的采集任務(wù)并行處理；對多個采集線程采集上來的數(shù)據(jù)項(xiàng)同時進(jìn)行存儲，數(shù)據(jù)緩存區(qū)對于每個線程進(jìn)行分區(qū)，同時讀寫。本發(fā)明通過分布式的并行處理方法，確保不同用戶任務(wù)數(shù)據(jù)的及時性，并提高了采集系統(tǒng)的執(zhí)行效率。
【專利說明】用電信息采集系統(tǒng)的任務(wù)并行處理方法
[0001]
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及一種用電信息采集系統(tǒng)的任務(wù)并行處理方法，屬于計(jì)算機(jī)系統(tǒng)【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0003]并行機(jī)制是用電信息采集系統(tǒng)平臺的一個重要組成部分，使得不同用戶任務(wù)的下發(fā)和數(shù)據(jù)項(xiàng)的采集入庫能夠快速、高效的執(zhí)行。
[0004]為滿足大量的不同用戶用電信息的任務(wù)需求，并行系統(tǒng)應(yīng)具備相當(dāng)?shù)目捎眯院妥赃m應(yīng)性。不僅需要提供正常的任務(wù)調(diào)度，還需要提供任務(wù)的分割；另外，為滿足更高的執(zhí)行效率，并行系統(tǒng)還需要具備一定的自適應(yīng)的功能。
[0005]目前，部分信息采集系統(tǒng)提供了任務(wù)并行的功能，但其并行的功能太過的單一，任務(wù)和線程的對應(yīng)關(guān)系比較的固定，這樣就會出現(xiàn)線程的利用率較差，從而導(dǎo)致任務(wù)的執(zhí)行效率不高，使得數(shù)據(jù)項(xiàng)不能及時的采集入庫，影響營銷部門抄表、電費(fèi)等時效性較強(qiáng)業(yè)務(wù)的開展，并且還伴隨著QOS的降低。

【發(fā)明內(nèi)容】

[0006]本發(fā)明所要解決的技術(shù)問題是提出了一種先進(jìn)的并行處理方法，提高任務(wù)的執(zhí)行效率，保證數(shù)據(jù)采集的及時性，提高業(yè)務(wù)的服務(wù)質(zhì)量。
[0007]為實(shí)現(xiàn)上述目的，本發(fā)明采取以下技術(shù)方案進(jìn)行實(shí)現(xiàn):
用電信息采集系統(tǒng)的任務(wù)并行處理方法，其特征在于:包括
1)建立各地市采集任務(wù)的分布式的采集通訊機(jī)組:建立分布式的采集通訊機(jī)組，由各采集通訊機(jī)并行采集線程對應(yīng)的分布在各地市的終端執(zhí)行采集任務(wù)，對各個地市之間的采集任務(wù)并行處理；
2)任務(wù)的并行處理:當(dāng)任務(wù)隊(duì)列中有任務(wù)需要執(zhí)行時，通過一個管理線程查詢當(dāng)前采集通訊機(jī)組所有采集線程的運(yùn)行狀態(tài)，當(dāng)有空閑的采集線程時，就去取任務(wù)隊(duì)列中這個需要執(zhí)行的任務(wù)，沒有采集線程空閑的話，該任務(wù)處于等待狀態(tài)，直至查詢到有空間的采集線程;
3)任務(wù)分解成若干子任務(wù):根據(jù)終端的不同類型，對采集的任務(wù)進(jìn)行分解:
A.終端為集抄終端:循環(huán)數(shù)據(jù)項(xiàng)，由當(dāng)前數(shù)據(jù)項(xiàng)和當(dāng)前采集點(diǎn)取得采集對象列表，循環(huán)采集對象列表，取得采集數(shù)據(jù)項(xiàng)，當(dāng)采集數(shù)據(jù)項(xiàng)數(shù)達(dá)到任務(wù)上限或者到達(dá)最后一個采集對象，則生成一條子任務(wù)；當(dāng)所有采集對象的子任務(wù)生成完成，則轉(zhuǎn)至下一個數(shù)據(jù)項(xiàng)，由下一個數(shù)據(jù)項(xiàng)和當(dāng)前的采集點(diǎn)取得新的采集對象列表，生成下一個數(shù)據(jù)項(xiàng)和當(dāng)前采集點(diǎn)的采集任務(wù)，過程與前一個數(shù)據(jù)項(xiàng)的子任務(wù)生成過程相同；
B.終端為負(fù)控終端:先取得該采集點(diǎn)的采集對象列表，循環(huán)采集對象列表，由每個采集對象分別和當(dāng)前配置任務(wù)的所有數(shù)據(jù)項(xiàng)生成采集數(shù)據(jù)項(xiàng)列表，如果采集數(shù)據(jù)項(xiàng)數(shù)達(dá)到每條任務(wù)最大采集數(shù)據(jù)項(xiàng)數(shù)，或者到達(dá)最后一個采集對象的最后一個采集數(shù)據(jù)項(xiàng)時，則生成一條子任務(wù)；當(dāng)一個采集對象對應(yīng)所有數(shù)據(jù)項(xiàng)的采集數(shù)據(jù)項(xiàng)的自動任務(wù)生成完成，則轉(zhuǎn)至下一個采集對象，下一個采集對象的自動任務(wù)生成過程與前一個采集對象生成過程相同；
4)任務(wù)的并行存儲:對多個采集線程采集上來的數(shù)據(jù)項(xiàng)同時進(jìn)行存儲，數(shù)據(jù)緩存區(qū)對于每個線程進(jìn)行分區(qū)，同時讀寫。
[0008]任務(wù)按性質(zhì)分為自動任務(wù)和手動任務(wù)，自動任務(wù)每天定時執(zhí)行，手動任務(wù)由人為手動觸發(fā)，如召測某個數(shù)據(jù)項(xiàng)的數(shù)據(jù)；自動任務(wù)和手動任務(wù)分別存放在任務(wù)隊(duì)列緩存中的自動任務(wù)隊(duì)列緩存和手動任務(wù)隊(duì)列緩存中。
[0009]手動任務(wù)的優(yōu)先級比自動任務(wù)高，任務(wù)隊(duì)列緩存采取FIFO先進(jìn)先出機(jī)制。
[0010]管理線程用來啟動或暫停多個采集線程，采集線程到任務(wù)隊(duì)列緩存中取任務(wù)，任務(wù)查詢方法為:管理線程啟動第一個采集線程；先查詢手動任務(wù)隊(duì)列緩存首部，有任務(wù)就開始執(zhí)行，并且第一采集線程進(jìn)入忙碌狀態(tài)，沒有任務(wù)就繼續(xù)查詢自動任務(wù)隊(duì)列緩存首部，有任務(wù)就執(zhí)行，并且第一采集線程進(jìn)入忙碌狀態(tài)，沒有就繼續(xù)查詢手動任務(wù)隊(duì)列緩存和自動任務(wù)隊(duì)列緩存，進(jìn)入輪詢狀態(tài)；
上一個采集線程進(jìn)入忙碌狀態(tài)后，管理線程啟動下一個采集線程，下一個采集線程執(zhí)行相同的任務(wù)查詢過程。
[0011]任務(wù)的并行存儲機(jī)制為:
數(shù)據(jù)庫按照終端號，用戶編號、電表號、電表局號、日期、地區(qū)編號等信息進(jìn)行區(qū)域分害!]，任務(wù)線程把采集好的數(shù)據(jù)按照終端號，用戶編號、電表號、電表局號、日期、地區(qū)編號等信息分別把數(shù)據(jù)存放到相應(yīng)的區(qū)域，如果對應(yīng)的信息與之前存儲的信息不同，則進(jìn)行數(shù)據(jù)插入操作，若是果對應(yīng)的信息與之前存儲的信息相同，則執(zhí)行數(shù)據(jù)替換更新操作。
[0012]每個采集通訊機(jī)組設(shè)置有采集通訊機(jī)組熱備，當(dāng)前采集通訊機(jī)組出現(xiàn)故障時，切換到采集通訊機(jī)組熱備，由采集通訊機(jī)組熱備繼續(xù)執(zhí)行當(dāng)前任務(wù)。
[0013]一個采集通訊機(jī)組包含一個管理線程，用于管理的最大并行采集線程數(shù)為300。采集通訊機(jī)熱備:用于當(dāng)主設(shè)備出現(xiàn)故障時，可以自動切換到備用設(shè)備，保證任務(wù)可以繼續(xù)執(zhí)行。
[0014]本發(fā)明對用電信息采集系統(tǒng)具有可擴(kuò)展性，隨著任務(wù)量的增加，可根據(jù)任務(wù)的終端類型進(jìn)行分解和并行處理。
[0015]為保證任務(wù)的正常執(zhí)行，本發(fā)明提供了一種備份手段:熱備份，采用archivelogmode的方式備份數(shù)據(jù)庫。
[0016]本發(fā)明所達(dá)到的有益效果:
本發(fā)明運(yùn)用分布式處理技術(shù)和并行算法，解決了現(xiàn)有采集任務(wù)繁瑣且數(shù)量巨大的問題，大大地縮小了任務(wù)執(zhí)行的時間，提高任務(wù)的執(zhí)行效率，隨著數(shù)據(jù)的及時入庫，提高了計(jì)量檢測、電費(fèi)查收和故障排查等業(yè)務(wù)的質(zhì)量。
【專利附圖】

【附圖說明】
[0017]圖1并行處理物理架構(gòu)結(jié)構(gòu)圖；
圖2任務(wù)并行實(shí)現(xiàn)流程圖。【具體實(shí)施方式】
[0018]以下結(jié)合附圖對本發(fā)明作具體的介紹:
如圖1所示，本發(fā)明的物理部署模型，包括任務(wù)執(zhí)行庫、業(yè)務(wù)庫、任務(wù)調(diào)度線程(管理線程)、采集線程、數(shù)據(jù)緩存區(qū)和批量入庫線程。
[0019]任務(wù)執(zhí)行庫中的任務(wù)隊(duì)列用于存放執(zhí)行的m個任務(wù)，每個采集通訊機(jī)組1A、1B任務(wù)調(diào)度線程用來啟動或暫停其管理的300個采集線程，任務(wù)調(diào)度線程啟動采集線程，到任務(wù)隊(duì)列緩存中取任務(wù)，根據(jù)采集線程連接的η個終端的不同類型，對采集的任務(wù)進(jìn)行分解，分解為若干子任務(wù)，并行執(zhí)行任務(wù)處理。并將采集的數(shù)據(jù)按照分割區(qū)域分別對應(yīng)存放到數(shù)據(jù)緩存區(qū)，通過數(shù)據(jù)緩存區(qū)集中通過每個采集通訊機(jī)組1Α、1Β中的批量入庫線程最后統(tǒng)一集中存儲到業(yè)務(wù)庫中。
[0020]如圖2所示，本發(fā)明的方法任務(wù)查詢、并行處理過程為:
根據(jù)終端的不同類型，對采集的任務(wù)進(jìn)行分解；任務(wù)按性質(zhì)分為自動任務(wù)和手動任務(wù)，分別存放在自動任務(wù)隊(duì)列緩存和手動任務(wù)隊(duì)列緩存中。
[0021]管理線程啟動第一個采集線程；先查詢手動任務(wù)隊(duì)列緩存首部，有任務(wù)就開始執(zhí)行，并且第一采集線程進(jìn)入忙碌狀態(tài)，沒有任務(wù)就繼續(xù)查詢自動任務(wù)隊(duì)列緩存首部，有任務(wù)就執(zhí)行，并且第一采集線程進(jìn)入忙碌狀態(tài)，沒有就返回繼續(xù)查詢手動任務(wù)隊(duì)列緩存和自動任務(wù)隊(duì)列緩存，進(jìn)入輪詢狀態(tài)；
當(dāng)取出任務(wù)后，上一個采集線程進(jìn)入忙碌狀態(tài)，開始進(jìn)行數(shù)據(jù)采集，數(shù)據(jù)采集完成后由數(shù)據(jù)庫分區(qū)存儲數(shù)據(jù)；同時，取出任務(wù)后，管理線程啟動下一個采集線程，下一個采集線程執(zhí)行相同的任務(wù)查詢、并行處理過程。管理線程未發(fā)出暫停指令，任務(wù)隊(duì)列中的任務(wù)處理完成后，線程結(jié)束。
[0022]本發(fā)明的方法可用于支持裝有信息采集的大型專變用戶、中小型專變用戶、三項(xiàng)一般工業(yè)用戶、單相一般工業(yè)用戶、居民用戶和公用配變考核計(jì)量點(diǎn)任務(wù)的并行下發(fā)和終端事件或數(shù)據(jù)項(xiàng)的并行上報(bào)。本發(fā)明的并行處理方法提高了任務(wù)的執(zhí)行效率，保證任務(wù)能夠盡快的完成，提升計(jì)量檢測、電費(fèi)查收和故障排查等業(yè)務(wù)的質(zhì)量。
[0023]以上已以較佳實(shí)例公布本發(fā)明如上，然其并非用以限制本發(fā)明，凡采取等同替換或等效變換的方式所獲得的技術(shù)方案，均落在本發(fā)明的保護(hù)范圍內(nèi)。
【權(quán)利要求】
1.用電信息采集系統(tǒng)的任務(wù)并行處理方法，其特征在于:包括以下步驟: 1)建立各地市采集任務(wù)的分布式的采集通訊機(jī)組:建立分布式的采集通訊機(jī)組，由各采集通訊機(jī)并行采集線程對應(yīng)的分布在各地市的終端執(zhí)行采集任務(wù)，對各個地市之間的采集任務(wù)并行處理； 2)任務(wù)的并行處理:當(dāng)任務(wù)隊(duì)列中有任務(wù)需要執(zhí)行時，通過一個管理線程查詢當(dāng)前采集通訊機(jī)組所有采集線程的運(yùn)行狀態(tài)，當(dāng)有空閑的采集線程時，就去取任務(wù)隊(duì)列中這個需要執(zhí)行的任務(wù)，沒有采集線程空閑的話，該任務(wù)處于等待狀態(tài)，直至查詢到有空間的采集線程; 3)任務(wù)分解成若干子任務(wù):根據(jù)終端的不同類型，對采集的任務(wù)進(jìn)行分解: A.終端為集抄終端:循環(huán)數(shù)據(jù)項(xiàng)，由當(dāng)前數(shù)據(jù)項(xiàng)和當(dāng)前采集點(diǎn)取得采集對象列表，循環(huán)采集對象列表，取得采集數(shù)據(jù)項(xiàng)，當(dāng)采集數(shù)據(jù)項(xiàng)數(shù)達(dá)到任務(wù)上限或者到達(dá)最后一個采集對象，則生成一條子任務(wù)；當(dāng)所有采集對象的子任務(wù)生成完成，則轉(zhuǎn)至下一個數(shù)據(jù)項(xiàng)，由下一個數(shù)據(jù)項(xiàng)和當(dāng)前的采集點(diǎn)取得新的采集對象列表，生成下一個數(shù)據(jù)項(xiàng)和當(dāng)前采集點(diǎn)的采集任務(wù)，過程與前一個數(shù)據(jù)項(xiàng)的子任務(wù)生成過程相同； B.終端為負(fù)控終端:先取得該采集點(diǎn)的采集對象列表，循環(huán)采集對象列表，由每個采集對象分別和當(dāng)前配置任務(wù)的所有數(shù)據(jù)項(xiàng)生成采集數(shù)據(jù)項(xiàng)列表，如果采集數(shù)據(jù)項(xiàng)數(shù)達(dá)到每條任務(wù)最大采集數(shù)據(jù)項(xiàng)數(shù)，或者到達(dá)最后一個采集對象的最后一個采集數(shù)據(jù)項(xiàng)時，則生成一條子任務(wù)；當(dāng)一個采集對象對應(yīng)所有數(shù)據(jù)項(xiàng)的采集數(shù)據(jù)項(xiàng)的自動任務(wù)生成完成，則轉(zhuǎn)至下一個采集對象，下一個采集對象的自動任務(wù)生成過程與前一個采集對象生成過程相同； 4)任務(wù)的并行存儲:對多個采集線程采集上來的數(shù)據(jù)項(xiàng)同時進(jìn)行存儲，數(shù)據(jù)緩存區(qū)對于每個線程進(jìn)行分區(qū)，同時讀 寫。
2.根據(jù)權(quán)利要求1所述的用電信息采集系統(tǒng)的任務(wù)并行處理方法，其特征在于: 任務(wù)按性質(zhì)分為自動任務(wù)和手動任務(wù)，自動任務(wù)每天定時執(zhí)行，手動任務(wù)由人為手動觸發(fā)；自動任務(wù)和手動任務(wù)分別存放在任務(wù)隊(duì)列緩存中的自動任務(wù)隊(duì)列緩存和手動任務(wù)隊(duì)列緩存中。
3.根據(jù)權(quán)利要求1或2所述的用電信息采集系統(tǒng)的任務(wù)并行處理方法，其特征在于: 手動任務(wù)的優(yōu)先級比自動任務(wù)聞，任務(wù)隊(duì)列緩存米取先進(jìn)先出機(jī)制。
4.根據(jù)權(quán)利要求1所述的用電信息采集系統(tǒng)的任務(wù)并行處理方法，其特征在于: 管理線程用來啟動或暫停多個采集線程，任務(wù)查詢方法為:管理線程啟動第一個采集線程；先查詢手動任務(wù)隊(duì)列緩存首部，有任務(wù)就開始執(zhí)行，并且第一采集線程進(jìn)入忙碌狀態(tài)，沒有任務(wù)就繼續(xù)查詢自動任務(wù)隊(duì)列緩存首部，有任務(wù)就執(zhí)行，并且第一采集線程進(jìn)入忙碌狀態(tài)，沒有就繼續(xù)查詢手動任務(wù)隊(duì)列緩存和自動任務(wù)隊(duì)列緩存，進(jìn)入輪詢狀態(tài)； 上一個采集線程進(jìn)入忙碌狀態(tài)后，管理線程啟動下一個采集線程，下一個采集線程執(zhí)行相同的任務(wù)查詢過程。
5.根據(jù)權(quán)利要求1所述的用電信息采集系統(tǒng)的任務(wù)并行處理方法，其特征在于: 任務(wù)的并行存儲機(jī)制為: 數(shù)據(jù)庫按照終端號，用戶編號、電表號、電表局號、日期、地區(qū)編號信息進(jìn)行區(qū)域分割，采集線程把采集好的數(shù)據(jù)按照終端號，用戶編號、電表號、電表局號、日期、地區(qū)編號信息分別對應(yīng)存放到相應(yīng)的區(qū)域，如果對應(yīng)的信息與之前存儲的信息不同，則進(jìn)行數(shù)據(jù)插入操作，若對應(yīng)的信息與之前存儲的信息相同，則執(zhí)行數(shù)據(jù)替換更新操作。
6.根據(jù)權(quán)利要求1所述的用電信息采集系統(tǒng)的任務(wù)并行處理方法，其特征在于:每個采集通訊機(jī)組設(shè)置有采集通訊機(jī)組熱備，當(dāng)前采集通訊機(jī)組出現(xiàn)故障時，切換到采集通訊機(jī)組熱備，由采集通訊機(jī)組熱備繼續(xù)執(zhí)行當(dāng)前任務(wù)。
7.根據(jù)權(quán)利要求1或5所述的用電信息采集系統(tǒng)的任務(wù)并行處理方法，其特征在于:一個采集通訊機(jī)組包含一個管理，線程，用于管理的最大并行采集線程數(shù)為300。
【文檔編號】G06F17/30GK103514277SQ201310437549
【公開日】2014年1月15日 申請日期:2013年9月24日 優(yōu)先權(quán)日:2013年9月24日
【發(fā)明者】黃奇峰, 鄭海雁, 范潔, 熊政, 李新家, 陳霄, 周玉, 喻偉, 王紅星, 陳剛, 易永仙 申請人:國家電網(wǎng)公司, 江蘇省電力公司, 江蘇省電力公司電力科學(xué)研究院, 江蘇方天電力技術(shù)有限公司