基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)實(shí)現(xiàn)方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及公安交通管理行業(yè)Hadoop生態(tài)應(yīng)用組件的調(diào)度服務(wù)技術(shù)領(lǐng)域，具體為基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)實(shí)現(xiàn)方法及系統(tǒng)。
【背景技術(shù)】
[0002]目前全國(guó)交通管理的各個(gè)業(yè)務(wù)信息系統(tǒng)的數(shù)據(jù)規(guī)模已達(dá)到數(shù)百億條。并且，全國(guó)每年新增違法記錄數(shù)據(jù)量有數(shù)億。當(dāng)前交通管理行業(yè)已經(jīng)嘗試使用Hadoop技術(shù)體系進(jìn)行數(shù)據(jù)管理工作，但是其采用的單一調(diào)用Hadoop應(yīng)用組件的方式很難進(jìn)行有效的管理與監(jiān)控，同時(shí)也無(wú)法適應(yīng)交通管理各個(gè)業(yè)務(wù)系統(tǒng)的異構(gòu)性。為此，需要設(shè)計(jì)一種統(tǒng)一的技術(shù)組件調(diào)度方法，實(shí)現(xiàn)hadoop技術(shù)體系與多源、異構(gòu)業(yè)務(wù)系統(tǒng)的整合，提高交管數(shù)據(jù)與技術(shù)組件的可靠性，實(shí)現(xiàn)基于代理服務(wù)Hadoop的組件調(diào)度、存儲(chǔ)管理、平臺(tái)監(jiān)控及日志管理等功能。

【發(fā)明內(nèi)容】

[0003]針對(duì)上述問(wèn)題，本發(fā)明提供了基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)實(shí)現(xiàn)方法及系統(tǒng)，其能解決現(xiàn)有單一的調(diào)用Hadoop應(yīng)用組件無(wú)法進(jìn)行有效的管理與監(jiān)控的問(wèn)題，同時(shí)解決其無(wú)法適應(yīng)交通管理各個(gè)業(yè)務(wù)系統(tǒng)的異構(gòu)性的問(wèn)題。
[0004]基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)實(shí)現(xiàn)方法，其特征在于:其在交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)、與Hadoop技術(shù)組件之間設(shè)置代理服務(wù)系統(tǒng)，所述交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)均通過(guò)所述代理服務(wù)系統(tǒng)的RPC控制端與接口服務(wù)模塊進(jìn)行業(yè)務(wù)數(shù)據(jù)的交互傳輸并由所述RPC控制端實(shí)現(xiàn)服務(wù)進(jìn)程的調(diào)用及處理，所述接口服務(wù)模塊對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行格式化、校驗(yàn)后與調(diào)度服務(wù)模塊進(jìn)行數(shù)據(jù)的交互傳輸，所述調(diào)度服務(wù)模塊對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行調(diào)度管理及監(jiān)控，代理服務(wù)系統(tǒng)的服務(wù)器模塊對(duì)所述Hadoop技術(shù)組件接口數(shù)據(jù)進(jìn)行封裝以實(shí)現(xiàn)所述代理服務(wù)系統(tǒng)與Hadoop技術(shù)組件之間數(shù)據(jù)的交互。
[0005]基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)系統(tǒng)，其包括交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)、以及Hadoop技術(shù)組件，其特征在于:在所述交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)、與所述Hadoop技術(shù)組件之間設(shè)置有代理服務(wù)系統(tǒng)，所述代理服務(wù)系統(tǒng)包括
RPC控制端，用于與所述交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)直接對(duì)接，并進(jìn)行進(jìn)程的調(diào)用及程序處理；
接口服務(wù)模塊，用于對(duì)數(shù)據(jù)進(jìn)行消息格式轉(zhuǎn)換、校驗(yàn)及權(quán)限控制；
調(diào)度服務(wù)模塊，用于任務(wù)管理、任務(wù)監(jiān)控及日志管理；
以及處理器模塊，用于對(duì)所述Hadoop技術(shù)組件接口封裝并與所述調(diào)節(jié)服務(wù)模塊進(jìn)行數(shù)據(jù)的交互。
[0006]其進(jìn)一步特征在于: 所述RPC控制端包括RPC客戶端和RPC服務(wù)器端，所述RPC客戶端與交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)直接對(duì)接，所述RPC客戶端與所述RPC服務(wù)器端數(shù)據(jù)傳送對(duì)接;
所述接口服務(wù)模塊包括消息格式轉(zhuǎn)換單元、內(nèi)容校驗(yàn)單元和權(quán)限控制單元，所述消息格式轉(zhuǎn)換單元用于將數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換，所述內(nèi)容校驗(yàn)單元通過(guò)創(chuàng)建數(shù)據(jù)檢驗(yàn)規(guī)則自動(dòng)為核心系統(tǒng)或外圍系統(tǒng)提供缺失、邏輯等各種數(shù)據(jù)檢驗(yàn)預(yù)警告警，用于提示各運(yùn)行板塊業(yè)務(wù)與管理人員實(shí)時(shí)進(jìn)行數(shù)據(jù)處置，所述權(quán)限控制用于對(duì)服務(wù)的訪問(wèn)進(jìn)行安全控制；
所述調(diào)度服務(wù)模塊包括任務(wù)管理單元、服務(wù)監(jiān)控單元和日志管理單元；所述任務(wù)管理單元通過(guò)觸發(fā)器設(shè)置作業(yè)定時(shí)運(yùn)行規(guī)則，并控制作業(yè)的運(yùn)行時(shí)間進(jìn)行定時(shí)任務(wù)調(diào)度，實(shí)現(xiàn)定時(shí)完成定制任務(wù)；所述服務(wù)監(jiān)控單元對(duì)服務(wù)運(yùn)行狀態(tài)、調(diào)用頻率、數(shù)據(jù)流量進(jìn)行實(shí)時(shí)監(jiān)控并褚地檢測(cè)各種異常信息和業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理情況；所述日志管理單元用于服務(wù)處理過(guò)程的日志記錄與監(jiān)控。
[0007]基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)實(shí)現(xiàn)方法及系統(tǒng)，其通過(guò)在交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)、與Hadoop技術(shù)組件之間設(shè)置代理服務(wù)系統(tǒng)實(shí)現(xiàn)了業(yè)務(wù)系統(tǒng)與Hadoop技術(shù)組件之間的關(guān)注點(diǎn)的隔離，通過(guò)提供代理服務(wù)與服務(wù)的動(dòng)態(tài)、靜態(tài)調(diào)用降低業(yè)務(wù)系統(tǒng)與Hadoop技術(shù)組件的耦合程度；代理服務(wù)作為可重用的服務(wù)定義，屏蔽對(duì)后端Hadoop接口服務(wù)的直接訪問(wèn)，降低了后端Hadoop平臺(tái)的切換對(duì)業(yè)務(wù)系統(tǒng)的影響程度，并提升了整體大數(shù)據(jù)體系的適應(yīng)性和可擴(kuò)展性；在基于代理的Hadoop生態(tài)組件調(diào)度模式中，代理服務(wù)中對(duì)服務(wù)的封裝通過(guò)代理服務(wù)消息流來(lái)實(shí)現(xiàn)，代理服務(wù)消息流也是一種交換服務(wù)流，由服務(wù)調(diào)度引擎統(tǒng)一調(diào)度執(zhí)行，解決了業(yè)務(wù)系統(tǒng)與Hadoop技術(shù)組件之間數(shù)據(jù)交互的管理問(wèn)題；此外，本發(fā)明系統(tǒng)能夠?qū)崿F(xiàn)業(yè)務(wù)系統(tǒng)與Hadoop之間的運(yùn)行隔離性，對(duì)于系統(tǒng)間的適配，做到了侵入性最小，保護(hù)用戶原有投資和已有業(yè)務(wù)的穩(wěn)定性，最大程度的保證集成過(guò)程不影響原有應(yīng)用系統(tǒng)的運(yùn)行穩(wěn)定性。
【附圖說(shuō)明】
[0008]圖1為本發(fā)明基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)系統(tǒng)組成圖；
圖2為本發(fā)明基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)實(shí)現(xiàn)方法RPC調(diào)用邏輯框圖。
【具體實(shí)施方式】
[0009]本發(fā)明基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)實(shí)現(xiàn)方法，其在交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)、與Hadoop技術(shù)組件之間設(shè)置代理服務(wù)系統(tǒng)，所述交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)通過(guò)代理服務(wù)系統(tǒng)的RPC控制端與接口服務(wù)模塊進(jìn)行業(yè)務(wù)數(shù)據(jù)的交互傳輸并由RPC控制端實(shí)現(xiàn)服務(wù)進(jìn)程的調(diào)用及處理，接口服務(wù)模塊對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行格式化、校驗(yàn)后與調(diào)度服務(wù)模塊進(jìn)行數(shù)據(jù)的交互傳輸，所述調(diào)度服務(wù)模塊對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行調(diào)度管理及監(jiān)控，代理服務(wù)系統(tǒng)的服務(wù)器模塊對(duì)所述Hadoop技術(shù)組件接口數(shù)據(jù)進(jìn)行封裝以實(shí)現(xiàn)所述代理服務(wù)系統(tǒng)與Hadoop技術(shù)組件之間數(shù)據(jù)的交互。
[0010]見(jiàn)圖1，本發(fā)明基于代理服務(wù)的Hadoop生態(tài)組件的交管業(yè)務(wù)調(diào)度服務(wù)系統(tǒng)，其包括交通管理大數(shù)據(jù)平臺(tái)10-1和/或其它交管業(yè)務(wù)系統(tǒng)10-2、以及Hadoop技術(shù)組件30，在交通管理大數(shù)據(jù)平臺(tái)10-1和/或其它交管業(yè)務(wù)系統(tǒng)10-2、與Hadoop技術(shù)組件30之間設(shè)置有代理服務(wù)系統(tǒng)，代理服務(wù)系統(tǒng)包括
RPC控制端21，用于與交通管理大數(shù)據(jù)平臺(tái)10-1和/或其他交管業(yè)務(wù)系統(tǒng)10-2直接對(duì)接，并進(jìn)行進(jìn)程的調(diào)用及程序處理；
接口服務(wù)模塊22，用于對(duì)數(shù)據(jù)進(jìn)行消息格式轉(zhuǎn)換、校驗(yàn)及權(quán)限控制；
調(diào)度服務(wù)模塊23，用于任務(wù)管理、任務(wù)監(jiān)控及日志管理；
以及處理器模塊24，用于對(duì)Hadoop技術(shù)組件接口封裝并與所述調(diào)節(jié)服務(wù)模塊進(jìn)行數(shù)據(jù)的交互，處理器模塊24包括Sqoop處理器、Phoenix處理器、Hbase處理器、HIVE處理器、HDFS處理器、YARN處理器。
[0011]RPC控制端21包括RPC客戶端211和RPC服務(wù)器端212，RPC客戶端211與交通管理大數(shù)據(jù)平臺(tái)10-1和/或其它交管業(yè)務(wù)系統(tǒng)10-2直接對(duì)接，RPC客戶端211與RPC服務(wù)器端212數(shù)據(jù)傳送對(duì)接；RPC客戶端211支持多種方式接入，主要可分為業(yè)務(wù)系統(tǒng)功能操作接入和Webservice接入。RPC客戶端211是由客戶機(jī)調(diào)用進(jìn)程發(fā)送一個(gè)有進(jìn)程參數(shù)的調(diào)用信息到服務(wù)進(jìn)程，然后等待應(yīng)答信息，在RPC服務(wù)器端212，進(jìn)程保持睡眠狀態(tài)直到調(diào)用信息到達(dá)為止，當(dāng)一個(gè)調(diào)用信息到達(dá)，RPC服務(wù)器端212獲得進(jìn)程參數(shù)，計(jì)算結(jié)果，發(fā)送答復(fù)信息，然后等待下一個(gè)調(diào)用信息，最后，RPC客戶端調(diào)用進(jìn)程接收答復(fù)信息，獲得進(jìn)程結(jié)果，然后調(diào)用執(zhí)行繼續(xù)進(jìn)行。
[0012]接口服務(wù)模塊22包括消息格式轉(zhuǎn)換單元221、內(nèi)容校驗(yàn)單元222和權(quán)限控制單元223，消息格式轉(zhuǎn)換單元221用于將數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換，其支持XML、JS0N、二進(jìn)制文件、文本文件等數(shù)據(jù)格式，能將一種數(shù)據(jù)格式轉(zhuǎn)換為另一種數(shù)據(jù)格式，在數(shù)據(jù)格式轉(zhuǎn)換時(shí)可支持聚合、拆分模式。支持?jǐn)?shù)據(jù)之間不同字符集格式的轉(zhuǎn)換，例如GB2312，GBK, GB18030、Unicode、UTF-8等相互之間的轉(zhuǎn)換；內(nèi)容校驗(yàn)單元222通過(guò)創(chuàng)建數(shù)據(jù)檢驗(yàn)規(guī)則自動(dòng)為核心系統(tǒng)或外圍系統(tǒng)提供缺失、邏輯等各種數(shù)據(jù)檢驗(yàn)預(yù)警告警，用于提示各運(yùn)行板塊業(yè)務(wù)與管理人員實(shí)時(shí)進(jìn)行數(shù)據(jù)處置，數(shù)據(jù)接收時(shí)，通過(guò)數(shù)據(jù)校驗(yàn)保證數(shù)據(jù)質(zhì)量，支持以下校驗(yàn)規(guī)則:重復(fù)性檢查、唯一性檢查、自定義校驗(yàn)規(guī)則等；權(quán)限控制單元223用于對(duì)服務(wù)的訪問(wèn)進(jìn)行安全控制，對(duì)服務(wù)的訪問(wèn)需按照一定的規(guī)則進(jìn)行設(shè)置，當(dāng)服務(wù)設(shè)置為需要進(jìn)行身份驗(yàn)證，服務(wù)調(diào)用者應(yīng)當(dāng)在請(qǐng)求報(bào)文頭(SOAP Header)中填寫(xiě)身份驗(yàn)證信息；
調(diào)度服務(wù)模塊23包括任務(wù)管理單元23