本發(fā)明涉及大數(shù)據(jù)管理技術(shù)領(lǐng)域，尤其涉及一種業(yè)務(wù)行為數(shù)據(jù)采集系統(tǒng)。

背景技術(shù)：

企業(yè)內(nèi)部人員在使用IT業(yè)務(wù)系統(tǒng)的過程中，會(huì)產(chǎn)生大量的數(shù)據(jù)流、同時(shí)形成特有的信息定義和使用行為習(xí)慣，我們可以稱之為業(yè)務(wù)行為數(shù)據(jù)。這些業(yè)務(wù)行為數(shù)據(jù)對企業(yè)內(nèi)部流程的優(yōu)化和再造具有巨大價(jià)值。企業(yè)高層管理者希望能洞悉這些信息，真正通過系統(tǒng)掌控企業(yè)運(yùn)行狀態(tài)。

企業(yè)外部客戶、上下游合作企業(yè)在使用企業(yè)業(yè)務(wù)系統(tǒng)的過程中，也會(huì)產(chǎn)生大量交互數(shù)據(jù)，行為數(shù)據(jù)，這些信息對企業(yè)優(yōu)化供應(yīng)鏈、優(yōu)化市場和營銷等方面也具有很大的價(jià)值，企業(yè)也希望能掌握這些信息并從中獲取價(jià)值。

隨著企業(yè)業(yè)務(wù)的發(fā)展，為滿足業(yè)務(wù)需求的多樣性，業(yè)務(wù)系統(tǒng)經(jīng)過不斷迭代，實(shí)際的系統(tǒng)和最初設(shè)計(jì)往往有較大出入。企業(yè)IT及各業(yè)務(wù)部門希望及時(shí)掌握業(yè)務(wù)系統(tǒng)的真實(shí)架構(gòu)、流程、運(yùn)行狀態(tài)等信息，也希望了解各個(gè)系統(tǒng)的行為數(shù)據(jù)，解決掉系統(tǒng)和管理脫節(jié)的問題。

設(shè)計(jì)人員設(shè)計(jì)一個(gè)新的業(yè)務(wù)流程的時(shí)候都是從正常業(yè)務(wù)開展的邏輯展開的，不大會(huì)從鉆空子的角度防范業(yè)務(wù)流程漏洞的產(chǎn)生。即使有的設(shè)計(jì)人員有這方面經(jīng)驗(yàn)，但由于新業(yè)務(wù)流程常常需要借助其他已有系統(tǒng)的業(yè)務(wù)流程，設(shè)計(jì)人員很難洞察其他已有多個(gè)系統(tǒng)的業(yè)務(wù)邏輯，也無法預(yù)見新舊業(yè)務(wù)流程交互在一起的時(shí)候會(huì)不會(huì)有漏洞產(chǎn)生。特別當(dāng)企業(yè)內(nèi)部系統(tǒng)越來越多，業(yè)務(wù)邏輯關(guān)聯(lián)越來越復(fù)雜的情況下，任何一個(gè)設(shè)計(jì)人員都無法洞察所有系統(tǒng)，梳理這些系統(tǒng)間的復(fù)雜關(guān)系也成為了一件人腦無法勝任的事情。

企業(yè)內(nèi)部的IT支撐系統(tǒng)在運(yùn)行過程中，難免有漏洞、瑕疵需要不斷修復(fù)，改進(jìn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題，在于提供一種業(yè)務(wù)行為數(shù)據(jù)采集系統(tǒng)，企業(yè)IT運(yùn)維部門能提前發(fā)現(xiàn)潛在威脅，預(yù)防，阻斷危及系統(tǒng)安全和數(shù)據(jù)安全的事件發(fā)生。

本發(fā)明是這樣實(shí)現(xiàn)的：一種業(yè)務(wù)行為數(shù)據(jù)采集系統(tǒng)，所述系統(tǒng)包括業(yè)務(wù)處理前端、后臺(tái)數(shù)據(jù)庫服務(wù)器、以及安全控管中心；

所述系統(tǒng)對業(yè)務(wù)處理前端和后臺(tái)數(shù)據(jù)庫服務(wù)器分別監(jiān)控采集數(shù)據(jù)，

分別對監(jiān)控采集的數(shù)據(jù)進(jìn)行解析出各種網(wǎng)絡(luò)、系統(tǒng)、數(shù)據(jù)庫指令和數(shù)據(jù)并傳輸給安全管控中心，

安全管控中心對業(yè)務(wù)處理前端和后臺(tái)數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)信息進(jìn)行關(guān)聯(lián)并存儲(chǔ)，

根據(jù)不同的業(yè)務(wù)需求，用戶能從安全控管中心中進(jìn)行查詢獲得需要的數(shù)據(jù)。

進(jìn)一步的，所述監(jiān)控采集數(shù)據(jù)的方式通過配置交換機(jī)鏡像端口側(cè)錄網(wǎng)絡(luò)封包，或是安裝代理程序于服務(wù)器端，其中，安裝代理程序采集有分為兩種模式：一為側(cè)錄網(wǎng)絡(luò)端口封包模塊，另一種為內(nèi)核層探針模式。

進(jìn)一步的，所述業(yè)務(wù)處理前端包括前端web層、應(yīng)用層、前端數(shù)據(jù)庫、或移動(dòng)app。

進(jìn)一步的，所述監(jiān)控采集數(shù)據(jù)的方式采用配置交換機(jī)鏡像端口側(cè)錄網(wǎng)絡(luò)封包時(shí)，所述系統(tǒng)具體為：

所述業(yè)務(wù)處理前端和后臺(tái)數(shù)據(jù)庫服務(wù)器分別對應(yīng)連接有第一解析器和第二解析器，所述第一解析器抓取業(yè)務(wù)處理前端的數(shù)據(jù)解析出各種網(wǎng)絡(luò)、系統(tǒng)、數(shù)據(jù)庫指令和數(shù)據(jù)并傳輸給安全管控中心，所述第二解析器抓取后臺(tái)數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)解析出各種網(wǎng)絡(luò)、系統(tǒng)、數(shù)據(jù)庫指令和數(shù)據(jù)并傳輸給安全管控中心，安全管控中心獲取第一解析器和第二解析器的數(shù)據(jù)并進(jìn)行分類、解析后對業(yè)務(wù)處理前端的數(shù)據(jù)信息和后臺(tái)數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)信息進(jìn)行關(guān)聯(lián)，得到前端用戶的行為軌跡，并將關(guān)聯(lián)信息入庫供平臺(tái)查詢使用。

進(jìn)一步的，所述第一解析器和第二解析器均包括：網(wǎng)路封包采集模塊、解析模塊、以及傳輸模塊；

所述網(wǎng)路封包采集模塊：負(fù)責(zé)收錄業(yè)務(wù)處理前端或后臺(tái)數(shù)據(jù)庫服務(wù)器網(wǎng)路鏡像封包,利用網(wǎng)卡芯片驅(qū)動(dòng)程式撰寫高效收錄程序,降低封包遺漏問題；

解析模塊：收錄進(jìn)來封包依照各傳輸協(xié)議特性，由對應(yīng)模塊程序解析，前端http或https應(yīng)用程序協(xié)議由解析http或https解析程序負(fù)責(zé)解析，各類數(shù)據(jù)庫封包由對應(yīng)數(shù)據(jù)庫程序解析,解析完成后產(chǎn)制文件存放到一傳送隊(duì)列；

傳輸模塊：負(fù)責(zé)將解析后的文件從傳送隊(duì)列抓取傳送給安全控管中心。

進(jìn)一步的，所述第一解析器和第二解析器均還包括：重傳模塊，所述重傳模塊：傳輸過程中因網(wǎng)路中斷或其他原因發(fā)生傳送失敗,會(huì)暫時(shí)將文件送到一重傳隊(duì)列,待網(wǎng)路通信回覆后會(huì)自動(dòng)重新傳送。

進(jìn)一步的，所述安全控管中心包括：接收模塊、入庫模塊、統(tǒng)計(jì)模塊以及比對模塊；

所述接收模塊：負(fù)責(zé)接收傳輸模塊或重傳模塊傳送的文件,依文件類型將文件分類存放不同目錄區(qū)塊；

入庫模塊：負(fù)責(zé)將接收模塊分類好的文件依各類型文件配置方式入庫，該入庫時(shí)是采用批量高性能的入庫方式；

統(tǒng)計(jì)模塊：統(tǒng)計(jì)模塊定期將還沒統(tǒng)計(jì)過的數(shù)據(jù)各維度統(tǒng)計(jì)；

比對模塊：通過統(tǒng)計(jì)學(xué)原理將業(yè)務(wù)處理前端應(yīng)用程序訪問特徵值找出，同時(shí)也找出后端數(shù)據(jù)庫服務(wù)器訪問特徵值，兩段訪問特徵值相互匹配，關(guān)連出前端用戶的行為軌跡，找到后將這些關(guān)連信息入庫。

進(jìn)一步的，所述入庫模塊的批量高性能的入庫方式為通過文本方式將各類型文件以復(fù)制方式批量上載入庫，文件格式與對應(yīng)表格式以及文件名需按各類型文件先設(shè)計(jì)好。

進(jìn)一步的，所述通過統(tǒng)計(jì)學(xué)原理將業(yè)務(wù)處理前端應(yīng)用程序訪問特徵值找出，同時(shí)也找出后端數(shù)據(jù)庫服務(wù)器訪問特徵值，所謂特徵值泛指業(yè)務(wù)處理前端應(yīng)用程序訪問與后端數(shù)據(jù)庫服務(wù)器訪問時(shí)所出現(xiàn)的參數(shù)、引數(shù)或變數(shù)值；通過統(tǒng)計(jì)學(xué)原理即自動(dòng)于一段時(shí)間統(tǒng)計(jì)各特徵值出現(xiàn)頻率，出現(xiàn)頻率高的特徵值將不被采用為匹配特徵值,剩馀特徵值將做為匹配依據(jù),比對模塊自動(dòng)將業(yè)務(wù)處理前端應(yīng)用程序訪問特徵值與后端數(shù)據(jù)庫服務(wù)器特徵值找出特徵值相同的視為關(guān)連成功。

進(jìn)一步的，所述兩段訪問特徵值相互匹配，關(guān)連出前端用戶的行為軌跡，即當(dāng)前述關(guān)連成功后將取得這個(gè)業(yè)務(wù)處理前端應(yīng)用程序訪問特徵值對應(yīng)的前端用戶名,再將此前端用戶名注記到后端數(shù)據(jù)庫層信息，因此關(guān)連出前端用戶對后端數(shù)據(jù)庫服務(wù)器訪問軌跡。

本發(fā)明具有如下優(yōu)點(diǎn)：本發(fā)明以旁路、代理、探針方式監(jiān)控“前端”、“后臺(tái)”和“數(shù)據(jù)”三大模塊間的網(wǎng)絡(luò)流量封包，分析網(wǎng)絡(luò)封包結(jié)構(gòu)，解析還原出各種網(wǎng)絡(luò)、系統(tǒng)、數(shù)據(jù)庫指令和數(shù)據(jù)，從而還原出業(yè)務(wù)系統(tǒng)行為和IT支撐系統(tǒng)使用行為。將采集到的海量的行為數(shù)據(jù)存放在大數(shù)據(jù)平臺(tái)并對外提供數(shù)據(jù)服務(wù)。這樣能提前發(fā)現(xiàn)潛在威脅，預(yù)防，阻斷危及系統(tǒng)安全和數(shù)據(jù)安全的事件發(fā)生。

附圖說明

下面參照附圖結(jié)合實(shí)施例對本發(fā)明作進(jìn)一步的說明。

圖1為本發(fā)明系統(tǒng)的原理框圖。

圖2為本發(fā)明的第一解析器的詳細(xì)原理圖。

圖3為本發(fā)明的安全控管中心的詳細(xì)原理圖。

具體實(shí)施方式

現(xiàn)代IT系統(tǒng)通?？蓜澐譃椤扒岸恕?、“后臺(tái)”和“數(shù)據(jù)”三大模塊，其中“前端”——包括但不限于客戶端程序、web程序、移動(dòng)App等模塊；“后臺(tái)”——包括但不限于應(yīng)用服務(wù)器、web服務(wù)器、消息中間件、工作流引擎、企業(yè)信息總線等模塊；“數(shù)據(jù)”——包括但不限于各種結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺(tái)等模塊。三大模塊間通過各級網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)流轉(zhuǎn)、調(diào)用、發(fā)布交互行為。

本發(fā)明可以以旁路、代理、探針方式監(jiān)控三大模塊間的網(wǎng)絡(luò)流量封包，分析網(wǎng)絡(luò)封包結(jié)構(gòu)，解析還原出各種網(wǎng)絡(luò)、系統(tǒng)、數(shù)據(jù)庫指令和數(shù)據(jù)，從而還原出業(yè)務(wù)系統(tǒng)行為和IT支撐系統(tǒng)使用行為。也包括代理(Agent)或探針(Probe)等其他監(jiān)控采集形式。

請參閱圖1至圖3所示，本發(fā)明的一種業(yè)務(wù)行為數(shù)據(jù)采集系統(tǒng)，所述系統(tǒng)包括業(yè)務(wù)處理前端、后臺(tái)數(shù)據(jù)庫服務(wù)器、以及安全控管中心；

所述系統(tǒng)對業(yè)務(wù)處理前端和后臺(tái)數(shù)據(jù)庫服務(wù)器分別監(jiān)控采集數(shù)據(jù)，所述監(jiān)控采集數(shù)據(jù)的方式包括通過配置交換機(jī)鏡像端口側(cè)錄網(wǎng)絡(luò)封包，或是安裝代理程序于服務(wù)器端，其中，安裝代理程序采集有分為兩種模式：一為側(cè)錄網(wǎng)絡(luò)端口封包模塊，另一種為內(nèi)核層探針模式。

分別對監(jiān)控采集的數(shù)據(jù)進(jìn)行解析出各種網(wǎng)絡(luò)、系統(tǒng)、數(shù)據(jù)庫指令和數(shù)據(jù)并傳輸給安全管控中心，

安全管控中心對業(yè)務(wù)處理前端和后臺(tái)數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)信息進(jìn)行關(guān)聯(lián)并存儲(chǔ)，

根據(jù)不同的業(yè)務(wù)需求，用戶能從安全控管中心中進(jìn)行查詢獲得需要的數(shù)據(jù)。

所述業(yè)務(wù)處理前端包括前端web層、應(yīng)用層、前端數(shù)據(jù)庫、或移動(dòng)app模塊等等。

在本發(fā)明中，所述監(jiān)控采集數(shù)據(jù)的方式采用配置交換機(jī)鏡像端口側(cè)錄網(wǎng)絡(luò)封包時(shí)，所述系統(tǒng)具體為：

所述業(yè)務(wù)處理前端和后臺(tái)數(shù)據(jù)庫服務(wù)器分別對應(yīng)連接有第一解析器和第二解析器，所述第一解析器抓取業(yè)務(wù)處理前端的數(shù)據(jù)解析出各種網(wǎng)絡(luò)、系統(tǒng)、數(shù)據(jù)庫指令和數(shù)據(jù)并傳輸給安全管控中心，所述第二解析器抓取后臺(tái)數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)解析出各種網(wǎng)絡(luò)、系統(tǒng)、數(shù)據(jù)庫指令和數(shù)據(jù)并傳輸給安全管控中心，安全管控中心獲取第一解析器和第二解析器的數(shù)據(jù)并進(jìn)行分類、解析后對業(yè)務(wù)處理前端的數(shù)據(jù)信息和后臺(tái)數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)信息進(jìn)行關(guān)聯(lián)，得到前端用戶的行為軌跡，并將關(guān)聯(lián)信息入庫供平臺(tái)查詢使用。

所述第一解析器和第二解析器均包括：網(wǎng)路封包采集模塊、解析模塊、傳輸模塊以及重傳模塊；

所述網(wǎng)路封包采集模塊：負(fù)責(zé)收錄業(yè)務(wù)處理前端或后臺(tái)數(shù)據(jù)庫服務(wù)器網(wǎng)路鏡像封包,利用網(wǎng)卡芯片驅(qū)動(dòng)程式撰寫高效收錄程序,降低封包遺漏問題；

解析模塊：收錄進(jìn)來封包依照各傳輸協(xié)議特性，由對應(yīng)模塊程序解析，前端http或https應(yīng)用程序協(xié)議由解析http或https解析程序負(fù)責(zé)解析，各類數(shù)據(jù)庫封包由對應(yīng)數(shù)據(jù)庫程序解析,解析完成后產(chǎn)制文件存放到一傳送隊(duì)列；

傳輸模塊：負(fù)責(zé)將解析后的文件從傳送隊(duì)列抓取傳送給安全控管中心。

所述重傳模塊：傳輸過程中因網(wǎng)路中斷或其他原因發(fā)生傳送失敗,會(huì)暫時(shí)將文件送到一重傳隊(duì)列,待網(wǎng)路通信回覆后會(huì)自動(dòng)重新傳送。

在本發(fā)明中，所述安全控管中心包括：接收模塊、入庫模塊、統(tǒng)計(jì)模塊以及比對模塊；

所述接收模塊：負(fù)責(zé)接收傳輸模塊或重傳模塊傳送的文件,依文件類型將文件分類存放不同目錄區(qū)塊；

入庫模塊：負(fù)責(zé)將接收模塊分類好的文件依各類型文件配置方式入庫，該入庫時(shí)是采用批量高性能的入庫方式；

統(tǒng)計(jì)模塊：統(tǒng)計(jì)模塊定期將還沒統(tǒng)計(jì)過的數(shù)據(jù)各維度統(tǒng)計(jì)；

比對模塊：通過統(tǒng)計(jì)學(xué)原理將業(yè)務(wù)處理前端應(yīng)用程序訪問特徵值找出，同時(shí)也找出后端數(shù)據(jù)庫服務(wù)器訪問特徵值，兩段訪問特徵值相互匹配，關(guān)連出前端用戶的行為軌跡，找到后將這些關(guān)連信息入庫。

這里需要說明的是：業(yè)務(wù)系統(tǒng)和IT支撐系統(tǒng)產(chǎn)生的行為數(shù)據(jù)是海量數(shù)據(jù)，針對不同行業(yè)客戶、不同IT系統(tǒng)類型，也需要做不同的分析。為此，本發(fā)明采用大數(shù)據(jù)的技術(shù)，將采集到的海量的行為數(shù)據(jù)存放在大數(shù)據(jù)平臺(tái)并對外提供數(shù)據(jù)服務(wù)。

針對三大模塊的網(wǎng)絡(luò)流量封包也可以單獨(dú)解析并存儲(chǔ)到大數(shù)據(jù)平臺(tái)，并對外提供數(shù)據(jù)服務(wù)。

另外，在本發(fā)明中，所述入庫模塊的批量高性能的入庫方式具體為：通過文本方式將各類型文件以復(fù)制方式批量上載入庫，文件格式與對應(yīng)表格式以及文件名需按各類型文件先做好設(shè)計(jì)。

所述通過統(tǒng)計(jì)學(xué)原理將業(yè)務(wù)處理前端應(yīng)用程序訪問特徵值找出，同時(shí)也找出后端數(shù)據(jù)庫服務(wù)器訪問特徵值，所謂特徵值泛指業(yè)務(wù)處理前端應(yīng)用程序訪問與后端數(shù)據(jù)庫服務(wù)器訪問時(shí)所出現(xiàn)的參數(shù)、引數(shù)或變數(shù)值。通過統(tǒng)計(jì)學(xué)原理即自動(dòng)于一段時(shí)間統(tǒng)計(jì)各特徵值出現(xiàn)頻率，出現(xiàn)頻率高的特徵值將不被采用為匹配特徵值,剩馀特徵值將做為匹配依據(jù),比對模塊自動(dòng)將業(yè)務(wù)處理前端應(yīng)用程序訪問特徵值與后端數(shù)據(jù)庫服務(wù)器特徵值找出特徵值相同的視為關(guān)連成功。

所述兩段訪問特徵值相互匹配，關(guān)連出前端用戶的行為軌跡，即當(dāng)前述關(guān)連成功后將取得這個(gè)業(yè)務(wù)處理前端應(yīng)用程序訪問特徵值對應(yīng)的前端用戶名,再將此前端用戶名注記到后端數(shù)據(jù)庫層信息，因此關(guān)連出前端用戶對后端數(shù)據(jù)庫服務(wù)器訪問軌跡。

總之，本發(fā)明以旁路形式監(jiān)控“前端”、“后臺(tái)”和“數(shù)據(jù)”三大模塊間的網(wǎng)絡(luò)流量封包，分析網(wǎng)絡(luò)封包結(jié)構(gòu)，解析還原出各種網(wǎng)絡(luò)、系統(tǒng)、數(shù)據(jù)庫指令和數(shù)據(jù)，從而還原出業(yè)務(wù)系統(tǒng)行為和IT支撐系統(tǒng)使用行為。將采集到的海量的行為數(shù)據(jù)存放在大數(shù)據(jù)平臺(tái)并對外提供數(shù)據(jù)服務(wù)。這樣能提前發(fā)現(xiàn)潛在威脅，預(yù)防，阻斷危及系統(tǒng)安全和數(shù)據(jù)安全的事件發(fā)生。

雖然以上描述了本發(fā)明的具體實(shí)施方式，但是熟悉本技術(shù)領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，我們所描述的具體的實(shí)施例只是說明性的，而不是用于對本發(fā)明的范圍的限定，熟悉本領(lǐng)域的技術(shù)人員在依照本發(fā)明的精神所作的等效的修飾以及變化，都應(yīng)當(dāng)涵蓋在本發(fā)明的權(quán)利要求所保護(hù)的范圍內(nèi)。