一種數(shù)據(jù)傳輸定制系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種日志數(shù)據(jù)的傳輸領(lǐng)域，特別是涉及一種基于Flume日志收集系統(tǒng)的數(shù)據(jù)傳輸定制系統(tǒng)和方法。
【背景技術(shù)】
[0002]隨著大數(shù)據(jù)日志收集技術(shù)的快速發(fā)展，基于大數(shù)據(jù)云平臺的日志收集分析系統(tǒng)越來越多，但在日志數(shù)據(jù)的傳輸上，一直缺少通用性的設(shè)計。目前，使用比較多的日志收集系統(tǒng)是Flume日志收集系統(tǒng)。
[0003]Flume是Cloudera提供的日志收集系統(tǒng)，具有分布式、高可靠、高可用性等特點，對海量日志采集、聚合和傳輸，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方的能力。傳統(tǒng)的Flume架構(gòu)如圖1所示，其運行的核心是代理(Agent)，代理是一個完整的數(shù)據(jù)收集工具，含有三個核心組件，分別是數(shù)據(jù)來源(Source)、數(shù)據(jù)傳輸(Channel)和數(shù)據(jù)去向(Sink)。通過這些組件，日志(Event)可以從一個地方流向另一個地方。
[0004]數(shù)據(jù)來源可以接收遠端服務(wù)器(Web Server)發(fā)送過來的數(shù)據(jù)。不同的數(shù)據(jù)來源，可以接受不同的數(shù)據(jù)格式。比如有目錄池(Spooling Directory)的數(shù)據(jù)源，可以監(jiān)控指定文件夾中的新文件變化，如果目錄中有文件產(chǎn)生，就會立刻讀取其內(nèi)容。數(shù)據(jù)傳輸用于傳輸日志。數(shù)據(jù)去向用于將日志傳送至下一端。其中，數(shù)據(jù)來源有很多種可以選擇，數(shù)據(jù)傳輸有很多種可以選擇，數(shù)據(jù)去向同樣也有多種可以選擇，并且數(shù)據(jù)來源、數(shù)據(jù)傳輸和數(shù)據(jù)去向還都支持自定義，非常靈活。
[0005]一般情況下，如圖1所示，F(xiàn)lume日志收集系統(tǒng)的代理100包括數(shù)據(jù)來源110、數(shù)據(jù)傳輸120和數(shù)據(jù)去向130。將日志從遠端服務(wù)器200傳到數(shù)據(jù)來源110的目錄池，再到Hadoop 的 HDFS (Hadoop Distributed File System, Hadoop 分布式文件系統(tǒng))300，需要確定三個地址:對方的服務(wù)器、本地的客戶端和Flume的所在的目錄池的地址，并且彼此在數(shù)據(jù)的傳輸、解壓、解密上沒有統(tǒng)一的代碼實現(xiàn)和集成。這樣，如果遠端服務(wù)器有變化，每次手動的修改FTP、Flume日志收集系統(tǒng)里的配置和重新開發(fā)客戶端，為Flume日志收集系統(tǒng)的應(yīng)用帶來許多的不便和開發(fā)工作量。

【發(fā)明內(nèi)容】

[0006]鑒于以上所述現(xiàn)有技術(shù)的缺點，本發(fā)明的目的在于提供一種數(shù)據(jù)傳輸定制系統(tǒng)和方法，用于解決現(xiàn)有技術(shù)中Flume日志收集系統(tǒng)缺少通用性的設(shè)計的問題。
[0007]為實現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種數(shù)據(jù)傳輸定制系統(tǒng)，用于Flume日志收集系統(tǒng)，所述Flume日志收集系統(tǒng)包括代理，所述代理包括數(shù)據(jù)來源；所述數(shù)據(jù)傳輸定制系統(tǒng)包括FTP客戶端、FTP服務(wù)端和IP地址輸入模塊；其中，所述FTP服務(wù)端位于遠端服務(wù)器，用于保存所述遠端服務(wù)器的日志文件；所述IP地址輸入模塊用于輸入所述遠端服務(wù)器、所述FTP客戶端和所述數(shù)據(jù)來源的目錄池的IP地址；所述FTP客戶端位于所述遠端服務(wù)器和所述數(shù)據(jù)來源之間，用于根據(jù)所述遠端服務(wù)器的IP地址從所述FTP服務(wù)端下載日志文件；保存日志文件；根據(jù)所述數(shù)據(jù)來源的目錄池的IP地址向所述數(shù)據(jù)來源上傳日志文件。
[0008]可選地，所述FTP客戶端還包括日志傳輸控制模塊，用于控制所述FTP客戶端是否上傳或下載日志文件。
[0009]可選地，所述FTP客戶端還包括日志解壓模塊，用于對從所述FTP服務(wù)端的下載的日志文件進行解壓縮。
[0010]可選地，所述FTP客戶端還包括日志解密模塊，用于對從所述FTP服務(wù)端的下載的日志文件進行解密。
[0011]本發(fā)明還公開了一種數(shù)據(jù)傳輸定制方法，用于Flume日志收集系統(tǒng)，所述Flume日志收集系統(tǒng)包括代理，所述代理包括數(shù)據(jù)來源，所述數(shù)據(jù)傳輸定制方法包括:步驟S10，將遠端服務(wù)器的日志文件保存在FTP服務(wù)端；步驟S20，輸入所述遠端服務(wù)器、FTP客戶端和所述數(shù)據(jù)來源的目錄池的IP地址；步驟S30，所述FTP客戶端從所述FTP服務(wù)端下載日志文件并保存；步驟S40，所述FTP客戶端向所述數(shù)據(jù)來源的目錄池上傳日志文件。
[0012]可選地，所述步驟SlO中，所述遠端服務(wù)器將日志文件壓縮后保存在所述FTP服務(wù)端。
[0013]可選地，所述步驟S30還包括對下載的日志文件進行解壓縮處理。
[0014]可選地，所述步驟SlO中，所述遠端服務(wù)器將日志文件進行加密處理后再保存在所述FTP服務(wù)端。
[0015]可選地，所述步驟S30還包括對下載的日志文件進行解密處理。
[0016]如上所述，本發(fā)明的一種數(shù)據(jù)傳輸定制系統(tǒng)和方法，用于Flume日志收集系統(tǒng)，在Flume日志收集系統(tǒng)的技術(shù)架構(gòu)下，設(shè)計FTP客戶端和服務(wù)端，根據(jù)Server IP和ClientIP、Flume的主機IP和Flume的核心組件source的目錄池，以及實現(xiàn)文件解壓、解密等功能，使得日志數(shù)據(jù)在傳輸上實現(xiàn)可定制。本發(fā)明的數(shù)據(jù)傳輸定制系統(tǒng)和方法結(jié)合了 Flume日志收集系統(tǒng)的技術(shù)架構(gòu)，完成了對日志傳輸?shù)耐ㄓ眯栽O(shè)計和開發(fā)，使得日志收集分析系統(tǒng)更加的靈活，適用的日志收集場景也更加的廣泛；解決了 Flume日志收集系統(tǒng)的前端的數(shù)據(jù)傳輸?shù)目啥ㄖ菩?，提高Flume日志收集系統(tǒng)開發(fā)的效率和應(yīng)用的簡潔性；并且，通過本發(fā)明還大幅提高了日志收集和傳輸?shù)男省?br>【附圖說明】
[0017]圖1顯示為Flume日志收集系統(tǒng)的代理的結(jié)構(gòu)示意圖。
[0018]圖2顯示為本發(fā)明實施例公開的一種數(shù)據(jù)傳輸定制系統(tǒng)的結(jié)構(gòu)示意圖。
[0019]圖3顯示為本發(fā)明實施例公開的一種數(shù)據(jù)傳輸定制方法的結(jié)構(gòu)示意圖。
[0020]元件標(biāo)號說明
[0021]100 Flume日志收集系統(tǒng)的代理
[0022]110 數(shù)據(jù)來源
[0023]120 數(shù)據(jù)傳輸
[0024]130 數(shù)據(jù)去向
[0025]200遠端服務(wù)器
[0026]300HDFS
[0027]400數(shù)據(jù)傳輸定制系統(tǒng)
[0028]410FTP 客戶端
[0029]411日志解壓模塊
[0030]412日志解密模塊
[0031]413日志傳輸控制模塊
[0032]420FTP 服務(wù)端
[0033]430IP地址輸入模塊
[0034]SlO ?S40 步驟
【具體實施方式】
[0035]以下通過特定的具體實例說明本發(fā)明的實施方式，本領(lǐng)域技術(shù)人員可由本說明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點與功效。本發(fā)明還可以通過另外不同的【具體實施方式】加以實施或應(yīng)用，本說明書中的各項細節(jié)也可以基于不同觀點與應(yīng)用，在沒有背離本發(fā)明的精神下進行各種修飾或改變。需說明的是，在不沖突的情況下，以下實施例及實施例中的特征可以相互組合。
[0036]請參閱附圖。需要說明的是，以下實施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構(gòu)想，遂圖式中僅顯示與本發(fā)明中有關(guān)的組件而非按照實際實施時的組件數(shù)目、形狀及尺寸繪制，其實際實施時各組件的型態(tài)、數(shù)量及比例可為一種隨意的改變，且其組件布局型態(tài)也可能更為復(fù)雜。
[0037]實施例1
[0038]本實施例公開了一種用于Flume日志收集系統(tǒng)的數(shù)據(jù)傳輸定制系統(tǒng)，其結(jié)合了Flume日志收集系統(tǒng)的技術(shù)架構(gòu)，對日志傳輸進行了一些通用性的設(shè)計和開發(fā)。其中，如圖1所示，F(xiàn)lume日志收集系統(tǒng)的核心是代理(Agent) 100，包括數(shù)據(jù)來源(Source) 110、數(shù)據(jù)傳輸120(Channel)和數(shù)據(jù)去向(Sink) 130。Flume日志收集系統(tǒng)用于收集遠端服務(wù)器200的日志文件。
[0039]如圖2所示，本實施例的數(shù)據(jù)傳輸定制系統(tǒng)400包括:FTP客戶端410、FTP服務(wù)端420和IP地址輸入模塊430。
[0040]其中，F(xiàn)TP服務(wù)端420位于遠端服務(wù)器200，其用于保存遠端服務(wù)器200的日志文件。
[0041]IP地址輸入模塊430用于輸入遠端服務(wù)器200的IP地址，F(xiàn)TP客戶端410的IP地址和Flume日志收集系統(tǒng)的數(shù)據(jù)來源110的目錄池的IP地址。
[0042]FTP客戶端410位于遠端服務(wù)器200和Flume日志收集系統(tǒng)的數(shù)據(jù)來源110之間。FTP客戶端410主要用于完成以下功能:
[0043]I)根據(jù)IP地址輸入模塊430輸入的FTP服務(wù)端420的IP地址，從FTP服務(wù)端420中下載遠端服務(wù)器200的日志文件；
[0044]2)保存從FTP服務(wù)端420中下載的遠端服務(wù)器200的日志文件；
[0045]3)根據(jù)IP地址輸入模塊430輸入的Flume日志收集系統(tǒng)的數(shù)據(jù)來源110的目錄池的IP地址，向Flume日志收集