專利名稱：一種日志分布式采集分析方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，特別是涉及一種計(jì)算機(jī)日志管理領(lǐng)域的日志分布式采集分析方法及系統(tǒng)。
背景技術(shù)：
目前業(yè)界有SIME\SOC\SIM\SEM等日志管理產(chǎn)品，其中都涉及到日志采集和分析模塊，這些產(chǎn)品的日志大部分瓶頸都在分析服務(wù)器IO上，對(duì)海量日志的處理速度很慢，導(dǎo)致采集分析整體效率都不是很高，這無(wú)疑會(huì)影響上游使用日志的系統(tǒng)(前端應(yīng)用)，用戶體驗(yàn)不到及時(shí)性。同時(shí)，長(zhǎng)時(shí)間的海量日志處理，長(zhǎng)時(shí)間的處在IO峰值，甚至導(dǎo)致日志采集分析系統(tǒng)的崩盤(pán)，日志采集分析服務(wù)器的死機(jī)，嚴(yán)重影響系統(tǒng)的使用。目前，有一種做法是，將多臺(tái)服務(wù)器做分布式采集服務(wù)器，多臺(tái)服務(wù)器做分布式分析服務(wù)器，分析服務(wù)器之間策略是平等的。這種技術(shù)有分布式采集，分布式分析，卻沒(méi)有結(jié)合起來(lái)的分布式系統(tǒng)，分析服務(wù)器過(guò)多的承擔(dān)了壓力，在經(jīng)過(guò)長(zhǎng)時(shí)間的海量日志處理，長(zhǎng)時(shí)間的處在IO峰值，會(huì)導(dǎo)致分析服務(wù)器死機(jī)，嚴(yán)重影響系統(tǒng)的使用。所以，有必要提出一種新的技術(shù)，可以使分析服務(wù)器快速處理海量日志的同時(shí)減少分析服務(wù)器的負(fù)擔(dān)，提升整體日志采集分析性能，同時(shí)使上游前端應(yīng)用能夠獲得最及時(shí)有效的數(shù)據(jù)展示，給用戶帶來(lái)更好的體驗(yàn)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種日志分布式采集分析方法及系統(tǒng)，可以使分析服務(wù)器快速處理海量日志的同時(shí)減少分析服務(wù)器的負(fù)擔(dān)，提升整體日志采集分析性能，同時(shí)使上游前端應(yīng)用能夠獲得最及時(shí)有效的數(shù)據(jù)展示，給用戶帶來(lái)更好的體驗(yàn)。為解決以上技術(shù)問(wèn)題，本發(fā)明提供一種日志分布式采集分析方法，包括日志采集分布式模塊采集日志數(shù)據(jù)流；日志采集分布式模塊對(duì)日志數(shù)據(jù)流進(jìn)行過(guò)濾和格式化處理，再將格式化后的數(shù)據(jù)流發(fā)送給日志分析分布式模塊；日志分析分布式模塊根據(jù)分析策略對(duì)數(shù)據(jù)流進(jìn)行分析，并將分析后的日志數(shù)據(jù)流發(fā)送給前端應(yīng)用。進(jìn)一步地，所述日志采集分布式模塊采用日志采集服務(wù)器分布式部署，各日志采集服務(wù)器分別采集各自有限日志源的日志。 進(jìn)一步地，所述日志分析分布式模塊采用日志分析服務(wù)器分布式部署，各日志分析服務(wù)器分別接收日志采集服務(wù)器的日志流據(jù)流。進(jìn)一步地，所述分析策略是由日志分析策略分發(fā)模塊分發(fā)給各日志分析服務(wù)器。為解決以上技術(shù)問(wèn)題，本發(fā)明還提供一種日志分布式采集分析系統(tǒng)，包括日志采集分布式模塊、日志分析分布式模塊、日志分析策略分發(fā)模塊，所述日志采集分布式模塊，由2個(gè)或2個(gè)以上的日志采集服務(wù)器分布式部署，用于采集日志數(shù)據(jù)流，并對(duì)日志數(shù)據(jù)流進(jìn)行過(guò)濾和格式化處理，發(fā)送數(shù)據(jù)流給日志分析服務(wù)器；所述日志分析策略分發(fā)模塊，用于將分析策略分發(fā)給日志分析分布式模塊；所述日志分析分布式模塊，由2個(gè)或多個(gè)日志分析服務(wù)器分布式部署，用于接收日志采集服務(wù)器格式化后的數(shù)據(jù)流，并根據(jù)分析策略，對(duì)數(shù)據(jù)流進(jìn)行分析，并將分析后的日志數(shù)據(jù)流發(fā)送給前端應(yīng)用。與現(xiàn)有技術(shù)相比，本發(fā)明提供的一種日志分布式采集分析方法及系統(tǒng)，將多臺(tái)服務(wù)器做分布式采集服務(wù)器，分布式采集服務(wù)器在采集日志數(shù)據(jù)流的同時(shí)也承擔(dān)過(guò)濾處理和格式化處理的初步分析，提升整理日志處理能力；多臺(tái)服務(wù)器做分布式分析服務(wù)器，分析服務(wù)器之間策略可以靈活配置，增加了靈活性。所以，本發(fā)明的技術(shù)可以使分析服務(wù)器快速處理海量日志的同時(shí)減少分析服務(wù)器的負(fù)擔(dān)，提升整體日志采集分析性能，同時(shí)使上游前端應(yīng)用能夠獲得最及時(shí)有效的數(shù)據(jù)展示，給用戶帶來(lái)更好的體驗(yàn)。


此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本發(fā)明的一部分，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中圖1是本發(fā)明提供的一種海量日志分布式采集分析的系統(tǒng)結(jié)構(gòu)示意圖；圖2是本發(fā)明提供的一種海量日志分布式采集分析的方法的流程圖。
具體實(shí)施例方式為了使本發(fā)明所要解決的技術(shù)問(wèn)題、技術(shù)方案及有益效果更加清楚、明白，以下結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本方案的目標(biāo)是為處理海量日志做到速度最快，使上游的系統(tǒng)能夠獲得最及時(shí)有效的數(shù)據(jù)展示，給用戶帶來(lái)更好的體驗(yàn)。本發(fā)明的方法如下多臺(tái)服務(wù)器做分布式采集服務(wù)器，采集服務(wù)器同時(shí)做過(guò)濾處理和格式化處理，多臺(tái)服務(wù)器做分布式分析服務(wù)器，分析服務(wù)器之間策略可以靈活配置。如圖1所示，本發(fā)明提供一種海量日志分布式采集分析的系統(tǒng)，主要利用分布式的特點(diǎn)，提高整體IO (Input/Output，輸出/輸入，分為IO設(shè)備和IO接口兩個(gè)部分)吞吐量來(lái)無(wú)限提升海量日志的采集分析能力。該系統(tǒng)包括日志采集分布式模塊10、日志分析分布式模塊20、日志分析策略分發(fā)模塊30。其中，日志采集分布式模塊10，主要是用于提升日志采集能力，由2個(gè)或2個(gè)以上的日志采集服務(wù)器分布式部署，每個(gè)日志采集服務(wù)器采集2個(gè)或2個(gè)以上的日志源。例如日志采集服務(wù)器A采集2個(gè)或2個(gè)以上的日志源，日志采集服務(wù)器B采集2 個(gè)或多個(gè)日志源，日志采集服務(wù)器C、D、E分別采集2個(gè)或多個(gè)日志源。這樣可以充分利用加大日志采集服務(wù)器的數(shù)量來(lái)規(guī)避單臺(tái)日志采集服務(wù)器的IO瓶頸問(wèn)題，理論上可以無(wú)限擴(kuò)展采集無(wú)限個(gè)日志源，采集無(wú)限的日志規(guī)模。日志采集分布式模塊10中的日志采集服務(wù)器對(duì)日志源的數(shù)據(jù)過(guò)濾不需要的日志和日志格式化處理等初次分析，再將格式化后的數(shù)據(jù)流發(fā)送給日志分析分布式模塊20中的日志分析服務(wù)器。日志分析策略分發(fā)模塊30，用于將前端應(yīng)用制定的分析策略分發(fā)給日志分析分布式模塊中的日志分析服務(wù)器，實(shí)現(xiàn)日志分析服務(wù)器的靈活配置。例如日志分析服務(wù)器A和B可以分析甲種分析策略，日志分析服務(wù)器C和D可以分析乙種分析策略，通過(guò)配置日志分析服務(wù)器A、B、C、D可能有(甲且乙)(甲)(乙)三種分析策略。 日志分析分布式模塊20，主要用于提升日志分析能力，由2個(gè)或多個(gè)日志分析服務(wù)器分布式部署，日志分析服務(wù)器只能接收日志采集服務(wù)器格式化后的數(shù)據(jù)流，并根據(jù)日志分析策略分發(fā)模塊30分發(fā)的分析策略，對(duì)數(shù)據(jù)流進(jìn)行分析，并將分析后的日志數(shù)據(jù)流發(fā)送給前端應(yīng)用40使用。例如日志采集服務(wù)器A、B、C采集日志之后發(fā)送到日志分析服務(wù)器M來(lái)分析，日志采集服務(wù)器D、E、F采集日志之后發(fā)送到日志分析服務(wù)器N來(lái)分析。這樣可以充分利用加大日志分析服務(wù)器的數(shù)量來(lái)規(guī)避單臺(tái)日志分析服務(wù)器的IO瓶頸問(wèn)題，理論上可以無(wú)限擴(kuò)展分析無(wú)限個(gè)日志采集服務(wù)器源，分析無(wú)限的日志規(guī)模。如圖2所示，本發(fā)明提供一種海量日志分布式采集分析的方法，包括步驟1，日志源主動(dòng)發(fā)送或日志采集分布式模塊中的日志采集服務(wù)器主動(dòng)采集日志文件或日志數(shù)據(jù)流。具體包括日志采集分布式模塊中的日志采集服務(wù)器分布式部署，分別采集各自有限日志源的日志，理論上可以采集無(wú)限大的日志。步驟2，日志采集服務(wù)器對(duì)日志數(shù)據(jù)流進(jìn)行過(guò)濾不需要的日志和日志格式化處理等初次分析，之后再發(fā)送格式化后的數(shù)據(jù)流給日志分析服務(wù)器。步驟3，日志分析策略分發(fā)模塊將前端應(yīng)用制定的分析策略分發(fā)給日志分析分布式模塊中的日志分析服務(wù)器，實(shí)現(xiàn)日志分析服務(wù)器的靈活配置。步驟4，日志分析分布式模塊的日志分析服務(wù)器分別接收日志服務(wù)器的日志數(shù)據(jù)流，根據(jù)分析策略對(duì)數(shù)據(jù)流進(jìn)行分析，并將分析后的日志數(shù)據(jù)流發(fā)送給前端應(yīng)用使用。具體包括日志分析分布式模塊中的日志分析服務(wù)器分布式部署，分別接收有限日志采集服務(wù)器的日志流據(jù)流，在接收到分析策略的控制下，對(duì)日志數(shù)據(jù)流進(jìn)行分析，并將日志分析服務(wù)器分析之后的日志直接發(fā)送數(shù)據(jù)流給前端應(yīng)用使用。在上述步驟中，步驟3的操作可以放在步驟1或步驟2之前進(jìn)行操作。上述說(shuō)明示出并描述了本發(fā)明的一個(gè)優(yōu)選實(shí)施例，但如前所述，應(yīng)當(dāng)理解本發(fā)明并非局限于本文所披露的形式，不應(yīng)看作是對(duì)其他實(shí)施例的排除，而可用于各種其他組合、 修改和環(huán)境，并能夠在本文所述發(fā)明構(gòu)想范圍內(nèi)，通過(guò)上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識(shí)進(jìn)行改動(dòng)。而本領(lǐng)域人員所進(jìn)行的改動(dòng)和變化不脫離本發(fā)明的精神和范圍，則都應(yīng)在本發(fā)明所附權(quán)利要求的保護(hù)范圍內(nèi)。
權(quán)利要求
1.一種日志分布式采集分析方法，其特征在于，包括，日志采集分布式模塊采集日志數(shù)據(jù)流；日志采集分布式模塊對(duì)日志數(shù)據(jù)流進(jìn)行過(guò)濾和格式化處理，再將格式化后的數(shù)據(jù)流發(fā)送給日志分析分布式模塊；日志分析分布式模塊根據(jù)分析策略對(duì)數(shù)據(jù)流進(jìn)行分析，并將分析后的日志數(shù)據(jù)流發(fā)送給前端應(yīng)用。
2.如權(quán)利要求1所述的方法，其特征在于，所述日志采集分布式模塊采用日志采集服務(wù)器分布式部署，各日志采集服務(wù)器分別采集各自有限日志源的日志。
3.如權(quán)利要求1所述的方法，其特征在于，所述日志分析分布式模塊采用日志分析服務(wù)器分布式部署，各日志分析服務(wù)器分別接收日志采集服務(wù)器的日志流據(jù)流。
4.如權(quán)利要求3所述的方法，其特征在于，所述分析策略是由日志分析策略分發(fā)模塊分發(fā)給各日志分析服務(wù)器。
5.一種日志分布式采集分析系統(tǒng)，其特征在于，包括日志采集分布式模塊、日志分析分布式模塊、日志分析策略分發(fā)模塊，所述日志采集分布式模塊，由2個(gè)或2個(gè)以上的日志采集服務(wù)器分布式部署，用于采集日志數(shù)據(jù)流，并對(duì)日志數(shù)據(jù)流進(jìn)行過(guò)濾和格式化處理，發(fā)送數(shù)據(jù)流給日志分析服務(wù)器；所述日志分析策略分發(fā)模塊，用于將分析策略分發(fā)給日志分析分布式模塊；所述日志分析分布式模塊，由2個(gè)或多個(gè)日志分析服務(wù)器分布式部署，用于接收日志采集服務(wù)器格式化后的數(shù)據(jù)流，并根據(jù)分析策略，對(duì)數(shù)據(jù)流進(jìn)行分析，并將分析后的日志數(shù)據(jù)流發(fā)送給前端應(yīng)用。
全文摘要
本發(fā)明提供一種日志分布式采集分析方法，包括日志采集分布式模塊采集日志數(shù)據(jù)流；日志采集分布式模塊對(duì)日志數(shù)據(jù)流進(jìn)行過(guò)濾和格式化處理，再將格式化后的數(shù)據(jù)流發(fā)送給日志分析分布式模塊；日志分析分布式模塊根據(jù)分析策略對(duì)數(shù)據(jù)流進(jìn)行分析，并將分析后的日志數(shù)據(jù)流發(fā)送給前端應(yīng)用。本發(fā)明還提供一種日志分布式采集分析系統(tǒng)。通過(guò)本發(fā)明的日志分布式采集分析方法及系統(tǒng)，可以使分析服務(wù)器快速處理海量日志的同時(shí)減少分析服務(wù)器的負(fù)擔(dān)，提升整體日志采集分析性能，同時(shí)使上游前端應(yīng)用能夠獲得最及時(shí)有效的數(shù)據(jù)展示，給用戶帶來(lái)更好的體驗(yàn)。
文檔編號(hào)H04L29/08GK102307111SQ20111025917
公開(kāi)日2012年1月4日 申請(qǐng)日期2011年9月2日 優(yōu)先權(quán)日2011年9月2日
發(fā)明者溫小明 申請(qǐng)人:深圳中興網(wǎng)信科技有限公司