專利名稱：一種日志信息管理方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及網(wǎng)站管理技術領域，尤其涉及一種日志信息管理方法及系統(tǒng)。
背景技術：
互聯(lián)網(wǎng)的快速發(fā)展使人們對網(wǎng)站設計和功能提出了更高的要求，這些要求包括 具有智能性、快速、準確地找到用戶所需信息；能為不同用戶提供不同的服務；能為管理者 提供產(chǎn)品營銷策略信息等等。利用對網(wǎng)站日志的挖掘分析，可以掌握訪問者歷史信息，有目的優(yōu)化站點內(nèi)容和 設計、使網(wǎng)站能夠適應訪問者的口味和習慣，從而提高用戶的體驗、忠誠度回訪率；通過多 角度的分析，多種格式的報告，得知網(wǎng)站的運營是否健康，從而為管理者提供營銷參考信 息。網(wǎng)站服務器日志是運營商對網(wǎng)站運營狀態(tài)分析的有效依據(jù)，網(wǎng)站日志記錄著所有用戶 操作的記錄。當網(wǎng)站運營商需要了解訪問者的訪問狀況或者在受到攻擊時，都需查看日志信息 以進行相應的分析，其查看的操作是隨機進行的，而由于日志信息的初始格式并不相同，操 作者在獲取日志信息后，都需要從獲取的日志信息中選出網(wǎng)站日志信息，然后將所述網(wǎng)站 日志信息進行格式轉換，最后才能進行網(wǎng)站日志信息的分析，從而產(chǎn)生分析操作延時，進而 導致運營商無法及時了解網(wǎng)站的運營狀況。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明目的在于提供一種日志信息管理方法及系統(tǒng)，有效的解決服務 器在對日志的分析操作時的延時問題，使運營商在第一時間了解網(wǎng)站的運營狀況。為了實現(xiàn)上述目的，本發(fā)明提供了如下技術方案一種網(wǎng)站日志信息管理系統(tǒng)，包括日志信息管理單元、日志信息抽取格式化單 元、數(shù)據(jù)統(tǒng)一集中單元和網(wǎng)站日志信息提供單元，其中所述日志信息管理單元用于配置同一服務器端的日志信息的格式為預設格式， 以及，定時截取日志信息并保存，從中選出網(wǎng)站日志信息并存儲于預先建立的日志回收服 務器中；所述日志信息抽取格式化單元用于格式化日志回收服務器中存儲的網(wǎng)站日志信 息；所述數(shù)據(jù)統(tǒng)一集中單元用于將經(jīng)過格式化的網(wǎng)站日志信息進行分類，形成多個 數(shù)據(jù)集市并存儲；所述網(wǎng)站日志信息提供單元，用于在接收到查看網(wǎng)站日志信息請求時，提供相應 的網(wǎng)站日志信息。優(yōu)選的，所述日志回收服務器包括一級日志回收點和二級日志回收點；所述一級日志回收點用于存儲所有網(wǎng)絡日志信息中選出的帶寬情況良好的網(wǎng)站 日志fn息；
所述二級日志回收點用于存儲除所述一級日志回收點存儲的網(wǎng)站日志信息之外 的網(wǎng)站日志信息。優(yōu)選的，所述一級日志回收點和/或二級日志回收點的存儲方式為RAID6并劃分 虛擬卷方式。優(yōu)選的，所述日志信息抽取格式化單元包括抽取單元，用于抽取網(wǎng)絡日志信息；轉換單元，用于將所述抽取單元抽取的網(wǎng)絡日志信息轉換成預定格式的網(wǎng)絡日志 fn息；裝載單元，用于將所述預定格式的網(wǎng)絡日志信息進行存儲。優(yōu)選的，所述日志信息抽取格式化單元還包括觸發(fā)器，用于產(chǎn)生控制所述抽取單 元、轉換單元和裝載單元工作的觸發(fā)信號。優(yōu)選的，所述觸發(fā)器包括行觸發(fā)器和表觸發(fā)器。優(yōu)選的，所述日志信息抽取格式化單元進行處理的網(wǎng)絡日志信息包括基礎數(shù)據(jù)層 數(shù)據(jù)，粒度放大層數(shù)據(jù)和數(shù)據(jù)集市層數(shù)據(jù)。一種網(wǎng)站日志信息管理方法，包括配置同一服務器日志信息格式；定時截取日志信息并保存；從所述截獲的日志信息中選取網(wǎng)站日志信息并存儲于預先建立的日志回收服務 器中；將所述日志回收服務器中存儲的網(wǎng)站日志信息格式化處理，轉換成符合預定格式 的網(wǎng)絡日志信息；將經(jīng)過所述預定格式的網(wǎng)站日志信息進行分類形成多個數(shù)據(jù)集市，并存儲，便于 在接收到查看網(wǎng)站日志信息請求時，提供相應的網(wǎng)站日志信息給操作者。優(yōu)選的，將網(wǎng)絡日志信息存儲于預先建立的日志回收服務器包括預設一級回收點和二級回收點，用以對日志信息進行分類回收； 所述一級日志回收點選取存儲所有數(shù)據(jù)中的帶寬情況良好的網(wǎng)站日志信息；所述二級日志回收點存儲除所述一級日志回收點存儲的數(shù)據(jù)之外的數(shù)據(jù)。優(yōu)選的，在將所述網(wǎng)站日志信息進行格式化處理前還包括將網(wǎng)絡日志信息分為基礎數(shù)據(jù)層數(shù)據(jù)、粒度放大層數(shù)據(jù)和數(shù)據(jù)集市層數(shù)據(jù)；將上 述每層數(shù)據(jù)再進行分層，在每層中把所有數(shù)據(jù)用數(shù)列連接，便于對數(shù)據(jù)的處理。從上述技術方案可以看出，本發(fā)明通過對服務器中的日志進行統(tǒng)一配置，并預設 日志回收服務器，通過日志回收服務器定時存儲網(wǎng)站日志信息，將回收服務器中的日志信 息進行格式化處理，并將處理過的日志信息統(tǒng)一集中存儲，以供網(wǎng)站維護者(或稱為網(wǎng)站 操作者)隨機獲取、分析。也就是說，在網(wǎng)站維護者需要了解網(wǎng)站當前運營情況時，可以直 接獲取經(jīng)過格式化處理后的網(wǎng)站日志信息并進行分析，從而減小了處理時延，進而使網(wǎng)站 維護者能夠及時了解網(wǎng)站當前的運營情況。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)
5有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。圖1為本發(fā)明系統(tǒng)的結構圖；圖2為本發(fā)明方法的流程圖。
具體實施例方式下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；?本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他 實施例，都屬于本發(fā)明保護的范圍。如圖1所示本發(fā)明公開了一種日志信息管理系統(tǒng)，包括日志信息管理單元1、日 志信息抽取格式化單元2、數(shù)據(jù)統(tǒng)一集中單元3和網(wǎng)站日志信息提供單元4。所述日志信息管理單元1根據(jù)互聯(lián)網(wǎng)服務器的分類，針對服務器類型的不同 (apache的web服務器\squid的緩存服務器\ftp的文件管理服務器\流媒體的源服務器 \流媒體的廣播服務器)配置各自的統(tǒng)一的日志格式，這樣能確保日志的產(chǎn)生時的格式在 同類服務器中是完全統(tǒng)一的。日志的配置盡可能采用互聯(lián)網(wǎng)的標準W3C格式，確保日志的 二次處理能最大可能的降低抽取和轉換的比例，并且日志的存放要放置在空間較大的存儲 空間。因網(wǎng)站的運營使日志處于不斷地更新中，對網(wǎng)站日志進行定時截取，從而保證為運營 商提供網(wǎng)站各個時段的運營情況。服務器在被訪問時，日志的產(chǎn)生無可避免要有固定的位置，而且是唯一的位置，這 就給日志的回收造成了 一定的麻煩，因為需要在不間斷的日志回收系統(tǒng)和不間斷對外提供 服務的服務器找一個互不影響的機制，因此我們會在保證不影響服務器的前提下，創(chuàng)建一 個獨立的日志回收體系和通道，在服務器的物理分布和網(wǎng)路質量兩個維度找一個平衡的地 點，放置日志回收的服務器，而全網(wǎng)多個這樣的日志回收服務器組成了完整的日志回收服 務器組，再加上我們希望日志的保存要做到冗余，因此我們會將整個網(wǎng)絡分成幾個大的區(qū) 域，在各區(qū)域之間和之中都放置主從關系的日志服務器，即建立一級日志回收點，選取所有 數(shù)據(jù)中心中的骨干節(jié)點(帶寬足，到各數(shù)據(jù)中心延時相對最小)，創(chuàng)建二級日志回收點，每 一個日志回收點的存儲空間確保能夠保證收集日志日最大產(chǎn)出量的50倍的空間，并且要 做到每一個日志回收點的存儲采用RAID6并劃分虛擬卷的技術來確保存儲的安全性，每一 個日志回收點需要一個異地熱備份，采用rsync技術實時同步，確保日志回收點的單點不 可訪問的故障對日志的保存不會造成任何影響。數(shù)據(jù)的抽取格式化單元2進一步包括抽取單元，轉換單元和裝載單元，對收集上 來的各種日志進行抽取，轉換和裝載即ETL技術。抽取單元，用于抽取網(wǎng)絡日志信息；轉換 單元，用于將所述抽取單元抽取的網(wǎng)絡日志信息轉換成預定格式的網(wǎng)絡日志信息；裝載單 元，用于將所述預定格式的網(wǎng)絡日志信息進行存儲。我們將整個導出的過程分成若干的層次，根據(jù)順序性，跨越性和不可逆性，可 以規(guī)定所有Job只能向下調(diào)用，絕對不允許向上調(diào)用，不過允許向下跨層調(diào)用。這樣在 DataStage這個ETL工具中，各個Job根據(jù)其在ETL過程中所處的階段，可分別放入各個層次，利用層次間的關系來約束Job的關系，從而確保各個Job的調(diào)用關系得以明確。因此可將ETL對數(shù)據(jù)處理分為三個層次基礎數(shù)據(jù)層，粒度放大層，數(shù)據(jù)集市層 (即在基礎數(shù)據(jù)層中的Job都完成后才能做粒度放大的Job，在粒度放大后才能做數(shù)據(jù)集市 的Job)每層中又細分了若干個小的層次。在每一層中把所有的Job全部都用一個序列連 接起來，這樣當每天運行分布在各層的所有Job的時候，只需要按照從低到高的順序，運行 每層中的序列，就可以保證每個Job運行出的數(shù)據(jù)都是一致的，從而避免了因為Job調(diào)用順 序混亂導致數(shù)據(jù)不一致的情況出現(xiàn)。ETL實現(xiàn)過程中由于處理的是海量的日志信息，而且涉及到多個系統(tǒng)，這些系統(tǒng) 往往都是核心系統(tǒng)，在技術的使用上需要考慮到把對源系統(tǒng)的性能和可靠性的影響降到最 低，因此在實現(xiàn)過程中會具體采用了以下幾個方面的技術觸發(fā)器是一種特殊類型的存儲過程，主要是通過事件進行觸發(fā)而被執(zhí)行的。在日 志的抽取過程中，根據(jù)不同種類的日志格式創(chuàng)建不同的觸發(fā)機制，而實現(xiàn)轉換為統(tǒng)一格式 化的日志信息。觸發(fā)器可以有行觸發(fā)器和表觸發(fā)器兩種行觸發(fā)器這類觸發(fā)器在觸發(fā)時僅僅鎖住觸發(fā)的行，而表中其他的行還是可以操 作的，但此類的觸發(fā)器無法在觸發(fā)時更改表本身。表觸發(fā)器這類觸發(fā)器在觸發(fā)時會鎖住表，從而此時對表除檢索外的所有的操作 將被鎖定，但此類觸發(fā)器無法獲取更新前或更新后的數(shù)據(jù)。因此我們會在日志的產(chǎn)生的初期就將日志分割截取，確保后面的ETL實現(xiàn)過程 中，不會遇到日志信息的更新，而只需要保證日志文件能夠被及時送達ETL處就可以了。同時為了確保ETL的并發(fā)處理，我們選擇了行觸發(fā)器，這樣就讓多個ETL處理一各 文件變的可能，從而對系統(tǒng)的效率提高的最高。也降低了單臺ETL的故障對整體ETL實現(xiàn) 過程的影響可能。為了提高導出的效率，在實現(xiàn)過程中采用了增量導出方案，為了進行增量導出就 要建立增量的起點時間，有了這個起點時間，系統(tǒng)就有了尋找新更改記錄的起點，以后每次 只要導出這個時間點之后變更的記錄，并在確認成功導出后更新這個時間點就可以了。為了保證數(shù)據(jù)的質量，需要自動處理，自動處理的原則是在增量成功的時間點 后，刪除本條記錄，再重新增量導出新的記錄。所述數(shù)據(jù)統(tǒng)一集中單元3將經(jīng)過格式化的網(wǎng)站日志信息進行分類，形成多個數(shù)據(jù) 集市并存儲。ETL為數(shù)據(jù)集市的建立創(chuàng)建了一個完整的，能反映歷史變化的和結構一致的平臺， 這樣一個數(shù)據(jù)倉庫平臺的建立為根據(jù)用戶的需求開發(fā)面向主題的數(shù)據(jù)集市奠定了基礎。所有日志的分析報表的價值是通過使用者的設計而體現(xiàn)的，使用者是業(yè)務的專 家，而專家應該主動站在系統(tǒng)實現(xiàn)的角度，幫助每一個查詢報表的用戶分析出各個數(shù)據(jù)在 報表中的角色，然后設計出合適的數(shù)據(jù)結構，這樣就形成了數(shù)據(jù)集市。通常日志的分析報表的需求來源主要來自兩個方面，一個是行業(yè)專家，一個是使 用和查詢分析報表的用戶，不論需求來自哪里，都是對不同數(shù)據(jù)的在不同維度的角色上的 定義，而這些角色的定義就組成了一套數(shù)據(jù)的組合，而根據(jù)對這些數(shù)據(jù)的合理組合，就形成 了一套完整的數(shù)據(jù)集市，只要確保任何一種數(shù)據(jù)在原始日志中可以獲取到，那么就可以將其通過ETL的實現(xiàn)過程集中到數(shù)據(jù)集市，而ETL的實現(xiàn)過程是相對獨立的，這就確保了整體 分析系統(tǒng)的快速擴展性。網(wǎng)站日志信息提供單元4，用于在接收到查看網(wǎng)站日志信息請求時，提供相應的網(wǎng) 站曰志信息。當運營商需要對網(wǎng)站進行維護或管理時，需要調(diào)看網(wǎng)站的日志信息，通過對日志 信息的分析對網(wǎng)站作出調(diào)整。運營商通過提交查看日志的命令，網(wǎng)站日志信息提供單元接 到命令后，調(diào)取數(shù)據(jù)統(tǒng)一集中單元中存儲的日志信息提供給運營商。另外本發(fā)明還公開了一種與上述系統(tǒng)相對應的方法，包括以下步驟步驟21，配置同一服務器日志信息格式。運營商分析網(wǎng)站運營狀況的數(shù)據(jù)源來自于互聯(lián)網(wǎng)的各種服務器的訪問日志，因此 日志的設計和配置對于日后集中抽取和轉換很關鍵，互聯(lián)網(wǎng)的各種服務器在設計時，就考 慮了業(yè)內(nèi)的日志標準，因此讓分析系統(tǒng)的日志源配置的統(tǒng)一工作變的可能。根據(jù)互聯(lián)網(wǎng)服務器的分類，針對服務器類型的不同配置各自的統(tǒng)一的日志格式， 這樣能確保日志的產(chǎn)生時的格式在同類服務器中是完全統(tǒng)一的。步驟22，定時截取日志信息，并將截取的日志信息存放在存儲空間里。由于日志不斷地更新，對日志的截取工作非常重要，通過對日志的實時截取來獲 取網(wǎng)站當時的運營狀況。步驟23，從所述截獲的日志信息選取網(wǎng)站日志信息并存儲于日志回收服務器中。服務器在被訪問時，日志的產(chǎn)生無可避免要有固定的位置，而且是唯一的位置，這 就給日志的回收造成了 一定的麻煩，因為需要在不間斷的日志回收系統(tǒng)和不間斷對外提供 服務的服務器找一個互不影響的機制，因此我們會在保證不影響服務器的前提下，創(chuàng)建一 個獨立的日志回收體系和通道，在服務器的物理分布和網(wǎng)路質量兩個維度找一個平衡的地 點，放置日志回收的服務器，而全網(wǎng)多個這樣的日志回收服務器組成了完整的日志回收服 務器組，再加上我們希望日志的保存要做到冗余，因此我們會將整個網(wǎng)絡分成幾個大的區(qū) 域，在各區(qū)域之間和之中都放置主從關系的日志服務器，避免單點故障引發(fā)的日志回收中 斷，同時為了確保單點日志回收服務器的存儲安全性，我們采用最新一代的sata硬盤及 raid6上劃分虛擬卷的方式組建存儲架構。日志回收體系主要由分布的各區(qū)域的日志回收服務器和中心日志存儲服務器組 成，為了保證原始日志的可重復計算，我們在各區(qū)域的日志都保存7天，而中心日志存儲服 務器則是永久存儲。步驟M，將所述日志回收服務器中存儲的網(wǎng)站日志信息轉換成符合預定格式的網(wǎng)
絡曰志fe息。日志一旦被送到日志回收服務器，就要面臨如何拆分、抽取、和轉換及裝載入數(shù)據(jù) 倉庫的問題，因為日志分析系統(tǒng)要求部分分析內(nèi)容，如流量帶寬、訪問者等具有時效性，因 此這一步的效率尤為重要，因此我們在這個環(huán)節(jié)，會采用技術進行多級拆分，將所有的日志 先進行去重、去錯、格式化，這個環(huán)節(jié)每5分鐘執(zhí)行一次，將中心收集上來的日志打上時間 戳，然后處理，同時面對不同類型的日志，我們采用不同的抽取和格式化的標準，經(jīng)過一級 的拆分，抽取，我們將不同的類型、不同的區(qū)域、不同的服務域名分類，然后再針對分類的日 志進行二次抽取，將日志的信息按照不同的粒度分類，并進行格式化操作，為數(shù)據(jù)集市的運算提供盡可能準確和格式化的數(shù)據(jù)。步驟25，將經(jīng)過所述預定格式的網(wǎng)站日志信息進行分類形成多個數(shù)據(jù)集市，并存 儲，便于在接收到查看網(wǎng)站日志信息請求時，提供相應的網(wǎng)站日志信息給操作者。值得注意的是，本領域技術人員應該很容易了解，上述提及的網(wǎng)站維護者、網(wǎng)站操 作者、網(wǎng)站運營商、管理者等皆為同一概念，其都需要對網(wǎng)站日志進行處理，具體本文不再 贅述。從上述內(nèi)容可以看出，本發(fā)明實施例定時獲取網(wǎng)站日志信息并在進行格式化后集 中存儲，使得網(wǎng)站維護者在需要了解網(wǎng)站當前運營情況時，可以直接獲取經(jīng)過格式化的網(wǎng) 站日志信息并進行分析，而無需進行格式化操作，從而減小了處理時延。從而使得網(wǎng)站維護 者可及時了解網(wǎng)站當前運營情況，制定出更有效的運營策略。對所公開的實施例的上述說明，使本領域專業(yè)技術使用者員能夠實現(xiàn)或使用本發(fā) 明。對這些實施例的多種修改對本領域的專業(yè)技術使用者員來說將是顯而易見的，本文中 所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因 此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新 穎特點相一致的最寬的范圍。
權利要求
1.一種日志信息管理系統(tǒng)，其特征在于，包括日志信息管理單元、日志信息抽取格式 化單元、數(shù)據(jù)統(tǒng)一集中單元和網(wǎng)站日志信息提供單元，其中所述日志信息管理單元用于配置同一服務器端的日志信息的格式為預設格式，以及， 定時截取日志信息并保存，從中選出網(wǎng)站日志信息并存儲于預先建立的日志回收服務器 中；所述日志信息抽取格式化單元用于格式化日志回收服務器中存儲的網(wǎng)站日志信息； 所述數(shù)據(jù)統(tǒng)一集中單元用于將經(jīng)過格式化的網(wǎng)站日志信息進行分類，形成多個數(shù)據(jù) 集市并存儲；所述網(wǎng)站日志信息提供單元，用于在接收到查看網(wǎng)站日志信息請求時，提供相應的網(wǎng) 站曰志信息。
2.根據(jù)權利要求1所述系統(tǒng)，其特征在于，所述日志回收服務器包括一級日志回收點 和二級日志回收點；所述一級日志回收點用于存儲所有網(wǎng)絡日志信息中選出的帶寬情況良好的網(wǎng)站日志 fn息；所述二級日志回收點用于存儲除所述一級日志回收點存儲的網(wǎng)站日志信息之外的網(wǎng)站曰志信息。
3.根據(jù)權利要求2所述系統(tǒng)，其特征在于，所述一級日志回收點和/或二級日志回收點 的存儲方式為RAID6并劃分虛擬卷方式。
4.根據(jù)權利要求1所述系統(tǒng)，其特征在于，所述日志信息抽取格式化單元包括 抽取單元，用于抽取網(wǎng)絡日志信息；轉換單元，用于將所述抽取單元抽取的網(wǎng)絡日志信息轉換成預定格式的網(wǎng)絡日志信息；裝載單元，用于將所述預定格式的網(wǎng)絡日志信息進行存儲。
5.根據(jù)權利要求4所述系統(tǒng)，其特征在于，所述日志信息抽取格式化單元還包括觸發(fā) 器，用于產(chǎn)生控制所述抽取單元、轉換單元和裝載單元工作的觸發(fā)信號。
6.根據(jù)權利要求5所述系統(tǒng)，其特征在于，所述觸發(fā)器包括行觸發(fā)器和表觸發(fā)器。
7.根據(jù)權利要求1所述系統(tǒng)，其特征在于，所述日志信息抽取格式化單元進行處理的 網(wǎng)絡日志信息包括基礎數(shù)據(jù)層數(shù)據(jù)，粒度放大層數(shù)據(jù)和數(shù)據(jù)集市層數(shù)據(jù)。
8.—種日志信息管理方法，其特征在于，包括 配置同一服務器日志信息格式；定時截取日志信息并保存；從所述截獲的日志信息中選取網(wǎng)站日志信息并存儲于預先建立的日志回收服務器中；將所述日志回收服務器中存儲的網(wǎng)站日志信息格式化處理，轉換成符合預定格式的網(wǎng) 絡日志信息；將經(jīng)過所述預定格式的網(wǎng)站日志信息進行分類形成多個數(shù)據(jù)集市，并存儲，便于在接 收到查看網(wǎng)站日志信息請求時，提供相應的網(wǎng)站日志信息給操作者。
9.根據(jù)權利要求8所述方法，其特征在于，將網(wǎng)絡日志信息存儲于預先建立的日志回 收服務器包括預設一級回收點和二級回收點，用以對日志信息進行分類回收； 所述一級日志回收點選取存儲所有數(shù)據(jù)中的帶寬情況良好的網(wǎng)站日志信息； 所述二級日志回收點存儲除所述一級日志回收點存儲的數(shù)據(jù)之外的數(shù)據(jù)。
10.根據(jù)權利要求8所述方法，其特征在于，在將所述網(wǎng)站日志信息進行格式化處理前 還包括將網(wǎng)絡日志信息分為基礎數(shù)據(jù)層數(shù)據(jù)、粒度放大層數(shù)據(jù)和數(shù)據(jù)集市層數(shù)據(jù)；將上述每 層數(shù)據(jù)再進行分層，在每層中把所有數(shù)據(jù)用數(shù)列連接，便于對數(shù)據(jù)的處理。
全文摘要
本發(fā)明涉及一種日志信息管理方法及系統(tǒng)；其中，該系統(tǒng)包括日志信息管理單元、日志信息抽取格式化單元和數(shù)據(jù)統(tǒng)一集中單元；所述日志信息管理單元用于配置同一服務器端的日志格式，截取日志信息并保存，在服務器數(shù)據(jù)中心建立日志回收服務器；所述日志信息抽取格式化單元對日志回收服務器收集來的各種日志進行抽取，轉換和裝載；所述數(shù)據(jù)統(tǒng)一集中單元用于將經(jīng)過抽取、轉換處理的日志信息集中并創(chuàng)建數(shù)據(jù)集市。通過將相同服務器上的日志格式統(tǒng)一，從而能夠最大的降低日志信息抽取格式化過程中抽取和轉換的比例，將通過上述處理的數(shù)據(jù)進行集中統(tǒng)一的存儲，從而使服務器對日志的分析操作效率提高。
文檔編號H04L12/24GK102111285SQ200910244009
公開日2011年6月29日 申請日期2009年12月24日 優(yōu)先權日2009年12月24日
發(fā)明者劉萬年, 郜時紅, 陳濤, 雷紫東 申請人:北京云快線軟件服務有限公司