專利名稱：日志采集系統、日志采集方法和日志回收服務器的制作方法
技術領域：
本發(fā)明涉及日志處理技術，尤其涉及日志采集系統、日志采集方法和日志回收服 務器。
背景技術：
用戶對互聯網的訪問，其實就是對某臺服務器的訪問。服務器一旦被訪問，不可避 免的會產生用戶訪問日志。為了便于日志得到處理，網絡側需要對日志進行采集(也可以 稱為回收)。參與日志采集工作的服務器可以組成一個日志采集系統。目前的日志采集系統如圖1所示，多個日志產生服務器都將日志上傳到同一個中 心服務器，由中心服務器對采集到的日志進行處理，其中，日志產生服務器是接受用戶訪問 并產生日志的服務器。本發(fā)明的發(fā)明人在仔細研究圖1所示的日志采集系統后發(fā)現，圖1所示的日志采 集系統雖然能夠完成日志的回收，但是，如果向中心服務器上傳日志的日志產生服務器的 數量較多，那么會給中心服務器造成很大的壓力，嚴重時，可能會導致中心服務器的崩潰， 進而造成日志產生服務器無法將日志上傳到中心服務器或者上傳日志嚴重延時。

發(fā)明內容
本發(fā)明提出一種日志采集系統、日志采集方法和日志回收服務器，用于解決現有 的日志采集系統中的中心服務器壓力大的問題。本發(fā)明技術方案的實現過程如下—種日志采集系統，包括加速服務器、日志回收服務器和中心服務器；加速服務器用于產生日志文件，并將日志文件上傳到日志回收服務器；日志回收服務器用于接收多個加速服務器上傳的日志文件，并將接收的日志文件 上傳到中心服務器；中心服務器用于接收多個日志回收服務器上傳的日志文件；其中，日志回收服務器的數量少于加速服務器的數量。一種基于前述日志采集系統的日志采集方法，包括日志回收服務器獲得加速服務器上傳的日志文件；日志回收服務器對加速服務器上傳的日志文件進行處理；日志回收服務器將處理后的日志文件上傳到中心服務器。一種日志回收服務器，設置在前述日志采集系統中，包括獲得單元，用于獲得加速服務器上傳的日志文件；處理單元，用于對加速服務器上傳的日志文件進行處理；上傳單元，用于將處理后的日志文件上傳到中心服務器。在本發(fā)明的日志采集系統中，設置有介于加速服務器和中心服務器之間的日志回 收服務器，加速服務器向日志回收服務器上傳日志文件，日志回收服務器向中心服務器上
4傳日志文件，而且日志回收服務器的數量少于加速服務器的數量，這樣，日志回收服務器向 中心服務器上傳日志文件對中心服務器造成的壓力要小于加速服務器直接向中心服務器 上傳日志文件對中心服務器造成的壓力，從而解決了現有的日志采集系統中的中心服務器 壓力大的問題。


為了更清楚地說明本發(fā)明或現有技術中的技術方案，下面將對實施例或現有技術 描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明中 記載的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以 根據這些附圖獲得其他的附圖。圖1為現有的日志采集系統的邏輯結構圖；圖2為本發(fā)明的日志采集系統的邏輯結構圖；圖3為本發(fā)明的日志采集方法的流程圖；圖4為本發(fā)明的日志回收服務器的邏輯結構圖。
具體實施例方式為了使本技術領域的人員更好地理解本發(fā)明實施例中的技術方案，并使本發(fā)明的 上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結合附圖對本發(fā)明中技術方案作進一步詳 細的說明。首先介紹本發(fā)明的日志采集系統。本發(fā)明的日志采集系統采用三層架構形式。底層為加速服務器，即供用戶訪問、產 生日志的服務器，包括多種服務類型的web服務器。中間層為日志回收服務器，接收加速服 務器上傳的日志文件，在實際應用中，可以根據運營商的不同及運營商所在的省份、城市， 將物理上位于一個區(qū)域的服務器歸為一個物理節(jié)點，而且根據加速服務器的數量，在每個 物理節(jié)點都部署至少一個日志回收服務器，例如部署1-3個日志回收服務器。中心層為中 心服務器，接收日志回收服務器上傳的日志文件。日志回收服務器的數量要少于加速服務 器的數量。例如，在某個城市(即一個物理節(jié)點)部署某個運營商的數百臺加速服務器，那 么在這個城市可以部署這個運營商的數臺日志回收服務器。考慮到單點故障可能引發(fā)部分加速服務器的日志上傳中斷，在實際應用中，可以 根據物理位置將整個網絡(也可以稱為全網)的物理節(jié)點劃分為幾大區(qū)域，具體可按照本 地、城市、省份、大區(qū)進行劃分，一旦某個物理節(jié)點的日志回收服務器發(fā)生故障，那么這個物 理節(jié)點的加速服務器可以將日志文件上傳到本區(qū)域內的其他物理節(jié)點的日志回收服務器。 當然，如有必要，這個物理節(jié)點的加速服務器也可以將日志文件上傳到其他區(qū)域內的日志 回收服務器，或者，這個物理節(jié)點的加速服務器可先將日志文件上傳到本區(qū)域內的其他物 理節(jié)點的日志回收服務器，最后由其他區(qū)域內的日志回收服務器將日志文件上傳到中心服 務器。下面結合圖2，對本發(fā)明的日志采集系統進行詳細說明。如圖2所示，日志采集系 統包括加速服務器(也可以稱為Cache)、日志回收服務器(也可以稱為Sitelog)和中心 服務器(也可以稱為Logserver)；加速服務器用于產生日志文件，并將日志文件上傳到日志回收服務器；日志回收服務器用于接收多個加速服務器上傳的日志文件，并將接收的日 志文件上傳到中心服務器；中心服務器用于接收多個日志回收服務器上傳的日志文件；其 中，日志回收服務器的數量少于加速服務器的數量。優(yōu)選的，日志回收服務器與向其上傳日志文件的加速服務器位于同一個網絡內， 或者說，一個物理節(jié)點可以認為是一個網絡，這樣，日志回收服務器與向其上傳日志文件的 加速服務器之間的交互屬于內網交互，可以有效的降低網絡開銷，提高傳輸效率。在實際應用中，可以配置加速服務器的web服務，并通過shel 1腳本定時截取日志 文件。具體的，通過修改加速服務器的在線服務的源代碼和配置文件，使得各種web服務 (包括apache服務、squid服務、nginx服務等)在正常對外提供服務的同時，利用shell 腳本，調用服務本身的命令將服務日志文件定時(例如為每五分鐘)移置到指定目錄下，并 以該加速服務器的唯一標識、當前時間(或時間戳的形式)及服務類型等信息拼裝日志文 件名。在實際應用中，一個物理節(jié)點可能具有多個日志回收服務器，這種情況下，加速服 務器在上傳日志文件之前，可以從同一個網絡(同一個物理節(jié)點)內的所有日志回收服務 器中選擇一個日志回收服務器，并向選中的日志回收服務器上傳日志。如果加速服務器無 法選擇同一個網絡內的日志回收服務器，則可以從全網的日志回收服務器中選擇一個日志 回收服務器，并向選中的日志回收服務器上傳日志。具體的，可以在每個加速服務器上運行一個獲取日志回收服務器信息的腳本，腳 本需要具備選擇日志回收服務器的功能，這樣不會因為某個日志回收服務器故障，而導致 本網絡(本物理節(jié)點)內的日志文件無法上傳。腳本定時運行，具體功能如下判斷是否有日志回收服務器的配置列表和日志堆積，這里的日志堆積是指有需要 上傳的日志文件；如果沒有日志回收服務器的配置列表，則先獲取本網絡內的日志回收服務器信 息，并判斷日志回收服務器的可用性，之后生成可用的日志回收服務器的配置列表，并從中 選擇一個日志回收服務器，將選中的日志回收服務器寫入上傳配置文件中。如果本網絡內 沒有可用的日志回收服務器，則從中心服務器獲取其他網絡內的日志回收服務器信息，并 判斷這些日志回收服務器的可用性，之后生成可用的日志回收服務器的配置列表，并從中 選擇一個日志回收服務器，將選中的日志回收服務器寫入上傳配置文件中；如果有日志回收服務器的配置列表，并且有日志堆積，則先判斷配置列表中的日 志回收服務器的可用性，從可用的日志回收服務器中選擇一個日志回收服務器，將選中的 日志回收服務器加入配置文件中；如果有日志回收服務器的配置列表，但沒有日志堆積，則結束腳本運行。在實際應用中，加速服務器可以周期性的不間斷的檢查是否有新的日志文件產 生，即會根據指定時間間隔不間斷的檢查是否有新的日志文件產生，如果有新的日志文件 產生，則將新的日志文件上傳到選中的日志回收服務器。另外，加速服務器可以將已上傳的 日志文件進行備份。具體的，在加速服務器上運行一個守護進程，根據指定時間間隔不間斷的到指定 目錄檢查是否有新的日志文件產生，一旦有新的日志文件產生，就將新的日志文件傳送至 配置文件中記錄的日志回收服務器。為了確保日志文件的正常傳輸，在傳輸過程中，將傳輸中的日志文件名后添加“· tmp”后綴，一旦日志文件傳輸完畢，則對日志文件進行重命名，去 掉“.tmp”后綴，并將已上傳的日志文件移至備份目錄。由于加速服務器的存儲空間有限， 所以，每個加速服務器可以根據實際情況，保存最近幾天的日志文件，例如保存最近1-3天 的日志文件，以便于后期日志重算或者排除加速服務器故障等使用。圖2所示的日志回收服務器接收到日志文件后，可以對日志文件進行處理。例如， 由于網絡震蕩或者加速服務器異常等原因，可能會造成某些日志文件不完整，對此，日志回 收服務器可以將無法分析的日志文件進行清理。再例如，對于不同web服務日志，為了保證 中心服務器處理邏輯的簡單、統一，日志回收服務器可以對日志文件中的信息進行拆分和 提取，將提取后的信息生成中心服務器文件格式的日志文件。日志回收服務器處理完日志文件后，可以定時將處理后的日志文件上傳到中心服 務器。具體的上傳過程如下日志回收服務器獲得中心服務器的配置列表；日志回收服務器從配置列表中選擇一個中心服務器；日志回收服務器向選中的中心服務器發(fā)起連接請求；如果選中的中心服務器接受日志回收服務器的連接請求，則日志回收服務器 與選中的中心服務器建立連接，這里的建立連接可以是指建立文件傳輸協議(FTP，File Transfer Protocol)文件傳輸通道；日志回收服務器向選中的中心服務器上傳日志文件；上傳結束后，日志回收服務器斷開與選中的中心服務器的連接。為保證正在上傳的日志文件不被其他功能模塊取走，在上傳日志文件過程中，日 志文件名可以加上“.tmp”后綴。在日志文件上傳結束后，將日志文件重命名，去掉“.tmp”后綴。另外，日志回收服務器可以將已上傳的日志文件進行備份，具體的，可以將已上傳 的日志文件備份到指定的目錄下。日志回收服務器可以保存多天的日志文件，例如保存7 天的日志文件。這樣，即使中心服務器出現故障，仍然能夠根據備份的日志文件進行重算等 操作。圖2所示的中心服務器負責全網內的日志備份，中心服務器可以將日志文件提供 給分析系統或者提供給客戶下載等。在實際應用中，中心服務器的數量可以是多個，每個中 心服務器都接收一些日志回收服務器上傳的日志文件，每個中心服務器對應的日志回收服 務器的數量都少于現有的日志采集系統的中心服務器對應的日志產生服務器的數量，這樣 可以極大的減輕中心服務器的壓力?；谏鲜龅娜罩静杉到y，本發(fā)明還從日志回收服務器的角度，提供一種日志采 集方法。如圖3所示，這種方法包括S301 :日志回收服務器獲得加速服務器上傳的日志文件；S302 日志回收服務器對加速服務器上傳的日志文件進行處理；S303 日志回收服務器將處理后的日志文件上傳到中心服務器。S302包括日志回收服務器將無法分析的日志文件進行清理；和/或，日志回收服 務器對日志文件中的信息進行拆分和提取，將提取后的信息生成中心服務器文件格式的日 志文件。
7
執(zhí)行S303之前，日志回收服務器可以獲得中心服務器的配置列表，從配置列表中 選擇一個中心服務器。這樣，日志回收服務器將處理后的日志文件上傳到中心服務器是指， 將處理后的日志文件上傳到選中的中心服務器。S303 包括日志回收服務器向選中的中心服務器發(fā)起連接請求；如果選中的中心服務器接受日志回收服務器的連接請求，則日志回收服務器與選 中的中心服務器建立連接；日志回收服務器向選中的中心服務器上傳日志文件；上傳結束后，日志回收服務器斷開與選中的中心服務器的連接。執(zhí)行S303后，日志回收服務器可以將已上傳的日志文件進行備份。關于日志采集方法的詳細描述，可以參見上述的日志采集系統中的相關描述，這 里不再贅述。對應于上述的日志采集方法，本發(fā)明還提供一種設置在上述的日志采集系統中的 日志回收服務器。如圖4所示，這種日志回收服務器包括獲得單元401，用于獲得加速服 務器上傳的日志文件；處理單元402，用于對加速服務器上傳的日志文件進行處理；上傳單 元403，用于將處理后的日志文件上傳到中心服務器。處理單元402具體用于將無法分析的日志文件進行清理，和/或，對日志文件中的 信息進行拆分和提取，將提取后的信息生成中心服務器文件格式的日志文件。在上傳單元403將處理后的日志文件上傳到中心服務器之前，獲得單元401獲得 中心服務器的配置列表。日志回收服務器還可以包括選擇單元404，用于從配置列表中選擇 一個中心服務器。這樣，上傳單元403可以將處理后的日志文件上傳到選中的中心服務器。上傳單元403可以包括請求模塊，用于向選中的中心服務器發(fā)起連接請求；連接 模塊，用于如果選中的中心服務器接受連接單元的連接請求，則與選中的中心服務器建立 連接；上傳模塊，用于向選中的中心服務器上傳日志文件；斷開模塊，用于在上傳模塊上傳 完日志文件后，斷開與選中的中心服務器的連接。日志回收服務器還可以包括備份單元405，用于在上傳單元403將處理后的日志 文件上傳到中心服務器后，將已上傳的日志文件進行備份。關于日志回收服務器的詳細描述，可以參見上述的日志采集系統中的相關描述， 這里不再贅述。綜上所述，本發(fā)明的日志采集系統采用三層結構，處于中間層、并向中心服務器上 傳日志文件的日志回收服務器的數量少于處于底層、并向日志回收服務器上傳日志文件的 加速服務器的數量，這樣可有效降低中心服務器的壓力。正常情況下，加速服務器會將日志文件上傳到本網絡(本物理節(jié)點)內的日志回 收服務器，這樣的文件上傳過程屬于內網傳輸過程，所以可以降低網絡開銷，并且傳輸效率較高。如果加速服務器不斷增多，那么可相應的增加日志回收服務器及中心服務器，當 然，增加的日志回收服務器和中心服務器的數量遠低于增加的加速服務器的數量。所以，本 發(fā)明的日志采集系統的擴展性較強，日志回收服務器可以對日志文件的格式進行統一化處理，這樣便于中心服務器對日志文件的分析處理工作，降低了中心服務器分析處理的復雜度。通過以上的實施方式的描述可知，本領域的技術人員可以清楚地了解到本發(fā)明可 借助軟件加必需的通用硬件平臺的方式來實現?；谶@樣的理解，本發(fā)明的技術方案本質 上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來，該計算機軟件產品 可以存儲在存儲介質中，如ROM/RAM、磁碟、光盤等，包括若干指令用以使得一臺計算機設備 (可以是個人計算機，服務器，或者網絡設備等)執(zhí)行本發(fā)明各個實施例或者實施例的某些 部分所述的方法。本說明書中的各個實施例均采用遞進的方式描述，各個實施例之間相同相似的部 分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對于系統實 施例而言，由于其基本相似于方法實施例，所以描述的比較簡單，相關之處參見方法實施例 的部分說明即可。本發(fā)明可用于眾多通用或專用的計算系統環(huán)境或配置中。例如個人計算機、服務 器計算機、手持設備或便攜式設備、平板型設備、多處理器系統、基于微處理器的系統、置頂 盒、可編程的消費電子設備、網絡PC、小型計算機、大型計算機、包括以上任何系統或設備的 分布式計算環(huán)境等等。本發(fā)明可以在由計算機執(zhí)行的計算機可執(zhí)行指令的一般上下文中描述，例如程序 模塊。一般地，程序模塊包括執(zhí)行特定任務或實現特定抽象數據類型的例程、程序、對象、組 件、數據結構等等。也可以在分布式計算環(huán)境中實踐本發(fā)明，在這些分布式計算環(huán)境中，由 通過通信網絡而被連接的遠程處理設備來執(zhí)行任務。在分布式計算環(huán)境中，程序模塊可以 位于包括存儲設備在內的本地和遠程計算機存儲介質中。雖然通過實施例描繪了本發(fā)明，本領域普通技術人員知道，本發(fā)明有許多變形和 變化而不脫離本發(fā)明的精神，希望所附的權利要求包括這些變形和變化而不脫離本發(fā)明的 精神。
權利要求
一種日志采集系統，其特征在于，包括加速服務器、日志回收服務器和中心服務器；加速服務器用于產生日志文件，并將日志文件上傳到日志回收服務器；日志回收服務器用于接收多個加速服務器上傳的日志文件，并將接收的日志文件上傳到中心服務器；中心服務器用于接收多個日志回收服務器上傳的日志文件；其中，日志回收服務器的數量少于加速服務器的數量。
2.如權利要求1所述的系統，其特征在于，日志回收服務器與向其上傳日志文件的加 速服務器位于同一個網絡內。
3.如權利要求2所述的系統，其特征在于，加速服務器具體用于從同一個網絡內的所 有日志回收服務器中選擇一個日志回收服務器，并向選中的日志回收服務器上傳日志。
4.如權利要求3所述的系統，其特征在于，如果加速服務器無法選擇同一個網絡內的 日志回收服務器，則從全網的日志回收服務器中選擇一個日志回收服務器，并向選中的日 志回收服務器上傳日志。
5.如權利要求3或4所述的系統，其特征在于，加速服務器周期性的檢查是否有新的日 志文件產生，如果有新的日志文件產生，則將新的日志文件上傳到選中的日志回收服務器。
6.如權利要求5所述的系統，其特征在于，加速服務器將已上傳的日志文件進行備份。
7.如權利要求1-4任意一項所述的系統，其特征在于，日志回收服務器將無法分析的 日志文件進行清理；和/或，日志回收服務器對日志文件中的信息進行拆分和提取，將提取后的信息生成中心服務 器文件格式的日志文件。
8.如權利要求1-4任意一項所述的系統，其特征在于，日志回收服務器獲得中心服務 器的配置列表，從配置列表中選擇一個中心服務器，向選中的中心服務器發(fā)起連接請求，如 果選中的中心服務器接受日志回收服務器的連接請求，則日志回收服務器與選中的中心服 務器建立連接，向選中的中心服務器上傳日志文件，上傳結束后，斷開與選中的中心服務器 的連接。
9.如權利要求8所述的系統，其特征在于，日志回收服務器將已上傳的日志文件進行 備份。
10.一種基于權利要求1-9任意一項所述日志采集系統的日志采集方法，其特征在于， 包括日志回收服務器獲得加速服務器上傳的日志文件；日志回收服務器對加速服務器上傳的日志文件進行處理；日志回收服務器將處理后的日志文件上傳到中心服務器。
11.如權利要求10所述的方法，其特征在于，日志回收服務器對加速服務器上傳的日 志文件進行處理包括日志回收服務器將無法分析的日志文件進行清理；和/或，日志回收服務器對日志文件中的信息進行拆分和提取，將提取后的信息生成中心服務 器文件格式的日志文件。
12.如權利要求10或11所述的方法，其特征在于，日志回收服務器將處理后的日志文 件上傳到中心服務器之前，獲得中心服務器的配置列表，從配置列表中選擇一個中心服務
13.如權利要求12所述的方法，其特征在于，日志回收服務器將處理后的日志文件上 傳到中心服務器具體為日志回收服務器將處理后的日志文件上傳到選中的中心服務器；日志回收服務器將處理后的日志文件上傳到選中的中心服務器包括日志回收服務器向選中的中心服務器發(fā)起連接請求；如果選中的中心服務器接受日志回收服務器的連接請求，則日志回收服務器與選中的 中心服務器建立連接；日志回收服務器向選中的中心服務器上傳日志文件；上傳結束后，日志回收服務器斷開與選中的中心服務器的連接。
14.如權利要求10所述的方法，其特征在于，日志回收服務器將處理后的日志文件上 傳到中心服務器后，將已上傳的日志文件進行備份。
15.一種日志回收服務器，其特征在于，設置在權利要求1-9任意一項所述的日志采集 系統中，所述日志回收服務器包括獲得單元，用于獲得加速服務器上傳的日志文件；處理單元，用于對加速服務器上傳的日志文件進行處理；上傳單元，用于將處理后的日志文件上傳到中心服務器。
16.如權利要求15所述的日志回收服務器，其特征在于，所述處理單元具體用于將無 法分析的日志文件進行清理，和/或，對日志文件中的信息進行拆分和提取，將提取后的信 息生成中心服務器文件格式的日志文件。
17.如權利要求15或16所述的日志回收服務器，其特征在于，在所述上傳單元將處理 后的日志文件上傳到中心服務器之前，所述獲得單元獲得中心服務器的配置列表；所述日志回收服務器還包括選擇單元，用于從配置列表中選擇一個中心服務器。
18.如權利要求17所述的日志回收服務器，其特征在于，所述上傳單元具體用于將處 理后的日志文件上傳到選中的中心服務器；所述上傳單元包括請求模塊，用于向選中的中心服務器發(fā)起連接請求；連接模塊，用于如果選中的中心服務器接受連接單元的連接請求，則與選中的中心服 務器建立連接；上傳模塊，用于向選中的中心服務器上傳日志文件；斷開模塊，用于在上傳模塊上傳完日志文件后，斷開與選中的中心服務器的連接。
19.如權利要求15所述的日志回收服務器，其特征在于，還包括備份單元，用于在所述 上傳單元將處理后的日志文件上傳到中心服務器后，將已上傳的日志文件進行備份。
全文摘要
本發(fā)明涉及一種日志采集系統、日志采集方法和日志回收服務器；其中，所述日志采集系統包括加速服務器、日志回收服務器和中心服務器；加速服務器用于產生日志文件，并將日志文件上傳到日志回收服務器；日志回收服務器用于接收多個加速服務器上傳的日志文件，并將接收的日志文件上傳到中心服務器；中心服務器用于接收多個日志回收服務器上傳的日志文件；其中，日志回收服務器的數量少于加速服務器的數量。采用本發(fā)明的日志采集系統、日志采集方法和日志回收服務器，可有效降低中心服務器的壓力、降低網絡開銷，并且提高了傳輸效率。
文檔編號H04L12/24GK101964795SQ201010504198
公開日2011年2月2日 申請日期2010年9月30日 優(yōu)先權日2010年9月30日
發(fā)明者井衛(wèi)軍, 姚永壯, 楊利軍, 蔣建平, 郜時紅 申請人:北京世紀互聯工程技術服務有限公司;北京云快線軟件服務有限公司