一種生成服務(wù)器的配置文件的方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及分布式系統(tǒng)，尤指一種生成服務(wù)器的配置文件的方法及裝置。
【背景技術(shù)】
[0002]隨著云計(jì)算的快速發(fā)展，大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨。各種系統(tǒng)執(zhí)行日志、審計(jì)日志、用戶操作日志等，使得日志變得越發(fā)重要。其中，日志是錯(cuò)誤查詢、系統(tǒng)恢復(fù)、實(shí)時(shí)監(jiān)測(cè)等操作的重要憑據(jù)。在分布式環(huán)境下，單機(jī)的日志通常無(wú)法全面反映系統(tǒng)的信息，只有把各節(jié)點(diǎn)的日志綜合起來(lái)集中式分析，才能找到問(wèn)題所在，因此分布式環(huán)境下的日志收集系統(tǒng)就應(yīng)運(yùn)而生。
[0003]然而，由于分布式環(huán)境下節(jié)點(diǎn)數(shù)眾多，且每個(gè)節(jié)點(diǎn)上一般都有著不同的日志源，對(duì)于每個(gè)節(jié)點(diǎn)上的日志收集的配置復(fù)雜度通常是極高的。一旦日志源的路徑、日志生成方式發(fā)生變化，或者需要增加或減少節(jié)點(diǎn)時(shí)，所有相關(guān)的配置文件都需要跟著變動(dòng)。這個(gè)過(guò)程如果采用人工完成，則出錯(cuò)率是非常高的。
[0004]目前常用的技術(shù)是通過(guò)在每一臺(tái)需要收集的服務(wù)器上，搭建日志Flume或LogStash等開(kāi)源的日志收集工具，隨后手動(dòng)編寫每一個(gè)服務(wù)器的收集日志用的配置文件，并分發(fā)到每一臺(tái)服務(wù)器上，最后啟動(dòng)日志收集工具。其缺點(diǎn)在于:使用任一開(kāi)源日志收集工具時(shí)，都需要繁瑣且無(wú)可避免的配置工序，通常10臺(tái)左右用于收集的服務(wù)器、每臺(tái)服務(wù)器上收集10個(gè)日志項(xiàng)的話，需要編寫至少11個(gè)(服務(wù)器10臺(tái)，接收端I臺(tái))配置文件，每個(gè)發(fā)送端的配置文件的行數(shù)可以達(dá)到150行之多，而接受端的配置文件的大小遠(yuǎn)大于發(fā)送端。即至少需要編寫150*11 = 1650行的配置文件。
[0005]其中，假設(shè)發(fā)送日志的服務(wù)器為Sl-SlO這10臺(tái)，下面只以服務(wù)器SI上的配置文件編寫為例進(jìn)行說(shuō)明。人工編寫配置文件的方法包括以下步驟:
[0006]步驟1:設(shè)服務(wù)器SI上需要收集的服務(wù)為Vl?Vn ;
[0007]步驟2:對(duì)于每一個(gè)服務(wù)Vi (i屬于1，…，η)，設(shè)服務(wù)器SI需要收集的日志類型數(shù)共有Ni個(gè)，即服務(wù)器SI上需要配置的日志收集路徑總數(shù)為Ν1+Ν2+…+Nn個(gè)；并將第i個(gè)服務(wù)的第j個(gè)日志類型為記為L(zhǎng)ij ;
[0008]步驟3:對(duì)于第一個(gè)服務(wù)Vl上的第一個(gè)日志類型L11，進(jìn)行如下處理:
[0009]設(shè)置source的類型信息；
[0010]設(shè)置source 的 bind 信息；
[0011]設(shè)置source的端口信息；
[0012]設(shè)置source 的 channel 信息；
[0013]設(shè)置sink的對(duì)應(yīng)type信息；
[0014]設(shè)置sink的對(duì)應(yīng)channel信息；
[0015]設(shè)置s ink的fi I l_ro 11的時(shí)間間隔；
[0016]設(shè)置sink的存儲(chǔ)目錄；
[0017]設(shè)置channel的類型信息；
[0018]設(shè)置channel 的 checkpointDir ；
[0019]設(shè)置channel 的 dataDir ；
[0020]其中，source，channel和sink是日志收集工具flume的三個(gè)基本元件，source表示日志的源的配置，sink表示日志的目的的配置，channel是連接日志的源和目的之間的管道的配置；source-channel_sink連接在一起才是一條完整的日志收集線路；而一條或多條日志收集線路所組成的就是代理(agent)，agent是flume啟動(dòng)的最小單元；
[0021]步驟4:對(duì)于第一個(gè)服務(wù)剩余的日志路徑L12?LlNl，依次執(zhí)行步驟3的全部操作；
[0022]步驟5:對(duì)于其它服務(wù)V2，…，，依次執(zhí)行步驟3-步驟4的全部操作；
[0023]步驟6:將VI，…，Vn的所有日志類型，都以“r_日志類型-機(jī)器名”的形式添加到sources列表中；
[0024]步驟7:將VI，…，Vn的所有日志類型，都以“c_日志類型-機(jī)器名”的形式添加到channels列表中;
[0025]步驟8:將VI，…，Vn的所有日志類型，都以“k_日志類型-機(jī)器名”的形式添加到sinks列表中；
[0026]步驟9:將步驟6-8的處理結(jié)果保存為SI機(jī)器的配置文件。
[0027]上述如此巨大的工作量若都由人工完成，其易錯(cuò)性是顯而易見(jiàn)的，并且還包括一旦編寫錯(cuò)誤需要調(diào)試的時(shí)間開(kāi)銷、以及需要修改路徑、增減機(jī)器時(shí)的時(shí)間開(kāi)銷，這都是巨大的人力與物力的損失。

【發(fā)明內(nèi)容】

[0028]為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種生成服務(wù)器的配置文件的方法及裝置，能夠解決現(xiàn)有的日志收集系統(tǒng)配置復(fù)雜、易出錯(cuò)、擴(kuò)展不方便的問(wèn)題。
[0029]為了達(dá)到本發(fā)明目的，本發(fā)明提供了一種生成服務(wù)器的配置文件的方法，包括:
[0030]獲取需要進(jìn)行日志收集的各個(gè)服務(wù)器的信息，并根據(jù)獲得的需要進(jìn)行日志收集的各個(gè)服務(wù)器的信息生成初始配置文件；
[0031]根據(jù)生成的初始配置文件分別生成對(duì)應(yīng)于各個(gè)需要進(jìn)行日志收集的服務(wù)器上的發(fā)送端的配置文件，以及根據(jù)生成的初始配置文件分別生成對(duì)應(yīng)于各個(gè)需要進(jìn)行日志收集的服務(wù)器上的接收端的配置文件；
[0032]將生成的各個(gè)服務(wù)器上的發(fā)送端和接收端的配置文件分發(fā)給對(duì)應(yīng)的服務(wù)器。
[0033]進(jìn)一步地，該方法之前還包括:
[0034]在所述需要進(jìn)行日志收集的服務(wù)器上搭建日志收集工具；其中，日志收集工具包括:Flume 或 LogStash0
[0035]進(jìn)一步地，所述在需要進(jìn)行日志收集的服務(wù)器上搭建日志收集工具，包括:
[0036]獲取所述需要進(jìn)行日志收集的服務(wù)器列表、安裝路徑、日志收集工具安裝包所在路徑；
[0037]確定所述日志收集工具的安裝包在指定路徑上存在；
[0038]遍歷獲得的所述服務(wù)器列表，在各個(gè)服務(wù)器上創(chuàng)建安裝路徑；
[0039]將所述日志收集工具安裝包復(fù)制到所述服務(wù)器上，進(jìn)行解壓、安裝所述日志收集工具安裝包。
[0040]進(jìn)一步地，所述服務(wù)器的信息包括:IP地址、對(duì)應(yīng)的端口號(hào)、該服務(wù)器要收集的服務(wù)名稱和要收集的路徑信息；
[0041]所述初始配置文件包括需要進(jìn)行日志收集的各個(gè)服務(wù)器的信息，其中，初始配置文件中各個(gè)服務(wù)器的信息的格式如下:服務(wù)器名稱-1P地址-對(duì)應(yīng)的端口號(hào)-該服務(wù)器要收集的服務(wù)名稱-該服務(wù)器要收集的日志類型。
[0042]進(jìn)一步地，所述根據(jù)生成的初始配置文件分別生成對(duì)應(yīng)于各個(gè)需要進(jìn)行日志收集的服務(wù)器上的發(fā)送端的配置文件，包括:
[0043]設(shè)置所述各個(gè)服務(wù)器上的發(fā)送端的代理程序Agent名為webAgent ;
[0044]遍歷所述各個(gè)服務(wù)器需要收集的全部日志類型，對(duì)所述各個(gè)服務(wù)器需要收集的各個(gè)日志類型分別進(jìn)行source信息、sink信息和channel信息設(shè)置，以獲取對(duì)應(yīng)于各個(gè)服務(wù)器的配置信息；
[0045]根據(jù)獲得的對(duì)應(yīng)于各個(gè)服務(wù)器的配置信息與該服務(wù)器一一對(duì)應(yīng)的所述服務(wù)器名稱、所述IP地址、所述對(duì)應(yīng)的端口號(hào)和所述要收集的路徑信息生成該服務(wù)器的發(fā)送端的配置文件；其中，生成的該服務(wù)器的發(fā)送端的配置文件的名稱為:服務(wù)器名稱.conf。
[0046]進(jìn)一步地，所述根據(jù)生成的初始配置文件分別生成對(duì)應(yīng)于各個(gè)需要進(jìn)行日志收集的服務(wù)器上的接收端的配置文件，包括:
[0047]設(shè)置所述各個(gè)服務(wù)器上的發(fā)送端的代理程序Agent名為writeAgent ;
[0048]遍歷所