本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別涉及一種自動化清理維護(hù)ElasticSearch日志索引文件的方法。

背景技術(shù)：

在信息技術(shù)中，大數(shù)據(jù)（Big data）是指無法在一定時間內(nèi)，用常規(guī)的工具軟件（如現(xiàn)有數(shù)據(jù)庫管理工具或數(shù)據(jù)處理應(yīng)用）對其內(nèi)容進(jìn)行抓取、管理、存儲、搜索、共享、分析和可視化處理的由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)成的大型復(fù)雜數(shù)據(jù)集合。大數(shù)據(jù)具有四大特點，即高容量（Volume）、快速性（Velocity）、多樣性（Variety）和價值密度低（Value）。大數(shù)據(jù)帶來的挑戰(zhàn)在于它的實時處理，而數(shù)據(jù)本身也從結(jié)構(gòu)性數(shù)據(jù)轉(zhuǎn)向了非結(jié)構(gòu)性數(shù)據(jù)，因此使用關(guān)系數(shù)據(jù)庫對大數(shù)據(jù)進(jìn)行處理是非常困難的。

大數(shù)據(jù)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要像MapReduce、HBase一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)分析相比于傳統(tǒng)的數(shù)據(jù)倉庫應(yīng)用，具有數(shù)據(jù)量大、查詢分析復(fù)雜等特點。大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過時間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。

ElasticSearch是一個基于Lucene的搜索服務(wù)器。它提供了一個分布式多用戶能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開發(fā)的，便于與企業(yè)應(yīng)用進(jìn)行集成，是當(dāng)前流行的企業(yè)搜索引擎，能夠滿足實時搜索，穩(wěn)定，可靠，快速等要求。

但是，由于Elasticsearch底層實現(xiàn)的原因，當(dāng)索引文件過大，需要大量刪除索引時，需要很多索引文件的底層操作，造成了這一過程需要耗時比較長，往往對應(yīng)用造成很大的影響。

在當(dāng)前的IT運維領(lǐng)域，基于ELK（ElasticSearch+Logstash+Kibana）平臺的日志分析和監(jiān)控工具被越來越多的運維人員使用。由于該系統(tǒng)的特殊性與所監(jiān)控的系統(tǒng)的規(guī)模，往往會有大量的日志文件產(chǎn)生，并對其時效性要求較高。因此在數(shù)據(jù)量比較大并且增量數(shù)據(jù)也很多的情況下，索引文件就會很大，就會給索引與查詢帶來性能上的影響并對存儲空間造成了一定的壓力。在查詢?nèi)罩镜倪^程中，一般只關(guān)注近期的數(shù)據(jù)，歷史數(shù)據(jù)可以刪除，因此如何自動化快速的刪除歷史索引數(shù)據(jù)成為這一架構(gòu)實現(xiàn)的關(guān)鍵?；谏鲜銮闆r，本發(fā)明提出了一種自動化清理維護(hù)ElasticSearch日志索引文件的方法。

技術(shù)實現(xiàn)要素：

本發(fā)明為了彌補現(xiàn)有技術(shù)的缺陷，提供了一種簡單高效的自動化清理維護(hù)ElasticSearch日志索引文件的方法。

本發(fā)明是通過如下技術(shù)方案實現(xiàn)的：

一種自動化清理維護(hù)ElasticSearch日志索引文件的方法，其特征在于：將索引文件按照時間維度來分開存儲，根據(jù)業(yè)務(wù)需要制定日志索引刪除策略，并使之成為一個調(diào)度任務(wù)，利用調(diào)度框架調(diào)度日志刪除任務(wù)，當(dāng)需要刪除歷史數(shù)據(jù)索引時，只需根據(jù)日志索引刪除策略整體刪除符合策略的索引即可，能夠解決按DeleteByquery方式刪除的效率問題。

所述索引刪除策略根據(jù)業(yè)務(wù)需要來制定日志索引刪除策略，確定保留索引的最長有效時間或者保留索引的最大存儲空間。

本發(fā)明自動化清理維護(hù)ElasticSearch日志索引文件的方法，包括以下步驟：

（1）創(chuàng)建日志索引刪除策略，并根據(jù)日志索引刪除策略創(chuàng)建調(diào)度任務(wù)；

（2）啟動調(diào)度任務(wù)，根據(jù)日志索引刪除策略，執(zhí)行相應(yīng)的后臺任務(wù)進(jìn)行日志清理的工作；

（3）判斷是否按照時間策略調(diào)度任務(wù)，若按照時間策略調(diào)度任務(wù)，則遍歷索引，刪除符合時間策略的索引；若不按照照時間策略調(diào)度任務(wù)，則根據(jù)存儲空間要求刪除索引；刪除索引后返回步驟（2）。

本發(fā)明的有益效果是：該自動化清理維護(hù)ElasticSearch日志索引文件的方法，能夠快速高效的刪除索引文件，不會對當(dāng)前的索引和查詢造成性能上的影響，解決了Elasticsearch在采用DeleteByquery方式刪除大數(shù)據(jù)量索引時效率低下的問題。

附圖說明

附圖1為本發(fā)明自動化清理維護(hù)ElasticSearch日志索引文件的方法示意圖。

具體實施方式

為了使本發(fā)明所要解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合附圖和實施例，對本發(fā)明進(jìn)行詳細(xì)的說明。應(yīng)當(dāng)說明的是，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

該自動化清理維護(hù)ElasticSearch日志索引文件的方法，將索引文件按照時間維度來分開存儲，根據(jù)業(yè)務(wù)需要制定日志索引刪除策略，并使之成為一個調(diào)度任務(wù)，利用調(diào)度框架如Quartz等調(diào)度日志刪除任務(wù)，當(dāng)需要刪除歷史數(shù)據(jù)索引時，只需根據(jù)日志索引刪除策略整體刪除符合策略的索引即可，解決了按DeleteByquery方式刪除的效率問題。

所述索引刪除策略根據(jù)業(yè)務(wù)需要來制定日志索引刪除策略，確定保留索引的最長有效時間或者保留索引的最大存儲空間。

本發(fā)明自動化清理維護(hù)ElasticSearch日志索引文件的方法，包括以下步驟：

（1）創(chuàng)建日志索引刪除策略，并根據(jù)日志索引刪除策略創(chuàng)建調(diào)度任務(wù)；

（2）啟動調(diào)度任務(wù)，根據(jù)日志索引刪除策略，執(zhí)行相應(yīng)的后臺任務(wù)進(jìn)行日志清理的工作；

（3）判斷是否按照時間策略調(diào)度任務(wù)，若按照時間策略調(diào)度任務(wù)，則遍歷索引，刪除符合時間策略的索引；若不按照照時間策略調(diào)度任務(wù)，則根據(jù)存儲空間要求刪除索引；刪除索引后返回步驟（2）。