一種測試Hadoop集群穩(wěn)定性的方法及系統(tǒng)的制作方法
【技術領域】
[0001 ]本發(fā)明涉及大數據處理技術領域，更具體地說，涉及一種測試Hadoop集群穩(wěn)定性的方法及系統(tǒng)。
【背景技術】
[0002]隨著人類社會全面進入信息時代，數據成為與水、石油同等重要的戰(zhàn)略資源。通過挖掘海量數據，能夠使政府和企業(yè)的運行決策建立在更加科學的依據基礎上，提高決策效率、危機應對能力和公共服務水平。大數據(big data)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業(yè)經營決策更積極目的的資訊。大數據分析相比于傳統(tǒng)的數據倉庫應用，具有數據量大、查詢分析復雜等特點。大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用于大數據的技術，包括大規(guī)模并行處理(MPP)數據庫、數據挖掘電網、分布式文件系統(tǒng)、分布式數據庫、云計算平臺、互聯(lián)網和可擴展的存儲系統(tǒng)。
[0003]Hadoop是一個開發(fā)和運行處理大規(guī)模數據的軟件平臺，是Apache的一個用java語言實現開源軟件框架，實現在大量計算機組成的集群中對海量數據進行分布式計算。Hadoop框架中最核心設計就是:HDFS和MapReduce aHDFS提供了海量數據的存儲，MapReduce提供了對數據的計算。Hadoop集群的穩(wěn)定性取決于HDFS和MapReduce的穩(wěn)定性，因此，如何測試HDFS和MapReduce的穩(wěn)定性，從而測試整個Hadoop集群的穩(wěn)定性，是現在需要解決的問題。

【發(fā)明內容】

[0004]本發(fā)明的目的在于提供一種測試Hadoop集群穩(wěn)定性的方法及系統(tǒng)，以測試整個Hadoop集群的穩(wěn)定性。
[0005]為實現上述目的，本發(fā)明實施例提供了如下技術方案:
[0006]一種測試Hadoop集群穩(wěn)定性的方法，包括:
[0007 ] Namenode服務器運行基準測試，Datanode服務器運行ΝΜ0Ν工具;其中，所述基準測試包括DFS10基準測試和Terasort基準測試；
[0008]所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行基準測試的第一資源消耗數據；
[0009]所述Namenode服務器根據所述第一資源消耗數據判斷Hadoop集群的穩(wěn)定性。
[0010]優(yōu)選的，所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行基準測試的資源消耗數據，并根據所述第一資源消耗數據判斷Hadoop集群的穩(wěn)定性包括:
[0011 ] 所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行DFS10基準測試的第二資源消耗數據，并根據所述第二資源消耗數據判斷所述Hadoop集群的HDFS的穩(wěn)定性。
[0012]優(yōu)選的，所述Namenode服務器運行DFS10基準測試包括:所述Namenode服務器運行DFS1-write基準測試和DFS1-Read基準測試。
[0013]優(yōu)選的，所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行基準測試的資源消耗數據，并根據所述第一資源消耗數據判斷Hadoop集群的穩(wěn)定性包括:
[0014]所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行Terasort基準測試的第三資源消耗數據，并根據所述第三資源消耗數據判斷所述Hadoop集群的的MapReduce的穩(wěn)定性。
[0015]優(yōu)選的，所述Namenode服務器根據所述第一資源消耗數據判斷Hadoop集群的穩(wěn)定性，包括:
[0016]所述Namenode服務器判斷所述第一資源消耗數據中的資源消耗值是否在預定范圍內；
[0017]若是，則判定所述Hadoop集群的穩(wěn)定性為穩(wěn)定;若否，則判定所述所述Hadoop集群的穩(wěn)定性為不穩(wěn)定。
[0018]一種測試Hadoop集群穩(wěn)定性的系統(tǒng)，包括:
[00?9] Namenode服務器和Datanode服務器;其中，所述Namenode服務器運行基準測試，所述Datanode服務器運行ΝΜ0Ν工具;所述基準測試包括DFS10基準測試和Terasort基準測試；[°02°] 所述Namenode服務器用于通過所述匪0N工具，實時獲取所述Datanode服務器運行基準測試的第一資源消耗數據，并根據所述第一資源消耗數據判斷Hadoop集群的穩(wěn)定性。[0021 ] 優(yōu)選的，所述Namenode服務器包括:
[0022]第一測試模塊，用于通過所述匪ON工具，實時獲取所述Datanode服務器運行DFS10基準測試的第二資源消耗數據，并根據所述第二資源消耗數據判斷所述Hadoop集群的HDFS的穩(wěn)定性。
[0023]優(yōu)選的，所述Namenode服務器運行DFS10基準測試包括:所述Namenode服務器運行DFS1-write基準測試和DFS1-Read基準測試。
[0024]優(yōu)選的，所述Namenode服務器包括:
[0025]第二測試模塊，用于通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行Terasort基準測試的第三資源消耗數據，并根據所述第三資源消耗數據判斷所述Hadoop集群的的MapReduce的穩(wěn)定性。
[0026]優(yōu)選的，所述Namenode服務器包括:
[0027]判斷模塊，用于判斷所述第一資源消耗數據中的資源消耗值是否在預定范圍內；若是，則判定所述Hadoop集群的穩(wěn)定性為穩(wěn)定;若否，則判定所述所述Hadoop集群的穩(wěn)定性為不穩(wěn)定。
[0028]通過以上方案可知，本發(fā)明實施例提供的一種測試Hadoop集群穩(wěn)定性的方法及系統(tǒng)，包括:Namenode服務器運行基準測試，Datanode服務器運行匪0N工具;其中，所述基準測試包括DFS10基準測試和Terasort基準測試;所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行基準測試的第一資源消耗數據;所述Namenode服務器根據所述第一資源消耗數據判斷Hadoop集群的穩(wěn)定性，可見，在本實施例中，通過在Namenode服務器上運行DFS10基準測試和Terasort基準測試，能分別測出Hadoop集群HDFS和MapReduce的穩(wěn)定性，從而測試整個Hadoop集群的穩(wěn)定性。
【附圖說明】
[0029]為了更清楚地說明本發(fā)明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0030]圖1為本發(fā)明實施例公開的一種測試Hadoop集群穩(wěn)定性的方法流程示意圖；
[0031 ]圖2為本發(fā)明實施例公開的一種測試HDFS穩(wěn)定性的方法流程示意圖；
[0032]圖3為本發(fā)明實施例公開的一種測試MapReduce穩(wěn)定性的方法流程示意圖；
[0033]圖4為本發(fā)明實施例公開的一種測試Hadoop集群穩(wěn)定性的系統(tǒng)結構示意圖。
【具體實施方式】
[0034]下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0035]本發(fā)明實施例公開了一種測試Hadoop集群穩(wěn)定性的方法及系統(tǒng)，以測試整個Hadoop集群的穩(wěn)定性。
[0036]參見圖1，本發(fā)明實施例提供的一種測試Hadoop集群穩(wěn)定性的方法，包括:
[0037]S101、NamenOde服務器運行基準測試，Datanode服務器運行匪0N工具；其中，所述基準測試包括DFS10基準測試和Terasort基準測試；
[0038]具體的，在本實施例中，在測試Hadoop集群之前要確定搭建Hadoop集群。在部署Hadoop集群時，使用多臺適合大數據傳輸和存儲處理的服務器以及其它相關設備，構建高效能大數據平臺，并可彈性擴展。并且在部署Hadoop集群，嚴格根據具體需求，針對內存、cpu、硬盤、網絡做出最優(yōu)配置。具體可以準備千兆交換機一臺和4臺服務器構成1+3的Hadoop集群，其中1+3的Hadoop集群為1臺Namenode服務器，3臺Datanode服務器，并且在本實施例中Datanode服務器的數量可以根據實際需要進行自定義設定的，但是數量要大于等于3。
[0039]需要說明的是，在本實施例中，運行DFS10基準測試和TeraSort基準測試時，要保持集群環(huán)境唯一性，即集群配置不變，并且集群在同時段只能運行一個任務。
[0040]S102、所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行基準測試的第一資源消耗數據；
[0041]S103、所述Namenode服務器根據所述第一資源消耗數據判斷Hadoop集群的穩(wěn)定性。
[0042]具體在本實施例中，Namenode服務器通過在測試過程中實時獲取資源消耗數據，判斷Hadoop集群的穩(wěn)定性是否穩(wěn)定。其中，資源消耗數據可以包括CPU利用率、網絡吞吐率、硬盤10以及磁盤空間消耗等數據。
[0043]優(yōu)選的，所述Namenode服務器根據所述第一資源消耗數據判斷Hadoop集群的穩(wěn)定性，包括:
[0044]所述Namenode服務器判斷所述第一資源消耗數據中的資源消耗值是否在預定范圍內；
[0045]若是，則判定所述Hadoop集群的穩(wěn)定性為穩(wěn)定;若否，則判定所述所述Hadoop集群的穩(wěn)定性為不穩(wěn)定。
[0046]具體的，在本實施例中，若通過ΝΜ0Ν分析結果，得出穩(wěn)定性報告中第一資源消耗數據的資源消耗值不在一個穩(wěn)定的消耗范圍內，則可以判定此時Hadoop集群不穩(wěn)定，若第一資源消耗數據的資源消耗值在這個穩(wěn)定的消耗范圍內，則可以說明此Hadoop集群穩(wěn)定。
[0047]具體在，在本實施例中，測試Hadoop集群穩(wěn)定性可以通過測試HDFS和MapReduce的穩(wěn)定性，因此參見圖2，本發(fā)明實施例提供的另一種測試HDFS穩(wěn)定性的方法，包括:
[0048]S201、Namenode服務器運行DFS10基準