云環(huán)境下分布式文件系統(tǒng)可靠性測試套件的制作方法
【專利摘要】云環(huán)境下分布式文件系統(tǒng)可靠性測試套件，涉及云計算領(lǐng)域。本發(fā)明是為了解決現(xiàn)有的分布式系統(tǒng)中缺少對分布式文件系統(tǒng)可靠性測試的套件，不能對分布式系統(tǒng)中出現(xiàn)的問題提前做準(zhǔn)備，使得系統(tǒng)可靠性低的問題。本發(fā)明所述的管理模塊用于根據(jù)測試人員的操作命令調(diào)用相應(yīng)的節(jié)點(diǎn)故障注入模塊、數(shù)據(jù)操作失效故障注入模塊和數(shù)據(jù)效驗故障注入模塊，并收集節(jié)點(diǎn)故障注入模塊、數(shù)據(jù)操作失效故障注入模塊和數(shù)據(jù)效驗故障注入模塊的故障注入結(jié)果通過用戶主界面反饋給測試人員，用戶主界面用于處在測試人員和管理模塊之間，提供人機(jī)交互界面、接收使用者命令和反饋故障注入結(jié)果。它可用于云環(huán)境下分布式文件系統(tǒng)的故障注入。
【專利說明】云環(huán)境下分布式文件系統(tǒng)可靠性測試套件

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及云環(huán)境下分布式文件系統(tǒng)測試套件。屬于云計算領(lǐng)域。

【背景技術(shù)】
[0002] 隨著云計算技術(shù)的不斷發(fā)展和普及，云存儲的概念也應(yīng)運(yùn)而生，而分布式文件系 統(tǒng)是云存儲的核心基礎(chǔ)，承載著數(shù)據(jù)存儲的重任。另外一方面，隨著社會信息化程度的提 高，對于信息和數(shù)據(jù)的依賴性也越來越大，也就是說數(shù)據(jù)的可靠性越來越重要。而容錯能力 是衡量一個系統(tǒng)可靠性的重要標(biāo)準(zhǔn)，系統(tǒng)的容錯能力越強(qiáng)，所能提供的服務(wù)也就越可靠。因 此，對云環(huán)境下分布式文件系統(tǒng)的容錯能力進(jìn)行評測具有重要的研究意義。
[0003] 基于對 HDFS (Hadoop Distributed File System)和 TFS (Taobao File System) 這兩種典型的云環(huán)境下分布式文件系統(tǒng)的體系架構(gòu)、讀寫流程和內(nèi)部的容錯機(jī)制進(jìn)行深入 的研究，通過對比它們的相同點(diǎn)，提出了一套云環(huán)境下分布式文件系統(tǒng)容錯能力測試方法， 設(shè)計并實現(xiàn)了一套故障注入工具，分別針對云環(huán)境下分布式文件系統(tǒng)的節(jié)點(diǎn)和進(jìn)程、文件 和目錄、數(shù)據(jù)校驗機(jī)制、內(nèi)部互聯(lián)的網(wǎng)絡(luò)進(jìn)行故障注入，模擬現(xiàn)實應(yīng)用中可能出現(xiàn)的各種類 型的故障。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明是為了解決現(xiàn)有的分布式系統(tǒng)中缺少對分布式文件系統(tǒng)可靠性測試的套 件，不能對分布式系統(tǒng)中出現(xiàn)的問題提前做準(zhǔn)備，使得系統(tǒng)可靠性低的問題?，F(xiàn)提供云環(huán)境 下分布式文件系統(tǒng)可靠性測試套件。
[0005] 云環(huán)境下分布式文件系統(tǒng)可靠性測試套件，它還包括節(jié)點(diǎn)故障注入模塊、數(shù)據(jù)操 作失效故障注入模塊、數(shù)據(jù)效驗故障注入模塊、管理模塊和用戶主界面，
[0006] 所述節(jié)點(diǎn)故障注入模塊用于模擬節(jié)點(diǎn)出現(xiàn)的CPU寄存器故障，并根據(jù)管理模塊的 命令將故障注入分布式文件系統(tǒng)中，同時采集節(jié)點(diǎn)出現(xiàn)的CPU寄存器故障注入結(jié)果
[0007] 數(shù)據(jù)操作失效故障注入模塊用于模擬各種類型的節(jié)點(diǎn)的關(guān)鍵文件出現(xiàn)數(shù)據(jù)操作 失敗故障，并根據(jù)管理模塊的命令將故障注入分布式文件系統(tǒng)中，同時采集各種類型的節(jié) 點(diǎn)的關(guān)鍵文件出現(xiàn)數(shù)據(jù)操作失敗故障注入結(jié)果，
[0008] 數(shù)據(jù)效驗故障注入模塊用于模擬各種不同類型節(jié)點(diǎn)的校驗文件無法訪問、校驗內(nèi) 容錯誤的故障，并根據(jù)管理模塊的命令將故障注入分布式文件系統(tǒng)中，同時采集各種不同 類型節(jié)點(diǎn)的校驗文件無法訪問、校驗內(nèi)容錯誤的故障注入結(jié)果，
[0009] 管理模塊用于根據(jù)測試人員的操作命令調(diào)用相應(yīng)的故障注入模塊，并接收相應(yīng)故 障注入模塊的故障注入結(jié)果通過用戶主界面反饋給測試人員，
[0010] 用戶主界面用于提供人機(jī)交互界面、接收使用者命令和反饋故障注入結(jié)果。
[0011] 本發(fā)明的有益效果為：本發(fā)明根據(jù)使用者的操作命令調(diào)用節(jié)點(diǎn)故障注入模塊、數(shù) 據(jù)操作失效故障注入模塊和數(shù)據(jù)效驗故障注入模塊，并收集節(jié)點(diǎn)故障注入模塊、數(shù)據(jù)操作 失效故障注入模塊和數(shù)據(jù)效驗故障注入模塊的故障注入結(jié)果通過用戶主界面反饋給使用 者，為分布式文件系統(tǒng)中可能出現(xiàn)的問題做準(zhǔn)備，保證了系統(tǒng)的可靠性。

【專利附圖】

【附圖說明】
[0012] 圖1為【具體實施方式】一所述的云環(huán)境下分布式文件系統(tǒng)可靠性測試套件的總體 結(jié)構(gòu)圖，
[0013] 圖2為【具體實施方式】二所述的基于內(nèi)核態(tài)的寄存器軟件故障注入工具結(jié)構(gòu)圖，
[0014] 圖3為Kprobe內(nèi)核調(diào)試機(jī)制工作原理圖，
[0015] 圖4為基于內(nèi)核態(tài)的寄存器軟件故障注入流程圖，
[0016] 圖5為HDFS文件操作失效故障注入原理圖，
[0017] 圖6為數(shù)據(jù)操作失效故障注入工具流程圖，
[0018] 圖7為Hadoop故障注入框架整體結(jié)構(gòu)圖，
[0019] 圖8為校驗文件異常故障注入流程圖，
[0020] 圖9為HDFS工作原理圖，
[0021] 圖10為TFS體系架構(gòu)圖，
[0022] 圖11為TFS讀數(shù)據(jù)流程圖。

【具體實施方式】

【具體實施方式】 [0023] 一：參照圖1具體說明本實施方式，本實施方式所述的云環(huán)境下分 布式文件系統(tǒng)可靠性測試套件，它包括分布式文件系統(tǒng)，分布式式文件系統(tǒng)包括HDFS分布 式文件系統(tǒng)和TFS分布式文件系統(tǒng)，其特征在于，它還包括節(jié)點(diǎn)故障注入模塊1、數(shù)據(jù)操作 失效故障注入模塊2、數(shù)據(jù)效驗故障注入模塊3、管理模塊4和用戶主界面5，
[0024] 所述節(jié)點(diǎn)故障注入模塊1用于模擬節(jié)點(diǎn)出現(xiàn)的CPU寄存器故障，并根據(jù)管理模塊 4的命令將故障注入分布式文件系統(tǒng)中，同時采集節(jié)點(diǎn)出現(xiàn)的CPU寄存器故障注入結(jié)果
[0025] 數(shù)據(jù)操作失效故障注入模塊2用于模擬各種類型的節(jié)點(diǎn)的關(guān)鍵文件出現(xiàn)數(shù)據(jù)操 作失敗故障，并根據(jù)管理模塊4的命令將故障注入分布式文件系統(tǒng)中，同時采集各種類型 的節(jié)點(diǎn)的關(guān)鍵文件出現(xiàn)數(shù)據(jù)操作失敗故障注入結(jié)果，
[0026] 數(shù)據(jù)效驗故障注入模塊3用于模擬各種不同類型節(jié)點(diǎn)的校驗文件無法訪問、校驗 內(nèi)容錯誤的故障，并根據(jù)管理模塊4的命令將故障注入分布式文件系統(tǒng)中，同時采集各種 不同類型節(jié)點(diǎn)的校驗文件無法訪問、校驗內(nèi)容錯誤的故障注入結(jié)果，
[0027] 管理模塊4用于根據(jù)測試人員的操作命令調(diào)用相應(yīng)的故障注入模塊，并接收相應(yīng) 故障注入模塊的故障注入結(jié)果通過用戶主界面反饋給測試人員，
[0028] 用戶主界面5用于提供人機(jī)交互界面、接收使用者命令和反饋故障注入結(jié)果。
[0029] 本實施方式中，節(jié)點(diǎn)失效故障可能是由系統(tǒng)斷電、硬件故障、軟件錯誤等多種原因 造成的，進(jìn)程失效故障多是由于數(shù)據(jù)流、控制流錯誤等引起的。而對于這兩種實際應(yīng)用中具 有代表性的故障，均可由系統(tǒng)內(nèi)的CPU寄存器內(nèi)容錯誤直接引發(fā)。

【具體實施方式】 [0030] 二：參照圖2具體說明本實施方式，本實施方式是對 一所述的云環(huán)境下分布式文件系統(tǒng)可靠性測試套件作進(jìn)一步說明，本實施方式中，節(jié)點(diǎn)故 障注入模塊1包括信息交互模塊1-1、故障信息配置模塊1-2、故障注入模塊1-3、故障觸發(fā) 模塊（1-4)和故障結(jié)果回收模塊1-5，
[0031] 所述信息交互模塊1-1用于實現(xiàn)與管理模塊4的信息交互，信息交互模塊1-1接 收管理模塊4發(fā)送的用戶配置參數(shù)，然后發(fā)送給故障信息配置模塊1-2,同時還將故障結(jié)果 回收模塊1-5接收的故障結(jié)果發(fā)送給管理模塊4，
[0032] 故障信息配置模塊1-2用于解析從交互模塊接收的用戶配置參數(shù)，并將所述用戶 配置參數(shù)發(fā)送給故障觸發(fā)模塊1-4,同時根據(jù)所述用戶配置參數(shù)設(shè)定相應(yīng)的故障注入?yún)?shù)， 然后將設(shè)定的故障注入?yún)?shù)傳送給故障注入模塊1-3 ;
[0033] 故障注入模塊1-3用于接收故障注入?yún)?shù)，并根所述故障注入?yún)?shù)完成相應(yīng)的故 障注入操作；
[0034] 故障觸發(fā)模塊1-4用于根據(jù)用戶配置參數(shù)檢測時鐘中斷信號，當(dāng)所述時鐘中斷信 號滿足用戶設(shè)定的故障觸發(fā)條件時，則觸發(fā)故障注入模塊進(jìn)行故障注入；
[0035] 故障結(jié)果回收模塊1-5用于采集被注入故障的分布式平臺所產(chǎn)生的故障注入結(jié) 果，并將結(jié)果以內(nèi)核日志的方式保存到交互模塊1-1中的系統(tǒng)日志文件系統(tǒng)中。
[0036] 本實施方式中，節(jié)點(diǎn)和進(jìn)程故障注入工具的實現(xiàn)：基于內(nèi)核態(tài)的寄存器故障注入 工具實現(xiàn)的節(jié)點(diǎn)和進(jìn)程故障注入工具中的故障信息數(shù)據(jù)結(jié)構(gòu)：

【權(quán)利要求】
1. 云環(huán)境下分布式文件系統(tǒng)可靠性測試套件，其特征在于，它還包括節(jié)點(diǎn)故障注入模 塊（1)、數(shù)據(jù)操作失效故障注入模塊（2)、數(shù)據(jù)效驗故障注入模塊（3)、管理模塊（4)和用戶 主界面巧）， 所述節(jié)點(diǎn)故障注入模塊（1)用于模擬節(jié)點(diǎn)出現(xiàn)的CPU寄存器故障，并根據(jù)管理模塊（4) 的命令將故障注入分布式文件系統(tǒng)中，同時采集節(jié)點(diǎn)出現(xiàn)的CPU寄存器故障注入結(jié)果， 數(shù)據(jù)操作失效故障注入模塊（2)用于模擬各種類型的節(jié)點(diǎn)的關(guān)鍵文件出現(xiàn)數(shù)據(jù)操作 失敗故障，并根據(jù)管理模塊（4)的命令將故障注入分布式文件系統(tǒng)中，同時采集各種類型 的節(jié)點(diǎn)的關(guān)鍵文件出現(xiàn)數(shù)據(jù)操作失敗故障注入結(jié)果， 數(shù)據(jù)效驗故障注入模塊（3)用于模擬各種不同類型節(jié)點(diǎn)的校驗文件無法訪問、校驗內(nèi) 容錯誤的故障，并根據(jù)管理模塊（4)的命令將故障注入分布式文件系統(tǒng)中，同時采集各種 不同類型節(jié)點(diǎn)的校驗文件無法訪問、校驗內(nèi)容錯誤的故障注入結(jié)果， 管理模塊（4)用于根據(jù)測試人員的操作命令調(diào)用相應(yīng)的故障注入模塊，并接收相應(yīng)故 障注入模塊的故障注入結(jié)果通過用戶主界面反饋給測試人員， 用戶主界面（5)用于提供人機(jī)交互界面、接收使用者命令和反饋故障注入結(jié)果。
2. 根據(jù)權(quán)利要求1所述的云環(huán)境下分布式文件系統(tǒng)可靠性測試套件，其特征在于，節(jié) 點(diǎn)故障注入模塊（1)包括信息交互模塊（1-1)、故障信息配置模塊（1-2)、故障注入模塊 (1-3)、故障觸發(fā)模塊（1-4)和故障結(jié)果回收模塊（1-5)， 所述信息交互模塊（1-1)用于實現(xiàn)與管理模塊（4)的信息交互； 故障信息配置模塊（1-2)用于解析從交互模塊接收的用戶配置參數(shù)，并將所述用戶配 置參數(shù)發(fā)送給故障觸發(fā)模塊（1-4)，同時根據(jù)所述用戶配置參數(shù)設(shè)定相應(yīng)的故障注入?yún)?shù)， 然后將設(shè)定的故障注入?yún)?shù)傳送給故障注入模塊（1-3); 故障注入模塊（1-3)用于接收故障注入?yún)?shù)，并根所述故障注入?yún)?shù)完成相應(yīng)的故障 注入操作； 故障觸發(fā)模塊（1-4)用于根據(jù)用戶配置參數(shù)檢測時鐘中斷信號，當(dāng)所述時鐘中斷信號 滿足用戶設(shè)定的故障觸發(fā)條件時，則觸發(fā)故障注入模塊進(jìn)行故障注入； 故障結(jié)果回收模塊（1-5)用于采集被注入故障的分布式平臺所產(chǎn)生的故障注入結(jié)果， 并將結(jié)果W內(nèi)核日志的方式保存到交互模塊（1-1)中的系統(tǒng)日志文件系統(tǒng)中。
3. 根據(jù)權(quán)利要求1所述的云環(huán)境下分布式文件系統(tǒng)可靠性測試套件，其特征在于，數(shù) 據(jù)操作失效故障注入模塊包括分布式文件系統(tǒng)故障參數(shù)配置模塊、控制模塊、故障注入模 塊、監(jiān)控模塊和結(jié)果回收模塊， 分布式文件系統(tǒng)故障參數(shù)配置模塊用于根據(jù)管理模塊（4)的命令設(shè)定分布式文件系 統(tǒng)故障注入?yún)?shù)，故障注入?yún)?shù)包括故障注入的目標(biāo)節(jié)點(diǎn)、目標(biāo)文件位置、故障類型和故障 類型的相關(guān)參數(shù)； 控制模塊用于完成接收分布式文件系統(tǒng)故障數(shù)配置模塊和監(jiān)控模塊的信息，控制故障 注入模塊向分布式文件系統(tǒng)中注入相應(yīng)的數(shù)據(jù)操作故障的功能； 故障注入模塊用于接收控制模塊傳遞的信息，從故障庫中選取對應(yīng)的故障類型進(jìn)行注 入； 監(jiān)控模塊用于檢測分布式文件系統(tǒng)的日志信息，將檢測的分布式文件系統(tǒng)的日志信息 提交 給控制模塊； 結(jié)果回收模塊用于收集分布式文件系統(tǒng)故障條件下的測試結(jié)果，并將結(jié)果提交給管理 模塊（4)。
4. 根據(jù)權(quán)利要求1所述的云環(huán)境下分布式文件系統(tǒng)可靠性測試套件，其特征在于，數(shù) 據(jù)效驗故障注入模塊包括校驗文件的異常故障注入模塊和校驗值異常的故障注入模塊， 校驗文件的異常故障注入模塊用于根據(jù)管理模塊（4)的命令選定的故障注入的校驗 文件，對校驗文件進(jìn)行位置移動、文件權(quán)限修改和文件內(nèi)容修改操作，模擬分布式文件系統(tǒng) 中的校驗文件由于某些原因造成校驗文件無法訪問或校驗內(nèi)容錯誤故障， 校驗值異常的故障注入模塊用于根據(jù)校驗值計算對應(yīng)的API處插入故障代碼，當(dāng)滿足 故障觸發(fā)條件時，對相關(guān)API應(yīng)用程序編程接口計算返回的校驗值進(jìn)行數(shù)據(jù)位翻轉(zhuǎn)，從而 構(gòu)造錯誤的校驗值模擬故障的發(fā)生，將校驗值模擬故障注入結(jié)果給管理模塊（4)。
5. 根據(jù)權(quán)利要求1所述的云環(huán)境下分布式文件系統(tǒng)可靠性測試套件，其特征在于，節(jié) 點(diǎn)故障注入模塊（1)用于模擬分布式文件系統(tǒng)中節(jié)點(diǎn)出現(xiàn)的CPU寄存器故障導(dǎo)致的應(yīng)用進(jìn) 程失效故障的過程為： 在系統(tǒng)時鐘中斷發(fā)生時修改化doop平臺相關(guān)進(jìn)程的當(dāng)前寄存器狀態(tài)的方法進(jìn)行故障 注入，使用時鐘中斷作為故障注入觸發(fā)的條件，當(dāng)設(shè)定的整數(shù)倍的時鐘中斷請求發(fā)生時，通 過在內(nèi)核態(tài)修改Hadoop平臺相關(guān)進(jìn)程寄存器內(nèi)容映射在內(nèi)存中的鏡像來對寄存器硬件故 障進(jìn)行模擬，當(dāng)中斷請求返回時，操作系統(tǒng)內(nèi)核在恢復(fù)進(jìn)程上下文現(xiàn)場時，將改寫的內(nèi)核堆 找寄存器內(nèi)容恢復(fù)給化doop平臺相關(guān)進(jìn)程，從而實現(xiàn)寄存器故障的注入。
6. 根據(jù)權(quán)利要求1所述的云環(huán)境下分布式文件系統(tǒng)可靠性測試套件，其特征在于，節(jié) 點(diǎn)故障注入模塊（1)用于模擬分布式文件系統(tǒng)中節(jié)點(diǎn)整體若機(jī)故障的過程為： 對系統(tǒng)關(guān)鍵進(jìn)程進(jìn)行故障注入操作，導(dǎo)致操作系統(tǒng)崩潰，從而導(dǎo)致計算系統(tǒng)的不可用， 該種故障類型能夠模擬化doop平臺集群中節(jié)點(diǎn)若機(jī)故障的發(fā)生，達(dá)到節(jié)點(diǎn)失效故障注入 的目的。
【文檔編號】G06F11/36GK104461865SQ201410614048
【公開日】2015年3月25日 申請日期:2014年11月4日 優(yōu)先權(quán)日:2014年11月4日
【發(fā)明者】左德承, 馮懿, 張展, 劉宏偉, 封威, 董劍, 溫東新, 羅丹彥, 舒艷君, 趙志龍, 胡澤, 馮丹青, 吳娜, 潘道華, 李文浩, 王旭 申請人:哈爾濱工業(yè)大學(xué)