亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

一種基于內存數(shù)據(jù)網(wǎng)格的流式數(shù)據(jù)處理程序錯誤的數(shù)據(jù)溯源定位方法

文檔序號:10512098閱讀:334來源:國知局
一種基于內存數(shù)據(jù)網(wǎng)格的流式數(shù)據(jù)處理程序錯誤的數(shù)據(jù)溯源定位方法
【專利摘要】本發(fā)明涉及一種基于內存數(shù)據(jù)網(wǎng)格的流式數(shù)據(jù)處理程序錯誤的數(shù)據(jù)溯源定位方法,其核心思想是通過運行在分布式處理程序中的代理,監(jiān)控處理的數(shù)據(jù)溯源信息即數(shù)據(jù)的輸入與輸出,并把這些信息發(fā)送給協(xié)調者,當程序出現(xiàn)錯誤、異?;蛘卟灰恢碌臅r候,開發(fā)人員或者用戶可以利用這些溯源信息進行程序的調試,實現(xiàn)程序錯誤的分析與定位。
【專利說明】
一種基于內存數(shù)據(jù)網(wǎng)格的流式數(shù)據(jù)處理程序錯誤的數(shù)據(jù)溯源 定位方法
技術領域
[0001] 本發(fā)明涉及一種基于內存數(shù)據(jù)網(wǎng)格的流式數(shù)據(jù)處理程序錯誤的數(shù)據(jù)溯源定位方 法,尤其是對基于內存數(shù)據(jù)網(wǎng)格的流式數(shù)據(jù)程序調試、錯誤、異常進行定位從而為軟件開發(fā) 人員進行程序調試和分布式程序運行的錯誤分析提供定位方法。屬于軟件技術領域。
【背景技術】
[0002] 互聯(lián)網(wǎng)、云計算、物聯(lián)網(wǎng)等技術的飛速發(fā)展使得數(shù)據(jù)的產(chǎn)生速度越來越快、數(shù)據(jù)類 型越來越多,促使全球數(shù)據(jù)量急劇增加,推動人類社會邁入大數(shù)據(jù)時代。諸如社交網(wǎng)站 Facebook每天要處理25億條以上的數(shù)據(jù),500 + TB的新數(shù)據(jù)(參見文獻:http:// www. shu ju .net/article/MDAwMDE202TEy .html)。早在2008年 1 月的統(tǒng)計結果顯不,Google 每天處理的數(shù)據(jù)是20000TB,而1TB的數(shù)據(jù)相當于2008年5月美國國會圖書館存儲的web數(shù)據(jù) 的 12倍( http://www.cnbeta.com/articles/70534.htm)。全球每分鐘都產(chǎn)生204000000封 電子郵件(http ://www. chinamedia360 · com/newspage/102311/75A79E9C545E05E0 .html) 〇 在 2012年,Twitter 每天產(chǎn)生約 2億條新數(shù)據(jù)(http://it.sohu.com/20110701/ n312169441. shtml)。由于這些數(shù)據(jù)量的"大",數(shù)據(jù)類型的"多",產(chǎn)生速度"快"等特性,由稱 為"大數(shù)據(jù)"的概念描述。而這些特性使利用傳統(tǒng)單機來處理這些數(shù)據(jù)變得不可能,所以新 的計算和處理模式應運而生,以應對大數(shù)據(jù)帶來的挑戰(zhàn)和機遇。而大數(shù)據(jù)計算主要有批量 計算和流式計算兩種形態(tài),目前在以apache社區(qū)的Hadoop為代表的批處理系統(tǒng)的發(fā)展相對 成功,但是這些系統(tǒng)注重吞吐量,任務串行化,響應時間沒有保證,不能應對實時流式數(shù)據(jù) 的應用場景。但是隨著物聯(lián)網(wǎng)技術和智能設備的飛速發(fā)展,尤其是以智能交通和智慧社區(qū) 為代表的物聯(lián)網(wǎng)應用每天產(chǎn)生數(shù)以億計的實時流式數(shù)據(jù),所產(chǎn)生的數(shù)據(jù)量之密集、實時性 之強是前所未有的,在 Michael Stonebraker 等人(Michael Stonebraker,Ugar Cetintemel, Stan Zdonik.The 8Requirements of Real-Time Stream Processing.SIGM0D,December 2005,Pages 42-47)指出流式數(shù)據(jù)需要進行實時、高效的計 算.但批處理系統(tǒng)無法滿足實時響應的要求。而以Oracle Coherence(https:// coherence · java · net/)與 haze least (http: //haze least · org/)等為代表的內存數(shù)據(jù)網(wǎng)格 把數(shù)據(jù)加載到內存,實現(xiàn)一定時間內的數(shù)據(jù)常駐內存,可以滿足系統(tǒng)實時性的要求,同時通 過遠程備份實現(xiàn)高可用。
[0003] 鑒于分布式處理系統(tǒng)的特點,如圖1所示,開發(fā)人員編寫處理數(shù)據(jù)的邏輯,通過集 群連接(對等式架構)或者集群Master節(jié)點(主從式架構)將開發(fā)人員需要完成的任務發(fā)送 給集群,集群將會按照內部的分片算法或者任務調度管理工具,把任務分解為不同的子任 務,并發(fā)送到不同的工作節(jié)點(Worker Node),在工作節(jié)點上完成具體的操作,當所有的子 任務順利完成以后,再通過集群連接或者集群Master節(jié)點把結果返回給開發(fā)人員。而當程 序發(fā)生錯誤、異?;蛘呓Y果與用戶預期不一致時,由于任務分解和Worker Node完成任務的 過程對開發(fā)人員是透明的,開發(fā)人員無法感知程序執(zhí)行的中間狀態(tài),同時分布式程序執(zhí)行 的不可預測性和難再現(xiàn)性、再加上在運行過程中應用程序不會對大量的中間狀態(tài)進行保存 給程序的調試和錯誤、異常定位帶來了巨大困難。但是當程序發(fā)生錯誤、異常或者結果與開 發(fā)人員預期不一致時,開發(fā)人員必須定位導致這些錯誤、異常和不一致的原因,以保證程序 可以滿足應用的需要,另一方面,調試與定位分布式數(shù)據(jù)應用中的錯誤和狀態(tài)有諸多挑戰(zhàn) 和困難,傳統(tǒng)的做法主要有一些幾種方式,第一種是不斷的由開發(fā)人員隨機選取數(shù)據(jù)集的 子集,然后在數(shù)據(jù)子集上重新執(zhí)行處理程序,并不斷重復上述過程來確定導致錯誤的原因; 第二種做法是開發(fā)人員選取一部分程序邏輯,模擬執(zhí)行過程來確定導致程序錯誤的原因; 第三是依靠開發(fā)人員在開發(fā)中輸出日志信息或者保存日志信息,當錯誤或者異常發(fā)生時通 過分析日志信息定位錯誤。上述做法除了存在效率低、費時、過度依賴開發(fā)人員、存儲日志 文件的大量開銷、難以定位錯誤的問題外,針對特定的應用場景,上述方法甚至無法完成錯 誤的定位和分析,例如在處理流式數(shù)據(jù)時,數(shù)據(jù)的流動性和易失性使得隨機選取數(shù)據(jù)子集 重新執(zhí)行處理程序和在部分處理邏輯上模擬執(zhí)行變得不可能,但是在實際應用中,對分布 式應用程序進行調試和程序上線以后出現(xiàn)錯誤是不可避免的,因此現(xiàn)有的錯誤定位方法需 要花費大量的時間和精力去定位程序中出現(xiàn)的錯誤,同時由于有的錯誤和議程與特定場景 相關,加上流式數(shù)據(jù)的流動性和易失性,使錯誤和異常的重現(xiàn)和定位變得不可能。

【發(fā)明內容】

[0004] 本發(fā)明的目的在于針對現(xiàn)有技術的不足,提出基于對內存數(shù)據(jù)網(wǎng)格的流式數(shù)據(jù)程 序調試、錯誤、異常的Data Lineage(數(shù)據(jù)溯源)分析與定位,從而為軟件開發(fā)人員進行程序 調試和分布式程序運行的錯誤、異常分析提供定位方法。
[0005] -種基于內存數(shù)據(jù)網(wǎng)格的流式數(shù)據(jù)處理程序錯誤的數(shù)據(jù)溯源定位方法,實現(xiàn)步驟 如下:
[0006] (1)在分布式處理程序中設置捕獲器(Capture),其作用是在捕獲進入到分布式處 理程序中的輸入數(shù)據(jù)和經(jīng)過分布式處理程序處理之后的結果;
[0007] (2)分布式處理程序加載數(shù)據(jù)源中的數(shù)據(jù)時,通過設置的捕獲器,獲取每次操作之 前的數(shù)據(jù)的值,給每一個數(shù)據(jù)值設置一個全局唯一標記來標記這個數(shù)據(jù)值,并把這個標記 發(fā)送給協(xié)調者節(jié)點;
[0008] (3)將(2)中得到的全局唯一標記和輸入數(shù)據(jù)通過分布式處理程序運行時上下文 環(huán)境傳入實際對數(shù)據(jù)進行操作的處理邏輯,執(zhí)行相應的處理過程;
[0009] (4)處理邏輯執(zhí)行完成以后,產(chǎn)生相應的結果;捕獲器截獲執(zhí)行的結果,對執(zhí)行結 果設置一個全局唯一的標記,對數(shù)據(jù)進行更新操作時,對更新之后的值進行標記,通過標記 之間的一對一的關系就建立了原數(shù)據(jù)和更新之后的數(shù)據(jù)之間的關聯(lián)關系,并把這個標記發(fā) 送給協(xié)調者節(jié)點,協(xié)調者根據(jù)輸入數(shù)據(jù)和輸入標記的對應關系與執(zhí)行結果和結果標記的對 應關系,建立輸入數(shù)據(jù)標記和結果標記的之間的對應關系,通過標記值之間的關聯(lián)建立輸 入數(shù)據(jù)與執(zhí)行結果之間的關聯(lián);
[0010] (5)執(zhí)行結果再作為輸入數(shù)據(jù)繼續(xù)后續(xù)的處理過程或者最終結果返回給開發(fā)人 員;
[0011] (6)開發(fā)人員或進行調試和分析,在Java類Trace中,定義不同的調試方法,其中 t r a c e B a c k方法向前追溯L i n e a g e信息,確定得到當前數(shù)值的操作和輸入數(shù)據(jù), traceBackAll-直往前追溯Lineage信息,確定得到當前數(shù)值的所有操作和最初的原始數(shù) 據(jù).,traceForward方法向后傳播lineage信息,確定得到當前數(shù)值在之后一步操作中產(chǎn)生 的結果,traceForwardAll方法一直向后傳播Lineage信息,確定得到當前數(shù)值在之后的一 系列操作中產(chǎn)生的最終的結果,sendContext方法向分布式處理程序傳送運行時上下文環(huán) 境信息;
[0012] (7)當分布式處理程序出現(xiàn)異?;蛘咤e誤的時,開發(fā)人員通過(4)中捕獲的數(shù)據(jù)溯 源信息,利用(6)中提供的方法進行調試、錯誤的分析與定位,分布式處理系統(tǒng)向用戶返回 或者輸入一定的結果,如果該結果與開發(fā)人員預期不一致,開發(fā)人員使用traceBack方法查 看輸出結果的輸入數(shù)據(jù)和對應的處理邏輯,分析和判斷可能的錯誤。
[0013] 本發(fā)明與現(xiàn)有技術相比的優(yōu)點在于:
[0014] (1)本發(fā)明記錄了分布式處理程序輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的關系,保留了數(shù)據(jù) 執(zhí)行過程中的數(shù)據(jù),與傳統(tǒng)的記錄日志的方法相比,記錄的數(shù)據(jù)更少,記錄的數(shù)據(jù)更有針對 性,開發(fā)人員可以利用這些數(shù)據(jù)可以非常少的時間和精力,較方便的定位和分析程序中的 錯誤。
[0015] (2)本發(fā)明記錄了分布式處理程序輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的關系,同時保留了 分布式程序執(zhí)行過程中中間狀態(tài)和數(shù)據(jù),并把相應的狀態(tài)信息和數(shù)據(jù)信息的對應關系發(fā)送 給協(xié)調者節(jié)點,由協(xié)調者節(jié)點處理,存儲這些信息,和傳統(tǒng)的方法相比,本發(fā)明可以幾乎完 全的還原程序執(zhí)行的過程和對應的輸入數(shù)據(jù)、輸出數(shù)據(jù)及其之間的對應關系,發(fā)現(xiàn)和定位 程序中的錯誤和缺陷。
[0016] (3)本發(fā)明數(shù)據(jù)和數(shù)據(jù)溯源信息分離,方便內存數(shù)據(jù)網(wǎng)格集群和協(xié)調者集群的擴 展性,二者之間沒有耦合度,可以很方便的對其中的任何部分進行擴展,確保系統(tǒng)的擴展 性。
【附圖說明】
[0017] 圖1是分布式數(shù)據(jù)處理系統(tǒng)基本組成結構圖,分布式處理程序運行在分布式數(shù)據(jù) 處理系統(tǒng)上;
[0018] 圖2是添加捕獲器與協(xié)調者之后的分布式數(shù)據(jù)處理系統(tǒng)的基本組成結構;
[0019] 圖3是調試類的詳細描述圖;
[0020] 圖4是本發(fā)明方法的實施流程圖;
[0021 ]圖5是捕獲數(shù)據(jù)溯源信息過程圖;
[0022]圖6是根據(jù)數(shù)據(jù)溯源信息進行錯誤分析和定位流程圖。
【具體實施方式】
[0023]以下結合具體實施例和附圖對本發(fā)明作更詳細的說明。
[0024]本發(fā)明提出一種基于內存數(shù)據(jù)網(wǎng)格的流式數(shù)據(jù)處理程序錯誤的數(shù)據(jù)溯源定位方 法,其核心思想是通過運行在分布式處理程序中的代理,監(jiān)控處理的數(shù)據(jù)溯源信息即數(shù)據(jù) 的輸入與輸出,并把這些信息發(fā)送給協(xié)調者,當程序出現(xiàn)錯誤、異?;蛘卟灰恢碌臅r候,開 發(fā)人員或者用戶可以利用這些溯源信息進行程序的調試,實現(xiàn)程序錯誤的分析與定位。分 布式處理程序運行在分布式數(shù)據(jù)處理系統(tǒng)上,分布式處理程序指的是利用MapReduce框架 編寫的處理程序,其特征就是運行在分布式數(shù)據(jù)處理系統(tǒng)上,本發(fā)明中做的是針對流失數(shù) 據(jù)處理的情形。當前在大數(shù)據(jù)背景下,流式數(shù)據(jù)的處理都是在分布式環(huán)境下、即分布式系統(tǒng) 中執(zhí)行,而分布式處理程序運行在分布式數(shù)據(jù)處理系統(tǒng)中,這樣的系統(tǒng)可以是spark, hadoop等典型的MapReduce處理框架。
[0025]如1所示,分布式數(shù)據(jù)處理系統(tǒng)包括集群主節(jié)點、集群工作節(jié)點、分布式數(shù)據(jù)處理 程序以及與數(shù)據(jù)處理系統(tǒng)相關的數(shù)據(jù)源,其中集群中的工作節(jié)點構成計算集群,分布式集 群連接(分布式集群主節(jié)點)作為開發(fā)人員編寫的分布式處理程序和計算機群的連接,同時 也作為計算集群的管理節(jié)點,負責對計算集群的執(zhí)行過程進行管理,并把執(zhí)行的結果返回 給開發(fā)人員,數(shù)據(jù)源作為分布式程序數(shù)據(jù)的輸入。系統(tǒng)工作流程是:開發(fā)人員編寫分布式處 理程序,之后通過分布式集群連接(主節(jié)點)把程序邏輯發(fā)送給主節(jié)點,主節(jié)點根據(jù)程序的 執(zhí)行過程,把執(zhí)行過程分成不同的執(zhí)行任務,同時根據(jù)系統(tǒng)的狀態(tài)把任務分配給不同的工 作節(jié)點,工作節(jié)點從數(shù)據(jù)源加載數(shù)據(jù)。工作節(jié)點具體執(zhí)行程序,當執(zhí)行結束以后把執(zhí)行的結 果返回給集群連接(主節(jié)點),在通過集群連接(主節(jié)點)返回給開發(fā)人員。
[0026]如圖2所示,開發(fā)人員在編寫處理程序時,在程序中嵌入捕獲器的處理邏輯,之后 將處理程序連同捕獲器一起發(fā)送給集群連接。分布式處理程序運行在分布式數(shù)據(jù)處理系統(tǒng) 上,分布式處理程序指的是利用MapReduce等框架編寫的處理程序,其特征就是運行在分布 式數(shù)據(jù)處理系統(tǒng)上,本發(fā)明中做的是針對流失數(shù)據(jù)處理的情形。
[0027] 捕獲器數(shù)據(jù)溯源信息獲取的過程如圖5,集群連接(主節(jié)點)把程序的執(zhí)行任務和 捕獲器發(fā)送給工作節(jié)點,在工作節(jié)點上完成數(shù)據(jù)的處理和溯源信息的捕獲。具體的,當輸入 的數(shù)據(jù)進入工作節(jié)點時時,代理首先獲取輸入的數(shù)據(jù),給每一個數(shù)據(jù)添加一個唯一的標記, 并把這個映射關系發(fā)送給協(xié)調者節(jié)點,之后代理把數(shù)據(jù)發(fā)給數(shù)據(jù)處理邏輯,即是數(shù)據(jù)處理 邏輯進行相應的處理過程,得到相應的結果,代理獲得處理的結果,對處理的結果添加唯一 的標記,并把這個映射關系發(fā)送給協(xié)調者節(jié)點。協(xié)調者節(jié)點根據(jù)標記之間的對應關系存儲 映射關系。之后把執(zhí)行結果輸出。
[0028] 如圖3所示,定義了開發(fā)人員進行調試和分析的功能類:在類Trace中,定義不同的 調試方法,其中traceBack方法向前追溯數(shù)據(jù)溯源信息,確定得到當前數(shù)值的操作和輸入數(shù) 據(jù),traceBackAll-直往前追溯數(shù)據(jù)溯源信息,確定得到當前數(shù)值的所有操作和最初的原 始數(shù)據(jù).,traceForward方法向后傳播數(shù)據(jù)溯源信息,確定得到當前數(shù)值在之后一步操作中 產(chǎn)生的結果,traceForwardAll方法一直向后傳播數(shù)據(jù)溯源信息,確定得到當前數(shù)值在之后 的一系列操作中產(chǎn)生的最終的結果,sendContext方法向分布式處理程序傳送運行時上下 文環(huán)境信息。
[0029] 如圖4所示:具體實施例如下:
[0030] (1)在分布式處理程序中設置捕獲器。本發(fā)明實施例除了分布式處理程序外,還包 括內嵌到應用程序的溯源信息捕獲代理(Agent)與溯源信息管理節(jié)點(協(xié)調者),其中由代 理充當捕獲器作用。溯源信息的捕獲通過代理獲取。
[0031] (2)數(shù)據(jù)溯源信息獲取的過程如圖5,集群連接(主節(jié)點)把程序的執(zhí)行任務和捕獲 器發(fā)送給工作節(jié)點,在工作節(jié)點上完成數(shù)據(jù)的處理和溯源信息的捕獲。當輸入的數(shù)據(jù)進入 工作節(jié)點時時,捕獲器首先獲取輸入的數(shù)據(jù),給每一個數(shù)據(jù)添加一個唯一的標記,并把這個 映射關系發(fā)送給協(xié)調者節(jié)點,之后代理把數(shù)據(jù)發(fā)給數(shù)據(jù)處理邏輯,即是數(shù)據(jù)處理邏輯進行 相應的處理過程,得到相應的結果,代捕獲器獲得處理的結果,對處理的結果添加唯一的標 記,并把這個映射關系發(fā)送給協(xié)調者節(jié)點。協(xié)調者節(jié)點根據(jù)標記之間的對應關系存儲映射 關系。之后把執(zhí)行結果輸出。其中針對不同的處理邏輯,設置不同的代理,在本實例中,以常 見的操作(但不限于如下操作)為例進行說明。如表所示:
[0032]
[0033] 溯源信息的存儲,在本實例中,采用表格進行存儲,其中每一行對應對于輸入和輸 出,由協(xié)調者節(jié)點的擴展和容錯機制保證可用性與擴展性。首先存儲在協(xié)調者集群的內存 中,當協(xié)調者節(jié)點的內存無法存儲時,可以通過協(xié)調者的持久化方法把溯源信息持久化到 磁盤中,例如分布式文件系統(tǒng)中。
[0034] (3)獲取溯源之后,開發(fā)人員可以利用溯源信息對程序進行調試,分析和錯誤的定 位。具體的是通過在協(xié)調者節(jié)點中不斷的進行表的連接操作,確定相應的輸入、輸出以及對 應的操作。在某個執(zhí)行結果,溯源信息和利用溯源信息進行程序調試和錯誤分析流程圖如 圖6所示:
[0035] 欲分析的結果是"錯誤"的行,通過查看最后一個表的輸出是"錯誤"的行,獲取它 的輸入數(shù)據(jù)是"1",通過表的連接操作(利用traceBack方法),得到前面的輸入數(shù)據(jù)是"6"和 "3",再根據(jù)"6"和"3",通過表的連接操作(利用traceBack方法),得到他們的輸入數(shù)據(jù)是 "B"、"E"和"C",通過表的連接操作(利用traceBack方法),得到他們的輸入數(shù)據(jù)是"237"、 "260"和"255",按照這樣的方式一直向前,在往前追溯的過程中,可以檢查對應的操作的處 理邏輯。另外,向后追溯,可以查看當前輸出在之后的操作中產(chǎn)生了哪些結果。查找輸入數(shù) 據(jù)是"A"產(chǎn)生的結果,可以得到"4",進而得到"0",最后得到"正確"的ROOT。
[0036] 盡管為說明目的公開了本發(fā)明的具體實施例和附圖,其目的在于幫助理解本發(fā)明 的內容并據(jù)以實施,但是本領域的技術人員可以理解:在不脫離本發(fā)明及所附的權利要求 的精神和范圍內,在其他平臺上也可以實現(xiàn)相應的方法與工具。因此,本發(fā)明不應局限于實 施例和附圖所公開的內容。
【主權項】
1. 一種基于內存數(shù)據(jù)網(wǎng)格的流式數(shù)據(jù)處理程序錯誤的數(shù)據(jù)溯源定位方法,其特征在于 實現(xiàn)步驟如下: (1) 在分布式處理程序中設置捕獲器(Capture),其作用是在捕獲進入到分布式處理程 序中的輸入數(shù)據(jù)和經(jīng)過分布式處理程序處理之后的結果; (2) 分布式處理程序加載數(shù)據(jù)源中的數(shù)據(jù)時,通過設置的捕獲器,獲取每次操作之前的 數(shù)據(jù)的值,給每一個數(shù)據(jù)值設置一個全局唯一標記來標記這個數(shù)據(jù)值,并把這個標記發(fā)送 給協(xié)調者節(jié)點; (3) 將(2)中得到的全局唯一標記和輸入數(shù)據(jù)通過分布式處理程序運行時上下文環(huán)境 傳入實際對數(shù)據(jù)進行操作的處理邏輯,執(zhí)行相應的處理過程; (4) 處理邏輯執(zhí)行完成以后,產(chǎn)生相應的結果;捕獲器截獲執(zhí)行的結果,對執(zhí)行結果設 置一個全局唯一的標記,對數(shù)據(jù)進行更新操作時,對更新之后的值進行標記,通過標記之間 的一對一的關系就建立了原數(shù)據(jù)和更新之后的數(shù)據(jù)之間的關聯(lián)關系,并把這個標記發(fā)送給 協(xié)調者節(jié)點,協(xié)調者根據(jù)輸入數(shù)據(jù)和輸入標記的對應關系與執(zhí)行結果和結果標記的對應關 系,建立輸入數(shù)據(jù)標記和結果標記的之間的對應關系,通過標記值之間的關聯(lián)建立輸入數(shù) 據(jù)與執(zhí)行結果之間的關聯(lián); (5) 執(zhí)行結果再作為輸入數(shù)據(jù)繼續(xù)后續(xù)的處理過程或者最終結果返回給開發(fā)人員或用 戶; (6) 開發(fā)人員或者用戶進行調試和分析,在Java類Trace中,定義不同的調試方法,其中 t r a c e B a c k方法向前追溯L i n e a g e信息,確定得到當前數(shù)值的操作和輸入數(shù)據(jù), traceBackAll-直往前追溯Lineage信息,確定得到當前數(shù)值的所有操作和最初的原始數(shù) 據(jù).,traceForward方法向后傳播lineage信息,確定得到當前數(shù)值在之后一步操作中產(chǎn)生 的結果,traceForwardAll方法一直向后傳播Lineage信息,確定得到當前數(shù)值在之后的一 系列操作中產(chǎn)生的最終的結果,sendContext方法向分布式處理程序傳送運行時上下文環(huán) 境信息; (7) 當分布式處理程序出現(xiàn)異?;蛘咤e誤時,開發(fā)人員通過(4)中捕獲的數(shù)據(jù)溯源信 息,利用(6)中提供的方法進行調試、錯誤的分析與定位,分布式處理系統(tǒng)向用戶返回或者 輸入一定的結果,如果該結果與用戶預期不一致,用戶使用traceBack方法查看輸出結果的 輸入數(shù)據(jù)和對應的處理邏輯,分析和判斷可能的錯誤。
【文檔編號】G06F11/36GK105868110SQ201610186177
【公開日】2016年8月17日
【申請日】2016年3月29日
【發(fā)明人】黃濤, 鐘華, 魏峻, 王偉, 竇文生, 劉財政
【申請人】中國科學院軟件研究所
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1