一種流式處理裝置及流式處理系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種流式處理裝置及流式處理系統(tǒng)，其中，所述裝置包括：接口，用于供應(yīng)用調(diào)用；計(jì)算框架，用于運(yùn)行可執(zhí)行實(shí)例；配置文件，配置有流式處理相關(guān)的配置參數(shù)；加載處理模塊，用于加載所述配置文件并根據(jù)所述配置參數(shù)生成所述可執(zhí)行實(shí)例。采用本發(fā)明，利用配置文件來配置流式處理相關(guān)的配置參數(shù)，實(shí)現(xiàn)了配置參數(shù)的可配置化以及計(jì)算框架(或計(jì)算模型)對(duì)開發(fā)人員的透明化，便于技術(shù)人員靈活地變更配置參數(shù)；通過統(tǒng)一的接口供應(yīng)用調(diào)用，能夠屏蔽新技術(shù)變化帶來的不確定因素，簡化開發(fā)人員的開發(fā)難度和學(xué)習(xí)曲線。
【專利說明】
一種流式處理裝置及流式處理系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及流式處理領(lǐng)域，更為具體而言，涉及一種流式處理裝置及流式處理系 統(tǒng)。
【背景技術(shù)】
[0002] 隨著云計(jì)算時(shí)代的來臨，大數(shù)據(jù)也吸引了越來越多的關(guān)注。大數(shù)據(jù)通常用來形容 大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫以進(jìn)行分析時(shí)會(huì)花費(fèi) 過多時(shí)間和金錢。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像 MapReduce(現(xiàn)有的一種編程模型）一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的工作節(jié)點(diǎn)分配 工作。
[0003] IBM提出了大數(shù)據(jù)的5V特點(diǎn)：Volume(大量）Velocity(高速）、Variety(多樣）、 Value(價(jià)值)Veracity(真實(shí)性）。大數(shù)據(jù)需要特殊的技術(shù)才能有效地處理大量的容忍經(jīng)過 時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫、數(shù)據(jù)挖掘電網(wǎng)、分 布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展的存儲(chǔ)系統(tǒng)等。
[0004] 目前，業(yè)界成熟的實(shí)時(shí)流式處理系統(tǒng)有很多。有成熟的商業(yè)產(chǎn)品，也有公司、組織 或個(gè)人開源出來的產(chǎn)品，這些產(chǎn)品有的已經(jīng)經(jīng)過生產(chǎn)驗(yàn)證，有些只是原型產(chǎn)品，并且開放出 來供調(diào)用的接口過多。這種產(chǎn)品現(xiàn)狀導(dǎo)致，面對(duì)如此眾多的、令人煙花繚亂的產(chǎn)品，身為一 線的代碼開發(fā)人員，在前期產(chǎn)品選型、試用，后期產(chǎn)品學(xué)習(xí)、使用等方面面臨諸多困難和壓 力，增加了開發(fā)人員的學(xué)習(xí)曲線，并且調(diào)用過程過于復(fù)雜。因此，業(yè)界又面臨著如何簡化現(xiàn) 有的流式處理產(chǎn)品的問題。

【發(fā)明內(nèi)容】

[0005] 鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明實(shí)施方式提供了一種流式處理裝置及流式處理 系統(tǒng)，能夠?qū)崿F(xiàn)流式處理相關(guān)配置參數(shù)的可配置化、計(jì)算框架對(duì)開發(fā)人員的透明化;還能屏 蔽新技術(shù)變化帶來的不確定因素，簡化開發(fā)人員的開發(fā)難度和學(xué)習(xí)曲線。
[0006] 具體地，本發(fā)明實(shí)施方式提供了一種流式處理裝置，其包括：
[0007] 接口，用于供應(yīng)用調(diào)用；
[0008] 計(jì)算框架，用于運(yùn)行可執(zhí)行實(shí)例；
[0009] 配置文件，配置有流式處理相關(guān)的配置參數(shù)；
[0010]加載處理模塊，用于加載所述配置文件并根據(jù)所述配置參數(shù)生成所述可執(zhí)行實(shí) 例。
[0011] 相應(yīng)地，本發(fā)明實(shí)施方式還提供了一種流式處理系統(tǒng)，其包括如前所述的流式處 理裝置。
[0012] 采用本實(shí)施例提供的流式處理裝置，利用配置文件來配置流式處理相關(guān)的配置參 數(shù)，實(shí)現(xiàn)了配置參數(shù)的可配置化以及計(jì)算框架(或計(jì)算模型）對(duì)開發(fā)人員的透明化，便于技 術(shù)人員靈活地變更配置參數(shù);通過統(tǒng)一的接口供應(yīng)用調(diào)用，能夠屏蔽新技術(shù)變化帶來的不 確定因素，簡化開發(fā)人員的開發(fā)難度和學(xué)習(xí)曲線。
【附圖說明】
[0013] 圖1是根據(jù)本發(fā)明實(shí)施例的一種流式處理裝置的框圖的一例；
[0014] 圖2是根據(jù)本發(fā)明實(shí)施例的一種流式處理裝置的框圖的另一例。
【具體實(shí)施方式】
[0015] 為了便于理解本發(fā)明技術(shù)方案的各個(gè)方面、特征以及優(yōu)點(diǎn)，下面結(jié)合附圖對(duì)本發(fā) 明進(jìn)行具體描述。應(yīng)當(dāng)理解，下述的各種實(shí)施方式只用于舉例說明，而非用于限制本發(fā)明的 保護(hù)范圍。
[0016] 首先對(duì)根據(jù)本發(fā)明可能涉及到的名稱或術(shù)語進(jìn)行解釋。
[0017] 實(shí)時(shí):業(yè)務(wù)系統(tǒng)根據(jù)不同操作，不斷生成事件（消息/調(diào)用），然后引起一系列的及 時(shí)處理分析過程。
[0018] 流式處理:業(yè)務(wù)系統(tǒng)實(shí)時(shí)操作生成事件（消息/調(diào)用），經(jīng)過一系列的處理分析，這 個(gè)過程是分散在多臺(tái)計(jì)算機(jī)上并行完成的，看上去就像事件連續(xù)不斷的流經(jīng)多個(gè)計(jì)算節(jié)點(diǎn) 處理，形成一個(gè)流式計(jì)算過程。
[0019] 接口 ：接口泛指實(shí)體自己提供給外部的一種抽象化物(可以為另一實(shí)體），由內(nèi)部 操作分離出外部溝通方法，使其內(nèi)部更改但不影響外部其他實(shí)體與其交互的方式。接口是 一系列方法的聲明，是一些方法特征的集合，一個(gè)接口只有方法的特征沒有方法的實(shí)現(xiàn)，因 此這些方法可以在不同的地方被不同的類實(shí)現(xiàn)，而這些實(shí)現(xiàn)可以具有不同的行為(功能）。
[0020] 封裝:是面向?qū)ο蠓椒ǖ闹匾瓌t，就是把對(duì)象的屬性和操作(或服務(wù))結(jié)合為一 個(gè)獨(dú)立的整體，并盡可能隱藏對(duì)象的內(nèi)部實(shí)現(xiàn)細(xì)節(jié)。
[0021] 任務(wù)數(shù):具體執(zhí)行應(yīng)用的邏輯處理的節(jié)點(diǎn)數(shù)，該節(jié)點(diǎn)可以是真實(shí)物理機(jī)器，也可以 是通過虛擬化技術(shù)虛擬出的工作節(jié)點(diǎn)。
[0022] 圖1是根據(jù)本發(fā)明實(shí)施例的一種流式處理裝置的框圖的一例。參照?qǐng)D1，流式處理 裝置包括:接口 1 〇、計(jì)算框架20和配置文件30和加載處理模塊40。下面進(jìn)行具體說明。
[0023] 在本實(shí)施例中，接口 10用于供應(yīng)用（例如，供用于實(shí)現(xiàn)實(shí)時(shí)流式處理的應(yīng)用）或應(yīng) 用項(xiàng)目調(diào)用。計(jì)算框架20用于運(yùn)行可執(zhí)行實(shí)例。配置文件30配置有流式處理相關(guān)的配置參 數(shù)。加載處理模塊40用于加載所述配置文件并根據(jù)所述配置參數(shù)生成所述可執(zhí)行實(shí)例。 [0024]在本實(shí)施例中，所述計(jì)算框架通過運(yùn)行所述可執(zhí)行實(shí)例即可實(shí)現(xiàn)流式處理。
[0025]采用本實(shí)施例提供的流式處理裝置，采用配置文件來配置流式處理相關(guān)的配置參 數(shù)，實(shí)現(xiàn)了配置參數(shù)的可配置化以及計(jì)算框架(或計(jì)算模型）對(duì)開發(fā)人員的透明化，便于技 術(shù)人員靈活地變更配置參數(shù);通過統(tǒng)一的接口供應(yīng)用調(diào)用，能夠屏蔽新技術(shù)變化帶來的不 確定因素，簡化開發(fā)人員的開發(fā)難度和學(xué)習(xí)曲線。
[0026]可選地，整體來講，在本實(shí)施例的一種實(shí)現(xiàn)方式中，配置文件30中的配置參數(shù)包括 所述應(yīng)用中用于實(shí)現(xiàn)所述接口 10的實(shí)現(xiàn)類、實(shí)現(xiàn)類路徑和數(shù)據(jù)流向設(shè)置(即，實(shí)現(xiàn)類之間的 數(shù)據(jù)流向訂閱關(guān)系）。此外，還可以包括實(shí)現(xiàn)類并發(fā)執(zhí)行度。
[0027]采用本實(shí)現(xiàn)方式，可以根據(jù)業(yè)務(wù)邏輯將實(shí)際的應(yīng)用劃分為多個(gè)用于實(shí)現(xiàn)接口 10的 實(shí)現(xiàn)類，并在配置文件中規(guī)劃多個(gè)實(shí)現(xiàn)類之間的數(shù)據(jù)流向訂閱關(guān)系。應(yīng)用項(xiàng)目的實(shí)現(xiàn)類通 過實(shí)現(xiàn)流式處理裝置暴露出來的接口 10實(shí)現(xiàn)在輸入報(bào)文中提取相關(guān)數(shù)據(jù)進(jìn)行處理并在之 后在輸出報(bào)文中給出處理結(jié)果的處理過程。而經(jīng)過以上流程，該實(shí)現(xiàn)類完成了處理流程。
[0028] 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，不同的項(xiàng)目或不同的開發(fā)組針對(duì)相同應(yīng)用可以設(shè)置不 同的業(yè)務(wù)邏輯，因此，本發(fā)明并不對(duì)具體的業(yè)務(wù)邏輯進(jìn)行限制。
[0029] 可選地，在本實(shí)施例的一種具體實(shí)現(xiàn)方式中，配置文件30中的配置參數(shù)包括所述 計(jì)算框架的部件的運(yùn)行參數(shù)、第一實(shí)現(xiàn)類及路徑和第二實(shí)現(xiàn)類及路徑。其中，所述第二實(shí)現(xiàn) 類用于實(shí)現(xiàn)所述應(yīng)用的邏輯處理，所述第一實(shí)現(xiàn)類用于調(diào)用所述第二實(shí)現(xiàn)類。
[0030] 可選地，在本實(shí)現(xiàn)方式中，所述第一實(shí)現(xiàn)類還用于所述計(jì)算框架的初始化以及數(shù) 據(jù)類型的說明。
[0031] 可選地，在本實(shí)現(xiàn)方式中，所述第二實(shí)現(xiàn)類包括所述應(yīng)用的用于實(shí)現(xiàn)所述接口的 實(shí)現(xiàn)類。即，應(yīng)用通過所述第二實(shí)現(xiàn)類實(shí)現(xiàn)流式處理裝置的接口，從而通過所述第二實(shí)現(xiàn)類 完成所述應(yīng)用的邏輯處理。
[0032]可選地，在本實(shí)現(xiàn)方式中，所述計(jì)算框架的部件包括spout類型部件和bolt類型部 件。當(dāng)然，這僅是舉例，本領(lǐng)域技術(shù)人員可以根據(jù)需要選取不同的計(jì)算框架，本發(fā)明對(duì)具體 的計(jì)算框架以及計(jì)算框架所包含的部件類型不作具體限制。進(jìn)一步地，計(jì)算框架的部件的 運(yùn)行參數(shù)包括:spout類型部件和bolt類型部件的工作線程、任務(wù)數(shù)、所述第二實(shí)現(xiàn)類的輸 入報(bào)文和輸出報(bào)文，以及blot類型部件的數(shù)據(jù)流向訂閱關(guān)系和方式。相應(yīng)地，第一實(shí)現(xiàn)類包 括spout類型部件和bolt類型部件的第一實(shí)現(xiàn)類，第二實(shí)現(xiàn)類包括spout類型部件和bolt類 型部件的第二實(shí)現(xiàn)類。
[0033]可選地，在本實(shí)施例的一種實(shí)現(xiàn)方式中，如圖1中虛線框所示，加載處理模塊40包 括:加載子模塊，用于加載所述配置文件;和處理子模塊，用于根據(jù)所述第一類及類路徑加 載所述第一類，并由所述第一類調(diào)用所述第二類。
[0034] 可選地，在本實(shí)施例的一種實(shí)現(xiàn)方式中，所述配置文件與所述應(yīng)用一一對(duì)應(yīng)。
[0035] 圖2是根據(jù)本發(fā)明實(shí)施例的一種流式處理裝置的框圖的另一例。參照?qǐng)D2,流式處 理裝置呈封裝框架的形式。其封裝有計(jì)算框架(例如，計(jì)算框架20)和配置文件(例如，配置 文件30)，通過接口（未圖示，例如，接口 10)供應(yīng)用調(diào)用，并通過預(yù)設(shè)的邏輯加載和處理所述 配置文件(例如，通過加載處理模塊40的邏輯處理過程)生成可執(zhí)行實(shí)例。計(jì)算框架通過執(zhí) 行所述可執(zhí)行實(shí)例，即可處理待處理數(shù)據(jù)得到處理后數(shù)據(jù)。
[0036]需要說明的是，在本實(shí)施例中，并不限制所封裝的計(jì)算框架的數(shù)量或類型。例如， 可以同時(shí)封裝多種計(jì)算框架并抽象出統(tǒng)一的接口供應(yīng)用調(diào)用。
[0037]可選地，在本實(shí)施例的一種具體應(yīng)用中，配置文件的示例性格式及內(nèi)容如下：
[0039] 其中，units是根標(biāo)簽，下面對(duì)具體應(yīng)用的配置參數(shù)進(jìn)行說明。
[0040] example標(biāo)簽標(biāo)識(shí)應(yīng)用的名稱，在封裝框架中唯一且不能重復(fù)，否則報(bào)錯(cuò)。每個(gè)應(yīng) 用由兩種類型的部件組成：spout、bo 11，每種部件可以有多個(gè)實(shí)現(xiàn)。其中，部件spout多用于 讀取數(shù)據(jù)源，可以從數(shù)據(jù)庫、文件、內(nèi)存等多種渠道讀取。部件bolt多用于實(shí)現(xiàn)具體邏輯，如 實(shí)現(xiàn)計(jì)算、過濾、加工等處理。
[0041 ] unit標(biāo)簽用于標(biāo)識(shí)具體應(yīng)用example下的一個(gè)組成部分，name標(biāo)識(shí)該部分的名稱， task標(biāo)識(shí)具體執(zhí)行該部分的任務(wù)數(shù)，executor標(biāo)識(shí)每個(gè)任務(wù)下的線程數(shù)，task、executor不 填值則默認(rèn)為1 processor標(biāo)識(shí)具體實(shí)現(xiàn)應(yīng)用邏輯的類和類路徑，會(huì)被封裝框架調(diào)用。 className是封裝框架的類，用于調(diào)用processor類所標(biāo)識(shí)的應(yīng)用類。inVo和outVo用于標(biāo)識(shí) processor類的輸入和輸出報(bào)文。出于框架簡明性考慮，輸入和輸出報(bào)文可以是一致的。 Body報(bào)文中只有兩個(gè)可序列化key和value字段，其中，key用于在各部件間傳遞消息，value 可以保留作他用，也可用于存儲(chǔ)信息持久化后，在各部件間傳遞重量級(jí)信息或數(shù)據(jù)。
[0042] 以上配置信息，類型為spout和bolt的部件都會(huì)配置，但bolt部件還會(huì)有如下一些 特殊配置：preUnit標(biāo)識(shí)當(dāng)前部件繼承的數(shù)據(jù)流來源，bolt類型的部件可以繼承來源于 spout、bolt類型部件的數(shù)據(jù)流。group用于標(biāo)識(shí)繼承數(shù)據(jù)流的方式，例如，支持fieldsGroup (按字段分組）、shufTleGroup(隨機(jī)分組）、allGroup(廣播發(fā)送)等方式。fileds標(biāo)簽是選取 fieldsGroup方式繼承數(shù)據(jù)流向時(shí)才會(huì)用到，指明按照哪個(gè)字段繼承數(shù)據(jù)。
[0043] 在本實(shí)施例相關(guān)的具體開發(fā)中，以上配置每個(gè)具體應(yīng)用一份，如果有多個(gè)應(yīng)用可 以每個(gè)應(yīng)用一份配置文件，也可以分割成多個(gè)配置文件，放到指定目錄下即可。每個(gè)被封裝 的計(jì)算框架會(huì)有對(duì)應(yīng)的className類，即框架間的差異性都由className類封裝和屏蔽，具 體應(yīng)用只需實(shí)現(xiàn)processor類即可，底層所有內(nèi)容都應(yīng)用都是透明的。
[0044] 以上配置文件中的標(biāo)簽，封裝框架中都有實(shí)體對(duì)應(yīng)，這些實(shí)體會(huì)應(yīng)用于封裝框架 的入口函數(shù)中。
[0045] 采用本實(shí)施例提供的呈封裝框架形式的流式處理裝置，封裝框架通過命令行調(diào)用 主函數(shù)，加載指定目錄下的配置文件，通過className類調(diào)用應(yīng)用邏輯的實(shí)現(xiàn)類processor。 c las sName類被調(diào)起，則應(yīng)用的具體邏輯處理最終被調(diào)起。
[0046] 可選地，在本實(shí)施例的一種更具體的示例中，通過命令行命令將jar包形式的封裝 框架加載到底層計(jì)算框架中，使之在計(jì)算框架中運(yùn)行起來。具體運(yùn)行過程為:封裝框架中入 口main函數(shù)通過讀取配置文件中的標(biāo)簽，使各種標(biāo)簽實(shí)體化為可調(diào)用的Java類。在入口 main函數(shù)中，className標(biāo)簽找到需要加載的spout、bolt類型的類路徑和類，加載起來。兩 種類型的className實(shí)體類都主要包含三類方法:1、計(jì)算框架要求的相關(guān)初始化工作;2、數(shù) 據(jù)類型說明工作，便于后續(xù)處理訂閱數(shù)據(jù)；3、完成具體的應(yīng)用操作，這個(gè)是通過后續(xù)調(diào)用 processor類完成。之后，封裝框架會(huì)通過被加載起來的className類繼續(xù)調(diào)用processor標(biāo) 簽指定類路徑下的processor類，由processor類去完成具體的生成或處理數(shù)據(jù)操作。
[0047] 在入口main函數(shù)中，還需加載配置文件實(shí)體化后的各種參數(shù)，如各種className實(shí) 體的工作線程(executor)和任務(wù)數(shù)(task)，processor實(shí)體的輸入報(bào)文（inVo)、輸出報(bào)文 (outVo)，className實(shí)體間數(shù)據(jù)流向訂閱關(guān)系（preUnit)、方式（group、field、streamld) 等。完成以上操作，就完成了通過封裝框架和配置文件實(shí)例化出一個(gè)可以在計(jì)算框架中可 執(zhí)行的計(jì)算實(shí)例。其中，className類和processor類可以打包在同一個(gè)jar中，也可以打包 在不同的jar，但最后都需要放到計(jì)算框架的加載路徑中，否則會(huì)報(bào)錯(cuò)無法執(zhí)行。
[0048]通過命令行程序在計(jì)算框架中提交封裝框架后，通過封裝框架和配置文件實(shí)例化 后的可執(zhí)行實(shí)例就在計(jì)算框架中運(yùn)行起來了。目前的實(shí)時(shí)流式計(jì)算框架多種多樣，但本專 利通過封裝框架和配置文件都可以兼容，并封裝其差異性。
[0049]本發(fā)明在保護(hù)如上所述的流式處理裝置的同時(shí)，還保護(hù)采用該流式處理裝置設(shè)計(jì) 的流式處理系統(tǒng)。該系統(tǒng)包括如圖1或圖2所示實(shí)施例中的流式處理裝置，并且根據(jù)圖1或圖 2所示實(shí)施例中描述的處理過程生成計(jì)算框架的可執(zhí)行實(shí)例。
[0050] 可選地，在本發(fā)明請(qǐng)求保護(hù)的一種流式處理裝置中的具體實(shí)現(xiàn)方式中，流式處理 裝置包括如圖1或圖2所示的流式處理裝置，和用于存儲(chǔ)實(shí)現(xiàn)類(包括第一實(shí)現(xiàn)類和第二實(shí) 現(xiàn)類)的存儲(chǔ)模塊。例如，將所述實(shí)現(xiàn)類打包在jar包中。該流式處理系統(tǒng)通過命令行程序?qū)?流式處理裝置(或封裝框架)加載到計(jì)算框架中，通過封裝框架和配置文件生成實(shí)例化后的 可執(zhí)行實(shí)例，并通過計(jì)算框架運(yùn)行該可執(zhí)行實(shí)例從而進(jìn)行流式處理。
[0051]通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助 軟件結(jié)合硬件平臺(tái)的方式來實(shí)現(xiàn)?；谶@樣的理解，本發(fā)明的技術(shù)方案對(duì)【背景技術(shù)】做出貢 獻(xiàn)的全部或者部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在存儲(chǔ)介 質(zhì)中，如R0M/RAM、磁碟、光盤等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算 機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
[0052]本領(lǐng)技術(shù)人員應(yīng)當(dāng)理解，以上所公開的僅為本發(fā)明的實(shí)施方式而已，當(dāng)然不能以 此來限定本發(fā)明之權(quán)利范圍，依本發(fā)明實(shí)施方式所作的等同變化，仍屬本發(fā)明權(quán)利要求所 涵蓋的范圍。
【主權(quán)項(xiàng)】
1. 一種流式處理裝置，其特征在于，所述裝置包括： 接口，用于供應(yīng)用調(diào)用； 計(jì)算框架，用于運(yùn)行可執(zhí)行實(shí)例； 配置文件，配置有流式處理相關(guān)的配置參數(shù)； 加載處理模塊，用于加載所述配置文件并根據(jù)所述配置參數(shù)生成所述可執(zhí)行實(shí)例。2. 如權(quán)利要求1所述的裝置，其特征在于，所述配置參數(shù)包括： 用于實(shí)現(xiàn)所述接口的實(shí)現(xiàn)類、實(shí)現(xiàn)類路徑和數(shù)據(jù)流向。3. 如權(quán)利要求1所述的裝置，其特征在于，所述配置參數(shù)包括： 所述計(jì)算框架的部件的運(yùn)行參數(shù)、第一實(shí)現(xiàn)類及路徑和第二實(shí)現(xiàn)類及路徑； 其中，所述第二實(shí)現(xiàn)類用于實(shí)現(xiàn)所述應(yīng)用的邏輯處理，所述第一實(shí)現(xiàn)類用于調(diào)用所述 第二實(shí)現(xiàn)類。4. 如權(quán)利要求3所述的裝置，其特征在于，所述第一實(shí)現(xiàn)類還用于： 所述計(jì)算框架的初始化以及數(shù)據(jù)類型的說明。5. 如權(quán)利要求3所述的裝置，其特征在于，所述第二實(shí)現(xiàn)類包括： 所述應(yīng)用的用于實(shí)現(xiàn)所述接口的實(shí)現(xiàn)類。6. 如權(quán)利要求3所述的裝置，其特征在于，所述計(jì)算框架的部件包括： spout類型部件和bolt類型部件。7. 如權(quán)利要求6所述的裝置，其特征在于，所述計(jì)算框架的部件的運(yùn)行參數(shù)包括： spout類型部件和bolt類型部件的工作線程、任務(wù)數(shù)、所述第二實(shí)現(xiàn)類的輸入報(bào)文和輸 出報(bào)文，以及blot類型部件的數(shù)據(jù)流向訂閱關(guān)系和方式。8. 如權(quán)利要求3所述的裝置，其特征在于，所述加載處理模塊包括： 加載子模塊，用于加載所述配置文件;和 處理子模塊，用于根據(jù)所述第一類及類路徑加載所述第一類，并由所述第一類調(diào)用所 述第二類。9. 如權(quán)利要求1所述的裝置，其特征在于，所述配置文件與所述應(yīng)用一一對(duì)應(yīng)。10. -種包括如權(quán)利要求1-9中任一項(xiàng)所述的流式處理裝置的流式處理系統(tǒng)。
【文檔編號(hào)】G06F9/44GK106095425SQ201610395911
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月7日 公開號(hào)201610395911.8, CN 106095425 A, CN 106095425A, CN 201610395911, CN-A-106095425, CN106095425 A, CN106095425A, CN201610395911, CN201610395911.8
【發(fā)明人】常濤, 黎育龍, 聶砂
【申請(qǐng)人】中國建設(shè)銀行股份有限公司