一種計算任務處理方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種計算任務處理方法和系統(tǒng)，所述方法包括：工作模塊獲取待處理的計算任務，工作模塊部署在云存儲系統(tǒng)中的存儲設備上的；工作模塊通過復用所在存儲設備上的計算資源，完成對計算任務的處理。應用本發(fā)明所述方案，能夠降低對資源和成本的消耗等。
【專利說明】
一種計算任務處理方法和系統(tǒng)
【技術(shù)領域】
[0001]本發(fā)明涉及計算機應用技術(shù)，特別涉及一種計算任務處理方法和系統(tǒng)。
【【背景技術(shù)】】
[0002]云存儲系統(tǒng)上存儲了大量的用戶視頻、圖片等文件，隨著產(chǎn)品的不斷發(fā)展演進，需要提供大量的計算能力來對用戶的文件進行處理，如視頻轉(zhuǎn)碼、文件解壓、圖片信息提取等。
[0003]現(xiàn)有技術(shù)中，通常采用搭建物理計算集群的方式來提供上述計算能力，以視頻轉(zhuǎn)碼為例，需要開發(fā)一套視頻轉(zhuǎn)碼專用的框架，按照預期的視頻轉(zhuǎn)碼規(guī)模，建設數(shù)量在幾百到幾千的物理設備集群用于運算，而這需要耗費巨大的資源和成本。
【
【發(fā)明內(nèi)容】
】
[0004]本發(fā)明提供了一種計算任務處理方法和系統(tǒng)，能夠降低對資源和成本的消耗等。
[0005]具體技術(shù)方案如下:
[0006]一種計算任務處理方法，包括:
[0007]工作模塊獲取待處理的計算任務，所述工作模塊部署在云存儲系統(tǒng)中的存儲設備上的；
[0008]所述工作模塊通過復用所在存儲設備上的計算資源，完成對所述計算任務的處理。
[0009]根據(jù)本發(fā)明一優(yōu)選實施例，所述計算任務包括:離線任務、在線任務以及實時任務。
[0010]根據(jù)本發(fā)明一優(yōu)選實施例，所述工作模塊獲取待處理的計算任務包括:
[0011 ]所述工作模塊拉取離線任務；
[0012]所述工作模塊接收發(fā)送來的在線任務或?qū)崟r任務。
[0013]根據(jù)本發(fā)明一優(yōu)選實施例，所述工作模塊拉取離線任務包括:
[0014]所述工作模塊在每次拉取離線任務之前，向調(diào)度模塊發(fā)送調(diào)度請求，并接收所述調(diào)度模塊返回的調(diào)度指令，從消息中間件中拉取所述調(diào)度指令中攜帶的離線業(yè)務標識對應的離線任務，所述消息中間件中的離線任務為所述前端模塊接收到后發(fā)送到所述消息中間件中的。
[0015]根據(jù)本發(fā)明一優(yōu)選實施例，所述工作模塊接收發(fā)送來的在線任務或?qū)崟r任務包括:
[0016]所述工作模塊接收所述前端模塊針對接收到的在線任務或?qū)崟r任務向調(diào)度模塊發(fā)出調(diào)度請求后，根據(jù)所述調(diào)度模塊返回的調(diào)度指令中攜帶的工作模塊標識發(fā)送來的在線任務或?qū)崟r任務。
[0017]根據(jù)本發(fā)明一優(yōu)選實施例，所述完成對所述計算任務的處理包括:
[0018]當所述計算任務為離線任務或在線任務時，所述工作模塊調(diào)起所述計算任務對應的業(yè)務進程，完成對所述計算任務的處理；
[0019]當所述計算任務為實時任務時，所述工作模塊使用自身線程，完成對所述計算任務的處理。
[0020]根據(jù)本發(fā)明一優(yōu)選實施例，該方法進一步包括:
[0021]在處理所述計算任務之前，所述工作模塊將所述計算任務發(fā)送給代理模塊，以便所述代理模塊對所述計算任務進行保存，且若在超過預定時長之前接收到所述工作模塊發(fā)送來的任務完成通知，則刪除所述計算任務，否則，轉(zhuǎn)由其它工作模塊對所述計算任務進行處理。
[0022]一種計算任務處理系統(tǒng)，包括:工作模塊；
[0023]所述工作模塊部署在云存儲系統(tǒng)中的存儲設備上，
[0024]所述工作模塊，用于獲取待處理的計算任務，并通過復用所在存儲設備上的計算資源，完成對所述計算任務的處理。
[0025]根據(jù)本發(fā)明一優(yōu)選實施例，所述計算任務包括:離線任務、在線任務以及實時任務。
[0026]根據(jù)本發(fā)明一優(yōu)選實施例，所述工作模塊拉取離線任務；
[0027]所述工作模塊接收發(fā)送來的在線任務或?qū)崟r任務。
[0028]根據(jù)本發(fā)明一優(yōu)選實施例，所述系統(tǒng)中進一步包括:調(diào)度模塊和前端模塊；
[0029]所述工作模塊在每次拉取離線任務之前，向所述調(diào)度模塊發(fā)送調(diào)度請求，接收所述調(diào)度模塊返回的調(diào)度指令，從消息中間件中拉取所述調(diào)度指令中攜帶的離線業(yè)務標識對應的離線任務；
[0030]所述調(diào)度模塊，用于當接收到來自所述工作模塊的調(diào)度請求后，向所述工作模塊返回攜帶有需要拉取的離線業(yè)務標識的調(diào)度指令；
[0031 ]所述前端模塊，用于將接收到的離線任務發(fā)送到所述消息中間件中。
[0032]根據(jù)本發(fā)明一優(yōu)選實施例，所述前端模塊進一步用于，當接收到在線任務或?qū)崟r任務時，向所述調(diào)度模塊發(fā)送調(diào)度請求，將所述在線任務或?qū)崟r任務發(fā)送給所述調(diào)度模塊返回的調(diào)度指令中攜帶的工作模塊標識對應的工作模塊；
[0033]所述調(diào)度模塊進一步用于，當接收到來自所述前端模塊的調(diào)度請求后，向所述前端模塊返回攜帶有負責處理任務的工作模塊標識的調(diào)度指令。
[0034]根據(jù)本發(fā)明一優(yōu)選實施例，當所述計算任務為離線任務或在線任務時，所述工作模塊調(diào)起所述計算任務對應的業(yè)務進程，完成對所述計算任務的處理；
[0035]當所述計算任務為實時任務時，所述工作模塊使用自身線程，完成對所述計算任務的處理。
[0036]根據(jù)本發(fā)明一優(yōu)選實施例，所述系統(tǒng)中進一步包括:代理模塊；
[0037]所述工作模塊進一步用于，在處理所述計算任務之前，將所述計算任務發(fā)送給所述代理模塊，并在任務處理完成后通知所述代理模塊；
[0038]所述代理模塊，用于對所述計算任務進行保存，且若在超過預定時長之前接收到所述工作模塊發(fā)送來的任務完成通知，則刪除所述計算任務，否則，轉(zhuǎn)由其它工作模塊對所述計算任務進行處理。
[0039]通過以上介紹可以看出，采用本發(fā)明所述方案，在存儲設備上部署工作模塊，工作模塊可通過復用存儲設備上閑置的計算資源，完成對計算任務的處理，從而以近乎零成本的方式獲取到了大量的計算能力，相比于現(xiàn)有技術(shù)，無需再專門搭建物理計算集群，進而極大地降低了對資源和成本的消耗，并提高了存儲設備的資源利用率。
【【附圖說明】】
[0040]圖1為本發(fā)明計算任務處理方法實施例的流程圖。
[0041 ]圖2為本發(fā)明計算任務處理系統(tǒng)實施例的組成結(jié)構(gòu)示意圖。
【【具體實施方式】】
[0042]云存儲系統(tǒng)為了存儲用戶文件，擁有數(shù)量龐大的存儲設備集群，由于主要用于存儲文件，因此這些存儲設備的共同特點是磁盤占用比較高，但計算資源如中央處理單元(CPU,Central Processing Unit)等存在大量空閑，從而造成了計算資源的巨大浪費。
[0043]為此，本發(fā)明中提出一種計算任務處理系統(tǒng)，或稱為mammoth系統(tǒng)，其中可包括:工作模塊(mammoth worker)、調(diào)度模塊(mammoth observer)和前端模塊(mommoth front)等，通過各模塊之間的相互配合，完成任務接入、任務調(diào)度和任務計算等各種處理。
[0044]其中，前端模塊主要負責任務接入，調(diào)度模塊主要負責任務調(diào)度，工作模塊主要負責任務處理(任務計算)。
[0045]工作模塊部署在云存儲系統(tǒng)中的存儲設備上，可利用存儲設備上閑置的計算資源來對計算任務進行處理，從而無需再專門搭建物理計算集群，進而極大地降低了對資源和成本的消耗，并提高了存儲設備的資源利用率。
[0046]為了使本發(fā)明的技術(shù)方案更加清楚、明白，以下參照附圖并舉實施例，對本發(fā)明所述方案作進一步地詳細說明。
[0047]實施例一
[0048]圖1為本發(fā)明計算任務處理方法實施例的流程圖，如圖1所示，包括以下具體實現(xiàn)方式。
[0049]在11中，工作模塊獲取待處理的計算任務，工作模塊部署在云存儲系統(tǒng)中的存儲設備上的。
[0050]為了利用存儲設備上閑置的計算資源，可在存儲設備上部署工作模塊，每個存儲設備上只需部署一個工作模塊即可。
[0051]所述計算任務可包括:離線任務、在線任務和實時任務。
[0052]根據(jù)任務類型的不同，工作模塊獲取計算任務的方式也會不同，如下所示:
[0053]I)工作模塊拉取離線任務
[0054]工作模塊在每次拉取離線任務之前，向調(diào)度模塊發(fā)送調(diào)度請求，并接收調(diào)度模塊返回的調(diào)度指令，從消息中間件中拉取調(diào)度指令中攜帶的離線業(yè)務標識對應的離線任務，消息中間件中的離線任務為前端模塊接收到后發(fā)送到消息中間件中的；
[0055]2)工作模塊接收發(fā)送來的在線任務或?qū)崟r任務
[0056]工作模塊接收前端模塊針對接收到的在線任務或?qū)崟r任務向調(diào)度模塊發(fā)出調(diào)度請求后，根據(jù)調(diào)度模塊返回的調(diào)度指令中攜帶的工作模塊標識發(fā)送來的在線任務或?qū)崟r任務。
[0057]前端模塊負責任務接入，通過與用戶進行交互，獲取用戶發(fā)布的各類型任務。調(diào)度模塊是mammoth系統(tǒng)中的調(diào)度組件，負責整個系統(tǒng)的任務調(diào)度。
[0058]前端模塊在接收到一個在線任務或?qū)崟r任務后，可向調(diào)度模塊發(fā)送調(diào)度請求，詢問調(diào)度模塊負責處理該任務的是哪個工作模塊，調(diào)度模塊接收到來自前端模塊的調(diào)度請求后，會從眾多的工作模塊中選出一個負責處理該任務，并將選出的工作模塊標識攜帶在調(diào)度指令中返回給前端模塊，進而由前端模塊將該任務發(fā)送給所選出的工作模塊進行處理。
[0059]前端模塊可將接收到的離線任務發(fā)送到消息中間件中。每個工作模塊在每次拉取離線任務之前，都會向調(diào)度模塊發(fā)送調(diào)度請求，詢問調(diào)度模塊本次需要拉取哪個離線業(yè)務的任務，調(diào)度模塊接收到來自工作模塊的調(diào)度請求后，會按照調(diào)度規(guī)則，向工作模塊返回攜帶有離線業(yè)務標識的調(diào)度指令，通過這種方式來通知工作模塊去拉取哪個離線業(yè)務的任務。
[0060]調(diào)度模塊作為調(diào)度組件，需要同時滿足離線調(diào)度和在線調(diào)度的各種特性。在線調(diào)度的特性可包括:提供可用的工作模塊，保證各個工作模塊之間的負載均衡等。離線調(diào)度的特性可包括:控制各工作模塊拉取各個離線業(yè)務的任務數(shù)量和速度，保護工作模塊的安全和執(zhí)彳丁效率，防止過尚壓力等。
[0061]另外，每個工作模塊均可處理所有離線業(yè)務的任務，根據(jù)調(diào)度模塊的調(diào)度，可以對多個離線業(yè)務進行計算資源和時間的分配，即在計算資源有限的情況下在各個離線業(yè)務之間調(diào)配計算資源，并需要保證計算服務不會對工作模塊所在存儲設備上原有的存儲服務造成影響。
[0062]調(diào)度模塊具體如何進行調(diào)度不作限制，可根據(jù)實際需要而定。
[0063]在12中，工作模塊通過復用所在存儲設備上的計算資源，完成對計算任務的處理。
[0064]本實施例中，計算任務可以消息的形式進行傳遞，消息傳遞流程對業(yè)務透明，這可以大大簡化業(yè)務開發(fā)的復雜度和學習成本，借此可以實現(xiàn)快速的業(yè)務開發(fā)和接入。
[0065]對于不同類型的計算任務，可采用不同的傳遞和處理方式，如下所示:
[0066]I)離線任務
[0067]通過消息中間件傳遞消息；
[0068]調(diào)起離線任務對應的業(yè)務進程完成任務處理；
[0069]2)在線任務
[0070]通過遠程過程調(diào)用協(xié)議(RPC，Remote Procedure Call Protocol)傳遞消息；
[0071 ]調(diào)起在線任務對應的業(yè)務進程完成任務處理；
[0072]3)實時任務
[0073]通過RPC協(xié)議傳遞消息；
[0074]工作模塊使用自身線程完成任務處理。
[0075]通常來說，離線任務對實時性要求較低，但對吞吐率要求較高，在線任務對實時性要求較高，但對吞吐率要求較低，實時任務對實時性要求較高，且多要求同步返回處理結(jié)果O
[0076]用戶可根據(jù)自身業(yè)務的計算特點等，選取合適的計算模式，即離線模式、在線模式或?qū)崟r模式，對應的任務則分別為離線任務、在線任務或?qū)崟r任務。
[0077]在實際應用中，除工作模塊、調(diào)度模塊和前端模塊外，mammoth系統(tǒng)中還可進一步包括代理模塊(mammoth agent)。
[0078]工作模塊在每處理一個計算任務之前，可將該計算任務發(fā)送給代理模塊，以便代理模塊對該計算任務進行保存，且若在超過預定時長之前接收到工作模塊發(fā)送來的任務完成通知，則刪除該計算任務，否則，轉(zhuǎn)由其它工作模塊對該計算任務進行處理。
[0079]代理模塊在接收到該計算任務后，可開始計時，如果在達到預定時長如5分鐘之前，接收到工作模塊發(fā)送來的任務完成通知，則可刪除該計算任務，如果由于工作模塊出現(xiàn)故障等原因，在達到預定時長之前未接收到任務完成通知，則可轉(zhuǎn)由其它工作模塊對該計算任務進行處理，如可在調(diào)度模塊的調(diào)度下，由其它工作模塊從代理模塊中拉取該計算任務并完成處理。
[0080]通過上述方式，可使得任務不會丟失，盡可能地確保每個任務均被正確處理。所述預定時長的具體取值可根據(jù)實際需要而定。
[0081]以上是關(guān)于本發(fā)明方法實施例的介紹，以下對本發(fā)明系統(tǒng)實施例進行進一步介紹。
[0082]實施例二
[0083]圖2為本發(fā)明計算任務處理系統(tǒng)實施例的組成結(jié)構(gòu)示意圖，如圖2所示，包括:工作模塊21，另外還可進一步包括:調(diào)度模塊22、前端模塊23和代理模塊24等，通過各模塊之間的相互配合，完成任務接入、任務調(diào)度和任務計算等各種處理。
[0084]通常來說，工作模塊21、調(diào)度模塊22、前端模塊23和代理模塊24的個數(shù)均為多個，為簡化附圖，圖2中分別只表示出了一個。
[0085]另外，工作模塊21、調(diào)度模塊22和代理模塊24均可部署在云存儲系統(tǒng)中的存儲設備上。也就是說，對于每個存儲設備來說，可在上面部署工作模塊21、調(diào)度模塊22或代理模塊24中的一個。
[0086]調(diào)度模塊22的個數(shù)通常遠少于工作模塊21的個數(shù)，每個調(diào)度模塊22可分別對應多個工作模塊21，即用于為對應的多個工作模塊21提供調(diào)度服務。
[0087]工作模塊21獲取待處理的計算任務，并通過復用所在存儲設備上的計算資源，完成對計算任務的處理。
[0088]所述計算任務可包括:離線任務、在線任務以及實時任務。
[0089]根據(jù)任務類型的不同，工作模塊21獲取計算任務的方式也會不同，如下所示:
[0090]I)工作模塊21拉取離線任務
[0091]工作模塊21在每次拉取離線任務之前，向調(diào)度模塊22發(fā)送調(diào)度請求，接收調(diào)度模塊22返回的調(diào)度指令，從消息中間件中拉取調(diào)度指令中攜帶的離線業(yè)務標識對應的離線任務，消息中間件中的離線任務為前端模塊23接收到后發(fā)送到消息中間件中的；
[0092]2)工作模塊21接收發(fā)送來的在線任務或?qū)崟r任務
[0093]工作模塊21接收前端模塊23針對接收到的在線任務或?qū)崟r任務向調(diào)度模塊22發(fā)出調(diào)度請求后，根據(jù)調(diào)度模塊22返回的調(diào)度指令中攜帶的工作模塊標識發(fā)送來的在線任務或?qū)崟r任務。
[0094]前端模塊23負責任務接入，通過與用戶進行交互，獲取用戶發(fā)布的各類型任務。調(diào)度模塊22是系統(tǒng)中的調(diào)度組件，負責整個系統(tǒng)的任務調(diào)度。
[0095]前端模塊23在接收到一個在線任務或?qū)崟r任務后，可向調(diào)度模塊22發(fā)送調(diào)度請求，詢問調(diào)度模塊22負責處理該任務的是哪個工作模塊21，調(diào)度模塊22接收到來自前端模塊23的調(diào)度請求后，會從眾多的工作模塊21中選出一個負責處理該任務，并將選出的工作模塊標識攜帶在調(diào)度指令中返回給前端模塊23，進而由前端模塊23將該任務發(fā)送給所選出的工作模塊21進行處理。
[0096]前端模塊23可將接收到的離線任務發(fā)送到消息中間件中。每個工作模塊21在每次拉取離線任務之前，都會向調(diào)度模塊22發(fā)送調(diào)度請求，詢問調(diào)度模塊22本次需要拉取哪個離線業(yè)務的任務，調(diào)度模塊22接收到來自工作模塊21的調(diào)度請求后，會按照調(diào)度規(guī)則，向工作模塊21返回攜帶有離線業(yè)務標識的調(diào)度指令，通過這種方式來通知工作模塊21去拉取哪個離線業(yè)務的任務。
[0097]調(diào)度模塊22作為調(diào)度組件，需要同時滿足離線調(diào)度和在線調(diào)度的各種特性。在線調(diào)度的特性可包括:提供可用的工作模塊21，保證各個工作模塊21之間的負載均衡等。離線調(diào)度的特性可包括:控制各工作模塊21拉取各個離線業(yè)務的任務數(shù)量和速度，保護工作模塊21的安全和執(zhí)行效率，防止過高壓力等。
[0098]另外，每個工作模塊21均可處理所有離線業(yè)務的任務，根據(jù)調(diào)度模塊22的調(diào)度，可以對多個離線業(yè)務進行計算資源和時間的分配，即在計算資源有限的情況下在各個離線業(yè)務之間調(diào)配計算資源，并需要保證計算服務不會對工作模塊21所在存儲設備上原有的存儲服務造成影響。
[0099]調(diào)度模塊22具體如何進行調(diào)度不作限制，可根據(jù)實際需要而定。
[0100]本實施例中，計算任務可以消息的形式進行傳遞，而且，對于不同類型的計算任務，可采用不同的傳遞和處理方式，如下所示:
[0101]I)離線任務
[0102]通過消息中間件傳遞消息；
[0103]工作模塊21調(diào)起離線任務對應的業(yè)務進程完成任務處理；
[0104]2)在線任務
[0105]通過RPC協(xié)議傳遞消息；
[0106]工作模塊21調(diào)起在線任務對應的業(yè)務進程完成任務處理；
[0107]3)實時任務
[0108]通過RPC協(xié)議傳遞消息；
[0109]工作模塊21使用自身線程完成任務處理。
[0110]通常來說，離線任務對實時性要求較低，但對吞吐率要求較高，在線任務對實時性要求較高，但對吞吐率要求較低，實時任務對實時性要求較高，且多要求同步返回處理結(jié)果O
[0111]用戶可根據(jù)自身業(yè)務的計算特點等，選取合適的計算模式，即離線模式、在線模式或?qū)崟r模式，對應的任務則分別為離線任務、在線任務或?qū)崟r任務。
[0112]另外，工作模塊21在每處理一個計算任務之前，還可將該計算任務發(fā)送給代理模塊24，并在任務處理完成后通知代理模塊24。
[0113]代理模塊24對該計算任務進行保存，且若在超過預定時長之前接收到工作模塊21發(fā)送來的任務完成通知，則刪除該計算任務，否則，轉(zhuǎn)由其它工作模塊21對該計算任務進行處理。
[0114]通過上述方式，可使得任務不會丟失，盡可能地確保每個任務均被正確處理。所述預定時長的具體取值可根據(jù)實際需要而定。
[0115]總之，采用本發(fā)明所述方案，在存儲設備上部署工作模塊，工作模塊可通過復用存儲設備上閑置的計算資源，完成對計算任務的處理，從而以近乎零成本的方式獲取到了大量的計算能力，相比于現(xiàn)有技術(shù)，無需再專門搭建物理計算集群，進而極大地降低了對資源和成本的消耗，并提高了存儲設備的資源利用率。
[0116]在本發(fā)明所提供的幾個實施例中，應該理解到，所揭露的系統(tǒng)和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的系統(tǒng)實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式。
[0117]所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。
[0118]另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用硬件加軟件功能單元的形式實現(xiàn)。
[0119]上述以軟件功能單元的形式實現(xiàn)的集成的單元，可以存儲在一個計算機可讀取存儲介質(zhì)中。上述軟件功能單元存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網(wǎng)絡設備等)或處理器(processor)執(zhí)行本發(fā)明各個實施例所述方法的部分步驟。而前述的存儲介質(zhì)包括:U盤、移動硬盤、只讀存儲器(R0M，Read-Only Memory，)、隨機存取存儲器(RAM,Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
[0120]以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明保護的范圍之內(nèi)。
【主權(quán)項】
1.一種計算任務處理方法，其特征在于，包括: 工作模塊獲取待處理的計算任務，所述工作模塊部署在云存儲系統(tǒng)中的存儲設備上的； 所述工作模塊通過復用所在存儲設備上的計算資源，完成對所述計算任務的處理。2.根據(jù)權(quán)利要求1所述的方法，其特征在于， 所述計算任務包括:尚線任務、在線任務以及實時任務。3.根據(jù)權(quán)利要求2所述的方法，其特征在于， 所述工作模塊獲取待處理的計算任務包括: 所述工作模塊拉取離線任務； 所述工作模塊接收發(fā)送來的在線任務或?qū)崟r任務。4.根據(jù)權(quán)利要求3所述的方法，其特征在于， 所述工作模塊拉取離線任務包括: 所述工作模塊在每次拉取離線任務之前，向調(diào)度模塊發(fā)送調(diào)度請求，并接收所述調(diào)度模塊返回的調(diào)度指令，從消息中間件中拉取所述調(diào)度指令中攜帶的離線業(yè)務標識對應的離線任務，所述消息中間件中的離線任務為所述前端模塊接收到后發(fā)送到所述消息中間件中的。5.根據(jù)權(quán)利要求3所述的方法，其特征在于， 所述工作模塊接收發(fā)送來的在線任務或?qū)崟r任務包括: 所述工作模塊接收所述前端模塊針對接收到的在線任務或?qū)崟r任務向調(diào)度模塊發(fā)出調(diào)度請求后，根據(jù)所述調(diào)度模塊返回的調(diào)度指令中攜帶的工作模塊標識發(fā)送來的在線任務或?qū)崟r任務。6.根據(jù)權(quán)利要求2所述的方法，其特征在于， 所述完成對所述計算任務的處理包括: 當所述計算任務為離線任務或在線任務時，所述工作模塊調(diào)起所述計算任務對應的業(yè)務進程，完成對所述計算任務的處理； 當所述計算任務為實時任務時，所述工作模塊使用自身線程，完成對所述計算任務的處理。7.根據(jù)權(quán)利要求1所述的方法，其特征在于， 該方法進一步包括: 在處理所述計算任務之前，所述工作模塊將所述計算任務發(fā)送給代理模塊，以便所述代理模塊對所述計算任務進行保存，且若在超過預定時長之前接收到所述工作模塊發(fā)送來的任務完成通知，則刪除所述計算任務，否則，轉(zhuǎn)由其它工作模塊對所述計算任務進行處理。8.一種計算任務處理系統(tǒng)，其特征在于，包括:工作模塊； 所述工作模塊部署在云存儲系統(tǒng)中的存儲設備上， 所述工作模塊，用于獲取待處理的計算任務，并通過復用所在存儲設備上的計算資源，完成對所述計算任務的處理。9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于， 所述計算任務包括:尚線任務、在線任務以及實時任務。10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于， 所述工作模塊拉取離線任務； 所述工作模塊接收發(fā)送來的在線任務或?qū)崟r任務。11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其特征在于， 所述系統(tǒng)中進一步包括:調(diào)度模塊和前端模塊； 所述工作模塊在每次拉取離線任務之前，向所述調(diào)度模塊發(fā)送調(diào)度請求，接收所述調(diào)度模塊返回的調(diào)度指令，從消息中間件中拉取所述調(diào)度指令中攜帶的離線業(yè)務標識對應的離線任務； 所述調(diào)度模塊，用于當接收到來自所述工作模塊的調(diào)度請求后，向所述工作模塊返回攜帶有需要拉取的離線業(yè)務標識的調(diào)度指令； 所述前端模塊，用于將接收到的離線任務發(fā)送到所述消息中間件中。12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其特征在于， 所述前端模塊進一步用于，當接收到在線任務或?qū)崟r任務時，向所述調(diào)度模塊發(fā)送調(diào)度請求，將所述在線任務或?qū)崟r任務發(fā)送給所述調(diào)度模塊返回的調(diào)度指令中攜帶的工作模塊標識對應的工作模塊； 所述調(diào)度模塊進一步用于，當接收到來自所述前端模塊的調(diào)度請求后，向所述前端模塊返回攜帶有負責處理任務的工作模塊標識的調(diào)度指令。13.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于， 當所述計算任務為離線任務或在線任務時，所述工作模塊調(diào)起所述計算任務對應的業(yè)務進程，完成對所述計算任務的處理； 當所述計算任務為實時任務時，所述工作模塊使用自身線程，完成對所述計算任務的處理。14.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于， 所述系統(tǒng)中進一步包括:代理模塊； 所述工作模塊進一步用于，在處理所述計算任務之前，將所述計算任務發(fā)送給所述代理模塊，并在任務處理完成后通知所述代理模塊； 所述代理模塊，用于對所述計算任務進行保存，且若在超過預定時長之前接收到所述工作模塊發(fā)送來的任務完成通知，則刪除所述計算任務，否則，轉(zhuǎn)由其它工作模塊對所述計算任務進行處理。
【文檔編號】G06F9/50GK106095534SQ201610399492
【公開日】2016年11月9日
【申請日】2016年6月7日
【發(fā)明人】陳曦, 高巍, 范利平, 牛磊, 林曉剛
【申請人】百度在線網(wǎng)絡技術(shù)（北京）有限公司