專利名稱：基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法
技術領域：
本發(fā)明涉及計算技術領域，更具體地說，本發(fā)明涉及一種基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法。
背景技術：
在數(shù)據(jù)密集型應用中，大規(guī)模數(shù)據(jù)集處理是應用的核心，而I/O (輸入/輸出)帶寬成為影響其性能的主要因素，這使得傳統(tǒng)的計算和存儲分離的系統(tǒng)不適合數(shù)據(jù)密集型應用，因此，需要一種新型的數(shù)據(jù)存儲和服務模式，以提高數(shù)據(jù)傳輸和處理的性能。
數(shù)據(jù)服務一般指的是數(shù)據(jù)的存儲、管理和傳輸，在不同的應用場合中具體表現(xiàn)形式不同。在數(shù)據(jù)密集型應用背景下，數(shù)據(jù)服務主要包含兩方面的內(nèi)容，一是海量數(shù)據(jù)的存儲技術，二是海量數(shù)據(jù)的組織管理技術。
智能數(shù)據(jù)服務指的是在上述兩方面加入了數(shù)據(jù)的預處理操作處理，這樣可以將部分數(shù)據(jù)處理負載從外部計算設備轉(zhuǎn)移到系統(tǒng)內(nèi)部，從而減少系統(tǒng)向外部計算設備提供數(shù)據(jù)服務的帶寬需求。
實現(xiàn)數(shù)據(jù)服務有很多種方法，比如采用傳統(tǒng)的集中全局存儲的方法，或采用數(shù)據(jù)庫系統(tǒng)。
傳統(tǒng)的集中全局存儲的方法需要專用的存儲服務器，傳統(tǒng)的計算密集型計算采用的是這種模式。集中全局存儲的方法構建數(shù)據(jù)服務的性能受限于存儲服務器的帶寬，并且價格昂貴，難以大規(guī)模擴展。
數(shù)據(jù)庫系統(tǒng)又分為關系型數(shù)據(jù)庫和非關系型數(shù)據(jù)庫。數(shù)據(jù)密集型應用工作數(shù)據(jù)集較大，且不需要進行頻繁的數(shù)據(jù)庫操作，所以不適合存儲在關系型數(shù)據(jù)庫中。非關系型數(shù)據(jù)庫提供Key-Value (鍵-值)的存儲形式，但它難以在數(shù)據(jù)服務中加入預處理的功能，難以形成智能數(shù)據(jù)服務。發(fā)明內(nèi)容
本發(fā)明所要解決的技術問題是針對現(xiàn)有技術中存在上述缺陷，提供一種在數(shù)據(jù)密集應用中將傳統(tǒng)的分布式系統(tǒng)的空閑存儲資源聚合起來并向外部計算設備提供智能數(shù)據(jù)服務的方法。
根據(jù)本發(fā)明，提供了一種基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法，其包括利用分布式系統(tǒng)的主節(jié)點管理全局文件命名空間；并且，在向分布式系統(tǒng)寫入文件的流程、從分布式系統(tǒng)讀取文件的流程、以及從分布式系統(tǒng)讀取文件的流程中，利用分布式系統(tǒng)的主節(jié)點對客戶端的請求進行分析處理，選擇具體的數(shù)據(jù)預處理程序，分發(fā)到分布式系統(tǒng)的從節(jié)點以進行后續(xù)的數(shù)據(jù)預處理和傳輸操作。
優(yōu)選地，主節(jié)點監(jiān)測并管理從節(jié)點的正常運行，保存并更新所有從節(jié)點數(shù)據(jù)存儲的元數(shù)據(jù)，以及提供客戶端對數(shù)據(jù)請求的響應。
優(yōu)選地，主節(jié)點維持分布式系統(tǒng)的全局文件系統(tǒng)的目錄。
優(yōu)選地，在分布式系統(tǒng)中，數(shù)據(jù)按照原始數(shù)據(jù)的形式進行存儲，不對文件進行分塊存儲。
優(yōu)選地，數(shù)據(jù)是冗余存儲的，從而一個文件可以冗余存儲在多個從節(jié)點中。
優(yōu)選地，向分布式系統(tǒng)寫入文件的流程包括第一寫入步驟客戶端向主節(jié)點詢問需要寫入的文件是否在分布式系統(tǒng)中存在；第二寫入步驟如果需要寫入的文件存在分布式系統(tǒng)，主節(jié)點向客戶端發(fā)送文件的元數(shù)據(jù)，其中包括文件的信息和文件所處的從節(jié)點信息，向分布式系統(tǒng)寫入文件的流程進入第三寫入步驟；如果需要寫入的文件不存在分布式系統(tǒng)，主節(jié)點向客戶端返回可寫入文件的從節(jié)點列表；第三寫入步驟客戶端根據(jù)第二寫入步驟返回的文件元數(shù)據(jù)及從節(jié)點信息向其中一個從節(jié)點寫入文件；第四寫入步驟從節(jié)點接收客戶端數(shù)據(jù)流并寫入文件，如果成功完成向主節(jié)點發(fā)送成功信息，并同時向客戶端發(fā)送確認信息，客戶端收到確認信息后完成操作；如果確認信息不成功，重復第二寫入步驟的操作；第五寫入步驟主節(jié)點收到從節(jié)點完成數(shù)據(jù)寫入的信息后更新元數(shù)據(jù)。
優(yōu)選地，向分布式系統(tǒng)寫入文件的過程不會對數(shù)據(jù)進行預處理。
優(yōu)選地，從分布式系統(tǒng)讀取文件的流程包括第一讀取步驟客戶端向主節(jié)點發(fā)送數(shù)據(jù)請求，其中包括文件路徑和所需要的預處理；第二讀取步驟主節(jié)點對客戶端的數(shù)據(jù)請求進行分析，確定所需文件所處的從節(jié)點和所需要的預處理程序，直接對所需文件進行預處理操作，并且向客戶單返回中間數(shù)據(jù)所處的從節(jié)點；第三讀取步驟客戶端直接向中間數(shù)據(jù)所處的從節(jié)點進行數(shù)據(jù)請求，從節(jié)點根據(jù)數(shù)據(jù)數(shù)據(jù)預處理的情況返回給客戶端所需數(shù)據(jù)。
優(yōu)選地，從分布式系統(tǒng)讀取文件的流程包括第一預處理步驟客戶端向主節(jié)點發(fā)送數(shù)據(jù)預處理操作，并根據(jù)需要編寫更加復雜的數(shù)據(jù)預處理程序；第二預處理步驟主節(jié)點根據(jù)數(shù)據(jù)預處理處理請求指定從節(jié)點通過數(shù)據(jù)預處理引擎對本地文件進行數(shù)據(jù)預處理，從節(jié)點完成后發(fā)送給主節(jié)點成功信息；第三預處理步驟主節(jié)點根據(jù)從節(jié)點發(fā)送的成功信息更新元數(shù)據(jù)。
本發(fā)明能夠在數(shù)據(jù)密集型應用環(huán)境下，將現(xiàn)有的分布式系統(tǒng)存儲空間快速聚合， 并向外部計算設備提供數(shù)據(jù)服務；而且，本發(fā)明充分利用分布式系統(tǒng)計算資源，能夠根據(jù)外部計算設備的需求智能地提供數(shù)據(jù)服務；并且，本發(fā)明將部分數(shù)據(jù)處理負載從外部計算設備轉(zhuǎn)移到分布式系統(tǒng)中，從而減少向外部計算設備提供數(shù)據(jù)服務的帶寬需求。


結合附圖，并通過參考下面的詳細描述，將會更容易地對本發(fā)明有更完整的理解并且更容易地理解其伴隨的優(yōu)點和特征，其中
圖I示意性地示出了根據(jù)本發(fā)明第一實施例的基于分布式系統(tǒng)的智能數(shù)據(jù)服務平臺架構。
圖2示意性地示出了根據(jù)本發(fā)明第二實施例的向分布式系統(tǒng)寫入文件的流程的示意圖。
圖3示意性地示出了根據(jù)本發(fā)明第三實施例的從分布式系統(tǒng)讀取文件的流程的示意圖。
圖4示意性地示出了根據(jù)本發(fā)明第四實施例的分布式系統(tǒng)內(nèi)部預處理流程的示5意圖。
需要說明的是，附圖用于說明本發(fā)明，而非限制本發(fā)明。注意，表示結構的附圖可能并非按比例繪制。并且，附圖中，相同或者類似的元件標有相同或者類似的標號。
具體實施方式
為了使本發(fā)明的內(nèi)容更加清楚和易懂，下面結合具體實施例和附圖對本發(fā)明的內(nèi)容進行詳細描述。
<第一實施例>
本發(fā)明是基于傳統(tǒng)分布式系統(tǒng)衍生出來的針對數(shù)據(jù)密集型應用的智能數(shù)據(jù)服務方法。
具體地，圖I示意性地示出了根據(jù)本發(fā)明第一實施例的基于分布式系統(tǒng)的智能數(shù)據(jù)服務平臺架構。
如圖I所示，類似于絕大多數(shù)分布式文件系統(tǒng)和分布式數(shù)據(jù)庫，整個架構是典型的主從(Master/Slave)架構。例如，圖I所示的基于分布式系統(tǒng)的智能數(shù)據(jù)服務平臺架構包括一個主節(jié)點M以及多個從節(jié)點；具體地說，圖I中示出了包括η個從節(jié)點的情況，即第一從節(jié)點SI、第二從節(jié)點S2、第三從節(jié)點S3、……、第η從節(jié)點Sn。
其中，主節(jié)點M包括數(shù)據(jù)預處理分析引擎Ml以及全局元數(shù)據(jù)管理模塊M2。每個從節(jié)點均包括數(shù)據(jù)預處理引擎(S11、S21、S31、……、Snl)和數(shù)據(jù)存儲器(S12、S22、S32、……、 Sn2)。
外部計算設備pcm (作為客戶端)可對各個從節(jié)點進行可以通過不同的從節(jié)點讀寫文件。
分布式系統(tǒng)的主節(jié)點M管理全局文件命名空間，其提供的主要操作為監(jiān)測并管理從節(jié)點的正常運行；保存并更新所有從節(jié)點數(shù)據(jù)存儲的元數(shù)據(jù)；提供客戶端對數(shù)據(jù)請求的響應等。從節(jié)點(第一從節(jié)點SI、第二從節(jié)點S2、第三從節(jié)點S3、……、第η從節(jié)點Sn) 存儲海量數(shù)據(jù)，在主節(jié)點M的協(xié)調(diào)下直接向客戶端提供數(shù)據(jù)。
在本發(fā)明實施例的分布式系統(tǒng)中，數(shù)據(jù)仍然按照原始數(shù)據(jù)的形式進行存儲，不對文件進行分塊存儲，這是因為分布式系統(tǒng)采用單主節(jié)點配置，分塊會加大主節(jié)點進行元數(shù)據(jù)處理的開銷，同時在數(shù)據(jù)處理過程中不需要再對分塊整合，使得數(shù)據(jù)處理更加靈活。在分布式系統(tǒng)中存儲的文件直接通過文件路徑訪問，比如“/dirl/filel”，主節(jié)點維持分布式系統(tǒng)的全局文件系統(tǒng)的目錄。
在本發(fā)明實施例的分布式系統(tǒng)中，數(shù)據(jù)是冗余存儲的，一個文件可以冗余存儲在多個從節(jié)點中。這是由于分布式系統(tǒng)是采用商用的組件，單節(jié)點宕機后仍需要分布式系統(tǒng)能夠正常使用。冗余存儲的另一個優(yōu)點是在發(fā)生讀寫熱點，即多個客戶端集中讀寫少數(shù)的幾個文件時，多個客戶端可以通過不同的從節(jié)點讀寫文件，提高可用帶寬。
本發(fā)明實施例的分布式系統(tǒng)的一個典型特征是數(shù)據(jù)存儲和數(shù)據(jù)處理緊耦合，本發(fā)明實施例的智能數(shù)據(jù)服務方法充分利用了這個特征。在分布式系統(tǒng)中，不僅提供了海量數(shù)據(jù)的存儲管理組件，同時提供了數(shù)據(jù)的預處理引擎。
數(shù)據(jù)預處理引擎同樣分為主節(jié)點M的數(shù)據(jù)預處理分析引擎Ml和從節(jié)點的數(shù)據(jù)預處理引擎；由此，主節(jié)點M負責對客戶端的請求進行分析處理，選擇具體的數(shù)據(jù)預處理程序，分發(fā)到從節(jié)點以進行后續(xù)的數(shù)據(jù)預處理和傳輸操作。從節(jié)點的預處理引擎內(nèi)置提供多種數(shù)據(jù)預處理程序，同時允許用戶進行擴展，只需要采用預處理引擎提供的統(tǒng)一編程接口。
<第二實施例>
圖2示意性地示出了根據(jù)本發(fā)明第二實施例的向分布式系統(tǒng)寫入文件的流程的示意圖。其中，向分布式系統(tǒng)寫入文件的過程不會對數(shù)據(jù)進行預處理。在此，假設分布式系統(tǒng)中具有三個從節(jié)點第一從節(jié)點SI、第二從節(jié)點S2、第三從節(jié)點S3，但是顯然分布式系統(tǒng)中從節(jié)點的數(shù)量不限于三個，而是可以是任意合適數(shù)量。
具體地說，如圖2所示，根據(jù)本發(fā)明第二實施例的向分布式系統(tǒng)寫入文件的流程包括
第一寫入步驟al :客戶端pcml向主節(jié)點M詢問需要寫入的文件是否在分布式系統(tǒng)中存在。
第二寫入步驟bl :如果需要寫入的文件存在分布式系統(tǒng)，主節(jié)點M向客戶端pcml 發(fā)送文件的元數(shù)據(jù)，其中包括文件的信息和文件所處的從節(jié)點信息，向分布式系統(tǒng)寫入文件的流程進入第三寫入步驟Cl ;如果需要寫入的文件不存在分布式系統(tǒng)，那就需要寫入新的文件，主節(jié)點M向客戶端pcml返回可寫入文件的從節(jié)點列表。
第三寫入步驟Cl :客戶端pcml根據(jù)第二寫入步驟bl返回的文件元數(shù)據(jù)及從節(jié)點信息向其中一個從節(jié)點寫入文件。分布式系統(tǒng)會在后臺進行所有文件的備份，所以此時只需要向一個從節(jié)點寫入文件即可。
第四寫入步驟dl :從節(jié)點接收客戶端pcml數(shù)據(jù)流并寫入文件，如果成功完成向主節(jié)點M發(fā)送成功信息,并同時向客戶端pcml發(fā)送確認信息,客戶端pcml收到確認信息后完成操作。如果確認信息不成功，重復第二寫入步驟bl的操作。
第五寫入步驟el :主節(jié)點M收到從節(jié)點完成數(shù)據(jù)寫入的信息后更新元數(shù)據(jù)。
<第三實施例>
圖3示意性地示出了根據(jù)本發(fā)明第三實施例的從分布式系統(tǒng)讀取文件的流程的示意圖。在此，假設分布式系統(tǒng)中具有三個從節(jié)點第一從節(jié)點SI、第二從節(jié)點S2、第三從節(jié)點S3，但是顯然分布式系統(tǒng)中從節(jié)點的數(shù)量不限于三個，而是可以是任意合適數(shù)量。
根據(jù)本發(fā)明第三實施例的從分布式系統(tǒng)讀取文件的流程包括
第一讀取步驟a2 :客戶端pcml向主節(jié)點M發(fā)送數(shù)據(jù)請求，其中包括文件路徑和所需要的預處理。
第二讀取步驟b2 :主節(jié)點M對客戶端pcml的數(shù)據(jù)請求進行分析，可以確定所需文件所處的從節(jié)點和所需要的預處理程序，直接對所需文件進行預處理操作，并且向客戶單返回中間數(shù)據(jù)所處的從節(jié)點。
第三讀取步驟c2 :客戶端pcml直接向中間數(shù)據(jù)所處的從節(jié)點進行數(shù)據(jù)請求,從節(jié)點會根據(jù)數(shù)據(jù)數(shù)據(jù)預處理的情況返回給客戶端pcml所需數(shù)據(jù)。
〈第四實施例〉
圖4示意性地示出了根據(jù)本發(fā)明第四實施例的分布式系統(tǒng)內(nèi)部預處理流程的示意圖。在實際中，分布式系統(tǒng)內(nèi)部的數(shù)據(jù)需要進行多次預處理，并且不需要將其導出分布式系統(tǒng)。并且，在此，假設分布式系統(tǒng)中具有三個從節(jié)點第一從節(jié)點SI、第二從節(jié)點S2、第三從節(jié)點S3，但是顯然分布式系統(tǒng)中從節(jié)點的數(shù)量不限于三個，而是可以是任意合適數(shù)量。
具體地說，如圖4所示，根據(jù)本發(fā)明第四實施例的分布式系統(tǒng)內(nèi)部預處理流程包括
第一預處理步驟a3 :客戶端pcml向主節(jié)點M發(fā)送數(shù)據(jù)預處理操作，并根據(jù)需要編寫更加復雜的數(shù)據(jù)預處理程序。
第二預處理步驟b3 :主節(jié)點M根據(jù)數(shù)據(jù)預處理處理請求指定從節(jié)點通過數(shù)據(jù)預處理引擎對本地文件進行數(shù)據(jù)預處理，從節(jié)點完成后發(fā)送給主節(jié)點M成功信息。
第三預處理步驟c3 :主節(jié)點M根據(jù)從節(jié)點發(fā)送的成功信息更新元數(shù)據(jù)。
前面所描述的智能數(shù)據(jù)服務方法主要在數(shù)據(jù)密集型應用中利用現(xiàn)有的分布式系統(tǒng)及相關軟件，快速搭建適用于數(shù)據(jù)密集型應用的智能數(shù)據(jù)服務平臺。而且，在實際實施中，分布式系統(tǒng)已經(jīng)有很多的軟件可選，比如專門用戶文件服務的分布式文件系統(tǒng)，計算和數(shù)據(jù)存儲相結合的Hadoop和HDFS, Sector&Sphere,本發(fā)明的實現(xiàn)可盡量使用現(xiàn)有的軟件棧，這些分布式文件系統(tǒng)和分布式計算系統(tǒng)都可以用于構建智能數(shù)據(jù)服務平臺。需要做的就是在這些分布式系統(tǒng)之上加入數(shù)據(jù)預處理分析引擎及數(shù)據(jù)預處理引擎，以實現(xiàn)數(shù)據(jù)讀寫、系統(tǒng)內(nèi)部數(shù)據(jù)預處理等操作，構建智能數(shù)據(jù)服務平臺。
由此，根據(jù)本發(fā)明實施例的基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法至少具有下述優(yōu)勢
I.本發(fā)明實施例解決了在數(shù)據(jù)密集型應用環(huán)境下，如何將現(xiàn)有的分布式系統(tǒng)存儲空間快速聚合，并向外部計算設備提供數(shù)據(jù)服務的問題；
2.本發(fā)明實施例充分利用分布式系統(tǒng)計算資源，根據(jù)外部計算設備的需求智能地提供數(shù)據(jù)服務；
3.本發(fā)明實施例將部分數(shù)據(jù)處理負載從外部計算設備轉(zhuǎn)移到分布式系統(tǒng)中，從而減少向外部計算設備提供數(shù)據(jù)服務的帶寬需求。
此外，需要說明的是，說明書中的術語“第一”、“第二”、“第三”等描述，除非特別限定，否則僅僅用于區(qū)分說明書中的各個組件、元素、步驟等，而不是用于表示各個組件、元素、步驟之間的邏輯關系或者順序關系等。
可以理解的是，雖然本發(fā)明已以較佳實施例披露如上，然而上述實施例并非用以限定本發(fā)明。對于任何熟悉本領域的技術人員而言，在不脫離本發(fā)明技術方案范圍情況下， 都可利用上述揭示的技術內(nèi)容對本發(fā)明技術方案作出許多可能的變動和修飾，或修改為等同變化的等效實施例。因此，凡是未脫離本發(fā)明技術方案的內(nèi)容，依據(jù)本發(fā)明的技術實質(zhì)對以上實施例所做的任何簡單修改、等同變化及修飾，均仍屬于本發(fā)明技術方案保護的范圍內(nèi)。
權利要求
1.一種基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法，其特征在于包括利用分布式系統(tǒng)的主節(jié)點管理全局文件命名空間；并且，在向分布式系統(tǒng)寫入文件的流程、從分布式系統(tǒng)讀取文件的流程、以及從分布式系統(tǒng)讀取文件的流程中，利用分布式系統(tǒng)的主節(jié)點對客戶端的請求進行分析處理，選擇具體的數(shù)據(jù)預處理程序，分發(fā)到分布式系統(tǒng)的從節(jié)點以進行后續(xù)的數(shù)據(jù)預處理和傳輸操作。
2.根據(jù)權利要求I所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法，其特征在于，主節(jié)點監(jiān)測并管理從節(jié)點的正常運行，保存并更新所有從節(jié)點數(shù)據(jù)存儲的元數(shù)據(jù)，以及提供客戶端對數(shù)據(jù)請求的響應。
3.根據(jù)權利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法，其特征在于，主節(jié)點維持分布式系統(tǒng)的全局文件系統(tǒng)的目錄。
4.根據(jù)權利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法，其特征在于，在分布式系統(tǒng)中，數(shù)據(jù)按照原始數(shù)據(jù)的形式進行存儲，不對文件進行分塊存儲。
5.根據(jù)權利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法，其特征在于，在分布式系統(tǒng)中，數(shù)據(jù)是冗余存儲的，從而一個文件可以冗余存儲在多個從節(jié)點中。
6.根據(jù)權利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法，其特征在于，向分布式系統(tǒng)寫入文件的流程包括第一寫入步驟客戶端向主節(jié)點詢問需要寫入的文件是否在分布式系統(tǒng)中存在；第二寫入步驟如果需要寫入的文件存在分布式系統(tǒng)，主節(jié)點向客戶端發(fā)送文件的元數(shù)據(jù)，其中包括文件的信息和文件所處的從節(jié)點信息，向分布式系統(tǒng)寫入文件的流程進入第三寫入步驟；如果需要寫入的文件不存在分布式系統(tǒng)，主節(jié)點向客戶端返回可寫入文件的從節(jié)點列表；第三寫入步驟客戶端根據(jù)第二寫入步驟返回的文件元數(shù)據(jù)及從節(jié)點信息向其中一個從節(jié)點寫入文件；第四寫入步驟從節(jié)點接收客戶端數(shù)據(jù)流并寫入文件，如果成功完成向主節(jié)點發(fā)送成功信息，并同時向客戶端發(fā)送確認信息，客戶端收到確認信息后完成操作；如果確認信息不成功，重復第二寫入步驟的操作；第五寫入步驟主節(jié)點收到從節(jié)點完成數(shù)據(jù)寫入的信息后更新元數(shù)據(jù)。
7.根據(jù)權利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法，其特征在于，向分布式系統(tǒng)寫入文件的過程不會對數(shù)據(jù)進行預處理。
8.根據(jù)權利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法，其特征在于，從分布式系統(tǒng)讀取文件的流程包括第一讀取步驟客戶端向主節(jié)點發(fā)送數(shù)據(jù)請求，其中包括文件路徑和所需要的預處理；第二讀取步驟主節(jié)點對客戶端的數(shù)據(jù)請求進行分析，確定所需文件所處的從節(jié)點和所需要的預處理程序，直接對所需文件進行預處理操作，并且向客戶單返回中間數(shù)據(jù)所處的從節(jié)點；第三讀取步驟客戶端直接向中間數(shù)據(jù)所處的從節(jié)點進行數(shù)據(jù)請求，從節(jié)點根據(jù)數(shù)據(jù)數(shù)據(jù)預處理的情況返回給客戶端所需數(shù)據(jù)。
9.根據(jù)權利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法，其特征在于，從分布式系統(tǒng)讀取文件的流程包括第一預處理步驟客戶端向主節(jié)點發(fā)送數(shù)據(jù)預處理操作，并根據(jù)需要編寫更加復雜的數(shù)據(jù)預處理程序；第二預處理步驟主節(jié)點根據(jù)數(shù)據(jù)預處理處理請求指定從節(jié)點通過數(shù)據(jù)預處理引擎對本地文件進行數(shù)據(jù)預處理，從節(jié)點完成后發(fā)送給主節(jié)點成功信息；第三預處理步驟主節(jié)點根據(jù)從節(jié)點發(fā)送的成功信息更新元數(shù)據(jù)。
全文摘要
本發(fā)明提供了一種基于分布式系統(tǒng)的智能數(shù)據(jù)服務方法。利用分布式系統(tǒng)的主節(jié)點管理全局文件命名空間；并且，在向分布式系統(tǒng)寫入文件的流程、從分布式系統(tǒng)讀取文件的流程、以及從分布式系統(tǒng)讀取文件的流程中，利用分布式系統(tǒng)的主節(jié)點對客戶端的請求進行分析處理，選擇具體的數(shù)據(jù)預處理程序，分發(fā)到分布式系統(tǒng)的從節(jié)點以進行后續(xù)的數(shù)據(jù)預處理和傳輸操作。本發(fā)明能夠在數(shù)據(jù)密集型應用環(huán)境下，將現(xiàn)有的分布式系統(tǒng)存儲空間快速聚合；而且，本發(fā)明充分利用分布式系統(tǒng)計算資源，能夠根據(jù)外部計算設備的需求智能地提供數(shù)據(jù)服務；并且，本發(fā)明將部分數(shù)據(jù)處理負載從外部計算設備轉(zhuǎn)移到分布式系統(tǒng)中，從而減少向外部計算設備提供數(shù)據(jù)服務的帶寬需求。
文檔編號G06F17/30GK102937964SQ20121037240
公開日2013年2月20日 申請日期2012年9月28日 優(yōu)先權日2012年9月28日
發(fā)明者謝向輝, 臧春峰, 吳東, 郝子宇, 原昊, 錢磊, 張魯飛, 胡蘇太 申請人:無錫江南計算技術研究所