專(zhuān)利名稱(chēng)：基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及云計(jì)算領(lǐng)域，特別涉及一種基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理方法及系統(tǒng)。
背景技術(shù)：
位置網(wǎng)的服務(wù)器存儲(chǔ)了大量的用戶(hù)位置信息資源、網(wǎng)絡(luò)分布位置信息資源、相關(guān)服務(wù)信息資源，提供了相關(guān)的服務(wù)擴(kuò)展平臺(tái)，因此我們?cè)谄涮峁┑姆?wù)平臺(tái)上構(gòu)建了位置網(wǎng)創(chuàng)新平臺(tái)。同時(shí)由于位置網(wǎng)采用MySql數(shù)據(jù)庫(kù)作為其位置數(shù)據(jù)存儲(chǔ)支持，隨著用戶(hù)數(shù)量的增加，這個(gè)數(shù)據(jù)存儲(chǔ)方式將不適用于海量數(shù)據(jù)的存儲(chǔ)，因此需要采用一個(gè)可存儲(chǔ)海量數(shù)據(jù)并具有良好的存取實(shí)時(shí)性的數(shù)據(jù)庫(kù)作為位置數(shù)據(jù)的存儲(chǔ)支持，因此我們可以考慮使用Hadoop的HBase分布式數(shù)據(jù)庫(kù)來(lái)替代MySql數(shù)據(jù)庫(kù)，因?yàn)镠Base數(shù)據(jù)庫(kù)具有良好的可擴(kuò)展性，實(shí)時(shí)性，適于位置數(shù)據(jù)信息的存儲(chǔ)。位置網(wǎng)的日志文件也記載了大量的網(wǎng)站數(shù)據(jù)操作日志信息。這些日志信息從一定程度上反映了用戶(hù)偏好，可通過(guò)對(duì)日志信息的分析獲取如網(wǎng)站訪(fǎng)問(wèn)的時(shí)間段偏好，網(wǎng)站訪(fǎng)問(wèn)偏好，位置信息訪(fǎng)問(wèn)偏好等信息。因此采用基于MapReduce框架的相關(guān)數(shù)據(jù)挖掘算法對(duì)海量的獲取相關(guān)統(tǒng)計(jì)信息，對(duì)于位置網(wǎng)的進(jìn)一步構(gòu)建能夠起到一定的引導(dǎo)作用。Hadoop是分布式的計(jì)算平臺(tái)，是對(duì)Google的云計(jì)算平臺(tái)的開(kāi)源實(shí)現(xiàn)。主要由HDFS和MapReduce構(gòu)成，HDFS主要用于實(shí)現(xiàn)對(duì)數(shù)據(jù)的分布式存儲(chǔ)，MapReduce框架主要用于對(duì)大規(guī)模數(shù)據(jù)的分布式計(jì)算。HBase是基于HDFS與MapReduce框架的一個(gè)面向列的適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的分布式數(shù)據(jù)庫(kù)。由于Hadoop平臺(tái)集分布式存儲(chǔ)與計(jì)算功能于一體,而且便于布置在大量的廉價(jià)機(jī)器上及其具有易擴(kuò)展、處理速度快、安全性高、易實(shí)現(xiàn)等特點(diǎn)，使得Hadoop平臺(tái)無(wú)論是在工業(yè)界還是在學(xué)術(shù)界都受到了越來(lái)越多的重視，而對(duì)Hadoop平臺(tái)的研發(fā)主要分為針對(duì)Hadoop平臺(tái)本身的優(yōu)化改進(jìn)以及基于Hadoop平臺(tái)的上層的應(yīng)用開(kāi)發(fā)。我們實(shí)現(xiàn)的基于Hadoop平臺(tái)的云主機(jī)計(jì)算技術(shù)主要是基于Hadoop平臺(tái)的上層應(yīng)用開(kāi)發(fā)，同時(shí)根據(jù)時(shí)間及性能需求實(shí)行相應(yīng)的改進(jìn)與優(yōu)化。Hadoop本身也為HDFS提供了網(wǎng)頁(yè)顯示和簡(jiǎn)單的操作功能，但是提供的操作功能很少，不實(shí)用，而且網(wǎng)頁(yè)的顯示形式不適合于普通用戶(hù)的使用，用戶(hù)體驗(yàn)差。而基于tomcat和Web-Dav雖然已經(jīng)能夠?qū)adoop文件系統(tǒng)mount到本地,但是這也需要用戶(hù)進(jìn)行下載、配置安裝相關(guān)軟件，這對(duì)于某些用戶(hù)(如數(shù)據(jù)分析人員)來(lái)說(shuō)顯然是繁瑣的，而且它現(xiàn)在提供的功能還不完善。同時(shí)Hadoop平臺(tái)提供的HBase分布式數(shù)據(jù)庫(kù)提供了不同語(yǔ)言的訪(fǎng)問(wèn)接口及可通過(guò)hbase shell命令進(jìn)行操作，但是這些方式都使得數(shù)據(jù)庫(kù)不適合于普通用戶(hù)的使用。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述的技術(shù)缺陷之一。為達(dá)到上述目的，本發(fā)明一方面的實(shí)施例提出一種基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理方法，包括以下步驟S1:根據(jù)位置網(wǎng)提供的服務(wù)構(gòu)建創(chuàng)新平臺(tái)的框架，并利用Hadoop平臺(tái)的HDFS與HBase將所述位置網(wǎng)數(shù)據(jù)庫(kù)的數(shù)據(jù)信息及用戶(hù)操作的信息轉(zhuǎn)移存儲(chǔ)到創(chuàng)新平臺(tái)的框架上構(gòu)建創(chuàng)新平臺(tái)；S2 :利用所述創(chuàng)新平臺(tái)提供的HDFS和HBase作為文件存儲(chǔ)和數(shù)據(jù)庫(kù)存儲(chǔ)的支撐，并利用平臺(tái)配置參數(shù)和表的路徑參數(shù)封裝用戶(hù)訪(fǎng)問(wèn)的API，通過(guò)云主機(jī)對(duì)文件系統(tǒng)和數(shù)據(jù)庫(kù)進(jìn)行操作和管理；以及S3 :根據(jù)所述創(chuàng)新平臺(tái)提供的存儲(chǔ)平臺(tái)對(duì)MapReduce編程框架對(duì)常用的關(guān)系代數(shù)算法和數(shù)據(jù)挖掘算法進(jìn)行封裝，提供云端開(kāi)發(fā)環(huán)境，并利用所述框架對(duì)常見(jiàn)分布式算法進(jìn)行封裝形成插件，為用戶(hù)數(shù)據(jù)提供計(jì)算處理能力。根據(jù)本發(fā)明實(shí)施例的方法，通過(guò)位置網(wǎng)位置與服務(wù)數(shù)據(jù)的轉(zhuǎn)移與計(jì)算學(xué)習(xí)，為位置網(wǎng)的進(jìn)一步構(gòu)建提供了相關(guān)統(tǒng)計(jì)數(shù)據(jù)信息，還對(duì)該平臺(tái)API進(jìn)行擴(kuò)展提供了相應(yīng)的數(shù)據(jù)操作管理與計(jì)算接口，同時(shí)提供了程序開(kāi)發(fā)平臺(tái)滿(mǎn)足用戶(hù)開(kāi)發(fā)需求。本發(fā)明的一個(gè)實(shí)施例中，所述步驟SI具體包括S11 :在所述位置網(wǎng)提供的服務(wù)器平臺(tái)上申請(qǐng)?jiān)品?wù)器的使用；S12 :將所述位置網(wǎng)的位置和服務(wù)數(shù)據(jù)轉(zhuǎn)移到創(chuàng)新平臺(tái)的數(shù)據(jù)庫(kù)中；S13 :對(duì)所述轉(zhuǎn)移數(shù)據(jù)根據(jù)不同數(shù)據(jù)挖掘算法進(jìn)行數(shù)據(jù)分析；以及S14 :將所述分析數(shù)據(jù)進(jìn)行統(tǒng)計(jì)并顯示。本發(fā)明的一個(gè)實(shí)施例中，所述步驟S2具體包括S21 :搭建支撐底層存儲(chǔ)與計(jì)算的Hadoop 平臺(tái)，其中，所述 Hadoop 平臺(tái)包括 HDFS、MapReduce 和 HBase ；S22 :整合 Hadoop 平臺(tái)提供的所述HDFS和HBase相關(guān)的API ；S23 :將所述API進(jìn)行二次開(kāi)發(fā)和封裝；以及S24 調(diào)用所述封裝的API生成數(shù)據(jù)存儲(chǔ)管理界面對(duì)用戶(hù)數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。本發(fā)明的一個(gè)實(shí)施例中，所述步驟S3具體包括S31 :對(duì)關(guān)系代數(shù)和數(shù)據(jù)挖掘算法采用MapReduce框架實(shí)現(xiàn)并進(jìn)行封裝形成插件；S32 :封裝集成基于Hadoop的分布式開(kāi)發(fā)環(huán)境；以及S33 :根據(jù)所述插件和集成平臺(tái)對(duì)用戶(hù)數(shù)據(jù)進(jìn)行處理。本發(fā)明的一個(gè)實(shí)施例中，所述HDFS和HBase作為底層的存儲(chǔ)支持，以所述HDFS和HBase提供的API接口作為數(shù)據(jù)操作與管理接口的調(diào)用接口，并基于MapReduce框架的封裝算法插件及開(kāi)發(fā)接口提供用戶(hù)數(shù)據(jù)的處理和計(jì)算。為達(dá)到上述目的，本發(fā)明的實(shí)施例另一方面提出一種基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理系統(tǒng)，包括創(chuàng)建模塊，用于根據(jù)位置網(wǎng)的提供服務(wù)構(gòu)建創(chuàng)建平臺(tái)的框架，并利用HDFS與HBase將所述位置網(wǎng)數(shù)據(jù)庫(kù)的數(shù)據(jù)信息及用戶(hù)操作的信息轉(zhuǎn)移存儲(chǔ)到創(chuàng)新平臺(tái)的框架上構(gòu)建創(chuàng)新平臺(tái)；封裝模塊，用于利用所述創(chuàng)新平臺(tái)提供的HDFS和HBase作為文件存儲(chǔ)和數(shù)據(jù)庫(kù)存儲(chǔ)的支撐，并利用平臺(tái)配置參數(shù)和表的路徑參數(shù)封裝用戶(hù)訪(fǎng)問(wèn)的API，通過(guò)云主機(jī)對(duì)文件系統(tǒng)和數(shù)據(jù)庫(kù)進(jìn)行操作和管理；以及插件模塊，用于根據(jù)所述創(chuàng)新平臺(tái)提供的存儲(chǔ)平臺(tái)對(duì)MapReduce編程框架對(duì)常用的關(guān)系代數(shù)算法和數(shù)據(jù)挖掘算法進(jìn)行封裝，提供云端開(kāi)發(fā)環(huán)境，并利用所述框架對(duì)常見(jiàn)分布式算法進(jìn)行封裝形成插件，為用戶(hù)數(shù)據(jù)提供計(jì)算處理能力。根據(jù)本發(fā)明實(shí)施例的系統(tǒng)，通過(guò)位置網(wǎng)位置與服務(wù)數(shù)據(jù)的轉(zhuǎn)移與計(jì)算學(xué)習(xí)，為位置網(wǎng)的進(jìn)一步構(gòu)建提供了相關(guān)統(tǒng)計(jì)數(shù)據(jù)信息，還對(duì)該平臺(tái)API進(jìn)行擴(kuò)展提供了相應(yīng)的數(shù)據(jù)操作管理與計(jì)算接口，同時(shí)提供了程序開(kāi)發(fā)平臺(tái)滿(mǎn)足用戶(hù)開(kāi)發(fā)需求。本發(fā)明的一個(gè)實(shí)施例中，所述創(chuàng)建模塊具體包括申請(qǐng)單元，用于在所述位置網(wǎng)提供的服務(wù)器平臺(tái)上申請(qǐng)?jiān)品?wù)器的使用；轉(zhuǎn)移單元，用于將所述位置網(wǎng)的位置和服務(wù)數(shù)據(jù)轉(zhuǎn)移到創(chuàng)新平臺(tái)的數(shù)據(jù)庫(kù)中；分析單元，用于對(duì)所述轉(zhuǎn)移數(shù)據(jù)根據(jù)不同數(shù)據(jù)挖掘算法進(jìn)行數(shù)據(jù)分析；以及統(tǒng)計(jì)顯示單元，用于將所述分析數(shù)據(jù)進(jìn)行統(tǒng)計(jì)并顯示。本發(fā)明的一個(gè)實(shí)施例中，所述封裝模塊具體包括搭建單元，用于搭建支撐底層存儲(chǔ)與計(jì)算的Hadoop平臺(tái)，其中，所述Hadoop平臺(tái)包括HDFS、MapReduce和HBase ;整合單元，用于整合Hadoop平臺(tái)提供的所述HDFS和HBase相關(guān)的API ;封裝單元,用于將所述API進(jìn)行二次開(kāi)發(fā)和封裝；以及操作管理單元，用于調(diào)用所述封裝的API生成數(shù)據(jù)存儲(chǔ)管理界面對(duì)用戶(hù)數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。本發(fā)明的一個(gè)實(shí)施例中，所述插件模塊包括插件單元，用于對(duì)關(guān)系代數(shù)和數(shù)據(jù)挖掘算法采用MapReduce框架實(shí)現(xiàn)并進(jìn)行封裝形成插件；集成單元，用于封裝集成基于Hadoop的分布式開(kāi)發(fā)環(huán)境；以及處理單元，用于根據(jù)所述插件和集成平臺(tái)對(duì)用戶(hù)數(shù)據(jù)進(jìn)行處理。本發(fā)明的一個(gè)實(shí)施例中，所述HDFS和HBase作為底層的存儲(chǔ)支持，以所述HDFS和HBase提供的API接口作為數(shù)據(jù)操作與管理接口的調(diào)用接口，并基于MapReduce框架的封裝算法插件及開(kāi)發(fā)接口提供用戶(hù)數(shù)據(jù)的處理和計(jì)算。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中圖1為根據(jù)本發(fā)明一個(gè)實(shí)施例的基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理方法的流程圖；圖2為根據(jù)本發(fā)明一個(gè)實(shí)施例的步驟SlOl的流程圖；圖3為根據(jù)本發(fā)明一個(gè)實(shí)施例的基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理系統(tǒng)的框架圖；圖4為根據(jù)本發(fā)明一個(gè)實(shí)施例的創(chuàng)建模塊的框架圖；圖5為根據(jù)本發(fā)明一個(gè)實(shí)施例的封裝模塊的框架圖；以及圖6為根據(jù)本發(fā)明一個(gè)實(shí)施例的插件模塊的框架圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，實(shí)施例的示例在附圖中示出，其中自始至終相同或類(lèi)似的標(biāo)號(hào)表示相同或類(lèi)似的元件或具有相同或類(lèi)似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。圖1為本發(fā)明實(shí)施例的基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理方法的流程圖。如圖1所示，根據(jù)本發(fā)明實(shí)施例的基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理方法，包括以下步驟步驟S101，根據(jù)位置網(wǎng)提供的服務(wù)構(gòu)建創(chuàng)新平臺(tái)的框架，并利用Hadoop平臺(tái)的HDFS與HBase將位置網(wǎng)數(shù)據(jù)庫(kù)的數(shù)據(jù)信息及用戶(hù)操作的信息轉(zhuǎn)移存儲(chǔ)到創(chuàng)新平臺(tái)的框架上構(gòu)建創(chuàng)新平臺(tái)。S201，在位置網(wǎng)提供的服務(wù)器平臺(tái)上申請(qǐng)?jiān)品?wù)器的使用。在利用位置網(wǎng)提供的服務(wù)平臺(tái)上，為用戶(hù)顯示了云端服務(wù)器信息，如內(nèi)核、內(nèi)存、硬盤(pán)的基本信息及其使用情況，使用戶(hù)通過(guò)相關(guān)參數(shù)進(jìn)行云服務(wù)器的使用申請(qǐng)。申請(qǐng)成功后用戶(hù)將獲取申請(qǐng)的云主機(jī)的登陸名及密碼，利用該用戶(hù)名及密碼即可到平臺(tái)上登陸進(jìn)行創(chuàng)新平臺(tái)。該創(chuàng)新平臺(tái)是以相關(guān)web技術(shù)作為前臺(tái)支持，以Hadoop框架作為后臺(tái)存儲(chǔ)與計(jì)算支持實(shí)現(xiàn)的。在本發(fā)明的一個(gè)實(shí)施例中，在位置網(wǎng)服務(wù)平臺(tái)上搭建創(chuàng)新平臺(tái)框架時(shí)，computerlnfo提供了云服務(wù)器的主機(jī)信息，如cpuInfo,memInfo, disklnfo信息，用戶(hù)可通過(guò)相關(guān)appPara參數(shù)來(lái)申請(qǐng)使用創(chuàng)新平臺(tái)。在利用位置網(wǎng)位置服務(wù)及日志數(shù)據(jù)信息構(gòu)建創(chuàng)新平臺(tái)過(guò)程主要涉及了如表I的參數(shù)。表I
權(quán)利要求
1.一種基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理方法，其特征在于，包括以下步驟 51:根據(jù)位置網(wǎng)提供的服務(wù)構(gòu)建創(chuàng)新平臺(tái)的框架，并利用Hadoop平臺(tái)的HDFS與HBase將所述位置網(wǎng)數(shù)據(jù)庫(kù)的數(shù)據(jù)信息及用戶(hù)操作的信息轉(zhuǎn)移存儲(chǔ)到創(chuàng)新平臺(tái)的框架上并進(jìn)行數(shù)據(jù)挖掘統(tǒng)計(jì)構(gòu)建創(chuàng)新平臺(tái)； 52:利用所述創(chuàng)新平臺(tái)提供的HDFS和HBase作為文件存儲(chǔ)和數(shù)據(jù)庫(kù)存儲(chǔ)的支撐，并利用平臺(tái)配置參數(shù)和表的路徑參數(shù)封裝用戶(hù)訪(fǎng)問(wèn)的API，通過(guò)云主機(jī)對(duì)文件系統(tǒng)和數(shù)據(jù)庫(kù)進(jìn)行操作和管理；以及 53:根據(jù)所述創(chuàng)新平臺(tái)提供的存儲(chǔ)平臺(tái)對(duì)MapReduce編程框架對(duì)常用的關(guān)系代數(shù)算法和數(shù)據(jù)挖掘算法進(jìn)行封裝，提供云端開(kāi)發(fā)環(huán)境，并利用所述框架對(duì)常見(jiàn)分布式算法進(jìn)行封裝形成插件，為用戶(hù)數(shù)據(jù)提供計(jì)算處理能力。
2.如權(quán)利要求1所述的基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理方法，其特征在于，所述步驟SI具體包括 511:在所述位置網(wǎng)提供的服務(wù)器平臺(tái)上申請(qǐng)?jiān)品?wù)器的使用； 512:將所述位置網(wǎng)的位置和服務(wù)數(shù)據(jù)轉(zhuǎn)移到創(chuàng)新平臺(tái)的數(shù)據(jù)庫(kù)中； 513:對(duì)所述轉(zhuǎn)移數(shù)據(jù)根據(jù)不同數(shù)據(jù)挖掘算法進(jìn)行數(shù)據(jù)分析；以及 514:將所述分析數(shù)據(jù)進(jìn)行統(tǒng)計(jì)并顯示。
3.如權(quán)利要求1所述的基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理方法，其特征在于，所述步驟S2進(jìn)一步包括 521:搭建支撐底層存儲(chǔ)與計(jì)算的Hadoop平臺(tái)，其中，所述Hadoop平臺(tái)包括HDFS、MapReduce 和 HBase ； 522:整合Hadoop平臺(tái)提供的所述HDFS和HBase相關(guān)的API ； 523:將所述API進(jìn)行二次開(kāi)發(fā)和封裝；以及 524:調(diào)用所述封裝的API生成數(shù)據(jù)存儲(chǔ)管理界面對(duì)用戶(hù)數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。
4.如權(quán)利要求1所述的基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理方法，其特征在于，所述步驟S3具體包括 531:對(duì)關(guān)系代數(shù)和數(shù)據(jù)挖掘算法采用MapReduce框架實(shí)現(xiàn)并進(jìn)行封裝形成插件； 532:封裝集成基于Hadoop的分布式開(kāi)發(fā)環(huán)境；以及 533:根據(jù)所述插件和集成平臺(tái)對(duì)用戶(hù)數(shù)據(jù)進(jìn)行處理。
5.如權(quán)利要求1-4所述的基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理方法，其特征在于，所述HDFS和HBase作為底層的存儲(chǔ)支持，以所述HDFS和HBase提供的API接口作為數(shù)據(jù)操作與管理接口的調(diào)用接口，并基于MapReduce框架的封裝算法插件及開(kāi)發(fā)接口提供用戶(hù)數(shù)據(jù)的處理和計(jì)算。
6.一種基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理系統(tǒng)，其特征在于，包括 創(chuàng)建模塊，用于根據(jù)位置網(wǎng)的提供服務(wù)構(gòu)建創(chuàng)建平臺(tái)的框架，并利用HDFS與HBase將所述位置網(wǎng)數(shù)據(jù)庫(kù)的數(shù)據(jù)信息及用戶(hù)操作的信息轉(zhuǎn)移存儲(chǔ)到創(chuàng)新平臺(tái)的框架上構(gòu)建創(chuàng)新平臺(tái)； 封裝模塊，用于利用所述創(chuàng)新平臺(tái)提供的HDFS和HBase作為文件存儲(chǔ)和數(shù)據(jù)庫(kù)存儲(chǔ)的支撐，并利用平臺(tái)配置參數(shù)和表的路徑參數(shù)封裝用戶(hù)訪(fǎng)問(wèn)的API，通過(guò)云主機(jī)對(duì)文件系統(tǒng)和數(shù)據(jù)庫(kù)進(jìn)行操作和管理；以及插件模塊，用于根據(jù)所述創(chuàng)新平臺(tái)提供的存儲(chǔ)平臺(tái)對(duì)MapReduce編程框架對(duì)常用的關(guān)系代數(shù)算法和數(shù)據(jù)挖掘算法進(jìn)行封裝，提供云端開(kāi)發(fā)環(huán)境，并利用所述框架對(duì)常見(jiàn)分布式算法進(jìn)行封裝形成插件，為用戶(hù)數(shù)據(jù)提供計(jì)算處理能力。
7.如權(quán)利要求6所述的基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理系統(tǒng)，其特征在于，所述創(chuàng)建模塊具體包括 申請(qǐng)單元，用于在所述位置網(wǎng)提供的服務(wù)器平臺(tái)上申請(qǐng)?jiān)品?wù)器的使用； 轉(zhuǎn)移單元，用于將所述位置網(wǎng)的位置和服務(wù)數(shù)據(jù)轉(zhuǎn)移到創(chuàng)新平臺(tái)的數(shù)據(jù)庫(kù)中； 分析單元，用于對(duì)所述轉(zhuǎn)移數(shù)據(jù)根據(jù)不同數(shù)據(jù)挖掘算法進(jìn)行數(shù)據(jù)分析；以及 統(tǒng)計(jì)顯示單元，用于將所述分析數(shù)據(jù)進(jìn)行統(tǒng)計(jì)并顯示。
8.如權(quán)利要求6所述的基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理系統(tǒng)，其特征在于，所訴封裝模塊具體包括 搭建單元，用于搭建支撐底層存儲(chǔ)與計(jì)算的Hadoop平臺(tái)，其中，所述Hadoop平臺(tái)包括HDFS、MapReduce 和 HBase ； 整合單元，用于整合Hadoop平臺(tái)提供的所述HDFS和HBase相關(guān)的API ； 封裝單元，用于將所述API進(jìn)行二次開(kāi)發(fā)和封裝；以及 操作管理單元，用于調(diào)用所述封裝的API生成數(shù)據(jù)存儲(chǔ)管理界面對(duì)用戶(hù)數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。
9.如權(quán)利要求8所述的基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理系統(tǒng)，其特征在于，所述插件模塊具體包括 插件單元，用于對(duì)關(guān)系代數(shù)和數(shù)據(jù)挖掘算法采用MapReduce框架實(shí)現(xiàn)并進(jìn)行封裝形成插件； 集成單元，用于封裝集成基于Hadoop的分布式開(kāi)發(fā)環(huán)境；以及 處理單元，用于根據(jù)所述插件和集成平臺(tái)對(duì)用戶(hù)數(shù)據(jù)進(jìn)行處理。
10.如權(quán)利要求6-9所述的基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理系統(tǒng)，其特征在于，所述HDFS和HBase作為底層的存儲(chǔ)支持，以所述HDFS和HBase提供的API接口作為數(shù)據(jù)操作與管理接口的調(diào)用接口，并基于MapReduce框架的封裝算法插件及開(kāi)發(fā)接口提供用戶(hù)數(shù)據(jù)的處理和計(jì)算。
全文摘要
本發(fā)明提出一種基于位置網(wǎng)的創(chuàng)新平臺(tái)數(shù)據(jù)管理方法及系統(tǒng)。其中，方法包括根據(jù)位置網(wǎng)提供的服務(wù)構(gòu)建創(chuàng)新平臺(tái)的框架，并利用Hadoop平臺(tái)的HDFS與HBase將位置網(wǎng)數(shù)據(jù)庫(kù)的數(shù)據(jù)信息及用戶(hù)操作的信息轉(zhuǎn)移存儲(chǔ)到創(chuàng)新平臺(tái)的框架上構(gòu)建創(chuàng)新平臺(tái)；利用創(chuàng)新平臺(tái)提供的HDFS和HBase作為文件存儲(chǔ)和數(shù)據(jù)庫(kù)存儲(chǔ)的支撐，并利用平臺(tái)參數(shù)封裝用戶(hù)訪(fǎng)問(wèn)的API，使用戶(hù)通過(guò)云桌面實(shí)現(xiàn)對(duì)分布式文件系統(tǒng)和數(shù)據(jù)庫(kù)的操作與管理；以及根據(jù)MapReduce編程框架對(duì)常用的關(guān)系代數(shù)算法和分布式數(shù)據(jù)挖掘算法進(jìn)行封裝并集成開(kāi)發(fā)環(huán)境進(jìn)行數(shù)據(jù)預(yù)處理。根據(jù)本發(fā)明實(shí)施的方法，通過(guò)位置網(wǎng)位置與服務(wù)數(shù)據(jù)的轉(zhuǎn)移與計(jì)算，為位置網(wǎng)的構(gòu)建提供了相關(guān)統(tǒng)計(jì)數(shù)據(jù)信息，還對(duì)該平臺(tái)API進(jìn)行擴(kuò)展提供了數(shù)據(jù)計(jì)算操作與管理接口。
文檔編號(hào)G06F9/44GK103064670SQ20121055387
公開(kāi)日2013年4月24日 申請(qǐng)日期2012年12月18日 優(yōu)先權(quán)日2012年12月18日
發(fā)明者黃永峰, 羅芳, 鄭楓, 陳躋 申請(qǐng)人:清華大學(xué)