一種基于云計算的北斗林業(yè)數(shù)據(jù)采集與處理方法
【專利說明】
一、技術(shù)領(lǐng)域
[0001]本發(fā)明是一種林業(yè)數(shù)據(jù)采集與處理方法，特別是一種基于北斗衛(wèi)星的林業(yè)數(shù)據(jù)采集方法和基于云計算平臺的林業(yè)數(shù)據(jù)處理與應(yīng)用方法。
二、技術(shù)背景
[0002]林業(yè)作為我國傳統(tǒng)行業(yè)，在我國生態(tài)環(huán)境、生態(tài)文明建設(shè)中起著十分重要的作用。然而，傳統(tǒng)的林業(yè)數(shù)據(jù)采集與處理信息化程度較低。林業(yè)野外數(shù)據(jù)采集大量使用紙質(zhì)文檔，每次調(diào)查都需要都要攜帶各類調(diào)查卡片，手工記錄調(diào)查數(shù)據(jù)，內(nèi)業(yè)還要將數(shù)據(jù)錄入到系統(tǒng)中。傳統(tǒng)的野外作業(yè)方式消耗人力資源大，工作效率低，且易發(fā)生調(diào)查卡片丟失、污損、數(shù)據(jù)錄入錯誤及人為誤差等情況，制約著現(xiàn)今野外作業(yè)調(diào)查的效率。在日常的巡山護林等工作中，由于采用紙質(zhì)登記方式對每日巡山護林狀況進行記錄，容易發(fā)生工作人員少巡漏巡作業(yè)區(qū)的情況，有關(guān)部門缺乏必要的監(jiān)管；作業(yè)人員在野外如遇突發(fā)情況，也難快速確定事發(fā)位置，不便救援力量及時抵達。
[0003]林業(yè)中的應(yīng)用已由單一的數(shù)據(jù)采集階段，經(jīng)過信息管理階段，進入到了數(shù)據(jù)挖掘與知識發(fā)現(xiàn)階段，通過數(shù)據(jù)挖掘幫助森林資源管理者明確目標，建立和修改模型，提供多種優(yōu)化方案，以提高決策能力及決策效益，實現(xiàn)科學(xué)管理、集約經(jīng)營、提高森林經(jīng)營水平和森林可持續(xù)發(fā)展，使林業(yè)從過去單一、粗放的經(jīng)營管理模式走向精準、系統(tǒng)的模式。
[0004]然而，林業(yè)數(shù)據(jù)是關(guān)于地球表面信息的數(shù)據(jù)，具有區(qū)域性、多維性和時序性，是連接各種信息形成一個在空間和時間上連續(xù)分布的綜合信息的基礎(chǔ)。海量林業(yè)數(shù)據(jù)成為林業(yè)數(shù)據(jù)挖掘的一個瓶頸，傳統(tǒng)林業(yè)數(shù)據(jù)挖掘方法已經(jīng)不能滿足處理海量林業(yè)數(shù)據(jù)的需要。
[0005]鑒于傳統(tǒng)林業(yè)數(shù)據(jù)挖掘方法的種種弊端，本發(fā)明對林業(yè)數(shù)據(jù)采集和處理的方法了改進和創(chuàng)新，利用北斗衛(wèi)星定位PDA，對林業(yè)小班數(shù)據(jù)進行采集，利用Hadoop中MapReduce算法，將海量林業(yè)數(shù)據(jù)轉(zhuǎn)化為HDSF文件，調(diào)用Hadoop中的JPA建立決策樹的算法，實現(xiàn)對林業(yè)數(shù)據(jù)的挖掘，從而提高程序執(zhí)行效率，減少程序執(zhí)行時間。
三、
【發(fā)明內(nèi)容】

[0006]為克服傳統(tǒng)林業(yè)數(shù)據(jù)采集和處理的缺點，本發(fā)明提供一種新型的林業(yè)數(shù)據(jù)采集與處理方法，其特征是:首先，利用北斗衛(wèi)星PDA采集器進行林業(yè)小班數(shù)據(jù)采集，通過PDA將林業(yè)數(shù)據(jù)發(fā)布到GIS Server云端。其次，構(gòu)建基于Hadoop平臺的云計算平臺，利用MapReduce算法實現(xiàn)對林業(yè)數(shù)據(jù)的挖掘。
[0007]主要
【發(fā)明內(nèi)容】
:
[0008](I)利用北斗進行數(shù)據(jù)采集取代傳統(tǒng)紙質(zhì)文檔數(shù)據(jù)采集工作，能夠?qū)σ巴庾鳂I(yè)過程中相關(guān)信息進行采集錄入，采集的數(shù)據(jù)通過北斗PDA傳輸?shù)紾IS Server的云端，GISServer對傳輸?shù)腦ML文件進行讀取入庫，采集到的數(shù)據(jù)存儲到云端。
[0009](2)海量信息快捷處理，將北斗采集到的存儲在云端的林業(yè)數(shù)據(jù)結(jié)合云端其他林業(yè)屬性數(shù)據(jù)和空間數(shù)據(jù)，構(gòu)建基于Hadoop的云計算平臺，利用MapReduce算法，編制決策樹算法，實現(xiàn)對林業(yè)數(shù)據(jù)的智能挖掘。
[0010]本項發(fā)明與現(xiàn)有方法相比具有以下優(yōu)點:
[0011](I)數(shù)據(jù)采集方便，利用北斗衛(wèi)星定位PDA，進行林業(yè)數(shù)據(jù)采集，可以代替紙質(zhì)記錄傳統(tǒng)作業(yè)方法，數(shù)據(jù)采集效率高，且能夠進行定位，樹木位置和人移動的位置可以在GIS云端上顯示。
[0012](2)基于云計算的海量林業(yè)數(shù)據(jù)處理的是利用云計算的并行處理和海量存儲能力，解決了數(shù)據(jù)挖掘面臨的海量數(shù)據(jù)處理問題。本發(fā)明云計算采用的是MapReduce新型計算模型，現(xiàn)有的數(shù)據(jù)挖掘算法和并行化策略進行一定程度的改造，直接應(yīng)用在云計算平臺上進行海量數(shù)據(jù)挖掘任務(wù)，提升軟件處理效率。
四、【具體實施方式】
[0013]基于云計算的林業(yè)數(shù)據(jù)挖掘方法與現(xiàn)有方法不同，具體在于:
[0014](I)利用北斗衛(wèi)星PDA采集器，采集林業(yè)小班數(shù)據(jù)，記錄小班編號、土壤類別、小班面積、森林類別、林種、林分起源、坡度、坡位、土壤名稱、土壤厚度、優(yōu)勢樹種、植被高度、植被蓋度等信息。通過PAD將這些林業(yè)數(shù)據(jù)上傳到ArcGIS Server云端。
[0015](2)安裝Ubuntu操作系統(tǒng)，在該Iinux系統(tǒng)上安裝hadoop，部署NameNode，master，jobTracker master作為中心服務(wù)器，其他作為從屬服務(wù)器，并ping接成功，構(gòu)建基于Hadoop的云計算平臺。
[0016](3)將海量林業(yè)數(shù)據(jù)文件直接上傳至Hadoop的HDFS中進行存儲，用FileSystemAPI讀取林業(yè)數(shù)據(jù)文件。再次，利用MapReduce對林業(yè)數(shù)據(jù)進行分塊化操作，使用分布式數(shù)據(jù)倉庫Hive從分布式數(shù)據(jù)庫HBase中獲取。部署決策樹C5.0算法。
[0017](4)利用調(diào)用Hadoop中的JPA建立決策樹的算法，林業(yè)數(shù)據(jù)被分配到多個mapper，調(diào)用BuildTree對林業(yè)數(shù)據(jù)進行挖掘，以林業(yè)小班位單位進行聚類，達到對海量林業(yè)數(shù)據(jù)挖掘的目標。
【主權(quán)項】
1.一種基于云計算的北斗林業(yè)數(shù)據(jù)采集與處理方法，其特征是:首先，利用北斗PDA對林業(yè)小班數(shù)據(jù)進行采集，將采集到的數(shù)據(jù)存儲在GIS Server云端。其次，安裝Ubuntu操作系統(tǒng)，在該 Iinux 系統(tǒng)上安裝 hadoop，部署 NameNode，master, jobTracker master 作為中心服務(wù)器，其他作為從屬服務(wù)器，并ping接成功，構(gòu)建基于Hadoop的云計算平臺。再次，將海量林業(yè)數(shù)據(jù)文件直接上傳至Hadoop的HDFS中進行存儲，用FileSystem API讀取林業(yè)數(shù)據(jù)文件。利用MapReduce對林業(yè)數(shù)據(jù)進行分塊化操作，使用分布式數(shù)據(jù)倉庫Hive從分布式數(shù)據(jù)庫HBase中獲取。部署決策樹C5.0算法。最后，利用調(diào)用Hadoop中的JPA建立決策樹的算法，林業(yè)數(shù)據(jù)被分配到多個mapper，調(diào)用BuildTree對林業(yè)數(shù)據(jù)進行挖掘，進而發(fā)現(xiàn)林業(yè)知識。
【專利摘要】本發(fā)明公開了一種基于云計算北斗林業(yè)數(shù)據(jù)采集與處理方法。其特征是：利用北斗衛(wèi)星定位PDA對林業(yè)小班數(shù)據(jù)進行采集，并存儲到GIS？Server云端。根據(jù)Hadoop平臺的MapReduce算法，處理具有時間屬性和空間屬性的林業(yè)海量HDFS文件，部署決策樹C5.0算法，使用Hadoop中的JPA建立決策樹的算法，可實現(xiàn)對林業(yè)數(shù)據(jù)處理和挖掘，發(fā)現(xiàn)林業(yè)知識。
【IPC分類】G06F17/30, G06K9/62
【公開號】CN105335497
【申請?zhí)枴緾N201510696594
【發(fā)明人】吳言松
【申請人】北斗恒星(北京)科技發(fā)展有限公司
【公開日】2016年2月17日
【申請日】2015年10月26日