一種大規(guī)模柵格數(shù)據(jù)集的瓦片金字塔快速構(gòu)建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于地理信息處理技術(shù)領(lǐng)域，涉及一種地理信息系統(tǒng)中大規(guī)模柵格影像數(shù)據(jù)集的瓦片金字塔快速構(gòu)建方法。
【背景技術(shù)】
[0002]隨著地理空間數(shù)據(jù)獲取技術(shù)的發(fā)展，國內(nèi)外許多職能機(jī)構(gòu)、研究團(tuán)體已經(jīng)可以比較便利地獲得較高分辨的影像地圖。尤其是無人機(jī)航拍技術(shù)的突飛猛進(jìn)，使得獲取縣域、地區(qū)域范圍的高分辨率影像數(shù)據(jù)集成為可能。高分辨率影像數(shù)據(jù)一般以地理分布上連續(xù)、文件存儲(chǔ)上分立的大量相同格式的柵格數(shù)據(jù)存儲(chǔ)在磁盤文件系統(tǒng)中，而數(shù)據(jù)的大規(guī)模特性限制了其在傳統(tǒng)關(guān)系數(shù)據(jù)庫中的高效組織與索引訪問，成為其快速可視化的效率瓶頸。
[0003]現(xiàn)階段大規(guī)模柵格數(shù)據(jù)集的可視化通常需要大量數(shù)據(jù)預(yù)處理時(shí)間，主要消耗在影像拼接、構(gòu)建影像金字塔和瓦片金字塔等數(shù)據(jù)可視化準(zhǔn)備工作，實(shí)現(xiàn)可視化的速度已遠(yuǎn)遠(yuǎn)落后數(shù)據(jù)獲取速度。高效瓦片金字塔構(gòu)建是實(shí)現(xiàn)影像數(shù)據(jù)快速可視化的關(guān)鍵技術(shù)，ArcGIS、MapGIS、Baidu Map、Google Map等地理信息系統(tǒng)或地理數(shù)據(jù)服務(wù)均使用了瓦片技術(shù)來提高其地圖服務(wù)效率。但是業(yè)界現(xiàn)有的針對(duì)大規(guī)模柵格數(shù)據(jù)集的瓦片生成方法效率較低，已經(jīng)遠(yuǎn)不能適應(yīng)當(dāng)前地理數(shù)據(jù)集規(guī)模日益增大的趨勢(shì)。因此，如何在地理信息系統(tǒng)(GIS)中提供大規(guī)模柵格數(shù)據(jù)集的快速可視化服務(wù)成為亟待解決的技術(shù)難題。
[0004]前人的研究逐漸形成一套大規(guī)模數(shù)據(jù)集瓦片金字塔構(gòu)建的通用流程，主要包括影像拼接、構(gòu)建金字塔、瓦片切分等基本步驟，需要使用地理信息系統(tǒng)或其他影像處理工具。在GIS和各種地圖應(yīng)用中進(jìn)行地圖縮放是極為常見的用戶操作場(chǎng)景，為了能快速顯示不同縮放尺度下的地圖結(jié)果，GIS最常見的做法就是建立影像金字塔緩存結(jié)構(gòu)，用戶端發(fā)送請(qǐng)求后直接調(diào)用影像金字塔相應(yīng)層級(jí)的數(shù)據(jù)，以達(dá)到快速繪制的目的。
[0005]影像金字塔是由原始圖像按一定重采樣規(guī)則生成的由細(xì)到粗、數(shù)據(jù)量由大到小不同分辨率層次的影像集，是一種典型的分層數(shù)據(jù)結(jié)構(gòu)形式，適合于柵格數(shù)據(jù)的多分辨率組織，影像顯示時(shí)只需進(jìn)行少量的計(jì)算和少量的查詢，可以顯著減小影像繪制時(shí)間，所以成為地理信息系統(tǒng)提高可視化速率廣泛采用的數(shù)據(jù)結(jié)構(gòu)。如果地圖覆蓋地理范圍過大，當(dāng)視口范圍很小，需要調(diào)用分辨率較高的金字塔層級(jí)數(shù)據(jù)時(shí)，遍歷整層數(shù)據(jù)，按像素粒度來查詢視口范圍內(nèi)的數(shù)據(jù)將會(huì)消耗很長的時(shí)間。而在大量用戶并發(fā)訪問數(shù)據(jù)的應(yīng)用場(chǎng)景中，直接使用原始影像金字塔繪制地圖的性能變得十分緩慢。為克服遍歷檢索的低效性，瓦片切分技術(shù)應(yīng)運(yùn)而生。在構(gòu)建好的影像金字塔基礎(chǔ)上，再對(duì)大幅影像數(shù)據(jù)維護(hù)一個(gè)瓦片金字塔緩存，訪問時(shí)只需要調(diào)用相應(yīng)分辨率的瓦片數(shù)據(jù)即可，極大地提高了繪制地圖的高并發(fā)性能，使基于Web的GIS地圖服務(wù)滿足大規(guī)模的用戶需求成為可能。
[0006]從研究現(xiàn)狀來看，現(xiàn)有的GIS系統(tǒng)需要進(jìn)行圖像拼接、金字塔構(gòu)建等預(yù)處理流程才能生成完整的瓦片金字塔，以提供地圖瓦片服務(wù)，增加了數(shù)據(jù)集可視化的總體時(shí)間。而且在數(shù)據(jù)處理的過程中，較少采用并行化的思路，不能有效利用硬件計(jì)算資源。按照這一套傳統(tǒng)流程處理大規(guī)模柵格數(shù)據(jù)集時(shí)，需要漫長的數(shù)據(jù)預(yù)處理時(shí)間，尤其是切分瓦片金字塔的效率極其低下，而針對(duì)構(gòu)建瓦片金字塔的構(gòu)建所做的優(yōu)化研究較少。

【發(fā)明內(nèi)容】

[0007]為解決上述技術(shù)問題，本發(fā)明提供了一種多層級(jí)自適應(yīng)的大規(guī)模柵格數(shù)據(jù)瓦片金字塔快速構(gòu)建方法。首先對(duì)發(fā)明中涉及的概念進(jìn)行說明，顯示層級(jí)是指視口內(nèi)地圖縮放的級(jí)數(shù)，不同層級(jí)顯示不同尺度級(jí)別的地圖視圖。層級(jí)數(shù)越小，顯示范圍越大，分辨率越低;層級(jí)數(shù)越大，顯示范圍越小，分辨率越高，一般最高層級(jí)視圖顯示分辨率所能達(dá)到的最高水平就是源數(shù)據(jù)的分辨率，即視口范圍內(nèi)的顯示原始影像數(shù)據(jù)。本發(fā)明是基于開源繪制渲染引擎Mapnik實(shí)現(xiàn)的。具體技術(shù)方案為一種大規(guī)模柵格數(shù)據(jù)集的瓦片金字塔快速構(gòu)建方法，包括以下步驟:
[0008](SI)獲取包含影像文件的數(shù)據(jù)集;所述影像文件均為柵格形式。
[0009](S2)遍歷數(shù)據(jù)集中的柵格影像文件，讀取所有影像文件的最小外包框，建立空間索引文件，并將空間索引文件存儲(chǔ)至文件系統(tǒng)中；
[0010](S3)初始化，設(shè)定瓦片金字塔最大層級(jí)數(shù)為MaX_LeVel，設(shè)定影像文件數(shù)量閾值；定義迭代變量k，初始值為Max_Level;其中，Max_Level，k為整數(shù)；
[0011](S4)比較當(dāng)前層級(jí)單個(gè)瓦片范圍檢索到的影像文件數(shù)量與設(shè)定閾值的大小關(guān)系；
[0012]若小于等于設(shè)定閾值，遍歷該層級(jí)的每一個(gè)瓦片，以其范圍為查詢窗，通過步驟
(S2)建立的空間索引文件檢索相交的影像文件，生成每個(gè)瓦片的xml樣式字符串傳遞給Mapnik繪制引擎，繪制該層級(jí)的所有瓦片數(shù)據(jù)，存入瓦片金字塔的相應(yīng)層級(jí)；
[0013]若大于設(shè)定閾值，調(diào)用瓦片金字塔緩存中已生成的k+Ι層級(jí)的瓦片數(shù)據(jù)，隔行隔列重采樣生成k層級(jí)的瓦片數(shù)據(jù)，存入瓦片金字塔的相應(yīng)層級(jí)；
[0014](S5)將當(dāng)前層級(jí)數(shù)k減I，如果當(dāng)前層級(jí)數(shù)大于0，則返回步驟(S4);如果當(dāng)前層級(jí)數(shù)不大于O，則完整的瓦片金字塔已構(gòu)建完畢。
[0015]進(jìn)一步地，所述步驟(S2)建立空間索引文件的具體過程為:
[0016](S21)遍歷數(shù)據(jù)集，根據(jù)每個(gè)影像文件的最小包圍矩形大小選取合適的網(wǎng)格大小，網(wǎng)格邊長記為Gr i d_S ize；
[0017](S22)建立網(wǎng)格索引結(jié)構(gòu)，聲明一個(gè)覆蓋整個(gè)數(shù)據(jù)集范圍的二維數(shù)組，邏輯上對(duì)應(yīng)一個(gè)單元邊長為Grid_Size的網(wǎng)格；
[0018](S23)根據(jù)每個(gè)影像文件的最小包圍矩形與網(wǎng)格的相交情況將影像文件作為各自所屬網(wǎng)格的成員注冊(cè)到索引結(jié)構(gòu)的網(wǎng)格中，即建立了空間索引文件。
[0019]進(jìn)一步地，所述網(wǎng)格邊長為最小影像文件的最小包圍矩形的較小邊長的一半。
[0020]進(jìn)一步地，所述設(shè)定閾值等于30。
[0021]為更好的理解本發(fā)明，現(xiàn)將有關(guān)原理作進(jìn)一步說明，本發(fā)明中根據(jù)視口顯示層級(jí)動(dòng)態(tài)切換繪制策略的自適應(yīng)瓦片構(gòu)建方法，一般的GIS顯示層級(jí)數(shù)為20級(jí)，從中選擇一個(gè)中間門限層級(jí)視圖，記為Level N。即滿足上述設(shè)定的影像文件數(shù)量閾值對(duì)應(yīng)的層級(jí)；level N的確立是以每個(gè)層級(jí)的一個(gè)瓦片范圍相交的影像文件數(shù)量為參考依據(jù)的。
[0022]層級(jí)數(shù)高于levelN的部分，即金字塔低層的瓦片:調(diào)用開源切片工具M(jìn)apnikJg據(jù)每個(gè)瓦片的最小外包矩形(Minimum Boundary Rectangular，簡(jiǎn)稱MBR，也稱為最小包圍框)檢索其空間覆蓋范圍相交的柵格影像數(shù)據(jù)文件，隨著視口查詢窗的改變動(dòng)態(tài)生成xml樣式字符串，提供給Mapnik進(jìn)行切片(Mapnik是一個(gè)用來開發(fā)GIS應(yīng)用程序的工具包)，生成本層級(jí)相應(yīng)的瓦片數(shù)據(jù)。
[0023]層級(jí)數(shù)低于level N的部分，即金字塔高層的瓦片:以level N為基礎(chǔ)進(jìn)行間隔采樣合成，生成更高層級(jí)的瓦片切分?jǐn)?shù)據(jù)，建立起類金字塔結(jié)構(gòu)數(shù)據(jù)層，存于緩存中以待取用，當(dāng)縮小到低層次視圖時(shí)，只要調(diào)用相應(yīng)層級(jí)的切片數(shù)據(jù)即可快速顯示。
[0024]進(jìn)一步地，在遍歷數(shù)據(jù)集生成網(wǎng)格索引、查詢相交數(shù)據(jù)文件以及通過底層瓦片重采樣生成高層瓦片數(shù)據(jù)的過程中，各自采用并行化編程方法，使用多個(gè)進(jìn)程處理數(shù)據(jù)，例如，并行遍歷數(shù)據(jù)集建立索引、分區(qū)域劃塊并行查詢相交文件、分區(qū)域劃塊并行重采樣，以最大化地利用多核硬件環(huán)境，極大地提高了數(shù)據(jù)處理效率。
[0025]采用本發(fā)明獲得的有益效果是:(I)本發(fā)明所生成的影像瓦片金字塔緩存文件與地理空間數(shù)據(jù)抽象庫GDAL(Geospatial Data Abstract Library，地理數(shù)據(jù)抽象庫)和ArcGIS地圖服務(wù)生成的瓦片文件格式一致。GDAL是一個(gè)被廣泛應(yīng)用的地理信息處理開源庫，許多知名的地理地圖服務(wù)底層算法都是基于GDAL實(shí)現(xiàn)的;ArcGIS是業(yè)界領(lǐng)先的商業(yè)GIS軟件，廣泛應(yīng)用于各類影像處理和空間分析。(2)本發(fā)明構(gòu)建瓦片金字塔效率高。在物理上跳過了傳統(tǒng)的構(gòu)建影像金字塔步驟，直接通過根據(jù)不同層級(jí)采用不同策略的方式，高效建立瓦片金字塔，極大縮短了發(fā)布地圖可視化服務(wù)的時(shí)間周期。(3)本發(fā)明提出的在不同層級(jí)采用的兩種瓦片構(gòu)建策略均具有創(chuàng)新性。通過低層瓦片數(shù)據(jù)采樣生成高層瓦片數(shù)據(jù)是傳統(tǒng)構(gòu)建影像金字塔方法的迀移應(yīng)用;使用空間索引檢索瓦片范圍相交的影像文件極大減小了繪制引擎所需樣式文件的規(guī)模，適應(yīng)了大規(guī)模影像數(shù)據(jù)集中影像文件數(shù)量巨大的特點(diǎn)。(4)在遍歷數(shù)據(jù)集生成索引、查詢相交數(shù)據(jù)文件以及通過底層瓦片重采樣生成高層瓦片數(shù)據(jù)的全流程中，均采用并行化編程思想，使用多個(gè)進(jìn)程處理數(shù)據(jù)，更好地利用了當(dāng)前普遍部署的多核硬件環(huán)境，極大地提高了數(shù)據(jù)處理效率。
【附圖說明】
[0026]圖1是本發(fā)明的總體流程示意圖；
[0027]圖2是本發(fā)明建立的空間索引示意圖和網(wǎng)格索引數(shù)據(jù)結(jié)構(gòu)；
[0028]圖3是生成低層瓦片時(shí)一個(gè)查詢場(chǎng)景的示例；
[0029]圖4是重采樣生成高層瓦片的示意圖；
[0030]圖5是本發(fā)明完成構(gòu)建瓦片金字塔任務(wù)時(shí)間消耗與ArcGIS的對(duì)比。
【具體實(shí)施方式】
[0031 ]結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明。
[0032]圖1為本發(fā)明總體流程示意圖。具體過程如下:
[0033](SI)獲取包含影像文件的數(shù)據(jù)集；向地圖服務(wù)平臺(tái)注冊(cè)想要實(shí)現(xiàn)可視化的柵格影像數(shù)據(jù)集。
[0034](S2)遍歷數(shù)據(jù)集中的影像文件，讀取所有影像文件的最小外包框，建立空間