基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法
【專利摘要】本發(fā)明公開了一種基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，該遙感數(shù)據(jù)發(fā)布方法中選定最佳數(shù)據(jù)服務(wù)器，將待發(fā)布遙感數(shù)據(jù)劃分為若干個分段遙感數(shù)據(jù)，客戶端將每個分段遙感數(shù)據(jù)上傳至一個相應(yīng)的最佳數(shù)據(jù)服務(wù)器，且各個最佳數(shù)據(jù)服務(wù)器的分段遙感數(shù)據(jù)與對應(yīng)的數(shù)據(jù)ID在數(shù)據(jù)服務(wù)器中的存儲位置連續(xù)。本發(fā)明的遙感數(shù)據(jù)發(fā)布方法中利用云存儲系統(tǒng)，采用分布式的、共享的遙感數(shù)據(jù)發(fā)布方法，讓不同單位的數(shù)據(jù)以分布式共享的方式進(jìn)行數(shù)據(jù)發(fā)布，各個用戶可以方便的共享的數(shù)據(jù)服務(wù)器上的數(shù)據(jù)，同時采用順序讀寫，大大提高的數(shù)據(jù)發(fā)布、存儲及同步的效率。
【專利說明】基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及遙感影像【技術(shù)領(lǐng)域】，尤其涉及一種基于云存儲系統(tǒng)遙感數(shù)據(jù)的發(fā)布方法。
【背景技術(shù)】
[0002]遙感信息技術(shù)是隨著空間技術(shù)的進(jìn)步興起的一種探測技術(shù)，是根據(jù)電磁波的理論，應(yīng)用各種傳感儀器對遠(yuǎn)距離目標(biāo)所輻射和反射的電磁波信息，進(jìn)行收集、處理，并最后成像，從而對地面各種景物進(jìn)行探測和識別的一種綜合技術(shù)。該技術(shù)可以宏觀地、遠(yuǎn)距離地對地球及其外圍空間進(jìn)行感知和信息獲取。
[0003]遙感影像是空間信息的重要數(shù)據(jù)之一，廣泛用于地質(zhì)與洪澇災(zāi)害監(jiān)測、農(nóng)業(yè)與森林資源調(diào)查、土地利用與城市規(guī)劃和軍事領(lǐng)域。該數(shù)據(jù)依靠人造衛(wèi)星、飛機或其他飛行器上獲取，因此獲取成本較高。近年來，隨著空間科學(xué)和對地觀測技術(shù)的發(fā)展，遙感影像數(shù)據(jù)的數(shù)據(jù)年呈現(xiàn)指數(shù)增長的趨勢，對海量遙感影像數(shù)據(jù)的有效管理變得日益重要。遙感影像數(shù)據(jù)作為一種有重要研究價值的數(shù)據(jù)。當(dāng)前由多個專門且互相獨立的國家單位進(jìn)行采集與生產(chǎn)。各個單位對數(shù)據(jù)進(jìn)行采集與再生產(chǎn)后，均需要將數(shù)據(jù)發(fā)布出去以供各行各業(yè)有需要的人進(jìn)行下載與使用。
[0004]遙感數(shù)據(jù)發(fā)布具有批量性、單個數(shù)據(jù)大、數(shù)據(jù)流量高、數(shù)據(jù)總量大的特點；同時具備刪除與更新操作較少的特點。
[0005]當(dāng)前國內(nèi)的遙感數(shù)據(jù)發(fā)布狀況，是一種集中的、獨立的發(fā)布方法。各個單位獨立發(fā)布，各家數(shù)據(jù)集中式存儲在各自的服務(wù)器中，當(dāng)用戶需要獲取數(shù)據(jù)時，需要去查詢各個不同的單位上的數(shù)據(jù)，且需要去特定單位的服務(wù)器上進(jìn)行下載。
[0006]為此，迫切需要一種分布式的、共享的遙感數(shù)據(jù)發(fā)布方法，讓不同單位的數(shù)據(jù)以分布式共享的方式進(jìn)行數(shù)據(jù)發(fā)布；同時為數(shù)據(jù)使用者提供統(tǒng)一的訪問方式，用戶可到該分布式系統(tǒng)中查詢到所有單位的數(shù)據(jù)，同時需考慮到數(shù)據(jù)發(fā)布的效率與可靠性，以及用戶獲取數(shù)據(jù)的快捷與高效性。
【發(fā)明內(nèi)容】
[0007]針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法。
[0008]一種基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，所述的云存儲系統(tǒng)包括若干個數(shù)據(jù)服務(wù)器和客戶端，以及一個目錄服務(wù)器，所述的發(fā)布方法包括:
[0009](I)用戶向客戶端輸入發(fā)布請求和待發(fā)布遙感數(shù)據(jù)，所述的發(fā)布請求攜帶有用戶信息以及待發(fā)布遙感數(shù)據(jù)的數(shù)據(jù)名稱和數(shù)據(jù)大?。?br>
[0010](2)客戶端根據(jù)發(fā)布請求以及客戶端接收該發(fā)布請求的時間生成相應(yīng)的數(shù)據(jù)ID，并根據(jù)所述的數(shù)據(jù)大小、云存儲系統(tǒng)的網(wǎng)絡(luò)狀態(tài)以及各個數(shù)據(jù)服務(wù)器的工作狀態(tài)選擇N個最佳數(shù)據(jù)服務(wù)器；
[0011](3)客戶端將待發(fā)布遙感數(shù)據(jù)的數(shù)據(jù)ID和各個最佳數(shù)據(jù)服務(wù)器的地址發(fā)送到目錄服務(wù)器中；
[0012](4)客戶端根據(jù)最佳數(shù)據(jù)服務(wù)器的個數(shù)、待發(fā)布遙感數(shù)據(jù)的數(shù)據(jù)大小以及數(shù)據(jù)大小閾值，獲取各個分段遙感數(shù)據(jù)的分段偏移量，并根據(jù)分段偏移量將待發(fā)布遙感數(shù)據(jù)劃分為N個分段遙感數(shù)據(jù)；
[0013](5)客戶端將數(shù)據(jù)ID上傳至N個最佳數(shù)據(jù)服務(wù)器中，并按照分段遙感數(shù)據(jù)的分段偏移量將分段遙感數(shù)據(jù)上傳至對應(yīng)的最佳數(shù)據(jù)服務(wù)器；
[0014](6)最佳數(shù)據(jù)服務(wù)器接收到數(shù)據(jù)ID和數(shù)據(jù)分段后，將分段遙感數(shù)據(jù)連續(xù)存儲于最佳數(shù)據(jù)服務(wù)器中，并保存數(shù)據(jù)ID與分段遙感數(shù)據(jù)在該最佳數(shù)據(jù)服務(wù)器中的存儲地址的對應(yīng)關(guān)系；
[0015](7)用戶通過客戶端向目錄服務(wù)器發(fā)送操作命令和數(shù)據(jù)ID，完成下載操作、刪除操作和更新操作。
[0016]所述步驟(4)中的分段偏移量指分段數(shù)據(jù)起始位置距離整個數(shù)據(jù)開始位置的字節(jié)數(shù)。
[0017]所述步驟(5)中的存儲地址指分段遙感數(shù)據(jù)在相應(yīng)的最佳數(shù)據(jù)服務(wù)器的存儲空間中位置。
[0018]所述步驟(5)中將數(shù)據(jù)ID上傳至所有最佳數(shù)據(jù)服務(wù)器中，N個分段遙感數(shù)據(jù)分別上傳至N個最佳數(shù)據(jù)服務(wù)器中，一個分段遙感數(shù)據(jù)上傳至一個最佳數(shù)據(jù)服務(wù)器中，各個分段遙感數(shù)據(jù)與最佳數(shù)據(jù)服務(wù)一一對應(yīng)，上傳時將分段遙感數(shù)據(jù)的分段偏移量與最佳服務(wù)器的地址按照一定的順序相互對應(yīng)。
[0019]所述步驟(6)中的連續(xù)存儲是指分段數(shù)據(jù)上傳至相應(yīng)的最佳數(shù)據(jù)服務(wù)器時，實際上可理解為是一份份的上傳的，數(shù)據(jù)服務(wù)器根據(jù)接收到的時間，將每一份存儲自身存儲空間中的連續(xù)位置。
[0020]本發(fā)明中所述的云存儲系統(tǒng)的網(wǎng)絡(luò)狀態(tài)指客戶端與各個數(shù)據(jù)服務(wù)器之間的通信狀態(tài)。
[0021]數(shù)據(jù)ID是客戶端根據(jù)數(shù)據(jù)發(fā)布的時間，用戶信息，以及數(shù)據(jù)的屬性(包括數(shù)據(jù)名稱，數(shù)據(jù)大小等)生成的一個字符串，生成規(guī)則可以自己定義，比如說把發(fā)布時間、用戶信息、數(shù)據(jù)屬性拼接后再進(jìn)行加密。
[0022]本發(fā)明的遙感數(shù)據(jù)發(fā)布方法中選定最佳數(shù)據(jù)服務(wù)器，將待發(fā)布遙感數(shù)據(jù)劃分為若干個分段遙感數(shù)據(jù)，客戶端按照分段遙感數(shù)據(jù)的分段地址將每個分段遙感數(shù)據(jù)上傳至一個相應(yīng)的最佳數(shù)據(jù)服務(wù)器，且各個最佳數(shù)據(jù)服務(wù)器的分段遙感數(shù)據(jù)與對應(yīng)的數(shù)據(jù)ID在數(shù)據(jù)服務(wù)器中的存儲位置連續(xù)。由于文件系統(tǒng)的順序讀寫效率約為隨機讀寫效率的10000倍，而且數(shù)據(jù)發(fā)布是一個流式的過程，本發(fā)明的遙感數(shù)據(jù)發(fā)布方法中分片遙感數(shù)據(jù)按照時間戳順序進(jìn)行順序存儲，順序讀與，能夠大大提聞的數(shù)據(jù)發(fā)布及存儲效率。
[0023]為提高系統(tǒng)的可靠性，本發(fā)明的遙感數(shù)據(jù)發(fā)布方法在發(fā)布完成后，還對分段遙感數(shù)據(jù)進(jìn)行備份，即各個最佳數(shù)據(jù)服務(wù)器將自身存儲的分段遙感數(shù)據(jù)發(fā)送到其他最佳數(shù)據(jù)服務(wù)器，使每個最佳數(shù)據(jù)服務(wù)器上最終都保存有一個完整的遙感數(shù)據(jù)，作為備份。
[0024]所述步驟(2)中確定最佳數(shù)據(jù)服務(wù)器包括:
[0025](2-1)客戶端向所述的云存儲系統(tǒng)中所有數(shù)據(jù)服務(wù)器發(fā)送測試信號；
[0026](2-2)數(shù)據(jù)服務(wù)器接收到的測試信號后根據(jù)自身的業(yè)務(wù)量判斷是否響應(yīng)該測試信號，確定響應(yīng)測試信號的數(shù)據(jù)服務(wù)器向客戶端發(fā)送相應(yīng)的響應(yīng)信號；
[0027](2-3)客戶端接收數(shù)據(jù)服務(wù)器發(fā)送的響應(yīng)信號，選擇在設(shè)定時間內(nèi)接收到的響應(yīng)信號作為有效響應(yīng)信號；
[0028](2-4)根據(jù)有效響應(yīng)信號的個數(shù)，以及響應(yīng)時間確定最佳數(shù)據(jù)服務(wù)器的個數(shù)N，并選擇接收到的前N個有效響應(yīng)信號對應(yīng)的數(shù)據(jù)服務(wù)器作為最佳數(shù)據(jù)服務(wù)器。
[0029]當(dāng)客戶端與數(shù)據(jù)服務(wù)器不能正常通信時，客戶端不能成功的將待發(fā)布遙感數(shù)據(jù)能夠順利上傳至數(shù)據(jù)服務(wù)器上。所謂的不能正常通信有2中情況，以后總是網(wǎng)絡(luò)狀態(tài)不好，另一種是服務(wù)器繁忙。因此，為保證待發(fā)布遙感數(shù)據(jù)能夠順利發(fā)布，只有處于空閑狀態(tài)的數(shù)據(jù)服務(wù)器且與客戶端的網(wǎng)絡(luò)狀態(tài)良好的數(shù)據(jù)服務(wù)器才能存儲待發(fā)布遙感數(shù)據(jù)。此外，為提高發(fā)布效率，首先確定可以接收客戶端發(fā)送的測試信號，并且自身狀態(tài)空閑的數(shù)據(jù)服務(wù)器，然后優(yōu)選響應(yīng)該測試信號較快(即選擇前接收到的前N個響應(yīng)信號對應(yīng)的數(shù)據(jù)服務(wù)器)的作為最佳數(shù)據(jù)服務(wù)器存儲待發(fā)布遙感數(shù)據(jù)。
[0030]本發(fā)明中若有效響應(yīng)信號的個數(shù)為零，即在設(shè)定的時間內(nèi)客戶端沒有接收到響應(yīng)信號，則認(rèn)為網(wǎng)絡(luò)狀態(tài)不佳或者所有服務(wù)器繁忙，發(fā)布失敗。因為需要重新進(jìn)行發(fā)布流程。
[0031]所述步驟(2-2)中若數(shù)據(jù)服務(wù)器的業(yè)務(wù)量大于50，則認(rèn)為數(shù)據(jù)服務(wù)器繁忙，不響應(yīng)所述的測試信號；
[0032]數(shù)據(jù)服務(wù)器的工作狀態(tài)包括繁忙和空閑兩種，繁忙時不執(zhí)行新的任務(wù)。數(shù)據(jù)服務(wù)器是否繁忙取決于的業(yè)務(wù)量以及數(shù)據(jù)服務(wù)器自身性能。 [0033]所述步驟(2-3)中設(shè)定的時間為10~200ms。
[0034]能夠在這個時間范圍內(nèi)進(jìn)行響應(yīng)，就說明客戶端與數(shù)據(jù)服務(wù)器之間的網(wǎng)絡(luò)狀況良好，那么數(shù)據(jù)發(fā)布效率會比較高。
[0035]所述步驟(2-4)中N的取值如下:
[0036](a)若 D ≤ S，則 N=I ;
[0037](b)若 D>S，且 K ≤ M，則 N=K;
[0038]否則，N=M，其中D為待發(fā)布遙感數(shù)據(jù)的數(shù)據(jù)大小，S為數(shù)據(jù)大小閾值，K=[D/S]，[D/S]表示對[D/S]向下取整，M為有效響應(yīng)信號的個數(shù)。
[0039]S可根據(jù)數(shù)據(jù)服務(wù)器的存儲性能(主要是數(shù)據(jù)服務(wù)器的存儲器的磁盤容量)設(shè)定，為提高發(fā)布效率和各個數(shù)據(jù)服務(wù)器的利用率，S最好設(shè)置為磁盤塊容量大小的整數(shù)倍，以便于提高尋址和數(shù)據(jù)讀寫速度。
[0040]所述步驟(4)包括以下步驟:
[0041](4-1)確定分段遙感數(shù)據(jù)的個數(shù)和分段遙感數(shù)據(jù)的數(shù)據(jù)大小:
[0042]若N=I，則不劃分，
[0043]若N=K，則將待發(fā)布遙感數(shù)據(jù)順序劃分為N個分段遙感數(shù)據(jù)，前N-1的分段遙感數(shù)據(jù)的數(shù)據(jù)大小為S，最后一個分段遙感數(shù)據(jù)的數(shù)據(jù)大小為D-(N-1) XS,
[0044]若N=M，則將數(shù)待發(fā)布遙感數(shù)據(jù)順序劃分為N個分段遙感數(shù)據(jù)，每個分段遙感數(shù)據(jù)的數(shù)據(jù)大小D/N ；
[0045](4-2)根據(jù)分段遙感數(shù)據(jù)的數(shù)據(jù)大小確定各個分段遙感數(shù)據(jù)的分段偏移量:
[0046](4-3)根據(jù)分段遙感數(shù)據(jù)的分段偏移量將所述的待發(fā)布分段遙感數(shù)據(jù)劃分為N個分段遙感數(shù)據(jù)。[0047]N=I時直接將整個遙感數(shù)據(jù)上傳至最佳數(shù)據(jù)服務(wù)器中，此時也相應(yīng)功能的不存在分段偏移量。否則，根據(jù)將遙感數(shù)據(jù)劃分為N個分段遙感數(shù)據(jù)，各個遙感數(shù)據(jù)的大小根據(jù)實際情況確定。劃分時，先確定各個分段遙感數(shù)據(jù)的大小，然后根據(jù)大小，按照尋順序?qū)b感數(shù)據(jù)劃分，可以從遙感數(shù)據(jù)的頭部開始也可以從尾部開始，依次分割得到各個分段遙感數(shù)據(jù)。分段偏移量由分段遙感數(shù)據(jù)在整個遙感數(shù)據(jù)中所處的位置決定。
[0048]所述步驟(7)中的下載操作包括:
[0049](7-11)用戶向客戶端輸入下載請求以及待下載遙感數(shù)據(jù)的數(shù)據(jù)ID ；
[0050](7-12)客戶端根據(jù)下載請求和待下載遙感數(shù)據(jù)的數(shù)據(jù)ID，從目錄服務(wù)器中獲取待下載遙感數(shù)據(jù)的數(shù)據(jù)ID對應(yīng)的數(shù)據(jù)服務(wù)器的地址；
[0051](7-13)客戶端根據(jù)獲取的數(shù)據(jù)服務(wù)器的地址，將數(shù)據(jù)ID以及下載請求發(fā)送到各個與獲取的數(shù)據(jù)服務(wù)器的地址對應(yīng)的數(shù)據(jù)服務(wù)器，數(shù)據(jù)服務(wù)器根據(jù)該數(shù)據(jù)ID與存儲地址數(shù)據(jù)ID的對應(yīng)關(guān)系獲取該數(shù)據(jù)ID對應(yīng)的分段遙感數(shù)，并返回給客戶端；
[0052](7-14)客戶端根據(jù)(7-12)獲取的數(shù)據(jù)服務(wù)器的地址將所有返回的分段遙感數(shù)據(jù)合并得到待下載遙感數(shù)據(jù)，完成下載操作。
[0053]發(fā)布時，各個分段遙感數(shù)據(jù)是按順序存儲在各個數(shù)據(jù)服務(wù)器中，因此只要獲取遙感數(shù)據(jù)對應(yīng)的最佳數(shù)據(jù)服務(wù)器的地址，即能夠根據(jù)最佳數(shù)據(jù)服務(wù)器的地址將各個最佳數(shù)據(jù)服務(wù)器中的分段遙感數(shù)據(jù)的組合還原得到完整的遙感數(shù)據(jù)。
[0054]所述步驟(7)中的刪除操作包括:
[0055](7-21)用戶向客戶端輸入刪除請求和待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID ；
[0056](7-22)客戶端根據(jù)輸入刪除請求和待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID從目錄服務(wù)器中獲取待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID對應(yīng)的數(shù)據(jù)服務(wù)器地址，刪除該數(shù)據(jù)ID對應(yīng)的數(shù)據(jù)服務(wù)器地址，并將刪除請求和待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID發(fā)送給對應(yīng)的數(shù)據(jù)服務(wù)器地址；
[0057](7-23)各個數(shù)據(jù)服務(wù)器根據(jù)刪除請求和待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID將相同的數(shù)據(jù)ID標(biāo)記為刪除；
[0058](7-24)各個數(shù)據(jù)服務(wù)器分別統(tǒng)計所有標(biāo)記為刪除的數(shù)據(jù)ID對應(yīng)的分段遙感數(shù)據(jù)的數(shù)據(jù)總量，若數(shù)據(jù)總量達(dá)到設(shè)定的容量閾值，刪除標(biāo)記為刪除的數(shù)據(jù)ID以及各個標(biāo)記為刪除的數(shù)據(jù)ID對應(yīng)的分段遙感數(shù)據(jù)和對應(yīng)關(guān)系。
[0059]由于遙感數(shù)據(jù)發(fā)布具有批量性、單個數(shù)據(jù)大、數(shù)據(jù)流量高、數(shù)據(jù)總量大且刪除操作較少的特點，因此為了避免數(shù)據(jù)服務(wù)器，頻繁執(zhí)行刪除操作，可以待數(shù)據(jù)量達(dá)到特定值后在執(zhí)行刪除操作。
[0060]作為優(yōu)選，為保證數(shù)據(jù)服務(wù)器的工作效率，可以在數(shù)據(jù)總量達(dá)到設(shè)定的容量閾值后繼續(xù)檢測數(shù)據(jù)服務(wù)器自身的工作狀態(tài)，若空閑則刪除，否則，就等待，每個一定時間檢測數(shù)據(jù)服務(wù)器的狀態(tài)，空閑時再刪除。
[0061]由于刪除后，數(shù)據(jù)服務(wù)器坑內(nèi)存在不連續(xù)的空間，不利于下一次遙感數(shù)據(jù)的發(fā)布，數(shù)據(jù)服務(wù)器完成刪除操作后還整理數(shù)據(jù)服務(wù)器的存儲空間。其中整理存儲空間即通常的磁盤碎片整理，使空出的存儲空間形成連續(xù)存儲空間，為下一次遙感數(shù)據(jù)發(fā)布作準(zhǔn)備。
[0062]所述步驟(7)中的更新操作依次執(zhí)行所述的刪除操作和發(fā)布操作。
[0063]先通過刪除操作該待更新遙感數(shù)據(jù)對應(yīng)的數(shù)據(jù)服務(wù)器中相應(yīng)的內(nèi)容刪掉，然后再進(jìn)行發(fā)布操作，重新將新遙感數(shù)據(jù)存儲到對應(yīng)的數(shù)據(jù)服務(wù)器。[0064]所述步驟(7-24)設(shè)定的容量閾值為數(shù)據(jù)服務(wù)器的總?cè)萘康?5%~45%。
[0065]容量閾值為數(shù)據(jù)服務(wù)器的總?cè)萘康陌俜直刃?，則數(shù)據(jù)服務(wù)器的存儲器(存儲空間，即磁盤)的利用率會比較高，但是整理的頻次會增加；范圍大，整理的頻次會降低，但是磁盤利用率也會降低。綜合考慮整理頻次與磁盤利用率，作為優(yōu)選，容量閾值為數(shù)據(jù)服務(wù)器的總?cè)萘康?5%~45%。
[0066]為便于用戶查詢和檢索，本發(fā)明還提供了各個遙感數(shù)據(jù)的元數(shù)據(jù)，完成遙感數(shù)據(jù)發(fā)布后，并將元數(shù)據(jù)上傳至目錄服務(wù)器，且目錄服務(wù)器將該元數(shù)據(jù)存儲在與數(shù)據(jù)ID對應(yīng)的存儲單元中，并根據(jù)目錄服務(wù)器中存儲的最佳數(shù)據(jù)服務(wù)器的地址和待發(fā)布遙感數(shù)據(jù)對應(yīng)的元數(shù)據(jù)生成相應(yīng)的門戶信息并通過門戶網(wǎng)站進(jìn)行顯示。這樣克服了遙感數(shù)據(jù)查詢和檢索困難的問題。
[0067]本發(fā)明的遙感數(shù)據(jù)發(fā)布方法中利用云存儲系統(tǒng)，采用分布式的、共享的遙感數(shù)據(jù)發(fā)布方法，讓不同單位的數(shù)據(jù)以分布式共享的方式進(jìn)行數(shù)據(jù)發(fā)布，各個用戶可以方便的共享的數(shù)據(jù)服務(wù)器上的數(shù)據(jù)，同時采用順序讀寫，大大提高的數(shù)據(jù)發(fā)布、存儲及同步的效率。
具體實施例
[0068]下面將結(jié)合具體實施例對本發(fā)明的基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法進(jìn)行詳細(xì)說明。
[0069]本發(fā)明的基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，基于云存儲系統(tǒng)，本實施例中的云存儲系統(tǒng)包括100個數(shù)據(jù)服務(wù)器，50個客戶端和一個目錄服務(wù)器。
[0070]本實施例的基 于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，包括:
[0071](I)用戶向客戶端輸入發(fā)布請求和待發(fā)布遙感數(shù)據(jù)，該發(fā)布請求攜帶有用戶信息和待發(fā)布遙感數(shù)據(jù)的數(shù)據(jù)名稱和數(shù)據(jù)大小；
[0072](2)客戶端根據(jù)發(fā)布請求以及客戶端接收該發(fā)布請求的時間生成相應(yīng)的數(shù)據(jù)ID，并根據(jù)所述的數(shù)據(jù)大小、云存儲系統(tǒng)的網(wǎng)絡(luò)狀態(tài)以及各個數(shù)據(jù)服務(wù)器的工作狀態(tài)選擇N個最佳數(shù)據(jù)服務(wù)器，具體如下:
[0073](2-1)客戶端向云存儲系統(tǒng)中所有數(shù)據(jù)服務(wù)器發(fā)送測試信號；
[0074](2-2)數(shù)據(jù)服務(wù)器接收到的測試信號后根據(jù)自身的業(yè)務(wù)量判斷是否響應(yīng)該測試信號，確定響應(yīng)測試信號的數(shù)據(jù)服務(wù)器向客戶端發(fā)送相應(yīng)的響應(yīng)信號:
[0075]若數(shù)據(jù)服務(wù)器的業(yè)務(wù)量大于50，則認(rèn)為數(shù)據(jù)服務(wù)器繁忙，不響應(yīng)該測試信號；
[0076]否則，則認(rèn)為數(shù)據(jù)服務(wù)器空閑，響應(yīng)該測試信號。
[0077](2-3)客戶端接收數(shù)據(jù)服務(wù)器發(fā)送的響應(yīng)信號，選擇在設(shè)定時間內(nèi)(本實施例中Is內(nèi))接收到的響應(yīng)信號作為有效響應(yīng)信號；
[0078](2-4)根據(jù)有效響應(yīng)信號的個數(shù)，以及響應(yīng)時間確定最佳數(shù)據(jù)服務(wù)器的個數(shù)N，并選擇接收到的前N個有效響應(yīng)信號對應(yīng)的數(shù)據(jù)服務(wù)器作為最佳數(shù)據(jù)服務(wù)器，若:
[0079](a) D SSJJN=I;
[0080](b)D>S，且 K ≤ M，則 N=K ;
[0081]否則，N=M，其中D為待發(fā)布遙感數(shù)據(jù)的數(shù)據(jù)大小，S為數(shù)據(jù)大小閾值，K=[D/S]，[D/S]表示對[D/S]向下取整，。
[0082]本實施例中D=2048M，S=64M, M=50，確定得到的N=32。[0083](3)客戶端將待發(fā)布遙感數(shù)據(jù)的數(shù)據(jù)ID和各個最佳數(shù)據(jù)服務(wù)器的地址發(fā)送到目錄服務(wù)器中；
[0084](4)客戶端根據(jù)最佳數(shù)據(jù)服務(wù)器的個數(shù)、待發(fā)布遙感數(shù)據(jù)的數(shù)據(jù)大小以及數(shù)據(jù)大小閾值，獲取各個分段遙感數(shù)據(jù)的分段偏移量，并根據(jù)分段偏移量將待發(fā)布遙感數(shù)據(jù)劃分為N個分段遙感數(shù)據(jù)，具體如下:
[0085](4-1)確定分段遙感數(shù)據(jù)的個數(shù)和分段遙感數(shù)據(jù)的數(shù)據(jù)大小:
[0086]若N=I，則不劃分，
[0087]若N=K，則將待發(fā)布遙感數(shù)據(jù)順序劃分為N個分段遙感數(shù)據(jù)，前N-1的分段遙感數(shù)據(jù)的數(shù)據(jù)大小為S，最后一個分段遙感數(shù)據(jù)的數(shù)據(jù)大小為D-(N-1) XS,
[0088]若N=M，則將數(shù)待發(fā)布遙感數(shù)據(jù)順序劃分為N個分段遙感數(shù)據(jù)，每個分段遙感數(shù)據(jù)的數(shù)據(jù)大小D/N ；
[0089](4-2)根據(jù)分段遙感數(shù)據(jù)的數(shù)據(jù)大小確定各個分段遙感數(shù)據(jù)的分段偏移量:
[0090](4-3)根據(jù)分段遙感數(shù)據(jù)的分段偏移量將所述的待發(fā)布分段遙感數(shù)據(jù)劃分為N個分段遙感數(shù)據(jù)。
[0091]本實施例中將待發(fā)布遙感數(shù)據(jù)劃分為32個分段遙感數(shù)據(jù)，各個分段遙感數(shù)據(jù)的大小分別為64M。
[0092](5)客戶端將數(shù)據(jù)ID上傳至N個最佳數(shù)據(jù)服務(wù)器中，并按照分段遙感數(shù)據(jù)的分段偏移量將分段遙感數(shù)據(jù)上傳至對應(yīng)的最佳數(shù)據(jù)服務(wù)器，即將數(shù)據(jù)ID上傳至所有最佳數(shù)據(jù)服務(wù)器中，N個分段遙感數(shù)據(jù)分別上傳至N個最佳數(shù)據(jù)服務(wù)器中，一個分段遙感數(shù)據(jù)上傳至一個最佳數(shù)據(jù)服務(wù)器中，各個分段遙感數(shù)據(jù)與最佳數(shù)據(jù)服務(wù)一一對應(yīng)，上傳時將分段遙感數(shù)據(jù)的分段偏移量與最佳服務(wù)器的地址按照一定的順序相互對應(yīng)。
[0093](6)最佳數(shù)據(jù)服務(wù)器接收到數(shù)據(jù)ID和數(shù)據(jù)分段后，將分段遙感數(shù)據(jù)連續(xù)存儲于最佳數(shù)據(jù)服務(wù)器中，并保存數(shù)據(jù)ID與分段遙感數(shù)據(jù)在該最佳數(shù)據(jù)服務(wù)器中的存儲地址的對應(yīng)關(guān)系；
[0094](7)用戶通過客戶端向目錄服務(wù)器發(fā)送操作命令和數(shù)據(jù)ID，完成下載操作、刪除操作和更新操作，其中:
[0095]下載操作包括:
[0096](7-11)用戶向客戶端輸入下載請求以及待下載遙感數(shù)據(jù)的數(shù)據(jù)ID ；
[0097](7-12)客戶端根據(jù)下載請求和待下載遙感數(shù)據(jù)的數(shù)據(jù)ID，從目錄服務(wù)器中獲取待下載遙感數(shù)據(jù)的數(shù)據(jù)ID對應(yīng)的數(shù)據(jù)服務(wù)器的地址；
[0098](7-13)客戶端根據(jù)獲取的數(shù)據(jù)服務(wù)器的地址，將數(shù)據(jù)ID以及下載請求發(fā)送到各個與獲取的數(shù)據(jù)服務(wù)器的地址對應(yīng)的數(shù)據(jù)服務(wù)器，數(shù)據(jù)服務(wù)器將與數(shù)據(jù)ID對應(yīng)的分段遙感數(shù)據(jù)返回給客戶端；
[0099](7-14)客戶端根據(jù)(7-12)獲取的數(shù)據(jù)服務(wù)器地址將所有返回的分段遙感數(shù)據(jù)合并得到待下載遙感數(shù)據(jù)，完成下載操作。
[0100]刪除操作包括:
[0101](7-21)用戶向客戶端輸入刪除請求和待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID ；
[0102](7-22)客戶端根據(jù)輸入刪除請求和待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID從目錄服務(wù)器中獲取待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID對應(yīng)的數(shù)據(jù)服務(wù)器地址，刪除該數(shù)據(jù)ID對應(yīng)的數(shù)據(jù)服務(wù)器的地址，并將刪除請求和待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID發(fā)送給對應(yīng)的數(shù)據(jù)服務(wù)器的地址；
[0103](7-23)各個數(shù)據(jù)服務(wù)器根據(jù)刪除請求和待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID將相同的數(shù)據(jù)ID標(biāo)記為刪除；
[0104](7-24)各個數(shù)據(jù)服務(wù)器分別統(tǒng)計所有標(biāo)記為刪除的數(shù)據(jù)ID對應(yīng)的分段遙感數(shù)據(jù)的數(shù)據(jù)總量，若數(shù)據(jù)總量達(dá)到數(shù)據(jù)服務(wù)器的總?cè)萘康?5%，刪除標(biāo)記為刪除的數(shù)據(jù)ID以及各個標(biāo)記為刪除的數(shù)據(jù)ID對應(yīng)的分段遙感數(shù)據(jù)。
[0105]更新操作包括執(zhí)行所述的刪除操作和發(fā)布操作。先通過刪除操作該待更新遙感數(shù)據(jù)對應(yīng)的數(shù)據(jù)服務(wù)器中相應(yīng)的內(nèi)容去掉，然后再進(jìn)行發(fā)布操作，重新將新遙感數(shù)據(jù)存儲到對應(yīng)的數(shù)據(jù)服務(wù)器。
[0106]以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，所述的云存儲系統(tǒng)包括若干個數(shù)據(jù)服務(wù)器和客戶端，以及一個目錄服務(wù)器，其特征在于，所述的發(fā)布方法包括: (1)用戶向客戶端輸入發(fā)布請求和待發(fā)布遙感數(shù)據(jù)，所述的發(fā)布請求攜帶有用戶信息以及待發(fā)布遙感數(shù)據(jù)的數(shù)據(jù)名稱和數(shù)據(jù)大??； (2)客戶端根據(jù)發(fā)布請求以及客戶端接收該發(fā)布請求的時間生成相應(yīng)的數(shù)據(jù)ID，并根據(jù)所述的數(shù)據(jù)大小、云存儲系統(tǒng)的網(wǎng)絡(luò)狀態(tài)以及各個數(shù)據(jù)服務(wù)器的工作狀態(tài)選擇N個最佳數(shù)據(jù)服務(wù)器； (3)客戶端將待發(fā)布遙感數(shù)據(jù)的數(shù)據(jù)ID和各個最佳數(shù)據(jù)服務(wù)器的地址發(fā)送到目錄服務(wù)器中； (4)客戶端根據(jù)最佳數(shù)據(jù)服務(wù)器的個數(shù)、待發(fā)布遙感數(shù)據(jù)的數(shù)據(jù)大小以及數(shù)據(jù)大小閾值，獲取各個分段遙感數(shù)據(jù)的分段偏移量，并根據(jù)分段偏移量將待發(fā)布遙感數(shù)據(jù)劃分為N個分段遙感數(shù)據(jù)； (5)客戶端將數(shù)據(jù)ID上傳至N個最佳數(shù)據(jù)服務(wù)器中，并按照分段遙感數(shù)據(jù)的分段偏移量將分段遙感數(shù)據(jù)上傳至對應(yīng)的最佳數(shù)據(jù)服務(wù)器； (6)最佳數(shù)據(jù)服務(wù)器接收到數(shù)據(jù)ID和數(shù)據(jù)分段后，將分段遙感數(shù)據(jù)連續(xù)存儲于最佳數(shù)據(jù)服務(wù)器中，并保存數(shù)據(jù)ID與分段遙感數(shù)據(jù)在該最佳數(shù)據(jù)服務(wù)器中的存儲地址的對應(yīng)關(guān)系; (7)用戶通過客戶端向目錄服務(wù)器發(fā)送操作命令和數(shù)據(jù)ID，完成下載操作、刪除操作和更新操作。
2.如權(quán)利要求1所述的基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，其特征在于，所述步驟(2)中確定最佳數(shù)據(jù)服務(wù)器包括: (2-1)客戶端向所述的云存儲系統(tǒng)中所有數(shù)據(jù)服務(wù)器發(fā)送測試信號； (2-2)數(shù)據(jù)服務(wù)器接收到的測試信號后根據(jù)自身的業(yè)務(wù)量判斷是否響應(yīng)該測試信號，確定響應(yīng)測試信號的數(shù)據(jù)服務(wù)器向客戶端發(fā)送相應(yīng)的響應(yīng)信號； (2-3)客戶端接收數(shù)據(jù)服務(wù)器發(fā)送的響應(yīng)信號，選擇在設(shè)定時間內(nèi)接收到的響應(yīng)信號作為有效響應(yīng)信號； (2-4)根據(jù)有效響應(yīng)信號的個數(shù)，以及響應(yīng)時間確定最佳數(shù)據(jù)服務(wù)器的個數(shù)N，并選擇接收到的前N個有效響應(yīng)信號對應(yīng)的數(shù)據(jù)服務(wù)器作為最佳數(shù)據(jù)服務(wù)器。
3.如權(quán)利要求2所述的基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，其特征在于，所述步驟(2-2)中若數(shù)據(jù)服務(wù)器的業(yè)務(wù)量大于50，則認(rèn)為數(shù)據(jù)服務(wù)器繁忙，不響應(yīng)所述的測試信號； 否則，則認(rèn)為數(shù)據(jù)服務(wù)器空閑，響應(yīng)所述的測試信號。
4.如權(quán)利要求3所述的基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，其特征在于，所述步驟(2-3)中設(shè)定的時間為10~200msο
5.如權(quán)利要求4所述的基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，其特征在于，所述步驟(2-4)中N的取值如下:
(a)若D ≤ S，則 N=I ； (b)若D>S，且 K ≤ M，則 N=K; 否則，N=M，其中D為待發(fā)布遙感數(shù)據(jù)的數(shù)據(jù)大小，S為數(shù)據(jù)大小閾值，K=[D/S], [D/S]表示對[D/S]向下取整，M為有效響應(yīng)信號的個數(shù)。
6.如權(quán)利要求5所述的基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，其特征在于，所述步驟(4)包括以下步驟: (4-1)確定分段遙感數(shù)據(jù)的個數(shù)和分段遙感數(shù)據(jù)的數(shù)據(jù)大小: 若N=l，則不劃分， 若N=K，則將待發(fā)布遙感數(shù)據(jù)順序劃分為N個分段遙感數(shù)據(jù)，前N-1的分段遙感數(shù)據(jù)的數(shù)據(jù)大小為S，最后一個分段遙感數(shù)據(jù)的數(shù)據(jù)大小為D-(N-1) XS, 若N=M，則將數(shù)待發(fā)布遙感數(shù)據(jù)順序劃分為N個分段遙感數(shù)據(jù)，每個分段遙感數(shù)據(jù)的數(shù)據(jù)大小D/N ； (4-2)根據(jù)分段遙感數(shù)據(jù)的數(shù)據(jù)大小確定各個分段遙感數(shù)據(jù)的分段偏移量: (4-3)根據(jù)分段遙感數(shù)據(jù)的分段偏移量將所述的待發(fā)布分段遙感數(shù)據(jù)劃分為N個分段遙感數(shù)據(jù)。
7.如權(quán)利要求6所述的基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，其特征在于，所述步驟(7)中的下載操作包括: (7-11)用戶向客戶端輸入下載請求以及待下載遙感數(shù)據(jù)的數(shù)據(jù)ID ； (7-12)客戶端根據(jù)下載請求和待下載遙感數(shù)據(jù)的數(shù)據(jù)ID，從目錄服務(wù)器中獲取待下載遙感數(shù)據(jù)的數(shù)據(jù)ID對應(yīng)的數(shù)據(jù)服務(wù)器的地址； (7-13)客戶端根據(jù)獲取的數(shù)據(jù)服務(wù)器的地址，將數(shù)據(jù)ID以及下載請求發(fā)送到各個與獲取的數(shù)據(jù)服務(wù)器的地址對應(yīng)的數(shù)據(jù)服務(wù)器，數(shù)據(jù)服務(wù)器根據(jù)該數(shù)據(jù)ID與存儲地址數(shù)據(jù)ID的對應(yīng)關(guān)系獲取該數(shù)據(jù)ID對應(yīng)的分段遙感數(shù)，并返回給客戶端； (7-14)客戶端根據(jù)(7-12)獲取的數(shù)據(jù)服務(wù)器的地址將所有返回的分段遙感數(shù)據(jù)合并得到待下載遙感數(shù)據(jù)，完成下載操作。
8.如權(quán)利要求7所述的基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，其特征在于，所述步驟(7)中的刪除操作包括: (7-21)用戶向客戶端輸入刪除請求和待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID ； (7-22)客戶端根據(jù)輸入刪除請求和待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID從目錄服務(wù)器中獲取待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID對應(yīng)的數(shù)據(jù)服務(wù)器地址，刪除該數(shù)據(jù)ID對應(yīng)的數(shù)據(jù)服務(wù)器地址，并將刪除請求和待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID發(fā)送給對應(yīng)的數(shù)據(jù)服務(wù)器地址； (7-23)各個數(shù)據(jù)服務(wù)器根據(jù)刪除請求和待刪除遙感數(shù)據(jù)的數(shù)據(jù)ID將相同的數(shù)據(jù)ID標(biāo)記為刪除； (7-24)各個數(shù)據(jù)服務(wù)器分別統(tǒng)計所有標(biāo)記為刪除的數(shù)據(jù)ID對應(yīng)的分段遙感數(shù)據(jù)的數(shù)據(jù)總量，若數(shù)據(jù)總量達(dá)到設(shè)定的容量閾值，刪除標(biāo)記為刪除的數(shù)據(jù)ID以及各個標(biāo)記為刪除的數(shù)據(jù)ID對應(yīng)的分段遙感數(shù)據(jù)和對應(yīng)關(guān)系。
9.如權(quán)利要求8所述的基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，其特征在于，步驟(7)中的更新操作依次執(zhí)行所述的刪除操作和發(fā)布操作。
10.如權(quán)利要求9所述的基于云存儲系統(tǒng)的遙感數(shù)據(jù)發(fā)布方法，其特征在于，所述步驟(7-24)設(shè)定的容量閾值為數(shù)據(jù)服務(wù)器的總?cè)萘康?5%~45%。
【文檔編號】H04L29/08GK103812934SQ201410040809
【公開日】2014年5月21日 申請日期:2014年1月28日 優(yōu)先權(quán)日:2014年1月28日
【發(fā)明者】吳朝暉, 劉娜, 陶金火, 陳華鈞, 楊建華, 鄭國軸 申請人:浙江大學(xué)