一種基于分級壓縮的數(shù)據(jù)傳輸方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于分級壓縮的數(shù)據(jù)傳輸方法和系統(tǒng)，方法包括：源服務器對待傳輸?shù)脑磾?shù)據(jù)采用第一壓縮算法壓縮后傳輸?shù)浇尤敕掌?；接入服務器對來自源服務器的壓縮數(shù)據(jù)進行解壓，并將解壓后的數(shù)據(jù)采用第二壓縮算法壓縮后發(fā)送到客戶端；其中，第一壓縮算法和第二壓縮算法是不同的壓縮算法。通過本發(fā)明，能優(yōu)化數(shù)據(jù)的壓縮比，降低帶寬成本。
【專利說明】一種基于分級壓縮的數(shù)據(jù)傳輸方法和系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)的數(shù)據(jù)傳輸技術，尤其涉及一種基于分級壓縮的數(shù)據(jù)傳輸方法和系統(tǒng)。
【背景技術】
[0002]Gzip壓縮技術最早用于UNIX系統(tǒng)的文件壓縮，現(xiàn)今已經(jīng)成為互聯(lián)網(wǎng)上使用非常普遍的一種數(shù)據(jù)壓縮格式。超文本傳輸協(xié)議(HTTP, Hypertext Transport Protocol)上的Gzip壓縮是一種用來改進網(wǎng)絡(WEB)應用程序性能的技術，大流量的WEB站點常常使用Gzip壓縮技術來讓用戶感受更快的速度，這一般是指HTTP服務器中安裝的一個功能，當有用戶訪問這個服務器中的網(wǎng)站時，服務器中的這個功能就將網(wǎng)頁內(nèi)容利用Gzip算法壓縮后傳輸?shù)娇蛻舳?，由瀏覽器或者其他HTTP客戶端工具將壓縮文件解壓后顯示出來，一般對純文本內(nèi)容可壓縮到原大小的40%，這樣，就可以降低HTTP服務器的輸出帶寬，提高數(shù)據(jù)傳輸速率。
[0003]但是，Gzip壓縮技術存在如下的問題:由于Gzip壓縮是基于單個文件的，因此，壓縮效率會比較低，數(shù)據(jù)壓縮的空間有限，相應的，節(jié)省的帶寬也有限。目前而言，Gzip是比較通用的壓縮方法，因為基本上所有的客戶端瀏覽器都能對其進行解壓。
[0004]SDCH(Shared Dictionary Compression over HTTP)壓縮，即通過字典壓縮算法對各個HTTP頁面中相同的內(nèi)容進行壓縮，減少相同的內(nèi)容的傳輸。如:一個網(wǎng)站中一般都是共同的頭部和尾部，甚至一些側邊欄也是共同的。如果采用Gzip壓縮技術，那么每個頁面打開的時候這些共同的信息都要重新加載，但使用SDCH壓縮方式的話，這些共同的內(nèi)容只用傳輸一次就可以了 ；客戶端接收到壓縮數(shù)據(jù)后，根據(jù)其中附帶的頭部信息獲取對應的字典，并利用字段對數(shù)據(jù)進行解壓。由此可見，SDCH壓縮方式克服了 Gzip壓縮方式存在的第I個問題，SDCH壓縮比高于Gzip，使HTTP服務器的輸出帶寬更小。
[0005]但是，SDCH壓縮方式也存在著一些問題，例如:1、SDCH壓縮也需要客戶端的配合，這樣不利于SDCH壓縮算法的改良；2、SDCH壓縮文件使用vcdiff格式，不能使用霍夫曼樹編碼，壓縮比仍然不能達到最優(yōu)。

【發(fā)明內(nèi)容】

[0006]有鑒于此，本發(fā)明的主要目的在于提供一種基于分級壓縮的數(shù)據(jù)傳輸方法和系統(tǒng)，以優(yōu)化數(shù)據(jù)的壓縮比，降低帶寬成本。
[0007]為達到上述目的，本發(fā)明的技術方案是這樣實現(xiàn)的:
[0008]本發(fā)明提供一種基于分級壓縮的數(shù)據(jù)傳輸方法，該方法包括:
[0009]源服務器對待傳輸?shù)脑磾?shù)據(jù)采用第一壓縮算法壓縮后傳輸?shù)浇尤敕掌鳎?br> [0010]接入服務器對來自所述源服務器的壓縮數(shù)據(jù)進行解壓，并將解壓后的數(shù)據(jù)采用第二壓縮算法壓縮后發(fā)送到客戶端；
[0011]其中，所述第一壓縮算法和所述第二壓縮算法是不同的壓縮算法。[0012]該方法還包括:所述客戶端對接入服務器發(fā)送的數(shù)據(jù)進行解壓。
[0013]所述源服務器包括位于數(shù)據(jù)中心DC的服務器，所述接入服務器包括位于操作中心OC的服務器。
[0014]所述源服務器包括提供數(shù)據(jù)源的服務器，所述接入服務器包括網(wǎng)絡拓撲上距離客戶端最近的可用服務器。
[0015]所述第一壓縮算法的壓縮效率高于所述第二壓縮算法。
[0016]所述第一壓縮算法包括基于共享字典的壓縮算法，所述第二壓縮算法包括Gzip算法。
[0017]所述接入服務器被配置為適于對采用第一壓縮法壓縮的數(shù)據(jù)進行解壓。
[0018]本發(fā)明還提供一種基于分級壓縮的數(shù)據(jù)傳輸系統(tǒng)，該系統(tǒng)包括:
[0019]源服務器，用于對待傳輸?shù)脑磾?shù)據(jù)采用第一壓縮算法壓縮后傳輸?shù)浇尤敕掌鳎?br> [0020]接入服務器，用于對來自所述源服務器的壓縮數(shù)據(jù)進行解壓，并將解壓后的數(shù)據(jù)采用第二壓縮算法壓縮后發(fā)送到客戶端；
[0021 ] 其中，所述第一壓縮算法和所述第二壓縮算法是不同的壓縮算法。
[0022]所述客戶端用于對接入服務器發(fā)送的數(shù)據(jù)進行解壓。
[0023]所述源服務器包括位于數(shù)據(jù)中心DC的服務器，所述接入服務器包括位于操作中心OC的服務器。
[0024]所述源服務器包括提供數(shù)據(jù)源的服務器，所述接入服務器包括網(wǎng)絡拓撲上距離客戶端最近的可用服務器。
[0025]本發(fā)明還提供一種基于分級壓縮的數(shù)據(jù)傳輸系統(tǒng)，該系統(tǒng)包括:第一壓縮模塊、第二壓縮模塊和客戶端模塊，其中，
[0026]所述第一壓縮模塊，用于對待傳輸?shù)脑磾?shù)據(jù)采用第一壓縮算法壓縮后傳輸?shù)剿龅诙嚎s模塊；
[0027]所述第二壓縮模塊，用于對來自所述第一壓縮模塊的壓縮數(shù)據(jù)進行解壓，并將解壓后的數(shù)據(jù)采用第二壓縮算法壓縮后發(fā)送到客戶端模塊；
[0028]其中，所述第一壓縮算法和所述第二壓縮算法是不同的壓縮算法。
[0029]所述客戶端模塊用于對第二壓縮模塊發(fā)送的數(shù)據(jù)進行解壓。
[0030]所述第一壓縮算法的壓縮效率高于所述第二壓縮算法。
[0031]所述第一壓縮算法包括基于共享字典的壓縮算法，所述第二壓縮算法包括Gzip算法。
[0032]所述第二壓縮模塊被配置為適于對采用第一壓縮法壓縮的數(shù)據(jù)進行解壓。
[0033]本發(fā)明所提供的一種基于分級壓縮的數(shù)據(jù)傳輸方法和系統(tǒng)，采用了兩級壓縮，第一級壓縮發(fā)生在源服務器與接入服務器之間，由源服務器壓縮，接入服務器解壓，由于網(wǎng)絡內(nèi)容提供商能對源服務器和接入服務器進行控制，這樣就能在這兩者之間配置需要互相配合的高壓縮比率的壓縮算法(例如基于共享字典的壓縮算法)，而在接入服務器和客戶端之間采用客戶端能自行解壓的算法(例如Gzip);采用如此二級壓縮，能優(yōu)化數(shù)據(jù)的壓縮t匕，大大提高壓縮效率，進而達到降低總體帶寬成本的目的。
【專利附圖】

【附圖說明】[0034]圖1為本發(fā)明實施例的一種基于分級壓縮的數(shù)據(jù)傳輸方法的流程圖；
[0035]圖2為本發(fā)明實施例的另一種基于分級壓縮的數(shù)據(jù)傳輸方法的流程圖；
[0036]圖3為本發(fā)明實施例中HTTP數(shù)據(jù)壓縮傳輸?shù)牧飨蚴疽鈭D；
[0037]圖4為本發(fā)明實施例的一種數(shù)據(jù)壓縮傳輸系統(tǒng)的結構示意圖；
[0038]圖5為本發(fā)明實施例的另一種數(shù)據(jù)壓縮傳輸系統(tǒng)的結構示意圖。
【具體實施方式】
[0039]下面結合附圖和具體實施例對本發(fā)明的技術方案進一步詳細闡述。
[0040]實施例1:本發(fā)明實施例提供的一種數(shù)據(jù)壓縮傳輸方法，如圖1所示，主要包括:
[0041]步驟101，源服務器對待傳輸?shù)脑磾?shù)據(jù)采用第一壓縮算法壓縮后傳輸?shù)浇尤敕掌鳌?br> [0042]本發(fā)明實施例中，源服務器是指向用戶提供互聯(lián)網(wǎng)服務的服務器。所謂壓縮是指，在計算機通信中，使用更少的bit代表同樣信息的方法。
[0043]較佳的，本發(fā)明實施例中的源服務器可以是位于數(shù)據(jù)中心(DC，Date Center)的服務器，所述接入服務器為位于操作中心(0C，Operation Center)的服務器。
[0044]步驟102，接入服務器對來自源服務器的壓縮數(shù)據(jù)進行解壓，并將解壓后的數(shù)據(jù)采用第二壓縮算法壓縮后發(fā)送到客戶端。
[0045]其中，第一壓縮算法和第二壓縮算法是不同的壓縮算法，第一壓縮算法的壓縮效率高于第二壓縮算法。
[0046]較佳的，第一壓縮算法包括基于共享字典的壓縮算法，第二壓縮算法包括Gzip算法。其中，第一壓縮算法如femtozip或vcdiff算法等等。
[0047]另外，本發(fā)明實施例中的接入服務器被配置為適于對采用第一壓縮法壓縮的數(shù)據(jù)進行解壓。
[0048]實際應用中，DC處于大城市，帶寬較貴；0C處于小城市，帶寬相對便宜。所謂帶寬，是指單位時間內(nèi)服務器輸出(或輸入)的計算機通信流量，實際應用中一般是指輸出帶寬。由于第一壓縮算法的壓縮效率高于第二壓縮算法，因此能夠大幅降低DC側的出口帶寬，同時會增加OC側的出口帶寬，利用DC和OC的帶寬價格差，將DC的帶寬部分轉(zhuǎn)移到0C，從而達到降低總體帶寬成本的目的。
[0049]實施例2:本發(fā)明實施例提供的一種數(shù)據(jù)壓縮傳輸方法，如圖1所示，主要包括:
[0050]步驟101，源服務器對待傳輸?shù)脑磾?shù)據(jù)采用第一壓縮算法壓縮后傳輸?shù)浇尤敕掌鳌?br> [0051]本發(fā)明實施例中，源服務器是指向用戶提供互聯(lián)網(wǎng)服務的服務器。所謂壓縮是指，在計算機通信中，使用更少的bit代表同樣信息的方法。
[0052]所述源服務器是提供數(shù)據(jù)源的服務器，接入服務器為網(wǎng)絡拓撲上距離客戶端最近的可用服務器。
[0053]步驟102，接入服務器對來自源服務器的壓縮數(shù)據(jù)進行解壓，并將解壓后的數(shù)據(jù)采用第二壓縮算法壓縮后發(fā)送到客戶端。
[0054]其中，第一壓縮算法和第二壓縮算法是不同的壓縮算法，第一壓縮算法的壓縮效率高于第二壓縮算法。[0055]較佳的，第一壓縮算法包括基于共享字典的壓縮算法，第二壓縮算法包括Gzip算法。其中，第一壓縮算法如femtozip或vcdiff算法等等。
[0056]另外，本發(fā)明實施例中的接入服務器被配置為適于對采用第一壓縮法壓縮的數(shù)據(jù)進行解壓。
[0057]實施例3:本發(fā)明實施例提供的一種數(shù)據(jù)壓縮傳輸方法，如圖2所示，主要包括:
[0058]步驟101，源服務器對待傳輸?shù)脑磾?shù)據(jù)采用第一壓縮算法壓縮后傳輸?shù)浇尤敕掌鳌?br> [0059]步驟102，接入服務器對來自源服務器的壓縮數(shù)據(jù)進行解壓，并將解壓后的數(shù)據(jù)采用第二壓縮算法壓縮后發(fā)送到客戶端。
[0060]步驟103，客戶端對接入服務器發(fā)送的數(shù)據(jù)進行解壓。
[0061]客戶端解壓后，得到的即是未經(jīng)壓縮的源數(shù)據(jù)；客戶端根據(jù)解壓后的數(shù)據(jù)進行頁面顯示或其他相關處理。
[0062]本發(fā)明實施例所指的源數(shù)據(jù)可以是HTTP數(shù)據(jù)，下面結合圖3所示HTTP數(shù)據(jù)壓縮傳輸?shù)牧飨蚴疽鈭D，舉例說明，假設未經(jīng)壓縮的HTTP數(shù)據(jù)所需帶寬為M，Gzip (即第二壓縮算法)的壓縮比為Rg，本發(fā)明實施例所采用的第一壓縮算法的壓縮比為Rb，DC的帶寬成本為Pd，OC的帶寬成本為Po。
[0063]那么，僅在DC側用Gzip壓縮算法壓縮的帶寬成本為:M.Rg.Pd ;
[0064]用本發(fā)明實施例的壓縮方法進行壓縮的帶寬成本為:M.Rg.Pd+M.Rg.Po。
[0065]當(Rg-Rb) /Rg > Po/Pd時，采用本發(fā)明實施例的壓縮方法可以節(jié)省帶寬。例如，假設Rg為40%，Rb為10%，Po/Pd為30%，則僅在DC側用Gzip壓縮算法壓縮的帶寬成本為M.Pd.0.4，用本發(fā)明實施例的壓縮方法進行壓縮的帶寬成本為:M.Pd.0.1+M.Pd.0.4.0.3，本發(fā)明實施例的帶寬成本下降為僅用Gzip壓縮算法壓縮的帶寬成本的55%。
[0066]實施例4:對應上述基于分級壓縮的數(shù)據(jù)傳輸方法,本發(fā)明實施例提供了一種基于分級壓縮的數(shù)據(jù)傳輸系統(tǒng)，如圖4所示，該系統(tǒng)包括:源服務器10和接入服務器20。
[0067]其中，源服務器10，用于對待傳輸?shù)脑磾?shù)據(jù)采用第一壓縮算法壓縮后傳輸?shù)浇尤敕掌鳎?br> [0068]接入服務器20，用于對來自源服務器10的壓縮數(shù)據(jù)進行解壓，并將解壓后的數(shù)據(jù)采用第二壓縮算法壓縮后發(fā)送到客戶端；
[0069]其中，第一壓縮算法和第二壓縮算法是不同的壓縮算法。
[0070]較佳的，源服務器10為位于DC的服務器，接入服務器20為位于OC的服務器。
[0071]較佳的，源服務器10為提供數(shù)據(jù)源的服務器，接入服務器20為網(wǎng)絡拓撲上距離客戶端最近的可用服務器。
[0072]其中，第一壓縮算法的壓縮效率高于第二壓縮算法。較佳的，第一壓縮算法包括基于共享字典的壓縮算法，第二壓縮算法包括Gzip算法。第一壓縮算法可以為femtozip或vcdiff 算法。
[0073]實施例5:本發(fā)明實施例還提供了另外一種基于分級壓縮的數(shù)據(jù)傳輸系統(tǒng)，如圖5所示，該系統(tǒng)包括:第一壓縮模塊11、第二壓縮模塊21和客戶端模塊。
[0074]其中，第一壓縮模塊11，用于對待傳輸?shù)脑磾?shù)據(jù)采用第一壓縮算法壓縮后傳輸?shù)降诙嚎s模塊21 ；
[0075]第二壓縮模塊21，用于對來自第一壓縮模塊11的壓縮數(shù)據(jù)進行解壓，并將解壓后的數(shù)據(jù)采用第二壓縮算法壓縮后發(fā)送到客戶端模塊；
[0076]其中，第一壓縮算法和所述第二壓縮算法是不同的壓縮算法。
[0077]其中，第一壓縮算法的壓縮效率高于第二壓縮算法。較佳的，第一壓縮算法包括基于共享字典的壓縮算法，第二壓縮算法包括Gzip算法。第一壓縮算法可以為femtozip或vcdiff 算法。
[0078]綜上所述，本發(fā)明實施例基于兩級壓縮，第一級壓縮發(fā)生在源服務器與接入服務器之間，由源服務器壓縮，接入服務器解壓，由于網(wǎng)絡內(nèi)容提供商能對源服務器和接入服務器進行控制，這樣就能在這兩者之間配置需要互相配合的高壓縮比率的壓縮算法(例如基于共享字典的壓縮算法)，而在接入服務器和客戶端之間采用客戶端能自行解壓的算法(例如Gzip)。本發(fā)明實施例相比只采用Gzip壓縮的數(shù)據(jù)傳輸方式，能夠優(yōu)化數(shù)據(jù)的壓縮比；相比只采用SDCH壓縮的數(shù)據(jù)傳輸方式，其無需客戶端進行配合；采用如此二級壓縮，能大大提高壓縮效率，進而達到降低總體帶寬成本的目的。
[0079]以上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。
【權利要求】
1.一種基于分級壓縮的數(shù)據(jù)傳輸方法，其特征在于，該方法包括: 源服務器對待傳輸?shù)脑磾?shù)據(jù)采用第一壓縮算法壓縮后傳輸?shù)浇尤敕掌鳎? 接入服務器對來自所述源服務器的壓縮數(shù)據(jù)進行解壓，并將解壓后的數(shù)據(jù)采用第二壓縮算法壓縮后發(fā)送到客戶端； 其中，所述第一壓縮算法和所述第二壓縮算法是不同的壓縮算法。
2.根據(jù)權利要求1所述的方法，其特征在于，該方法還包括:所述客戶端對接入服務器發(fā)送的數(shù)據(jù)進行解壓。
3.根據(jù)權利要求1所述的方法，其特征在于，所述源服務器包括位于數(shù)據(jù)中心DC的服務器，所述接入服務器包括位于操作中心OC的服務器。
4.根據(jù)權利要求1所述的方法，其特征在于，所述源服務器包括提供數(shù)據(jù)源的服務器，所述接入服務器包括網(wǎng)絡拓撲上距離客戶端最近的可用服務器。
5.根據(jù)權利要求1至4任一項所述的方法，其特征在于，所述第一壓縮算法的壓縮效率高于所述第二壓縮算法。
6.根據(jù)權利要求5所述的方法，其特征在于，所述第一壓縮算法包括基于共享字典的壓縮算法，所述第二壓縮算法包括Gzip算法。
7.根據(jù)權利要求1至4任一項所述的方法，其特征在于，所述接入服務器被配置為適于對采用第一壓縮法壓縮的數(shù)據(jù)進行解壓。
8.一種基于分級壓縮的數(shù)據(jù)傳輸系統(tǒng)，其特征在于，該系統(tǒng)包括: 源服務器，用于對待傳輸?shù)脑磾?shù)據(jù)采用第一壓縮算法壓縮后傳輸?shù)浇尤敕掌鳎? 接入服務器，用于對來自所述源服務器的壓縮數(shù)據(jù)進行解壓，并將解壓后的數(shù)據(jù)采用第二壓縮算法壓縮后發(fā)送到客戶端； 其中，所述第一壓縮算法和所述第二壓縮算法是不同的壓縮算法。
9.根據(jù)權利要求8所述的系統(tǒng)，其特征在于，所述客戶端用于對接入服務器發(fā)送的數(shù)據(jù)進行解壓。
10.根據(jù)權利要求8所述的系統(tǒng)，其特征在于，所述源服務器包括位于數(shù)據(jù)中心DC的服務器，所述接入服務器包括位于操作中心OC的服務器。
11.根據(jù)權利要求8所述的系統(tǒng)，其特征在于，所述源服務器包括提供數(shù)據(jù)源的服務器，所述接入服務器包括網(wǎng)絡拓撲上距離客戶端最近的可用服務器。
12.一種基于分級壓縮的數(shù)據(jù)傳輸系統(tǒng)，其特征在于，該系統(tǒng)包括:第一壓縮模塊、第二壓縮模塊和客戶端模塊，其中， 所述第一壓縮模塊，用于對待傳輸?shù)脑磾?shù)據(jù)采用第一壓縮算法壓縮后傳輸?shù)剿龅诙嚎s1吳塊； 所述第二壓縮模塊，用于對來自所述第一壓縮模塊的壓縮數(shù)據(jù)進行解壓，并將解壓后的數(shù)據(jù)采用第二壓縮算法壓縮后發(fā)送到客戶端模塊； 其中，所述第一壓縮算法和所述第二壓縮算法是不同的壓縮算法。
13.根據(jù)權利要求12所述的系統(tǒng)，其特征在于，所述客戶端模塊用于對第二壓縮模塊發(fā)送的數(shù)據(jù)進行解壓。
14.根據(jù)權利要求12或13所述的系統(tǒng)，其特征在于，所述第一壓縮算法的壓縮效率高于所述第二壓縮算法。
15.根據(jù)權利要求14所述的系統(tǒng)，其特征在于，所述第一壓縮算法包括基于共享字典的壓縮算法，所述第二壓縮算法包括Gzip算法。
16.根據(jù)權利要求12或13所述的系統(tǒng)，其特征在于，所述第二壓縮模塊被配置為適于對采用第一壓縮法 壓縮的數(shù)據(jù)進行解壓。
【文檔編號】H04L29/08GK103533004SQ201210233707
【公開日】2014年1月22日 申請日期:2012年7月6日 優(yōu)先權日:2012年7月6日
【發(fā)明者】馬馳, 黃明生, 趙黎斌, 黃希彤, 余子軍, 曹鳳龍, 徐曉 申請人:深圳市騰訊計算機系統(tǒng)有限公司