一種大數(shù)據(jù)傳輸方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及Ρ0Ν網(wǎng)絡(luò)通信領(lǐng)域，尤其涉及一種大數(shù)據(jù)傳輸方法和系統(tǒng)。
【背景技術(shù)】
[0002]在電信網(wǎng)絡(luò)中，通常使用網(wǎng)管系統(tǒng)對通信設(shè)備進(jìn)行集中管理。傳統(tǒng)的網(wǎng)管系統(tǒng)主要包括五大功能:配置管理、性能管理、告警管理、維護(hù)管理和安全管理。網(wǎng)管要實現(xiàn)對通信設(shè)備的集中管理，需要與設(shè)備之間傳輸大量的數(shù)據(jù)，才能達(dá)到對設(shè)備進(jìn)行配置管理、性能監(jiān)控等功能。
[0003]在現(xiàn)有的網(wǎng)管系統(tǒng)中，網(wǎng)管通過與設(shè)備系統(tǒng)內(nèi)部建立socket進(jìn)程，通過之前協(xié)商的傳輸內(nèi)容，系統(tǒng)軟件將約定的數(shù)據(jù)通過SNMP方式從設(shè)備獲取并將數(shù)據(jù)打包，然后不進(jìn)行任何額外處理就向網(wǎng)管端進(jìn)行傳輸。由于網(wǎng)管和設(shè)備之間使用100M網(wǎng)線進(jìn)行通信，這就導(dǎo)致了網(wǎng)管與各設(shè)備之間進(jìn)行資源同步時，約定的傳輸數(shù)據(jù)量非常有限，而且傳輸過程中可能出現(xiàn)丟包等問題，當(dāng)想要傳輸數(shù)據(jù)比較大時，很大程度上會造成網(wǎng)管資源同步不成功，導(dǎo)致網(wǎng)管無法正確管理網(wǎng)元；分析一下原因發(fā)現(xiàn)，設(shè)備與網(wǎng)管之間資源同步的數(shù)據(jù)量會受到物理鏈路的限制，為了優(yōu)先保證網(wǎng)管對各個網(wǎng)元的正常管理，約定的傳輸數(shù)據(jù)不得不受到限制，網(wǎng)管只能獲取設(shè)備最基本的網(wǎng)元、拓?fù)涞然緟?shù)；如果需要通過資源同步獲取設(shè)備更多的管理參數(shù)時，網(wǎng)管和局端/終端設(shè)備之間的物理鏈路成為了帶寬瓶頸。同時，在傳輸?shù)倪^程中，對約定的傳輸數(shù)據(jù)也不會進(jìn)行任何額外的安全性方面的處理，因此傳輸過程中的安全性也不能得到保證。

【發(fā)明內(nèi)容】

[0004]為了解決上述問題，本發(fā)明提出了一種大數(shù)據(jù)傳輸方法和系統(tǒng)，能夠降低網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量并縮短網(wǎng)絡(luò)的更新時間，提高了傳輸效率。
[0005]為了達(dá)到上述目的，本發(fā)明提出了一種大數(shù)據(jù)傳輸方法，該方法包括:
[0006]將終端設(shè)備0NU的狀態(tài)或配置信息分類成關(guān)鍵數(shù)據(jù)和非關(guān)鍵數(shù)據(jù)。
[0007]將0NU的關(guān)鍵數(shù)據(jù)上報并保存在局端設(shè)備0LT本地數(shù)據(jù)表中，以及將0NU的非關(guān)鍵數(shù)據(jù)保存在本地0NU。
[0008]當(dāng)網(wǎng)管需要0NU的關(guān)鍵數(shù)據(jù)時，0LT直接從0LT本地數(shù)據(jù)表中獲取關(guān)鍵數(shù)據(jù)后上報；當(dāng)網(wǎng)管需要0NU的非關(guān)鍵數(shù)據(jù)時，0LT獲取0NU的非關(guān)鍵數(shù)據(jù)后上報。
[0009]優(yōu)選地，該方法還包括:
[0010]將0NU的狀態(tài)或配置信息分類成關(guān)鍵數(shù)據(jù)和非關(guān)鍵數(shù)據(jù)之后，通過局端設(shè)備0LT對關(guān)鍵數(shù)據(jù)進(jìn)行定期更新和維護(hù)，并將更新后的關(guān)鍵數(shù)據(jù)存儲在0LT本地數(shù)據(jù)表中。
[0011]優(yōu)選地，該方法還包括:
[0012]當(dāng)0NU的狀態(tài)或配置信息發(fā)生變化時，主動觸發(fā)0LT更新0LT本地數(shù)據(jù)表。
[0013]優(yōu)選地，該方法還包括:在關(guān)鍵數(shù)據(jù)和非關(guān)鍵數(shù)據(jù)進(jìn)行上報或者保存之前，對關(guān)鍵數(shù)據(jù)和非關(guān)鍵數(shù)據(jù)進(jìn)行壓縮，該壓縮包括以下步驟:
[0014]預(yù)先構(gòu)造壓縮字典，壓縮字典中包括表征0NU的狀態(tài)或者配置數(shù)據(jù)的字；預(yù)先構(gòu)造壓縮編碼集，壓縮編碼集中的壓縮編碼與壓縮字典中的字一一對應(yīng)。
[0015]當(dāng)預(yù)定義字節(jié)長度的滑動窗口中的數(shù)據(jù)為已經(jīng)在壓縮字典中定義的字時，根據(jù)壓縮字典中的字確定其所對應(yīng)的壓縮編碼集中的壓縮編碼。
[0016]將所獲得的壓縮編碼作為壓縮后的關(guān)鍵數(shù)據(jù)或者非關(guān)鍵數(shù)據(jù)。
[0017]優(yōu)選地，該方法還包括:
[0018]當(dāng)預(yù)定義字節(jié)長度的滑動窗口中的數(shù)據(jù)為未在壓縮字典中定義的字時，將滑動窗口中的當(dāng)前數(shù)據(jù)作為壓縮字典中的字，存儲在壓縮字典中。
[0019]對于所存儲的字對應(yīng)設(shè)置一個新的壓縮編碼增加到壓縮編碼集中。
[0020]將所獲得的該新的壓縮編碼作為壓縮后的關(guān)鍵數(shù)據(jù)或者非關(guān)鍵數(shù)據(jù)。
[0021]優(yōu)選地，
[0022]預(yù)定義字節(jié)長度為4字節(jié)。
[0023]優(yōu)選地，該方法還包括:利用滑動窗口遍歷數(shù)據(jù)。
[0024]優(yōu)選地，該方法還包括:在0LT上報壓縮后的關(guān)鍵數(shù)據(jù)和/或非關(guān)鍵數(shù)據(jù)之前，對壓縮后的關(guān)鍵數(shù)據(jù)和/或非關(guān)鍵數(shù)據(jù)進(jìn)行加密。
[0025]該加密包括以下步驟:
[0026]在0LT上預(yù)生成私有密鑰和密鑰KEY，并將私有密鑰發(fā)送給網(wǎng)管。
[0027]在網(wǎng)管上預(yù)生成公開密鑰，并將公開密鑰發(fā)送給0LT。
[0028]在0LT上使用公開密鑰對密鑰KEY進(jìn)行加密，并將加密結(jié)果發(fā)送給網(wǎng)管。
[0029]在0LT上使用私有密鑰對附加消息進(jìn)行加密；該附加信息包括:不屬于關(guān)鍵數(shù)據(jù)或非關(guān)鍵數(shù)據(jù)，但需要由0LT上報給網(wǎng)管的信息。
[0030]在0LT上使用密鑰KEY對壓縮后的關(guān)鍵數(shù)據(jù)和/或非關(guān)鍵數(shù)據(jù)，以及加密后的附加信息進(jìn)行加密。
[0031]優(yōu)選地，
[0032]關(guān)鍵數(shù)據(jù)包括:設(shè)備基本信息、設(shè)備運行狀態(tài)信息、端口屬性及虛擬局域網(wǎng)VLAN信息、廣域網(wǎng)WAN連接配置信息、語音基本呼叫及注冊信息和因特網(wǎng)管理協(xié)議IGMP基本配置信息。
[0033]非關(guān)鍵數(shù)據(jù)包括:服務(wù)質(zhì)量Q0S、訪問控制列表ACL、組播、以太網(wǎng)口供電、環(huán)路檢測、端口鏡像、生成樹協(xié)議STP、應(yīng)用APP防控、動態(tài)主機配置協(xié)議DHCP、串口服務(wù)器、點到點以太網(wǎng)協(xié)議代理PPPoE Agent、語音附加策略及配置、社區(qū)公共電視天線系統(tǒng)CATV以及TDMoPo
[0034]為了達(dá)到上述目的，本發(fā)明還提出了一種大數(shù)據(jù)傳輸系統(tǒng)，該系統(tǒng)包括:終端設(shè)備0NU、局端設(shè)備0LT和網(wǎng)管；其中，0NU包括分類模塊和第一上報模塊；0LT包括第二上報模塊。
[0035]分類模塊，用于將0NU的狀態(tài)或配置信息分類成關(guān)鍵數(shù)據(jù)和非關(guān)鍵數(shù)據(jù)。
[0036]第一上報模塊，用于將0MJ的關(guān)鍵數(shù)據(jù)上報，以及將0NU的非關(guān)鍵數(shù)據(jù)保存在本地0NU。
[0037]第二上報模塊，用于將0MJ上報的關(guān)鍵數(shù)據(jù)存儲在0LT本地數(shù)據(jù)表中；當(dāng)網(wǎng)管需要0NU的關(guān)鍵數(shù)據(jù)時，直接從0LT本地數(shù)據(jù)表中獲取關(guān)鍵數(shù)據(jù)后上報；當(dāng)網(wǎng)管需要0NU的非關(guān)鍵數(shù)據(jù)時，獲取ONU的非關(guān)鍵數(shù)據(jù)后上報。
[0038]優(yōu)選地，該0NU還包括更新模塊。
[0039]更新模塊，用于對0NU的關(guān)鍵數(shù)據(jù)進(jìn)行定期更新和維護(hù)，并將更新后的關(guān)鍵數(shù)據(jù)發(fā)送給第一上報模塊。
[0040]優(yōu)選地，更新模塊還用于:
[0041 ] 當(dāng)0NU的狀態(tài)或配置信息發(fā)生變化時，主動觸發(fā)0LT更新0LT本地數(shù)據(jù)表。
[0042]優(yōu)選地，該0NU還包括:壓縮模塊。
[0043]壓縮模塊，用于在關(guān)鍵數(shù)據(jù)和非關(guān)鍵數(shù)據(jù)進(jìn)行上報或者保存之前，對關(guān)鍵數(shù)據(jù)和非關(guān)鍵數(shù)據(jù)進(jìn)行壓縮，該壓縮包括以下步驟:
[0044]預(yù)先構(gòu)造壓縮字典，壓縮字典中包括表征0NU的狀態(tài)或者配置數(shù)據(jù)的字；預(yù)先構(gòu)造壓縮編碼集，壓縮編碼集中的壓縮編碼與壓縮字典中的字一一對應(yīng)。
[0045]當(dāng)預(yù)定義字節(jié)長度的滑動窗口中的數(shù)據(jù)為已經(jīng)在壓縮字典中定義的字時，根據(jù)壓縮字典中的字確定其所對應(yīng)的壓縮編碼集中的壓縮編碼。
[0046]將所獲得的壓縮編碼作為壓縮后的關(guān)鍵數(shù)據(jù)或者非關(guān)鍵數(shù)據(jù)。
[0047]優(yōu)選地，壓縮模塊還用于:
[0048]當(dāng)預(yù)定義字節(jié)長度的滑動窗口中的數(shù)據(jù)為未在壓縮字典中定義的字時，將滑動窗口中的當(dāng)前數(shù)據(jù)作為壓縮字典中的字，存儲在壓縮字典中。
[0049]對于所存儲的字對應(yīng)設(shè)置一個新的壓縮編碼增加到壓縮編碼集中。
[0050]將所獲得的該新的壓縮編碼作為壓縮后的關(guān)鍵數(shù)據(jù)或者非關(guān)鍵數(shù)據(jù)。
[0051]優(yōu)選地，
[0052]預(yù)定義字節(jié)長度為4字節(jié)。
[0053]優(yōu)選地，該0NU還包括:遍歷模塊。
[0054]遍歷模塊，用于利用滑動窗口遍歷數(shù)據(jù)。
[0055]優(yōu)選地，該0LT還包括:加密模塊。
[0056]加密模塊，用于在上報壓縮后的關(guān)鍵數(shù)據(jù)和/或非關(guān)鍵數(shù)據(jù)之前，對壓縮后的關(guān)鍵數(shù)據(jù)和/或非關(guān)鍵數(shù)據(jù)進(jìn)行加密。
[0057]該加密包括以下步驟:
[0058]預(yù)生成私有密鑰和密鑰KEY，并將私有密鑰發(fā)送給網(wǎng)管。
[0059]獲得在網(wǎng)管上預(yù)生成的公開密鑰。
[0060]使用公開密鑰對密鑰KEY進(jìn)行加密，并將加密結(jié)果發(fā)送給網(wǎng)管。
[0061]使用私有密鑰對附加消息進(jìn)行加密；附加信息包括:不屬于關(guān)鍵數(shù)據(jù)或非關(guān)鍵數(shù)據(jù)，但需要由0LT上報給網(wǎng)管的信息。
[0062]使用密鑰KEY對壓縮后的關(guān)鍵數(shù)據(jù)和/或非關(guān)鍵數(shù)據(jù)，以及加密后的附加信息進(jìn)行加密。
[0063]優(yōu)選地，
[0064]關(guān)鍵數(shù)據(jù)包括:設(shè)備基本信息、設(shè)備運行狀態(tài)信息、端口屬性及虛擬局域網(wǎng)VLAN信息、廣域網(wǎng)WAN連接配置信息、語音