互聯(lián)網(wǎng)大數(shù)據(jù)處理平臺的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機領(lǐng)域，具體地，涉及一種互聯(lián)網(wǎng)大數(shù)據(jù)處理平臺。
【背景技術(shù)】
[0002]目前，隨著計算機技術(shù)和互聯(lián)網(wǎng)的發(fā)展，許多政府和企業(yè)都在進行大數(shù)據(jù)的建設(shè)，而大數(shù)據(jù)建設(shè)對企業(yè)的發(fā)展方向，政府的管理水平和服務(wù)方式的改進都起到非常重要的作用，但現(xiàn)有的大數(shù)據(jù)處理中，往往是將數(shù)據(jù)都集中到一起后，再進行分類，造成后期工作量大，因數(shù)據(jù)量巨大，造成接收數(shù)據(jù)時網(wǎng)絡(luò)堵塞，從而存在數(shù)據(jù)丟失的問題。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于，針對上述問題，提出一種互聯(lián)網(wǎng)大數(shù)據(jù)處理平臺，以實現(xiàn)防止數(shù)據(jù)丟失的優(yōu)點。
[0004]為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是:
一種互聯(lián)網(wǎng)大數(shù)據(jù)處理平臺，包括，
數(shù)據(jù)采集服務(wù)器:采集互聯(lián)網(wǎng)上的數(shù)據(jù)，并對數(shù)據(jù)進行初步分類，并將相同類別的數(shù)據(jù)壓縮處理后傳輸至發(fā)送服務(wù)器；
發(fā)送服務(wù)器:接收數(shù)據(jù)采集服務(wù)器發(fā)送的數(shù)據(jù)后，保存接收的數(shù)據(jù)并按照數(shù)據(jù)類別和接收時間建立發(fā)送隊列表；
接收服務(wù)器，按照數(shù)據(jù)類別進行分組，并對接收服務(wù)器組進行編號，接收服務(wù)器組按照數(shù)據(jù)分類，不同的接收服務(wù)器組只接收同類別的數(shù)據(jù)，并保存接收的數(shù)據(jù)；
中央控制器:中央控制器采集接收服務(wù)器組的狀態(tài)，并根據(jù)采集的狀態(tài)建立接收隊列表，接收隊列表內(nèi)保存各個接收服務(wù)器的工作狀態(tài)和繁忙程度；
所述中央控制器以循環(huán)的方式偵測發(fā)送隊列表，并依據(jù)接收隊列表記錄的數(shù)據(jù)控制數(shù)據(jù)的傳輸；
中央控制器內(nèi)設(shè)置數(shù)據(jù)冗余判斷模塊:數(shù)據(jù)冗余判斷模塊與接收服務(wù)器連接和數(shù)據(jù)采集服務(wù)器連接，對數(shù)據(jù)采集服務(wù)器采集的數(shù)據(jù)進行冗余判斷，若接收服務(wù)器內(nèi)保存的數(shù)據(jù)如數(shù)據(jù)采集服務(wù)器采集的數(shù)據(jù)相同則將相同的數(shù)據(jù)丟棄；
數(shù)據(jù)采集服務(wù)器內(nèi)設(shè)置數(shù)據(jù)篩選模塊，數(shù)據(jù)篩選模塊對采集的數(shù)據(jù)進行篩選，將無用的數(shù)據(jù)篩選出去。
[0005]本發(fā)明的技術(shù)方案具有以下有益效果:
本發(fā)明的技術(shù)方案，在前期對數(shù)據(jù)進行分類，并在發(fā)送服務(wù)器中建立發(fā)送隊列表，中央控制器對發(fā)送隊列表進行循環(huán)偵測，直到保存數(shù)據(jù)正確發(fā)送到接收服務(wù)器，從而達到防止數(shù)據(jù)丟失的目的。
【具體實施方式】
[0006]一種互聯(lián)網(wǎng)大數(shù)據(jù)處理平臺，包括， 數(shù)據(jù)采集服務(wù)器:采集互聯(lián)網(wǎng)上的數(shù)據(jù)，并對數(shù)據(jù)進行初步分類，并將相同類別的數(shù)據(jù)壓縮處理后傳輸至發(fā)送服務(wù)器；
發(fā)送服務(wù)器:接收數(shù)據(jù)采集服務(wù)器發(fā)送的數(shù)據(jù)后，保存接收的數(shù)據(jù)并按照數(shù)據(jù)類別和接收時間建立發(fā)送隊列表；
接收服務(wù)器，按照數(shù)據(jù)類別進行分組，并對接收服務(wù)器組進行編號，接收服務(wù)器組按照數(shù)據(jù)分類，不同的接收服務(wù)器組只接收同類別的數(shù)據(jù)，并保存接收的數(shù)據(jù)；
中央控制器:中央控制器采集接收服務(wù)器組的狀態(tài)，并根據(jù)采集的狀態(tài)建立接收隊列表，接收隊列表內(nèi)保存各個接收服務(wù)器的工作狀態(tài)和繁忙程度；
中央控制器以循環(huán)的方式偵測發(fā)送隊列表，并依據(jù)接收隊列表記錄的數(shù)據(jù)控制數(shù)據(jù)的傳輸；
中央控制器內(nèi)設(shè)置數(shù)據(jù)冗余判斷模塊:數(shù)據(jù)冗余判斷模塊與接收服務(wù)器連接和數(shù)據(jù)采集服務(wù)器連接，對數(shù)據(jù)采集服務(wù)器采集的數(shù)據(jù)進行冗余判斷，若接收服務(wù)器內(nèi)保存的數(shù)據(jù)如數(shù)據(jù)采集服務(wù)器采集的數(shù)據(jù)相同則將相同的數(shù)據(jù)丟棄。
[0007]數(shù)據(jù)采集服務(wù)器內(nèi)設(shè)置數(shù)據(jù)篩選模塊，數(shù)據(jù)篩選模塊對采集的數(shù)據(jù)進行篩選，將無用的數(shù)據(jù)篩選出去。
[0008]如在電商中將數(shù)據(jù)簡單的分為家電、手機、電腦、辦公用品、服裝、化妝品和其它。
[0009]數(shù)據(jù)采集服務(wù)器將采集的數(shù)據(jù)按照上述的分類要求進行分類后，發(fā)送至發(fā)送服務(wù)器保存，并建立發(fā)送隊列表，對應(yīng)的接收服務(wù)器分為家電接收服務(wù)器組、手機接收服務(wù)器組、電腦接收服務(wù)器組、辦公用品接收服務(wù)器組、服裝接收服務(wù)器組、化妝品接收服務(wù)器組和其它接收服務(wù)器組。
[0010]家電接收服務(wù)器組只接收家電類的數(shù)據(jù)、化妝品接收服務(wù)器組至接收化妝品的數(shù)據(jù)。如發(fā)送服務(wù)器發(fā)送的數(shù)據(jù)類別和順序為家電1、手機1、電腦1、辦公用品1、服裝1、家電2、家電3和辦公用品1，發(fā)送隊列表按照該順序建立，中央控制器以循環(huán)的方式偵測發(fā)送隊列表后，首先調(diào)取接收隊列表的記錄，如接收隊列表內(nèi)顯示家電接收服務(wù)器組正常，可以接收數(shù)據(jù)，中央控制器控制發(fā)送服務(wù)器將家電I的數(shù)據(jù)發(fā)送到家電接收服務(wù)器，同理將手機1、電腦1、辦公用品I和服裝I按照順序發(fā)送，發(fā)送家電2數(shù)據(jù)時，如家電接收服務(wù)器的通道被堵塞，中央控制器往下順延，發(fā)送下一個數(shù)據(jù)，如辦公用品1，發(fā)送完辦公用品I后，中央控制器從新偵測發(fā)送隊列表，至到發(fā)送隊列表內(nèi)的數(shù)據(jù)都發(fā)送完畢，再進行下一輪數(shù)據(jù)的發(fā)送。
[0011]接收服務(wù)器接收到相應(yīng)數(shù)據(jù)后，給中央控制器發(fā)送一個反饋信號，中央控制器接收到反饋信號后，控制發(fā)送服務(wù)器，將發(fā)送服務(wù)器內(nèi)相應(yīng)的數(shù)據(jù)刪除。
[0012]最后應(yīng)說明的是:以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，盡管參照前述實施例對本發(fā)明進行了詳細的說明，對于本領(lǐng)域的技術(shù)人員來說，其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【主權(quán)項】
1.一種互聯(lián)網(wǎng)大數(shù)據(jù)處理平臺，其特征在于，包括， 數(shù)據(jù)采集服務(wù)器:采集互聯(lián)網(wǎng)上的數(shù)據(jù)，并對數(shù)據(jù)進行初步分類，并將相同類別的數(shù)據(jù)壓縮處理后傳輸至發(fā)送服務(wù)器； 發(fā)送服務(wù)器:接收數(shù)據(jù)采集服務(wù)器發(fā)送的數(shù)據(jù)后，保存接收的數(shù)據(jù)并按照數(shù)據(jù)類別和接收時間建立發(fā)送隊列表； 接收服務(wù)器，按照數(shù)據(jù)類別進行分組，并對接收服務(wù)器組進行編號，接收服務(wù)器組按照數(shù)據(jù)分類，只接收同類別的數(shù)據(jù)，并保存接收的數(shù)據(jù)； 中央控制器:中央控制器采集接收服務(wù)器組的狀態(tài)，并根據(jù)采集的狀態(tài)建立接收隊列表，接收隊列表內(nèi)保存各個接收服務(wù)器的工作狀態(tài)和繁忙程度； 所述中央控制器以循環(huán)的方式偵測發(fā)送隊列表，并依據(jù)接收隊列表記錄的數(shù)據(jù)控制數(shù)據(jù)的傳輸； 中央控制器內(nèi)設(shè)置數(shù)據(jù)冗余判斷模塊:數(shù)據(jù)冗余判斷模塊與接收服務(wù)器連接和數(shù)據(jù)采集服務(wù)器連接，對數(shù)據(jù)采集服務(wù)器采集的數(shù)據(jù)進行冗余判斷，若接收服務(wù)器內(nèi)保存的數(shù)據(jù)如數(shù)據(jù)采集服務(wù)器采集的數(shù)據(jù)相同則將相同的數(shù)據(jù)丟棄； 數(shù)據(jù)采集服務(wù)器內(nèi)設(shè)置數(shù)據(jù)篩選模塊，數(shù)據(jù)篩選模塊對采集的數(shù)據(jù)進行篩選，將無用的數(shù)據(jù)篩選出去。
【專利摘要】本發(fā)明公開了一種互聯(lián)網(wǎng)大數(shù)據(jù)處理平臺，包括，數(shù)據(jù)采集服務(wù)器：采集互聯(lián)網(wǎng)上的數(shù)據(jù)，并對數(shù)據(jù)進行初步分類；發(fā)送服務(wù)器：接收數(shù)據(jù)采集服務(wù)器發(fā)送的數(shù)據(jù)后，保存接收的數(shù)據(jù)并建立發(fā)送隊列表；接收服務(wù)器，按照數(shù)據(jù)分類，只接收同類別的數(shù)據(jù)，并保存接收的數(shù)據(jù)；中央控制器：中央控制器采集接收服務(wù)器組的狀態(tài)，并根據(jù)采集的狀態(tài)建立接收隊列表，接收隊列表內(nèi)保存各個接收服務(wù)器的工作狀態(tài)和繁忙程度；所述中央控制器以循環(huán)的方式偵測發(fā)送隊列表，并依據(jù)接收隊列表記錄的數(shù)據(jù)控制數(shù)據(jù)的傳輸，中央控制器內(nèi)設(shè)置數(shù)據(jù)冗余判斷模塊，數(shù)據(jù)采集服務(wù)器內(nèi)設(shè)置數(shù)據(jù)篩選模塊。達到防止數(shù)據(jù)丟失的目的。
【IPC分類】G06F17/30, H04L12/861, H04L12/863
【公開號】CN104935528
【申請?zhí)枴緾N201510313220
【發(fā)明人】程崇煜
【申請人】柳州市智融科技有限公司
【公開日】2015年9月23日
【申請日】2015年6月10日