移動智能設(shè)備流式大數(shù)據(jù)實時處理方法
【專利摘要】本發(fā)明提供一種針對移動智能設(shè)備的流式大數(shù)據(jù)的實時處理方法，包括：來自移動客戶端的流式數(shù)據(jù)傳送至服務(wù)端后，服務(wù)端通過并發(fā)內(nèi)容匹配、條件過濾和轉(zhuǎn)換傳送方式降低數(shù)據(jù)量，最后將處理后得到的數(shù)據(jù)用于后續(xù)應(yīng)用。本發(fā)明所述的方法可以使初始獲得的海量數(shù)據(jù)量大幅度地減少，從而大幅度地提升計算的速度和效率，最終使得在特定場景下有效、有意義的數(shù)據(jù)能夠被后端應(yīng)用或服務(wù)實時處理。本發(fā)明還提供了能完成所述的數(shù)據(jù)處理方法的系統(tǒng)。
【專利說明】
移動智能設(shè)備流式大數(shù)據(jù)實時處理方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種數(shù)據(jù)處理方法，尤其涉及一種智能設(shè)備間流式大數(shù)據(jù)的實時處理方法。
【背景技術(shù)】
[0002]隨著物聯(lián)網(wǎng)(例如:移動醫(yī)療和車聯(lián)網(wǎng))的飛速發(fā)展，約有幾十億的智能設(shè)備(包括計算機和智能手機)聯(lián)入了互聯(lián)網(wǎng)，并且這一數(shù)字還在成指數(shù)級增長。伴隨這些設(shè)備的接入，隨時隨地會有大量的數(shù)據(jù)產(chǎn)生，以移動醫(yī)療為例，海量的可穿戴或者智能醫(yī)療設(shè)備接入互聯(lián)網(wǎng)，患者的問診信息(電子病歷)、身體狀態(tài)信息(健康檔案)、地理位置信息、用藥信息、所處位置的環(huán)境信息(例如:天氣)等各種海量信息都會以格式化或者非格式化的方式被收集、存儲。如何利用大數(shù)據(jù)分析技術(shù)對這些數(shù)據(jù)進行分析和處理，尤其是實時分析，將會成為挑戰(zhàn)，分析的結(jié)果將會對患者或者病人的病情監(jiān)護、干預(yù)甚至治療提供更加精準(zhǔn)、及時的依據(jù)和洞察力，從而改變當(dāng)前遲緩、被動及片面的醫(yī)療狀況。
[0003]海量的實時數(shù)據(jù)流(LiveData Stream)，使用傳統(tǒng)的計算機技術(shù)(例如:Java和Ruby)很難處理，移動智能設(shè)備獲得的數(shù)據(jù)更是具有場景和地理位置的多變性，傳統(tǒng)的處理方法已經(jīng)遠遠不能滿足需求。因此在物聯(lián)網(wǎng)快速發(fā)展的背景下，有必要提出一種針對物聯(lián)網(wǎng)中智能設(shè)備產(chǎn)生的流式大數(shù)據(jù)的處理方法，以提高數(shù)據(jù)的利用效率，為人們工作和生活的諸多領(lǐng)域帶來便利。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于:提供一種數(shù)據(jù)處理方法，對于大量接入互聯(lián)網(wǎng)的移動智能設(shè)備高并發(fā)產(chǎn)生的海量流式大數(shù)據(jù)能夠進行簡單、高效地處理。
[0005]本發(fā)明的上述目的通過以下技術(shù)方案實現(xiàn):
[0006]提供一種針對移動智能設(shè)備的流式大數(shù)據(jù)的實時處理方法，包括:來自移動客戶端的流式數(shù)據(jù)傳送至服務(wù)端后，服務(wù)端通過并發(fā)內(nèi)容匹配、條件過濾和轉(zhuǎn)換傳送方式降低數(shù)據(jù)量，最后將處理后得到的數(shù)據(jù)用于后續(xù)應(yīng)用。
[0007]本發(fā)明所述的移動智能設(shè)備的流式大數(shù)據(jù)的實時處理方法，具體包括以下步驟:
[0008]I)消息接收處理(Message Pre-processing)
[0009]從移動智能設(shè)備收集到的包括地理位置信息的海量數(shù)據(jù)，通過發(fā)布、訂閱消息中間件傳送至服務(wù)端；
[0010]2)并發(fā)內(nèi)容匹配(Parallel Content Matching)
[0011]在所述的服務(wù)端，以大數(shù)據(jù)并發(fā)計算平臺作為實時計算引擎，將步驟I)傳送來的實時數(shù)據(jù)流分成1/2?I秒一個批次。
[0012]3)條件過濾
[0013]3.1)根據(jù)場景需要，定義基于地理信息的目標(biāo)范圍規(guī)則，保留目標(biāo)范圍內(nèi)的數(shù)據(jù)，過濾掉目標(biāo)范圍外的無意義數(shù)據(jù)；
[0014]3.2)將步驟3.1)保留的數(shù)據(jù)分類，并將相同場景中相關(guān)度權(quán)重排在前50%的類別信息相融合，進一步降低待處理的數(shù)據(jù)量；
[0015]4、轉(zhuǎn)換(Transformat1n)
[0016]對經(jīng)過步驟3)處理后的數(shù)據(jù)進行傳送方式的轉(zhuǎn)換，所述的傳送方式的轉(zhuǎn)換包括以下三種中的任意一種或兩種以上的組合:
[0017]4.1)降低數(shù)據(jù)傳送頻率;數(shù)據(jù)傳送頻率過高會產(chǎn)生大量重復(fù)無意義的數(shù)據(jù)，為數(shù)據(jù)處理帶來困難，因此需要降低傳送頻率；
[0018]4.2)僅傳送發(fā)生變化的數(shù)據(jù);應(yīng)用開發(fā)者往往只需要關(guān)注海量數(shù)據(jù)中發(fā)生改變的數(shù)據(jù)，因此可以放棄大量不發(fā)生變化的數(shù)據(jù)的無效傳送；
[0019]或者
[0020]4.3)根據(jù)預(yù)設(shè)規(guī)則劃分數(shù)據(jù)子群并僅傳送處理成本相對低的子群數(shù)據(jù);通?？梢詫?shù)據(jù)按照各種預(yù)設(shè)的規(guī)則劃分為表現(xiàn)相反或相對的兩個數(shù)據(jù)子群，直接處理成本相對低的子群數(shù)據(jù)，則可以在顯著減少處理量的同時實現(xiàn)對全部數(shù)據(jù)的掌握。
[0021]5、將步驟4)處理后的數(shù)據(jù)集提交給后續(xù)的應(yīng)用。
[0022]本發(fā)明的方法中，來自移動客戶端的海量的數(shù)據(jù)信息通過上述步驟的處理、過濾和轉(zhuǎn)換，達到大幅減少數(shù)量、提高計算效率的目的，從而解決流式實時海量數(shù)據(jù)無法及時準(zhǔn)確分析處理的問題。
[0023]本發(fā)明所述的方案中，步驟I)所述的從移動智能設(shè)備收集到的包括地理位置信息的海量數(shù)據(jù)，可以通過現(xiàn)有的多種發(fā)布、訂閱消息中間件傳送至服務(wù)端，本發(fā)明優(yōu)選通過消息隊列遙測傳輸(MQTT)模塊將數(shù)據(jù)傳送至服務(wù)端。
[0024]本發(fā)明所述的方案中，步驟2)所述的實時計算引擎可以采用現(xiàn)有的多種計算框架完成，本發(fā)明優(yōu)選采用Spark Streaming實時計算框架。該計算框架可以通過大數(shù)據(jù)的處理方法在一定程度上預(yù)先過濾、轉(zhuǎn)換和快速處理來自移動智能設(shè)備的海量數(shù)據(jù)信息。
[0025]本發(fā)明優(yōu)選的一種方案中，步驟3.1)是根據(jù)場景需要確定感興趣的地理位置區(qū)域特征，以所述的特征定義地理圍欄，保留地理圍欄內(nèi)的數(shù)據(jù)，過濾掉地理圍欄外的無意義數(shù)據(jù)；
[0026]所述的地理圍欄的定義，可以通過多種方式實現(xiàn)。例如，在獲取的移動客戶端地理位置信息分布可視化界面上，以感興趣區(qū)域內(nèi)最顯著特征所在點為圓心，以固定半徑劃定圓形地理圍欄;或者，通過計算機系統(tǒng)對所獲得的移動客戶端地理位置信息進行實時數(shù)據(jù)分析，基于獲得的移動客戶端地理位置信息與感興趣區(qū)域特征的匹配關(guān)系來精確劃定多邊形地理圍欄。不同的地理圍欄定義方式可以滿足不同場景下的不同精確度或?qū)崟r性要求。
[0027]本發(fā)明所述的方案中，步驟3.2)所述的分類和排序可以通過分析實時數(shù)據(jù)后根據(jù)既定場景要求將類別權(quán)重進行排序，也可以先基于少量數(shù)據(jù)完成模型訓(xùn)練后對所有數(shù)據(jù)進行類別的權(quán)重排序。
[0028]本發(fā)明進一步優(yōu)選的方案中，步驟3.2)針對所述的排序設(shè)定應(yīng)用準(zhǔn)確度閥值，實時反饋應(yīng)用準(zhǔn)確度，當(dāng)應(yīng)用準(zhǔn)確度低于閥值時，對所述的排序進行調(diào)整。
[0029]本發(fā)明所述的方案中，步驟4.1)所述的降低數(shù)據(jù)傳送頻率可以通過平均值、最小值、最大值或中值數(shù)據(jù)運算方法確定最終數(shù)據(jù)傳送頻率。
[0030]此外，本發(fā)明還提出一種能夠?qū)崿F(xiàn)所述的移動智能設(shè)備流式大數(shù)據(jù)實時處理的系統(tǒng)，主要包括移動客戶端和服務(wù)端;所述的移動客戶端用于采集包括地理位置信息的實時數(shù)據(jù);所述的服務(wù)端用于處理來自移動客戶端的實時流式數(shù)據(jù);所述的客戶端和服務(wù)端之間通過無線傳輸方式交流；
[0031]所述的服務(wù)端進一步包括數(shù)據(jù)接收及預(yù)處理模塊、并發(fā)內(nèi)容匹配模塊、條件模塊、轉(zhuǎn)換模塊和執(zhí)行模塊；
[0032]所述的數(shù)據(jù)接收及預(yù)處理模塊，用于接收來自移動智能設(shè)備的包括地理位置信息的海量數(shù)據(jù);所述的接收可通過發(fā)布、訂閱消息中間件完成；
[0033]所述的并發(fā)內(nèi)容匹配模塊，用于將接收到的流式數(shù)據(jù)實時劃分批次；
[0034]所述的條件模塊，用于過濾實時流式數(shù)據(jù)中不必處理的數(shù)據(jù);所述的條件模塊進一步包括地理圍欄單元和上下文信息融合單元；
[0035]所述的轉(zhuǎn)換模塊，用于進一步降低傳送數(shù)據(jù)量，以篩選獲得值得處理的數(shù)據(jù);所述的轉(zhuǎn)換模塊進一步包括降低頻率單元、僅傳遞變化數(shù)據(jù)單元和多維度異常點檢測單元；
[0036]所述的執(zhí)行模塊，用于將處理后的數(shù)據(jù)集提交給后續(xù)的應(yīng)用或觸發(fā)后續(xù)的動作。
[0037]目前，快速發(fā)展的移動醫(yī)療、車聯(lián)網(wǎng)等智能設(shè)備傳感器往往會產(chǎn)生高頻次的海量數(shù)據(jù)，然而現(xiàn)有的手機或者Web應(yīng)用采用的企業(yè)級或互聯(lián)網(wǎng)技術(shù)(例如:Java或Ruby等)無法及時處理由智能設(shè)備產(chǎn)生的高頻海量數(shù)據(jù)(如:170Hz振動傳感器的數(shù)據(jù)、50Hz的PMU電源管理傳感器的數(shù)據(jù)或者10Hz石油勘探傳感器的數(shù)據(jù))。本發(fā)明的方法及系統(tǒng)提供了適合用于移動智能設(shè)備采集的實時大量流式數(shù)據(jù)的處理方法，尤其是含有地理位置信息的實時流式數(shù)據(jù)的處理。地理位置信息對于移動醫(yī)療設(shè)備、車聯(lián)網(wǎng)、物聯(lián)網(wǎng)設(shè)備日益重要，并且越來越多的LBS信息會隨著互聯(lián)網(wǎng)及移動終端設(shè)備的應(yīng)用而生產(chǎn)。本發(fā)明方法中，通過提供圓形、方形和多邊形的地理圍欄信息，可以定義基于地理信息的范圍規(guī)則，從而降低數(shù)據(jù)量。在此基礎(chǔ)上，本發(fā)明進一步通過降低數(shù)據(jù)采樣頻次、變換數(shù)據(jù)采樣樣本和數(shù)據(jù)采樣條件來達到進一步過濾和刪減數(shù)據(jù)量的目的。通過本發(fā)明所述的條件模塊的過濾，以及轉(zhuǎn)化模塊的數(shù)據(jù)變形和轉(zhuǎn)換后，初始獲得的海量數(shù)據(jù)量會大幅度地減少，從而大幅度地提升計算的速度和效率，最終使得在特定場景下有效、有意義的數(shù)據(jù)能夠被后端應(yīng)用或服務(wù)實時處理。
【附圖說明】
[0038]圖1是本發(fā)明所述的數(shù)據(jù)處理方法的基本流程圖。
【具體實施方式】
[0039]以下通過實施例的方式進一步詳細闡述本發(fā)明的內(nèi)容，但本發(fā)明的范圍不限于以下實施例。
[0040]實施例1
[0041]—種針對來自移動醫(yī)療智能設(shè)備的流式大數(shù)據(jù)的實時處理方法，具體包括以下步驟:
[0042]I)消息接收處理(Message Pre-processing)
[0043]從可穿戴的血壓和心電動態(tài)監(jiān)測裝置采集到的包括地理位置信息的海量數(shù)據(jù)，通過MQTT傳送至服務(wù)端；
[0044]2)并發(fā)內(nèi)容匹配(Parallel Content Matching)
[0045]在所述的服務(wù)端，以SparkStreaming模塊作為實時計算引擎，將步驟I)傳送來的實時數(shù)據(jù)流分成1/2秒一個批次。
[0046]3)條件過濾
[0047]3.1)場景設(shè)置:
[0048]在低氣壓天氣狀況下，對高原地區(qū)的高血壓或心律不齊患者進行告警。
[0049]3.2)地理圍欄過濾
[0050]在服務(wù)端獲取的移動客戶端地理位置信息分布可視界面上，以氣象數(shù)據(jù)中低氣壓地區(qū)和地理數(shù)據(jù)中的高海拔地區(qū)的重疊區(qū)域為感興趣區(qū)域，以感興趣區(qū)域內(nèi)最低氣壓且最高海拔的位置作為圓心，以10km為半徑劃定圓形地理圍欄，保留目標(biāo)范圍內(nèi)的數(shù)據(jù)，過濾掉目標(biāo)范圍外的數(shù)據(jù)；
[0051 ] 3.3)將步驟3.2)保留的數(shù)據(jù)分為“大氣壓信息”、“包括患者血壓和心律狀況的體征信息”、以及” GPS地理位置信息”；根據(jù)步驟3.1)既定場景，將類別權(quán)重進行排序，并將相同場景中相關(guān)度權(quán)重排在前50%的類別信息相融合，進一步降低待處理的數(shù)據(jù)量，具體包括:給出的先驗的權(quán)重是患者體征信息占50 %，大氣壓信息占30 %和GPS地理位置信息占20%，融合過程是對各個類別值和權(quán)重值的算術(shù)乘積取和，根據(jù)患者體征信息(例如高血壓、心律不齊的患者值為100，以此類推)與相關(guān)權(quán)重50 %的乘積，天氣狀況的值(例如:氣壓低的天氣值為100，以此類推)與相關(guān)30 %權(quán)重的乘積，地理位置值(例如:海拔在1500m以上的高原地區(qū)的地理位置值為100，以此類推)與相關(guān)權(quán)重20%的乘積，最后將這三個值求和。此外，還對所述排序設(shè)定一個“應(yīng)用準(zhǔn)確度閥值”，并實時反饋應(yīng)用準(zhǔn)確度，當(dāng)應(yīng)用準(zhǔn)確度低于閥值時，對所述的排序進行調(diào)整。
[0052]4、轉(zhuǎn)換(Transformat1n)
[0053]對經(jīng)過步驟3)處理后的數(shù)據(jù)進行傳送方式的轉(zhuǎn)換，所述的傳送方式的轉(zhuǎn)換包括:
[0054]4.1)降低數(shù)據(jù)傳送頻率;將數(shù)據(jù)采集和發(fā)送的頻度從毫秒級變?yōu)槊爰壔蛘?/2秒級；
[0055]4.2)僅采集和傳送相同類別中發(fā)生了變化的那部分數(shù)據(jù)；
[0056]5、將步驟4)處理后的數(shù)據(jù)集通過Kafka提交給后續(xù)的報表系統(tǒng)，并且根據(jù)報表結(jié)果觸發(fā)消息推送服務(wù)，將告警提示信息實時、準(zhǔn)確地發(fā)送至處于高原地帶且患有高血壓和心臟病的患者的移動客戶端，提醒其注意防控，降低突然發(fā)病的幾率。
[0057]實施例2
[0058]一種針對來自車聯(lián)網(wǎng)智能設(shè)備的流式大數(shù)據(jù)的實時處理方法，具體包括以下步驟:
[0059]I)消息接收處理(Message Pre-processing)
[0060]從車載OBD系統(tǒng)通過3G/4G信號收集到的汽車內(nèi)部CAN總線和K總線的數(shù)據(jù)，與其地理位置信息一起組成數(shù)據(jù)集，通過MQTT傳送至服務(wù)端；
[0061 ] 2)并發(fā)內(nèi)容匹配(Parallel Content Matching)
[0062]在所述的服務(wù)端，以SparkStreaming模塊作為實時計算引擎，將步驟I)傳送來的實時數(shù)據(jù)流分成I秒一個批次。
[0063]3)條件過濾
[0064]3.1)場景設(shè)置:
[0065]在極端雨雪天氣情況下，針對危險、連續(xù)轉(zhuǎn)彎或事故多發(fā)路段設(shè)置地理圍欄，通知行駛車輛注意道路情況，安全駕駛；
[0066]3.2)地理圍欄過濾:
[0067]通過計算機系統(tǒng)對所獲得的移動客戶端地理位置信息進行實時數(shù)據(jù)分析，基于獲得的移動客戶端地理位置信息與雨雪氣象特征和陡坡、多彎等既有路況特征的匹配關(guān)系來精確劃定多邊形地理圍欄，保留目標(biāo)范圍內(nèi)的數(shù)據(jù)，過濾掉目標(biāo)范圍外的數(shù)據(jù)；
[0068]3.3)將步驟3.1)保留的數(shù)據(jù)分為“天氣”、“駕駛習(xí)慣”以及“GPS地理位置”幾個類另IJ，先基于少量數(shù)據(jù)完成模型訓(xùn)練后對所有數(shù)據(jù)進行類別的權(quán)重排序，并將相同場景中相關(guān)度權(quán)重排在前50%的類別信息相融合，進一步降低待處理的數(shù)據(jù)量;具體包括:給出的先驗的權(quán)重是天氣占50%，GPS地理位置信息占30%和駕駛習(xí)慣占20%，融合過程是對各個類別值和權(quán)重值的算術(shù)乘積取和，根據(jù)天氣惡略程度值(例如極端雨雪天氣時天氣惡略程度值為100，以此類推)與相關(guān)權(quán)重50%的乘積，并且根據(jù)GPS的路段狀況值(例如:連續(xù)轉(zhuǎn)彎或事故多發(fā)的危險路段的路段狀況值為100，以此類推)與相關(guān)30%權(quán)重的乘積，駕駛員駕駛習(xí)慣值(例如:常有“猛打方向盤”或者“急剎車”的，駕駛習(xí)慣值為100，以此類推)與相關(guān)權(quán)重20%的乘積，最后將這三個值求和。另外還針對上述排序設(shè)定一個“應(yīng)用準(zhǔn)確度閥值”，實時反饋應(yīng)用準(zhǔn)確度，當(dāng)應(yīng)用準(zhǔn)確度低于閥值時，對所述的排序進行調(diào)整。
[0069]4、轉(zhuǎn)換(Transformat1n)
[0070]對經(jīng)過步驟3)處理后的數(shù)據(jù)進行傳送方式的轉(zhuǎn)換，所述的傳送方式的轉(zhuǎn)換包括:
[0071]4.1)降低數(shù)據(jù)傳送頻率;將數(shù)據(jù)采集和發(fā)送的頻度從毫秒級變?yōu)槊爰壔蛘?/2秒級；
[0072]4.2)僅采集和傳送相同類別的數(shù)據(jù)中發(fā)生了變化的那部分數(shù)據(jù)；以及
[0073]4.3)根據(jù)預(yù)設(shè)規(guī)則劃分數(shù)據(jù)子群并僅傳送處理成本相對低的子群數(shù)據(jù);通常可以將數(shù)據(jù)按照各種預(yù)設(shè)的規(guī)則劃分為表現(xiàn)相反或相對的兩個數(shù)據(jù)子群，直接處理成本相對低的子群數(shù)據(jù)，則可以在顯著減少處理量的同時實現(xiàn)對全部數(shù)據(jù)的掌握;具體可以是:剎車片的散熱或其他工況通過傳感器反映為不同的顏色，車載智能客戶端通過顏色來判斷相關(guān)設(shè)備的工作狀態(tài)，當(dāng)所述預(yù)設(shè)規(guī)則是要給紅色狀況的客戶端發(fā)送消息時，則將數(shù)據(jù)分為紅色或非紅色的子群，然后判斷哪一子群處理成本更低，則選擇該子群進行相應(yīng)的處理。
[0074]5、將步驟4)處理后的數(shù)據(jù)集通過Kafka提交給后續(xù)的報表系統(tǒng)，并且根據(jù)報表結(jié)果觸發(fā)消息推送服務(wù)，將天氣和路況信息實時、準(zhǔn)確地發(fā)送至需要特別提醒的駕駛員的車載移動客戶端，以提醒其注意安全，減少交通事故發(fā)生幾率。
【主權(quán)項】
1.一種來自移動智能設(shè)備的流式大數(shù)據(jù)的實時處理方法，具體包括以下步驟: 1)消息接收處理 從移動智能設(shè)備收集到的包括地理位置信息的海量數(shù)據(jù)，通過發(fā)布、訂閱消息中間件傳送至服務(wù)端； 2)并發(fā)內(nèi)容匹配 在所述的服務(wù)端，以大數(shù)據(jù)并發(fā)計算平臺作為實時計算引擎，將步驟I)傳送來的實時數(shù)據(jù)流分成1/2?I秒一個批次； 3)條件過濾 3.1)根據(jù)場景需要，定義基于地理信息的目標(biāo)范圍規(guī)則，保留目標(biāo)范圍內(nèi)的數(shù)據(jù)，過濾掉目標(biāo)范圍外的無意義數(shù)據(jù)； 3、2)將步驟3.1)保留的數(shù)據(jù)分類，并將相同場景中相關(guān)度權(quán)重排在前50%的類別信息相融合，進一步降低待處理的數(shù)據(jù)量； 4、采樣轉(zhuǎn)換 對經(jīng)過步驟3)處理后的數(shù)據(jù)進行傳送方式的轉(zhuǎn)換，所述的傳送方式的轉(zhuǎn)換包括以下三種方式中的任意一種或兩種以上的組合: 4.1)降低數(shù)據(jù)傳送頻率； 4.2)僅傳送發(fā)生變化的數(shù)據(jù)； 或者 4.3)根據(jù)預(yù)設(shè)規(guī)則劃分數(shù)據(jù)子群并僅傳送處理成本相對低的子群數(shù)據(jù)。 5、將步驟4)處理后的數(shù)據(jù)集提交給后續(xù)的應(yīng)用。2.權(quán)利要求1所述的方法，其特征在于:步驟I)所述的從移動智能設(shè)備收集到的包括地理位置信息的海量數(shù)據(jù)，通過消息隊列遙測傳輸(MQTT)模塊將數(shù)據(jù)傳送至服務(wù)端。3.權(quán)利要求1所述的方法，其特征在于:步驟2)所述的實時計算引擎采用SparkStreaming實時計算框架。4.權(quán)利要求1所述的方法，其特征在于:步驟3.1)是根據(jù)場景需要確定感興趣的地理位置區(qū)域特征，以所述的特征定義地理圍欄，保留地理圍欄內(nèi)的數(shù)據(jù)，過濾掉地理圍欄外的無意義數(shù)據(jù)。5.權(quán)利要求4所述的方法，其特征在于:所述的地理圍欄的定義，是在獲取的移動客戶端地理位置信息分布界面上，以感興趣區(qū)域內(nèi)最顯著特征所在點為圓心，以固定半徑劃定圓形地理圍欄。6.權(quán)利要求4所述的方法，其特征在于:所述的地理圍欄的定義，是通過計算機系統(tǒng)對所獲得的移動客戶端地理位置信息進行實時數(shù)據(jù)分析，基于獲得的移動客戶端地理位置信息與感興趣區(qū)域特征的匹配關(guān)系來精確劃定多邊形地理圍欄。7.權(quán)利要求1所述的方法，其特征在于:步驟3.2)所述的分類和排序可以通過分析實時數(shù)據(jù)后根據(jù)既定場景要求將類別權(quán)重進行排序，或者，先基于少量數(shù)據(jù)完成模型訓(xùn)練后對所有數(shù)據(jù)進行類別的權(quán)重排序。8.權(quán)利要求1或7所述的任意一種方法，其特征在于:步驟3.2)針對所述的排序設(shè)定應(yīng)用準(zhǔn)確度閥值，實時反饋應(yīng)用準(zhǔn)確度，當(dāng)應(yīng)用準(zhǔn)確度低于閥值時，對所述的排序進行調(diào)整。9.權(quán)利要求1所述的方法，其特征在于:步驟4.1)所述的降低數(shù)據(jù)傳送頻率通過計算數(shù)據(jù)的平均值、最小值、最大值或中值來確定最終數(shù)據(jù)傳送頻率。10.—種能夠?qū)崿F(xiàn)權(quán)利要求1所述的移動智能設(shè)備流式大數(shù)據(jù)實時處理的系統(tǒng)，主要包括移動客戶端和服務(wù)端;所述的移動客戶端用于采集包括地理位置信息的實時數(shù)據(jù);所述的服務(wù)端用于處理來自移動客戶端的實時流式數(shù)據(jù);所述的客戶端和服務(wù)端之間通過無線傳輸方式交流； 所述的服務(wù)端進一步包括數(shù)據(jù)接收及預(yù)處理模塊、并發(fā)內(nèi)容匹配模塊、條件模塊、轉(zhuǎn)換模塊和執(zhí)行模塊； 所述的數(shù)據(jù)接收及預(yù)處理模塊，用于接收來自移動智能設(shè)備的包括地理位置信息的海量數(shù)據(jù);所述的接收可通過發(fā)布、訂閱消息中間件完成； 所述的并發(fā)內(nèi)容匹配模塊，用于將接收到的流式數(shù)據(jù)實時劃分批次； 所述的條件模塊，用于過濾實時流式數(shù)據(jù)中不必處理的數(shù)據(jù);所述的條件模塊進一步包括地理圍欄單元和上下文信息融合單元； 所述的轉(zhuǎn)換模塊，用于進一步降低傳送數(shù)據(jù)量，以篩選獲得值得處理的數(shù)據(jù);所述的轉(zhuǎn)換模塊進一步包括降低頻率單元、僅傳遞變化數(shù)據(jù)單元和多維度異常點檢測單元； 所述的執(zhí)行模塊，用于將處理后的數(shù)據(jù)集提交給后續(xù)的應(yīng)用或觸發(fā)后續(xù)的動作。
【文檔編號】H04L29/06GK105933308SQ201610245587
【公開日】2016年9月7日
【申請日】2016年4月20日
【發(fā)明人】高旸, 張冰, 胡易
【申請人】北京章魚智數(shù)科技有限公司