本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，具體涉及移動(dòng)設(shè)備信息采集系統(tǒng)。

背景技術(shù)：

在目前的移動(dòng)互聯(lián)網(wǎng)風(fēng)靡全球的大時(shí)代背景下，移動(dòng)互聯(lián)網(wǎng)依靠的終端設(shè)備之一的android智能手機(jī)，每天產(chǎn)生了海量的含有大量待挖掘的信息數(shù)據(jù)。移動(dòng)互聯(lián)網(wǎng)企業(yè)通過這些信息數(shù)據(jù)，可以為產(chǎn)品在線上運(yùn)營的情況提供可靠分析，從而了解產(chǎn)品線上情況，制定產(chǎn)品開發(fā)方向提供有力支撐。那么，如何采集數(shù)據(jù)，如何進(jìn)行數(shù)據(jù)的初步存儲是每一個(gè)移動(dòng)互聯(lián)網(wǎng)企業(yè)所關(guān)心的重點(diǎn)所在。目前的移動(dòng)信息設(shè)備采集系統(tǒng)如“友盟統(tǒng)計(jì)”，具有很強(qiáng)的本地?cái)?shù)據(jù)分析能力與定制化的數(shù)據(jù)采集方案。但其不對外提供原始數(shù)據(jù)接入接口，配制定制化流程較為繁瑣。

比較當(dāng)前的移動(dòng)設(shè)備信息采集系統(tǒng)，本發(fā)明具有可通用的數(shù)據(jù)采集方案、可定制化的數(shù)據(jù)結(jié)構(gòu)模式及方便快速的數(shù)據(jù)存儲平臺，可以有效提高企業(yè)的數(shù)據(jù)分析能力，縮短開發(fā)流程，節(jié)省人力物力，從而為企業(yè)提供一份快速、可靠的決策參考。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供移動(dòng)設(shè)備信息采集系統(tǒng)，可以順應(yīng)移動(dòng)互聯(lián)網(wǎng)時(shí)代的大數(shù)據(jù)挖掘需求痛點(diǎn)，讓信息數(shù)據(jù)能夠快速流通起來，并將數(shù)據(jù)存儲于通用的大數(shù)據(jù)組件中，以提供快速、高吞吐量的接口用于大數(shù)據(jù)挖掘與分析。

為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案是：

移動(dòng)設(shè)備信息采集系統(tǒng)，它包括數(shù)據(jù)采集模塊、數(shù)據(jù)接入與存儲模塊和配置管理模塊，所述數(shù)據(jù)采集模塊負(fù)責(zé)獲取移動(dòng)設(shè)備的原始數(shù)據(jù)，所述數(shù)據(jù)接入與存儲模塊負(fù)責(zé)采集數(shù)據(jù)的接收與存儲，所述配置管理模塊負(fù)責(zé)定義數(shù)據(jù)采集配置信息，提供圖形化的管理功能，并通過同步服務(wù)將修改的合法配置更新至數(shù)據(jù)庫。

優(yōu)選地，所述數(shù)據(jù)采集模塊具體包括數(shù)據(jù)傳輸模塊和數(shù)據(jù)獲取模塊。

優(yōu)選地，所述數(shù)據(jù)接入與存儲模塊具體包括數(shù)據(jù)庫、原始數(shù)據(jù)網(wǎng)絡(luò)接入服務(wù)、數(shù)據(jù)預(yù)處理和數(shù)據(jù)存儲模塊。

優(yōu)選地，所述配置管理模塊具體包括配置同步服務(wù)和web管理服務(wù)。

優(yōu)選地，所述數(shù)據(jù)獲取模塊將采集的數(shù)據(jù)發(fā)送至數(shù)據(jù)傳輸模塊，所述數(shù)據(jù)傳輸模塊與原始數(shù)據(jù)網(wǎng)絡(luò)接入服務(wù)的接口形成互連。

優(yōu)選地，所述原始數(shù)據(jù)網(wǎng)絡(luò)接入服務(wù)通過數(shù)據(jù)預(yù)處理將數(shù)據(jù)存儲于數(shù)據(jù)存儲模塊中。

優(yōu)選地，所述數(shù)據(jù)庫僅存儲數(shù)據(jù)的配置信息，并通過web管理服務(wù)和配置同步服務(wù)進(jìn)行web管理，并提供數(shù)據(jù)查詢和計(jì)算的接口。

本發(fā)明的特點(diǎn)在于：1）可以基于配置信息實(shí)現(xiàn)對采集數(shù)據(jù)信息的結(jié)構(gòu)化；2）針對不同類型的數(shù)據(jù)，可以通過定制化字段來采集相應(yīng)數(shù)據(jù)；3）可以初步控制數(shù)據(jù)采集信息上傳的頻率；4）可以實(shí)現(xiàn)數(shù)據(jù)在服務(wù)端存儲的完整性與可用性；5）可使系統(tǒng)具有良好的擴(kuò)展性。

附圖說明

圖1是本發(fā)明的系統(tǒng)結(jié)構(gòu)示意圖。

圖2是本發(fā)明的數(shù)據(jù)緩存基本時(shí)序圖。

圖3是本發(fā)明的上傳時(shí)序圖。

圖4是本發(fā)明的數(shù)據(jù)傳輸控制流程圖。

具體實(shí)施方式

下面結(jié)合附圖對本發(fā)明作進(jìn)一步地描述。

如圖1所示，本發(fā)明為移動(dòng)設(shè)備信息采集系統(tǒng)，它包括數(shù)據(jù)采集模塊、數(shù)據(jù)接入與存儲模塊和配置管理模塊，所述數(shù)據(jù)采集模塊負(fù)責(zé)獲取移動(dòng)設(shè)備的原始數(shù)據(jù)，所述數(shù)據(jù)接入與存儲模塊負(fù)責(zé)采集數(shù)據(jù)的接收與存儲，所述配置管理模塊負(fù)責(zé)定義數(shù)據(jù)采集配置信息，提供圖形化的管理功能，并通過同步服務(wù)將修改的合法配置更新至數(shù)據(jù)庫。所述數(shù)據(jù)采集模塊具體包括數(shù)據(jù)傳輸模塊和數(shù)據(jù)獲取模塊。所述數(shù)據(jù)接入與存儲模塊具體包括數(shù)據(jù)庫、原始數(shù)據(jù)網(wǎng)絡(luò)接入服務(wù)、數(shù)據(jù)預(yù)處理和數(shù)據(jù)存儲模塊。所述配置管理模塊具體包括配置同步服務(wù)和web管理服務(wù)。所述數(shù)據(jù)獲取模塊將采集的數(shù)據(jù)發(fā)送至數(shù)據(jù)傳輸模塊，所述數(shù)據(jù)傳輸模塊與原始數(shù)據(jù)網(wǎng)絡(luò)接入服務(wù)的接口形成互連。所述原始數(shù)據(jù)網(wǎng)絡(luò)接入服務(wù)通過數(shù)據(jù)預(yù)處理將數(shù)據(jù)存儲于數(shù)據(jù)存儲模塊中。所述數(shù)據(jù)庫僅存儲數(shù)據(jù)的配置信息，并通過web管理服務(wù)和配置同步服務(wù)進(jìn)行web管理，并提供數(shù)據(jù)查詢和計(jì)算的接口。

優(yōu)選地，對于配置管理模塊，該模塊定義了數(shù)據(jù)采集配置信息，包含了數(shù)據(jù)結(jié)構(gòu)定義與上傳頻率。web管理服務(wù)中提供了圖形化的管理功能，在web管理服務(wù)新增或者修改成功的合法配置數(shù)據(jù)將經(jīng)由配置同步服務(wù)更新到數(shù)據(jù)庫。

優(yōu)選地，對于數(shù)據(jù)接入與存儲模塊，原始數(shù)據(jù)網(wǎng)絡(luò)接入服務(wù)監(jiān)聽配置同步服務(wù)更新狀態(tài)。一旦配置數(shù)據(jù)更新狀態(tài)改變，則熱切換配置數(shù)據(jù)。由原始數(shù)據(jù)網(wǎng)絡(luò)接入服務(wù)接收到的數(shù)據(jù)，將先通過數(shù)據(jù)預(yù)處理模塊作初步清洗，清洗后的數(shù)據(jù)最終由數(shù)據(jù)存儲模塊存入到kafka中。

優(yōu)選地，數(shù)據(jù)接入主要由部署在服務(wù)器上的thrift服務(wù)與設(shè)置服務(wù)器集群的負(fù)載均衡器構(gòu)成的。其中，數(shù)據(jù)接入必須適應(yīng)高并發(fā)的業(yè)務(wù)場景。采取的數(shù)據(jù)接入方案為tcp短連接方式，以充分提高服務(wù)的qps能力。數(shù)據(jù)傳輸方式采用同步阻塞和異步非阻塞方式，同步阻塞方式適宜于原子性業(yè)務(wù)，對數(shù)據(jù)量的完整性有一定的誤差容忍性，異步非阻塞方式則可提升服務(wù)端性能。對于配置文件信息的解決方案是直接將配置信息數(shù)據(jù)加載到內(nèi)存中，并做熱備份，以延時(shí)切換處理，這樣可以減少配置文件切換時(shí)的性能損耗。

優(yōu)選地，數(shù)據(jù)存儲采用hadoop生態(tài)圈組件，包括使用zookeeper、kafka進(jìn)行數(shù)據(jù)存儲。kafka作為一個(gè)高性能的分布式消息系統(tǒng)，既可以提供實(shí)時(shí)處理數(shù)據(jù)接口，也可以對數(shù)據(jù)做持久化配置。kafka組件在存儲數(shù)據(jù)時(shí)通過順序?qū)懘疟P的方式來持久化數(shù)據(jù)，可以提升整個(gè)集群的吞吐量。

優(yōu)選地，對于數(shù)據(jù)采集模塊，由數(shù)據(jù)獲取模塊獲取設(shè)備的原始數(shù)據(jù)，數(shù)據(jù)傳輸模塊通過解析配置文件的信息，擇機(jī)將數(shù)據(jù)壓縮后上傳至原始數(shù)據(jù)網(wǎng)絡(luò)接入服務(wù)。

優(yōu)選地，數(shù)據(jù)采集模塊采用database（mysql數(shù)據(jù)庫）來存放定義的配置信息，這些配置信息包括數(shù)據(jù)采集的結(jié)構(gòu)定義、上傳模式、閾值條數(shù)等信息，sdk通過解析這些配置信息來做數(shù)據(jù)解析，擇機(jī)上傳數(shù)據(jù)。

優(yōu)選地，數(shù)據(jù)采集模塊中需要考慮用戶信息隱私權(quán)。移動(dòng)設(shè)備上的android系統(tǒng)具有完整的權(quán)限控制體系，android權(quán)限系統(tǒng)關(guān)系著整個(gè)操作系統(tǒng)的安全性，大部分授權(quán)行為在移動(dòng)應(yīng)用第一次啟動(dòng)時(shí)觸發(fā)，這樣可以避免每次向用戶申請權(quán)限。因此，需要采用一種方法能使用移動(dòng)應(yīng)用自身的權(quán)限去執(zhí)行數(shù)據(jù)采集。數(shù)據(jù)采集模塊中的sdk以中間件的形式存在于各個(gè)應(yīng)用中，由移動(dòng)應(yīng)用自身獲取在應(yīng)用權(quán)限范圍內(nèi)的數(shù)據(jù)，這樣可避免移動(dòng)權(quán)限系統(tǒng)亂用問題，保護(hù)用戶信息安全。

本發(fā)明的具體實(shí)現(xiàn)步驟是：

步驟一：初始化。調(diào)用initins（）方法，中間件sdk原始配置開始初始化，初始化內(nèi)容包括：創(chuàng)建緩存路徑、創(chuàng)建數(shù)據(jù)庫、獲取字段、創(chuàng)建內(nèi)部原始緩存隊(duì)列、啟動(dòng)線程等；

步驟二：訪問網(wǎng)絡(luò)。日志采集中間件通過基于thrift的技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)傳輸?shù)墓δ?，包括下載配置文件、上傳日志數(shù)據(jù)。由訪問網(wǎng)絡(luò)線程控制配置文件下載，讀取配置文件，定時(shí)調(diào)用上傳控制模塊上傳數(shù)據(jù)；

步驟三：上傳控制。通過讀取下載配置文件，判斷日志是否滿足上傳條件，若滿足上傳條件則調(diào)用數(shù)據(jù)解析與持久化模塊，取出數(shù)據(jù)調(diào)用訪問網(wǎng)絡(luò)模塊上傳數(shù)據(jù)；上傳成功后則刪除已上傳數(shù)據(jù)，未成功則保留數(shù)據(jù)；

步驟四：對外接口。外部調(diào)用接口sent（）傳入原始日志數(shù)據(jù)，數(shù)據(jù)先進(jìn)入原始日志緩存隊(duì)列，由緩存數(shù)據(jù)線程從隊(duì)列里取出數(shù)據(jù)調(diào)用數(shù)據(jù)處理模塊寫入數(shù)據(jù)庫；

步驟五：數(shù)據(jù)解析與持久化。讀取日志的配置信息，若存在配置信息，則解析為以分割符分割的數(shù)據(jù)；若不存在，則存為json字符串。

具體地，對于數(shù)據(jù)解析與持久化，由于日志采集中間件的生命周期是作為android應(yīng)用中間件存在的，對android應(yīng)用傳入的原始數(shù)據(jù)，先放入阻塞隊(duì)列中，通過緩存日志線程從隊(duì)列中取出數(shù)據(jù)解析，并采用sqlite作為日志數(shù)據(jù)緩存容器，對傳入的數(shù)據(jù)通過解析—建表—存入的方式，來緩存日志數(shù)據(jù)。如果數(shù)據(jù)可以被解析，則存放在正常表中；如果不能解析，則轉(zhuǎn)化為json字符串存于異常表中。數(shù)據(jù)緩存基本時(shí)序圖如圖2所示。

具體地，對于訪問網(wǎng)絡(luò)，基于thrift的技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)傳輸。整個(gè)數(shù)據(jù)傳輸模式為c/s模型。下載配置時(shí)，server端先驗(yàn)證請求中的token字段，判斷請求client端是否合法。如果驗(yàn)證不合法，則從服務(wù)端返回null，中間件將捕獲該異常并打印在log信息中；如果驗(yàn)證合法，則通過token查找對應(yīng)應(yīng)用的上傳信息表，將該日志的上傳配置信息返回給中間件，并將該配置信息寫入配置文件并存放在本地。上傳數(shù)據(jù)時(shí)，先將需要上傳的數(shù)據(jù)全部取出，壓縮后上傳。在上傳方法執(zhí)行中，若遇到網(wǎng)絡(luò)問題，則返回已成功上傳日志名。上傳時(shí)序圖如圖3所示。

具體地，對于上傳控制，為了合理利用服務(wù)器資源，需要對android設(shè)備數(shù)據(jù)上傳數(shù)據(jù)的時(shí)機(jī)進(jìn)行控制。在client端獲取上傳配置信息后，會獲取該應(yīng)用下所有日志的上傳狀態(tài)。在web管理后臺開關(guān)的控制范圍可以是應(yīng)用級別的，也可以細(xì)化至日志級別。中間件通過解析配置信息完成選擇和設(shè)置上傳方式，從而實(shí)現(xiàn)開關(guān)策略。數(shù)據(jù)傳輸控制流程圖如圖4所示。

本發(fā)明采用c/s模型，將每一個(gè)移動(dòng)應(yīng)用定義為一個(gè)客戶端，將移動(dòng)應(yīng)用產(chǎn)生的日志數(shù)據(jù)，通過調(diào)用信息采集sdk中封裝好的接口，向服務(wù)器上傳數(shù)據(jù)。同時(shí)，通過服務(wù)端的配置信息修改，實(shí)現(xiàn)對信息采集sdk中的日志上傳模式的定義，并調(diào)整信息采集結(jié)構(gòu)，最終實(shí)現(xiàn)移動(dòng)設(shè)備的數(shù)據(jù)采集與存儲，進(jìn)行大數(shù)據(jù)分析與挖掘。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本專明，凡在本發(fā)明的精神和原則之內(nèi)，所有的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。