專利名稱：：一種采集和統(tǒng)計(jì)分析數(shù)據(jù)的系統(tǒng)和方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種服務(wù)器實(shí)時(shí)采集終端用戶行為數(shù)據(jù)的方法和系統(tǒng)，尤其涉及一種集成娛樂(lè)與服務(wù)系統(tǒng)中對(duì)所有終端用戶的狀態(tài)、行為進(jìn)行監(jiān)控、統(tǒng)計(jì)和分析的系統(tǒng)和方法。
背景技術(shù)：
：目前互聯(lián)網(wǎng)的發(fā)展使得基于網(wǎng)絡(luò)的集成化娛樂(lè)應(yīng)用和服務(wù)內(nèi)容越來(lái)越豐富，人們可以通過(guò)這些應(yīng)用及服務(wù)，享受到網(wǎng)絡(luò)上的音樂(lè)、電影、文學(xué)、游戲等內(nèi)容。作為提供這些應(yīng)用服務(wù)的內(nèi)容服務(wù)商，應(yīng)充分了解用戶使用這些產(chǎn)品的情況，掌握用戶對(duì)產(chǎn)品所提供的各項(xiàng)應(yīng)用服務(wù)的喜好程度。在此基礎(chǔ)上進(jìn)一步分析用戶行為和習(xí)慣，以便提供更優(yōu)質(zhì)的服務(wù)，甚至提供針對(duì)不同的用戶一對(duì)一的服務(wù)內(nèi)容。如何準(zhǔn)確地收集用戶在集成了多個(gè)內(nèi)容和服務(wù)的系統(tǒng)中的使用狀態(tài)和行為數(shù)據(jù)，并對(duì)這些用戶動(dòng)態(tài)信息進(jìn)行分析和統(tǒng)計(jì)，對(duì)內(nèi)容服務(wù)商而言就是一個(gè)非常重要的問(wèn)題。
發(fā)明內(nèi)容本發(fā)明要解決的技術(shù)問(wèn)題是提供一種采集和統(tǒng)計(jì)分析數(shù)據(jù)的系統(tǒng)和方法，能夠準(zhǔn)確地收集用戶在集成了多個(gè)內(nèi)容和服務(wù)的系統(tǒng)中的使用狀態(tài)和行為數(shù)據(jù)，并對(duì)用戶動(dòng)態(tài)信息進(jìn)行分析和統(tǒng)計(jì)。為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種采集和統(tǒng)計(jì)分析數(shù)據(jù)的系統(tǒng)，可實(shí)時(shí)采集多終端用戶狀態(tài)和行為數(shù)據(jù)并進(jìn)行統(tǒng)計(jì)分析，該系統(tǒng)為多層結(jié)構(gòu)，包括終端代理庫(kù)、數(shù)據(jù)采集服務(wù)器、數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器；上述終端代理庫(kù)負(fù)責(zé)封裝與服務(wù)端的通訊，并為終端提供接口，向服務(wù)端發(fā)送終端狀態(tài)數(shù)據(jù)的函數(shù)庫(kù)，該函數(shù)庫(kù)提供給所有需要提交狀態(tài)的終端；數(shù)據(jù)采集服務(wù)器用于提供服務(wù)，獲取終端代理庫(kù)提交的數(shù)據(jù)，對(duì)終端進(jìn)行實(shí)時(shí)狀態(tài)維護(hù)，并將整理后的數(shù)據(jù)寫入數(shù)據(jù)庫(kù)的服務(wù)單元；數(shù)據(jù)庫(kù)包括若干服務(wù)單元，用于存儲(chǔ)終端狀態(tài)與行為數(shù)據(jù)；實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器從所述數(shù)據(jù)采集服務(wù)器和數(shù)據(jù)庫(kù)獲取實(shí)時(shí)數(shù)據(jù)，進(jìn)行統(tǒng)計(jì)。進(jìn)--步的，上述數(shù)據(jù)采集服務(wù)器包括網(wǎng)絡(luò)輸入模塊、網(wǎng)絡(luò)輸出模塊、數(shù)據(jù)處理模塊、實(shí)時(shí)狀態(tài)服務(wù)模塊，其中網(wǎng)絡(luò)輸入模塊用于接受終端狀態(tài)與行為數(shù)據(jù)，并發(fā)送至數(shù)據(jù)處理模塊；網(wǎng)絡(luò)輸出模塊用于接受數(shù)據(jù)處理模塊傳來(lái)的數(shù)據(jù)，并發(fā)送至終端；數(shù)據(jù)處理模塊用于接受網(wǎng)絡(luò)輸入模塊傳來(lái)的終端狀態(tài)與行為數(shù)據(jù)，并發(fā)送數(shù)據(jù)至數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)輸出模塊終端、實(shí)時(shí)狀態(tài)服務(wù)模塊；實(shí)時(shí)狀態(tài)服務(wù)模塊用于接受數(shù)據(jù)處理模塊傳來(lái)的數(shù)據(jù)，并發(fā)送至實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器；數(shù)據(jù)庫(kù)包括數(shù)據(jù)入庫(kù)模塊。本發(fā)明還提供了-種采集和統(tǒng)計(jì)分析數(shù)據(jù)的方法，可用于上述的系統(tǒng)中，該方法包括終端數(shù)據(jù)采集方法和數(shù)據(jù)統(tǒng)計(jì)分析方法；終端數(shù)據(jù)采集方法是指終端與數(shù)據(jù)采集服務(wù)器使用約定的數(shù)據(jù)協(xié)議進(jìn)行通訊，數(shù)據(jù)采集服務(wù)器以UDP(UserDatagramProtocol,用戶數(shù)據(jù)報(bào)協(xié)議)方式提供服務(wù)，終端將狀態(tài)和行為數(shù)據(jù)以UDP數(shù)據(jù)包的形式發(fā)送到數(shù)據(jù)采集服務(wù)器，包括首先終端在約定的時(shí)間向數(shù)據(jù)采集服務(wù)器發(fā)送數(shù)據(jù)，使數(shù)據(jù)采集服務(wù)端可監(jiān)控并維持該終端的活躍狀態(tài)；然后若在約定的時(shí)間內(nèi)，終端狀態(tài)因用戶操作而發(fā)生變化時(shí)，終端則向數(shù)據(jù)采集服務(wù)器發(fā)送數(shù)據(jù)，數(shù)據(jù)中包含用戶行為標(biāo)識(shí)或用戶當(dāng)前所在服務(wù)欄目標(biāo)識(shí)，數(shù)據(jù)采集服務(wù)器收到此數(shù)據(jù)，將用戶的最后在線時(shí)間設(shè)置為當(dāng)前時(shí)間，并將用戶所在欄目設(shè)置為終端提交的欄目標(biāo)識(shí)；若在約定的時(shí)間內(nèi)，終端狀態(tài)未發(fā)生改變時(shí)，終端發(fā)送--個(gè)狀態(tài)保持的到數(shù)據(jù)采集服務(wù)器，數(shù)據(jù)采集服務(wù)器收到此數(shù)據(jù)，將用戶的最后在線時(shí)間設(shè)置為當(dāng)前時(shí)間；若在約定的時(shí)間內(nèi)，數(shù)據(jù)采集服務(wù)器未收到終端狀態(tài)數(shù)據(jù)則將該終端狀態(tài)標(biāo)記為離線；當(dāng)終端退出時(shí)，發(fā)送帶有退出標(biāo)識(shí)的數(shù)據(jù)，數(shù)據(jù)采集服務(wù)器將該終端狀態(tài)標(biāo)記為離線，并將終端的本次登入/登出記錄保存到數(shù)據(jù)庫(kù)；數(shù)據(jù)統(tǒng)計(jì)分析方法，其統(tǒng)計(jì)分析的項(xiàng)目包括:各個(gè)欄目的實(shí)時(shí)在線人數(shù)、在一段時(shí)間內(nèi)各個(gè)欄目的用戶訪問(wèn)狀況、每個(gè)終端用戶的實(shí)時(shí)行為和歷史行為。本發(fā)明由于在系統(tǒng)結(jié)構(gòu)上采取多層結(jié)構(gòu)，并且數(shù)據(jù)收集時(shí)采用UDP形式，并采用約定的數(shù)據(jù)協(xié)議，可準(zhǔn)確地收集終端用戶的使用狀態(tài)和行為數(shù)據(jù)，并對(duì)用戶動(dòng)態(tài)信息進(jìn)行分析和統(tǒng)計(jì)。圖1是本發(fā)明的一個(gè)具體實(shí)施例的示意圖2是圖1實(shí)施例中的終端行為數(shù)據(jù)采集流程；圖3是圖1實(shí)施例中各欄目實(shí)時(shí)在線用戶信息統(tǒng)計(jì)流程。具體實(shí)施例方式下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。如圖1所示，為本發(fā)明的一個(gè)具體實(shí)施例。實(shí)施例本發(fā)明的目的是提供一種實(shí)時(shí)采集多終端用戶狀態(tài)和行為數(shù)據(jù)，并進(jìn)行統(tǒng)計(jì)分析的系統(tǒng)和方法。如圖1，是按本發(fā)明建立的多層結(jié)構(gòu)的終端狀態(tài)行為數(shù)據(jù)采集系統(tǒng)，包含以下幾個(gè)單元終端代理庫(kù)、數(shù)據(jù)采集服務(wù)器、數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器。按其結(jié)構(gòu)及數(shù)據(jù)傳輸關(guān)系，各單元模塊功能如下所述終端代理庫(kù)負(fù)責(zé)封裝與服務(wù)端的通訊，并為終端提供接口，向服務(wù)端發(fā)送終端狀態(tài)數(shù)據(jù)的函數(shù)庫(kù)，該庫(kù)提供給所有需要提交狀態(tài)的終端；數(shù)據(jù)采集服務(wù)器可提供服務(wù)，獲取終端代理庫(kù)提交的數(shù)據(jù)，進(jìn)行所有終端的實(shí)時(shí)狀態(tài)維護(hù)，并將整理后的數(shù)據(jù)寫入數(shù)據(jù)庫(kù)的服務(wù)單元；數(shù)據(jù)庫(kù)用于存儲(chǔ)終端狀態(tài)與行為數(shù)據(jù)的服務(wù)單元，存儲(chǔ)的數(shù)據(jù)已經(jīng)過(guò)數(shù)據(jù)采集服務(wù)器的處理；實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器從數(shù)據(jù)采集服務(wù)器和數(shù)據(jù)庫(kù)獲取實(shí)時(shí)數(shù)據(jù)，進(jìn)行統(tǒng)計(jì)，并已數(shù)據(jù)表、圖表和實(shí)時(shí)監(jiān)控圖等形態(tài)顯示的服務(wù)單元。在上述系統(tǒng)中的數(shù)據(jù)采集采用如下的終端數(shù)據(jù)采集策略終端與數(shù)據(jù)釆集服務(wù)器使用約定的數(shù)據(jù)協(xié)議進(jìn)行通訊，數(shù)據(jù)格式協(xié)議見表l;數(shù)據(jù)采集服務(wù)器以UDP網(wǎng)絡(luò)服務(wù)的方式提供服務(wù)，所有終端將狀態(tài)和行為數(shù)據(jù)以UDP數(shù)據(jù)包的形勢(shì)發(fā)送到心跳服務(wù)器；終端在約定的時(shí)機(jī)向數(shù)據(jù)采集服務(wù)器發(fā)送心跳數(shù)據(jù)，使數(shù)據(jù)采集服務(wù)端可監(jiān)控并維持該終端的活躍狀態(tài)；終端狀態(tài)在因用戶操作改變而發(fā)生變化時(shí)，向數(shù)據(jù)采集服務(wù)器發(fā)送心跳數(shù)據(jù)，數(shù)據(jù)中包含用戶行為標(biāo)識(shí)[或用戶當(dāng)前所在服務(wù)欄目標(biāo)識(shí)]，數(shù)據(jù)采集服務(wù)器收到此數(shù)據(jù)，將用戶的最后在線時(shí)間設(shè)置為當(dāng)前時(shí)間，并將用戶所在欄目設(shè)置為終端提交的欄目標(biāo)識(shí)；終端狀態(tài)在約定的時(shí)間內(nèi)(默認(rèn)為l分鐘)未發(fā)生改變(用戶在l分鐘內(nèi)未做任何操作)時(shí)，發(fā)送一個(gè)狀態(tài)保持的心跳數(shù)據(jù)到數(shù)據(jù)采集服務(wù)器，數(shù)據(jù)釆集服務(wù)器收到此數(shù)據(jù)，將用戶的最后在線時(shí)間設(shè)置為當(dāng)前時(shí)間；終端用戶退出終端系統(tǒng)時(shí)，發(fā)送帶有退出標(biāo)識(shí)的心跳數(shù)據(jù)，數(shù)據(jù)采集服務(wù)器將該終端狀態(tài)標(biāo)記為離線，并將用戶的本次登入/登出記錄保存到數(shù)據(jù)庫(kù)；終端用戶異常斷開，未發(fā)送退出狀態(tài)數(shù)據(jù)時(shí)數(shù)據(jù)采集服務(wù)器定時(shí)檢測(cè)所有終端最后在線時(shí)間，在某終端發(fā)送心跳數(shù)據(jù)超時(shí)(在指定的時(shí)間，通常為2分鐘內(nèi)，某終端未向數(shù)據(jù)采集服務(wù)器發(fā)送心跳數(shù)據(jù))，數(shù)據(jù)采集服務(wù)器將該終端狀態(tài)標(biāo)記為離線；采用UDP通訊方式，一臺(tái)心跳服務(wù)器可同時(shí)為5000個(gè)以上的終端提供服務(wù)。圖2是本實(shí)施例中的終端行為數(shù)據(jù)采集流程。包括-、首先終端在約定的時(shí)間向數(shù)據(jù)采集服務(wù)器發(fā)送數(shù)據(jù)，使數(shù)據(jù)采集服務(wù)端可監(jiān)控并維持該終端的活躍狀態(tài)；二、若在約定的時(shí)間內(nèi)，終端狀態(tài)因用戶操作而發(fā)生變化時(shí)，終端則向數(shù)據(jù)采集服務(wù)器發(fā)送數(shù)據(jù)；若在約定的時(shí)間內(nèi)，終端狀態(tài)未發(fā)生改變時(shí)，終端則向數(shù)據(jù)采集服務(wù)器發(fā)送-一個(gè)狀態(tài)保持的數(shù)據(jù)；若終端退出，則發(fā)'送帶有退出標(biāo)識(shí)的數(shù)據(jù)；上述數(shù)據(jù)中包含用戶行為標(biāo)識(shí)或用戶當(dāng)前所在服務(wù)欄目標(biāo)識(shí)；三、數(shù)據(jù)采集服務(wù)器若在約定的時(shí)間內(nèi)收到二的數(shù)據(jù)，將驗(yàn)證數(shù)據(jù)是否合法；若合法，則進(jìn)入四，若不合法則構(gòu)造終端響應(yīng)數(shù)據(jù)包并進(jìn)入七；若在約定的時(shí)間內(nèi)，數(shù)據(jù)采集服務(wù)器未收到終端狀態(tài)數(shù)據(jù)則將該終端狀態(tài)標(biāo)記為離線，進(jìn)入六；四、若數(shù)據(jù)帶有退出標(biāo)識(shí)，則數(shù)據(jù)采集服務(wù)器將該終端狀態(tài)標(biāo)記為離線，若數(shù)據(jù)無(wú)退出標(biāo)識(shí)將用戶的最后在線時(shí)間設(shè)置為當(dāng)前時(shí)間，并將用戶所在欄目設(shè)置為終端提交的欄目標(biāo)識(shí)；進(jìn)入五；五、將數(shù)據(jù)發(fā)送到MQ數(shù)據(jù)隊(duì)列，進(jìn)入六，同時(shí)構(gòu)造終端響應(yīng)數(shù)據(jù)包，進(jìn)入七；六、將MQ數(shù)據(jù)隊(duì)列讀取數(shù)據(jù)保存到數(shù)據(jù)庫(kù)，進(jìn)行定時(shí)統(tǒng)計(jì)分析；七、將終端響應(yīng)數(shù)據(jù)包返回給終端，終端計(jì)算丟包率，判斷是否需重復(fù)進(jìn)入二；圖3是本實(shí)施例中各欄目實(shí)時(shí)在線用戶信息統(tǒng)計(jì)流程，包括如下歩驟A、數(shù)據(jù)統(tǒng)計(jì)分析模塊向?qū)崟r(shí)狀態(tài)服務(wù)模塊調(diào)用實(shí)時(shí)在線用戶數(shù)據(jù)；B、實(shí)時(shí)狀態(tài)服務(wù)模塊査詢用戶信息表，獲取當(dāng)前用戶信息，得到當(dāng)前用戶數(shù)據(jù)；C、實(shí)時(shí)狀態(tài)服務(wù)模塊返還數(shù)據(jù)給實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器；D、實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器以圖表形式顯示當(dāng)前各欄目在線用戶數(shù)據(jù)。下面以一個(gè)具體的例子來(lái)講述如何使用本發(fā)明的系統(tǒng)和方法，該例如下用戶A登陸到集成化在線娛樂(lè)終端(集成了游戲、VOD視頻點(diǎn)播、新聞、教育等內(nèi)容)。此時(shí)，收集該用戶的行為數(shù)據(jù)的模塊被啟動(dòng)，并向數(shù)據(jù)采集服務(wù)發(fā)送一個(gè)用戶登陸的UDP消息。消息格式表l中將Type字段設(shè)為1001。數(shù)據(jù)采集服務(wù)器收到用戶登陸的消息，立即在用戶狀態(tài)維護(hù)表(內(nèi)存中)將用戶狀態(tài)標(biāo)志為在線，并將用戶當(dāng)前所在欄目標(biāo)志為主界面。然后將本條數(shù)據(jù)寫入MSMQ隊(duì)列。(另有程序定時(shí)從該隊(duì)列里提取數(shù)據(jù)寫入數(shù)據(jù)庫(kù))用戶開始在集成了眾多娛樂(lè)內(nèi)容的娛樂(lè)終端里瀏覽尋找他所感興趣的欄目。他選擇了休閑游戲，并按下'確定'鍵進(jìn)入。終端通過(guò)代理庫(kù)向服務(wù)器發(fā)送欄目跳轉(zhuǎn)的UDP消息。消息格式表3中將20、21位的用戶當(dāng)前所在欄目數(shù)設(shè)為1，22、23位欄目標(biāo)識(shí)設(shè)為37(休閑游戲欄目的標(biāo)識(shí)號(hào))。數(shù)據(jù)采集服務(wù)器收到欄目跳轉(zhuǎn)的消息，修改用戶狀態(tài)維護(hù)表(內(nèi)存中)，將用戶狀態(tài)標(biāo)志為在線(解決因異常導(dǎo)致未收到用戶登陸消息的情況)，并將用戶當(dāng)前所在欄目設(shè)為終端提交的欄目。然后將本條數(shù)據(jù)寫入MSMQ隊(duì)列。用戶選擇了休閑游戲頻道中的賽車游戲，按下'確定'時(shí)。終端通過(guò)代理庫(kù)向服務(wù)器發(fā)送欄目/應(yīng)用跳轉(zhuǎn)消息。消息格式表3中將20、21位的用戶當(dāng)前所在欄目數(shù)設(shè)為1，22、23位欄目標(biāo)識(shí)設(shè)為371(賽車應(yīng)用的標(biāo)識(shí)號(hào))。數(shù)據(jù)采集服務(wù)器收到欄目/應(yīng)用跳轉(zhuǎn)消息，修改用戶狀態(tài)為在線，并將用戶當(dāng)前所在欄目設(shè)為賽車。然后將本條消息寫入MSMQ隊(duì)列。(注因?yàn)榉?wù)端是保存了終端顯示的所有欄目和應(yīng)用的樹狀結(jié)構(gòu)圖的，所以，只要終端提交用戶的當(dāng)前欄目/應(yīng)用標(biāo)識(shí)，服務(wù)端便可査出用戶現(xiàn)在的欄目具體路徑。)用戶退出欄目或應(yīng)用時(shí)(退出賽車游戲，回到休閑游戲頻道)，終端向服務(wù)器發(fā)送欄目/應(yīng)用跳轉(zhuǎn)消息。消息格式表3中將20、21位的用戶當(dāng)前所在欄目數(shù)設(shè)為1，22、23位欄目標(biāo)識(shí)設(shè)為37(休閑游戲欄目的標(biāo)識(shí)號(hào))。數(shù)據(jù)采集服務(wù)器收到欄目/應(yīng)用跳轉(zhuǎn)消息，此消息意義除了包含用戶進(jìn)入了某一頻道，也包含了用戶退出了前一個(gè)欄目。用戶長(zhǎng)時(shí)間在賽車游戲應(yīng)用中娛樂(lè)(或靜止在其他欄目中)，在這種情況下，為使服務(wù)器不會(huì)錯(cuò)誤的認(rèn)為終端發(fā)生異常意外退出了，則需要定時(shí)(例如l分鐘)向服務(wù)器發(fā)送行為保持消息，消息格式可完全和上一次發(fā)送到服務(wù)器的消息一致。消息格式表3中將20、21位的用戶當(dāng)前所在欄目數(shù)設(shè)為1，22、23位欄目標(biāo)識(shí)設(shè)為37(休閑游戲欄目的標(biāo)識(shí)號(hào))。數(shù)據(jù)采集服務(wù)器收到終端的行為保持消息，將用戶的最后發(fā)送消息的時(shí)間更改為當(dāng)前時(shí)間，并將此條消息寫入MSMQ數(shù)據(jù)庫(kù)。用戶退出娛樂(lè)終端程序時(shí)，終端向服務(wù)器發(fā)出系統(tǒng)退出的消息。消息格式表l中將Type字段設(shè)為1002。數(shù)據(jù)采集服務(wù)器收到系統(tǒng)退出消息，將用戶的狀態(tài)設(shè)置為離線。并將本次用戶登陸[時(shí)間]—退出[時(shí)間]的記錄寫入數(shù)據(jù)庫(kù)，然后將本條退出消息寫入MSMQ隊(duì)列。如果終端發(fā)生網(wǎng)絡(luò)異常端口，或程序異常中止的情況，且未能通知服務(wù)器終端已退出，則服務(wù)器根據(jù)預(yù)定策略自動(dòng)檢査終端退出狀態(tài)。服務(wù)器將有一個(gè)線程定時(shí)(2分鐘，可配置)檢査所有終端上一次發(fā)送行為數(shù)據(jù)的時(shí)間，如發(fā)現(xiàn)某終端在2分鐘內(nèi)未向服務(wù)器發(fā)送行為消息，則將此終端狀態(tài)標(biāo)志為離線。并將終端本次上線一離線記錄寫入數(shù)據(jù)庫(kù)。下表所示的數(shù)據(jù)格式協(xié)議包括數(shù)據(jù)頭(HEAD,16固定長(zhǎng)度)、數(shù)據(jù)體(BODY,長(zhǎng)度和內(nèi)容在服AD中指定)、數(shù)據(jù)擴(kuò)展段(SPID&EXTEND),<table>tableseeoriginaldocumentpage12</column></row><table>數(shù)據(jù)頭，16固定長(zhǎng)度數(shù)據(jù)體，長(zhǎng)度和內(nèi)容在數(shù)據(jù)擴(kuò)展段HEAD中指定表1而其中HEAD數(shù)據(jù)格式定義見下表:<table>tableseeoriginaldocumentpage12</column></row><table>表2其中03字節(jié)為數(shù)據(jù)通訊協(xié)議標(biāo)志，用于標(biāo)志該UDP數(shù)據(jù)包是屬于本系統(tǒng)數(shù)據(jù)采集協(xié)議包，如定為"PRAP";45為兩字節(jié)的版本號(hào)；67為協(xié)議包BODY部分的字節(jié)長(zhǎng)度；811為協(xié)議包B0DY的類型標(biāo)識(shí)，四字節(jié)的編碼，該編碼是全局統(tǒng)-的；1215為tiraestamp,即時(shí)間戳。BODY數(shù)據(jù)格式定義(僅舉例說(shuō)明)BODY數(shù)據(jù)體格式可變，數(shù)據(jù)的意義由HEAD中的Type位來(lái)標(biāo)識(shí)。當(dāng)Type為l時(shí)，如下表3:<table>tableseeoriginaldocumentpage13</column></row><table>表3其中1619為USERID，即終端用戶標(biāo)識(shí)；2(T21為用戶當(dāng)前所在的應(yīng)用欄目數(shù)量(用戶可以同時(shí)在使用多個(gè)應(yīng)用)，后面緊接每個(gè)欄目的標(biāo)識(shí)，每個(gè)欄目標(biāo)識(shí)固定占2個(gè)字節(jié)；2223為欄目1的標(biāo)識(shí)；2425為欄目2的標(biāo)識(shí)；2627為Extend擴(kuò)展位的長(zhǎng)度；2831為事件ID(標(biāo)識(shí)此數(shù)據(jù)包的含義，如登陸、欄目變更、登出等)；3235為狀態(tài)ID(標(biāo)識(shí)本次事件發(fā)生的狀態(tài)，如成功、失敗及原因等)；36n為擴(kuò)展數(shù)據(jù)，其長(zhǎng)度由2627擴(kuò)展數(shù)據(jù)長(zhǎng)度指出，以xml格式描述。擴(kuò)展數(shù)據(jù)中可包含用戶所在各個(gè)欄目當(dāng)前的運(yùn)行狀態(tài)，已經(jīng)在欄目中的哪個(gè)子模塊中。本實(shí)施例中，對(duì)收集數(shù)據(jù)的進(jìn)行統(tǒng)計(jì)分析，主要統(tǒng)計(jì)分析的項(xiàng)目包括各個(gè)欄目的實(shí)時(shí)在線人數(shù)、各個(gè)欄目的用戶訪問(wèn)狀況(在一段時(shí)間內(nèi))、每個(gè)終端用戶的實(shí)時(shí)行為和歷史行為等。數(shù)據(jù)統(tǒng)計(jì)分析的具體數(shù)據(jù)源為各個(gè)欄目的實(shí)時(shí)在線人數(shù)通過(guò)數(shù)據(jù)采集服務(wù)器提供的服務(wù)。數(shù)據(jù)采集服務(wù)器實(shí)時(shí)維護(hù)監(jiān)控所有終端用戶的當(dāng)前狀態(tài)和所在欄目，并提供Socket接口，監(jiān)控程序定時(shí)調(diào)用此接口，得到當(dāng)前在線人數(shù)并以曲線圖的方式顯示在監(jiān)控圖表上；各個(gè)欄目的總在線時(shí)長(zhǎng)、平均在線時(shí)長(zhǎng)等數(shù)據(jù)由數(shù)據(jù)庫(kù)數(shù)據(jù)計(jì)算得出，數(shù)據(jù)來(lái)源于數(shù)據(jù)采集服務(wù)器；所有用戶的行為歷史記錄保存在數(shù)據(jù)庫(kù)，此數(shù)據(jù)由數(shù)據(jù)采集服務(wù)器在用戶的一次登入登出過(guò)程中，全程記錄到數(shù)據(jù)庫(kù)。此用戶用于整理每個(gè)用戶的行為規(guī)律，分析出用戶的習(xí)慣和愛好，便于對(duì)用戶提供一對(duì)一的服務(wù)。綜上所述，本發(fā)明提出的一種進(jìn)行數(shù)據(jù)采集和統(tǒng)計(jì)分析的系統(tǒng)和方法，能夠準(zhǔn)確地收集用戶在集成了多個(gè)內(nèi)容和服務(wù)的系統(tǒng)中的使用狀態(tài)和行為數(shù)據(jù)。并對(duì)這些用戶動(dòng)態(tài)信息進(jìn)行分析和統(tǒng)計(jì)，該系統(tǒng)尤其適用于寬帶數(shù)字家庭娛樂(lè)系統(tǒng)中采集和分析用戶行為，并為不同用戶提供完美的個(gè)性化服務(wù)系統(tǒng)中。權(quán)利要求1、一種采集和統(tǒng)計(jì)分析數(shù)據(jù)的系統(tǒng)，可實(shí)時(shí)采集多終端用戶狀態(tài)和行為數(shù)據(jù)并進(jìn)行統(tǒng)計(jì)分析，其特征在于，所述系統(tǒng)為多層結(jié)構(gòu)，包括終端代理庫(kù)、數(shù)據(jù)采集服務(wù)器、數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器；其中，所述終端代理庫(kù)負(fù)責(zé)封裝與服務(wù)端的通訊，并為終端提供接口，向服務(wù)端發(fā)送終端狀態(tài)數(shù)據(jù)的函數(shù)庫(kù)，該函數(shù)庫(kù)提供給所有需要提交狀態(tài)的終端；所述數(shù)據(jù)采集服務(wù)器用于提供服務(wù)，獲取所述終端代理庫(kù)提交的數(shù)據(jù)，對(duì)所述終端進(jìn)行實(shí)時(shí)狀態(tài)維護(hù)，并將整理后的數(shù)據(jù)寫入所述數(shù)據(jù)庫(kù)的服務(wù)單元；所述數(shù)據(jù)庫(kù)包括若干服務(wù)單元，用于存儲(chǔ)終端狀態(tài)與行為數(shù)據(jù)；所述實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器從所述數(shù)據(jù)采集服務(wù)器和數(shù)據(jù)庫(kù)獲取實(shí)時(shí)數(shù)據(jù)，進(jìn)行統(tǒng)計(jì)。2、根據(jù)權(quán)利要求l所述采集和統(tǒng)計(jì)分析數(shù)據(jù)的系統(tǒng)，其特征在于，所述數(shù)據(jù)采集服務(wù)器包括網(wǎng)絡(luò)輸入模塊、網(wǎng)絡(luò)輸出模塊、數(shù)據(jù)處理模塊、實(shí)時(shí)狀態(tài)服務(wù)模塊，其中所述網(wǎng)絡(luò)輸入模塊用于接收終端狀態(tài)與行為數(shù)據(jù)，并發(fā)送至所述數(shù)據(jù)處理模塊；所述網(wǎng)絡(luò)輸出模塊用于接收所述數(shù)據(jù)處理模塊傳來(lái)的數(shù)據(jù)，并發(fā)送至終端；所述數(shù)據(jù)處理模塊用于接收所述網(wǎng)絡(luò)輸入模塊傳來(lái)的終端狀態(tài)與行為數(shù)據(jù)，并發(fā)送數(shù)據(jù)至所述數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)輸出模塊終端、實(shí)時(shí)狀態(tài)服務(wù)模塊；所述實(shí)時(shí)狀態(tài)服務(wù)模塊用于接收所述數(shù)據(jù)處理模塊傳來(lái)的數(shù)據(jù)，并發(fā)送至所述實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器；所述數(shù)據(jù)庫(kù)包括MQ數(shù)據(jù)隊(duì)列和數(shù)據(jù)入庫(kù)模塊；所述實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器包括數(shù)據(jù)統(tǒng)計(jì)分析模塊和實(shí)時(shí)數(shù)據(jù)監(jiān)控模塊。3、一種采集和統(tǒng)計(jì)分析數(shù)據(jù)的方法，可用于權(quán)利要求2所述的系統(tǒng)中，其特征在于，包括終端數(shù)據(jù)采集方法和數(shù)據(jù)統(tǒng)計(jì)分析方法；其中所述終端數(shù)據(jù)采集方法是指終端與數(shù)據(jù)采集服務(wù)器使用約定的數(shù)據(jù)協(xié)議進(jìn)行通訊，數(shù)據(jù)采集服務(wù)器以UDP方式提供服務(wù)，終端將狀態(tài)和行為數(shù)據(jù)以UDP數(shù)據(jù)包的形式發(fā)送到數(shù)據(jù)采集服務(wù)器，包括如下步驟步驟一、首先終端在約定的時(shí)間向所述數(shù)據(jù)采集服務(wù)器發(fā)送數(shù)據(jù)，使數(shù)據(jù)采集服務(wù)端可監(jiān)控并維持該終端的活躍狀態(tài)；步驟二、若在約定的時(shí)間內(nèi)，終端狀態(tài)因用戶操作而發(fā)生變化時(shí)，終端則向數(shù)據(jù)采集服務(wù)器發(fā)送數(shù)據(jù)；若在約定的時(shí)間內(nèi)，終端狀態(tài)未發(fā)生改變時(shí)，終端則向數(shù)據(jù)采集服務(wù)器發(fā)送一個(gè)狀態(tài)保持的數(shù)據(jù)；若終端退出，則發(fā)送帶有退出標(biāo)識(shí)的數(shù)據(jù)；上述數(shù)據(jù)中包含用戶行為標(biāo)識(shí)或用戶當(dāng)前所在服務(wù)欄目標(biāo)識(shí)；步驟三、所述數(shù)據(jù)采集服務(wù)器若在約定的時(shí)間內(nèi)收到步驟二數(shù)據(jù)，將驗(yàn)證數(shù)據(jù)是否合法；若合法，則進(jìn)入步驟四，若不合法則構(gòu)造終端響應(yīng)數(shù)據(jù)包并進(jìn)入步驟七；若在約定的時(shí)間內(nèi)，數(shù)據(jù)采集服務(wù)器未收到終端狀態(tài)數(shù)據(jù)則將該終端狀態(tài)標(biāo)記為離線，進(jìn)入步驟六；步驟四、若數(shù)據(jù)帶有退出標(biāo)識(shí)，則數(shù)據(jù)采集服務(wù)器將該終端狀態(tài)標(biāo)記為離線，若數(shù)據(jù)無(wú)退出標(biāo)識(shí)將用戶的最后在線時(shí)間設(shè)置為當(dāng)前時(shí)間，并將用戶所在欄目設(shè)置為終端提交的欄目標(biāo)識(shí)；進(jìn)入步驟五；步驟五、將數(shù)據(jù)發(fā)送到所述MQ數(shù)據(jù)隊(duì)列，進(jìn)入步驟六，同時(shí)構(gòu)造終端響應(yīng)數(shù)據(jù)包，進(jìn)入步驟七；步驟六、將MQ數(shù)據(jù)隊(duì)列讀取數(shù)據(jù)保存到數(shù)據(jù)庫(kù)，進(jìn)行定時(shí)統(tǒng)計(jì)分析；步驟七、將終端響應(yīng)數(shù)據(jù)包返回給終端，終端計(jì)算丟包率，判斷是否需重復(fù)進(jìn)入步驟二；所述數(shù)據(jù)統(tǒng)計(jì)分析方法，其統(tǒng)計(jì)分析的項(xiàng)目包括各個(gè)欄目的實(shí)時(shí)在線人數(shù)、在一段時(shí)間內(nèi)各個(gè)欄目的用戶訪問(wèn)狀況、每個(gè)終端用戶的實(shí)時(shí)行為和歷史行為，實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器；包括如下步驟步驟A、所述數(shù)據(jù)統(tǒng)計(jì)分析模塊向所述實(shí)時(shí)狀態(tài)服務(wù)模塊采集實(shí)時(shí)在線用戶數(shù)據(jù)；步驟B、所述實(shí)時(shí)狀態(tài)服務(wù)模塊査詢用戶信息表，獲取當(dāng)前用戶信息，得到當(dāng)前用戶數(shù)據(jù)；步驟C、所述實(shí)時(shí)狀態(tài)服務(wù)模塊返還數(shù)據(jù)給所述實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器；步驟D、所述實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器以圖表形式顯示當(dāng)前各欄目在線用戶數(shù)據(jù)。全文摘要本發(fā)明公開了一種采集和統(tǒng)計(jì)分析數(shù)據(jù)的系統(tǒng)和方法，該系統(tǒng)包括終端代理庫(kù)、數(shù)據(jù)采集服務(wù)器、數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)與分析服務(wù)器。該方法包括終端數(shù)據(jù)采集方法和數(shù)據(jù)統(tǒng)計(jì)分析方法，終端數(shù)據(jù)采集方法是指終端與數(shù)據(jù)采集服務(wù)器使用約定的數(shù)據(jù)協(xié)議進(jìn)行通訊，數(shù)據(jù)采集服務(wù)器以UDP方式提供服務(wù)，終端將狀態(tài)和行為數(shù)據(jù)以UDP數(shù)據(jù)包的形式發(fā)送到數(shù)據(jù)采集服務(wù)器，數(shù)據(jù)統(tǒng)計(jì)分析方法，其統(tǒng)計(jì)分析的項(xiàng)目包括各個(gè)欄目的實(shí)時(shí)在線人數(shù)、在一段時(shí)間內(nèi)各個(gè)欄目的用戶訪問(wèn)狀況、每個(gè)終端用戶的實(shí)時(shí)行為和歷史行為。本發(fā)明由于采取多層系統(tǒng)結(jié)構(gòu)，且數(shù)據(jù)收集時(shí)采用UDP形式和約定數(shù)據(jù)協(xié)議，可準(zhǔn)確收集終端用戶的使用狀態(tài)和行為數(shù)據(jù)，并對(duì)用戶動(dòng)態(tài)信息進(jìn)行分析和統(tǒng)計(jì)。文檔編號(hào)H04L12/24GK101174972SQ20061011792公開日2008年5月7日申請(qǐng)日期2006年11月3日優(yōu)先權(quán)日2006年11月3日發(fā)明者飛晏申請(qǐng)人:盛趣信息技術(shù)(上海)有限公司