一種采集用戶數(shù)據(jù)的方法及裝置的制造方法
【專利摘要】本發(fā)明提供一種采集用戶數(shù)據(jù)的方法和裝置，應(yīng)用于路由器，路由器連接局域網(wǎng)和廣域網(wǎng)，在方法中，分別于路由器的網(wǎng)絡(luò)適配器的接收端和發(fā)送端截取自局域網(wǎng)向廣域網(wǎng)發(fā)送的報(bào)文；裝置包括：接收端截取模塊，與路由器的網(wǎng)絡(luò)適配器的接收端相連，用以于接收端處截取自局域網(wǎng)向廣域網(wǎng)發(fā)送的報(bào)文；發(fā)送端截取模塊，與網(wǎng)絡(luò)適配器的發(fā)送端相連，用以于發(fā)送端處截取自局域網(wǎng)向廣域網(wǎng)發(fā)送的報(bào)文。在有線網(wǎng)卡和無(wú)線網(wǎng)卡的驅(qū)動(dòng)的發(fā)送端中增加報(bào)文采集功能，降低了報(bào)文采集對(duì)協(xié)議棧的依賴和加速模塊的限制，提高了性能。
【專利說(shuō)明】
-種采集用戶數(shù)據(jù)的方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及通信技術(shù)領(lǐng)域，尤其設(shè)及一種采集用戶數(shù)據(jù)的方法及裝置。
【背景技術(shù)】
[0002] 在大數(shù)據(jù)背景下，分析用戶上網(wǎng)行為成為創(chuàng)造商業(yè)價(jià)值的一種手段。而在現(xiàn)有技 術(shù)中，分析用戶的上網(wǎng)行為主要通過(guò)采集用戶的使用瀏覽器時(shí)產(chǎn)生HTTP(Hyper Text Transfer Protocol,超文本傳輸協(xié)議）報(bào)文數(shù)據(jù)，抓取用戶的HTTP報(bào)文通常在路由器的 TCP/IP的協(xié)議找中去實(shí)現(xiàn)。在協(xié)議找中讀取流經(jīng)本機(jī)的報(bào)文，解析報(bào)文的內(nèi)容，并將內(nèi)容記 錄下，存放到日志中。
[0003] 但是，現(xiàn)在的技術(shù)方案主要在路由器的協(xié)議找中實(shí)現(xiàn)，協(xié)議找是處理網(wǎng)絡(luò)數(shù)據(jù)包 的核屯、模塊。它處理的數(shù)據(jù)包括用戶主動(dòng)發(fā)送到網(wǎng)絡(luò)的數(shù)據(jù)和其他轉(zhuǎn)發(fā)數(shù)據(jù)，非常的繁忙。 如果直接在協(xié)議找中抽取用戶數(shù)據(jù)，會(huì)對(duì)本來(lái)已經(jīng)很繁忙的協(xié)議找加重任務(wù)，影響整個(gè)路 由器處理包的性能。其次，很多路由器廠商，為了強(qiáng)化路由器的性能，增加了加速模塊功能， 很多用戶數(shù)據(jù)不經(jīng)過(guò)協(xié)議找，直接由加速模塊將用戶數(shù)據(jù)輸出到網(wǎng)絡(luò)適配器出口。因此，如 果只是在TCP/IP協(xié)議找中獲取用戶數(shù)據(jù)，就會(huì)丟失很多有用的用戶數(shù)據(jù)，運(yùn)不利于后續(xù)對(duì) 用戶行為的分析。所W，提供一種高效且準(zhǔn)確的用戶數(shù)據(jù)采集方法，成為目前亟待解決的問(wèn) 題。

【發(fā)明內(nèi)容】

[0004] 鑒于上述問(wèn)題，本申請(qǐng)記載了一種采集用戶數(shù)據(jù)的方法，應(yīng)用于路由器，所述路由 器連接局域網(wǎng)和廣域網(wǎng)，分別于所述路由器的網(wǎng)絡(luò)適配器的接收端和發(fā)送端截取自所述局 域網(wǎng)向所述廣域網(wǎng)發(fā)送的報(bào)文。
[0005] 較佳的，提供一存儲(chǔ)結(jié)構(gòu)，將截取的所述報(bào)文W所述存儲(chǔ)結(jié)構(gòu)進(jìn)行保存。
[0006] 較佳的，從所述發(fā)送端獲取所述報(bào)文的過(guò)程包括步驟：
[0007] 對(duì)將要從所述發(fā)送端發(fā)送至所述廣域網(wǎng)的所述報(bào)文進(jìn)行過(guò)濾，W保存有效報(bào)文； [000引其中，所述有效報(bào)文為所述局域網(wǎng)向所述廣域網(wǎng)發(fā)送的上行TCP報(bào)文。
[0009] 較佳的，對(duì)將要從所述發(fā)送端發(fā)送至所述廣域網(wǎng)的所述報(bào)文進(jìn)行過(guò)濾的過(guò)程包括 步驟：
[0010] 查詢所述報(bào)文的物理地址帖頭，于所述物理地址帖頭中的目標(biāo)物理地址為廣播地 址或組播地址時(shí)判定所述報(bào)文不是有效報(bào)文并丟棄。
[0011] 較佳的，對(duì)將要從所述發(fā)送端發(fā)送至所述廣域網(wǎng)的所述報(bào)文進(jìn)行過(guò)濾的過(guò)程還包 括步驟：
[0012] 查詢所述報(bào)文中是否記錄了所述網(wǎng)絡(luò)適配器的所述網(wǎng)絡(luò)適配器類型，于未記錄所 述網(wǎng)絡(luò)適配器類型時(shí)判定所述報(bào)文不是有效報(bào)文并丟棄。
[0013] 較佳的，對(duì)將要從所述發(fā)送端發(fā)送至所述廣域網(wǎng)的所述報(bào)文進(jìn)行過(guò)濾的過(guò)程還包 括步驟：
[0014] 提供一預(yù)設(shè)長(zhǎng)度，于所述報(bào)文長(zhǎng)度小于等于所述預(yù)設(shè)長(zhǎng)度時(shí)判定所述報(bào)文不是有 效報(bào)文并丟棄。
[0015] 較佳的，于所述接收端截取自所述局域網(wǎng)向所述廣域網(wǎng)發(fā)送的所述報(bào)文后，在所 述報(bào)文中添加源物理地址。
[0016] 較佳的，于所述接收端截取自所述局域網(wǎng)向所述廣域網(wǎng)發(fā)送的所述報(bào)文后，還包 括步驟：
[0017] 判斷所述網(wǎng)絡(luò)適配器的是否為無(wú)線網(wǎng)絡(luò)適配器；
[0018] 若是，將所述報(bào)文進(jìn)行解析W轉(zhuǎn)換為W太網(wǎng)帖的格式;否則，不做處理。
[0019] 本發(fā)明還提供了一種采集用戶數(shù)據(jù)的裝置，應(yīng)用于路由器，所述路由器連接局域 網(wǎng)和廣域網(wǎng)，所述裝置包括：
[0020] 接收端截取模塊，與所述路由器的網(wǎng)絡(luò)適配器的接收端相連，用W于所述接收端 處截取自所述局域網(wǎng)向所述廣域網(wǎng)發(fā)送的報(bào)文；
[0021] 發(fā)送端截取模塊，與所述網(wǎng)絡(luò)適配器的發(fā)送端相連，用W于所述發(fā)送端處截取自 所述局域網(wǎng)向所述廣域網(wǎng)發(fā)送的報(bào)文。
[0022] 較佳的，所述發(fā)送端截取模塊包括：
[0023] 過(guò)濾單元，與所述發(fā)送端相連，對(duì)將要從所述發(fā)送端發(fā)送至所述廣域網(wǎng)的所述報(bào) 文進(jìn)行過(guò)濾，W保存有效報(bào)文；
[0024] 其中，所述過(guò)濾單元包括：
[0025] 目標(biāo)物理地址查詢子單元，與所述發(fā)送端相連，用W查詢所述報(bào)文的物理地址帖 頭，于所述物理地址帖頭中的目標(biāo)物理地址為廣播地址或組播地址時(shí)判定所述報(bào)文不是有 效報(bào)文并丟棄；
[0026] 網(wǎng)絡(luò)適配器類型查詢子單元，與所述發(fā)送端相連，用W查詢所述報(bào)文中是否記錄 了所述網(wǎng)絡(luò)適配器的所述網(wǎng)絡(luò)適配器類型，于未記錄所述網(wǎng)絡(luò)適配器類型時(shí)判定所述報(bào)文 不是有效報(bào)文并丟棄；
[0027] 長(zhǎng)度判斷子單元，與所述發(fā)送端相連，用W于所述報(bào)文長(zhǎng)度小于等于預(yù)設(shè)長(zhǎng)度時(shí) 判定所述報(bào)文不是有效報(bào)文并丟棄；
[0028] W及所述接收端截取模塊包括：
[0029] 類型判定單元，與所述接收端相連，用W于所述接收端截取自所述局域網(wǎng)向所述 廣域網(wǎng)發(fā)送的所述報(bào)文后判斷所述網(wǎng)絡(luò)適配器的是否為無(wú)線網(wǎng)絡(luò)適配器；
[0030] 解析單元，與所述類型判定單元相連，用W于所述網(wǎng)絡(luò)適配器為無(wú)線網(wǎng)絡(luò)適配器 時(shí)將所述報(bào)文進(jìn)行解析W轉(zhuǎn)換為W太網(wǎng)帖的格式。
[0031] 上述技術(shù)方案具有如下優(yōu)點(diǎn)或有益效果：（1)在有線網(wǎng)絡(luò)適配器和無(wú)線網(wǎng)絡(luò)適配 器的驅(qū)動(dòng)的發(fā)送端中增加報(bào)文采集功能，降低了報(bào)文采集對(duì)協(xié)議找的依賴和加速模塊的限 審IJ，提高了性能；（2)在網(wǎng)絡(luò)適配器的接收端的保存的報(bào)文中增加了網(wǎng)絡(luò)適配器類型和源物 理地址的記錄，有效的記錄了網(wǎng)絡(luò)來(lái)源，為大數(shù)據(jù)分析做了基礎(chǔ)；（3)本發(fā)明避開了在協(xié)議 找和加速模塊中處理網(wǎng)絡(luò)報(bào)文，減輕了協(xié)議找的負(fù)擔(dān)，又避免了在加速模塊中添加重復(fù)代 碼的問(wèn)題，能比較好的適應(yīng)類似博通公司定制化較深的路由器；（4)在網(wǎng)絡(luò)適配器的接收端 和發(fā)送端添加報(bào)文采集功能，簡(jiǎn)潔易懂。
【附圖說(shuō)明】
[0032] 參考所附附圖，W更加充分的描述本發(fā)明的實(shí)施例。然而，所附附圖僅用于說(shuō)明和 闡述，并不構(gòu)成對(duì)本發(fā)明范圍的限制。
[0033] 圖1為本發(fā)明一種采集用戶數(shù)據(jù)的裝置中接收端截取方法的流程示意圖；
[0034] 圖2為本發(fā)明一種采集用戶數(shù)據(jù)的裝置中接收端截取模塊的結(jié)構(gòu)示意圖；
[0035] 圖3為本發(fā)明一種采集用戶數(shù)據(jù)的裝置中發(fā)送端截取模塊的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0036] 下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明一種采集用戶數(shù)據(jù)的方法及裝置進(jìn)行詳細(xì) 說(shuō)明。
[0037] 實(shí)施例一
[0038] 如圖1所示，一種采集用戶數(shù)據(jù)的方法中，應(yīng)用于路由器，該路由器連接局域網(wǎng)和 廣域網(wǎng)，在該方法中，分別從路由器的網(wǎng)絡(luò)適配器的接收端和發(fā)送端截取報(bào)文。根據(jù)運(yùn)些報(bào) 文，可W用于分析用戶的上網(wǎng)行為。
[0039] 近一步來(lái)講，在本實(shí)施例提供的方法中，還包括提供一存儲(chǔ)結(jié)構(gòu)，將截取的報(bào)文W 該存儲(chǔ)結(jié)構(gòu)進(jìn)行保存。在實(shí)際應(yīng)用中，該存儲(chǔ)結(jié)構(gòu)可W為SkJxiff結(jié)構(gòu)。
[0040] 近一步來(lái)講，于接收端截取自局域網(wǎng)向廣域網(wǎng)發(fā)送的報(bào)文后，還需要在報(bào)文中添 加源物理地址。
[0041 ]近一步來(lái)講，于接收端截取自局域網(wǎng)向廣域網(wǎng)發(fā)送的報(bào)文后，還包括步驟：
[0042] 判斷網(wǎng)絡(luò)適配器的是否為無(wú)線網(wǎng)絡(luò)適配器；
[0043] 若是，將報(bào)文進(jìn)行解析W轉(zhuǎn)換為W太網(wǎng)帖的格式;否則，不做處理。
[0044] 具體來(lái)說(shuō)，本實(shí)施例提供的方法主要從路由器的網(wǎng)絡(luò)適配器的接收端和發(fā)送端截 取報(bào)文，根據(jù)運(yùn)些報(bào)文，可W用于分析用戶的上網(wǎng)行為。因?yàn)閷?shí)際應(yīng)用中，所有的流經(jīng)路由 器的網(wǎng)絡(luò)數(shù)據(jù)包都會(huì)經(jīng)過(guò)路由器的物理網(wǎng)絡(luò)適配器的接收端和發(fā)送端，物理網(wǎng)絡(luò)適配器的 驅(qū)動(dòng)會(huì)在接收端收到所有需要路由器處理的報(bào)文，并在發(fā)送端發(fā)送所有由協(xié)議找和加速模 塊處理完畢的報(bào)文。所W，只需要截取接收端和發(fā)送端的報(bào)文數(shù)據(jù)，不但能夠避開繁忙的協(xié) 議找數(shù)據(jù)處理，減輕數(shù)據(jù)處理的工作量，同時(shí)不需要在加速模塊和協(xié)議找中兩個(gè)模塊中增 加代碼，降低功能的禪合性。
[0045] 具體來(lái)說(shuō)，在從接收端獲取報(bào)文的過(guò)程中，首先在接收端接收到報(bào)文后，將報(bào)文按 照一存儲(chǔ)結(jié)構(gòu)存儲(chǔ)至協(xié)議找中，然后需要判斷網(wǎng)絡(luò)適配器類型是否為無(wú)線網(wǎng)絡(luò)適配器。因 為，在實(shí)際應(yīng)用中，有線網(wǎng)絡(luò)適配器接收端接收到的報(bào)文的結(jié)構(gòu)是按照標(biāo)準(zhǔn)的W太網(wǎng)帖的 格式出現(xiàn)，無(wú)線網(wǎng)絡(luò)適配器接收端接收到的報(bào)文則需要進(jìn)行解析，將其轉(zhuǎn)換為W太網(wǎng)帖的 格式。表1為W太網(wǎng)帖頭具體格式：
[0046] 表1MAC帖頭格式
[00471
L0048J 此外，由于本實(shí)施例提出的方法的主要是用于抓取局域網(wǎng)發(fā)送來(lái)的數(shù)據(jù)報(bào)文，而 路由器會(huì)將訪問(wèn)局域網(wǎng)的報(bào)文的物理地址全部改成路由器自身的物理地址，運(yùn)時(shí)網(wǎng)絡(luò)適配 器發(fā)送端抓取的報(bào)文就無(wú)法區(qū)分是從哪個(gè)客戶端發(fā)送來(lái)的。因此，在網(wǎng)絡(luò)適配器的接收端 接收到報(bào)文后，需要將報(bào)文的源物理地址添加到保存的報(bào)文中。運(yùn)種方式有效的記錄了報(bào) 文的網(wǎng)絡(luò)來(lái)源，為后續(xù)大數(shù)據(jù)的分析奠定了基礎(chǔ)。
[0049] 除此之外，還需要在保存的報(bào)文中添加接收該報(bào)文的接收端的網(wǎng)絡(luò)適配器的類 型。
[0050] 近一步來(lái)講，上述提出的存儲(chǔ)結(jié)構(gòu)是SkJniff結(jié)構(gòu)。在網(wǎng)絡(luò)適配器接收到報(bào)文后， 將報(bào)文存WSkJxiff結(jié)構(gòu)進(jìn)行存儲(chǔ)中，運(yùn)時(shí)報(bào)文對(duì)應(yīng)的SkJxiff結(jié)構(gòu)的生命周期一直持續(xù)到 該報(bào)文在發(fā)送端發(fā)送完成。此外，將報(bào)文的源物理地址和接收端對(duì)應(yīng)的網(wǎng)絡(luò)適配器類型添 加至SkJniff結(jié)構(gòu)中，即在SkJxiff結(jié)構(gòu)中增加兩個(gè)字段，一個(gè)字段來(lái)記錄該報(bào)文的源物理 地址，另一個(gè)字段來(lái)記錄網(wǎng)絡(luò)適配器類型。具體來(lái)說(shuō)，在該sk_buff結(jié)構(gòu)中增加兩個(gè)字段 smac和Sf lag, sk_buff-〉smac用來(lái)記錄運(yùn)個(gè)報(bào)文的源物理地址，sk_buff-〉sf lag用來(lái)記錄 網(wǎng)絡(luò)適配器的類型，用來(lái)區(qū)分有線網(wǎng)絡(luò)適配器還是無(wú)線網(wǎng)絡(luò)適配器。因?yàn)?，?dāng)報(bào)文保存到本 地后，會(huì)對(duì)物理地址進(jìn)行替換，如將表1中的MAC帖頭進(jìn)行替換，從路由器發(fā)送的報(bào)文的源物 理地址就會(huì)被修改成為路由器的物理地址，此時(shí)采集到的報(bào)文就無(wú)法區(qū)分是哪個(gè)客戶端發(fā) 送的。因此，使用sk_buff-〉smac記錄運(yùn)個(gè)報(bào)文的源物理地址，運(yùn)樣就可W區(qū)分報(bào)文是來(lái)自 哪個(gè)客戶端的。
[0051 ]值得指出的是，SkJxiff結(jié)構(gòu)是1 inux內(nèi)核的TCP/IP協(xié)議找最重要的結(jié)構(gòu)，是網(wǎng)絡(luò) 數(shù)據(jù)包在內(nèi)核中的表現(xiàn)形式。路由器接收的報(bào)文和準(zhǔn)備發(fā)送的報(bào)文均WskJxiff結(jié)構(gòu)進(jìn)行 存儲(chǔ)。
[0052] 近一步來(lái)講，在網(wǎng)絡(luò)適配器準(zhǔn)備發(fā)送報(bào)文時(shí)，將SkJxiff結(jié)構(gòu)中的報(bào)文復(fù)制到日志 中，并上傳至云服務(wù)器W進(jìn)行存儲(chǔ)。
[0053] 近一步來(lái)講，從發(fā)送端獲取報(bào)文的過(guò)程包括步驟：
[0054] 對(duì)將要從發(fā)送端發(fā)送至廣域網(wǎng)的報(bào)文進(jìn)行過(guò)濾，W保存有效報(bào)文。
[0055] 其中，有效報(bào)文為局域網(wǎng)向廣域網(wǎng)發(fā)送的上行TCP報(bào)文。近一步來(lái)講，上述有效報(bào) 文需要滿足條件：上行TCP(化ansmission Con化〇1 Protocol,傳輸控制協(xié)議)報(bào)文、目標(biāo)物 理地址不是組播或者廣播包的報(bào)文、非路由器主動(dòng)上報(bào)的報(bào)文。此外，對(duì)于握手報(bào)文等無(wú)用 的傳輸控制協(xié)議報(bào)文，不屬于有效報(bào)文。
[0056] 值得指出的是，因?yàn)檫B接外網(wǎng)一般是有線網(wǎng)絡(luò)適配器，且在有線網(wǎng)絡(luò)適配器的發(fā) 送端，經(jīng)過(guò)濾后的報(bào)文格式依然是W太網(wǎng)帖的格式。表巧日表3分別為載荷是IP和PPP的W太 網(wǎng)帖格式：
[0057] 表2載荷是IP的W太網(wǎng)帖格式 「msRl
[0061] 具體來(lái)說(shuō)，對(duì)報(bào)文的過(guò)濾過(guò)程包括：
[0062] 查詢SkJxiff結(jié)構(gòu)中的物理地址帖頭，檢查源物理地址是否等于本網(wǎng)絡(luò)適配器的 物理地址；
[0063] 查詢sk_buff結(jié)構(gòu)中的物理地址帖頭，檢查目標(biāo)物理地址是否為廣播地址或組播 地址；
[0064] 查詢SkJxiff結(jié)構(gòu)中是否記錄了網(wǎng)絡(luò)適配器類型，W判斷WSkJxiff結(jié)構(gòu)存儲(chǔ)的報(bào) 文是否為路由器主動(dòng)發(fā)送的；
[0065] 查詢SkJxiff結(jié)構(gòu)的長(zhǎng)度，判斷該長(zhǎng)度是否小于等于預(yù)設(shè)長(zhǎng)度；
[0066] 于源物理地址等于本網(wǎng)絡(luò)適配器的物理地址和目標(biāo)物理地址不是廣播地址或組 播地址和SkJxiff結(jié)構(gòu)中的報(bào)文不是路由器主動(dòng)發(fā)送的和長(zhǎng)度大于預(yù)設(shè)長(zhǎng)度時(shí)，判定此時(shí) sk_buf f結(jié)構(gòu)中的報(bào)文為有效報(bào)文。
[0067] 簡(jiǎn)單來(lái)說(shuō)：1、有效報(bào)文時(shí)上行TCP報(bào)文；2、查詢報(bào)文的物理地址帖頭，于物理地址 帖頭中的目標(biāo)物理地址為廣播地址或組播地址時(shí)判定報(bào)文不是有效報(bào)文并丟棄;3、查詢報(bào) 文中是否記錄了網(wǎng)絡(luò)適配器的網(wǎng)絡(luò)適配器類型，于未記錄網(wǎng)絡(luò)適配器類型時(shí)判定報(bào)文不是 有效報(bào)文并丟棄;4、提供一預(yù)設(shè)長(zhǎng)度，于報(bào)文長(zhǎng)度小于等于預(yù)設(shè)長(zhǎng)度時(shí)判定報(bào)文不是有效 報(bào)文并丟棄。
[0068] 具體來(lái)講，用戶發(fā)送的有意義的報(bào)文需為上行TCP報(bào)文，其源物理地址要等于網(wǎng)絡(luò) 適配器的物理地址。此外，若是組播包或運(yùn)廣播包，則在分析用戶行為時(shí)意義不大，所W需 要剔除目標(biāo)物理地址為廣播地址或組播地址的報(bào)文。
[0069] 在實(shí)際應(yīng)用中，路由器還會(huì)主動(dòng)發(fā)送報(bào)文，該報(bào)文同樣會(huì)經(jīng)過(guò)發(fā)送端，如果對(duì)運(yùn)些 報(bào)文進(jìn)行復(fù)制截取，會(huì)影響到對(duì)用戶行為的分析。此外，用戶發(fā)送報(bào)文至接收端時(shí)，將報(bào)文 的源物理地址和接收端對(duì)應(yīng)的網(wǎng)絡(luò)適配器類型添加至保存的報(bào)文中。所W，在判斷發(fā)送端 要發(fā)送的報(bào)文是否為路由器主動(dòng)發(fā)送的，只需要查詢保存的報(bào)文中是否記錄了網(wǎng)絡(luò)適配器 類型，若沒有，則表示當(dāng)前報(bào)文是路由器主動(dòng)發(fā)送的。即路由器主動(dòng)發(fā)送的報(bào)文并不會(huì)經(jīng)過(guò) 路由器的接收端，因?yàn)樵搱?bào)文中網(wǎng)絡(luò)適配器的類型沒有進(jìn)行設(shè)置。
[0070] 除此之外，在實(shí)際應(yīng)用中發(fā)送端還會(huì)發(fā)送TCP握手報(bào)文等大量的無(wú)用報(bào)文，截取運(yùn) 些報(bào)文不但增加工作量且對(duì)后續(xù)用戶行為的分析沒有意義。所W，在發(fā)送端獲取的有效報(bào) 文中，并不包括運(yùn)些無(wú)用的報(bào)文，運(yùn)就需要對(duì)報(bào)文進(jìn)行分析，W提出無(wú)用的報(bào)文。值得指出 的是，無(wú)用的TCP報(bào)文通常長(zhǎng)度較小，而有效報(bào)文的長(zhǎng)度較大。所W在本實(shí)施例中設(shè)置一預(yù) 設(shè)長(zhǎng)度，若保存的報(bào)文的長(zhǎng)度小于等于該預(yù)設(shè)長(zhǎng)度，則判定為無(wú)用報(bào)文，不需要進(jìn)行復(fù)制抓 取等后續(xù)操作;若保存的報(bào)文的長(zhǎng)度大于該預(yù)設(shè)長(zhǎng)度，則在滿足了其余=個(gè)條件的同時(shí)，會(huì) 被判定為有效報(bào)文。較優(yōu)的實(shí)施方式中，上述預(yù)設(shè)長(zhǎng)度可設(shè)置為82字節(jié)。
[0071] 值得指出的是，實(shí)際應(yīng)用中，在判定報(bào)文是否同時(shí)滿足上行TCP報(bào)文、目標(biāo)物理地 址不是組播或者廣播包的報(bào)文、非路由器主動(dòng)上報(bào)的報(bào)文W及長(zhǎng)度大于預(yù)設(shè)長(zhǎng)度的報(bào)文四 個(gè)條件的過(guò)程中，其判定順序不做限定，但是只有當(dāng)四個(gè)條件同時(shí)滿足時(shí)，才能判定該報(bào)文 是有效報(bào)文。
[0072] 本實(shí)施例在有線網(wǎng)絡(luò)適配器和無(wú)線網(wǎng)絡(luò)適配器的驅(qū)動(dòng)的發(fā)送端中增加報(bào)文采集 功能，降低了報(bào)文采集對(duì)協(xié)議找的依賴和加速模塊的限制，提高了性能。同時(shí)，在網(wǎng)絡(luò)適配 器的接收端的保存的報(bào)文中增加了網(wǎng)絡(luò)適配器類型和源物理地址的記錄，有效的記錄了網(wǎng) 絡(luò)來(lái)源，為大數(shù)據(jù)分析做了基礎(chǔ)。
[0073] 該方法避開了在協(xié)議找和加速模塊中處理網(wǎng)絡(luò)報(bào)文，減輕了協(xié)議找的負(fù)擔(dān)，又避 免了在加速模塊中添加重復(fù)代碼的問(wèn)題，能比較好的適應(yīng)類似博通公司定制化較深的路由 器。在網(wǎng)絡(luò)適配器的接收端和發(fā)送端添加報(bào)文采集功能，簡(jiǎn)潔易懂。
[0074] 實(shí)施例二
[0075] 根據(jù)上述實(shí)施例提出的一種采集用戶數(shù)據(jù)的方法，本實(shí)施例提出了一種采集用戶 數(shù)據(jù)的裝置。
[0076] -種采集用戶數(shù)據(jù)的裝置，包括：
[0077] 接收端截取模塊1，與路由器的網(wǎng)絡(luò)適配器的接收端相連，用W于接收端處截取自 所述局域網(wǎng)向廣域網(wǎng)發(fā)送的報(bào)文；
[0078] 發(fā)送端截取模塊2，與網(wǎng)絡(luò)適配器的發(fā)送端相連，用W于發(fā)送端處截取自局域網(wǎng)向 廣域網(wǎng)發(fā)送的報(bào)文。
[0079] 具體來(lái)說(shuō)，本實(shí)施例提供的裝置包括接收端截取模塊1和發(fā)送端截取模塊2相連， 運(yùn)兩個(gè)截取模塊分別用來(lái)截取路由器網(wǎng)絡(luò)適配器接收端和發(fā)送端的報(bào)文數(shù)據(jù)。因?yàn)閷?shí)際應(yīng) 用中，所有的流經(jīng)路由器的網(wǎng)絡(luò)數(shù)據(jù)包都會(huì)經(jīng)過(guò)路由器的物理網(wǎng)絡(luò)適配器的接收端和發(fā)送 端，物理網(wǎng)絡(luò)適配器的驅(qū)動(dòng)會(huì)在接收端收到所有需要路由器處理的報(bào)文，并在發(fā)送端發(fā)送 所有由協(xié)議找和加速模塊處理完畢的報(bào)文。所W，只需要截取接收端和發(fā)送端的報(bào)文數(shù)據(jù)， 不但能夠避開繁忙的協(xié)議找數(shù)據(jù)處理，減輕數(shù)據(jù)處理的工作量，同時(shí)不需要在加速模塊和 協(xié)議找中兩個(gè)模塊中增加代碼，降低功能的禪合性。
[0080] 近一步來(lái)講，如圖2所示，發(fā)送端截取模塊2包括：
[0081] 過(guò)濾單元21，與發(fā)送端相連，對(duì)將要從發(fā)送端發(fā)送至廣域網(wǎng)的報(bào)文進(jìn)行過(guò)濾，W保 存有效報(bào)文；
[0082] 其中，過(guò)濾單元21包括：
[0083] 目標(biāo)物理地址查詢子單元211，與發(fā)送端相連，用W查詢報(bào)文的物理地址帖頭，于 物理地址帖頭中的目標(biāo)物理地址為廣播地址或組播地址時(shí)判定報(bào)文不是有效報(bào)文并丟棄；
[0084] 網(wǎng)絡(luò)適配器類型查詢子單元212,與發(fā)送端相連，用W查詢報(bào)文中是否記錄了網(wǎng)絡(luò) 適配器的所述網(wǎng)絡(luò)適配器類型，于未記錄網(wǎng)絡(luò)適配器類型時(shí)判定報(bào)文不是有效報(bào)文并丟 棄；
[0085] 長(zhǎng)度判斷子單元213,與發(fā)送端相連，用W于報(bào)文長(zhǎng)度小于等于預(yù)設(shè)長(zhǎng)度時(shí)判定報(bào) 文不是有效報(bào)文并丟棄。
[0086] 具體來(lái)說(shuō)，在接收端接收到報(bào)文后，由過(guò)濾單元21對(duì)將要從所述發(fā)送端發(fā)送至所 述廣域網(wǎng)的所述報(bào)文進(jìn)行過(guò)濾，W保存有效報(bào)文。其中，過(guò)濾單元21又包括目標(biāo)物理地址查 詢子單元211、網(wǎng)絡(luò)適配器類型查詢子單元212W及長(zhǎng)度判斷子單元213。目標(biāo)物理地址查詢 子單元211主要用W查詢所述報(bào)文的物理地址帖頭，于所述物理地址帖頭中的目標(biāo)物理地 址為廣播地址或組播地址時(shí)判定所述報(bào)文不是有效報(bào)文并丟棄；網(wǎng)絡(luò)適配器類型查詢子單 元212主要用W查詢所述報(bào)文中是否記錄了所述網(wǎng)絡(luò)適配器的所述網(wǎng)絡(luò)適配器類型，于未 記錄所述網(wǎng)絡(luò)適配器類型時(shí)判定所述報(bào)文不是有效報(bào)文并丟棄；長(zhǎng)度判斷子單元213主要 于所述報(bào)文長(zhǎng)度小于等于預(yù)設(shè)長(zhǎng)度時(shí)判定所述報(bào)文不是有效報(bào)文并丟棄。即通過(guò)運(yùn)=個(gè)子 單元，實(shí)現(xiàn)了對(duì)報(bào)文的篩選，W保留有效報(bào)文。
[0087] 近一步來(lái)講，如圖3所示，接收端截取模塊1包括：
[0088] 類型判定單元11，與接收端相連，用W于接收端截取自局域網(wǎng)向廣域網(wǎng)發(fā)送的報(bào) 文后判斷網(wǎng)絡(luò)適配器的是否為無(wú)線網(wǎng)絡(luò)適配器；
[0089] 解析單元12,與類型判定單元11相連，用W于網(wǎng)絡(luò)適配器為無(wú)線網(wǎng)絡(luò)適配器時(shí)將 報(bào)文進(jìn)行解析W轉(zhuǎn)換為W太網(wǎng)帖的格式。
[0090] 體來(lái)說(shuō)，在接收端截取報(bào)文后，類型判定單元11判斷網(wǎng)絡(luò)適配器的網(wǎng)絡(luò)適配器類 型是否為無(wú)線網(wǎng)絡(luò)適配器，若是，則利用解析單元12將報(bào)文進(jìn)行解析W轉(zhuǎn)換為W太網(wǎng)帖的 格式。
[0091] 對(duì)于本領(lǐng)域的技術(shù)人員而言，閱讀上述說(shuō)明后，各種變化和修正無(wú)疑將顯而易見。 因此，所附的權(quán)利要求書應(yīng)看作是涵蓋本發(fā)明的真實(shí)意圖和范圍的全部變化和修正。在權(quán) 利要求書范圍內(nèi)任何和所有等價(jià)的范圍與內(nèi)容，都應(yīng)認(rèn)為仍屬本發(fā)明的意圖和范圍內(nèi)。
【主權(quán)項(xiàng)】
1. 一種采集用戶數(shù)據(jù)的方法，應(yīng)用于路由器，所述路由器連接局域網(wǎng)和廣域網(wǎng)，其特征 在于，分別于所述路由器的網(wǎng)絡(luò)適配器的接收端和發(fā)送端截取自所述局域網(wǎng)向所述廣域網(wǎng) 發(fā)送的報(bào)文。2. 根據(jù)權(quán)利要求1所述的采集用戶數(shù)據(jù)的方法，其特征在于，提供一存儲(chǔ)結(jié)構(gòu)，將截取 的所述報(bào)文以所述存儲(chǔ)結(jié)構(gòu)進(jìn)行保存。3. 根據(jù)權(quán)利要求2所述的采集用戶數(shù)據(jù)的方法，其特征在于，從所述發(fā)送端獲取所述報(bào) 文的過(guò)程包括步驟： 對(duì)將要從所述發(fā)送端發(fā)送至所述廣域網(wǎng)的所述報(bào)文進(jìn)行過(guò)濾，以保存有效報(bào)文； 其中，所述有效報(bào)文為所述局域網(wǎng)向所述廣域網(wǎng)發(fā)送的上行TCP報(bào)文。4. 根據(jù)權(quán)利要求3所述的采集用戶數(shù)據(jù)的方法，其特征在于，對(duì)將要從所述發(fā)送端發(fā)送 至所述廣域網(wǎng)的所述報(bào)文進(jìn)行過(guò)濾的過(guò)程包括步驟： 查詢所述報(bào)文的物理地址幀頭，于所述物理地址幀頭中的目標(biāo)物理地址為廣播地址或 組播地址時(shí)判定所述報(bào)文不是有效報(bào)文并丟棄。5. 根據(jù)權(quán)利要求3所述的采集用戶數(shù)據(jù)的方法，其特征在于，對(duì)將要從所述發(fā)送端發(fā)送 至所述廣域網(wǎng)的所述報(bào)文進(jìn)行過(guò)濾的過(guò)程還包括步驟： 查詢所述報(bào)文中是否記錄了所述網(wǎng)絡(luò)適配器的所述網(wǎng)絡(luò)適配器類型，于未記錄所述網(wǎng) 絡(luò)適配器類型時(shí)判定所述報(bào)文不是有效報(bào)文并丟棄。6. 根據(jù)權(quán)利要求3所述的采集用戶數(shù)據(jù)的方法，其特征在于，對(duì)將要從所述發(fā)送端發(fā)送 至所述廣域網(wǎng)的所述報(bào)文進(jìn)行過(guò)濾的過(guò)程還包括步驟： 提供一預(yù)設(shè)長(zhǎng)度，于所述報(bào)文長(zhǎng)度小于等于所述預(yù)設(shè)長(zhǎng)度時(shí)判定所述報(bào)文不是有效報(bào) 文并丟棄。7. 根據(jù)權(quán)利要求1所述的采集用戶數(shù)據(jù)的方法，其特征在于，于所述接收端截取自所述 局域網(wǎng)向所述廣域網(wǎng)發(fā)送的所述報(bào)文后，在所述報(bào)文中添加源物理地址。8. 根據(jù)權(quán)利要求1所述的采集用戶數(shù)據(jù)的方法，其特征在于，于所述接收端截取自所述 局域網(wǎng)向所述廣域網(wǎng)發(fā)送的所述報(bào)文后，還包括步驟： 判斷所述網(wǎng)絡(luò)適配器的是否為無(wú)線網(wǎng)絡(luò)適配器； 若是，將所述報(bào)文進(jìn)行解析以轉(zhuǎn)換為以太網(wǎng)幀的格式;否則，不做處理。9. 一種采集用戶數(shù)據(jù)的裝置，應(yīng)用于路由器，所述路由器連接局域網(wǎng)和廣域網(wǎng)，其特征 在于，所述裝置包括： 接收端截取模塊（1 )，與所述路由器的網(wǎng)絡(luò)適配器的接收端相連，用以于所述接收端處 截取自所述局域網(wǎng)向所述廣域網(wǎng)發(fā)送的報(bào)文； 發(fā)送端截取模塊(2)，與所述網(wǎng)絡(luò)適配器的發(fā)送端相連，用以于所述發(fā)送端處截取自所 述局域網(wǎng)向所述廣域網(wǎng)發(fā)送的報(bào)文。10. 根據(jù)權(quán)利要求9所述的采集用戶數(shù)據(jù)的裝置，其特征在于，所述發(fā)送端截取模塊(2) 包括： 過(guò)濾單元(21 )，與所述發(fā)送端相連，對(duì)將要從所述發(fā)送端發(fā)送至所述廣域網(wǎng)的所述報(bào) 文進(jìn)行過(guò)濾，以保存有效報(bào)文； 其中，所述過(guò)濾單元(21)包括： 目標(biāo)物理地址查詢子單元(211 )，與所述發(fā)送端相連，用以查詢所述報(bào)文的物理地址幀 頭，于所述物理地址幀頭中的目標(biāo)物理地址為廣播地址或組播地址時(shí)判定所述報(bào)文不是有 效報(bào)文并丟棄； 網(wǎng)絡(luò)適配器類型查詢子單元(212)，與所述發(fā)送端相連，用以查詢所述報(bào)文中是否記錄 了所述網(wǎng)絡(luò)適配器的所述網(wǎng)絡(luò)適配器類型，于未記錄所述網(wǎng)絡(luò)適配器類型時(shí)判定所述報(bào)文 不是有效報(bào)文并丟棄； 長(zhǎng)度判斷子單元(213)，與所述發(fā)送端相連，用以于所述報(bào)文長(zhǎng)度小于等于預(yù)設(shè)長(zhǎng)度時(shí) 判定所述報(bào)文不是有效報(bào)文并丟棄； 以及所述接收端截取模塊(1)包括： 類型判定單元（11)，與所述接收端相連，用以于所述接收端截取自所述局域網(wǎng)向所述 廣域網(wǎng)發(fā)送的所述報(bào)文后判斷所述網(wǎng)絡(luò)適配器的是否為無(wú)線網(wǎng)絡(luò)適配器； 解析單元（12)，與所述類型判定單元（11)相連，用以于所述網(wǎng)絡(luò)適配器為無(wú)線網(wǎng)絡(luò)適 配器時(shí)將所述報(bào)文進(jìn)行解析以轉(zhuǎn)換為以太網(wǎng)幀的格式。
【文檔編號(hào)】H04L12/26GK105978707SQ201610261724
【公開日】2016年9月28日
【申請(qǐng)日】2016年4月25日
【發(fā)明人】方迪
【申請(qǐng)人】上海斐訊數(shù)據(jù)通信技術(shù)有限公司