對網(wǎng)絡(luò)接入標(biāo)識的互聯(lián)網(wǎng)的訪問內(nèi)容的采集，可以采集某 一網(wǎng)絡(luò)接入標(biāo)識的訪問內(nèi)容，也可以采集多個(gè)網(wǎng)絡(luò)接入標(biāo)識的訪問內(nèi)容。
[0096] 基于網(wǎng)絡(luò)接入標(biāo)識在預(yù)設(shè)時(shí)間段內(nèi)、對所述互聯(lián)網(wǎng)的訪問內(nèi)容，可統(tǒng)計(jì)出用戶對 互聯(lián)網(wǎng)進(jìn)行訪問的統(tǒng)計(jì)數(shù)據(jù)，例如，可統(tǒng)計(jì)出針對某特定ICP提供的內(nèi)容URL的訪問量，又 或者是針對某特定內(nèi)容類型（如視頻）流量的訪問量?；诖私Y(jié)果，與計(jì)費(fèi)系統(tǒng)配合，可以 真正實(shí)現(xiàn)非常細(xì)粒度，且豐富的內(nèi)容計(jì)費(fèi)。例如，除了對不同定義的流量套用不同的計(jì)費(fèi)策 略，還能夠?qū)ν瑯拥牧髁恐胁煌膬?nèi)容套用不同的計(jì)費(fèi)策略；除了可以實(shí)現(xiàn)對不同ICP內(nèi) 容的不同計(jì)費(fèi)策略，還能夠?qū)崿F(xiàn)同一個(gè)ICP內(nèi)部，不同內(nèi)容類型的不同計(jì)費(fèi)策略；除了可以 對圖片和音樂等不同內(nèi)容類型使用不同的單價(jià)進(jìn)行對此終端號碼進(jìn)行計(jì)費(fèi)，甚至可以針對 同樣內(nèi)容類型的兩個(gè)不同內(nèi)容（例如兩首同樣為mp3格式的音樂內(nèi)容），采用不同的單價(jià)進(jìn) 行計(jì)費(fèi)。當(dāng)通過網(wǎng)絡(luò)接入標(biāo)識與運(yùn)營商CRM系統(tǒng)中的用戶數(shù)據(jù)打通時(shí)，可以評估互聯(lián)網(wǎng)上 某內(nèi)容/某應(yīng)用的訪問對象人群特征，為內(nèi)容/應(yīng)用的定位，內(nèi)嵌廣告的投放提供靶向性數(shù) 據(jù)。
[0097] 下面對本實(shí)施所述的方法進(jìn)行舉例說明：以移動互聯(lián)網(wǎng)接入，終端與Web代理服 務(wù)器之間不包括NAT設(shè)備的場景為例，網(wǎng)絡(luò)的拓?fù)鋱D如圖2所示，其中，在與網(wǎng)絡(luò)接入網(wǎng)關(guān) 具備相同的IP地址空間的網(wǎng)絡(luò)子網(wǎng)內(nèi)部署Web代理服務(wù)器集群，用于執(zhí)行應(yīng)用代理、文件 緩存等功能。ISP的IT運(yùn)營支撐系統(tǒng)內(nèi)部至少部署有AAA服務(wù)器、DNS服務(wù)器和CRM系統(tǒng)， CRM系統(tǒng)能夠提供網(wǎng)絡(luò)接入標(biāo)識與用戶真實(shí)信息的對應(yīng)關(guān)系。
[0098] 基于圖2所述的拓?fù)浣Y(jié)構(gòu)，采集網(wǎng)絡(luò)接入標(biāo)識對互聯(lián)網(wǎng)的訪問內(nèi)容的過程包括：
[0099] 1、終端（網(wǎng)絡(luò)接入標(biāo)識）向網(wǎng)絡(luò)接入網(wǎng)關(guān)（固網(wǎng)為BRAS，移動網(wǎng)絡(luò)為PDSN/GGSN/ SAE GW)發(fā)送接入請求；
[0100] 2、網(wǎng)絡(luò)接入網(wǎng)關(guān)作為認(rèn)證客戶端向認(rèn)證服務(wù)器傳送網(wǎng)絡(luò)接入標(biāo)識，認(rèn)證服務(wù)器向 網(wǎng)絡(luò)接入網(wǎng)關(guān)下發(fā)分配給終端的接入IP地址；或者由網(wǎng)絡(luò)接入網(wǎng)關(guān)為認(rèn)證通過的終端分 配IP地址。無論哪種方式，網(wǎng)絡(luò)接入網(wǎng)關(guān)都會在計(jì)費(fèi)開始的請求報(bào)文中上傳網(wǎng)絡(luò)接入標(biāo)識 和其所使用的IP地址，網(wǎng)絡(luò)接入起始時(shí)間給接入認(rèn)證服務(wù)器；在網(wǎng)絡(luò)接入結(jié)束時(shí)，網(wǎng)絡(luò)接 入網(wǎng)關(guān)將向認(rèn)證服務(wù)器傳送計(jì)費(fèi)結(jié)束的請求報(bào)文，上傳其網(wǎng)絡(luò)接入標(biāo)識，IP地址，網(wǎng)絡(luò)接入 結(jié)束時(shí)間給接入認(rèn)證服務(wù)器。在這個(gè)步驟中，接入認(rèn)證服務(wù)器上生成一條承載層網(wǎng)絡(luò)接入 日志，記錄下網(wǎng)絡(luò)接入標(biāo)識、本次承載層會話中所述網(wǎng)絡(luò)接入標(biāo)識使用的IP地址、本次承 載層會話開始時(shí)的格林威治時(shí)間和本次承載層會話結(jié)束時(shí)的格林威治時(shí)間；
[0101] 3、成功接入網(wǎng)絡(luò)的終端以分配給其的接入IP發(fā)起互聯(lián)網(wǎng)內(nèi)容訪問請求，該請求 的目的地址通過DNS智能解析等手段被調(diào)整為web代理服務(wù)器集群的IP地址。Web代理 服務(wù)器集群在成功處理完畢一個(gè)終端的網(wǎng)絡(luò)內(nèi)容/應(yīng)用訪問請求后，產(chǎn)生一條應(yīng)用層內(nèi)容 訪問日志，記錄下內(nèi)容訪問成功時(shí)間戳：本次應(yīng)用層請求響應(yīng)結(jié)束時(shí)的時(shí)間，格式可以為格 林威治時(shí)間，發(fā)起此次應(yīng)用層請求的客戶端IP地址、傳輸層流量：此次應(yīng)用層響應(yīng)對應(yīng)的 TCP/IP棧傳輸?shù)淖止?jié)、URL地址：本次訪問響應(yīng)的互聯(lián)網(wǎng)資源標(biāo)識URL等信息；
[0102] 4、互聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)從AAA服務(wù)器處獲取到承載層日志，從web代理服務(wù)器集 群處獲取到應(yīng)用層日志，存入日志服務(wù)器，如上述S109和SI 10所述，進(jìn)行承載層日志和應(yīng) 用層日志的關(guān)聯(lián)，采集所述網(wǎng)絡(luò)接入標(biāo)識在預(yù)設(shè)時(shí)間段內(nèi)、對所述互聯(lián)網(wǎng)的訪問內(nèi)容。
[0103] 本實(shí)施例所述的方法，通過將內(nèi)容訪問請求報(bào)文路由轉(zhuǎn)發(fā)至Web代理服務(wù)器集 群，由Web代理服務(wù)器集群通過響應(yīng)內(nèi)容訪問請求報(bào)文，而生成應(yīng)用層日志，并利用AAA服 務(wù)器生成的承載層日志，將應(yīng)用層日志與承載層日志進(jìn)行字段的匹配，從而確定網(wǎng)絡(luò)接入 標(biāo)識和應(yīng)用層日志之間的對應(yīng)關(guān)系，進(jìn)一步采集網(wǎng)絡(luò)接入標(biāo)識在預(yù)設(shè)時(shí)間段內(nèi)、對互聯(lián)網(wǎng) 的訪問內(nèi)容?？梢?，本實(shí)施例所述的方法并不需要進(jìn)行數(shù)據(jù)包的深度解析，因此，無需依賴 DPI設(shè)備，所以能夠降低成本。
[0104] 除此以外，本實(shí)施例還具有以下優(yōu)點(diǎn)：
[0105] 1、本實(shí)施例利用DNS技術(shù)進(jìn)行路由轉(zhuǎn)發(fā)，因?yàn)榇思夹g(shù)不需要終端主動進(jìn)行類似 WAP網(wǎng)關(guān)地址的配置，因此，終端對路由轉(zhuǎn)發(fā)無感，即路由轉(zhuǎn)發(fā)過程不會影響終端正常的通 信流程。同時(shí)，與現(xiàn)有的使用DPI設(shè)備的方法需要中斷現(xiàn)有業(yè)務(wù)來設(shè)置DPI設(shè)備采集點(diǎn)相 t匕，本實(shí)施例所述的方法不會中斷現(xiàn)有的業(yè)務(wù)來在物理鏈路上配置DPI采集點(diǎn)、且向各個(gè) DPI設(shè)備下發(fā)識別特征碼，只需修改DNS解析條目，不需要向各個(gè)DPI采集設(shè)備再事前下發(fā) 對應(yīng)某特定業(yè)務(wù)的識別特征碼。
[0106] 2、Web代理服務(wù)器集群通過響應(yīng)接入請求報(bào)文生成應(yīng)用層日志，因此，對于互聯(lián)網(wǎng) 拓?fù)涠?，不會產(chǎn)生額外的系統(tǒng)開銷，從而提高效率。
[0107] 3、本實(shí)施例所述的方法的精度高。
[0108] 以Squid軟件的一個(gè)日志為例：
[0109] 1066037222.3521947527. 34. 49. 248TCP_MISS/20012387
[0110] GET http://espanol. geocities, com/lebastias/divulgacion/budismo-tarot. html
[0111] -
[0112] DIRECT/209. I. 225. 139text/html
[0113] 括號中為日志項(xiàng)的具體含義：
[0114] 1066037222. 352(內(nèi)容訪問開始的時(shí)間戳）19475(訪問響應(yīng)所花費(fèi)的
[0115] 時(shí)間毫秒數(shù)）
[0116] 27. 34. 49. 248 (訪問發(fā)起的客戶端IP地址）
[0117] TCP_MISS/200 (訪問的結(jié)果碼/狀態(tài)碼TCP_MISS代表訪問未能在緩
[0118] 存中命中，200表示此訪問最終正常完成）
[0119] 12387 (本內(nèi)容在TCP/IP協(xié)議棧中的字節(jié)數(shù)，可用來計(jì)算內(nèi)容的流量）
[0120] GET(內(nèi)容訪問的請求方式）http://espanol. geocities· com/lebastias/ divulgacion/budismo-tarot. html (所訪問的內(nèi)容的完整URL明細(xì)字段）-(客戶端身份字 段，本例中為空）
[0121] DIRECT/209. 1. 225. 139 (對端編碼/對端主機(jī)，對端編碼字段指示如何選擇下一 跳，對端主機(jī)字段是下一跳的IP地址）
[0122] text/html (內(nèi)容類型字段，標(biāo)識本段內(nèi)容是何種分類）
[0123] 由此可以看到，使用WEB代理服務(wù)器集群采集到的訪問內(nèi)容（粗斜體部分）的精 細(xì)度信息，要遠(yuǎn)遠(yuǎn)高于DPI方式的IP五元組（通常是指源IP地址，源端口，目的IP地址，目 的端口和傳輸層協(xié)議號），可以達(dá)到訪問流量，業(yè)務(wù)類型，訪問動作，訪問內(nèi)容的精確采集。 同時(shí)還可以通過自定義編程的方式擴(kuò)展WEB代理服務(wù)器的日志字段，采集到一次互聯(lián)網(wǎng)內(nèi) 容請求的全部內(nèi)容。例如現(xiàn)在開源社區(qū)已經(jīng)有插件代碼能夠記錄客戶端IP在發(fā)起本次請 求時(shí)使用的端口號。
[0124] 4、WEB代理服務(wù)器部署在逼近終端網(wǎng)絡(luò)接入點(diǎn)的節(jié)點(diǎn)上，在代理執(zhí)行內(nèi)容訪問生 成訪問數(shù)據(jù)的同時(shí)，還能通過開啟緩存功能起到類似CDN邊緣分發(fā)節(jié)點(diǎn)的功能，加快用戶 互聯(lián)網(wǎng)訪問體驗(yàn)。
[0125] 在圖1所示的實(shí)施例中，除了 S107至S109之外，可選地，獲取應(yīng)用層日志和網(wǎng)絡(luò) 接入標(biāo)識間的對應(yīng)關(guān)系還可以使用以下方式：依據(jù)獲取的應(yīng)用日志，確定所述應(yīng)用層日志 和網(wǎng)絡(luò)接入標(biāo)識間的對應(yīng)關(guān)系。
[0126] 也就是說，針對智能終端（例如智能手機(jī)或智能路由器），可以在智能終端的應(yīng)用 (APP)上進(jìn)行定制開發(fā)，使得智能終端發(fā)送的請求接入報(bào)文中直接攜帶其使用的網(wǎng)絡(luò)接入 標(biāo)識，則Web代理服務(wù)器集群在處理請求接入報(bào)文時(shí)，則能夠?qū)⒕W(wǎng)絡(luò)接入標(biāo)識記錄在應(yīng)用 層日志中。從而，互聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)能夠依據(jù)獲取的應(yīng)用日志，確定所述應(yīng)用層日志和網(wǎng) 絡(luò)接入標(biāo)識間的對應(yīng)關(guān)系。
[0127] 圖1所示的實(shí)施例以終端與Web代理服務(wù)器集群間不存在NAT設(shè)備為例進(jìn)行了說 明，當(dāng)終端與Web代理服務(wù)器集群間存在NAT設(shè)備時(shí)，與圖1所示的實(shí)施例相比，區(qū)別在于： 獲取應(yīng)用層日志和網(wǎng)絡(luò)接入標(biāo)識間的對應(yīng)關(guān)系的方式為：
[0128] 從所述互聯(lián)網(wǎng)的運(yùn)行支撐系統(tǒng)的AAA服務(wù)器中獲取承載層日志，所述承載層日志 中包括以下字段：網(wǎng)絡(luò)接入標(biāo)識、本次承載層會話中所述網(wǎng)絡(luò)接入標(biāo)識使用的IP地址、本 次承載層會話開始的時(shí)間戳和本次承載層會話結(jié)束的時(shí)間戳；
[0129] 獲取NAT轉(zhuǎn)換日志，所述NAT轉(zhuǎn)換日志中包括以下字段：原始接入IP地址、接入 IP地址對應(yīng)的端口號、NAT后訪問IP地址、所述NAT后訪問IP地址對應(yīng)的端口號、地址變 換開始時(shí)間和地址變換結(jié)束時(shí)間；
[0130] 從所述Web代理服務(wù)器集群獲取應(yīng)用層日志，所述應(yīng)用層日志中包括以下字段： 本次應(yīng)用層請求結(jié)束的時(shí)間戳、發(fā)起此次應(yīng)用層請求的IP地址、訪問端口號、響應(yīng)此次應(yīng) 用層請求使用的傳輸層流量和本次應(yīng)用層請求的URL ;
[0131] 當(dāng)所述應(yīng)用層日志中的發(fā)起此次應(yīng)用層請求的IP地址與所述地址轉(zhuǎn)換日志中的 由所述原始接入IP地址轉(zhuǎn)換得到的訪問IP地址相同、所述應(yīng)用層日志中的所述發(fā)起此次 應(yīng)用層請求的IP地址對應(yīng)的訪問端口號與所述地址轉(zhuǎn)換日志中的所述訪問IP地址對應(yīng)的 端口號相同、以及，所述應(yīng)用層日志中的內(nèi)容響應(yīng)成功時(shí)間戳在所述地址轉(zhuǎn)換日志中的地 址轉(zhuǎn)換時(shí)間的間隔內(nèi)，則確定所述應(yīng)用層日志中的發(fā)起此次應(yīng)用層請求的IP地址與所述 地址轉(zhuǎn)換日志中的原始接入IP地址對應(yīng)；
[0132] 如果所述承載層日志中的本次承載層會話中所述網(wǎng)絡(luò)接入標(biāo)識使用的原始接入 IP地址與所述地址轉(zhuǎn)換日志中的原始接入IP地址相同，且所述承載層日志中的會話起止 時(shí)間端包含所述地址轉(zhuǎn)換日志的時(shí)間，則可以獲取所述承載層日志中與本次承載層會話中 所述網(wǎng)絡(luò)接入標(biāo)識使用的原始接入IP地址對應(yīng)的網(wǎng)絡(luò)接入標(biāo)識；從而
[0133] 建立所述網(wǎng)絡(luò)接入標(biāo)識與所述應(yīng)用層日志的對應(yīng)關(guān)系。
[0134] 例如，假設(shè)某次分析采集到的了 一部分日志。
[0135] 某承載層日志內(nèi)容如下：