專利名稱：一種http訪問(wèn)請(qǐng)求處理方法、裝置及網(wǎng)關(guān)設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)通信技術(shù)領(lǐng)域，尤其涉及ー種HTTP訪問(wèn)請(qǐng)求處理方法、裝置及網(wǎng)關(guān)設(shè)備。
背景技術(shù)：
互聯(lián)網(wǎng)的高速發(fā)展使得互聯(lián)網(wǎng)已經(jīng)滲透到社會(huì)生活的每ー個(gè)角落，成為人們學(xué)習(xí)、生活、工作不可缺少的工具，也為企業(yè)高效運(yùn)營(yíng)提供了基礎(chǔ)平臺(tái)。但是互聯(lián)網(wǎng)給我們帶來(lái)諸多便利的同時(shí)，也為各種不和諧的行為提供了滋生的溫床，網(wǎng)絡(luò)惡搞、誹鎊中傷、傳播違法反動(dòng)信息等等，越來(lái)越對(duì)國(guó)家安定、社會(huì)和諧、企業(yè)效率提出了嚴(yán)峻的挑戰(zhàn)?；ヂ?lián)網(wǎng)給企業(yè)帶來(lái)的諸多負(fù)面問(wèn)題主要體現(xiàn)在如下幾個(gè)方面1)企業(yè)員エ工作效率低下。據(jù)調(diào)查顯示，普通企業(yè)員エ每天的互聯(lián)網(wǎng)訪問(wèn)活動(dòng)中40%與工作無(wú)關(guān)。在線聊天、瀏覽娛樂(lè)網(wǎng)頁(yè)、論 壇、博客等無(wú)時(shí)無(wú)刻不在占用正常的工作時(shí)間。2)企業(yè)敏感信息泄露。電子郵件、論壇等網(wǎng)絡(luò)應(yīng)用，已經(jīng)成為信息獲取與提高工作效率的重要工具，但如果不加監(jiān)管，這些工具極可能也為泄密等提供了途徑。3)法律風(fēng)險(xiǎn)。企業(yè)員エ如果通過(guò)企業(yè)網(wǎng)絡(luò)在互聯(lián)網(wǎng)論壇上發(fā)表違法、反動(dòng)言論的話，不但給企業(yè)形象帶來(lái)不好的影響，如果找不到是何人所為，還可能導(dǎo)致企業(yè)為此承擔(dān)法律風(fēng)險(xiǎn)。為解決互聯(lián)網(wǎng)給企業(yè)帶來(lái)的諸多負(fù)面問(wèn)題，上網(wǎng)行為管理概念應(yīng)運(yùn)而生。上網(wǎng)行為管理是指幫助互聯(lián)網(wǎng)用戶控制和管理對(duì)互聯(lián)網(wǎng)的使用，包括對(duì)網(wǎng)頁(yè)訪問(wèn)過(guò)濾、網(wǎng)絡(luò)應(yīng)用控制、帶寬流量管理、信息收發(fā)審計(jì)、用戶行為分析，從而實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)訪問(wèn)行為的全面管理。在點(diǎn)對(duì)點(diǎn)(P2P)流量管理、防止內(nèi)網(wǎng)泄密、防范法規(guī)風(fēng)險(xiǎn)、互聯(lián)網(wǎng)訪問(wèn)行為記錄、上網(wǎng)安全等多個(gè)方面提供最有效的解決方案。其中，搜索引擎作為信息獲取的重要工具，在上網(wǎng)行為管理中也顯得尤為重要?？梢哉f(shuō)搜索引擎搜索審計(jì)已經(jīng)成為上網(wǎng)行為管理所不可或缺的重要功能之一。通過(guò)對(duì)主流的搜索引擎(以百度、Google、Yahoo為例進(jìn)行說(shuō)明)分析發(fā)現(xiàn)，搜索引擎的搜索關(guān)鍵字通常都記錄在URL中，以搜索“testkeyword”為例，幾個(gè)主流搜索引擎的URL如下所示百度http://www.baidu. com/s wd=testkeyword,可見(jiàn)，URL 中 wd 字段值即為搜
索關(guān)鍵字；Google http://www. google, com. hk/search hl=zh-CN&source=hp&q=testkeyword&meta=&aq=f & aqi=&aql=&oq = &gs_rfai=,可見(jiàn)，URL 中 q 字段值即為搜索關(guān)鍵字。Yahoo http://search, cn. yahoo, com/s p=testkeyword&v=web&pid=ysearch,可見(jiàn)，URL中p字段值即為搜索關(guān)鍵字?；谶@個(gè)特征，在對(duì)內(nèi)網(wǎng)用戶的搜索行為進(jìn)行審計(jì)時(shí)，只需要從該類URL中提取指定字段值即可。通常處理步驟如下I)網(wǎng)關(guān)或上網(wǎng)行為管理設(shè)備窺探、截獲HTTP請(qǐng)求報(bào)文，并從中提取出URL。2)對(duì)URL進(jìn)行識(shí)別，如果是搜索引擎的URL，則進(jìn)行捜索行為審計(jì)。
3)根據(jù)預(yù)設(shè)的關(guān)鍵字字段名，從URL中提取搜索關(guān)鍵字，從而完成審計(jì)。但是，在實(shí)際應(yīng)用中發(fā)現(xiàn)，搜索引擎搜索產(chǎn)生的URL并不是只有上述那些，通常還會(huì)伴隨有大量其他類似的URL信息同樣存在捜索關(guān)鍵字字段，如下所示http !//suggestion, baidu. com/ su wd = t&p = 3&cb = window. odsug.sug&t=l335583602530http:/ /suggestion, baidu. com/su wd = te&p = 3&cb=window. bdsug.sug&t=1335583602531http:/ /suggestion, baidu. com/su wd = tes&p = 3&cb=window. bdsug.sug&t=l335583602532
http:/ /suggestion, baidu. com/su wd = test&p = 3&cb=window. bdsug.sug&t=l335583602533http:/ /suggestion, baidu. com/su wd=testk&p = 3&cb=window. bdsug.sug&t=1335583602534http ://suggestion, baidu. com/su wd=testke&p = 3&cb=window. bdsug.sug&t=l335583602535http : / / suggestion, baidu. com/su wd=testkey&p=3&cb=window. bdsug.sug&t=l335583602536http ://suggestion, baidu. com/su wd=testkeyw&p=3&cb=window.bdsug.sug&t=1335583602537http ://suggestion, baidu. com/su wd=testkeywo&p=3&cb=window. bdsug.sug&t=l335583602538http ://suggestion.baidu. com/su wd=testkeywor&p=3&cb=window. bdsug.sug&t=l335583602539這些大量的非有效URL，通常都是自動(dòng)補(bǔ)齊等產(chǎn)生的，還有部分是搜索引擎相關(guān)的圖片等資源請(qǐng)求，所有這些都給搜索行為審計(jì)帶來(lái)很大的干擾，降低了審計(jì)效率，造成設(shè)備處理資源的浪費(fèi)。因此，判斷URL是否有效，成為現(xiàn)有技術(shù)亟待解決的技術(shù)問(wèn)題之一。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供ー種HTTP訪問(wèn)請(qǐng)求處理方法、裝置及網(wǎng)關(guān)設(shè)備，用以判斷URL的有效性，達(dá)到提高搜索引擎搜索審計(jì)效率，節(jié)約設(shè)備處理資源的目的。本發(fā)明實(shí)施例提供ー種HTTP訪問(wèn)請(qǐng)求處理方法，包括獲得超文本傳輸協(xié)議HTTP請(qǐng)求報(bào)文，所述HTTP請(qǐng)求報(bào)文中攜帶有統(tǒng)ー資源定位符 URL ；根據(jù)預(yù)先存儲(chǔ)的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征；若判斷結(jié)果為是，確定所述URL為無(wú)效URL ；若判斷結(jié)果為否，確定所述URL為有效URL。本發(fā)明實(shí)施例提供ー種HTTP訪問(wèn)請(qǐng)求處理裝置，包括獲得單元，用于獲得超文本傳輸協(xié)議HTTP請(qǐng)求報(bào)文，所述HTTP請(qǐng)求報(bào)文中攜帶有統(tǒng)ー資源定位符URL ；
判斷単元，用于根據(jù)預(yù)先存儲(chǔ)的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征；確定單元，用于若所述判斷単元的判斷結(jié)果為是，確定所述URL為無(wú)效URL;若所述判斷單元的判斷結(jié)果為否，確定所述URL為有效URL。本發(fā)明實(shí)施例提供ー種網(wǎng)關(guān)設(shè)備，包括上述HTTP訪問(wèn)請(qǐng)求處理裝置。本發(fā)明實(shí)施例提供的HTTP訪問(wèn)請(qǐng)求處理方法、裝置及網(wǎng)關(guān)設(shè)備，在獲得HTTP請(qǐng)求報(bào)文中攜帶的URL之后，通過(guò)判斷獲得的URL中是否包含非有效URL特征來(lái)確定URL的有效性，確定出URL是否有效之后，后續(xù)在進(jìn)行搜索引擎搜索審計(jì)時(shí)，可以將無(wú)效URL過(guò)濾棹，只需要對(duì)有效URL進(jìn)行審計(jì)，從而，能夠提高審計(jì)效率，節(jié)約設(shè)備處理資源。本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書中闡述，并且，部分地從說(shuō)明書中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在所寫的說(shuō)明 書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。


圖I為本發(fā)明實(shí)施例中，HTTP訪問(wèn)請(qǐng)求處理方法的實(shí)施流程示意圖；圖2為本發(fā)明實(shí)施例中，HTTP訪問(wèn)請(qǐng)求處理方法的完全實(shí)施流程示意圖；圖3為本發(fā)明實(shí)施例中，HTTP訪問(wèn)請(qǐng)求處理裝置的結(jié)構(gòu)示意圖。
具體實(shí)施例方式為了準(zhǔn)確判斷URL的有效性，以提高搜索行為搜索審計(jì)的效率，節(jié)約設(shè)備處理資源，本發(fā)明實(shí)施例提供了ー種HTTP訪問(wèn)請(qǐng)求處理方法、裝置及網(wǎng)關(guān)設(shè)備。以下結(jié)合說(shuō)明書附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說(shuō)明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說(shuō)明和解釋本發(fā)明，并不用于限定本發(fā)明，并且在不沖突的情況下，本發(fā)明中的實(shí)施例及實(shí)施例中的特征可以相互組合。實(shí)施ー如圖I所示，為本發(fā)明實(shí)施例提供的HTTP訪問(wèn)請(qǐng)求處理方法的實(shí)施流程示意圖，包括以下步驟S101、獲得HTTP (超文本傳輸協(xié)議)請(qǐng)求報(bào)文；具體實(shí)施吋，網(wǎng)關(guān)設(shè)備或者上網(wǎng)行為管理設(shè)備窺探并截獲HTTP請(qǐng)求報(bào)文，在HTTP請(qǐng)求報(bào)文中攜帯有URL (統(tǒng)ー資源定位符)；S102、根據(jù)預(yù)先存儲(chǔ)的非有效URL特征列表，判斷獲得的URL中是否包含非有效URL特征，如果是，執(zhí)行步驟S103，否則執(zhí)行步驟S104 ；具體實(shí)施時(shí)，可以通過(guò)收集非有效URL并提取其中的特征，建立非有效URL特征列表，如？ gif, su等。后續(xù)過(guò)程中，可以對(duì)非有效URL特征列表進(jìn)行自動(dòng)更新。S103、確定該URL為無(wú)效URL ；S104、確定該URL為有效URL。具體實(shí)施時(shí)，為了進(jìn)ー步提高審計(jì)效率，在獲得了 HTTP請(qǐng)求報(bào)文之后，執(zhí)行步驟S102之前，可以首先確定提取到的URL是否為搜索引擎對(duì)應(yīng)的URL，具體的，可以預(yù)先收集各主流搜索引擎的HOST域值，并建立HOST域值列表，例如，百度的HOST域值為棚.baidu.com, Google 的 HOST 域值為 www. google, com. hk,雅虎的 HOST 域值為 search, cn. yahoo,com,當(dāng)有新增或者需要修改的HOST域值時(shí)，可以手動(dòng)將新增的HOST域值添加至HOST域值列表中，或者對(duì)已有的表項(xiàng)進(jìn)行修改。當(dāng)確定提取到的URL包含的HOST字段的值存在于預(yù)先存儲(chǔ)的HOST域值列表中吋，則繼續(xù)執(zhí)行步驟S102，否則，結(jié)束流程。實(shí)施例ニ較佳地，由于非有效URL特征列表中收集的非有效URL特征可能并不完備，因此，有可能導(dǎo)致判斷結(jié)果出現(xiàn)錯(cuò)誤。為了進(jìn)一步提高URL有效性判斷的準(zhǔn)確性，本發(fā)明實(shí)施例中對(duì)于根據(jù)非有效URL特征列表判斷為有效URL可以進(jìn)行進(jìn)ー步判斷。具體的，本發(fā)明實(shí)施例中，根據(jù)接收到的該URL對(duì)應(yīng)的HTTP回應(yīng)信息，并通過(guò)對(duì)HTTP回應(yīng)信息包含的某些指定字段進(jìn)行檢測(cè)，若指定字段滿足預(yù)設(shè)條件，才確定該URL為有效URL。其中，指定字段可以但不限于包括Content-Length和Content-Type,當(dāng)指定字段為Content-Length時(shí),預(yù)設(shè)條件可以為Content-Length對(duì)應(yīng)的字段值大于等于預(yù)設(shè)閾值；當(dāng)指定字段為Content-Type時(shí),預(yù)設(shè)條件可以為Content-Type對(duì)應(yīng)的字段值為非指定 值。這是因?yàn)?，如果回?yīng)信息很短(短過(guò)指定的閥值，HTTP回應(yīng)報(bào)文的Content-Length值即為回應(yīng)信息的大小)，則認(rèn)為該URL無(wú)效。因?yàn)槿绻５膾人鳎ǔ６紩?huì)返回ー個(gè)頁(yè)面，如果返回的信息長(zhǎng)度很小，低于ー個(gè)頁(yè)面可能的最小長(zhǎng)度，則可以認(rèn)為該URL無(wú)效；而對(duì)于Content-Type來(lái)說(shuō)，如果HTTP回應(yīng)信息的Content-Type字段為諸如圖片(image/gif等)等信息，則認(rèn)為該回應(yīng)不是ー個(gè)網(wǎng)頁(yè)，則可以認(rèn)為該URL無(wú)效。具體實(shí)施時(shí)，可以根據(jù)實(shí)際需要對(duì)上述兩個(gè)字段進(jìn)行檢測(cè)，當(dāng)然也可以值檢測(cè)其中任ー個(gè)，如果對(duì)兩個(gè)字段均進(jìn)行檢測(cè)時(shí)，本發(fā)明實(shí)施例對(duì)于兩個(gè)字段的檢測(cè)順序不作限定，即既可以先檢測(cè)Content-Length字段,也可以先檢測(cè)Content-Type字段。具體實(shí)施吋，HTTP請(qǐng)求報(bào)文中還攜帶有用戶標(biāo)識(shí)，其中，用戶標(biāo)識(shí)可以但不限于為IP地址，這樣，在完成URL的有效性檢測(cè)之后，可以提取該URL中包含的關(guān)鍵字，將該關(guān)鍵字及其對(duì)應(yīng)的URL添加至該用戶標(biāo)識(shí)對(duì)應(yīng)的關(guān)鍵字列表中，如表I所示，為關(guān)鍵字列表ー種可能的格式表I
權(quán)利要求
1.一種HTTP訪問(wèn)請(qǐng)求處理方法，其特征在于，包括 獲得超文本傳輸協(xié)議HTTP請(qǐng)求報(bào)文，所述HTTP請(qǐng)求報(bào)文中攜帶有統(tǒng)一資源定位符URL ； 根據(jù)預(yù)先存儲(chǔ)的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征； 若判斷結(jié)果為是，確定所述URL為無(wú)效URL ； 若判斷結(jié)果為否，確定所述URL為有效URL。
2.如權(quán)利要求I所述的方法，其特征在于，若判斷結(jié)果為否，在確定所述URL為有效URL之前,還包括 接收所述URL對(duì)應(yīng)的HTTP回應(yīng)信息；并 確定接收到的HTTP回應(yīng)信息中包含的指定字段的字段值滿足預(yù)設(shè)條件。
3.如權(quán)利要求2所述的方法,其特征在于,所述指定字段包括Content-Length和/或Content-Type ;以及 當(dāng)所述指定字段為Content-Length時(shí),所述預(yù)設(shè)條件為Content_Length對(duì)應(yīng)的字段值大于等于預(yù)設(shè)閾值； 當(dāng)所述指定字段包括Content-Type時(shí),所述預(yù)設(shè)條件為Content_Type對(duì)應(yīng)的字段值為非指定值。
4.如權(quán)利要求I所述的方法，其特征在于，在根據(jù)預(yù)先存儲(chǔ)的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征之前，還包括 確定所述URL中包含的HOST字段的值存在于預(yù)先存儲(chǔ)的HOST域值列表中。
5.如權(quán)利要求I所述的方法，其特征在于，所述HTTP請(qǐng)求報(bào)文中還攜帶有用戶標(biāo)識(shí)；以及 所述方法，還包括 根據(jù)預(yù)設(shè)的關(guān)鍵字字段名列表，提取所述URL中包含的關(guān)鍵字； 將所述關(guān)鍵字及其對(duì)應(yīng)的URL添加至所述用戶標(biāo)識(shí)對(duì)應(yīng)的關(guān)鍵字列表中；并 分析所述關(guān)鍵字列表中包含的每一關(guān)鍵字； 針對(duì)包含相同前綴公共子串的關(guān)鍵字，提取各關(guān)鍵字對(duì)應(yīng)的URL包含的共同特征添加至所述URL非有效特征列表中。
6.一種HTTP訪問(wèn)請(qǐng)求處理裝置，其特征在于，包括 獲得單元，用于獲得超文本傳輸協(xié)議HTTP請(qǐng)求報(bào)文，所述HTTP請(qǐng)求報(bào)文中攜帶有統(tǒng)一資源定位符URL ； 判斷單元，用于根據(jù)預(yù)先存儲(chǔ)的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征； 確定單元，用于若所述判斷單元的判斷結(jié)果為是，確定所述URL為無(wú)效URL ;若所述判斷單元的判斷結(jié)果為否，確定所述URL為有效URL。
7.如權(quán)利要求6所述的裝置，其特征在于，還包括接收單元，其中 所述接收單元，用于接收所述URL對(duì)應(yīng)的HTTP回應(yīng)信息； 所述確定單元，還用于若判斷結(jié)果為否，在確定所述URL為有效URL之前，確定接收到的HTTP回應(yīng)信息中包含的指定字段的字段值滿足預(yù)設(shè)條件。
8.如權(quán)利要求6所述的裝置，其特征在于，還包括所述確定單元，還用于在所述判斷單元根據(jù)預(yù)先存儲(chǔ)的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征之前，確定所述URL中包含的HOST字段的值為預(yù)設(shè)值。
9.如權(quán)利要求6所述的裝置，其特征在于，所述HTTP請(qǐng)求報(bào)文中還攜帶有用戶標(biāo)識(shí)；以及 所述裝置，還包括 第一提取單元，用于根據(jù)預(yù)設(shè)的關(guān)鍵字字段名列表，提取所述URL中包含的關(guān)鍵字；第一更新單元，用于在所述確定單元確定所述關(guān)鍵字有效時(shí)，將所述關(guān)鍵字添加至所述用戶標(biāo)識(shí)對(duì)應(yīng)的關(guān)鍵字列表中； 分析單元，用于分析所述關(guān)鍵字列表中包含的每一關(guān)鍵字； 第二提取單元，用于針對(duì)包含相同前綴公共子串的關(guān)鍵字，提取各關(guān)鍵字對(duì)應(yīng)的URL包含的共同特征； 第二更新單元，用于將所述第二提取單元提取到的共同特征添加至所述非有效URL特征列表中。
10.一種網(wǎng)關(guān)設(shè)備，其特征在于，包括權(quán)利要求6、任一權(quán)利要求所述的裝置。
全文摘要
本發(fā)明公開(kāi)了一種HTTP訪問(wèn)請(qǐng)求處理方法、裝置及網(wǎng)關(guān)設(shè)備，用以判斷URL的有效性，達(dá)到提高搜索引擎搜索審計(jì)效率，節(jié)約設(shè)備處理資源的目的，其中，HTTP訪問(wèn)請(qǐng)求處理方法包括獲得HTTP請(qǐng)求報(bào)文，所述HTTP請(qǐng)求報(bào)文中攜帶有URL；根據(jù)預(yù)先存儲(chǔ)的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征；若判斷結(jié)果為是，確定所述URL為無(wú)效URL；若判斷結(jié)果為否，確定所述URL為有效URL。
文檔編號(hào)H04L29/08GK102857572SQ20121034282
公開(kāi)日2013年1月2日 申請(qǐng)日期2012年9月14日 優(yōu)先權(quán)日2012年9月14日
發(fā)明者魏逢一 申請(qǐng)人:北京星網(wǎng)銳捷網(wǎng)絡(luò)技術(shù)有限公司