專利名稱：基于內(nèi)容分發(fā)網(wǎng)絡的網(wǎng)站內(nèi)容智能防抓取方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及互聯(lián)網(wǎng)數(shù)據(jù)安全技術，尤其涉及基于內(nèi)容分發(fā)網(wǎng)絡(⑶N網(wǎng)絡)的網(wǎng)站安全技術，即網(wǎng)站內(nèi)容智能防抓取的方法和系統(tǒng)。
背景技術：
網(wǎng)站內(nèi)容智能防抓取技術的基本思想是，當客戶端對網(wǎng)站發(fā)起內(nèi)容請求時，CDN系統(tǒng)的智能內(nèi)容防抓取模塊開始監(jiān)控客戶端的訪問行為特征，當客戶端訪問行為異常時，CDN系統(tǒng)將根據(jù)智能防抓取模塊給出的判定結果來判斷客戶端屬于正常網(wǎng)友還是抓取機器，并響應相應的內(nèi)容。目前的網(wǎng)站內(nèi)容防抓取的實現(xiàn)方案如圖I所示。源站接收客戶端請求(步驟S10)后，源站的防抓取模塊監(jiān)測客戶端訪問行為(步驟S11)，會根據(jù)所配置的客戶端訪問頻率來判斷客戶端為正常的網(wǎng)友還是惡意抓取機器(步驟S12)。當客戶端訪問頻率超過閾值時，源站認為客戶端是惡意抓取機器，拒絕其請求，返回403響應(步驟S13)。否則，源站認為客戶端是正常的網(wǎng)友，返回其請求的內(nèi)容(步驟S14)。現(xiàn)有的網(wǎng)站內(nèi)容防抓取實現(xiàn)方案存在三個弊端I.根據(jù)客戶端的IP進行判斷，粒度太粗，目前很多企業(yè)對外都只是一個IP或少數(shù)幾個IP出口，容易產(chǎn)生誤判，導致其他的客戶端一直不能訪問網(wǎng)站；2.判斷依據(jù)不夠靈活，只能根據(jù)其訪問頻率來判斷；3.處理方式不夠智能，在判斷為機器后，不能自動解除禁問狀態(tài)。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決上述問題，提供了一種基于內(nèi)容分發(fā)網(wǎng)絡的網(wǎng)站內(nèi)容智能 防抓取方法和系統(tǒng)，能夠減少由于誤判導致的正?？蛻舳藷o法訪問網(wǎng)站，且能自動解除禁問狀態(tài)。本發(fā)明的技術方案為本發(fā)明揭示了一種基于內(nèi)容分發(fā)網(wǎng)絡的網(wǎng)站內(nèi)容智能防抓取方法，包括內(nèi)容分發(fā)網(wǎng)絡系統(tǒng)接收客戶端請求，監(jiān)測客戶端訪問行為；判斷客戶端訪問頻率是否超過預設閾值，若客戶端訪問頻率未超過預設閾值則認為客戶端是正常網(wǎng)站用戶，直接返回客戶端所請求的內(nèi)容，流程結束；若客戶端訪問頻率超過預設閾值則繼續(xù)判斷客戶端本次請求時間是否大于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長；若客戶端本次請求時間大于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長則認為客戶端不在防抓取狀態(tài)內(nèi)，返回客戶端所請求的內(nèi)容，流程結束；若客戶端本次請求時間小于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長則認為客戶端仍在防抓取狀態(tài)內(nèi)，返回客戶端驗證碼頁面；判斷客戶端是否提交了正確的驗證碼，若提交了正確的驗證碼則返回客戶端所請求的內(nèi)容，流程結束；若未提交正確的驗證碼則判斷客戶提交的非法驗證碼的次數(shù)是否超過設定值，若未超過則返回客戶端驗證碼頁面以供客戶端再次輸入驗證碼，若超過則認為客戶端是抓取機器，對其禁止訪問，返回表示服務器拒絕請求的403響應。本發(fā)明另外揭示了一種基于內(nèi)容分發(fā)網(wǎng)絡的網(wǎng)站內(nèi)容智能防抓取系統(tǒng)，包括客戶端訪問行為監(jiān)測模塊，內(nèi)容分發(fā)網(wǎng)絡系統(tǒng)接收客戶端請求,監(jiān)測客戶端訪問行為；客戶端訪問頻率判斷模塊，判斷客戶端訪問頻率是否超過預設閾值，若客戶端訪問頻率未超過預設閾值則認為客戶端是正常網(wǎng)站用戶，直接返回客戶端所請求的內(nèi)容，若客戶端訪問頻率超過預設閾值則繼續(xù)啟動后一模塊； 客戶端請求時間判斷模塊，判斷客戶端本次請求時間是否大于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長，若客戶端本次請求時間大于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長則返回客戶端所請求的內(nèi)容，若客戶端本次請求時間小于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長則啟動后一模塊；客戶端驗證模塊，提供一客戶端驗證碼頁面，判斷客戶端是否提交了正確的驗證碼，若提交了正確的驗證碼則返回客戶端所請求的內(nèi)容，若未提交正確的驗證碼則判斷客戶提交的非法驗證碼的次數(shù)是否超過設定值，若未超過則返回客戶端驗證碼頁面以供客戶端再次輸入驗證碼，若超過則認為客戶端是抓取機器，對其禁止訪問，返回表示服務器拒絕請求的403響應。本發(fā)明對比現(xiàn)有技術有如下的有益效果本發(fā)明的方案是當客戶端向網(wǎng)站發(fā)起訪問請求時，監(jiān)控客戶端的訪問行為，當客戶端的訪問頻率超過預設閾值，且本次請求的時間小于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長時，則認為該客戶端有可能是抓取機器，因此對該客戶端的每次訪問都返回驗證碼頁面，在驗證碼頁面中，如果客戶端提交的驗證碼是正確的，則認為該客戶端是正常用戶，如果客戶端提交非法驗證碼的次數(shù)超過閾值，則認為該客戶端是抓取機器，對客戶端禁止訪問，即讓CDN系統(tǒng)返回403響應，而提交非法驗證碼的次數(shù)未超過閾值時，系統(tǒng)會重新返回驗證碼頁面進一步判斷是不是抓取機器。相較于現(xiàn)有技術，本發(fā)明的方案增加了判斷依據(jù)，提高了判斷精度，減少誤判現(xiàn)象的發(fā)生，而且提高了處理方式的智能化，在判斷出客戶端是抓取機器之后能自動解除禁問狀態(tài)。


圖I示出了傳統(tǒng)的網(wǎng)站內(nèi)容防抓取方法的流程圖。圖2示出了本發(fā)明的基于內(nèi)容分發(fā)網(wǎng)絡的網(wǎng)站內(nèi)容智能防抓取方法的較佳實施例的流程圖。圖3示出了本發(fā)明的基于內(nèi)容分發(fā)網(wǎng)絡的網(wǎng)站內(nèi)容智能防抓取系統(tǒng)的較佳實施例的原理圖。
具體實施例方式下面結合附圖和實施例對本發(fā)明作進一步的描述。圖2示出了本發(fā)明的基于內(nèi)容分發(fā)網(wǎng)絡的網(wǎng)站內(nèi)容智能防抓取方法的較佳實施例的流程。請參見圖2，本實施例的網(wǎng)站內(nèi)容智能防抓取方法的各個實施步驟詳述如下。步驟S20 :內(nèi)容分發(fā)網(wǎng)絡接收客戶端請求。步驟S21 :監(jiān)測客戶端訪問行為。步驟S22 :判斷客戶端訪問頻率是否超過預設閾值，若超過則進入步驟S23，否則轉入步驟S28。步驟S23 :判斷客戶端本次請求時間是否大于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長。若大于則轉入步驟S28，否則轉入步驟S24。步驟S24 ADN系統(tǒng)返回客戶端驗證碼頁面，供用戶輸入驗證碼。 步驟S25 :判斷客戶端是否提交正確的驗證碼，若提交了正確的驗證碼則轉入步驟S28，否則轉入步驟S26。步驟S26 :判斷客戶端提交的非法驗證碼的次數(shù)是否超過閾值，若超過則進入步驟S27，否則返回步驟S24重新判斷是否是抓取機器。步驟S27 =CDN系統(tǒng)認為客戶端是抓取機器，禁止該客戶端的抓取，返回表示服務器拒絕請求的403響應。步驟S28 =CDN系統(tǒng)認為客戶端是正常訪問，響應所請求的正確響應內(nèi)容。圖3示出了本發(fā)明的基于內(nèi)容分發(fā)網(wǎng)絡的網(wǎng)站內(nèi)容智能防抓取系統(tǒng)的較佳實施例的原理。請參見圖3，本實施例的網(wǎng)站內(nèi)容智能防抓取系統(tǒng)包括客戶端訪問行為監(jiān)測模塊10、客戶端訪問頻率判斷模塊11、客戶端請求時間判斷模塊12、客戶端驗證模塊13?？蛻舳嗽L問行為監(jiān)測模塊10中，內(nèi)容分發(fā)網(wǎng)絡系統(tǒng)接收客戶端請求，監(jiān)測客戶端訪問行為。客戶端訪問頻率判斷模塊11中，判斷客戶端訪問頻率是否超過預設閾值，若客戶端訪問頻率未超過預設閾值則認為客戶端是正常網(wǎng)站用戶，直接返回客戶端所請求的內(nèi)容，若客戶端訪問頻率超過預設閾值則繼續(xù)啟動客戶端請求時間判斷模塊12?？蛻舳苏埱髸r間判斷模塊12中，判斷客戶端本次請求時間是否大于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長，若客戶端本次請求時間大于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長則返回客戶端所請求的內(nèi)容，若客戶端本次請求時間小于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長則啟動客戶端驗證模塊13?？蛻舳蓑炞C模塊13中，提供一客戶端驗證碼頁面，判斷客戶端是否提交了正確的驗證碼，若提交了正確的驗證碼則返回客戶端所請求的內(nèi)容，若未提交正確的驗證碼則判斷客戶提交的非法驗證碼的次數(shù)是否超過設定值，若未超過則返回客戶端驗證碼頁面以供客戶端再次輸入驗證碼，若超過則認為客戶端是抓取機器，對其禁止訪問，返回表示服務器拒絕請求的403響應。上述實施例是提供給本領域普通技術人員來實現(xiàn)和使用本發(fā)明的，本領域普通技術人員可在不脫離本發(fā)明的發(fā)明思想的情況下，對上述實施例做出種種修改或變化，因而本發(fā)明的保護范圍并不被上述實施例所限，而應該是符合權利要求書所提到的創(chuàng)新性特征的最大范圍。
權利要求
1.一種基于內(nèi)容分發(fā)網(wǎng)絡的網(wǎng)站內(nèi)容智能防抓取方法，包括 內(nèi)容分發(fā)網(wǎng)絡系統(tǒng)接收客戶端請求，監(jiān)測客戶端訪問行為； 判斷客戶端訪問頻率是否超過預設閾值，若客戶端訪問頻率未超過預設閾值則認為客戶端是正常網(wǎng)站用戶，直接返回客戶端所請求的內(nèi)容，流程結束； 若客戶端訪問頻率超過預設閾值則繼續(xù)判斷客戶端本次請求時間是否大于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長； 若客戶端本次請求時間大于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長則認為客戶端不在防抓取狀態(tài)內(nèi)，返回客戶端所請求的內(nèi)容，流程結束； 若客戶端本次請求時間小于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長則認為客戶端仍在防抓取狀態(tài)內(nèi)，返回客戶端驗證碼頁面； 判斷客戶端是否提交了正確的驗證碼，若提交了正確的驗證碼則返回客戶端所請求的內(nèi)容，流程結束； 若未提交正確的驗證碼則判斷客戶提交的非法驗證碼的次數(shù)是否超過設定值，若未超過則返回客戶端驗證碼頁面以供客戶端再次輸入驗證碼，若超過則認為客戶端是抓取機器，對其禁止訪問，返回表示服務器拒絕請求的403響應。
2.一種基于內(nèi)容分發(fā)網(wǎng)絡的網(wǎng)站內(nèi)容智能防抓取系統(tǒng)，包括 客戶端訪問行為監(jiān)測模塊，內(nèi)容分發(fā)網(wǎng)絡系統(tǒng)接收客戶端請求,監(jiān)測客戶端訪問行為； 客戶端訪問頻率判斷模塊，判斷客戶端訪問頻率是否超過預設閾值，若客戶端訪問頻率未超過預設閾值則認為客戶端是正常網(wǎng)站用戶，直接返回客戶端所請求的內(nèi)容，若客戶端訪問頻率超過預設閾值則繼續(xù)啟動后一模塊； 客戶端請求時間判斷模塊，判斷客戶端本次請求時間是否大于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長，若客戶端本次請求時間大于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長則返回客戶端所請求的內(nèi)容，若客戶端本次請求時間小于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長則啟動后一模塊； 客戶端驗證模塊，提供一客戶端驗證碼頁面，判斷客戶端是否提交了正確的驗證碼，若提交了正確的驗證碼則返回客戶端所請求的內(nèi)容，若未提交正確的驗證碼則判斷客戶提交的非法驗證碼的次數(shù)是否超過設定值，若未超過則返回客戶端驗證碼頁面以供客戶端再次輸入驗證碼，若超過則認為客戶端是抓取機器，對其禁止訪問，返回表示服務器拒絕請求的·403響應。
全文摘要
本發(fā)明公開了基于內(nèi)容分發(fā)網(wǎng)絡的網(wǎng)站內(nèi)容智能防抓取方法和系統(tǒng)，能夠減少由于誤判導致的正常客戶端無法訪問網(wǎng)站，且能自動解除禁問狀態(tài)。其技術方案為內(nèi)容分發(fā)網(wǎng)絡系統(tǒng)接收客戶端請求，監(jiān)測客戶端訪問行為；判斷客戶端訪問頻率是否超過預設閾值，若未超過則直接返回所請求的內(nèi)容；否則繼續(xù)判斷客戶端本次請求時間是否大于上次超過訪問頻率的時間加上預設的防抓取狀態(tài)時長；若大于則返回所請求的內(nèi)容；否則返回客戶端驗證碼頁面；判斷客戶端是否提交了正確的驗證碼，若是則返回所請求的內(nèi)容；否則判斷客戶提交的非法驗證碼次數(shù)是否超過設定值，若未超過則返回客戶端驗證碼頁面，否則認為客戶端是抓取機器，對其禁止訪問，返回403響應。
文檔編號G06F17/30GK102970296SQ20121048046
公開日2013年3月13日 申請日期2012年11月22日 優(yōu)先權日2012年11月22日
發(fā)明者洪珂, 郭文強, 張穎 申請人:網(wǎng)宿科技股份有限公司