1.一種網(wǎng)絡(luò)訪問請(qǐng)求控制方法，其特征在于，包括：
對(duì)網(wǎng)站接收的網(wǎng)絡(luò)訪問請(qǐng)求進(jìn)行識(shí)別，獲得所述網(wǎng)絡(luò)訪問請(qǐng)求所屬的類別；
根據(jù)所述網(wǎng)絡(luò)訪問請(qǐng)求所屬的類別對(duì)所述網(wǎng)絡(luò)訪問請(qǐng)求進(jìn)行控制。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述網(wǎng)絡(luò)訪問請(qǐng)求所屬的類別包括：用戶訪問請(qǐng)求；所述根據(jù)所述網(wǎng)絡(luò)訪問請(qǐng)求所屬的類別對(duì)所述網(wǎng)絡(luò)訪問請(qǐng)求進(jìn)行控制包括：
對(duì)所述網(wǎng)站接收的用戶訪問請(qǐng)求進(jìn)行域名解析，根據(jù)域名系統(tǒng)DNS層的限流策略返回服務(wù)集群的入口因特網(wǎng)協(xié)議IP地址；
將所述用戶訪問請(qǐng)求發(fā)送到所述入口IP地址對(duì)應(yīng)的服務(wù)集群的網(wǎng)頁(yè)服務(wù)器層；
如果所述用戶訪問請(qǐng)求未觸發(fā)網(wǎng)頁(yè)服務(wù)器層的限流策略，并且未觸發(fā)頁(yè)面應(yīng)用層的限流策略，并且所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯不依賴其他服務(wù)，則繼續(xù)執(zhí)行頁(yè)面業(yè)務(wù)邏輯，返回所述用戶訪問請(qǐng)求所請(qǐng)求的頁(yè)面。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)域名系統(tǒng)DNS層的限流策略返回服務(wù)集群的入口因特網(wǎng)協(xié)議IP地址包括：
如果達(dá)到默認(rèn)服務(wù)集群的限流閾值，則根據(jù)優(yōu)先級(jí)返回除所述默認(rèn)服務(wù)集群之外的其他服務(wù)集群的入口IP地址；如果未達(dá)到默認(rèn)服務(wù)集群的限流閾值，則返回所述默認(rèn)服務(wù)集群的入口IP地址。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述用戶訪問請(qǐng)求發(fā)送到所述入口IP地址對(duì)應(yīng)的服務(wù)集群的網(wǎng)頁(yè)服務(wù)器層之后，還包括：
如果所述用戶訪問請(qǐng)求觸發(fā)了網(wǎng)頁(yè)服務(wù)器層的限流策略，或者所述用戶訪問請(qǐng)求未觸發(fā)網(wǎng)頁(yè)服務(wù)器層的限流策略，但觸發(fā)了頁(yè)面應(yīng)用層的限流策略，則拒絕執(zhí)行所述用戶訪問請(qǐng)求，并提示已對(duì)所述用戶訪問請(qǐng)求進(jìn)行限流。
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述用戶訪問請(qǐng)求發(fā)送到所述入口IP地址對(duì)應(yīng)的服務(wù)集群的網(wǎng)頁(yè)服務(wù)器層之后，所述繼續(xù)執(zhí)行頁(yè)面業(yè)務(wù)邏輯，返回所述用戶訪問請(qǐng)求所請(qǐng)求的頁(yè)面之前，還包括：
如果所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯依賴其他服務(wù)，則依次驗(yàn)證所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的調(diào)用是否滿足降級(jí)策略；
如果是，則對(duì)滿足降級(jí)策略的服務(wù)進(jìn)行降級(jí)，并且當(dāng)降級(jí)的服務(wù)調(diào)用實(shí)現(xiàn)的是優(yōu)先級(jí)不高于預(yù)定閾值的業(yè)務(wù)邏輯時(shí)，直接完成所述降級(jí)的服務(wù)的調(diào)用；當(dāng)所述降級(jí)的服務(wù)調(diào)用 實(shí)現(xiàn)的是優(yōu)先級(jí)高于預(yù)定閾值的業(yè)務(wù)邏輯時(shí)，對(duì)所述降級(jí)的服務(wù)的調(diào)用執(zhí)行限流回退邏輯，完成所述降級(jí)的服務(wù)的調(diào)用。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述依次驗(yàn)證所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的調(diào)用是否滿足降級(jí)策略之后，還包括：
如果所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的調(diào)用不滿足降級(jí)策略，則判斷所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的調(diào)用是否觸發(fā)服務(wù)應(yīng)用層的限流策略；
如果是，則執(zhí)行所述限流策略，對(duì)所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的調(diào)用進(jìn)行限制；
如果所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的調(diào)用未觸發(fā)服務(wù)應(yīng)用層的限流策略，則執(zhí)行所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的內(nèi)部邏輯。
7.根據(jù)權(quán)利要求2-6任意一項(xiàng)所述的方法，其特征在于，所述網(wǎng)絡(luò)訪問請(qǐng)求所屬的類別包括：爬蟲訪問請(qǐng)求；所述根據(jù)所述網(wǎng)絡(luò)訪問請(qǐng)求所屬的類別對(duì)所述網(wǎng)絡(luò)訪問請(qǐng)求進(jìn)行控制包括：
判斷爬蟲是否遵守網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議；
如果否，則接收所述爬蟲發(fā)送的爬蟲訪問請(qǐng)求；
對(duì)所述爬蟲訪問請(qǐng)求進(jìn)行域名解析，根據(jù)DNS層的限流策略返回服務(wù)集群的入口IP地址；
將所述爬蟲訪問請(qǐng)求發(fā)送到所述入口IP地址對(duì)應(yīng)的服務(wù)集群的網(wǎng)頁(yè)服務(wù)器層；
判斷所述爬蟲訪問請(qǐng)求是否觸發(fā)網(wǎng)頁(yè)服務(wù)器網(wǎng)絡(luò)層的網(wǎng)絡(luò)爬蟲限流策略；
如果否，則獲取所述爬蟲訪問請(qǐng)求的用戶代理信息，根據(jù)所述用戶代理信息判斷所述爬蟲訪問請(qǐng)求是否觸發(fā)網(wǎng)頁(yè)服務(wù)器應(yīng)用層的限流策略；
如果否，則繼續(xù)對(duì)所述爬蟲訪問請(qǐng)求執(zhí)行與所述用戶訪問請(qǐng)求相同的限流策略。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述判斷爬蟲是否遵守網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議之后，還包括：
如果爬蟲遵守網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議，則接收所述爬蟲發(fā)起的文件獲取請(qǐng)求；
判斷網(wǎng)頁(yè)服務(wù)器層是否存在需動(dòng)態(tài)配置的網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議文本文件；如果存在，則向所述爬蟲返回根據(jù)動(dòng)態(tài)配置生成的網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議文本文件；如果不存在，則向所述爬蟲返回默認(rèn)的網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議文本文件；
接收所述爬蟲根據(jù)所述網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議文本文件發(fā)送的爬蟲訪問請(qǐng)求。
9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述判斷所述爬蟲訪問請(qǐng)求是否觸發(fā)網(wǎng)頁(yè)服務(wù)器網(wǎng)絡(luò)層的網(wǎng)絡(luò)爬蟲限流策略之后，還包括：
如果所述爬蟲訪問請(qǐng)求觸發(fā)網(wǎng)頁(yè)服務(wù)器網(wǎng)絡(luò)層的網(wǎng)絡(luò)爬蟲限流策略，則拒絕執(zhí)行所述爬蟲訪問請(qǐng)求，并提示已對(duì)所述爬蟲訪問請(qǐng)求進(jìn)行限流。
10.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述根據(jù)所述用戶代理信息判斷所述爬蟲訪問請(qǐng)求是否觸發(fā)網(wǎng)頁(yè)服務(wù)器應(yīng)用層的限流策略之后，還包括：
如果所述爬蟲訪問請(qǐng)求觸發(fā)網(wǎng)頁(yè)服務(wù)器應(yīng)用層的限流策略，則拒絕執(zhí)行所述爬蟲訪問請(qǐng)求，并提示已對(duì)所述爬蟲訪問請(qǐng)求進(jìn)行限流。
11.根據(jù)權(quán)利要求2-6任意一項(xiàng)所述的方法，其特征在于，所述網(wǎng)絡(luò)訪問請(qǐng)求所屬的類別包括：無效訪問請(qǐng)求；所述根據(jù)所述網(wǎng)絡(luò)訪問請(qǐng)求所屬的類別對(duì)所述網(wǎng)絡(luò)訪問請(qǐng)求進(jìn)行控制包括：
對(duì)所述網(wǎng)站接收的訪問請(qǐng)求進(jìn)行域名解析，根據(jù)DNS層的限流策略返回服務(wù)集群的入口IP地址；
將所述訪問請(qǐng)求發(fā)送到所述入口IP地址對(duì)應(yīng)的服務(wù)集群的網(wǎng)頁(yè)服務(wù)器層，以使所述網(wǎng)頁(yè)服務(wù)器層獲取最新的無效訪問請(qǐng)求列表；
判斷所述訪問請(qǐng)求是否存在所述無效訪問請(qǐng)求列表中；
如果是，則停止對(duì)所述訪問請(qǐng)求的處理。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述判斷所述訪問請(qǐng)求是否存在所述無效訪問請(qǐng)求列表中之后，還包括：
如果所述訪問請(qǐng)求不存在于所述無效訪問請(qǐng)求列表中，則在頁(yè)面應(yīng)用層對(duì)所述訪問請(qǐng)求進(jìn)行處理之前，識(shí)別所述訪問請(qǐng)求所屬的網(wǎng)絡(luò)訪問請(qǐng)求是否為無效訪問請(qǐng)求；
如果是，則停止對(duì)所述訪問請(qǐng)求的處理；
如果所述訪問請(qǐng)求所屬的網(wǎng)絡(luò)訪問請(qǐng)求不是無效訪問請(qǐng)求，則確定所述訪問請(qǐng)求所屬的網(wǎng)絡(luò)訪問請(qǐng)求為用戶訪問請(qǐng)求，執(zhí)行與所述用戶訪問請(qǐng)求相同的限流策略。
13.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述網(wǎng)絡(luò)訪問請(qǐng)求所屬的類別對(duì)所述網(wǎng)絡(luò)訪問請(qǐng)求進(jìn)行控制之前，還包括：
獲取服務(wù)集群當(dāng)前的整體訪問請(qǐng)求；
判斷所述整體訪問請(qǐng)求是否大于集群穩(wěn)定性閾值；
如果否，則完成對(duì)限流策略的調(diào)整。
14.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述判斷所述整體訪問請(qǐng)求是否大于集群穩(wěn)定性閾值之后，還包括：
如果所述整體訪問請(qǐng)求大于集群穩(wěn)定性閾值，則判斷是否可以將所述服務(wù)集群的網(wǎng)絡(luò)訪問請(qǐng)求跳轉(zhuǎn)到除所述服務(wù)集群之外的其他服務(wù)集群；
如果是，則根據(jù)優(yōu)先級(jí)將所述服務(wù)集群的網(wǎng)絡(luò)訪問請(qǐng)求跳轉(zhuǎn)到其他服務(wù)集群，并再次執(zhí)行所述獲取服務(wù)集群當(dāng)前的整體訪問請(qǐng)求的步驟及其后續(xù)步驟。
15.根據(jù)權(quán)利要求14所述的方法，其特征在于，所述判斷是否可以將所述服務(wù)集群的網(wǎng)絡(luò)訪問請(qǐng)求跳轉(zhuǎn)到除所述服務(wù)集群之外的其他服務(wù)集群之后，還包括：
如果否，則判斷是否可以對(duì)所述服務(wù)集群進(jìn)行物理層擴(kuò)容；
如果是，則對(duì)所述服務(wù)集群進(jìn)行物理層擴(kuò)容，并更新集群穩(wěn)定性閾值，并再次執(zhí)行所述獲取服務(wù)集群當(dāng)前的整體訪問請(qǐng)求的步驟及其后續(xù)步驟。
16.根據(jù)權(quán)利要求15所述的方法，其特征在于，所述判斷是否可以對(duì)所述服務(wù)集群進(jìn)行物理層擴(kuò)容之后，還包括：
如果否，則判斷是否可以進(jìn)行爬蟲訪問請(qǐng)求限制；
如果是，則根據(jù)爬蟲優(yōu)先級(jí)對(duì)爬蟲訪問請(qǐng)求進(jìn)行限制，并再次執(zhí)行所述獲取服務(wù)集群當(dāng)前的整體訪問請(qǐng)求的步驟及其后續(xù)步驟。
17.根據(jù)權(quán)利要求16所述的方法，其特征在于，所述判斷是否可以進(jìn)行爬蟲限流之后，還包括：
如果否，則判斷是否可以進(jìn)行用戶訪問請(qǐng)求限制；
如果是，則根據(jù)業(yè)務(wù)優(yōu)先級(jí)對(duì)用戶訪問請(qǐng)求進(jìn)行限制，并再次執(zhí)行所述獲取服務(wù)集群當(dāng)前的整體訪問請(qǐng)求的步驟及其后續(xù)步驟。
18.一種網(wǎng)絡(luò)訪問請(qǐng)求控制裝置，其特征在于，包括：
識(shí)別模塊，用于對(duì)網(wǎng)站接收的網(wǎng)絡(luò)訪問請(qǐng)求進(jìn)行識(shí)別，獲得所述網(wǎng)絡(luò)訪問請(qǐng)求所屬的類別；
控制模塊，用于根據(jù)所述識(shí)別模塊獲得的所述網(wǎng)絡(luò)訪問請(qǐng)求所屬的類別對(duì)所述網(wǎng)絡(luò)訪問請(qǐng)求進(jìn)行控制。
19.根據(jù)權(quán)利要求18所述的裝置，其特征在于，所述識(shí)別模塊獲得的所述網(wǎng)絡(luò)訪問請(qǐng)求所屬的類別包括：用戶訪問請(qǐng)求；所述控制模塊包括：
解析子模塊，用于對(duì)所述網(wǎng)站接收的用戶訪問請(qǐng)求進(jìn)行域名解析，根據(jù)域名系統(tǒng)DNS層的限流策略返回服務(wù)集群的入口因特網(wǎng)協(xié)議IP地址；
發(fā)送子模塊，用于將所述用戶訪問請(qǐng)求發(fā)送到所述入口IP地址對(duì)應(yīng)的服務(wù)集群的網(wǎng)頁(yè)服務(wù)器層；
執(zhí)行子模塊，用于當(dāng)所述用戶訪問請(qǐng)求未觸發(fā)網(wǎng)頁(yè)服務(wù)器層的限流策略，并且未觸發(fā)頁(yè)面應(yīng)用層的限流策略，并且所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯不依賴其他服務(wù)時(shí)，繼續(xù)執(zhí)行頁(yè)面業(yè)務(wù)邏輯，返回所述用戶訪問請(qǐng)求所請(qǐng)求的頁(yè)面。
20.根據(jù)權(quán)利要求19所述的裝置，其特征在于，
所述解析子模塊，具體用于當(dāng)達(dá)到默認(rèn)服務(wù)集群的限流閾值時(shí)，根據(jù)優(yōu)先級(jí)返回除所述默認(rèn)服務(wù)集群之外的其他服務(wù)集群的入口IP地址；當(dāng)未達(dá)到默認(rèn)服務(wù)集群的限流閾值時(shí)，返回上述默認(rèn)服務(wù)集群的入口IP地址。
21.根據(jù)權(quán)利要求19所述的裝置，其特征在于，所述控制模塊還包括：
限流子模塊，用于在所述發(fā)送子模塊將所述用戶訪問請(qǐng)求發(fā)送到所述入口IP地址對(duì)應(yīng)的服務(wù)集群的網(wǎng)頁(yè)服務(wù)器層之后，如果所述用戶訪問請(qǐng)求觸發(fā)了網(wǎng)頁(yè)服務(wù)器層的限流策略，或者所述用戶訪問請(qǐng)求未觸發(fā)網(wǎng)頁(yè)服務(wù)器層的限流策略，但觸發(fā)了頁(yè)面應(yīng)用層的限流策略，則拒絕執(zhí)行所述用戶訪問請(qǐng)求，并提示已對(duì)所述用戶訪問請(qǐng)求進(jìn)行限流。
22.根據(jù)權(quán)利要求19所述的裝置，其特征在于，所述控制模塊還包括：
驗(yàn)證子模塊，用于當(dāng)所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯依賴其他服務(wù)時(shí)，依次驗(yàn)證所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的調(diào)用是否滿足降級(jí)策略；
降級(jí)子模塊，用于當(dāng)所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的調(diào)用滿足降級(jí)策略時(shí)，對(duì)滿足降級(jí)策略的服務(wù)進(jìn)行降級(jí)；
調(diào)用子模塊，用于當(dāng)降級(jí)的服務(wù)調(diào)用實(shí)現(xiàn)的是優(yōu)先級(jí)不高于預(yù)定閾值的業(yè)務(wù)邏輯時(shí)，直接完成所述降級(jí)的服務(wù)的調(diào)用；當(dāng)所述降級(jí)的服務(wù)調(diào)用實(shí)現(xiàn)的是優(yōu)先級(jí)高于預(yù)定閾值的業(yè)務(wù)邏輯時(shí)，對(duì)所述降級(jí)的服務(wù)的調(diào)用執(zhí)行限流回退邏輯，完成所述降級(jí)的服務(wù)的調(diào)用。
23.根據(jù)權(quán)利要求22所述的裝置，其特征在于，所述控制模塊還包括：
判斷子模塊，用于當(dāng)所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的調(diào)用不滿足降級(jí)策略時(shí)，判斷所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的調(diào)用是否觸發(fā)服務(wù)應(yīng)用層的限流策略；
限流子模塊，用于當(dāng)所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的調(diào)用觸發(fā)服務(wù)應(yīng)用層的限流策略時(shí)，執(zhí)行所述限流策略，對(duì)所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的調(diào)用進(jìn)行限制；
執(zhí)行子模塊，用于當(dāng)所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的調(diào)用未觸發(fā)服務(wù)應(yīng)用層的限流策略時(shí)，執(zhí)行所述用戶訪問請(qǐng)求的內(nèi)部業(yè)務(wù)邏輯所依賴的服務(wù)的內(nèi)部邏輯。
24.根據(jù)權(quán)利要求19-23任意一項(xiàng)所述的裝置，其特征在于，所述識(shí)別模塊獲得的網(wǎng)絡(luò)訪問請(qǐng)求所屬的類別包括：爬蟲訪問請(qǐng)求；
所述控制模塊包括：
判斷子模塊，用于判斷爬蟲是否遵守網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議；
接收子模塊，用于當(dāng)所述判斷子模塊確定爬蟲不遵守網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議時(shí)，接收 所述爬蟲發(fā)送的爬蟲訪問請(qǐng)求；
所述解析子模塊，還用于對(duì)所述爬蟲訪問請(qǐng)求進(jìn)行域名解析，根據(jù)DNS層的限流策略返回服務(wù)集群的入口IP地址；
所述發(fā)送子模塊，還用于將所述爬蟲訪問請(qǐng)求發(fā)送到所述入口IP地址對(duì)應(yīng)的服務(wù)集群的網(wǎng)頁(yè)服務(wù)器層；
所述判斷子模塊，還用于判斷所述爬蟲訪問請(qǐng)求是否觸發(fā)網(wǎng)頁(yè)服務(wù)器網(wǎng)絡(luò)層的網(wǎng)絡(luò)爬蟲限流策略；
獲取子模塊，用于當(dāng)所述判斷子模塊確定所述爬蟲訪問請(qǐng)求未觸發(fā)網(wǎng)頁(yè)服務(wù)器網(wǎng)絡(luò)層的網(wǎng)絡(luò)爬蟲限流策略時(shí)，獲取所述爬蟲訪問請(qǐng)求的用戶代理信息；
所述判斷子模塊，還用于根據(jù)所述獲取子模塊獲取的用戶代理信息判斷所述爬蟲訪問請(qǐng)求是否觸發(fā)網(wǎng)頁(yè)服務(wù)器應(yīng)用層的限流策略；
限流子模塊，用于當(dāng)所述判斷子模塊確定所述爬蟲訪問請(qǐng)求未觸發(fā)網(wǎng)頁(yè)服務(wù)器應(yīng)用層的限流策略時(shí)，繼續(xù)對(duì)所述爬蟲訪問請(qǐng)求執(zhí)行與所述用戶訪問請(qǐng)求相同的限流策略。
25.根據(jù)權(quán)利要求24所述的裝置，其特征在于，
所述接收子模塊，還用于當(dāng)爬蟲遵守網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議時(shí)，接收所述爬蟲發(fā)起的文件獲取請(qǐng)求；
所述判斷子模塊，還用于判斷網(wǎng)頁(yè)服務(wù)器層是否存在需動(dòng)態(tài)配置的網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議文本文件；
所述發(fā)送子模塊，還用于當(dāng)所述判斷子模塊確定網(wǎng)頁(yè)服務(wù)器層存在需動(dòng)態(tài)配置的網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議文本文件時(shí)，向所述爬蟲返回根據(jù)動(dòng)態(tài)配置生成的網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議文本文件；當(dāng)所述判斷子模塊確定網(wǎng)頁(yè)服務(wù)器層不存在需動(dòng)態(tài)配置的網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議文本文件時(shí)，向所述爬蟲返回默認(rèn)的網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議文本文件；
所述接收子模塊，還用于接收所述爬蟲根據(jù)所述網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)協(xié)議文本文件發(fā)送的爬蟲訪問請(qǐng)求。
26.根據(jù)權(quán)利要求24所述的裝置，其特征在于，
所述限流子模塊，還用于當(dāng)所述爬蟲訪問請(qǐng)求觸發(fā)網(wǎng)頁(yè)服務(wù)器網(wǎng)絡(luò)層的網(wǎng)絡(luò)爬蟲限流策略時(shí)，拒絕執(zhí)行所述爬蟲訪問請(qǐng)求，并提示已對(duì)所述爬蟲訪問請(qǐng)求進(jìn)行限流。
27.根據(jù)權(quán)利要求24所述的裝置，其特征在于，
所述限流子模塊，還用于當(dāng)所述爬蟲訪問請(qǐng)求觸發(fā)網(wǎng)頁(yè)服務(wù)器應(yīng)用層的限流策略時(shí)，拒絕執(zhí)行所述爬蟲訪問請(qǐng)求，并提示已對(duì)所述爬蟲訪問請(qǐng)求進(jìn)行限流。
28.根據(jù)權(quán)利要求19-23任意一項(xiàng)所述的裝置，其特征在于，所述識(shí)別模塊獲得的網(wǎng) 絡(luò)訪問請(qǐng)求所屬的類別包括：無效訪問請(qǐng)求；
所述解析子模塊，還用于對(duì)所述網(wǎng)站接收的訪問請(qǐng)求進(jìn)行域名解析，根據(jù)DNS層的限流策略返回服務(wù)集群的入口IP地址；
所述發(fā)送子模塊，還用于將所述訪問請(qǐng)求發(fā)送到所述入口IP地址對(duì)應(yīng)的服務(wù)集群的網(wǎng)頁(yè)服務(wù)器層，以使所述網(wǎng)頁(yè)服務(wù)器層獲取最新的無效訪問請(qǐng)求列表；
所述控制模塊還包括：
判斷子模塊，用于判斷所述訪問請(qǐng)求是否存在所述無效訪問請(qǐng)求列表中；
限流子模塊，用于當(dāng)所述判斷子模塊確定所述訪問請(qǐng)求存在所述無效訪問請(qǐng)求列表中時(shí)，停止對(duì)所述訪問請(qǐng)求的處理。
29.根據(jù)權(quán)利要求28所述的裝置，其特征在于，
所述識(shí)別模塊，還用于當(dāng)所述判斷子模塊確定所述訪問請(qǐng)求不存在于所述無效訪問請(qǐng)求列表中時(shí)，在頁(yè)面應(yīng)用層對(duì)所述訪問請(qǐng)求進(jìn)行處理之前，識(shí)別所述訪問請(qǐng)求所屬的網(wǎng)絡(luò)訪問請(qǐng)求是否為無效訪問請(qǐng)求；
所述限流子模塊，還用于當(dāng)所述識(shí)別模塊識(shí)別所述訪問請(qǐng)求所屬的網(wǎng)絡(luò)訪問請(qǐng)求為無效訪問請(qǐng)求時(shí)，停止對(duì)所述訪問請(qǐng)求的處理；以及當(dāng)所述識(shí)別模塊識(shí)別所述訪問請(qǐng)求所屬的網(wǎng)絡(luò)訪問請(qǐng)求不是無效訪問請(qǐng)求時(shí)，確定所述訪問請(qǐng)求所屬的網(wǎng)絡(luò)訪問請(qǐng)求為用戶訪問請(qǐng)求，執(zhí)行與所述用戶訪問請(qǐng)求相同的限流策略。
30.根據(jù)權(quán)利要求18所述的裝置，其特征在于，還包括：
獲取模塊，用于獲取服務(wù)集群當(dāng)前的整體訪問請(qǐng)求；
判斷模塊，用于判斷所述獲取模塊獲取的整體訪問請(qǐng)求是否大于集群穩(wěn)定性閾值；
調(diào)整模塊，用于當(dāng)所述獲取模塊獲取的整體訪問請(qǐng)求不大于集群穩(wěn)定性閾值時(shí)，完成對(duì)限流策略的調(diào)整。
31.根據(jù)權(quán)利要求30所述的裝置，其特征在于，還包括：跳轉(zhuǎn)模塊；
所述判斷模塊，還用于當(dāng)所述獲取模塊獲取的整體訪問請(qǐng)求大于集群穩(wěn)定性閾值時(shí)，判斷是否可以將所述服務(wù)集群的網(wǎng)絡(luò)訪問請(qǐng)求跳轉(zhuǎn)到除所述服務(wù)集群之外的其他服務(wù)集群；
所述跳轉(zhuǎn)模塊，用于當(dāng)所述判斷模塊確定可以將所述服務(wù)集群的網(wǎng)絡(luò)訪問請(qǐng)求跳轉(zhuǎn)到除所述服務(wù)集群之外的其他服務(wù)集群時(shí)，根據(jù)優(yōu)先級(jí)將所述服務(wù)集群的網(wǎng)絡(luò)訪問請(qǐng)求跳轉(zhuǎn)到其他服務(wù)集群。
32.根據(jù)權(quán)利要求31所述的裝置，其特征在于，還包括：擴(kuò)容模塊；
所述判斷模塊，還用于當(dāng)確定不可以將所述服務(wù)集群的網(wǎng)絡(luò)訪問請(qǐng)求跳轉(zhuǎn)到除所述服 務(wù)集群之外的其他服務(wù)集群時(shí)，判斷是否可以對(duì)所述服務(wù)集群進(jìn)行物理層擴(kuò)容；
所述擴(kuò)容模塊，還用于當(dāng)所述判斷模塊確定可以對(duì)所述服務(wù)集群進(jìn)行物理層擴(kuò)容時(shí)，對(duì)所述服務(wù)集群進(jìn)行物理層擴(kuò)容，并更新集群穩(wěn)定性閾值。
33.根據(jù)權(quán)利要求32所述的裝置，其特征在于，還包括：限制模塊；
所述判斷模塊，還用于當(dāng)確定不可以對(duì)所述服務(wù)集群進(jìn)行物理層擴(kuò)容時(shí)，判斷是否可以進(jìn)行爬蟲訪問請(qǐng)求限制；
所述限制模塊，用于當(dāng)所述判斷模塊確定可以進(jìn)行爬蟲訪問請(qǐng)求限制時(shí)，根據(jù)爬蟲優(yōu)先級(jí)對(duì)爬蟲訪問請(qǐng)求進(jìn)行限制。
34.根據(jù)權(quán)利要求33所述的裝置，其特征在于，
所述判斷模塊，還用于當(dāng)確定不可以進(jìn)行爬蟲訪問請(qǐng)求限制時(shí)，判斷是否可以進(jìn)行用戶訪問請(qǐng)求限制；
所述限制模塊，還用于當(dāng)所述判斷模塊確定可以進(jìn)行用戶訪問請(qǐng)求限制時(shí)，根據(jù)業(yè)務(wù)優(yōu)先級(jí)對(duì)用戶訪問請(qǐng)求進(jìn)行限制。