技術(shù)編號：6539196
提示：您尚未登錄，請點(diǎn) 登 陸 后下載，如果您還沒有賬戶請點(diǎn) 注 冊 ，登陸完成后，請刷新本頁查看技術(shù)詳細(xì)信息。一種，包括1）根據(jù)規(guī)模不同，將網(wǎng)絡(luò)爬蟲分為單機(jī)多線程、同構(gòu)集中式、異構(gòu)集中式、小型分布式和大型分布式五類爬蟲；2）主從式架構(gòu)部署；3）當(dāng)爬蟲節(jié)點(diǎn)第一次連接到主控節(jié)點(diǎn)時(shí)，主控節(jié)點(diǎn)給予它初始權(quán)值；4）主控節(jié)點(diǎn)根據(jù)基于加權(quán)輪叫的調(diào)度算法，不斷選擇出一個(gè)爬蟲節(jié)點(diǎn)，將一個(gè)待爬取的URL任務(wù)分配給它；5）每當(dāng)爬蟲節(jié)點(diǎn)爬取完一個(gè)URL任務(wù)時(shí)，將結(jié)果返回給主控節(jié)點(diǎn)，主控節(jié)點(diǎn)更新該爬蟲節(jié)點(diǎn)的權(quán)值；等等。本發(fā)明提出的基于加權(quán)輪叫算法的分布式爬蟲調(diào)度策略，是針對小型分布式爬蟲而...
注意：該技術(shù)已申請專利，請尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識儲備，不適合論文引用。
請注意，此類技術(shù)沒有源代碼，用于學(xué)習(xí)研究技術(shù)思路。