亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

抓取目標(biāo)圖片的方法及裝置的制造方法_2

文檔序號:9687554閱讀:來源:國知局
以是通過配置加載出錯的所述目標(biāo)圖片的http(超文本傳輸協(xié)議,Hyper Text Transfer Protocol)404錯誤頁信息來傳遞所述錯誤資源參數(shù)來獲取。
[0043]所述錯誤資源參數(shù)一般包含了錯誤資源的路徑信息,在具體實施中,可以在所述錯誤資源參數(shù)中加入其它信息如標(biāo)識碼。
[0044]步驟S102:參照所述錯誤資源參數(shù)從圖片源地址表中獲得所述目標(biāo)圖片的源地址;其中,所述圖片源地址表存儲了所述錯誤資源參數(shù)以及對應(yīng)的所述目標(biāo)圖片的源地址。
[0045]在具體實施中,所述目標(biāo)圖片的源地址為本站點之外的其他站點提供所述目標(biāo)圖片的地址。
[0046]具體實施中,所述圖片源地址表存儲了所述錯誤資源參數(shù)與所述目標(biāo)圖片的源地址,及兩者的對應(yīng)關(guān)系。因此通過步驟S101獲得的所述錯誤資源參數(shù)可以在本步驟中獲得所述目標(biāo)圖片的源地址。
[0047]具體實施中,所述圖片源地址表可以通過以下方式獲得:
[0048]從目標(biāo)站點服務(wù)器返回的頁面信息中提取所述目標(biāo)圖片的源地址;
[0049]建立所述錯誤資源參數(shù),以及所述錯誤資源參數(shù)與所述目標(biāo)圖片的源地址的對應(yīng)關(guān)系,形成所述圖片源地址表。
[0050]具體實施中,所述從目標(biāo)站點服務(wù)器返回的頁面信息為基于客戶端請求而反饋的網(wǎng)頁內(nèi)容對應(yīng)的信息,其可以是html(Hyper Text Markup Language,超文本標(biāo)記語言)文檔中的信息。
[0051]具體地,可以在提取所述目標(biāo)圖片的源地址的同時,為所述目標(biāo)圖片設(shè)置本地圖片路徑,當(dāng)加載圖片出錯時所述錯誤資源參數(shù)包含了錯誤資源路徑即所述本地圖片路徑,此時可以通過在所述本地圖片路徑信息后增加目標(biāo)圖片的標(biāo)識碼以建立所述錯誤資源參數(shù),并建立所述錯誤資源參數(shù)與所述目標(biāo)圖片的源地址的對應(yīng)關(guān)系,以形成所述圖片源地址表。
[0052]具體實施中,所述圖片源地址表也可以是事先采取其他方式獲得的包括錯誤資源參數(shù)與圖片源地址,及其對應(yīng)關(guān)系的表,以供配置404頁面獲得所述錯誤資源參數(shù)后,可以通過所述錯誤資源參數(shù)查詢到所述圖片源地址。
[0053]步驟S103:根據(jù)所述目標(biāo)圖片的源地址從目標(biāo)站點服務(wù)器下載所述目標(biāo)圖片,并按所述本地圖片路徑存儲當(dāng)前下載的目標(biāo)圖片。
[0054]在具體實施中,根據(jù)所述目標(biāo)圖片的源地址從目標(biāo)站點服務(wù)器下載所述目標(biāo)圖片,并按所述本地圖片路徑存儲當(dāng)前下載的目標(biāo)圖片,從而可以在用戶再次訪問該目標(biāo)圖片時,從本地加載所述目標(biāo)圖片,而不再需要從其他站點資源再次抓取該目標(biāo)圖片。
[0055]為使得本發(fā)明實施的技術(shù)方案更加清晰,下面以從其他站點服務(wù)器抓取房源圖片為實例進行說明。
[0056]假設(shè)本站點資源為一個房屋交易平臺,需要向用戶提供關(guān)于特定房源的文字說明以及對應(yīng)房屋圖片,當(dāng)用戶打開介紹房源的頁面時無疑需加載文字說明以及對應(yīng)的房屋圖片,在此以抓取其中一張目標(biāo)圖片1為例。
[0057]在本例中,所述圖片源地址表中的一條信息可以通過以下方式獲得:
[0058]通過爬蟲從一房源平臺的目標(biāo)站點服務(wù)器返回的html頁面信息中提取到所述目標(biāo)圖片1的源地址為:
[0059]"http: //a.pi cl.a jkimg.com/display/an juke/9 378ee-%E6 %99%AE%E6%
97%8C%E5%9C%B0%E4%BA%A7/d36193alba2a4860fe4dl70el48e9986-600x450.jpg";
[0060]為建立所述錯誤資源參數(shù),在抓取所述目標(biāo)圖片1的源地址的同時為所述目標(biāo)圖片1預(yù)設(shè)本地圖片路徑為:72015/10/27/111.jpg”,并設(shè)置所述目標(biāo)圖片1的標(biāo)識碼為100,從而建立所述錯誤資源參數(shù)中所述標(biāo)識碼與所述目標(biāo)圖片1的源地址間的對應(yīng)關(guān)系。
[0061]所述目標(biāo)圖片1的訪問鏈接包含了上述預(yù)設(shè)的本地圖片路徑,例如當(dāng)用戶以訪問鏈接"http://image.zamplus.com/2015/10/27/111_400_600.jpg?id = 100"訪問該目標(biāo)圖片1時,若根據(jù)其中的本地圖片路徑“/2015/10/27/111.jpg”查找不到所述目標(biāo)圖片1,則配置所述目標(biāo)圖片的http 404錯誤頁信息,后臺請求了/404.php?url = 〃http://img/2015/10/27/111.jpg?id = 100”,從而獲得所述錯誤資源參數(shù)中的目標(biāo)圖片1的標(biāo)識碼100。
[0062]獲得所述標(biāo)識碼100后,根據(jù)所述圖片源地址表中的標(biāo)識碼與所述目標(biāo)圖片1的源地址間的對應(yīng)關(guān)系,得到所述目標(biāo)圖片1的源地址為:
[0063]"http: //a.pi cl.a jkimg.com/display/an juke/9 378ee-%E6 %99%AE%E6%97%8C%E5%9C%B0%E4%BA%A7/d36193alba2a4860fe4dl70el48e9986-600x450.jpg”。
[0064]接下來根據(jù)所述目標(biāo)圖片1的源地址從目標(biāo)站點服務(wù)器下載所述目標(biāo)圖片1,并按所述本地圖片路徑“/2015/10/27/111.jpg”存儲當(dāng)前下載的目標(biāo)圖片1。
[0065]現(xiàn)有技術(shù)中,在抓取源地址的同時抓取所述目標(biāo)圖片,并未考慮用戶實際訪問圖片的需要,而實際應(yīng)用場景下用戶訪問的圖片在預(yù)抓取的圖片中僅占較小的比例,因此較大比例的圖片實際并無必要預(yù)抓取,這造成了網(wǎng)絡(luò)資源和存儲資源的浪費。
[0066]相比之下,本發(fā)明實施例采用的技術(shù)方案在用戶訪問目標(biāo)圖片失敗時獲得所述目標(biāo)圖片的源地址,再通過已獲取的源地址從目標(biāo)站點服務(wù)器下載所述目標(biāo)圖片,因此本發(fā)明實施例采用的技術(shù)方案避免了圖片的不必要抓取和重復(fù)抓取,從而節(jié)省了網(wǎng)絡(luò)資源和存儲資源。
[0067]圖2是一種使用本發(fā)明實施例中的抓取目標(biāo)圖片的方法向客戶端加載目標(biāo)圖片的流程圖。參照圖2所示,使用本發(fā)明實施例中的抓取目標(biāo)圖片的方法向客戶端加載目標(biāo)圖片的流程如下:
[0068]步驟S201:用戶在客戶端打開圖片顯示頁訪問本地目標(biāo)圖片;
[0069]步驟S202:判斷根據(jù)所述目標(biāo)圖片的加載鏈接包含的本地圖片路徑查找目標(biāo)圖片是否成功;如果判斷結(jié)果為是,則執(zhí)行步驟S209,否則執(zhí)行步驟S203;
[0070]步驟S203:配置所述目標(biāo)圖片的http 404錯誤頁信息以獲取錯誤資源參數(shù);
[0071]步驟S204:參照所述錯誤資源參數(shù)從圖片源地址表中獲得所述目標(biāo)圖片的源地址;其中,所述圖片源地址表存儲了所述錯誤資源參數(shù)以及對應(yīng)的所述目標(biāo)圖片的源地址;
[0072]步驟S205:根據(jù)所述目標(biāo)圖片的源地址從目標(biāo)站點服務(wù)器下載所述目標(biāo)圖片,并按所述本地圖片路徑存儲當(dāng)前下載的目標(biāo)圖片;
[0073]步驟S206:判斷圖片下載是否成功,如果判斷結(jié)果為是則執(zhí)行步驟S208,否則執(zhí)行步驟S207;
[0074]步驟S207:根據(jù)當(dāng)前頁面位置加載替代圖片于客戶端的目標(biāo)圖片顯示頁;
[0075]步驟S208:處理當(dāng)前下載的所述目標(biāo)圖片;
[0076]步驟S209:加載所述目標(biāo)圖片至客戶端的目標(biāo)圖片顯示頁。
[0077]在本發(fā)明實施例中,用戶根據(jù)訪問鏈接包含的本地圖片路徑如果成功查找到所述目標(biāo)圖片,則加載所述目標(biāo)圖片至客戶端的目標(biāo)圖片顯示頁,不再重復(fù)抓取。否則可以通過圖1中實施例所述的步驟從目標(biāo)站點進行目標(biāo)圖片的抓取,在此不再贅述。
[0078]在具體實施中,如果從目標(biāo)站點下載目標(biāo)圖片失敗,則需要根據(jù)當(dāng)前頁面位置加載替代圖片于客
當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1