互聯(lián)網(wǎng)信息的自動(dòng)獲取與推送方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及捜索引擎領(lǐng)域,具體設(shè)及一種可為用戶爬取各個(gè)學(xué)院網(wǎng)站和教務(wù)處網(wǎng) 站的通知,并將該些數(shù)據(jù)同步呈現(xiàn)給用戶的互聯(lián)網(wǎng)信息的自動(dòng)獲取與推送方法。
【背景技術(shù)】
[0002] 面對(duì)龐大的網(wǎng)絡(luò)資源,捜索引擎提供了一個(gè)口戶網(wǎng)站,毫不夸張的說,瀏覽該個(gè)口 戶網(wǎng)站的所有用戶在任何地點(diǎn)上網(wǎng)都可W捜索到任何自己想捜索的地方。因此它已成為除 了電子郵件W外最多人使用的網(wǎng)上服務(wù)。什么是捜索引擎?它是如何工作的?該個(gè)詞被廣 泛的使用在互聯(lián)網(wǎng)領(lǐng)域,但在不同的地域它的意義是不同的。在美國,捜索引擎通常是指基 于互聯(lián)網(wǎng)的捜索引擎,他們通過收集網(wǎng)絡(luò)的數(shù)千萬到數(shù)億網(wǎng)絡(luò)機(jī)器人程序,每一個(gè)字被捜 索引擎收錄,也就是我們所說的全文捜索。著名的因特網(wǎng)捜索引擎有Google等。在中國, 捜索引擎通常指基于Web的目錄捜索服務(wù)或特定網(wǎng)站的捜索服務(wù),該系統(tǒng)是基于一個(gè)特定 網(wǎng)站捜索技術(shù)的特定標(biāo)記研究。廣義的捜索引擎泛指互聯(lián)網(wǎng)上提供信息檢索服務(wù)的工具或 系統(tǒng),即在互聯(lián)網(wǎng)上或通過互聯(lián)網(wǎng)響應(yīng)用戶的捜索請(qǐng)求,返回相應(yīng)的捜索結(jié)果的系統(tǒng)。狹 義上的捜索引擎主要指自動(dòng)或手動(dòng)捜索萬維網(wǎng)上的資源組織成一個(gè)數(shù)據(jù)庫,W網(wǎng)站的形式 提供捜索服務(wù)的收集,分析和索引服務(wù),利用網(wǎng)絡(luò)為用戶提供信息服務(wù)的體系。簡單地說: WWW捜索引擎是一組網(wǎng)絡(luò)環(huán)境的信息檢索系統(tǒng)。它通常有兩種不同的模式;一個(gè)是分類目 錄型捜索,互聯(lián)網(wǎng)資源進(jìn)行捜集整理,提供不同的資源投入到不同的目錄類型,然后分類圖 層,用戶可W找到他們希望的分類信息層,然后到達(dá)目的地,找到自己想要的信息;另一種 是基于關(guān)鍵字檢索,用戶可W輸入各種邏輯組合類型的關(guān)鍵字,捜索引擎按照一定的規(guī)則 找到解決該些關(guān)鍵詞所需要的資源,然后再反饋給用戶包含有關(guān)鍵字的信息,并鏈接到該 些網(wǎng)站。事實(shí)上,捜索引擎就是一個(gè)網(wǎng)站,它是專口提供捜索服務(wù)的網(wǎng)站,它采用了獨(dú)特的 方案捜集互聯(lián)網(wǎng)上的所有信息,幫助人們?cè)谛畔⒑Q笾袙人鞯阶约盒枰男畔⒌木W(wǎng)站。
[0003] 快畢業(yè)大學(xué)生需要時(shí)刻關(guān)注學(xué)校的通知和學(xué)院的通知,很多時(shí)候并不能保證每天 都能瀏覽教務(wù)處主頁或?qū)W院主頁,該樣極有可能會(huì)漏掉一些重要的通知,并且要查看該些 通知需要點(diǎn)開多個(gè)網(wǎng)頁,在該些網(wǎng)頁中來回穿梭。如果該些通知和就業(yè)信息能在一個(gè)網(wǎng)頁 上瀏覽,并且及時(shí)的郵件通知或短信通知,那么對(duì)于我們來說會(huì)方便很多,也不會(huì)錯(cuò)過一些 重要信息。
【發(fā)明內(nèi)容】
[0004] 針對(duì)上述問題,本發(fā)明的目的在于如何提供一種可為用戶爬取各個(gè)學(xué)院網(wǎng)站和教 務(wù)處網(wǎng)站的通知,并將該些數(shù)據(jù)同步呈現(xiàn)給用戶的大學(xué)通知查詢系統(tǒng)。
[0005] 為達(dá)到上述目的,本發(fā)明采用如下技術(shù)方案:
[0006] 一種大學(xué)通知查詢系統(tǒng),其特征在于,包括客戶端瀏覽器和服務(wù)器,服務(wù)器主要由 業(yè)務(wù)邏輯層、數(shù)據(jù)爬取層、視圖層構(gòu)成;
[0007] 業(yè)務(wù)邏輯層將瀏覽器提交的參數(shù)進(jìn)行處理,生成教務(wù)處網(wǎng)站的U化或?qū)W院的U化 或畢業(yè)生就業(yè)網(wǎng)站的u化,并將u化作為參數(shù)提交給數(shù)據(jù)爬取層;數(shù)據(jù)爬取層W業(yè)務(wù)邏輯層 提交的U化為參數(shù),對(duì)該U化對(duì)應(yīng)的頁面進(jìn)行解析,獲取頁面的所有通知列表,針對(duì)列表中 的每一條通知逐個(gè)解析,最后把爬取到的通知信息封裝在一個(gè)對(duì)象數(shù)組中,返回給業(yè)務(wù)邏 輯層;視圖層主要有一個(gè)靜態(tài)的HTML頁面和二個(gè)動(dòng)態(tài)的JSP頁面組成,靜態(tài)的HTML頁面負(fù) 責(zé)提交用戶輸入的關(guān)鍵字,動(dòng)態(tài)JSP頁面顯示捜索結(jié)果;
[0008] 用戶利用客戶端瀏覽器點(diǎn)擊教務(wù)處或某學(xué)院或就業(yè)信息時(shí),服務(wù)器會(huì)獲取點(diǎn)擊的 關(guān)鍵字,并且提交給教務(wù)處網(wǎng)站或?qū)W院網(wǎng)站或畢業(yè)生就業(yè)網(wǎng)站,然后將該=個(gè)網(wǎng)站的捜索 結(jié)果頁的通知信息爬取出,將爬取出的數(shù)據(jù)經(jīng)過處理后再動(dòng)態(tài)生成網(wǎng)頁呈現(xiàn)給用戶。
[0009] 一種互聯(lián)網(wǎng)信息的自動(dòng)獲取與推送方法,其特征在于,包括如下步驟:
[0010] 一、創(chuàng)建業(yè)務(wù)邏輯層,業(yè)務(wù)邏輯層Wrequest對(duì)象作為參數(shù),根據(jù)request對(duì)象獲 取用戶的請(qǐng)求并返回通知信息給調(diào)用層;
[0011] 二、創(chuàng)建數(shù)據(jù)爬取層,數(shù)據(jù)爬取層W頁面U化作為參數(shù)獲取通知信息,并將獲取到 的通知信息返回給調(diào)用層;
[001引 S、創(chuàng)建一個(gè)靜態(tài)的HTML頁面和兩個(gè)動(dòng)態(tài)的JSP頁面,靜態(tài)的HTML頁面為系統(tǒng)的 主頁,動(dòng)態(tài)的JSP頁面顯示最新通知列表和具體的通知內(nèi)容;
[0013] 業(yè)務(wù)邏輯層將客戶端瀏覽器提交的參數(shù)進(jìn)行處理,生成教務(wù)處網(wǎng)站的U化或?qū)W院 的U化或畢業(yè)生就業(yè)網(wǎng)站的U化,并將U化作為參數(shù)提交給數(shù)據(jù)爬取層;數(shù)據(jù)爬取層W業(yè)務(wù) 邏輯層提交的U化為參數(shù),對(duì)該U化對(duì)應(yīng)的頁面進(jìn)行解析,獲取頁面的所有通知列表,針對(duì) 列表中的每一條通知逐個(gè)解析,最后把爬取到的通知信息封裝在一個(gè)對(duì)象數(shù)組中,返回給 業(yè)務(wù)邏輯層;視圖層主要有一個(gè)靜態(tài)的HTML頁面和二個(gè)動(dòng)態(tài)的JSP頁面組成,靜態(tài)的HTML 頁面負(fù)責(zé)提交用戶輸入的關(guān)鍵字,動(dòng)態(tài)JSP頁面顯示捜索結(jié)果;
[0014]點(diǎn)擊教務(wù)處或某學(xué)院或就業(yè)信息時(shí),服務(wù)器會(huì)獲取點(diǎn)擊的關(guān)鍵字,并且提交給教 務(wù)處網(wǎng)站或?qū)W院網(wǎng)站或畢業(yè)生就業(yè)網(wǎng)站,然后將該=個(gè)網(wǎng)站的捜索結(jié)果頁的通知信息爬取 出,將爬取出的數(shù)據(jù)經(jīng)過處理后再動(dòng)態(tài)生成網(wǎng)頁呈現(xiàn)給用戶。
[0015] 所述步驟一的具體實(shí)現(xiàn)如下;①類;GetNotice,該類為業(yè)務(wù)邏輯層的功能實(shí)現(xiàn) 類;②方法;GetNotice化ttpServletRequestrequest),該方法為構(gòu)造方法,創(chuàng)建對(duì)象 時(shí)Wrequest對(duì)象作為參數(shù),根據(jù)request對(duì)象獲取用戶的請(qǐng)求;⑨采用方法public Noticein化化ta[]GetIn化0來獲取用戶請(qǐng)求的通知信息,并將其作為返回值返回。
[0016] 所述步驟二的具體實(shí)現(xiàn)過程如下;①類;Noticein化Get,該類為數(shù)據(jù)爬取層的功 能實(shí)現(xiàn)類;@方法;齡1:;[061]1化661:(5化;[]1肖111'1),此方法為構(gòu)造方法,創(chuàng)建對(duì)象時(shí)1^頁面的 冊(cè)L作為參數(shù);⑨方法;publicNoticein化化ta[]GetInfo0,該方法爬取冊(cè)L對(duì)應(yīng)頁面的 通知信息,并將其作為返回值返回。
[0017] 與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果體現(xiàn)在:
[001引一、本發(fā)明能夠分別從教務(wù)處網(wǎng)頁和各個(gè)學(xué)院網(wǎng)頁爬取相關(guān)通知信息,通知信息 包括通知主頁鏈接、通知標(biāo)題、通知發(fā)布日期、通知具體內(nèi)容,可W在同一個(gè)頁面中同時(shí)顯 示教務(wù)處通知、學(xué)院通知和畢業(yè)生就業(yè)網(wǎng)通知,用戶可點(diǎn)擊頁面超鏈接查看通知的具體內(nèi) 容。
[0019] 二、本發(fā)可實(shí)時(shí)爬取,保證了系統(tǒng)爬取到的通知信息的準(zhǔn)確度,能夠很好應(yīng)對(duì)教務(wù) 處、學(xué)院和畢業(yè)生就業(yè)網(wǎng)的更新。
【附圖說明】
[0020] 圖1為本發(fā)明的流程圖;
[0021] 圖2為本發(fā)明的數(shù)據(jù)流向圖。
【具體實(shí)施方式】
[0022] 下面結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一步的描述,所描述的實(shí)施例僅僅是本發(fā)明一部分 實(shí)施例,并不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本