互聯(lián)網(wǎng)信息的自動(dòng)獲取與推送方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及捜索引擎領(lǐng)域，具體設(shè)及一種可為用戶爬取各個(gè)學(xué)院網(wǎng)站和教務(wù)處網(wǎng) 站的通知，并將該些數(shù)據(jù)同步呈現(xiàn)給用戶的互聯(lián)網(wǎng)信息的自動(dòng)獲取與推送方法。
【背景技術(shù)】
[0002] 面對(duì)龐大的網(wǎng)絡(luò)資源，捜索引擎提供了一個(gè)口戶網(wǎng)站，毫不夸張的說，瀏覽該個(gè)口 戶網(wǎng)站的所有用戶在任何地點(diǎn)上網(wǎng)都可W捜索到任何自己想捜索的地方。因此它已成為除 了電子郵件W外最多人使用的網(wǎng)上服務(wù)。什么是捜索引擎？它是如何工作的？該個(gè)詞被廣 泛的使用在互聯(lián)網(wǎng)領(lǐng)域，但在不同的地域它的意義是不同的。在美國，捜索引擎通常是指基 于互聯(lián)網(wǎng)的捜索引擎，他們通過收集網(wǎng)絡(luò)的數(shù)千萬到數(shù)億網(wǎng)絡(luò)機(jī)器人程序，每一個(gè)字被捜 索引擎收錄，也就是我們所說的全文捜索。著名的因特網(wǎng)捜索引擎有Google等。在中國， 捜索引擎通常指基于Web的目錄捜索服務(wù)或特定網(wǎng)站的捜索服務(wù)，該系統(tǒng)是基于一個(gè)特定 網(wǎng)站捜索技術(shù)的特定標(biāo)記研究。廣義的捜索引擎泛指互聯(lián)網(wǎng)上提供信息檢索服務(wù)的工具或 系統(tǒng)，即在互聯(lián)網(wǎng)上或通過互聯(lián)網(wǎng)響應(yīng)用戶的捜索請(qǐng)求，返回相應(yīng)的捜索結(jié)果的系統(tǒng)。狹 義上的捜索引擎主要指自動(dòng)或手動(dòng)捜索萬維網(wǎng)上的資源組織成一個(gè)數(shù)據(jù)庫，W網(wǎng)站的形式 提供捜索服務(wù)的收集，分析和索引服務(wù)，利用網(wǎng)絡(luò)為用戶提供信息服務(wù)的體系。簡單地說： WWW捜索引擎是一組網(wǎng)絡(luò)環(huán)境的信息檢索系統(tǒng)。它通常有兩種不同的模式；一個(gè)是分類目 錄型捜索，互聯(lián)網(wǎng)資源進(jìn)行捜集整理，提供不同的資源投入到不同的目錄類型，然后分類圖 層，用戶可W找到他們希望的分類信息層，然后到達(dá)目的地，找到自己想要的信息；另一種 是基于關(guān)鍵字檢索，用戶可W輸入各種邏輯組合類型的關(guān)鍵字，捜索引擎按照一定的規(guī)則 找到解決該些關(guān)鍵詞所需要的資源，然后再反饋給用戶包含有關(guān)鍵字的信息，并鏈接到該 些網(wǎng)站。事實(shí)上，捜索引擎就是一個(gè)網(wǎng)站，它是專口提供捜索服務(wù)的網(wǎng)站，它采用了獨(dú)特的 方案捜集互聯(lián)網(wǎng)上的所有信息，幫助人們?cè)谛畔⒑Ｑ笾袙人鞯阶约盒枰男畔⒌木W(wǎng)站。
[0003] 快畢業(yè)大學(xué)生需要時(shí)刻關(guān)注學(xué)校的通知和學(xué)院的通知，很多時(shí)候并不能保證每天 都能瀏覽教務(wù)處主頁或?qū)W院主頁，該樣極有可能會(huì)漏掉一些重要的通知，并且要查看該些 通知需要點(diǎn)開多個(gè)網(wǎng)頁，在該些網(wǎng)頁中來回穿梭。如果該些通知和就業(yè)信息能在一個(gè)網(wǎng)頁 上瀏覽，并且及時(shí)的郵件通知或短信通知，那么對(duì)于我們來說會(huì)方便很多，也不會(huì)錯(cuò)過一些 重要信息。

【發(fā)明內(nèi)容】

[0004] 針對(duì)上述問題，本發(fā)明的目的在于如何提供一種可為用戶爬取各個(gè)學(xué)院網(wǎng)站和教 務(wù)處網(wǎng)站的通知，并將該些數(shù)據(jù)同步呈現(xiàn)給用戶的大學(xué)通知查詢系統(tǒng)。
[0005] 為達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案：
[0006] 一種大學(xué)通知查詢系統(tǒng)，其特征在于，包括客戶端瀏覽器和服務(wù)器，服務(wù)器主要由 業(yè)務(wù)邏輯層、數(shù)據(jù)爬取層、視圖層構(gòu)成；
[0007] 業(yè)務(wù)邏輯層將瀏覽器提交的參數(shù)進(jìn)行處理，生成教務(wù)處網(wǎng)站的U化或?qū)W院的U化 或畢業(yè)生就業(yè)網(wǎng)站的u化，并將u化作為參數(shù)提交給數(shù)據(jù)爬取層；數(shù)據(jù)爬取層W業(yè)務(wù)邏輯層 提交的U化為參數(shù)，對(duì)該U化對(duì)應(yīng)的頁面進(jìn)行解析，獲取頁面的所有通知列表，針對(duì)列表中 的每一條通知逐個(gè)解析，最后把爬取到的通知信息封裝在一個(gè)對(duì)象數(shù)組中，返回給業(yè)務(wù)邏 輯層；視圖層主要有一個(gè)靜態(tài)的HTML頁面和二個(gè)動(dòng)態(tài)的JSP頁面組成，靜態(tài)的HTML頁面負(fù) 責(zé)提交用戶輸入的關(guān)鍵字，動(dòng)態(tài)JSP頁面顯示捜索結(jié)果；
[0008] 用戶利用客戶端瀏覽器點(diǎn)擊教務(wù)處或某學(xué)院或就業(yè)信息時(shí)，服務(wù)器會(huì)獲取點(diǎn)擊的 關(guān)鍵字，并且提交給教務(wù)處網(wǎng)站或?qū)W院網(wǎng)站或畢業(yè)生就業(yè)網(wǎng)站，然后將該=個(gè)網(wǎng)站的捜索 結(jié)果頁的通知信息爬取出，將爬取出的數(shù)據(jù)經(jīng)過處理后再動(dòng)態(tài)生成網(wǎng)頁呈現(xiàn)給用戶。
[0009] 一種互聯(lián)網(wǎng)信息的自動(dòng)獲取與推送方法，其特征在于，包括如下步驟：
[0010] 一、創(chuàng)建業(yè)務(wù)邏輯層，業(yè)務(wù)邏輯層Wrequest對(duì)象作為參數(shù)，根據(jù)request對(duì)象獲 取用戶的請(qǐng)求并返回通知信息給調(diào)用層；
[0011] 二、創(chuàng)建數(shù)據(jù)爬取層，數(shù)據(jù)爬取層W頁面U化作為參數(shù)獲取通知信息，并將獲取到 的通知信息返回給調(diào)用層；
[001引 S、創(chuàng)建一個(gè)靜態(tài)的HTML頁面和兩個(gè)動(dòng)態(tài)的JSP頁面，靜態(tài)的HTML頁面為系統(tǒng)的 主頁，動(dòng)態(tài)的JSP頁面顯示最新通知列表和具體的通知內(nèi)容；
[0013] 業(yè)務(wù)邏輯層將客戶端瀏覽器提交的參數(shù)進(jìn)行處理，生成教務(wù)處網(wǎng)站的U化或?qū)W院 的U化或畢業(yè)生就業(yè)網(wǎng)站的U化，并將U化作為參數(shù)提交給數(shù)據(jù)爬取層；數(shù)據(jù)爬取層W業(yè)務(wù) 邏輯層提交的U化為參數(shù)，對(duì)該U化對(duì)應(yīng)的頁面進(jìn)行解析，獲取頁面的所有通知列表，針對(duì) 列表中的每一條通知逐個(gè)解析，最后把爬取到的通知信息封裝在一個(gè)對(duì)象數(shù)組中，返回給 業(yè)務(wù)邏輯層；視圖層主要有一個(gè)靜態(tài)的HTML頁面和二個(gè)動(dòng)態(tài)的JSP頁面組成，靜態(tài)的HTML 頁面負(fù)責(zé)提交用戶輸入的關(guān)鍵字，動(dòng)態(tài)JSP頁面顯示捜索結(jié)果；
[0014]點(diǎn)擊教務(wù)處或某學(xué)院或就業(yè)信息時(shí)，服務(wù)器會(huì)獲取點(diǎn)擊的關(guān)鍵字，并且提交給教 務(wù)處網(wǎng)站或?qū)W院網(wǎng)站或畢業(yè)生就業(yè)網(wǎng)站，然后將該=個(gè)網(wǎng)站的捜索結(jié)果頁的通知信息爬取 出，將爬取出的數(shù)據(jù)經(jīng)過處理后再動(dòng)態(tài)生成網(wǎng)頁呈現(xiàn)給用戶。
[0015] 所述步驟一的具體實(shí)現(xiàn)如下；①類；GetNotice，該類為業(yè)務(wù)邏輯層的功能實(shí)現(xiàn) 類；②方法；GetNotice化ttpServletRequestrequest)，該方法為構(gòu)造方法，創(chuàng)建對(duì)象 時(shí)Wrequest對(duì)象作為參數(shù)，根據(jù)request對(duì)象獲取用戶的請(qǐng)求；⑨采用方法public Noticein化化ta[]GetIn化0來獲取用戶請(qǐng)求的通知信息，并將其作為返回值返回。
[0016] 所述步驟二的具體實(shí)現(xiàn)過程如下；①類；Noticein化Get,該類為數(shù)據(jù)爬取層的功 能實(shí)現(xiàn)類；@方法；齡1：；[061]1化661：(5化；[]1肖111'1)，此方法為構(gòu)造方法，創(chuàng)建對(duì)象時(shí)1^頁面的 冊(cè)L作為參數(shù)；⑨方法；publicNoticein化化ta[]GetInfo0，該方法爬取冊(cè)L對(duì)應(yīng)頁面的 通知信息，并將其作為返回值返回。
[0017] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果體現(xiàn)在：
[001引一、本發(fā)明能夠分別從教務(wù)處網(wǎng)頁和各個(gè)學(xué)院網(wǎng)頁爬取相關(guān)通知信息，通知信息 包括通知主頁鏈接、通知標(biāo)題、通知發(fā)布日期、通知具體內(nèi)容，可W在同一個(gè)頁面中同時(shí)顯 示教務(wù)處通知、學(xué)院通知和畢業(yè)生就業(yè)網(wǎng)通知，用戶可點(diǎn)擊頁面超鏈接查看通知的具體內(nèi) 容。
[0019] 二、本發(fā)可實(shí)時(shí)爬取，保證了系統(tǒng)爬取到的通知信息的準(zhǔn)確度，能夠很好應(yīng)對(duì)教務(wù) 處、學(xué)院和畢業(yè)生就業(yè)網(wǎng)的更新。
【附圖說明】
[0020] 圖1為本發(fā)明的流程圖；
[0021] 圖2為本發(fā)明的數(shù)據(jù)流向圖。
【具體實(shí)施方式】
[0022] 下面結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一步的描述，所描述的實(shí)施例僅僅是本發(fā)明一部分 實(shí)施例，并不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本