更新數(shù)據(jù)的方法及裝置的制造方法
【專利摘要】本公開(kāi)是關(guān)于一種更新數(shù)據(jù)的方法及裝置。在中間設(shè)備上部署了redis集群,而中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間。當(dāng)服務(wù)器有數(shù)據(jù)更新時(shí),服務(wù)器通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向redis集群推送更新數(shù)據(jù)。因此中間設(shè)備通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù),然后進(jìn)一步通知爬蟲(chóng)從redis中獲取更新數(shù)據(jù),從而使得需要更新數(shù)據(jù)的設(shè)備及時(shí)獲得更新數(shù)據(jù)。因此,實(shí)現(xiàn)了提高數(shù)據(jù)更新實(shí)時(shí)性的技術(shù)效果。并且,不需要額外增加硬件,因此節(jié)約了成本。
【專利說(shuō)明】
更新數(shù)據(jù)的方法及裝置
技術(shù)領(lǐng)域
[0001 ]本公開(kāi)涉及計(jì)算機(jī)通信領(lǐng)域,尤其涉及更新數(shù)據(jù)的方法及裝置?!颈尘凹夹g(shù)】
[0002]目前,設(shè)備存儲(chǔ)數(shù)據(jù)的過(guò)程為:首先,設(shè)備通過(guò)爬蟲(chóng)從服務(wù)器獲取數(shù)據(jù)。設(shè)備獲取數(shù)據(jù)后對(duì)進(jìn)行分析,從而將獲取到的數(shù)據(jù)轉(zhuǎn)換成所需的數(shù)據(jù)格式存儲(chǔ)。然而,在服務(wù)器數(shù)據(jù)更新后,卻不能同步更新設(shè)備中數(shù)據(jù),有時(shí)可能要滯后到下一個(gè)爬蟲(chóng)獲取數(shù)據(jù)的時(shí)刻才能同步。
[0003]相關(guān)技術(shù)中的一種解決方式,是在爬蟲(chóng)以外,另外部署一個(gè)系統(tǒng)。進(jìn)而,服務(wù)器更新數(shù)據(jù)時(shí),調(diào)用這個(gè)新系統(tǒng)的接口來(lái)推送更新數(shù)據(jù)。
[0004]可以看出,由于需要增加和維護(hù)一個(gè)系統(tǒng),因此增加了硬件成本和維護(hù)成本。
【發(fā)明內(nèi)容】
[0005]為克服相關(guān)技術(shù)中存在的問(wèn)題,本公開(kāi)提供一種更新數(shù)據(jù)的方法及裝置。
[0006]根據(jù)本公開(kāi)實(shí)施例的第一方面,提供一種更新數(shù)據(jù)的方法,包括:
[0007]通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù),其中,所述redis集群部署在中間設(shè)備上,所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;當(dāng)所述服務(wù)器有數(shù)據(jù)更新時(shí),通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù);
[0008]通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù),以使所述需要更新數(shù)據(jù)的設(shè)備獲得所述更新數(shù)據(jù)。
[0009]可選地,在所述通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)之前,還包括:
[0010]監(jiān)控所述redis集群是否寫入所述更新數(shù)據(jù);
[0011]在監(jiān)控到所述redis集群寫入所述更新數(shù)據(jù)寫入時(shí),確定需要通知所述爬蟲(chóng)。
[0012]可選地,所述網(wǎng)絡(luò)服務(wù)部署在所述redis集群中。[〇〇13] 可選地,在所述通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)之后,還包括:
[0014]按照與所述服務(wù)器推送所述更新數(shù)據(jù)的一致的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所述更新數(shù)據(jù)。
[0015]根據(jù)本公開(kāi)實(shí)施例的第二方面,提供一種更新數(shù)據(jù)的方法,包括:[0〇16]接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息;其中,所述redis 集群部署在中間設(shè)備上,所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;[〇〇17]控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù)。[〇〇18]可選地,所述控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù),包括:[〇〇19]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址從所述redis集群中獲取所述更新數(shù)據(jù),所述網(wǎng)絡(luò)地址為所述服務(wù)器向所述redis集群推送所述更新數(shù)據(jù)時(shí)所調(diào)用的所述網(wǎng)絡(luò)代理接口的地址。
[0020]可選地,所述控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù),包括:
[0021]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址獲取所述更新數(shù)據(jù),所述網(wǎng)絡(luò)地址為統(tǒng)一資源定位符 URL〇[〇〇22] 可選地,所述方法還包括:
[0023]控制所述爬蟲(chóng)按照預(yù)設(shè)周期從所述服務(wù)器獲取數(shù)據(jù)。
[0024]根據(jù)本公開(kāi)實(shí)施例的第三方面,提供一種更新數(shù)據(jù)的裝置,包括:[〇〇25]獲得模塊,被配置為通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù),其中,所述redis 集群部署在中間設(shè)備上,所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;當(dāng)所述服務(wù)器有數(shù)據(jù)更新時(shí),通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù);
[0026]通知模塊,被配置為通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù),以使所述需要更新數(shù)據(jù)的設(shè)備獲得所述更新數(shù)據(jù)。[〇〇27] 可選地,所述裝置還包括:
[0028]監(jiān)控模塊,被配置為在所述通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)之前,監(jiān)控所述redis集群是否寫入所述更新數(shù)據(jù);[〇〇29]確定模塊,被配置為在監(jiān)控到所述redis集群寫入所述更新數(shù)據(jù)寫入時(shí),確定需要通知所述爬蟲(chóng)。
[0030]可選地,所述網(wǎng)絡(luò)服務(wù)部署在所述redis集群中。[〇〇31] 可選地,所述裝置還包括:
[0032]存儲(chǔ)模塊,被配置為在所述通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)之后,按照與所述服務(wù)器推送所述更新數(shù)據(jù)的一致的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所述更新數(shù)據(jù)。
[0033]根據(jù)本公開(kāi)實(shí)施例的第四方面,提供一種更新數(shù)據(jù)的裝置,包括:
[0034]接收模塊,被配置為接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息;其中,所述redis集群部署在中間設(shè)備上,所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;[〇〇35]第一控制模塊,被配置為控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述 redis集群中獲取所述更新數(shù)據(jù)。
[0036]可選地,所述第一控制模塊被配置為:[〇〇37]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址從所述redis集群中獲取所述更新數(shù)據(jù),所述網(wǎng)絡(luò)地址為所述服務(wù)器向所述redis集群推送所述更新數(shù)據(jù)時(shí)所調(diào)用的所述網(wǎng)絡(luò)代理接口的地址。
[0038]可選地,所述第一控制模塊被配置為:
[0039]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址獲取所述更新數(shù)據(jù),所述網(wǎng)絡(luò)地址為統(tǒng)一資源定位符 URL〇
[0040]可選地,所述裝置還包括:
[0041]第二控制模塊,被配置為控制所述爬蟲(chóng)按照預(yù)設(shè)周期從所述服務(wù)器獲取數(shù)據(jù)。 [〇〇42]根據(jù)本公開(kāi)實(shí)施例的第五方面,提供一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),當(dāng)所述存儲(chǔ)介質(zhì)中的指令由中間設(shè)備的處理器執(zhí)行時(shí),使得中間設(shè)備能夠執(zhí)行一種更新數(shù)據(jù)的方法,所述方法包括:[〇〇43]通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù),其中,所述redis集群部署在中間設(shè)備上,所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;當(dāng)所述服務(wù)器有數(shù)據(jù)更新時(shí),通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù);
[0044]通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù),以使所述需要更新數(shù)據(jù)的設(shè)備獲得所述更新數(shù)據(jù)。
[0045]根據(jù)本公開(kāi)實(shí)施例的第六方面,提供一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),當(dāng)所述存儲(chǔ)介質(zhì)中的指令由需要更新數(shù)據(jù)的設(shè)備的處理器執(zhí)行時(shí),使得需要更新數(shù)據(jù)的設(shè)備能夠執(zhí)行一種更新數(shù)據(jù)的方法,所述方法包括:[0〇46]接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息;其中,所述redis 集群部署在中間設(shè)備上,所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;[〇〇47]控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù)。
[0048]本公開(kāi)的實(shí)施例提供的技術(shù)方案可以包括以下有益效果:[〇〇49]本公開(kāi)中,在中間設(shè)備上部署了 redis集群,而中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間。當(dāng)服務(wù)器有數(shù)據(jù)更新時(shí),服務(wù)器通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向 redis集群推送更新數(shù)據(jù)。因此中間設(shè)備通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù),然后進(jìn)一步通知爬蟲(chóng)從redis中獲取更新數(shù)據(jù),從而使得需要更新數(shù)據(jù)的設(shè)備及時(shí)獲得更新數(shù)據(jù)。因此,實(shí)現(xiàn)了提高數(shù)據(jù)更新實(shí)時(shí)性的技術(shù)效果。并且,不需要額外增加硬件,因此節(jié)約了成本。
[0050]應(yīng)當(dāng)理解的是,以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的,并不能限制本公開(kāi)?!靖綀D說(shuō)明】
[0051]此處的附圖被并入說(shuō)明書中并構(gòu)成本說(shuō)明書的一部分,示出了符合本公開(kāi)的實(shí)施例,并與說(shuō)明書一起用于解釋本公開(kāi)的原理。
[0052]圖1是根據(jù)一示例性實(shí)施例示出的應(yīng)用場(chǎng)景圖。
[0053]圖2是根據(jù)一示例性實(shí)施例示出的中間設(shè)備端更新數(shù)據(jù)方法的流程圖。
[0054]圖3是根據(jù)一示例性實(shí)施例示出的中間設(shè)備端更新數(shù)據(jù)方法的另一流程圖。
[0055]圖4是根據(jù)一示例性實(shí)施例示出的中間設(shè)備端更新數(shù)據(jù)方法的另一流程圖。
[0056]圖5是根據(jù)一示例性實(shí)施例示出的需要更新數(shù)據(jù)的設(shè)備端更新數(shù)據(jù)方法的流程圖。
[0057]圖6是根據(jù)一示例性實(shí)施例示出的需要更新數(shù)據(jù)的設(shè)備端更新數(shù)據(jù)方法的另一流程圖。[〇〇58]圖7是根據(jù)一示例性實(shí)施例示出的第一種更新數(shù)據(jù)裝置的框圖。[〇〇59]圖8是根據(jù)一示例性實(shí)施例示出的第一種更新數(shù)據(jù)裝置的另一框圖。[〇〇6〇]圖9是根據(jù)一示例性實(shí)施例示出的第一種更新數(shù)據(jù)裝置的另一框圖。[〇〇61]圖10是根據(jù)一示例性實(shí)施例示出的第二種更新數(shù)據(jù)裝置的框圖。[〇〇62]圖11是根據(jù)一示例性實(shí)施例示出的第二種更新數(shù)據(jù)裝置的另一框圖。[〇〇63]圖12是根據(jù)一示例性實(shí)施例示出的一種更新數(shù)據(jù)的裝置的框圖。[〇〇64]圖13是根據(jù)一示例性實(shí)施例示出的一種更新數(shù)據(jù)的裝置的框圖?!揪唧w實(shí)施方式】
[0065]這里將詳細(xì)地對(duì)示例性實(shí)施例進(jìn)行說(shuō)明,其示例表示在附圖中。下面的描述涉及附圖時(shí),除非另有表示,不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本公開(kāi)相一致的所有實(shí)施方式。相反,它們僅是與如所附權(quán)利要求書中所詳述的、本公開(kāi)的一些方面相一致的裝置和方法的例子。
[0066]為了理解本公開(kāi)更新數(shù)據(jù)的方法,首先對(duì)本公開(kāi)中更新數(shù)據(jù)方法的應(yīng)用場(chǎng)景進(jìn)行介紹。請(qǐng)參考圖1,圖1是根據(jù)一示例性實(shí)施例示出的應(yīng)用場(chǎng)景圖。該場(chǎng)景包括:服務(wù)器、中間設(shè)備和需要更新數(shù)據(jù)的設(shè)備。具體來(lái)講,中間設(shè)備和需要更新數(shù)據(jù)接入同一網(wǎng)關(guān),屬于一個(gè)系統(tǒng)中。當(dāng)然,在具體實(shí)現(xiàn)過(guò)程中,中間設(shè)備和需要更新數(shù)據(jù)的設(shè)備所在系統(tǒng)還可以包括其他設(shè)備,本公開(kāi)不做具體限制。[〇〇67]服務(wù)器與該系統(tǒng)通過(guò)網(wǎng)絡(luò)連接,進(jìn)而服務(wù)器能夠與該系統(tǒng)進(jìn)行交互,并為該系統(tǒng)提供數(shù)據(jù)。在本公開(kāi)中,中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間。
[0068]為了解決相關(guān)技術(shù)中存在的問(wèn)題,在本公開(kāi)中,中間設(shè)備中部署有redis(英文: redis,中文:重申)集群,需要更新數(shù)據(jù)的設(shè)備中部署有爬蟲(chóng)。其中,redis是一種典型的 NoSQL(非關(guān)系性數(shù)據(jù)庫(kù),Not Only Structured Query Language)數(shù)據(jù)庫(kù)服務(wù),采用KEY-VALUE存儲(chǔ)結(jié)構(gòu),即鍵-值存儲(chǔ)結(jié)構(gòu)。redis集群可以作為服務(wù)程序獨(dú)立運(yùn)行于自己的服務(wù)器主機(jī),同時(shí)作為內(nèi)存數(shù)據(jù)庫(kù)。不需要10讀取硬盤數(shù)據(jù),能夠快速響應(yīng)。Redis集群具有持久化、支持多種數(shù)據(jù)結(jié)構(gòu)已經(jīng)支持主從復(fù)制等優(yōu)點(diǎn)。
[0069]另外,在中間設(shè)備和需要更新數(shù)據(jù)的設(shè)備所在系統(tǒng)中,還部署有網(wǎng)絡(luò)服務(wù),例如 webdis。在具體實(shí)現(xiàn)過(guò)程中,網(wǎng)絡(luò)服務(wù)可以部署在中間設(shè)備或者需要更新數(shù)據(jù)的設(shè)備中,也可以部署在其它設(shè)備中,本領(lǐng)域的普通技術(shù)人員可以根據(jù)實(shí)際進(jìn)行設(shè)置,本公開(kāi)不做具體限制。在本公開(kāi)中,網(wǎng)絡(luò)服務(wù)能夠提供網(wǎng)絡(luò)代理接口,例如nginx。服務(wù)器通過(guò)網(wǎng)絡(luò)代理接口,可以訪問(wèn)中間設(shè)備上部署的redis集群。
[0070]下面,對(duì)更新數(shù)據(jù)的方法進(jìn)行介紹。首先介紹中間設(shè)備端的更新數(shù)據(jù)的方法。請(qǐng)參考圖2,圖2是根據(jù)一示例性實(shí)施例示出的服務(wù)器端更新數(shù)據(jù)方法的流程圖,該方法包括以下步驟。[0〇71]在步驟S11中,通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù),其中,所述redis集群部署在中間設(shè)備上,所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;當(dāng)所述服務(wù)器有數(shù)據(jù)更新時(shí),通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù)。
[0072]在步驟S12中,通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù),以使所述需要更新數(shù)據(jù)的設(shè)備獲得所述更新數(shù)據(jù)。
[0073]具體來(lái)講,服務(wù)器對(duì)服務(wù)器中的數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)控。當(dāng)監(jiān)控到服務(wù)器中有數(shù)據(jù)更新時(shí),為了及時(shí)將更新數(shù)據(jù)提供給需要更新數(shù)據(jù)的設(shè)備,在本公開(kāi)中,服務(wù)器將調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口,進(jìn)而通過(guò)網(wǎng)絡(luò)代理接口將更新數(shù)據(jù)推送到redis集群中。假設(shè)網(wǎng)絡(luò)服務(wù)為webdis,網(wǎng)絡(luò)代理接口為nginx,則在服務(wù)器有數(shù)據(jù)更新時(shí),服務(wù)器調(diào)用webdis的nginx接口向redis集群推送更新數(shù)據(jù)。[〇〇74]所以在步驟S11中,中間設(shè)備通過(guò)redis集群獲取服務(wù)器推送來(lái)的更新數(shù)據(jù)。具體為,redis集群從網(wǎng)絡(luò)代理接口接收服務(wù)器推送來(lái)的更新數(shù)據(jù)。
[0075]收到更新數(shù)據(jù)后,為了及時(shí)使需要更新數(shù)據(jù)的設(shè)備獲得更新數(shù)據(jù),在步驟S12中, 向爬蟲(chóng)發(fā)送通知信息。[〇〇76]具體來(lái)講,獲得更新數(shù)據(jù)后,中間設(shè)備反向通知爬蟲(chóng)。根據(jù)通知信息,從redis集群中獲取更新數(shù)據(jù)。由于爬蟲(chóng)部署在需要更新數(shù)據(jù)的設(shè)備上,所以通過(guò)爬蟲(chóng)就獲得了更新數(shù)據(jù)。
[0077]由上述描述可以看出,由于在中間設(shè)備上部署redis集群并不需要額外的硬件,所以,節(jié)約了成本。另外,通過(guò)redis集群獲得更新數(shù)據(jù),并及時(shí)通知爬蟲(chóng)從redis集群獲取更新數(shù)據(jù),進(jìn)而使得需要更新數(shù)據(jù)的設(shè)備可以及時(shí)獲得更新數(shù)據(jù),從而實(shí)現(xiàn)實(shí)時(shí)同步數(shù)據(jù)。 [〇〇78]結(jié)合上述第一種實(shí)施方式,在第二種實(shí)施方式中,如圖3所示,本發(fā)明實(shí)施例提供的更新數(shù)據(jù)方法除包括步驟S11和步驟S12外,在步驟S12之前還可以進(jìn)一步包括:[〇〇79]步驟S12a:監(jiān)控所述redis集群是否寫入所述更新數(shù)據(jù);[〇〇8〇]步驟S12b:在監(jiān)控到所述redis集群寫入所述更新數(shù)據(jù)寫入時(shí),確定需要通知所述爬蟲(chóng)。
[0081]具體來(lái)講,當(dāng)redis集群中沒(méi)有數(shù)據(jù)寫入時(shí),表示中間設(shè)備當(dāng)前可能沒(méi)有接收更新數(shù)據(jù),進(jìn)而表示服務(wù)器可能并沒(méi)有發(fā)生數(shù)據(jù)更新,那么此時(shí)通知爬蟲(chóng)獲取數(shù)據(jù)就會(huì)浪費(fèi)資源。因此,在本公開(kāi)中,redis集群中還包括監(jiān)控插件,用于監(jiān)控redis集群的數(shù)據(jù)讀寫情況。 [〇〇82]當(dāng)監(jiān)控插件監(jiān)控到redis集群有更新數(shù)據(jù)寫入時(shí),表示redis集群獲取到了更新數(shù)據(jù),進(jìn)而監(jiān)控插件生成通知信息,并向需要更新數(shù)據(jù)的設(shè)備上部署的爬蟲(chóng)發(fā)送通知信息,以觸發(fā)爬蟲(chóng)及時(shí)獲取寫入redis集群的更新數(shù)據(jù)。[〇〇83]由上述描述可知,當(dāng)更新數(shù)據(jù)寫入redis集群后,中間設(shè)備才向爬蟲(chóng)發(fā)送通知信息,以便爬蟲(chóng)及時(shí)獲取更新數(shù)據(jù)。所以,一方面實(shí)現(xiàn)了實(shí)時(shí)同步數(shù)據(jù);另一方面,避免了在未發(fā)生數(shù)據(jù)更新時(shí)爬蟲(chóng)獲取數(shù)據(jù)引起的資源浪費(fèi)。
[0084]上文中介紹道,網(wǎng)絡(luò)服務(wù)可以部署在中間設(shè)備中,也可以部署在需要更新數(shù)據(jù)的設(shè)備中,也可以部署在其他設(shè)備上。結(jié)合第一種實(shí)施方式,在第三種實(shí)施方式中,將網(wǎng)絡(luò)服務(wù)具體部署在中間設(shè)備上,并且進(jìn)一步是將網(wǎng)絡(luò)服務(wù)器部署在redis集群中。[〇〇85]將網(wǎng)絡(luò)服務(wù)部署在redis集群中,redis集群從網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口接收更新數(shù)據(jù)時(shí),與網(wǎng)絡(luò)代理接口保持對(duì)接的可靠性更高。并且,可以方便管理人員同時(shí)對(duì)redis和網(wǎng)絡(luò)服務(wù)進(jìn)行維護(hù)。
[0086]結(jié)合第一種實(shí)現(xiàn)方式,在第四種實(shí)現(xiàn)方式中,如圖4所示,本發(fā)明實(shí)施例提供的更新數(shù)據(jù)方法除包括步驟S11和步驟S12外,在步驟S11之后還可以進(jìn)一步還包括:
[0087]步驟Slla:按照與所述服務(wù)器推送所述更新數(shù)據(jù)的一致的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所述更新數(shù)據(jù)。
[0088]具體來(lái)講,通過(guò)redis集群獲得更新數(shù)據(jù)后,中間設(shè)備并不會(huì)對(duì)更新數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)進(jìn)行轉(zhuǎn)換,而是仍然按照與服務(wù)器推送更新數(shù)據(jù)時(shí)一致的數(shù)據(jù)結(jié)構(gòu)來(lái)存儲(chǔ)更新數(shù)據(jù)。
[0089]當(dāng)然,在具體實(shí)現(xiàn)過(guò)程中,也可以按照需要轉(zhuǎn)換更新數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)之后再存儲(chǔ), 本公開(kāi)不做具體限制。
[0090]接下來(lái),介紹需要更新數(shù)據(jù)的設(shè)備端的更新數(shù)據(jù)的方法。請(qǐng)參考圖5,圖5是根據(jù)一示例性實(shí)施例示出的需要更新數(shù)據(jù)的設(shè)備端更新數(shù)據(jù)方法的流程圖,該方法包括以下步驟。
[0091]在步驟S21中,接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息;其中,所述redis集群部署在中間設(shè)備上,所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間。[〇〇92] 在步驟S22中,控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù)。
[0093]具體來(lái)講,在步驟S21中,需要更新數(shù)據(jù)的設(shè)備接收中間設(shè)備發(fā)送來(lái)的通知信息, 觸發(fā)爬蟲(chóng)獲取更新數(shù)據(jù)。在步驟S22中,根據(jù)通知信息,控制爬蟲(chóng)從redis集群中獲取更新數(shù)據(jù)。
[0094]具體來(lái)講,在一種實(shí)現(xiàn)方式中,步驟S22可以通過(guò)如下過(guò)程實(shí)現(xiàn):[〇〇95]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址從所述redis集群中獲取所述更新數(shù)據(jù),所述網(wǎng)絡(luò)地址為所述服務(wù)器向所述redis集群推送所述更新數(shù)據(jù)時(shí)所調(diào)用的所述網(wǎng)絡(luò)代理接口的地址。 [〇〇96]在本公開(kāi)中,如果是監(jiān)控插件在監(jiān)控到redis集群有更新數(shù)據(jù)寫入時(shí)向爬蟲(chóng)發(fā)送通知信息,則將爬蟲(chóng)的網(wǎng)絡(luò)地址設(shè)置為網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口的地址,以便爬蟲(chóng)可以根據(jù)網(wǎng)絡(luò)地址訪問(wèn)到redis集群,進(jìn)而從redis集群中獲取更新數(shù)據(jù)。
[0097]或者,在另一種實(shí)現(xiàn)方式中,步驟S22也可以通過(guò)如下過(guò)程實(shí)現(xiàn):
[0098]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址獲取所述更新數(shù)據(jù),所述網(wǎng)絡(luò)地址為統(tǒng)一資源定位符 URL〇[〇〇99]爬蟲(chóng)的網(wǎng)絡(luò)地址也可以設(shè)置為類似于相關(guān)技術(shù)中的網(wǎng)絡(luò)地址,也即URL(統(tǒng)一資源定位符,Uniform Resource Locator)。當(dāng)爬蟲(chóng)接收到通知信息后,爬蟲(chóng)根據(jù)URL訪問(wèn)到服務(wù)器,進(jìn)而從服務(wù)器中獲取更新數(shù)據(jù)。在具體實(shí)現(xiàn)過(guò)程中,本公開(kāi)所屬領(lǐng)域的普通技術(shù)人員可以根據(jù)實(shí)際進(jìn)行選擇,本公開(kāi)不做具體限制。
[0100]由上述描述可以看出,在本公開(kāi)中,為了使爬蟲(chóng)獲取更新數(shù)據(jù),僅需要修改爬蟲(chóng)的網(wǎng)絡(luò)地址,對(duì)于爬蟲(chóng)的其他代碼邏輯并不需要進(jìn)行修改。
[0101]進(jìn)一步,在另一種實(shí)現(xiàn)方式中,如圖6所示,需要更新數(shù)據(jù)的設(shè)備端執(zhí)行的更新數(shù)據(jù)的方法除包括步驟S21和步驟S22外,還可以包括:
[0102]步驟S23:控制所述爬蟲(chóng)按照預(yù)設(shè)周期從所述服務(wù)器獲取數(shù)據(jù)。
[0103]具體來(lái)講,除了控制爬蟲(chóng)在接收到通知信息時(shí)及時(shí)從redis集群中獲取服務(wù)器主動(dòng)推送來(lái)的更新數(shù)據(jù)之外,為了避免數(shù)據(jù)遺漏,還可以控制爬蟲(chóng)按照預(yù)設(shè)周期,定時(shí)從服務(wù)器獲取數(shù)據(jù)。
[0104]因此,在本公開(kāi)中,一方便爬蟲(chóng)按照預(yù)設(shè)周期,定時(shí)從服務(wù)器拉取數(shù)據(jù);另一方便, 服務(wù)器在爬蟲(chóng)沒(méi)有拉取數(shù)據(jù)時(shí),及時(shí)將更新的數(shù)據(jù)主動(dòng)推送到redis集群,進(jìn)而使得爬蟲(chóng)可以從redis集群獲取更新數(shù)據(jù)。所以,可以實(shí)時(shí)同步數(shù)據(jù),并且避免數(shù)據(jù)遺漏。[〇1〇5]本公開(kāi)中,在中間設(shè)備上部署了 redis集群,而中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間。當(dāng)服務(wù)器有數(shù)據(jù)更新時(shí),服務(wù)器通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向 redis集群推送更新數(shù)據(jù)。因此中間設(shè)備通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù),然后進(jìn)一步通知爬蟲(chóng)從redis中獲取更新數(shù)據(jù),從而使得需要更新數(shù)據(jù)的設(shè)備及時(shí)獲得更新數(shù)據(jù)。
[0106]另外,應(yīng)當(dāng)理解,在執(zhí)行本公開(kāi)更新數(shù)據(jù)方法的同時(shí),爬蟲(chóng)可以仍然定時(shí)從服務(wù)器獲取數(shù)據(jù),以避免更新數(shù)量丟失或者遺漏。
[0107]圖7是根據(jù)一示例性實(shí)施例示出的一種更新數(shù)據(jù)的裝置的框圖。參照?qǐng)D7,該裝置 500包括獲得模塊510和通知模塊520。
[0108]該獲得模塊510被配置為通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù),其中,所述 redis集群部署在中間設(shè)備上,所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;當(dāng)所述服務(wù)器有數(shù)據(jù)更新時(shí),通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù);[〇1〇9]該通知模塊520被配置為通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù),以使所述需要更新數(shù)據(jù)的設(shè)備獲得所述更新數(shù)據(jù)。
[0110]可選地,如圖8所示,該裝置500除包括獲得模塊510和通知模塊520外,還包括:
[0111]監(jiān)控模塊530,被配置為在所述通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)之前,監(jiān)控所述redis集群是否寫入所述更新數(shù)據(jù);[〇112]確定模塊540,被配置為在監(jiān)控到所述redis集群寫入所述更新數(shù)據(jù)寫入時(shí),確定需要通知所述爬蟲(chóng)。
[0113]可選地,裝置500中的所述網(wǎng)絡(luò)服務(wù)部署在所述redis集群中。
[0114]可選地,如圖9所示,該裝置500除包括獲得模塊510和通知模塊520外,還包括: [〇115]存儲(chǔ)模塊550,被配置為在所述通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)之后, 按照與所述服務(wù)器推送所述更新數(shù)據(jù)的一致的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所述更新數(shù)據(jù)。
[0116]圖10是根據(jù)一示例性實(shí)施例示出的一種更新數(shù)據(jù)的裝置的框圖。參照?qǐng)D10,該裝置700包括接收模塊710和第一控制模塊720。
[0117]接收模塊710,被配置為接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息;其中,所述redis集群部署在中間設(shè)備上,所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;
[0118]第一控制模塊720,被配置為控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述 redis集群中獲取所述更新數(shù)據(jù)。
[0119]可選地,所述第一控制模塊720被配置為:
[0120]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址從所述redis集群中獲取所述更新數(shù)據(jù),所述網(wǎng)絡(luò)地址為所述服務(wù)器向所述redis集群推送所述更新數(shù)據(jù)時(shí)所調(diào)用的所述網(wǎng)絡(luò)代理接口的地址。
[0121]可選地,所述第一控制模塊720被配置為:
[0122]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址獲取所述更新數(shù)據(jù),所述網(wǎng)絡(luò)地址為統(tǒng)一資源定位符 URL〇
[0123]可選地,如圖11所示,該裝置700除包括接收模塊710和第一控制模塊720外,還包括:
[0124]第二控制模塊730,被配置為控制所述爬蟲(chóng)按照預(yù)設(shè)周期從所述服務(wù)器獲取數(shù)據(jù)。
[0125]圖12是根據(jù)一示例性實(shí)施例示出的一種用于數(shù)據(jù)更新的裝置1200的框圖。例如, 裝置1200可以被提供為一服務(wù)器。參照?qǐng)D12,裝置1200包括處理組件1222,其進(jìn)一步包括一個(gè)或多個(gè)處理器,以及由存儲(chǔ)器1232所代表的存儲(chǔ)器資源,用于存儲(chǔ)可由處理組件1222的執(zhí)行的指令,例如應(yīng)用程序。存儲(chǔ)器1232中存儲(chǔ)的應(yīng)用程序可以包括一個(gè)或一個(gè)以上的每一個(gè)對(duì)應(yīng)于一組指令的模塊。此外,處理組件1222被配置為執(zhí)行指令,以執(zhí)行上述更新數(shù)據(jù)的方法。
[0126]裝置1200還可以包括一個(gè)電源組件1226被配置為執(zhí)行裝置1200的電源管理,一個(gè)有線或無(wú)線網(wǎng)絡(luò)接口 1250被配置為將裝置1200連接到網(wǎng)絡(luò),和一個(gè)輸入輸出(I/O)接口 1258。裝置1200可以操作基于存儲(chǔ)在存儲(chǔ)器1232的操作系統(tǒng),例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,F(xiàn)reeBSDTM或類似。
[0127]在示例性實(shí)施例中,還提供了一種包括指令的非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),例如包括指令的存儲(chǔ)器1204,上述指令可由裝置1200的處理器1220執(zhí)行以完成上述更新數(shù)據(jù)的方法。例如,所述非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是R0M、隨機(jī)存取存儲(chǔ)器(RAM)、CD-R0M、磁帶、軟盤和光數(shù)據(jù)存儲(chǔ)設(shè)備等。
[0128]圖13是根據(jù)一示例性實(shí)施例示出的一種用于數(shù)據(jù)更新的裝置1300的框圖。例如, 裝置1300可以是移動(dòng)電話,計(jì)算機(jī),數(shù)字廣播終端,消息收發(fā)設(shè)備,游戲控制臺(tái),平板設(shè)備, 醫(yī)療設(shè)備,健身設(shè)備,個(gè)人數(shù)字助理等。
[0129]參照?qǐng)D13,裝置1300可以包括以下一個(gè)或多個(gè)組件:處理組件1302,存儲(chǔ)器1304, 電力組件1306,多媒體組件1308,音頻組件1310,輸入/輸出(I/0)的接口 1312,傳感器組件 1314,以及通信組件1316。[〇13〇] 處理組件1302通常控制裝置1300的整體操作,諸如與顯示,電話呼叫,數(shù)據(jù)通信, 相機(jī)操作和記錄操作相關(guān)聯(lián)的操作。處理組件1302可以包括一個(gè)或多個(gè)處理器1320來(lái)執(zhí)行指令,以完成上述更新數(shù)據(jù)的方法的全部或部分步驟。此外,處理組件1302可以包括一個(gè)或多個(gè)模塊,便于處理組件1302和其他組件之間的交互。例如,處理組件1302可以包括多媒體模塊,以方便多媒體組件1308和處理組件1302之間的交互。[〇131]存儲(chǔ)器1304被配置為存儲(chǔ)各種類型的數(shù)據(jù)以支持在裝置1300的操作。這些數(shù)據(jù)的示例包括用于在裝置1300上操作的任何應(yīng)用程序或方法的指令,聯(lián)系人數(shù)據(jù),電話簿數(shù)據(jù), 消息,圖片,視頻等。存儲(chǔ)器1304可以由任何類型的易失性或非易失性存儲(chǔ)設(shè)備或者它們的組合實(shí)現(xiàn),如靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM),電可擦除可編程只讀存儲(chǔ)器(EEPR0M),可擦除可編程只讀存儲(chǔ)器(EPROM),可編程只讀存儲(chǔ)器(PR0M),只讀存儲(chǔ)器(ROM),磁存儲(chǔ)器,快閃存儲(chǔ)器,磁盤或光盤。
[0132]電力組件1306為裝置1300的各種組件提供電力。電力組件1306可以包括電源管理系統(tǒng),一個(gè)或多個(gè)電源,及其他與為裝置1300生成、管理和分配電力相關(guān)聯(lián)的組件。
[0133]多媒體組件1308包括在所述裝置1300和用戶之間的提供一個(gè)輸出接口的屏幕。在一些實(shí)施例中,屏幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果屏幕包括觸摸面板, 屏幕可以被實(shí)現(xiàn)為觸摸屏,以接收來(lái)自用戶的輸入信號(hào)。觸摸面板包括一個(gè)或多個(gè)觸摸傳感器以感測(cè)觸摸、滑動(dòng)和觸摸面板上的手勢(shì)。所述觸摸傳感器可以不僅感測(cè)觸摸或滑動(dòng)動(dòng)作的邊界,而且還檢測(cè)與所述觸摸或滑動(dòng)操作相關(guān)的持續(xù)時(shí)間和壓力。在一些實(shí)施例中,多媒體組件1308包括一個(gè)前置攝像頭和/或后置攝像頭。當(dāng)裝置1300處于操作模式,如拍攝模式或視頻模式時(shí),前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個(gè)前置攝像頭和后置攝像頭可以是一個(gè)固定的光學(xué)透鏡系統(tǒng)或具有焦距和光學(xué)變焦能力。
[0134]音頻組件1310被配置為輸出和/或輸入音頻信號(hào)。例如,音頻組件1310包括一個(gè)麥克風(fēng)(MIC),當(dāng)裝置1300處于操作模式,如呼叫模式、記錄模式和語(yǔ)音識(shí)別模式時(shí),麥克風(fēng)被配置為接收外部音頻信號(hào)。所接收的音頻信號(hào)可以被進(jìn)一步存儲(chǔ)在存儲(chǔ)器1304或經(jīng)由通信組件1316發(fā)送。在一些實(shí)施例中,音頻組件1310還包括一個(gè)揚(yáng)聲器,用于輸出音頻信號(hào)。
[0135]I/O接口 1312為處理組件1302和外圍接口模塊之間提供接口,上述外圍接口模塊可以是鍵盤,點(diǎn)擊輪,按鈕等。這些按鈕可包括但不限于:主頁(yè)按鈕、音量按鈕、啟動(dòng)按鈕和鎖定按鈕。
[0136]傳感器組件1314包括一個(gè)或多個(gè)傳感器,用于為裝置1300提供各個(gè)方面的狀態(tài)評(píng)估。例如,傳感器組件1314可以檢測(cè)到裝置1300的打開(kāi)/關(guān)閉狀態(tài),組件的相對(duì)定位,例如所述組件為裝置1300的顯示器和小鍵盤,傳感器組件1314還可以檢測(cè)裝置1300或裝置1300— 個(gè)組件的位置改變,用戶與裝置1300接觸的存在或不存在,裝置1300方位或加速/減速和裝置1300的溫度變化。傳感器組件1314可以包括接近傳感器,被配置用來(lái)在沒(méi)有任何的物理接觸時(shí)檢測(cè)附近物體的存在。傳感器組件1314還可以包括光傳感器,如CMOS或CCD圖像傳感器,用于在成像應(yīng)用中使用。在一些實(shí)施例中,該傳感器組件1314還可以包括加速度傳感器,陀螺儀傳感器,磁傳感器,壓力傳感器或溫度傳感器。
[0137]通信組件1316被配置為便于裝置1300和其他設(shè)備之間有線或無(wú)線方式的通信。裝置1300可以接入基于通信標(biāo)準(zhǔn)的無(wú)線網(wǎng)絡(luò),如WiFi,2G或3G,或它們的組合。在一個(gè)示例性實(shí)施例中,通信組件1316經(jīng)由廣播信道接收來(lái)自外部廣播管理系統(tǒng)的廣播信號(hào)或廣播相關(guān)信息。在一個(gè)示例性實(shí)施例中,所述通信組件1316還包括近場(chǎng)通信(NFC)模塊,以促進(jìn)短程通信。例如,在NFC模塊可基于射頻識(shí)別(RFID)技術(shù),紅外數(shù)據(jù)協(xié)會(huì)(IrDA)技術(shù),超寬帶 (UWB)技術(shù),藍(lán)牙(BT)技術(shù)和其他技術(shù)來(lái)實(shí)現(xiàn)。
[0138]在示例性實(shí)施例中,裝置1300可以被一個(gè)或多個(gè)應(yīng)用專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理設(shè)備(DSPD)、可編程邏輯器件(PLD)、現(xiàn)場(chǎng)可編程門陣列 (FPGA)、控制器、微控制器、微處理器或其他電子元件實(shí)現(xiàn),用于執(zhí)行上述更新數(shù)據(jù)的方法。
[0139]本領(lǐng)域技術(shù)人員在考慮說(shuō)明書及實(shí)踐本公開(kāi)后,將容易想到本公開(kāi)的其它實(shí)施方案。本申請(qǐng)旨在涵蓋本公開(kāi)的任何變型、用途或者適應(yīng)性變化,這些變型、用途或者適應(yīng)性變化遵循本公開(kāi)的一般性原理并包括本公開(kāi)未公開(kāi)的本技術(shù)領(lǐng)域中的公知常識(shí)或慣用技術(shù)手段。說(shuō)明書和實(shí)施例僅被視為示例性的,本公開(kāi)的真正范圍和精神由下面的權(quán)利要求指出。[〇14〇]應(yīng)當(dāng)理解的是,本公開(kāi)并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu),并且可以在不脫離其范圍進(jìn)行各種修改和改變。本公開(kāi)的范圍僅由所附的權(quán)利要求來(lái)限制。
【主權(quán)項(xiàng)】
1.一種更新數(shù)據(jù)的方法,其特征在于,包括:通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù),其中,所述redis集群部署在中間設(shè)備上, 所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;當(dāng)所述服務(wù)器有數(shù)據(jù)更新 時(shí),通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù);通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù),以使所述需要更新數(shù)據(jù)的設(shè)備獲得所 述更新數(shù)據(jù)。2.如權(quán)利要求1所述的更新數(shù)據(jù)的方法,其特征在于,在所述通知爬蟲(chóng)從所述redis集 群獲取所述更新數(shù)據(jù)之前,還包括:監(jiān)控所述redis集群是否寫入所述更新數(shù)據(jù);在監(jiān)控到所述redi s集群寫入所述更新數(shù)據(jù)寫入時(shí),確定需要通知所述爬蟲(chóng)。3.如權(quán)利要求1所述的更新數(shù)據(jù)的方法,其特征在于,所述網(wǎng)絡(luò)服務(wù)部署在所述redis 集群中。4.如權(quán)利要求1所述的更新數(shù)據(jù)的方法,其特征在于,在所述通過(guò)redis集群獲得服務(wù) 器推送的更新數(shù)據(jù)之后,還包括:按照與所述服務(wù)器推送所述更新數(shù)據(jù)的一致的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所述更新數(shù)據(jù)。5.—種更新數(shù)據(jù)的方法,其特征在于,包括:接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息;其中,所述redis集群 部署在中間設(shè)備上,所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù)。6.如權(quán)利要求5所述的更新數(shù)據(jù)的方法,其特征在于,所述控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù) 的網(wǎng)絡(luò)代理接口從所述red i s集群中獲取所述更新數(shù)據(jù),包括:根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址從所述redis集群中獲取所述更新數(shù)據(jù),所述網(wǎng)絡(luò)地址為所 述服務(wù)器向所述redis集群推送所述更新數(shù)據(jù)時(shí)所調(diào)用的所述網(wǎng)絡(luò)代理接口的地址。7.如權(quán)利要求5所述的更新數(shù)據(jù)的方法,其特征在于,所述控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù) 的網(wǎng)絡(luò)代理接口從所述red i s集群中獲取所述更新數(shù)據(jù),包括:根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址獲取所述更新數(shù)據(jù),所述網(wǎng)絡(luò)地址為統(tǒng)一資源定位符URL。8.如權(quán)利要求5所述的更新數(shù)據(jù)的方法,其特征在于,所述方法還包括:控制所述爬蟲(chóng)按照預(yù)設(shè)周期從所述服務(wù)器獲取數(shù)據(jù)。9.一種更新數(shù)據(jù)的裝置,其特征在于,包括:獲得模塊,被配置為通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù),其中,所述redis集群 部署在中間設(shè)備上,所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;當(dāng)所述 服務(wù)器有數(shù)據(jù)更新時(shí),通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新 數(shù)據(jù);通知模塊,被配置為通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù),以使所述需要更新 數(shù)據(jù)的設(shè)備獲得所述更新數(shù)據(jù)。10.根據(jù)權(quán)利要求9所述的更新數(shù)據(jù)的裝置,其特征在于,所述裝置還包括:監(jiān)控模塊,被配置為在所述通知爬蟲(chóng)從所述redi s集群獲取所述更新數(shù)據(jù)之前,監(jiān)控所 述redis集群是否寫入所述更新數(shù)據(jù);確定模塊,被配置為在監(jiān)控到所述redis集群寫入所述更新數(shù)據(jù)寫入時(shí),確定需要通知所述爬蟲(chóng)。11.根據(jù)權(quán)利要求9所述的更新數(shù)據(jù)的裝置,其特征在于,所述網(wǎng)絡(luò)服務(wù)部署在所述 redis集群中。12.根據(jù)權(quán)利要求9所述的更新數(shù)據(jù)的裝置,其特征在于,所述裝置還包括:存儲(chǔ)模塊,被配置為在所述通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)之后,按照與所 述服務(wù)器推送所述更新數(shù)據(jù)的一致的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所述更新數(shù)據(jù)。13.—種更新數(shù)據(jù)的裝置,其特征在于,所述裝置包括:接收模塊,被配置為接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息;其 中,所述redis集群部署在中間設(shè)備上,所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備 之間;第一控制模塊,被配置為控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集 群中獲取所述更新數(shù)據(jù)。14.根據(jù)權(quán)利要求13述的更新數(shù)據(jù)的裝置,其特征在于,所述第一控制模塊被配置為: 根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址從所述redis集群中獲取所述更新數(shù)據(jù),所述網(wǎng)絡(luò)地址為所述服務(wù)器向所述redis集群推送所述更新數(shù)據(jù)時(shí)所調(diào)用的所述網(wǎng)絡(luò)代理接口的地址。15.根據(jù)權(quán)利要求13所述的更新數(shù)據(jù)的裝置,其特征在于,所述第一控制模塊被配置 為:根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址獲取所述更新數(shù)據(jù),所述網(wǎng)絡(luò)地址為統(tǒng)一資源定位符URL。16.根據(jù)權(quán)利要求13所述的更新數(shù)據(jù)的裝置,其特征在于,所述裝置還包括:第二控制模塊,被配置為控制所述爬蟲(chóng)按照預(yù)設(shè)周期從所述服務(wù)器獲取數(shù)據(jù)。17.—種更新數(shù)據(jù)的裝置,其特征在于,包括:處理器;用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器;其中,所述處理器被配置為:通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù),其中,所述redis集群部署在中間設(shè)備上, 所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;當(dāng)所述服務(wù)器有數(shù)據(jù)更新 時(shí),通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù);通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù),以使所述需要更新數(shù)據(jù)的設(shè)備獲得所 述更新數(shù)據(jù)。18.—種更新數(shù)據(jù)的裝置,其特征在于,包括:處理器;用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器;其中,所述處理器被配置為:接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息;其中,所述redis集群 部署在中間設(shè)備上,所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間;控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù)。
【文檔編號(hào)】H04L29/08GK106060138SQ201610392547
【公開(kāi)日】2016年10月26日
【申請(qǐng)日】2016年6月6日
【發(fā)明人】張旭華, 楊松, 張濤
【申請(qǐng)人】北京小米移動(dòng)軟件有限公司