更新數(shù)據(jù)的方法及裝置的制造方法
【專利摘要】本公開(kāi)是關(guān)于一種更新數(shù)據(jù)的方法及裝置。在中間設(shè)備上部署了redis集群，而中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間。當(dāng)服務(wù)器有數(shù)據(jù)更新時(shí)，服務(wù)器通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向redis集群推送更新數(shù)據(jù)。因此中間設(shè)備通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)，然后進(jìn)一步通知爬蟲(chóng)從redis中獲取更新數(shù)據(jù)，從而使得需要更新數(shù)據(jù)的設(shè)備及時(shí)獲得更新數(shù)據(jù)。因此，實(shí)現(xiàn)了提高數(shù)據(jù)更新實(shí)時(shí)性的技術(shù)效果。并且，不需要額外增加硬件，因此節(jié)約了成本。
【專利說(shuō)明】
更新數(shù)據(jù)的方法及裝置
技術(shù)領(lǐng)域
[0001 ]本公開(kāi)涉及計(jì)算機(jī)通信領(lǐng)域，尤其涉及更新數(shù)據(jù)的方法及裝置?！颈尘凹夹g(shù)】
[0002]目前，設(shè)備存儲(chǔ)數(shù)據(jù)的過(guò)程為:首先，設(shè)備通過(guò)爬蟲(chóng)從服務(wù)器獲取數(shù)據(jù)。設(shè)備獲取數(shù)據(jù)后對(duì)進(jìn)行分析，從而將獲取到的數(shù)據(jù)轉(zhuǎn)換成所需的數(shù)據(jù)格式存儲(chǔ)。然而，在服務(wù)器數(shù)據(jù)更新后，卻不能同步更新設(shè)備中數(shù)據(jù)，有時(shí)可能要滯后到下一個(gè)爬蟲(chóng)獲取數(shù)據(jù)的時(shí)刻才能同步。
[0003]相關(guān)技術(shù)中的一種解決方式，是在爬蟲(chóng)以外，另外部署一個(gè)系統(tǒng)。進(jìn)而，服務(wù)器更新數(shù)據(jù)時(shí)，調(diào)用這個(gè)新系統(tǒng)的接口來(lái)推送更新數(shù)據(jù)。
[0004]可以看出，由于需要增加和維護(hù)一個(gè)系統(tǒng)，因此增加了硬件成本和維護(hù)成本。
【發(fā)明內(nèi)容】

[0005]為克服相關(guān)技術(shù)中存在的問(wèn)題，本公開(kāi)提供一種更新數(shù)據(jù)的方法及裝置。
[0006]根據(jù)本公開(kāi)實(shí)施例的第一方面，提供一種更新數(shù)據(jù)的方法，包括:
[0007]通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)，其中，所述redis集群部署在中間設(shè)備上，所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；當(dāng)所述服務(wù)器有數(shù)據(jù)更新時(shí)，通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù)；
[0008]通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)，以使所述需要更新數(shù)據(jù)的設(shè)備獲得所述更新數(shù)據(jù)。
[0009]可選地，在所述通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)之前，還包括:
[0010]監(jiān)控所述redis集群是否寫入所述更新數(shù)據(jù)；
[0011]在監(jiān)控到所述redis集群寫入所述更新數(shù)據(jù)寫入時(shí)，確定需要通知所述爬蟲(chóng)。
[0012]可選地，所述網(wǎng)絡(luò)服務(wù)部署在所述redis集群中。[〇〇13] 可選地，在所述通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)之后，還包括:
[0014]按照與所述服務(wù)器推送所述更新數(shù)據(jù)的一致的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所述更新數(shù)據(jù)。
[0015]根據(jù)本公開(kāi)實(shí)施例的第二方面，提供一種更新數(shù)據(jù)的方法，包括:[0〇16]接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息；其中，所述redis 集群部署在中間設(shè)備上，所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；[〇〇17]控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù)。[〇〇18]可選地，所述控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù)，包括:[〇〇19]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址從所述redis集群中獲取所述更新數(shù)據(jù)，所述網(wǎng)絡(luò)地址為所述服務(wù)器向所述redis集群推送所述更新數(shù)據(jù)時(shí)所調(diào)用的所述網(wǎng)絡(luò)代理接口的地址。
[0020]可選地，所述控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù)，包括:
[0021]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址獲取所述更新數(shù)據(jù)，所述網(wǎng)絡(luò)地址為統(tǒng)一資源定位符 URL〇[〇〇22] 可選地，所述方法還包括:
[0023]控制所述爬蟲(chóng)按照預(yù)設(shè)周期從所述服務(wù)器獲取數(shù)據(jù)。
[0024]根據(jù)本公開(kāi)實(shí)施例的第三方面，提供一種更新數(shù)據(jù)的裝置，包括:[〇〇25]獲得模塊，被配置為通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)，其中，所述redis 集群部署在中間設(shè)備上，所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；當(dāng)所述服務(wù)器有數(shù)據(jù)更新時(shí)，通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù)；
[0026]通知模塊，被配置為通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)，以使所述需要更新數(shù)據(jù)的設(shè)備獲得所述更新數(shù)據(jù)。[〇〇27] 可選地，所述裝置還包括:
[0028]監(jiān)控模塊，被配置為在所述通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)之前，監(jiān)控所述redis集群是否寫入所述更新數(shù)據(jù)；[〇〇29]確定模塊，被配置為在監(jiān)控到所述redis集群寫入所述更新數(shù)據(jù)寫入時(shí)，確定需要通知所述爬蟲(chóng)。
[0030]可選地，所述網(wǎng)絡(luò)服務(wù)部署在所述redis集群中。[〇〇31] 可選地，所述裝置還包括:
[0032]存儲(chǔ)模塊，被配置為在所述通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)之后，按照與所述服務(wù)器推送所述更新數(shù)據(jù)的一致的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所述更新數(shù)據(jù)。
[0033]根據(jù)本公開(kāi)實(shí)施例的第四方面，提供一種更新數(shù)據(jù)的裝置，包括:
[0034]接收模塊，被配置為接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息;其中，所述redis集群部署在中間設(shè)備上，所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；[〇〇35]第一控制模塊，被配置為控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述 redis集群中獲取所述更新數(shù)據(jù)。
[0036]可選地，所述第一控制模塊被配置為:[〇〇37]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址從所述redis集群中獲取所述更新數(shù)據(jù)，所述網(wǎng)絡(luò)地址為所述服務(wù)器向所述redis集群推送所述更新數(shù)據(jù)時(shí)所調(diào)用的所述網(wǎng)絡(luò)代理接口的地址。
[0038]可選地，所述第一控制模塊被配置為:
[0039]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址獲取所述更新數(shù)據(jù)，所述網(wǎng)絡(luò)地址為統(tǒng)一資源定位符 URL〇
[0040]可選地，所述裝置還包括:
[0041]第二控制模塊，被配置為控制所述爬蟲(chóng)按照預(yù)設(shè)周期從所述服務(wù)器獲取數(shù)據(jù)。 [〇〇42]根據(jù)本公開(kāi)實(shí)施例的第五方面，提供一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述存儲(chǔ)介質(zhì)中的指令由中間設(shè)備的處理器執(zhí)行時(shí)，使得中間設(shè)備能夠執(zhí)行一種更新數(shù)據(jù)的方法，所述方法包括:[〇〇43]通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)，其中，所述redis集群部署在中間設(shè)備上，所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；當(dāng)所述服務(wù)器有數(shù)據(jù)更新時(shí)，通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù)；
[0044]通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)，以使所述需要更新數(shù)據(jù)的設(shè)備獲得所述更新數(shù)據(jù)。
[0045]根據(jù)本公開(kāi)實(shí)施例的第六方面，提供一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述存儲(chǔ)介質(zhì)中的指令由需要更新數(shù)據(jù)的設(shè)備的處理器執(zhí)行時(shí)，使得需要更新數(shù)據(jù)的設(shè)備能夠執(zhí)行一種更新數(shù)據(jù)的方法，所述方法包括:[0〇46]接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息；其中，所述redis 集群部署在中間設(shè)備上，所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；[〇〇47]控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù)。
[0048]本公開(kāi)的實(shí)施例提供的技術(shù)方案可以包括以下有益效果:[〇〇49]本公開(kāi)中，在中間設(shè)備上部署了 redis集群，而中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間。當(dāng)服務(wù)器有數(shù)據(jù)更新時(shí)，服務(wù)器通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向 redis集群推送更新數(shù)據(jù)。因此中間設(shè)備通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)，然后進(jìn)一步通知爬蟲(chóng)從redis中獲取更新數(shù)據(jù)，從而使得需要更新數(shù)據(jù)的設(shè)備及時(shí)獲得更新數(shù)據(jù)。因此，實(shí)現(xiàn)了提高數(shù)據(jù)更新實(shí)時(shí)性的技術(shù)效果。并且，不需要額外增加硬件，因此節(jié)約了成本。
[0050]應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開(kāi)?！靖綀D說(shuō)明】
[0051]此處的附圖被并入說(shuō)明書中并構(gòu)成本說(shuō)明書的一部分，示出了符合本公開(kāi)的實(shí)施例，并與說(shuō)明書一起用于解釋本公開(kāi)的原理。
[0052]圖1是根據(jù)一示例性實(shí)施例示出的應(yīng)用場(chǎng)景圖。
[0053]圖2是根據(jù)一示例性實(shí)施例示出的中間設(shè)備端更新數(shù)據(jù)方法的流程圖。
[0054]圖3是根據(jù)一示例性實(shí)施例示出的中間設(shè)備端更新數(shù)據(jù)方法的另一流程圖。
[0055]圖4是根據(jù)一示例性實(shí)施例示出的中間設(shè)備端更新數(shù)據(jù)方法的另一流程圖。
[0056]圖5是根據(jù)一示例性實(shí)施例示出的需要更新數(shù)據(jù)的設(shè)備端更新數(shù)據(jù)方法的流程圖。
[0057]圖6是根據(jù)一示例性實(shí)施例示出的需要更新數(shù)據(jù)的設(shè)備端更新數(shù)據(jù)方法的另一流程圖。[〇〇58]圖7是根據(jù)一示例性實(shí)施例示出的第一種更新數(shù)據(jù)裝置的框圖。[〇〇59]圖8是根據(jù)一示例性實(shí)施例示出的第一種更新數(shù)據(jù)裝置的另一框圖。[〇〇6〇]圖9是根據(jù)一示例性實(shí)施例示出的第一種更新數(shù)據(jù)裝置的另一框圖。[〇〇61]圖10是根據(jù)一示例性實(shí)施例示出的第二種更新數(shù)據(jù)裝置的框圖。[〇〇62]圖11是根據(jù)一示例性實(shí)施例示出的第二種更新數(shù)據(jù)裝置的另一框圖。[〇〇63]圖12是根據(jù)一示例性實(shí)施例示出的一種更新數(shù)據(jù)的裝置的框圖。[〇〇64]圖13是根據(jù)一示例性實(shí)施例示出的一種更新數(shù)據(jù)的裝置的框圖?！揪唧w實(shí)施方式】
[0065]這里將詳細(xì)地對(duì)示例性實(shí)施例進(jìn)行說(shuō)明，其示例表示在附圖中。下面的描述涉及附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本公開(kāi)相一致的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書中所詳述的、本公開(kāi)的一些方面相一致的裝置和方法的例子。
[0066]為了理解本公開(kāi)更新數(shù)據(jù)的方法，首先對(duì)本公開(kāi)中更新數(shù)據(jù)方法的應(yīng)用場(chǎng)景進(jìn)行介紹。請(qǐng)參考圖1，圖1是根據(jù)一示例性實(shí)施例示出的應(yīng)用場(chǎng)景圖。該場(chǎng)景包括:服務(wù)器、中間設(shè)備和需要更新數(shù)據(jù)的設(shè)備。具體來(lái)講，中間設(shè)備和需要更新數(shù)據(jù)接入同一網(wǎng)關(guān)，屬于一個(gè)系統(tǒng)中。當(dāng)然，在具體實(shí)現(xiàn)過(guò)程中，中間設(shè)備和需要更新數(shù)據(jù)的設(shè)備所在系統(tǒng)還可以包括其他設(shè)備，本公開(kāi)不做具體限制。[〇〇67]服務(wù)器與該系統(tǒng)通過(guò)網(wǎng)絡(luò)連接，進(jìn)而服務(wù)器能夠與該系統(tǒng)進(jìn)行交互，并為該系統(tǒng)提供數(shù)據(jù)。在本公開(kāi)中，中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間。
[0068]為了解決相關(guān)技術(shù)中存在的問(wèn)題，在本公開(kāi)中，中間設(shè)備中部署有redis(英文: redis，中文:重申)集群，需要更新數(shù)據(jù)的設(shè)備中部署有爬蟲(chóng)。其中，redis是一種典型的 NoSQL(非關(guān)系性數(shù)據(jù)庫(kù)，Not Only Structured Query Language)數(shù)據(jù)庫(kù)服務(wù)，采用KEY-VALUE存儲(chǔ)結(jié)構(gòu)，即鍵-值存儲(chǔ)結(jié)構(gòu)。redis集群可以作為服務(wù)程序獨(dú)立運(yùn)行于自己的服務(wù)器主機(jī)，同時(shí)作為內(nèi)存數(shù)據(jù)庫(kù)。不需要10讀取硬盤數(shù)據(jù)，能夠快速響應(yīng)。Redis集群具有持久化、支持多種數(shù)據(jù)結(jié)構(gòu)已經(jīng)支持主從復(fù)制等優(yōu)點(diǎn)。
[0069]另外，在中間設(shè)備和需要更新數(shù)據(jù)的設(shè)備所在系統(tǒng)中，還部署有網(wǎng)絡(luò)服務(wù)，例如 webdis。在具體實(shí)現(xiàn)過(guò)程中，網(wǎng)絡(luò)服務(wù)可以部署在中間設(shè)備或者需要更新數(shù)據(jù)的設(shè)備中，也可以部署在其它設(shè)備中，本領(lǐng)域的普通技術(shù)人員可以根據(jù)實(shí)際進(jìn)行設(shè)置，本公開(kāi)不做具體限制。在本公開(kāi)中，網(wǎng)絡(luò)服務(wù)能夠提供網(wǎng)絡(luò)代理接口，例如nginx。服務(wù)器通過(guò)網(wǎng)絡(luò)代理接口，可以訪問(wèn)中間設(shè)備上部署的redis集群。
[0070]下面，對(duì)更新數(shù)據(jù)的方法進(jìn)行介紹。首先介紹中間設(shè)備端的更新數(shù)據(jù)的方法。請(qǐng)參考圖2,圖2是根據(jù)一示例性實(shí)施例示出的服務(wù)器端更新數(shù)據(jù)方法的流程圖，該方法包括以下步驟。[0〇71]在步驟S11中，通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)，其中，所述redis集群部署在中間設(shè)備上，所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；當(dāng)所述服務(wù)器有數(shù)據(jù)更新時(shí)，通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù)。
[0072]在步驟S12中，通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)，以使所述需要更新數(shù)據(jù)的設(shè)備獲得所述更新數(shù)據(jù)。
[0073]具體來(lái)講，服務(wù)器對(duì)服務(wù)器中的數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)控。當(dāng)監(jiān)控到服務(wù)器中有數(shù)據(jù)更新時(shí)，為了及時(shí)將更新數(shù)據(jù)提供給需要更新數(shù)據(jù)的設(shè)備，在本公開(kāi)中，服務(wù)器將調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口，進(jìn)而通過(guò)網(wǎng)絡(luò)代理接口將更新數(shù)據(jù)推送到redis集群中。假設(shè)網(wǎng)絡(luò)服務(wù)為webdis，網(wǎng)絡(luò)代理接口為nginx，則在服務(wù)器有數(shù)據(jù)更新時(shí)，服務(wù)器調(diào)用webdis的nginx接口向redis集群推送更新數(shù)據(jù)。[〇〇74]所以在步驟S11中，中間設(shè)備通過(guò)redis集群獲取服務(wù)器推送來(lái)的更新數(shù)據(jù)。具體為，redis集群從網(wǎng)絡(luò)代理接口接收服務(wù)器推送來(lái)的更新數(shù)據(jù)。
[0075]收到更新數(shù)據(jù)后，為了及時(shí)使需要更新數(shù)據(jù)的設(shè)備獲得更新數(shù)據(jù)，在步驟S12中， 向爬蟲(chóng)發(fā)送通知信息。[〇〇76]具體來(lái)講，獲得更新數(shù)據(jù)后，中間設(shè)備反向通知爬蟲(chóng)。根據(jù)通知信息，從redis集群中獲取更新數(shù)據(jù)。由于爬蟲(chóng)部署在需要更新數(shù)據(jù)的設(shè)備上，所以通過(guò)爬蟲(chóng)就獲得了更新數(shù)據(jù)。
[0077]由上述描述可以看出，由于在中間設(shè)備上部署redis集群并不需要額外的硬件，所以，節(jié)約了成本。另外，通過(guò)redis集群獲得更新數(shù)據(jù)，并及時(shí)通知爬蟲(chóng)從redis集群獲取更新數(shù)據(jù)，進(jìn)而使得需要更新數(shù)據(jù)的設(shè)備可以及時(shí)獲得更新數(shù)據(jù)，從而實(shí)現(xiàn)實(shí)時(shí)同步數(shù)據(jù)。 [〇〇78]結(jié)合上述第一種實(shí)施方式，在第二種實(shí)施方式中，如圖3所示，本發(fā)明實(shí)施例提供的更新數(shù)據(jù)方法除包括步驟S11和步驟S12外，在步驟S12之前還可以進(jìn)一步包括:[〇〇79]步驟S12a:監(jiān)控所述redis集群是否寫入所述更新數(shù)據(jù)；[〇〇8〇]步驟S12b:在監(jiān)控到所述redis集群寫入所述更新數(shù)據(jù)寫入時(shí)，確定需要通知所述爬蟲(chóng)。
[0081]具體來(lái)講，當(dāng)redis集群中沒(méi)有數(shù)據(jù)寫入時(shí)，表示中間設(shè)備當(dāng)前可能沒(méi)有接收更新數(shù)據(jù)，進(jìn)而表示服務(wù)器可能并沒(méi)有發(fā)生數(shù)據(jù)更新，那么此時(shí)通知爬蟲(chóng)獲取數(shù)據(jù)就會(huì)浪費(fèi)資源。因此，在本公開(kāi)中，redis集群中還包括監(jiān)控插件，用于監(jiān)控redis集群的數(shù)據(jù)讀寫情況。 [〇〇82]當(dāng)監(jiān)控插件監(jiān)控到redis集群有更新數(shù)據(jù)寫入時(shí)，表示redis集群獲取到了更新數(shù)據(jù)，進(jìn)而監(jiān)控插件生成通知信息，并向需要更新數(shù)據(jù)的設(shè)備上部署的爬蟲(chóng)發(fā)送通知信息，以觸發(fā)爬蟲(chóng)及時(shí)獲取寫入redis集群的更新數(shù)據(jù)。[〇〇83]由上述描述可知，當(dāng)更新數(shù)據(jù)寫入redis集群后，中間設(shè)備才向爬蟲(chóng)發(fā)送通知信息，以便爬蟲(chóng)及時(shí)獲取更新數(shù)據(jù)。所以，一方面實(shí)現(xiàn)了實(shí)時(shí)同步數(shù)據(jù);另一方面，避免了在未發(fā)生數(shù)據(jù)更新時(shí)爬蟲(chóng)獲取數(shù)據(jù)引起的資源浪費(fèi)。
[0084]上文中介紹道，網(wǎng)絡(luò)服務(wù)可以部署在中間設(shè)備中，也可以部署在需要更新數(shù)據(jù)的設(shè)備中，也可以部署在其他設(shè)備上。結(jié)合第一種實(shí)施方式，在第三種實(shí)施方式中，將網(wǎng)絡(luò)服務(wù)具體部署在中間設(shè)備上，并且進(jìn)一步是將網(wǎng)絡(luò)服務(wù)器部署在redis集群中。[〇〇85]將網(wǎng)絡(luò)服務(wù)部署在redis集群中，redis集群從網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口接收更新數(shù)據(jù)時(shí)，與網(wǎng)絡(luò)代理接口保持對(duì)接的可靠性更高。并且，可以方便管理人員同時(shí)對(duì)redis和網(wǎng)絡(luò)服務(wù)進(jìn)行維護(hù)。
[0086]結(jié)合第一種實(shí)現(xiàn)方式，在第四種實(shí)現(xiàn)方式中，如圖4所示，本發(fā)明實(shí)施例提供的更新數(shù)據(jù)方法除包括步驟S11和步驟S12外，在步驟S11之后還可以進(jìn)一步還包括:
[0087]步驟Slla:按照與所述服務(wù)器推送所述更新數(shù)據(jù)的一致的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所述更新數(shù)據(jù)。
[0088]具體來(lái)講，通過(guò)redis集群獲得更新數(shù)據(jù)后，中間設(shè)備并不會(huì)對(duì)更新數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)進(jìn)行轉(zhuǎn)換，而是仍然按照與服務(wù)器推送更新數(shù)據(jù)時(shí)一致的數(shù)據(jù)結(jié)構(gòu)來(lái)存儲(chǔ)更新數(shù)據(jù)。
[0089]當(dāng)然，在具體實(shí)現(xiàn)過(guò)程中，也可以按照需要轉(zhuǎn)換更新數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)之后再存儲(chǔ)， 本公開(kāi)不做具體限制。
[0090]接下來(lái)，介紹需要更新數(shù)據(jù)的設(shè)備端的更新數(shù)據(jù)的方法。請(qǐng)參考圖5,圖5是根據(jù)一示例性實(shí)施例示出的需要更新數(shù)據(jù)的設(shè)備端更新數(shù)據(jù)方法的流程圖，該方法包括以下步驟。
[0091]在步驟S21中，接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息；其中，所述redis集群部署在中間設(shè)備上，所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間。[〇〇92] 在步驟S22中，控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù)。
[0093]具體來(lái)講，在步驟S21中，需要更新數(shù)據(jù)的設(shè)備接收中間設(shè)備發(fā)送來(lái)的通知信息， 觸發(fā)爬蟲(chóng)獲取更新數(shù)據(jù)。在步驟S22中，根據(jù)通知信息，控制爬蟲(chóng)從redis集群中獲取更新數(shù)據(jù)。
[0094]具體來(lái)講，在一種實(shí)現(xiàn)方式中，步驟S22可以通過(guò)如下過(guò)程實(shí)現(xiàn):[〇〇95]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址從所述redis集群中獲取所述更新數(shù)據(jù)，所述網(wǎng)絡(luò)地址為所述服務(wù)器向所述redis集群推送所述更新數(shù)據(jù)時(shí)所調(diào)用的所述網(wǎng)絡(luò)代理接口的地址。 [〇〇96]在本公開(kāi)中，如果是監(jiān)控插件在監(jiān)控到redis集群有更新數(shù)據(jù)寫入時(shí)向爬蟲(chóng)發(fā)送通知信息，則將爬蟲(chóng)的網(wǎng)絡(luò)地址設(shè)置為網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口的地址，以便爬蟲(chóng)可以根據(jù)網(wǎng)絡(luò)地址訪問(wèn)到redis集群，進(jìn)而從redis集群中獲取更新數(shù)據(jù)。
[0097]或者，在另一種實(shí)現(xiàn)方式中，步驟S22也可以通過(guò)如下過(guò)程實(shí)現(xiàn):
[0098]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址獲取所述更新數(shù)據(jù)，所述網(wǎng)絡(luò)地址為統(tǒng)一資源定位符 URL〇[〇〇99]爬蟲(chóng)的網(wǎng)絡(luò)地址也可以設(shè)置為類似于相關(guān)技術(shù)中的網(wǎng)絡(luò)地址，也即URL(統(tǒng)一資源定位符，Uniform Resource Locator)。當(dāng)爬蟲(chóng)接收到通知信息后，爬蟲(chóng)根據(jù)URL訪問(wèn)到服務(wù)器，進(jìn)而從服務(wù)器中獲取更新數(shù)據(jù)。在具體實(shí)現(xiàn)過(guò)程中，本公開(kāi)所屬領(lǐng)域的普通技術(shù)人員可以根據(jù)實(shí)際進(jìn)行選擇，本公開(kāi)不做具體限制。
[0100]由上述描述可以看出，在本公開(kāi)中，為了使爬蟲(chóng)獲取更新數(shù)據(jù)，僅需要修改爬蟲(chóng)的網(wǎng)絡(luò)地址，對(duì)于爬蟲(chóng)的其他代碼邏輯并不需要進(jìn)行修改。
[0101]進(jìn)一步，在另一種實(shí)現(xiàn)方式中，如圖6所示，需要更新數(shù)據(jù)的設(shè)備端執(zhí)行的更新數(shù)據(jù)的方法除包括步驟S21和步驟S22外，還可以包括:
[0102]步驟S23:控制所述爬蟲(chóng)按照預(yù)設(shè)周期從所述服務(wù)器獲取數(shù)據(jù)。
[0103]具體來(lái)講，除了控制爬蟲(chóng)在接收到通知信息時(shí)及時(shí)從redis集群中獲取服務(wù)器主動(dòng)推送來(lái)的更新數(shù)據(jù)之外，為了避免數(shù)據(jù)遺漏，還可以控制爬蟲(chóng)按照預(yù)設(shè)周期，定時(shí)從服務(wù)器獲取數(shù)據(jù)。
[0104]因此，在本公開(kāi)中，一方便爬蟲(chóng)按照預(yù)設(shè)周期，定時(shí)從服務(wù)器拉取數(shù)據(jù);另一方便， 服務(wù)器在爬蟲(chóng)沒(méi)有拉取數(shù)據(jù)時(shí)，及時(shí)將更新的數(shù)據(jù)主動(dòng)推送到redis集群，進(jìn)而使得爬蟲(chóng)可以從redis集群獲取更新數(shù)據(jù)。所以，可以實(shí)時(shí)同步數(shù)據(jù)，并且避免數(shù)據(jù)遺漏。[〇1〇5]本公開(kāi)中，在中間設(shè)備上部署了 redis集群，而中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間。當(dāng)服務(wù)器有數(shù)據(jù)更新時(shí)，服務(wù)器通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向 redis集群推送更新數(shù)據(jù)。因此中間設(shè)備通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)，然后進(jìn)一步通知爬蟲(chóng)從redis中獲取更新數(shù)據(jù)，從而使得需要更新數(shù)據(jù)的設(shè)備及時(shí)獲得更新數(shù)據(jù)。
[0106]另外，應(yīng)當(dāng)理解，在執(zhí)行本公開(kāi)更新數(shù)據(jù)方法的同時(shí)，爬蟲(chóng)可以仍然定時(shí)從服務(wù)器獲取數(shù)據(jù)，以避免更新數(shù)量丟失或者遺漏。
[0107]圖7是根據(jù)一示例性實(shí)施例示出的一種更新數(shù)據(jù)的裝置的框圖。參照?qǐng)D7,該裝置 500包括獲得模塊510和通知模塊520。
[0108]該獲得模塊510被配置為通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)，其中，所述 redis集群部署在中間設(shè)備上，所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；當(dāng)所述服務(wù)器有數(shù)據(jù)更新時(shí)，通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù)；[〇1〇9]該通知模塊520被配置為通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)，以使所述需要更新數(shù)據(jù)的設(shè)備獲得所述更新數(shù)據(jù)。
[0110]可選地，如圖8所示，該裝置500除包括獲得模塊510和通知模塊520外，還包括:
[0111]監(jiān)控模塊530，被配置為在所述通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)之前，監(jiān)控所述redis集群是否寫入所述更新數(shù)據(jù)；[〇112]確定模塊540,被配置為在監(jiān)控到所述redis集群寫入所述更新數(shù)據(jù)寫入時(shí)，確定需要通知所述爬蟲(chóng)。
[0113]可選地，裝置500中的所述網(wǎng)絡(luò)服務(wù)部署在所述redis集群中。
[0114]可選地，如圖9所示，該裝置500除包括獲得模塊510和通知模塊520外，還包括: [〇115]存儲(chǔ)模塊550,被配置為在所述通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)之后， 按照與所述服務(wù)器推送所述更新數(shù)據(jù)的一致的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所述更新數(shù)據(jù)。
[0116]圖10是根據(jù)一示例性實(shí)施例示出的一種更新數(shù)據(jù)的裝置的框圖。參照?qǐng)D10,該裝置700包括接收模塊710和第一控制模塊720。
[0117]接收模塊710,被配置為接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息;其中，所述redis集群部署在中間設(shè)備上，所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；
[0118]第一控制模塊720,被配置為控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述 redis集群中獲取所述更新數(shù)據(jù)。
[0119]可選地，所述第一控制模塊720被配置為:
[0120]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址從所述redis集群中獲取所述更新數(shù)據(jù)，所述網(wǎng)絡(luò)地址為所述服務(wù)器向所述redis集群推送所述更新數(shù)據(jù)時(shí)所調(diào)用的所述網(wǎng)絡(luò)代理接口的地址。
[0121]可選地，所述第一控制模塊720被配置為:
[0122]根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址獲取所述更新數(shù)據(jù)，所述網(wǎng)絡(luò)地址為統(tǒng)一資源定位符 URL〇
[0123]可選地，如圖11所示，該裝置700除包括接收模塊710和第一控制模塊720外，還包括:
[0124]第二控制模塊730,被配置為控制所述爬蟲(chóng)按照預(yù)設(shè)周期從所述服務(wù)器獲取數(shù)據(jù)。
[0125]圖12是根據(jù)一示例性實(shí)施例示出的一種用于數(shù)據(jù)更新的裝置1200的框圖。例如， 裝置1200可以被提供為一服務(wù)器。參照?qǐng)D12,裝置1200包括處理組件1222,其進(jìn)一步包括一個(gè)或多個(gè)處理器，以及由存儲(chǔ)器1232所代表的存儲(chǔ)器資源，用于存儲(chǔ)可由處理組件1222的執(zhí)行的指令，例如應(yīng)用程序。存儲(chǔ)器1232中存儲(chǔ)的應(yīng)用程序可以包括一個(gè)或一個(gè)以上的每一個(gè)對(duì)應(yīng)于一組指令的模塊。此外，處理組件1222被配置為執(zhí)行指令，以執(zhí)行上述更新數(shù)據(jù)的方法。
[0126]裝置1200還可以包括一個(gè)電源組件1226被配置為執(zhí)行裝置1200的電源管理，一個(gè)有線或無(wú)線網(wǎng)絡(luò)接口 1250被配置為將裝置1200連接到網(wǎng)絡(luò)，和一個(gè)輸入輸出(I/O)接口 1258。裝置1200可以操作基于存儲(chǔ)在存儲(chǔ)器1232的操作系統(tǒng)，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，F(xiàn)reeBSDTM或類似。
[0127]在示例性實(shí)施例中，還提供了一種包括指令的非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，例如包括指令的存儲(chǔ)器1204,上述指令可由裝置1200的處理器1220執(zhí)行以完成上述更新數(shù)據(jù)的方法。例如，所述非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是R0M、隨機(jī)存取存儲(chǔ)器(RAM)、CD-R0M、磁帶、軟盤和光數(shù)據(jù)存儲(chǔ)設(shè)備等。
[0128]圖13是根據(jù)一示例性實(shí)施例示出的一種用于數(shù)據(jù)更新的裝置1300的框圖。例如， 裝置1300可以是移動(dòng)電話，計(jì)算機(jī)，數(shù)字廣播終端，消息收發(fā)設(shè)備，游戲控制臺(tái)，平板設(shè)備， 醫(yī)療設(shè)備，健身設(shè)備，個(gè)人數(shù)字助理等。
[0129]參照?qǐng)D13,裝置1300可以包括以下一個(gè)或多個(gè)組件:處理組件1302,存儲(chǔ)器1304， 電力組件1306，多媒體組件1308，音頻組件1310，輸入/輸出(I/0)的接口 1312，傳感器組件 1314,以及通信組件1316。[〇13〇] 處理組件1302通常控制裝置1300的整體操作，諸如與顯示，電話呼叫，數(shù)據(jù)通信， 相機(jī)操作和記錄操作相關(guān)聯(lián)的操作。處理組件1302可以包括一個(gè)或多個(gè)處理器1320來(lái)執(zhí)行指令，以完成上述更新數(shù)據(jù)的方法的全部或部分步驟。此外，處理組件1302可以包括一個(gè)或多個(gè)模塊，便于處理組件1302和其他組件之間的交互。例如，處理組件1302可以包括多媒體模塊，以方便多媒體組件1308和處理組件1302之間的交互。[〇131]存儲(chǔ)器1304被配置為存儲(chǔ)各種類型的數(shù)據(jù)以支持在裝置1300的操作。這些數(shù)據(jù)的示例包括用于在裝置1300上操作的任何應(yīng)用程序或方法的指令，聯(lián)系人數(shù)據(jù)，電話簿數(shù)據(jù)， 消息，圖片，視頻等。存儲(chǔ)器1304可以由任何類型的易失性或非易失性存儲(chǔ)設(shè)備或者它們的組合實(shí)現(xiàn)，如靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)，電可擦除可編程只讀存儲(chǔ)器(EEPR0M)，可擦除可編程只讀存儲(chǔ)器(EPROM)，可編程只讀存儲(chǔ)器(PR0M)，只讀存儲(chǔ)器(ROM)，磁存儲(chǔ)器，快閃存儲(chǔ)器，磁盤或光盤。
[0132]電力組件1306為裝置1300的各種組件提供電力。電力組件1306可以包括電源管理系統(tǒng)，一個(gè)或多個(gè)電源，及其他與為裝置1300生成、管理和分配電力相關(guān)聯(lián)的組件。
[0133]多媒體組件1308包括在所述裝置1300和用戶之間的提供一個(gè)輸出接口的屏幕。在一些實(shí)施例中，屏幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果屏幕包括觸摸面板， 屏幕可以被實(shí)現(xiàn)為觸摸屏，以接收來(lái)自用戶的輸入信號(hào)。觸摸面板包括一個(gè)或多個(gè)觸摸傳感器以感測(cè)觸摸、滑動(dòng)和觸摸面板上的手勢(shì)。所述觸摸傳感器可以不僅感測(cè)觸摸或滑動(dòng)動(dòng)作的邊界，而且還檢測(cè)與所述觸摸或滑動(dòng)操作相關(guān)的持續(xù)時(shí)間和壓力。在一些實(shí)施例中，多媒體組件1308包括一個(gè)前置攝像頭和/或后置攝像頭。當(dāng)裝置1300處于操作模式，如拍攝模式或視頻模式時(shí)，前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個(gè)前置攝像頭和后置攝像頭可以是一個(gè)固定的光學(xué)透鏡系統(tǒng)或具有焦距和光學(xué)變焦能力。
[0134]音頻組件1310被配置為輸出和/或輸入音頻信號(hào)。例如，音頻組件1310包括一個(gè)麥克風(fēng)(MIC)，當(dāng)裝置1300處于操作模式，如呼叫模式、記錄模式和語(yǔ)音識(shí)別模式時(shí)，麥克風(fēng)被配置為接收外部音頻信號(hào)。所接收的音頻信號(hào)可以被進(jìn)一步存儲(chǔ)在存儲(chǔ)器1304或經(jīng)由通信組件1316發(fā)送。在一些實(shí)施例中，音頻組件1310還包括一個(gè)揚(yáng)聲器，用于輸出音頻信號(hào)。
[0135]I/O接口 1312為處理組件1302和外圍接口模塊之間提供接口，上述外圍接口模塊可以是鍵盤，點(diǎn)擊輪，按鈕等。這些按鈕可包括但不限于:主頁(yè)按鈕、音量按鈕、啟動(dòng)按鈕和鎖定按鈕。
[0136]傳感器組件1314包括一個(gè)或多個(gè)傳感器，用于為裝置1300提供各個(gè)方面的狀態(tài)評(píng)估。例如，傳感器組件1314可以檢測(cè)到裝置1300的打開(kāi)/關(guān)閉狀態(tài)，組件的相對(duì)定位，例如所述組件為裝置1300的顯示器和小鍵盤，傳感器組件1314還可以檢測(cè)裝置1300或裝置1300— 個(gè)組件的位置改變，用戶與裝置1300接觸的存在或不存在，裝置1300方位或加速/減速和裝置1300的溫度變化。傳感器組件1314可以包括接近傳感器，被配置用來(lái)在沒(méi)有任何的物理接觸時(shí)檢測(cè)附近物體的存在。傳感器組件1314還可以包括光傳感器，如CMOS或CCD圖像傳感器，用于在成像應(yīng)用中使用。在一些實(shí)施例中，該傳感器組件1314還可以包括加速度傳感器，陀螺儀傳感器，磁傳感器，壓力傳感器或溫度傳感器。
[0137]通信組件1316被配置為便于裝置1300和其他設(shè)備之間有線或無(wú)線方式的通信。裝置1300可以接入基于通信標(biāo)準(zhǔn)的無(wú)線網(wǎng)絡(luò)，如WiFi，2G或3G，或它們的組合。在一個(gè)示例性實(shí)施例中，通信組件1316經(jīng)由廣播信道接收來(lái)自外部廣播管理系統(tǒng)的廣播信號(hào)或廣播相關(guān)信息。在一個(gè)示例性實(shí)施例中，所述通信組件1316還包括近場(chǎng)通信(NFC)模塊，以促進(jìn)短程通信。例如，在NFC模塊可基于射頻識(shí)別(RFID)技術(shù)，紅外數(shù)據(jù)協(xié)會(huì)(IrDA)技術(shù)，超寬帶 (UWB)技術(shù)，藍(lán)牙(BT)技術(shù)和其他技術(shù)來(lái)實(shí)現(xiàn)。
[0138]在示例性實(shí)施例中，裝置1300可以被一個(gè)或多個(gè)應(yīng)用專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理設(shè)備(DSPD)、可編程邏輯器件(PLD)、現(xiàn)場(chǎng)可編程門陣列 (FPGA)、控制器、微控制器、微處理器或其他電子元件實(shí)現(xiàn)，用于執(zhí)行上述更新數(shù)據(jù)的方法。
[0139]本領(lǐng)域技術(shù)人員在考慮說(shuō)明書及實(shí)踐本公開(kāi)后，將容易想到本公開(kāi)的其它實(shí)施方案。本申請(qǐng)旨在涵蓋本公開(kāi)的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本公開(kāi)的一般性原理并包括本公開(kāi)未公開(kāi)的本技術(shù)領(lǐng)域中的公知常識(shí)或慣用技術(shù)手段。說(shuō)明書和實(shí)施例僅被視為示例性的，本公開(kāi)的真正范圍和精神由下面的權(quán)利要求指出。[〇14〇]應(yīng)當(dāng)理解的是，本公開(kāi)并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進(jìn)行各種修改和改變。本公開(kāi)的范圍僅由所附的權(quán)利要求來(lái)限制。
【主權(quán)項(xiàng)】
1.一種更新數(shù)據(jù)的方法，其特征在于，包括:通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)，其中，所述redis集群部署在中間設(shè)備上， 所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；當(dāng)所述服務(wù)器有數(shù)據(jù)更新 時(shí)，通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù)；通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)，以使所述需要更新數(shù)據(jù)的設(shè)備獲得所 述更新數(shù)據(jù)。2.如權(quán)利要求1所述的更新數(shù)據(jù)的方法，其特征在于，在所述通知爬蟲(chóng)從所述redis集 群獲取所述更新數(shù)據(jù)之前，還包括:監(jiān)控所述redis集群是否寫入所述更新數(shù)據(jù)；在監(jiān)控到所述redi s集群寫入所述更新數(shù)據(jù)寫入時(shí)，確定需要通知所述爬蟲(chóng)。3.如權(quán)利要求1所述的更新數(shù)據(jù)的方法，其特征在于，所述網(wǎng)絡(luò)服務(wù)部署在所述redis 集群中。4.如權(quán)利要求1所述的更新數(shù)據(jù)的方法，其特征在于，在所述通過(guò)redis集群獲得服務(wù) 器推送的更新數(shù)據(jù)之后，還包括:按照與所述服務(wù)器推送所述更新數(shù)據(jù)的一致的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所述更新數(shù)據(jù)。5.—種更新數(shù)據(jù)的方法，其特征在于，包括:接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息；其中，所述redis集群 部署在中間設(shè)備上，所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù)。6.如權(quán)利要求5所述的更新數(shù)據(jù)的方法，其特征在于，所述控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù) 的網(wǎng)絡(luò)代理接口從所述red i s集群中獲取所述更新數(shù)據(jù)，包括:根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址從所述redis集群中獲取所述更新數(shù)據(jù)，所述網(wǎng)絡(luò)地址為所 述服務(wù)器向所述redis集群推送所述更新數(shù)據(jù)時(shí)所調(diào)用的所述網(wǎng)絡(luò)代理接口的地址。7.如權(quán)利要求5所述的更新數(shù)據(jù)的方法，其特征在于，所述控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù) 的網(wǎng)絡(luò)代理接口從所述red i s集群中獲取所述更新數(shù)據(jù)，包括:根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址獲取所述更新數(shù)據(jù)，所述網(wǎng)絡(luò)地址為統(tǒng)一資源定位符URL。8.如權(quán)利要求5所述的更新數(shù)據(jù)的方法，其特征在于，所述方法還包括:控制所述爬蟲(chóng)按照預(yù)設(shè)周期從所述服務(wù)器獲取數(shù)據(jù)。9.一種更新數(shù)據(jù)的裝置，其特征在于，包括:獲得模塊，被配置為通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)，其中，所述redis集群 部署在中間設(shè)備上，所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；當(dāng)所述 服務(wù)器有數(shù)據(jù)更新時(shí)，通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新 數(shù)據(jù)；通知模塊，被配置為通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)，以使所述需要更新 數(shù)據(jù)的設(shè)備獲得所述更新數(shù)據(jù)。10.根據(jù)權(quán)利要求9所述的更新數(shù)據(jù)的裝置，其特征在于，所述裝置還包括:監(jiān)控模塊，被配置為在所述通知爬蟲(chóng)從所述redi s集群獲取所述更新數(shù)據(jù)之前，監(jiān)控所 述redis集群是否寫入所述更新數(shù)據(jù)；確定模塊，被配置為在監(jiān)控到所述redis集群寫入所述更新數(shù)據(jù)寫入時(shí)，確定需要通知所述爬蟲(chóng)。11.根據(jù)權(quán)利要求9所述的更新數(shù)據(jù)的裝置，其特征在于，所述網(wǎng)絡(luò)服務(wù)部署在所述 redis集群中。12.根據(jù)權(quán)利要求9所述的更新數(shù)據(jù)的裝置，其特征在于，所述裝置還包括:存儲(chǔ)模塊，被配置為在所述通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)之后，按照與所 述服務(wù)器推送所述更新數(shù)據(jù)的一致的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所述更新數(shù)據(jù)。13.—種更新數(shù)據(jù)的裝置，其特征在于，所述裝置包括:接收模塊，被配置為接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息；其 中，所述redis集群部署在中間設(shè)備上，所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備 之間；第一控制模塊，被配置為控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集 群中獲取所述更新數(shù)據(jù)。14.根據(jù)權(quán)利要求13述的更新數(shù)據(jù)的裝置，其特征在于，所述第一控制模塊被配置為: 根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址從所述redis集群中獲取所述更新數(shù)據(jù)，所述網(wǎng)絡(luò)地址為所述服務(wù)器向所述redis集群推送所述更新數(shù)據(jù)時(shí)所調(diào)用的所述網(wǎng)絡(luò)代理接口的地址。15.根據(jù)權(quán)利要求13所述的更新數(shù)據(jù)的裝置，其特征在于，所述第一控制模塊被配置 為:根據(jù)所述爬蟲(chóng)的網(wǎng)絡(luò)地址獲取所述更新數(shù)據(jù)，所述網(wǎng)絡(luò)地址為統(tǒng)一資源定位符URL。16.根據(jù)權(quán)利要求13所述的更新數(shù)據(jù)的裝置，其特征在于，所述裝置還包括:第二控制模塊，被配置為控制所述爬蟲(chóng)按照預(yù)設(shè)周期從所述服務(wù)器獲取數(shù)據(jù)。17.—種更新數(shù)據(jù)的裝置，其特征在于，包括:處理器；用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；其中，所述處理器被配置為:通過(guò)redis集群獲得服務(wù)器推送的更新數(shù)據(jù)，其中，所述redis集群部署在中間設(shè)備上， 所述中間設(shè)備部署在所述服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；當(dāng)所述服務(wù)器有數(shù)據(jù)更新 時(shí)，通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口向所述redis集群推送所述更新數(shù)據(jù)；通知爬蟲(chóng)從所述redis集群獲取所述更新數(shù)據(jù)，以使所述需要更新數(shù)據(jù)的設(shè)備獲得所 述更新數(shù)據(jù)。18.—種更新數(shù)據(jù)的裝置，其特征在于，包括:處理器；用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；其中，所述處理器被配置為:接收redis集群發(fā)送的用于通知爬蟲(chóng)獲取更新數(shù)據(jù)的通知信息；其中，所述redis集群 部署在中間設(shè)備上，所述中間設(shè)備部署在服務(wù)器和需要更新數(shù)據(jù)的設(shè)備之間；控制爬蟲(chóng)通過(guò)調(diào)用網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)代理接口從所述redis集群中獲取所述更新數(shù)據(jù)。
【文檔編號(hào)】H04L29/08GK106060138SQ201610392547
【公開(kāi)日】2016年10月26日
【申請(qǐng)日】2016年6月6日
【發(fā)明人】張旭華, 楊松, 張濤
【申請(qǐng)人】北京小米移動(dòng)軟件有限公司