一種搜索云消息實(shí)時(shí)分發(fā)系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通訊技術(shù)領(lǐng)域，特別涉及一種搜索云消息實(shí)時(shí)分發(fā)系統(tǒng)及方法。
【背景技術(shù)】
[0002]在電商等垂直搜索領(lǐng)域，商品的上下架、商品價(jià)格的調(diào)整、庫存的變更等需要近乎實(shí)時(shí)地更新到搜索引擎的索引中以提供及時(shí)準(zhǔn)確的搜索服務(wù)。在精準(zhǔn)廣告投放弓丨擎中，廣告的上下線、廣告出價(jià)的調(diào)整、廣告素材的變更等對消息的實(shí)時(shí)性、一致性需求更為強(qiáng)烈?；谙C(jī)制的數(shù)據(jù)實(shí)時(shí)分發(fā)引擎已經(jīng)成為垂直搜索及精準(zhǔn)廣告投放應(yīng)用不可或缺的組件。而現(xiàn)有技術(shù)中數(shù)據(jù)之間的時(shí)序一致性和數(shù)據(jù)的完整性略有欠缺。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于提供一種搜索云消息實(shí)時(shí)分發(fā)系統(tǒng)及方法，以解決現(xiàn)有技術(shù)中數(shù)據(jù)之間的時(shí)序一致性和數(shù)據(jù)的完整性有欠缺的問題。
[0004]為解決上述技術(shù)問題，本發(fā)明提供一種搜索云消息實(shí)時(shí)分發(fā)方法，包括:
[0005]分發(fā)器接收消息通知端的即時(shí)數(shù)據(jù)更新消息，向分發(fā)管理器請求消息序列號(hào)；
[0006]所述分發(fā)管理器生成消息序列號(hào)，并將所述消息序列號(hào)和即時(shí)數(shù)據(jù)更新消息備份到分發(fā)管理器備份服務(wù)器；所述分發(fā)管理器反饋消息序列號(hào)至分發(fā)器，所述分發(fā)器反饋確認(rèn)接收信號(hào)至所述消息通知端；
[0007]所述分發(fā)器發(fā)送所述消息序列號(hào)和即時(shí)數(shù)據(jù)更新消息至更新索引服務(wù)器；所述更新索引服務(wù)器將所述即時(shí)數(shù)據(jù)更新消息存儲(chǔ)至內(nèi)存字典后反饋確認(rèn)信號(hào)至所述分發(fā)器；
[0008]所述更新索引服務(wù)器根據(jù)所述即時(shí)數(shù)據(jù)更新消息即時(shí)更新索引。
[0009]進(jìn)一步的，在所述的搜索云消息實(shí)時(shí)分發(fā)方法中，
[0010]在所述分發(fā)管理器生成消息序列號(hào)步驟后還包括步驟:分發(fā)管理器將所述消息序列號(hào)和即時(shí)數(shù)據(jù)更新消息備份到分發(fā)管理器本地磁盤；
[0011]在所述分發(fā)器反饋確認(rèn)接收信號(hào)至所述消息通知端步驟后還包括步驟:分發(fā)器反饋確認(rèn)接收信號(hào)至所述分發(fā)管理器，所述分發(fā)管理器在所述分發(fā)管理器本地磁盤刪除已備份的即時(shí)數(shù)據(jù)更新消息；
[0012]進(jìn)一步的，在所述的搜索云消息實(shí)時(shí)分發(fā)方法中，在所述分發(fā)器發(fā)送所述消息序列號(hào)和即時(shí)數(shù)據(jù)更新消息至更新索引服務(wù)器步驟后還包括步驟:所述更新索引服務(wù)器備份所述消息序列號(hào)和即時(shí)數(shù)據(jù)更新消息至更新索引服務(wù)器本地磁盤。
[0013]進(jìn)一步的，在所述的搜索云消息實(shí)時(shí)分發(fā)方法中，還包括步驟:分發(fā)器分別發(fā)送心跳消息至分發(fā)管理器和更新索引服務(wù)器；
[0014]所述分發(fā)管理器和更新索引服務(wù)器分別反饋心跳應(yīng)答消息至分發(fā)器。
[0015]進(jìn)一步的，在所述的搜索云消息實(shí)時(shí)分發(fā)方法中，所述即時(shí)數(shù)據(jù)更新消息包括:消息包的頭部和消息包的消息體。
[0016]進(jìn)一步的，在所述的搜索云消息實(shí)時(shí)分發(fā)方法中，所述消息包的頭部包括:消息的字節(jié)數(shù)、消息的類型、消息的狀態(tài)和消息來源的機(jī)器ID。
[0017]同時(shí)，本發(fā)明還提供一種搜索云消息實(shí)時(shí)分發(fā)系統(tǒng)，包括:分發(fā)器、分發(fā)管理器和更新索引服務(wù)器，其中，
[0018]所述分發(fā)器，用于接收消息通知端的即時(shí)數(shù)據(jù)更新消息，向所述分發(fā)管理器請求消息序列號(hào)；
[0019]所述分發(fā)管理器，用于生成消息序列號(hào)，并將所述消息序列號(hào)和即時(shí)數(shù)據(jù)更新消息備份到分發(fā)管理器備份服務(wù)器；所述分發(fā)管理器反饋消息序列號(hào)至分發(fā)器，所述分發(fā)器反饋確認(rèn)接收信號(hào)至所述消息通知端；
[0020]所述分發(fā)器，還用于發(fā)送所述消息序列號(hào)和即時(shí)數(shù)據(jù)更新消息至所述更新索引服務(wù)器；
[0021]所述更新索引服務(wù)器，用于將所述即時(shí)數(shù)據(jù)更新消息存儲(chǔ)至內(nèi)存字典后反饋確認(rèn)信號(hào)至所述分發(fā)器；
[0022]所述更新索引服務(wù)器，還用于根據(jù)所述即時(shí)數(shù)據(jù)更新消息即時(shí)更新索引。
[0023]進(jìn)一步的，在所述的搜索云消息實(shí)時(shí)分發(fā)系統(tǒng)中，所述即時(shí)數(shù)據(jù)更新消息包括:消息包的頭部和消息包的消息體。
[0024]進(jìn)一步的，在所述的搜索云消息實(shí)時(shí)分發(fā)系統(tǒng)中，所述消息包的頭部包括:消息的字節(jié)數(shù)、消息的類型、消息的狀態(tài)和消息來源的機(jī)器ID。
[0025]本發(fā)明提供的搜索云消息實(shí)時(shí)分發(fā)系統(tǒng)及方法，具有以下有益效果:通過對每個(gè)即時(shí)數(shù)據(jù)更新消息進(jìn)行編輯消息序列號(hào)，以保證消息的時(shí)序性和一致性。此外，分別在分發(fā)器、分發(fā)管理器、更新索引服務(wù)器進(jìn)行本地備份機(jī)制，保證了消息的可用性。進(jìn)一步的，采用心跳檢測的缺失補(bǔ)償機(jī)制，保證了消息的完整性和可用性。
【附圖說明】
[0026]圖1是本發(fā)明優(yōu)選實(shí)施例的搜索云消息實(shí)時(shí)分發(fā)系統(tǒng)及方法示意圖；
[0027]圖2是本發(fā)明優(yōu)選實(shí)施例的搜索云消息實(shí)時(shí)分發(fā)系統(tǒng)及方法的即時(shí)數(shù)據(jù)更新消息格式示意圖。
【具體實(shí)施方式】
[0028]以下結(jié)合附圖和具體實(shí)施例對本發(fā)明提出的搜索云消息實(shí)時(shí)分發(fā)系統(tǒng)及方法作進(jìn)一步詳細(xì)說明。根據(jù)下面說明和權(quán)利要求書，本發(fā)明的優(yōu)點(diǎn)和特征將更清楚。需說明的是，附圖均采用非常簡化的形式且均使用非精準(zhǔn)的比例，僅用以方便、明晰地輔助說明本發(fā)明實(shí)施例的目的。
[0029]請參考圖1，本發(fā)明提供一種搜索云消息實(shí)時(shí)分發(fā)方法，包括以下步驟:
[0030]1、分發(fā)器(Dispather) 100接收消息通知端的即時(shí)數(shù)據(jù)更新消息；
[0031]在本發(fā)明中所傳輸?shù)募磿r(shí)數(shù)據(jù)更新消息都采用采用統(tǒng)一的消息數(shù)據(jù)包格式，如圖2所示，消息包的頭部是相同的，且包括消息的字節(jié)數(shù)、消息的類型、消息的狀態(tài)和消息來源的機(jī)器ID ;而消息包的消息體的具體格式將根據(jù)消息類型的不同而有所區(qū)別；
[0032]2、所述分發(fā)器100向分發(fā)管理器200 (Dispather Admin)請求消息序列號(hào)；
[0033]3、所述分發(fā)管理器200生成消息序列號(hào)，并將所述消息序列號(hào)備份到分發(fā)管理器本地磁盤；
[0034]4、所述分發(fā)管理200將所述消息序列號(hào)備份到分發(fā)管理器備份服務(wù)器；
[0035]5、所述分發(fā)管理器200將所述即時(shí)數(shù)據(jù)更新消息備份到分發(fā)管理器本地磁盤；
[0036]6、所述分發(fā)管理器200將所述即時(shí)數(shù)據(jù)更新消息備份到分發(fā)管理器備份服務(wù)器；
[0037]7、所述分發(fā)管理器200反饋消息序列號(hào)至分發(fā)器100 ；
[0038]8、所述分發(fā)器100將所述消息序列號(hào)和即時(shí)數(shù)據(jù)更新消息備份到備份到分發(fā)管理器本地磁盤；
[0039]9、所述分發(fā)器100反饋確認(rèn)接收信號(hào)至所述消息通知端；
[0040]10-11、所述分發(fā)器100反饋確認(rèn)接收信號(hào)至所述分發(fā)管理器200 ；
[0041]12、所述分發(fā)管理器200在所述分發(fā)管理器本地磁盤刪除已備份的即時(shí)數(shù)據(jù)更新消息；
[0042]13-14、所述分發(fā)器200發(fā)送所述消息序列號(hào)和即時(shí)數(shù)據(jù)更新消息至更新索引服務(wù)器 300(ISUpdate)；
[0043]15、所述更新索引服務(wù)器300將消息序列號(hào)備份至更新索引服務(wù)器本地磁盤；
[0044]16、所述更新索引服務(wù)器300將即時(shí)數(shù)據(jù)更新消息備份至更新索引服務(wù)器本地磁盤；
[0045]17、所述更新索引服務(wù)器300將所述即時(shí)數(shù)據(jù)更新消息存儲(chǔ)至內(nèi)存字典；
[0046]18、所述更新索引服務(wù)器300反饋確認(rèn)信號(hào)至所述分發(fā)器100 ；
[0047]19、所述更新索引服務(wù)器300根據(jù)所述即時(shí)數(shù)據(jù)更新消息即時(shí)更新索引。
[0048]為了確保數(shù)據(jù)的完整性，提供在系統(tǒng)出錯(cuò)情況下的數(shù)據(jù)恢復(fù)能力，本發(fā)明對消息進(jìn)行了備份。消息的備份是通過Dispatcher服務(wù)器本地備份來實(shí)現(xiàn)的，本地備份減少了網(wǎng)絡(luò)通信的開銷。目前的系統(tǒng)可以保證數(shù)據(jù)至少成功備份在某一臺(tái)Dispatcher或者Dispatch Admin服務(wù)器上。另外Dispatcher有相關(guān)的數(shù)據(jù)