一種數(shù)據(jù)處理方法、裝置及集群服務(wù)系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體涉及針對(duì)互聯(lián)網(wǎng)數(shù)據(jù)的處理技術(shù)領(lǐng)域，尤其涉 及一種數(shù)據(jù)處理方法、裝置及集群服務(wù)系統(tǒng)。
【背景技術(shù)】
[0002] 集群服務(wù)系統(tǒng)，簡單來說就是將多個(gè)服務(wù)器連接在一起，協(xié)調(diào)多個(gè)服務(wù)器能夠像 一個(gè)服務(wù)器一樣工作，也就是使多個(gè)服務(wù)器作為一個(gè)整體為客戶端提供數(shù)據(jù)處理服務(wù)。目 前，在許多互聯(lián)網(wǎng)場景中常應(yīng)用集群服務(wù)系統(tǒng)，例如在網(wǎng)絡(luò)娛樂直播場景中使用集群服務(wù) 系統(tǒng)，客戶端通常需要在主頁面隨機(jī)顯示多個(gè)網(wǎng)絡(luò)主播的大量照片，這時(shí)客戶端以DNS輪詢 的方式從集群服務(wù)系統(tǒng)中的各個(gè)服務(wù)器中獲取照片;然而，現(xiàn)有集群服務(wù)系統(tǒng)中各個(gè)服務(wù) 器對(duì)數(shù)據(jù)的處理機(jī)制是相對(duì)獨(dú)立的，那么，當(dāng)客戶端第一次從服務(wù)器一獲得第一批照片進(jìn) 行顯示后，輪詢至服務(wù)器二獲取第二批照片時(shí)，第一批照片與第二批照片可能會(huì)有一些照 片出現(xiàn)重復(fù)，使得相同照片在客戶端重復(fù)展示而造成較差的顯示效果，當(dāng)然也給用戶較差 的視覺體驗(yàn)。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法、裝置及集群服務(wù)系統(tǒng)，能夠在集群服務(wù)系 統(tǒng)中各個(gè)服務(wù)器之間進(jìn)行一致的數(shù)據(jù)處理流程，避免為客戶端提供重復(fù)數(shù)據(jù)，提升集群服 務(wù)系統(tǒng)的數(shù)據(jù)處理服務(wù)能力。
[0004] 本發(fā)明實(shí)施例第一方面提供一種數(shù)據(jù)處理方法，應(yīng)用于集群服務(wù)系統(tǒng)，所述集群 服務(wù)系統(tǒng)包含至少一個(gè)服務(wù)器，可包括：
[0005] 所述服務(wù)器從數(shù)據(jù)庫獲取源數(shù)據(jù)集合并記錄獲取時(shí)間，所述源數(shù)據(jù)集合包括多個(gè) 源數(shù)據(jù)；
[0006] 所述服務(wù)器根據(jù)所記錄的獲取時(shí)間查詢目標(biāo)分片標(biāo)識(shí)；
[0007] 所述服務(wù)器對(duì)所述目標(biāo)分片標(biāo)識(shí)進(jìn)行隨機(jī)運(yùn)算生成下標(biāo)集合，所述下標(biāo)集合包括 多個(gè)下標(biāo)值；
[0008] 所述服務(wù)器將所述源數(shù)據(jù)集合中的源數(shù)據(jù)分別與所述下標(biāo)集合中的下標(biāo)值進(jìn)行 匹配，生成隨機(jī)數(shù)據(jù)序列。
[0009] 優(yōu)選地，所述服務(wù)器從數(shù)據(jù)庫獲取源數(shù)據(jù)集合并記錄獲取時(shí)間之前，還包括：
[0010] 所述服務(wù)器按照預(yù)置周期對(duì)預(yù)設(shè)時(shí)間段進(jìn)行分片處理，獲得多個(gè)時(shí)間片，每個(gè)時(shí) 間片對(duì)應(yīng)一個(gè)時(shí)間范圍；
[0011] 所述服務(wù)器為每個(gè)時(shí)間片設(shè)置唯一分片標(biāo)識(shí)。
[0012] 優(yōu)選地，所述服務(wù)器根據(jù)所記錄的獲取時(shí)間查詢目標(biāo)分片標(biāo)識(shí)，包括：
[0013] 所述服務(wù)器根據(jù)所記錄的獲取時(shí)間所屬的時(shí)間范圍，確定目標(biāo)時(shí)間片；
[0014] 所述服務(wù)器將所述目標(biāo)時(shí)間片的唯一分片標(biāo)識(shí)確定為目標(biāo)分片標(biāo)識(shí)。
[0015] 優(yōu)選地，所述服務(wù)器將所述源數(shù)據(jù)集合中的源數(shù)據(jù)分別與所述下標(biāo)集合中的下標(biāo) 值進(jìn)行匹配，生成隨機(jī)數(shù)據(jù)序列，包括：
[0016] 所述服務(wù)器按照所述源數(shù)據(jù)集合中各個(gè)源數(shù)據(jù)的ID對(duì)所述各個(gè)源數(shù)據(jù)進(jìn)行排序 處理，得到順序排列的多個(gè)源數(shù)據(jù)；
[0017] 所述服務(wù)器按照所述各個(gè)源數(shù)據(jù)的順序，分別將所述下標(biāo)集合中各下標(biāo)值與所述 各個(gè)源數(shù)據(jù)的ID進(jìn)行關(guān)聯(lián)匹配，生成隨機(jī)數(shù)據(jù)序列，所述隨機(jī)數(shù)據(jù)序列包括順序排列的多 個(gè)源數(shù)據(jù)，并且每個(gè)源數(shù)據(jù)的ID對(duì)應(yīng)唯一一個(gè)下標(biāo)值。
[0018] 優(yōu)選地，所述服務(wù)器將所述源數(shù)據(jù)集合中的源數(shù)據(jù)分別與所述下標(biāo)集合中的下標(biāo) 值進(jìn)行匹配，生成隨機(jī)數(shù)據(jù)序列之后，還包括：
[0019] 所述服務(wù)器按照所述隨機(jī)數(shù)據(jù)序列中各個(gè)源數(shù)據(jù)的順序?qū)λ鲭S機(jī)數(shù)據(jù)序列進(jìn) 行分頁處理，獲得至少一個(gè)顯示分頁，每個(gè)顯示分頁包含順序排列的至少一個(gè)源數(shù)據(jù)；
[0020] 當(dāng)接收到客戶端發(fā)送的攜帶頁碼的數(shù)據(jù)訪問請(qǐng)求時(shí)，所述服務(wù)器向所述客戶端返 回所請(qǐng)求頁碼對(duì)應(yīng)的顯示分頁所包含的源數(shù)據(jù)。
[0021 ]本發(fā)明實(shí)施例第二方面提供一種數(shù)據(jù)處理裝置，可包括：
[0022] 獲取單元，用于從數(shù)據(jù)庫獲取源數(shù)據(jù)集合并記錄獲取時(shí)間，所述源數(shù)據(jù)集合包括 多個(gè)源數(shù)據(jù)；
[0023] 查詢單元，用于根據(jù)所記錄的獲取時(shí)間查詢目標(biāo)分片標(biāo)識(shí)；
[0024] 隨機(jī)運(yùn)算單元，用于對(duì)所述目標(biāo)分片標(biāo)識(shí)進(jìn)行隨機(jī)運(yùn)算生成下標(biāo)集合，所述下標(biāo) 集合包括多個(gè)下標(biāo)值；
[0025] 匹配單元，用于將所述源數(shù)據(jù)集合中的源數(shù)據(jù)分別與所述下標(biāo)集合中的下標(biāo)值進(jìn) 行匹配，生成隨機(jī)數(shù)據(jù)序列。
[0026] 優(yōu)選地，該裝置還包括：
[0027]分片處理單元，用于按照預(yù)置周期對(duì)預(yù)設(shè)時(shí)間段進(jìn)行分片處理，獲得多個(gè)時(shí)間片， 每個(gè)時(shí)間片對(duì)應(yīng)一個(gè)時(shí)間范圍；
[0028]標(biāo)識(shí)設(shè)置單元，用于為每個(gè)時(shí)間片設(shè)置唯一分片標(biāo)識(shí)。
[0029] 優(yōu)選地，所述查詢單元包括：
[0030] 分片確定單元，用于根據(jù)所記錄的獲取時(shí)間所屬的時(shí)間范圍，確定目標(biāo)時(shí)間片；
[0031] 標(biāo)識(shí)確定單元，用于將所述目標(biāo)時(shí)間片的唯一分片標(biāo)識(shí)確定為目標(biāo)分片標(biāo)識(shí)。
[0032] 優(yōu)選地，匹配單元包括：
[0033] 排序單元，用于按照所述源數(shù)據(jù)集合中各個(gè)源數(shù)據(jù)的ID對(duì)所述各個(gè)源數(shù)據(jù)進(jìn)行排 序處理，得到順序排列的多個(gè)源數(shù)據(jù)；
[0034] 關(guān)聯(lián)匹配單元，用于按照所述各個(gè)源數(shù)據(jù)的順序，分別將所述下標(biāo)集合中各下標(biāo) 值與所述各個(gè)源數(shù)據(jù)的ID進(jìn)行關(guān)聯(lián)匹配，生成隨機(jī)數(shù)據(jù)序列，所述隨機(jī)數(shù)據(jù)序列包括順序 排列的多個(gè)源數(shù)據(jù)，并且每個(gè)源數(shù)據(jù)的ID對(duì)應(yīng)唯一一個(gè)下標(biāo)值。
[0035] 優(yōu)選地，該裝置還包括：
[0036] 分頁處理單元，用于按照所述隨機(jī)數(shù)據(jù)序列中各個(gè)源數(shù)據(jù)的順序?qū)λ鲭S機(jī)數(shù)據(jù) 序列進(jìn)行分頁處理，獲得至少一個(gè)顯示分頁，每個(gè)顯示分頁包含順序排列的至少一個(gè)源數(shù) 據(jù)；
[0037] 訪問響應(yīng)單元，用于當(dāng)接收到客戶端發(fā)送的攜帶頁碼的數(shù)據(jù)訪問請(qǐng)求時(shí)，向所述 客戶端返回所請(qǐng)求頁碼對(duì)應(yīng)的顯示分頁所包含的源數(shù)據(jù)。
[0038] 本發(fā)明實(shí)施例第三方面提供一種集群服務(wù)系統(tǒng)，包括至少一個(gè)服務(wù)器，其中，所述 服務(wù)器包括如上述第二方面所述的數(shù)據(jù)處理裝置。
[0039] 在本發(fā)明實(shí)施例中，針對(duì)集群服務(wù)系統(tǒng)中的任一個(gè)服務(wù)器所執(zhí)行的數(shù)據(jù)處理流程 可包括:從數(shù)據(jù)庫獲取包含多個(gè)源數(shù)據(jù)的源數(shù)據(jù)集合并記錄獲取時(shí)間；根據(jù)所記錄的獲取 時(shí)間查詢目標(biāo)分片標(biāo)識(shí);對(duì)所述目標(biāo)分片標(biāo)識(shí)進(jìn)行隨機(jī)運(yùn)算生成包含多個(gè)下標(biāo)值的下標(biāo)集 合;將所述源數(shù)據(jù)集合中的源數(shù)據(jù)分別與所述下標(biāo)集合中的下標(biāo)值進(jìn)行匹配，生成隨機(jī)數(shù) 據(jù)序列。由于在集群服務(wù)系統(tǒng)中，每一個(gè)服務(wù)器執(zhí)行相同的數(shù)據(jù)處理流程，并且，在此流程 中各個(gè)服務(wù)器之間所獲得的源數(shù)據(jù)集合以及下標(biāo)集合具備一致性，使得各個(gè)服務(wù)器能夠獲 得一致性的隨機(jī)數(shù)據(jù)序列，那么，當(dāng)客戶端跨服務(wù)器進(jìn)行數(shù)據(jù)訪問時(shí)，各個(gè)服務(wù)器之間既能 夠避免為客戶端提供重復(fù)數(shù)據(jù)，又能夠保證所提供的源數(shù)據(jù)的連續(xù)性，從而提升了集群服 務(wù)系統(tǒng)的數(shù)據(jù)處理服務(wù)能力。
【附圖說明】
[0040] 為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0041 ]圖1為本發(fā)明實(shí)施例提供的一種集群服務(wù)系統(tǒng)的結(jié)構(gòu)示意圖；
[0042]圖2為本發(fā)明實(shí)施例提供的一種數(shù)據(jù)處理方法的流程圖；
[0043] 圖3為本發(fā)明實(shí)施例提供的一種服務(wù)器的內(nèi)部結(jié)構(gòu)示意圖；
[0044] 圖4為本發(fā)明實(shí)施例提供的一種數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】