一種網(wǎng)絡(luò)視頻索引的更新方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)視頻領(lǐng)域，特別是涉及一種網(wǎng)絡(luò)視頻索引的更新方法，以及，一種網(wǎng)絡(luò)視頻索引的更新裝置。
【背景技術(shù)】
[0002]搜索系統(tǒng)中，對(duì)于視頻數(shù)據(jù)的檢索需要定期進(jìn)行數(shù)據(jù)索引的重建，由于數(shù)據(jù)量巨大所以索引重建過(guò)程會(huì)比較長(zhǎng)，為了不影響用戶使用體驗(yàn)，需要平滑的進(jìn)行索引數(shù)據(jù)的切換。編輯對(duì)于節(jié)目數(shù)據(jù)的任何修改都需要進(jìn)行索引的更新，數(shù)據(jù)更新的實(shí)時(shí)性要非常高，編輯操作完成，刷新頁(yè)面之后對(duì)于數(shù)據(jù)的修改就要能夠被檢索到。
[0003]現(xiàn)有的搜索系統(tǒng)，對(duì)于全量索引的切換，大多都是讀寫分離，能夠做到一個(gè)搜索服務(wù)，一個(gè)全量索引服務(wù)，每次定時(shí)全量索引構(gòu)建完成后，進(jìn)行服務(wù)切換。切換的過(guò)程需要將新的索引對(duì)外提供搜索服務(wù)，新的索引沒(méi)有問(wèn)題后，老的索引服務(wù)停止并將老的索引刪除，新索引的打開(kāi)對(duì)外搜索以及緩存的預(yù)熱這個(gè)過(guò)程一般會(huì)需要數(shù)秒的時(shí)間，從而線上使用造成了影響。并且，基于這些原因，若將全量索引的切換都放到系統(tǒng)使用的低峰期來(lái)進(jìn)行，則無(wú)法進(jìn)行及時(shí)更新。

【發(fā)明內(nèi)容】

[0004]本發(fā)明提供了一種網(wǎng)絡(luò)視頻索引的更新方法和裝置，以提高索引切換的效率，避免索引切換對(duì)線上使用產(chǎn)生不良影響。
[0005]為了解決上述問(wèn)題，本發(fā)明公開(kāi)了一種網(wǎng)絡(luò)視頻索引的更新方法，包括:
[0006]在包括第一索引庫(kù)的索引服務(wù)器中新建第二索引庫(kù)，所述第一索引庫(kù)具備標(biāo)志對(duì)外提供索引服務(wù)的第一預(yù)設(shè)別名；
[0007]在所述第二索引庫(kù)創(chuàng)建倒排索引的過(guò)程中，接收新增的索引數(shù)據(jù)；
[0008]在所述第一索引庫(kù)和所述第二索引庫(kù)中分別添加新增的索引數(shù)據(jù)，針對(duì)添加在所述第二索引庫(kù)中的新增的索引數(shù)據(jù)添加新增標(biāo)識(shí)；
[0009]在所述第二索引庫(kù)創(chuàng)建倒排索引構(gòu)建完成后，將所述第一索引庫(kù)具備的第一預(yù)設(shè)別名刪除，并針對(duì)所述第二索引庫(kù)添加所述第一預(yù)設(shè)別名；
[0010]根據(jù)所述新增標(biāo)識(shí)查找在所述第二索引庫(kù)中新增的索引數(shù)據(jù)，并根據(jù)新增的索引數(shù)據(jù)創(chuàng)建對(duì)應(yīng)的倒排索引。
[0011]優(yōu)選地，在所述在包括第一索引庫(kù)的索引服務(wù)器中新建第二索引庫(kù)之后，所述方法還包括:
[0012]針對(duì)所述第二索引庫(kù)添加第二預(yù)設(shè)別名；
[0013]所述針對(duì)所述第二索引庫(kù)添加所述第一預(yù)設(shè)別名包括:
[0014]將所述第二索引庫(kù)具備的第二預(yù)設(shè)別名修改為所述第一預(yù)設(shè)別名。
[0015]優(yōu)選地，所述在所述第二索引庫(kù)創(chuàng)建倒排索引包括:
[0016]在所述第二索引庫(kù)中添加索引數(shù)據(jù)，并根據(jù)所添加的索引數(shù)據(jù)創(chuàng)建對(duì)應(yīng)的倒排索引。
[0017]優(yōu)選地，所述倒排索引包括從所述索引數(shù)據(jù)中提取的至少一個(gè)關(guān)鍵詞與所述索引數(shù)據(jù)的映射關(guān)系，所述根據(jù)所添加的索引數(shù)據(jù)創(chuàng)建對(duì)應(yīng)的倒排索引包括:
[0018]對(duì)添加的索引數(shù)據(jù)進(jìn)行分詞處理，得到所述索引數(shù)據(jù)中包括的多個(gè)關(guān)鍵詞；
[0019]建立分詞得到的多個(gè)關(guān)鍵詞與所述索引數(shù)據(jù)的映射關(guān)系。
[0020]優(yōu)選地，所述在所述第二索引庫(kù)創(chuàng)建倒排索引的過(guò)程還包括:
[0021]統(tǒng)計(jì)所述索引數(shù)據(jù)對(duì)應(yīng)的多個(gè)關(guān)鍵詞的詞頻和所述索引數(shù)據(jù)出現(xiàn)的頻率，并添加到創(chuàng)建的倒排索引中；
[0022]其中，所述倒排索引由內(nèi)存創(chuàng)建，并寫入磁盤進(jìn)行保存。
[0023]優(yōu)選地，在所述將所述第一索引庫(kù)具備的第一預(yù)設(shè)別名刪除，并針對(duì)所述第二索引庫(kù)添加所述第一預(yù)設(shè)別名之后，所述方法還包括:
[0024]刪除所述第一索引庫(kù)。
[0025]本發(fā)明還公開(kāi)了一種網(wǎng)絡(luò)視頻索引的更新裝置，包括:
[0026]索引庫(kù)建立模塊，用于在包括第一索引庫(kù)的索引服務(wù)器中新建第二索引庫(kù)，所述第一索引庫(kù)具備標(biāo)志對(duì)外提供索引服務(wù)的第一預(yù)設(shè)別名；
[0027]索引創(chuàng)建模塊，用于在所述第二索引庫(kù)創(chuàng)建倒排索引；
[0028]索引接收模塊，用于在所述第二索引庫(kù)創(chuàng)建倒排索引的過(guò)程中，接收新增的索引數(shù)據(jù)；
[0029]索引添加模塊，用于在所述第一索引庫(kù)和所述第二索引庫(kù)中分別添加新增的索引數(shù)據(jù)，針對(duì)添加在所述第二索引庫(kù)中的新增的索引數(shù)據(jù)添加新增標(biāo)識(shí)；
[0030]別名更改模塊，用于在所述第二索引庫(kù)創(chuàng)建倒排索引構(gòu)建完成后，將所述第一索引庫(kù)具備的第一預(yù)設(shè)別名刪除，并針對(duì)所述第二索引庫(kù)添加所述第一預(yù)設(shè)別名；
[0031]索引創(chuàng)建模塊，用于根據(jù)所述新增標(biāo)識(shí)查找在所述第二索引庫(kù)中新增的索引數(shù)據(jù)，并根據(jù)新增的索引數(shù)據(jù)創(chuàng)建對(duì)應(yīng)的倒排索弓I。
[0032]優(yōu)選地，所述裝置還包括:
[0033]針對(duì)所述第二索引庫(kù)添加第二預(yù)設(shè)別名；
[0034]所述別名更改模塊，具體用于將所述第二索引庫(kù)具備的第二預(yù)設(shè)別名修改為所述第一預(yù)設(shè)別名。
[0035]優(yōu)選地，所述索引創(chuàng)建模塊，具體用于在所述第二索引庫(kù)中添加索引數(shù)據(jù)，并根據(jù)所添加的索引數(shù)據(jù)創(chuàng)建對(duì)應(yīng)的倒排索引。
[0036]優(yōu)選地，所述倒排索引包括從所述索引數(shù)據(jù)中提取的至少一個(gè)關(guān)鍵詞與所述索引數(shù)據(jù)的映射關(guān)系，所述索引創(chuàng)建模塊包括:
[0037]分詞子模塊，用于對(duì)添加的索引數(shù)據(jù)進(jìn)行分詞處理，得到所述索引數(shù)據(jù)中包括的多個(gè)關(guān)鍵詞；
[0038]映射關(guān)系建立子模塊，用于建立分詞得到的多個(gè)關(guān)鍵詞與所述索引數(shù)據(jù)的映射關(guān)系O
[0039]與【背景技術(shù)】相比，本發(fā)明包括以下優(yōu)點(diǎn):
[0040]在搜索系統(tǒng)中，一般都需要定時(shí)的進(jìn)行全量索引數(shù)據(jù)的創(chuàng)建，耗時(shí)較長(zhǎng)，對(duì)線上使用造成了影響，本發(fā)明主要是在全量構(gòu)建索引的過(guò)程中新老索引庫(kù)的切換流程的一個(gè)創(chuàng)新，通過(guò)空間換時(shí)間的思路，通過(guò)索引的別名以及異步線程調(diào)用完成別名變更技術(shù)，而搜索系統(tǒng)創(chuàng)建別名的時(shí)間很短，只要幾毫秒，因此采用本發(fā)明的索引切換流程能夠做到全量構(gòu)建索引的時(shí)候，在毫秒級(jí)別的時(shí)間完成平滑切換新舊索引庫(kù)，任何時(shí)間進(jìn)行索引切換都不會(huì)對(duì)線上使用和用戶的使用體驗(yàn)產(chǎn)生不良影響。
【附圖說(shuō)明】
[0041]圖1是本發(fā)明實(shí)施例的一種網(wǎng)絡(luò)視頻索引的更新方法流程圖；
[0042]圖2是本發(fā)明實(shí)施例的網(wǎng)絡(luò)視頻索引的更新方法的一個(gè)示例中建立倒排索引的示意圖；
[0043]圖3是本發(fā)明實(shí)施例的網(wǎng)絡(luò)視頻索引的更新方法的一個(gè)示例的示意圖；
[0044]圖4是本發(fā)明實(shí)施例的一種網(wǎng)絡(luò)視頻索引的更新裝置結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0045]為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
[0046]采用【背景技術(shù)】的搜索系統(tǒng)，對(duì)于全量索引的切換，基本都是首先新建一個(gè)新的索引庫(kù)，然后批量構(gòu)建索引，全量索引構(gòu)建完成后，將老的索引服務(wù)停止，再將新的索引庫(kù)對(duì)外提供服務(wù)。這個(gè)過(guò)程中需要的時(shí)間會(huì)比較長(zhǎng)，停止老的搜索服務(wù)的時(shí)間，加上新的搜索服務(wù)對(duì)外提供檢索的時(shí)間，再加上搜索緩存的一些預(yù)熱時(shí)間等，可能會(huì)需要數(shù)秒鐘停止搜索服務(wù)的時(shí)間。
[0047]有鑒于此，本發(fā)明提出了一種新的