基于用戶潛在需求的資源推薦方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及數(shù)據(jù)檢索領域，公開了一種基于用戶潛在需求的資源推薦方法及系統(tǒng)。該方法包括步驟：利用文本聚類和主題挖掘算法對資源進行聚類和主題抽取；基于聚類結果，計算每個主題下的主題詞，得到對應領域的主題詞表；利用主題詞表對資源進行自動標引，計算出每個獨立資源包含的主題詞；結合用戶對獨立資源的操作記錄以及用戶屬性，計算用戶對某個主題的關注度；建立用戶需求模型并計算用戶之間的主題相似度；利用獨立資源中數(shù)據(jù)間的關系計算指定信息對主題的權威度；根據(jù)用戶需求模型篩選資源，將匹配度較高的資源推薦給用戶。本發(fā)明利用用戶的潛在情報需求和自己的專業(yè)領域密切相關性，可以更精準地向用戶推薦和用戶需求相匹配的情報資源。
【專利說明】基于用戶潛在需求的資源推薦方法及系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及數(shù)據(jù)檢索領域，尤其是涉及一種基于用戶潛在需求的資源推薦方法及系統(tǒng)。
【背景技術】
[0002]隨著Web2.0技術的不斷發(fā)展,通過Internet這種快捷、方便的信息載體,人們每天都會創(chuàng)造出成千上萬的信息，因此它已經(jīng)成為了人們在日常生活中獲取信息的重要平臺之一。但是，信息量快速膨脹之后隨之而來的問題是信息泛濫問題，無數(shù)重復的數(shù)據(jù)通過Internet呈現(xiàn)在用戶面前，使得人們想通過網(wǎng)絡查找自己感興趣的信息變得非常困難和耗時，這種現(xiàn)象稱為“信息過載”。
[0003]面對這樣的挑戰(zhàn)，基于互聯(lián)網(wǎng)的搜索引擎應運而生。人們通常會利用搜索網(wǎng)站來查找自己想要的數(shù)據(jù)，但通用的搜索引擎僅僅只是通過用戶輸入的關鍵詞來匹配相關的信息并將之返回給用戶，不同用戶輸入相同檢測條件時返回的內(nèi)容完全相同，并沒有考慮到用戶個人興趣進行差異化設計。因此，搜索引擎所能提供的信息篩選能力有限，不能從根本上解決信息過載的問題。
[0004]此外，搜索引擎的另外一個顯著特點就是采用信息拉取方式，即用戶根據(jù)自己的信息需求，從互聯(lián)網(wǎng)將信息“拉取”到用戶面前。但如果用戶無法準確描述自己的信息需求而輸入了不恰當?shù)臋z索詞，將會拉取回來大量的和自己的需求并不匹配的信息資源。這些問題到導致現(xiàn)有的搜索引擎難以全面地體現(xiàn)不同用戶的需求差異，搜索效率、精確度和用戶滿意度很難達到理想的狀態(tài)。

【發(fā)明內(nèi)容】

[0005]針對現(xiàn)有技術中存在的上述缺陷，本發(fā)明所要解決的技術問題是如何針對不同用戶的差異提供精確的信息。
[0006]為解決上述技術問題，一方面，本發(fā)明提供了一種基于用戶潛在需求的資源推薦方法，該方法包括步驟:
[0007]SI，利用文本聚類和主題挖掘算法對資源進行聚類和主題抽??；
[0008]S2，基于聚類結果，計算每個主題下的主題詞，得到對應領域的主題詞表；
[0009]S3，利用主題詞表對資源進行自動標引，計算出每個獨立資源包含的主題詞；
[0010]S4，結合用戶對獨立資源的操作記錄以及用戶屬性，計算用戶對某個主題的關注度，建立用戶需求模型并計算用戶之間的主題相似度；利用獨立資源中數(shù)據(jù)間的關系計算指定信息對主題的權威度；
[0011]S5，根據(jù)用戶需求模型篩選資源，將匹配度較高的資源推薦給用戶。
[0012]優(yōu)選地，所述步驟SI中，采用改進的層次化主題抽取模型hLDA進行所述聚類和主題抽取。
[0013]優(yōu)選地，所述步驟S4中，用戶U和V之間的主題相似度計算步驟為:[0014]首先建立用戶u和V各自的需求模型Mu和Mv ;同時記Mu和Mv各自的主題集合為
[0015]根據(jù)MdPMv中包含的主題建立主題集合 = M^} + Mf} = [TllT2,...,Tn]^
為Mu和Mv各自包含的主題個數(shù)之和；
[0016]VTi e ，分別計算用戶U和V對的Ti的關注度S(u，Ti)和S(v，Ti)；
[0017]在主題空間IT1, T2, , TJ上分別建立用戶U、V的主題關注度向量U和V:U={S(u,T1),S(u,T2),...,S(u,Tn)}以及 V= (S(Vj1), S(v，T2)，...，S(v，Tn)};計算向量 U和V的夾角的余弦值作為u和V之間的主題相似度。 [0018]優(yōu)選地，所述步驟S5中，根據(jù)用戶需求模型Mu篩選資源包括步驟:
[0019]對于Mu包含的每個主題，將該主題下的規(guī)范主題詞及其相應的輔助詞放入詞表Dic ;當所有主題處理完畢后，詞表Dic包含了模型Mu中所有的規(guī)范主題詞和輔助詞；
[0020]對于Mu包含的每個主題T，得到包含該主題的所有文檔，將這些文檔放入集合Docs ;當所有主題處理完畢后，集合Docs為所有包含了 Mu中至少一個主題的文檔集合；
[0021]對集合Docs中的每個文檔，統(tǒng)計詞表Dic中的詞在該文檔中出現(xiàn)次數(shù)之和TFmc ；當集合Docs中所有文檔統(tǒng)計完畢后，根據(jù)每個文檔的TFm。進行排序，將最靠前的若干個文檔推薦給用戶。
[0022]優(yōu)選地，對于用戶U，其用戶需求模型Mu表示為:MU=(AU，TU)，其中Au是用戶u屬性集合，A={a1;a2，...，an}，屬性％是與需求相關聯(lián)的屬性，Tu是用戶u所關注的主題的集合，Tu被表示為用戶u所關注的主題Ti的集合，i = 1,2,..., η。
[0023]優(yōu)選地，所述步驟S2中，利用互相信息進行主題詞計算:
[0024]計算每個候選主題詞與對應主題的互信息后，按照互信息的值由大到小進行排序；最終取互信息值最大的前若干個候選詞作為該主題的主題詞。
[0025]優(yōu)選地，所述步驟S2中，計算出主題詞之后:
[0026]還采用人工干預的辦法對計算出來的主題詞進行審核，審核通過的主題詞進入規(guī)范主題詞表；
[0027]同時，利用主題詞之間的層次關系建立規(guī)范主題詞表中主題詞之間的上、下位關系;
[0028]以及利用HowNet作為同義詞詞典，計算出規(guī)范主題詞表中的每個主題詞的同義
ο
[0029]優(yōu)選地，所述步驟S5中，還根據(jù)所述用戶之間的主題相似度，利用相似度最高的用戶的需求模型對目標用戶進行相似推薦；和/或
[0030]根據(jù)所述指定信息對主題的權威度對用戶進行權威推薦。
[0031]另一方面，本發(fā)明還同時提供了一種基于用戶潛在需求的資源推薦系統(tǒng)，該系統(tǒng)包括:
[0032]預處理模塊，用于利用文本聚類和主題挖掘算法對資源進行聚類和主題抽取；
[0033]主題詞表模塊，用于基于聚類結果，計算每個主題下的主題詞，得到對應領域的主題詞表；
[0034]標引模塊，用于利用主題詞表對資源進行自動標引，計算出每個獨立資源包含的主題詞；
[0035]計算模塊，用于結合用戶對獨立資源的操作記錄以及用戶屬性，計算用戶對某個主題的關注度；建立用戶需求模型并計算用戶之間的主題相似度；利用獨立資源中數(shù)據(jù)間的關系計算指定信息對主題的權威度；
[0036]推薦模塊，用于根據(jù)用戶需求模型篩選資源，將匹配度較高的資源推薦給用戶。
[0037]本發(fā)明提供了一種基于用戶潛在需求的資源推薦方法及系統(tǒng)，利用用戶的潛在情報需求和自己的專業(yè)領域密切相關性，通過挖掘基于專業(yè)領域的用戶潛在情報需求，可以更精準地向用戶推薦和用戶需求相匹配的情報資源。
【專利附圖】

【附圖說明】
[0038]圖1為本發(fā)明的一個實施例中基于用戶潛在需求的資源推薦方法的流程示意圖；
[0039]圖2為本發(fā)明的一個優(yōu)選實施例中文檔聚類和主題抽取模型示意圖；
[0040]圖3為本發(fā)明的一個優(yōu)選實施例中主題詞計算過程流程示意圖；
[0041]圖4為本發(fā)明的一個優(yōu)選實施例中自動標引過程流程示意圖；
[0042]圖5為本發(fā)明的一個優(yōu)選實施例中作者、研究機構權威度計算過程流程示意圖；
[0043]圖6為本發(fā)明的一個典型應用場景中作者、研究機構的主題權威度模型框架圖。
【具體實施方式】
[0044]下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述。顯然，所描述的實施例為實施本發(fā)明的較佳實施方式，所述描述是以說明本發(fā)明的一般原則為目的，并非用以限定本發(fā)明的范圍。本發(fā)明的保護范圍應當以權利要求所界定者為準，基于本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0045]現(xiàn)有的搜索引擎信息篩選能力有限且相對較為被動，為了解決上述問題，出現(xiàn)了個性化化推薦技術:即在信息資源服務端通過分析用戶的需求，將用戶可能感興趣的信息主動推送給用戶。推薦系統(tǒng)的主要特點為它是一個主動推送的過程，而推薦系統(tǒng)的這種主動推送方式則正好克服了傳統(tǒng)搜索引擎信息拉取模式的缺陷:用戶往往并不清楚如何準確表達自己的信息需求，或者并不清楚自己的信息需求，也就無法用搜索引擎來獲取有價值的信息了。
[0046]個性化推薦技術的核心就是如何分析挖掘出用戶潛在的信息需求，比如利用用戶的操作日志(如對圖書、歌曲、電影等資源的瀏覽記錄等)分析出用戶的個人偏好、地理位置信息等，并以此為依據(jù)向目標用戶推薦與之相關的其它信息資源。目前的用戶個性化推薦技術里協(xié)同過濾技術是研究最多、應用最廣的推薦技術，它是基于其他用戶的操作日志分析得到對目標用戶的推薦內(nèi)容，推薦的個性化程度很高。當前基于協(xié)同過濾思想的推薦方法總體說來只要分為兩大類，一是基于用戶相似度的推薦算法，一類是基于內(nèi)容過濾的推薦算法。基于相似度的推薦算法就是通過構建用戶-資源矩陣來描述用戶-資源之間的關聯(lián)關系，在此基礎上計算用戶之間的相似度，然后將和目標用戶最相似用戶的信息推薦給目標用戶；基于內(nèi)容的過濾的推薦算法通過對用戶已經(jīng)瀏覽過的信息資源內(nèi)容進行分析從而得到用戶的特征模型，然后利用用戶特征模型對資源打分，得分高的吸引將被推薦給目標用戶。這類方法結合機器學習、數(shù)據(jù)挖掘等方法在一定程度上彌補了用戶-項目評分矩陣的稀疏問題。
[0047]以上研究內(nèi)容大多是基于Internet上的公用信息資源，如網(wǎng)頁、歌曲、視頻等，用戶感興趣的資源范疇廣泛，因此利用協(xié)同過濾和內(nèi)容過濾很難精確地分析用戶資源需求所屬領域。然而對于具有相對完備的元數(shù)據(jù)的結構化或半結構化的資源(典型地如專業(yè)的數(shù)字情報資源，如高校、科研院所、大型企業(yè)的數(shù)字情報資源等)，則具有明顯不同于Internet上公用資源的以下特點:情報資源具有很清晰的專業(yè)領域分類；情報資源都有相對完備的元數(shù)據(jù)，如作者、關鍵詞、分類號等；用戶使用數(shù)字圖書館或科技情報平臺一般需要身份認證，同時身份信息更加明確，除了用戶名外，還有所屬機構等信息；用戶獲取資源的目的性更強，獲取的情報資源和自己所感興趣的研究領域密切相關。所以，傳統(tǒng)的基于Internet公用資源的個性化推薦方法不能滿足專業(yè)情報資源信息系統(tǒng)所要求的更精確、基于專業(yè)領域興趣的個性化情報推薦的要求。
[0048]在本發(fā)明的實施例中，通過挖掘基于專業(yè)領域的用戶潛在情報需求，可以更精準地向用戶推薦和用戶需求相匹配的情報資源。參見圖1，在本發(fā)明的一個實施例中，基于用戶潛在需求的資源推薦方法包括步驟:
[0049]SI，利用文本聚類和主題挖掘算法對資源進行聚類和主題抽取；
[0050]S2，基于聚類結果，計算每個主題下的主題詞，得到對應領域的主題詞表；
[0051]S3，利用主題詞表對資源進行自動標引，計算出每個獨立資源包含的主題詞；
[0052]S4，結合用戶對獨立資源的操作記錄以及用戶屬性，計算用戶對某個主題的關注度；建立用戶需求模型并計算用戶之間的主題相似度；利用獨立資源中數(shù)據(jù)間的關系計算指定信息對主題的權威度；
[0053]S5，根據(jù)用戶需求模型篩選資源，將匹配度較高的資源推薦給用戶。
[0054]以下對上述實施例的各種優(yōu)選方式做進一步的擴展說明，在本發(fā)明的優(yōu)選實施例中，為了進一步突出本發(fā)明的技術規(guī)律和實際效果，將資源范圍限定在技術情報信息中，但本領域相關技術人員應該理解，技術情報信息只是全部數(shù)據(jù)資源中的一個具體分類，對于其他具有相對完備的元數(shù)據(jù)的結構化或半結構化的資源(以通用格式進行標記的結構化網(wǎng)絡文件，如XML、HTML等；或是有明確的字段對資源做進一步說明的，如專利文獻等；或是其他經(jīng)過粗加工分類后的資源)，本發(fā)明的技術方案顯然也可以直接應用于其中，因此本發(fā)明的優(yōu)選實施例不應視作對本發(fā)明的限制。
[0055]科技情報信息系統(tǒng)的用戶為了獲取自己感興趣的資源，一般會通過以下三種途徑進行篩選:檢索詞、文獻作者、作者所屬研究機構。每篇科技文獻都有特定的主題，每個主題都有一組主題詞來對主題進行描述；每篇科技文獻都和作者相關聯(lián)，每個作者都有特定的研究領域，作者的研究領域可以通過作者所發(fā)文章的主題來描述；每個作者都和自己所屬的研究機構，如大學、科研院所相關聯(lián)；科技文獻之間可能存在主題相關性；作者之間、機構之間可能存在共同發(fā)文、共同承擔科技項目這樣的合作關系。因此，用戶的研究主題、科技文獻、作者和研究機構之間存在潛在的較為復雜的關聯(lián)關系。這些關聯(lián)關系在本發(fā)明中將被充分利用，作為挖掘用戶潛在需求和對用戶推薦的依據(jù)。同時，本發(fā)明不僅向用戶推薦科技文獻，而且還利用研究主題、文獻、作者、研究機構之間的關聯(lián)關系向用戶推薦用戶感興趣領域的權威作者以及權威研究機構。[0056]其中，在本發(fā)明的優(yōu)選實施例中，為了有效地構建主題詞表，首先需要從情報資源中抽取出蘊含的主題。主題抽取方法中應用最為廣泛的是LDA話題抽取模型，這是一種常用的三層貝葉斯概率生成主題模型，將詞語、文檔與潛在的語義主題三者之間的關系凸顯出來。其參數(shù)不會隨著文檔集增長而線性增長，有很好的泛化能力，是機器學習、信息檢索等領域很流行的一個模型。但是，在LDA模型對大規(guī)模文檔集合進行主題挖掘之前，需要事先人工指定主題個數(shù)K。但通常情況下，給定一個大規(guī)模文檔集合，事先是無法確定其中包含多少個主題的。同時，傳統(tǒng)的LDA模型在主題抽取過程中不能將文檔自動聚類，因此抽取出的主題沒有語義層次關系。
[0057]因此，本發(fā)明的步驟SI中，優(yōu)選采用改進的層次化主題抽取模型hLDA進行資源主題的抽取，抽取處理的主題具有語義層次關系，同時會自動地對文檔進行聚類。更重要的是，本發(fā)明所采用的改進的hLAD模型充分利用了科技文獻中的引文關系:即存在引用和被引關系的文獻更有可能是屬于同一個主題，并且更有可能被聚類在一起。本發(fā)明改進的hLDA模型如圖2所示:
[0058]改進的hLDA模型中，采用如下符號來標記文獻聚類和主題抽取模型的相關參數(shù)，節(jié)點T表示L層樹的路徑集合；Y為樹的路徑概率分布的先驗超參數(shù)；nCRP是一個統(tǒng)計過程，它分配概率分布到無限廣度、無限深度的樹中;C1; C2，C3，…，Q表示樹中的節(jié)點；α為隱含主題間的比重，是描述文檔集合在它所在的樹的主題層次上的潛在主題先驗分布超參數(shù)；Θ是文檔在主題上的分布比例，Θ服從Dirichlet分布Dir ( θ |α)，表示目標文檔m在它所在的主題層次中每個隱含主題的權重表示文檔中蘊含的主題^表示文檔中的單詞；β代表樹中的每個節(jié)點主題的詞項分布；Π為描述主題詞項分布的先驗分布超參數(shù)；參數(shù)λ決定話題來自引文m’還是文獻m自身的比例；λ的分布取決于先驗概率Ψ ;隨機變量s表示文獻m和m之間的引用關系:s=0表示文獻m沒有引用文獻m’，因此文獻m的主題完全由文獻本身的話題分布先驗概率α和文獻本身的話題分布Θ決定；如果s=l，則文獻m的主題由m和m’共同決定，參數(shù)λ決定話題來自引文m還是文獻m自身的比例；λ的分布取決于先驗概率Ψ。
[0059]基于上述改進的hLDA模型，經(jīng)挖掘抽取出一個文檔的單詞過程如下:
[0060]對于樹中的每一個主題k e T，生成β~Dirichlet ( η)的主題詞分布；
[0061 ] 對每一篇文檔m，根據(jù)C111~nCRP ( Y )生成樹的路徑；
[0062]對該文檔的L維主題分布,如果s=0,則生成Θ m~Dirichlet ( α );如果s=l，首先生成λ~Dirichlet ( ψ), λ決定定話題來自引文m還是文獻m自身的比例；接著生成
9m~λ Dirichlet ( α ) +(1-λ ) Dirichlet ( α ')；
[0063]對文檔中的第n個詞，選擇該詞所賦予的主題Zm,n|Mult ( Θ J，隨后選擇單詞Wffl,?| {Zffl,n, Cffl, β}~Mult(i3，cm[zm，n])。
[0064]其中，聚類和主題抽取中采用Gibbs抽樣方法來對模型參數(shù)進行估計。Gibbs抽樣只需對變量Zm，i ( 文檔m中的第i個單詞Wi賦予的主題)和變量Cnbl (文檔m在主題層次樹路徑中的第I層主題)進行估計計算。整個Gibbs采樣的過程分為如下兩步:
[0065]首先，估計變量Znbi，其條件后驗概率分布表達式如下:
[0066]
【權利要求】
1.一種基于用戶潛在需求的資源推薦方法，其特征在于，所述方法包括步驟: Si，利用文本聚類和主題挖掘算法對資源進行聚類和主題抽??； S2，基于聚類結果，計算每個主題下的主題詞，得到對應領域的主題詞表； S3，利用主題詞表對資源進行自動標引，計算出每個獨立資源包含的主題詞； S4，結合用戶對獨立資源的操作記錄以及用戶屬性，計算用戶對某個主題的關注度；建立用戶需求模型并計算用戶之間的主題相似度；利用獨立資源中數(shù)據(jù)間的關系計算指定信息對主題的權威度； S5，根據(jù)用戶需求模型篩選資源，將匹配度較高的資源推薦給用戶。
2.根據(jù)權利要求1所述的方法，其特征在于，所述步驟SI中，采用改進的層次化主題抽取模型hLDA進行所述聚類和主題抽取。
3.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S4中，用戶u和V之間的主題相似度計算步驟為: 首先建立用戶U和V各自的需求模型Mu和Mv ;同時記Mu和Mv各自的主題集合為Mf}和 Mf}; 根據(jù)仏和Mv中包含的主題建立主題集合
4.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S5中，根據(jù)用戶需求模型Mu篩選資源包括步驟: 對于Mu包含的每個主題，將該主題下的規(guī)范主題詞及其相應的輔助詞放入詞表Dic ;當所有主題處理完畢后，詞表Dic包含了模型Mu中所有的規(guī)范主題詞和輔助詞； 對于Mu包含的每個主題T，得到包含該主題的所有文檔，將這些文檔放入集合Docs ；當所有主題處理完畢后，集合Docs為所有包含了 Mu中至少一個主題的文檔集合； 對集合Docs中的每個文檔，統(tǒng)計詞表Dic中的詞在該文檔中出現(xiàn)次數(shù)之和TFDi。；當集合Docs中所有文檔統(tǒng)計完畢后，根據(jù)每個文檔的TFm。進行排序，將最靠前的若干個文檔推薦給用戶。
5.根據(jù)權利要求3或4所述的方法，其特征在于，對于用戶U，其用戶需求模型Mu表示為:MU=(AU, Tu),其中Au是用戶u屬性集合，A={a1; a2, , an},屬性Si是與需求相關聯(lián)的屬性，Tu是用戶u所關注的主題的集合，Tu被表示為用戶u所關注的主題Ti的集合，i=l,2j...jrio
6.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S2中，利用互相信息進行主題詞計算: 計算每個候選主題詞與對應主題的互信息后，按照互信息的值由大到小進行排序；最終取互信息值最大的前若干個候選詞作為該主題的主題詞。
7.根據(jù)權利要求1或6所述的方法，其特征在于，所述步驟S2中，計算出主題詞之后: 還采用人工干預的辦法對計算出來的主題詞進行審核，審核通過的主題詞進入規(guī)范主題詞表； 同時，利用主題詞之間的層次關系建立規(guī)范主題詞表中主題詞之間的上、下位關系； 以及利用HowNet作為同義詞詞典，計算出規(guī)范主題詞表中的每個主題詞的同義詞。
8.根據(jù)權利要求4所述的方法，其特征在于，所述步驟S5中，還根據(jù)所述用戶之間的主題相似度，利用相似度最高的用戶的需求模型對目標用戶進行相似推薦；和/或 根據(jù)所述指定信息對主題的權威度對用戶進行權威推薦。
9.一種基于用戶潛在需求的資源推薦系統(tǒng)，其特征在于，所述系統(tǒng)包括: 預處理模塊，用于利用文本聚類和主題挖掘算法對資源進行聚類和主題抽?。? 主題詞表模塊，用于基于聚類結果，計算每個主題下的主題詞，得到對應領域的主題詞表; 標引模塊，用于利用主題詞表對資源進行自動標引，計算出每個獨立資源包含的主題詞； 計算模塊，用于結合用戶對獨立 資源的操作記錄以及用戶屬性，計算用戶對某個主題的關注度；建立用戶需求模型并計算用戶之間的主題相似度；利用獨立資源中數(shù)據(jù)間的關系計算指定信息對主題的權威度； 推薦模塊，用于根據(jù)用戶需求模型篩選資源，將匹配度較高的資源推薦給用戶。
【文檔編號】G06F17/30GK103577579SQ201310549102
【公開日】2014年2月12日 申請日期:2013年11月8日 優(yōu)先權日:2013年11月8日
【發(fā)明者】王慶紅, 李鵬, 周育忠, 陶秀潔, 龔婷, 陳傳夫, 王平, 王曉光, 冉從敬 申請人:南方電網(wǎng)科學研究院有限責任公司, 武漢大學