一種基于行業(yè)的垂直輿情分析系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及輿情分析技術(shù)領(lǐng)域，特別涉及一種基于行業(yè)的垂直輿情分析系統(tǒng)及方法。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)在全球范圍內(nèi)的飛速發(fā)展，網(wǎng)絡(luò)成為反映社會(huì)輿情的主要載體之一。網(wǎng)絡(luò)媒體作為一種新的信息傳播形式，已深入人們的日常生活。對(duì)企業(yè)而言，了解客戶目前的想法的非常重要的。在互聯(lián)網(wǎng)和社交媒體時(shí)代，一個(gè)品牌的價(jià)值是建立在客戶對(duì)你提供的產(chǎn)品和服務(wù)的觀點(diǎn)和評(píng)價(jià)以及客戶接觸點(diǎn)的經(jīng)驗(yàn)上。你越了解和懂你的客戶，你的生產(chǎn)和市場(chǎng)營(yíng)銷就會(huì)變得越有效。對(duì)競(jìng)爭(zhēng)情報(bào)的獲取和分析能夠使我們能夠時(shí)時(shí)處于主動(dòng)，所謂知己知彼，百戰(zhàn)不殆，對(duì)我們自身產(chǎn)品的了解和對(duì)競(jìng)爭(zhēng)對(duì)手產(chǎn)品的分析，能夠讓我們掌握重要的信息，及時(shí)做戰(zhàn)略調(diào)整，產(chǎn)品優(yōu)化和服務(wù)改進(jìn)。此外，一旦發(fā)生突發(fā)事件，就很容易被發(fā)布到互聯(lián)網(wǎng)中進(jìn)行傳播，引起消費(fèi)者的各種反應(yīng)，包括一些負(fù)面的、消極的，也就可能會(huì)引起混亂。因此對(duì)突發(fā)事件的相關(guān)報(bào)道和媒體信息進(jìn)行分析、預(yù)警，此時(shí)顯得尤為重要，只有做好這些，才能做到防患于未然。然而在互聯(lián)網(wǎng)信息的海洋中，有價(jià)值的信息不是信手拈來(lái)的，如何獲取有價(jià)值的信息這是難點(diǎn)所在；另一方面，信息的價(jià)值是仁者見(jiàn)仁智者見(jiàn)智的，在別人眼里沒(méi)有價(jià)值的信息，經(jīng)過(guò)科學(xué)挖掘，就形成具有較高價(jià)值的信息。
[0003]國(guó)外研宄現(xiàn)狀
[0004]國(guó)外對(duì)自然語(yǔ)言處理方面的研宄起步比較早，其中基于關(guān)鍵詞統(tǒng)計(jì)分析方法的技術(shù)相對(duì)比較成熟，但是在有效性方面還有很大的提升空間。
[0005]1、英國(guó)科波拉軟件公司推出的一款叫“感情色彩”的軟件，能夠?qū)W(wǎng)上發(fā)布的新聞報(bào)道、網(wǎng)站等電子文章進(jìn)行自動(dòng)分析，得到民眾的基本觀點(diǎn)，從中判斷該報(bào)道是正面、負(fù)面還是中立的。為相關(guān)政府機(jī)構(gòu)提供公關(guān)意見(jiàn)，也可以幫助某些公司了解公眾對(duì)他們的看法。
[0006]2、美國(guó)的TDT話題檢測(cè)與跟蹤(Topic Detect1n and Tracking)系統(tǒng)是最知名的網(wǎng)絡(luò)輿情分析系統(tǒng)，這個(gè)概念最早產(chǎn)生于1996年，當(dāng)時(shí)美國(guó)國(guó)防高級(jí)研宄計(jì)劃署(DARPA)根據(jù)現(xiàn)實(shí)的需求，提出要開(kāi)發(fā)一種能在沒(méi)有人工干預(yù)的情況下自動(dòng)判斷新聞數(shù)據(jù)流主題的需求。在1997年，研宄者開(kāi)始此需求進(jìn)行初步研宄，并取得了一些初步成果，包括建立了一個(gè)針對(duì)TDT研宄的預(yù)研語(yǔ)料庫(kù)，研宄的內(nèi)容包括尋找內(nèi)在主題一致的文本片斷，也就是給出一段連續(xù)的數(shù)據(jù)流(文本或語(yǔ)音)，讓系統(tǒng)判斷兩個(gè)事件之間的分界，并且能自動(dòng)判斷新事件的出現(xiàn)以及舊事件的再現(xiàn)。從1998年開(kāi)始，在DARPA支持下，美國(guó)國(guó)家標(biāo)準(zhǔn)技術(shù)研宄所
[0007](NIST)每年都要舉辦話題檢測(cè)與跟蹤國(guó)際會(huì)議，并進(jìn)行相應(yīng)的系統(tǒng)評(píng)測(cè)。
[0008]TDT主要涉及了 5個(gè)子任務(wù)，分別是:報(bào)道切分，新報(bào)道識(shí)別，關(guān)聯(lián)識(shí)別，話題識(shí)別和話題跟蹤。通過(guò)這5個(gè)子任務(wù)之間的相輔相成，有機(jī)的整體就組成了，TDT項(xiàng)目在研宄中積累的豐富的文本分類算法給目前解決網(wǎng)絡(luò)輿情分析中的話題發(fā)現(xiàn)和追蹤問(wèn)題做了很好的引導(dǎo)作用。
[0009]國(guó)內(nèi)研宄現(xiàn)狀
[0010]在國(guó)內(nèi)方面，近幾年在信息處理領(lǐng)域內(nèi)成型的軟件產(chǎn)品也很多，下面以國(guó)內(nèi)兩個(gè)比較出色的系統(tǒng)作為代表，介紹國(guó)內(nèi)研宄的現(xiàn)狀:北京方正電子政務(wù)技術(shù)有限公司推出的方正智思輿情預(yù)警輔助決策支持系統(tǒng)和谷尼國(guó)際軟件(北京)有限公司推出的Goonie網(wǎng)絡(luò)輿情監(jiān)控分析系統(tǒng)。
[0011]1、北京方正下電子政務(wù)技術(shù)有限公司推出的方正智思輿情預(yù)警輔助決策支持系統(tǒng)，以整合互聯(lián)網(wǎng)搜索引擎技術(shù)和自然語(yǔ)言處理技術(shù)，通過(guò)知識(shí)管理的方法，對(duì)互聯(lián)網(wǎng)海量信息進(jìn)行自動(dòng)抓取、分類和聚類、主題檢測(cè)和專題聚焦，實(shí)現(xiàn)用戶對(duì)互聯(lián)網(wǎng)信息的監(jiān)測(cè)和追蹤等需求，得到以簡(jiǎn)報(bào)，報(bào)表或圖表等多種形式的分析結(jié)果，為系統(tǒng)用戶全面了解互聯(lián)網(wǎng)用戶的思想動(dòng)態(tài)，做出正確的輿論引導(dǎo)，提供合理的分析依據(jù)。
[0012]2、谷尼國(guó)際軟件(北京)有限公司推出的Goonie網(wǎng)絡(luò)輿情監(jiān)控分析系統(tǒng)依托自主研發(fā)的搜索引擎技術(shù)和文本挖掘技術(shù)，通過(guò)網(wǎng)頁(yè)信息的自動(dòng)采集處理、敏感詞過(guò)濾、自動(dòng)聚類、分類、主題檢測(cè)、專題聚焦、統(tǒng)計(jì)分析，完成各部分對(duì)自己相關(guān)網(wǎng)絡(luò)輿情監(jiān)督管理的需要，最終形成輿情簡(jiǎn)報(bào)、分析報(bào)告、移動(dòng)快報(bào)，為決策層全面掌握輿情動(dòng)態(tài)，做出正確輿論引導(dǎo)，提供分析依據(jù)。
[0013]但是現(xiàn)有的互聯(lián)網(wǎng)輿情監(jiān)測(cè)系統(tǒng)的實(shí)際使用效果并不理想，主要原因是現(xiàn)有系統(tǒng)對(duì)采集到的評(píng)論文本的情感傾向性分析不足、沒(méi)有建立很好的解決方案。監(jiān)測(cè)系統(tǒng)中如果沒(méi)有對(duì)評(píng)論文本的情感傾向的分析，將使其不能有效地對(duì)互聯(lián)網(wǎng)輿情進(jìn)行自動(dòng)分析而不能建立起有效且快速的輿情監(jiān)測(cè)預(yù)警機(jī)制，進(jìn)而不能有效阻止各種負(fù)面信息在互聯(lián)網(wǎng)中的蔓延。

【發(fā)明內(nèi)容】

[0014]為了解決現(xiàn)有的互聯(lián)網(wǎng)輿情監(jiān)測(cè)系統(tǒng)對(duì)采集到的評(píng)論文本的情感傾向性分析不足、沒(méi)有建立很好的解決方案。監(jiān)測(cè)系統(tǒng)中如果沒(méi)有對(duì)評(píng)論文本的情感傾向的分析，將使其不能有效地對(duì)互聯(lián)網(wǎng)輿情進(jìn)行自動(dòng)分析而不能建立起有效且快速的輿情監(jiān)測(cè)預(yù)警機(jī)制，進(jìn)而不能有效阻止各種負(fù)面信息在互聯(lián)網(wǎng)中的蔓延的缺點(diǎn)，提出一種基于行業(yè)的垂直輿情分析系統(tǒng)及方法，定制化地實(shí)現(xiàn)消費(fèi)電子行業(yè)特有的輿情方面的需求。
[0015]一種基于行業(yè)的垂直輿情分析系統(tǒng)，其包括如下模塊:
[0016]采集預(yù)處理模塊，用于對(duì)消費(fèi)電子行業(yè)相關(guān)的互聯(lián)網(wǎng)信息進(jìn)行采集和預(yù)處理得到基于文檔的格式化的消費(fèi)電子行業(yè)消息；
[0017]分詞模塊，用于通過(guò)字符串匹配算法進(jìn)行匹配，并基于理解和統(tǒng)計(jì)進(jìn)行分詞的方法對(duì)匹配結(jié)果進(jìn)行修正得到文檔的分詞結(jié)果；
[0018]分析模塊，用于通過(guò)對(duì)文檔的分詞結(jié)果中關(guān)鍵詞的頻率和相似度對(duì)分詞的結(jié)果進(jìn)行文檔的聚類和分類；并用于根據(jù)聚類和分類結(jié)果進(jìn)行熱點(diǎn)/敏感話題分析、傾向性分析以及趨勢(shì)分析得到經(jīng)過(guò)分析處理的信息；
[0019]顯示模塊，用于將經(jīng)過(guò)分析處理的信息推送給用戶。
[0020]一種基于行業(yè)的垂直輿情分析方法，其包括如下步驟:
[0021]S1、對(duì)消費(fèi)電子行業(yè)相關(guān)的互聯(lián)網(wǎng)信息進(jìn)行采集和預(yù)處理得到基于文檔的格式化的消費(fèi)電子行業(yè)消息；
[0022]S2、通過(guò)字符串匹配算法進(jìn)行匹配，并基于理解和統(tǒng)計(jì)進(jìn)行分詞的方法對(duì)匹配結(jié)果進(jìn)行修正得到文檔的分詞結(jié)果；
[0023]S3、通過(guò)對(duì)文檔的分詞結(jié)果中關(guān)鍵詞的頻率和相似度對(duì)分詞的結(jié)果進(jìn)行文檔的聚類和分類；根據(jù)聚類和分類結(jié)果進(jìn)行熱點(diǎn)/敏感話題分析、傾向性分析以及趨勢(shì)分析得到經(jīng)過(guò)分析處理的信息；
[0024]S4、將經(jīng)過(guò)分析處理的信息推送給用戶。
[0025]本發(fā)明提供的基于行業(yè)的垂直輿情分析系統(tǒng)及方法通過(guò)對(duì)消費(fèi)電子行業(yè)相關(guān)的互聯(lián)網(wǎng)信息進(jìn)行采集和預(yù)處理得到基于文檔的格式化的消費(fèi)電子行業(yè)消息可以獲得全面的與電子行業(yè)消息相關(guān)的信息，并且通過(guò)預(yù)處理得到格式化的消費(fèi)電子行業(yè)信息，使得后續(xù)的分析過(guò)程更為有效。通過(guò)通過(guò)字符串匹配算法進(jìn)行匹配，并基于理解和統(tǒng)計(jì)進(jìn)行分詞的方法對(duì)匹配結(jié)果進(jìn)行修正得到文檔的分詞結(jié)果，可以提高分詞的準(zhǔn)確性，不再依賴于傳統(tǒng)技術(shù)通過(guò)收集行業(yè)或產(chǎn)品知識(shí)庫(kù)，能夠基于理解和統(tǒng)計(jì)對(duì)分詞結(jié)果進(jìn)行修正，進(jìn)一步地提高了分詞的效率。通過(guò)對(duì)文檔的分詞結(jié)果中關(guān)鍵詞的頻率和相似度對(duì)分詞的結(jié)果進(jìn)行文檔的聚類和分類；根據(jù)聚類和分類結(jié)果進(jìn)行熱點(diǎn)/敏感話題分析、傾向性分析以及趨勢(shì)分析得到經(jīng)過(guò)分析處理的信息，能夠有效地針對(duì)采集到的評(píng)論文本進(jìn)行情感傾向性分析，從而有效地對(duì)互聯(lián)網(wǎng)輿情進(jìn)行自動(dòng)分析，建立起有效且快速的輿情監(jiān)測(cè)預(yù)警機(jī)制，有效阻止各種負(fù)面