全媒體檢測及監(jiān)播大數(shù)據(jù)行為智能分析系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種全媒體檢測及監(jiān)播大數(shù)據(jù)行為智能分析系統(tǒng)，它涉及一種全媒體監(jiān)測系統(tǒng)。它包括輿情采集層、輿情處理層和輿情表現(xiàn)層，輿情采集層與輿情處理層相連，輿情處理層通過輿情表現(xiàn)層呈現(xiàn)；所述的輿情采集層指分布式定向采集引擎從互聯(lián)網(wǎng)上采集新聞、論壇、博客、微博、平媒、問答等輿情信息，并存儲到分布式數(shù)據(jù)庫及文件系統(tǒng)中。本發(fā)明實現(xiàn)對媒體監(jiān)測大數(shù)據(jù)進(jìn)行數(shù)據(jù)內(nèi)容、語義、描述進(jìn)行分析，建立基于媒體的數(shù)據(jù)分析模型、媒體大數(shù)據(jù)結(jié)構(gòu)和內(nèi)容分析的多層次描述方法，實現(xiàn)了超大規(guī)模媒體數(shù)據(jù)內(nèi)概念分析模型，是一個全媒體數(shù)據(jù)內(nèi)容理解的數(shù)據(jù)行為智能分析系統(tǒng)。
【專利說明】全媒體檢測及監(jiān)播大數(shù)據(jù)行為智能分析系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及的是全媒體監(jiān)測系統(tǒng)，具體涉及一種全媒體監(jiān)測系統(tǒng)。

【背景技術(shù)】
[0002]目前國內(nèi)大多數(shù)網(wǎng)絡(luò)輿情信息監(jiān)測系統(tǒng)，都是基于客戶所需要的需求，定制相關(guān)關(guān)鍵詞，通過各種技術(shù)抓取和人工生產(chǎn)各種監(jiān)測新聞數(shù)據(jù)，都是基于信息本身的。而沒有一個是基于媒體分析的，多層次、多角度對媒體數(shù)據(jù)的內(nèi)容、語義、描述進(jìn)行分析，建立媒體分析模型，研宄媒體數(shù)據(jù)的概念表示、事件提取、多角度語義表述、結(jié)構(gòu)組織、內(nèi)容分析的多層次結(jié)構(gòu)化描述方法，建立超規(guī)模媒體內(nèi)容深度分析的概念模型，為媒體大數(shù)據(jù)的內(nèi)容理解奠定基礎(chǔ)。
[0003]國內(nèi)現(xiàn)有的媒體監(jiān)測數(shù)據(jù)都源于網(wǎng)絡(luò)，對于全媒體數(shù)據(jù)而言這里只占25-30%，而70-75%的信息，例如平面媒體出于對發(fā)行量的考慮，大量信息不會出現(xiàn)在網(wǎng)絡(luò)版上面；再如大量的廣播電視和報刊廣告，因為大量占有空間不會長期存在網(wǎng)絡(luò)上面。因此，常常出現(xiàn)很多想要的信息在網(wǎng)絡(luò)上面查詢不到，影響到信息的全面性、完整性，從而影響決策的正確性。這是因特網(wǎng)信息長期以來沒有解決，也不可能解決的問題。


【發(fā)明內(nèi)容】

[0004]針對現(xiàn)有技術(shù)上存在的不足，本發(fā)明目的是在于提供一種全媒體檢測及監(jiān)播大數(shù)據(jù)行為智能分析系統(tǒng)，實現(xiàn)對媒體監(jiān)測大數(shù)據(jù)進(jìn)行數(shù)據(jù)內(nèi)容、語義、描述進(jìn)行分析，建立基于媒體的數(shù)據(jù)分析模型、媒體大數(shù)據(jù)結(jié)構(gòu)和內(nèi)容分析的多層次描述方法，實現(xiàn)了超大規(guī)模媒體數(shù)據(jù)內(nèi)概念分析模型，是一個全媒體數(shù)據(jù)內(nèi)容理解的數(shù)據(jù)行為智能分析系統(tǒng)。
[0005]為了實現(xiàn)上述目的，本發(fā)明是通過如下的技術(shù)方案來實現(xiàn):全媒體檢測及監(jiān)播大數(shù)據(jù)行為智能分析系統(tǒng)，包括輿情采集層、輿情處理層和輿情表現(xiàn)層，輿情采集層與輿情處理層相連，輿情處理層通過輿情表現(xiàn)層呈現(xiàn)。
[0006]所述的輿情采集層指分布式定向采集引擎從互聯(lián)網(wǎng)上采集新聞、論壇、博客、微博、平媒、問答等輿情信息，并存儲到分布式數(shù)據(jù)庫及文件系統(tǒng)中。
[0007]所述的輿情處理層(相關(guān)算法)指對采集的輿情信息進(jìn)行智能處理。輿情應(yīng)用指把經(jīng)過智能分析加工處理的輿情數(shù)據(jù)發(fā)布到Web界面上并展示給用戶。
[0008]所述的輿情表現(xiàn)層是指用戶通過輿情應(yīng)用平臺瀏覽系統(tǒng)采集的各種輿情信息，也可通過簡報生成等功能完成對輿情的深度加工。
[0009]本發(fā)明具有以下有益效果:
[0010]1、準(zhǔn)確性，能夠準(zhǔn)確地發(fā)現(xiàn)網(wǎng)絡(luò)輿情話題，結(jié)果與客觀實際及用戶感受符合程度尚;
[0011]2、時效性，及時發(fā)現(xiàn)新的輿情話題，并對敏感信息進(jìn)行預(yù)警；
[0012]3、持續(xù)性，即能追蹤已知話題的后續(xù)相關(guān)報道，掌握其發(fā)展趨勢；
[0013]4、可定制性，即能夠根據(jù)用戶的自定義需求，對重點話題進(jìn)行聚焦監(jiān)測；
[0014]5、全面性，即能夠?qū)ΡO(jiān)測范圍內(nèi)的多種類型、多種來源的網(wǎng)絡(luò)輿情數(shù)據(jù)進(jìn)行統(tǒng)一分析，確保監(jiān)測結(jié)果與實際情況相符。

【專利附圖】

【附圖說明】
[0015]下面結(jié)合附圖和【具體實施方式】來詳細(xì)說明本發(fā)明；
[0016]圖1為本發(fā)明的結(jié)構(gòu)示意圖。

【具體實施方式】
[0017]為使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié)合【具體實施方式】，進(jìn)一步闡述本發(fā)明。
[0018]參照圖1，本【具體實施方式】采用以下技術(shù)方案:全媒體檢測及監(jiān)播大數(shù)據(jù)行為智能分析系統(tǒng)，包括輿情采集層1、輿情處理層2和輿情表現(xiàn)層3，輿情采集層I與輿情處理層2相連，輿情處理層2通過輿情表現(xiàn)層3呈現(xiàn)。
[0019]所述的輿情采集層I指分布式定向采集引擎從互聯(lián)網(wǎng)上采集新聞、論壇、博客、微博、平媒、問答等輿情信息，并存儲到分布式數(shù)據(jù)庫及文件系統(tǒng)中。
[0020]所述的輿情處理層2 (相關(guān)算法)指對采集的輿情信息進(jìn)行智能處理。輿情應(yīng)用指把經(jīng)過智能分析加工處理的輿情數(shù)據(jù)發(fā)布到Web界面上并展示給用戶。
[0021]所述的輿情表現(xiàn)層3是指用戶通過輿情應(yīng)用平臺瀏覽系統(tǒng)采集的各種輿情信息，也可通過簡報生成等功能完成對輿情的深度加工。
[0022]本【具體實施方式】的輿情采集層I在互聯(lián)網(wǎng)輿情信息采集方面，輿情采集引擎通過自動匹配技術(shù)可以精確抽取網(wǎng)頁的標(biāo)題、正文、發(fā)布時間、作者等，同時過濾廣告(圖片或flash)、版權(quán)、干擾字符等無用信息。
[0023]支持基于模板的元數(shù)據(jù)解析:本輿情系統(tǒng)采用基于模版的元數(shù)據(jù)解析策略，能對采集的網(wǎng)頁信息進(jìn)行精確的數(shù)據(jù)抽取，對于新聞網(wǎng)頁，可以解析出來源作者、發(fā)布時間、新聞標(biāo)題、新聞作者，對于論壇貼子可以解析出發(fā)貼人、發(fā)貼時間、貼子主題、貼子內(nèi)容、點擊數(shù)等元數(shù)據(jù)。
[0024]內(nèi)嵌Javascript腳本解析引擎:本輿情監(jiān)測采集系統(tǒng)內(nèi)嵌了 javascript腳本解析引擎，能夠?qū)崿F(xiàn)網(wǎng)頁中腳本語言的自動解析和執(zhí)行，從而能夠?qū)崿F(xiàn)對基于腳本語言的論壇、博客、新聞評論網(wǎng)站的采集。
[0025]支持微博采集:本輿情監(jiān)測系統(tǒng)支持對國內(nèi)新浪、騰訊、網(wǎng)易、搜狐4大主流微博以及境外Twitter的數(shù)據(jù)實時采集。
[0026]支持全網(wǎng)采集:本輿情監(jiān)測系統(tǒng)支持全網(wǎng)采集功能，能將用戶定義的關(guān)鍵字自動發(fā)送到Google、Bing、Yahoo等搜索引擎并返回結(jié)果，全網(wǎng)搜索功能是對定向搜索的有力補充，這樣系統(tǒng)能滿足定向精確采集和廣度多面采集的需求。
[0027]本【具體實施方式】的輿情處理層2在網(wǎng)絡(luò)輿情分析和加工方面，系統(tǒng)采用文本智能挖掘技術(shù)，實現(xiàn)對海量輿情信息的準(zhǔn)確、高效分析和管理。
[0028]分類輿情功能:對實時采集自新聞、論壇、博客、微博、視頻、境外等不同類型的輿情信息進(jìn)行自動聚類分析和綜合分析。以政府為例，根據(jù)政府特征，分為公共管理、法制、經(jīng)濟發(fā)展、突發(fā)情況、文化傳播、執(zhí)政形象、民生問題七大類別，系統(tǒng)自動根據(jù)分類設(shè)置進(jìn)行處理，將匹配的信息推送并展現(xiàn)給用戶。
[0029]話題聚類功能:系統(tǒng)采用話題自動聚類技術(shù)，自動對信息內(nèi)容提取關(guān)鍵詞并進(jìn)行關(guān)聯(lián)分析，把來自新聞、論壇、評論、博客等同類信息自動聚合到一起，幫助用戶多方位地了解新聞事件的轉(zhuǎn)載討論情況，從而進(jìn)行多維度的分析。
[0030]社會熱點自動發(fā)現(xiàn):系統(tǒng)通過計算新聞轉(zhuǎn)載數(shù)、論壇點擊數(shù)、回帖數(shù)等計算出媒體熱點和網(wǎng)民熱點，幫助用戶實時掌握媒體、論壇上的熱點信息。
[0031]輿情預(yù)警:在輿情分類和輿情分析基礎(chǔ)上，用戶可以定義多種輿情預(yù)警形式，系統(tǒng)將根據(jù)輿情規(guī)則對實時采集的文檔進(jìn)行綜合分析判研，給出預(yù)警信號，輔助相關(guān)人員對輿情進(jìn)行干預(yù)和引導(dǎo)。
[0032]輿情報表功能:系統(tǒng)提供有效的輿情報表加工工具，可以輔助用戶生成各種類型的輿情簡報，這些報告不僅提供給上級領(lǐng)導(dǎo)，供決策參考。部分也提供給平行單位，做互聯(lián)網(wǎng)信息監(jiān)控分析使用。支持日報、周報等多種報表樣式。
[0033]即時搜索功能:提供元搜索入口，自動調(diào)用Google、Bing、Yahoo等搜索引擎，可以根據(jù)用戶輸入的關(guān)鍵詞，獲取到網(wǎng)頁分布的站點情況、發(fā)布時間等信息，幫助用戶制作簡報信息。
[0034]本【具體實施方式】實現(xiàn)對媒體監(jiān)測大數(shù)據(jù)進(jìn)行數(shù)據(jù)內(nèi)容、語義、描述進(jìn)行分析，建立基于媒體的數(shù)據(jù)分析模型、媒體大數(shù)據(jù)結(jié)構(gòu)和內(nèi)容分析的多層次描述方法，實現(xiàn)了超大規(guī)模媒體數(shù)據(jù)內(nèi)概念分析模型，是一個全媒體數(shù)據(jù)內(nèi)容理解的數(shù)據(jù)行為智能分析系統(tǒng)。
[0035]以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其等效物界定。
【權(quán)利要求】
1.全媒體檢測及監(jiān)播大數(shù)據(jù)行為智能分析系統(tǒng)，其特征在于，包括輿情采集層(I)、輿情處理層(2)和輿情表現(xiàn)層(3)，輿情采集層(I)與輿情處理層(2)相連，輿情處理層(2)通過輿情表現(xiàn)層(3)呈現(xiàn)。
2.根據(jù)權(quán)利要求1所述的全媒體檢測及監(jiān)播大數(shù)據(jù)行為智能分析系統(tǒng)，其特征在于，所述的輿情采集層(I)指分布式定向采集引擎從互聯(lián)網(wǎng)上采集新聞、論壇、博客、微博、平媒、問答等輿情信息，并存儲到分布式數(shù)據(jù)庫及文件系統(tǒng)中。
3.根據(jù)權(quán)利要求1所述的全媒體檢測及監(jiān)播大數(shù)據(jù)行為智能分析系統(tǒng)，其特征在于，所述的輿情處理層(2)指對采集的輿情信息進(jìn)行智能處理。輿情應(yīng)用指把經(jīng)過智能分析加工處理的輿情數(shù)據(jù)發(fā)布到Web界面上并展示給用戶。
4.根據(jù)權(quán)利要求1所述的全媒體檢測及監(jiān)播大數(shù)據(jù)行為智能分析系統(tǒng)，其特征在于，所述的輿情表現(xiàn)層(3)是指用戶通過輿情應(yīng)用平臺瀏覽系統(tǒng)采集的各種輿情信息，也可通過簡報生成等功能完成對輿情的深度加工。
5.根據(jù)權(quán)利要求1所述的全媒體檢測及監(jiān)播大數(shù)據(jù)行為智能分析系統(tǒng)，其特征在于，所述的輿情采集層(I)在互聯(lián)網(wǎng)輿情信息采集方面，輿情采集引擎通過自動匹配技術(shù)可以精確抽取網(wǎng)頁的標(biāo)題、正文、發(fā)布時間、作者等，同時過濾廣告、版權(quán)、干擾字符等無用信息；采用基于模版的元數(shù)據(jù)解析策略，能對采集的網(wǎng)頁信息進(jìn)行精確的數(shù)據(jù)抽取，對于新聞網(wǎng)頁，可以解析出來源作者、發(fā)布時間、新聞標(biāo)題、新聞作者，對于論壇貼子可以解析出發(fā)貼人、發(fā)貼時間、貼子主題、貼子內(nèi)容、點擊數(shù)等元數(shù)據(jù)；內(nèi)嵌了 javascript腳本解析引擎，能夠?qū)崿F(xiàn)網(wǎng)頁中腳本語言的自動解析和執(zhí)行，從而能夠?qū)崿F(xiàn)對基于腳本語言的論壇、博客、新聞評論網(wǎng)站的采集；支持對國內(nèi)新浪、騰訊、網(wǎng)易、搜狐四大主流微博以及境外Twitter的數(shù)據(jù)實時采集；支持全網(wǎng)采集功能，能將用戶定義的關(guān)鍵字自動發(fā)送到Google、Bing,Yahoo等搜索引擎并返回結(jié)果，全網(wǎng)搜索功能是對定向搜索的有力補充，這樣系統(tǒng)能滿足定向精確米集和廣度多面米集的需求。
6.根據(jù)權(quán)利要求1所述的全媒體檢測及監(jiān)播大數(shù)據(jù)行為智能分析系統(tǒng)，其特征在于，所述的輿情處理層(2)在網(wǎng)絡(luò)輿情分析和加工方面，系統(tǒng)采用文本智能挖掘技術(shù)，實現(xiàn)對海量輿情信息的準(zhǔn)確、高效分析和管理。具備分類輿情功能、話題聚類功能、社會熱點自動發(fā)現(xiàn)、輿情預(yù)警、輿情報表功能、和即時搜索功能。
【文檔編號】G06F17/30GK104504081SQ201410815739
【公開日】2015年4月8日 申請日期:2014年12月25日 優(yōu)先權(quán)日:2014年12月25日
【發(fā)明者】王劍波 申請人:北京東方剪報國際信息咨詢有限公司