一種社交網(wǎng)絡(luò)數(shù)據(jù)采集與分析系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地說是一種實(shí)用性強(qiáng)、社交網(wǎng)絡(luò)數(shù)據(jù)采集與分析系統(tǒng)。
【背景技術(shù)】
[0002]在移動(dòng)互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)廣泛使用的背景下，企業(yè)產(chǎn)品交付給用戶后，用戶對(duì)于產(chǎn)品的評(píng)價(jià)往往會(huì)發(fā)布在社交網(wǎng)絡(luò)和公眾互聯(lián)網(wǎng)上。這些評(píng)價(jià)信息借助互聯(lián)網(wǎng)構(gòu)成一種鏈?zhǔn)絺鞑バ?yīng)，影響力前所未有，并且消費(fèi)者在購(gòu)買之前參照互聯(lián)網(wǎng)評(píng)價(jià)進(jìn)行選擇已經(jīng)越來(lái)越成為一種消費(fèi)習(xí)慣，所以企業(yè)必須具備及時(shí)響應(yīng)社交網(wǎng)絡(luò)和互聯(lián)網(wǎng)上的產(chǎn)品評(píng)價(jià)的信息，通過及時(shí)響應(yīng)，澄清用戶評(píng)價(jià)，改善客戶關(guān)系，從而形成口碑響應(yīng)，幫助企業(yè)擴(kuò)大銷售，降低市場(chǎng)推廣成本。另一方面，基于用戶評(píng)價(jià)能夠幫助企業(yè)改善產(chǎn)品設(shè)計(jì)，避免產(chǎn)品功能脫離用戶需求，提高產(chǎn)品的競(jìng)爭(zhēng)力和需求滿足度。
[0003]針對(duì)上述需求背景，目前市面上的主流CRM系統(tǒng)和PLM系統(tǒng)用于解決該需求，傳統(tǒng)企業(yè)應(yīng)用軟件(ERP，CRM, PLM等)在標(biāo)準(zhǔn)軟件基礎(chǔ)上通過定制實(shí)施將企業(yè)的業(yè)務(wù)流程固化在軟件中，按照一定的業(yè)務(wù)規(guī)則，收集企業(yè)業(yè)務(wù)運(yùn)營(yíng)過程中的各種業(yè)務(wù)數(shù)據(jù)，根據(jù)一定的優(yōu)化算法，優(yōu)化企業(yè)的銷售、采購(gòu)、生產(chǎn)、資金、人力資源等業(yè)務(wù)經(jīng)營(yíng)活動(dòng)幫助企業(yè)創(chuàng)造最大的經(jīng)濟(jì)效益。
[0004]但隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，企業(yè)面對(duì)的數(shù)據(jù)種類更多了，除了傳統(tǒng)的企業(yè)業(yè)務(wù)運(yùn)營(yíng)外，互聯(lián)網(wǎng)上的數(shù)據(jù)對(duì)于企業(yè)運(yùn)營(yíng)也具備巨大的價(jià)值。如互聯(lián)網(wǎng)上的實(shí)時(shí)行情數(shù)據(jù)能夠幫助企業(yè)更好的制定市場(chǎng)價(jià)格和控制采購(gòu)成本；用戶對(duì)于產(chǎn)品的評(píng)價(jià)數(shù)據(jù)能夠幫助企業(yè)改善產(chǎn)品設(shè)計(jì)，提高用戶需求滿足度；社交網(wǎng)絡(luò)數(shù)據(jù)能夠幫助人才密集型企業(yè)快速定位到專業(yè)能力匹配的人才。傳統(tǒng)的企業(yè)應(yīng)用軟件(如ERP，CRM, PLM)都不具備大數(shù)據(jù)分析處理能力，無(wú)法滿足企業(yè)融合互聯(lián)網(wǎng)大數(shù)據(jù)分析結(jié)果進(jìn)行企業(yè)運(yùn)營(yíng)優(yōu)化的需求；另一方面，以ERP為核心的企業(yè)應(yīng)用系統(tǒng)已經(jīng)成為企業(yè)日常運(yùn)營(yíng)的信息中樞，企業(yè)的業(yè)務(wù)流程執(zhí)行和優(yōu)化以傳統(tǒng)的企業(yè)應(yīng)用做支撐。在這個(gè)背景下，企業(yè)既不能拋棄傳統(tǒng)的企業(yè)管理應(yīng)用系統(tǒng)，又面臨傳統(tǒng)企業(yè)應(yīng)用改造成本高的難題，急需通過一種有效的方法將數(shù)據(jù)分析應(yīng)用和企業(yè)管理應(yīng)用綜合集成的方法。
[0005]目前大數(shù)據(jù)應(yīng)用被廣泛的應(yīng)用在互聯(lián)網(wǎng)應(yīng)用或者行業(yè)專有應(yīng)用上，在企業(yè)應(yīng)用領(lǐng)域局限于個(gè)別創(chuàng)新性企業(yè)的零星應(yīng)用，應(yīng)用產(chǎn)品化程度不高，沒有形成系統(tǒng)的大數(shù)據(jù)應(yīng)用和傳統(tǒng)ERP為代表的企業(yè)應(yīng)用方法論和最佳實(shí)踐。本發(fā)明從應(yīng)用最廣泛的客戶服務(wù)為突破點(diǎn)，設(shè)計(jì)了不針對(duì)具體行業(yè)和企業(yè)的通用社交網(wǎng)絡(luò)產(chǎn)品評(píng)價(jià)數(shù)據(jù)采集與分析系統(tǒng)，從而實(shí)現(xiàn)利用社交網(wǎng)絡(luò)數(shù)據(jù)提升客戶服務(wù)并改進(jìn)產(chǎn)品設(shè)計(jì)的企業(yè)信息化系統(tǒng)。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的技術(shù)任務(wù)是針對(duì)以上不足之處，提供一種實(shí)用性強(qiáng)、社交網(wǎng)絡(luò)數(shù)據(jù)采集與分析系統(tǒng)。
[0007]一種社交網(wǎng)絡(luò)數(shù)據(jù)采集與分析系統(tǒng)，其具體實(shí)現(xiàn)過程為:
一、首先設(shè)置主題詞作為社交網(wǎng)絡(luò)數(shù)據(jù)采集的關(guān)鍵詞，該主題詞即為用戶輸入的產(chǎn)品名稱；
二、數(shù)據(jù)預(yù)處理模塊將用于輸入的文檔信息自動(dòng)根據(jù)同義詞分解為多個(gè)訂閱請(qǐng)求，然后調(diào)度任務(wù)模塊向數(shù)據(jù)采集模塊提交采集任務(wù)，采集模塊得到的文檔按照有效時(shí)間進(jìn)行預(yù)處理，對(duì)于超出時(shí)效的文檔進(jìn)行丟棄，保留下來(lái)的文檔保存到數(shù)據(jù)庫(kù)中進(jìn)行后續(xù)的處理；
三、調(diào)度任務(wù)模塊根據(jù)達(dá)到的觸發(fā)條件觸發(fā)語(yǔ)義分析模塊進(jìn)行文檔分析任務(wù)，文檔分析任務(wù)針對(duì)收集到的文檔進(jìn)行一般性分類，即進(jìn)行文本分詞，單詞的語(yǔ)義分析，當(dāng)已經(jīng)抽取文本的摘要時(shí)，對(duì)摘要進(jìn)行語(yǔ)義分析，判斷出文檔內(nèi)容是否消極；
四、知識(shí)抽取模塊從積累的文本摘要中，分解出來(lái)的主語(yǔ)和表語(yǔ)進(jìn)行聚類，基于聚類的結(jié)果運(yùn)用統(tǒng)計(jì)分析方法提取知識(shí)，并對(duì)提取的知識(shí)的有效性進(jìn)行驗(yàn)證，基于驗(yàn)證的結(jié)果將知識(shí)以文本的方式進(jìn)行輸出。
[0008]所述步驟二中分析任務(wù)的具體分析判斷過程為:首先定義了產(chǎn)品評(píng)價(jià)相關(guān)的形容詞字典庫(kù)和對(duì)形容詞進(jìn)行修飾的副詞詞典，副詞的修飾作用和形容詞的評(píng)價(jià)類型已知；然后在文檔的產(chǎn)品關(guān)鍵詞前后搜索形容詞，基于形容詞的詞義和修飾副詞的作用對(duì)于這個(gè)文檔的性質(zhì)進(jìn)行保守的初步判斷；當(dāng)保守的判斷認(rèn)為文檔的內(nèi)容是消極時(shí)，觸發(fā)事件，并將文檔的ID以事件參數(shù)的形式傳遞給CRM模塊；CRM模塊觸發(fā)服務(wù)請(qǐng)求，人工進(jìn)一步判斷，并進(jìn)行相應(yīng)的處理。
[0009]所述步驟三種基于摘要的語(yǔ)義分析進(jìn)一步觸發(fā)相關(guān)的業(yè)務(wù)事件讓CRM模塊進(jìn)行相應(yīng)的處理流程；文本摘要的內(nèi)容被存儲(chǔ)在數(shù)據(jù)庫(kù)中作為后續(xù)知識(shí)抽取的輸入。
[0010]所述步驟四中提取出來(lái)的知識(shí)為產(chǎn)品的某個(gè)特性的改進(jìn)或者是產(chǎn)品本身設(shè)計(jì)的缺陷，對(duì)應(yīng)到PLM產(chǎn)品中的產(chǎn)品缺陷和產(chǎn)品需求；輸出的知識(shí)以產(chǎn)品缺陷或者產(chǎn)品需求的方式存儲(chǔ)到PLM產(chǎn)品中，并觸發(fā)產(chǎn)品設(shè)計(jì)部門的新版本設(shè)計(jì)的參考，產(chǎn)品設(shè)計(jì)部門基于抽取的知識(shí)設(shè)計(jì)產(chǎn)品的最新版本，經(jīng)過研發(fā)后轉(zhuǎn)換為產(chǎn)品的生產(chǎn)BOM。
[0011]所述社交網(wǎng)絡(luò)數(shù)據(jù)采集與分析系統(tǒng)通過松耦合的方式集成連接企業(yè)管理應(yīng)用系統(tǒng)。
[0012]當(dāng)社交網(wǎng)絡(luò)數(shù)據(jù)采集與分析系統(tǒng)基于文檔的分類或者文檔語(yǔ)義分析的結(jié)果，觸發(fā)CRM模塊的服務(wù)請(qǐng)求，服務(wù)請(qǐng)求被分配給企業(yè)管理應(yīng)用系統(tǒng)的服務(wù)人員時(shí)，該文檔內(nèi)容或者摘要的內(nèi)容以及用戶的相關(guān)信息顯示給服務(wù)人員，服務(wù)人員根據(jù)這些信息判斷是否需要跟進(jìn)與客戶進(jìn)行交互:如果需要，則觸發(fā)客戶交流的過程，期間會(huì)與客戶管理模塊進(jìn)行交互；如果需要進(jìn)行進(jìn)一步的處理，則創(chuàng)建服務(wù)訂單觸發(fā)售后維修或者換貨的流程；當(dāng)客戶評(píng)價(jià)積累到一定的數(shù)目，則從客戶評(píng)價(jià)中識(shí)別產(chǎn)品設(shè)計(jì)缺陷或者不滿足消費(fèi)者需求的功能，進(jìn)而觸發(fā)產(chǎn)品設(shè)計(jì)部門的新版本設(shè)計(jì)的參考。
[0013]社交網(wǎng)絡(luò)數(shù)據(jù)采集與分析系統(tǒng)基于提取的文本摘要，經(jīng)過知識(shí)抽取的處理步驟以后，轉(zhuǎn)換為描述產(chǎn)品需求或者缺陷的知識(shí)文本，通過調(diào)用PLM系統(tǒng)API的方式輸出給PLM系統(tǒng)以產(chǎn)品缺陷或者產(chǎn)品特性需求的數(shù)據(jù)存儲(chǔ)，此后PLM系統(tǒng)的產(chǎn)品設(shè)計(jì)流程依據(jù)這些數(shù)據(jù)對(duì)產(chǎn)品進(jìn)行改進(jìn)形成產(chǎn)品生產(chǎn)BOM。
[0014]本發(fā)明的一種社交網(wǎng)絡(luò)數(shù)據(jù)采集與分析系統(tǒng)，具有以下優(yōu)點(diǎn):
本發(fā)明提出的一種社交網(wǎng)絡(luò)數(shù)據(jù)采集與分析系統(tǒng)，針對(duì)產(chǎn)品評(píng)價(jià)的具體場(chǎng)景設(shè)計(jì)了實(shí)用高效的社交網(wǎng)絡(luò)數(shù)據(jù)采集與數(shù)據(jù)挖掘系統(tǒng)，幫助企業(yè)及時(shí)響應(yīng)客戶的產(chǎn)品評(píng)價(jià)，提高客戶滿意度和產(chǎn)品需求滿足度；針對(duì)傳統(tǒng)企業(yè)管理信息系統(tǒng)相對(duì)封閉，實(shí)施成本高，應(yīng)對(duì)變化速度慢的缺點(diǎn)，提出了社交網(wǎng)絡(luò)數(shù)據(jù)分析系統(tǒng)與企業(yè)管理應(yīng)用集成交互方法，以事件響應(yīng)和服務(wù)調(diào)用的方式使得企業(yè)管理應(yīng)用通過及時(shí)響應(yīng)外部環(huán)境的數(shù)據(jù)，實(shí)用性強(qiáng)，易于推廣。
【附圖說明】
[0015]附圖1是本發(fā)明的社交網(wǎng)絡(luò)數(shù)據(jù)采集與分析系統(tǒng)結(jié)構(gòu)圖。
[0016]附圖2是本發(fā)明的社交網(wǎng)絡(luò)數(shù)據(jù)采集與分析系統(tǒng)與企業(yè)管理應(yīng)用系統(tǒng)集成圖。
【具體實(shí)施方式】
[0017]下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明。
[0018]本發(fā)明公開了一種社交網(wǎng)絡(luò)數(shù)據(jù)采集與分析系統(tǒng)，提出基于用戶設(shè)定關(guān)鍵詞如“空氣凈化器”，系統(tǒng)通過網(wǎng)絡(luò)爬蟲和社交網(wǎng)站的API推送采集包含關(guān)鍵詞的論壇帖子和微博等社交網(wǎng)絡(luò)產(chǎn)品評(píng)價(jià)數(shù)據(jù)。對(duì)于每一條數(shù)據(jù)，數(shù)據(jù)分析模塊對(duì)于帖子內(nèi)容進(jìn)行分詞、語(yǔ)義分析?；诋a(chǎn)品評(píng)價(jià)語(yǔ)義分析的結(jié)果，此時(shí)可以觸發(fā)CRM系統(tǒng)進(jìn)行自動(dòng)或者人工響應(yīng)(如積極的評(píng)價(jià)產(chǎn)品，則自動(dòng)回復(fù)；如果是負(fù)面的產(chǎn)品抱怨，則觸發(fā)CRM系統(tǒng)的售后服務(wù)請(qǐng)求進(jìn)行人工處理)，然后以形容詞為基準(zhǔn)位置，在形容詞的前后識(shí)別子的主題(如靜音效果，濾網(wǎng))，這條數(shù)據(jù)的提取的結(jié)果每一個(gè)子主題一條記錄存儲(chǔ)到數(shù)據(jù)庫(kù)中。當(dāng)數(shù)據(jù)庫(kù)子主題的數(shù)目累計(jì)到一定程度，啟動(dòng)文本分類模塊和聚類