本發(fā)明涉及大數(shù)據(jù),具體地說,涉及一種基于大數(shù)據(jù)技術(shù)的科技成果轉(zhuǎn)化平臺。
背景技術(shù):
1、一種基于大數(shù)據(jù)技術(shù)的科技成果轉(zhuǎn)化平臺旨在提高科技成果轉(zhuǎn)化效率和精準匹配技術(shù)需求與科技成果,通過在計算標簽匹配度和余弦特征相似度時引入技術(shù)需求和科技成果的時間相關(guān)性因子,以及使用局部優(yōu)化匹配匈牙利算法找到匹配度矩陣中的最佳匹配對,實現(xiàn)了對最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù)的高效、精準分析分類,優(yōu)化科技成果的轉(zhuǎn)化過程,提升匹配的實用性和準確性。現(xiàn)有的科技成果轉(zhuǎn)化平臺通常難以有效處理大規(guī)模和多樣化的數(shù)據(jù),且由于技術(shù)需求和市場需求變化快以及信息共享和交流不足,會導(dǎo)致科技成果和需求方的匹配并轉(zhuǎn)化效率低的問題,因此,設(shè)計一種基于大數(shù)據(jù)技術(shù)的科技成果轉(zhuǎn)化平臺。
技術(shù)實現(xiàn)思路
1、本發(fā)明的目的在于提供一種基于大數(shù)據(jù)技術(shù)的科技成果轉(zhuǎn)化平臺,以解決上述背景技術(shù)中提出的由于技術(shù)需求和市場需求變化快以及信息共享和交流不足,會導(dǎo)致科技成果和需求方的匹配并轉(zhuǎn)化效率低的問題。
2、為實現(xiàn)上述目的,本發(fā)明目的在于提供了一種基于大數(shù)據(jù)技術(shù)的科技成果轉(zhuǎn)化平臺,包括:
3、信息采集單元,所述信息采集單元基于數(shù)據(jù)收集策略,收集來自企業(yè)和科研機構(gòu)歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù),將歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù)提供給數(shù)據(jù)處理中心進一步處理;
4、還包括數(shù)據(jù)處理中心,所述數(shù)據(jù)處理中心使用apache?spark結(jié)合pandas對歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù)進行清洗與轉(zhuǎn)換,并使用scikit-learn和隨機森林分類器,訓(xùn)練技術(shù)需求分類模型和科技成果分類模型;
5、還包括分類與匹配單元,所述分類與匹配單元利用技術(shù)需求分類模型和科技成果分類模型,對數(shù)據(jù)處理中心提供最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù)進行分類,并使用分類匹配函數(shù),引入技術(shù)需求和科技成果的時間相關(guān)性因子,并結(jié)合局部優(yōu)化匹配匈牙利算法進行技術(shù)需求與科技成果分類結(jié)果的匹配;
6、還包括管理轉(zhuǎn)化單元,所述管理轉(zhuǎn)化單元用于管理科技成果的匹配轉(zhuǎn)化過程。
7、作為本技術(shù)方案的進一步改進,所述數(shù)據(jù)收集策略用于輔助信息采集單元收集歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù),數(shù)據(jù)收集策略具體包括:收集數(shù)據(jù)類型;數(shù)據(jù)源選擇;數(shù)據(jù)抓取頻率;數(shù)據(jù)格式規(guī)范;隱私與合規(guī);異常處理機制。
8、作為本技術(shù)方案的進一步改進,所述信息采集單元基于數(shù)據(jù)收集策略,收集歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù),具體步驟如下:
9、s1.1、配置網(wǎng)絡(luò)爬蟲和api接口,設(shè)置爬取規(guī)則,自動抓取數(shù)據(jù)源的歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù),并存儲在臨時數(shù)據(jù)庫中;
10、s1.2、將歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的json格式,去除重復(fù)的數(shù)據(jù),并根據(jù)歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù)之間的關(guān)聯(lián)屬性進行數(shù)據(jù)合并,得到歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù);
11、s1.3、將歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù)傳遞至數(shù)據(jù)處理中心。
12、作為本技術(shù)方案的進一步改進,所述數(shù)據(jù)處理中心包括清洗轉(zhuǎn)換模塊和數(shù)據(jù)訓(xùn)練模塊;
13、其中,所述清洗轉(zhuǎn)換模塊使用apache?spark和pandas處理歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù)的缺失值與異常值,并將歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù)轉(zhuǎn)化為json格式;
14、所述數(shù)據(jù)訓(xùn)練模塊使用scikit-learn和隨機森林分類器,并基于歷史技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù),訓(xùn)練技術(shù)需求分類模型和科技成果分類模型。
15、作為本技術(shù)方案的進一步改進,所述清洗轉(zhuǎn)換模塊使用apache?spark和pandas處理歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù)的缺失值與異常值,并將歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù)轉(zhuǎn)化為json格式:
16、s2.1.1、從json文件中讀取歷史和最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù),并將其加載到spark?dataframe中;
17、s2.1.2、去除包含缺失值的行,以及過濾異常值的行;
18、s2.1.3、將spark?dataframe轉(zhuǎn)換為pandas?dataframe;
19、s2.1.4、去除包含缺失值的行,以及過濾異常值的行;
20、s2.1.5、將pandas?dataframe轉(zhuǎn)換為json格式。
21、作為本技術(shù)方案的進一步改進,所述數(shù)據(jù)訓(xùn)練模塊使用scikit-learn和隨機森林分類器,并基于歷史技術(shù)需求數(shù)據(jù)和歷史科技成果數(shù)據(jù),訓(xùn)練技術(shù)需求分類模型和科技成果分類模型,具體方法如下:
22、s2.2.1、將歷史技術(shù)需求數(shù)據(jù)分為特征矩陣和標簽向量,并將百分之七十的歷史技術(shù)需求數(shù)據(jù)劃分為訓(xùn)練集,將百分之三十的歷史技術(shù)需求數(shù)據(jù)劃分為測試集;
23、s2.2.2、將歷史科技成果數(shù)據(jù)分為特征矩陣和標簽向量,并將百分之七十的歷史科技成果數(shù)據(jù)劃分為訓(xùn)練集,將百分之三十的歷史科技成果數(shù)據(jù)劃分為測試集;
24、s2.2.3、使用隨機森林分類器對歷史技術(shù)需求數(shù)據(jù)的訓(xùn)練集進行訓(xùn)練,建立技術(shù)需求分類模型:
25、;
26、其中,表示隨機森林分類器;表示歷史技術(shù)需求數(shù)據(jù)預(yù)測的標簽;
27、s2.2.4、使用隨機森林分類器對歷史科技成果數(shù)據(jù)的訓(xùn)練集進行訓(xùn)練,建立科技成果分類模型:
28、;
29、其中,表示隨機森林分類器;表示歷史科技成果數(shù)據(jù)預(yù)測的標簽;
30、s2.2.5、使用歷史技術(shù)需求數(shù)據(jù)的測試集對技術(shù)需求分類模型進行模型測試和使用歷史科技成果數(shù)據(jù)的測試集對科技成果分類模型進行模型測試。
31、作為本技術(shù)方案的進一步改進,所述分類與匹配單元,包括數(shù)據(jù)分類模塊和需求匹配模塊;
32、其中,所述數(shù)據(jù)分類模塊使用技術(shù)需求分類模型和科技成果分類模型對最新技術(shù)需求數(shù)據(jù)和最新科技成果數(shù)據(jù)進行分類;
33、所述需求匹配模塊使用分類匹配函數(shù),引入技術(shù)需求和科技成果的時間相關(guān)性因子,并結(jié)合局部優(yōu)化匹配匈牙利算法進行技術(shù)需求與科技成果分類結(jié)果的匹配,具體方法如下:
34、s3.1、獲取最新技術(shù)需求分類模型分類結(jié)果和特征矩陣以及獲取最新科技成果分類模型分類結(jié)果和特征矩陣;
35、s3.2、定義時間相關(guān)性因子為技術(shù)需求和科技成果的時間差異的函數(shù),并根據(jù)時間相關(guān)性因子計算標簽匹配度和余弦特征相似度,構(gòu)建引入時間相關(guān)性因素的匹配度矩陣;
36、s3.3、使用局部優(yōu)化匹配匈牙利算法找到匹配度矩陣中的匹配對,并輸出匹配對。
37、所述s3.2中,計算標簽匹配度和余弦特征相似度,構(gòu)建匹配度矩陣,具體方法如下:
38、時間相關(guān)性因子:
39、;
40、其中,為技術(shù)需求的時間戳;為科技成果的時間戳;是時間尺度因子;
41、標簽匹配度:
42、;
43、其中,為最新技術(shù)需求數(shù)據(jù)第條記錄的預(yù)測標簽;為最新科技成果數(shù)據(jù)第條記錄的預(yù)測標簽;
44、余弦特征相似度:
45、;
46、其中,為最新技術(shù)需求數(shù)據(jù)第條記錄的特征向量;為最新科技成果數(shù)據(jù)第條記錄的特征向量;為最新技術(shù)需求特征向量的歐氏范數(shù);為最新科技成果特征向量的歐氏范數(shù);
47、匹配度矩陣:
48、;
49、所述s3.2中,使用局部優(yōu)化匹配匈牙利算法找到匹配度矩陣中的匹配對,并輸出匹配對,具體方法如下:
50、s3.2.1、對初步匹配對進行局部搜索,尋找和使得最大化,對每個匹配對,計算相鄰元素的匹配度:
51、;
52、s3.2.2、若局部搜索得到更優(yōu)匹配對,則更新匹配對;
53、s3.2.3、計算全局匹配:
54、;
55、其中,是優(yōu)化后的匹配決策變量,值為1時表示與匹配,為0時表示與不匹配;
56、s3.2.4、將匹配的技術(shù)需求和科技成果數(shù)據(jù)對輸出,形成最終的匹配對列表。
57、作為本技術(shù)方案的進一步改進,所述管理轉(zhuǎn)化單元包括合同管理模塊、進度跟蹤模塊和績效評估模塊;
58、其中,所述合同管理模塊用于記錄和跟蹤科技成果轉(zhuǎn)化合同;進度跟蹤模塊用于跟蹤技術(shù)需求和科技成果匹配后的轉(zhuǎn)化進度;績效評估模塊用于評估科技成果轉(zhuǎn)化的績效。
59、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果:
60、1、該基于大數(shù)據(jù)技術(shù)的科技成果轉(zhuǎn)化平臺中,通過構(gòu)建技術(shù)需求分類模型和科技成果分類模型,并在計算標簽匹配度和余弦特征相似度時引入時間相關(guān)性因子,對最新技術(shù)需求數(shù)據(jù)和科技成果數(shù)據(jù)進行分類,可以顯著提高分類的準確性和效率,確保技術(shù)需求和科技成果在技術(shù)和時間維度上的精確分類。
61、2、該基于大數(shù)據(jù)技術(shù)的科技成果轉(zhuǎn)化平臺中,使用局部優(yōu)化匹配匈牙利算法對分類匹配函數(shù)match進行改進,找到匹配度矩陣中的最佳匹配對,可以實現(xiàn)高效且精準地匹配技術(shù)需求與科技成果,確保科技成果能夠快速滿足具體技術(shù)需求,從而大幅提高轉(zhuǎn)化成功率。