本發(fā)明屬于實(shí)驗(yàn)心理學(xué)與生理心理測(cè)量技術(shù)領(lǐng)域，具體涉及一種多模態(tài)生理和行為數(shù)據(jù)融合采集、分析、可視化的系統(tǒng)。

背景技術(shù)：

人們的心理和情緒狀態(tài)有多種表現(xiàn)方式，如語(yǔ)言、表情、動(dòng)作以及各種生理信號(hào)。單一的生理或行為參數(shù)或其特征指標(biāo)很難準(zhǔn)確反映人們的心理和情緒狀態(tài)變化，因此，基于多模態(tài)生理和行為信息的數(shù)據(jù)融合采集技術(shù)已被越來(lái)越廣泛地應(yīng)用于心理學(xué)、人機(jī)交互、人工智能等領(lǐng)域。

目前，采集受試者的生理和行為數(shù)據(jù)時(shí)，需要使用到多個(gè)數(shù)據(jù)采集設(shè)備對(duì)不同的生理和行為數(shù)據(jù)進(jìn)行同步采集。由于各個(gè)數(shù)據(jù)采集設(shè)備都具有獨(dú)立的數(shù)據(jù)采集和存儲(chǔ)系統(tǒng)，所采集到的數(shù)據(jù)分別記錄到自己對(duì)應(yīng)的計(jì)算機(jī)存儲(chǔ)單元中，然后分別對(duì)各自采集的數(shù)據(jù)進(jìn)行分析，最后將各個(gè)數(shù)據(jù)分析后的特征或者指標(biāo)導(dǎo)入數(shù)據(jù)融合反饋系統(tǒng)中再進(jìn)行融合分析。由于不同的數(shù)據(jù)采集設(shè)備都需要獨(dú)立的采集和存儲(chǔ)系統(tǒng)，采集的數(shù)據(jù)模態(tài)越多，投入的系統(tǒng)設(shè)備成本越大。此外，不同模態(tài)的數(shù)據(jù)之間可能會(huì)相互干擾，需要在原始數(shù)據(jù)的融合采集過(guò)程中進(jìn)行相應(yīng)的處理，而傳統(tǒng)的數(shù)據(jù)采集設(shè)備不能實(shí)現(xiàn)數(shù)據(jù)的融合采集，因此，會(huì)影響對(duì)受試者心理和情緒狀態(tài)分析的準(zhǔn)確性。最后，很多的數(shù)據(jù)采集設(shè)備不支持?jǐn)?shù)據(jù)的在線分析，因此無(wú)法基于實(shí)時(shí)采集的數(shù)據(jù)給出在線的分析結(jié)果。

技術(shù)實(shí)現(xiàn)要素：

因此，本發(fā)明為了解決現(xiàn)有數(shù)據(jù)采集設(shè)備間無(wú)法在同一設(shè)備中實(shí)現(xiàn)數(shù)據(jù)的同步采集和融合分析的技術(shù)問(wèn)題，為此，本發(fā)明提供了一種多模態(tài)生理和行為數(shù)據(jù)融合采集系統(tǒng)。

所采用的技術(shù)方案如下：

一種多模態(tài)生理和行為數(shù)據(jù)融合采集系統(tǒng)，所述系統(tǒng)包括后臺(tái)處理器和數(shù)據(jù)采集單元，所述后臺(tái)處理器集成于一臺(tái)計(jì)算機(jī)中，用于接收所述數(shù)據(jù)采集單元所采集的數(shù)據(jù)，所述數(shù)據(jù)采集單元包括:

生理采集模塊，與所述后臺(tái)處理器連接，用于采集受試者完成測(cè)試任務(wù)過(guò)程中所產(chǎn)生的神經(jīng)生理數(shù)據(jù)；

行為采集模塊，與所述后臺(tái)處理器連接，用于采集受試者在完成測(cè)試任務(wù)過(guò)程中所產(chǎn)生的行為數(shù)據(jù)資料；

所述后臺(tái)處理器包括數(shù)據(jù)存儲(chǔ)模塊、時(shí)序模塊和數(shù)據(jù)分析模塊，所述數(shù)據(jù)存儲(chǔ)模塊與所述生理采集模塊和行為采集模塊實(shí)現(xiàn)數(shù)據(jù)連接，用于接收所采集到的生理數(shù)據(jù)和行為數(shù)據(jù)資料；所述時(shí)序模塊用于將所采集到的生理數(shù)據(jù)和行為數(shù)據(jù)按照時(shí)間順序存儲(chǔ)到所述的數(shù)據(jù)存儲(chǔ)模塊中；所述數(shù)據(jù)分析模塊用于對(duì)所述數(shù)據(jù)儲(chǔ)存模塊中的生理數(shù)據(jù)和行為數(shù)據(jù)資料進(jìn)行分析，在線得出分析結(jié)果。

所述數(shù)據(jù)存儲(chǔ)模塊設(shè)有多個(gè)數(shù)據(jù)存儲(chǔ)區(qū)，所述數(shù)據(jù)存儲(chǔ)模塊對(duì)所述數(shù)據(jù)采集單元中的各種數(shù)據(jù)采集模塊所采集到的數(shù)據(jù)進(jìn)行分類存儲(chǔ)，所述數(shù)據(jù)分析模塊對(duì)各數(shù)據(jù)進(jìn)行同步在線分析。

所述系統(tǒng)還包括數(shù)據(jù)展示單元，其與所述后臺(tái)處理器連接，用于對(duì)外顯示所述數(shù)據(jù)采集單元的原始采集數(shù)據(jù)及所述后臺(tái)處理器的在線分析結(jié)果。

所述數(shù)據(jù)采集單元還包括環(huán)境采集模塊，用于采集受試者在測(cè)試時(shí)所處外部環(huán)境數(shù)據(jù)，其與所述后臺(tái)處理器實(shí)現(xiàn)數(shù)據(jù)連接。

所述生理采集模塊包括腦電數(shù)據(jù)采集設(shè)備、心電數(shù)據(jù)采集設(shè)備、皮膚電數(shù)據(jù)采集設(shè)備、血壓數(shù)據(jù)采集設(shè)備、呼吸數(shù)據(jù)采集設(shè)備、體溫?cái)?shù)據(jù)采集設(shè)備和肌電數(shù)據(jù)采集設(shè)備中的一種和幾種。

所述的行為采集模塊為視頻采集設(shè)備，用于記錄受試者的面部表情、眼動(dòng)和語(yǔ)音的行為數(shù)據(jù)。

所述系統(tǒng)中設(shè)有多個(gè)所述的數(shù)據(jù)采集單元，多個(gè)所述數(shù)據(jù)采集單元分別與同一所述后臺(tái)處理器實(shí)現(xiàn)數(shù)據(jù)傳輸。

所述行為采集模塊與所述生理采集模塊分別通過(guò)無(wú)線與所述后臺(tái)處理器實(shí)現(xiàn)數(shù)據(jù)傳輸。

所述系統(tǒng)中設(shè)有多個(gè)所述數(shù)據(jù)展示單元，所述數(shù)據(jù)展示單元與所述數(shù)據(jù)采集單元一一對(duì)應(yīng)連接。

所述數(shù)據(jù)展示單元為視頻顯示設(shè)備。

本發(fā)明技術(shù)方案，具有如下優(yōu)點(diǎn)：

a.本發(fā)明在采集系統(tǒng)中設(shè)置了后臺(tái)處理器和數(shù)據(jù)采集單元，數(shù)據(jù)采集單元中的生理采集模塊和行為采集模塊分別與同一后臺(tái)處理器形成數(shù)據(jù)連接，生理采集模塊與行為采集模塊所采集到的受試者的生理和行為數(shù)據(jù)直接傳輸?shù)胶笈_(tái)處理器中的數(shù)據(jù)存儲(chǔ)模塊，大大降低了數(shù)據(jù)采集系統(tǒng)的成本。

b.本發(fā)明通過(guò)時(shí)序模塊將多模態(tài)數(shù)據(jù)實(shí)現(xiàn)在同一時(shí)間軸上的采集，并通過(guò)數(shù)據(jù)分析模塊對(duì)所有采集到的數(shù)據(jù)進(jìn)行同步分析，提高了數(shù)據(jù)融合分析的效率；更重要的是，多種電生理信號(hào)在同步采集過(guò)程中相互之間會(huì)產(chǎn)生噪聲干擾；本發(fā)明在原始數(shù)據(jù)的融合采集過(guò)程中采用去燥、標(biāo)準(zhǔn)化和歸一化等數(shù)據(jù)預(yù)處理方法，可以有效去除數(shù)據(jù)間的噪聲干擾，提高對(duì)受試者心理和情緒狀態(tài)分析的準(zhǔn)確性。

c.本發(fā)明在數(shù)據(jù)存儲(chǔ)模塊中將各數(shù)據(jù)采集設(shè)備所采集到的數(shù)據(jù)進(jìn)行分類整理和同步存儲(chǔ)。受試者同時(shí)佩戴多種數(shù)據(jù)采集設(shè)備，所采集到的數(shù)據(jù)可以通過(guò)無(wú)線方式直接傳輸給同一后臺(tái)處理器進(jìn)行同步分析處理，所有采集的數(shù)據(jù)直接存儲(chǔ)到同一數(shù)據(jù)存儲(chǔ)模塊中，提高了多模態(tài)數(shù)據(jù)存儲(chǔ)和管理的效率。

d.本發(fā)明通過(guò)數(shù)據(jù)分析模塊對(duì)多模態(tài)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，并通過(guò)視頻顯示設(shè)備對(duì)外顯示原始采集數(shù)據(jù)、在線分析結(jié)果、多模態(tài)數(shù)據(jù)的采集過(guò)程以及受試者進(jìn)行測(cè)試時(shí)其所處的測(cè)試環(huán)境，方便主試人員全方位、全時(shí)程記錄測(cè)試過(guò)程，有助于后期對(duì)受試者作出更加全面、客觀的結(jié)果分析。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明具體實(shí)施方式或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)具體實(shí)施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施方式，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明所提供融合采集系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為本發(fā)明所提供融合采集系統(tǒng)的原理圖；

圖3為本發(fā)明所提供多個(gè)數(shù)據(jù)采集單元的數(shù)據(jù)融合采集傳輸框圖。

圖中：

1-后臺(tái)處理器；2-數(shù)據(jù)采集單元；3-生理采集模塊；4-行為采集模塊；5-環(huán)境采集模塊；6-數(shù)據(jù)展示單元；7-視頻編碼端；8-視頻解碼端。

具體實(shí)施方式

下面將結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

如圖1和圖2所示，本發(fā)明提供了一種多模態(tài)生理和行為數(shù)據(jù)融合采集系統(tǒng)，包括后臺(tái)處理器1和數(shù)據(jù)采集單元2，后臺(tái)處理器1集成于一臺(tái)pc計(jì)算機(jī)中，用于接收數(shù)據(jù)采集單元2所采集的數(shù)據(jù)，其中的數(shù)據(jù)采集單元2包括生理采集模塊3和行為采集模塊4，其中的生理采集模塊3和行為采集模塊4與同一后臺(tái)處理器連接，生理采集模塊用于采集受試者完成測(cè)試任務(wù)過(guò)程中所產(chǎn)生的神經(jīng)生理數(shù)據(jù)；

行為采集模塊用于采集受試者在完成測(cè)試任務(wù)過(guò)程中所產(chǎn)生的行為數(shù)據(jù)資料。

如圖2所示，其中的后臺(tái)處理器3包括數(shù)據(jù)存儲(chǔ)模塊、時(shí)序模塊和數(shù)據(jù)分析模塊，數(shù)據(jù)存儲(chǔ)模塊與生理采集模塊和行為采集模塊實(shí)現(xiàn)數(shù)據(jù)連接，后臺(tái)處理器可以通過(guò)藍(lán)牙、wifi或其它無(wú)線網(wǎng)關(guān)傳輸模塊接收所采集到的生理數(shù)據(jù)和行為數(shù)據(jù)資料；時(shí)序模塊將所采集到的生理數(shù)據(jù)和行為數(shù)據(jù)按照時(shí)間順序存儲(chǔ)到數(shù)據(jù)存儲(chǔ)模塊中，使所有數(shù)據(jù)在同一時(shí)間軸下；其中的數(shù)據(jù)分析模塊用于對(duì)數(shù)據(jù)儲(chǔ)存模塊中的生理數(shù)據(jù)和行為數(shù)據(jù)資料進(jìn)行分析，在線得出分析結(jié)果。

本發(fā)明通過(guò)在系統(tǒng)中設(shè)置后臺(tái)處理器和數(shù)據(jù)采集單元，數(shù)據(jù)采集單元中的生理采集模塊和行為采集模塊分別與同一后臺(tái)處理器形成數(shù)據(jù)連接，生理采集模塊與行為采集模塊所采集到的受試者的生理和行為數(shù)據(jù)通過(guò)各設(shè)備中的sdk直接把數(shù)據(jù)讀到后臺(tái)處理器中的數(shù)據(jù)存儲(chǔ)模塊，使系統(tǒng)變得更簡(jiǎn)便，大大降低了采集系統(tǒng)的成本，提高了數(shù)據(jù)融合分析的效率，針對(duì)原始數(shù)據(jù)的融合采集還可以有效去除數(shù)據(jù)間的干擾，提高對(duì)受試者心理和情緒狀態(tài)分析的準(zhǔn)確性，本發(fā)明對(duì)所有采集到的數(shù)據(jù)進(jìn)行同步分析，在線生成分析結(jié)果，為后期可以準(zhǔn)確客觀地完成受試者的綜合測(cè)評(píng)分析打下基礎(chǔ)。

更優(yōu)選地，在數(shù)據(jù)存儲(chǔ)模塊中設(shè)有多個(gè)數(shù)據(jù)存儲(chǔ)區(qū)，數(shù)據(jù)存儲(chǔ)模塊對(duì)數(shù)據(jù)采集單元中的各種數(shù)據(jù)采集模塊所采集到的數(shù)據(jù)進(jìn)行分類存儲(chǔ)，比如依次獲得受試者的腦電數(shù)據(jù)、皮電數(shù)據(jù)和行為數(shù)據(jù)，這樣可以將三種數(shù)據(jù)存儲(chǔ)在不同的位置中，通過(guò)數(shù)據(jù)分析模塊分別對(duì)三種數(shù)據(jù)進(jìn)行分析，也可以通過(guò)對(duì)上述三種數(shù)據(jù)進(jìn)行融合分析。從而實(shí)現(xiàn)了通過(guò)一臺(tái)后臺(tái)處理器實(shí)時(shí)獲取多模態(tài)下的采集數(shù)據(jù)，實(shí)時(shí)對(duì)采集數(shù)據(jù)進(jìn)行同步分析，在線得出分析結(jié)果。

為了方便主試方人員更能直觀看出對(duì)某一受試者的數(shù)據(jù)采集過(guò)程，在系統(tǒng)中還設(shè)有數(shù)據(jù)展示單元，其與后臺(tái)處理器連接，用于對(duì)外顯示數(shù)據(jù)采集單元的原始采集數(shù)據(jù)及后臺(tái)處理器的在線分析結(jié)果。這里的數(shù)據(jù)展示單元為視頻顯示設(shè)備，有關(guān)受試者的測(cè)試、采集數(shù)據(jù)及在線分析結(jié)果分別通過(guò)對(duì)應(yīng)的視頻顯示設(shè)備呈現(xiàn)給主試方。

更優(yōu)選地，在數(shù)據(jù)采集單元中還包括環(huán)境采集模塊，用于采集受試者在測(cè)試時(shí)所處外部環(huán)境數(shù)據(jù)，其與所述后臺(tái)處理器實(shí)現(xiàn)數(shù)據(jù)連接，后期在對(duì)受試者進(jìn)行任務(wù)測(cè)評(píng)時(shí)，便于對(duì)受試者進(jìn)行更加全面、客觀的結(jié)果分析。

本發(fā)明中所提及的生理采集模塊包括腦電數(shù)據(jù)采集設(shè)備、心電數(shù)據(jù)采集設(shè)備、皮膚電數(shù)據(jù)采集設(shè)備、血壓數(shù)據(jù)采集設(shè)備、呼吸數(shù)據(jù)采集設(shè)備、體溫?cái)?shù)據(jù)采集設(shè)備和肌電數(shù)據(jù)采集設(shè)備中的一種和幾種?？梢酝瑫r(shí)使用不同類型的采集設(shè)備進(jìn)行數(shù)據(jù)采集，也可以根據(jù)任務(wù)要求選取其中的某一種或某幾種進(jìn)行佩戴使用。在進(jìn)行數(shù)據(jù)采集時(shí)，由于多種電生理信號(hào)在同步采集過(guò)程中相互之間會(huì)產(chǎn)生噪聲干擾，本發(fā)明在原始數(shù)據(jù)的融合采集過(guò)程中采用去燥、標(biāo)準(zhǔn)化和歸一化等數(shù)據(jù)預(yù)處理方法，可以有效去除數(shù)據(jù)間的噪聲干擾，提高對(duì)受試者心理和情緒狀態(tài)分析的準(zhǔn)確性。

其中的行為采集模塊為視頻采集設(shè)備，用于記錄受試者的面部表情、眼動(dòng)和語(yǔ)音的行為數(shù)據(jù)，并傳輸給后臺(tái)處理器進(jìn)行分析。

如圖3所示，本發(fā)明可以在系統(tǒng)中設(shè)置多個(gè)數(shù)據(jù)采集單元和對(duì)應(yīng)的多個(gè)數(shù)據(jù)展示單元，多個(gè)數(shù)據(jù)采集單元和多個(gè)數(shù)據(jù)展示單元分別與同一后臺(tái)處理器實(shí)現(xiàn)數(shù)據(jù)傳輸，分別對(duì)各個(gè)數(shù)據(jù)采集單元的采集數(shù)據(jù)進(jìn)行存儲(chǔ)與同步分析，可以對(duì)多個(gè)受試者同時(shí)進(jìn)行數(shù)據(jù)采集，通過(guò)一臺(tái)后臺(tái)處理器設(shè)備即可同步完成數(shù)據(jù)的存儲(chǔ)與分析，然后通過(guò)對(duì)應(yīng)的視頻顯示設(shè)備對(duì)外顯示各個(gè)受試者的原始采集數(shù)據(jù)、在線分析結(jié)果、多模態(tài)數(shù)據(jù)的采集過(guò)程以及受試者進(jìn)行測(cè)試時(shí)其所處的測(cè)試環(huán)境等，同步完成對(duì)多名受試者的在線分析。

最優(yōu)選地，可以在不同的房間中采用對(duì)應(yīng)的數(shù)據(jù)采集單元對(duì)不同的受試者進(jìn)行數(shù)據(jù)采集，如圖1和3所示，視頻顯示設(shè)備與數(shù)據(jù)采集單元呈一一對(duì)應(yīng)設(shè)置。這樣每個(gè)數(shù)據(jù)采集單元對(duì)應(yīng)一名受試者，且數(shù)據(jù)采集情況由對(duì)應(yīng)的視頻解碼端7通過(guò)數(shù)據(jù)展示單元5進(jìn)行對(duì)外發(fā)布，有助于主試方同時(shí)對(duì)不同受試者進(jìn)行視頻觀察。

當(dāng)然，本發(fā)明所提供的數(shù)據(jù)融合采集系統(tǒng)不僅使用于一些行業(yè)特殊崗位的選拔上，還可以對(duì)某一崗位的工作人員進(jìn)行定期的數(shù)據(jù)采集，保證這一崗位工作的安全開展；也適用于對(duì)老年人或兒童進(jìn)行認(rèn)知數(shù)據(jù)的采集，能全面、準(zhǔn)確地對(duì)受試者的精神狀態(tài)作出分析測(cè)評(píng)。

顯然，上述實(shí)施例僅僅是為清楚地說(shuō)明所作的舉例，而并非對(duì)實(shí)施方式的限定。對(duì)于所屬領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在上述說(shuō)明的基礎(chǔ)上還可以做出其它不同形式的變化或變動(dòng)。這里無(wú)需也無(wú)法對(duì)所有的實(shí)施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動(dòng)仍處于本發(fā)明創(chuàng)造的保護(hù)范圍之中。