一種機器視覺輔助腦電目標判決的方法
【專利摘要】本發(fā)明公開了一種機器視覺輔助腦電目標判決的方法，克服了現(xiàn)有技術(shù)中，因目標圖像的具體含義會導致P300成分潛伏期的變化導致單試次P300檢測算法精度下降的問題。該發(fā)明步驟（1）、通過腦電信號采集設(shè)備收集被試的腦電信號；步驟（2）、確定被試P300成分潛伏期的變化誤差；步驟（3）、通過P300成分定位目標圖像在圖像序列中的位置；步驟（4）、結(jié)合步驟（2）中確定的潛伏期變化誤差與步驟（3）中單試次檢測算法確定的目標圖像位置，確定目標備選圖像；步驟（5）、使用機器視覺對目標備選圖像進行識別歸類，并統(tǒng)計圖像出現(xiàn)最多的類別作為被試所關(guān)注的目標圖像類別。該技術(shù)具有高準確率、低虛警率。
【專利說明】
一種機器視覺輔助腦電目標判決的方法
技術(shù)領(lǐng)域
[0001]該發(fā)明涉及一種結(jié)合機器視覺與腦電信號的圖像檢索的方法，特別是涉及一種機器視覺輔助腦電目標判決的方法。
【背景技術(shù)】
[0002]在圖像檢索技術(shù)中，如何找到一個特定的圖像是一個難題。人腦經(jīng)過自然的演化，對圖像具有快速深刻的把握能力。在現(xiàn)有的圖像檢索技術(shù)中引入人腦的視覺系統(tǒng)，改善圖像檢索的結(jié)果，是目前圖像檢索系統(tǒng)中一個研究方向。利用快速序列呈現(xiàn)范式(RSVP)呈現(xiàn)圖片，圖片以每秒5?12張的速度快速呈現(xiàn)給被試，被試觀看這些圖片，同時采集被試在觀看圖片時產(chǎn)生的腦電信號。當被試看到感興趣的目標圖片時會在腦電中誘發(fā)一種特定的成分:P300成分。P300成分是人腦綜合處理信息后的結(jié)果。P300成分的出現(xiàn)意味著人腦剛剛觀測到一個所關(guān)注、所在意的事件的發(fā)生。我們給被試觀看一系列圖像，通過監(jiān)測腦電信號中的P300成分，來判斷圖像是否為所關(guān)心的目標圖像。再此基礎(chǔ)上融合計算機視覺的研究成果，就能將人腦的形象、抽象思維能力和計算機高速穩(wěn)定的計算執(zhí)行能力有機結(jié)合，獲得更理想的圖像檢索效果。
[0003]而在基于腦電的圖像檢索技術(shù)中，一個核心問題是被試在關(guān)注不同目標時激發(fā)的P300成分是有所不同的，主要可以體現(xiàn)最大峰值與潛伏期(目標出現(xiàn)到腦電最大峰值的時間)的變動。當前解決這一問題的方法是通過改良單試次腦電(被試只看一次圖像產(chǎn)生的腦電信號)的P300檢測算法來提高P300成分檢測精度。實際應用中，被試觀看圖像的速度在每秒5?12張之間，單試次的P300檢測算法可以通過檢測P300的位置來確定目標圖像的位置。然而由于P300潛伏期的變化會導致確定目標圖像的位置具有一個誤差，目標圖像會在在某一范圍內(nèi)。在這里我們將這一范圍內(nèi)的所有圖像作為目標備選圖像提取出來，通過機器視覺技術(shù)判決出這些目標備選圖像中最有可能的目標圖片。

【發(fā)明內(nèi)容】

[0004]本發(fā)明克服了現(xiàn)有技術(shù)中，由于目標圖像的具體含義會導致P300成分潛伏期的變化導致單試次P300檢測算法精度下降的問題，提供一種高準確率、低虛警率的機器視覺輔助腦電目標判決的方法。
[0005]本發(fā)明的技術(shù)解決方案是，提供一種具有以下步驟的機器視覺輔助腦電目標判決的方法:含有以下步驟，步驟(1)、在被試觀看RSVP圖像序列的同時，通過腦電信號采集設(shè)備收集被試的腦電信號;步驟(2)、通過目標圖像所對應的腦電信號，確定被試P300成分潛伏期的變化誤差;步驟(3)、使用單試次P300檢測算法，對被試觀看圖像產(chǎn)生的腦電信號檢測P300成分，并通過P300成分定位目標圖像在圖像序列中的位置;步驟(4)、結(jié)合步驟(2)中確定的潛伏期變化誤差與步驟(3)中單試次檢測算法確定的目標圖像位置，確定目標備選圖像;步驟(5)、使用機器視覺對目標備選圖像進行識別歸類，并統(tǒng)計圖像出現(xiàn)最多的類別作為被試所關(guān)注的目標圖像類別。
[0006]所述步驟(I)中采集設(shè)備收集數(shù)據(jù)的方法為:使用專用的腦電儀，采集被試觀看圖片時的腦電信號，信號的采樣頻率為256Hz，圖像序列呈現(xiàn)速度為每秒呈現(xiàn)5張圖像。
[0007]所述步驟(2)中被試P300成分潛伏期變化誤差的確定方法為，通過對被試觀看不同目標類別圖像所產(chǎn)生的腦電信號進行均值操作來確定被試在關(guān)注不同目標時所激發(fā)的P300潛伏期，進而由最大潛伏期減去最小潛伏期來確定被試的潛伏期變化誤差。
[0008]所述步驟(3)中單試次P300檢測算法為HDCA算法、sHDCA算法。
[0009]所述步驟(4)中確定目標備選圖像的方法為:假設(shè)該名被試的潛伏期變化為誤差為300ms，則由P300成分的確定的目標圖像位置可能在真正目標圖像的前一圖像或后一圖像，圖像每張呈現(xiàn)200ms，則將P300成分定位的目標圖像位置附近3張圖像作為目標備選圖像取出。
[0010]所述步驟(5)中識別歸類的方法為:采用caffe卷積神經(jīng)網(wǎng)絡(luò)框架在Caltech-256圖像集中訓練獲得的模型。
[0011]與現(xiàn)有技術(shù)相比，本發(fā)明機器視覺輔助腦電目標判決的方法具有以下優(yōu)點:本方法提供了一個結(jié)合機器視覺系統(tǒng)與腦電目標識別系統(tǒng)的框架，在該框架下基于腦電P300成分的目標識別系統(tǒng)可以借助機器視覺相關(guān)技術(shù)克服被試在不同狀態(tài)下觀看不同目標圖像時P300成分的差異，有效提高目標識別精度，并且機器視覺可以在腦電識別的基礎(chǔ)上精確確定目標圖像。使用本方法進行目標圖像檢索能夠在效果上比以往方法有較大的改進。
【附圖說明】
[0012]圖1是本發(fā)明機器視覺輔助腦電目標判決的方法的流程示意圖；
[0013]圖2是本發(fā)明機器視覺輔助腦電目標判決的方法的原理示意圖；
[0014]圖3是本發(fā)明機器視覺輔助腦電目標判決的方法中腦電信號中P300成分變動示意圖；
[0015]圖4是本發(fā)明機器視覺輔助腦電目標判決的方法中RSVP系統(tǒng)腦機融合目標圖像識別完整流程示意圖。
【具體實施方式】
[0016]下面結(jié)合附圖和【具體實施方式】對本發(fā)明機器視覺輔助腦電目標判決的方法作進一步說明:含有以下步驟，步驟(I)、在被試觀看RSVP圖像序列的同時，通過腦電信號采集設(shè)備收集被試的腦電信號;步驟(2)、通過目標圖像所對應的腦電信號，確定被試P300成分潛伏期的變化誤差;步驟(3)、使用單試次P300檢測算法，對被試觀看圖像產(chǎn)生的腦電信號檢測P300成分，并通過P300成分定位目標圖像在圖像序列中的位置;步驟(4)、結(jié)合步驟(2)中確定的潛伏期變化誤差與步驟(3)中單試次檢測算法確定的目標圖像位置，確定目標備選圖像;步驟(5)、使用機器視覺對目標備選圖像進行識別歸類，并統(tǒng)計圖像出現(xiàn)最多的類別作為被試所關(guān)注的目標圖像類別。
[0017]所述步驟(I)中采集設(shè)備收集數(shù)據(jù)的方法為:使用專用的腦電儀，采集被試觀看圖片時的腦電信號，信號的采樣頻率為256Hz，圖像序列呈現(xiàn)速度為每秒呈現(xiàn)5張圖像。
[0018]所述步驟(2)中被試P300成分潛伏期變化誤差的確定方法為，通過對被試觀看不同目標類別圖像所產(chǎn)生的腦電信號進行均值操作來確定被試在關(guān)注不同目標時所激發(fā)的P300潛伏期，進而由最大潛伏期減去最小潛伏期來確定被試的潛伏期變化誤差。
[0019]所述步驟(3)中單試次P300檢測算法為HDCA算法、sHDCA算法或其他類似功能的腦電P300檢測算法。
[0020]所述步驟(4)中確定目標備選圖像的方法為:假設(shè)該名被試的潛伏期變化為誤差為300ms，則由P300成分的確定的目標圖像位置可能在真正目標圖像的前一圖像或后一圖像(圖像呈現(xiàn)200ms)，則將P300成分定位的目標圖像位置附近3張圖像作為目標備選圖像取出。
[0021]所述步驟(5)中識別歸類的方法為:采用caffe卷積神經(jīng)網(wǎng)絡(luò)框架在Caltech-256圖像集中訓練獲得的模型，或使用其他具備圖像歸類的識別算法或模型。
[0022]如圖所示，實施例中，我們首先給被試快速呈現(xiàn)一系列圖像，呈現(xiàn)速度為5張圖像每秒，要求被試關(guān)注某一類的圖像(如:熊貓)。同時采集被試觀看圖像時自然產(chǎn)生的腦電信號。通過統(tǒng)計被試關(guān)注目標圖像時產(chǎn)生P300成分的潛伏期，確定該名被試的潛伏期變化誤差(變化誤差由最遲潛伏期減去最短潛伏期獲得，一般被試潛伏期誤差在200ms?300ms之間)。假設(shè)該名被試的潛伏期變化誤差為300ms，則由P300成分確定的目標圖像位置可能在真正目標圖像的前一圖像或后一圖像(圖像呈現(xiàn)200ms)。因此我們將P300成分定位目標圖像位置附近3張圖像作為目標備選圖像取出。如此但目標備選圖像積累到一定程度，并使用機器視覺的方法識別圖像類別，并統(tǒng)計圖像出現(xiàn)次數(shù)最多的類別，確定為被試感興趣的目標圖像。
[0023]本方法基于Matlab平臺與C++語言，實現(xiàn)設(shè)備設(shè)備處理器為Intel(R)Core(TM)2i7-2630QM CPU，主頻2.0OGHz，內(nèi)存4.0GB，系統(tǒng)為Windows 7 64bit。
【主權(quán)項】
1.一種機器視覺輔助腦電目標判決的方法，其特征在于:含有以下步驟， 步驟(I)、在被試觀看RSVP圖像序列的同時，通過腦電信號采集設(shè)備收集被試的腦電信號； 步驟(2)、通過目標圖像所對應的腦電信號，確定被試P300成分潛伏期的變化誤差； 步驟(3)、使用單試次P300檢測算法，對被試觀看圖像產(chǎn)生的腦電信號檢測P300成分，并通過P300成分定位目標圖像在圖像序列中的位置； 步驟(4)、結(jié)合步驟(2)中確定的潛伏期變化誤差與步驟(3)中單試次檢測算法確定的目標圖像位置，確定目標備選圖像； 步驟(5)、使用機器視覺對目標備選圖像進行識別歸類，并統(tǒng)計圖像出現(xiàn)最多的類別作為被試所關(guān)注的目標圖像類別。2.根據(jù)權(quán)利要求1所述的機器視覺輔助腦電目標判決的方法，其特征在于:所述步驟(1)中采集設(shè)備收集數(shù)據(jù)的方法為:使用專用的腦電儀，采集被試觀看圖片時的腦電信號，信號的采樣頻率為256Hz，圖像序列呈現(xiàn)速度為每秒呈現(xiàn)5張圖像。3.根據(jù)權(quán)利要求1所述的機器視覺輔助腦電目標判決的方法，其特征在于:所述步驟(2)中被試P300成分潛伏期變化誤差的確定方法為，通過對被試觀看不同目標類別圖像所產(chǎn)生的腦電信號進行均值操作來確定被試在關(guān)注不同目標時所激發(fā)的P300潛伏期，進而由最大潛伏期減去最小潛伏期來確定被試的潛伏期變化誤差。4.根據(jù)權(quán)利要求1所述的機器視覺輔助腦電目標判決的方法，其特征在于:所述步驟(3)中單試次P300檢測算法為HDCA算法、sHDCA算法。5.根據(jù)權(quán)利要求1所述的機器視覺輔助腦電目標判決的方法，其特征在于:所述步驟(4)中確定目標備選圖像的方法為:假設(shè)該名被試的潛伏期變化為誤差為300ms，則由P300成分的確定的目標圖像位置可能在真正目標圖像的前一圖像或后一圖像，圖像每張呈現(xiàn)200ms，則將P300成分定位的目標圖像位置附近3張圖像作為目標備選圖像取出。6.根據(jù)權(quán)利要求1所述的機器視覺輔助腦電目標判決的方法，其特征在于:所述步驟(5)中識別歸類的方法為:采用caffe卷積神經(jīng)網(wǎng)絡(luò)框架在Caltech-256圖像集中訓練獲得的模型。
【文檔編號】G06K9/62GK105825225SQ201610139386
【公開日】2016年8月3日
【申請日】2016年3月11日
【發(fā)明人】童莉, 曾穎, 林志敏, 王林元, 陳健, 張馳, 王彪, 蔣靜芳, 巫群健
【申請人】中國人民解放軍信息工程大學