基于實(shí)時(shí)功能磁共振成像的腦機(jī)交互圖像檢索系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]該發(fā)明涉及一種腦機(jī)交互圖像檢索系統(tǒng)，特別是涉及一種基于實(shí)時(shí)功能磁共振成像的腦機(jī)交互圖像檢索系統(tǒng)。
【背景技術(shù)】
[0002]功能磁共振成像(funct1nal Magnetic Resonance Imaging)的主要方法是血氧水平依賴性(BOLD，Blood Oxygenat1n Level Dependent)方法，該方法利用MRI設(shè)備采集大腦的信息，主要反映被激活腦區(qū)毛細(xì)血管內(nèi)以體素為單位氧合血紅細(xì)胞濃度的瞬時(shí)變化，簡(jiǎn)稱 BOLD-fMRI (Blood oxygenat1n level dependent funct1nal magneticresonance imaging, BOLD-fMRI)。與其他腦功能成像方式相比，BOLD-fMRI成像在速度和空間分辨率方面與具有很大的優(yōu)勢(shì)，尤其使得視覺(jué)功能等相對(duì)復(fù)雜的大腦認(rèn)知功能研宄得以深入開(kāi)展，因此，利用其開(kāi)展腦認(rèn)知研宄已經(jīng)成為腦功能成像的主流。
[0003]實(shí)時(shí)功能磁共振成像(rtfMRI,real-time funct1nal Magnetic ResonanceImaging)采用在線獲取和處理數(shù)據(jù)的方式，使數(shù)據(jù)處理與數(shù)據(jù)獲取速度相當(dāng)，能夠在掃描過(guò)程中實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)質(zhì)量并在一個(gè)采集重復(fù)時(shí)間(TR, Time of Repetit1n)內(nèi)完成并實(shí)時(shí)得到處理結(jié)果，將結(jié)果反映的大腦活動(dòng)狀態(tài)以視覺(jué)或聽(tīng)覺(jué)的方式反饋給受試者，從而形成從受試者到fMRI再到受試者的信息回路，使得基于rtfMRI的腦機(jī)交互成為可能。
[0004]現(xiàn)有的研宄成果，主要是基于fMRI的圖像分類與識(shí)別，且這些研宄通常采用離線數(shù)據(jù)處理的方式。這些模型和方法雖然能夠完成對(duì)于圖像語(yǔ)義類別與特征相似性的評(píng)估，卻還未具備在線的圖像檢索能力，無(wú)法獨(dú)立形成圖像檢索系統(tǒng)。
[0005]對(duì)于人腦視覺(jué)功能的信息解碼，一直是腦科學(xué)研宄中的前沿領(lǐng)域和熱點(diǎn)問(wèn)題，特別是研宄人腦視覺(jué)功能相關(guān)腦區(qū)對(duì)看到的圖像會(huì)產(chǎn)生怎樣的腦響應(yīng)，取得了一系列關(guān)鍵性成果。2001年，Haxby等人利用多體素分析方法研宄8類圖像人腦視覺(jué)功能fMRI數(shù)據(jù)的差異，給出了較好的語(yǔ)義分類結(jié)果。2008年，Kay等人利用Gabor小波金字塔模擬人腦視覺(jué)神經(jīng)元的感受野，建立了基于腦信號(hào)的圖像相似度評(píng)估模型，從而實(shí)現(xiàn)120幅圖像的準(zhǔn)確識(shí)另IJ。2009年Naselaris等人提出了基于Bayes框架的圖像相似性與語(yǔ)義融合模型。
[0006]2007年LaConte首先構(gòu)建了能夠進(jìn)行在線分類的rtfMRI系統(tǒng)，該系統(tǒng)能夠采用全腦圖像進(jìn)行訓(xùn)練，利用訓(xùn)練過(guò)的分類器進(jìn)行在線功能狀態(tài)分類，該系統(tǒng)實(shí)現(xiàn)了兩類情緒功能的分類，驗(yàn)證了使用大腦功能狀態(tài)分類方法構(gòu)建腦機(jī)接口的可行性。2009年Lee等人構(gòu)建rtfMRI系統(tǒng)對(duì)左右手對(duì)指的功能區(qū)的信號(hào)進(jìn)行分類，再將分類結(jié)果轉(zhuǎn)換為機(jī)械臂的控制指令，完成腦機(jī)接口對(duì)外部設(shè)備的控制。2013年Andersson等人通過(guò)SVM分類器對(duì)視覺(jué)注意力方向進(jìn)行分類，構(gòu)建了能夠操控遠(yuǎn)程機(jī)器人進(jìn)行漫游的rtfMRI腦機(jī)接口系統(tǒng)。目前還沒(méi)有研宄將rtfMRI腦機(jī)接口技術(shù)應(yīng)用于圖像檢索。

【發(fā)明內(nèi)容】

[0007]本發(fā)明克服了現(xiàn)有技術(shù)中腦機(jī)交互圖像檢索系統(tǒng)仍需改進(jìn)的問(wèn)題，提供一種性能較好的基于實(shí)時(shí)功能磁共振成像的腦機(jī)交互圖像檢索系統(tǒng)。
[0008]本發(fā)明的技術(shù)解決方案是，提供一種具有以下步驟的基于實(shí)時(shí)功能磁共振成像的腦機(jī)交互圖像檢索系統(tǒng):含有如下步驟:
步驟1、通過(guò)預(yù)先采集fMRI數(shù)據(jù)，訓(xùn)練圖像語(yǔ)義實(shí)時(shí)分類模型、圖像特征相似性實(shí)時(shí)評(píng)估模型和視覺(jué)注意實(shí)時(shí)解碼模型；
步驟2、給被試呈現(xiàn)一幅待檢索圖像作為視覺(jué)刺激，同時(shí)采集被試fMRI數(shù)據(jù)，使用圖像語(yǔ)義分類模型判別待檢索圖像的語(yǔ)義類別；
步驟3、將代表所判別語(yǔ)義類別結(jié)果的圖像和待檢索圖像一起呈現(xiàn)給被試，被試通過(guò)視覺(jué)注意反饋圖像語(yǔ)義分類模型判別的語(yǔ)義類別是否正確；
步驟4、根據(jù)被試反饋的語(yǔ)義分類判別的結(jié)果，融合圖像語(yǔ)義實(shí)時(shí)分類模型和圖像相似性實(shí)時(shí)評(píng)估模型，給出從圖像庫(kù)中檢索到的圖像。
[0009]所述步驟I的具體步驟為:被試預(yù)先參與一個(gè)腦區(qū)配準(zhǔn)定位實(shí)驗(yàn)，一個(gè)圖像語(yǔ)義分類訓(xùn)練實(shí)驗(yàn)和一個(gè)視覺(jué)注意分類訓(xùn)練實(shí)驗(yàn)，采集相應(yīng)的fMRI數(shù)據(jù)，分別訓(xùn)練基于支持向量機(jī)的實(shí)時(shí)圖像語(yǔ)義分類模型、視覺(jué)注意實(shí)時(shí)解碼模型和基于Gabor小波金字塔的圖像相似性評(píng)估模型。
[0010]所述步驟2的具體步驟為:給被試呈現(xiàn)一幅待檢索圖像作為視覺(jué)刺激，同時(shí)采集fMRI數(shù)據(jù)，刺激持續(xù)時(shí)間為3個(gè)TR (6s)，而后利用訓(xùn)練好的圖像語(yǔ)義實(shí)時(shí)分類模型對(duì)刺激圖像進(jìn)行語(yǔ)義分類，整個(gè)數(shù)據(jù)預(yù)處理及分類過(guò)程在I個(gè)TR內(nèi)完成。
[0011]所述步驟3的具體步驟為:將代表所判別語(yǔ)義類別結(jié)果的圖像和待檢索圖像一起呈現(xiàn)給被試，待檢索圖像放置在視覺(jué)刺激屏幕的左側(cè)，語(yǔ)義類別結(jié)果圖像放置在視覺(jué)刺激屏幕的右側(cè)；被試通過(guò)視覺(jué)注意對(duì)語(yǔ)義判別結(jié)果是否正確進(jìn)行反饋，若類別判定正確，則注意看類別結(jié)果圖像，若類別判定錯(cuò)誤，則注意看待檢索圖像，視覺(jué)注意交互過(guò)程持續(xù)2個(gè)TR ;而后利用視覺(jué)注意實(shí)時(shí)解碼模型計(jì)算出被試的視覺(jué)注意信息，從而獲得語(yǔ)義類別判定結(jié)果是否正確的信息，數(shù)據(jù)預(yù)處理及視覺(jué)注意解碼過(guò)程在I個(gè)TR內(nèi)完成；視覺(jué)解碼的結(jié)果在下一個(gè)TR通過(guò)視覺(jué)刺激屏幕呈現(xiàn)給被試。
[0012]所述步驟4的具體步驟為:根據(jù)被試反饋的語(yǔ)義分類判別結(jié)果，若判別結(jié)果正確，直接使用圖像相似性實(shí)時(shí)評(píng)估模型，將圖像庫(kù)中與待檢索圖像相似性最高的10幅圖像作為檢索結(jié)果在視覺(jué)刺激屏幕上輸出；若判別結(jié)果錯(cuò)誤，使用Bayes方法融合圖像語(yǔ)義實(shí)時(shí)分類模型和圖像相似性實(shí)時(shí)評(píng)估模型，給出后驗(yàn)概率最大的10幅圖像作為檢索結(jié)果在視覺(jué)刺激屏幕上輸出，該過(guò)程所有計(jì)算及結(jié)果顯示在2個(gè)TR內(nèi)完成。
[0013]與現(xiàn)有技術(shù)相比，本發(fā)明基于實(shí)時(shí)功能磁共振成像的腦機(jī)交互圖像檢索系統(tǒng)具有以下優(yōu)點(diǎn):該系統(tǒng)創(chuàng)新性提出將圖像語(yǔ)義實(shí)時(shí)分類模型和圖像相似性實(shí)時(shí)評(píng)估模型融合，并結(jié)合rtfMRI技術(shù)實(shí)現(xiàn)在線圖像檢索，將實(shí)時(shí)腦機(jī)交互方法引入圖像檢索，對(duì)提高fMRI圖像檢索正確率具有重要意義。這種圖像檢索系統(tǒng)可以作為利用人腦視覺(jué)信息智能處理機(jī)制的一個(gè)平臺(tái)，也可以看作是在實(shí)時(shí)功能磁共振成像基礎(chǔ)上的腦機(jī)交互視覺(jué)信息處理范例，對(duì)于人腦視覺(jué)信息處理機(jī)制的研宄具有獨(dú)特的作用和價(jià)值。
【附圖說(shuō)明】
[0014]圖1是本發(fā)明基于實(shí)時(shí)功能磁共振成像的腦機(jī)交互圖像檢索系統(tǒng)的流程示意圖。
【具體實(shí)施方式】
[0015]下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明基于實(shí)時(shí)功能磁共振成像的腦機(jī)交互圖像檢索系統(tǒng)作進(jìn)一步說(shuō)明:
如圖所示，本實(shí)施例主要分為模型訓(xùn)練，語(yǔ)義類別判斷，類別判斷結(jié)果