一種多通道簡易精神狀態(tài)檢測系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種多通道簡易精神狀態(tài)(MMSE)檢測系統(tǒng)。本發(fā)明利用平板電腦、數(shù)字化輸入板和語音的多通道輸入，建立一種基于多通道信息融合的簡易精神狀態(tài)（MMSE）新型電子化檢測系統(tǒng)，從而能有效的提高M(jìn)MSE的檢查速度、量化認(rèn)知與手部運(yùn)動(dòng)功能數(shù)據(jù)、量化構(gòu)音及發(fā)音數(shù)據(jù)，提高檢查的效率、綜合性和客觀性。該方法融合了電子化檢查量表、數(shù)字化輸入板的多通道輸入、發(fā)音信息的分析。通過電子化的系統(tǒng)來提高檢查的效率，多通道融合的方法來建立認(rèn)知與運(yùn)動(dòng)、發(fā)音信息的數(shù)據(jù)模型，建立客觀定量的MMSE分析系統(tǒng)。
【專利說明】一種多通道簡易精神狀態(tài)檢測系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)字醫(yī)療領(lǐng)域，具體涉及一種利用數(shù)字筆輸入技術(shù)、語音分析技術(shù)、觸摸技術(shù)的簡易精神狀態(tài)(MMSE)的多通道檢測系統(tǒng)。
【背景技術(shù)】
[0002]人機(jī)交互技術(shù)的最新進(jìn)展為傳統(tǒng)的醫(yī)學(xué)檢查創(chuàng)造了更多的可能性。平板電腦包含著目前最自然最直接的觸摸交互技術(shù)，能夠使醫(yī)生在最自然的狀態(tài)下進(jìn)行量表的檢查。筆式交互對(duì)于那些具有很少或沒有計(jì)算機(jī)經(jīng)驗(yàn)的人容易接受。他們可以利用其以前的寫作經(jīng)驗(yàn)，而無需學(xué)習(xí)如何操縱鍵盤和鼠標(biāo)。數(shù)字化輸入板這種方法新穎、安全、價(jià)廉、快速、便攜、無創(chuàng)，而且可以檢測、表征和定量運(yùn)動(dòng)功能障礙而無需電線或其他附件。這種方法不僅可以收集在二維X— Y平面內(nèi)的測量數(shù)據(jù)，而且可以獲取壓力軸、方位角、旋轉(zhuǎn)角、傾角三維信息等，對(duì)檢測用戶手部的震顫等功能障礙提供了新的量化信息。語音分析技術(shù)可以通過分析人的說話聲音，提取出其中蘊(yùn)含的構(gòu)音肌肉群功能狀態(tài)、情感和精神狀態(tài)等特征，并可基于這些特征對(duì)用戶的神經(jīng)功能進(jìn)行綜合定量分析。當(dāng)前代表性的工作包括基于語音的情感分析(參考文獻(xiàn):E.Moore, M.Clements, J.Peifer, and L.ffeisser.Comparingobjective feature statistics of speech for classifying clinical depression.1EMBS, 2004.),壓力分析(參考文獻(xiàn):Modeling drivers’ speech under stress.SpeechCommunication-Special issue on speech and emotion, 40 (1-2)，2003.),患病與否及嚴(yán)重程度分析(參考文獻(xiàn):Nonlinear speech analysis algorithms mapped to a standardmetric achieve clinically useful quantification of average Parkinson’s diseasesymptom severity.Novel speech signal processing algorithms for high—accuracyclassification of Parkinsons disease.)。
[0003]在目前醫(yī)療領(lǐng)域，簡易精神狀態(tài)(麗SE)量表是一項(xiàng)針對(duì)認(rèn)知功能的初步篩查，常規(guī)的MMSE檢查僅可對(duì)受試者的認(rèn)知功能進(jìn)行初步的評(píng)價(jià)。但在受試者接受MMSE檢查過程中，需要回答一系列問題，并做簡單繪圖，因此對(duì)檢查過程中更多信息(如語音、筆跡)的分析可以反映受試者更為全面的神經(jīng)功能(如發(fā)音肌群運(yùn)動(dòng)功能、手運(yùn)動(dòng)功能)。從神經(jīng)功能評(píng)價(jià)的角度看，綜合性的、同時(shí)包含認(rèn)知功能、運(yùn)動(dòng)功能及語言能力的評(píng)價(jià)方式必然具有更高的應(yīng)用價(jià)值。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于利用平板電腦、數(shù)字化輸入板和語音的多通道輸入，建立一種基于多通道信息融合的簡易精神狀態(tài)(MMSE)的新型電子化檢測系統(tǒng)，該方法融合了電子化檢查量表、數(shù)字化輸入板的多通道輸入、發(fā)音信息的分析，通過電子化的系統(tǒng)來提高檢查的效率，多通道融合的方法來建立認(rèn)知與運(yùn)動(dòng)、發(fā)音信息的數(shù)據(jù)模型，從而能有效的提高M(jìn)MSE的檢測速度、量化認(rèn)知與手部運(yùn)動(dòng)功能數(shù)據(jù)、量化構(gòu)音及發(fā)音數(shù)據(jù)，提高麗SE數(shù)據(jù)的檢測效率、綜合性和客觀性。[0005]具體來說，本發(fā)明采用的技術(shù)方案如下:
[0006]一種多通道簡易精神狀態(tài)檢測系統(tǒng)，包括:
[0007]錄音設(shè)備，包括發(fā)音信息采集模塊和音頻文件分割模塊；所述發(fā)音信息采集模塊用于采集檢測開始后待測者的所有發(fā)音信息；所述音頻文件分割模塊根據(jù)當(dāng)前不同的檢測項(xiàng)目，將采集的發(fā)音信息切分成不同的音頻文件，并存儲(chǔ)在平板電腦中；
[0008]數(shù)字化輸入板，包括多通道輸入數(shù)據(jù)采集模塊，用于采集檢測過程中待測者多通道輸入的數(shù)據(jù)，并存儲(chǔ)在平板電腦中；
[0009]平板電腦，連接所述錄音設(shè)備和數(shù)字化輸入板，包括發(fā)音特征提取模塊、運(yùn)筆特征提取模塊、電子化的MMSE量表模塊及MMSE數(shù)據(jù)模型模塊；所述發(fā)音特征提取模塊用于提取上述音頻文件的發(fā)音特征；所述運(yùn)筆特征提取模塊用于提取上述多種通道輸入過程中的運(yùn)筆特征；所述發(fā)音特征、運(yùn)筆特征輸入所述MMSE數(shù)據(jù)模型后，輸出簡易精神狀態(tài)檢測結(jié)果。
[0010]進(jìn)一步地，所述發(fā)音信息采集模塊通過錄音采集發(fā)音信息，具體音頻參數(shù)為16bit，44.1Hz, Ichannel ;所述發(fā)音信息包括:發(fā)音開始時(shí)間，發(fā)音結(jié)束時(shí)間。
[0011]進(jìn)一步地，所述數(shù)字化輸入板是支持?jǐn)?shù)位筆輸入的液晶顯示屏；所述數(shù)位筆是支持筆尖軌跡、筆尖壓力、筆尾三維傾角、筆身自轉(zhuǎn)角的數(shù)位筆；所述數(shù)位筆采用數(shù)字化輸入板像素點(diǎn)坐標(biāo)進(jìn)行定位。
[0012]進(jìn)一步地，所述多通道輸入的數(shù)據(jù)包括:記錄反應(yīng)時(shí)間，完成時(shí)間，總連線時(shí)間，圈內(nèi)停留時(shí)間，錯(cuò)誤次數(shù)，錯(cuò)誤率，總平均速度，每段平均速度，最大速度，偏移度，最大偏移值，壓力，傾斜方向，傾斜幅度，旋轉(zhuǎn)角等。
[0013]進(jìn)一步地，所述發(fā)音特征包括音頻文件的Mel頻率倒譜系數(shù)(Mel FrequencyCepstrum Coefficient, MFCC)、感知線性預(yù)測(Perceptual Linear Predictive, PLP)、基礎(chǔ)頻率(FO)、循環(huán)周期熵(RPDE)等特征；所述運(yùn)筆特征包括運(yùn)筆壓力、速度等特征。
[0014]進(jìn)一步地，所述發(fā)音特征提取模塊通過以下方法提取所述音頻文件的發(fā)音特征:首先對(duì)每個(gè)窗口寬度25ms、采樣率為IOms的漢明窗口提取PLP特征。它從26個(gè)梅爾頻率帶計(jì)算6個(gè)PLP特征，在應(yīng)用一個(gè)參數(shù)為22的倒譜同態(tài)濾波器的同時(shí)再加上一個(gè)5序的預(yù)測器。其次，對(duì)音頻文件提取INTERSPEECH2010Paralinguistic Challenge特征集，一共包含1582個(gè)特征，選取其中的MFCC系數(shù)及其一階導(dǎo)數(shù)，基礎(chǔ)頻率(F0)，聲音響度、音高等特征。最后，通過Matlab程序提取出音頻的信噪比、循環(huán)周期熵(RPDE)、趨勢波動(dòng)分析、音高周期熵等特征。
[0015]進(jìn)一步地，所述運(yùn)筆特征提取模塊通過以下方法提取所述多種通道輸入過程中的運(yùn)筆特征:待測者在多通道輸入過程中在每一個(gè)時(shí)間點(diǎn)會(huì)形成一個(gè)七維向量X〈時(shí)間，X坐標(biāo)，I坐標(biāo)，筆尖壓力，筆尾三維方向角，筆尾三維傾斜角，筆身自轉(zhuǎn)角〉。從落筆到繪圖結(jié)束則形成了一個(gè)包含m個(gè)X的序列StlOCtl, X1, X2,.., Xm>。根據(jù)這個(gè)序列，計(jì)算出整個(gè)繪圖過程中的總連線時(shí)間、圈內(nèi)停留時(shí)間、錯(cuò)誤次數(shù)、平均速度、平均壓力、平均曲率等特征。
[0016]進(jìn)一步地，所述MMSE數(shù)據(jù)模型模塊是根據(jù)訓(xùn)練樣本提取的特征建立的分類模型，包括認(rèn)知與運(yùn)動(dòng)數(shù)據(jù)模型和發(fā)音信息數(shù)據(jù)模型；所述認(rèn)知與運(yùn)動(dòng)數(shù)據(jù)模型是根據(jù)提取出的運(yùn)筆特征，采用6種特征選擇的算法(最好優(yōu)先、遺傳算法等)，選出其中公共的3個(gè)特征(連線上停留時(shí)間、偏移度、畫線壓力離散度)輔以基本特征(年齡、血壓等)采用已有的主流BP神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行訓(xùn)練建立的；所述發(fā)音數(shù)據(jù)模型是根據(jù)發(fā)音特征，通過特征選擇算法，選出其中的25個(gè)特征，主要包括(第0、2、3、4、6、7、8、9、10、維MFCC系數(shù)，第2、3、4、8、12維MFCC導(dǎo)數(shù)，聲道刺激率、信噪比)等，采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練建立的；所述認(rèn)知與運(yùn)動(dòng)數(shù)據(jù)模型和發(fā)音信息數(shù)據(jù)模型與電子化的麗SE量表的題目評(píng)分進(jìn)行匹配，最終建立麗SE數(shù)據(jù)模型；該模型作為患病嚴(yán)重程度模型，能夠給出計(jì)算機(jī)預(yù)測的用戶對(duì)MMSE檢查的得分。
[0017]進(jìn)一步地，所述電子化的MMSE量表模塊是將MMSE量表中的每一項(xiàng)檢測項(xiàng)目對(duì)應(yīng)到平板電腦數(shù)據(jù)庫中的一個(gè)表項(xiàng)；對(duì)于電子化的MMSE量表模塊中的檢查題目，所述多通道簡易精神狀態(tài)檢測系統(tǒng)將自動(dòng)記錄每道題的得分情況及作答結(jié)果詳情。
[0018]進(jìn)一步地，所述多通道簡易精神狀態(tài)檢測系統(tǒng)根據(jù)每一題選擇的選項(xiàng)、數(shù)字化輸入板輸入及錄音設(shè)備采集的數(shù)據(jù)，生成一條麗SE檢查的向量R〈name, gender, age,…,week_score, day_score,...，total_score>,并存儲(chǔ)在數(shù)據(jù)庫中，同時(shí)生成一個(gè)報(bào)告文檔，詳細(xì)描述了每一題的得分(包括對(duì)數(shù)字化輸入板操作的結(jié)果及音頻文件分析后給出的客觀定量的檢測結(jié)果)。
[0019]與現(xiàn)有技術(shù)相比，本發(fā)明具有的優(yōu)點(diǎn)和積極效果如下:
[0020]1)本發(fā)明采用電子設(shè)備進(jìn)行MMSE的檢查方式，不僅方便醫(yī)生操作且效率更高，還能自動(dòng)將數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫中并同時(shí)生成報(bào)告文檔。
[0021]2)本發(fā)明采用的數(shù)字化輸入板信息采集方式，可以量化分析待測者的畫圖能力，并能預(yù)測待測者的患病情況，平均準(zhǔn)確率能達(dá)到94.03%。
[0022]3)本發(fā)明采用的發(fā)音分析技術(shù)，可以量化分析待測者的構(gòu)音能力，并能預(yù)測待測者對(duì)MMSE檢測的評(píng)分，與實(shí)際測量的評(píng)分誤差在3分以內(nèi)。
【專利附圖】

【附圖說明】
[0023]圖1為本發(fā)明多通道簡易精神狀態(tài)檢測系統(tǒng)的結(jié)構(gòu)示意圖。
[0024]圖2為本發(fā)明多通道簡易精神狀態(tài)檢測系統(tǒng)的系統(tǒng)框架圖。
[0025]圖3為本發(fā)明多通道簡易精神狀態(tài)檢測系統(tǒng)的操作流程示意圖。
[0026]圖4為本發(fā)明電子化的麗SE量表的示意圖。
[0027]圖5為本發(fā)明數(shù)字化輸入板操作示意圖。
[0028]其中:1—錄音設(shè)備；2—數(shù)字化輸入板；3—平板電腦。
【具體實(shí)施方式】
[0029]為使本發(fā)明的目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文通過具體實(shí)施例，并結(jié)合附圖，做詳細(xì)的說明。
[0030]MMSE的檢查往往費(fèi)時(shí)費(fèi)力，目前的做法仍然是以十年前的方式操作。醫(yī)生根據(jù)量表對(duì)患者進(jìn)行詢問，并記錄下每一個(gè)問題的回答及分?jǐn)?shù)。當(dāng)需要患者進(jìn)行手部動(dòng)作、發(fā)音等操作時(shí)，醫(yī)生將道具提供給患者，觀察患者的操作并根據(jù)經(jīng)驗(yàn)進(jìn)行主觀的定性分析。數(shù)字化輸入板及語音分析技術(shù)能有效量化手部運(yùn)動(dòng)、語音數(shù)據(jù)，提高疾病信息判斷的客觀性。本發(fā)明為該問題提供了一種解決方法。
[0031]本實(shí)例支持用戶在平板電腦及液晶數(shù)位屏上進(jìn)行更加方便、有效、精確的操作；具體包含Surface Pro平板電腦(屏幕大小為10.6寸，分辨率為1280*800，操作系統(tǒng)為Windows8)和Wacoml3HD液晶數(shù)位屏(屏幕大小為13.0寸，分辨率為1280*800，附帶的數(shù)位筆為 Wacom KP-701E)。
[0032]圖1為本發(fā)明多通道簡易精神狀態(tài)檢測系統(tǒng)的結(jié)構(gòu)示意圖，如圖所示，該系統(tǒng)包括:
[0033]錄音設(shè)備1，包括發(fā)音信息采集模塊和音頻文件分割模塊；所述發(fā)音信息采集模塊用于采集檢測開始后待測者的所有發(fā)音信息；所述音頻文件分割模塊根據(jù)當(dāng)前不同的檢測項(xiàng)目，將采集的發(fā)音信息切分成不同的音頻文件，并存儲(chǔ)在平板電腦中；
[0034]數(shù)字化輸入板2，包括多通道輸入數(shù)據(jù)采集模塊，用于采集檢測過程中待測者多通道輸入的數(shù)據(jù)，并存儲(chǔ)在平板電腦中；
[0035]平板電腦3，連接所述錄音設(shè)備和數(shù)字化輸入板，包括發(fā)音特征提取模塊、運(yùn)筆特征提取模塊、電子化的MMSE量表模塊及MMSE數(shù)據(jù)模型模塊；所述發(fā)音特征提取模塊用于提取上述音頻文件的發(fā)音特征；所述運(yùn)筆特征提取模塊用于提取上述多種通道輸入過程中的運(yùn)筆特征；所述發(fā)音特征、運(yùn)筆特征以及電子化MMSE量表模塊采集的評(píng)分?jǐn)?shù)據(jù)輸入所述MMSE數(shù)據(jù)模型后，輸出簡易精神狀態(tài)檢測結(jié)果。
[0036]圖2為本發(fā)明多通道簡易精神狀態(tài)檢測系統(tǒng)的系統(tǒng)框架圖。包括:
[0037]I)使用平板電腦I采集電子化的麗SE量表模塊中檢查題目的各項(xiàng)評(píng)分?jǐn)?shù)據(jù)，使用數(shù)字化輸入板設(shè)備中的多通道輸入數(shù)據(jù)采集模塊采集MMSE測驗(yàn)的多通道輸入數(shù)據(jù)(筆尖軌跡、筆尖壓力、筆尾三維傾角、筆身自轉(zhuǎn)角等)，使用錄音設(shè)備中的發(fā)音信息采集模塊采集語音數(shù)據(jù)，音頻文件分割模塊進(jìn)行分割后存儲(chǔ)在平板電腦中，并通過運(yùn)筆特征提取模塊和發(fā)音特征提取模塊提取運(yùn)筆特征(壓力、速度等)和發(fā)音特征(MFCC、PLP、FO、RPDE等)，得到所述定量分析算法的候選特征。
[0038]2)將上一步所得到的候選特征進(jìn)行建模，得到患病與否與嚴(yán)重程度的定量結(jié)果。
[0039]3)通過多通道融合的方法對(duì)以上2個(gè)結(jié)果進(jìn)行融合，綜合考慮患病預(yù)測及評(píng)分預(yù)測，調(diào)整相關(guān)參數(shù)，來建立時(shí)間相關(guān)的麗SE數(shù)據(jù)模型，并將相關(guān)檢測結(jié)果分別存儲(chǔ)在數(shù)據(jù)庫和文檔報(bào)告中。
[0040]圖3為本發(fā)明多通道簡易精神狀態(tài)檢測系統(tǒng)的操作流程示意圖，包括:
[0041]I)簡易精神狀態(tài)檢測開始時(shí)，同時(shí)開始后臺(tái)錄音，采集發(fā)音信息，同時(shí)根據(jù)當(dāng)前不同的檢測項(xiàng)目，將采集的發(fā)音信息切分成不同的音頻文件，切分成不同的音頻文件，并提取各個(gè)首頻文件發(fā)首特征；
[0042]2)在利用數(shù)字化輸入板繪圖時(shí)，采集運(yùn)筆過程中每一點(diǎn)的時(shí)間，X坐標(biāo)，y坐標(biāo)，筆尖壓力，筆尾三維方向角，筆尾三維傾斜角，筆身自轉(zhuǎn)角等信息，提取運(yùn)筆特征；
[0043]3)將電子化的MMSE量表各項(xiàng)指標(biāo)的評(píng)分?jǐn)?shù)據(jù)，繪圖、發(fā)音數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫中并生成報(bào)告文檔，與此同時(shí)，平板電腦對(duì)運(yùn)筆特征、發(fā)音特征的分析結(jié)果也將包含在報(bào)告中，最終得到定量的麗SE數(shù)據(jù)。
[0044]圖4給出了本發(fā)明電子化的麗SE量表的示意圖。在利用本發(fā)明的多通道簡易精神狀態(tài)檢測系統(tǒng)進(jìn)行檢測時(shí)，醫(yī)生首先根據(jù)電子化的MMSE量表中的檢查問題向病人進(jìn)行詢問，并記錄下問題的記過。當(dāng)需要病人在數(shù)字化輸入板上進(jìn)行操作時(shí)，醫(yī)生可以點(diǎn)擊相應(yīng)頁面的按鈕，則病人可在其面前的數(shù)字化輸入板上進(jìn)行操作，醫(yī)生同時(shí)可以進(jìn)行實(shí)施觀察，如圖5所示。多通道簡易精神狀態(tài)檢測系統(tǒng)后臺(tái)同時(shí)將整個(gè)檢查過程進(jìn)行全程錄音，并將涉及到語音部分抽取出來，進(jìn)行語音數(shù)據(jù)的分析。最后多通道簡易精神狀態(tài)檢測系統(tǒng)將自動(dòng)給醫(yī)生生成一個(gè)檢查報(bào)告用于打印的進(jìn)一步操作，并同時(shí)將檢查結(jié)果存儲(chǔ)在數(shù)據(jù)庫中。
[0045]本發(fā)明采用的數(shù)字化輸入板信息采集方式，可以量化分析待測者的畫圖能力，并能預(yù)測待測者的患病情況，平均準(zhǔn)確率能達(dá)到94.03%。其中正常人群共627人，其中570人被系統(tǒng)預(yù)測為正常，57人被預(yù)測為患??；患病人群580人，565人被預(yù)測為患病，15人被預(yù)測為正常。
[0046]本發(fā)明采用的發(fā)音分析技術(shù)，可以量化分析待測者的構(gòu)音能力，并能預(yù)測待測者對(duì)麗SE檢測的評(píng)分，與實(shí)際測量的評(píng)分誤差在3分以內(nèi)。對(duì)于210個(gè)患病者，平均絕對(duì)分差為2.7874，平均均方差為3.5093，相關(guān)系數(shù)為-0.7506。
[0047]以上通過實(shí)施例對(duì)本發(fā)明所述的基于平板電腦、數(shù)字筆、語音分析的多通道簡易精神狀態(tài)(MMSE)檢測系統(tǒng)進(jìn)行了詳細(xì)的說明，但本發(fā)明的具體實(shí)現(xiàn)形式并不局限于此。本領(lǐng)域的一般技術(shù)人員，可以在不背離本發(fā)明所述方法的精神和原則的情況下對(duì)其進(jìn)行各種顯而易見的變化與修改。本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求書所述為準(zhǔn)。
【權(quán)利要求】
1.一種多通道簡易精神狀態(tài)檢測系統(tǒng)，包括: 錄音設(shè)備，包括發(fā)音信息采集模塊和音頻文件分割模塊；所述發(fā)音信息采集模塊用于采集檢測開始后待測者的所有發(fā)音信息；所述音頻文件分割模塊根據(jù)當(dāng)前不同的檢測項(xiàng)目，將采集的發(fā)音信息切分成不同的音頻文件，并存儲(chǔ)在平板電腦中； 數(shù)字化輸入板，包括多通道輸入數(shù)據(jù)采集模塊，用于采集檢測過程中待測者多通道輸入的數(shù)據(jù)，并存儲(chǔ)在平板電腦中； 平板電腦，連接所述錄音設(shè)備和數(shù)字化輸入板，包括發(fā)音特征提取模塊、運(yùn)筆特征提取模塊、電子化的MMSE量表模塊及MMSE數(shù)據(jù)模型模塊；所述發(fā)音特征提取模塊用于提取上述音頻文件的發(fā)音特征；所述運(yùn)筆特征提取模塊用于提取上述多種通道輸入過程中的運(yùn)筆特征；所述發(fā)音特征、運(yùn)筆特征輸入所述MMSE數(shù)據(jù)模型后，輸出簡易精神狀態(tài)檢測結(jié)果。
2.如權(quán)利要求1所述的多通道簡易精神狀態(tài)檢測系統(tǒng)，其特征在于，所述發(fā)音信息采集模塊通過錄音采集發(fā)音信息，具體音頻參數(shù)為16bit，44.1Hz, Ichannel ;所述發(fā)音信息包括:發(fā)音開始時(shí)間，發(fā)音結(jié)束時(shí)間。
3.如權(quán)利要求1所述的多通道簡易精神狀態(tài)檢測系統(tǒng)，其特征在于，所述數(shù)字化輸入板是支持?jǐn)?shù)位筆輸入的液晶顯示屏；所述數(shù)位筆是支持筆尖軌跡、筆尖壓力、筆尾三維傾角、筆身自轉(zhuǎn)角的數(shù)位筆；所述數(shù)位筆采用數(shù)字化輸入板像素點(diǎn)坐標(biāo)進(jìn)行定位。
4.如權(quán)利要求1所述的多通道簡易精神狀態(tài)檢測系統(tǒng)，其特征在于，所述多通道輸入的數(shù)據(jù)包括:記錄反應(yīng)時(shí)間，完成時(shí)間，總連線時(shí)間，圈內(nèi)停留時(shí)間，錯(cuò)誤次數(shù)，錯(cuò)誤率，總平均速度，每段平均速度，最大速度，偏移度，最大偏移值，壓力，傾斜方向，傾斜幅度，旋轉(zhuǎn)角。
5.如權(quán)利要求1所述的多通道簡易精神狀態(tài)檢測系統(tǒng)，其特征在于，所述發(fā)音特征包括音頻文件的Mel頻率倒譜系數(shù)、感知線性預(yù)測、基礎(chǔ)頻率、循環(huán)周期熵；所述運(yùn)筆特征包括運(yùn)筆壓力、速度。
6.如權(quán)利要求1所述的多通道簡易精神狀態(tài)檢測系統(tǒng)，其特征在于，所述發(fā)音特征提取模塊通過以下方法提取所述音頻文件的發(fā)音特征:首先對(duì)每個(gè)漢明窗口提取PLP特征，其次，對(duì)音頻文件提取INTERSPEECH2010Paralinguistic Challenge特征集，選取其中的MFCC系數(shù)及其一階導(dǎo)數(shù)，基礎(chǔ)頻率，聲音響度、音高，最后，通過Matlab程序提取出音頻的信噪比、循環(huán)周期熵、趨勢波動(dòng)分析、音高周期熵。
7.如權(quán)利要求1所述的多通道簡易精神狀態(tài)檢測系統(tǒng)，其特征在于，所述運(yùn)筆特征提取模塊通過以下方法提取所述多種通道輸入過程中的運(yùn)筆特征:用戶在多通道輸入過程中在每一個(gè)時(shí)間點(diǎn)形成一個(gè)七維向量X〈時(shí)間，X坐標(biāo)，y坐標(biāo)，筆尖壓力，筆尾三維方向角，筆尾三維傾斜角，筆身自轉(zhuǎn)角 >，從落筆到繪圖結(jié)束則形成了一個(gè)包含m個(gè)X的序列S0<x0, X1, X2,.., xm>，根據(jù)這個(gè)序列，計(jì)算出整個(gè)繪圖過程中的總連線時(shí)間、圈內(nèi)停留時(shí)間、錯(cuò)誤次數(shù)、平均速度、平均壓力、平均曲率。
8.如權(quán)利要求1-7任一所述的多通道簡易精神狀態(tài)檢測系統(tǒng)，其特征在于，所述MMSE數(shù)據(jù)模型模塊是根據(jù)訓(xùn)練樣本提取的特征建立的分類模型，包括認(rèn)知與運(yùn)動(dòng)數(shù)據(jù)模型和發(fā)音信息數(shù)據(jù)模型；所述認(rèn)知與運(yùn)動(dòng)數(shù)據(jù)模型是根據(jù)提取出的運(yùn)筆特征，采用特征選擇算法，選出其中公共的3個(gè)特征輔以基本特征，采用已有的主流BP神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行訓(xùn)練建立的；所述發(fā)音數(shù)據(jù)模型是根據(jù)發(fā)音特征，通過特征選擇算法，選出其中的25個(gè)特征，包括第0、2、3、4、6、7、8、9、10、維1^(1:系數(shù)，第2、3、4、8、12維1^(1:導(dǎo)數(shù)，聲道刺激率、信噪比，采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練建立的；所述認(rèn)知與運(yùn)動(dòng)數(shù)據(jù)模型和發(fā)音信息數(shù)據(jù)模型與電子化的MMSE量表的總檢測評(píng)分進(jìn)行匹配，最終建立MMSE數(shù)據(jù)模型。
9.如權(quán)利要求1所述的多通道簡易精神狀態(tài)檢測系統(tǒng)，其特征在于，所述電子化的MMSE量表模塊是將MMSE量表中的每一項(xiàng)檢測項(xiàng)目對(duì)應(yīng)到平板電腦數(shù)據(jù)庫中的一個(gè)表項(xiàng)；對(duì)于電子化的麗SE量表模塊中的檢查題目，所述多通道簡易精神狀態(tài)檢測系統(tǒng)將自動(dòng)記錄每道題的得分情況及作答結(jié)果詳情。
10.如權(quán)利要求9所述的多通道簡易精神狀態(tài)檢測系統(tǒng)，其特征在于，所述多通道簡易精神狀態(tài)檢測系 統(tǒng)根據(jù)每一題選擇的選項(xiàng)、數(shù)字化輸入板輸入及錄音設(shè)備采集的數(shù)據(jù)，生成一條 MMSE 檢查的向量 R〈name，gender, age,…，week_ score, day—score，…，total—score〉，并存儲(chǔ)在數(shù)據(jù)庫中，同時(shí)生成一個(gè)報(bào)告文檔，詳細(xì)描述了每一題的得分。
【文檔編號(hào)】G10L25/63GK103956171SQ201410128613
【公開日】2014年7月30日 申請(qǐng)日期:2014年4月1日 優(yōu)先權(quán)日:2014年4月1日
【發(fā)明者】田豐, 姜超詞, 朱以誠, 周立新, 袁晶, 崔麗英, 王宏安 申請(qǐng)人:中國科學(xué)院軟件研究所, 中國醫(yī)學(xué)科學(xué)院北京協(xié)和醫(yī)院