一種基于表情分析的抑郁程度自動評估系統(tǒng)的制作方法
【技術(shù)領域】
[0001] 本發(fā)明設及抑郁程度評估系統(tǒng)，特別是設及一種基于表情分析的抑郁程度自動評 估系統(tǒng)。
【背景技術(shù)】
[0002] 抑郁癥是W行為出現(xiàn)異常，屯、境低落為主要癥狀的一種屯、身疾病，常伴有情緒認 知障礙，具有高發(fā)病率、難治愈和高自殺率的特點。據(jù)世界衛(wèi)生組織統(tǒng)計，抑郁癥的年患病 率為10%，終身患病率為17%，每年約100萬人死于自殺。并且，據(jù)世界衛(wèi)生組織預測，截 至2020年抑郁癥將成為世界第二大致殘誘因，至2030年抑郁癥將成為最大的疾病負擔。
[0003] 傳統(tǒng)的抑郁癥評估采用臨床問卷及訪談方式，需要根據(jù)病人的當前狀況、病史、家 族史W及各種社會屯、理量表填寫情況進行評估。常用的Ξ大診斷系統(tǒng)為精神疾病診斷與統(tǒng) 計手冊第4版、國際疾病分類第10版和中國精神疾病分類方案與診斷標準第3版。現(xiàn)有的 抑郁評估時根據(jù)抑郁癥自評量表和醫(yī)生的經(jīng)驗來判斷的，該技術(shù)存在W下不足：
[0004] (1)臨床問卷及訪談對醫(yī)生的專業(yè)知識和臨床經(jīng)驗要求較高，易受到醫(yī)生的主觀 因素影響；
[0005] (2)臨床問卷及訪談需要受試對象的長時間的積極配合，已引起受試者的煩躁；
[0006] (3)臨床問卷及訪談忽略了抑郁癥患者的無意識表情或動作，無法進行客觀有效 的分析評估。并且，臨床問卷及訪談方式效率低，資源消耗大。

【發(fā)明內(nèi)容】

[0007] 發(fā)明目的：本發(fā)明的目的是提供一種自動化、無需受試對象長時間配合的客觀有 效的基于表情分析的抑郁程度自動評估系統(tǒng)。
[000引技術(shù)方案：為達到此目的，本發(fā)明采用W下技術(shù)方案：
[0009] 本發(fā)明所述的基于表情分析的抑郁程度自動評估系統(tǒng)，包括：
[0010] 數(shù)據(jù)采集模塊：采集受試對象的訪談視頻，每一段視頻都對應標注了抑郁程度 HAMD-17 分值y;
[0011] 預處理和特征提取模塊：根據(jù)FACS手冊定義視頻特征庫f，并在訪談視頻中提取 視頻特征庫f及其對應的HAMD-17分值y，并對HAMD-17分值y進行5級量化得到HAMD-17 量化分值；
[0012] 相關(guān)特征提取模塊：獲取視頻特征庫f中與抑郁嚴重程度最相關(guān)的特征
[0013] 預測模型訓練模塊：利用ε-SVR參數(shù)回歸方法建立抑郁程度的預測模型函數(shù) h( ·);
[0014] 新視頻標注模塊：對于新輸入的訪談視頻，自動標注出最值得注意的位置和區(qū) 段；
[0015] 新視頻預測模塊：由預測模型函數(shù)h( ·)給出新輸入訪談視頻的抑郁嚴重程度 r二 &(/.. )·
[0016] 進一步，所述數(shù)據(jù)采集模塊的訪談視頻的內(nèi)容為受試對象接受HAMD-17量表訪談 時的面部動作；并且，每一段視頻都對應標注了抑郁程度HAMD-17分值y。
[0017] 進一步，所述視頻特征庫f中包括FACS手冊定義的AU特征f,。，AU組合事件特征 /?，,，AU時間域統(tǒng)計特征./w,，底層幾何特征片。。，底層表觀特征fApp;其中，AU為表情動作 單元。
[0018]進一步，所述底層表觀特征fApp選用SIFT的描述子。
[0019] 進一步，所述預處理和特征提取模塊中的HAMD-17量化分值是對HAMD-17分值y 進行5級量化得到，量化區(qū)間為：0-7、8-13、14-18、19-22、23分及W上；對應的HAMD-17的 量化分值分別為1、2、3、4、5。
[0020] 進一步，所述相關(guān)特征提取模塊是在預處理和特征提取模塊提取的視頻特征庫f 和對應的HAMD-17分值基礎上，利用皮爾遜相關(guān)系數(shù)捜索視頻特征庫中與抑郁嚴重程度最 相關(guān)的特征fs;在捜索與抑郁嚴重程度最相關(guān)的特征fS時，對視頻特征庫f中每一個維度 計算皮爾遜相關(guān)系數(shù)R(i)，然后基于R(i) 2對特征維度降序排列。
[0021] 進一步，所述預測模型訓練模塊是基于相關(guān)特征提取模塊得到的與抑郁嚴重程度 最相關(guān)的特征，建立的抑郁程度預測模型。
[0022] 進一步，所述的抑郁程度預測模型輸出為HAMD-17量化分值，HAMD-17的量化分值 1、2、3、4、5分別對應正常、輕微、中性、重度和極重度五個抑郁等級。
[0023]進一步，所述新視頻標注模塊根據(jù)相關(guān)特征提取模塊得到的與抑郁嚴重程度最相 關(guān)的特征，在視頻的相應帖區(qū)間內(nèi)進行標注，便于回顧視頻中與抑郁嚴重程度最相關(guān)視頻 位置和區(qū)段。
[0024] 有益效果：本發(fā)明具有W下的有益效果：
[0025]1)本發(fā)明全程自動化，無侵入，無需受試對象的長時間配合，可長時間工作；
[0026]2)本發(fā)明提供了一種客觀的評估標準，不依賴于主觀經(jīng)驗，能夠真正做到客觀有 效的評估；
[0027] 3)本發(fā)明能夠綜合分析不同受試對象的數(shù)據(jù)，不局限于對單一對象進行孤立分 析。
【附圖說明】
[0028] 圖1為本發(fā)明的系統(tǒng)框圖；
[0029] 圖2為本發(fā)明的預處理和特征提取模塊進行人臉特征點提取和圖像對齊的示意 圖；
[0030] 圖3為本發(fā)明的底層幾何特征的示意圖；
[0031]圖4為本發(fā)明的表情分析視頻標注的示意圖。
【具體實施方式】
[0032]下面結(jié)合【具體實施方式】對本發(fā)明的技術(shù)方案作進一步的介紹。
[0033] 本發(fā)明的系統(tǒng)包括數(shù)據(jù)采集模塊1、預處理和特征提取模塊2、相關(guān)特征提取模塊 3、預測模型訓練模塊4、新視頻標注模塊5和新視頻預測模塊6,如圖1所示。
[0034]其中：
[0035]數(shù)據(jù)采集模塊1 :采集受試對象的訪談視頻，每一段視頻都對應標注了抑郁程度 HAMD-17 分值y;
[0036] 預處理和特征提取模塊2:根據(jù)FACS手冊定義視頻特征庫f，并在訪談視頻中提取 視頻特征庫f及其對應的HAMD-17分值y，并對HAMD-17分值y進行5級量化得到HAMD-17 量化分值；其中，F(xiàn)ACS(FacialActionCodingSystem)手冊是屯、理學家為了科學分析面部 表情，在上世紀70年代提出的；
[0037]相關(guān)特征提取模塊3 :獲取視頻特征庫f中與抑郁嚴重程度最相關(guān)的特征fg，W下 簡稱為最相關(guān)特征
[0038] 預測模型訓練模塊4:利用ε-SVR參數(shù)回歸方法建立預測模型函數(shù)h( ·);
[0039] 新視頻標注模塊5:對于新輸入的訪談視頻，自動標注出最值得注意的位置和區(qū) 段；
[0040] 新視頻預測模塊6 :由預測模型函數(shù)h(·)給出新輸入訪談視頻的抑郁嚴重程度
[0041] 系統(tǒng)的輸出包括兩個部分：（1)預測器給出的抑郁程度預測分值；(2)新輸入數(shù)據(jù) 中最相關(guān)特征所在的視頻位置。本系統(tǒng)通過預測抑郁程度，自動標注新輸入視頻中值得注 意的位置和區(qū)段，為受試者的抑郁特征評估提供了客觀依據(jù)。
[0042] 下面W-個實施例為例，對本發(fā)明系統(tǒng)進行更進一步的介紹，本發(fā)明系統(tǒng)的工作 過程如下：
[0043] 1)數(shù)據(jù)采集模塊1采集受試對象的訪談視頻
[0044] 錄制訪談視頻時，固定光照環(huán)境和拍攝角度，由兩名評定者與受試對象進行交談， 整個過程持續(xù)15分鐘或者20分鐘，訪談結(jié)束后，兩名評定者分別獨立評分。為避免評定者 主觀因素對判定結(jié)果的影響，后期選取兩評定員一致性較好的評分結(jié)果進行分析。并為了 保證不同受試對象不同時間的訪談錄像中成像環(huán)境和討論問題一致，訪談內(nèi)容為HAMD-17 量表，保證了視頻數(shù)據(jù)的可比性。由此，每一段訪談視頻都對應了一個HAMD-17屯、理學量表 分值。本發(fā)明將運個分值作為抑郁程度標簽，記為y。
[0045] 2)預處理和特征提取模塊2根據(jù)FACS手冊定義視頻特征庫f，并在訪談視頻中提 取視頻特征庫f及其對應的HAMD-17分值y，并對HAMD-17分值y進行5級量化得到HAMD-17 量化分值
[0046] 本發(fā)明的視頻預處理過程是采用SDM技術(shù)和普氏分析法實現(xiàn)視頻中的人臉特征 點檢測和人臉圖像對齊。SDM技術(shù)檢測訪談視頻中的每一帖的人臉特征點，人臉特征點的 檢測示意圖見圖2 (a)。由于人臉視頻中包含頭部姿態(tài)，焦距，拍攝角度和距離的等因素，會 干擾表情的分析。因此，將視頻中的人臉與參考人臉形狀對齊，實現(xiàn)圖像對齊。在對齊過程 中，預先選定一個固定大?。?00X200像素）的參考人臉形狀，如圖2(b)所示。對每一張人 臉圖像，利用普氏分析法，計算最優(yōu)的尺度，（平面內(nèi)）旋轉(zhuǎn)和平移變換，使得人臉圖像與參 考形狀最接近。運個過程保證了參與訓練和測試的所有人臉圖像在統(tǒng)一的尺度上，并且不 受頭部姿態(tài)（平面內(nèi)）偏轉(zhuǎn)的影響。對齊后的人臉圖像和特征點如圖2(c)所示。
[0047] 在特征提取中，預先定義一個視頻特征庫f，包括FACS表情動作單元（AU)fw，AU 組合事件，AU時間域統(tǒng)計特征ZftV，底層幾何特征片。。，底層表觀特征fApp等。
[004引視頻特征庫f中包括了一些AU組合事件。AU組合事件包含超出單個AU相加