基于鑒別局部保持投影的多模態(tài)情感特征融合方法
【專利摘要】本發(fā)明公開了基于鑒別局部保持投影的多模態(tài)情感特征融合方法，該方法首先對(duì)多模態(tài)情感數(shù)據(jù)庫中每種模態(tài)的樣本數(shù)據(jù)提取情感特征，如語音特征、表情特征、姿態(tài)特征等，然后采用鑒別局部保持投影方法將各種模態(tài)的情感特征映射到統(tǒng)一的鑒別子空間中，最后將映射后的多組特征進(jìn)行串聯(lián)融合，得到融合的多模態(tài)情感特征。以融合的多模態(tài)情感特征作為輸入的分類器能夠有效地識(shí)別出生氣、反感、害怕、高興、悲傷和驚訝等基本情感，為開發(fā)人類情感分類識(shí)別系統(tǒng)以及人機(jī)交互的實(shí)現(xiàn)提供了一種新的方法和途徑。
【專利說明】
基于鑒別局部保持投影的多模態(tài)情感特征融合方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理與模式識(shí)別領(lǐng)域，涉及一種應(yīng)用于多模態(tài)情感識(shí)別的特征融 合方法，特別涉及一種基于鑒別局部保持投影的多模態(tài)情感特征融合方法。
【背景技術(shù)】
[0002] 情感表達(dá)一直是人類交流和互相理解的最主要方式。由于計(jì)算機(jī)技術(shù)的大力發(fā) 展，人機(jī)交互能力(HCI，Human Computer Interaction)變得越來越具有研究?jī)r(jià)值和現(xiàn)實(shí)意 義，計(jì)算機(jī)如何對(duì)人的情感進(jìn)行識(shí)別也就變得至關(guān)重要。隨著信息技術(shù)的不斷發(fā)展，無論是 在實(shí)驗(yàn)室還是現(xiàn)實(shí)生活中，人類表達(dá)的情感信息很容易被各種各樣的傳感器獲得。其中圖 像和語音是最容易獲得的情感信息且對(duì)于情感識(shí)別來說也是最重要的信息。
[0003] 計(jì)算機(jī)能識(shí)別哪些情感是一個(gè)復(fù)雜的問題，在現(xiàn)實(shí)生活中人所表達(dá)的情感經(jīng)常只 有細(xì)微的差異，而這些差異人類都很難辨別，所以目前來說計(jì)算機(jī)只能識(shí)別一些基本的情 感，例如生氣、反感、害怕、高興、悲傷和驚訝等基本情感。然而對(duì)這些基本情感進(jìn)行識(shí)別的 情感技術(shù)已經(jīng)有了廣泛的應(yīng)用領(lǐng)域，例如在教育、醫(yī)療、人機(jī)交互、影音娛樂等領(lǐng)域。
[0004]過去幾十年，已經(jīng)有很多基于單模態(tài)的情感識(shí)別，最常見的是面部表情情感識(shí)別， 語音情感識(shí)別和基于姿態(tài)的情感識(shí)別，然而單模態(tài)情感識(shí)別有較大的限制，因?yàn)槿怂磉_(dá) 的情感信息是是一種多模態(tài)的情感信息，例如一個(gè)人表達(dá)憤怒，他的聲音、面部表情、身體 姿態(tài)、心率以及體溫等等都會(huì)與正常狀態(tài)下有較大的不同。如果只采用一種模態(tài)的情感特 征進(jìn)行識(shí)別，勢(shì)必不會(huì)得到較好的結(jié)果，尤其是在現(xiàn)實(shí)環(huán)境中。研究結(jié)果表明，相比于單模 態(tài)情感識(shí)別，多模態(tài)情感識(shí)別更加可靠和準(zhǔn)確。多模態(tài)情感識(shí)別考慮了人所表達(dá)的多種情 感信息，全面的衡量人所表達(dá)的情感，在實(shí)際生活中對(duì)于不同情況的干擾(例如對(duì)于人臉的 圖像信息，可能會(huì)有不同的光照，角度等問題)也更具魯棒性。
[0005] 對(duì)于多模態(tài)情感識(shí)別，特征融合是最重要的一環(huán)，它將不同的傳感器得到的不同 的情感特征進(jìn)行融合從而得到融合特征送入分類器進(jìn)行識(shí)別。常見的特征融合方法主要分 為三類:得分層融合方法，特征層融合方法和決策層融合方法。目前這三種方法為了有利于 實(shí)時(shí)性，既要保持足夠的重要信息又要實(shí)現(xiàn)信息壓縮，不可避免的會(huì)有信息損失，導(dǎo)致識(shí)別 的精確度下降。其中特征層融合方法在語音和圖像領(lǐng)域具有廣泛的應(yīng)用。目前對(duì)多模態(tài)情 感識(shí)別的研究遠(yuǎn)沒有單模態(tài)情感識(shí)別完善和豐富。
[0006] 現(xiàn)有技術(shù)中，公開號(hào)為CN105138991A、名稱為"一種基于情感顯著性特征融合的視 頻情感識(shí)別方法"的發(fā)明專利公開了一種基于情感顯著性特征融合的視頻情感識(shí)別方法， 其缺點(diǎn)是：只能對(duì)視頻中的圖像特征和語音特征進(jìn)行特征融合，可擴(kuò)展性差，不能對(duì)其他更 多模態(tài)的特征進(jìn)行特征融合;提取的圖像和語音特征均非直接的情感特征而是用顏色情感 強(qiáng)度值和音頻情感詞典進(jìn)行表示;融合算法過于簡(jiǎn)單，通過簡(jiǎn)單的加權(quán)融合后的情感特征 可判別性較差。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明要解決的技術(shù)問題是針對(duì)多模態(tài)情感識(shí)別的特征融合方法存在的融合后 的情感特征判別性較差的問題，以及現(xiàn)有單模態(tài)情感識(shí)別技術(shù)不能獲得較為準(zhǔn)確的識(shí)別結(jié) 果的問題。
[0008] 為解決上述問題，本發(fā)明針對(duì)人類情感自動(dòng)評(píng)估系統(tǒng)以及人機(jī)交互系統(tǒng)的需求， 提出基于鑒別局部保持投影的多模態(tài)情感特征融合方法，為人機(jī)交互問題提供了一種更為 準(zhǔn)確、可靠的途徑。具體的技術(shù)方案如下：
[0009] 基于鑒別局部保持投影的多模態(tài)情感特征融合方法，包括以下步驟：
[0010] A、首先對(duì)多模態(tài)情感數(shù)據(jù)庫中每種模態(tài)的樣本數(shù)據(jù)提取情感特征，然后將各種模 態(tài)的情感特征向量進(jìn)行降維處理，對(duì)于第j種模態(tài)的樣本用dj維特征向量Xijr來表示，即 e i?、其中，1彡j<m，m為模態(tài)的數(shù)目，Ki<c，c為情感類別的數(shù)目，Kr彡nij，ruj為屬 于第i類情感、第j種模態(tài)的樣本數(shù)目，表示屬于第i類情感、第j種模態(tài)的第r個(gè)樣本的特 征向量；
[0011] B、對(duì)降維后的不同模態(tài)的特征向量進(jìn)行鑒別局部保持投影，得到最佳的投影方向 α；
[0012] C、分別對(duì)不同模態(tài)的特征向量進(jìn)行映射，Yj = aTXj，Xj為c個(gè)Xij組成的矩陣，g卩Xj =
[Xlj，· · ·，Xij，· · ·，Xc j ];
[0013] D、將映射后的特征進(jìn)行串聯(lián)得到融合特征：
[0014] 2=[0%，· · ·，aTXj，· · ·，aTXm]T。
[0015] 進(jìn)一步，步驟B中降維后進(jìn)行鑒別局部保持投影目的是求解最佳的投影矩陣a，將 各種模態(tài)的情感特征向量Xijr映射到統(tǒng)一的鑒別子空間中，得到映射后的特征向量yijr，具 體步驟如下：
[0016] B1:定義類內(nèi)離散度矩陣媒:
[0018] 其中，yikl代表來自第i類情感、第k種模態(tài)的第1個(gè)樣本映射后的特征向量， m，Wri為來自相同情感和模態(tài)的特征向量之間的局部保持權(quán)重；
[0019] B2:定義類間離散度矩陣
[0021]其中Blh為來自相同模態(tài)的特征向量均值之間的局部保持權(quán)重，yi為第i類樣本映 射后的特征向量均值：
[0023]其中，m為第i類中樣本的數(shù)目，yh為第h類樣本的的特征向量均值；
[0024] B3:最大化類間離散度矩陣，最小化類內(nèi)離散度矩陣，這一目標(biāo)可以表示為如下最 優(yōu)化問題：
[0026] 其中，Tr( ·)為矩陣的跡。
[0027] 進(jìn)一步，在定義類內(nèi)離散度矩陣*V的步驟B1中，所述特征向量之間的局部保持權(quán) 重矩陣Wrl，具體定義如下：
[0028] 定義來自相同情感和模態(tài)的特征向量1^與1^之間的局部保持權(quán)重矩陣 W = wr!}：u··
[0030] 其中，Xijl代表來自第i類情感、第j種模態(tài)的第1個(gè)樣本的特征向量，1彡Kmj，參 數(shù)t可由經(jīng)驗(yàn)進(jìn)行設(shè)定，對(duì)來自不同情感或模態(tài)的特征向量不考慮它們之間的權(quán)重。
[0031] 進(jìn)一步，在定義類間離散度矩陣忍的步驟B2中，所述特征向量均值之間的局部保 持權(quán)重矩陣Blh，具體步驟和定義如下：
[0032] 首先計(jì)算第i類情感、第j種模態(tài)的特征向量均值:
[0034]其中/41°的上標(biāo)(X)代表原樣本空間，同樣計(jì)算來自第h類情感、第j種模態(tài)的特征 向量均值
[0036] 其中，1^為屬于第h類情感、第j種模態(tài)的樣本數(shù)目，Xhjr表示屬于第h類情感、第j種 模態(tài)的第r個(gè)樣本的特征向量，K h < c;
[0037] 定義來自相同模態(tài)的特征向量均值與/#之間的局部保持權(quán)重矩陣 較：戦料:
[0039] 其中，參數(shù)t同樣可由經(jīng)驗(yàn)進(jìn)行設(shè)定，對(duì)于對(duì)來自不同模態(tài)的特征向量均值不考慮 它們之間的權(quán)重。
[0040] 進(jìn)一步，在于步驟B3中，所述的最優(yōu)化問題，將最大化類間離散度矩陣，最小化類 內(nèi)離散度，得到最大的投影方向》具體步驟如下：
[0041] B3.1:對(duì)B3中的最優(yōu)化問題進(jìn)行變換，得到如下最優(yōu)化問題：
[0043]最優(yōu)化式子中分母部分為類內(nèi)離散度矩陣：
[0047] 其中μι?5(χ)為來自第i類情感、第k種模態(tài)的特征向量均值，nlk為來自第i類情感、第 k種模態(tài)的樣本數(shù)目，Xij為ruj個(gè)特征向量xijr組成的特征矩陣，L = mDrr-Wri，Drr是一個(gè)對(duì)角 矩陣，其值為樣本間特征向量的權(quán)重矩陣w的行或列和(w為對(duì)稱矩陣），即=
[0048] 最優(yōu)化式子中分子部分為類間離散度矩陣：
[0052] 其中為c個(gè)均值向量/if組成的矩陣，是均值的局部保持權(quán)重Blh的行或者 列和，即心;
[0053] Β3.2:由于Β3.1中的最優(yōu)化問題不存在閉式解，需要將跡的比值轉(zhuǎn)化成比值的跡， 最終得到如下最優(yōu)化問題：
[0055] 通過廣義特征值分解的方法，上式解得最佳的投影矩陣《 = (%.&，····<,；)。
[0056] 與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：
[0057] (1)在情感識(shí)別問題中采用多模態(tài)融合的情感特征相比于單模態(tài)情感特征具有更 高的準(zhǔn)確性和客觀性，在現(xiàn)實(shí)情況中也具有更好的魯棒性。
[0058] (2)基于鑒別局部保持投影的多模態(tài)情感特征融合方法，不僅考慮了類間離散度， 也考慮了類內(nèi)離散度，對(duì)不同類別的樣本具有較好的區(qū)分度，引入的局部保持投影又能很 好的適應(yīng)非線性的情況。最終得到更加適合情感識(shí)別的多模態(tài)情感融合特征。
[0059] 上述優(yōu)點(diǎn)也通過實(shí)驗(yàn)結(jié)果得到了驗(yàn)證，本發(fā)明通過引入基于鑒別局部保持投影的 多模態(tài)情感特征融合方法，將其運(yùn)用在多模態(tài)表情分類識(shí)別工作中，能有效地識(shí)別出生氣、 反感、害怕、高興、悲傷和驚訝等六種表情，為開發(fā)人類情感自動(dòng)評(píng)估系統(tǒng)以及人機(jī)交互系 統(tǒng)提供了一種新的方法和途徑。
【附圖說明】
[0060]圖1是本發(fā)明的基于鑒別局部保持投影的多模態(tài)情感特征融合方法的流程圖。
[0061 ]圖2是雙模態(tài)情感數(shù)據(jù)庫中的部分圖像。
【具體實(shí)施方式】
[0062] 現(xiàn)結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】做進(jìn)一步詳細(xì)的說明。本發(fā)明的基于鑒別局 部保持投影的多模態(tài)情感特征融合方法的實(shí)現(xiàn)，如圖1所示，主要包含以下步驟：
[0063] 步驟1:采集多模態(tài)數(shù)據(jù)庫中視頻的靜態(tài)圖像和語音片段
[0064]在具體實(shí)施過程中，采用eNTERFACE雙模態(tài)數(shù)據(jù)庫。該數(shù)據(jù)庫包含來自42人的1260 個(gè)視頻片段，每個(gè)視頻都有情感標(biāo)簽，表達(dá)了 6種基本情感:生氣、反感、害怕、高興、悲傷和 驚訝(分別對(duì)應(yīng)標(biāo)簽1-6 )，如圖2所示。視頻大小為720 X 576，采樣頻率為25fps，視頻中聲音 的采樣頻率為48kHz。將視頻分幀，取其中表情最豐富的一幀作為該視頻的靜態(tài)圖片。將每 個(gè)視頻分離出語音，作為該視頻對(duì)應(yīng)的語音片段。最終每個(gè)視頻片段對(duì)應(yīng)一個(gè)靜態(tài)圖像和 一段語音。任意選取其中75%的圖像和對(duì)應(yīng)的語音作為訓(xùn)練樣本，剩下的25%作為測(cè)試樣 本。
[0065]步驟2:對(duì)圖像和語音信息進(jìn)行特征提取，進(jìn)行降維處理，并用特征向量來表示 [0066]首先對(duì)上一步獲得的靜態(tài)圖像進(jìn)行裁剪，截取人臉那部分圖像，大小為128X128， 然后進(jìn)行對(duì)齊、尺度歸一化和灰度均衡化等圖像預(yù)處理操作，最后對(duì)圖像提取Gabor、SIFT、 LBP等特征(在本實(shí)施例中提取了 Gabor特征）。對(duì)于語音片段，采用專業(yè)的語音處理工具箱 OpenSmile提取各種特征(在本實(shí)施例中提取了emobase2010特征）。由于提取的特征向量經(jīng) 常存在維數(shù)過高的問題，使用PCA降維的方法得到合適維數(shù)的特征，用山維特征向量來表示 降維后的圖像特征和語音特征向量，即χ，#，其中，1彡衫m(xù)，m為模態(tài)的數(shù)目，1彡i$c，c 為情感類別的數(shù)目，1彡r彡η&ηυ為屬于第i類情感、第j種模態(tài)的樣本數(shù)目，Xljr表示屬于 第i類情感、第j種模態(tài)的第r個(gè)樣本的特征向量，此外，m為第i類中樣本的數(shù)目，η為所有樣 本的數(shù)目。在本實(shí)施例中。=6，111=2，1^ = 210，11土 = 420，11=1260，對(duì)于其他不同的多模態(tài)數(shù) 據(jù)庫，只需改變這些參數(shù)即可，例如三模態(tài)數(shù)據(jù)庫時(shí)m = 3。
[0067] 步驟3:采用鑒別局部保持投影方法，求解最佳的投影矩陣α，將各種模態(tài)的情感特 征向量Xijr映射到統(tǒng)一的鑒別子空間中，得到映射后的特征向量yijr，具體步驟如下：
[0068] 首先，定義來自相同類別和模態(tài)的特征向量Xljr與XU1之間的局部保持權(quán)重矩陣 w = {Wrl}n；M ：
[0070]其中，Xljl代表來自第i類、第j個(gè)模態(tài)的第1個(gè)樣本的特征向量，，參數(shù)t可 由經(jīng)驗(yàn)得到。對(duì)來自不同模態(tài)或類別的特征向量不考慮它們之間的權(quán)重。接著定義各類的 類內(nèi)離散度矩陣和'-:
[0072] 其中，yikl代表來自第i類情感、第k種模態(tài)的第1個(gè)樣本映射后的特征向量， m〇
[0073] 然后，求得來自第i類情感、第j種模態(tài)的特征向量均值/4"：
[0075]其中/4T>的上標(biāo)(X)代表原樣本空間，同樣計(jì)算來自第h類情感、第j種模態(tài)的特征 向量均值
[0077]其中nhj為屬于第h類情感、第j種模態(tài)的樣本數(shù)目，Xhjr表示屬于第h類情感、第j種 模態(tài)的第r個(gè)樣本的特征向量，l$h<c。與類內(nèi)離散度矩陣和：類似，定義來自相同模態(tài)的 特征向量均值/4'>與/4；"之間的局部保持權(quán)重矩陣5 = :
[0079] 其中，參數(shù)t同樣可由經(jīng)驗(yàn)進(jìn)行設(shè)定，對(duì)于對(duì)來自不同模態(tài)的特征向量均值不考慮 它們之間的權(quán)重。
[0080] 隨后定義各類的類間離散度矩陣巧：
[0084] 類似的，yh為第h類樣本特征的平均值。
[0085] 最后，為了最大化類間離散度矩陣同時(shí)最小化類內(nèi)離散度矩陣，得到如下最優(yōu)化 式子：
[0089]最優(yōu)化式子中分母部分為類內(nèi)離散度矩陣：
[0093] 其中ylk(x)為來自第i類情感、第k種模態(tài)的特征向量均值，nlk為來自第i類情感，第 k種模態(tài)中的樣本數(shù)目，Xij為ruj個(gè)特征向量xijr組成的特征矩陣，L=mDrr-W ri，Drr是一個(gè)對(duì)
角矩陣，其值為樣本間特征向量的權(quán)重矩陣W的行或列和(W為對(duì)稱矩陣），即見=。
[0094] 最優(yōu)化式子中分子部分為類間離散度矩陣：
[0098] 其中為c個(gè)特征的均值向量/if組成的矩陣，是均值的局部保持權(quán)重Blh的行 或者列和，即= 。
[0099] 由于式(9)不存在閉式解，需要將跡的比值轉(zhuǎn)化成比值的跡：
[0101] 通過廣義特征值分解，求解式(13)，得到最佳的映射a
[0102] 步驟4:對(duì)訓(xùn)練樣本、測(cè)試樣本進(jìn)行投影得到映射后的特征，將映射后的特征進(jìn)行 串聯(lián)得到融合特征
[0103] 對(duì)圖像特征和語音特征分別乘以α進(jìn)行映射，Υ」= ατΧ」，其中心為(3個(gè)乂^組成的矩 陣，g^=[X^，...，知，...，Xq]T，然后將映射好的特征進(jìn)行串聯(lián)，具體方法如下：
[0104] Ztmk = [αΓΧΓπ ^ · ：,αΓΧ(；<πη,. ..,ατ Χ'Γ ]Γ (15)
[0105] Ztesr = [arZ^f,ατΧ^,.,., ατ (1:6)
[0106] 步驟5:將訓(xùn)練樣本的融合特征送入分類器中進(jìn)行訓(xùn)練并用測(cè)試樣本進(jìn)行測(cè)試
[0107] 將上一步得到的訓(xùn)練樣本的融合特征送入分類器中（在本實(shí)施例中使用libSVM)， 通過分類器的訓(xùn)練得到合適的模型和參數(shù)，最后將測(cè)試數(shù)據(jù)送入分類器中得到識(shí)別結(jié)果。
[0108]以上【具體實(shí)施方式】的實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之 內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 基于鑒別局部保持投影的多模態(tài)情感特征融合方法，其特征在于包括W下步驟： A、 首先對(duì)多模態(tài)情感數(shù)據(jù)庫中每種模態(tài)的樣本數(shù)據(jù)提取情感特征，然后將各種模態(tài)的 情感特征向量進(jìn)行降維處理，對(duì)于第j種模態(tài)的樣本用cU維特征向量Xiu來表示，即 而,.，其中，j《m，m為模態(tài)的數(shù)目，l《i《c，c為情感類別的數(shù)目，l《r《nij，nij為屬 于第i類情感、第巧巾模態(tài)的樣本數(shù)目，xur表示屬于第i類情感、第巧巾模態(tài)的第r個(gè)樣本的特 征向量； B、 對(duì)降維后的不同模態(tài)的特征向量進(jìn)行鑒別局部保持投影，得到最佳的投影方向α; C、 分別對(duì)不同模態(tài)的特征向量進(jìn)行映射，Υ^ = αΤχ^，)(^為C個(gè)Xu組成的矩陣，即)(j = [Xlj , . . . ,Xij , . . . ,Xcj]; D、 將映射后的特征進(jìn)行串聯(lián)得到融合特征： 2=郵，...，而，...腫]了。2. 根據(jù)權(quán)利要求1所述的基于鑒別局部保持投影的多模態(tài)情感特征融合方法，其特征 在于步驟B中，所述鑒別局部保持投影目的是求解最佳的投影矩陣α，將各種模態(tài)的情感特 征向量Wr映射到統(tǒng)一的鑒別子空間中，得到映射后的特征向量yUr，具體步驟如下： B1:定義類內(nèi)離散度矩陣巧；其中，yiki代表來自第i類情感、第k種模態(tài)的第1個(gè)樣本映射后的特征向量，l《k《m，Wri 為來自相同情感和模態(tài)的特征向量之間的局部保持權(quán)重； B2:定義類間離散度矩陣窗：其中Bih為來自相同模態(tài)的特征向量均值之間的局部保持權(quán)重，μι為第i類樣本映射后 的特征向量均值：其中，m為第i類中樣本的數(shù)目，Wh為第h類樣本的的特征向量均值； B3:最大化類間離散度矩陣，最小化類內(nèi)離散度矩陣，運(yùn)一目標(biāo)可W表示為如下最優(yōu)化 問題：其中，Tr( ·)為矩陣的跡。3. 根據(jù)權(quán)利要求2所述的基于鑒別局部保持投影的多模態(tài)情感特征融合方法，其特征 在于步驟B1中，所述特征向量之間的局部保持權(quán)重矩陣Wrl，具體定義如下： 定義來自相同情感和模態(tài)的特征向量Wr與之間的局部保持權(quán)重矩陣=獅;貨其中，XUI代表來自第i類情感、第巧中模態(tài)的第1個(gè)樣本的特征向量，l《l《nu，參數(shù)t可 由經(jīng)驗(yàn)進(jìn)行設(shè)定，對(duì)來自不同情感或模態(tài)的特征向量不考慮它們之間的權(quán)重。4. 根據(jù)權(quán)利要求2所述的基于鑒別局部保持投影的多模態(tài)情感特征融合方法，其特征 在于步驟B2中，所述特征向量均值之間的局部保持權(quán)重矩陣Bih，具體步驟和定義如下： 首先計(jì)算第i類情感、第巧巾模態(tài)的特征向量均值其中的上標(biāo)(X)代表原樣本空間，同樣計(jì)算來自第h類情感、第巧巾模態(tài)的特征向量 均值地Η其中，nw為屬于第h類情感、第巧巾模態(tài)的樣本數(shù)目，XWr表示屬于第h類情感、第巧巾模態(tài) 的第r個(gè)樣本的特征向量， 定義來自相同模態(tài)的特征向量均值/4"與/4Γ之間的局部保持權(quán)重矩陣3 = {巧/義6=1;其中，參數(shù)t同樣可由經(jīng)驗(yàn)進(jìn)行設(shè)定，對(duì)于對(duì)來自不同模態(tài)的特征向量均值不考慮它們 之間的權(quán)重。5. 根據(jù)權(quán)利要求2所述的基于鑒別局部保持投影的多模態(tài)情感特征融合方法，其特征 在于步驟B3中，所述的最優(yōu)化問題，將最大化類間離散度矩陣，最小化類內(nèi)離散度，得到最 大的投影方向α = 誠)，具體步驟如下： Β3.1:對(duì)Β3中的最優(yōu)化問題進(jìn)行變換，得到如下最優(yōu)化問題：其中yik?為來自第i類情感、第k種模態(tài)的特征向量均值，mk為來自第i類情感、第k種模 態(tài)的樣本數(shù)目，Xij為riij個(gè)特征向量Xijr組成的特征矩陣，L = mDrr-Wrl，Drr是一個(gè)對(duì)角矩陣， 其值為樣本間特征向量的權(quán)重矩陣W的行或列和(W為對(duì)稱矩陣），即公W=Σ；!ι形/ ; 最優(yōu)化式子中分子部分為類間離散度矩陣：其中嘴C個(gè)均值向量/4 >組成的矩陣，Ew是均值的局部保持權(quán)重Β化的行或者列和， 即B3.2:由于B3.1中的最優(yōu)化問題不存在閉式解，需要將跡的比值轉(zhuǎn)化成比值的跡，最終 得到如下最優(yōu)化問題：通過廣義特征值分解的方法，上式解得最佳的投影矩陣〇 。
【文檔編號(hào)】G06K9/62GK106096642SQ201610397708
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月7日
【發(fā)明人】徐嵚崳, 盧官明, 閆靜杰
【申請(qǐng)人】南京郵電大學(xué)