一種智能化的隱式交互系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種智能化的隱式交互系統(tǒng)，其特征在于，包括：手勢動作檢測模塊：實時獲取用戶體態(tài)行為信息,檢測用戶位置，并檢測與識別用戶手勢動作；顯式交互信息獲取模塊：檢測智能電視的功能狀態(tài)信息，獲得低層次的顯式交互信息；高層次的隱含交互信息獲取模塊：將處理后的用戶體態(tài)行為信息與智能電視實時的功能狀態(tài)信息相結(jié)合，建立基于用戶行為和智能電視狀態(tài)的多層次動態(tài)上下文推理模型，獲得高層次的隱含交互信息；隱式交互行為模型建立模塊：將隱含交互信息可視化，識別用戶在可視化隱含信息指導(dǎo)下完成的手勢動作，建立顯隱信息融合的隱式交互行為模型，完成交互任務(wù)。
【專利說明】
一種智能化的隱式交互系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于智能電器領(lǐng)域，具體涉及一種智能化的隱式交互系統(tǒng)。
【背景技術(shù)】
[0002] 伴隨人機交互技術(shù)的發(fā)展，基于視覺的手勢交互在人機交互領(lǐng)域的重要性愈發(fā)突 出。與傳統(tǒng)的WMP交互方式相比，基于視覺的手勢交互擺脫了鼠標(biāo)、鍵盤對用戶的束縛，并 且能為用戶提供更大的交互空間、更加逼真的交互體驗?；谝曈X的手勢交互現(xiàn)已被廣泛 應(yīng)用在虛擬裝配、虛擬增強現(xiàn)實、體感游戲、機器人控制、智能電視交互等領(lǐng)域。在智能電視 手勢交互系統(tǒng)中，基于視覺的手勢交互幫助用戶擺脫了對遙控器的束縛，并以遠(yuǎn)距離操作 的方式為用戶操作智能電視提供了一種自然的交互方式。智能電視交互場景中，由于功能 繁多、復(fù)雜，需要大量的簡單手勢命令以及簡單手勢命令的組合才能完成操作。大量的手勢 命令增加了用戶的記憶負(fù)擔(dān)，給用戶帶來了極大的認(rèn)知負(fù)荷；同時，基于視覺的手勢交互中 存在的識別率、midas touch、復(fù)雜手勢動作命令問題，限制了用戶操作的準(zhǔn)確性，同樣給用 戶造成了極大的操作負(fù)荷。
[0003] 針對基于視覺的手勢交互中存在的問題，武匯岳（請參考：武匯岳，張鳳軍，劉玉 進(jìn)，等.基于視覺的手勢界面關(guān)鍵技術(shù)研究[J].計算機學(xué)報，2009，32(10): 2030-2041)從認(rèn) 知心理學(xué)角度，將手勢交互過程分為選擇性處理、分配性處理、集中處理3個階段，結(jié)合人類 知覺信息加工中的注意力模型提出了一個基于非接觸式的視覺手勢狀態(tài)轉(zhuǎn)移模型;通過模 仿人類視覺系統(tǒng)對目標(biāo)對象的識別處理機制，使系統(tǒng)具備能夠選擇性處理關(guān)鍵性信息的能 力，有效避免了Midas Touch問題。梁卓銳(請參考:梁卓銳，徐向民.面向視覺手勢交互的映 射關(guān)系自適應(yīng)調(diào)整[J].華南理工大學(xué)學(xué)報：自然科學(xué)版，2014,42(8):52-57)提出了一種基 于用戶操作特點的映射關(guān)系自適應(yīng)調(diào)整方法，基于Borg's CR-10尺度心理感知實驗測試用 戶手部移動的感知;該方法根據(jù)交互過程中的手部移動情況，在每次連續(xù)交互操作結(jié)束后 對映射方程進(jìn)行調(diào)整，使用戶在自身物理限制的操作范圍內(nèi)完成全屏幕的操作覆蓋，并通 過降低用戶手部移動的幾率來提高用戶體驗。王西穎(請參考:王西穎，張習(xí)文，戴國忠.一 種面向?qū)崟r交互的變形手勢跟蹤方法[J].軟件學(xué)報，2007,18(10): 2423-2433)提出一種新 穎的變形手勢實時跟蹤方法，利用一組2D手勢模型替代高煒度的3D手勢模型，通過對圖像 中手指和指尖定位，將K-means聚類算法與粒子濾波相結(jié)合，實現(xiàn)對變形手勢的快速、準(zhǔn)確 的連續(xù)跟蹤，滿足了實時性的要求。但是該方法對手勢圖像的分割質(zhì)量要求較高，影響了手 勢交互的魯棒性。Wei-Po Lee(請參考Lee W P，Che K，Huang J Y.A smart TV system with body-gesture control,tag-based rating and context-aware recommendation [J] .Knowledge-Based Systems ,2014,56(3): 167-178)利用kinect體感攝影機實現(xiàn)了自然 手勢控制智能電視的交互方式，創(chuàng)建一種基于社交標(biāo)記和用戶所處的情境上下文信息的推 薦系統(tǒng)，為用戶推薦最適合用戶個性化需求的服務(wù)內(nèi)容。這種方法融入了用戶使用智能電 視的情境上下文信息內(nèi)容推薦服務(wù)，在一定程度上減輕了用戶的認(rèn)知和操作負(fù)擔(dān)，但是沒 有考慮用戶本身的體態(tài)行為上下文信息對減輕用戶交互的影響。Vatavu(請參考:Vatavu R D.User-defined gestures for free-hand TV control[C]//Proceedings of the 10th European conference on Interactive tv and video.ACM,2012:45-48)提出的用戶自定 義手勢控制電視的交互系統(tǒng)中，通過研究用戶完成電視基本操作任務(wù)時的用戶手勢動作偏 好，觀察用戶行為，建立用戶手勢和電視功能之間的最佳映射關(guān)系，獲得完成某一電視操作 任務(wù)的最佳手勢操作方式，但用戶依然需要記憶大量的手勢動作實現(xiàn)電視操作，用戶的認(rèn) 知負(fù)擔(dān)較大。田豐（請參考：田豐，鄧昌智，周明駿，等.Post-WIMP界面隱式交互特征研究 [J].計算機科學(xué)與探索，2007(2))提出了 Post-WMP的隱式交互方法，利用識別技術(shù)、上下 文感知技術(shù)、用戶修正技術(shù)來支持P〇st-W頂P的隱式交互;該方法使用戶無需關(guān)注交互任務(wù) 的執(zhí)行方式和過程，只需關(guān)注任務(wù)本身，使人們以更加自然的方式來完成交互任務(wù)。徐光祐 (請參考:徐光祐，陶霖密，史元春，等.普適計算模式下的人機交互[J].計算機學(xué)報，2007， 30(7): 1041-1053)對普適計算環(huán)境下的人機交互進(jìn)行深入分析，提出了以用戶和環(huán)境為主 要影響因素的隱式交互模式。他將物理空間中的人機交互分為基于物理空間接口的人機交 互和基于覺察上下文計算的隱式交互;隱式交互中計算系統(tǒng)利用上下文知識對用戶的操作 進(jìn)行解釋和理解，并把它作為對計算系統(tǒng)的附加輸入，從而完成交互任務(wù)。覺察上下文信息 的提取與感知推理是實現(xiàn)隱式交互的基礎(chǔ)，葉喜勇（請參考:葉喜勇，陶霖密，王國健.基于 動作理解的隱式交互[C]//第七屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議(HHME2011)論文集【oral】 .2011)在老年看護(hù)人機交互應(yīng)用中提出了一種動態(tài)上下文模型及ADL-DBN推理模型，實現(xiàn) 基于動作理解的隱式交互方式;這種交互方式幫助計算機不分散人的注意力情況下理解人 的意圖，完成交互任務(wù)。王國建(請參考:王國建，陶霖密.支持隱式人機交互的分布式視覺 系統(tǒng)[J].中國圖象圖形學(xué)報，2010,15(8): 1133-1138)提出了一種支持隱式人機交互的分 布式視覺系統(tǒng)，并將其應(yīng)用在小型會議場景中。在基于視覺的手勢交互中，由于上下文知識 的模糊性，導(dǎo)致對人體動作的解釋就存在多義性(請參考:徐光祐.人機交互中的體態(tài)語言 理解[M].電子工業(yè)出版社，2014)。傳統(tǒng)的基于規(guī)則的知識表示和推理，不能有效反映交互 上下文信息的模糊性。關(guān)志偉(請參考:關(guān)志偉.面向用戶意圖的智能人機交互[D].中國科 學(xué)院軟件研究所，2000)首次將FCM(請參考：Kosko，Bart .Fuzzy cognitive maps[J] ? International Journal of Man-Machine Studies,1986,24(1) :65_75)應(yīng)用于人機交互 的模糊知識表示和推理，有效地實現(xiàn)了自然人機交互的高層認(rèn)知過程。但由于FCM不能提供 豐富且動態(tài)的推理機制，不能表示交互概念間因果關(guān)系測度的不確定性(請參考:馬楠，楊 炳儒，鮑視，等?模糊認(rèn)知圖研究進(jìn)展[J] ?計算機科學(xué)，2011，38(10): 23-28) Japageorgiou E(請參考：Papageorgiou E,Stylios C,Groumpos P.Fuzzy Cognitive Map Learning Based on Nonlinear Hebbian Rule[M]//AI 2003:Advances in Artificial Intelligence? Springer Berlin Heidelberg,2003:256-268)提出了一種通過大量計算過 程實現(xiàn)推理的動態(tài)模糊認(rèn)知模型，增強了概念節(jié)點的動態(tài)性。
[0004] 綜上所述，目前基于視覺的智能電視手勢交互中主要存在的問題是用戶認(rèn)知負(fù)荷 和操作負(fù)荷較重。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于解決上述現(xiàn)有技術(shù)中存在的難題，提供一種智能化的隱式交互 系統(tǒng)，有效提高智能電視用戶的交互體驗，降低用戶的操作負(fù)荷和認(rèn)知負(fù)荷。
[0006] 本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：
[0007] 一種智能化的隱式交互系統(tǒng)，其特征在于，包括：
[0008] 手勢動作檢測模塊:實時獲取用戶體態(tài)行為信息，檢測用戶位置，并檢測與識別用 戶手勢動作；
[0009] 顯式交互信息獲取模塊:檢測智能電視的功能狀態(tài)信息，獲得低層次的顯式交互 信息；
[0010] 高層次的隱含交互信息獲取模塊:將處理后的用戶體態(tài)行為信息與智能電視實時 的功能狀態(tài)信息相結(jié)合，建立基于用戶行為和智能電視狀態(tài)的多層次動態(tài)上下文推理模 型，獲得高層次的隱含交互信息；
[0011] 隱式交互行為模型建立模塊:將隱含交互信息可視化，識別用戶在可視化隱含信 息指導(dǎo)下完成的手勢動作，建立顯隱信息融合的隱式交互行為模型，完成交互任務(wù)。
[0012] 所述用戶位置是指用戶相對智能電視上攝像頭的水平距離、角度，檢測用戶位置 具體如下：
[0013]通過Kinect獲取人體主要關(guān)節(jié)點的三維坐標(biāo)數(shù)據(jù)，根據(jù)人體頭部節(jié)點和人體重心 坐標(biāo)信息，確定人體相對智能電視的位置。
[0014]所述檢測與識別用戶手勢動作包括用戶手部靜態(tài)行為的識別和用戶手部動態(tài)行 為的識別，具體如下：
[0015] 基于Kinect實現(xiàn)手勢部位的檢測與分割，通過OpenNI SDK獲取人手質(zhì)心坐標(biāo)，在 人手坐標(biāo)領(lǐng)域內(nèi)的三維空間提取出手的部位，再使用膚色模型分割方法對獲取的人手部位 進(jìn)行處理，得到初步的人手圖像，對初步的人手圖像進(jìn)行去噪、膨脹、腐蝕處理，得到最終的 人手圖像；
[0016]采用HCDF-H算法進(jìn)行用戶手部靜態(tài)行為的識別；
[0017]用戶手部動態(tài)行為的識別。
[0018]所述采用HCDF-H算法進(jìn)行用戶手部靜態(tài)行為的識別具體如下:首先標(biāo)準(zhǔn)化手勢圖 像為32*32尺寸，并計算手勢重心點到手勢最遠(yuǎn)點作為主方向向量，沿主方向?qū)⑹謩輬D像分 為8個子區(qū)域，求出子區(qū)域像素點數(shù)量，生成手勢坐標(biāo)點分布特征向量，再使用類-Hausdorff距離與手勢模板庫中每種手勢的對比，得出最終識別結(jié)果。
[0019]所述用戶手部動態(tài)行為的識別包括：
[0020] Step 1.輸入手勢圖像幀，空間人手三維質(zhì)心坐標(biāo)，初始化動態(tài)手勢類型特征向量 DGT；
[0021] Step2.根據(jù)手勢質(zhì)心坐標(biāo)，以每連續(xù)T幀圖像計算一次連續(xù)T幀圖像的靜態(tài)手勢運 動距離d，并以連續(xù)T幀圖像更新一次d;
[0022] Step3 ?若d〈D，開始識別觸發(fā)動態(tài)手勢的靜態(tài)手勢Gesture_start，D為閾值；
[0023] Step4.若Gesture_start識別成功，獲取此時的靜態(tài)手勢質(zhì)心點坐標(biāo)S手勢并轉(zhuǎn)入 Step5；
[0024] Step5.進(jìn)行動態(tài)手勢質(zhì)心軌跡提取，并將軌跡質(zhì)心點三維坐標(biāo)存儲在data數(shù)組 中；
[0025] Step6.再次判斷連續(xù)T幀手勢運動距離d，若d〈D則識別結(jié)束靜態(tài)手勢Gesture end;計算data數(shù)組長度length;
[0026] Step7 ?若Gesture_end識別成功，獲取此時的靜態(tài)手勢質(zhì)心坐標(biāo)E;
[0027] Step8.若length>20,根據(jù)觸發(fā)動態(tài)手勢的靜態(tài)手勢質(zhì)心點S、結(jié)束動態(tài)手勢的靜 態(tài)手勢質(zhì)心點E的坐標(biāo)值，判斷動態(tài)手勢運動方向，否則，再次判斷d，若d>D執(zhí)行step9，否則 返回step8;
[0028] Step9.判斷動態(tài)手勢類型，求出對應(yīng)手勢ID，并修改對應(yīng)動態(tài)手勢ID的key值為1， 表示動態(tài)手勢ID識別成功，輸出動態(tài)手勢類別ID和與ID對應(yīng)的key值；
[0029] SteplO.DGT 恢復(fù)初始化。。
[0030] 所述建立基于用戶行為和智能電視狀態(tài)的多層次動態(tài)上下文推理模型，獲得高層 次的隱含交互信息是這樣實現(xiàn)的：
[0031] 將交互概念節(jié)點分為四類：用戶行為交互概念節(jié)點、設(shè)備環(huán)境上下文狀態(tài)信息交 互概念節(jié)點、交互情景事件節(jié)點、激發(fā)操作語義的交互概念節(jié)點集合；
[0032] 交互概念節(jié)點集合C表示多層次動態(tài)上下文推理模型的節(jié)點集合，C=(U，S，E，A)， 其中U為用戶行為交互概念節(jié)點集合，S為設(shè)備環(huán)境上下文狀態(tài)信息交互概念節(jié)點集合，E為 交互情景事件節(jié)點集合，A為激發(fā)操作語義的交互概念節(jié)點集合；
[0033] 集合U、S是已知狀態(tài)參量，E、A是未知參量;初始狀態(tài)時，根據(jù)當(dāng)前時刻檢測到的初 始狀態(tài)值決定U、S中各個節(jié)點的概念值，若檢測到事件發(fā)生，則與之對應(yīng)的交互概念節(jié)點值 設(shè)置為1，否則為〇;E、A中各個概念節(jié)點值初始化為0;當(dāng)多層次動態(tài)上下文推理模型收斂到 一個穩(wěn)定狀態(tài)時，獲得穩(wěn)定狀態(tài)下各交互概念節(jié)點的值，基于多層次動態(tài)上下文推理模型 的上下文推理計算過程如下式：
[0036] 其中，4W1是交互概念Ci在t+1時刻的狀態(tài)值;^是交互概念Cj在t時刻的值，Wij是Ci 和Cj的權(quán)重，表示相關(guān)節(jié)點間的因果聯(lián)系強度，根據(jù)交互節(jié)點之間邊的權(quán)值得到CDL-DFCM 的鄰接矩陣1，￥={111，112，^111}4表示閾值函數(shù)，其作用是將交互概念的值映射到[0，1] 區(qū)間，將W反復(fù)作用于該矢量，C達(dá)到穩(wěn)定的收斂狀態(tài)，即，
[0037] + A(A〇;+1) ⑴
[0038] (7)式中，M'r1表示W(wǎng)ij第t+1次迭代的權(quán)值，A表示學(xué)習(xí)率因子，A = 〇.l，
[0039] Aq(v+l = A^+l ~ ( g )
[0040] Agr1表示交互概念節(jié)點Cx的值在第t+l次迭代的變化量，4表示節(jié)點Cx在第t次的 迭代值；
[0041 ]交互概念集合C映射到感知空間上的交互意圖集合1，1 = (1^12, ???〗")。對C上任意 交互意圖Ix，其隸屬函數(shù)~((：1)，1 = 1，2，一，11，其中(：1表示交互概念空間(：中的第1個交互概 念節(jié)點，fc(Ci)在區(qū)間[0，1]中取值，y x(Ci)的值反映 Ci隸屬于Ix的隸屬程度，值為0表示Ci不 屬于交互意圖Ix，lx表;^如下：
[0042] (C,.).'C, i=1 x=l，2, n (9)
[0043]在感知空間的交互意圖集合I中，交互意圖之間在時空上存在互斥關(guān)系;根據(jù)公式 (10)計算用戶意圖描述因子Fix:
[0044] F/、=^4",(C,.) i=i i=l, 2, n (. 10)。
[0045] 所述建立顯隱信息融合的隱式交互行為模型，完成交互任務(wù)包括：
[0046] S1.實時檢測智能電視功能狀態(tài)上下文、用戶顯式行為信息；
[0047] S2.獲得動態(tài)上下文數(shù)據(jù)，根據(jù)多層次動態(tài)上下文模型，進(jìn)行數(shù)據(jù)融合與特征提 取，并檢測低層上下文事件的狀態(tài)；
[0048] S3.檢測與識別T時刻動態(tài)手勢的類型，根據(jù)動態(tài)手勢類型識別算法，獲得T時刻用 戶的動態(tài)手勢類型ID和key值；
[0049] S4.初始化交互概念集合C。，根據(jù)低層上下文事件的狀態(tài)，設(shè)置交互概念集合C中 U、S中各交互概念節(jié)點的初始值，檢測到的狀態(tài)事件對應(yīng)的交互概念節(jié)點值置為1，否則為 0;集合E，A中各交互概念節(jié)點初始值設(shè)置為0;
[0050] S5.根據(jù)鄰接矩陣W和公式(5)獲得交互概念集合C在收斂狀態(tài)下的交互概念節(jié)點 值；
[0051 ] S6.根據(jù)公式(9)與（10)計算交互意圖集合中交互意圖Ix(x=l，2,…，n)的交互意 圖描述因子FIX的狀態(tài)值;與意圖描述因子集合FI中對應(yīng)交互意圖的交互因子比較，若FIX = FIe°nvCTgenee，則激活交互意圖Ix對應(yīng)的交互情景事件和交互操作，否則返回S1;
[0052] S7.將T時刻激活的交互情景事件對應(yīng)的功能菜單顯示在智能電視界面最頂層，且 計算機執(zhí)行用戶交互意圖對應(yīng)的交互操作；
[0053] S8.檢測T+1時刻用戶行為，若檢測到用戶手勢動作，根據(jù)DGRA算法獲得T+1時刻的 用戶動態(tài)手勢類型ID和key值，然后執(zhí)行S9;否則，智能電視保持當(dāng)前的功能狀態(tài)，并循環(huán)執(zhí) 行S8;
[0054] S9.計算T+1時刻向量DGDM，計算交互任務(wù)特征向量TI，若TI = TIx，x=l，2,…，6， 則計算機根據(jù)交互任務(wù)TIX完成對應(yīng)的功能操作。
[0055]所述S9中的計算T+1時刻向量DGDM是利用公式（12)計算得到的：
[0056] DGDM= (ID,posture ,key) (12)
[0057] 公式（12)中，ID表示動態(tài)手勢唯一標(biāo)識，posture表示動態(tài)手勢代表的語義，key代 表動態(tài)手勢的識別標(biāo)志。
[0058]所述S9中的計算交互任務(wù)特征向量TI是這樣實現(xiàn)的：
[0059]在T+1時刻，將具有特定語義的交互動作與此刻的系統(tǒng)界面交互信息相結(jié)合，以 顯、隱信息融合的交互映射范式實現(xiàn)用戶的特定交互任務(wù)，特定交互場景下交互任務(wù)TI構(gòu) 成交互任務(wù)集合1'15,5=(1'1 1，1'12，~，1'111)，用公式(11)交互任務(wù)特征向量1'1 [0060] TIi=(DGDM,E,A)i = l,2,---,n (11)
[00611 公式（11)中第一個特征向量DGDM表示動態(tài)手勢行為信息，第二個向量E表示通過 識別出的交互情景事件，第三個向量A表示感知到的用戶操作意圖。
[0062] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：
[0063] (1)本發(fā)明方法依據(jù)用戶的行為特征，建立了基于視覺的智能電視單手勢交互原 型系統(tǒng)；
[0064] (2)提出了多層次上下文模型和⑶L-DFCM推理模型，實現(xiàn)了對交互情景事件的識 別和用戶意圖感知；
[0065] (3)提出了顯隱信息融合的隱式交互行為模型并提出相關(guān)算法，有效提高了智能 電視用戶的交互體驗，降低了用戶的操作負(fù)荷和認(rèn)知負(fù)荷。
【附圖說明】
[0066]圖1手勢動作統(tǒng)計表
[0067]圖2不同類型靜態(tài)手勢圖像
[0068]圖3動態(tài)手勢模型分解圖
[0069] 圖4手勢運動方向
[0070]圖5基于智能電視手勢交互的上下文模型
[0071 ]圖6基于智能電視手勢交互的動態(tài)上下文⑶L-DFCM模型
[0072]圖7初始化權(quán)值矩陣Winitial
[0073]圖8顯隱信息融合的隱式交互行為模型
[0074]圖9操作準(zhǔn)確率比較圖
[0075]圖10各項功能操作對應(yīng)的手勢移動距離
[0076]圖^動態(tài)手勢類型識別率
[0077] 圖12平均操作時間圖。
【具體實施方式】
[0078]下面結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)描述：
[0079] 本發(fā)明從認(rèn)知心理學(xué)角度出發(fā)，通過捕捉用戶交互意圖，結(jié)合隱式交互理論提出 了一種基于DFCM的多層次動態(tài)上下文推理模型和顯隱信息融合的隱式交互行為模型。首 先，實時獲取用戶體態(tài)行為信息，檢測用戶位置，并檢測與識別用戶手勢動作；同時檢測智 能電視功能狀態(tài)，獲得低層次的顯式交互信息。其次，將處理后的用戶體態(tài)行為信息與智能 電視實時的功能狀態(tài)信息相結(jié)合，建立動態(tài)上下文模型;使用基于數(shù)據(jù)的權(quán)值迭代學(xué)習(xí)的 微分Hebbian動態(tài)模糊認(rèn)知圖DFCM(請參考:張燕麗.基于模糊認(rèn)知圖的動態(tài)系統(tǒng)的建模與 控制[D].大連理工大學(xué)，2012)的多層次動態(tài)上下文推理模型獲得高層次的隱含交互信息。 最后將隱含交互信息可視化，識別用戶在可視化隱含信息指導(dǎo)下完成的手勢動作，利用顯 隱信息融合的隱式交互行為模型，完成交互任務(wù)。。
[0080]智能電視人機交互中，手勢動作作為一種非精確交互輸入，用戶交互目的的實現(xiàn) 完全依賴于手勢動作的模式識別率。這增加了用戶操作和認(rèn)知負(fù)荷。這種情況下，動態(tài)上下 文對用戶手勢動作的理解起著重要作用。本發(fā)明通過對基于視覺的智能電視手勢交互場景 分析，首先建立了基于用戶行為和智能電視狀態(tài)的多層次上下文模型，實現(xiàn)上下文的數(shù)據(jù) 融合與特征提取;其次，設(shè)計并實現(xiàn)了動態(tài)上下文CDL-DFCM推理模型和顯隱信息融合的隱 式交互模型，識別交互情景事件并感知用戶意圖；最后，提出了上下文顯隱信息融合的隱式 交互算法。實驗結(jié)果表明，與現(xiàn)有相關(guān)算法比較，本發(fā)明在操作準(zhǔn)確率、時間開銷和手勢移 動距離等方面得到了明顯改善，并有效提升了用戶體驗。
[0081 ]智能電視交互系統(tǒng)中，用戶根據(jù)操作任務(wù)來完成相應(yīng)的交互操作。因此，用戶的交 互需求是建立基于視覺的智能電視手勢交互系統(tǒng)原型的基礎(chǔ)。本發(fā)明按照先對基于視覺的 遠(yuǎn)距離手勢交互中的用戶日常習(xí)慣性動作進(jìn)行統(tǒng)計分析，再通過分析其中的認(rèn)知信息，建 立用戶行為模型和原型系統(tǒng)的思路設(shè)計了以下實驗。
[0082]實驗 1
[0083]首先，在安裝有智能電視的實驗室中，模擬用戶收看電視場景；建立一個基于 Kinect的智能電視遠(yuǎn)程單手勢交互模型，但該模型并不能實現(xiàn)與用戶的真正交互操作，操 作有效距離為1-3.5米。其次，邀請不同專業(yè)的50名在校大學(xué)生參與本次實驗，每位實驗參 與者具有操作智能電視或智能手機的操作經(jīng)驗，記錄每名實驗人員根據(jù)電視功能布局和本 能反應(yīng)做出的最自然、最輕松手勢動作，并使用單手操作。最后，統(tǒng)計用戶的習(xí)慣性動作，進(jìn) 行認(rèn)知行為分析，對每種電視功能操作使用最多的習(xí)慣性動作建立行為模型。實驗1提供基 于視覺的手勢交互中最受歡迎的10類手勢動作(請參考:劉雪君.面向互動電視的手勢交互 系統(tǒng)研究與實現(xiàn)[D].復(fù)旦大學(xué)，2013)和智能電視功能界面供實驗參與者參考。統(tǒng)計結(jié)果表 明在不考慮用戶操作目的的情況下，得到次數(shù)高于50%的4種手勢動作，如圖1所示。
[0084] 實驗 2
[0085] 在實驗1的基礎(chǔ)上，本發(fā)明設(shè)計了實驗2。首先，設(shè)計了關(guān)于基于視覺的智能電視手 勢交互操作的網(wǎng)絡(luò)調(diào)查問卷。其次，根據(jù)調(diào)查問卷的數(shù)據(jù)分析結(jié)果，開發(fā)了基于視覺的智能 電視手勢交互原型系統(tǒng)。本次問卷共回收157份，年齡在15-25歲之間的占總問卷人數(shù)的 75. 16%，25-60歲占24.85 %。性別比例基本均等，對實驗不會產(chǎn)生影響。調(diào)查人員中 81.53%的人沒有使用過基于視覺的手勢交互智能電視。在手勢交互智能電視操作目的的 調(diào)查中，52.87%的人認(rèn)為主要完成頻道、音量、電視關(guān)閉操作，45.86%的人只用來玩手勢 交互游戲。56.45%的人對遙控器調(diào)節(jié)音量、頻道的方式感到不滿意。
[0086] 基于實驗1和實驗2,本發(fā)明設(shè)計了基于視覺的智能電視單手勢交互原型系統(tǒng)， IHCI-smartTVJHCI-smartTV包括智能電視頻道調(diào)節(jié)、音量調(diào)節(jié)、主頁功能切換、手勢操作 開關(guān)、基于手勢控制的游戲五個功能模塊，設(shè)計表1中的8種手勢動作完成與智能電視的交 互任務(wù)。本發(fā)明主要對IHCI-smartTV中頻道調(diào)節(jié)、音量調(diào)節(jié)、手勢操作開關(guān)功能的手勢交互 進(jìn)行研究。手勢操作開關(guān)功能是指手勢操作開關(guān)打開后能利用手勢動作控制智能電視進(jìn)行 除手勢操作開關(guān)以外的其它操作，目的是避免基于視覺的手勢交互中存在的midas touch 問題。
[0087]
[0088] 表 1
[0089]隱式交互行為模型：
[0090]人體顯式行為上下文信息的檢測與識別：
[0091]用戶顯式行為信息是指與智能電視交互的唯一用戶的人體行為信息，包括用戶位 置檢測、用戶手部靜態(tài)與動態(tài)行為的檢測與識別。用戶位置檢測是指用戶相對智能電視上 攝像頭的水平距離、角度?；谝曈X的手勢檢測與識別可分為以下兩種:一種是由連續(xù)手部 動作組成的動態(tài)手勢(gesture)，如手的揮動;二是靜態(tài)的手部姿態(tài)(posture)。本發(fā)明中手 勢動作上下文是指手部動作的運動與幾何信息，如手部的靜態(tài)姿勢、運動速度、運動軌跡信 息等。
[0092] 人體動作行為的研究需要能夠準(zhǔn)確及時的采集人體動、靜狀態(tài)下數(shù)據(jù)信息，為此 本發(fā)明搭建基于Kinect的實驗平臺，并配置OpenNI SDK。通過Kinect可以獲取人體15個主 要關(guān)節(jié)點的三維坐標(biāo)數(shù)據(jù)，根據(jù)人體頭部節(jié)點和人體重心坐標(biāo)信息，可以確定人體相對智 能電視的位置?；贙inect實現(xiàn)手勢部位的檢測與分割，是通過OpenNI SDK獲取人手質(zhì)心 坐標(biāo)，在人手坐標(biāo)領(lǐng)域內(nèi)的三維空間提取出手的部位，再使用膚色模型分割方法對獲取的 人手部位進(jìn)行處理，得到初步的人手圖像，對初步的人手圖像進(jìn)行去噪、膨脹、腐蝕處理，可 得最終比較理想的人手圖像。
[0093] 考慮到動態(tài)手勢與靜態(tài)手勢在實際應(yīng)用中結(jié)合使用的情況，以及基于視覺的手勢 交互中存在的midas touch問題，本發(fā)明將靜態(tài)手勢的識別與動態(tài)手勢的檢測與識別相結(jié) 合，建立基于靜態(tài)手勢姿態(tài)識別與動作手勢運動檢測的動態(tài)手勢類型識別模型（dynamic gesture detect model, DGDM)。該模型的形式化描述：DGDM =〈ID，posture，Gesture_ start，Gesture_end，orientation，key，data，length〉。ID是動態(tài)手勢的唯一標(biāo)識符； posture標(biāo)識手勢動作的顯式語義信息，如："握拳、揮手"；Gesture_start為觸發(fā)動態(tài)手勢 的預(yù)定義靜態(tài)手勢;Gesture_end為結(jié)束動態(tài)手勢的預(yù)定義靜態(tài)手勢;orientation描述手 勢在三維空間中的相對運動方向；d為標(biāo)志位，當(dāng)被檢測到時，置為1，否則為0;data為存儲 歸一化手勢質(zhì)心運動軌跡坐標(biāo)的浮點型數(shù)組。length表示動態(tài)手勢的從開始到結(jié)束的圖像 幀數(shù)，用來描述動態(tài)手勢的持續(xù)時間。在有意識操作狀態(tài)下，用戶動態(tài)手勢持續(xù)時間存在一 定的規(guī)律性，可通過統(tǒng)計學(xué)實驗獲得。
[0094]靜態(tài)手勢姿態(tài)采用HCDF-H算法(請參考:楊學(xué)文，馮志全，黃忠柱，何娜娜.結(jié)合手 勢主方向和類-Hausdorff距離的手勢識別[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2016,01: 75-81)進(jìn)行識別。首先標(biāo)準(zhǔn)化手勢圖像為32*32尺寸，并計算手勢重心點到手勢最遠(yuǎn)點作為 主方向向量，沿主方向?qū)⑹謩輬D像分為8個子區(qū)域，求出子區(qū)域像素點數(shù)量，生成手勢坐標(biāo) 點分布特征向量，再使用類-Hausdorff距離與手勢模板庫中每種手勢的對比，得出最終識 別結(jié)果。該方法能夠避免手勢旋轉(zhuǎn)、平移、縮放的影響，具有較高的效率和識別準(zhǔn)確率。在基 于視覺的智能電視手勢交互中，將電視交互系統(tǒng)中的有效靜態(tài)手勢分為三種類型，五指打 開為1、握拳為2、食指和中指打開為3,如圖2所示?；陟o態(tài)手勢的動態(tài)手勢分解圖3所示。 [0095]在智能電視手勢交互實驗中，發(fā)現(xiàn)每個動態(tài)手勢開始前用戶都會有意識的調(diào)整靜 態(tài)手勢。在調(diào)整靜態(tài)手勢的時間段內(nèi)（調(diào)整靜態(tài)手勢的時間段是指用戶從隨機靜態(tài)手勢調(diào) 整到具有具體語義的理想靜態(tài)手勢的時間差），靜態(tài)手勢的質(zhì)心位移保持相對靜止。實驗對 50名用戶的動態(tài)手勢運動進(jìn)行分析，統(tǒng)計用戶做不同類型動態(tài)手勢時在調(diào)整靜態(tài)手勢時間 段內(nèi)靜態(tài)手勢每兩幀手勢質(zhì)心的移動距離。以每連續(xù)T幀手勢圖像作為一個靜態(tài)調(diào)整時間 段，連續(xù)T幀內(nèi)靜態(tài)手勢運動距離滿足條件閾值D。以D和T作為狀態(tài)轉(zhuǎn)移條件，若連續(xù)T幀內(nèi) 手勢移動距離d〈D，則進(jìn)入靜態(tài)手勢識別階段。運動方向（orientation)是區(qū)分不同動態(tài)手 勢的關(guān)鍵信息，如果將觸發(fā)動態(tài)手勢的靜態(tài)手勢質(zhì)心點S為坐標(biāo)原點建立坐標(biāo)系，其與結(jié)束 動態(tài)手勢的靜態(tài)手勢質(zhì)心點E方向判斷關(guān)系如圖4所示。
[0096] Orientation可用公式（1)中Ori描述;首先，在X0Y面上根據(jù)S和E計算向量涵_與父軸 夾角的正切值，根據(jù)正切值的絕對值判斷出手勢上下方向運動還是左右方向運動；上下方 向根據(jù)兩坐標(biāo)點Y軸坐標(biāo)差值的正負(fù)判斷具體方向，左右方向根據(jù)兩坐標(biāo)點X軸坐標(biāo)差值判 斷具體方向。Z軸方向，手勢水平位移閾值絕對值為 Zq。其計算公式為：
⑴
[0100] 根據(jù)DGDM，我們可以判斷出動態(tài)手勢類型（dynamic gesture type，DGT)，并用特 征向量DGT描述一種動態(tài)手勢，不同的動態(tài)手勢可根據(jù)不同的語義、開始手勢、結(jié)束手勢、方 向以及持續(xù)時間來描述。
[0101] DGT=(ID,posture,Gesture_start,Gesture_end,orientation,length) (4) [0102] 根據(jù)以上信息，動態(tài)手勢類型識別的算法（Dynamic gesture recognition algorithm，DGRA)步驟如下：
[0103]輸入:手勢圖像幀，空間人手三維質(zhì)心坐標(biāo)。
[0104]輸出：動態(tài)手勢類別ID和與ID對應(yīng)的key值。
[0105] Stepl.初始化 DGT;
[0106] Step2.根據(jù)手勢質(zhì)心坐標(biāo)，以每連續(xù)T幀圖像計算一次連續(xù)T幀圖像的靜態(tài)手勢運 動距離d，并以連續(xù)T幀圖像更新一次d。
[01 07] Step3 ?若d〈D，開始識別觸發(fā)動態(tài)手勢的靜態(tài)手勢Gesture_start。
[0108] Step4.若Gesture_start識別成功，獲取此時的靜態(tài)手勢質(zhì)心點坐標(biāo)S手勢并轉(zhuǎn)入 Step5〇
[0109] Step5.進(jìn)行動態(tài)手勢質(zhì)心軌跡提取，并將軌跡質(zhì)心點三維坐標(biāo)存儲在data數(shù)組 中。
[0110] Step6.再次判斷連續(xù)T幀手勢運動距離d，若d〈D則識別結(jié)束靜態(tài)手勢Gesture_ end;計算data數(shù)組長度length。
[0111 ] Step7 ?若Gesture_end識別成功，獲取此時的靜態(tài)手勢質(zhì)心坐標(biāo)E。
[0112] Step8.若length>20，根據(jù)S、E坐標(biāo)值，帶入公式（1)判斷動態(tài)手勢運動方向。否則， 再次判斷d，若d>D執(zhí)行step9,否則返回step8。
[0113] Step9.根據(jù)公式(4)判斷動態(tài)手勢類型，求出對應(yīng)手勢ID，并修改對應(yīng)動態(tài)手勢ID 的key值為1，表示動態(tài)手勢ID識別成功。
[0114] SteplO.DGT 恢復(fù)初始化。
[0115] 基于⑶L-DFCM模型的高層隱含信息感知與推理：
[0116]在人機交互系統(tǒng)中，用戶交互行為的隱含信息往往隱藏在交互場景的上下文中。 智能電視交互系統(tǒng)中主要考慮三種形式的上下文信息，分別是智能電視狀態(tài)上下文，人與 智能電視關(guān)聯(lián)的上下文及與用戶行為相關(guān)的上下文。
[0117] (1)與智能電視狀態(tài)有關(guān)的上下文，可根據(jù)上下文層次關(guān)系分為低層設(shè)備功能狀 態(tài)，"如：電視節(jié)目播放狀態(tài)、主頁切換功能狀態(tài)、待機狀態(tài)"和通過推理獲得的高層交互情 景事件與用戶意圖，如："電視正處在手勢功能激活狀態(tài)"，"電視正處在頻道調(diào)節(jié)狀態(tài)"、"電 視正處在音量調(diào)節(jié)狀態(tài)"。這類信息關(guān)系到對人體的理解，是解決用戶行為多義性的重要依 據(jù)。
[0118] (2)與用戶有關(guān)的上下文包括人體重心的相對位置與手部動作行為信息。
[0119] (3)用戶與智能電視的關(guān)聯(lián)上下文，被定義為用戶位置事件，與智能電視的開關(guān)狀 態(tài)關(guān)聯(lián)，如：電視工作狀態(tài)下，"用戶在電視有效操作范圍內(nèi)"。這類信息是聯(lián)系用戶行為上 下文與設(shè)備狀態(tài)上下文的紐帶。
[0120]對基于視覺的智能電視手勢交互場景上下文，建立多層次上下文模型。如圖5所 不。
[0121]在隱式交互理論中，上下文是系統(tǒng)底層數(shù)據(jù)與高層用戶意圖理解的語義鴻溝。為 了識別交互情景事件與主動理解用戶的動作，本發(fā)明對用戶行為和智能電視狀態(tài)進(jìn)行分 析，根據(jù)上下文模型提出了一種基于DFCM的多層次動態(tài)上下文推理模型（⑶L-DFCM)。⑶L-DFCM能夠?qū)崿F(xiàn)對用戶操作意圖的感知，并以在線檢測方式實時對上下文數(shù)據(jù)進(jìn)行處理。在 CDL-DFCM模型中，交互概念節(jié)點分為四類:智能電視狀態(tài)交互概念節(jié)點，描述與智能電視功 能狀態(tài)有關(guān)的上下文；用戶行為交互概念節(jié)點，描述用戶手勢交互動作；交互情景概念節(jié) 點，描述具體交互任務(wù)的交互情景事件;操作語義的概念節(jié)點，描述用戶的操作意圖，與交 互情景事件相關(guān)聯(lián)。
[0122] 針對基于視覺的智能電視手勢交互系統(tǒng)的基本操作需求，本發(fā)明對IHCI-smartTV 原型系統(tǒng)中頻道調(diào)節(jié)、音量調(diào)節(jié)、手勢操作開關(guān)功能的手勢交互進(jìn)行分析研究，具體包括音 量增大、減小操作，頻道上一個、下一個調(diào)節(jié)操作，手勢操作開關(guān)功能。設(shè)置手勢操作開關(guān)功 能的目的是實現(xiàn)與其他交互通道的平滑融合，防止產(chǎn)生相互干擾。交互概念節(jié)點集合C表示 ⑶L-DFCM的節(jié)點集合，0=(1]，33，)。其中1]為用戶行為交互概念節(jié)點集合，3為設(shè)備環(huán)境上 下文狀態(tài)信息交互概念節(jié)點集合，E為交互情景事件節(jié)點集合，A為激發(fā)操作語義的交互概 念節(jié)點集合。
[0123] 在本發(fā)明研究的IHCI-smartTV人機交互系統(tǒng)中，概念節(jié)點列表如下：
[0124] (1)交互概念節(jié)點列表：
[0125] {
[0126] //用戶動作行為交互概念節(jié)點集合U
[0127] 1、向前推手（wave forward-U1)；
[0128] 2、向上揮手（wave up-U2)；
[0129] 3、向下?lián)]手（wave down-U3)；
[0130] 4、向左揮手（wave to the left-U4)；
[0131] 5、向右揮手（wave to the right-U5)；
[0132] 6、握拳(Fist-U6);
[0133] 7、用戶位置(U7)
[0134] //智能電視狀態(tài)信息交互概念節(jié)點集合S
[0135] 1、智能電視節(jié)目播放狀態(tài)（the playing state of smart TV-SI);
[0136] 2、手勢操作功能狀態(tài)（the opening state of body gesture operating function-S2)；
[0137] //交互情景事件節(jié)點E
[0138] 1、頻道功能操作交互(El);
[0139] 2、音量功能操作交互(E2);
[0140] 3、手勢控制操作交互(E3);
[0141] //激發(fā)操作語義的交互概念節(jié)點集合A
[0142] 1、彈出頻道操作菜單界面，并持續(xù)進(jìn)行調(diào)到上一個頻道的操作(A1);
[0143] 2、彈出頻道操作菜單界面，并持續(xù)進(jìn)行調(diào)到下一個頻道的操作(A2);
[0144] 3、彈出音量操作菜單界面，并在原音量值基礎(chǔ)上按一定幅度持續(xù)減小音量，直至 收到音量減小結(jié)束命令或靜音狀態(tài)(A3);
[0145] 4、彈出音量操作菜單界面，并在原音量值基礎(chǔ)上按一定幅度持續(xù)增大音量，直至 收到音量增大結(jié)束命令或最大音量狀態(tài)(A4);
[0146] 5、打開手勢操作功能(A5);
[0147] 6、關(guān)閉手勢操作功能(A6);
[0148] }
[0149] (2)交互概念節(jié)點關(guān)聯(lián)關(guān)系列表：
[0150] {
[0151 ] S1-U1:電視節(jié)目播放狀態(tài)下，用戶執(zhí)行U1動作的可能性增加
[0152] S1-U2:電視節(jié)目播放狀態(tài)下，用戶執(zhí)行U2動作的可能性增加
[0153] S1-U3:電視節(jié)目播放狀態(tài)下，用戶執(zhí)行U3動作的可能性增加
[0154] S1-U4:電視節(jié)目播放狀態(tài)下，用戶執(zhí)行U4動作的可能性增加
[0155] S1-U5:電視節(jié)目播放狀態(tài)下，用戶執(zhí)行U5動作的可能性增加
[0156] S1-U6:電視節(jié)目播放狀態(tài)下，用戶執(zhí)行U6動作的可能性增加
[0157] S2-U1:手勢操作功能打開狀態(tài)下，用戶執(zhí)行U1動作的可能性增加
[0158] S2-U2:手勢操作功能打開狀態(tài)下，用戶執(zhí)行U2動作的可能性增加
[0159] S2-U3:手勢操作功能打開狀態(tài)下，用戶執(zhí)行U3動作的可能性增加
[0160] S2-U4:手勢操作功能打開狀態(tài)下，用戶執(zhí)行U4動作的可能性增加
[0161] S2-U5:手勢操作功能打開狀態(tài)下，用戶執(zhí)行U5動作的可能性增加
[0162] S2-U6:手勢操作功能打開狀態(tài)下，用戶執(zhí)行U6動作的可能性增加
[0163] U1-E3:水平向前推手導(dǎo)致彈出手勢交互開關(guān)交互菜單的可能性增加
[0164] U6-E3:握拳動作導(dǎo)致彈出手勢交互開關(guān)交互菜單的可能性增加
[0165] U2-E1:向上揮手導(dǎo)致彈出頻道菜單的可能性增加
[0166] U3-E1:向下?lián)]手導(dǎo)致彈出頻道菜單的可能性增加
[0167] U4-E2:向左揮手導(dǎo)致彈出音量菜單的可能性增加
[0168] U5-E2:向右揮手導(dǎo)致彈出音量菜單的可能性增加
[0169] U7-U1:用戶進(jìn)入手勢有效操作區(qū)域后，執(zhí)行U1的可能性增加 [0170] U7-U2:用戶進(jìn)入手勢有效操作區(qū)域后，執(zhí)行U2的可能性增加
[0171] U7-U3:用戶進(jìn)入手勢有效操作區(qū)域后，執(zhí)行U3的可能性增加
[0172] U7-U4:用戶進(jìn)入手勢有效操作區(qū)域后，執(zhí)行U4的可能性增加
[0173] U7-U5:用戶進(jìn)入手勢有效操作區(qū)域后，執(zhí)行U5的可能性增加
[0174] U7-U6:用戶進(jìn)入手勢有效操作區(qū)域后，執(zhí)行U6的可能性增加
[0175] E1-A1:頻道操作功能激活后，持續(xù)調(diào)節(jié)至上一個頻道的可能性增加
[0176] E1-A2:頻道操作功能激活后，持續(xù)調(diào)節(jié)至下一個頻道的可能性增加
[0177] E2-A3:音量操作功能激活后，持續(xù)調(diào)節(jié)音量減小的可能性增加
[0178] E2-A4:音量操作功能激活后，持續(xù)調(diào)節(jié)音量增大的可能性增加
[0179] E3-A5:彈出手勢操作開關(guān)菜單后，關(guān)閉手勢操作功能的可能性增加
[0180] E3-A6:彈出手勢操作開關(guān)菜單后，打開手勢操作功能的可能性增加
[0181 ] A5-S2:手勢動作打開導(dǎo)致手勢操作開關(guān)狀態(tài)改變
[0182] }
[0183] 根據(jù)上述分析，建立⑶L-DFCM模型，如圖6所示。
[0184] 在⑶L-DFCM模型中，集合U、S是已知狀態(tài)參量，E、A是未知參量。初始狀態(tài)時，根據(jù) 當(dāng)前時刻檢測到的初始狀態(tài)值決定u、s中各個節(jié)點的概念值，若檢測到事件發(fā)生，則與之對 應(yīng)的交互概念節(jié)點值設(shè)置為1，否則為0 ;E、A中各個概念節(jié)點值初始化為0。當(dāng)CDL-DFCM收斂 到一個穩(wěn)定狀態(tài)時，可獲得穩(wěn)定狀態(tài)下各交互概念節(jié)點的值?；贑DL-DFCM的上下文推理 計算過程如(5)式：
[0187] 其中，4+1是交互概念Ci在t+1時刻的狀態(tài)值; < 是交互概念Cj在t時刻的值。通過因 果分析與專家經(jīng)驗分析智能電視手勢交互中交互概念節(jié)點之間的關(guān)聯(lián)關(guān)系，11」是(： 1和Cj的 權(quán)重，表示相關(guān)節(jié)點間的因果聯(lián)系強度，根據(jù)交互節(jié)點之間邊的權(quán)值可得到CDL-DFCM的鄰 接矩陣W，W= {Wn，W12，…Wnn}，圖7為根據(jù)因果分析與專家經(jīng)驗獲得的初始鄰接矩陣Winitia1。 f表示閾值函數(shù)，其作用是將交互概念的值映射到[0，1]區(qū)間。將W反復(fù)作用于該矢量，C達(dá)到 穩(wěn)定的收斂狀態(tài)，即6
[0188] = Wij + i(A^+1 A^^+1) (7)
[0189] (7)式中，< 表示W(wǎng)ij第t+1次迭代的權(quán)值，A表示學(xué)習(xí)率因子，A = 〇.l。
[0190] Aq1；1 ^ - 4 (8)
[0191] Agf表示交互概念節(jié)點Cx的值在第t+l次迭代的變化量，4表示節(jié)點CX在第t次的 迭代值。
[0192] 交互概念集合C映射到感知空間上的交互意圖集合1，1 = (1^12, ???〗")。對C上任意 交互意圖Ix，其隸屬函數(shù)~((：1)，1 = 1，2，一，11，其中(：1表示交互概念空間(：中的第1個交互概 念節(jié)點。yx(Ci)在區(qū)間[0，1]中取值，y x(Ci)的值反映 Ci隸屬于Ix的隸屬程度，值為0表示Ci不 屬于交互意圖IxcJx表;^如下：
[0193] 1=1 x=l, 2, *?*, n (9)
[0194] 在感知空間的交互意圖集合I中，交互意圖之間在時空上存在互斥關(guān)系，即每一時 刻只可能存在一種可能性最大的交互意圖發(fā)生。根據(jù)公式(9)中各節(jié)點的隸屬程度與收斂 狀態(tài)下交互概念節(jié)點狀態(tài)值，計算用戶意圖描述因子，根據(jù)公式（10)計算用戶意圖描述因 子 FIX:
[0195] =Y^Ai^ACi) iH"，n (10)
[0196] 顯隱信息融合的隱式交互行為模型：
[0197] 在交互式智能電視交互系統(tǒng)中，電視屏幕是用戶的直接關(guān)注對象，傳統(tǒng)的顯式交 互方式中用戶根據(jù)電視界面信息、狀態(tài)按照既定的交互規(guī)則發(fā)出操作命令，用戶操作命令 與電視操作之間存在亦步亦趨的關(guān)系，這導(dǎo)致用戶的操作負(fù)擔(dān)很重，達(dá)到理想操作效果的 平均時間較長。由于用戶需要記住的操作動作較多，這也加重了用戶認(rèn)知負(fù)荷。本發(fā)明提出 在顯式交互模式基礎(chǔ)上融合隱式交互模式的顯隱信息融合隱式交互行為模型(EI-IBM)，如 圖8所示。以IHCI-smartTV原型系統(tǒng)構(gòu)建的顯隱信息融合的隱式交互行為模型中，用戶與智 能電視系統(tǒng)是交互主體。隱式交互是一種不可見的交互，這種不可見性是交互雙方的一種 間接連接關(guān)系，交互信息具有不確定性和模糊性。當(dāng)用戶透明地使用智能電視時，用戶精力 更多集中在交互任務(wù)本身。隱式交互模式通過對多種上下文信息融合、分析，消除多種上下 文信息之間的歧義，實現(xiàn)對用戶意圖的理解，并以主動反饋方式向用戶提供交互服務(wù)。
[0198] 顯隱信息融合的隱式交互模型是對智能電視交互的一種模式創(chuàng)新，改變了以往單 純依靠用戶直接命令的顯式交互模式。該模式的實現(xiàn)包括以下過程：
[0199] (1)基于低層上下文的感知與推理。依據(jù)T時刻用戶行為上下文、智能電視狀態(tài)上 下文以及二者的關(guān)聯(lián)上下文，通過⑶L-DFCM模型，獲得T時刻上下文的隱含交互信息。
[0200] (2)識別交互情景事件與捕捉用戶意圖，并將隱含交互信息可視化。首先，根據(jù)上 下文線索識別出T時刻的交互情景事件，感知用戶在T時刻的交互意圖；然后，智能電視以隱 式輸出的方式主動提供與T時刻用戶意圖相關(guān)的系統(tǒng)交互服務(wù)。系統(tǒng)交互服務(wù)包括與用戶 意圖相關(guān)的提示信息和智能電視主動調(diào)整用戶當(dāng)前的功能狀態(tài)，并以圖形、動畫、文字、顏 色等形式實現(xiàn)隱含信息的可視化，在此過程中無需用戶的主動干預(yù)。例如："主動彈出音量 調(diào)節(jié)菜單"、"主動彈出頻道調(diào)節(jié)菜單"、"節(jié)目音量以一定幅度持續(xù)增大狀態(tài)"。
[0201] (3)可視化隱含信息指導(dǎo)下的主動顯式交互輸入。在可視化隱含信息的引導(dǎo)下，用 戶根據(jù)T+1時刻的系統(tǒng)服務(wù)界面信息，以具有特定語義的交互動作主動向電視系統(tǒng)發(fā)出交 互命令。
[0202] (4)交互任務(wù)的實現(xiàn)。在T+1時刻，將具有特定語義的交互動作與此刻的系統(tǒng)界面 交互信息相結(jié)合，以顯、隱信息融合的交互映射范式實現(xiàn)用戶的特定交互任務(wù)。特定交互場 景下交互任務(wù)(task of interaction，TI)構(gòu)成交互任務(wù)集合TIS，S = (TIi，Tl2,…，TIn)。將 目標(biāo)交互任務(wù)用一個特征向量TI描述。
[0203] TIi=(DGDM，E，A)i = l，2，."，n (11)
[0204] (11)公式中第一個特征向量DGDM表示動態(tài)手勢行為信息，第二個向量E表示通過 識別出的交互情景事件，第三個向量A表示感知到的用戶操作意圖。
[0205] DGDM= (ID,posture ,key) (12)
[0206] (12)式中，ID表示動態(tài)手勢唯一標(biāo)識，posture表示動態(tài)手勢代表的語義，key代表 動態(tài)手勢的識別標(biāo)志。
[0207] 本發(fā)明研究中，IHCI-smartTV系統(tǒng)存在6種用戶交互意圖，使用公式(9)、（10)可計 算出在CDL-DFCM模型收斂狀態(tài)下用戶意圖描述因子Fr°nvel:genee的值，如表2所示，CDL-DFCM 模型收斂狀態(tài)下用戶意圖各節(jié)點狀態(tài)值如表3所示。
[0212]表3
[0213]基于智能電視手勢交互上下文的顯隱信息融合隱式交互算法：
[0214]從用戶自身和智能電視出發(fā)，本發(fā)明通過對交互上下文的分析，利用⑶L-DFCM模 型獲得了隱含的交互線索，并且通過顯隱信息融合的隱式交互行為模型實現(xiàn)了用戶與智能 電視的智能、和諧、自然的交互。在此基礎(chǔ)上，本發(fā)明提出了基于智能電視手勢交互的動態(tài) 上下文顯隱信息融合的隱式交互算法(Explicit and Implicit Interaction algorithm, EIIA)〇
[0215]算法核心思路是:首先，根據(jù)用戶行為信息模型獲取用戶相關(guān)行為信息，根據(jù)行為 特征向量識別用戶顯式行為信息；同時檢測智能電視功能狀態(tài)，完成低層上下文信息的提 取。然后，根據(jù)CDL-DFCM模型處理低層動態(tài)上下文，獲取高層隱含交互信息實現(xiàn)交互情景事 件的識別與感知用戶操作意圖，并將隱含交互信息可視化。最后，用戶根據(jù)可視化隱含信息 的引導(dǎo)做出合理的顯式交互動作，完成具體交互任務(wù)。顯隱信息融合的隱式交互算法描述 如下：
[0216] Stepl.實時檢測智能電視功能狀態(tài)上下文、用戶顯式行為信息。
[0217] Step2.獲得動態(tài)上下文數(shù)據(jù)，根據(jù)多層次動態(tài)上下文模型，進(jìn)行數(shù)據(jù)融合與特征 提取，并檢測低層上下文事件的狀態(tài)。
[0218] Step3.檢測與識別T時刻動態(tài)手勢的類型，根據(jù)動態(tài)手勢類型識別(DGRA)算法，獲 得T時刻用戶的動態(tài)手勢類型ID和key值。
[0219] Step4.初始化交互概念集合C。根據(jù)低層上下文事件的狀態(tài)，設(shè)置交互概念集合C 中U、S中各交互概念節(jié)點的初始值，檢測到的狀態(tài)事件對應(yīng)的交互概念節(jié)點值置為1，否則 為0;集合E，A中各交互概念節(jié)點初始值設(shè)置為0。
[0220] Step5.根據(jù)鄰接矩陣W和公式(5)獲得交互概念集合C在收斂狀態(tài)（即4=0下的 交互概念節(jié)點值。
[0221] Step6.根據(jù)公式(9)與（10)計算交互意圖集合中交互意圖Ix(x=l，2，-_，n)的交 互意圖描述因子FIX的狀態(tài)值;與意圖描述因子集合FI中對應(yīng)交互意圖的交互因子比較，若 FIx = FI_胃gen，如表2)則激活交互意圖〗、對應(yīng)的交互情景事件和交互操作，否則返回 stepl〇
[0222] Step7.隱含信息的可視化。將T時刻激活的交互情景事件對應(yīng)的功能菜單顯式在 智能電視界面最頂層，且計算機執(zhí)行用戶交互意圖對應(yīng)的交互操作。
[0223] Step8.檢測T+1時刻用戶行為，若檢測到用戶手勢動作，根據(jù)DGRA算法獲得T+1時 刻的用戶動態(tài)手勢類型ID和key值，執(zhí)行step9;否則，智能電視保持當(dāng)前的功能狀態(tài)，并循 環(huán)執(zhí)行step8。
[0224] Step9.根據(jù)公式（12)計算T+1時刻向量DGDM，結(jié)合公式（11)計算交互任務(wù)特征向 量TI，若TI = TIx(x= 1，2，…，6)(如表2)，則計算機根據(jù)交互任務(wù)TIX完成對應(yīng)的功能操作。
[0225] 實驗結(jié)果與分析：
[0226] 本發(fā)明以ICHI-smartTV為實驗平臺，設(shè)計了新的智能電視交互模式。本發(fā)明選擇 智能電視人機交互中的頻道、音量、手勢操作開關(guān)三類功能進(jìn)行實驗，具體操作包括:頻道 上一個、頻道下一個、音量增大、音量減小、手勢操作打開、手勢操作關(guān)閉。本發(fā)明將未考慮 上下文的動態(tài)手勢識別方法(HCDF-H應(yīng)用在ICHI-smartTV原型系統(tǒng)中作為對比實驗。
[0227] 實驗結(jié)果如下：
[0228] 本發(fā)明選擇10位實驗人員，每位實驗人員根據(jù)表1的手勢-任務(wù)映射模型完成頻 道、音量、手勢操作開關(guān)三類功能。實驗要求實驗人員站立并位于智能電視前2.5米處以單 手完成手勢動作。操作過程以音量調(diào)節(jié)為例，當(dāng)用戶想要增大音量，發(fā)出音量增大的相關(guān)手 勢動作，智能電視感知用戶意圖后彈出音量菜單，接著便以一定的幅度持續(xù)增大音量，當(dāng)用 戶對當(dāng)前的音量感到滿意時，發(fā)出停止音量命令，此時音量增大任務(wù)結(jié)束。在每次實驗中每 位實驗人員完成：（1)頻道1到10的遍歷增大調(diào)節(jié)，再完成從頻道10到1的減小調(diào)節(jié)；（2)從音 量30到60的遍歷增大、減小調(diào)節(jié)；（3)-次手勢操作打開和關(guān)閉功能。上一個頻道是指頻道 從1調(diào)至頻道10。每位實驗人員各做5次實驗。功能操作的平均準(zhǔn)確率如圖9所示。根據(jù)實驗 人員手勢軌跡的圖像幀數(shù)的平均值來度量交互過程中完成每項操作手勢的平均移動距離， 每種電視功能操作的手勢移動距離如圖8所示。圖9為DGRA算法的動態(tài)手勢平均識別率。在 智能電視響應(yīng)時間一致的情況下，統(tǒng)計兩種算法實現(xiàn)相同功能操作所需要的平均時間，其 中系統(tǒng)響應(yīng)時間為2.38s，如圖10所示。
[0229] 實驗分析如下：
[0230] 實驗環(huán)境：一臺PC機，Intel (R)Xeon(R)CPU，2 ? 67GHz，8G內(nèi)存；視覺輸入設(shè)備為： Kinect傳感器。
[0231] 實驗結(jié)果分析：
[0232] 由圖9可知，與HCDF-H算法相比，本發(fā)明算法EIIA有更高的操作準(zhǔn)確率。由圖10可 以看出，基于EIIA算法的智能電視手勢交互中用戶以更小的手勢移動距離就可以完成操作 任務(wù)，與HCDF-H算法相比完成相同的交互任務(wù)用戶手勢移動的距離減少約60%。本發(fā)明實 驗中，基于EIIA算法的頻道增大或減小操作中，用戶只需一個開始頻道調(diào)節(jié)命令和結(jié)束頻 道調(diào)節(jié)命令兩個手勢動作就可以完成試驗中9個頻道的遍歷調(diào)節(jié)。而基于HCDF-H算法則需 要9次手勢動作才能完成相同的頻道操作。同理，音量調(diào)節(jié)也是如此。由圖12可知，基于EIIA 算法的智能電視手勢交互在頻道操作、音量操作這種經(jīng)常性操作的功能大大減少了用戶的 操作時間，而對于手勢動作打開、關(guān)閉這些不頻繁使用的功能則并沒有時間上的優(yōu)勢。圖11 是從認(rèn)知心理學(xué)角度，根據(jù)智能電視交互場景建立的用戶手勢操作的識別率，識別率均超 過91%，同時這些手勢動作是用戶習(xí)慣性的手勢動作，具有較低的認(rèn)知負(fù)荷和操作負(fù)荷，滿 足了智能電視的交互需求。
[0233]實驗算法分析：
[0234] EIIA算法在動態(tài)手勢識別算法DGRA算法基礎(chǔ)上結(jié)合智能電視交互上下文提出了 新的交互模式。首先，根據(jù)認(rèn)知心理學(xué)建立智能電視交互用戶習(xí)慣性手勢動作行為模型;其 次，分析交互中用戶的行為信息和智能電視狀態(tài)信息上下文，利用CDL-DFCM模型感知用戶 的操作意圖；最后，通過顯隱信息融合的隱式交互模式完成交互任務(wù)。EIIA算法大大縮短了 用戶的操作時間和手勢移動距離，從而降低了用戶的操作負(fù)荷。而習(xí)慣性的手勢動作也幫 助用戶降低了智能電視手勢交互中的認(rèn)知負(fù)荷，從而提高了用戶體驗。
[0235] 上述技術(shù)方案只是本發(fā)明的一種實施方式，對于本領(lǐng)域內(nèi)的技術(shù)人員而言，在本 發(fā)明公開了應(yīng)用方法和原理的基礎(chǔ)上，很容易做出各種類型的改進(jìn)或變形，而不僅限于本 發(fā)明上述【具體實施方式】所描述的方法，因此前面描述的方式只是優(yōu)選的，而并不具有限制 性的意義。
【主權(quán)項】
1. 一種智能化的隱式交互系統(tǒng)，其特征在于，包括： 手勢動作檢測模塊:實時獲取用戶體態(tài)行為信息，檢測用戶位置，并檢測與識別用戶手 勢動作； 顯式交互信息獲取模塊:檢測智能電視的功能狀態(tài)信息，獲得低層次的顯式交互信息； 高層次的隱含交互信息獲取模塊:將處理后的用戶體態(tài)行為信息與智能電視實時的功 能狀態(tài)信息相結(jié)合，建立基于用戶行為和智能電視狀態(tài)的多層次動態(tài)上下文推理模型，獲 得高層次的隱含交互信息； 隱式交互行為模型建立模塊:將隱含交互信息可視化，識別用戶在可視化隱含信息指 導(dǎo)下完成的手勢動作，建立顯隱信息融合的隱式交互行為模型，完成交互任務(wù)。2. 根據(jù)權(quán)利要求1所述的智能化的隱式交互系統(tǒng)，其特征在于:所述用戶位置是指用戶 相對智能電視上攝像頭的水平距離、角度，檢測用戶位置具體如下： 通過Kinect獲取人體主要關(guān)節(jié)點的三維坐標(biāo)數(shù)據(jù)，根據(jù)人體頭部節(jié)點和人體重心坐標(biāo) 信息，確定人體相對智能電視的位置。3. 根據(jù)權(quán)利要求2所述的智能化的隱式交互系統(tǒng)，其特征在于:所述檢測與識別用戶手 勢動作包括用戶手部靜態(tài)行為的識別和用戶手部動態(tài)行為的識別，具體如下： 基于Kinect實現(xiàn)手勢部位的檢測與分割，通過OpenNI SDK獲取人手質(zhì)心坐標(biāo)，在人手 坐標(biāo)領(lǐng)域內(nèi)的三維空間提取出手的部位，再使用膚色模型分割方法對獲取的人手部位進(jìn)行 處理，得到初步的人手圖像，對初步的人手圖像進(jìn)行去噪、膨脹、腐蝕處理，得到最終的人手 圖像； 采用HCDF-H算法進(jìn)行用戶手部靜態(tài)行為的識別； 用戶手部動態(tài)行為的識別。4. 根據(jù)權(quán)利要求3所述的智能化的隱式交互系統(tǒng)，其特征在于:所述采用HCDF-H算法進(jìn) 行用戶手部靜態(tài)行為的識別具體如下:首先標(biāo)準(zhǔn)化手勢圖像為32*32尺寸，并計算手勢重心 點到手勢最遠(yuǎn)點作為主方向向量，沿主方向?qū)⑹謩輬D像分為8個子區(qū)域，求出子區(qū)域像素點 數(shù)量，生成手勢坐標(biāo)點分布特征向量，再使用類-Hausdorff距離與手勢模板庫中每種手勢 的對比，得出最終識別結(jié)果。5. 根據(jù)權(quán)利要求4所述的智能化的隱式交互系統(tǒng)，其特征在于:所述用戶手部動態(tài)行為 的識別包括： Stepl.輸入手勢圖像幀，空間人手三維質(zhì)心坐標(biāo)，初始化動態(tài)手勢類型特征向量DGT; Step2.根據(jù)手勢質(zhì)心坐標(biāo)，以每連續(xù)T幀圖像計算一次連續(xù)T幀圖像的靜態(tài)手勢運動距 離d，并以連續(xù)T幀圖像更新一次d; Step3.若d〈D，開始識別觸發(fā)動態(tài)手勢的靜態(tài)手勢Gesture_start，D為閾值； Step4 .若Gesture_start識別成功，獲取此時的靜態(tài)手勢質(zhì)心點坐標(biāo)S手勢并轉(zhuǎn)入 Step5； Step5.進(jìn)行動態(tài)手勢質(zhì)心軌跡提取，并將軌跡質(zhì)心點三維坐標(biāo)存儲在data數(shù)組中； Step6.再次判斷連續(xù)T幀手勢運動距離d，若d〈D則識別結(jié)束靜態(tài)手勢Gesture_end;計 算data數(shù)組長度1 ength; Step7.若Gesture_end識別成功，獲取此時的靜態(tài)手勢質(zhì)心坐標(biāo)E; Step8.若length>20,根據(jù)觸發(fā)動態(tài)手勢的靜態(tài)手勢質(zhì)心點S、結(jié)束動態(tài)手勢的靜態(tài)手 勢質(zhì)心點E的坐標(biāo)值，判斷動態(tài)手勢運動方向，否則，再次判斷d，若d>D執(zhí)行step9,否則返回 step8； Step9.判斷動態(tài)手勢類型，求出對應(yīng)手勢ID，并修改對應(yīng)動態(tài)手勢ID的key值為1，表示 動態(tài)手勢ID識別成功，輸出動態(tài)手勢類別ID和與ID對應(yīng)的key值； SteplO.DGT恢復(fù)初始化。6.根據(jù)權(quán)利要求5所述的智能化的隱式交互系統(tǒng)，其特征在于:所述建立基于用戶行為 和智能電視狀態(tài)的多層次動態(tài)上下文推理模型，獲得高層次的隱含交互信息是這樣實現(xiàn) 的： 將交互概念節(jié)點分為四類：用戶行為交互概念節(jié)點、設(shè)備環(huán)境上下文狀態(tài)信息交互概 念節(jié)點、交互情景事件節(jié)點、激發(fā)操作語義的交互概念節(jié)點集合； 交互概念節(jié)點集合C表示多層次動態(tài)上下文推理模型的節(jié)點集合，C=(U，S，E, A)，其中 U為用戶行為交互概念節(jié)點集合，S為設(shè)備環(huán)境上下文狀態(tài)信息交互概念節(jié)點集合，E為交互 情景事件節(jié)點集合，A為激發(fā)操作語義的交互概念節(jié)點集合； 集合U、S是已知狀態(tài)參量，E、A是未知參量;初始狀態(tài)時，根據(jù)當(dāng)前時刻檢測到的初始狀 態(tài)值決定U、S中各個節(jié)點的概念值，若檢測到事件發(fā)生，則與之對應(yīng)的交互概念節(jié)點值設(shè)置 為1，否則為〇;E、A中各個概念節(jié)點值初始化為0;當(dāng)多層次動態(tài)上下文推理模型收斂到一個 穩(wěn)定狀態(tài)時，獲得穩(wěn)定狀態(tài)下各交互概念節(jié)點的值，基于多層次動態(tài)上下文推理模型的上 下文推理計算過程如下式：其中W1是交互概念Ci在t+Ι時刻的狀態(tài)值;4是交互概念Cj在t時刻的值，Wij是Ci和Cj 的權(quán)重，表示相關(guān)節(jié)點間的因果聯(lián)系強度，根據(jù)交互節(jié)點之間邊的權(quán)值得到CDL-DFCM的鄰 接矩陣W，W= {Wn，W12，…Wnn}，f表示閾值函數(shù)，其作用是將交互概念的值映射到[0，1 ]區(qū)間， 將w反復(fù)作用于該矢量，c達(dá)到穩(wěn)定的收斂狀態(tài)，即4 =44，(7)式中，< 表示^第t+Ι次迭代的權(quán)值，λ表示學(xué)習(xí)率因子，λ=〇.1，表示交互概念節(jié)點Cx的值在第t+1次迭代的變化量，4表示節(jié)點Cx在第t次的迭代 值； 交互概念集合C映射到感知空間上的交互意圖集合I，I = (h，12，···〗")。對C上任意交互 意圖Ix，其隸屬函數(shù)以4(^)，1 = 1，2，一，11，其中(^表示交互概念空間(：中的第1個交互概念節(jié) 點，yx(Ci)在區(qū)間[0，1]中取值，y x(Ci)的值反映 Ci隸屬于Ix的隸屬程度，值為0表示Ci不屬于 父互意圖Ιχ，Ιχ表不如下：在感知空間的交互意圖集合I中，交互意圖之間在時空上存在互斥關(guān)系;根據(jù)公式（10) 計算用戶意圖描述因子Fix:7. 根據(jù)權(quán)利要求6所述的智能化的隱式交互系統(tǒng)，其特征在于:所述建立顯隱信息融合 的隱式交互行為模型，完成交互任務(wù)包括：51. 實時檢測智能電視功能狀態(tài)上下文、用戶顯式行為信息；52. 獲得動態(tài)上下文數(shù)據(jù)，根據(jù)多層次動態(tài)上下文模型，進(jìn)行數(shù)據(jù)融合與特征提取，并 檢測低層上下文事件的狀態(tài)；53. 檢測與識別T時刻動態(tài)手勢的類型，根據(jù)動態(tài)手勢類型識別算法，獲得T時刻用戶的 動態(tài)手勢類型ID和key值；54. 初始化交互概念集合C。，根據(jù)低層上下文事件的狀態(tài)，設(shè)置交互概念集合C中U、S中 各交互概念節(jié)點的初始值，檢測到的狀態(tài)事件對應(yīng)的交互概念節(jié)點值置為1，否則為0;集合 E，A中各交互概念節(jié)點初始值設(shè)置為0;55. 根據(jù)鄰接矩陣W和公式(5)獲得交互概念集合C在收斂狀態(tài)下的交互概念節(jié)點值；56. 根據(jù)公式(9)與（10)計算交互意圖集合中交互意圖Ιχ(χ = 1，2，···，η)的交互意圖描 述因子FIX的狀態(tài)值；與意圖描述因子集合FI中對應(yīng)交互意圖的交互因子比較，若FI X = FIe°nvel:genee，則激活交互意圖Ix對應(yīng)的交互情景事件和交互操作，否則返回S1;57. 將T時刻激活的交互情景事件對應(yīng)的功能菜單顯示在智能電視界面最頂層，且計算 機執(zhí)行用戶交互意圖對應(yīng)的交互操作；58. 檢測T+1時刻用戶行為，若檢測到用戶手勢動作，根據(jù)DGRA算法獲得T+1時刻的用戶 動態(tài)手勢類型ID和key值，然后執(zhí)行S9;否則，智能電視保持當(dāng)前的功能狀態(tài)，并循環(huán)執(zhí)行 S8；59. 計算T+1時刻向量DGDM，計算交互任務(wù)特征向量TI，若TI = TIX，X = 1，2，…，6，則計算 機根據(jù)交互任務(wù)TIX完成對應(yīng)的功能操作。8. 根據(jù)權(quán)利要求7所述的智能化的隱式交互系統(tǒng)，其特征在于:所述S9中的計算Τ+1時 亥響量DGDM是利用公式(12)計算得到的： DGDM= (ID, posture, key) (12) 公式（12)中，ID表示動態(tài)手勢唯一標(biāo)識，posture表示動態(tài)手勢代表的語義，key代表動 態(tài)手勢的識別標(biāo)志。9. 根據(jù)權(quán)利要求8所述的智能化的隱式交互系統(tǒng)，其特征在于:所述S9中的計算交互任 務(wù)特征向量TI是這樣實現(xiàn)的： 在T+1時刻，將具有特定語義的交互動作與此刻的系統(tǒng)界面交互信息相結(jié)合，以顯、隱 信息融合的交互映射范式實現(xiàn)用戶的特定交互任務(wù)，特定交互場景下交互任務(wù)TI構(gòu)成交互 任務(wù)集合!'15,3=(1'11，11 2，一，1'111)，用公式(11)交互任務(wù)特征向量1'1 TIi=(DGDM，E，A)i = l，2，."，n (11) 公式（11)中第一個特征向量DGDM表示動態(tài)手勢行為信息，第二個向量E表示通過識別 出的交互情景事件，第三個向量A表示感知到的用戶操作意圖。
【文檔編號】G06K9/00GK105930785SQ201610236809
【公開日】2016年9月7日
【申請日】2016年4月15日
【發(fā)明人】丁盛
【申請人】丁盛