一種面向智能電視的隱式交互方法
【專利摘要】本發(fā)明提供了一種面向智能電視的隱式交互方法，屬于智能電器領(lǐng)域。所述方法包括：實(shí)時(shí)獲取用戶體態(tài)行為信息,檢測(cè)用戶位置，并檢測(cè)與識(shí)別用戶手勢(shì)動(dòng)作；同時(shí)檢測(cè)智能電視的功能狀態(tài)信息，獲得低層次的顯式交互信息；將處理后的用戶體態(tài)行為信息與智能電視實(shí)時(shí)的功能狀態(tài)信息相結(jié)合，建立基于用戶行為和智能電視狀態(tài)的多層次動(dòng)態(tài)上下文推理模型，獲得高層次的隱含交互信息；將隱含交互信息可視化，識(shí)別用戶在可視化隱含信息指導(dǎo)下完成的手勢(shì)動(dòng)作，建立顯隱信息融合的隱式交互行為模型，完成交互任務(wù)。
【專利說明】
一種面向智能電視的隱式交互方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于智能電器領(lǐng)域，具體涉及一種面向智能電視的隱式交互方法。
【背景技術(shù)】
[0002] 伴隨人機(jī)交互技術(shù)的發(fā)展，基于視覺的手勢(shì)交互在人機(jī)交互領(lǐng)域的重要性愈發(fā)突 出。與傳統(tǒng)的WMP交互方式相比，基于視覺的手勢(shì)交互擺脫了鼠標(biāo)、鍵盤對(duì)用戶的束縛，并 且能為用戶提供更大的交互空間、更加逼真的交互體驗(yàn)?；谝曈X的手勢(shì)交互現(xiàn)已被廣泛 應(yīng)用在虛擬裝配、虛擬增強(qiáng)現(xiàn)實(shí)、體感游戲、機(jī)器人控制、智能電視交互等領(lǐng)域。在智能電視 手勢(shì)交互系統(tǒng)中，基于視覺的手勢(shì)交互幫助用戶擺脫了對(duì)遙控器的束縛，并以遠(yuǎn)距離操作 的方式為用戶操作智能電視提供了一種自然的交互方式。智能電視交互場(chǎng)景中，由于功能 繁多、復(fù)雜，需要大量的簡(jiǎn)單手勢(shì)命令以及簡(jiǎn)單手勢(shì)命令的組合才能完成操作。大量的手勢(shì) 命令增加了用戶的記憶負(fù)擔(dān)，給用戶帶來了極大的認(rèn)知負(fù)荷；同時(shí)，基于視覺的手勢(shì)交互中 存在的識(shí)別率、midas touch、復(fù)雜手勢(shì)動(dòng)作命令問題，限制了用戶操作的準(zhǔn)確性，同樣給用 戶造成了極大的操作負(fù)荷。
[0003] 針對(duì)基于視覺的手勢(shì)交互中存在的問題，武匯岳（請(qǐng)參考：武匯岳，張鳳軍，劉玉 進(jìn)，等.基于視覺的手勢(shì)界面關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)學(xué)報(bào)，2009，32(10): 2030-2041)從認(rèn) 知心理學(xué)角度，將手勢(shì)交互過程分為選擇性處理、分配性處理、集中處理3個(gè)階段，結(jié)合人類 知覺信息加工中的注意力模型提出了一個(gè)基于非接觸式的視覺手勢(shì)狀態(tài)轉(zhuǎn)移模型;通過模 仿人類視覺系統(tǒng)對(duì)目標(biāo)對(duì)象的識(shí)別處理機(jī)制，使系統(tǒng)具備能夠選擇性處理關(guān)鍵性信息的能 力，有效避免了Midas Touch問題。梁卓銳(請(qǐng)參考:梁卓銳，徐向民.面向視覺手勢(shì)交互的映 射關(guān)系自適應(yīng)調(diào)整[J].華南理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2014,42(8) :52-57)提出了一種基 于用戶操作特點(diǎn)的映射關(guān)系自適應(yīng)調(diào)整方法，基于Borg's CR-10尺度心理感知實(shí)驗(yàn)測(cè)試用 戶手部移動(dòng)的感知;該方法根據(jù)交互過程中的手部移動(dòng)情況，在每次連續(xù)交互操作結(jié)束后 對(duì)映射方程進(jìn)行調(diào)整，使用戶在自身物理限制的操作范圍內(nèi)完成全屏幕的操作覆蓋，并通 過降低用戶手部移動(dòng)的幾率來提高用戶體驗(yàn)。王西穎(請(qǐng)參考:王西穎，張習(xí)文，戴國(guó)忠.一 種面向?qū)崟r(shí)交互的變形手勢(shì)跟蹤方法[J].軟件學(xué)報(bào)，2007,18(10):2423-2433)提出一種新 穎的變形手勢(shì)實(shí)時(shí)跟蹤方法，利用一組2D手勢(shì)模型替代高煒度的3D手勢(shì)模型，通過對(duì)圖像 中手指和指尖定位，將Κ-means聚類算法與粒子濾波相結(jié)合，實(shí)現(xiàn)對(duì)變形手勢(shì)的快速、準(zhǔn)確 的連續(xù)跟蹤，滿足了實(shí)時(shí)性的要求。但是該方法對(duì)手勢(shì)圖像的分割質(zhì)量要求較高，影響了手 勢(shì)交互的魯棒性。Wei-Po Lee(請(qǐng)參考Lee W P，Che K，Huang J Y.A smart TV system with body-gesture control, tag-based rating and context-aware recommendation [J] .Knowledge-Based Systems ,2014,56(3): 167-178)利用kinect體感攝影機(jī)實(shí)現(xiàn)了自然 手勢(shì)控制智能電視的交互方式，創(chuàng)建一種基于社交標(biāo)記和用戶所處的情境上下文信息的推 薦系統(tǒng)，為用戶推薦最適合用戶個(gè)性化需求的服務(wù)內(nèi)容。這種方法融入了用戶使用智能電 視的情境上下文信息內(nèi)容推薦服務(wù)，在一定程度上減輕了用戶的認(rèn)知和操作負(fù)擔(dān)，但是沒 有考慮用戶本身的體態(tài)行為上下文信息對(duì)減輕用戶交互的影響。Vatavu(請(qǐng)參考:Vatavu R D.User-defined gestures for free-hand TV control[C]//Proceedings of the IOth European conference on Interactive tv and video.ACM,2012:45-48)提出的用戶自定 義手勢(shì)控制電視的交互系統(tǒng)中，通過研究用戶完成電視基本操作任務(wù)時(shí)的用戶手勢(shì)動(dòng)作偏 好，觀察用戶行為，建立用戶手勢(shì)和電視功能之間的最佳映射關(guān)系，獲得完成某一電視操作 任務(wù)的最佳手勢(shì)操作方式，但用戶依然需要記憶大量的手勢(shì)動(dòng)作實(shí)現(xiàn)電視操作，用戶的認(rèn) 知負(fù)擔(dān)較大。田豐（請(qǐng)參考：田豐，鄧昌智，周明駿，等.Post-WIMP界面隱式交互特征研究 [J].計(jì)算機(jī)科學(xué)與探索，2007(2))提出了 Post-WMP的隱式交互方法，利用識(shí)別技術(shù)、上下 文感知技術(shù)、用戶修正技術(shù)來支持Post-W頂P的隱式交互;該方法使用戶無需關(guān)注交互任務(wù) 的執(zhí)行方式和過程，只需關(guān)注任務(wù)本身，使人們以更加自然的方式來完成交互任務(wù)。徐光祐 (請(qǐng)參考:徐光祐，陶霖密，史元春，等.普適計(jì)算模式下的人機(jī)交互[J].計(jì)算機(jī)學(xué)報(bào)，2007， 30(7) :1041-1053)對(duì)普適計(jì)算環(huán)境下的人機(jī)交互進(jìn)行深入分析，提出了以用戶和環(huán)境為主 要影響因素的隱式交互模式。他將物理空間中的人機(jī)交互分為基于物理空間接口的人機(jī)交 互和基于覺察上下文計(jì)算的隱式交互;隱式交互中計(jì)算系統(tǒng)利用上下文知識(shí)對(duì)用戶的操作 進(jìn)行解釋和理解，并把它作為對(duì)計(jì)算系統(tǒng)的附加輸入，從而完成交互任務(wù)。覺察上下文信息 的提取與感知推理是實(shí)現(xiàn)隱式交互的基礎(chǔ)，葉喜勇（請(qǐng)參考:葉喜勇，陶霖密，王國(guó)健.基于 動(dòng)作理解的隱式交互[C]//第七屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2011)論文集【oral】 .2011)在老年看護(hù)人機(jī)交互應(yīng)用中提出了一種動(dòng)態(tài)上下文模型及ADL-DBN推理模型，實(shí)現(xiàn) 基于動(dòng)作理解的隱式交互方式;這種交互方式幫助計(jì)算機(jī)不分散人的注意力情況下理解人 的意圖，完成交互任務(wù)。王國(guó)建(請(qǐng)參考:王國(guó)建，陶霖密.支持隱式人機(jī)交互的分布式視覺 系統(tǒng)[J].中國(guó)圖象圖形學(xué)報(bào)，2010,15(8) :1133-1138)提出了一種支持隱式人機(jī)交互的分 布式視覺系統(tǒng)，并將其應(yīng)用在小型會(huì)議場(chǎng)景中。在基于視覺的手勢(shì)交互中，由于上下文知識(shí) 的模糊性，導(dǎo)致對(duì)人體動(dòng)作的解釋就存在多義性(請(qǐng)參考:徐光祐.人機(jī)交互中的體態(tài)語言 理解[M].電子工業(yè)出版社，2014)。傳統(tǒng)的基于規(guī)則的知識(shí)表示和推理，不能有效反映交互 上下文信息的模糊性。關(guān)志偉(請(qǐng)參考:關(guān)志偉.面向用戶意圖的智能人機(jī)交互[D].中國(guó)科 學(xué)院軟件研究所，2000)首次將FCM(請(qǐng)參考：Kosko ,Bart .Fuzzy cognitive maps[J] ? International Journal of Man-Machine Studies,1986,24(1) :65-75)應(yīng)用于人機(jī)交互 的模糊知識(shí)表示和推理，有效地實(shí)現(xiàn)了自然人機(jī)交互的高層認(rèn)知過程。但由于FCM不能提供 豐富且動(dòng)態(tài)的推理機(jī)制，不能表示交互概念間因果關(guān)系測(cè)度的不確定性(請(qǐng)參考:馬楠，楊 炳儒，鮑視，等·模糊認(rèn)知圖研究進(jìn)展[J] ·計(jì)算機(jī)科學(xué)，2011，38(10): 23-28) Japageorgiou E(請(qǐng)參考：Papageorgiou E,Stylios C,Groumpos P.Fuzzy Cognitive Map Learning Based on Nonlinear Hebbian Rule[M]//AI 2003: Advances in Artificial Intelligence· Springer Berlin Heidelberg,2003:256-268)提出了一種通過大量計(jì)算過 程實(shí)現(xiàn)推理的動(dòng)態(tài)模糊認(rèn)知模型，增強(qiáng)了概念節(jié)點(diǎn)的動(dòng)態(tài)性。
[0004] 綜上所述，目前基于視覺的智能電視手勢(shì)交互中主要存在的問題是用戶認(rèn)知負(fù)荷 和操作負(fù)荷較重。
【發(fā)明內(nèi)容】
[0005] 本發(fā)明的目的在于解決上述現(xiàn)有技術(shù)中存在的難題，提供一種面向智能電視的隱 式交互方法，有效提高智能電視用戶的交互體驗(yàn)，降低用戶的操作負(fù)荷和認(rèn)知負(fù)荷。
[0006] 本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的：
[0007] 一種面向智能電視的隱式交互方法，包括:實(shí)時(shí)獲取用戶體態(tài)行為信息，檢測(cè)用戶 位置，并檢測(cè)與識(shí)別用戶手勢(shì)動(dòng)作；同時(shí)檢測(cè)智能電視的功能狀態(tài)信息，獲得低層次的顯式 交互信息;將處理后的用戶體態(tài)行為信息與智能電視實(shí)時(shí)的功能狀態(tài)信息相結(jié)合，建立基 于用戶行為和智能電視狀態(tài)的多層次動(dòng)態(tài)上下文推理模型，獲得高層次的隱含交互信息； 將隱含交互信息可視化，識(shí)別用戶在可視化隱含信息指導(dǎo)下完成的手勢(shì)動(dòng)作，建立顯隱信 息融合的隱式交互行為模型，完成交互任務(wù)。
[0008] 所述用戶位置是指用戶相對(duì)智能電視上攝像頭的水平距離、角度，檢測(cè)用戶位置 具體如下：
[0009]通過Kinect獲取人體主要關(guān)節(jié)點(diǎn)的三維坐標(biāo)數(shù)據(jù)，根據(jù)人體頭部節(jié)點(diǎn)和人體重心 坐標(biāo)信息，確定人體相對(duì)智能電視的位置。
[0010]所述檢測(cè)與識(shí)別用戶手勢(shì)動(dòng)作包括用戶手部靜態(tài)行為的識(shí)別和用戶手部動(dòng)態(tài)行 為的識(shí)別，具體如下：
[0011] 基于Kinect實(shí)現(xiàn)手勢(shì)部位的檢測(cè)與分割，通過OpenNI SDK獲取人手質(zhì)心坐標(biāo)，在 人手坐標(biāo)領(lǐng)域內(nèi)的三維空間提取出手的部位，再使用膚色模型分割方法對(duì)獲取的人手部位 進(jìn)行處理，得到初步的人手圖像，對(duì)初步的人手圖像進(jìn)行去噪、膨脹、腐蝕處理，得到最終的 人手圖像；
[0012]采用HCDF-H算法進(jìn)行用戶手部靜態(tài)行為的識(shí)別；
[0013]用戶手部動(dòng)態(tài)行為的識(shí)別。
[0014] 所述采用HCDF-H算法進(jìn)行用戶手部靜態(tài)行為的識(shí)別具體如下:首先標(biāo)準(zhǔn)化手勢(shì)圖 像為32*32尺寸，并計(jì)算手勢(shì)重心點(diǎn)到手勢(shì)最遠(yuǎn)點(diǎn)作為主方向向量，沿主方向?qū)⑹謩?shì)圖像分 為8個(gè)子區(qū)域，求出子區(qū)域像素點(diǎn)數(shù)量，生成手勢(shì)坐標(biāo)點(diǎn)分布特征向量，再使用類-Hausdorff距離與手勢(shì)模板庫中每種手勢(shì)的對(duì)比，得出最終識(shí)別結(jié)果。
[0015] 所述用戶手部動(dòng)態(tài)行為的識(shí)別包括：
[0016] Step 1.輸入手勢(shì)圖像幀，空間人手三維質(zhì)心坐標(biāo)，初始化動(dòng)態(tài)手勢(shì)類型特征向量 DGT ；
[0017] Step2.根據(jù)手勢(shì)質(zhì)心坐標(biāo)，以每連續(xù)T幀圖像計(jì)算一次連續(xù)T幀圖像的靜態(tài)手勢(shì)運(yùn) 動(dòng)距離d，并以連續(xù)T幀圖像更新一次d;
[0018] Step3.若d〈D，開始識(shí)別觸發(fā)動(dòng)態(tài)手勢(shì)的靜態(tài)手勢(shì)Gesture_start，D為閾值；
[0019] Step4.若Gesture_start識(shí)別成功，獲取此時(shí)的靜態(tài)手勢(shì)質(zhì)心點(diǎn)坐標(biāo)S手勢(shì)并轉(zhuǎn)入 Step5；
[0020] Step5.進(jìn)行動(dòng)態(tài)手勢(shì)質(zhì)心軌跡提取，并將軌跡質(zhì)心點(diǎn)三維坐標(biāo)存儲(chǔ)在data數(shù)組 中；
[0021] Step6.再次判斷連續(xù)T幀手勢(shì)運(yùn)動(dòng)距離d，若d〈D則識(shí)別結(jié)束靜態(tài)手勢(shì)Gesture end;計(jì)算data數(shù)組長(zhǎng)度length;
[0022] Step7.若Gesture_end識(shí)別成功，獲取此時(shí)的靜態(tài)手勢(shì)質(zhì)心坐標(biāo)E;
[0023] Step8.若length>20,根據(jù)觸發(fā)動(dòng)態(tài)手勢(shì)的靜態(tài)手勢(shì)質(zhì)心點(diǎn)S、結(jié)束動(dòng)態(tài)手勢(shì)的靜 態(tài)手勢(shì)質(zhì)心點(diǎn)E的坐標(biāo)值，判斷動(dòng)態(tài)手勢(shì)運(yùn)動(dòng)方向，否則，再次判斷d，若d>D執(zhí)行step9，否則 返回step8;
[0024] Step9.判斷動(dòng)態(tài)手勢(shì)類型，求出對(duì)應(yīng)手勢(shì)ID，并修改對(duì)應(yīng)動(dòng)態(tài)手勢(shì)ID的key值為I， 表示動(dòng)態(tài)手勢(shì)ID識(shí)別成功，輸出動(dòng)態(tài)手勢(shì)類別ID和與ID對(duì)應(yīng)的key值；
[0025] SteplO .DGT 恢復(fù)初始化。。
[0026] 所述建立基于用戶行為和智能電視狀態(tài)的多層次動(dòng)態(tài)上下文推理模型，獲得高層 次的隱含交互信息是這樣實(shí)現(xiàn)的：
[0027]將交互概念節(jié)點(diǎn)分為四類：用戶行為交互概念節(jié)點(diǎn)、設(shè)備環(huán)境上下文狀態(tài)信息交 互概念節(jié)點(diǎn)、交互情景事件節(jié)點(diǎn)、激發(fā)操作語義的交互概念節(jié)點(diǎn)集合；
[0028]交互概念節(jié)點(diǎn)集合C表示多層次動(dòng)態(tài)上下文推理模型的節(jié)點(diǎn)集合，C= (U，S，E，A)， 其中U為用戶行為交互概念節(jié)點(diǎn)集合，S為設(shè)備環(huán)境上下文狀態(tài)信息交互概念節(jié)點(diǎn)集合，E為 交互情景事件節(jié)點(diǎn)集合，A為激發(fā)操作語義的交互概念節(jié)點(diǎn)集合；
[0029] 集合U、S是已知狀態(tài)參量，E、A是未知參量;初始狀態(tài)時(shí)，根據(jù)當(dāng)前時(shí)刻檢測(cè)到的初 始狀態(tài)值決定U、S中各個(gè)節(jié)點(diǎn)的概念值，若檢測(cè)到事件發(fā)生，則與之對(duì)應(yīng)的交互概念節(jié)點(diǎn)值 設(shè)置為1，否則為〇;E、A中各個(gè)概念節(jié)點(diǎn)值初始化為0;當(dāng)多層次動(dòng)態(tài)上下文推理模型收斂到 一個(gè)穩(wěn)定狀態(tài)時(shí)，獲得穩(wěn)定狀態(tài)下各交互概念節(jié)點(diǎn)的值，基于多層次動(dòng)態(tài)上下文推理模型 的上下文推理計(jì)算過程如下式：
[0030] (5)
[0031] (6)
[0032] 其中，是交互概念Ci在t+Ι時(shí)刻的狀態(tài)值;4是交互概念Cj在t時(shí)刻的值，Wij是C i 和Cj的權(quán)重，表示相關(guān)節(jié)點(diǎn)間的因果聯(lián)系強(qiáng)度，根據(jù)交互節(jié)點(diǎn)之間邊的權(quán)值得到CDL-DFCM 的鄰接矩陣W，W={Wn，W12, 一WnnKf表示閾值函數(shù)，其作用是將交互概念的值映射到[0，1] 區(qū)間，將W反復(fù)作用于該矢量，C達(dá)到穩(wěn)定的收斂狀態(tài)，即4 ，
[0033]
.(7)
[0034] (7)式中，Hf表示W(wǎng)ij第t+Ι次迭代的權(quán)值，λ表示學(xué)習(xí)率因子，λ = 〇.1，
[0035]
(β)
[0036] 表示交互概念節(jié)點(diǎn)Cx的值在第t+1次迭代的變化量，4表示節(jié)點(diǎn)Cx在第t次的 迭代值；
[0037]交互概念集合C映射到感知空間上的交互意圖集合I ,I = (I1J2^-In)13對(duì)C上任意 交互意圖Ιχ，其隸屬函數(shù)Px(C1)，i = l，2, ···，!!，其中C1表示交互概念空間C中的第i個(gè)交互概 念節(jié)點(diǎn)，yx(Ci)在區(qū)間[0，1]中取值，y x(Ci)的值反映 Ci隸屬于Ix的隸屬程度，值為0表示Ci不 屬于交互意圖lx，Ix表不如下：
(9)
[0038]
[0039] 在感知空間的交互意圖集合I中，交互意圖之間在時(shí)空上存在互斥關(guān)系;根據(jù)公式 (10)計(jì)算用戶意圖描述因子Fix:
[0040] (10)。
[0041] 所述建立顯隱信息融合的隱式交互行為模型，完成交互任務(wù)包括：
[0042] SI.實(shí)時(shí)檢測(cè)智能電視功能狀態(tài)上下文、用戶顯式行為信息；
[0043] S2.獲得動(dòng)態(tài)上下文數(shù)據(jù)，根據(jù)多層次動(dòng)態(tài)上下文模型，進(jìn)行數(shù)據(jù)融合與特征提 取，并檢測(cè)低層上下文事件的狀態(tài)；
[0044] S3.檢測(cè)與識(shí)別T時(shí)刻動(dòng)態(tài)手勢(shì)的類型，根據(jù)動(dòng)態(tài)手勢(shì)類型識(shí)別算法，獲得T時(shí)刻用 戶的動(dòng)態(tài)手勢(shì)類型ID和key值；
[0045] S4.初始化交互概念集合C。，根據(jù)低層上下文事件的狀態(tài)，設(shè)置交互概念集合C中 U、S中各交互概念節(jié)點(diǎn)的初始值，檢測(cè)到的狀態(tài)事件對(duì)應(yīng)的交互概念節(jié)點(diǎn)值置為1，否則為 0;集合E，A中各交互概念節(jié)點(diǎn)初始值設(shè)置為0;
[0046] S5.根據(jù)鄰接矩陣W和公式(5)獲得交互概念集合C在收斂狀態(tài)下的交互概念節(jié)點(diǎn) 值；
[0047] S6.根據(jù)公式(9)與（10)計(jì)算交互意圖集合中交互意圖Ix(x=l，2, ···，!〇的交互意 圖描述因子FIx的狀態(tài)值;與意圖描述因子集合FI中對(duì)應(yīng)交互意圖的交互因子比較，若FIx = FIecinvelrgenee，則激活交互意圖Ix對(duì)應(yīng)的交互情景事件和交互操作，否則返回SI;
[0048] S7.將T時(shí)刻激活的交互情景事件對(duì)應(yīng)的功能菜單顯示在智能電視界面最頂層，且 計(jì)算機(jī)執(zhí)行用戶交互意圖對(duì)應(yīng)的交互操作；
[0049] S8.檢測(cè)T+1時(shí)刻用戶行為，若檢測(cè)到用戶手勢(shì)動(dòng)作，根據(jù)DGRA算法獲得T+1時(shí)刻的 用戶動(dòng)態(tài)手勢(shì)類型ID和key值，然后執(zhí)行S9;否則，智能電視保持當(dāng)前的功能狀態(tài)，并循環(huán)執(zhí) 行S8;
[0050] S9.計(jì)算T+1時(shí)刻向量DGDM，計(jì)算交互任務(wù)特征向量TI，若TI = TIx，x=l，2,…，6， 則計(jì)算機(jī)根據(jù)交互任務(wù)TIx完成對(duì)應(yīng)的功能操作。
[0051 ]所述S9中的計(jì)算Τ+1時(shí)刻向量DGDM是利用公式（12)計(jì)算得到的：
[0052] DGDM= (ID,posture ,key) (12)
[0053] 公式（12)中，ID表示動(dòng)態(tài)手勢(shì)唯一標(biāo)識(shí)，posture表示動(dòng)態(tài)手勢(shì)代表的語義，key代 表動(dòng)態(tài)手勢(shì)的識(shí)別標(biāo)志。
[0054]所述S9中的計(jì)算交互任務(wù)特征向量TI是這樣實(shí)現(xiàn)的：
[0055]在T+1時(shí)刻，將具有特定語義的交互動(dòng)作與此刻的系統(tǒng)界面交互信息相結(jié)合，以 顯、隱信息融合的交互映射范式實(shí)現(xiàn)用戶的特定交互任務(wù)，特定交互場(chǎng)景下交互任務(wù)TI構(gòu) 成交互任務(wù)集合1'15,5=(1'1 1，112，~，1'111)，用公式(11)交互任務(wù)特征向量1'1
[0056] TIi=(DGDM，E，A)i = l，2，."，n (11)
[0057] 公式（11)中第一個(gè)特征向量DGDM表示動(dòng)態(tài)手勢(shì)行為信息，第二個(gè)向量E表示通過 識(shí)別出的交互情景事件，第三個(gè)向量A表示感知到的用戶操作意圖。
[0058]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：
[0059] (1)本發(fā)明方法依據(jù)用戶的行為特征，建立了基于視覺的智能電視單手勢(shì)交互原 型系統(tǒng)；
[0060] (2)提出了多層次上下文模型和⑶L-DFCM推理模型，實(shí)現(xiàn)了對(duì)交互情景事件的識(shí) 別和用戶意圖感知；
[0061] (3)提出了顯隱信息融合的隱式交互行為模型并提出相關(guān)算法，有效提高了智能 電視用戶的交互體驗(yàn)，降低了用戶的操作負(fù)荷和認(rèn)知負(fù)荷。
【附圖說明】
[0062]圖1手勢(shì)動(dòng)作統(tǒng)計(jì)表
[0063]圖2不同類型靜態(tài)手勢(shì)圖像
[0064]圖3動(dòng)態(tài)手勢(shì)模型分解圖
[0065] 圖4手勢(shì)運(yùn)動(dòng)方向
[0066]圖5基于智能電視手勢(shì)交互的上下文模型
[0067]圖6基于智能電視手勢(shì)交互的動(dòng)態(tài)上下文⑶L-DFCM模型
[0068]圖7初始化權(quán)值矩陣Winitial
[0069]圖8顯隱信息融合的隱式交互行為模型
[0070]圖9操作準(zhǔn)確率比較圖
[0071 ]圖10各項(xiàng)功能操作對(duì)應(yīng)的手勢(shì)移動(dòng)距離
[0072]圖η動(dòng)態(tài)手勢(shì)類型識(shí)別率
[0073] 圖12平均操作時(shí)間圖。
【具體實(shí)施方式】
[0074]下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述：
[0075] 本發(fā)明從認(rèn)知心理學(xué)角度出發(fā)，通過捕捉用戶交互意圖，結(jié)合隱式交互理論提出 了一種基于DFCM的多層次動(dòng)態(tài)上下文推理模型和顯隱信息融合的隱式交互行為模型。首 先，實(shí)時(shí)獲取用戶體態(tài)行為信息，檢測(cè)用戶位置，并檢測(cè)與識(shí)別用戶手勢(shì)動(dòng)作；同時(shí)檢測(cè)智 能電視功能狀態(tài)，獲得低層次的顯式交互信息。其次，將處理后的用戶體態(tài)行為信息與智能 電視實(shí)時(shí)的功能狀態(tài)信息相結(jié)合，建立動(dòng)態(tài)上下文模型;使用基于數(shù)據(jù)的權(quán)值迭代學(xué)習(xí)的 微分Hebbian動(dòng)態(tài)模糊認(rèn)知圖DFCM(請(qǐng)參考:張燕麗.基于模糊認(rèn)知圖的動(dòng)態(tài)系統(tǒng)的建模與 控制[D].大連理工大學(xué)，2012)的多層次動(dòng)態(tài)上下文推理模型獲得高層次的隱含交互信息。 最后將隱含交互信息可視化，識(shí)別用戶在可視化隱含信息指導(dǎo)下完成的手勢(shì)動(dòng)作，利用顯 隱信息融合的隱式交互行為模型，完成交互任務(wù)。。
[0076]智能電視人機(jī)交互中，手勢(shì)動(dòng)作作為一種非精確交互輸入，用戶交互目的的實(shí)現(xiàn) 完全依賴于手勢(shì)動(dòng)作的模式識(shí)別率。這增加了用戶操作和認(rèn)知負(fù)荷。這種情況下，動(dòng)態(tài)上下 文對(duì)用戶手勢(shì)動(dòng)作的理解起著重要作用。本發(fā)明通過對(duì)基于視覺的智能電視手勢(shì)交互場(chǎng)景 分析，首先建立了基于用戶行為和智能電視狀態(tài)的多層次上下文模型，實(shí)現(xiàn)上下文的數(shù)據(jù) 融合與特征提取;其次，設(shè)計(jì)并實(shí)現(xiàn)了動(dòng)態(tài)上下文CDL-DFCM推理模型和顯隱信息融合的隱 式交互模型，識(shí)別交互情景事件并感知用戶意圖；最后，提出了上下文顯隱信息融合的隱式 交互算法。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有相關(guān)算法比較，本發(fā)明在操作準(zhǔn)確率、時(shí)間開銷和手勢(shì)移 動(dòng)距離等方面得到了明顯改善，并有效提升了用戶體驗(yàn)。
[0077] 智能電視交互系統(tǒng)中，用戶根據(jù)操作任務(wù)來完成相應(yīng)的交互操作。因此，用戶的交 互需求是建立基于視覺的智能電視手勢(shì)交互系統(tǒng)原型的基礎(chǔ)。本發(fā)明按照先對(duì)基于視覺的 遠(yuǎn)距離手勢(shì)交互中的用戶日常習(xí)慣性動(dòng)作進(jìn)行統(tǒng)計(jì)分析，再通過分析其中的認(rèn)知信息，建 立用戶行為模型和原型系統(tǒng)的思路設(shè)計(jì)了以下實(shí)驗(yàn)。
[0078] 實(shí)驗(yàn) 1
[0079] 首先，在安裝有智能電視的實(shí)驗(yàn)室中，模擬用戶收看電視場(chǎng)景；建立一個(gè)基于 Kinect的智能電視遠(yuǎn)程單手勢(shì)交互模型，但該模型并不能實(shí)現(xiàn)與用戶的真正交互操作，操 作有效距離為1-3.5米。其次，邀請(qǐng)不同專業(yè)的50名在校大學(xué)生參與本次實(shí)驗(yàn)，每位實(shí)驗(yàn)參 與者具有操作智能電視或智能手機(jī)的操作經(jīng)驗(yàn)，記錄每名實(shí)驗(yàn)人員根據(jù)電視功能布局和本 能反應(yīng)做出的最自然、最輕松手勢(shì)動(dòng)作，并使用單手操作。最后，統(tǒng)計(jì)用戶的習(xí)慣性動(dòng)作，進(jìn) 行認(rèn)知行為分析，對(duì)每種電視功能操作使用最多的習(xí)慣性動(dòng)作建立行為模型。實(shí)驗(yàn)1提供基 于視覺的手勢(shì)交互中最受歡迎的10類手勢(shì)動(dòng)作(請(qǐng)參考:劉雪君.面向互動(dòng)電視的手勢(shì)交互 系統(tǒng)研究與實(shí)現(xiàn)[D].復(fù)旦大學(xué)，2013)和智能電視功能界面供實(shí)驗(yàn)參與者參考。統(tǒng)計(jì)結(jié)果表 明在不考慮用戶操作目的的情況下，得到次數(shù)高于50%的4種手勢(shì)動(dòng)作，如圖1所示。
[0080] 實(shí)驗(yàn) 2
[0081] 在實(shí)驗(yàn)1的基礎(chǔ)上，本發(fā)明設(shè)計(jì)了實(shí)驗(yàn)2。首先，設(shè)計(jì)了關(guān)于基于視覺的智能電視手 勢(shì)交互操作的網(wǎng)絡(luò)調(diào)查問卷。其次，根據(jù)調(diào)查問卷的數(shù)據(jù)分析結(jié)果，開發(fā)了基于視覺的智能 電視手勢(shì)交互原型系統(tǒng)。本次問卷共回收157份，年齡在15-25歲之間的占總問卷人數(shù)的 75. 16%，25-60歲占24.85 %。性別比例基本均等，對(duì)實(shí)驗(yàn)不會(huì)產(chǎn)生影響。調(diào)查人員中 81.53%的人沒有使用過基于視覺的手勢(shì)交互智能電視。在手勢(shì)交互智能電視操作目的的 調(diào)查中，52.87%的人認(rèn)為主要完成頻道、音量、電視關(guān)閉操作，45.86%的人只用來玩手勢(shì) 交互游戲。56.45%的人對(duì)遙控器調(diào)節(jié)音量、頻道的方式感到不滿意。
[0082]基于實(shí)驗(yàn)1和實(shí)驗(yàn)2,本發(fā)明設(shè)計(jì)了基于視覺的智能電視單手勢(shì)交互原型系統(tǒng)， IHCI-smartTVJHCI-smartTV包括智能電視頻道調(diào)節(jié)、音量調(diào)節(jié)、主頁功能切換、手勢(shì)操作 開關(guān)、基于手勢(shì)控制的游戲五個(gè)功能模塊，設(shè)計(jì)表1中的8種手勢(shì)動(dòng)作完成與智能電視的交 互任務(wù)。本發(fā)明主要對(duì)IHCI-smartTV中頻道調(diào)節(jié)、音量調(diào)節(jié)、手勢(shì)操作開關(guān)功能的手勢(shì)交互 進(jìn)行研究。手勢(shì)操作開關(guān)功能是指手勢(shì)操作開關(guān)打開后能利用手勢(shì)動(dòng)作控制智能電視進(jìn)行 除手勢(shì)操作開關(guān)以外的其它操作，目的是避免基于視覺的手勢(shì)交互中存在的midas touch 問題。
[0084] 表1
[0085] 隱式交互行為模型：
[0086]人體顯式行為上下文信息的檢測(cè)與識(shí)別：
[0087]用戶顯式行為信息是指與智能電視交互的唯一用戶的人體行為信息，包括用戶位 置檢測(cè)、用戶手部靜態(tài)與動(dòng)態(tài)行為的檢測(cè)與識(shí)別。用戶位置檢測(cè)是指用戶相對(duì)智能電視上 攝像頭的水平距離、角度?；谝曈X的手勢(shì)檢測(cè)與識(shí)別可分為以下兩種:一種是由連續(xù)手部 動(dòng)作組成的動(dòng)態(tài)手勢(shì)(gesture)，如手的揮動(dòng);二是靜態(tài)的手部姿態(tài)(posture)。本發(fā)明中手 勢(shì)動(dòng)作上下文是指手部動(dòng)作的運(yùn)動(dòng)與幾何信息，如手部的靜態(tài)姿勢(shì)、運(yùn)動(dòng)速度、運(yùn)動(dòng)軌跡信 息等。
[0088] 人體動(dòng)作行為的研究需要能夠準(zhǔn)確及時(shí)的采集人體動(dòng)、靜狀態(tài)下數(shù)據(jù)信息，為此 本發(fā)明搭建基于Kinect的實(shí)驗(yàn)平臺(tái)，并配置OpenNI SDK。通過Kinect可以獲取人體15個(gè)主 要關(guān)節(jié)點(diǎn)的三維坐標(biāo)數(shù)據(jù)，根據(jù)人體頭部節(jié)點(diǎn)和人體重心坐標(biāo)信息，可以確定人體相對(duì)智 能電視的位置。基于Kinect實(shí)現(xiàn)手勢(shì)部位的檢測(cè)與分割，是通過OpenNI SDK獲取人手質(zhì)心 坐標(biāo)，在人手坐標(biāo)領(lǐng)域內(nèi)的三維空間提取出手的部位，再使用膚色模型分割方法對(duì)獲取的 人手部位進(jìn)行處理，得到初步的人手圖像，對(duì)初步的人手圖像進(jìn)行去噪、膨脹、腐蝕處理，可 得最終比較理想的人手圖像。
[0089] 考慮到動(dòng)態(tài)手勢(shì)與靜態(tài)手勢(shì)在實(shí)際應(yīng)用中結(jié)合使用的情況，以及基于視覺的手勢(shì) 交互中存在的midas touch問題，本發(fā)明將靜態(tài)手勢(shì)的識(shí)別與動(dòng)態(tài)手勢(shì)的檢測(cè)與識(shí)別相結(jié) 合，建立基于靜態(tài)手勢(shì)姿態(tài)識(shí)別與動(dòng)作手勢(shì)運(yùn)動(dòng)檢測(cè)的動(dòng)態(tài)手勢(shì)類型識(shí)別模型（dynamic gesture detect model, DGDM)。該模型的形式化描述：DGDM =〈ID，posture，Ges ture_ start ,Gesture_end，orientation，key，data，length〉。ID是動(dòng)態(tài)手勢(shì)的唯一標(biāo)識(shí)符； posture標(biāo)識(shí)手勢(shì)動(dòng)作的顯式語義信息，如："握拳、揮手"；Gesture_start為觸發(fā)動(dòng)態(tài)手勢(shì) 的預(yù)定義靜態(tài)手勢(shì);Gesture_end為結(jié)束動(dòng)態(tài)手勢(shì)的預(yù)定義靜態(tài)手勢(shì);orientation描述手 勢(shì)在三維空間中的相對(duì)運(yùn)動(dòng)方向；d為標(biāo)志位，當(dāng)被檢測(cè)到時(shí)，置為1，否則為0;data為存儲(chǔ) 歸一化手勢(shì)質(zhì)心運(yùn)動(dòng)軌跡坐標(biāo)的浮點(diǎn)型數(shù)組。length表示動(dòng)態(tài)手勢(shì)的從開始到結(jié)束的圖像 幀數(shù)，用來描述動(dòng)態(tài)手勢(shì)的持續(xù)時(shí)間。在有意識(shí)操作狀態(tài)下，用戶動(dòng)態(tài)手勢(shì)持續(xù)時(shí)間存在一 定的規(guī)律性，可通過統(tǒng)計(jì)學(xué)實(shí)驗(yàn)獲得。
[0090] 靜態(tài)手勢(shì)姿態(tài)采用HCDF-H算法(請(qǐng)參考:楊學(xué)文，馮志全，黃忠柱，何娜娜.結(jié)合手 勢(shì)主方向和類-Hausdorff距離的手勢(shì)識(shí)別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016,01: 75-81)進(jìn)行識(shí)別。首先標(biāo)準(zhǔn)化手勢(shì)圖像為32*32尺寸，并計(jì)算手勢(shì)重心點(diǎn)到手勢(shì)最遠(yuǎn)點(diǎn)作為 主方向向量，沿主方向?qū)⑹謩?shì)圖像分為8個(gè)子區(qū)域，求出子區(qū)域像素點(diǎn)數(shù)量，生成手勢(shì)坐標(biāo) 點(diǎn)分布特征向量，再使用類-Hausdorff距離與手勢(shì)模板庫中每種手勢(shì)的對(duì)比，得出最終識(shí) 別結(jié)果。該方法能夠避免手勢(shì)旋轉(zhuǎn)、平移、縮放的影響，具有較高的效率和識(shí)別準(zhǔn)確率。在基 于視覺的智能電視手勢(shì)交互中，將電視交互系統(tǒng)中的有效靜態(tài)手勢(shì)分為三種類型，五指打 開為1、握拳為2、食指和中指打開為3,如圖2所示?；陟o態(tài)手勢(shì)的動(dòng)態(tài)手勢(shì)分解圖3所示。
[0091] 在智能電視手勢(shì)交互實(shí)驗(yàn)中，發(fā)現(xiàn)每個(gè)動(dòng)態(tài)手勢(shì)開始前用戶都會(huì)有意識(shí)的調(diào)整靜 態(tài)手勢(shì)。在調(diào)整靜態(tài)手勢(shì)的時(shí)間段內(nèi)（調(diào)整靜態(tài)手勢(shì)的時(shí)間段是指用戶從隨機(jī)靜態(tài)手勢(shì)調(diào) 整到具有具體語義的理想靜態(tài)手勢(shì)的時(shí)間差），靜態(tài)手勢(shì)的質(zhì)心位移保持相對(duì)靜止。實(shí)驗(yàn)對(duì) 50名用戶的動(dòng)態(tài)手勢(shì)運(yùn)動(dòng)進(jìn)行分析，統(tǒng)計(jì)用戶做不同類型動(dòng)態(tài)手勢(shì)時(shí)在調(diào)整靜態(tài)手勢(shì)時(shí)間 段內(nèi)靜態(tài)手勢(shì)每?jī)蓭謩?shì)質(zhì)心的移動(dòng)距離。以每連續(xù)T幀手勢(shì)圖像作為一個(gè)靜態(tài)調(diào)整時(shí)間 段，連續(xù)T幀內(nèi)靜態(tài)手勢(shì)運(yùn)動(dòng)距離滿足條件閾值D。以D和T作為狀態(tài)轉(zhuǎn)移條件，若連續(xù)T幀內(nèi) 手勢(shì)移動(dòng)距離d〈D，則進(jìn)入靜態(tài)手勢(shì)識(shí)別階段。運(yùn)動(dòng)方向（orientation)是區(qū)分不同動(dòng)態(tài)手 勢(shì)的關(guān)鍵信息，如果將觸發(fā)動(dòng)態(tài)手勢(shì)的靜態(tài)手勢(shì)質(zhì)心點(diǎn)S為坐標(biāo)原點(diǎn)建立坐標(biāo)系，其與結(jié)束 動(dòng)態(tài)手勢(shì)的靜態(tài)手勢(shì)質(zhì)心點(diǎn)E方向判斷關(guān)系如圖4所示。
[0092 ] Or i entat ion可用公式（1)中Ori描述;首先，在XOY面上根據(jù)S和E計(jì)算向量涵與X軸 夾角的正切值，根據(jù)正切值的絕對(duì)值判斷出手勢(shì)上下方向運(yùn)動(dòng)還是左右方向運(yùn)動(dòng)；上下方 向根據(jù)兩坐標(biāo)點(diǎn)Y軸坐標(biāo)差值的正負(fù)判斷具體方向，左右方向根據(jù)兩坐標(biāo)點(diǎn)X軸坐標(biāo)差值判 斷具體方向。Z軸方向，手勢(shì)水平位移閾值絕對(duì)值為 Zq。其計(jì)算公式為：
(1) (2) 1
[0096] 根據(jù)DGDM，我們可以判斷出動(dòng)態(tài)手勢(shì)類型（dynamic gesture type，DGT)，并用特 征向量DGT描述一種動(dòng)態(tài)手勢(shì)，不同的動(dòng)態(tài)手勢(shì)可根據(jù)不同的語義、開始手勢(shì)、結(jié)束手勢(shì)、方 向以及持續(xù)時(shí)間來描述。
[0097] DGT=(ID,posture,Gesture_start,Gesture_end,orientation,length) (4)
[0098] 根據(jù)以上信息，動(dòng)態(tài)手勢(shì)類型識(shí)別的算法（Dynamic gesture recognition a lgori thm，DGRA)步驟如下：
[0099] 輸入:手勢(shì)圖像幀，空間人手三維質(zhì)心坐標(biāo)。
[0100] 輸出：動(dòng)態(tài)手勢(shì)類別ID和與ID對(duì)應(yīng)的key值。
[0101] Stepl
[0102] Step2.根據(jù)手勢(shì)質(zhì)心坐標(biāo)，以每連續(xù)T幀圖像計(jì)算一次連續(xù)T幀圖像的靜態(tài)手勢(shì)運(yùn) 動(dòng)距離d，并以連續(xù)T幀圖像更新一次d。
[0101] Step3.若d〈D，開始識(shí)別觸發(fā)動(dòng)態(tài)手勢(shì)的靜態(tài)手勢(shì)Gesture_start。
[0104] Step4.若Gesture_start識(shí)別成功，獲取此時(shí)的靜態(tài)手勢(shì)質(zhì)心點(diǎn)坐標(biāo)S手勢(shì)并轉(zhuǎn)入 Step5〇
[0105] Step5.進(jìn)行動(dòng)態(tài)手勢(shì)質(zhì)心軌跡提取，并將軌跡質(zhì)心點(diǎn)三維坐標(biāo)存儲(chǔ)在data數(shù)組 中。
[0106] Step6.再次判斷連續(xù)T幀手勢(shì)運(yùn)動(dòng)距離d，若d〈D則識(shí)別結(jié)束靜態(tài)手勢(shì)Gesture end;計(jì)算data數(shù)組長(zhǎng)度length。
[ΟΙ O7] Step7 ·若Gesture_end識(shí)別成功，獲取此時(shí)的靜態(tài)手勢(shì)質(zhì)心坐標(biāo)E。
[0108] Step8.若length>20，根據(jù)S、E坐標(biāo)值，帶入公式（1)判斷動(dòng)態(tài)手勢(shì)運(yùn)動(dòng)方向。否則， 再次判斷d，若d>D執(zhí)行step9,否則返回step8。
[0109] Step9.根據(jù)公式(4)判斷動(dòng)態(tài)手勢(shì)類型，求出對(duì)應(yīng)手勢(shì)ID，并修改對(duì)應(yīng)動(dòng)態(tài)手勢(shì)ID 的key值為1，表示動(dòng)態(tài)手勢(shì)ID識(shí)別成功。
[0110] SteplO .DGT 恢復(fù)初始化。
[0111] 基于⑶L-DFCM模型的高層隱含信息感知與推理：
[0112]在人機(jī)交互系統(tǒng)中，用戶交互行為的隱含信息往往隱藏在交互場(chǎng)景的上下文中。 智能電視交互系統(tǒng)中主要考慮三種形式的上下文信息，分別是智能電視狀態(tài)上下文，人與 智能電視關(guān)聯(lián)的上下文及與用戶行為相關(guān)的上下文。
[0113] (1)與智能電視狀態(tài)有關(guān)的上下文，可根據(jù)上下文層次關(guān)系分為低層設(shè)備功能狀 態(tài)，"如：電視節(jié)目播放狀態(tài)、主頁切換功能狀態(tài)、待機(jī)狀態(tài)"和通過推理獲得的高層交互情 景事件與用戶意圖，如："電視正處在手勢(shì)功能激活狀態(tài)"，"電視正處在頻道調(diào)節(jié)狀態(tài)"、"電 視正處在音量調(diào)節(jié)狀態(tài)"。這類信息關(guān)系到對(duì)人體的理解，是解決用戶行為多義性的重要依 據(jù)。
[0114] (2)與用戶有關(guān)的上下文包括人體重心的相對(duì)位置與手部動(dòng)作行為信息。
[0115] (3)用戶與智能電視的關(guān)聯(lián)上下文，被定義為用戶位置事件，與智能電視的開關(guān)狀 態(tài)關(guān)聯(lián)，如：電視工作狀態(tài)下，"用戶在電視有效操作范圍內(nèi)"。這類信息是聯(lián)系用戶行為上 下文與設(shè)備狀態(tài)上下文的紐帶。
[0116] 對(duì)基于視覺的智能電視手勢(shì)交互場(chǎng)景上下文，建立多層次上下文模型。如圖5所 不。
[0117]在隱式交互理論中，上下文是系統(tǒng)底層數(shù)據(jù)與高層用戶意圖理解的語義鴻溝。為 了識(shí)別交互情景事件與主動(dòng)理解用戶的動(dòng)作，本發(fā)明對(duì)用戶行為和智能電視狀態(tài)進(jìn)行分 析，根據(jù)上下文模型提出了一種基于DFCM的多層次動(dòng)態(tài)上下文推理模型（OTL-DFCM) tXDL-DFCM能夠?qū)崿F(xiàn)對(duì)用戶操作意圖的感知，并以在線檢測(cè)方式實(shí)時(shí)對(duì)上下文數(shù)據(jù)進(jìn)行處理。在 CDL-DFCM模型中，交互概念節(jié)點(diǎn)分為四類:智能電視狀態(tài)交互概念節(jié)點(diǎn)，描述與智能電視功 能狀態(tài)有關(guān)的上下文；用戶行為交互概念節(jié)點(diǎn)，描述用戶手勢(shì)交互動(dòng)作；交互情景概念節(jié) 點(diǎn)，描述具體交互任務(wù)的交互情景事件;操作語義的概念節(jié)點(diǎn)，描述用戶的操作意圖，與交 互情景事件相關(guān)聯(lián)。
[0118]針對(duì)基于視覺的智能電視手勢(shì)交互系統(tǒng)的基本操作需求，本發(fā)明對(duì)IHCI-smartTV 原型系統(tǒng)中頻道調(diào)節(jié)、音量調(diào)節(jié)、手勢(shì)操作開關(guān)功能的手勢(shì)交互進(jìn)行分析研究，具體包括音 量增大、減小操作，頻道上一個(gè)、下一個(gè)調(diào)節(jié)操作，手勢(shì)操作開關(guān)功能。設(shè)置手勢(shì)操作開關(guān)功 能的目的是實(shí)現(xiàn)與其他交互通道的平滑融合，防止產(chǎn)生相互干擾。交互概念節(jié)點(diǎn)集合C表示 ⑶L-DFCM的節(jié)點(diǎn)集合，C= (U，S，E，A)。其中U為用戶行為交互概念節(jié)點(diǎn)集合，S為設(shè)備環(huán)境上 下文狀態(tài)信息交互概念節(jié)點(diǎn)集合，E為交互情景事件節(jié)點(diǎn)集合，A為激發(fā)操作語義的交互概 念節(jié)點(diǎn)集合。
[0119]在本發(fā)明研究的IHCI-smartTV人機(jī)交互系統(tǒng)中，概念節(jié)點(diǎn)列表如下：
[0120] (1)交互概念節(jié)點(diǎn)列表：
[0121] {
[0122] //用戶動(dòng)作行為交互概念節(jié)點(diǎn)集合U
[0123] 1、向前推手（wave forward-Ul);
[0124] 2、向上揮手（wave up-U2)；
[0125] 3、向下?lián)]手（wave down-U3)；
[0126] 4、向左揮手（wave to the left-U4)；
[0127] 5、向右揮手（wave to the right-U5)；
[0128] 6、握拳(Fist-U6);
[0129] 7、用戶位置(U7)
[0130] //智能電視狀態(tài)信息交互概念節(jié)點(diǎn)集合S
[0131] 1、智能電視節(jié)目播放狀態(tài)（the playing state of smart TV-SI);
[0132] 2、手勢(shì)操作功能狀態(tài)（the opening state of body gesture operating function-S2)；
[0133] //交互情景事件節(jié)點(diǎn)E
[0134] I、頻道功能操作交互(El);
[0135] 2、音量功能操作交互(E2);
[0136] 3、手勢(shì)控制操作交互(E3);
[0137] //激發(fā)操作語義的交互概念節(jié)點(diǎn)集合A
[0138] 1、彈出頻道操作菜單界面，并持續(xù)進(jìn)行調(diào)到上一個(gè)頻道的操作(Al);
[0139] 2、彈出頻道操作菜單界面，并持續(xù)進(jìn)行調(diào)到下一個(gè)頻道的操作(A2);
[0140] 3、彈出音量操作菜單界面，并在原音量值基礎(chǔ)上按一定幅度持續(xù)減小音量，直至 收到音量減小結(jié)束命令或靜音狀態(tài)(A3);
[0141] 4、彈出音量操作菜單界面，并在原音量值基礎(chǔ)上按一定幅度持續(xù)增大音量，直至 收到音量增大結(jié)束命令或最大音量狀態(tài)(A4);
[0142] 5、打開手勢(shì)操作功能(A5);
[0143] 6、關(guān)閉手勢(shì)操作功能(A6);
[0144] }
[0145] (2)交互概念節(jié)點(diǎn)關(guān)聯(lián)關(guān)系列表：
[0146] {
[0147] S1-U1:電視節(jié)目播放狀態(tài)下，用戶執(zhí)行Ul動(dòng)作的可能性增加
[0148] S1-U2:電視節(jié)目播放狀態(tài)下，用戶執(zhí)行U2動(dòng)作的可能性增加
[0149] S1-U3:電視節(jié)目播放狀態(tài)下，用戶執(zhí)行U3動(dòng)作的可能性增加
[0150] S1-U4:電視節(jié)目播放狀態(tài)下，用戶執(zhí)行U4動(dòng)作的可能性增加
[0151] S1-U5:電視節(jié)目播放狀態(tài)下，用戶執(zhí)行U5動(dòng)作的可能性增加
[0152] S1-U6:電視節(jié)目播放狀態(tài)下，用戶執(zhí)行U6動(dòng)作的可能性增加
[0153] S2-U1:手勢(shì)操作功能打開狀態(tài)下，用戶執(zhí)行Ul動(dòng)作的可能性增加
[0154] S2-U2:手勢(shì)操作功能打開狀態(tài)下，用戶執(zhí)行U2動(dòng)作的可能性增加
[0155] S2-U3:手勢(shì)操作功能打開狀態(tài)下，用戶執(zhí)行U3動(dòng)作的可能性增加
[0156] S2-U4:手勢(shì)操作功能打開狀態(tài)下，用戶執(zhí)行U4動(dòng)作的可能性增加
[0157] S2-U5:手勢(shì)操作功能打開狀態(tài)下，用戶執(zhí)行U5動(dòng)作的可能性增加
[0158] S2-U6:手勢(shì)操作功能打開狀態(tài)下，用戶執(zhí)行U6動(dòng)作的可能性增加
[0159] U1-E3:水平向前推手導(dǎo)致彈出手勢(shì)交互開關(guān)交互菜單的可能性增加
[0160] U6-E3:握拳動(dòng)作導(dǎo)致彈出手勢(shì)交互開關(guān)交互菜單的可能性增加
[0161] U2-E1:向上揮手導(dǎo)致彈出頻道菜單的可能性增加
[0162] U3-E1:向下?lián)]手導(dǎo)致彈出頻道菜單的可能性增加
[0163] U4-E2:向左揮手導(dǎo)致彈出音量菜單的可能性增加
[0164] U5-E2:向右揮手導(dǎo)致彈出音量菜單的可能性增加
[0165] U7-U1:用戶進(jìn)入手勢(shì)有效操作區(qū)域后，執(zhí)行Ul的可能性增加
[0166] U7-U2:用戶進(jìn)入手勢(shì)有效操作區(qū)域后，執(zhí)行U2的可能性增加
[0167] U7-U3:用戶進(jìn)入手勢(shì)有效操作區(qū)域后，執(zhí)行U3的可能性增加
[0168] U7-U4:用戶進(jìn)入手勢(shì)有效操作區(qū)域后，執(zhí)行U4的可能性增加
[0169] U7-U5:用戶進(jìn)入手勢(shì)有效操作區(qū)域后，執(zhí)行U5的可能性增加
[0170] U7-U6:用戶進(jìn)入手勢(shì)有效操作區(qū)域后，執(zhí)行U6的可能性增加
[0171] E1-A1:頻道操作功能激活后，持續(xù)調(diào)節(jié)至上一個(gè)頻道的可能性增加
[0172] E1-A2:頻道操作功能激活后，持續(xù)調(diào)節(jié)至下一個(gè)頻道的可能性增加
[0173] E2-A3:音量操作功能激活后，持續(xù)調(diào)節(jié)音量減小的可能性增加
[0174] E2-A4:音量操作功能激活后，持續(xù)調(diào)節(jié)音量增大的可能性增加
[0175] E3-A5:彈出手勢(shì)操作開關(guān)菜單后，關(guān)閉手勢(shì)操作功能的可能性增加
[0176] E3-A6:彈出手勢(shì)操作開關(guān)菜單后，打開手勢(shì)操作功能的可能性增加
[0177] A5-S2:手勢(shì)動(dòng)作打開導(dǎo)致手勢(shì)操作開關(guān)狀態(tài)改變
[0178] }
[0179] 根據(jù)上述分析，建立⑶L-DFCM模型，如圖6所示。
[0180] 在⑶L-DFCM模型中，集合U、S是已知狀態(tài)參量，E、A是未知參量。初始狀態(tài)時(shí)，根據(jù) 當(dāng)前時(shí)刻檢測(cè)到的初始狀態(tài)值決定u、s中各個(gè)節(jié)點(diǎn)的概念值，若檢測(cè)到事件發(fā)生，則與之對(duì) 應(yīng)的交互概念節(jié)點(diǎn)值設(shè)置為1，否則為0 ;E、A中各個(gè)概念節(jié)點(diǎn)值初始化為0。當(dāng)CDL-DFCM收斂 到一個(gè)穩(wěn)定狀態(tài)時(shí)，可獲得穩(wěn)定狀態(tài)下各交互概念節(jié)點(diǎn)的值?；贑DL-DFCM的上下文推理 計(jì)算過程如(5)式：
[0181] (5)
[0182](6)
[0183] 其中，4+1是交互概念Ci在t+1時(shí)刻的狀態(tài)值;4是交互概念Cj在t時(shí)刻的值。通過因 果分析與專家經(jīng)驗(yàn)分析智能電視手勢(shì)交互中交互概念節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系，W lj是CjPCj的 權(quán)重，表示相關(guān)節(jié)點(diǎn)間的因果聯(lián)系強(qiáng)度，根據(jù)交互節(jié)點(diǎn)之間邊的權(quán)值可得到CDL-DFCM的鄰 接矩陣W，W= {Wn，W12，…Wnn}，圖7為根據(jù)因果分析與專家經(jīng)驗(yàn)獲得的初始鄰接矩陣Winitia1。 f表示閾值函數(shù)，其作用是將交互概念的值映射到[0，1]區(qū)間。將W反復(fù)作用于該矢量，C達(dá)到 穩(wěn)定的收斂狀態(tài)，即4=44 G
[0184]
(7)
[0185] (7)式中，表示W(wǎng)ij第t+Ι次迭代的權(quán)值，λ表示學(xué)習(xí)率因子，λ = 〇·1。
[0186]
(8)
[0187] 表示交互概念節(jié)點(diǎn)Cx的值在第t+Ι次迭代的變化量，^表示節(jié)點(diǎn)Cx在第t次的 迭代值。
[0188] 交互概念集合C映射到感知空間上的交互意圖集合I ,I = (I1J2^-In)13對(duì)C上任意 交互意圖Ιχ，其隸屬函數(shù)Px(C 1)，i = l，2, ···，!!，其中C1表示交互概念空間C中的第i個(gè)交互概 念節(jié)點(diǎn)。yx(Ci)在區(qū)間[0，1]中取值，y x(Ci)的值反映 Ci隸屬于Ix的隸屬程度，值為0表示Ci不 屬于交互意圖Ixc3Ix表不如下：
[0189] jc=l, 2,…，n .(9).
[0190] 在感知空間的交互意圖集合I中，交互意圖之間在時(shí)空上存在互斥關(guān)系，即每一時(shí) 刻只可能存在一種可能性最大的交互意圖發(fā)生。根據(jù)公式(9)中各節(jié)點(diǎn)的隸屬程度與收斂 狀態(tài)下交互概念節(jié)點(diǎn)狀態(tài)值，計(jì)算用戶意圖描述因子，根據(jù)公式（10)計(jì)算用戶意圖描述因 子 FIx:
[0191] I=It 2.,. η (1Θ)
[0192] 顯隱信息融合的隱式交互行為模型：
[0193] 在交互式智能電視交互系統(tǒng)中，電視屏幕是用戶的直接關(guān)注對(duì)象，傳統(tǒng)的顯式交 互方式中用戶根據(jù)電視界面信息、狀態(tài)按照既定的交互規(guī)則發(fā)出操作命令，用戶操作命令 與電視操作之間存在亦步亦趨的關(guān)系，這導(dǎo)致用戶的操作負(fù)擔(dān)很重，達(dá)到理想操作效果的 平均時(shí)間較長(zhǎng)。由于用戶需要記住的操作動(dòng)作較多，這也加重了用戶認(rèn)知負(fù)荷。本發(fā)明提出 在顯式交互模式基礎(chǔ)上融合隱式交互模式的顯隱信息融合隱式交互行為模型(EI-IBM)，如 圖8所示。以IHCI-smartTV原型系統(tǒng)構(gòu)建的顯隱信息融合的隱式交互行為模型中，用戶與智 能電視系統(tǒng)是交互主體。隱式交互是一種不可見的交互，這種不可見性是交互雙方的一種 間接連接關(guān)系，交互信息具有不確定性和模糊性。當(dāng)用戶透明地使用智能電視時(shí)，用戶精力 更多集中在交互任務(wù)本身。隱式交互模式通過對(duì)多種上下文信息融合、分析，消除多種上下 文信息之間的歧義，實(shí)現(xiàn)對(duì)用戶意圖的理解，并以主動(dòng)反饋方式向用戶提供交互服務(wù)。
[0194] 顯隱信息融合的隱式交互模型是對(duì)智能電視交互的一種模式創(chuàng)新，改變了以往單 純依靠用戶直接命令的顯式交互模式。該模式的實(shí)現(xiàn)包括以下過程：
[0195] (1)基于低層上下文的感知與推理。依據(jù)T時(shí)刻用戶行為上下文、智能電視狀態(tài)上 下文以及二者的關(guān)聯(lián)上下文，通過⑶L-DFCM模型，獲得T時(shí)刻上下文的隱含交互信息。
[0196] (2)識(shí)別交互情景事件與捕捉用戶意圖，并將隱含交互信息可視化。首先，根據(jù)上 下文線索識(shí)別出T時(shí)刻的交互情景事件，感知用戶在T時(shí)刻的交互意圖；然后，智能電視以隱 式輸出的方式主動(dòng)提供與T時(shí)刻用戶意圖相關(guān)的系統(tǒng)交互服務(wù)。系統(tǒng)交互服務(wù)包括與用戶 意圖相關(guān)的提示信息和智能電視主動(dòng)調(diào)整用戶當(dāng)前的功能狀態(tài)，并以圖形、動(dòng)畫、文字、顏 色等形式實(shí)現(xiàn)隱含信息的可視化，在此過程中無需用戶的主動(dòng)干預(yù)。例如："主動(dòng)彈出音量 調(diào)節(jié)菜單"、"主動(dòng)彈出頻道調(diào)節(jié)菜單"、"節(jié)目音量以一定幅度持續(xù)增大狀態(tài)"。
[0197] (3)可視化隱含信息指導(dǎo)下的主動(dòng)顯式交互輸入。在可視化隱含信息的引導(dǎo)下，用 戶根據(jù)T+1時(shí)刻的系統(tǒng)服務(wù)界面信息，以具有特定語義的交互動(dòng)作主動(dòng)向電視系統(tǒng)發(fā)出交 互命令。
[0198] (4)交互任務(wù)的實(shí)現(xiàn)。在T+1時(shí)刻，將具有特定語義的交互動(dòng)作與此刻的系統(tǒng)界面 交互信息相結(jié)合，以顯、隱信息融合的交互映射范式實(shí)現(xiàn)用戶的特定交互任務(wù)。特定交互場(chǎng) 景下交互任務(wù)(task of interaction，TI)構(gòu)成交互任務(wù)集合TIS，S = (TIi，Tl2,…，TIn)。將 目標(biāo)交互任務(wù)用一個(gè)特征向量TI描述。
[0199] TIi=(DGDM,E,A)i = l,2,---,n (11)
[0200] (11)公式中第一個(gè)特征向量DGDM表示動(dòng)態(tài)手勢(shì)行為信息，第二個(gè)向量E表示通過 識(shí)別出的交互情景事件，第三個(gè)向量A表示感知到的用戶操作意圖。
[0201] DGDM= (ID,posture ,key) (12)
[0202] (12)式中，ID表示動(dòng)態(tài)手勢(shì)唯一標(biāo)識(shí)，posture表示動(dòng)態(tài)手勢(shì)代表的語義，key代表 動(dòng)態(tài)手勢(shì)的識(shí)別標(biāo)志。
[0203] 本發(fā)明研究中，IHCI-smartTV系統(tǒng)存在6種用戶交互意圖，使用公式(9)、（10)可計(jì) 算出在CDL-DFCM模型收斂狀態(tài)下用戶意圖描述因子FIecmvelrgenee的值，如表2所示，CDL-DFCM 模型收斂狀態(tài)下用戶意圖各節(jié)點(diǎn)狀態(tài)值如表3所示。
[0208] 表3
[0209] 基于智能電視手勢(shì)交互上下文的顯隱信息融合隱式交互算法：
[0210]從用戶自身和智能電視出發(fā)，本發(fā)明通過對(duì)交互上下文的分析，利用⑶L-DFCM模 型獲得了隱含的交互線索，并且通過顯隱信息融合的隱式交互行為模型實(shí)現(xiàn)了用戶與智能 電視的智能、和諧、自然的交互。在此基礎(chǔ)上，本發(fā)明提出了基于智能電視手勢(shì)交互的動(dòng)態(tài) 上下文顯隱信息融合的隱式交互算法(Explicit and Implicit Interaction algorithm, EIIA)〇
[0211]算法核心思路是:首先，根據(jù)用戶行為信息模型獲取用戶相關(guān)行為信息，根據(jù)行為 特征向量識(shí)別用戶顯式行為信息；同時(shí)檢測(cè)智能電視功能狀態(tài)，完成低層上下文信息的提 取。然后，根據(jù)CDL-DFCM模型處理低層動(dòng)態(tài)上下文，獲取高層隱含交互信息實(shí)現(xiàn)交互情景事 件的識(shí)別與感知用戶操作意圖，并將隱含交互信息可視化。最后，用戶根據(jù)可視化隱含信息 的引導(dǎo)做出合理的顯式交互動(dòng)作，完成具體交互任務(wù)。顯隱信息融合的隱式交互算法描述 如下：
[0212] Stepl.實(shí)時(shí)檢測(cè)智能電視功能狀態(tài)上下文、用戶顯式行為信息。
[0213] Step2.獲得動(dòng)態(tài)上下文數(shù)據(jù)，根據(jù)多層次動(dòng)態(tài)上下文模型，進(jìn)行數(shù)據(jù)融合與特征 提取，并檢測(cè)低層上下文事件的狀態(tài)。
[0214] Step3.檢測(cè)與識(shí)別T時(shí)刻動(dòng)態(tài)手勢(shì)的類型，根據(jù)動(dòng)態(tài)手勢(shì)類型識(shí)別(DGRA)算法，獲 得T時(shí)刻用戶的動(dòng)態(tài)手勢(shì)類型ID和key值。
[0215] Step4.初始化交互概念集合C。根據(jù)低層上下文事件的狀態(tài)，設(shè)置交互概念集合C 中U、S中各交互概念節(jié)點(diǎn)的初始值，檢測(cè)到的狀態(tài)事件對(duì)應(yīng)的交互概念節(jié)點(diǎn)值置為1，否則 為0;集合E，A中各交互概念節(jié)點(diǎn)初始值設(shè)置為0。
[0216] St ep5 ·根據(jù)鄰接矩陣W和公式(5)獲得交互概念集合C在收斂狀態(tài)（即4 )下的 交互概念節(jié)點(diǎn)值。
[0217] Step6.根據(jù)公式(9)與（10)計(jì)算交互意圖集合中交互意圖Ix(x=l，2，···，n)的交 互意圖描述因子FIx的狀態(tài)值;與意圖描述因子集合FI中對(duì)應(yīng)交互意圖的交互因子比較，若 FIx = FI_胃(如表2)則激活交互意圖^對(duì)應(yīng)的交互情景事件和交互操作，否則返回 Stepl0
[0218] Step7.隱含信息的可視化。將T時(shí)刻激活的交互情景事件對(duì)應(yīng)的功能菜單顯式在 智能電視界面最頂層，且計(jì)算機(jī)執(zhí)行用戶交互意圖對(duì)應(yīng)的交互操作。
[0219] Step8.檢測(cè)T+1時(shí)刻用戶行為，若檢測(cè)到用戶手勢(shì)動(dòng)作，根據(jù)DGRA算法獲得T+1時(shí) 刻的用戶動(dòng)態(tài)手勢(shì)類型ID和key值，執(zhí)行step9;否則，智能電視保持當(dāng)前的功能狀態(tài)，并循 環(huán)執(zhí)行step8。
[0220] Step9.根據(jù)公式（12)計(jì)算T+1時(shí)刻向量DGDM，結(jié)合公式（11)計(jì)算交互任務(wù)特征向 量TI，若TI = TIxU= 1，2，…，6)(如表2)，則計(jì)算機(jī)根據(jù)交互任務(wù)TIx完成對(duì)應(yīng)的功能操作。
[0221]實(shí)驗(yàn)結(jié)果與分析：
[0222]本發(fā)明以ICHI-smartTV為實(shí)驗(yàn)平臺(tái)，設(shè)計(jì)了新的智能電視交互模式。本發(fā)明選擇 智能電視人機(jī)交互中的頻道、音量、手勢(shì)操作開關(guān)三類功能進(jìn)行實(shí)驗(yàn)，具體操作包括:頻道 上一個(gè)、頻道下一個(gè)、音量增大、音量減小、手勢(shì)操作打開、手勢(shì)操作關(guān)閉。本發(fā)明將未考慮 上下文的動(dòng)態(tài)手勢(shì)識(shí)別方法(HCDF-H應(yīng)用在ICHI-smartTV原型系統(tǒng)中作為對(duì)比實(shí)驗(yàn)。
[0223]實(shí)驗(yàn)結(jié)果如下：
[0224] 本發(fā)明選擇10位實(shí)驗(yàn)人員，每位實(shí)驗(yàn)人員根據(jù)表1的手勢(shì)-任務(wù)映射模型完成頻 道、音量、手勢(shì)操作開關(guān)三類功能。實(shí)驗(yàn)要求實(shí)驗(yàn)人員站立并位于智能電視前2.5米處以單 手完成手勢(shì)動(dòng)作。操作過程以音量調(diào)節(jié)為例，當(dāng)用戶想要增大音量，發(fā)出音量增大的相關(guān)手 勢(shì)動(dòng)作，智能電視感知用戶意圖后彈出音量菜單，接著便以一定的幅度持續(xù)增大音量，當(dāng)用 戶對(duì)當(dāng)前的音量感到滿意時(shí)，發(fā)出停止音量命令，此時(shí)音量增大任務(wù)結(jié)束。在每次實(shí)驗(yàn)中每 位實(shí)驗(yàn)人員完成：（1)頻道1到10的遍歷增大調(diào)節(jié)，再完成從頻道10到1的減小調(diào)節(jié)；（2)從音 量30到60的遍歷增大、減小調(diào)節(jié)；（3)-次手勢(shì)操作打開和關(guān)閉功能。上一個(gè)頻道是指頻道 從1調(diào)至頻道10。每位實(shí)驗(yàn)人員各做5次實(shí)驗(yàn)。功能操作的平均準(zhǔn)確率如圖9所示。根據(jù)實(shí)驗(yàn) 人員手勢(shì)軌跡的圖像幀數(shù)的平均值來度量交互過程中完成每項(xiàng)操作手勢(shì)的平均移動(dòng)距離， 每種電視功能操作的手勢(shì)移動(dòng)距離如圖8所示。圖9為DGRA算法的動(dòng)態(tài)手勢(shì)平均識(shí)別率。在 智能電視響應(yīng)時(shí)間一致的情況下，統(tǒng)計(jì)兩種算法實(shí)現(xiàn)相同功能操作所需要的平均時(shí)間，其 中系統(tǒng)響應(yīng)時(shí)間為2.38s，如圖10所示。
[0225] 實(shí)驗(yàn)分析如下：
[0226] 實(shí)驗(yàn)環(huán)境：一臺(tái)PC機(jī)，Intel (R)Xeon(R)CPU，2 · 67GHz，8G內(nèi)存；視覺輸入設(shè)備為： Kinect傳感器。
[0227] 實(shí)驗(yàn)結(jié)果分析：
[0228] 由圖9可知，與HCDF-H算法相比，本發(fā)明算法EIIA有更高的操作準(zhǔn)確率。由圖10可 以看出，基于EIIA算法的智能電視手勢(shì)交互中用戶以更小的手勢(shì)移動(dòng)距離就可以完成操作 任務(wù)，與HCDF-H算法相比完成相同的交互任務(wù)用戶手勢(shì)移動(dòng)的距離減少約60%。本發(fā)明實(shí) 驗(yàn)中，基于EIIA算法的頻道增大或減小操作中，用戶只需一個(gè)開始頻道調(diào)節(jié)命令和結(jié)束頻 道調(diào)節(jié)命令兩個(gè)手勢(shì)動(dòng)作就可以完成試驗(yàn)中9個(gè)頻道的遍歷調(diào)節(jié)。而基于HCDF-H算法則需 要9次手勢(shì)動(dòng)作才能完成相同的頻道操作。同理，音量調(diào)節(jié)也是如此。由圖12可知，基于EIIA 算法的智能電視手勢(shì)交互在頻道操作、音量操作這種經(jīng)常性操作的功能大大減少了用戶的 操作時(shí)間，而對(duì)于手勢(shì)動(dòng)作打開、關(guān)閉這些不頻繁使用的功能則并沒有時(shí)間上的優(yōu)勢(shì)。圖11 是從認(rèn)知心理學(xué)角度，根據(jù)智能電視交互場(chǎng)景建立的用戶手勢(shì)操作的識(shí)別率，識(shí)別率均超 過91%，同時(shí)這些手勢(shì)動(dòng)作是用戶習(xí)慣性的手勢(shì)動(dòng)作，具有較低的認(rèn)知負(fù)荷和操作負(fù)荷，滿 足了智能電視的交互需求。
[0229] 實(shí)驗(yàn)算法分析：
[0230] EIIA算法在動(dòng)態(tài)手勢(shì)識(shí)別算法DGRA算法基礎(chǔ)上結(jié)合智能電視交互上下文提出了 新的交互模式。首先，根據(jù)認(rèn)知心理學(xué)建立智能電視交互用戶習(xí)慣性手勢(shì)動(dòng)作行為模型;其 次，分析交互中用戶的行為信息和智能電視狀態(tài)信息上下文，利用CDL-DFCM模型感知用戶 的操作意圖；最后，通過顯隱信息融合的隱式交互模式完成交互任務(wù)。EIIA算法大大縮短了 用戶的操作時(shí)間和手勢(shì)移動(dòng)距離，從而降低了用戶的操作負(fù)荷。而習(xí)慣性的手勢(shì)動(dòng)作也幫 助用戶降低了智能電視手勢(shì)交互中的認(rèn)知負(fù)荷，從而提高了用戶體驗(yàn)。
[0231]上述技術(shù)方案只是本發(fā)明的一種實(shí)施方式，對(duì)于本領(lǐng)域內(nèi)的技術(shù)人員而言，在本 發(fā)明公開了應(yīng)用方法和原理的基礎(chǔ)上，很容易做出各種類型的改進(jìn)或變形，而不僅限于本 發(fā)明上述【具體實(shí)施方式】所描述的方法，因此前面描述的方式只是優(yōu)選的，而并不具有限制 性的意義。
【主權(quán)項(xiàng)】
1. 一種面向智能電視的隱式交互方法，其特征在于:所述方法包括:實(shí)時(shí)獲取用戶體態(tài) 行為信息，檢測(cè)用戶位置，并檢測(cè)與識(shí)別用戶手勢(shì)動(dòng)作；同時(shí)檢測(cè)智能電視的功能狀態(tài)信 息，獲得低層次的顯式交互信息；將處理后的用戶體態(tài)行為信息與智能電視實(shí)時(shí)的功能狀 態(tài)信息相結(jié)合，建立基于用戶行為和智能電視狀態(tài)的多層次動(dòng)態(tài)上下文推理模型，獲得高 層次的隱含交互信息；將隱含交互信息可視化，識(shí)別用戶在可視化隱含信息指導(dǎo)下完成的 手勢(shì)動(dòng)作，建立顯隱信息融合的隱式交互行為模型，完成交互任務(wù)。2. 根據(jù)權(quán)利要求1所述的面向智能電視的隱式交互方法，其特征在于:所述用戶位置是 指用戶相對(duì)智能電視上攝像頭的水平距離、角度，檢測(cè)用戶位置具體如下： 通過Kinect獲取人體主要關(guān)節(jié)點(diǎn)的=維坐標(biāo)數(shù)據(jù)，根據(jù)人體頭部節(jié)點(diǎn)和人體重屯、坐標(biāo) 信息，確定人體相對(duì)智能電視的位置。3. 根據(jù)權(quán)利要求2所述的面向智能電視的隱式交互方法，其特征在于:所述檢測(cè)與識(shí)別 用戶手勢(shì)動(dòng)作包括用戶手部靜態(tài)行為的識(shí)別和用戶手部動(dòng)態(tài)行為的識(shí)別，具體如下： 基于Kinect實(shí)現(xiàn)手勢(shì)部位的檢測(cè)與分割，通過化enNI SDK獲取人手質(zhì)屯、坐標(biāo)，在人手 坐標(biāo)領(lǐng)域內(nèi)的=維空間提取出手的部位，再使用膚色模型分割方法對(duì)獲取的人手部位進(jìn)行 處理，得到初步的人手圖像，對(duì)初步的人手圖像進(jìn)行去噪、膨脹、腐蝕處理，得到最終的人手 圖像； 采用HCDF-H算法進(jìn)行用戶手部靜態(tài)行為的識(shí)別； 用戶手部動(dòng)態(tài)行為的識(shí)別。4. 根據(jù)權(quán)利要求3所述的面向智能電視的隱式交互方法，其特征在于:所述采用HCDF-H 算法進(jìn)行用戶手部靜態(tài)行為的識(shí)別具體如下:首先標(biāo)準(zhǔn)化手勢(shì)圖像為32*32尺寸，并計(jì)算手 勢(shì)重屯、點(diǎn)到手勢(shì)最遠(yuǎn)點(diǎn)作為主方向向量，沿主方向?qū)⑹謩?shì)圖像分為8個(gè)子區(qū)域，求出子區(qū)域 像素點(diǎn)數(shù)量，生成手勢(shì)坐標(biāo)點(diǎn)分布特征向量，再使用類-化USdod^g離與手勢(shì)模板庫中每 種手勢(shì)的對(duì)比，得出最終識(shí)別結(jié)果。5. 根據(jù)權(quán)利要求4所述的面向智能電視的隱式交互方法，其特征在于:所述用戶手部動(dòng) 態(tài)行為的識(shí)別包括： Stepl.輸入手勢(shì)圖像帖，空間人手S維質(zhì)屯、坐標(biāo)，初始化動(dòng)態(tài)手勢(shì)類型特征向量DGT; Step2.根據(jù)手勢(shì)質(zhì)屯、坐標(biāo)，W每連續(xù)T帖圖像計(jì)算一次連續(xù)T帖圖像的靜態(tài)手勢(shì)運(yùn)動(dòng)距 離d，并W連續(xù)T帖圖像更新一次d; Step3.若d<D，開始識(shí)別觸發(fā)動(dòng)態(tài)手勢(shì)的靜態(tài)手勢(shì)Gesture_start，D為闊值； Step4 .若Gesture_sta;rt識(shí)別成功，獲取此時(shí)的靜態(tài)手勢(shì)質(zhì)屯、點(diǎn)坐標(biāo)S手勢(shì)并轉(zhuǎn)入 StepS； steps.進(jìn)行動(dòng)態(tài)手勢(shì)質(zhì)屯、軌跡提取，并將軌跡質(zhì)屯、點(diǎn)S維坐標(biāo)存儲(chǔ)在data數(shù)組中； Step6.再次判斷連續(xù)T帖手勢(shì)運(yùn)動(dòng)距離d，若d<D則識(shí)別結(jié)束靜態(tài)手勢(shì)Gesture_end;計(jì) 算da1:a數(shù)組長(zhǎng)度1 ength; Step7.若Gesture_end識(shí)別成功，獲取此時(shí)的靜態(tài)手勢(shì)質(zhì)屯、坐標(biāo)E; steps.若1日11旨*11〉20，根據(jù)觸發(fā)動(dòng)態(tài)手勢(shì)的靜態(tài)手勢(shì)質(zhì)屯、點(diǎn)5、結(jié)束動(dòng)態(tài)手勢(shì)的靜態(tài)手 勢(shì)質(zhì)屯、點(diǎn)E的坐標(biāo)值，判斷動(dòng)態(tài)手勢(shì)運(yùn)動(dòng)方向，否則，再次判斷d，若d〉D執(zhí)行step9,否則返回 step8； Step9.判斷動(dòng)態(tài)手勢(shì)類型，求出對(duì)應(yīng)手勢(shì)ID,并修改對(duì)應(yīng)動(dòng)態(tài)手勢(shì)ID的k巧值為1，表示 動(dòng)態(tài)手勢(shì)ID識(shí)別成功，輸出動(dòng)態(tài)手勢(shì)類別ID和與ID對(duì)應(yīng)的key值； SteplO. DGT恢復(fù)初始化。6.根據(jù)權(quán)利要求5所述的面向智能電視的隱式交互方法，其特征在于:所述建立基于用 戶行為和智能電視狀態(tài)的多層次動(dòng)態(tài)上下文推理模型，獲得高層次的隱含交互信息是運(yùn)樣 實(shí)現(xiàn)的： 將交互概念節(jié)點(diǎn)分為四類：用戶行為交互概念節(jié)點(diǎn)、設(shè)備環(huán)境上下文狀態(tài)信息交互概 念節(jié)點(diǎn)、交互情景事件節(jié)點(diǎn)、激發(fā)操作語義的交互概念節(jié)點(diǎn)集合； 交互概念節(jié)點(diǎn)集合C表示多層次動(dòng)態(tài)上下文推理模型的節(jié)點(diǎn)集合，C=化，S，E，A)，其中 U為用戶行為交互概念節(jié)點(diǎn)集合，S為設(shè)備環(huán)境上下文狀態(tài)信息交互概念節(jié)點(diǎn)集合，E為交互 情景事件節(jié)點(diǎn)集合，A為激發(fā)操作語義的交互概念節(jié)點(diǎn)集合； 集合U、S是已知狀態(tài)參量，E、A是未知參量;初始狀態(tài)時(shí)，根據(jù)當(dāng)前時(shí)刻檢測(cè)到的初始狀 態(tài)值決定U、S中各個(gè)節(jié)點(diǎn)的概念值，若檢測(cè)到事件發(fā)生，則與之對(duì)應(yīng)的交互概念節(jié)點(diǎn)值設(shè)置 為1，否則為〇;E、A中各個(gè)概念節(jié)點(diǎn)值初始化為0;當(dāng)多層次動(dòng)態(tài)上下文推理模型收斂到一個(gè) 穩(wěn)定狀態(tài)時(shí)，獲得穩(wěn)定狀態(tài)下各交互概念節(jié)點(diǎn)的值，基于多層次動(dòng)態(tài)上下文推理模型的上 下文推理計(jì)算過程如下式：(5) (技) 其中，聲"是父互町刻的;IX忿但；寺是交互概念Cj在t時(shí)刻的值，Wij是Ci和Cj 的權(quán)重，表示相關(guān)節(jié)點(diǎn)間的因果聯(lián)系強(qiáng)度，根據(jù)交互節(jié)點(diǎn)之間邊的權(quán)值得到CDkDFCM的鄰 接矩陣W，W= {Wll，Wl2，…Wnn}，f表示闊值函數(shù)，其作用是將交互概念的值映射到[0，1 ]區(qū)間， 將W反復(fù)作用于該矢量，C達(dá)到穩(wěn)定的收斂狀態(tài)，即冷=-單1，(7) 均權(quán)值，入表示學(xué)習(xí)率因子，入=0.1， (8) Agri表示交互概念節(jié)點(diǎn)Cx的值在第t+1次迭代的變化量，4表示節(jié)點(diǎn)Cx在第t次的迭代 值； 交互概念集合別央射到感知空間上的交互意圖集合I，I = (Ii，12，…山。對(duì)C上任意交互 意圖Ix,其隸屬函數(shù)fc(Ci)，i = l，2,…，n，其中Cl表示交互概念空間C中的第i個(gè)交互概念節(jié) 點(diǎn)，山(Cl)在區(qū)間[0，1]中取值，iix(Ci)的值反映Cl隸屬于Ix的隸屬程度，值為0表示Cl不屬于 交互意圖Ix, Ix表示如下：餅 (10)。 在感知空間的交互意圖集合I中，交互意圖之間在時(shí)空上存在互斥關(guān)系;根據(jù)公式（10) 計(jì)算用戶育図巧巧革FT-.7. 根據(jù)權(quán)利要求6所述的面向智能電視的隱式交互方法，其特征在于:所述建立顯隱信 息融合的隱式交互行為模型，完成交互任務(wù)包括：51. 實(shí)時(shí)檢測(cè)智能電視功能狀態(tài)上下文、用戶顯式行為信息；52. 獲得動(dòng)態(tài)上下文數(shù)據(jù)，根據(jù)多層次動(dòng)態(tài)上下文模型，進(jìn)行數(shù)據(jù)融合與特征提取，并 檢測(cè)低層上下文事件的狀態(tài)；53. 檢測(cè)與識(shí)別T時(shí)刻動(dòng)態(tài)手勢(shì)的類型，根據(jù)動(dòng)態(tài)手勢(shì)類型識(shí)別算法，獲得T時(shí)刻用戶的 動(dòng)態(tài)手勢(shì)類型ID和k巧值；54. 初始化交互概念集合C。，根據(jù)低層上下文事件的狀態(tài)，設(shè)置交互概念集合C中U、S中 各交互概念節(jié)點(diǎn)的初始值，檢測(cè)到的狀態(tài)事件對(duì)應(yīng)的交互概念節(jié)點(diǎn)值置為1，否則為0;集合 E，A中各交互概念節(jié)點(diǎn)初始值設(shè)置為0;55. 根據(jù)鄰接矩陣W和公式巧)獲得交互概念集合C在收斂狀態(tài)下的交互概念節(jié)點(diǎn)值；56. 根據(jù)公式(9)與（10)計(jì)算交互意圖集合中交互意圖IxU = I，2,…，n)的交互意圖描 述因子FIx的狀態(tài)值；與意圖描述因子集合FI中對(duì)應(yīng)交互意圖的交互因子比較，若FIx = Fr°nvetgenee，則激活交互意圖Ix對(duì)應(yīng)的交互情景事件和交互操作，否則返回SI;57. 將T時(shí)刻激活的交互情景事件對(duì)應(yīng)的功能菜單顯示在智能電視界面最頂層，且計(jì)算 機(jī)執(zhí)行用戶交互意圖對(duì)應(yīng)的交互操作；58. 檢測(cè)T+1時(shí)刻用戶行為，若檢測(cè)到用戶手勢(shì)動(dòng)作，根據(jù)DGRA算法獲得T+1時(shí)刻的用戶 動(dòng)態(tài)手勢(shì)類型ID和key值，然后執(zhí)行S9;否則，智能電視保持當(dāng)前的功能狀態(tài)，并循環(huán)執(zhí)行 S8；59. 計(jì)算T+1時(shí)刻向量DGDM，計(jì)算交互任務(wù)特征向量TI，若TI = TIx，X = 1，2，…，6，則計(jì)算 機(jī)根據(jù)交互任務(wù)TIx完成對(duì)應(yīng)的功能操作。8. 根據(jù)權(quán)利要求7所述的面向智能電視的隱式交互方法，其特征在于:所述S9中的計(jì)算 T+1時(shí)刻向量DGDM是利用公式(12)計(jì)算得到的： DGDM= (ID,posture ,key) (12) 公式（12)中，ID表示動(dòng)態(tài)手勢(shì)唯一標(biāo)識(shí)，pos化re表示動(dòng)態(tài)手勢(shì)代表的語義，key代表動(dòng) 態(tài)手勢(shì)的識(shí)別標(biāo)志。9. 根據(jù)權(quán)利要求8所述的面向智能電視的隱式交互方法，其特征在于:所述S9中的計(jì)算 交互任務(wù)特征向量TI是運(yùn)樣實(shí)現(xiàn)的： 在T+1時(shí)刻，將具有特定語義的交互動(dòng)作與此刻的系統(tǒng)界面交互信息相結(jié)合，W顯、隱 信息融合的交互映射范式實(shí)現(xiàn)用戶的特定交互任務(wù)，特定交互場(chǎng)景下交互任務(wù)TI構(gòu)成交互 任務(wù)集合1'15,8=(1'11，1'12，-，，1'1。），用公式(11)交互任務(wù)特征向量1'1 TIi=化 GDM，E，A)i = l，2，...，n (11) 公式（11)中第一個(gè)特征向量DGDM表示動(dòng)態(tài)手勢(shì)行為信息，第二個(gè)向量E表示通過識(shí)別 出的交互情景事件，第=個(gè)向量A表示感知到的用戶操作意圖。
【文檔編號(hào)】H04N21/422GK105915987SQ201610237422
【公開日】2016年8月31日
【申請(qǐng)日】2016年4月15日
【發(fā)明人】馮志全, 徐治鵬
【申請(qǐng)人】濟(jì)南大學(xué)