專利名稱：一種生成多媒體概念圖的方法
技術領域：
本發(fā)明屬于人機交互領域，具體涉及一種生成支持多通道輸入的多媒體概念圖的方法。
背景技術：
概念圖是某個主題的概念及其關系的圖形化表示，是用來組織和表征知識的工具(參 考文獻Novak, J.D. and Cafias， A.J. The Theory Underlying Concept Maps and How to Construct Them, Technical Report IHMC CmapTools 2006-01, Florida Institute for Human and Machine Cognition, 2006.)。它包括概念和概念之間的關系，使用節(jié)點表示概念、連線表 示概念之間的關系。概念圖由一系列具有時序信息的手繪筆劃組成，每個筆劃由一組包含 二維坐標信息的點序列組成，概念圖以直觀形象的方式進行表達和思考，非常接近人的自 然思維過程。它有助于創(chuàng)造性思維，可以用于表示知識、組織知識、協(xié)同與溝通、教育等 領域(參考文獻Novak, J.D. Learning, Creating, and Using Knowledge: Concept Maps as Facilitative Tools in Schools and Corporations. Lawrence Erlbaum Associates: Mahwah， NJ， 1998.)。關于概念圖在上述領域作用的研究正逐漸成為熱點。2004年，首屆概念圖國際 會議在西班牙召開，該會議主要側重于研究如何繪制概念圖、概念圖在教育、協(xié)同等方面 的應用、計算機輔助的概念圖工具的作用等。目前出現(xiàn)了一些計算機輔助的概念圖繪制工 具，如MindManager, Inspiration, FreeMind。這些工具主要采用基于鍵盤和鼠標的交互方 式制作概念圖，其中一些工具支持包含圖片和超鏈接的多媒體概念圖。目前，也出現(xiàn)了基 于數(shù)字筆的手繪概念圖制作方法，可以提取用戶用數(shù)字筆繪制的概念圖中的結構。人與人之間的交流通過使用多個通道而變得簡單，多通道界面也從多個通道的使用中 獲益，它拓寬了用戶到計算機的通信帶寬(參考文獻董士海，王堅，戴國忠.人機交互和 多通道用戶界面[M].北京科學出版社，1999.)。近年來，隨著計算設備的不斷發(fā)展，越 來越多的設備(如智能手機、UMPC、 TabletPC等)開始支持數(shù)字筆、語音、視頻、圖片 等類型的輸入。人與計算設備之間的交流也可以通過使用多個通道變得更加簡單。目前已有的概念圖制作方法，大部分是基于鍵盤和鼠標的交互方式，部分方法采用數(shù) 字筆的交互方式。它們并沒有充分利用多通道輸入的優(yōu)勢。發(fā)明內容本發(fā)明的目的在于利用多通道輸入，提供一種生成多媒體概念圖的方法，從而提高生 成概念圖的效率?；诙嗝襟w概念圖，用戶可以將多媒體信息以概念圖的方式組織，從而 支持多媒體信息的快速査看。本發(fā)明概念圖中的多媒體對象由多個通道采集得到，這些通道既可以是配備數(shù)字筆的 設備上的通道，也可以是獨立的多媒體設備。配備數(shù)字筆的設備，如MID (MobileInemet Device,移動互聯(lián)網(wǎng)設備)、PDA (Personal Digital Assistant個人數(shù)碼助理)、Tablet PC 等；獨立的多媒體設備，如麥克風、攝像機、相機和攝像頭等。具體來說，本發(fā)明的技術方案如下1、 用數(shù)字筆創(chuàng)建包含節(jié)點和連線的概念圖，同時多媒體設備通過設備驅動程序創(chuàng)建 多媒體對象，并保存到音頻文件、圖片文件或視頻文件。多媒體設備可以是配備了數(shù)字筆的設備，也可以是支持采集多媒體對象的設備；本發(fā) 明創(chuàng)建的多媒體對象包括視頻、音頻、圖片。保存多媒體文件時，用戶可以修改多媒體對象的名稱并為多媒體對象手動添加屬性 (如作者信息、備注等)，以更好的描述多媒體對象，并便于多媒體對象的檢索和察看。 每個屬性的具體內容為文本，文本的添加方式可以采用傳統(tǒng)的鍵盤輸入，也可以通過手寫 輸入或語音輸入，并將輸入識別為文本。2、 采用解析裝置解析上述概念圖的結構，獲得概念圖中的節(jié)點、連線以及節(jié)點連線 之間的關系，利用識別裝置識別出概念圖中節(jié)點含義，得到步驟1)創(chuàng)建的概念圖節(jié)點對 應的正規(guī)漢字或數(shù)字。這里可以通過輸入支持多字符識別的識別引擎(如漢王手寫識別引 擎)進行識別；也可以通過將手繪概念圖的一個節(jié)點切分為多個字符的裝置，進行識別。解析概念圖的方法如圖3所示，具體如下1)預處理。將繪制的概念圖中距離小于某閾值的筆劃合并為筆劃塊，得到由筆劃塊 組成的概念圖，并構建表示筆劃塊間的遠近關系的圖，創(chuàng)建的圖中節(jié)點對應筆劃塊，連線 上的值為相鄰節(jié)點對應的筆劃塊之間的距離；即構建的圖中的節(jié)點對應創(chuàng)建的概念圖的筆 劃塊，構建圖中相鄰節(jié)點之間的距離對應概念圖中筆劃塊間的距離；2) 圖劃分為子圖。采用圖劃分的方法(可參考文獻Karypis, G. and Kumar, V. hMETIS: A Hypergraph Partitioning Package (Version 1.5.3) [EB/OL]. http:〃glaros.dtc.umn.edu/gkhome/views/metis/hmetis/download.htm1.)對預處理得至!j的圖進行 分割，將上述表示筆劃塊間遠近關系的圖分割為幾個子圖，從而可以降低提取手繪概念圖 中節(jié)點和連線筆劃塊的時間復雜度；3) 提取每個子圖中的筆劃塊。采用動態(tài)規(guī)劃的方法提取手繪概念圖中的節(jié)點筆劃塊 和連線筆劃塊，由于手繪概念圖中節(jié)點筆劃塊密度往往大于連線筆劃塊、屬于同一節(jié)點的 筆劃塊的距離小于屬于不同節(jié)點的筆劃塊間的距離、節(jié)點與連線交替出現(xiàn)，動態(tài)規(guī)劃方法 利用了手繪概念圖的筆劃塊密度、筆劃塊間距離以及筆劃塊的上下文信息。4) 根據(jù)手繪概念圖中的筆劃塊，構建節(jié)點和連線筆劃塊之間是否相鄰的關系，解析 出概念圖的結構。3、分析創(chuàng)建的概念圖與多媒體對象屬性之間的關系，査找與概念圖節(jié)點匹配的多媒 體對象，建立多媒體對象與手繪概念圖節(jié)點之間的關聯(lián)，因而生成一個包含多媒體對象的 多媒體概念圖。多媒體對象的主要屬性可以描述為<名稱，類型，創(chuàng)建時間，作者信息，備注>。這些 屬性可以由系統(tǒng)自動設定或者由用戶修改得到。多媒體對象的類型包括視頻、音頻和圖片。 每類多媒體對象均包括時間屬性，且設定與多媒體類型相關的關鍵詞列表。視頻相關的關 鍵詞包括視頻、錄像等，音頻相關的關鍵詞包括錄音、音樂、聲音等，圖片相關的關鍵 詞包括合影、照片、拍照等。其它的關鍵詞可以由用戶自由添加。多媒體對象往往與手繪概念圖中的葉子節(jié)點相關聯(lián)。對每個概念圖的葉節(jié)點，査找其 相關的多媒體對象并建立多媒體節(jié)點，如圖4所示。其過程如下1) 在多媒體對象的時間屬性中査找該葉節(jié)點的時間節(jié)點，若未找到，則將所有多媒 體對象加到候選多媒體對象集合，轉步驟2;否則，設定時間節(jié)點的時間為該葉節(jié)點內容 的時間；建立多媒體對象與該葉節(jié)點的關聯(lián)；2) 對候選多媒體對象集合中的每個多媒體對象，將其名稱、類型、作者信息、備注 等屬性以及該多媒體對象類型相關的關鍵詞分別與葉節(jié)點的識別結果進行匹配。若葉節(jié)點 的識別結果與多媒體對象的某個屬性存在相同的字或詞，則建立該多媒體對象與當前葉節(jié) 點的關聯(lián)；若葉結點識別結果與某多媒體對象的所有屬性均無相同的字或詞，則該葉節(jié)點 與該多媒體對象之間無關聯(lián)；3) 建立與葉節(jié)點相關的多媒體對象與葉節(jié)點間的關聯(lián)，即為創(chuàng)建的概念圖節(jié)點添加多媒體對象的縮略圖，并提供縮略圖指向多媒體對象的鏈接?？s略圖的一種定義如下音 頻對象的縮略圖對應音頻對象的名稱，圖片對象的縮略圖為縮小的圖片，視頻對象的縮略 圖為視頻第一幀對應的縮小的圖片。多媒體節(jié)點關聯(lián)的對象的可視化效果可以由用戶定義 的其它方式，如呈現(xiàn)每個多媒體對象的名稱。指向多媒體對象的鏈接可以在用戶點擊多媒 體對象縮略圖的時候，用相應的多媒體播放器打開多媒體對象文件進行察看。進一步，本發(fā)明還可以采用筆手勢對生成的多媒體概念圖進行編輯，如刪除節(jié)點、移 動節(jié)點、交換節(jié)點、放縮等。筆手勢是指由數(shù)字筆的筆劃作為控制命令，與多媒體概念圖交互。不同的筆手勢對應不同的交互含義。筆手勢的識別可以采用常用的Rubine手勢識別 算法(參考文獻Rubine D. Specifying gestures by example. ACM SIGGRAPH Computer Graphics, 1991， 25(4)， 329-337.)和易于實現(xiàn)的$1手勢識別算法(參考文獻Wobbrock， J.O., Wilson, A.D. and Li, Y. Gestures without libraries, toolkits or training: a $1 recognizer for user interface prototypes. In Proc. UIST 2007,159-168.)。綜上，和現(xiàn)有技術相比，本發(fā)明具有的優(yōu)點和積極效果如下1、 本發(fā)明支持用數(shù)字筆繪制概念圖，釆用筆手勢的交互方式操縱多媒體概念圖，模 擬傳統(tǒng)的記筆記方式，符合用戶的習慣，更加自然和高效。2、 本發(fā)明支持多個交互通道的輸入，得到各種多媒體信息，從而可以生成包含各種 多媒體信息的多媒體概念圖。3、 本發(fā)明支持自動建立手繪概念圖節(jié)點與多媒體對象之間的關聯(lián)，將手繪概念圖轉化為多媒體概念圖。


圖1本發(fā)明生成多媒體概念圖的示意圖。圖2本發(fā)明多媒體對象的建立過程。 圖3本發(fā)明解析概念圖的流程圖。圖4本發(fā)明多媒體對象與手繪概念圖節(jié)點之間建立關聯(lián)的過程。 圖5本發(fā)明一個手繪概念圖的實例及由本發(fā)明提取的結構和含義。(a)為創(chuàng)建的概念圖；(b)為解析后的概念圖。 圖6加入縮略圖的多媒體概念圖實例。 圖7本發(fā)明編輯多媒體概念圖的實例圖。(a)刪除節(jié)點；(b)節(jié)點交換；(C)放大節(jié)點；(d)縮小節(jié)點；(e)粘貼節(jié)點。圖8本發(fā)明概念圖編輯的節(jié)點交換手勢。 圖9本發(fā)明具體實施例生成的多媒體概念圖。
具體實施方式
為了使本技術領域的人員更好的理解本發(fā)明，下面采用一個具體的實施例來對本發(fā)明作進一步的詳細說明。以配備了數(shù)字筆、攝像頭和麥克風的MID多媒體設備為例。用數(shù)字筆在MID上創(chuàng)建了一個為期一天的某會議計劃的概念圖(如圖5(a)所示)。 MID通過解析裝置解析上述創(chuàng)建的概念圖結構，分別采用預處理、圖劃分為子圖、提取筆 劃塊和生成概念圖結構四個階段，獲得用戶創(chuàng)建的概念圖結構(如圖5(b)所示)。之后， 通過手寫識別引擎對手繪概念圖的節(jié)點進行識別，得到手繪概念圖節(jié)點的含義(如圖5(c) 所示)，并獲得概念圖中的節(jié)點、連線以及節(jié)點連線之間的關系。這樣，用戶解析出的概 念圖結構能夠被MID所理解。在會議當天，用戶為整個會議創(chuàng)建了一些多媒體內容。如上午開會的時候，用戶為會 議錄制了視頻；會議結束的時候，用戶為所有參會者留影作為紀念。這些多媒體內容通過 使用MID或者其它設備(如攝像機)采集并保存。會議結束后，這些多媒體內容被導入到MID上。用戶編輯這些多媒體對象，修改視頻 名字為"會議錄像"，對照片(名稱為"MG一0001.jpg")未做任何修改。用戶打開最初 的手繪概念圖，通過時間屬性建立多媒體對象與手繪概念圖中節(jié)點的關聯(lián)，得到多媒體概 念圖(如圖6所示)。由于視頻的創(chuàng)建時間為10: 35,它與多媒體概念圖中節(jié)點"10: 30" 連接的葉節(jié)點"開會"在時間上較為接近，且頁節(jié)點的識別結果"開會"與"會議錄像" 是相關的，因此錄像與"開會"自動建立關聯(lián)。而葉節(jié)點"合影"的時間為17: 30,照 片的拍攝時間為17: 25，兩者的時間間隔較小。另外，葉節(jié)點的識別結果"合影"與圖片 相關的關鍵詞中的"合影" 一致。因而，照片與葉節(jié)點"合影"建立關聯(lián)。為可視化多媒 體對象與手繪概念圖節(jié)點間的關聯(lián)，在概念圖節(jié)點右側顯示多媒體對象的縮略圖。"開會"后面顯示的是"會議錄像"視頻的第一幀對應的圖像的縮略圖。"合影"后面顯示的為照 片的縮略圖。通過點擊縮略圖，可以進行多媒體信息的詳細瀏覽。本發(fā)明可以采用筆手勢的交互方式對建立的多媒體概念圖進行編輯整理。筆手勢為用 數(shù)字筆繪制的筆劃作為控制命令。圖7表示了一些筆手勢的實例，包括刪除節(jié)點、節(jié)點交 換、放大、縮小、粘貼手勢，其中用圓圈圈中的點為筆手勢的起始點。這些筆手勢需要作 用在已選中的待操作的對象上。圖8示例了用戶使用節(jié)點交換手勢將兩個節(jié)點對換的情況。用戶若希望交換多媒體概念圖中的兩個節(jié)點，首先需要選中一個待交換的節(jié)點，之后在另外一個待交換的節(jié)點上完成節(jié)點交換手勢，則兩個節(jié)點將互換。即若要將10: 30開會的 節(jié)點與13: OO開會的節(jié)點交換，首先選中10: 30開會的節(jié)點，并在13: 00開會的節(jié)點上做交換的筆手勢，就完成了節(jié)點交換。多媒體概念圖將更新其結構，反映節(jié)點交換后的 多媒體概念圖。本實施例對建立的多媒體概念圖實現(xiàn)編輯后，得到了如圖9所示的一個多媒體概念圖，其中圖中一些節(jié)點包含了圖片和視頻內容。以上對本發(fā)明所述的生成多媒體概念圖的方法進行了詳細的說明，但顯然本發(fā)明的具 體實現(xiàn)形式并不局限于此。對于本技術領域的一般技術人員來說，在不背離本發(fā)明所述方 法的精神和權利要求范圍的情況下對它進行的各種顯而易見的改變都在本發(fā)明的保護范 圍之內。
權利要求
1、一種生成多媒體概念圖的方法，其步驟包括1)用數(shù)字筆創(chuàng)建包含節(jié)點和連線的概念圖，同時利用多媒體設備創(chuàng)建多媒體對象，保存在多媒體設備上；2)采用解析裝置解析上述概念圖結構，獲得概念圖的節(jié)點、連線及節(jié)點連線間的關系，利用識別裝置識別出概念圖中節(jié)點對應的漢字或數(shù)字；3)通過匹配多媒體對象的屬性與概念圖節(jié)點識別結果的關系，建立多媒體對象與概念圖節(jié)點間的關聯(lián)，生成多媒體概念圖。
2、 如權利要求l所述的一種生成多媒體概念圖的方法，其特征在于步驟2)中解析裝置 中解析概念圖結構的方法為a) 概念圖中距離小于一定閾值的筆劃合并為筆劃塊，以概念圖的筆劃塊為節(jié)點，相 鄰筆劃塊間的距離為節(jié)點連線值，構建表示筆劃塊間關系的圖；b) 采用圖劃分的方法將上述表示筆劃塊間關系的圖分割為幾個子圖； C)采用動態(tài)規(guī)劃的方法提取各子圖中節(jié)點筆劃塊和連線筆劃塊；d)以提取的節(jié)點筆劃塊和連線筆劃塊，構建節(jié)點和連線筆劃塊之間的相鄰關系，解 析出概念圖結構。
3、 如權利要求l所述的一種生成多媒體概念圖的方法，其特征在于步驟2)中所述識別 裝置為支持多字符識別的識別引擎或具有切分概念圖節(jié)點分為多個字符的裝置。
4、 如權利要求1所述的一種生成多媒體概念圖的方法，其特征在于采用筆手勢對上述 步驟3)生成的概念圖進行編輯，所述編輯方法包括刪除節(jié)點、交換節(jié)點、放大縮小節(jié)點 及粘貼節(jié)點。
5、 如權利要求1所述的一種生成多媒體概念圖的方法，其特征在于所述多媒體設備為 配備了數(shù)字筆的設備或支持采集多媒體對象的設備。
6、 如權利要求5所述的一種生成多媒體概念圖的方法，其特征在于所述多媒體設備包 括MID、 PDA、 Tablet PC、麥克風、攝像機、相機和攝像頭。
7、 如權利要求1所述的一種生成多媒體概念圖的方法，其特征在于所述多媒體對象包 括音頻、圖片和視頻。
8、 如權利要求7所述的一種生成多媒體概念圖的方法，其特征在于步驟3)中所述關聯(lián) 是指在概念圖節(jié)點添加多媒體對象的縮略圖，所述音頻對象的縮略圖為音頻對象的名稱， 圖片對象的縮略圖為縮小的圖片，視頻對象的縮略圖為視頻第一幀對應的縮小圖片。
9、 如權利要求1所述的一種生成多媒體概念圖的方法，其特征在于匹配多媒體對象的屬性與概念圖節(jié)點識別結果關系的步驟為-a) 將概念圖葉節(jié)點相鄰節(jié)點的時間節(jié)點與多媒體對象的時間屬性分別進行匹配；若一葉節(jié)點相鄰節(jié)點的時間節(jié)點與多媒體對象的時間屬性相同，則設定時間節(jié)點的時間為該葉節(jié)點的時間；建立多媒體對象與該葉節(jié)點的關聯(lián)；b) 否則將概念圖葉節(jié)點的識別結果分別與每個多媒體對象的名稱、類型、作者信息 和備注屬性以及該多媒體對象類型相關的關鍵詞進行匹配；若一葉節(jié)點識別結果與多媒體對象的一屬性相同，則該多媒體對象與當前葉節(jié)點關聯(lián)。
全文摘要
本發(fā)明屬于人機交互領域，具體涉及一種生成多媒體概念圖的方法。本發(fā)明利用數(shù)字筆創(chuàng)建概念圖，并通過多通道輸入多媒體對象，將輸入的多媒體信息以概念圖的方式組織，生成包含各種多媒體信息的多媒體概念圖，同時能夠采用筆手勢的交互方式編輯多媒體概念圖，支持多媒體信息的快速查看。本發(fā)明支持用數(shù)字筆繪制概念圖，模擬傳統(tǒng)的記筆記方式，符合用戶的習慣，更加自然和高效；本發(fā)明支持自動建立手繪概念圖節(jié)點與多媒體對象之間的關聯(lián)，將用數(shù)字筆創(chuàng)建的概念圖轉化為多媒體概念圖，提高生成多媒體概念圖的效率。
文檔編號G06T11/80GK101620738SQ20091008961
公開日2010年1月6日 申請日期2009年7月24日 優(yōu)先權日2009年7月24日
發(fā)明者姜映映, 王宏安, 豐 田 申請人:中國科學院軟件研究所