專利名稱：一種虛實融合的交互式立體圖書制作方法
技術領域：
本發(fā)明屬于圖書出版和計算機圖形學領域，具體地說，是一種基于增強現(xiàn)實技術 的虛實融合的交互式立體圖書制作方法，應用于帶豐富多媒體信息的教育圖書出版。
背景技術：
增強現(xiàn)實(AugmentedReality，簡稱 AR)是虛擬現(xiàn)實(Virtual Reality，簡稱 VR) 技術的延伸。和虛擬現(xiàn)實技術不同，增強現(xiàn)實有兩個特點第一在概念上，認為數(shù)字空間中 的視頻環(huán)境即是真實環(huán)境；第二在技術上，通過圖像與幾何模型的無縫結合實現(xiàn)虛實融合。 增強現(xiàn)實技術的研究已有十幾年，最早一般都需要佩戴透視式頭盔顯示器，使用戶在觀察 現(xiàn)實物理對象時，可以直接疊加上虛擬對象。隨著技術的發(fā)展，近年來增強現(xiàn)實技術開始通 過二維碼類的標記來定位，攝像頭捕捉到標記圖像后由軟件計算出內容。當前教育領域的研究人員越來越關注增強現(xiàn)實技術在教育領域中的應用，并且設 計了諸多系統(tǒng)或平臺。Kaufmarm(2003)利用增強現(xiàn)實技術建立教師與學生合作式的教學互 動，該系統(tǒng)能呈現(xiàn)簡單的點線面與幾何體的構成，并具有布爾運算的功能，教師可以方便的 表達幾何形體的變化以及在空間中的關系，而學生在這種虛實融合的立體環(huán)境中更容易掌 握復雜的空間概念。DUnser與Horneker (2007)以寓言故事作為內容，加入3D角色、聲音 及互動道具，來觀察5-7歲的兒童如何利用增強現(xiàn)實系統(tǒng)進行互動與合作學習。參與的兒 童利用附有標簽的互動道具，一邊閱讀故事一邊完成與故事內容相關的小任務。研究中發(fā) 現(xiàn)，增強現(xiàn)實環(huán)境會吸引小孩的注意力，并讓他們在活動時會愿意不斷的嘗試著完成任務。 Mulloni (2008)設計了一個“牛與UF0”游戲，通過移動設備上的藍牙裝置與空間中的標簽 圖卡來進行小組對抗游戲。Priestnall (2009)是一篇運用AR在教育上的方法論文章，它 利用航拍照片或雷達圖，加迭等高線進行3D繪圖，重現(xiàn)冰河退卻前的樣貌，使學生對知識 的理解由抽象概念轉化為真實概念。國內對于增強現(xiàn)實的研究近幾年也逐漸成為熱點，但 是在圖書出版領域對AR技術鮮有涉足，國內圖書出版、教育技術領域尚未從理論上系統(tǒng)探 討AR虛擬學習環(huán)境的可行性和實證案例，更沒有開發(fā)自主知識產(chǎn)權的AR虛擬學習環(huán)境去 做深入研究。[1]. Kaufmann, H. , Schmalstieg, D. (2003). Mathematics and geometry education with collaborative augmentedreality[J]. Computers & Graphics,27(3) 339-345.[2]. Diinser, A. , Hornecker, E. (2007). An observational study of children interacting with an augmented story book[C]. Proceeding of Edutainment 305-315[3].Mulloni, A.，Wagner, D.，& Schmalstieg, D. (2008). Mobility and Social Interaction as Core Gameplay Elementsin Multi-Player Augmented Reality[C]. The 3rd international conference on Digital Interactive Media inEntertainment and Arts 472-478[4].Priestnal1, G. (2009). Landscape Visualization in Fieldwork. Journalof Geography in Higher Education[J]. 33(Si) : 104-112.

發(fā)明內容
本發(fā)明要解決的技術問題是克服當前圖書交互性不強、表現(xiàn)力較弱的缺點，提供 一種虛實融合的交互式立體圖書的制作方法。這種圖書制作流程簡單，所需設備不復雜，操 作也異常方便，適合展示平面書籍上難以呈現(xiàn)的立體交互效果。本發(fā)明解決其技術問題所采用的技術方案是一種虛實融合的交互式立體圖書制 作方法，其特征在于，包含以下步驟(1)在圖書上劃分三個區(qū)域①傳統(tǒng)文字圖片區(qū)域、②標記區(qū)域、③實際操作情景 截圖區(qū)域；(2)根據(jù)所述傳統(tǒng)文字圖片區(qū)域中的內容進行三維建模，制作虛擬三維模型；(3)通過攝像頭實時捕獲圖書上所述標記區(qū)域中印制的特定標記，計算所述特定 標記的空間位置和方向，并映射到已建立的虛擬三維模型上，使虛擬三維模型的位置和方 向產(chǎn)生對應的變化，將變化后的虛擬三維模型與攝像頭捕獲的原始場景實時合成后得到虛 實融合的交互式圖像；(4)將步驟(3)中得到的圖像置于所述實際操作情景截圖區(qū)域。進一步地，在所述步驟(3)中的虛實場景疊加方法中使用的攝像頭是普通網(wǎng)絡攝 像頭；一次同時捕獲多個不同的特定標記，映射多個對應的虛擬三維模型，并在同一個虛實 融合畫面場景中顯示出來；設置延遲機制，通過一個延遲變量timeDelay來記錄標記不能 被攝像頭捕獲所持續(xù)的時間，只有該值超過預先設定的閾值才認為標記未被攝像頭捕獲， 降低因攝像頭刷新率不高或者光線明暗變化對標記捕獲不準確帶來的影響，使得合成圖像 不閃爍；設置一個平滑矩陣列表，計算列表中矩陣的平均值作為虛擬三維模型位置和方向 的變化值，降低讀者手抖動的輕微變化使得虛擬對象產(chǎn)生晃動帶來的影響，使得合成圖像 看起來更穩(wěn)定自然。本發(fā)明與現(xiàn)有技術相比的有益效果(1)本發(fā)明方法設備簡單，只需配備一臺筆記本電腦和普通視頻聊天用的網(wǎng)絡攝 像頭，讀者不需要額外操作指令按鍵，只要將書上特定標記對準攝像頭即可在電腦屏幕上 看到虛實融合的立體交互效果，這樣的互動接近自然的閱讀行為，在提高讀者的感官體驗 的同時又不增加操作的復雜性。(2)本發(fā)明能同時識別多標記，在一個場景中生成多個虛擬三維模型，使讀者獲得 更豐富的虛實融合場景體驗。(3)本發(fā)明通過捕獲延遲和矩陣平滑的方法減少了虛擬三維模型的閃爍和抖動， 使讀者獲得更自然、真實的閱讀體驗。(4)本發(fā)明的標記識別、三維圖形顯示及交互效果均使用Java語言實現(xiàn)，由于 Java語言自身跨平臺的特點，使得本書的后臺程序能在不同操作系統(tǒng)移植。


圖1為本發(fā)明的制作過程圖；圖2為本發(fā)明的標記及附加logo示意4
圖3為本發(fā)明的圖書版式編排結構圖；圖4為本發(fā)明的標記采集、計算及虛實場景融合流程圖。
具體實施例方式下面結合附圖及具體實施方式
詳細介紹本發(fā)明。本發(fā)明的一種虛實融合的交互式立體圖書，制作過程如圖1所示。具體步驟如下所述(1)制作標記圖案并印刷書本首先根據(jù)書本需要使用虛擬立體展示的內容數(shù)量制作互不相同、獨一無二的標記 圖案。為保證攝像頭靈敏的捕獲標記，應將標記做得簡單，圖案顏色對比度高，并且不同標 記之間的相互區(qū)分度較明顯?？墒褂猛鈬诒尘?、內圍白背景、字體顏色為黑色的標記，周 圍可輔以裝飾logo圖案，如圖2所示。書籍內容的編排如圖3所示，傳統(tǒng)文字、圖片部分靠左，占整個頁面的2/3，標記部 分置于剩下1/3頁面的右上部分，右下部分放置實際操作情景截圖，讓讀者在沒有攝像頭 的環(huán)境下能直觀地看出本書與傳統(tǒng)書籍的區(qū)別。(2)捕獲標記，制作虛擬三維模型并將其疊加到實時捕獲的視頻中系統(tǒng)首先將攝像頭獲取的真實場景圖像顯示為最底層，然后根據(jù)標定所得的攝像 頭內外參數(shù)和三維注冊算法計算出標記在真實空間中的三維位置，再在預先建好的虛擬三 維模型庫中找出標記塊一一對應的虛擬模型，并在標記的三維位置上將其按照攝像頭的投 影矩陣投影到攝像頭的投影平面上，并將虛擬三維模型在投影平面上的影像和真實空間在 投影平面上的影像進行合成，形成最后虛實結合的場景進行輸出，如圖4所示。具體步驟如下1)利用攝像頭捕獲真實場景，獲得彩色圖像信息；2)根據(jù)設定的閾值將采集到的彩色圖像轉換成二值黑白圖像，并對該二值圖像進 行連通域分析；3)找出其中所有的四邊形區(qū)域作為候選匹配區(qū)域，將每一候選區(qū)域與模板庫中的 模板進行匹配，如果產(chǎn)生匹配，則認為捕獲到了一個標記；4)根據(jù)攝像頭的位置信息和真實場景中的定位標記來計算攝像頭相對于已知標 記的位置和姿態(tài)；5)按照仿射變換矩陣在視平面上繪制虛擬物體，最后與真實場景的視頻合并，并 投影到普通顯示屏幕上。(3)設置延遲機制采用上述方法能看到合成視頻流中的虛擬對象。但是實際操作中，如果讀者操作 過快但攝像頭刷新率不高，或因環(huán)境光線較差，甚至有時候讀者不小心偶然遮住了標記的 小塊邊緣，就會發(fā)生攝像頭瞬時捕獲不到標記的情況，這導致合成的視頻圖像上的虛擬三 維模型出現(xiàn)不定時的短暫消失，即虛擬三維模型發(fā)生“閃爍”，影響了讀者觀看的效果。本發(fā) 明采用設置延遲機制的方法，通過設置一個延遲變量timeDelay來記錄標記不能被攝像頭 捕獲所持續(xù)的時間，只有該值超過預先設定的閾值才認為標記未被攝像頭捕獲，此時不顯 示虛擬三維模型。這一措施減少了虛擬三維模型的閃爍，使讀者獲得更自然的觀看效果。
5
(4)設置平滑移動讀者在操作書籍的時候由于手的抖動等行為導致標記的位置和朝向發(fā)生輕微的 變化，而這種變化都被攝像頭捕獲下來而重新計算虛擬三維模型的位置和朝向，使得讀者 在屏幕上看到的虛擬三維模型不停地輕微抖動，讓讀者覺得不真實。本發(fā)明設置了一個矩 陣列表smoothingMatrixList，將攝像頭捕獲到的標記的位置和方位的變化矩陣按順序存 儲到smoothingMatrixList中，當矩陣個數(shù)超過預先設定的閾值時，計算列表中所存儲矩 陣的平均值matrixavg作為虛擬三維模型的變化矩陣，同時移除smoothingMatrixList中 最先加入的矩陣。這一措施使得虛擬三維模型的平移或旋轉變得平滑。算法如下所示ArrayList<Matrix4d>smoothingMatrixList //設置類型為 Matrix4d 的歹Ij表MATRIX_MAX_NUM = 10 //設置矩陣列表中容納的矩陣最大個數(shù)matNum = 0...if (matNum = = MATRIX_MAX_NUM) {smoothingMatrixList. remove(0)matNum = matNum-1}smoothingMatrixList. add(currentMat)matNum = matNum+1...public Matrix4d get () {//得到平滑移動矩陣的調用方法函數(shù)for(Matrix4d mat smoothingMatrixList)matrixavg. add (mat) ；//得到矩陣列表中的所有矩陣和matrixavg. mul (1. 0/matNum) ；// 得到平均矩陣return matrixavg ；}通過調用上述算法中的get()方法函數(shù)即可得到虛擬三維模型的平滑變化矩陣。
Il移除矩陣列表中最先加入的矩陣 Il將當前矩陣加入到矩陣列表中
權利要求
一種虛實融合的交互式立體圖書制作方法，其特征在于包含以下步驟(1)在圖書上劃分三個區(qū)域①傳統(tǒng)文字圖片區(qū)域、②標記區(qū)域、③實際操作情景截圖區(qū)域；(2)根據(jù)所述傳統(tǒng)文字圖片區(qū)域中的內容進行三維建模，制作虛擬三維模型；(3)通過攝像頭實時捕獲圖書上所述標記區(qū)域中印制的特定標記，計算所述特定標記的空間位置和方向，并映射到已建立的虛擬三維模型上，使虛擬三維模型的位置和方向產(chǎn)生對應的變化，將變化后的虛擬三維模型與攝像頭捕獲的原始場景實時合成后得到虛實融合的交互式圖像；(4)將步驟(3)中得到的圖像置于所述實際操作情景截圖區(qū)域。
2.根據(jù)權利要求1所述的虛實融合的交互式立體圖書制作方法，其特征在于，在所述 步驟(3)中捕獲特定標記所用的攝像頭是普通網(wǎng)絡攝像頭。
3.根據(jù)權利要求1所述的虛實融合的交互式立體圖書制作方法，其特征在于，在所述 步驟(3)中同時捕獲多個不同的特定標記，映射多個對應的虛擬三維模型，并在同一個虛 實融合畫面場景中顯示出來。
4.根據(jù)權利要求1所述的虛實融合的交互式立體圖書制作方法，其特征在于，在所述 步驟(3)中設置一個延遲變量timeDelay記錄標記不能被攝像頭捕獲所持續(xù)的時間，只有 該值超過預先設定的閾值才認為標記未被攝像頭捕獲。
5.根據(jù)權利要求1所述的虛實融合的交互式立體圖書制作方法，其特征在于，在所述 步驟(3)中設置一個平滑矩陣列表，計算列表中矩陣的平均值作為虛擬三維模型位置和方 向的變化值。
全文摘要
一種虛實融合的交互式立體圖書制作方法，在圖書上劃分為①傳統(tǒng)文字圖片區(qū)域，②標記區(qū)域和③實際操作情景截圖區(qū)域；使用普通網(wǎng)絡攝像頭捕獲標記區(qū)域中的特定標記，計算標記的空間位置和方向，映射到虛擬三維模型，并與拍攝到的真實場景合成得到虛實融合交互式圖像。通過捕獲延遲和設置矩陣平滑的方法減少了虛擬三維模型的閃爍和抖動。本發(fā)明應用于圖書出版領域，設備簡單，交互行為自然，在提高讀者的感官體驗的同時又不增加操作的復雜性。
文檔編號G06T17/00GK101976463SQ20101053515
公開日2011年2月16日 申請日期2010年11月3日 優(yōu)先權日2010年11月3日
發(fā)明者余勝泉, 吳娟, 蔡蘇, 高夢楠 申請人:北京師范大學