增強現(xiàn)實版交互式電子技術(shù)手冊、內(nèi)容構(gòu)建及輔助維修/輔助操作流程的構(gòu)建的制作方法
【專利摘要】本發(fā)明涉及一種增強現(xiàn)實版交互式電子技術(shù)手冊、內(nèi)容構(gòu)建及輔助維修/輔助操作流程的構(gòu)建。交互式電子技術(shù)手冊包括場景讀取模塊、樣本圖像識別匹配模塊、標(biāo)識物識別模塊、手勢識別模塊、語音識別模塊、虛實疊加模塊、文件查找模塊和主控制模塊；通過主控制模塊對各個工作模塊的調(diào)用，構(gòu)建了輔助維修或輔助操作的工作流程。本發(fā)明通過樹形文件夾結(jié)構(gòu)對多媒體信息提示文件進行組織，以手勢、語音等人機交互手段并結(jié)合樣本圖像、標(biāo)識物的識別匹配等多種信息源作為激活或消隱條件，實現(xiàn)了多媒體提示信息在維修或操作場景中按流程實時疊加，達到增強現(xiàn)實輔助維修或操作的效果。本發(fā)明在裝備維修或操作過程中無需通過手動查閱的方式獲取提示信息，提高了維修操作的工作效率。
【專利說明】
増強現(xiàn)實版交互式電子技術(shù)手冊、內(nèi)容構(gòu)建及輔助維修/輔助操作流程的構(gòu)建
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種復(fù)雜裝備輔助維修保障和操作訓(xùn)練方法，具體地說是一種增強現(xiàn)實版交互式電子技術(shù)手冊、內(nèi)容構(gòu)建及輔助維修/輔助操作流程的構(gòu)建。
【背景技術(shù)】
[0002]增強現(xiàn)實技術(shù)將虛擬提示信息疊加到真實場景中，在復(fù)雜裝備維修中為用戶提供了直觀靈活的操作提示，并可為那些不熟悉復(fù)雜裝備檢測維修的用戶提供準(zhǔn)確實時的維修幫助，對于縮短裝備維護周期、提高維修效率、降低成本具有重要意義。隨著可穿戴智能設(shè)備的發(fā)展，增強現(xiàn)實輔助維修技術(shù)的應(yīng)用將會越來越廣泛。
[0003]交互式電子技術(shù)手冊(IETM)將技術(shù)手冊的內(nèi)容轉(zhuǎn)換為數(shù)字化，進行重新編制，并以交互方式進行查閱，通過計算機等設(shè)備把所查閱內(nèi)容展現(xiàn)給維修技術(shù)人員或系統(tǒng)操作人員，可以給修理、維護及操作等工作帶來顯著改進，提高工作效率。
[0004]現(xiàn)有的交互式電子技術(shù)手冊以便攜式計算機或平板計算機為載體，交互方式為手動觸摸，顯然會對維修操作過程帶來諸多不便。將增強現(xiàn)實技術(shù)與交互式電子技術(shù)手冊相結(jié)合可進一步提高維修操作效率，也就是說以頭戴式增強現(xiàn)實設(shè)備為載體的交互式電子技術(shù)手冊可將“雙手解放”，進一步提高交互式電子技術(shù)手冊的適應(yīng)性。通過查閱國內(nèi)外相關(guān)性文獻，尚無這樣的設(shè)備和手冊。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的就是提供一種增強現(xiàn)實版交互式電子技術(shù)手冊、內(nèi)容構(gòu)建及輔助維修/輔助操作流程的構(gòu)建，以解決傳統(tǒng)的交互式電子技術(shù)手冊沉浸感不強、使用效率低等問題。
[0006]本發(fā)明的目的之一是這樣實現(xiàn)的:一種增強現(xiàn)實版交互式電子技術(shù)手冊，以頭戴式增強現(xiàn)實設(shè)備為載體，包括有:
場景讀取模塊，與主控制模塊相接，通過頭戴式增強現(xiàn)實設(shè)備上的攝像頭實時讀取維修或操作場景；
樣本圖像識別匹配模塊，與主控制模塊相接，用于匹配場景中實物圖像與樣本圖像；
標(biāo)識物識別模塊，與主控制模塊相接，用于識別粘貼在場景實物上的標(biāo)識物；
手勢識別模塊，與主控制模塊相接，用于識別靜態(tài)手勢和動態(tài)手勢；
語音識別模塊，與主控制模塊相接，用于識別語音；
虛實疊加模塊，與主控制模塊相接，用于估計觀察視角和疊加虛擬提示信息；
文件查找模塊，與主控制模塊相接，用于查找內(nèi)容文件夾內(nèi)的多媒體信息提示文件和控制文件夾的切換；以及
主控制模塊，分別與調(diào)用所述場景讀取模塊、所述樣本圖像識別匹配模塊、所述標(biāo)識物識別模塊、所述手勢識別模塊、所述語音識別模塊、所述虛實疊加模塊和所述文件查找模塊相接，用于調(diào)用所述場景讀取模塊、所述樣本圖像識別匹配模塊、所述標(biāo)識物識別模塊、所述手勢識別模塊、所述語音識別模塊、所述虛實疊加模塊和所述文件查找模塊，構(gòu)建輔助維修或輔助操作流程。
[0007]所述增強現(xiàn)實版交互式電子技術(shù)手冊的內(nèi)容包括:多媒體信息提示文件、激活條件、消隱條件和樣本圖像庫。
[0008]所述多媒體信息提示文件包括三維模型文件、菜單文件、文本文件、音頻文件、視頻文件和圖片文件。
[0009]所述激活條件包括系統(tǒng)控制激活、樣本圖像激活、標(biāo)識物激活、手勢激活和語音命令激活。
[0010]所述消隱條件包括系統(tǒng)控制消隱、手勢消隱、語音命令消隱和時間控制消隱。
[0011]本發(fā)明的目的之二是這樣實現(xiàn)的:一種增強現(xiàn)實版交互式電子技術(shù)手冊的內(nèi)容構(gòu)建方法，所述多媒體信息提示文件與樣本圖像庫的存儲結(jié)構(gòu)為樹形結(jié)構(gòu)文件夾，依據(jù)維修或操作流程逐層構(gòu)建，流程當(dāng)前步驟所對應(yīng)的所述多媒體信息提示文件和所述樣本圖像庫存儲于當(dāng)前層級文件夾，下一步驟所對應(yīng)的所述多媒體信息提示文件和所述樣本圖像庫存儲于Next_N子文件夾，N的取值由分支數(shù)量決定，依此類推直到所有流程的所有步驟完成。
[0012]所述多媒體信息提示文件包括文件類別碼、激活條件碼、消隱條件碼、樣本圖像或標(biāo)識物ID、手勢控制字、語音命令控制字、時間控制字和狀態(tài)控制字。
[0013]所述文件類別碼用于標(biāo)識多媒體信息提示文件類型;所述激活條件碼用于表征本文件疊加到場景中所需的激活條件;所述消隱條件碼用于表征本文件疊加到場景后的消隱條件;所述手勢控制字用于表征本文件無需再疊加到場景中所需的手勢控制代碼;所述時間控制字用于表征本文件疊加在場景的顯示時間；所述狀態(tài)控制字用于區(qū)分所述的多媒體信息提示文件激活的附加狀態(tài)條件。
[0014]當(dāng)所述多媒體信息提示文件的所述激活條件碼所代表的激活條件是在樣本圖像激活或標(biāo)識物激活時，所述樣本圖像或標(biāo)識物ID的表征本文件疊加到場景所需的樣本圖像ID或標(biāo)識物ID。
[0015]本發(fā)明的目的之三是這樣實現(xiàn)的:一種利用增強現(xiàn)實版交互式電子技術(shù)手冊構(gòu)建的輔助維修/輔助操作流程，由主控制模塊通過調(diào)用各個工作模塊，以構(gòu)建輔助維修/輔助操作流程，具體包括以下步驟:
a、場景的讀取:所述場景讀取模塊讀取維修操作場景。
[0016]b、文件的查找:所述文件查找模塊查找當(dāng)前目錄下的所有多媒體信息提示文件，并進行以下處理:
當(dāng)查找到的多媒體信息提示文件名中的激活條件為系統(tǒng)控制時，直接轉(zhuǎn)到步驟c-1;當(dāng)查找到的多媒體信息提示文件名中的激活條件為樣本圖像激活時，從文件名中提取樣本圖像ID，并轉(zhuǎn)到步驟c-2;
當(dāng)查找到的多媒體信息提示文件名中的激活條件為標(biāo)識物激活時，從文件名中提取標(biāo)識物ID，并轉(zhuǎn)到步驟c-3;
當(dāng)查找到的多媒體信息提示文件名中的激活條件為手勢控制激活時，從文件名中提取手勢控制字，并轉(zhuǎn)到步驟c-4;
當(dāng)查找到的多媒體信息提示文件名中的激活條件為語音命令激活時，從文件名中提取語音命令字并轉(zhuǎn)到步驟c-5。
[0017]c、多媒體提示信息與真實場景的疊加:
c-1、將步驟b中查找到的多媒體信息提示文件通過虛實疊加模塊直接疊加至場景，并轉(zhuǎn)到步驟d;
c-2、根據(jù)步驟b中提取到的樣本圖像ID加載對應(yīng)的樣本圖像，并由樣本圖像識別匹配模塊在場景中識別匹配該樣本圖像并計算觀察視角，在得到的場景匹配區(qū)域內(nèi)根據(jù)觀察視角，通過虛實疊加模塊的疊加，查找到多媒體信息提示文件，并轉(zhuǎn)到步驟d;
c-3、根據(jù)步驟b中提取到的標(biāo)識物ID，由標(biāo)識物識別匹配模塊在場景中識別匹配該標(biāo)識物并計算觀察視角，在得到的場景匹配區(qū)域內(nèi)根據(jù)觀察視角，通過虛實疊加模塊的疊加，查找到多媒體信息提示文件，并轉(zhuǎn)到步驟d;
c-4、根據(jù)步驟b中提取到的手勢控制字，當(dāng)手勢識別模塊識別到的手勢與該手勢控制字相等時，在場景固定區(qū)域內(nèi)，通過虛實疊加模塊的疊加，查找到多媒體信息提示文件，并轉(zhuǎn)到步驟d;
c-5、根據(jù)步驟b中提取到的語音命令控制字，當(dāng)語音識別模塊識別到的語音命令與該語音命令控制字相等時，在場景固定區(qū)域內(nèi)，通過虛實疊加模塊的疊加，查找到多媒體信息提示文件，并轉(zhuǎn)到步驟d。
[0018]d、多媒體提示信息消隱:根據(jù)提取步驟b中所查找到的多媒體信息提示文件名中的消隱條件，執(zhí)行一下操作:
當(dāng)消隱條件為系統(tǒng)控制時，等待多媒體信息文件自然播放完畢則不再疊加該多媒體信息提示文件至場景中并轉(zhuǎn)到步驟e;
當(dāng)消隱條件為手勢控制時，循環(huán)調(diào)用手勢識別模塊以檢測手勢，當(dāng)手勢識別結(jié)果與手勢控制字相等時，停止多媒體信息提示文件至場景的疊加，并轉(zhuǎn)到步驟e;
當(dāng)消隱條件為語音命令時，循環(huán)調(diào)用語音識別模塊以檢測語音，當(dāng)語音識別結(jié)果與語音命令控制字相等時，停止多媒體信息提示文件至場景的疊加，并轉(zhuǎn)到步驟e;
當(dāng)消隱條件為時間控制時，啟動定時器，當(dāng)定時時間到達后，停止多媒體信息提示文件至場景的疊加，并轉(zhuǎn)到步驟e。
[0019]e、文件夾切換:
當(dāng)步驟d中疊加的多媒體信息提示文件為菜單文件時，調(diào)用文件查找模塊，根據(jù)手勢識別或語音識別到的菜單項ID，切換至不同的他^_~文件夾；
當(dāng)步驟d中疊加的多媒體信息提示文件為非菜單文件時，開始用戶的維修或操作動作；調(diào)用手勢識別模塊和語音識別模塊，當(dāng)檢測到上一步指令或下一步指令時，調(diào)用文件查找模塊，切換文件夾至上一級目錄或Next_N目錄，當(dāng)Next_N目錄為空時，主控制模塊的調(diào)用動作退出，否則轉(zhuǎn)到步驟a，開始下一工作循環(huán)。
[0020]本發(fā)明在維修操作流程中，能夠?qū)崟r給予用戶多媒體提示信息，并將其顯示在頭戴式增強現(xiàn)實設(shè)備中的顯示器上;交互式電子技術(shù)手冊支持人機自然交互方式，無需接觸式手動翻頁，解決了傳統(tǒng)的交互式電子技術(shù)手冊沉浸感不強和使用效率低下的問題。
[0021]本發(fā)明在復(fù)雜裝備維修或操作流程規(guī)范基礎(chǔ)上，通過樹形文件夾結(jié)構(gòu)對多媒體信息提示文件進行組織，以手勢、語音等人機交互手段并結(jié)合樣本圖像、標(biāo)識物的識別匹配等多種信息源作為激活或消隱條件，實現(xiàn)了多媒體提示信息在維修或操作場景中按流程實時疊加，達到增強現(xiàn)實輔助維修或操作的效果。本發(fā)明通過將增強現(xiàn)實技術(shù)與傳統(tǒng)的交互式電子技術(shù)手冊相結(jié)合，在裝備維修或操作過程中無需通過手動查閱的方式獲取提示信息，大大提高了維修操作的工作效率。
【附圖說明】
[0022]圖1是本發(fā)明增強現(xiàn)實版交互式電子技術(shù)手冊的組成框圖。
[0023]圖2是增強現(xiàn)實版交互式電子技術(shù)手冊內(nèi)容的組織架構(gòu)形式示例圖。
【具體實施方式】
[0024]如圖1所示，本發(fā)明增強現(xiàn)實版交互式電子技術(shù)手冊，以頭戴式增強現(xiàn)實設(shè)備為載體，包括場景讀取模塊、樣本圖像識別匹配模塊、標(biāo)識物識別模塊、手勢識別模塊、語音識別模塊、虛實疊加模塊、文件查找模塊和主控制模塊。場景讀取模塊與主控制模塊相接，通過頭戴式增強現(xiàn)實設(shè)備上的攝像頭實時讀取維修或操作場景;樣本圖像識別匹配模塊與主控制模塊相接，用于匹配場景中實物圖像與樣本圖像;標(biāo)識物識別模塊與主控制模塊相接，用于識別粘貼在場景實物上的標(biāo)識物;手勢識別模塊與主控制模塊相接，用于識別靜態(tài)手勢和動態(tài)手勢;語音識別模塊與主控制模塊相接，用于識別語音;虛實疊加模塊與主控制模塊相接，用于估計觀察視角和疊加虛擬提示信息;文件查找模塊與主控制模塊相接，用于查找內(nèi)容文件夾內(nèi)的多媒體信息提示文件和控制文件夾的切換;主控制模塊分別與上述各工作模塊相接，用于調(diào)用上述各工作模塊，以構(gòu)建輔助維修或輔助操作流程。
[0025]本發(fā)明增強現(xiàn)實版交互式電子技術(shù)手冊的內(nèi)容包括多媒體信息提示文件、激活條件、消隱條件和樣本圖像庫;所述多媒體信息提示文件包括三維模型文件、菜單文件、文本文件、音頻文件、視頻文件和圖片文件;所述激活條件包括系統(tǒng)控制激活、樣本圖像激活、標(biāo)識物激活、手勢激活和語音命令激活;所述消隱條件包括系統(tǒng)控制消隱、手勢消隱、語音命令消隱和時間控制消隱。
[0026]本發(fā)明增強現(xiàn)實版交互式電子技術(shù)手冊的內(nèi)容構(gòu)建方法是，交互式電子技術(shù)手冊中的多媒體信息提示文件與樣本圖像庫的存儲結(jié)構(gòu)為樹形結(jié)構(gòu)文件夾，依據(jù)維修或操作流程逐層構(gòu)建，流程當(dāng)前步驟所對應(yīng)的所述多媒體信息提示文件和所述樣本圖像庫存儲于當(dāng)前層級文件夾，下一步驟所對應(yīng)的所述多媒體信息提示文件和所述樣本圖像庫存儲于Next_N子文件夾，N的取值由分支數(shù)量決定，依此類推直到所有流程的所有步驟完成。
[0027]所述多媒體信息提示文件包括文件類別碼、激活條件碼、消隱條件碼、樣本圖像或標(biāo)識物ID、手勢控制字、語音命令控制字、時間控制字和狀態(tài)控制字。
[0028]所述文件類別碼用于標(biāo)識多媒體信息提示文件類型;所述激活條件碼用于表征本文件疊加到場景中所需的激活條件;所述消隱條件碼用于表征本文件疊加到場景后的消隱條件;所述手勢控制字用于表征本文件無需再疊加到場景中所需的手勢控制代碼;所述時間控制字用于表征本文件疊加在場景的顯示時間；所述狀態(tài)控制字用于區(qū)分所述的多媒體信息提示文件激活的附加狀態(tài)條件。
[0029]當(dāng)多媒體信息提示文件的所述激活條件碼所代表的激活條件是在樣本圖像激活或標(biāo)識物激活時，所述樣本圖像或標(biāo)識物ID的表征本文件疊加到場景所需的樣本圖像ID或標(biāo)識物ID。
[0030]實施例:某型復(fù)雜裝備中的一個維修流程的構(gòu)建。用戶通過使用本發(fā)明增強現(xiàn)實版交互式電子技術(shù)手冊，實現(xiàn)對該復(fù)雜裝備的某個維修流程的輔助維修。
[0031]如圖2所示，依據(jù)本發(fā)明的增強現(xiàn)實版交互式電子技術(shù)手冊，構(gòu)建某型復(fù)雜裝備的一個維修流程，在交互式電子技術(shù)手冊中包括有菜單文件A、三維模型文件B、文本文件C三個多媒體信息提示文件夾，還包括Al、A2、B1、C1共四個NextN文件夾，其中三維模型文件B和文件夾BI存儲于文件夾Al內(nèi)，文本文件C和文件夾Cl存儲于文件夾BI內(nèi)，其中文件夾Cl為空文件夾。
[0032]菜單文件A的文件名命名為:
菜單_系統(tǒng)控制激活_手勢消隱_0_1或2_0_0_0;
三維模型文件B的文件名命名為:
菜單_標(biāo)識物激活_系統(tǒng)控制消隱_100_0_0_0_0;
文本文件C的文件名命名為:
菜單_語音命令激活_時間控制消隱_0_0_l_30s_0。
[0033]用戶戴上安裝有依照本發(fā)明構(gòu)建方法編制的增強現(xiàn)實版交互式電子技術(shù)手冊并運行，以進行某型復(fù)雜裝備的輔助維修，呈現(xiàn)的步驟為:
al、場景的讀取:利用頭戴式增強現(xiàn)實設(shè)備上的攝像頭讀取維修操作場景。
[0034]bl、文件的查找:文件查找模塊查找到當(dāng)前目錄下的菜單文件A，提取到其激活條件為系統(tǒng)控制激活。
[0035]Cl、菜單文件A與真實場景的疊加:將菜單文件A通過所述的虛實疊加模塊直接疊加至場景固定區(qū)域。
[0036]dl、多媒體提示信息消隱:菜單文件A文件名中的消隱條件為手勢I或手勢2，循環(huán)調(diào)用手勢識別模塊，以檢測用戶所做的手勢，當(dāng)手勢識別結(jié)果與交互式電子技術(shù)手冊中的手勢控制字相等時則不再疊加該多媒體信息提示文件至場景中。
[0037]el、文件夾的切換:菜單文件A類型為菜單文件，調(diào)用文件查找模塊，根據(jù)手勢識別到的菜單項ID為I時，切換至Next_N文件夾Al，否則執(zhí)行步驟a2，開始下一工作循環(huán)。
[0038]a2、場景的讀取:利用頭戴式增強現(xiàn)實設(shè)備上的攝像頭讀取維修操作場景。
[0039]b2、文件的查找:文件查找模塊查找到當(dāng)前目錄下的三維模型文件B，提取到其激活條件為標(biāo)識物激活。
[0040]c2、三維模型文件B與真實場景疊加:根據(jù)三維模型文件B的標(biāo)識物ID，調(diào)用標(biāo)識物識別匹配模塊在場景中識別匹配該標(biāo)識物并計算觀察視角，在得到的場景匹配區(qū)域內(nèi)根據(jù)觀察視角通過調(diào)用虛實疊加模塊疊加三維模型文件B。
[0041 ] d2、多媒體提示信息消隱:三維模型文件B文件名中的消隱條件為系統(tǒng)控制，等待其播放完畢后執(zhí)行下步。
[0042]e2、文件夾的切換:用戶開始進行維修或操作動作；調(diào)用手勢識別模塊和語音識別模塊，當(dāng)檢測到“下一步”指令時，調(diào)用文件查找模塊，切換文件夾至NextN目錄BI，然后執(zhí)行步驟a3，開始下一工作循環(huán)。
[0043]a3、場景的讀取:利用頭戴式增強現(xiàn)實設(shè)備上的攝像頭讀取維修操作場景。
[0044]b3、文件的查找:文件查找模塊查找到當(dāng)前目錄下的文本文件C，提取到其激活條件為語音命令激活。
[0045]c3、文本文件C與真實場景疊加:根據(jù)文本文件C的語音命令控制字I，當(dāng)語音識別模塊識別到的語音命令與該語音命令控制字相等時，在場景固定區(qū)域內(nèi)通過所述的虛實疊加模塊疊加文本文件C。
[0046]d3、多媒體提示信息消隱:文本文件C文件名中的消隱條件為時間控制，啟動定時器，當(dāng)定時時間到達后，不再疊加文本文件C至場景中。
[0047]e3、文件夾切換:用戶開始進行維修或操作動作;調(diào)用手勢識別模塊和語音識別模塊，當(dāng)檢測到“下一步”指令時，調(diào)用文件查找模塊，切換文件夾至NextN目錄Cl，Cl為空文件夾，主控制模塊的調(diào)用動作退出。
【主權(quán)項】
1.一種增強現(xiàn)實版交互式電子技術(shù)手冊，其特征是，以頭戴式增強現(xiàn)實設(shè)備為載體，包括有: 場景讀取模塊，與主控制模塊相接，通過頭戴式增強現(xiàn)實設(shè)備上的攝像頭實時讀取維修或操作場景； 樣本圖像識別匹配模塊，與主控制模塊相接，用于匹配場景中實物圖像與樣本圖像； 標(biāo)識物識別模塊，與主控制模塊相接，用于識別粘貼在場景實物上的標(biāo)識物； 手勢識別模塊，與主控制模塊相接，用于識別靜態(tài)手勢和動態(tài)手勢； 語音識別模塊，與主控制模塊相接，用于識別語音； 虛實疊加模塊，與主控制模塊相接，用于估計觀察視角和疊加虛擬提示信息； 文件查找模塊，與主控制模塊相接，用于查找內(nèi)容文件夾內(nèi)的多媒體信息提示文件和控制文件夾的切換；以及 主控制模塊，分別與調(diào)用所述場景讀取模塊、所述樣本圖像識別匹配模塊、所述標(biāo)識物識別模塊、所述手勢識別模塊、所述語音識別模塊、所述虛實疊加模塊和所述文件查找模塊相接，用于調(diào)用所述場景讀取模塊、所述樣本圖像識別匹配模塊、所述標(biāo)識物識別模塊、所述手勢識別模塊、所述語音識別模塊、所述虛實疊加模塊和所述文件查找模塊，構(gòu)建輔助維修或輔助操作流程。2.根據(jù)權(quán)利要求1所述的增強現(xiàn)實版交互式電子技術(shù)手冊，其特征是，所述增強現(xiàn)實版交互式電子技術(shù)手冊的內(nèi)容包括:多媒體信息提示文件、激活條件、消隱條件和樣本圖像庫； 所述多媒體信息提示文件包括三維模型文件、菜單文件、文本文件、音頻文件、視頻文件和圖片文件； 所述激活條件包括系統(tǒng)控制激活、樣本圖像激活、標(biāo)識物激活、手勢激活和語音命令激活； 所述消隱條件包括系統(tǒng)控制消隱、手勢消隱、語音命令消隱和時間控制消隱。3.—種權(quán)利要求1所述的增強現(xiàn)實版交互式電子技術(shù)手冊的內(nèi)容構(gòu)建方法，其特征是，所述多媒體信息提示文件與樣本圖像庫的存儲結(jié)構(gòu)為樹形結(jié)構(gòu)文件夾，依據(jù)維修或操作流程逐層構(gòu)建，流程當(dāng)前步驟所對應(yīng)的所述多媒體信息提示文件和所述樣本圖像庫存儲于當(dāng)前層級文件夾，下一步驟所對應(yīng)的所述多媒體信息提示文件和所述樣本圖像庫存儲于Next_N子文件夾，N的取值由分支數(shù)量決定，依此類推直到所有流程的所有步驟完成。4.根據(jù)權(quán)利要求3所述的增強現(xiàn)實版交互式電子技術(shù)手冊的內(nèi)容構(gòu)建方法，其特征是，所述多媒體信息提示文件包括文件類別碼、激活條件碼、消隱條件碼、樣本圖像或標(biāo)識物ID、手勢控制字、語音命令控制字、時間控制字和狀態(tài)控制字； 所述文件類別碼用于標(biāo)識多媒體信息提示文件類型;所述激活條件碼用于表征本文件疊加到場景中所需的激活條件;所述消隱條件碼用于表征本文件疊加到場景后的消隱條件;所述手勢控制字用于表征本文件無需再疊加到場景中所需的手勢控制代碼;所述時間控制字用于表征本文件疊加在場景的顯示時間;所述狀態(tài)控制字用于區(qū)分所述的多媒體信息提示文件激活的附加狀態(tài)條件。5.根據(jù)權(quán)利要求4所述的增強現(xiàn)實版交互式電子技術(shù)手冊的內(nèi)容構(gòu)建方法，其特征是，當(dāng)所述多媒體信息提示文件的所述激活條件碼所代表的激活條件是在樣本圖像激活或標(biāo)識物激活時，所述樣本圖像或標(biāo)識物ID的表征本文件疊加到場景所需的樣本圖像ID或標(biāo)識物ID。6.—種利用權(quán)利要求1所述增強現(xiàn)實版交互式電子技術(shù)手冊構(gòu)建的輔助維修/輔助操作流程，其特征是，由所述主控制模塊調(diào)用各個工作模塊，以構(gòu)建輔助維修/輔助操作流程；具體包括以下步驟: a、場景的讀取:所述場景讀取模塊讀取維修操作場景； b、文件的查找:所述文件查找模塊查找當(dāng)前目錄下的所有多媒體信息提示文件，并進行以下處理: 當(dāng)查找到的多媒體信息提示文件名中的激活條件為系統(tǒng)控制時，直接轉(zhuǎn)到步驟c-1; 當(dāng)查找到的多媒體信息提示文件名中的激活條件為樣本圖像激活時，從文件名中提取樣本圖像ID，并轉(zhuǎn)到步驟c-2; 當(dāng)查找到的多媒體信息提示文件名中的激活條件為標(biāo)識物激活時，從文件名中提取標(biāo)識物ID，并轉(zhuǎn)到步驟c-3; 當(dāng)查找到的多媒體信息提示文件名中的激活條件為手勢控制激活時，從文件名中提取手勢控制字，并轉(zhuǎn)到步驟c-4; 當(dāng)查找到的多媒體信息提示文件名中的激活條件為語音命令激活時，從文件名中提取語音命令字并轉(zhuǎn)到步驟c-5; C、多媒體提示信息與真實場景的疊加: c-1、將步驟b中查找到的多媒體信息提示文件通過虛實疊加模塊直接疊加至場景，并轉(zhuǎn)到步驟d; c-2、根據(jù)步驟b中提取到的樣本圖像ID加載對應(yīng)的樣本圖像，并由樣本圖像識別匹配模塊在場景中識別匹配該樣本圖像并計算觀察視角，在得到的場景匹配區(qū)域內(nèi)根據(jù)觀察視角，通過虛實疊加模塊的疊加，查找到多媒體信息提示文件，并轉(zhuǎn)到步驟d; c-3、根據(jù)步驟b中提取到的標(biāo)識物ID，由標(biāo)識物識別匹配模塊在場景中識別匹配該標(biāo)識物并計算觀察視角，在得到的場景匹配區(qū)域內(nèi)根據(jù)觀察視角，通過虛實疊加模塊的疊加，查找到多媒體信息提示文件，并轉(zhuǎn)到步驟d; c-4、根據(jù)步驟b中提取到的手勢控制字，當(dāng)手勢識別模塊識別到的手勢與該手勢控制字相等時，在場景固定區(qū)域內(nèi)，通過虛實疊加模塊的疊加，查找到多媒體信息提示文件，并轉(zhuǎn)到步驟d; c-5、根據(jù)步驟b中提取到的語音命令控制字，當(dāng)語音識別模塊識別到的語音命令與該語音命令控制字相等時，在場景固定區(qū)域內(nèi)，通過虛實疊加模塊的疊加，查找到多媒體信息提示文件，并轉(zhuǎn)到步驟d; d、多媒體提示信息消隱:根據(jù)提取步驟b中所查找到的多媒體信息提示文件名中的消隱條件，執(zhí)行一下操作: 當(dāng)消隱條件為系統(tǒng)控制時，等待多媒體信息文件自然播放完畢則不再疊加該多媒體信息提示文件至場景中并轉(zhuǎn)到步驟e; 當(dāng)消隱條件為手勢控制時，循環(huán)調(diào)用手勢識別模塊以檢測手勢，當(dāng)手勢識別結(jié)果與手勢控制字相等時，停止多媒體信息提示文件至場景的疊加，并轉(zhuǎn)到步驟e; 當(dāng)消隱條件為語音命令時，循環(huán)調(diào)用語音識別模塊以檢測語音，當(dāng)語音識別結(jié)果與語音命令控制字相等時，停止多媒體信息提示文件至場景的疊加，并轉(zhuǎn)到步驟e; 當(dāng)消隱條件為時間控制時，啟動定時器，當(dāng)定時時間到達后，停止多媒體信息提示文件至場景的疊加，并轉(zhuǎn)到步驟e; e、文件夾切換: 當(dāng)步驟d中疊加的多媒體信息提示文件為菜單文件時，調(diào)用文件查找模塊，根據(jù)手勢識別或語音識別到的菜單項ID，切換至不同的他^_~文件夾； 當(dāng)步驟d中疊加的多媒體信息提示文件為非菜單文件時，開始用戶的維修或操作動作；調(diào)用手勢識別模塊和語音識別模塊，當(dāng)檢測到上一步指令或下一步指令時，調(diào)用文件查找模塊，切換文件夾至上一級目錄或Next_N目錄，當(dāng)Next_N目錄為空時，主控制模塊的調(diào)用動作退出，否則轉(zhuǎn)到步驟a，開始下一工作循環(huán)。
【文檔編號】G06Q10/00GK106096857SQ201610457692
【公開日】2016年11月9日
【申請日】2016年6月23日
【發(fā)明人】張勇, 王偉明
【申請人】中國人民解放軍63908部隊