一種多媒體交互教學(xué)系統(tǒng)及方法
【專利摘要】一種多媒體交互教學(xué)系統(tǒng)及方法，所述系統(tǒng)包括教學(xué)控制器、學(xué)習(xí)終端、錄制設(shè)備、語(yǔ)音采集設(shè)備和存儲(chǔ)設(shè)備，所述錄制設(shè)備，用于獲取實(shí)時(shí)圖像和動(dòng)作數(shù)據(jù)；所述語(yǔ)音采集設(shè)備，用于采集課堂實(shí)時(shí)語(yǔ)音信息；所述教學(xué)控制器，用于將所述錄制設(shè)備和所述語(yǔ)音采集設(shè)備采集的教學(xué)信息發(fā)送給所述學(xué)習(xí)終端；所述存儲(chǔ)設(shè)備，用于將所述錄制設(shè)備和所述語(yǔ)音采集設(shè)備采集的教學(xué)信息存儲(chǔ)起來(lái)，用戶可以通過(guò)網(wǎng)絡(luò)點(diǎn)播回顧課堂教學(xué)過(guò)程。本發(fā)明圍繞無(wú)線遙控裝置、高拍儀以及采用語(yǔ)音識(shí)別聚類技術(shù)對(duì)說(shuō)話人分割并且單獨(dú)存儲(chǔ)等幾個(gè)方面及其延伸方面的改進(jìn)，降低了教學(xué)成本、提高了靈活性、交互性以及教學(xué)效果。
【專利說(shuō)明】
_種多媒體交互教學(xué)系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及多媒體教學(xué)領(lǐng)域，尤其涉及一種多媒體交互教學(xué)系統(tǒng)及方法。
【背景技術(shù)】
[0002] 傳統(tǒng)的多媒體教室大都采用投影機(jī)、視頻展示臺(tái)、計(jì)算機(jī)、電動(dòng)屏幕、功放、音箱和 電動(dòng)窗簾等較現(xiàn)代化的教學(xué)設(shè)備，實(shí)現(xiàn)教學(xué)、學(xué)術(shù)交流和講座的目的，能夠基本滿足現(xiàn)有的 多媒體教學(xué)的需求。但是傳統(tǒng)的多媒體教室、投影教室在使用過(guò)程中存在著一些突出問(wèn)題， 主要表現(xiàn)在：
[0003] 首先，傳統(tǒng)的多媒體教室設(shè)備由投影機(jī)、計(jì)算機(jī)、電子白板、音響等組成，繁雜的線 路使得設(shè)備經(jīng)常出故障，為后期的維護(hù)增加了巨大成本。
[0004] 其次，在傳統(tǒng)的多媒體教室中，眾多設(shè)備都安裝在教室講臺(tái)附近，而此處也是學(xué)生 經(jīng)常活動(dòng)的區(qū)域，設(shè)備損壞的概率很高，還容易對(duì)好動(dòng)的學(xué)生造成人身傷害。
[0005] 再次，傳統(tǒng)的多媒體教室一般都是由老師一個(gè)人講解為主，多數(shù)時(shí)間內(nèi)學(xué)生都處 于被動(dòng)接受狀態(tài)，無(wú)法實(shí)現(xiàn)相互交流式學(xué)習(xí)，尤其是物理、化學(xué)等情景教學(xué)，不能替代真實(shí) 參與過(guò)程，教師只能按既定的備課方案進(jìn)行，課堂上靈活性差，教師的發(fā)揮余地較小，因而 降低了教學(xué)效果。
[0006] 為了解決上述問(wèn)題，現(xiàn)有技術(shù)中已經(jīng)公開了一些基于無(wú)線網(wǎng)絡(luò)的教學(xué)平臺(tái)系統(tǒng)， 這些系統(tǒng)一定程度上解決了設(shè)備多連接復(fù)雜和缺少交互的多媒體教室存在的問(wèn)題，比如：
[0007] CN101154320A(【公開日】2008年4月2日）公開了一種基于局域網(wǎng)絡(luò)電子課堂互動(dòng)教 學(xué)平臺(tái)系統(tǒng)，該系統(tǒng)包括課堂教學(xué)資源庫(kù)、課堂教學(xué)平臺(tái)、課堂教學(xué)界面、課堂教學(xué)功能模 塊、教師備課系統(tǒng)、資源共享組成，由課堂教學(xué)資源庫(kù)向課堂教學(xué)平臺(tái)提供教學(xué)資源，教師 和學(xué)生通過(guò)登陸課堂教學(xué)平臺(tái)進(jìn)入各自的課堂教學(xué)界面，課堂教學(xué)界面分為:教師界面、學(xué) 生界面和演示界面;教師通過(guò)教師教學(xué)界面中的教學(xué)模塊、學(xué)生管理、輔助功能三個(gè)模塊進(jìn) 行教學(xué)管理。教師通過(guò)教師備課系統(tǒng)新增或編輯教學(xué)資源并確定教學(xué)方案。課堂教學(xué)資源 庫(kù)通過(guò)互聯(lián)網(wǎng)可與網(wǎng)絡(luò)資源進(jìn)行資源共享，家長(zhǎng)通過(guò)資源共享獲得學(xué)生學(xué)習(xí)記錄和教師教 學(xué)記錄。
[0008] CN103927909A(【公開日】2014年7月16日）公開了一種觸摸式移動(dòng)終端的交互式教學(xué) 系統(tǒng)，包括教師終端、教室電腦、多個(gè)學(xué)習(xí)終端，所述教師終端、教室電腦、多個(gè)學(xué)習(xí)終端通 過(guò)局域網(wǎng)絡(luò)互聯(lián)組成交互式教學(xué)系統(tǒng)，其中教師終端、多個(gè)學(xué)習(xí)終端通過(guò)無(wú)線方式接入局 域網(wǎng)絡(luò)，所述教室電腦通過(guò)有線或無(wú)線方式接入局域網(wǎng)絡(luò)，所述教室電腦為交互式教學(xué)系 統(tǒng)的服務(wù)器，所述教室電腦與教師終端之間通過(guò)私有socket通信協(xié)議、公有RFB協(xié)議、視頻 流互聯(lián);所述多個(gè)學(xué)習(xí)終端與教室電腦之間通過(guò)私有socket通信協(xié)議互聯(lián)。
[0009] 上述交互式教學(xué)系統(tǒng)還存在這樣的問(wèn)題，就是在所述無(wú)線網(wǎng)絡(luò)平臺(tái)中的教師和學(xué) 生之間的交互還不能達(dá)到無(wú)障礙的程度，系統(tǒng)還不能自動(dòng)識(shí)別和記錄教師與學(xué)生的語(yǔ)音交 互信息，事后也不能復(fù)習(xí)自己在課堂上的語(yǔ)音記錄?，F(xiàn)有的教學(xué)系統(tǒng)首先要配備專屬于個(gè) 人的教學(xué)終端，其次如果學(xué)生要通過(guò)學(xué)習(xí)終端進(jìn)行說(shuō)話，還要可以的對(duì)準(zhǔn)麥克風(fēng)，或者啟動(dòng) 麥克風(fēng)，才能進(jìn)行語(yǔ)音交流，不能暢快與老師交流?，F(xiàn)有技術(shù)中比如CN105306861A公開了一 種網(wǎng)絡(luò)教學(xué)錄播方法，其中采用三種數(shù)據(jù)流分別存儲(chǔ)的方式，但是其中語(yǔ)音存儲(chǔ)方面還是 存在這樣的問(wèn)題，即這樣的語(yǔ)音錄制功能完全按照實(shí)際發(fā)生的情況錄制，沒(méi)有對(duì)說(shuō)話者的 身份進(jìn)行識(shí)別，沒(méi)有重構(gòu)說(shuō)話者的語(yǔ)音，致使如果錄制環(huán)境噪雜，那么錄制的信息同樣嘈 雜，幾乎不能有效的再現(xiàn)場(chǎng)景。這樣不能提供個(gè)性化的服務(wù)，比如學(xué)生只想聽(tīng)自己說(shuō)了什么 或者老師說(shuō)了什么，不想聽(tīng)別人說(shuō)了什么，但是在回放時(shí)，卻無(wú)法進(jìn)行選擇。
[0010]此外，現(xiàn)有教學(xué)平臺(tái)還存在一個(gè)問(wèn)題，就是教師終端通常是固定的，教師需要固定 在講臺(tái)或者教師終端的設(shè)置地進(jìn)行交流，缺少與學(xué)生的深入互動(dòng)，不能像傳統(tǒng)的教學(xué)那樣， 教師可以到學(xué)生身邊，更加活潑的互動(dòng)。對(duì)此，現(xiàn)有技術(shù)公開了無(wú)線控制裝置，比如：
[0011] CN105185176A(【公開日】2015年12月23日）一種基于信息化教學(xué)的無(wú)線手持設(shè)備，無(wú) 線手持設(shè)備通過(guò)藍(lán)牙技術(shù)或2.4G技術(shù)與教學(xué)設(shè)備無(wú)線連接，所述教學(xué)設(shè)備為計(jì)算機(jī)、電子 白板或液晶觸摸屏終端，其特征在于，所述無(wú)線手持設(shè)備包括手持設(shè)備本體，所述手持設(shè)備 本體的上部設(shè)置有麥克風(fēng)，手持設(shè)備本體的前面板設(shè)置有支持多點(diǎn)觸控操作的觸摸屏，觸 摸屏的下方是左、右兩個(gè)物理按鍵，手持設(shè)備本體的下部設(shè)置有容納USB無(wú)線接收器的容納 槽，手持設(shè)備可以無(wú)線傳輸多點(diǎn)觸摸信號(hào)、鼠標(biāo)操作信號(hào)、模擬鍵盤觸發(fā)信號(hào)，從而無(wú)線遙 控教學(xué)設(shè)備中的電子黑板、電子教桿、電子粉筆、直線工具、圖形工具、黑板擦、放大鏡、工具 欄、上翻頁(yè)、下翻頁(yè)、保存課件、退出課堂和插入圖片或視頻、插入文字、插入導(dǎo)學(xué)功能，實(shí)現(xiàn) 教學(xué)動(dòng)作，并可以將教師的課堂講解及學(xué)生的語(yǔ)音進(jìn)行采集和傳輸，進(jìn)行課堂中語(yǔ)音的錄 制。
[0012] 現(xiàn)有的藍(lán)牙無(wú)線遙控裝置不能實(shí)現(xiàn)語(yǔ)音的靈活控制，主要還是集成鍵盤鼠標(biāo)等基 本操作裝置以無(wú)線控制的方式實(shí)現(xiàn)，其功能還有改進(jìn)的空間。
【發(fā)明內(nèi)容】
[0013] 針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明要解決的技術(shù)問(wèn)題在于，提供一種多媒體交互教學(xué) 系統(tǒng)及方法，主要改進(jìn)了無(wú)線遙控裝置及其操作方法、高拍儀機(jī)構(gòu)及其操作方法、以及利用 語(yǔ)音識(shí)別聚類技術(shù)，對(duì)獲得的教學(xué)語(yǔ)音信息進(jìn)行分割聚類識(shí)別出相應(yīng)的說(shuō)話人并且單獨(dú)存 儲(chǔ)這些語(yǔ)音信息，由此解決了現(xiàn)有技術(shù)中存在的一些問(wèn)題，通過(guò)本發(fā)明無(wú)線多媒體信息化 交互教學(xué)的方式來(lái)降低教學(xué)成本、提高教學(xué)靈活性、交互性以及提高教學(xué)效果。
[0014] 本發(fā)明提供一種多媒體交互教學(xué)系統(tǒng)，包括教學(xué)控制器100、學(xué)習(xí)終端103、錄制設(shè) 備、語(yǔ)音采集設(shè)備106和存儲(chǔ)設(shè)備107;
[0015] 所述錄制設(shè)備，用于獲取實(shí)時(shí)圖像和動(dòng)作數(shù)據(jù)；
[0016] 所述語(yǔ)音采集設(shè)備106,用于采集課堂實(shí)時(shí)語(yǔ)音信息；
[0017] 所述教學(xué)控制器100,用于將所述錄制設(shè)備和所述語(yǔ)音采集設(shè)備106采集的教學(xué)信 息發(fā)送給所述學(xué)習(xí)終端103和/或額外設(shè)置的用于集中展示的顯示屏102;
[0018] 所述存儲(chǔ)設(shè)備107,用于將所述錄制設(shè)備和所述語(yǔ)音采集設(shè)備采集的教學(xué)信息存 儲(chǔ)起來(lái)，用戶可以通過(guò)網(wǎng)絡(luò)點(diǎn)播回顧課堂教學(xué)過(guò)程。
[0019] 所述教學(xué)控制器100包括說(shuō)話人分割模塊、說(shuō)話人聚類模塊、聲紋識(shí)別模塊，分別 用于對(duì)采集的所述語(yǔ)音信息進(jìn)行說(shuō)話人分割、說(shuō)話人聚類和聲紋識(shí)別處理，從而提取每個(gè) 說(shuō)話人的語(yǔ)音信息，并且根據(jù)訓(xùn)練得到的聲紋模板識(shí)別出說(shuō)話人的身份。
[0020] 所述提取的語(yǔ)音信息添加說(shuō)話人身份標(biāo)識(shí)和系統(tǒng)統(tǒng)一生成的時(shí)間戳標(biāo)識(shí)，形成以 說(shuō)話人身份為標(biāo)識(shí)并且具有時(shí)間戳的一系列獨(dú)立的語(yǔ)音信息，并且被保存起來(lái)。
[0021] 用戶在通過(guò)網(wǎng)絡(luò)點(diǎn)播回顧課堂時(shí)，先通過(guò)對(duì)說(shuō)話人的選擇來(lái)選擇自己想要聽(tīng)到的 語(yǔ)音，再進(jìn)行播放。
[0022] 所述說(shuō)話人分割用于找到說(shuō)話人切換的轉(zhuǎn)折點(diǎn)，包括單一轉(zhuǎn)折點(diǎn)的檢測(cè)和多個(gè)轉(zhuǎn) 折點(diǎn)的檢測(cè)；
[0023] 所述單一轉(zhuǎn)折點(diǎn)檢測(cè)包括基于距離的順序檢測(cè)、交叉檢測(cè)和轉(zhuǎn)折點(diǎn)確認(rèn)；
[0024] 所述多個(gè)轉(zhuǎn)折點(diǎn)檢測(cè)用于找到整段語(yǔ)音中的多個(gè)說(shuō)話人轉(zhuǎn)折點(diǎn)，在所述單一轉(zhuǎn)折 點(diǎn)檢測(cè)的基礎(chǔ)上完成，步驟如下：
[0025] 步驟1):首先設(shè)定一較大的時(shí)間窗，長(zhǎng)度為5-15秒，在窗內(nèi)作單轉(zhuǎn)折點(diǎn)檢測(cè)；
[0026] 步驟2):若在上一步驟沒(méi)找到說(shuō)話人轉(zhuǎn)折點(diǎn)，則將窗向右移動(dòng)1-3秒，重復(fù)步驟1， 直到找到說(shuō)話人轉(zhuǎn)折點(diǎn)，或者語(yǔ)音段結(jié)束；
[0027] 步驟3):若找到說(shuō)話人轉(zhuǎn)折點(diǎn)，則記錄此轉(zhuǎn)折點(diǎn)，并將窗口起始點(diǎn)設(shè)到此轉(zhuǎn)折點(diǎn) 上，重復(fù)步驟1)-步驟2)。
[0028]所述轉(zhuǎn)折點(diǎn)的確認(rèn)公式：
[0029]
[0030] sign( ·)為符號(hào)函數(shù)，Clcrciss為兩條距離曲線交叉處的距離值;所述距離曲線是指， 取語(yǔ)音最開始時(shí)的語(yǔ)音段1-3秒作為模板Template窗口，之后將此模板和每個(gè)滑動(dòng)片段(長(zhǎng) 度和模板的相同）作距離計(jì)算，本發(fā)明采用"廣義似然比"作為度量的距離，可獲得距離曲 線；
[0031] 其中，通過(guò)利用說(shuō)話人的距離曲線起始到交叉點(diǎn)的這段區(qū)域，公式中的（di)就是 這一端區(qū)域內(nèi)計(jì)算出來(lái)的距離，若最后結(jié)果為正，則接受此點(diǎn)為說(shuō)話人轉(zhuǎn)折點(diǎn)；若為負(fù)，則 拒絕此點(diǎn)為說(shuō)話人轉(zhuǎn)折點(diǎn)。
[0032] 所述錄制設(shè)備包括教學(xué)高拍儀104和電子白板105，
[0033] 所述教學(xué)高拍儀104用于獲取實(shí)時(shí)圖像并輸出至所述教學(xué)控制器100，
[0034] 所述電子白板105用于獲取動(dòng)作數(shù)據(jù)并輸出至所述教學(xué)控制器100。
[0035]所述教學(xué)高拍儀104包括工作臺(tái)1040和無(wú)線傳輸模塊1045，
[0036]所述工作臺(tái)1040兩側(cè)分別設(shè)有臂燈1041，
[0037]所述無(wú)線傳輸模塊1045的發(fā)射天線設(shè)置在至少一個(gè)所述臂燈1041的非發(fā)光的側(cè) 部上。
[0038] 還包括無(wú)線遙控器101，用于實(shí)現(xiàn)對(duì)所述教學(xué)控制器100的無(wú)線控制，
[0039]所述無(wú)線遙控器101包括觸摸屏1012、麥克風(fēng)1010、外置話筒插孔1011和無(wú)線發(fā)射 模塊1013。
[0040] 所述無(wú)線遙控器101還包括語(yǔ)音識(shí)別模塊1014、指令存儲(chǔ)模塊1015、和指令匹配模 塊 1016，
[0041] 所述語(yǔ)音識(shí)別模塊1014用于識(shí)別用戶輸入的語(yǔ)音信息，如果檢測(cè)到設(shè)定的動(dòng)作字 符，提取所述動(dòng)作字符之后的語(yǔ)音中包含的操作信息而不把這段語(yǔ)音傳輸?shù)剿鼋虒W(xué)控制 器100,如果沒(méi)有檢測(cè)到設(shè)定的動(dòng)作字符，那么將語(yǔ)音信息同步傳輸?shù)剿鼋虒W(xué)控制器100;
[0042] 所述指令存儲(chǔ)模塊1015用于存儲(chǔ)可以控制所述教學(xué)控制器100的指令信息；
[0043] 所述指令匹配模塊1016用于將所述操作信息與所述指令存儲(chǔ)模塊1015存儲(chǔ)的指 令進(jìn)行匹配，匹配成功后實(shí)現(xiàn)相應(yīng)的指令操作。
[0044]所述觸摸屏1012用于，
[0045] 模擬虛擬鍵盤，并利用虛擬鍵盤鍵入字符；
[0046] 模擬鼠標(biāo)按鍵，實(shí)現(xiàn)鼠標(biāo)點(diǎn)擊操作；
[0047] 獲取滑動(dòng)軌跡，并根據(jù)滑動(dòng)軌跡生成手繪圖形。
[0048] 所述無(wú)線遙控器101記錄所述提取的操作信息及其匹配的指令，并且可以在其觸 摸屏1012上進(jìn)行顯示，將常用的指令顯示在觸摸屏1012上的固定位置，用戶點(diǎn)擊操作重復(fù) 這樣的指令動(dòng)作。
[0049] 所述無(wú)線遙控器101還包括外置話筒插孔1011，設(shè)置在所述無(wú)線遙控器101的底 部，用于通過(guò)外部專用麥克風(fēng)獲取語(yǔ)音信息
[0050] 所述教學(xué)控制器100對(duì)所述無(wú)線遙控器101中的存儲(chǔ)指令定期更新。
[0051] 通過(guò)所述無(wú)線遙控器101傳輸?shù)剿鼋虒W(xué)控制器100的語(yǔ)音信息同樣保存到所述 存儲(chǔ)設(shè)備107;
[0052]所述教學(xué)控制器100還包括說(shuō)話人去重模塊，用于根據(jù)聲紋模型去除來(lái)自所述無(wú) 線遙控器101和所述語(yǔ)音采集設(shè)備106的重復(fù)語(yǔ)音。
[0053]本發(fā)明還提供一種多媒體交互教學(xué)方法，包括以下步驟：
[0054]步驟Sl，開啟教學(xué)控制器100,所述錄制設(shè)備、學(xué)習(xí)終端103、語(yǔ)音采集設(shè)備106和存 儲(chǔ)設(shè)備107分別與教學(xué)控制器100建立連接；
[0055]步驟S2,所述錄制設(shè)備獲取實(shí)時(shí)圖像和動(dòng)作數(shù)據(jù)并傳輸至教學(xué)控制器100,所述語(yǔ) 音采集設(shè)備106獲取課堂語(yǔ)音信息并傳輸至教學(xué)控制器100;
[0056]步驟S3,教學(xué)控制器100將收到的實(shí)時(shí)圖像、動(dòng)作數(shù)據(jù)和語(yǔ)音信息進(jìn)行處理之后， 存儲(chǔ)到存儲(chǔ)設(shè)備107上，所述存儲(chǔ)設(shè)備107為本地存儲(chǔ)器或網(wǎng)絡(luò)云端存儲(chǔ)器以及他們的任意 組合；
[0057]步驟S4,教學(xué)控制器100將收到的實(shí)時(shí)圖像、動(dòng)作數(shù)據(jù)和語(yǔ)音信息之一或任意組合 的教學(xué)數(shù)據(jù)發(fā)送至學(xué)習(xí)終端103和/或額外設(shè)置的用于集中展示的顯示屏102;
[0058]步驟S5,學(xué)習(xí)終端103接收和播放由教學(xué)控制器100發(fā)送的教學(xué)數(shù)據(jù)；
[0059 ]步驟S6，通過(guò)網(wǎng)絡(luò)訪問(wèn)教學(xué)控制器100，并獲得存儲(chǔ)設(shè)備107上存儲(chǔ)的實(shí)時(shí)圖像、動(dòng) 作數(shù)據(jù)、語(yǔ)音信息的至少一種，由此實(shí)現(xiàn)課堂教學(xué)過(guò)程回放。
[0060]在所述步驟S3中，教學(xué)控制器100對(duì)收到的教學(xué)數(shù)據(jù)進(jìn)行處理的過(guò)程包括：
[0061]說(shuō)話人分割、說(shuō)話人聚類、聲紋識(shí)別，分別用于對(duì)采集的所述語(yǔ)音信息進(jìn)行說(shuō)話人 分割、說(shuō)話人聚類和聲紋識(shí)別處理，從而提取每個(gè)說(shuō)話人的語(yǔ)音信息，并且根據(jù)訓(xùn)練得到的 聲紋模板識(shí)別出說(shuō)話人的身份。
[0062] 所述提取的語(yǔ)音信息添加說(shuō)話人身份標(biāo)識(shí)和系統(tǒng)統(tǒng)一生成的時(shí)間戳標(biāo)識(shí)，形成以 說(shuō)話人身份為標(biāo)識(shí)并且具有時(shí)間戳的一系列獨(dú)立的語(yǔ)音信息，并且被保存起來(lái)。
[0063] 在步驟S6中，
[0064] 用戶在通過(guò)網(wǎng)絡(luò)點(diǎn)播回顧課堂時(shí)，先通過(guò)對(duì)說(shuō)話人的選擇來(lái)選擇自己想要聽(tīng)到的 語(yǔ)音，再進(jìn)行播放。
[0065] 所述說(shuō)話人分割用于找到說(shuō)話人切換的轉(zhuǎn)折點(diǎn)，包括單一轉(zhuǎn)折點(diǎn)的檢測(cè)和多個(gè)轉(zhuǎn) 折點(diǎn)的檢測(cè)；
[0066]所述單一轉(zhuǎn)折點(diǎn)檢測(cè)包括基于距離的順序檢測(cè)、交叉檢測(cè)和轉(zhuǎn)折點(diǎn)確認(rèn)；
[0067] 所述多個(gè)轉(zhuǎn)折點(diǎn)檢測(cè)用于找到整段語(yǔ)音中的多個(gè)說(shuō)話人轉(zhuǎn)折點(diǎn)，在所述單一轉(zhuǎn)折 點(diǎn)檢測(cè)的基礎(chǔ)上完成，步驟如下：
[0068] 步驟1):首先設(shè)定一較大的時(shí)間窗，長(zhǎng)度為5-15秒，在窗內(nèi)作單轉(zhuǎn)折點(diǎn)檢測(cè)；
[0069] 步驟2):若在上一步驟沒(méi)找到說(shuō)話人轉(zhuǎn)折點(diǎn)，則將窗向右移動(dòng)1-3秒，重復(fù)步驟1， 直到找到說(shuō)話人轉(zhuǎn)折點(diǎn)，或者語(yǔ)音段結(jié)束；
[0070]步驟3):若找到說(shuō)話人轉(zhuǎn)折點(diǎn)，則記錄此轉(zhuǎn)折點(diǎn)，并將窗口起始點(diǎn)設(shè)到此轉(zhuǎn)折點(diǎn) 上，重復(fù)步驟1)-步驟2)。
[0071 ]所述轉(zhuǎn)折點(diǎn)的確認(rèn)公式：
[0072]
[0073]為符號(hào)函數(shù)，dcrQSS為兩條距離曲線交叉處的距離值;所述距離曲線是指，取語(yǔ)音最 開始時(shí)的語(yǔ)音段（1-3秒)作為模板Template)窗口，之后將此模板和每個(gè)滑動(dòng)片段(長(zhǎng)度和 模板的相同）
[0074]作距離計(jì)算，本發(fā)明采用"廣義似然比"作為度量的距離，可獲得距離曲線；
[0075] 其中，通過(guò)利用說(shuō)話人的距離曲線起始到交叉點(diǎn)的這段區(qū)域，公式中的d(i)就是 這一端區(qū)域內(nèi)計(jì)算出來(lái)的距離，若最后結(jié)果為正，則接受此點(diǎn)為說(shuō)話人轉(zhuǎn)折點(diǎn)；若為負(fù)，則 拒絕此點(diǎn)為說(shuō)話人轉(zhuǎn)折點(diǎn)。
[0076] 所述錄制設(shè)備包括教學(xué)高拍儀104和電子白板105，
[0077] 所述教學(xué)高拍儀104用于獲取實(shí)時(shí)圖像并輸出至所述教學(xué)控制器100，
[0078] 所述電子白板105用于獲取動(dòng)作數(shù)據(jù)并輸出至所述教學(xué)控制器100。
[0079]所述教學(xué)高拍儀104包括工作臺(tái)1040和無(wú)線傳輸模塊1045，
[0080]所述工作臺(tái)1040兩側(cè)分別設(shè)有臂燈1041，
[0081]所述無(wú)線傳輸模塊1045的發(fā)射天線設(shè)置在至少一個(gè)所述臂燈1041的非發(fā)光的側(cè) 部上。
[0082] 還包括無(wú)線遙控器101，用于實(shí)現(xiàn)對(duì)所述教學(xué)控制器100的無(wú)線控制，
[0083]所述無(wú)線遙控器101包括觸摸屏1012、麥克風(fēng)1010、外置話筒插孔1011和無(wú)線發(fā)射 模塊1013。
[0084] 所述無(wú)線遙控器101還包括語(yǔ)音識(shí)別模塊1014、指令存儲(chǔ)模塊1015、和指令匹配模 塊 1016，
[0085] 所述語(yǔ)音識(shí)別模塊1014用于識(shí)別用戶輸入的語(yǔ)音信息，如果檢測(cè)到設(shè)定的動(dòng)作字 符，提取所述動(dòng)作字符之后的語(yǔ)音中包含的操作信息而不把這段語(yǔ)音傳輸?shù)剿鼋虒W(xué)控制 器100,如果沒(méi)有檢測(cè)到設(shè)定的動(dòng)作字符，那么將語(yǔ)音信息同步傳輸?shù)剿鼋虒W(xué)控制器100;
[0086] 所述指令存儲(chǔ)模塊1015用于存儲(chǔ)可以控制所述教學(xué)控制器100的指令信息；
[0087] 所述指令匹配模塊1016用于將所述操作信息與所述指令存儲(chǔ)模塊1015存儲(chǔ)的指 令進(jìn)行匹配，匹配成功后實(shí)現(xiàn)相應(yīng)的指令操作。
[0088]所述觸摸屏1012用于，
[0089] 模擬虛擬鍵盤，并利用虛擬鍵盤鍵入字符；
[0090] 模擬鼠標(biāo)按鍵，實(shí)現(xiàn)鼠標(biāo)點(diǎn)擊操作;和/或
[0091] 獲取滑動(dòng)軌跡，并根據(jù)滑動(dòng)軌跡生成手繪圖形。
[0092] 所述無(wú)線遙控器101記錄所述提取的操作信息及其匹配的指令，并且可以在其觸 摸屏1012上進(jìn)行顯示，將常用的指令顯示在觸摸屏1012上的固定位置，用戶點(diǎn)擊操作重復(fù) 這樣的指令動(dòng)作。
[0093] 所述無(wú)線遙控器101還包括外置話筒插孔1011，設(shè)置在所述無(wú)線遙控器101的底 部，用于通過(guò)外部專用麥克風(fēng)獲取語(yǔ)音信息
[0094] 所述教學(xué)控制器100對(duì)所述無(wú)線遙控器101中的存儲(chǔ)指令定期更新。
[0095] 通過(guò)所述無(wú)線遙控器101傳輸?shù)剿鼋虒W(xué)控制器100的語(yǔ)音信息同樣保存到所述 存儲(chǔ)設(shè)備107;
[0096] 所述教學(xué)控制器100還包括說(shuō)話人去重模塊，用于根據(jù)聲紋模型去除來(lái)自所述無(wú) 線遙控器101和所述語(yǔ)音采集設(shè)備106的重復(fù)語(yǔ)音。
[0097]在步驟S5中，所述學(xué)習(xí)終端103接收和播放教學(xué)數(shù)據(jù)過(guò)程，包括：
[0098] 步驟S41，用戶通過(guò)身份驗(yàn)證后登陸學(xué)習(xí)終端103;
[0099]步驟S42,學(xué)習(xí)終端103接收教學(xué)控制器100發(fā)送的教學(xué)數(shù)據(jù)；
[0100]步驟S43,學(xué)習(xí)終端103對(duì)教學(xué)數(shù)據(jù)解析而獲得實(shí)時(shí)圖像、動(dòng)作數(shù)據(jù)和語(yǔ)音信息，并 在學(xué)習(xí)終端103上進(jìn)行顯示，比如基于DirectX方式對(duì)接收到的實(shí)時(shí)圖像解析并顯示；
[0101] 步驟S44,教學(xué)數(shù)據(jù)是否接收完成，若是，則結(jié)束接收過(guò)程，若否，則返回至步驟 S42〇
[0102] 所述學(xué)習(xí)終端103設(shè)有用于容置預(yù)設(shè)數(shù)量實(shí)時(shí)圖像的緩沖區(qū)，學(xué)習(xí)終端103接收實(shí) 時(shí)圖像時(shí)，首先判斷該實(shí)時(shí)圖像是否可以裝入緩沖區(qū)，并將接收到的圖像編號(hào)與學(xué)習(xí)終端 103顯示的圖像編號(hào)進(jìn)行比對(duì)，若編號(hào)之差小于緩沖區(qū)可容納實(shí)時(shí)圖像的數(shù)量，則將接收的 圖像寫入緩沖區(qū)，若編號(hào)之差大于緩沖區(qū)可容納實(shí)時(shí)圖像的數(shù)量，則丟棄該實(shí)時(shí)圖像并繼 續(xù)比對(duì)，重新接收教學(xué)終端發(fā)送的實(shí)時(shí)圖像，直至能夠?qū)?shí)時(shí)圖像存入緩沖區(qū)。
[0103] 當(dāng)編號(hào)之差大于緩沖區(qū)可容納實(shí)時(shí)圖像的數(shù)量時(shí)，先判斷接收到的圖像幀是不是 同步頓，如果是同步幀，則檢查緩沖隊(duì)列尾的圖像幀是不是同步幀，若是，則將其丟棄并將 接收到的新的圖像幀放入隊(duì)尾位置，若不是，則繼續(xù)在緩沖隊(duì)列中查詢同步幀，找到同步幀 并將該同步幀和接收到的圖像丟棄；如果隊(duì)列中沒(méi)有同步幀，則將接收到的圖像幀放入隊(duì) 尾而覆蓋原有數(shù)據(jù)，通過(guò)重復(fù)接收，等待同步幀接收完畢并在學(xué)習(xí)終端103顯示。
[0104] 在所述步驟S6中，所述點(diǎn)播回放過(guò)程如下：
[0105] 步驟S51，用戶學(xué)習(xí)終端103通過(guò)網(wǎng)絡(luò)向教學(xué)控制器100發(fā)送點(diǎn)播回放請(qǐng)求；
[0106] 步驟S52，教學(xué)控制器100響應(yīng)點(diǎn)播回放請(qǐng)求，根據(jù)請(qǐng)求內(nèi)容，獲取相應(yīng)教學(xué)信息列 表，并將教學(xué)信息列表發(fā)送給學(xué)習(xí)終端103;
[0107] 步驟S53,用戶在學(xué)習(xí)終端103上從教學(xué)信息列表上選擇想要的信息，這些信息包 括圖像信息、動(dòng)作信息以及按照說(shuō)話人區(qū)分的語(yǔ)音信息；
[0108]步驟S54,教學(xué)控制器100根據(jù)用戶的選擇，將相應(yīng)的教學(xué)信息發(fā)送給學(xué)習(xí)終端 103；
[0109]步驟S55,學(xué)習(xí)終端103將接收的教學(xué)信息按照時(shí)間戳重構(gòu)并且在本地進(jìn)行顯示。
【附圖說(shuō)明】
[0110]圖1為根據(jù)本發(fā)明的多媒體交互教學(xué)系統(tǒng)示意圖；
[0111] 圖2為根據(jù)本發(fā)明的多媒體交互教學(xué)系統(tǒng)的高拍儀；
[0112] 圖3為根據(jù)本發(fā)明的無(wú)線遙控器的正視圖；
[0113] 圖4為根據(jù)本發(fā)明的無(wú)線遙控器的側(cè)視圖；
[0114] 圖5為根據(jù)本發(fā)明的無(wú)線遙控器的功能框架圖；
[0115] 圖6為根據(jù)本發(fā)明的多媒體交互教學(xué)方法的流程圖；
[0116] 圖7為根據(jù)本發(fā)明的說(shuō)話人分段聚類流程示意圖；
[0117] 圖8為根據(jù)本發(fā)明的單一轉(zhuǎn)折點(diǎn)檢測(cè)流程圖；
[0118]圖9為根據(jù)本發(fā)明的基于距離的順序檢測(cè)示意圖；
[0119] 圖10為根據(jù)本發(fā)明的順序檢測(cè)距離曲線圖；
[0120] 圖11為根據(jù)本發(fā)明的尋找第二說(shuō)話人語(yǔ)音模板示意圖；
[0121] 圖12為根據(jù)本發(fā)明的交叉檢測(cè)說(shuō)話人轉(zhuǎn)折點(diǎn)示意圖；
[0122] 圖13為根據(jù)本發(fā)明的錯(cuò)誤的轉(zhuǎn)折點(diǎn)檢測(cè)示意圖；
[0123]圖14為根據(jù)本發(fā)明的轉(zhuǎn)折點(diǎn)確認(rèn)不意圖；
[0124] 圖15為根據(jù)本發(fā)明的IHC算法框圖；
[0125] 圖16為根據(jù)本發(fā)明的學(xué)習(xí)終端實(shí)時(shí)接收和播放教學(xué)數(shù)據(jù)的流程圖；
[0126] 圖17為根據(jù)本發(fā)明的學(xué)習(xí)終端圖像緩存處理流程示意圖；和
[0127] 圖18為根據(jù)本發(fā)明的學(xué)習(xí)終端通過(guò)網(wǎng)絡(luò)點(diǎn)播回顧課堂教學(xué)過(guò)程示意圖。
【具體實(shí)施方式】
[0128] 以下將結(jié)合附圖，對(duì)本發(fā)明的【具體實(shí)施方式】進(jìn)行進(jìn)一步詳細(xì)描述。
[0129] 如圖1所示，根據(jù)本發(fā)明的多媒體交互教學(xué)系統(tǒng)，包括:教學(xué)控制器100、無(wú)線遙控 器101、顯示屏102、學(xué)習(xí)終端103、錄制設(shè)備、語(yǔ)音采集設(shè)備106、和存儲(chǔ)設(shè)備107,其中：
[0130] 所述錄制設(shè)備包括教學(xué)高拍儀104和電子白板105,分別用于獲取實(shí)時(shí)圖像和動(dòng)作 數(shù)據(jù)，傳輸至教學(xué)控制器1〇〇,在教學(xué)控制器100的控制之下，以在顯示屏102上顯示實(shí)時(shí)圖 像或者根據(jù)動(dòng)作數(shù)據(jù)重現(xiàn)操作情況。
[0131]所述無(wú)線遙控器101用于輸入控制指令、文字信息和語(yǔ)音信息，通過(guò)無(wú)線方式比如 藍(lán)牙、局域網(wǎng)絡(luò)、WIFI等將這些信息傳輸至教學(xué)控制器100。
[0132] 優(yōu)選的，用戶可以使用語(yǔ)音與無(wú)線遙控器101進(jìn)行交互，遙控器101可以解析語(yǔ)音 中包含的控制指令，然后向教學(xué)控制器100發(fā)出相應(yīng)的控制指令，而無(wú)需通過(guò)具體動(dòng)作操作 發(fā)出這樣的指令。
[0133] 所述語(yǔ)音采集設(shè)備106,可以以至少一個(gè)環(huán)形麥克風(fēng)陣列的方式設(shè)置于教室的天 花板上，或者其他合適的位置，而無(wú)需在每個(gè)座位上都設(shè)置語(yǔ)音采集設(shè)備。所述語(yǔ)音采集設(shè) 備106主要用于采集教室內(nèi)學(xué)生討論或者回答問(wèn)題時(shí)的語(yǔ)音信息，并且將采集到的語(yǔ)音信 息傳輸給教學(xué)控制器100。
[0134] 所述教學(xué)控制器100設(shè)置于教師端，所述教學(xué)控制器100安裝有教學(xué)APP或者PC軟 件客戶端，所述教學(xué)控制器100通過(guò)所述教學(xué)APP或者PC軟件客戶端根據(jù)接收到的無(wú)線遙控 器101的控制指令，可以將所述錄制設(shè)備采集的實(shí)時(shí)圖像和/或動(dòng)作數(shù)據(jù)加載于顯示屏102 上，或者將實(shí)時(shí)圖像、動(dòng)作數(shù)據(jù)、語(yǔ)音信息之一或三者間任意組合的教學(xué)數(shù)據(jù)發(fā)送至學(xué)習(xí)終 端103,以及將所述三種數(shù)據(jù)按照類型不同分別存儲(chǔ)至存儲(chǔ)設(shè)備107,供學(xué)生事后通過(guò)網(wǎng)絡(luò) 點(diǎn)播回顧課堂教學(xué)過(guò)程。所述存儲(chǔ)設(shè)備107可以是本地存儲(chǔ)器，也可以是網(wǎng)絡(luò)云端存儲(chǔ)器， 以及他們的組合。所述動(dòng)作數(shù)據(jù)包括教師在電子白板上操作文檔的數(shù)據(jù)、繪制圖形的數(shù)據(jù) 等等。
[0135] 優(yōu)選的，本發(fā)明的教學(xué)控制器100包括說(shuō)話人分割模塊、說(shuō)話人聚類模塊和聲紋識(shí) 別模塊，對(duì)采集的所述語(yǔ)音信息進(jìn)行說(shuō)話人分割、說(shuō)話人聚類和聲紋識(shí)別等處理，提取出每 個(gè)說(shuō)話人的語(yǔ)音信息，并且根據(jù)已有的訓(xùn)練的聲紋模板識(shí)別出說(shuō)話人的身份。進(jìn)而，對(duì)于提 取的語(yǔ)音添加說(shuō)話人標(biāo)識(shí)以及系統(tǒng)生成的統(tǒng)一時(shí)間戳，這樣用戶在通過(guò)網(wǎng)絡(luò)點(diǎn)播回放復(fù)習(xí) 時(shí)，可以選擇自己想要聽(tīng)的語(yǔ)音進(jìn)行播放，比如只想聽(tīng)老師講什么，那么就把老師的那么語(yǔ) 音播放出來(lái)，其他的語(yǔ)音可以屏蔽不放，或者想聽(tīng)老師和自己怎么說(shuō)的，也可以選擇自己和 老師的語(yǔ)音進(jìn)行回放。這樣可以解決多堆人說(shuō)話現(xiàn)場(chǎng)比較嘈雜時(shí)，實(shí)況錄音無(wú)法聽(tīng)清的問(wèn) 題，而且對(duì)于事后回顧來(lái)講，增加多重的選擇，改進(jìn)了用戶體驗(yàn)，可以節(jié)約時(shí)間。
[0136] 所述顯示屏102為L(zhǎng)ED顯示屏或者電視屏幕等。
[0137] 所述學(xué)習(xí)終端103設(shè)置于學(xué)生端，所述學(xué)習(xí)終端103安裝有與所述教學(xué)APP或者PC 軟件客戶端相關(guān)聯(lián)的學(xué)習(xí)APP或者PC軟件客戶端，以接收和播放由教學(xué)控制器100發(fā)送的實(shí) 時(shí)圖像、動(dòng)作數(shù)據(jù)、語(yǔ)音信息之一或三者間任意組合的教學(xué)數(shù)據(jù)。
[0138] 根據(jù)本發(fā)明的教學(xué)系統(tǒng)，所述教學(xué)控制器100內(nèi)置教學(xué)APP或者PC軟件客戶端，教 學(xué)APP或者PC軟件客戶端同時(shí)接入用于電子白板的演示操作、輸入視頻與圖片的錄制設(shè)備， 無(wú)線遙控器101用于實(shí)現(xiàn)控制、操作及錄入語(yǔ)音，通過(guò)無(wú)線遙控器101輸出的藍(lán)牙信號(hào)對(duì)教 學(xué)控制器100進(jìn)行操作，無(wú)線遙控器101可提供虛擬鍵盤、鼠標(biāo)、手寫等，對(duì)教學(xué)APP或者PC軟 件客戶端進(jìn)行無(wú)線操作，同時(shí)無(wú)線遙控器101錄入的語(yǔ)音信息可以傳輸給每個(gè)學(xué)習(xí)終端 103,并在顯示屏102上展示動(dòng)作數(shù)據(jù)，以方便于情景教學(xué)，教師可通過(guò)高拍儀獲取當(dāng)前實(shí)時(shí) 實(shí)驗(yàn)、課本、試題等近景，實(shí)時(shí)同步到顯示屏或每個(gè)學(xué)習(xí)終端上，使得任何角落的學(xué)生均可 清晰獲取教師的講解內(nèi)容，同時(shí)通過(guò)教學(xué)APP或者PC軟件客戶端可以化被動(dòng)學(xué)習(xí)為主動(dòng)學(xué) 習(xí)，提高學(xué)生的學(xué)習(xí)主動(dòng)性。
[0139] 所述錄制設(shè)備包括：
[0140] 教學(xué)高拍儀104,用于獲取實(shí)時(shí)圖像而輸出至教學(xué)控制器100;
[0141] 電子白板105,用于獲取動(dòng)作數(shù)據(jù)而輸出至教學(xué)控制器100。
[0142] 如圖2所示，所述教學(xué)高拍儀104包括:工作臺(tái)1040,所述工作臺(tái)1040兩側(cè)分別設(shè)有 臂燈1041，所述工作臺(tái)1040上設(shè)有下支臂1042,所述下支臂1042上設(shè)有上支臂1043,所述上 支臂1043上設(shè)有攝像頭1044,所述攝像頭1044朝向工作臺(tái)1040,所述下支臂1042與上支臂 1043通過(guò)阻尼軸而轉(zhuǎn)動(dòng)連接。
[0143] 優(yōu)選的，所述教學(xué)高拍儀104還包括無(wú)線傳輸模塊1045比如藍(lán)牙、無(wú)線網(wǎng)絡(luò)、WIFI 等，從而實(shí)現(xiàn)與所述教學(xué)控制器100的無(wú)線連接，實(shí)時(shí)傳輸數(shù)據(jù)，可以省去專用連接電纜，方 便移動(dòng)設(shè)備，便于使用。
[0144] 優(yōu)選的，所述無(wú)線傳輸模塊1045的發(fā)射天線1046設(shè)置在至少一個(gè)所述臂燈1041的 非發(fā)光側(cè)部上，這樣的設(shè)置方式可以提高無(wú)線傳輸?shù)木嚯x又不會(huì)占用額外的空間，也不需 要專門設(shè)置其他裝置。
[0145] 如圖3-5所示，所述無(wú)線遙控器101包括觸摸屏1012、降噪麥克風(fēng)1010、外置話筒插 孔1011、無(wú)線發(fā)射模塊1013。
[0146] 優(yōu)選的，所述無(wú)線遙控器101還包括語(yǔ)音識(shí)別模塊1014、指令存儲(chǔ)模塊1015、指令 匹配模塊1016等。
[0147] 所述觸摸屏1012,可以用于：
[0148] 模擬虛擬鍵盤，并利用虛擬鍵盤鍵入字符；
[0149] 模擬鼠標(biāo)按鍵，實(shí)現(xiàn)鼠標(biāo)點(diǎn)擊操作；
[0150] 獲取滑動(dòng)軌跡，并根據(jù)滑動(dòng)軌跡生成手繪圖形。
[0151] 所述降噪麥克風(fēng)1010,用于獲取語(yǔ)音信息。外置話筒插孔1011設(shè)置在所述無(wú)線遙 控器101的底部，用于通過(guò)外部專用麥克風(fēng)獲取語(yǔ)音信息，比如教師隨身攜帶的微型麥克 風(fēng)。所述無(wú)線發(fā)射模塊1013用于與所述教學(xué)控制器100進(jìn)行無(wú)線數(shù)據(jù)傳輸。
[0152] 優(yōu)選的，還可以通過(guò)語(yǔ)音識(shí)別模塊1014可以識(shí)別用戶輸入的語(yǔ)音信息，提取其中 的操作信息，而不必非要手動(dòng)進(jìn)行一些操作，所述指令匹配模塊1016將所述操作信息與指 令存儲(chǔ)模塊1015存儲(chǔ)的指令進(jìn)行匹配，匹配成功后實(shí)現(xiàn)相應(yīng)的操作，如果匹配不成功就進(jìn) 行提示。比如，教師說(shuō)，指令，自動(dòng)翻頁(yè)。語(yǔ)音識(shí)別模塊1014首先識(shí)別出"指令"，從而不再將 這段話傳輸?shù)剿鼋虒W(xué)控制器100,而是進(jìn)一步解析出"自動(dòng)翻頁(yè)"，與存儲(chǔ)的指令進(jìn)行匹 配，然后發(fā)出自動(dòng)翻頁(yè)的指令。如果不是指令語(yǔ)音，那么會(huì)將語(yǔ)音信息同步傳輸?shù)剿鼋虒W(xué) 控制器100。
[0153] 優(yōu)選的，所述無(wú)線遙控器101記錄所述提取的操作信息及其匹配的指令，并且可以 在其觸摸屏1012上進(jìn)行顯示。更優(yōu)選的，將最常用的指令顯示在觸摸屏1012上的固定位置， 用戶也可以點(diǎn)擊操作重復(fù)這樣的指令動(dòng)作。
[0154] 優(yōu)選的，通過(guò)所述教學(xué)控制器100的教學(xué)APP或者PC軟件客戶端可以以無(wú)線的方式 對(duì)所述無(wú)線遙控器101的存儲(chǔ)指令進(jìn)行更新和同步，實(shí)現(xiàn)裝置的指令更新和匹配，便于控 制。
[0155] 對(duì)于無(wú)線遙控器101傳輸?shù)姆侵噶钚哉Z(yǔ)音信息，所述教學(xué)控制器100將這些信息單 獨(dú)進(jìn)行保存，根據(jù)教師語(yǔ)音模型，剔除其他的雜音，純凈的語(yǔ)音信息。
[0156] 所述無(wú)線遙控器101的語(yǔ)音采樣速率為44. lKHz/16bit，無(wú)線傳輸距離多10m。具體 地，所述無(wú)線遙控器1 〇 1的規(guī)格參數(shù)可以為：
[0157] 1、基于2.4G無(wú)線傳輸，藍(lán)牙1對(duì)1形式配對(duì)，實(shí)時(shí)控制指令、語(yǔ)音信息和鍵盤/控制 信號(hào)發(fā)送；
[0158] 2、觸摸式鍵盤，手指或筆均可操作虛擬鍵盤；
[0159] 3、觸摸式畫筆手繪，支持輸出絕對(duì)坐標(biāo)與教學(xué)APP或者PC軟件客戶端，兼容支持繪 畫、書寫；
[0160] 4、觸摸式鼠標(biāo)，實(shí)現(xiàn)左右鍵、移動(dòng)、拖動(dòng)等；
[0161] 5、指令、畫筆、鍵盤、鼠標(biāo)的數(shù)據(jù)均以透?jìng)鱏PP模式傳輸，采用RF4CE標(biāo)準(zhǔn)；
[0162] 6、語(yǔ)音采樣速率為44.1KHz/16bit，無(wú)線傳輸距離彡10M，話筒模式支持自動(dòng)干凈 頻道搜索；
[0163] 7、語(yǔ)音實(shí)時(shí)傳輸，內(nèi)置話筒，IOcm距離拾音、外置話筒插座、ENC噪音消除；
[0164] 8、機(jī)頂盒控制，具有Home、back、上下左右切換鍵等；
[0165] 9、尺寸：119*60*9mm，觸摸屏尺寸：121*60mm，分辨率：1024*560;
[0166] 10、電池為3.7V/800mA 5V/lA(micro USB插頭）。
[0167] 本發(fā)明的教學(xué)控制器安裝有Android 4.4系統(tǒng)。所述教學(xué)控制器的具體規(guī)格參數(shù) 為：
[0168] l、Android 4.4，LPDDR3EMMC，1.8GHz八核處理器；
[0169] 2、RAM:2GB DDR3，R0M Flash:8GB，SD card最大支持64GB;
[0170] 3、網(wǎng)絡(luò)連接:WIFI內(nèi)置、Built-in藍(lán)牙內(nèi)置、Ethernet RJ 45;
[0171] 4、顯示接口為HDMI接口。
[0172] 所述學(xué)習(xí)終端103可以包括本地學(xué)習(xí)終端，也可以包括遠(yuǎn)程學(xué)習(xí)終端，所述本地學(xué) 習(xí)終端與教學(xué)控制器100基于無(wú)線局域網(wǎng)而進(jìn)行數(shù)據(jù)交互，所述遠(yuǎn)程學(xué)習(xí)終端與教學(xué)控制 器100基于互聯(lián)網(wǎng)云平臺(tái)而進(jìn)行數(shù)據(jù)交互。
[0173] 教師和學(xué)生可以通過(guò)多媒體教學(xué)系統(tǒng)來(lái)組織教學(xué)，在多媒體教學(xué)系統(tǒng)中，教師可 以發(fā)布視頻，學(xué)生遠(yuǎn)程觀看視頻可以進(jìn)行相關(guān)知識(shí)的學(xué)習(xí)。教學(xué)控制器將教學(xué)信息發(fā)送給 學(xué)習(xí)終端，學(xué)生通過(guò)學(xué)習(xí)終端的屏幕能看到教師的相關(guān)文檔信息及教師對(duì)文檔的操作。
[0174] 如圖6所示，根據(jù)本發(fā)明的多媒體交互教學(xué)方法，包括如下步驟：
[0175] 步驟Sl，開啟教學(xué)控制器100,所述錄制設(shè)備、學(xué)習(xí)終端103、語(yǔ)音采集設(shè)備106和存 儲(chǔ)設(shè)備107分別與教學(xué)控制器100建立連接；
[0176] 步驟S2,所述錄制設(shè)備獲取實(shí)時(shí)圖像和動(dòng)作數(shù)據(jù)并傳輸至教學(xué)控制器100,所述語(yǔ) 音采集設(shè)備106獲取課堂語(yǔ)音信息并傳輸至教學(xué)控制器100;
[0177] 還可以，通過(guò)無(wú)線遙控器101輸入的控制指令、文字信息和/或語(yǔ)音信息通過(guò)無(wú)線 方式例如藍(lán)牙、無(wú)線網(wǎng)絡(luò)、WIFI等傳輸至教學(xué)控制器100;
[0178] 步驟S3,教學(xué)控制器100將收到的實(shí)時(shí)圖像、動(dòng)作數(shù)據(jù)和語(yǔ)音信息進(jìn)行處理之后， 存儲(chǔ)到存儲(chǔ)設(shè)備107上，所述存儲(chǔ)設(shè)備107為本地存儲(chǔ)器或網(wǎng)絡(luò)云端存儲(chǔ)器以及他們的任意 組合；
[0179] 步驟S4,教學(xué)控制器100將收到的實(shí)時(shí)圖像、動(dòng)作數(shù)據(jù)和語(yǔ)音信息之一或任意組合 的教學(xué)數(shù)據(jù)發(fā)送至學(xué)習(xí)終端103和/或額外設(shè)置的用于集中展示的顯示屏102;
[0180]步驟S5,學(xué)習(xí)終端103接收和播放由教學(xué)控制器100發(fā)送的教學(xué)數(shù)據(jù)；
[0181] 步驟S6,通過(guò)網(wǎng)絡(luò)訪問(wèn)教學(xué)控制器100,并獲得存儲(chǔ)設(shè)備107上存儲(chǔ)的實(shí)時(shí)圖像、動(dòng) 作數(shù)據(jù)、語(yǔ)音信息的至少一種，由此實(shí)現(xiàn)課堂教學(xué)過(guò)程回放。
[0182] 所述語(yǔ)音信息包括所述語(yǔ)音采集106設(shè)備采集的信息，還可以包括無(wú)線遙控器101 采集的語(yǔ)音信息。
[0183] 優(yōu)選的，為了錄入操控指令和文字信息，在所述步驟S2中：
[0184] 所述無(wú)線遙控器101輸入的控制指令包括在觸摸屏1012上模擬鼠標(biāo)按鍵而實(shí)現(xiàn)的 鼠標(biāo)點(diǎn)擊操作指令；
[0185] 所述無(wú)線遙控器101輸入的文字信息包括在觸摸屏1012上模擬虛擬鍵盤并利用虛 擬鍵盤鍵入的字符。
[0186] 優(yōu)選的，在所述步驟S2中：
[0187] 用戶可以使用語(yǔ)音與無(wú)線遙控器101進(jìn)行交互，遙控器101可以解析語(yǔ)音中包含的 控制指令，然后向教學(xué)控制器100發(fā)出相應(yīng)的控制指令，而無(wú)需通過(guò)具體動(dòng)作操作發(fā)出這樣 的指令。
[0188] 優(yōu)選的，所述無(wú)線遙控器101還包括語(yǔ)音識(shí)別模塊1014、指令存儲(chǔ)模塊1015、指令 匹配模塊1016。
[0189] 所述觸摸屏1012,可以用于：
[0190] 模擬虛擬鍵盤，并利用虛擬鍵盤鍵入字符；
[0191 ]模擬鼠標(biāo)按鍵，實(shí)現(xiàn)鼠標(biāo)點(diǎn)擊操作；
[0192] 獲取滑動(dòng)軌跡，并根據(jù)滑動(dòng)軌跡生成手繪圖形，利用該滑動(dòng)軌跡所生成的動(dòng)作數(shù) 據(jù)替代所述錄制設(shè)備所獲取的動(dòng)作數(shù)據(jù)。
[0193] 所述降噪麥克風(fēng)1010,用于獲取語(yǔ)音信息。外置話筒插孔1011設(shè)置在所述無(wú)線遙 控器101的底部，用于通過(guò)外部專用麥克風(fēng)獲取語(yǔ)音信息，比如教師隨身攜帶的微型麥克 風(fēng)。所述無(wú)線發(fā)射模塊1013用于與所述教學(xué)控制器100進(jìn)行無(wú)線數(shù)據(jù)傳輸。
[0194] 優(yōu)選的，還可以通過(guò)語(yǔ)音識(shí)別模塊1014可以識(shí)別用戶輸入的語(yǔ)音信息，提取其中 的操作信息，而不必非要手動(dòng)進(jìn)行一些操作，所述指令匹配模塊1016將所述操作信息與指 令存儲(chǔ)模塊1015存儲(chǔ)的指令進(jìn)行匹配，匹配成功后實(shí)現(xiàn)相應(yīng)的操作，如果匹配不成功就進(jìn) 行提示。比如，教師說(shuō)，指令，自動(dòng)翻頁(yè)。語(yǔ)音識(shí)別模塊1014首先識(shí)別出"指令"，從而不再將 這段話傳輸?shù)剿鼋虒W(xué)控制器100,而是進(jìn)一步解析出"自動(dòng)翻頁(yè)"，與存儲(chǔ)的指令進(jìn)行匹 配，然后發(fā)出自動(dòng)翻頁(yè)的指令。如果不是指令語(yǔ)音，那么會(huì)將語(yǔ)音信息同步傳輸?shù)剿鼋虒W(xué) 控制器100。
[0195] 優(yōu)選的，所述無(wú)線遙控器101記錄所述提取的操作信息及其匹配的指令，并且可以 在其觸摸屏1012上進(jìn)行顯示。
[0196] 更優(yōu)選的，將最常用的指令顯示在觸摸屏1012上的固定位置，用戶也可以點(diǎn)擊操 作重復(fù)這樣的指令動(dòng)作。
[0197] 優(yōu)選的，通過(guò)所述教學(xué)控制器100的教學(xué)APP或者PC軟件客戶端可以以無(wú)線的方式 對(duì)所述無(wú)線遙控器101的存儲(chǔ)指令進(jìn)行更新和同步，實(shí)現(xiàn)裝置的指令更新和匹配，便于控 制。
[0198] 對(duì)于無(wú)線遙控器101傳輸?shù)姆侵噶钚哉Z(yǔ)音信息，所述教學(xué)控制器100將這些信息單 獨(dú)進(jìn)行保存，根據(jù)教師語(yǔ)音模型，剔除其他的雜音，純凈的語(yǔ)音信息。
[0199] 優(yōu)選的，在所述步驟S5中：
[0200] 學(xué)習(xí)終端103包括本地學(xué)習(xí)終端和/或遠(yuǎn)程學(xué)習(xí)終端，所述本地學(xué)習(xí)終端與教學(xué)控 制器100基于局域網(wǎng)而進(jìn)行數(shù)據(jù)交互，所述遠(yuǎn)程學(xué)習(xí)終端與教學(xué)控制器100基于云平臺(tái)而進(jìn) 行數(shù)據(jù)交互。在遠(yuǎn)程教學(xué)的基礎(chǔ)上，所述云平臺(tái)包括資源列表，并且當(dāng)所述教學(xué)控制器100 處有新的授課信息時(shí)，將該授課信息更新至資源列表。
[0201] 優(yōu)選的，在所述步驟S4中：
[0202] 當(dāng)遠(yuǎn)程學(xué)習(xí)終端與教學(xué)控制器100建立連接后，所述云平臺(tái)啟動(dòng)資源推送程序:先 獲取資源列表，判斷資源列表是否有更新，若有更新，則云平臺(tái)將所述教學(xué)控制器100輸出 的教學(xué)數(shù)據(jù)推送至遠(yuǎn)程學(xué)習(xí)終端103。云計(jì)算的虛擬化技術(shù)可以將物理層的資源看作一個(gè) "資源池"，通過(guò)云環(huán)境下的中間件進(jìn)行管理由于用戶所需要計(jì)算的任務(wù)是不盡相同，不同 用戶的資源調(diào)度也會(huì)根據(jù)需求情況和有關(guān)規(guī)則運(yùn)行在一個(gè)特定的環(huán)境中，操作任務(wù)在系統(tǒng) 中都有一個(gè)或多個(gè)進(jìn)程。
[0203]有兩種方法可以實(shí)現(xiàn)資源調(diào)度的任務(wù):一是根據(jù)資源使用的計(jì)算任務(wù)的不同安排 不同的機(jī)器;二是把計(jì)算任務(wù)往別的機(jī)器進(jìn)行轉(zhuǎn)移處理。例如，資源管理、安全管理、用戶管 理以及任務(wù)管理等方面的工作在內(nèi)的用戶任務(wù)調(diào)度、資源狀況監(jiān)測(cè)、節(jié)點(diǎn)故障的屏蔽、用戶 身份管理等多重功能都可以在云計(jì)算的資源管理環(huán)境中得到具體的實(shí)現(xiàn)。
[0204] 優(yōu)選的，在步驟S3中：
[0205]對(duì)于說(shuō)話人分段聚類，所述教學(xué)控制器100對(duì)接收到的語(yǔ)音信息進(jìn)行分析處理，提 取出每個(gè)說(shuō)話人的語(yǔ)音信息，具體方式如下：
[0206] 所述教學(xué)控制器100包括:說(shuō)話人分割模塊、說(shuō)話人聚類模塊和聲紋識(shí)別模塊，對(duì) 采集的所述語(yǔ)音信息進(jìn)行說(shuō)話人分割、說(shuō)話人聚類和聲紋識(shí)別等處理，提取出每個(gè)說(shuō)話人 的語(yǔ)音信息，并且根據(jù)已有的訓(xùn)練的聲紋模板識(shí)別出說(shuō)話人的身份。進(jìn)而，對(duì)于提取的語(yǔ)音 添加說(shuō)話人標(biāo)識(shí)以及系統(tǒng)生成的統(tǒng)一時(shí)間戳，這樣用戶在通過(guò)網(wǎng)絡(luò)點(diǎn)播回放復(fù)習(xí)時(shí)，可以 選擇自己想要聽(tīng)的語(yǔ)音進(jìn)行播放，比如只想聽(tīng)老師講什么，那么就把老師的那么語(yǔ)音播放 出來(lái)，其他的語(yǔ)音可以屏蔽不放，或者想聽(tīng)老師和自己怎么說(shuō)的，也可以選擇自己和老師的 語(yǔ)音進(jìn)行回放。
[0207] 如圖7所示，根據(jù)本發(fā)明的說(shuō)話人分段聚類流程示意圖。
[0208] 所述教學(xué)控制器100首先對(duì)獲得的語(yǔ)音信息進(jìn)行端點(diǎn)檢測(cè)處理，只提取有語(yǔ)音的 部分，去掉靜音部分，對(duì)提取的有語(yǔ)音的部分進(jìn)行說(shuō)話人分段聚類和聲紋識(shí)別處理。說(shuō)話人 分割的目的是找到說(shuō)話人改變時(shí)的轉(zhuǎn)折點(diǎn)，使得輸入語(yǔ)音按說(shuō)話人被分割成語(yǔ)音段:分段 1，分段2,分段3···，分段N(舉個(gè)例子:分段1，分段3可能是同一個(gè)人的語(yǔ)音，但是因?yàn)橹虚g有 另一個(gè)人的語(yǔ)音，所以按說(shuō)話人轉(zhuǎn)折點(diǎn)切開），而每個(gè)語(yǔ)音段中僅包含單一說(shuō)話人的語(yǔ)音信 息;說(shuō)話人聚類的目的是將相同說(shuō)話人的語(yǔ)音段聚集，使得每一類只包含一個(gè)說(shuō)話人的數(shù) 據(jù)，并使每個(gè)人的數(shù)據(jù)盡可能的在一類數(shù)據(jù)中（上面的例子，分段1和分段上就可以合在一 起)。
[0209] 本發(fā)明說(shuō)話人聚類采用LSP特征來(lái)進(jìn)行，即通過(guò)原始語(yǔ)音提取出LSP(Line SpectrumPair)特征數(shù)據(jù)，進(jìn)行后面的計(jì)算。
[0210]( - )說(shuō)話人分割
[0211]說(shuō)話人分割的重點(diǎn)就是找到說(shuō)話人切換的轉(zhuǎn)折點(diǎn)，其中包括單一轉(zhuǎn)折點(diǎn)的檢測(cè)和 多個(gè)轉(zhuǎn)折點(diǎn)的檢測(cè)：
[0212] (1)單一轉(zhuǎn)折點(diǎn)檢測(cè)：
[0213] 如圖8所示，單一轉(zhuǎn)折點(diǎn)檢測(cè)包括以下步驟:語(yǔ)音特征段提取、基于距離的順序檢 測(cè)、交叉檢測(cè)、和轉(zhuǎn)折點(diǎn)確認(rèn)。所述的語(yǔ)音特征段提取與前述相應(yīng)的方式相同，或者可以直 接使用前述提取的語(yǔ)音特征，在此不再贅述。
[0214] 1)基于距離的順序檢測(cè)：
[0215]如圖9所示，為基于距離的單轉(zhuǎn)折點(diǎn)順序檢測(cè)示意圖。該檢測(cè)方法假設(shè):在語(yǔ)音段 最初的一小段時(shí)間間隔內(nèi)，不存在轉(zhuǎn)折點(diǎn)。首先取語(yǔ)音最開始時(shí)的語(yǔ)音段(1-3秒)作為模板 (Template)窗口，之后將此模板和每個(gè)滑動(dòng)片段(長(zhǎng)度和模板的相同）作距離計(jì)算，本發(fā)明 采用"廣義似然比"作為度量的距離，可獲得距離曲線，其中d(t)表示t時(shí)刻的滑動(dòng)窗口與說(shuō) 話人1的模板窗口之間的距離值。
[0216]如圖10所示，順序檢測(cè)后的距離曲線，當(dāng)滑動(dòng)窗口在第一個(gè)說(shuō)話人的范圍內(nèi)時(shí)，模 板段和移動(dòng)窗口均為第一個(gè)說(shuō)話人的語(yǔ)音，所以距離值較小。當(dāng)移動(dòng)窗口到達(dá)第二個(gè)說(shuō)話 人的范圍內(nèi)時(shí)，滑動(dòng)窗口變?yōu)榈诙€(gè)說(shuō)話人的語(yǔ)音，因此距離值逐漸增大。因此可假設(shè)在距 離值最大時(shí)，其附近有第二個(gè)說(shuō)話人的語(yǔ)音的可能性最大。
[0217] 2)交叉檢測(cè)：
[0218] 如圖11所示，在順序檢測(cè)完成后，通過(guò)尋找距離曲線的最大值點(diǎn)來(lái)確定第二個(gè)說(shuō) 話人的模板窗口。
[0219] 在找出第二個(gè)說(shuō)話人的模板后，采用前述同樣的方法即可得到第二條距離曲線。 如圖12所示，兩條曲線交叉處即為說(shuō)話人轉(zhuǎn)折點(diǎn)。
[0220] 3)轉(zhuǎn)折點(diǎn)確認(rèn)：
[0221] 如圖13所示，在交叉檢測(cè)時(shí)，如果錯(cuò)誤的將第一個(gè)說(shuō)話人的語(yǔ)音作為第二個(gè)說(shuō)話 人的語(yǔ)音模板，則可能產(chǎn)生虛警錯(cuò)誤。為了減少虛警錯(cuò)誤，需要對(duì)每個(gè)轉(zhuǎn)折點(diǎn)進(jìn)行優(yōu)選的確 認(rèn)。轉(zhuǎn)折點(diǎn)的確認(rèn)如公式1所示：
[0222] )
[0223] 上述公式中，sign( ·)為符號(hào)函數(shù)，dCMSS為兩條距離曲線交叉處的距離值。
[0224]其中，通過(guò)利用說(shuō)話人2的距離曲線起始到交叉點(diǎn)的這段區(qū)域(如圖14中方框部分 所示），公式(1)中的d(i)就是這一端區(qū)域內(nèi)計(jì)算出來(lái)的距離。若最后結(jié)果為正，則接受此點(diǎn) 為說(shuō)話人轉(zhuǎn)折點(diǎn);若為負(fù)，則拒絕此點(diǎn)為說(shuō)話人轉(zhuǎn)折點(diǎn)。
[0225] (2)多個(gè)轉(zhuǎn)折點(diǎn)檢測(cè)：
[0226] 找到整段語(yǔ)音中的多個(gè)說(shuō)話人轉(zhuǎn)折點(diǎn)，可在單一轉(zhuǎn)折點(diǎn)檢測(cè)的基礎(chǔ)上完成，步驟 如下：
[0227] 步驟1):首先設(shè)定一較大的時(shí)間窗(長(zhǎng)度為5-15秒），在窗內(nèi)作單轉(zhuǎn)折點(diǎn)檢測(cè)。
[0228] 步驟2):若在上一步驟沒(méi)找到說(shuō)話人轉(zhuǎn)折點(diǎn)，則將窗口向右移動(dòng)（1-3秒），重復(fù)步 驟1，直到找到說(shuō)話人轉(zhuǎn)折點(diǎn)，或者語(yǔ)音段結(jié)束。
[0229] 步驟3):若找到說(shuō)話人轉(zhuǎn)折點(diǎn)，則記錄此轉(zhuǎn)折點(diǎn)，并將窗口起始點(diǎn)設(shè)到此轉(zhuǎn)折點(diǎn) 上，重復(fù)步驟1)-步驟2)。
[0230] 通過(guò)上述步驟，可以找到多個(gè)說(shuō)話人的所有轉(zhuǎn)折點(diǎn)，并據(jù)此分段為:分段1到分段 N0
[0231]由此，通過(guò)上述單一轉(zhuǎn)折點(diǎn)的檢測(cè)和多個(gè)轉(zhuǎn)折點(diǎn)的檢測(cè)完成說(shuō)話人的分割。
[0232](二)說(shuō)話人聚類
[0233]在完成說(shuō)話人分割后，接下來(lái)，說(shuō)話人聚類將這些分段聚類，相同說(shuō)話人的分段合 在一起:說(shuō)話人聚類是聚類技術(shù)在語(yǔ)音信號(hào)處理方面的一個(gè)具體應(yīng)用，其目的是通過(guò)對(duì)語(yǔ) 音段進(jìn)行分類，使得每一類只包含同一說(shuō)話人數(shù)據(jù)，并且同一說(shuō)話人的數(shù)據(jù)都被歸并到同 一類中。
[0234] 對(duì)于所述的分段聚類，本發(fā)明提出一種改進(jìn)的層次聚類方法（Improved Hierarchical Clustering，IHC)，該方法通過(guò)最小化類內(nèi)誤差平方和進(jìn)行合并和確定類別 數(shù)目，具體步驟如圖15所示：
[0235] 考慮一個(gè)語(yǔ)音段的集合乂={^^2，一，別}，其中&表示一個(gè)語(yǔ)音段對(duì)應(yīng)的特征序 列。XN表示那個(gè)集合的最后一個(gè)特征，而Xn泛指。"其中^表示一個(gè)語(yǔ)音段對(duì)應(yīng)的特征序 列。"意思就是集合里面的每一個(gè)X都是一個(gè)特征序列。說(shuō)話人聚類意味著要找到集合X的一 個(gè)劃分C= {C1，C2，…，cd，而Ck中只包含一個(gè)說(shuō)話人的語(yǔ)音信息，并且來(lái)自同一個(gè)說(shuō)話人的 語(yǔ)音段僅被劃分到C k中。
[0236] (D計(jì)算距離
[0237] 與確定說(shuō)話人轉(zhuǎn)折點(diǎn)的計(jì)算距離方法一樣，采用"廣義似然比"作為度量的距離。
[0238] (2)改進(jìn)的誤差平方和準(zhǔn)則
[0239] 誤差平方和準(zhǔn)則即為類內(nèi)誤差平方和最小為準(zhǔn)則。在說(shuō)話人聚類應(yīng)用中，同一說(shuō) 話人的數(shù)據(jù)間的距離比較小，而不同說(shuō)話人數(shù)據(jù)間的距離比較大，因此誤差平方和準(zhǔn)則能 取得較好的效果。
[0240] 綜上所述，IHC算法的第一步是以距離度量為相似度，以改進(jìn)的誤差平方和準(zhǔn)則為 準(zhǔn)則函數(shù)，逐步地兩兩合并，最終形成一個(gè)聚類樹。
[0241] (3)類別確定
[0242]在說(shuō)話人聚類中，一個(gè)重要的環(huán)節(jié)就是自動(dòng)確定數(shù)據(jù)中客觀存在的類別數(shù)目，即 確定有多少個(gè)說(shuō)話人。本發(fā)明采用了一種基于假設(shè)檢驗(yàn)的類別確定方法，該方法利用假設(shè) 檢驗(yàn)的原理，對(duì)聚類樹上的每一個(gè)合并操作進(jìn)行檢驗(yàn)，檢查其合并的合理性，從而確定最終 的類別數(shù)目。一旦發(fā)現(xiàn)有不合理的合并，就認(rèn)為合并前的類別數(shù)目為最終的說(shuō)話人類別數(shù) 目。
[0243]對(duì)于（1)(2)采用了不同的距離計(jì)算方法和不同的聚類準(zhǔn)則，可以提升聚類的正確 性與效果；（3)采用基于假設(shè)檢驗(yàn)方法，使得聚類的時(shí)候不需要認(rèn)為指定類別個(gè)數(shù)，因?yàn)橥?往無(wú)法事先確定說(shuō)話的有多少人，但是采用這種方法，就可以根據(jù)實(shí)際情況，聚成相應(yīng)的幾 個(gè)類。
[0244] 優(yōu)選的，根據(jù)已有的聲紋模型，進(jìn)行說(shuō)話人匹配，所述的聲紋模型，可以通過(guò)事先 的訓(xùn)練得到，由于上課的班級(jí)人數(shù)基本是固定，這樣生成的聲紋模型相對(duì)比較容易。對(duì)于具 體上課的班級(jí)，每次可以只需要調(diào)取這個(gè)班級(jí)學(xué)生的聲紋模型進(jìn)行快速比對(duì)，從而提高聲 紋識(shí)別的效率。聲紋模型的訓(xùn)練和識(shí)別屬于比較公知的內(nèi)容，不是本發(fā)明的重點(diǎn)，在此不再 贅述。
[0245] 如圖16所示，所述學(xué)習(xí)終端103實(shí)時(shí)接收和播放教學(xué)數(shù)據(jù)的流程圖，包括：
[0246] 步驟S41，用戶通過(guò)身份驗(yàn)證后登陸學(xué)習(xí)終端103;
[0247] 步驟S42,學(xué)習(xí)終端103接收教學(xué)控制器100發(fā)送的教學(xué)數(shù)據(jù)；
[0248]步驟S43,學(xué)習(xí)終端103對(duì)教學(xué)數(shù)據(jù)解析而獲得實(shí)時(shí)圖像、動(dòng)作數(shù)據(jù)和語(yǔ)音信息，并 在學(xué)習(xí)終端103上進(jìn)行顯示，比如基于DirectX方式對(duì)接收到的實(shí)時(shí)圖像解析并顯示；
[0249]步驟S44,教學(xué)數(shù)據(jù)是否接收完成，若是，則結(jié)束接收過(guò)程，若否，則返回至步驟 S42〇
[0250] 如圖17所示，所述學(xué)習(xí)終端103設(shè)有用于容置預(yù)設(shè)數(shù)量實(shí)時(shí)圖像的緩沖區(qū)，學(xué)習(xí)終 端103接收實(shí)時(shí)圖像時(shí)，首先判斷該實(shí)時(shí)圖像是否可以裝入緩沖區(qū)，并將接收到的圖像編號(hào) 與學(xué)習(xí)終端103顯示的圖像編號(hào)進(jìn)行比對(duì)，若編號(hào)之差小于緩沖區(qū)可容納實(shí)時(shí)圖像的數(shù)量， 則將接收的圖像寫入緩沖區(qū)，若編號(hào)之差大于緩沖區(qū)可容納實(shí)時(shí)圖像的數(shù)量，則丟棄該實(shí) 時(shí)圖像并繼續(xù)比對(duì)，重新接收教學(xué)終端發(fā)送的實(shí)時(shí)圖像，直至能夠?qū)?shí)時(shí)圖像存入緩沖區(qū)。
[0251] 其中，當(dāng)編號(hào)之差大于緩沖區(qū)可容納實(shí)時(shí)圖像的數(shù)量時(shí)，先判斷接收到的圖像幀 是不是同步頓，如果是同步幀，則檢查緩沖隊(duì)列尾的圖像幀是不是同步幀，若是，則將其丟 棄并將接收到的新的圖像幀放入隊(duì)尾位置，若不是，則繼續(xù)在緩沖隊(duì)列中查詢同步幀，找到 同步幀并將該同步幀和接收到的圖像丟棄；如果隊(duì)列中沒(méi)有同步幀，則將接收到的圖像幀 放入隊(duì)尾而覆蓋原有數(shù)據(jù)，通過(guò)重復(fù)接收，等待同步幀接收完畢并在學(xué)習(xí)終端103顯示。
[0252] 圖像編號(hào)可以是順序編號(hào)，編號(hào)之差就是數(shù)學(xué)上的減，如果差大于緩沖區(qū)大小，說(shuō) 明緩沖區(qū)已滿，這時(shí)無(wú)法將收到的圖像加入緩沖區(qū)了，直到緩沖區(qū)非滿時(shí)(差小于緩沖區(qū)大 ?。?，才可以將新收到的數(shù)據(jù)加入緩沖區(qū)。播放的圖像都是從緩沖區(qū)中順序取出的。沒(méi)有存 入緩沖區(qū)的圖像視為丟棄。緩沖區(qū)中圖像數(shù)量是變化的(播放，使得其中的圖像減少;接受， 使得圖像數(shù)量增加。但是最大不會(huì)超過(guò)預(yù)設(shè)的緩沖區(qū)大小。）
[0253] 為了達(dá)到實(shí)時(shí)的效果，需要一些同步幀(可以向圖像一樣傳輸，但并不代表具體的 圖像數(shù)據(jù)）。在當(dāng)前接受到的是同步幀的情況下如果：（1)隊(duì)尾是同步幀，那么說(shuō)明沒(méi)有同步 完畢，將新的同步幀替換隊(duì)尾的那個(gè)，繼續(xù)接受；（2)隊(duì)尾不是同步幀，在隊(duì)列中查詢同步 幀，將查詢到的同步幀到隊(duì)尾接受的圖像幀全部丟棄，因?yàn)檫@些圖像幀不是同步的，或者說(shuō) 這些圖像是在同步完成前收到的，播放這些圖像將達(dá)不到實(shí)時(shí)(直播)的效果；（3)隊(duì)列中沒(méi) 有同步幀，說(shuō)明隊(duì)列中都是圖像幀，而這些圖像幀同樣也是在同步完成前收到的，應(yīng)當(dāng)丟 棄。
[0254] 等到同步幀全部接受完畢之后，證明同步過(guò)程結(jié)束，再之后的接收到的圖像都是 與網(wǎng)絡(luò)實(shí)時(shí)的，可以達(dá)到一種實(shí)時(shí)的"直播"效果。為非同步接受到的圖像數(shù)據(jù)多是延遲的。
[0255] 如圖18所示，本發(fā)明的多媒體交互教學(xué)方法的點(diǎn)播回放流程圖，具體如下：
[0256] 步驟S51，用戶學(xué)習(xí)終端103通過(guò)網(wǎng)絡(luò)向教學(xué)控制器100發(fā)送點(diǎn)播回放請(qǐng)求；
[0257] 步驟S52，教學(xué)控制器100響應(yīng)點(diǎn)播回放請(qǐng)求，根據(jù)請(qǐng)求的內(nèi)容，獲取所述存儲(chǔ)設(shè)備 107上的相應(yīng)教學(xué)信息列表，并將教學(xué)信息列表發(fā)送給學(xué)習(xí)終端103;
[0258] 步驟S53,用戶在學(xué)習(xí)終端103上從教學(xué)信息列表上選擇想要的信息，這些信息包 括圖像信息、動(dòng)作信息以及按照說(shuō)話人區(qū)分的語(yǔ)音信息，用戶可以選擇其中一個(gè)信息，比如 語(yǔ)音信息，用戶可以只選擇教師語(yǔ)音和本人語(yǔ)音；
[0259] 步驟S54,教學(xué)控制器100根據(jù)學(xué)生用戶的選擇，將相應(yīng)的教學(xué)信息發(fā)送給學(xué)習(xí)終 端 103;
[0260]步驟S55,學(xué)習(xí)終端103將接收到的教學(xué)信息按照時(shí)間戳重構(gòu)并且在本地進(jìn)行顯 不。
[0261]本發(fā)明的教學(xué)系統(tǒng)及教學(xué)方法，其相比現(xiàn)有技術(shù)而言有如下技術(shù)效果：
[0262] 1、結(jié)合教學(xué)控制器、教學(xué)APP或者PC軟件客戶端、高拍儀、電子白板、無(wú)線遙控器、 LED顯示屏等技術(shù)，將傳統(tǒng)的被動(dòng)聽(tīng)課轉(zhuǎn)變?yōu)橹鲃?dòng)聽(tīng)課，教師無(wú)需站在講臺(tái)講課，可以在教 室內(nèi)隨時(shí)遙控來(lái)輔助講課，與電子白板結(jié)合后讓整個(gè)課堂更加有趣，有助于學(xué)生提高學(xué)習(xí) 效率。
[0263] 2、有效結(jié)合了高拍儀，特別是在物理/化學(xué)等實(shí)驗(yàn)課程，讓學(xué)生更加真實(shí)、清晰地 看到教師的每一步操作，透徹了解實(shí)驗(yàn)?zāi)康暮蛯?shí)驗(yàn)過(guò)程。特別是，改進(jìn)的高拍儀，可以實(shí)現(xiàn) 無(wú)線數(shù)據(jù)傳輸功能，而結(jié)構(gòu)上緊湊，數(shù)據(jù)傳輸距離上可以得到保障。
[0264] 3、通過(guò)教室內(nèi)安裝的語(yǔ)音采集裝置，采集了學(xué)生上課時(shí)參與討論時(shí)的語(yǔ)音，并且 通過(guò)所述教學(xué)控制器的語(yǔ)音聚類分析，使得在每個(gè)階段討論每個(gè)問(wèn)題時(shí)，參與討論的學(xué)生 的語(yǔ)音被記錄并且被單獨(dú)保存成文件，使得學(xué)生事后可以回顧自己上課參與討論的情況， 激發(fā)學(xué)生參與課上討論的積極性，并且有助于學(xué)生事后分析自己回答問(wèn)題的語(yǔ)音邏輯性， 有助于改進(jìn)自己回答問(wèn)題的方式。
[0265] 4、所述無(wú)線遙控器具備了基礎(chǔ)的語(yǔ)音分析、操作信息提取和指令匹配等功能，由 此可以實(shí)現(xiàn)了語(yǔ)音控制，此外還能支持模擬鼠標(biāo)、虛擬鍵盤、模擬畫板等功能，實(shí)現(xiàn)了更加 靈活多樣的無(wú)線控制。
[0266] 5、整套教學(xué)系統(tǒng)方便部署，操作靈活，通過(guò)教學(xué)控制器可以與更多的多媒體設(shè)備 關(guān)聯(lián)，可通過(guò)電子白板進(jìn)行講課、講題，整個(gè)教學(xué)過(guò)程都能夠同步至學(xué)習(xí)終端。
[0267] 以上介紹了本發(fā)明的較佳實(shí)施方式，旨在使得本發(fā)明的精神更加清楚和便于理 解，并不是為了限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的修改、替換、改進(jìn)，均應(yīng) 包含在本發(fā)明所附的權(quán)利要求概括的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種多媒體交互教學(xué)系統(tǒng)，包括教學(xué)控制器（100)、學(xué)習(xí)終端（103)、錄制設(shè)備、語(yǔ)音 采集設(shè)備（106)和存儲(chǔ)設(shè)備（107)，其特征在于： 所述錄制設(shè)備，用于獲取實(shí)時(shí)圖像和動(dòng)作數(shù)據(jù)； 所述語(yǔ)音采集設(shè)備（106)，用于采集課堂實(shí)時(shí)語(yǔ)音信息； 所述教學(xué)控制器（100)，用于將所述錄制設(shè)備和所述語(yǔ)音采集設(shè)備（106)采集的教學(xué)信 息發(fā)送給所述學(xué)習(xí)終端（103)和/或額外設(shè)置的用于集中展示的顯示屏（102); 所述存儲(chǔ)設(shè)備（107)，用于將所述錄制設(shè)備和所述語(yǔ)音采集設(shè)備采集的教學(xué)信息存儲(chǔ) 起來(lái)，用戶可以通過(guò)網(wǎng)絡(luò)點(diǎn)播回顧課堂教學(xué)過(guò)程。2. 根據(jù)權(quán)利要求1的系統(tǒng)，其特征在于， 所述教學(xué)控制器（100)包括說(shuō)話人分割模塊、說(shuō)話人聚類模塊、聲紋識(shí)別模塊，分別用 于對(duì)采集的所述語(yǔ)音信息進(jìn)行說(shuō)話人分割、說(shuō)話人聚類和聲紋識(shí)別處理，從而提取每個(gè)說(shuō) 話人的語(yǔ)音信息，并且根據(jù)訓(xùn)練得到的聲紋模板識(shí)別出說(shuō)話人的身份。3. 根據(jù)權(quán)利要求2的系統(tǒng)，其特征在于， 所述提取的語(yǔ)音信息添加說(shuō)話人身份標(biāo)識(shí)和系統(tǒng)統(tǒng)一生成的時(shí)間戳標(biāo)識(shí)，形成以說(shuō)話 人身份為標(biāo)識(shí)并且具有時(shí)間戳的一系列獨(dú)立的語(yǔ)音信息，并且被保存起來(lái)。4. 根據(jù)權(quán)利要求3的系統(tǒng)，其特征在于， 用戶在通過(guò)網(wǎng)絡(luò)點(diǎn)播回顧課堂教學(xué)過(guò)程時(shí)，先通過(guò)對(duì)說(shuō)話人的選擇來(lái)選擇自己想要聽(tīng) 到的語(yǔ)音，再進(jìn)行播放。5. 根據(jù)權(quán)利要求2的系統(tǒng)，其特征在于， 所述說(shuō)話人分割用于找到說(shuō)話人切換的轉(zhuǎn)折點(diǎn)，包括單一轉(zhuǎn)折點(diǎn)的檢測(cè)和多個(gè)轉(zhuǎn)折點(diǎn) 的檢測(cè)； 所述單一轉(zhuǎn)折點(diǎn)檢測(cè)包括基于距離的順序檢測(cè)、交叉檢測(cè)和轉(zhuǎn)折點(diǎn)確認(rèn)； 所述多個(gè)轉(zhuǎn)折點(diǎn)檢測(cè)用于找到整段語(yǔ)音中的多個(gè)說(shuō)話人轉(zhuǎn)折點(diǎn)，在所述單一轉(zhuǎn)折點(diǎn)檢 測(cè)的基礎(chǔ)上完成，步驟如下： 步驟1):首先設(shè)定一較大的時(shí)間窗，長(zhǎng)度為5-15秒，在窗內(nèi)作單轉(zhuǎn)折點(diǎn)檢測(cè)； 步驟2):若在上一步驟沒(méi)找到說(shuō)話人轉(zhuǎn)折點(diǎn)，則將窗向右移動(dòng)1-3秒，重復(fù)步驟1，直到 找到說(shuō)話人轉(zhuǎn)折點(diǎn)，或者語(yǔ)音段結(jié)束； 步驟3):若找到說(shuō)話人轉(zhuǎn)折點(diǎn)，則記錄此轉(zhuǎn)折點(diǎn)，并將窗□起始點(diǎn)設(shè)到此轉(zhuǎn)折點(diǎn)上，重 復(fù)步驟1)-步驟2)。6. 根據(jù)權(quán)利要求5的系統(tǒng)，其特征在于，所述轉(zhuǎn)折點(diǎn)的確認(rèn)公式：sign( ·)為符號(hào)函數(shù)，d_ss為兩條距離曲線交叉處的距離值； 其中，通過(guò)利用說(shuō)話人的距離曲線起始到交叉點(diǎn)的這段區(qū)域，公式中的d(i)就是這一 端區(qū)域內(nèi)計(jì)算出來(lái)的距離，若最后結(jié)果為正，則接受此點(diǎn)為說(shuō)話人轉(zhuǎn)折點(diǎn);若為負(fù)，則拒絕 此點(diǎn)為說(shuō)話人轉(zhuǎn)折點(diǎn)。7. 根據(jù)權(quán)利要求1-6之一的系統(tǒng)，其特征在于， 所述錄制設(shè)備包括教學(xué)高拍儀（104)和電子白板（105)， 所述教學(xué)高拍儀(104)用于獲取實(shí)時(shí)圖像并輸出至所述教學(xué)控制器(100)， 所述電子白板(105)用于獲取動(dòng)作數(shù)據(jù)并輸出至所述教學(xué)控制器(100)。8. 根據(jù)權(quán)利要求7的系統(tǒng)，其特征在于， 所述教學(xué)高拍儀（104)包括工作臺(tái)（1040)和無(wú)線傳輸模塊（1045)， 所述工作臺(tái)（1040)兩側(cè)分別設(shè)有臂燈（1041)， 所述無(wú)線傳輸模塊（1045)的發(fā)射天線設(shè)置在至少一個(gè)所述臂燈（1041)的非發(fā)光的側(cè) 部上。9. 根據(jù)權(quán)利要求1-6之一的系統(tǒng)，其特征在于， 還包括無(wú)線遙控器(101)，用于實(shí)現(xiàn)對(duì)所述教學(xué)控制器(100)的無(wú)線控制， 所述無(wú)線遙控器（101)包括觸摸屏（1012)、麥克風(fēng)（1010)、外置話筒插孔（1011)和無(wú)線 發(fā)射模塊(1013)。10. 根據(jù)權(quán)利要求9的系統(tǒng)，其特征在于， 所述無(wú)線遙控器（101)還包括語(yǔ)音識(shí)別模塊（1014)、指令存儲(chǔ)模塊（1015)、和指令匹配 模塊（1016)， 所述語(yǔ)音識(shí)別模塊（1014)用于識(shí)別用戶輸入的語(yǔ)音信息，如果檢測(cè)到設(shè)定的動(dòng)作字 符，提取所述動(dòng)作字符之后的語(yǔ)音中包含的操作信息而不把這段語(yǔ)音傳輸?shù)剿鼋虒W(xué)控制 器（100)，如果沒(méi)有檢測(cè)到設(shè)定的動(dòng)作字符，那么將語(yǔ)音信息同步傳輸?shù)剿鼋虒W(xué)控制器 (100)； 所述指令存儲(chǔ)模塊(1015)用于存儲(chǔ)可以控制所述教學(xué)控制器(100)的指令信息； 所述指令匹配模塊（1016)用于將所述操作信息與所述指令存儲(chǔ)模塊（1015)存儲(chǔ)的指 令進(jìn)行匹配，匹配成功后實(shí)現(xiàn)相應(yīng)的指令操作。11. 根據(jù)權(quán)利要求10的系統(tǒng)，其特征在于，所述觸摸屏（1012)用于， 模擬虛擬鍵盤，并利用虛擬鍵盤鍵入字符； 模擬鼠標(biāo)按鍵，實(shí)現(xiàn)鼠標(biāo)點(diǎn)擊操作； 獲取滑動(dòng)軌跡，并根據(jù)滑動(dòng)軌跡生成手繪圖形。12. 根據(jù)權(quán)利要求10的系統(tǒng)，其特征在于， 所述無(wú)線遙控器（101)記錄所述提取的操作信息及其匹配的指令，并且可以在其觸摸 屏（1012)上進(jìn)行顯示，將常用的指令顯示在觸摸屏（1012)上的固定位置，用戶點(diǎn)擊操作重 復(fù)這樣的指令動(dòng)作。13. 根據(jù)權(quán)利要求10的系統(tǒng)，其特征在于，所述無(wú)線遙控器（101)還包括外置話筒插孔 (1011 )，設(shè)置在所述無(wú)線遙控器(101)的底部，用于通過(guò)外部專用麥克風(fēng)獲取語(yǔ)音信息。14. 根據(jù)權(quán)利要求10的系統(tǒng)，其特征在于， 所述教學(xué)控制器(100)對(duì)所述無(wú)線遙控器(101)中的存儲(chǔ)指令定期更新。15. 根據(jù)權(quán)利要求10的系統(tǒng)，其特征在于， 通過(guò)所述無(wú)線遙控器（101)傳輸?shù)剿鼋虒W(xué)控制器（100)的語(yǔ)音信息同樣保存到所述 存儲(chǔ)設(shè)備（107); 所述教學(xué)控制器（100)還包括說(shuō)話人去重模塊，用于根據(jù)聲紋模型去除來(lái)自所述無(wú)線 遙控器(101)和所述語(yǔ)音采集設(shè)備（106)的重復(fù)語(yǔ)音。16. -種多媒體交互教學(xué)方法，包括以下步驟： 步驟S1，開啟教學(xué)控制器（100)，所述錄制設(shè)備、學(xué)習(xí)終端（103)、語(yǔ)音采集設(shè)備（106)和 存儲(chǔ)設(shè)備(107)分別與教學(xué)控制器(100)建立連接； 步驟S2,所述錄制設(shè)備獲取實(shí)時(shí)圖像和動(dòng)作數(shù)據(jù)并傳輸至教學(xué)控制器(100)，所述語(yǔ)音 采集設(shè)備(106)獲取課堂語(yǔ)音信息并傳輸至教學(xué)控制器(100;) 步驟S3,教學(xué)控制器（100)將收到的實(shí)時(shí)圖像、動(dòng)作數(shù)據(jù)和語(yǔ)音信息進(jìn)行處理之后，存 儲(chǔ)到存儲(chǔ)設(shè)備（107)上，所述存儲(chǔ)設(shè)備（107)為本地存儲(chǔ)器或網(wǎng)絡(luò)云端存儲(chǔ)器以及他們的任 意組合； 步驟S4,教學(xué)控制器（100)將收到的實(shí)時(shí)圖像、動(dòng)作數(shù)據(jù)和語(yǔ)音信息之一或任意組合的 教學(xué)數(shù)據(jù)發(fā)送至學(xué)習(xí)終端（103)和/或額外設(shè)置的用于集中展示的顯示屏（102); 步驟S5,學(xué)習(xí)終端（103)接收和播放由教學(xué)控制器（100)發(fā)送的教學(xué)數(shù)據(jù)； 步驟S6，通過(guò)網(wǎng)絡(luò)訪問(wèn)教學(xué)控制器（100 )，并獲得存儲(chǔ)設(shè)備（107)上存儲(chǔ)的實(shí)時(shí)圖像、動(dòng) 作數(shù)據(jù)、語(yǔ)音信息的至少一種，由此實(shí)現(xiàn)課堂教學(xué)過(guò)程回放。17. 根據(jù)權(quán)利要求16的方法，其特征在于，在所述步驟S3中，教學(xué)控制器（100)對(duì)收到的 教學(xué)數(shù)據(jù)進(jìn)行處理的過(guò)程包括： 說(shuō)話人分割、說(shuō)話人聚類、聲紋識(shí)別，分別用于對(duì)采集的所述語(yǔ)音信息進(jìn)行說(shuō)話人分 害J、說(shuō)話人聚類和聲紋識(shí)別處理，從而提取每個(gè)說(shuō)話人的語(yǔ)音信息，并且根據(jù)訓(xùn)練得到的聲 紋模板識(shí)別出說(shuō)話人的身份。18. 根據(jù)權(quán)利要求17的方法，其特征在于， 所述提取的語(yǔ)音信息添加說(shuō)話人身份標(biāo)識(shí)和系統(tǒng)統(tǒng)一生成的時(shí)間戳標(biāo)識(shí)，形成以說(shuō)話 人身份為標(biāo)識(shí)并且具有時(shí)間戳的一系列獨(dú)立的語(yǔ)音信息，并且被保存起來(lái)。19. 根據(jù)權(quán)利要求18的方法，其特征在于，在步驟S6中， 用戶在通過(guò)網(wǎng)絡(luò)點(diǎn)播回顧課堂時(shí)，先通過(guò)對(duì)說(shuō)話人的選擇來(lái)選擇自己想要聽(tīng)到的語(yǔ) 音，再進(jìn)行播放。20. 根據(jù)權(quán)利要求19的方法，其特征在于， 所述說(shuō)話人分割用于找到說(shuō)話人切換的轉(zhuǎn)折點(diǎn)，包括單一轉(zhuǎn)折點(diǎn)的檢測(cè)和多個(gè)轉(zhuǎn)折點(diǎn) 的檢測(cè)； 所述單一轉(zhuǎn)折點(diǎn)檢測(cè)包括基于距離的順序檢測(cè)、交叉檢測(cè)和轉(zhuǎn)折點(diǎn)確認(rèn)； 所述多個(gè)轉(zhuǎn)折點(diǎn)檢測(cè)用于找到整段語(yǔ)音中的多個(gè)說(shuō)話人轉(zhuǎn)折點(diǎn)，在所述單一轉(zhuǎn)折點(diǎn)檢 測(cè)的基礎(chǔ)上完成，步驟如下： 步驟1):首先設(shè)定一較大的時(shí)間窗，長(zhǎng)度為5-15秒，在窗內(nèi)作單轉(zhuǎn)折點(diǎn)檢測(cè)； 步驟2):若在上一步驟沒(méi)找到說(shuō)話人轉(zhuǎn)折點(diǎn)，則將窗向右移動(dòng)1-3秒，重復(fù)步驟1，直到 找到說(shuō)話人轉(zhuǎn)折點(diǎn)，或者語(yǔ)音段結(jié)束； 步驟3):若找到說(shuō)話人轉(zhuǎn)折點(diǎn)，則記錄此轉(zhuǎn)折點(diǎn)，并將窗□起始點(diǎn)設(shè)到此轉(zhuǎn)折點(diǎn)上，重 復(fù)步驟1)-步驟2)。21. 根據(jù)權(quán)利要求20的方法，其特征在于，所述轉(zhuǎn)折點(diǎn)的確認(rèn)公式：sign( ·)為符號(hào)函數(shù)，d_ss為兩條距離曲線交叉處的距離值； 其中，通過(guò)利用說(shuō)話人的距離曲線起始到交叉點(diǎn)的這段區(qū)域，公式中的d(i)就是這一 端區(qū)域內(nèi)計(jì)算出來(lái)的距離，若最后結(jié)果為正，則接受此點(diǎn)為說(shuō)話人轉(zhuǎn)折點(diǎn)；若為負(fù)，則拒絕 此點(diǎn)為說(shuō)話人轉(zhuǎn)折點(diǎn)。22. 根據(jù)權(quán)利要求16-21之一的方法，其特征在于， 所述錄制設(shè)備包括教學(xué)高拍儀（104)和電子白板（105)， 所述教學(xué)高拍儀(104)用于獲取實(shí)時(shí)圖像并輸出至所述教學(xué)控制器(100)， 所述電子白板(105)用于獲取動(dòng)作數(shù)據(jù)并輸出至所述教學(xué)控制器(100)。23. 根據(jù)權(quán)利要求22的方法，其特征在于， 所述教學(xué)高拍儀（104)包括工作臺(tái)（1040)和無(wú)線傳輸模塊（1045)， 所述工作臺(tái)（1040)兩側(cè)分別設(shè)有臂燈（1041)， 所述無(wú)線傳輸模塊（1045)的發(fā)射天線設(shè)置在至少一個(gè)所述臂燈（1041)的非發(fā)光的側(cè) 部上。24. 根據(jù)權(quán)利要求16-21之一的方法，其特征在于， 還包括無(wú)線遙控器(101)，用于實(shí)現(xiàn)對(duì)所述教學(xué)控制器(100)的無(wú)線控制， 所述無(wú)線遙控器（101)包括觸摸屏（1012)、麥克風(fēng)（1010)、外置話筒插孔（1011)和無(wú)線 發(fā)射模塊(1013)。25. 根據(jù)權(quán)利要求24的方法，其特征在于， 所述無(wú)線遙控器（101)還包括語(yǔ)音識(shí)別模塊（1014)、指令存儲(chǔ)模塊（1015)、和指令匹配 模塊（1016)， 所述語(yǔ)音識(shí)別模塊（1014)用于識(shí)別用戶輸入的語(yǔ)音信息，如果檢測(cè)到設(shè)定的動(dòng)作字 符，提取所述動(dòng)作字符之后的語(yǔ)音中包含的操作信息而不把這段語(yǔ)音傳輸?shù)剿鼋虒W(xué)控制 器（100)，如果沒(méi)有檢測(cè)到設(shè)定的動(dòng)作字符，那么將語(yǔ)音信息同步傳輸?shù)剿鼋虒W(xué)控制器 (100)； 所述指令存儲(chǔ)模塊(1015)用于存儲(chǔ)可以控制所述教學(xué)控制器(100)的指令信息； 所述指令匹配模塊（1016)用于將所述操作信息與所述指令存儲(chǔ)模塊（1015)存儲(chǔ)的指 令進(jìn)行匹配，匹配成功后實(shí)現(xiàn)相應(yīng)的指令操作。26. 根據(jù)權(quán)利要求24的方法，其特征在于，所述觸摸屏（1012)用于， 模擬虛擬鍵盤，并利用虛擬鍵盤鍵入字符； 模擬鼠標(biāo)按鍵，實(shí)現(xiàn)鼠標(biāo)點(diǎn)擊操作;和/或 獲取滑動(dòng)軌跡，并根據(jù)滑動(dòng)軌跡生成手繪圖形。27. 根據(jù)權(quán)利要求24的方法，其特征在于， 所述無(wú)線遙控器（101)記錄所述提取的操作信息及其匹配的指令，并且可以在其觸摸 屏（1012)上進(jìn)行顯示，將常用的指令顯示在觸摸屏（1012)上的固定位置，用戶點(diǎn)擊操作重 復(fù)這樣的指令動(dòng)作。28. 根據(jù)權(quán)利要求24的方法，其特征在于，所述無(wú)線遙控器（101)還包括外置話筒插孔 (1011 )，設(shè)置在所述無(wú)線遙控器(101)的底部，用于通過(guò)外部專用麥克風(fēng)獲取語(yǔ)音信息。29. 根據(jù)權(quán)利要求24的方法，其特征在于， 所述教學(xué)控制器(100)對(duì)所述無(wú)線遙控器(101)中的存儲(chǔ)指令定期更新。30. 根據(jù)權(quán)利要求24的方法，其特征在于， 通過(guò)所述無(wú)線遙控器（101)傳輸?shù)剿鼋虒W(xué)控制器（100)的語(yǔ)音信息同樣保存到所述 存儲(chǔ)設(shè)備（107); 所述教學(xué)控制器（100)還包括說(shuō)話人去重模塊，用于根據(jù)聲紋模型去除來(lái)自所述無(wú)線 遙控器(101)和所述語(yǔ)音采集設(shè)備（106)的重復(fù)語(yǔ)音。31. 根據(jù)權(quán)利要求16-21之一的方法，其特征在于，在步驟S5中，所述學(xué)習(xí)終端（103)接 收和播放教學(xué)數(shù)據(jù)過(guò)程，包括： 步驟S41，用戶通過(guò)身份驗(yàn)證后登陸學(xué)習(xí)終端103; 步驟S42,學(xué)習(xí)終端103接收教學(xué)控制器100發(fā)送的教學(xué)數(shù)據(jù)； 步驟S43,學(xué)習(xí)終端103對(duì)教學(xué)數(shù)據(jù)解析而獲得實(shí)時(shí)圖像、動(dòng)作數(shù)據(jù)和語(yǔ)音信息，并在學(xué) 習(xí)終端103上進(jìn)行顯示，包括基于DirectX方式對(duì)接收到的實(shí)時(shí)圖像解析并顯示； 步驟S44，教學(xué)數(shù)據(jù)是否接收完成，若是，則結(jié)束接收過(guò)程，若否，則返回至步驟S42。32. 根據(jù)權(quán)利要求31的方法，其特征在于， 所述學(xué)習(xí)終端（103)設(shè)有用于容置預(yù)設(shè)數(shù)量實(shí)時(shí)圖像的緩沖區(qū)，學(xué)習(xí)終端（103)接收實(shí) 時(shí)圖像時(shí)，首先判斷該實(shí)時(shí)圖像是否可以裝入緩沖區(qū)，并將接收到的圖像編號(hào)與學(xué)習(xí)終端 (103)顯示的圖像編號(hào)進(jìn)行比對(duì)，若編號(hào)之差小于緩沖區(qū)可容納實(shí)時(shí)圖像的數(shù)量，則將接收 的圖像寫入緩沖區(qū)，若編號(hào)之差大于緩沖區(qū)可容納實(shí)時(shí)圖像的數(shù)量，則丟棄該實(shí)時(shí)圖像并 繼續(xù)比對(duì)，重新接收教學(xué)終端發(fā)送的實(shí)時(shí)圖像，直至能夠?qū)?shí)時(shí)圖像存入緩沖區(qū)。33. 根據(jù)權(quán)利要求32的方法，其特征在于， 當(dāng)編號(hào)之差大于緩沖區(qū)可容納實(shí)時(shí)圖像的數(shù)量時(shí)，先判斷接收到的圖像幀是不是同步 頓，如果是同步幀，則檢查緩沖隊(duì)列尾的圖像幀是不是同步幀，若是，則將其丟棄并將接收 到的新的圖像幀放入隊(duì)尾位置，若不是，則繼續(xù)在緩沖隊(duì)列中查詢同步幀，找到同步幀并將 該同步幀和接收到的圖像丟棄；如果隊(duì)列中沒(méi)有同步幀，則將接收到的圖像幀放入隊(duì)尾而 覆蓋原有數(shù)據(jù)，通過(guò)重復(fù)接收，等待同步幀接收完畢并在學(xué)習(xí)終端(103)顯示。34. 根據(jù)權(quán)利要求16-21之一的方法，其特征在于，在所述步驟S6中，所述點(diǎn)播回放過(guò)程 如下： 步驟S51，用戶學(xué)習(xí)終端（103)通過(guò)網(wǎng)絡(luò)向教學(xué)控制器（100)發(fā)送點(diǎn)播回放請(qǐng)求； 步驟S52,教學(xué)控制器（100)響應(yīng)點(diǎn)播回放請(qǐng)求，根據(jù)請(qǐng)求內(nèi)容，獲取相應(yīng)教學(xué)信息列 表，并將教學(xué)信息列表發(fā)送給學(xué)習(xí)終端(103); 步驟S53,用戶在學(xué)習(xí)終端（103)上從教學(xué)信息列表上選擇想要的信息，這些信息包括 圖像信息、動(dòng)作信息以及按照說(shuō)話人區(qū)分的語(yǔ)音信息； 步驟S54,教學(xué)控制器（100)根據(jù)用戶的選擇，將相應(yīng)的教學(xué)信息發(fā)送給學(xué)習(xí)終端 (103)； 步驟S55,學(xué)習(xí)終端（103)將接收的教學(xué)信息按照時(shí)間戳重構(gòu)并且在本地進(jìn)行顯示。
【文檔編號(hào)】G09B5/08GK106056996SQ201610705328
【公開日】2016年10月26日
【申請(qǐng)日】2016年8月23日
【發(fā)明人】劉佳, 盧啟偉
【申請(qǐng)人】深圳市時(shí)尚德源文化傳播有限公司