一種多媒體互動教學(xué)控制系統(tǒng)及教學(xué)控制方法
【專利摘要】本發(fā)明提供一種多媒體互動教學(xué)控制系統(tǒng)及教學(xué)控制方法，包括：數(shù)據(jù)采集模塊：采集視頻流；其特征在于，還包括：摳像模塊：對采集到的視頻流進行處理，將感興趣的運動目標提取出來，獲取前景圖像；影像合成模塊：將獲取的前景圖像用異形窗口的形式在所有窗口的最前端實時顯示；影像傳輸及實時顯示模塊：將教師機上的含有合成影像的異形窗口通過網(wǎng)絡(luò)實時傳輸?shù)綄W(xué)生機并進行實時顯示。本系統(tǒng)通過攝像頭獲取教師講課畫面，通過網(wǎng)絡(luò)實時傳輸給摳像模塊進行前景人物圖像的提取，通過影像合成模塊將提取出的前景人物圖像以異形窗口的形式與教師機正在播放的課件疊加，在教師機實時顯示，同時將合成的影像以視頻流的形式通過網(wǎng)絡(luò)實時傳輸給學(xué)生機，教師“鉆”進電腦里。
【專利說明】一種多媒體互動教學(xué)控制系統(tǒng)及教學(xué)控制方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及多媒體教學(xué)領(lǐng)域，具體地講，涉及一種多媒體互動教學(xué)控制系統(tǒng)及教 學(xué)控制方法。

【背景技術(shù)】
[0002] 多媒體是信息化的體現(xiàn)，也是社會發(fā)展的趨勢，信息化的水平已經(jīng)成為衡量一個 國家現(xiàn)代化水平和綜合國力的重要標準，多媒體教育是信息化的一個部分，大力促進多媒 體教育已成為教育發(fā)展的潮流。
[0003] 教學(xué)中使用多媒體技術(shù)，有利于提高教師的專業(yè)水平，有利于教師整合教學(xué)資源。 多媒體教學(xué)技術(shù)能彌補傳統(tǒng)教學(xué)中的不足，是新型的科學(xué)教學(xué)技術(shù)。
[0004] 現(xiàn)有大部分的多媒體教學(xué)系統(tǒng)雖然在功能方面已經(jīng)比較齊全，但上課學(xué)生看電腦 的時候看不到教師的表情、動作、肢體語言，因此會遺漏老師的肢體表達信息，除此之外，其 互動性及趣味性也較差。
[0005] 從采集的視頻流中提取出效果比較好的前景人物圖像是本系統(tǒng)的關(guān)鍵，為了提取 效果較好的前景，需要找到好的摳像算法。
[0006]目前摳像技術(shù)主要有藍箱、綠箱及背景移除。藍箱、綠箱對環(huán)境要求較高，需要搭 建純色背景以及燈光；背景移除需要場景穩(wěn)定，即攝像頭畫面中只有教師能動，但是對環(huán)境 要求低。
[0007] 現(xiàn)有的背景移除算法有幀差法、背景建模發(fā)和光流法。幀差法雖簡單，但是提取出 的運動目標存在空洞；背景建模方法對背景中存在規(guī)律運動性的背景效果好，但是并不能 保證提取的運動目標不會存在空洞；光流法因其計算量大很少采用，這三種算法都有不足。 此為現(xiàn)有技術(shù)的不足之處。


【發(fā)明內(nèi)容】
：
[0008] 本技術(shù)方案要解決的技術(shù)問題是提供一種多媒體互動教學(xué)控制系統(tǒng)及教學(xué)控制 方法，提高了課堂的趣味性，創(chuàng)新了教學(xué)模式，達到了更好的教學(xué)效果。
[0009] 本發(fā)明通過如下技術(shù)手段實現(xiàn)發(fā)明目的：
[0010] 一種多媒體互動教學(xué)控制系統(tǒng)，包括：
[0011] 數(shù)據(jù)采集模塊：采集視頻流；其特征在于，還包括：
[0012] 摳像模塊：對采集到的視頻流進行處理，將感興趣的運動目標提取出來，獲取前景 圖像；
[0013] 影像合成模塊：將獲取的前景圖像用異形窗口的形式在所有窗口的最前端實時顯 示；
[0014] 影像傳輸及實時顯示模塊：將教師機上的含有合成影像的異形窗口通過網(wǎng)絡(luò)實時 傳輸?shù)綄W(xué)生機并進行實時顯示。
[0015] 互動控制模塊：對采集到的視頻流進行處理，通過圖像識別技術(shù)識別人物的輪廓 并計算輪廓的中心點及凸包點從而確定手的位置，然后根據(jù)手的停留時間判斷指令，從而 做出相應(yīng)的響應(yīng)動作。
[0016] 本發(fā)明還公開了一種多媒體互動教學(xué)控制方法，包括：
[0017] (1)利用攝像頭進行數(shù)據(jù)采集，獲取視頻流；其特征是：
[0018] 還包括如下步驟：
[0019] (2)對采集的視頻流進行處理，將感興趣的運動目標提取出來，獲取前景圖像； (3)將獲取的前景圖像用異形窗口的形式在所有窗口的最前端實時顯示；
[0020] (4)將教師機上的含有合成影像的異形窗口通過網(wǎng)絡(luò)實時傳輸?shù)綄W(xué)生機并進行實 時顯示。
[0021] (5)對采集的視頻流進行處理，識別視頻流中人物的輪廓，確定手的位置，根據(jù)手 的停留時間觸發(fā)相應(yīng)的操作。
[0022] 作為對本技術(shù)方案的進一步限定，所述步驟（2)包括如下步驟：
[0023] (2. 1)從視頻流中選取一張無人和運動物體的圖像作為背景圖像；
[0024] (2. 2)選擇混合顏色空間中的不同顏色通道；
[0025] (2. 3)獲取攝像頭當前幀圖像，根據(jù)步驟（2. 2)選擇的顏色通道，分離出當前幀圖 像和步驟（2. 1)中獲取的背景圖像中相對應(yīng)的各顏色通道；
[0026] (2. 4)當前幀圖像進行運動檢測，判斷是否為所要檢測的運動目標，若為檢測的運 動目標，則提取到該通道的前景，否則提取不到該通道的前景圖像；
[0027] (2. 5)將步驟（2. 4)中獲取的各顏色通道提取的前景圖像進行或運算，得到效果 較好的前景圖像；
[0028] (2. 6)根據(jù)步驟（2. 5)計算得到的前景圖像和當前幀的彩色圖像進行掩碼計算， 得到彩色的前景圖像；
[0029] (2. 7)重復(fù)步驟（2. 3)-(2. 6)，得到實時的前景圖像，以視頻流的形式輸出。
[0030] 作為對本技術(shù)方案的進一步限定，所述步驟（2. 3)包括如下步驟：
[0031] 設(shè)定L(x，y)為當前幀圖像在某一顏色通道上的像素灰度值，設(shè)定B(x，y)為背景 圖像在某一顏色通道上的像素灰度值，設(shè)定d為前景圖像在某一顏色通道上的像素灰度 值，DB(X，y)為前景圖像二值化以后的像素灰度值，T為設(shè)定的閥值，有：
[0032]

【權(quán)利要求】
1. 一種多媒體互動教學(xué)控制系統(tǒng)，包括： 數(shù)據(jù)采集模塊：采集視頻流；其特征在于，還包括： 摳像模塊：對采集到的視頻流進行處理，將感興趣的運動目標提取出來，獲取前景圖 像； 影像合成模塊：將獲取的前景圖像用異形窗口的形式在所有窗口的最前端實時顯示； 影像傳輸及實時顯示模塊：將教師機上的含有合成影像的異形窗口通過網(wǎng)絡(luò)實時傳輸 到學(xué)生機并進行實時顯示。 互動控制模塊：對采集到的視頻流進行處理，通過圖像識別技術(shù)識別人物的輪廓并計 算輪廓的中心點及凸包點從而確定手的位置，然后根據(jù)手的停留時間判斷指令，從而做出 相應(yīng)的響應(yīng)動作。
2. -種多媒體互動教學(xué)控制方法，包括： (1) 利用攝像頭進行數(shù)據(jù)采集，獲取視頻流；其特征是： 還包括如下步驟： (2) 對采集的視頻流進行處理，將感興趣的運動目標提取出來，獲取前景圖像； (3) 將獲取的前景圖像用異形窗口的形式在所有窗口的最前端實時顯示； (4) 將教師機上的含有合成影像的異形窗口通過網(wǎng)絡(luò)實時傳輸?shù)綄W(xué)生機并進行實時顯 不〇 (5) 對采集的視頻流進行處理，識別視頻流中人物的輪廓，確定手的位置，根據(jù)手的停 留時間觸發(fā)相應(yīng)的操作。
3. 根據(jù)權(quán)利要求2所述的多媒體互動教學(xué)控制方法，其特征在于，所述步驟（2)包括如 下步驟： (2. 1)從視頻流中選取一張無人和運動物體的圖像作為背景圖像； (2. 2)選擇混合顏色空間中的不同顏色通道； (2.3)獲取攝像頭當前幀圖像，根據(jù)步驟（2.2)選擇的顏色通道，分離出當前幀圖像和 步驟（2. 1)中獲取的背景圖像中相對應(yīng)的各顏色通道； (2. 4)當前幀圖像進行運動檢測，判斷是否為所要檢測的運動目標，若為檢測的運動目 標，則提取到該通道的前景，否則提取不到該通道的前景圖像； (2.5) 將步驟（2.4)中獲取的各顏色通道提取的前景圖像進行或運算，得到效果較好 的前景圖像； (2.6) 根據(jù)步驟（2.5)計算得到的前景圖像和當前幀的彩色圖像進行掩碼計算，得到 彩色的前景圖像； (2. 7)重復(fù)步驟（2. 3)-(2. 6)，得到實時的前景圖像，以視頻流的形式輸出。
4. 根據(jù)權(quán)利要求3所述的多媒體互動教學(xué)控制方法，其特征在于，所述步驟（2. 3)包括 如下步驟： 設(shè)定L(x，y)為當前幀圖像在某一顏色通道上的像素灰度值，設(shè)定B(x，y)為背景圖 像在某一顏色通道上的像素灰度值，設(shè)定d為前景圖像在某一顏色通道上的像素灰度值， DB(x，y)為前景圖像二值化以后的像素灰度值，T為設(shè)定的閥值，有：
若d> =T，則判定為需要檢測的運動目標，可以提取到該通道的前景圖像， 若d〈T，則提取不到該通道的前景圖像。
5. 根據(jù)權(quán)利要求2所述的多媒體互動教學(xué)控制方法，其特征在于，所述步驟（3)包括如 下步驟： (3. 1)創(chuàng)建主控窗口； (3.2) 主控窗口控制創(chuàng)建異形窗口； (3.3) 以異形窗口的形式實時顯示前景圖像。
6. 根據(jù)權(quán)利要求5所述的多媒體互動教學(xué)控制方法，其特征在于，所述步驟（3. 1)包括 如下步驟： (3. 1. 1)設(shè)置主控窗口大小及風(fēng)格； (3. 1.2)設(shè)置主控窗口功能模塊；
7. 根據(jù)權(quán)利要求5所述的多媒體互動教學(xué)控制方法，其特征在于，所述步驟（3. 2)包括 如下步驟： (3.2. 1)異形窗口實時獲取彩色的前景圖像，作為異形窗口的背景位圖； (3. 2. 2)檢查背景位圖的像素顏色，進行透明區(qū)域處理，當某一區(qū)域像素顏色屬于事先 設(shè)定的透明區(qū)范圍時，將此區(qū)域設(shè)定為透明區(qū)域，并從完整的區(qū)域中剪裁掉； (3. 2. 3)透明區(qū)域裁剪結(jié)束，完整的前景人物圖像以異形窗口的形式實時顯示。
8. 根據(jù)權(quán)利要求2所述的多媒體互動教學(xué)控制方法，其特征在于，所述步驟（5)包括如 下步驟： (5. 1)打開攝像頭獲取背景，在無人的環(huán)境下，提取一幅比較純凈的圖像作為背景； (5.2)獲取當前幀圖像，提取人物前景的灰度圖像； 具體步驟為：設(shè)定L(x，y)為當前幀圖像的像素灰度值，B(x，y)為背景圖像的像素灰度 值，D(x，y)為前景圖像的像素灰度值則有：
(5. 3)對灰度圖像進行閾值計算，得到二值圖像； 具體步驟為：假設(shè)f(x，y)為灰度圖像中某一點的像素值，d(x，y)為二值圖像中某一點
(5. 4)邊緣梯度計算，檢測到到人物的輪廓； (5. 5)確定手的位置，具體步驟為： 根據(jù)步驟（5.4)中檢測到的人物輪廓，計算輪廓的中心點和輪廓的凸包點，根據(jù)得到 的輪廓中心點和凸包點，分別計算在x方向和y方向上凸包點到輪廓中心點的距離，如果x 方向的距離大于y方向上的距離，那么該凸包點位置就認為是手指的位置； (5.6)重復(fù)步驟（5. 2)-(5. 5)，獲取實時的手的位置數(shù)據(jù)； (5. 7)觸發(fā)響應(yīng)事件進行事件響應(yīng)，具體包括： gl事件的觸發(fā)，當連續(xù)3幀圖像手指的位置都在一定的小范圍內(nèi)，那么就認為手指的 位置在連續(xù)3幀之內(nèi)位置沒變，就觸發(fā)點擊事件； g2根據(jù)當前圖像的大小和桌面屏幕的分辨率進行轉(zhuǎn)換，將手指在圖像中的位置轉(zhuǎn)換為 桌面鼠標點擊的位置，這樣就可以實現(xiàn)手指位置到鼠標的點擊響應(yīng)位置的轉(zhuǎn)換，位置轉(zhuǎn)換 公式具體為： 假設(shè)圖像尺寸大小為（PicWidth，PicHight)，桌面屏幕分辨率為（ScreenX，ScreenY)，手指在圖像中的位置為（PicX，PicY)，桌面鼠標的點擊位置為（x，y)，則有：
9.根據(jù)權(quán)利要求8所述的多媒體互動教學(xué)控制方法，其特征在于，所述步驟（5. 5)包括 如下步驟： 計算輪廓凸包點的具體步驟為： 假設(shè)組成輪廓的點集為S，取集合中的任意兩點p(Xl，yi)和p(x2,y2)，則這兩點組成的 直線為：ax+by=c，其中，a=y2_yi，b=x2_Xi，c=x^-yA，將點集中的其他所有的點分 別帶入直線方程ax+by=c，若表達式的符號相同，都〉c或者都<c，則表示上述兩點為該輪 廓的凸包點，否則便不是凸包點， 對輪廓的每對頂點進行檢測，找到所有的凸包點； 計算輪廓中心點的具體步驟為： 遍歷輪廓上所有的點，獲取點的總個數(shù)，提取各點的坐標值； N=EX1 求所有點坐標的平均值，得到輪廓的中心點
其中，輪廓點總個數(shù)為N，各點坐標值為mtx(x,y)，中心點坐標為M(x,y)。
【文檔編號】G06F3/01GK104484040SQ201410814274
【公開日】2015年4月1日 申請日期:2014年12月23日 優(yōu)先權(quán)日:2014年12月23日
【發(fā)明者】陳清奎 申請人:山東建筑大學(xué)