一種用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控方法
【專利摘要】本發(fā)明公開了一種用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控方法，具體步驟為：構建用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控系統(tǒng)，包括：數據采集模塊、數據接收模塊、數據處理模塊和三維渲染引擎模塊；數據采集模塊采集軍事無人機下視偵察圖像；數據接收模塊集中接收與解析偵察數據；數據處理模塊處理視頻圖像數據、更新三維虛擬場景要素；三維渲染引擎模塊實現虛擬三維場景的渲染與漫游。本發(fā)明實現了多無人機協(xié)同偵察應用下的圖像融合、渲染，無人機的快速切換與跟蹤。
【專利說明】一種用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控方法
【技術領域】
[0001]本發(fā)明涉及一種，特別是一種。本發(fā)明涉及一種全景視頻監(jiān)控方法，特別是一種用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控方法。
【背景技術】
[0002]在軍事無人機應用領域，視頻圖像是其最主要、最大量、信息最豐富的情報來源信息格式。傳統(tǒng)視頻監(jiān)控方法一般采用二維電視墻的顯示方式對無人機實時采集的二維視頻圖像進行顯示，當無人機的數目較多，導致傳回的視頻通道數較多時，傳統(tǒng)視頻監(jiān)控方法存在監(jiān)控、監(jiān)察的整體性不足、覆蓋率低、信息量過大等問題，導致作戰(zhàn)人員無法明確特定無人機所處的地理位置信息，造成方向感迷失現象，從而無法從有限的監(jiān)控窗口中對偵察事件做出快速響應。

【發(fā)明內容】

[0003]本發(fā)明目的在于提供一種用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控方法，解決多無人機協(xié)同實時偵察時造成的作戰(zhàn)人員對特定無人機所處的地理位置信息不明確、方向感迷失的問題。
[0004]一種用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控方法的具體步驟為:
第一步構建用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控系統(tǒng)
用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控，包括:數據采集模塊、數據接收模塊、數據處理模塊和三維渲染引擎模塊。其中，
數據采集模塊功能為:采集軍事無人機下視偵察圖像，并將無人機下視偵察圖像與無人機地理信息打包發(fā)送。
[0005]數據接收模塊功能為:解析無人機下視偵察圖像與地理信息數據包，將無人機下視偵察圖像與地理信息分離，并將無人機下視偵察圖像數據格式轉換為RGB格式。
[0006]數據處理模塊功能為:對無人機下視偵察圖像進行預校正，對有重合區(qū)域的圖像進行融合，更新三維虛擬環(huán)境中虛擬無人機位置、姿態(tài)，以及虛擬相機的視錐體外框。
[0007]三維渲染引擎模塊功能為:將融合后無人機下視偵察圖像、無人機及虛擬相機視錐體外框渲染到三維場景中，實現無人機偵察區(qū)域的場景漫游，以及關鍵場景視角和無人機視角間的快速切換與跟蹤。
[0008]第二步數據采集模塊采集軍事無人機下視偵察圖像
數據采集模塊采集偵察區(qū)域的下視偵察圖像數據，獲取無人機的位置、姿態(tài)地理信息，將二者打包成TCP/IP數據包，通過無線發(fā)送裝置將打包的數據以無線方式發(fā)送到分布在各個區(qū)域的無線數據接收站點，無線數據接收站點作為中介將數據通過有線網絡發(fā)送。
[0009]第三步數據接收模塊集中接收與解析偵察數據
數據接收模塊對前端多無人機協(xié)同偵察獲取的無人機下視偵察圖像與地理信息數據包進行集中解析，分離出無人機下視偵察圖像數據和位置、姿態(tài)地理信息數據，通過視頻服務器將無人機下視偵察圖像數據格式轉換為RGB格式，同無人機位置、姿態(tài)地理信息一起，通過有線IP網絡進行傳輸。
[0010]第四步數據處理模塊處理視頻圖像數據、更新三維虛擬場景要素
數據處理模塊以線程方式處理每個無人機采集的無人機下視偵察圖像數據。首先對采集的無人機下視偵察圖像數據通過攝像機標定方式進行預校正，獲取校正后的視頻圖像數據，結合無人機的位置、姿態(tài)地理信息數據，對多無人機重合區(qū)域的視頻圖像數據基于特征點匹配進行融合，得到圖像變換矩陣、下視偵察圖像各像素融合權重因子構成的Alpha圖像和變換后的視頻圖像；然后用無人機位置、姿態(tài)地理信息更新三維虛擬場景中無人機的位置與姿態(tài)變量，結合圖像變換矩陣，更新虛擬相機視錐體外框的位置與姿態(tài)變量。
[0011]第五步三維渲染引擎模塊實現虛擬三維場景的渲染與漫游
三維渲染引擎模塊通過頂點著色器和片段著色器將無人機下視偵察圖像數據進行融合，獲得融合后無人機下視偵察圖像，通過OpenSceneGraph三維場景渲染平臺，將融合后無人機下視偵察圖像連同經無人機地理信息更新后的三維虛擬場景中的無人機及虛擬相機視錐體外框，渲染到虛擬三維場景環(huán)境中，通過OpenSceneGraph三維場景渲染平臺的三維場景漫游器實現三維場景的漫游，通過基于OpenSceneGraph三維場景渲染平臺接口開發(fā)的圖形用戶界面實現關鍵場景視角和無人機視角間的快速切換與跟蹤。
[0012]至此，實現了用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控。
[0013]本發(fā)明實現了多無人機協(xié)同偵察應用下的圖像融合、渲染，無人機的快速切換與跟蹤。
【具體實施方式】
[0014]一種用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控方法的具體步驟為:
第一步構建用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控系統(tǒng)
用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控，包括:數據采集模塊、數據接收模塊、數據處理模塊和三維渲染引擎模塊。其中，
數據采集模塊功能為:采集軍事無人機下視偵察圖像，并將無人機下視偵察圖像與無人機地理信息打包發(fā)送。
[0015]數據接收模塊功能為:解析無人機下視偵察圖像與地理信息數據包，將無人機下視偵察圖像與地理信息分離，并將無人機下視偵察圖像數據格式轉換為RGB格式。
[0016]數據處理模塊功能為:對無人機下視偵察圖像進行預校正，對有重合區(qū)域的圖像進行融合，更新三維虛擬環(huán)境中虛擬無人機位置、姿態(tài)，以及虛擬相機的視錐體外框。
[0017]三維渲染引擎模塊功能為:將融合后無人機下視偵察圖像、無人機及虛擬相機視錐體外框渲染到三維場景中，實現無人機偵察區(qū)域的場景漫游，以及關鍵場景視角和無人機視角間的快速切換與跟蹤。
[0018]第二步數據采集模塊采集軍事無人機下視偵察圖像
數據采集模塊采集偵察區(qū)域的下視偵察圖像數據，獲取無人機的位置、姿態(tài)地理信息，將二者打包成TCP/IP數據包，通過無線發(fā)送裝置將打包的數據以無線方式發(fā)送到分布在各個區(qū)域的無線數據接收站點，無線數據接收站點作為中介將數據通過有線網絡發(fā)送。
[0019]第三步數據接收模塊集中接收與解析偵察數據 數據接收模塊對前端多無人機協(xié)同偵察獲取的無人機下視偵察圖像與地理信息數據包進行集中解析，分離出無人機下視偵察圖像數據和位置、姿態(tài)地理信息數據，通過視頻服務器將無人機下視偵察圖像數據格式轉換為RGB格式，同無人機位置、姿態(tài)地理信息一起，通過有線IP網絡進行傳輸。
[0020]第四步數據處理模塊處理視頻圖像數據、更新三維虛擬場景要素
數據處理模塊以線程方式處理每個無人機采集的無人機下視偵察圖像數據。首先對采集的無人機下視偵察圖像數據通過攝像機標定方式進行預校正，獲取校正后的視頻圖像數據，結合無人機的位置、姿態(tài)地理信息數據，對多無人機重合區(qū)域的視頻圖像數據基于特征點匹配進行融合，得到圖像變換矩陣、下視偵察圖像各像素融合權重因子構成的Alpha圖像和變換后的視頻圖像；然后用無人機位置、姿態(tài)地理信息更新三維虛擬場景中無人機的位置與姿態(tài)變量，結合圖像變換矩陣，更新虛擬相機視錐體外框的位置與姿態(tài)變量。
[0021]第五步三維渲染引擎模塊實現虛擬三維場景的渲染與漫游
三維渲染引擎模塊通過頂點著色器和片段著色器將無人機下視偵察圖像數據進行融合，獲得融合后無人機下視偵察圖像，通過OpenSceneGraph三維場景渲染平臺，將融合后無人機下視偵察圖像連同經無人機地理信息更新后的三維虛擬場景中的無人機及虛擬相機視錐體外框，渲染到虛擬三維場景環(huán)境中，通過OpenSceneGraph三維場景渲染平臺的三維場景漫游器實現三維場景的漫游，通過基于OpenSceneGraph三維場景渲染平臺接口開發(fā)的圖形用戶界面實現關鍵場景視角和無人機視角間的快速切換與跟蹤。
[0022]至此，實現了用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控。
【權利要求】
1.一種用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控方法，其特征在于具體步驟為:第一步構建用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控系統(tǒng)用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控，包括:數據采集模塊、數據接收模塊、數據處理模塊和三維渲染引擎模塊；其中， 數據采集模塊功能為:采集軍事無人機下視偵察圖像，并將無人機下視偵察圖像與無人機地理信息打包發(fā)送； 數據接收模塊功能為:解析無人機下視偵察圖像與地理信息數據包，將無人機下視偵察圖像與地理信息分離，并將無人機下視偵察圖像數據格式轉換為RGB格式； 數據處理模塊功能為:對無人機下視偵察圖像進行預校正，對有重合區(qū)域的圖像進行融合，更新三維虛擬環(huán)境中虛擬無人機位置、姿態(tài)，以及虛擬相機的視錐體外框； 三維渲染引擎模塊功能為:將融合后無人機下視偵察圖像、無人機及虛擬相機視錐體外框渲染到三維場景中，實現無人機偵察區(qū)域的場景漫游，以及關鍵場景視角和無人機視角間的快速切換與跟蹤； 第二步數據采集模塊采集軍事無人機下視偵察圖像 數據采集模塊采集偵察區(qū)域的下視偵察圖像數據，獲取無人機的位置、姿態(tài)地理信息，將二者打包成TCP/IP數據包，通過無線發(fā)送裝置將打包的數據以無線方式發(fā)送到分布在各個區(qū)域的無線數據接收站點，無線數據接收站點作為中介將數據通過有線網絡發(fā)送；第三步數據接收模塊集中接收與解析偵察數據 數據接收模塊對前端多無人機協(xié)同偵察獲取的無人機下視偵察圖像與地理信息數據包進行集中解析，分離出無人機下視偵察圖像數據和位置、姿態(tài)地理信息數據，通過視頻服務器將無人機下視偵察圖像數據格式轉換為RGB格式，同無人機位置、姿態(tài)地理信息一起，通過有線IP網絡進行傳輸； 第四步數據處理模塊處理視頻圖像數據、更新三維虛擬場景要素數據處理模塊以線程方式處理每個無人機采集的無人機下視偵察圖像數據；首先對采集的無人機下視偵察圖像數據通過攝像機標定方式進行預校正，獲取校正后的視頻圖像數據，結合無人機的位置、姿態(tài)地理信息數據，對多無人機重合區(qū)域的視頻圖像數據基于特征點匹配進行融合，得到圖像變換矩陣、下視偵察圖像各像素融合權重因子構成的Alpha圖像和變換后的視頻圖像；然后用無人機位置、姿態(tài)地理信息更新三維虛擬場景中無人機的位置與姿態(tài)變量，結合圖像變換矩陣，更新虛擬相機視錐體外框的位置與姿態(tài)變量； 第五步三維渲染引擎模塊實現虛擬三維場景的渲染與漫游 三維渲染引擎模塊通過頂點著色器和片段著色器將無人機下視偵察圖像數據進行融合，獲得融合后無人機下視偵察圖像，通過OpenSceneGraph三維場景渲染平臺，將融合后無人機下視偵察圖像連同經無人機地理信息更新后的三維虛擬場景中的無人機及虛擬相機視錐體外框，渲染到虛擬三維場景環(huán)境中，通過OpenSceneGraph三維場景渲染平臺的三維場景漫游器實現三維場景的漫游，通過基于OpenSceneGraph三維場景渲染平臺接口開發(fā)的圖形用戶界面實現關鍵場景視角和無人機視角間的快速切換與跟蹤； 至此，實現了用于多無人機協(xié)同實時偵察的全景視頻監(jiān)控。
【文檔編號】H04N7/18GK103686084SQ201310663351
【公開日】2014年3月26日 申請日期:2013年12月10日 優(yōu)先權日:2013年12月10日
【發(fā)明者】劉昊, 伍航, 趙亞麗 申請人:中國航天科工集團第四研究院