本發(fā)明涉及無人機動態(tài)監(jiān)控技術，尤其涉及一種基于時空信息融合技術的無人機應急快反監(jiān)控系統(tǒng)及方法，可應用于無人機應急救災、森林防火、公共安全、維穩(wěn)處突、態(tài)勢監(jiān)控，電力/管線等例行性巡檢等領域。

背景技術：

隨著無人機等無人飛行技術在民用領域的持續(xù)推廣應用，無人機應用與應急監(jiān)控越來越普遍。無人機具有機動靈活、成本低、使用方便的特點，很多傳統(tǒng)的非固定區(qū)域的監(jiān)控或巡檢工作都在試圖用無人機來代替舊的技術手段。

目前市場上的無人機平臺系統(tǒng)已經基本上解決了視頻的采集和短距離傳輸問題，主要利用微波電臺實現(xiàn)從無人機到地面站的實時傳輸。但在應急情況下，會有多方領導及多方單位參與事件的處理或指導工作，他們都需要了解現(xiàn)場的情況，并需要對現(xiàn)場及周邊的空間信息及相關資源進行全方位了解。

因此，在應急情況下，只解決實時監(jiān)控信息到地面站的視頻傳輸是遠遠不夠的，還需要將事件周邊的空間信息及實時監(jiān)控信息傳送給位于不同單位或處所得多個相關人員，以便實時全面了解現(xiàn)場情況。

技術實現(xiàn)要素：

有鑒于此，本發(fā)明的主要目的在于提供一種基于時空信息融合技術的無人機應急快反監(jiān)控系統(tǒng)及方法，以實現(xiàn)實時視頻監(jiān)控信息與空間地理信息的融合應用，并借助互聯(lián)網與移動互聯(lián)網技術實現(xiàn)融合監(jiān)控信息的遠程共享。

為達到上述目的，本發(fā)明的技術方案是這樣實現(xiàn)的：

一種基于時空信息融合技術的無人機應急快反監(jiān)控系統(tǒng)，包括無人機平臺系統(tǒng)和吊艙系統(tǒng)；該應急快反監(jiān)控系統(tǒng)還包括：飛控地面站、圖像地面站和時 空信息融合監(jiān)控服務平臺以及監(jiān)控終端；其中，

所述吊艙系統(tǒng)搭載有傳感器系統(tǒng)，用于采集多視傾斜影像、采集實時視頻和目標追蹤；

所述飛控地面站，用于無人機的地面調試、飛行控制和狀態(tài)監(jiān)視；

所述圖像地面站，用于三維快視圖的處理；

所述時空信息融合監(jiān)控服務平臺，用于提供傾斜影像三維實景建模服務、通用三維地圖服務、三維分析服務、三維標注標繪、動態(tài)模擬推演、地理信息與動態(tài)信息融合分析及綜合可視化服務；以及，

所述監(jiān)控終端，用于無人機視頻監(jiān)控信息與電子沙盤信息的融合可視化、交互分析及應急應用。

其中，所述無人機平臺系統(tǒng)集成有數傳發(fā)射模塊，用于實現(xiàn)無人機飛控控制數字傳輸鏈路。

所述傳感器系統(tǒng)，進一步包含圖傳發(fā)射模塊，用于實現(xiàn)實時視頻的傳輸。

所述圖像地面站，進一步包含：

圖像信息處理模塊，用于完成傾斜影像的三維實景建模處理，受處理能力的限制；

視頻信息處理模塊，用于完成視頻和無人機POS信息的采集和同步處理、同步轉發(fā)及視頻信息與電子沙盤信息的融合處理和可視化顯示。

所述POS信息，包括GPS位置、無人機姿態(tài)和吊艙姿態(tài)信息。

所述無人機平臺系統(tǒng)的飛控模塊通過RS422接口與吊艙系統(tǒng)相連實現(xiàn)飛控對吊艙的控制和數據傳輸，所述吊艙系統(tǒng)通過圖像跟蹤板控制伺服系統(tǒng)實現(xiàn)對目標的跟蹤功能，并通過圖傳電臺實時傳輸給圖像地面站。

一種基于時空信息融合的無人機應急快反監(jiān)控方法，包括如下步驟：

A、無人機平臺系統(tǒng)集成帶目標跟蹤功能的吊艙系統(tǒng)，該吊艙系統(tǒng)通過圖像跟蹤板實現(xiàn)目標跟蹤功能；

B、圖像地面站集成吊艙控制搖桿、圖像采集單元和吊艙數傳電臺，實現(xiàn)對吊艙的姿態(tài)控制，并可采集吊艙傳回的監(jiān)控視頻和吊艙姿態(tài)信息；

C、視頻信息與無人機姿態(tài)信息和吊艙信息的同步采集及編碼，保證視頻與平臺姿態(tài)參數的時間一致性，有利于后期進行時空融合處理；

D、同步編碼信息的網絡轉發(fā)和接收，將視頻流信息進行重新拆分和編碼，然后對視頻和POS信息進行同步轉發(fā)處理；

E、監(jiān)控區(qū)域空間信息及電子沙盤的信息獲取及可視化，空間信息的獲取有多種渠道；

F、監(jiān)控區(qū)域空間信息與同步編碼后的視頻監(jiān)控信息融合處理，為實時視頻賦予清晰的地理位置屬性。

較佳地，進一步包括步驟G：

通過時空信息融合服務平臺系統(tǒng)實現(xiàn)時空信息融合后的信息共享的步驟。

所述吊艙系統(tǒng)進一步集成有圖像跟蹤單元，用于自動檢測監(jiān)控區(qū)域內的動態(tài)目標，并利用圖像跟蹤單元將自身的姿態(tài)信息、圖像中的目標位置信息發(fā)送給無人機平臺的飛行控制器，飛行控制器將這些信息聯(lián)同無人機的GPS和IMU參數一同發(fā)送給無人機飛控地面站。

其中，圖像地面站對圖像、無人機POS、吊艙POS進行融合編碼的過程，包括：

圖像地面站集成圖像采集卡對模擬視頻進行采集，并進行基于H.264的編碼；

圖像地面站通過圖像地面站專用軟件從圖像采集卡讀取壓縮后的視頻流，通過串口讀取吊艙姿態(tài)和無人機姿態(tài)信息；

圖像地面站對視頻碼流按照相應格式拆包分解，在每一包的開頭或結尾寫入吊艙姿態(tài)信息和無人機姿態(tài)信息；以及，

對新的包信息進行重組打包以后發(fā)送給其他模塊，并轉發(fā)出去，發(fā)給時空信息融合監(jiān)控服務平臺。

所述監(jiān)控區(qū)域空間信息及電子沙盤的信息獲取方式，包括：

利用三維GIS軟件直接加載公共服務平臺提供的地圖服務；

對局部監(jiān)控區(qū)域進行手工建模，將模型導入三維GIS軟件；以及，

利用無人機平臺對監(jiān)控區(qū)域進行傾斜攝影，利用專用軟件處理成三維實景模型，再導入三位GIS軟件，構建該區(qū)域的電子沙盤。

所述監(jiān)控區(qū)域空間信息與同步編碼后的視頻監(jiān)控信息融合處理，包括如下步驟：

F1：利用無人機GPS位置信息、無人機IMU姿態(tài)信息及吊艙的姿態(tài)信息進行聯(lián)合解算，獲取視頻拍攝時的外方位參數；

F2：提前對搭載攝像頭信息進行內參數標定，獲取攝像頭內參數信息，并從吊艙姿態(tài)里實時獲取變焦的焦距信息；

F3：以GPS位置點為射線起點，依據內外方位參數形成攝像機對地拍攝的射線，此射線與地面空間信息會有交點，分別計算經過圖像四個角點發(fā)射的射線根地面的交點，形成無人機監(jiān)控攝頻的拍攝視錐體；

F4：在三維GIS軟件上實時接收由前端轉發(fā)過來視頻信息，在同一界面上既能夠看到實時視頻，還能夠看到無人機航線和視頻拍攝范圍；

F5：當拍攝區(qū)域內有動態(tài)目標時，機上吊艙輸出動態(tài)目標在視頻中的位置，此時三維GIS軟件收到此目標的圖像位置信息，依據此計算得到目標的空間位置和移動軌跡。

所述時空信息融合后的信息共享，具體為：

時空信息融合監(jiān)控服務平臺為BS架構的基于地理信息服務框架的平臺系統(tǒng)，通過3G或4G網絡實時接收來自前端圖像地面站發(fā)送過來的視頻信息和姿態(tài)信息，或通過電臺或其他形式的視頻傳輸網絡獲得實時視頻，時空信息融合監(jiān)控服務平臺通過網絡服務能力，向其他連入的終端系統(tǒng)轉發(fā)監(jiān)控區(qū)域的視頻信息及融合后的空間信息，從而實現(xiàn)信息的多方共享。

本發(fā)明基于時空信息融合技術的無人機應急快反監(jiān)控系統(tǒng)及方法與現(xiàn)有技術相比的優(yōu)點在于：

傳統(tǒng)無人機監(jiān)控僅解決了無人機飛行問題和視頻信息的采集問題，而本發(fā)明側重于監(jiān)控信息在空間地理信息平臺上的深度融合應用，為視頻監(jiān)控信息賦予大空間的位置屬性，且通過時空信息融合監(jiān)控服務平臺實現(xiàn)無人機監(jiān)控信息 的遠程傳輸和信息共享，這在應急快反中至關重要。此外，通過吊艙系統(tǒng)與無人機平臺和地理信息系統(tǒng)的集成，還可實現(xiàn)目標的檢測、跟蹤和地理定位，這在公安應急、處理突發(fā)事件、安防應用等方面非常重要。

附圖說明

圖1A為本發(fā)明基于時空信息融合的無人機應急快反監(jiān)控系統(tǒng)功能方框圖；

圖1B為本發(fā)明基于時空信息融合的無人機應急快反監(jiān)控系統(tǒng)結構示意圖；

圖2為無人機平臺系統(tǒng)與吊艙系統(tǒng)集成結構示意圖；

圖3、圖4為圖像地面站示意圖；

圖5為本發(fā)明的快反時空信息融合監(jiān)控服務平臺及APP應用系統(tǒng)的框架結構示意圖；

圖6為本發(fā)明的快反監(jiān)控終端視頻監(jiān)控畫面示意圖；

圖7為本發(fā)明的快反監(jiān)控終端圖像處理畫面示意圖。

具體實施方式

下面結合附圖及本發(fā)明的實例對本發(fā)明基于時空信息融合技術的無人機應急快反監(jiān)控系統(tǒng)及方法作進一步詳細的說明。

本發(fā)明的主要技術原理在于：首先，傳感器采集的圖像信息結合飛行平臺采集的位置信息和姿態(tài)信息按照攝影測量的原理，理論上不能確定傳感器的拍攝位置，但如再結合已知的地理信息數據，則可通過射線求交的方式確定出傳感器拍攝的范圍。其次，監(jiān)控區(qū)域空間信息的獲取最直接有效的辦法是通過無人機搭載傾斜相機系統(tǒng)進行多角度數據采集，通過多視圖像空中三角測量、密集點云提取、三維重建和紋理映射等處理技術，可獲得拍攝區(qū)域的三維實景模型。再次，通過傾斜攝影獲取的三維實景模型及在其上疊加的實時視頻監(jiān)控信息首先可在無人機地面站上看到，這些信息通過與時空信息融合監(jiān)控服務平臺系統(tǒng)對接可實現(xiàn)監(jiān)控信息的實時遠程共享，通過連接服務平臺的客戶端系統(tǒng)可查看無人機平臺獲取的三維實景及監(jiān)控信息。

本發(fā)明基于已經逐漸成熟的無人機技術、地理信息技術、互聯(lián)網技術及移動互聯(lián)網技術，提出了一種基于時空信息融合技術的無人機應急快反監(jiān)控方法，并提供一種簡單的、輕量化的與無人機平臺緊密集成的時空信息融合監(jiān)控服務平臺系統(tǒng)，該系統(tǒng)不但可以利用無人機平臺實時監(jiān)控關注區(qū)域，并且可以將實時監(jiān)控圖像與空間地理信息進行深度融合，同時，利用互聯(lián)網和移動互聯(lián)網技術，這些深度融合后的時空信息畫面還可實時共享給各個相關單位人員，這些人員的手機或平板(如PAD)終端上只需安裝一個APP應用。

圖1A為本發(fā)明基于時空信息融合的無人機應急快反監(jiān)控系統(tǒng)功能方框圖。如圖1A所示，其主要實現(xiàn)步驟包括：從無人機平臺獲取無人機平臺姿態(tài)參數；從無人機載吊艙系統(tǒng)獲取視頻監(jiān)控圖像信息和吊艙的姿態(tài)參數；由圖像地面站同時獲取視頻信息、無人機姿態(tài)信息、吊艙姿態(tài)信息，并對同時刻三維信息進行同步處理；圖像地面站利用圖像地面站軟件系統(tǒng)一方面對同步后的監(jiān)控信息進行與空間信息的融合，并進行可視化顯示，另一方面對同步后的信息利用4G網絡或其他網絡轉發(fā)給遠程的時空信息融合服務平臺；時空信息融合服務平臺可向所有與平臺連接的時空信息監(jiān)控終端系統(tǒng)提供時空信息融合后的無人機監(jiān)控信息；時空信息監(jiān)控終端系統(tǒng)即可向使用者提供無人機監(jiān)控視頻，又可提供無人機航線位置，以及視頻的監(jiān)控范圍和目標位置、軌跡信息。

圖1B為本發(fā)明基于時空信息融合的無人機應急快反監(jiān)控系統(tǒng)結構示意圖。如圖1B所示，本發(fā)明的基于時空信息融合的無人機應急快反監(jiān)控方法，主要包括如下步驟：

步驟1：無人機平臺系統(tǒng)集成帶目標跟蹤功能的吊艙系統(tǒng)，該吊艙系統(tǒng)通過圖像跟蹤板實現(xiàn)目標跟蹤功能。

步驟2：圖像地面站集成吊艙控制搖桿、圖像采集單元和吊艙數傳電臺，即可實現(xiàn)對吊艙的姿態(tài)控制，又可采集吊艙傳回的監(jiān)控視頻和吊艙姿態(tài)信息。通過通信網絡(如局域網或WIFI)，圖像地面站可從飛控地面站實時獲取數傳電臺下傳的無人機姿態(tài)和位置信息以及吊艙姿態(tài)信息。

步驟3：視頻信息與無人機姿態(tài)信息和吊艙信息的同步采集及編碼，保證 視頻與平臺姿態(tài)參數的時間一致性，有利于后期進行時空融合處理。

步驟4：同步編碼信息的網絡轉發(fā)和接收，視頻采集過來是通用的H.264編碼視頻流，為了要進行視頻與POS的同步轉發(fā)處理，需要對視頻流信息進行重新拆分和編碼。

步驟5：監(jiān)控區(qū)域空間信息及電子沙盤的信息獲取及可視化，空間信息的獲取有多種渠道。譬如，可通過傾斜攝影的方式快速獲取三維實景模型，這是目前最有效的手段。

步驟6：監(jiān)控區(qū)域空間信息與同步編碼后的視頻監(jiān)控信息融合處理，為實時視頻賦予清晰的地理位置屬性。

步驟7：通過時空信息融合服務平臺系統(tǒng)實現(xiàn)時空信息融合后的信息共享。應急狀態(tài)下往往需要多個部門、多個相關人員需要了解現(xiàn)場情況。

這里，所述吊艙系統(tǒng)內部集成有圖像跟蹤單元，圖像跟蹤單元一方面可自動檢測監(jiān)控區(qū)域內的動態(tài)目標，另一方面圖像跟蹤單元可將自身的姿態(tài)信息、圖像中的目標位置信息發(fā)送給無人機平臺的飛行控制器，飛行控制器可將這些信息聯(lián)同無人機的GPS和IMU參數一同發(fā)送給無人機飛控地面站。

另外，圖像地面站集成吊艙控制搖桿、圖像采集單元和吊艙數傳電臺，圖像地面站作為以監(jiān)控任務為主導工作的核心單元完成對吊艙的直接控制，而非飛控地面站直接控制吊艙；圖像地面站完成圖像采集、吊艙姿態(tài)采集和無人機姿態(tài)采集任務。圖像地面站完成三種信息采集有兩種方式：

其一，吊艙在機上獲取無人機飛控單元采集的無人機GPS信息和IMU姿態(tài)信息，再與自身姿態(tài)一起打包下發(fā)給圖像地面站。

其二，吊艙不與機上飛控對接，地面飛控地面站獲取無人機GPS信息和IMU姿態(tài)信息后轉發(fā)給圖像地面站，圖像地面站再通過圖像采集設備和吊艙數傳電臺完成其他信息的采集。

其中，圖像地面站對圖像、無人機POS、吊艙POS進行融合編碼的步驟如下：

(1)圖像地面站集成圖像采集卡對模擬視頻進行采集，并進行基于H.264 的編碼。

(2)圖像地面站通過圖像地面站專用軟件從圖像采集卡讀取壓縮后的視頻流，通過串口讀取吊艙姿態(tài)和無人機姿態(tài)信息。

(3)圖像地面站專用軟件對視頻碼流按照相應格式拆包分解，在每一包的開頭或結尾寫入吊艙姿態(tài)信息和無人機姿態(tài)信息。

(4)對新的包信息進行重組打包以后發(fā)送給其他模塊，并轉發(fā)出去，發(fā)給時空信息融合監(jiān)控服務平臺。

監(jiān)控區(qū)域空間信息及電子沙盤的信息獲取有多種渠道：

(1)利用三維GIS軟件直接加載公共服務平臺提供的地圖服務，比如百度地圖、Google地圖、天地圖等公共地圖服務平臺；

(2)對局部監(jiān)控區(qū)域進行手工建模，將模型導入三維GIS軟件；

(3)利用無人機平臺對監(jiān)控區(qū)域進行傾斜攝影，利用專用軟件處理成三維實景模型，再導入三位GIS軟件，構建該區(qū)域的電子沙盤。

其中，監(jiān)控區(qū)域空間信息與同步編碼后的視頻監(jiān)控信息融合處理其主要步驟包括：

(1)利用無人機GPS位置信息、無人機IMU姿態(tài)信息及吊艙的姿態(tài)信息(俯仰角、航向角)進行聯(lián)合解算，獲取視頻拍攝時的外方位參數；

(2)提前對搭載攝像頭信息進行內參數標定，獲取攝像頭內參數信息，并可從吊艙姿態(tài)里實時獲取變焦的焦距信息；

(3)以GPS位置點為射線起點，依據內外方位參數可形成攝像機對地拍攝的射線，此射線與地面空間信息會有交點，分別計算經過圖像四個角點發(fā)射的射線根地面的交點，則可形成無人機監(jiān)控攝頻的拍攝視錐體；

(4)同時在三維GIS軟件上實時接收由前端轉發(fā)過來視頻信息，可在同一界面上既然可看到實時視頻，又可看到無人機航線和視頻拍攝范圍；

(5)當拍攝區(qū)域內有動態(tài)目標時，機上吊艙會輸出動態(tài)目標在視頻中的位置，此時三維GIS軟件可收到此目標的圖像位置信息，可依據此計算得到目標的空間位置和移動軌跡。其中的原理與視椎體的計算方法相同。

時空信息融合后的信息共享的主要方法是，時空信息融合監(jiān)控服務平臺為BS架構的基于地理信息服務框架的平臺系統(tǒng)，他可通過3G或4G網絡實時接收來自前端圖像地面站發(fā)送過來的視頻信息和姿態(tài)信息，也可通過電臺或其他形式的視頻傳輸網絡獲得實時視頻，時空信息融合監(jiān)控服務平臺可提供強大的網絡服務能力，可向其他連入的終端系統(tǒng)轉發(fā)監(jiān)控區(qū)域的視頻信息及融合后的空間信息，達到信息的多方共享。

如圖1B所示，本發(fā)明的基于時空信息融合技術的無人機應急快反的監(jiān)控系統(tǒng)，主要由傳感器系統(tǒng)、無人機平臺系統(tǒng)、圖像地面站、飛控地面站(UAV地面站)、快反時空信息融合監(jiān)控服務平臺、監(jiān)控終端(如快反PAD終端、快反手機終端)等幾個部分組成。

其中，傳感器系統(tǒng)是吊艙系統(tǒng)搭載的主要工作單元，所述傳感器系統(tǒng)的傳感器可以包含以下幾種類型：三軸立體相機和智能光電吊艙。

所述三軸立體相機負責多視傾斜影像的采集；所述智能光電吊艙負責實時視頻采集和目標追蹤。所述無人機平臺系統(tǒng)為多旋翼無人機，其關鍵核心部件為飛控模塊(如無人機快反飛控自駕儀)，主要負責無人機平臺系統(tǒng)的安全飛行，以及與任務載荷的聯(lián)合控制。

另外，無人機平臺系統(tǒng)還集成了圖傳發(fā)射模塊和數傳發(fā)射模塊，主要實現(xiàn)無人機飛控控制數字傳輸鏈路。并通過集成在傳感器系統(tǒng)中的圖傳發(fā)射模塊實現(xiàn)實時視頻的傳輸。

本發(fā)明的無人機平臺系統(tǒng)與吊艙系統(tǒng)集成結構示意圖，如圖2所示，飛控模塊與吊艙系統(tǒng)通過RS422接口相連實現(xiàn)飛控對吊艙的控制和數據傳輸，吊艙通過圖像跟蹤板控制伺服系統(tǒng)實現(xiàn)對目標的跟蹤功能，以可見光或紅外傳感器方式通過圖傳電臺實時傳輸給地面站。

吊艙系統(tǒng)與無人機飛行平臺監(jiān)控信息采集的主要工作流程是：吊艙系統(tǒng)內部集成了可見光或紅外傳感器、圖像跟蹤單元，吊艙系統(tǒng)與圖傳系統(tǒng)連接，并通過其向地面?zhèn)鬏攲崟r視頻；圖像跟蹤單元與無人機飛行平臺的飛控系統(tǒng)通過RS422接口相連，一方面可自動檢測監(jiān)控區(qū)域內的動態(tài)目標，另一方面圖像跟 蹤單元可將自身的姿態(tài)信息、圖像中的目標位置信息發(fā)送給無人機平臺的飛行控制器，飛行控制器可將這些信息聯(lián)同無人機的GPS和IMU參數一同發(fā)送給無人機飛控地面站。

飛控地面站集成了飛控地面站軟件及數傳接收電臺，主要負責無人機的地面調試、飛行控制和狀態(tài)監(jiān)視。

本發(fā)明的圖像地面站示意圖，如圖3、4所示，其主要集成了圖傳接收模塊、視頻采集模塊、吊艙控制模塊及圖像處理軟件模塊。

這里，所述圖像地面站主要用于吊艙控制、實時視頻監(jiān)視、視頻處理和圖像處理任務。圖像地面站還預留了遠程通訊接口，內置4G網卡，可通過接入互聯(lián)網、專網或4G網絡實現(xiàn)與快反時空信息融合監(jiān)控服務平臺的連接，圖像地面站可將無人機飛行數據、視頻監(jiān)控數據及圖像數據發(fā)送給服務平臺，也可從服務平臺獲取空間地理信息數據構建電子沙盤。

圖像地面站包含兩大模塊：視頻信息處理模塊和圖像信息處理模塊。地面站主要完成三維快視圖的處理。其中，圖像信息處理模塊，主要完成傾斜影像的三維實景建模處理，受處理能力的限制。視頻信息處理模塊，主要任務是完成視頻和無人機POS(GPS位置、無人機姿態(tài)、吊艙姿態(tài))信息的采集和同步處理、同步轉發(fā)及視頻信息與電子沙盤信息的融合處理和可視化顯示。

這里，視頻與電子沙盤融合處理的內容包括：

(1)視頻監(jiān)控覆蓋地理范圍的計算及可視化；

(2)視頻幀的地理矯正及與電子地圖的疊加顯示；

(3)視頻信息中目標的位置、移動速度、移動方位的計算和可視化；

(4)無人機航跡信息可視化。

視頻監(jiān)控覆蓋范圍的計算和視頻幀糾正的基本原理均為攝影測量的共線方程，下列公式(1)、(2)中，矩陣R為相機的外方位元素構建的旋轉矩陣，通過機上下傳的IMU參數可獲得，公式1中，Xs、Ys、Zs為攝站坐標，可通過機上下傳的GPS信息近似獲得，(x，y)為圖像上任一點的像空間坐標系的坐標，f為焦距，唯一要確定的即Z。通常軍事應用中，一般通過激光測距儀向目 標方向測距來精確判斷目標的位置。如我們已知監(jiān)測區(qū)域的高精度DEM數據，以GPS點為原點，通過圖像上(x，y)點做射線，求得該射線與DEM的交點，即可確定(x，y)點對應的空間坐標(X，Y，Z)，根據同樣的原理，也可計算目標在任意時刻的位置信息，進而可求得運動速度和方向。

外方位角元素 (2)

視頻與POS信息的同步處理及轉發(fā)功能處理過程如下：

(1)通過圖像地面站集成的圖像采集卡采集和壓縮視頻流信息；

(2)圖像地面站軟件從視頻采集卡直接讀取視頻壓縮后的碼流信息；

(3)對碼流解包處理；

(4)飛控地面站通過數傳電臺接收無人機上下傳的POS(包括GPS信息、氣壓高、飛機IMU姿態(tài)和吊艙的姿態(tài)信息及跟蹤信息等)信息，并向圖像地面站轉發(fā)相同信息；

(5)圖像地面站接收飛控地面站轉發(fā)過來的POS信息；

(6)在視頻碼流的每包數據的開頭或末尾加入POS信息，重新構建視頻幀碼流數據；

(7)將新的碼流數據進行轉發(fā)；

(8)視頻播放及處理模塊接收新的碼流數據進行解包處理，首先獲得POS數據，再對剩下的視頻碼流進行解碼處理。

快反時空信息融合監(jiān)控服務平臺是一個融合了空間地理信息、動態(tài)視頻監(jiān)控信息及傳感信息的綜合性服務平臺，可對外提供傾斜影像三維實景建模服務、通用三維地圖服務、三維分析服務、三維標注標繪、動態(tài)模擬推演、地理信息與動態(tài)信息融合分析及綜合可視化等服務；該服務平臺還對外開放web應用開發(fā)、桌面端應用開發(fā)及移動應用開發(fā)接口。

快反PAD終端及手機終端等監(jiān)控終端，是連接快反時空信息融合監(jiān)控服務 平臺的兩類App應用，主要實現(xiàn)無人機視頻監(jiān)控信息與電子沙盤信息的融合可視化、交互分析及應急應用。

圖5為快反時空信息融合監(jiān)控服務平臺及APP應用系統(tǒng)的框架結構。從下到上可分為：支撐平臺層、服務層和應用層。支撐平臺層包含Google三維可視化插件、炫界基礎三維GIS平臺、Smart3D圖像處理引擎。服務層包含兩大服務子系統(tǒng)：圖像處理子系統(tǒng)、視頻處理子系統(tǒng)，這兩個子系統(tǒng)共同調用了炫界基礎三維GIS平臺里的三維GIS插件。應用層為快反PAD終端app和手機端app。

快反終端應用App均支持按鍵式觸摸屏操作，使用方便，操作簡單靈活，圖6、圖7分別為快反監(jiān)控終端上視頻監(jiān)控畫面示意圖和圖像處理畫面示意圖。

要實現(xiàn)基于時空信息融合的無人機應急監(jiān)控，監(jiān)控區(qū)域空間信息及電子沙盤的信息獲取及可視化也是必須要解決的問題。電子沙盤信息的獲取有多重方式：

(1)利用三維GIS軟件直接加載公共服務平臺提供的地圖服務，比如百度地圖、Google地圖、天地圖等公共地圖服務平臺；

(2)對局部監(jiān)控區(qū)域進行手工建模，將模型導入三維GIS軟件；

(3)利用無人機平臺對監(jiān)控區(qū)域進行傾斜攝影，利用專用軟件處理成三維實景模型，再導入三位GIS軟件，構建該區(qū)域的電子沙盤。本方法傾斜攝影的獲取采用三軸立體相機拍攝獲取，傾斜影像的實景建模處理利用快反時空信息融合監(jiān)控服務平臺完成大批量數據處理任務，利用圖像地面站圖像處理軟件完成三維快視圖的處理。

以上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。