本發(fā)明屬于內(nèi)河海事智能監(jiān)管技術(shù)領(lǐng)域，具體涉及一種內(nèi)河水域異常行為船舶自動識別系統(tǒng)與方法。

背景技術(shù)：

隨著我國長江經(jīng)濟(jì)帶快速發(fā)展，內(nèi)河水域交通流密度越來越大，通航環(huán)境愈加復(fù)雜，海事監(jiān)管壓力亦不斷增加。為了降低內(nèi)河水域船舶通航風(fēng)險，長江海事局貫徹“e-航海(e-Navigation)”理念，組織開發(fā)了電子巡航系統(tǒng)，并于2012年全線推廣實(shí)施。該系統(tǒng)以地理信息系統(tǒng)為平臺，通過VTS、AIS、GPS、視頻監(jiān)控系統(tǒng)(Closed Circuit Television，CCTV)、氣象、水位等系統(tǒng)獲取水上交通數(shù)據(jù)，形成重點(diǎn)水域監(jiān)控、重點(diǎn)船舶跟蹤、搜救協(xié)調(diào)等功能的海事監(jiān)管體系。雖然交通水運(yùn)信息化達(dá)到“中樞神經(jīng)”的感知層面，但還沒有發(fā)揮“大腦”的智慧，實(shí)現(xiàn)“大腦”的“思考”過程，從中提取真正有價值的信息。

雖然大數(shù)據(jù)基礎(chǔ)已經(jīng)形成，但是不同數(shù)據(jù)源之間相互封閉，大數(shù)據(jù)得不到有效的應(yīng)用。一方面，船舶行為分析是安全監(jiān)管的重要內(nèi)容，其行為規(guī)律蘊(yùn)含于大數(shù)據(jù)中有待挖掘。目前大多數(shù)研究是采用聚類、關(guān)聯(lián)規(guī)則、決策樹等人工工程設(shè)計(jì)的數(shù)據(jù)挖掘方法，對于船舶行為的理解尚停留在較低層次?；诖髷?shù)據(jù)技術(shù)如深度學(xué)習(xí)，能多層次、深層次理解船舶行為特征，是水上智能交通工程研究的熱點(diǎn)和方向，但是研究成果很少。另外一方面，現(xiàn)有的基于CCTV視頻監(jiān)控對檢測、識別與跟蹤的船舶來說是無差別的，單獨(dú)依靠CCTV視頻分析技術(shù)是很難識別出異常行為船舶，監(jiān)管智能化沒有得到有效的開發(fā)。融合多源異構(gòu)數(shù)據(jù)如AIS、環(huán)境、CCTV視頻數(shù)據(jù)，利用視頻檢測、定位技術(shù)，開發(fā)應(yīng)用于內(nèi)河水域的智能監(jiān)控系統(tǒng)，使CCTV系統(tǒng)能自動識別多目標(biāo)異常行為船舶，將大大提高海事監(jiān)管效率，降低人為失誤。

因此研制一種內(nèi)河水域異常行為船舶自動識別系統(tǒng)與方法成為海事智能監(jiān)管、降低水上交通風(fēng)險的迫切需求。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種內(nèi)河水域交通數(shù)據(jù)的采集實(shí)驗(yàn)系統(tǒng)，建立船舶異常行為模式類別，構(gòu)建船舶異常行為樣本庫用于船舶行為分析，采用深度學(xué)習(xí)模型挖掘船舶行為特征和模式，實(shí)現(xiàn)船舶行為預(yù)測，獲取船舶行為模式和GPS定位信息，結(jié)合視頻圖像分析技術(shù)對船舶進(jìn)行檢測與定位，獲取船舶特征和視頻定位信息，綜合上述信息，在CCTV視頻上對船舶目標(biāo)進(jìn)行關(guān)聯(lián)分析，自動識別出各類異常行為船舶。

為了實(shí)現(xiàn)上述目的，本發(fā)明的系統(tǒng)所采用的技術(shù)方案是：一種內(nèi)河水域異常行為船舶自動識別系統(tǒng)，其特征在于：包括內(nèi)河交通數(shù)據(jù)采集子系統(tǒng)、船舶異常行為樣本庫子系統(tǒng)、船舶異常行為分析子系統(tǒng)、船舶視頻檢測與定位子系統(tǒng)、船舶視頻自動識別子系統(tǒng)和服務(wù)器；

所述內(nèi)河交通數(shù)據(jù)采集子系統(tǒng)包括AIS接收機(jī)、信息抓取模塊、工業(yè)攝像頭、MS Kinect景深攝像頭；所述AIS接收機(jī)用于接收內(nèi)河船舶通航時的AIS報文信息，所述信息抓取模塊用于采集水文和氣象部門數(shù)據(jù)庫的內(nèi)河環(huán)境信息，所述工業(yè)攝像頭用于采集內(nèi)河水域CCTV視頻圖像，所述MS Kinect景深攝像頭用于采集內(nèi)河水域景深圖像；上述信息傳輸?shù)椒?wù)器中進(jìn)行存儲；

所述船舶異常行為樣本庫子系統(tǒng)包括船舶異常行為模式分析模塊、船舶操縱模擬器模塊、船舶異常行為樣本庫構(gòu)建模塊；所述船舶異常行為模式分析模塊用于深入分析內(nèi)河水域船舶異常行為模式類別，基于交通事故備案記錄，對歷史AIS數(shù)據(jù)進(jìn)行船舶異常行為模式標(biāo)記；所述船舶操縱模擬器模塊用于模擬船舶異常行為，豐富異常行為模式樣本；所述船舶異常行為樣本庫構(gòu)建模塊用于根據(jù)船舶操縱模擬器模塊和船舶異常行為模式分析模塊處理后的數(shù)據(jù)，建立完善的內(nèi)河船舶異常行為樣本庫；

所述船舶異常行為分析子系統(tǒng)包括船舶行為特征和模式提取模塊、船舶異常行為類別提取模塊、GPS定位信息提取模塊；所述船舶行為特征和模式提取模塊用于基于歷史AIS數(shù)據(jù)和船舶異常行為樣本庫，建立深度學(xué)習(xí)網(wǎng)絡(luò)模型，提取船舶行為特征和模式；所述船舶異常行為類別提取模塊用于基于實(shí)時的AIS數(shù)據(jù)預(yù)測船舶行為，獲取船舶異常行為類別信息；所述GPS定位信息提取模塊用于基于實(shí)時的AIS數(shù)據(jù)獲取GPS定位信息；

所述船舶視頻檢測與定位子系統(tǒng)包括船舶視頻檢測模塊、船舶定位模塊；所述船舶視頻檢測模塊基于CCTV視頻圖像，提取船舶目標(biāo)特征；所述船舶定位模塊結(jié)合內(nèi)河水域景深圖像和船舶目標(biāo)特征，獲取船舶三維空間坐標(biāo)，得到船舶視頻定位信息；

所述船舶視頻自動識別子系統(tǒng)基于獲取的船舶異常行為類別、GPS定位信息、視頻定位信息、船舶目標(biāo)特征，對船舶進(jìn)行目標(biāo)關(guān)聯(lián)分析，在CCTV視頻上自動識別出異常行為船舶。

為了實(shí)現(xiàn)上述目的，本發(fā)明的方法所采用的技術(shù)方案是：一種內(nèi)河水域異常行為船舶自動識別方法，其特征在于，包括以下步驟：

步驟1：采集內(nèi)河水域船舶通航的AIS報文信息、水文和氣象部門的環(huán)境信息、CCTV視頻圖像和景深圖像，并將上述信息存儲到服務(wù)器，并對AIS報文信息和環(huán)境信息融合建立AIS大數(shù)據(jù)；

步驟2：對內(nèi)河船舶行為模式進(jìn)行分類，建立完善的船舶異常行為模式類別；

步驟3：基于歷史的交通事故記錄，對同時段的AIS數(shù)據(jù)進(jìn)行異常行為模式標(biāo)記，并采用船舶操作模擬器模擬船舶行為，建立豐富的船舶異常行為樣本庫；

步驟4：建立船舶行為分析模型，輸入實(shí)時的AIS數(shù)據(jù)，輸出得到預(yù)測的AIS數(shù)據(jù)，包括船舶異常行為模式和GPS定位信息；

步驟5：設(shè)計(jì)內(nèi)河船舶視頻檢測算法，結(jié)合景深圖像，采用三維重建技術(shù)，確定船舶的三維空間坐標(biāo)，獲取船舶視頻定位信息；

步驟6：基于預(yù)測的船舶異常行為類別、GPS定位信息、視頻定位信息以及船舶目標(biāo)特征，對船舶進(jìn)行目標(biāo)關(guān)聯(lián)，在CCTV視頻上對異常行為船舶自動識別。

本發(fā)明產(chǎn)生的有益效果是：本發(fā)明的內(nèi)河水域異常行為船舶自動識別系統(tǒng)與方法能實(shí)時采集AIS信息、環(huán)境信息、CCTV視頻圖像以及景深圖像，并對數(shù)據(jù)進(jìn)行存儲，為船舶行為分析、異常行為船舶自動識別提供數(shù)據(jù)基礎(chǔ)；本發(fā)明提供建立了一套內(nèi)河船舶異常行為模式類別以及船舶異常行為樣本庫，為船舶異常行為識別提供依據(jù)；本發(fā)明采用深度學(xué)習(xí)模型，其泛化能力強(qiáng)，能從人、船、橋、環(huán)境和管理等多因素全方面的對船舶行為進(jìn)行分析，保證識別的船舶異常行為的準(zhǔn)確性；本發(fā)明采用船舶視頻檢測與定位技術(shù)從視覺感知層面確定船舶特征以及定位信息，為在視頻上檢測出異常行為船舶提供技術(shù)支持；本發(fā)明采用融合多源信息，在視頻上對船舶的異常行為、GPS定位、視頻定位以及船舶特征進(jìn)行目標(biāo)關(guān)聯(lián)，實(shí)現(xiàn)在視頻上對船舶進(jìn)行自動識別。

進(jìn)一步地，本發(fā)明涉及到的數(shù)據(jù)采集設(shè)備安裝簡單、方便，利用存儲在數(shù)據(jù)庫中的數(shù)據(jù)即可實(shí)現(xiàn)異常行為船舶自動識別。

附圖說明

圖1是本發(fā)明實(shí)施例的系統(tǒng)結(jié)構(gòu)示意圖；

圖2是本發(fā)明實(shí)施例的方法流程圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

請見圖1，本發(fā)明提供的一種內(nèi)河水域異常行為船舶自動識別系統(tǒng)，包括內(nèi)河交通數(shù)據(jù)采集子系統(tǒng)、船舶異常行為樣本庫子系統(tǒng)、船舶異常行為分析子系統(tǒng)、船舶視頻檢測與定位子系統(tǒng)、船舶視頻自動識別子系統(tǒng)和服務(wù)器；

內(nèi)河交通數(shù)據(jù)采集子系統(tǒng)包括AIS接收機(jī)、信息抓取模塊、工業(yè)攝像頭、MS Kinect景深攝像頭；其中AIS報文信息采集由一臺AIS接收機(jī)接收內(nèi)河水域船舶廣播的AIS數(shù)據(jù)，連接RS485轉(zhuǎn)以太網(wǎng)轉(zhuǎn)換器，通過RJ45網(wǎng)線將數(shù)據(jù)傳輸?shù)綑C(jī)房交換機(jī)，存儲到服務(wù)器數(shù)據(jù)庫中；視頻監(jiān)控系統(tǒng)(Closed Circuit Television，CCTV)視頻圖像采集由一臺工業(yè)攝像頭采集內(nèi)河水域的圖像，通過RJ45網(wǎng)線將數(shù)據(jù)傳輸?shù)綑C(jī)房交換機(jī)，存儲到服務(wù)器數(shù)據(jù)庫中；景深圖像采集由一臺MS Kinect景深攝像頭采集內(nèi)河水域的景深圖像，通過RJ45網(wǎng)線將數(shù)據(jù)傳輸?shù)綑C(jī)房交換機(jī)，存儲到服務(wù)器數(shù)據(jù)庫中；水文氣象數(shù)據(jù)通過RJ45網(wǎng)線從水文氣象局服務(wù)器傳輸?shù)綑C(jī)房交換機(jī)，存儲到數(shù)據(jù)庫中；

AIS接收機(jī)能夠接收內(nèi)河航行船舶的船名、航速、航向、GPS坐標(biāo)、目的地等信息，輸出接口為RS485，利用RS485轉(zhuǎn)以太網(wǎng)轉(zhuǎn)換器將數(shù)據(jù)傳輸?shù)椒?wù)器存儲；水文和氣象數(shù)據(jù)從水文氣象局獲取，包括內(nèi)河水位、能見度、風(fēng)速、風(fēng)向等信息，通過以太網(wǎng)傳輸?shù)椒?wù)器存儲；CCTV視頻圖像通過工業(yè)攝像頭采集、景深圖像通過MS Kinect景深攝像頭采集，數(shù)據(jù)通過以太網(wǎng)傳輸?shù)椒?wù)器存儲。

船舶異常行為樣本庫子系統(tǒng)包括船舶異常行為模式分析模塊、船舶操縱模擬器模塊、船舶異常行為樣本庫構(gòu)建模塊；船舶異常行為模式分析模塊用于深入分析內(nèi)河水域船舶異常行為模式類別，基于交通事故備案記錄，對歷史AIS數(shù)據(jù)進(jìn)行船舶異常行為模式標(biāo)記；船舶操縱模擬器模塊用于模擬船舶異常行為，豐富異常行為模式樣本；船舶異常行為樣本庫構(gòu)建模塊用于根據(jù)船舶操縱模擬器模塊和船舶異常行為模式分析模塊處理后的數(shù)據(jù)，建立完善的內(nèi)河船舶異常行為樣本庫；

船舶異常行為模式具體包括：航速異常(速度太高、速度太低、游蕩等)以及航跡異常(非法侵占他船領(lǐng)域、船撞橋、沒有駛向目的地、航跡終止、不正常航線形狀等)；離開歷史航跡、不在合法位置(在航道外航行、不在規(guī)定的區(qū)域內(nèi)活動、駛向危險區(qū)、入侵禁區(qū)等)；機(jī)載AIS未開啟、船只有備案記錄等。

船舶異常行為分析子系統(tǒng)包括船舶行為特征和模式提取模塊、船舶異常行為類別提取模塊、GPS定位信息提取模塊；船舶行為特征和模式提取模塊用于基于歷史AIS數(shù)據(jù)和船舶異常行為樣本庫，建立深度學(xué)習(xí)網(wǎng)絡(luò)模型，提取船舶行為特征和模式；船舶異常行為類別提取模塊用于基于實(shí)時的AIS數(shù)據(jù)預(yù)測船舶行為，獲取船舶異常行為類別信息；GPS定位信息提取模塊用于基于實(shí)時的AIS數(shù)據(jù)獲取GPS定位信息。

船舶視頻檢測與定位子系統(tǒng)包括船舶視頻檢測模塊、船舶定位模塊；船舶視頻檢測模塊基于CCTV視頻圖像，提取船舶目標(biāo)特征；船舶定位模塊結(jié)合內(nèi)河水域景深圖像和船舶目標(biāo)特征，獲取船舶三維空間坐標(biāo)，得到船舶視頻定位信息；

船舶視頻自動識別子系統(tǒng)基于獲取的船舶異常行為類別、GPS定位信息、視頻定位信息、船舶目標(biāo)特征，對船舶進(jìn)行目標(biāo)關(guān)聯(lián)分析，在CCTV視頻上自動識別出異常行為船舶。

請見圖2，本發(fā)明提供的一種內(nèi)河水域異常行為船舶自動識別方法，其特征在于，包括以下步驟：

步驟1：采集內(nèi)河水域船舶通航的AIS報文信息、水文和氣象部門的環(huán)境信息、CCTV視頻圖像和景深圖像，并將上述信息存儲到服務(wù)器，并對AIS報文信息和環(huán)境信息融合建立AIS大數(shù)據(jù)；

步驟2：對內(nèi)河船舶行為模式進(jìn)行分類，建立完善的船舶異常行為模式類別；

步驟3：基于歷史的交通事故記錄，對同時段的AIS數(shù)據(jù)進(jìn)行異常行為模式標(biāo)記，并采用船舶操作模擬器模擬船舶行為，建立豐富的船舶異常行為樣本庫；

步驟4：建立船舶行為分析模型，輸入實(shí)時的AIS數(shù)據(jù)，輸出得到預(yù)測的AIS數(shù)據(jù)，包括船舶異常行為模式和GPS定位信息；

步驟5：設(shè)計(jì)內(nèi)河船舶視頻檢測算法，結(jié)合景深圖像，采用三維重建技術(shù)，確定船舶的三維空間坐標(biāo)，獲取船舶視頻定位信息；

步驟6：基于預(yù)測的船舶異常行為類別、GPS定位信息、視頻定位信息以及船舶目標(biāo)特征，對船舶進(jìn)行目標(biāo)關(guān)聯(lián)，在CCTV視頻上對異常行為船舶自動識別。

步驟3中的船舶異常行為樣本庫包括歷史AIS數(shù)據(jù)樣本庫和船舶操縱模擬器模擬樣本庫。其中歷史AIS數(shù)據(jù)樣本庫的建立方法為：首先建立內(nèi)河水域船舶異常行為模式類別，從監(jiān)管內(nèi)河水域的海事部門獲取水上交通事故的備案記錄，獲得事故發(fā)生的時間段和事故中的船舶異常行為模式，然后獲取該時間段的AIS數(shù)據(jù)，對其進(jìn)行模式標(biāo)記，建立帶標(biāo)簽的船舶異常行為樣本庫；基于船舶操縱模擬器模擬樣本的方法為：依據(jù)船舶異常行為模式類別，設(shè)計(jì)不同的船舶模擬航行方案。在專家的指導(dǎo)下，設(shè)計(jì)不同航線，模擬各種類型、大小的船舶(雜貨船、散貨船、客船、油船、液化氣船、化學(xué)品船、高速船、超大型船舶、拖輪等)在不同水域(沿岸、狹水道、內(nèi)河)、不同天氣及能見度(晴天、多云、陰天、霧、雨)、不同水況(風(fēng)、浪、流、水位)、不同時間條件下(白天、夜晚連續(xù)可變)的航行及避碰，利用電子海圖顯示與信息系統(tǒng)可以獲取航行相關(guān)數(shù)據(jù)，并對模擬數(shù)據(jù)加上行為模式標(biāo)簽，補(bǔ)充樣本庫。綜合兩種方法建立豐富完善的內(nèi)河水域船舶異常行為樣本庫。

步驟4中建立船舶行為分析模型，是采用深度學(xué)習(xí)網(wǎng)絡(luò)模型中的深度信念網(wǎng)絡(luò)DBNs(Deep Belief Nets)，對于船舶異常行為樣本庫進(jìn)行訓(xùn)練學(xué)習(xí)，獲取模型參數(shù)，實(shí)現(xiàn)船舶行為的各層低維度特征提??；將實(shí)時的AIS數(shù)據(jù)輸入到DBNs中，預(yù)測出帶行為模式標(biāo)簽的AIS時序數(shù)據(jù)，從而獲取船舶異常行為模式和GPS定位信息。

深度學(xué)習(xí)網(wǎng)絡(luò)模型，首先建立6層的深可信網(wǎng)絡(luò)模型(DBNs)，包含1層輸入層，1層輸出層，4層隱含層，采用自底向上無監(jiān)督的貪婪算法對模型預(yù)訓(xùn)練學(xué)習(xí)，用無標(biāo)簽的AIS數(shù)據(jù)樣本訓(xùn)練第一層的參數(shù)，由于模型的稀疏性約束，使得模型能夠?qū)W習(xí)到數(shù)據(jù)本身的結(jié)構(gòu)，從而得到比輸入更具有表示能力的特征；在學(xué)習(xí)到第5層后，將第5層的輸出作為第6層的輸入，訓(xùn)練第6層，由此分別得到各層的參數(shù)。預(yù)訓(xùn)練結(jié)束后，在最后一層，采用有監(jiān)督的BP訓(xùn)練學(xué)習(xí)算法，利用船舶異常行為樣本庫的數(shù)據(jù)的重構(gòu)誤差率與分類誤差率自頂向下微調(diào)各層模型的參數(shù)。直到誤差率滿足精度要求即訓(xùn)練結(jié)束，由此得到船舶行為預(yù)測模型。然后將實(shí)時的AIS數(shù)據(jù)輸入到模型中，即可預(yù)測出船舶的行為，獲得船舶的異常行為模式和GPS定位信息。

步驟5中設(shè)計(jì)內(nèi)河船舶視頻檢測算法，采用Vibe算法，首先采用ViBe算法檢測船舶，方法步驟為：利用監(jiān)控的船舶視頻的初始幀建立背景模型；對于后續(xù)視頻幀，將各個像素點(diǎn)與對應(yīng)的背景模型進(jìn)行匹配，并將匹配的像素點(diǎn)分類為背景，反之，則分類為前景；針對分類為背景的像素點(diǎn)，若其被隨機(jī)選中，則對該點(diǎn)的背景模型進(jìn)行更新，同時也隨機(jī)對鄰域中的某個像素點(diǎn)的背景模型進(jìn)行更新，得到船舶視頻檢測特征。對前景圖像進(jìn)行連通域分析，獲取各個船舶的平面坐標(biāo)位置以及外形信息。

然后基于景深圖像，通過攝像機(jī)標(biāo)定來建立視頻圖像坐標(biāo)系、景深圖像坐標(biāo)系和攝像機(jī)坐標(biāo)系的映射關(guān)系，以及攝像機(jī)坐標(biāo)系和世界坐標(biāo)系的映射關(guān)系。結(jié)合景深信息和CCTV視頻序列中船舶檢測結(jié)果，應(yīng)用三維重建技術(shù)獲取船舶在攝像機(jī)坐標(biāo)系中的坐標(biāo)，進(jìn)而映射到世界坐標(biāo)系中，計(jì)算船舶三維信息，得到船舶視頻定位信息。

步驟6中，船舶視頻檢測和定位信息包括船舶三維空間坐標(biāo)數(shù)據(jù)以及船舶的特征，預(yù)測的船舶行為包括船舶GPS數(shù)據(jù)以及該船的異常行為模式，通過將兩類定位數(shù)據(jù)進(jìn)行比較，可以將船舶的檢測特征與船舶的異常行為模式對應(yīng)，即可以在CCTV視頻上對檢測的船舶按異常行為模式分別標(biāo)記，自動識別出異常行為船舶。

本發(fā)明針對內(nèi)河水域通航環(huán)境復(fù)雜、航行風(fēng)險高、異常行為船舶監(jiān)控難的現(xiàn)狀，基于結(jié)構(gòu)化數(shù)據(jù)(AIS數(shù)據(jù)和環(huán)境數(shù)據(jù))和非結(jié)構(gòu)化數(shù)據(jù)(CCTV視頻圖像和景深圖像)的深度融合技術(shù)，提出一種能實(shí)時預(yù)測內(nèi)河水域的船舶異常行為模式、視頻檢測與定位船舶的方法，并且結(jié)合此方法自行設(shè)計(jì)了一種內(nèi)河水域異常行為船舶自動識別系統(tǒng)與方法。

應(yīng)當(dāng)理解的是，對本領(lǐng)域普通技術(shù)人員來說，可以根據(jù)上述說明加以改進(jìn)或變換，而所有這些改進(jìn)和變換都應(yīng)屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。