【技術(shù)領(lǐng)域】

本發(fā)明涉及無人船技術(shù)領(lǐng)域，特別是涉及一種無人船監(jiān)控視頻直播方法和系統(tǒng)。

背景技術(shù)：

現(xiàn)有無人船工作模式一般是完成回收無人船和船載設(shè)備后再對現(xiàn)場取證的影音資料進(jìn)行分析和歸納，或者是船端采集現(xiàn)場資料回傳給控制中心，由控制中心獨(dú)立進(jìn)行視頻收集整理和形成判斷結(jié)論后再發(fā)送下一步指令給船端，這其中整套流程只允許在控制中心小地域范圍內(nèi)根據(jù)現(xiàn)場回傳視頻獨(dú)立完成對無人船的指引和功能操作。

隨著無人船智能化程度的不斷提高，無人船的功能應(yīng)用也越來越多樣化，現(xiàn)有的無人船工作模式不適于現(xiàn)場和指揮中心以外的地方實(shí)時(shí)了解船端現(xiàn)場環(huán)境的情況，因此有必要設(shè)計(jì)一種解決方案，用于解決多異地實(shí)時(shí)觀測無人船現(xiàn)場環(huán)境的問題和無人船在海上通信帶寬不夠的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題是如何提高在海域無人船復(fù)雜網(wǎng)絡(luò)環(huán)境下，實(shí)現(xiàn)有效的實(shí)時(shí)視頻傳輸。

本發(fā)明進(jìn)一步所要解決的技術(shù)問題是如何解決多異地實(shí)時(shí)觀測無人船現(xiàn)場環(huán)境的問題，能夠保證在一些帶寬較為緊缺的情況下，仍然能夠較高質(zhì)量的完成視頻傳輸。

本發(fā)明實(shí)施例采用如下技術(shù)方案：

第一方面，本發(fā)明中提供了一種無人船監(jiān)控視頻直播系統(tǒng)，包括無人船載攝像機(jī)、視頻編碼設(shè)備、無人船載網(wǎng)絡(luò)路由設(shè)備、視頻直播服務(wù)器和終端設(shè)備，其中，無人船載攝像機(jī)、視頻編碼設(shè)備和無人船載網(wǎng)絡(luò)路由設(shè)備三者依次相連，所述無人船載網(wǎng)絡(luò)路由設(shè)備和所述視頻直播服務(wù)器通過無線網(wǎng)絡(luò)建立連接，所述終端設(shè)備通過數(shù)據(jù)線和/或無線網(wǎng)絡(luò)與所述視頻直播服務(wù)器建立連接，具體的：

所述無人船載攝像機(jī)用于將采集到的視頻內(nèi)容轉(zhuǎn)發(fā)給所述視頻編碼設(shè)備進(jìn)行編碼；

所述無人船載網(wǎng)絡(luò)路由設(shè)備用于連接視頻直播服務(wù)器，并向所述視頻直播服務(wù)器發(fā)送編碼后的視頻內(nèi)容；

所述終端設(shè)備用于連接所述視頻直播服務(wù)器，并通過所述視頻直播服務(wù)器獲取可供直播的視頻內(nèi)容和/或完成相關(guān)交互指令。

可選的，所述無人船載網(wǎng)絡(luò)路由設(shè)備，用于向視頻編碼設(shè)備反饋當(dāng)前數(shù)據(jù)通訊網(wǎng)絡(luò)類型，視頻編碼設(shè)備根據(jù)當(dāng)前數(shù)據(jù)通訊網(wǎng)絡(luò)類型，選擇與其網(wǎng)絡(luò)帶寬適配的編碼方式；其中，編碼方式包括：mpeg-x系列編碼方式、h.26x系列編碼方式和自定義目標(biāo)對象扣取編碼方式。

可選的，所述數(shù)據(jù)通訊網(wǎng)絡(luò)類型包括短距離點(diǎn)對點(diǎn)數(shù)據(jù)通訊網(wǎng)絡(luò)、4g/5g數(shù)據(jù)通訊網(wǎng)絡(luò)、基于海洋的數(shù)據(jù)通訊網(wǎng)絡(luò)和衛(wèi)星數(shù)據(jù)通訊網(wǎng)絡(luò)。

可選的，所述視頻編碼設(shè)備還包括存儲(chǔ)器和處理器，具體的：

所述存儲(chǔ)器用于存儲(chǔ)當(dāng)前由無人船載攝像機(jī)采集到的一幀或者多幀視頻內(nèi)容；

所述處理器用于讀取所述一幀或者多針視頻內(nèi)容，根據(jù)圖像識(shí)別算法獲取所述一幀或者多針視頻內(nèi)容中的海水對象和除海水以外的目標(biāo)對象，在預(yù)設(shè)數(shù)量視頻幀范圍內(nèi)，僅保留其中指定幀視頻內(nèi)的海水對象參與編碼，并刪除所述預(yù)設(shè)數(shù)量視頻幀范圍內(nèi)其它視頻幀中的海水對象得到相應(yīng)目標(biāo)對象，根據(jù)保留下來的視頻幀和目標(biāo)對象，完成所述預(yù)設(shè)數(shù)量視頻幀的編碼。

可選的，所述終端設(shè)備包括智能手機(jī)、中央控制臺(tái)、臺(tái)式電腦或者平板電腦中的一種或者多種。

第二方面，本發(fā)明中還提供了一種無人船監(jiān)控視頻直播方法，具體的：

無人船載攝像機(jī)用于將采集到的視頻內(nèi)容轉(zhuǎn)發(fā)給所述視頻編碼設(shè)備進(jìn)行編碼；

所述視頻編碼設(shè)備確認(rèn)當(dāng)前的數(shù)據(jù)通訊網(wǎng)絡(luò)類型，根據(jù)確認(rèn)結(jié)果選擇與當(dāng)前數(shù)據(jù)通訊網(wǎng)絡(luò)類型相匹配的編碼方式，并完成無人船載攝像機(jī)采集到的視頻內(nèi)容的編碼；

所述無人船載網(wǎng)絡(luò)路由設(shè)備將所述視頻編碼設(shè)備編碼后的視頻內(nèi)容發(fā)送到所述視頻直播服務(wù)器。

可選的，所述無人船載網(wǎng)絡(luò)路由設(shè)備向視頻編碼設(shè)備反饋當(dāng)前數(shù)據(jù)通訊網(wǎng)絡(luò)類型，其中，數(shù)據(jù)通訊網(wǎng)絡(luò)類型包括短距離點(diǎn)對點(diǎn)數(shù)據(jù)通訊網(wǎng)絡(luò)、4g/5g數(shù)據(jù)通訊網(wǎng)絡(luò)、基于海洋的數(shù)據(jù)通訊網(wǎng)絡(luò)和衛(wèi)星數(shù)據(jù)通訊網(wǎng)絡(luò)；

其中，編碼方式包括：mpeg-x系列編碼方式、h.26x系列編碼方式和自定義目標(biāo)對象扣取編碼方式；則所述根據(jù)確認(rèn)結(jié)果選擇與當(dāng)前數(shù)據(jù)通訊網(wǎng)絡(luò)類型相匹配的編碼方式，具體實(shí)現(xiàn)為：

在確認(rèn)數(shù)據(jù)通訊網(wǎng)絡(luò)類型為短距離點(diǎn)對點(diǎn)數(shù)據(jù)通訊網(wǎng)絡(luò)或者4g/5g數(shù)據(jù)通訊網(wǎng)絡(luò)時(shí)，所述編碼方式為mpeg-x系列編碼方式或h.26x系列編碼方式；

在確認(rèn)數(shù)據(jù)通訊網(wǎng)絡(luò)類型為基于海洋的數(shù)據(jù)通訊網(wǎng)絡(luò)和衛(wèi)星數(shù)據(jù)通訊網(wǎng)絡(luò)時(shí)，所述編碼方式為自定義目標(biāo)對象扣取編碼方式。

可選的，所述自定義目標(biāo)對象扣取編碼方式，具體包括：

讀取一幀或者多針視頻內(nèi)容，根據(jù)圖像識(shí)別算法獲取所述一幀或者多針視頻內(nèi)容中的海水對象和除海水以外的目標(biāo)對象，在預(yù)設(shè)數(shù)量視頻幀范圍內(nèi)，僅保留其中指定幀視頻內(nèi)的海水對象參與編碼，并刪除所述預(yù)設(shè)數(shù)量視頻幀范圍內(nèi)其它視頻幀中的海水對象得到相應(yīng)目標(biāo)對象，根據(jù)保留下來的視頻幀和目標(biāo)對象，完成所述預(yù)設(shè)數(shù)量視頻幀的編碼；

其中，編碼內(nèi)容還包括所述目標(biāo)對象在視頻幀中的坐標(biāo)信息。

可選的，所述視頻編碼設(shè)備還用于接收來自視頻直播服務(wù)器的操控指令，所述操控指令用于切換當(dāng)前的視頻編碼設(shè)備所采用的編碼方式。

可選的，所述視頻編碼設(shè)備還備份無人船載攝像機(jī)所采集的原始視頻內(nèi)容；所述原始視頻內(nèi)容在歸檔后用于分析各編碼的改進(jìn)點(diǎn)，或者用于回溯直播過程中關(guān)鍵幀視頻內(nèi)容。

本發(fā)明提供了一種基于無人船的視頻直播系統(tǒng)，從一個(gè)較為完整的系統(tǒng)架構(gòu)角度闡述如何設(shè)計(jì)相應(yīng)的功能模塊，并通過設(shè)置視頻直播服務(wù)器，來給各種終端設(shè)備提供一公共的視頻流節(jié)點(diǎn)，解決多異地實(shí)時(shí)觀測無人船現(xiàn)場環(huán)境的問題。

進(jìn)一步的，本發(fā)明可選方案中還提供了一種自定義目標(biāo)對象扣取編碼方式，能夠進(jìn)一步減少直播視頻傳輸對于帶寬的要求，在保證視頻分辨率質(zhì)量的基礎(chǔ)上，還能提高視頻播放的流暢度。

【附圖說明】

為了更清楚地說明本發(fā)明專利實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明專利的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其它的附圖。

圖1是本發(fā)明實(shí)施例提供的一種無人船監(jiān)控視頻直播系統(tǒng)架構(gòu)圖；

圖2是本發(fā)明實(shí)施例提供的一種自定義目標(biāo)對象扣取編碼方式原理示意圖；

圖3是本發(fā)明實(shí)施例提供的一種自定義目標(biāo)對象扣取編碼方式原理局部放大圖；

圖4是本發(fā)明實(shí)施例提供的第a-2幀局部放大圖；

圖5是本發(fā)明實(shí)施例提供的第a-3幀局部放大圖；

圖6是本發(fā)明實(shí)施例提供的第a-4幀局部放大圖；

圖7是本發(fā)明實(shí)施例提供的一種無人船監(jiān)控視頻直播方法流程圖。

【具體實(shí)施方式】

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

在本發(fā)明的描述中，術(shù)語“內(nèi)”、“外”、“縱向”、“橫向”、“上”、“下”、“頂”、“底”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明而不是要求本發(fā)明必須以特定的方位構(gòu)造和操作，因此不應(yīng)當(dāng)理解為對本發(fā)明的限制。

此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

實(shí)施例1:

本發(fā)明實(shí)施例1提供了一種無人船監(jiān)控視頻直播系統(tǒng)，如圖1所述，包括無人船載攝像機(jī)11、視頻編碼設(shè)備12、無人船載網(wǎng)絡(luò)路由設(shè)備13、視頻直播服務(wù)器14和終端設(shè)備15，其中，無人船載攝像機(jī)11、視頻編碼設(shè)備12和無人船載網(wǎng)絡(luò)路由設(shè)備13三者依次相連，所述無人船載網(wǎng)絡(luò)路由設(shè)備13和所述視頻直播服務(wù)器14通過無線網(wǎng)絡(luò)建立連接，所述終端設(shè)備15通過數(shù)據(jù)線和/或無線網(wǎng)絡(luò)與所述視頻直播服務(wù)器14建立連接，具體的：

所述無人船載攝像機(jī)11用于將采集到的視頻內(nèi)容轉(zhuǎn)發(fā)給所述視頻編碼設(shè)備12進(jìn)行編碼。

其中，具體實(shí)現(xiàn)過程中，所述視頻編碼設(shè)備12通常和船載操控系統(tǒng)被設(shè)置在一套整的操作系統(tǒng)之中，其中，操作系統(tǒng)包括：linux系統(tǒng)、windows系統(tǒng)或者其它第三方開發(fā)的系統(tǒng)軟件。在一些船體操控較為復(fù)雜，且對于船體操控的操作系統(tǒng)軟件穩(wěn)定性要求較高的場合，則可以將視頻編碼設(shè)備12和船載操控系統(tǒng)分別由兩套操作系統(tǒng)來實(shí)現(xiàn)，優(yōu)選的是，其中視頻編碼設(shè)備12對應(yīng)的操作系統(tǒng)選擇linux系統(tǒng)或者windows系統(tǒng)，因?yàn)樯鲜鰞刹僮飨到y(tǒng)與各種圖像處理算法的兼容性更優(yōu)。

所述無人船載網(wǎng)絡(luò)路由設(shè)備13用于連接視頻直播服務(wù)器14，并向所述視頻直播服務(wù)器14發(fā)送編碼后的視頻內(nèi)容。

在本發(fā)明實(shí)施例中，對于只有單一數(shù)據(jù)通訊網(wǎng)絡(luò)類型的，則所述網(wǎng)絡(luò)路由設(shè)備13可以是無線音視頻收發(fā)器，例如：whd-100、whd-200、zwd-1222等；也可以是4g或者5g無線收發(fā)模塊；還可以是專業(yè)的衛(wèi)星收發(fā)模塊。在本發(fā)明實(shí)施例中，當(dāng)所述無人船支持多種數(shù)據(jù)通訊網(wǎng)絡(luò)類型時(shí)，則相應(yīng)的無人船載網(wǎng)絡(luò)路由設(shè)備13將由無人船中運(yùn)行的操作系統(tǒng)和對應(yīng)上述多種收發(fā)器組合實(shí)現(xiàn)，其中，無人船載網(wǎng)絡(luò)路由設(shè)備13不僅具有各網(wǎng)絡(luò)類型的收發(fā)器，相應(yīng)的操作系統(tǒng)還具備有對所述網(wǎng)絡(luò)類型收發(fā)器的選擇功能。

所述終端設(shè)備用于連接所述視頻直播服務(wù)器14，并通過所述視頻直播服務(wù)器14獲取可供直播的視頻內(nèi)容和/或完成相關(guān)交互指令。

其中，終端設(shè)備可以是智能手機(jī)、中央控制臺(tái)、臺(tái)式電腦或者平板電腦中的一種或者多種。在本發(fā)明實(shí)施例1中，為了便于直播內(nèi)容的集中管理，防止無人船與各終端設(shè)備直連可能造成的數(shù)據(jù)擁塞問題，在本發(fā)明實(shí)施例中采用了由視頻直播服務(wù)器14集中獲取無人船發(fā)送的編碼后的視頻內(nèi)容，并以所述視頻直播服務(wù)器14作為集散中心，向各個(gè)終端設(shè)備轉(zhuǎn)發(fā)視頻內(nèi)容。該方式還存在一種優(yōu)勢表現(xiàn)在：若無人船的視頻編碼設(shè)備12采用了與視頻直播服務(wù)器14協(xié)商好的自定義目標(biāo)對象扣取編碼方式時(shí)，則可以進(jìn)一步通過視頻直播服務(wù)器14二次編碼為其它終端設(shè)備所支持的編碼格式，從而保證直播內(nèi)容正常播放。

本發(fā)明實(shí)施例提供了一種基于無人船的視頻直播系統(tǒng)，從一個(gè)較為完整的系統(tǒng)架構(gòu)角度闡述如何設(shè)計(jì)相應(yīng)的功能模塊，并通過設(shè)置視頻直播服務(wù)器，來給各種終端設(shè)備提供一公共的視頻流節(jié)點(diǎn)，解決多異地實(shí)時(shí)觀測無人船現(xiàn)場環(huán)境的問題。

為了滿足復(fù)雜的海域環(huán)境，提高視頻傳輸?shù)目煽啃院托剩诒景l(fā)明實(shí)施例中提出了一種具備多種無線收發(fā)器的無人船載網(wǎng)絡(luò)路由設(shè)備13(如實(shí)施例1中闡述的方式)，所述無人船載網(wǎng)絡(luò)路由設(shè)備13，用于向視頻編碼設(shè)備12反饋當(dāng)前數(shù)據(jù)通訊網(wǎng)絡(luò)類型，所述數(shù)據(jù)通訊網(wǎng)絡(luò)類型包括：短距離點(diǎn)對點(diǎn)數(shù)據(jù)通訊網(wǎng)絡(luò)(例如上述whd-100、whd-200、zwd-1222等)、4g/5g數(shù)據(jù)通訊網(wǎng)絡(luò)、基于海洋的數(shù)據(jù)通訊網(wǎng)絡(luò)和衛(wèi)星數(shù)據(jù)通訊網(wǎng)絡(luò)等。相應(yīng)的，視頻編碼設(shè)備12根據(jù)當(dāng)前數(shù)據(jù)通訊網(wǎng)絡(luò)類型，選擇與其網(wǎng)絡(luò)帶寬適配的編碼方式；其中，編碼方式包括：mpeg-x系列編碼方式、h.26x系列編碼方式和自定義目標(biāo)對象扣取編碼方式。

舉例如下：所述根據(jù)當(dāng)前數(shù)據(jù)通訊網(wǎng)絡(luò)類型，選擇與其網(wǎng)絡(luò)帶寬適配的編碼方式，具體實(shí)現(xiàn)為：

方式一、在確認(rèn)數(shù)據(jù)通訊網(wǎng)絡(luò)類型為短距離點(diǎn)對點(diǎn)數(shù)據(jù)通訊網(wǎng)絡(luò)或者4g/5g數(shù)據(jù)通訊網(wǎng)絡(luò)時(shí)，所述編碼方式為mpeg-x系列編碼方式或h.26x系列編碼方式。

方式二、在確認(rèn)數(shù)據(jù)通訊網(wǎng)絡(luò)類型為基于海洋的數(shù)據(jù)通訊網(wǎng)絡(luò)和衛(wèi)星數(shù)據(jù)通訊網(wǎng)絡(luò)時(shí)，所述編碼方式為自定義目標(biāo)對象扣取編碼方式。

操作系統(tǒng)具體執(zhí)行時(shí)，通常會(huì)根據(jù)當(dāng)前無人船所擁有的數(shù)據(jù)通訊網(wǎng)絡(luò)類型選擇上述方式一或者方式二來執(zhí)行，并且，所述方式一的優(yōu)先權(quán)通常高于所述方式二的優(yōu)先權(quán)，即無人船在同時(shí)擁有上述對應(yīng)方式一和對應(yīng)方式二的通訊網(wǎng)絡(luò)時(shí)，便會(huì)自動(dòng)的調(diào)整到或者保持為方式一的傳輸方式，從而保證視頻直播服務(wù)器14所接收到的視頻編碼內(nèi)容較為完整(相比較自定義目標(biāo)對象扣取編碼方式的編碼內(nèi)容來說)，視頻直播服務(wù)器14能夠在更少的處理資源情況下，完成視頻的解碼和轉(zhuǎn)播。甚至于，在終端設(shè)備15支持的解碼的情況下，視頻直播服務(wù)器14可以直接將接收到的符合通用標(biāo)準(zhǔn)的編碼內(nèi)容轉(zhuǎn)發(fā)給終端設(shè)備15，而由終端設(shè)備15完成相應(yīng)的解碼和顯示過程(例如：上述h.26x系列中的h.264編碼和相應(yīng)的解碼)。

結(jié)合本發(fā)明實(shí)施例，對于實(shí)施例1中描述的視頻編碼設(shè)備12具體由操作系統(tǒng)中運(yùn)行的視頻編碼軟件體現(xiàn)時(shí)，則相應(yīng)的視頻編碼設(shè)備12通常會(huì)包括存儲(chǔ)器和處理器(例如常規(guī)主機(jī)架構(gòu)中所包含的cpu、內(nèi)存和硬盤，其中，存儲(chǔ)器表現(xiàn)為所述內(nèi)存和硬盤)，則上述的自定義目標(biāo)對象扣取編碼方式具體實(shí)現(xiàn)如下：

所述存儲(chǔ)器用于存儲(chǔ)當(dāng)前由無人船載攝像機(jī)11采集到的一幀或者多幀視頻內(nèi)容。

其中，存儲(chǔ)通常包括兩塊，以上述主機(jī)架構(gòu)為例；一塊是供處理器處理后傳輸給視頻直播服務(wù)器14的緩存視頻內(nèi)容，其存儲(chǔ)位置位于所述內(nèi)存中；另一塊則是在無人船執(zhí)行完任務(wù)后，供回溯當(dāng)時(shí)采集的原始視頻內(nèi)容的，其存儲(chǔ)位置位于所述硬盤中。在本發(fā)明實(shí)施例中，處理器根據(jù)自定義目標(biāo)對象扣取編碼方式處理緩存一幀或者多針視頻內(nèi)容，闡述如下：

所述處理器用于讀取所述一幀或者多針視頻內(nèi)容，根據(jù)圖像識(shí)別算法獲取所述一幀或者多針視頻內(nèi)容中的海水對象和除海水以外的目標(biāo)對象，在預(yù)設(shè)數(shù)量視頻幀范圍內(nèi)，僅保留其中指定幀視頻內(nèi)的海水對象參與編碼，并刪除所述預(yù)設(shè)數(shù)量視頻幀范圍內(nèi)其它視頻幀中的海水對象得到相應(yīng)目標(biāo)對象，根據(jù)保留下來的視頻幀和目標(biāo)對象，完成所述預(yù)設(shè)數(shù)量視頻幀的編碼。

如圖2所示，為本發(fā)明實(shí)施例給予的上述自定義目標(biāo)對象扣取編碼方式的多幀視頻內(nèi)容，在進(jìn)行扣取操作后的示意圖，所述扣取操作即上述的“在預(yù)設(shè)數(shù)量視頻幀范圍內(nèi)，僅保留其中指定幀視頻內(nèi)的海水對象參與編碼，并刪除所述預(yù)設(shè)數(shù)量視頻幀范圍內(nèi)其它視頻幀中的海水對象得到相應(yīng)目標(biāo)對象”。以圖2所示為例，本發(fā)明實(shí)施例中所述預(yù)設(shè)數(shù)量視頻幀具體表現(xiàn)為圖中所示的4幀圖片，所述指定幀視頻為圖中各4幀圖片為一組中的頭一張圖片(即圖2中實(shí)線所表示的視頻幀)，而被刪除了海水對象僅保留目標(biāo)對象處理后的視頻幀如圖2中虛線所示(其中虛線僅僅是示意性的表明其原本的視頻幀屬性，而當(dāng)前虛線框中真正被視頻編碼的內(nèi)容為其中扣取出的目標(biāo)對象)。

在本發(fā)明實(shí)施例中，所述預(yù)設(shè)數(shù)量視頻幀可以根據(jù)船體的移動(dòng)速度動(dòng)態(tài)調(diào)整，即根據(jù)無人船的移動(dòng)速度所歸屬的區(qū)間，將所述預(yù)設(shè)數(shù)量視頻幀分為多種情況，例如：無人船移動(dòng)速率為1-10節(jié)時(shí)，所述預(yù)設(shè)數(shù)量視頻幀為10幀；無人船移動(dòng)速率為10-20節(jié)時(shí)，所述預(yù)設(shè)數(shù)量視頻幀為6幀；無人船移動(dòng)速率為20-30節(jié)時(shí)，所述預(yù)設(shè)數(shù)量視頻幀為4幀。在實(shí)際操作時(shí)，所述劃分段數(shù)和采用的視頻幀數(shù)也可以根據(jù)實(shí)際情況做適應(yīng)性的調(diào)整，在此不一一贅述。進(jìn)一步的，基于本發(fā)明實(shí)施例還可以提供一種具有動(dòng)態(tài)調(diào)整預(yù)設(shè)數(shù)量視頻幀功能的自定義目標(biāo)對象扣取編碼方式，編碼過程中的預(yù)設(shè)數(shù)量視頻幀參數(shù)會(huì)根據(jù)船體運(yùn)動(dòng)速度進(jìn)行動(dòng)態(tài)調(diào)整，而調(diào)整的方式可以參考上述根據(jù)速度區(qū)間拆分視頻幀的，在此不一一贅述。上述進(jìn)行預(yù)設(shè)數(shù)量視頻幀關(guān)聯(lián)無人船行駛速度的方式，能夠在有效利用傳輸寬帶的情況下，提高本發(fā)明實(shí)施例提出的自定義目標(biāo)對象扣取編碼方式的體驗(yàn)效果，即視頻直播服務(wù)器14的顯示效果。其原理是，無人船的移動(dòng)速度越低，則預(yù)設(shè)數(shù)量視頻幀的參數(shù)值可以設(shè)置的相應(yīng)較大，即一段時(shí)間內(nèi)的海面和/或天空背景不會(huì)有太大的變動(dòng)，此時(shí)，使用預(yù)設(shè)數(shù)量視頻幀中的第一幀的海面和/或天空背景作為其內(nèi)部其余幀的背景不會(huì)產(chǎn)生較大的視覺體驗(yàn)上的影響；而當(dāng)無人船的移動(dòng)速度提高后，則因?yàn)楹Ｃ婧?或天空背景變化較快，相應(yīng)的預(yù)設(shè)數(shù)量視頻幀數(shù)量就需要相應(yīng)的往偏小的值調(diào)整，使得還原后的視頻內(nèi)容，在視覺體驗(yàn)上不會(huì)產(chǎn)生大的影響。

在具體實(shí)現(xiàn)過程中，為了能夠保證視頻直播服務(wù)器14在接收到圖2所示預(yù)設(shè)數(shù)量視頻幀后，能夠在結(jié)合第a-2幀視頻、第a-3幀視頻或第a-4幀視頻中的目標(biāo)對象1、目標(biāo)對象2和/或目標(biāo)對象3，以及第a-1幀視頻中的海水和/或天空背景情況下，生成對應(yīng)所述第a-2幀視頻、第a-3幀視頻和第a-4幀視頻可供顯示設(shè)備顯示的完整視頻幀。則相應(yīng)的，視頻編碼設(shè)備在扣取第a-2幀視頻、第a-3幀視頻和第a-4幀視頻中的目標(biāo)對象1、目標(biāo)對象2和目標(biāo)對象3時(shí)，同時(shí)會(huì)記錄各目標(biāo)對象的邏輯坐標(biāo)(如圖3中對應(yīng)各目標(biāo)對象標(biāo)注的，包括第a-2幀中目標(biāo)對象1的坐標(biāo)(x1，y1)、目標(biāo)對象2的坐標(biāo)(x2，y2)、目標(biāo)對象3的坐標(biāo)(x3，y3)；第a-3幀中目標(biāo)對象2的坐標(biāo)(x4，y4)、目標(biāo)對象3的坐標(biāo)(x5，y5)；以及第a-4幀中目標(biāo)對象2的坐標(biāo)(x6，y6))，所述邏輯坐標(biāo)用于服務(wù)器在生成完成第a-2幀視頻、第a-3幀視頻和第a-4幀時(shí)，根據(jù)所述邏輯坐標(biāo)完成第a-1幀視頻中海水和/或天空背景與各目標(biāo)對象的組合。其中，所述邏輯坐標(biāo)可以是在無人船載攝像機(jī)11在采集到對應(yīng)所述第a-2幀視頻、第a-3幀視頻和第a-4幀視頻內(nèi)容后，通過目標(biāo)識(shí)別出內(nèi)容中目標(biāo)對象1、目標(biāo)對象2和/或目標(biāo)對象3的位置得到。

如圖4-圖6所示，為本發(fā)明實(shí)施例提供的一種傳輸?shù)赼-2幀、第a-3幀和第a-4幀的方式，即對于扣除的目標(biāo)對象生成可供解讀的小分辨率圖片(其中圖示中的實(shí)線框即用于承載相應(yīng)目標(biāo)對象的最適分辨率圖片)，并給予一幀圖片中包含的多個(gè)對象所構(gòu)成的圖片序列編碼(例如圖4中的1、2和3)，該編碼會(huì)被記錄在對應(yīng)各自幀圖片的備注信息中，則相應(yīng)視頻直播服務(wù)器14在接收到所述第a-2幀、第a-3幀或第a-4幀式時(shí)，便會(huì)根據(jù)相應(yīng)備注信息中的序列編碼號(hào)確認(rèn)生成當(dāng)前幀視頻，需要讀取的小分辨率圖片個(gè)數(shù)，并根據(jù)各自小分辨率圖片中對象的坐標(biāo)信息，完成與第a-1幀中海水或者天空背景的整合(例如：對象在第a-1幀中海水或者天空背景中的直接覆蓋方式生成)。

在本發(fā)明實(shí)施例中，對于所述目標(biāo)對象的識(shí)別除了可以采用常規(guī)的圖像目標(biāo)識(shí)別方法外，還可以結(jié)合無人船自身用于的特定設(shè)備，例如：聲吶設(shè)備和雷達(dá)設(shè)備等。因此，在具體實(shí)現(xiàn)過程中，處理器同時(shí)根據(jù)采集到是視頻幀內(nèi)容，以及聲吶設(shè)備采集到的聲吶信號(hào)和/或者雷達(dá)設(shè)備采集到的雷達(dá)信號(hào)，綜合分析視頻幀內(nèi)容中的目標(biāo)對象。該綜合分析的優(yōu)勢在于，當(dāng)目標(biāo)對象潛伏在潛水區(qū)時(shí)，現(xiàn)有的圖像目標(biāo)識(shí)別方法可能會(huì)漏檢，此時(shí)聲吶設(shè)備就能彌補(bǔ)這種情況下的漏檢；而對于位于空中的目標(biāo)對象，也可能因?yàn)槠洳捎玫念伾c當(dāng)時(shí)的天空背景色較為相似而產(chǎn)生漏檢，此時(shí)雷達(dá)設(shè)備就能彌補(bǔ)這種情況下的漏檢。

實(shí)施例2:

本發(fā)明實(shí)施例還提供了一種無人船監(jiān)控視頻直播方法，所述方法可以用于實(shí)施例1所述的無人船監(jiān)控視頻直播系統(tǒng)，如圖7所示，所述方法包括：

在步驟201中，無人船載攝像機(jī)11用于將采集到的視頻內(nèi)容轉(zhuǎn)發(fā)給所述視頻編碼設(shè)備12進(jìn)行編碼。

其中，具體實(shí)現(xiàn)過程中，所述視頻編碼設(shè)備12通常和船載操控系統(tǒng)被設(shè)置在一套整的操作系統(tǒng)之中，其中，操作系統(tǒng)包括：linux系統(tǒng)、windows系統(tǒng)或者其它第三方開發(fā)的系統(tǒng)軟件。在一些船體操控較為復(fù)雜，且對于船體操控的操作系統(tǒng)軟件穩(wěn)定性要求較高的場合，則可以將視頻編碼設(shè)備12通常和船載操控系統(tǒng)分別由兩套操作系統(tǒng)來實(shí)現(xiàn)，優(yōu)選的是，其中視頻編碼設(shè)備12對應(yīng)的操作系統(tǒng)選擇linux系統(tǒng)或者windows系統(tǒng)，因?yàn)樯鲜鰞刹僮飨到y(tǒng)與各種圖像處理算法的兼容性更優(yōu)。

在步驟202中，所述視頻編碼設(shè)備12確認(rèn)當(dāng)前的數(shù)據(jù)通訊網(wǎng)絡(luò)類型，根據(jù)確認(rèn)結(jié)果選擇與當(dāng)前數(shù)據(jù)通訊網(wǎng)絡(luò)類型相匹配的編碼方式，并完成無人船載攝像機(jī)11采集到的視頻內(nèi)容的編碼。

所述數(shù)據(jù)通訊網(wǎng)絡(luò)類型包括：短距離點(diǎn)對點(diǎn)數(shù)據(jù)通訊網(wǎng)絡(luò)(例如whd-100、whd-200、zwd-1222等)、4g/5g數(shù)據(jù)通訊網(wǎng)絡(luò)、基于海洋的數(shù)據(jù)通訊網(wǎng)絡(luò)和衛(wèi)星數(shù)據(jù)通訊網(wǎng)絡(luò)等。其中，編碼方式包括：mpeg-x系列編碼方式、h.26x系列編碼方式和自定義目標(biāo)對象扣取編碼方式。

在步驟203中，所述無人船載網(wǎng)絡(luò)路由設(shè)備13將所述視頻編碼設(shè)備12編碼后的視頻內(nèi)容發(fā)送到所述視頻直播服務(wù)器14。

在本發(fā)明實(shí)施例中，對于只有單一數(shù)據(jù)通訊網(wǎng)絡(luò)類型的，則所述網(wǎng)絡(luò)路由設(shè)備13可以是無線音視頻收發(fā)器，例如：whd-100、whd-200、zwd-1222等；也可以是4g或者5g無線收發(fā)模塊；還可以是專業(yè)的衛(wèi)星收發(fā)模塊。在本發(fā)明實(shí)施例中，當(dāng)所述無人船支持多種數(shù)據(jù)通訊網(wǎng)絡(luò)類型時(shí)，則相應(yīng)的無人船載網(wǎng)絡(luò)路由設(shè)備13將由無人船中運(yùn)行的操作系統(tǒng)和對應(yīng)上述多種收發(fā)器組合實(shí)現(xiàn)。

本發(fā)明實(shí)施例提供了一種基于無人船的視頻直播方法，從一個(gè)較為完整的系統(tǒng)架構(gòu)角度闡述如何設(shè)計(jì)相應(yīng)的功能模塊，并通過設(shè)置視頻直播服務(wù)器，來給各種終端設(shè)備提供一公共的視頻流節(jié)點(diǎn)，解決多異地實(shí)時(shí)觀測無人船現(xiàn)場環(huán)境的問題。

在本發(fā)明實(shí)施例中，所述無人船載網(wǎng)絡(luò)路由設(shè)備13向視頻編碼設(shè)備12反饋當(dāng)前數(shù)據(jù)通訊網(wǎng)絡(luò)類型，則所述根據(jù)確認(rèn)結(jié)果選擇與當(dāng)前數(shù)據(jù)通訊網(wǎng)絡(luò)類型相匹配的編碼方式，具體實(shí)現(xiàn)為：

在步驟301中，在確認(rèn)數(shù)據(jù)通訊網(wǎng)絡(luò)類型為短距離點(diǎn)對點(diǎn)數(shù)據(jù)通訊網(wǎng)絡(luò)或者4g/5g數(shù)據(jù)通訊網(wǎng)絡(luò)時(shí)，所述編碼方式為mpeg-x系列編碼方式或h.26x系列編碼方式。

在步驟302中，在確認(rèn)數(shù)據(jù)通訊網(wǎng)絡(luò)類型為基于海洋的數(shù)據(jù)通訊網(wǎng)絡(luò)和衛(wèi)星數(shù)據(jù)通訊網(wǎng)絡(luò)時(shí)，所述編碼方式為自定義目標(biāo)對象扣取編碼方式。

在本發(fā)明實(shí)施例中，對應(yīng)實(shí)施例1所，所述自定義目標(biāo)對象扣取編碼方式，具體包括：

讀取一幀或者多針視頻內(nèi)容，根據(jù)圖像識(shí)別算法獲取所述一幀或者多針視頻內(nèi)容中的海水對象和除海水以外的目標(biāo)對象，在預(yù)設(shè)數(shù)量視頻幀范圍內(nèi)，僅保留其中指定幀視頻內(nèi)的海水對象參與編碼，并刪除所述預(yù)設(shè)數(shù)量視頻幀范圍內(nèi)其它視頻幀中的海水對象得到相應(yīng)目標(biāo)對象，根據(jù)保留下來的視頻幀和目標(biāo)對象，完成所述預(yù)設(shè)數(shù)量視頻幀的編碼；

其中，編碼內(nèi)容還包括所述目標(biāo)對象在視頻幀中的坐標(biāo)信息。其結(jié)合附圖2-圖5相應(yīng)的實(shí)例內(nèi)容可參考實(shí)施例所描述內(nèi)容，在此不一一贅述。

為了進(jìn)一步解決直播視頻內(nèi)容回溯過程中的保真度和可回溯性，結(jié)合本發(fā)明實(shí)施例還提供了一種可供選擇的擴(kuò)展方案，具體的，所述視頻編碼設(shè)備12還備份無人船載攝像機(jī)11所采集的原始視頻內(nèi)容；所述原始視頻內(nèi)容在歸檔后用于分析各編碼的改進(jìn)點(diǎn)，或者用于回溯直播過程中關(guān)鍵幀視頻內(nèi)容。

實(shí)施例3:

本發(fā)明實(shí)施例是在實(shí)施例1和實(shí)施例2所闡述的系統(tǒng)和方法所闡述的內(nèi)容基礎(chǔ)上，進(jìn)一步提出了一些應(yīng)用方法。這些應(yīng)用方法即可以在上述系統(tǒng)實(shí)施例1中使用，也可以在上述方法實(shí)施例2中使用。

應(yīng)用方法一：

所述視頻直播服務(wù)器14還能夠接收來自終端設(shè)備的控制消息，能夠發(fā)送控制消息的終端設(shè)備通常是被賦予特定權(quán)限的終端設(shè)備，例如：通過指定權(quán)限賬號(hào)登錄終端設(shè)備上安裝的app形式實(shí)現(xiàn)，其中，app具有和視頻直播服務(wù)器14建立通訊的協(xié)議和生成控制消息的能力，所述終端設(shè)備用于支撐相應(yīng)通訊建立和控制消息發(fā)送。

將所述控制消息轉(zhuǎn)換為視頻編碼設(shè)備12所能識(shí)別的第一操控指令，則所述視頻編碼設(shè)備12還用于接收來自視頻直播服務(wù)器14的第一操控指令，所述第一操控指令用于切換當(dāng)前的視頻編碼設(shè)備12所采用的編碼方式。例如：終端設(shè)備設(shè)置視頻編碼設(shè)備12的直播視頻編碼方式，從而保證由無人船傳播回來的視頻內(nèi)容質(zhì)量不會(huì)因?yàn)榫幋a方式，影響到最終的觀影質(zhì)量。

以一種實(shí)際應(yīng)用場景為例，無人船當(dāng)前建立的網(wǎng)絡(luò)帶寬有限，因此，其默認(rèn)采用的是本發(fā)明實(shí)施例1和實(shí)施例2中提出的自定義目標(biāo)對象扣取編碼方式(保證視頻傳輸?shù)牧鲿承曰蛘吖?jié)省帶寬使用費(fèi)用)。此時(shí)終端設(shè)備觀察到其感興趣目標(biāo)，則可以通過發(fā)送上述控制消息，以便視頻直播服務(wù)器14將控制消息轉(zhuǎn)換為視頻編碼設(shè)備12能夠識(shí)別的第一操作指令，將其視頻編碼方式從上述自定義目標(biāo)對象扣取編碼方式調(diào)整為視頻播放質(zhì)量更高的h.265編碼方式，當(dāng)然，終端設(shè)備還可以再次切換為自定義目標(biāo)對象扣取編碼方式的流暢播放模式。其中，對于終端設(shè)備發(fā)送控制消息的操作具體可以是一種對顯示屏幕中指定區(qū)域的縮放操作、也可以是選擇慢鏡頭播放的操作、還可以是在操作界面上主動(dòng)選擇的播放質(zhì)量選擇等等。

應(yīng)用方法二：

所述視頻直播服務(wù)器14還能夠接收來自終端設(shè)備的控制消息，并將所述控制消息轉(zhuǎn)換為無人船載攝像機(jī)11所能識(shí)別的第二操控指令，則無人船載攝像機(jī)11在獲取到第二操控指令后，根據(jù)所述操控指令調(diào)整拍攝角度。其中，拍攝角度包括水平面上的0-360°旋轉(zhuǎn)，以及豎直平面上的0-90°的折疊。

應(yīng)用方式三：

所述視頻直播服務(wù)器14還能夠接收來自終端設(shè)備的控制消息，所述控制消息中攜帶視頻直播服務(wù)器14所能識(shí)別的視頻傳輸指令，所述視頻傳輸指令包括：從指定時(shí)間點(diǎn)開始播放視頻內(nèi)容的傳輸指令、快進(jìn)播放視頻內(nèi)容的傳輸指令、快退播放視頻直播的傳輸指令、暫停播放視頻內(nèi)容的傳輸指令等等。

值得說明的是，上述裝置和系統(tǒng)內(nèi)的模塊、單元之間的信息交互、執(zhí)行過程等內(nèi)容，由于與本發(fā)明的處理方法實(shí)施例基于同一構(gòu)思，具體內(nèi)容可參見本發(fā)明方法實(shí)施例中的敘述，此處不再贅述。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，該程序可以存儲(chǔ)于一計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，存儲(chǔ)介質(zhì)可以包括：只讀存儲(chǔ)器(rom，readonlymemory)、隨機(jī)存取存儲(chǔ)器(ram，randomaccessmemory)、磁盤或光盤等。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。