一種基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng)及方法
【專(zhuān)利摘要】一種基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng)及方法,該系統(tǒng)包括視頻發(fā)送設(shè)備終端、服務(wù)器和視頻接收設(shè)備終端,視頻發(fā)送設(shè)備終端采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),將音頻數(shù)據(jù)轉(zhuǎn)換為WAV格式的音頻數(shù)據(jù),將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù),并進(jìn)行編碼加密后,封裝傳輸至服務(wù)器,將文字?jǐn)?shù)據(jù)直接通過(guò)Socket套接字協(xié)議傳輸至服務(wù)器;服務(wù)器存儲(chǔ)音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),同時(shí)將其傳輸至視頻接收設(shè)備終端進(jìn)行播放;視頻接收設(shè)備終端對(duì)音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行同步解封,并進(jìn)行解碼解密,將解碼解密后的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行同步播放,同時(shí)對(duì)文字?jǐn)?shù)據(jù)進(jìn)行顯示。
【專(zhuān)利說(shuō)明】一種基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于多媒體技術(shù)的安全性應(yīng)用領(lǐng)域,具體涉及一種基于互聯(lián)網(wǎng)的安全視頻 會(huì)議系統(tǒng)及方法。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,多媒體技術(shù)特別是視頻技術(shù)在現(xiàn)實(shí)生活中的應(yīng)用日 漸廣泛。伴隨著數(shù)字技術(shù)的進(jìn)步,20世紀(jì)末歐洲多個(gè)國(guó)家開(kāi)始對(duì)數(shù)字電視技術(shù)進(jìn)行研宄,隨 著數(shù)字電視技術(shù)的高速發(fā)展以及因特網(wǎng)在全球范圍內(nèi)的廣泛普及,各類(lèi)數(shù)字視頻壓縮編碼 標(biāo)準(zhǔn)也應(yīng)運(yùn)而生。1993年,MPEG-4標(biāo)準(zhǔn),這一具有低碼率、高質(zhì)量的音視頻壓縮編碼方案的 出臺(tái),進(jìn)一步的推進(jìn)了網(wǎng)絡(luò)視頻技術(shù)的發(fā)展。2003年,H. 264這一由ITU-T的視頻編碼專(zhuān)家 組VCEG和MPEG的聯(lián)合視頻組發(fā)布數(shù)字視頻編碼標(biāo)準(zhǔn),以其同等帶寬下更高的圖像質(zhì)量這 一優(yōu)良特性又一次推動(dòng)了高清電視的發(fā)展。
[0003] 伴隨著多媒體技術(shù)與網(wǎng)絡(luò)技術(shù)的融合,高清網(wǎng)絡(luò)視頻技術(shù)應(yīng)時(shí)而生,2009年開(kāi)始, Dropcam公司于著手研發(fā)基于IP攝像頭的相關(guān)產(chǎn)品,隨后,多個(gè)版本應(yīng)用陸續(xù)發(fā)布。這些應(yīng) 用不僅具有即插即用,配置簡(jiǎn)單的特點(diǎn),而且具有云端的活動(dòng)識(shí)別系統(tǒng),云端活動(dòng)識(shí)別系統(tǒng) 的工作原理是以運(yùn)動(dòng)為基礎(chǔ)的條件下記錄和整理時(shí)間,然后向目標(biāo)系統(tǒng)發(fā)送自定義的更新 或提示信息。Canary以傳統(tǒng)的IP攝像頭為基礎(chǔ)上增加了視頻加密功能,應(yīng)用領(lǐng)域主要集中 于家居安防管理,該產(chǎn)品的一大亮點(diǎn)是帶夜攝功能的廣角攝像頭及各類(lèi)傳感器,傳感器的 應(yīng)用使能時(shí)刻與主人的移動(dòng)終端能時(shí)刻與系統(tǒng)相關(guān)聯(lián)。近幾年,國(guó)內(nèi)的幾家知名互聯(lián)網(wǎng)公 司,如小米,百度等也陸續(xù)發(fā)布了屬于自己公司的攝像頭產(chǎn)品概念模型,但無(wú)論如何,這些 概念模型都是以Dropcam視頻攝像頭設(shè)計(jì)樣式及功能為基礎(chǔ)設(shè)計(jì)開(kāi)發(fā)的?,F(xiàn)如今,Canary 和Dropcam是國(guó)外市場(chǎng)最受歡迎的兩款產(chǎn)品,然而這兩款產(chǎn)品也都只是單純面向個(gè)人的IP 攝像頭技術(shù)產(chǎn)品,難以在國(guó)內(nèi)進(jìn)行規(guī)模性推廣。
[0004] 在我國(guó),視頻會(huì)議系統(tǒng)主要應(yīng)用于政府、金融等企業(yè)級(jí)領(lǐng)域,小規(guī)模應(yīng)用環(huán)境的技 術(shù)發(fā)展卻很緩慢。這種現(xiàn)象的形成主要有三個(gè)原因:一是國(guó)內(nèi)的視頻通訊已經(jīng)被QQ等即時(shí) 通訊軟件占領(lǐng)市場(chǎng),視頻會(huì)議系統(tǒng)缺少互動(dòng)與社區(qū)的概念,功能相對(duì)簡(jiǎn)單、片面;一是傳統(tǒng) 的視頻會(huì)議系統(tǒng)要以昂貴的硬件成本作為技術(shù)支撐,然而日常生活中最理想的硬件成本只 有PC機(jī)與攝像頭,所以除非有迫切的需要,現(xiàn)有的視頻會(huì)議系統(tǒng)想要打入市場(chǎng),在家庭及 個(gè)人領(lǐng)域得到普及是很難的;此外,現(xiàn)有的視頻會(huì)議系統(tǒng)在安全性方面具有諸多隱患,而提 高系統(tǒng)的安全性的有效途徑是以犧牲提高傳輸帶寬為代價(jià),從而達(dá)到提高加密復(fù)雜性的目 標(biāo),而據(jù)2011第四季度全球網(wǎng)絡(luò)平均連接速度統(tǒng)計(jì)結(jié)果顯示,我國(guó)大陸的平均連接速度在 全球的排名僅為第90名,以犧牲帶寬為代價(jià)進(jìn)而提升系統(tǒng)安全性的方案在我國(guó)現(xiàn)有的網(wǎng) 絡(luò)環(huán)境下根本行不通,因此構(gòu)建能夠提供一個(gè)面向大眾的社區(qū)性安全視頻會(huì)議的系統(tǒng)對(duì)我 國(guó)視頻會(huì)議系統(tǒng)的發(fā)展和推廣具有重要意義。
【發(fā)明內(nèi)容】
[0005] 針對(duì)現(xiàn)有技術(shù)的不足,本發(fā)明提出一種基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng)及方法。
[0006] 本發(fā)明技術(shù)方案如下:一種基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng),包括視頻發(fā)送設(shè)備 終端、服務(wù)器和視頻接收設(shè)備終端;
[0007] 所述的視頻發(fā)送設(shè)備終端,用于采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),將音頻數(shù)據(jù) 轉(zhuǎn)換為WAV格式的音頻數(shù)據(jù),將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù),并進(jìn)行編碼加密后, 封裝傳輸至服務(wù)器,將文字?jǐn)?shù)據(jù)直接通過(guò)Socket套接字協(xié)議傳輸至服務(wù)器;
[0008] 所述的視頻發(fā)送設(shè)備終端為移動(dòng)客戶端、Web客戶端或PC客戶端;
[0009] 所述的視頻發(fā)送設(shè)備終端,設(shè)有采集層、編碼加密層和封裝同步層;
[0010] 所述的采集層,用于采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),將音頻數(shù)據(jù)轉(zhuǎn)換為WAV 格式的音頻數(shù)據(jù),將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù),將WAV格式的音頻數(shù)據(jù)和YUV格 式的視頻數(shù)據(jù)傳輸至編碼加密層,將文字?jǐn)?shù)據(jù)直接通過(guò)Socket套接字傳輸至服務(wù)器;
[0011] 所述的編碼加密層,用于將WAV格式的音頻數(shù)據(jù)進(jìn)行編碼加密,得到ACC格式的音 頻數(shù)據(jù),將YUV格式的視頻數(shù)據(jù)進(jìn)行編碼加密,得到H. 264碼流格式的視頻數(shù)據(jù),將ACC格 式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)傳輸至封裝同步層;
[0012] 所述的WAV格式的音頻數(shù)據(jù)在進(jìn)行編碼的過(guò)程中對(duì)量化后幅值進(jìn)行加密,得到 ACC格式的音頻數(shù)據(jù)。
[0013] 所述的YUV格式的視頻數(shù)據(jù)在進(jìn)行編碼的過(guò)程中,針對(duì)I幀視頻數(shù)據(jù),對(duì)I幀幀內(nèi) 預(yù)測(cè)后的預(yù)測(cè)模式進(jìn)行加密;針對(duì)量化后的DC系數(shù)加密;針對(duì)p幀視頻數(shù)據(jù),對(duì)運(yùn)動(dòng)補(bǔ)償 后的運(yùn)動(dòng)矢量加密;得到H. 264碼流格式的視頻數(shù)據(jù)。
[0014] 所述的封裝同步層,用于以音頻數(shù)據(jù)為基準(zhǔn),將ACC格式的音頻數(shù)據(jù)和H. 264碼流 格式的視頻數(shù)據(jù)封裝成滿足RTP協(xié)議的編碼加密的音視頻數(shù)據(jù),通過(guò)互聯(lián)網(wǎng)傳輸至視頻接 收設(shè)備終端;再將封裝后的編碼加密的音視頻數(shù)據(jù)采用Matroska格式封裝成Matroska格 式的音視頻數(shù)據(jù),傳輸至服務(wù)器;
[0015] 所述的服務(wù)器,用于存儲(chǔ)音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),同時(shí)將其傳輸至視頻接 收設(shè)備終端進(jìn)行播放;
[0016] 所述的服務(wù)器包括:Web服務(wù)器、文件服務(wù)器、RTSP服務(wù)器和NoSQL服務(wù)器;
[0017] 所述的Web服務(wù)器,用于控制和定位Matroska格式的音視頻數(shù)據(jù)及文字?jǐn)?shù)據(jù)的存 儲(chǔ)位置;
[0018] 所述的文件服務(wù)器,用于存儲(chǔ)Matroska格式的音視頻數(shù)據(jù);
[0019] 所述的RTSP服務(wù)器,用于利用RTSP協(xié)議控制Matroska格式的音視頻數(shù)據(jù)的播 放;
[0020] 所述的NoSQL務(wù)器,用于存儲(chǔ)文字?jǐn)?shù)據(jù);
[0021] 所述的視頻接收設(shè)備終端,用于對(duì)音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行同步解封,并進(jìn)行解 碼解密,將解碼解密后的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行同步播放,同時(shí)對(duì)文字?jǐn)?shù)據(jù)進(jìn)行顯示;
[0022] 所述的視頻接收設(shè)備終端,設(shè)有同步層、解碼解密層和播放層;
[0023] 所述的同步層,用于根據(jù)RTP協(xié)議中的同步信息對(duì)音視頻數(shù)據(jù)進(jìn)行同步解封,得 到解封后的ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù),發(fā)送至解碼解密層;
[0024] 所述的解碼解密層,用于將ACC格式的音頻數(shù)據(jù)進(jìn)行解碼解密,得到WAV格式的音 頻數(shù)據(jù),將H. 264碼流格式的視頻數(shù)據(jù)進(jìn)行解碼解密,得到Y(jié)UV格式的視頻數(shù)據(jù),將WAV格 式的音頻數(shù)據(jù)和YUV格式的視頻數(shù)據(jù)傳輸至播放層;
[0025] 所述的播放層,用于將解碼解密后的YUV格式的視頻數(shù)據(jù)和WAV格式的音頻數(shù)據(jù) 進(jìn)行實(shí)時(shí)播放,同時(shí)對(duì)文字?jǐn)?shù)據(jù)進(jìn)行顯示;
[0026] 采用基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng)進(jìn)行視頻會(huì)議的方法,包括以下步驟:
[0027] 步驟1:視頻發(fā)送設(shè)備終端采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù);
[0028] 步驟2:視頻發(fā)送設(shè)備終端將音頻數(shù)據(jù)轉(zhuǎn)換為WAV格式的音頻數(shù)據(jù),將視頻數(shù)據(jù)轉(zhuǎn) 換為YUV格式的視頻數(shù)據(jù),將WAV格式的音頻數(shù)據(jù)和YUV格式的視頻數(shù)據(jù),將文字?jǐn)?shù)據(jù)直接 傳輸至服務(wù)器;
[0029] 步驟3:視頻發(fā)送設(shè)備終端將WAV格式的音頻數(shù)據(jù)進(jìn)行編碼加密,得到ACC格式的 音頻數(shù)據(jù),將YUV格式的視頻數(shù)據(jù)進(jìn)行編碼加密,得到H. 264碼流格式的視頻數(shù)據(jù);
[0030] 步驟4:視頻發(fā)送設(shè)備終端以音頻數(shù)據(jù)為基準(zhǔn),將ACC格式的音頻數(shù)據(jù)和H. 264碼 流格式的視頻數(shù)據(jù)封裝成滿足RTP協(xié)議的音視頻數(shù)據(jù),通過(guò)互聯(lián)網(wǎng)傳輸至視頻接收設(shè)備終 端;
[0031] 步驟5:視頻發(fā)送設(shè)備終端將編碼加密的音視頻數(shù)據(jù)采用Matroska格式封裝成 Matroska格式的音視頻數(shù)據(jù),傳輸至服務(wù)器;
[0032] 步驟6:服務(wù)器存儲(chǔ)Matroska格式的音視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),利用RTSP協(xié)議控制 Matroska格式的音視頻數(shù)據(jù)的播放;
[0033] 步驟7:視頻接收設(shè)備終端根據(jù)RTP協(xié)議中的同步信息對(duì)音視頻數(shù)據(jù)進(jìn)行同步解 封,得到解封后的ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù);
[0034] 步驟8:視頻接收設(shè)備終端將ACC格式的音頻數(shù)據(jù)進(jìn)行解碼解密,得到WAV格式的 音頻數(shù)據(jù),將H. 264碼流格式的視頻數(shù)據(jù)進(jìn)行解碼解密,得到Y(jié)UV格式的視頻數(shù)據(jù);
[0035] 步驟9:視頻接收設(shè)備終端將解碼解密后的YUV格式的視頻數(shù)據(jù)和WAV格式的音 頻數(shù)據(jù)進(jìn)行實(shí)時(shí)播放,同時(shí)對(duì)文字?jǐn)?shù)據(jù)進(jìn)行展現(xiàn)。
[0036] 本發(fā)明的有益效果:
[0037] 本發(fā)明提供了一種基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng),其硬件成本低,對(duì)網(wǎng)絡(luò)帶寬 要求低,突破了以往局域網(wǎng)通信的限制:本發(fā)明除了在最基本的音視頻通信基礎(chǔ)上提供了 演示文稿,文件分享,實(shí)施文字聊天的功能,更有效的支持網(wǎng)絡(luò)會(huì)議,另外搭建了會(huì)議重放 的功能,提供了一套完整的視頻會(huì)議系統(tǒng);本發(fā)明提供了一種安全的會(huì)議保障機(jī)制,在對(duì)碼 流影響較小的前提下保證了數(shù)據(jù)的安全性,也為網(wǎng)絡(luò)傳輸視頻數(shù)據(jù)提供可能。
【專(zhuān)利附圖】
【附圖說(shuō)明】
[0038] 圖1為本發(fā)明【具體實(shí)施方式】中基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng)的結(jié)構(gòu)框圖;
[0039] 圖2為本發(fā)明【具體實(shí)施方式】中利用基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng)進(jìn)行視頻會(huì) 議的方法的流程圖;
[0040] 圖3為本發(fā)明【具體實(shí)施方式】中YUV格式的視頻數(shù)據(jù)在利用H. 264編碼器進(jìn)行編碼 的過(guò)程中進(jìn)行加密的示意圖。
【具體實(shí)施方式】
[0041] 下面結(jié)合附圖對(duì)本發(fā)明【具體實(shí)施方式】加以詳細(xì)的說(shuō)明。
[0042] 一種基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng),如圖1所示,包括視頻發(fā)送設(shè)備終端、服務(wù) 器和視頻接收設(shè)備終端。
[0043] 視頻發(fā)送設(shè)備終端,用于采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),將音頻數(shù)據(jù)轉(zhuǎn)換為 WAV格式的音頻數(shù)據(jù),將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù),并進(jìn)行編碼加密后,封裝傳 輸至服務(wù)器,將文字?jǐn)?shù)據(jù)直接通過(guò)Socket套接字協(xié)議傳輸至服務(wù)器。
[0044] 視頻發(fā)送設(shè)備終端為移動(dòng)客戶端、Web客戶端或PC客戶端。
[0045] 本實(shí)施方式中,選用PC客戶端作為視頻發(fā)送設(shè)備終端。
[0046] 視頻發(fā)送設(shè)備終端,設(shè)有采集層、編碼加密層和封裝同步層。
[0047] 采集層,用于采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),將音頻數(shù)據(jù)轉(zhuǎn)換為WAV格式的 音頻數(shù)據(jù),將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù),將WAV格式的音頻數(shù)據(jù)和YUV格式的視 頻數(shù)據(jù)傳輸至編碼加密層,將文字?jǐn)?shù)據(jù)直接通過(guò)Socket套接字傳輸至服務(wù)器。
[0048] 本實(shí)施方式中,視頻數(shù)據(jù)包括攝像頭視頻輸入的視頻畫(huà)面、分享屏幕的屏幕錄像 和播放的分享文檔三個(gè)部分,音頻數(shù)據(jù)包括麥克風(fēng)音頻輸入和本地音頻兩個(gè)部分。該系統(tǒng) 提供文字聊天及會(huì)議評(píng)論等文字?jǐn)?shù)的同步傳輸。
[0049] 攝像頭視頻輸入的視頻畫(huà)面的采集在Windows系統(tǒng)環(huán)境下是基于微軟的 DirectShow開(kāi)發(fā)工具實(shí)現(xiàn)的;在Linux或Unix系統(tǒng)環(huán)境下是基于Video4Linux2(簡(jiǎn)稱 V4L2)視頻設(shè)備API實(shí)現(xiàn)的。
[0050] 視頻采集工作獲取的是RGB顏色空間的圖像數(shù)據(jù),本系統(tǒng)在編碼層使用滿足 H. 264編碼標(biāo)準(zhǔn)的編碼程序,該編碼程序的輸入數(shù)據(jù)要求是YUV顏色空間視頻數(shù)據(jù),所以采 集層需要將DirectShow和V4L2采集到的RGB視頻文件轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù)。
[0051] 分享屏幕的屏幕錄像采集是基于系統(tǒng)與繪圖程序信息交換機(jī)圖像設(shè)備接口GDI 實(shí)現(xiàn)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù)的。
[0052] 播放的分享文檔的格式轉(zhuǎn)換以VisualStudio開(kāi)發(fā)工具的一個(gè)組件包VST0為基 礎(chǔ),基于VST0實(shí)現(xiàn)演示文稿的格式轉(zhuǎn)換,結(jié)合LibreOffice的轉(zhuǎn)換機(jī)制跨平臺(tái)轉(zhuǎn)換,獲取輸 出的MicrosoftBitMap文件,然后基于VST0實(shí)現(xiàn)播放的分享文檔轉(zhuǎn)換為YUV格式的視頻 數(shù)據(jù)。
[0053] 音頻數(shù)據(jù)的采集在Windows環(huán)境下是通過(guò)DirectSound采集WAV格式數(shù)據(jù),在 Linux或Unix系統(tǒng)環(huán)境下使用JACK2專(zhuān)業(yè)級(jí)聲音服務(wù)技術(shù)提供本地聲音及麥克風(fēng)錄制聲音 的米集。
[0054] 編碼加密層,用于將WAV格式的音頻數(shù)據(jù)進(jìn)行編碼加密,得到ACC格式的音頻數(shù) 據(jù),將YUV格式的視頻數(shù)據(jù)進(jìn)行編碼加密,得到H. 264碼流格式的視頻數(shù)據(jù),將ACC格式的 音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)傳輸至封裝同步層。
[0055] WAV格式的音頻數(shù)據(jù)在進(jìn)行編碼的過(guò)程中對(duì)量化后幅值進(jìn)行加密,得到ACC格式 的音頻數(shù)據(jù)。
[0056] 本實(shí)施方式中,WAV格式的音頻數(shù)據(jù)利用libfaac開(kāi)源工具進(jìn)行編碼,在進(jìn)行編碼 的過(guò)程中對(duì)量化后幅值進(jìn)行加密,具體過(guò)程如下:
[0057] 根據(jù)附加加密的初始密鑰xa(lG(〇,1)和yaG(3. 571448,4),生成當(dāng)前量化幅 值加密的第z個(gè)一級(jí)加密密鑰kaz= (xazX108)mod53,其中,z彡 0,xa(z+1)=yaxaz(l-xaz); 對(duì)量化后的幅值L進(jìn)行二進(jìn)制變換得到h位二進(jìn)制序列bhbH. . .bpbh為最高一位比特 值為1的位,若全為0則h= 2 ;選擇加密高r位的WAV格式的音頻數(shù)據(jù)并添加t位的 比特值,其中t=xac;m〇d3,xa。為當(dāng)前一級(jí)加密密鑰kaz;迭代計(jì)算出后續(xù)r位一級(jí)加密 密鑰,根據(jù)一級(jí)加密密鑰dK,奇偶性對(duì)bhbH. . .bh_rt進(jìn)行加密得到比特序 列b'hb'h+.l'h+h,繼續(xù)迭代計(jì)算出后續(xù)t-1位一級(jí)加密密鑰作為t-1位加密密鑰 慫6..C1,根據(jù)t_l位加密密鑰慫C..G1奇偶性得到比特序列b' ^i,則最終密文 幅值比特串為b'tb'w.b'山'hb,w.b,h+1_rbh_rbh_r_1...b1,其中,b,t=l,將最 終密文幅值比特串轉(zhuǎn)化為十進(jìn)制即為最終的密文幅值L'。
[0058]YUV格式的視頻數(shù)據(jù)在進(jìn)行編碼的過(guò)程中,針對(duì)I幀視頻數(shù)據(jù),對(duì)I幀幀內(nèi)預(yù)測(cè)后 的預(yù)測(cè)模式進(jìn)行加密;針對(duì)量化后的DC系數(shù)加密;針對(duì)p幀視頻數(shù)據(jù),對(duì)運(yùn)動(dòng)補(bǔ)償后的運(yùn) 動(dòng)矢量加密;得到H. 264碼流格式的視頻數(shù)據(jù)。
[0059] 本實(shí)施方式中,YUV格式的視頻數(shù)據(jù)利用H. 264編碼器進(jìn)行編碼,在進(jìn)行編碼的過(guò) 程中,針對(duì)I幀視頻數(shù)據(jù),對(duì)I幀幀內(nèi)預(yù)測(cè)后的預(yù)測(cè)模式進(jìn)行加密;針對(duì)量化后的DC系數(shù)加 密;針對(duì)P幀視頻數(shù)據(jù),對(duì)運(yùn)動(dòng)補(bǔ)償后的運(yùn)動(dòng)矢量加密;具體如圖3所示:
[0060] 針對(duì)I幀視頻數(shù)據(jù),對(duì)I幀幀內(nèi)預(yù)測(cè)后的預(yù)測(cè)模式進(jìn)行加密,即在選定幀內(nèi)預(yù)測(cè)模 式并進(jìn)行幀內(nèi)預(yù)測(cè)之后,使用預(yù)測(cè)模式進(jìn)行加密:根據(jù)預(yù)測(cè)模式加密的初始密鑰^^^ (0, 1)和^£(3.571448,4),生成生成預(yù)測(cè)模式的第1個(gè)密鑰1^=〇^\108)111 〇(1255,其中, i彡 0,xs(i+1)=ysxsi(l-xsi),通過(guò)預(yù)測(cè)模式11^= (nSi+k^+mSiJmodg對(duì)I幀視頻數(shù)據(jù)進(jìn) 行加密,其中,11^代表加密后的密文預(yù)測(cè)模式,nsi代表當(dāng)前明文預(yù)測(cè)模式,msg代表上一 個(gè)加密后的密文預(yù)測(cè)模式;
[0061] 針對(duì)量化后的DC系數(shù)加密,即在整型DCT系數(shù)量化之后,熵編碼之前,進(jìn)行DC系 數(shù)加密:根據(jù)DC系數(shù)加密的初始密鑰Xp(lG(〇,1)和ypG(3. 571448,4),生成DC系數(shù)加 密混純系統(tǒng)當(dāng)前偽隨機(jī)序列值kpj= (xpjX108)mod255,其中,j彡0,xpU+1)=ypxpi(l-xpj), 通過(guò)DC系數(shù)mpj=(npj+kpj+mpjJmoc^SS對(duì)量化后的DC系數(shù)加密,其中,mpj代表當(dāng)前加密 后的DC系數(shù),即」代表當(dāng)前子宏塊的明文DC系數(shù),mpm代表上一個(gè)加密后的DC系數(shù);
[0062] 針對(duì)p幀視頻數(shù)據(jù),對(duì)運(yùn)動(dòng)補(bǔ)償后的運(yùn)動(dòng)矢量加密,即在視頻數(shù)據(jù)進(jìn)行運(yùn) 動(dòng)估計(jì)之后,對(duì)運(yùn)動(dòng)矢量進(jìn)行加密:根據(jù)運(yùn)動(dòng)矢量加密的初始密鑰xv(ie(0,1)和 ^£(3.571448,4),生成運(yùn)動(dòng)矢量加密混沌系統(tǒng)的當(dāng)前密鑰值、=〇^,10 8)111〇(117,其 中,q彡0,xv((1+1)=yvxv(1(l-xv(1),通過(guò)運(yùn)動(dòng)矢量加密密鑰vf(Wq+lM+v^modn對(duì)p幀視 頻數(shù)據(jù)進(jìn)行加密,其中Vq代表當(dāng)前運(yùn)動(dòng)矢量加密的橫坐標(biāo)或縱坐標(biāo),Wq代表運(yùn)動(dòng)矢量橫坐 標(biāo)或縱坐標(biāo)的明文值,代表上一個(gè)運(yùn)動(dòng)矢量加密的橫坐標(biāo)或縱坐標(biāo)。
[0063] 封裝同步層,用于以音頻數(shù)據(jù)為基準(zhǔn),將ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的 視頻數(shù)據(jù)封裝成滿足RTP協(xié)議的編碼加密的音視頻數(shù)據(jù),通過(guò)互聯(lián)網(wǎng)傳輸至視頻接收設(shè)備 終端;再將封裝后的編碼加密的音視頻數(shù)據(jù)采用Matroska格式封裝成Matroska格式的音 視頻數(shù)據(jù),傳輸至服務(wù)器。
[0064] 本實(shí)施方式中,使用jrtplib打包傳輸?shù)膔tp數(shù)據(jù)中含有SR包,SR包中包含了同 步播放需要的源端SS_RTPTime與SS_NTPTime這兩則數(shù)據(jù),接收端接受到任一數(shù)據(jù)包對(duì)數(shù) 據(jù)源中數(shù)據(jù)順序檢索即可獲取ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù),ACC格 式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)的RTP時(shí)間盡管不同,但可以通過(guò)NTP時(shí)間映 射到同一個(gè)時(shí)間軸上,從而實(shí)現(xiàn)同步。
[0065] 服務(wù)器,用于存儲(chǔ)音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),同時(shí)將其傳輸至視頻接收設(shè)備 終端進(jìn)行播放。
[0066] 服務(wù)器包括:Web服務(wù)器、文件服務(wù)器、RTSP服務(wù)器和NoSQL服務(wù)器。
[0067] Web服務(wù)器,用于控制和定位Matroska格式的音視頻數(shù)據(jù)及文字?jǐn)?shù)據(jù)的存儲(chǔ)位 置。
[0068] 本實(shí)施方式中,Web服務(wù)器為客戶端的提供通信服務(wù)及數(shù)據(jù)存儲(chǔ)數(shù)據(jù)流控制支持, 所有的用戶請(qǐng)求及系統(tǒng)自動(dòng)控制均通過(guò)Web服務(wù)器攔截處理,另外Web服務(wù)器提供身份驗(yàn) 證與內(nèi)容管理機(jī)制,用戶的注冊(cè)、登錄、查看信息、請(qǐng)求會(huì)議等動(dòng)作也是通過(guò)Web服務(wù)器統(tǒng) 一管理處理。視頻發(fā)送設(shè)備終端發(fā)送(接受的數(shù)據(jù)也是來(lái)源于發(fā)送數(shù)據(jù))的音視頻數(shù)據(jù)傳 輸都需要經(jīng)過(guò)Web服務(wù)器,服務(wù)器接受到具體的數(shù)據(jù)內(nèi)容時(shí)根據(jù)服務(wù)器配置選擇是否將數(shù) 據(jù)映像存儲(chǔ)單獨(dú)存儲(chǔ),如果單獨(dú)存儲(chǔ)則直接與文件服務(wù)器或NoSQL服務(wù)器進(jìn)行10操作直接 進(jìn)行數(shù)據(jù)備份。而用戶發(fā)起會(huì)議,參加會(huì)議,退出會(huì)議,實(shí)時(shí)分享等主要業(yè)務(wù)內(nèi)容均是首先 將請(qǐng)求信息發(fā)送給Web服務(wù)器,Web服務(wù)器首先根據(jù)數(shù)據(jù)庫(kù)中數(shù)據(jù)映射判斷當(dāng)前用戶是否 有相應(yīng)權(quán)限,如果不滿足直接給用戶反饋禁止信息,滿足則針對(duì)具體業(yè)務(wù)做流程控制及數(shù) 據(jù)支持。
[0069] 文件服務(wù)器,用于存儲(chǔ)Matroska格式的音視頻數(shù)據(jù)。
[0070] 本實(shí)施方式中,文件服務(wù)器還搭建了流媒體服務(wù)接口以支持會(huì)議的下載及在線回 放功能。
[0071] RTSP服務(wù)器,用于利用RTSP協(xié)議控制Matroska格式的音視頻數(shù)據(jù)的播放。
[0072] 本實(shí)施方式中,RTSP協(xié)議基于TCP完成RTSP請(qǐng)求報(bào)文和響應(yīng)報(bào)文的傳輸,當(dāng)RTSP 服務(wù)器收到客戶端的視頻請(qǐng)求時(shí),RTSP在線程池中獲取一個(gè)空閑線程用于建立一個(gè)新的 RTSP會(huì)話,新線程負(fù)責(zé)建立一個(gè)RTP連接系統(tǒng)和RTP傳輸抽象的動(dòng)作抽象用于發(fā)送RTP報(bào) 文。一個(gè)RTSP會(huì)話中RTP連接是獨(dú)立的,多個(gè)RTP連接可以共享一個(gè)RTSP會(huì)話。
[0073] NoSQL務(wù)器,用于存儲(chǔ)文字?jǐn)?shù)據(jù)。
[0074] 視頻接收設(shè)備終端,用于對(duì)音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行同步解封,并進(jìn)行解碼解密, 將解碼解密后的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行同步播放,同時(shí)對(duì)文字?jǐn)?shù)據(jù)進(jìn)行顯示。
[0075] 視頻接收設(shè)備終端,設(shè)有同步層、解碼解密層和播放層。
[0076] 同步層,用于根據(jù)RTP協(xié)議中的同步信息對(duì)音視頻數(shù)據(jù)進(jìn)行同步解封,得到解封 后的ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù),發(fā)送至解碼解密層。
[0077] 解碼解密層,用于將ACC格式的音頻數(shù)據(jù)進(jìn)行解碼解密,得到WAV格式的音頻數(shù) 據(jù),將H. 264碼流格式的視頻數(shù)據(jù)進(jìn)行解碼解密,得到Y(jié)UV格式的視頻數(shù)據(jù),將WAV格式的 音頻數(shù)據(jù)和YUV格式的視頻數(shù)據(jù)傳輸至播放層。
[0078] 播放層,用于將解碼解密后的YUV格式的視頻數(shù)據(jù)和WAV格式的音頻數(shù)據(jù)進(jìn)行實(shí) 時(shí)播放,同時(shí)對(duì)文字?jǐn)?shù)據(jù)進(jìn)行顯示。
[0079] 采用基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng)進(jìn)行視頻會(huì)議的方法,如圖2所示,包括以 下步驟:
[0080] 步驟1:視頻發(fā)送設(shè)備終端采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù)。
[0081] 步驟2:視頻發(fā)送設(shè)備終端將音頻數(shù)據(jù)轉(zhuǎn)換為WAV格式的音頻數(shù)據(jù),將視頻數(shù)據(jù)轉(zhuǎn) 換為YUV格式的視頻數(shù)據(jù),將WAV格式的音頻數(shù)據(jù)和YUV格式的視頻數(shù)據(jù),將文字?jǐn)?shù)據(jù)直接 傳輸至服務(wù)器。
[0082] 步驟3:視頻發(fā)送設(shè)備終端將WAV格式的音頻數(shù)據(jù)進(jìn)行編碼加密,得到ACC格式的 音頻數(shù)據(jù),將YUV格式的視頻數(shù)據(jù)進(jìn)行編碼加密,得到H. 264碼流格式的視頻數(shù)據(jù)。
[0083] 步驟4:視頻發(fā)送設(shè)備終端以音頻數(shù)據(jù)為基準(zhǔn),將ACC格式的音頻數(shù)據(jù)和H. 264碼 流格式的視頻數(shù)據(jù)封裝成滿足RTP協(xié)議的音視頻數(shù)據(jù),通過(guò)互聯(lián)網(wǎng)傳輸至視頻接收設(shè)備終 端。
[0084] 步驟5:視頻發(fā)送設(shè)備終端將編碼加密的音視頻數(shù)據(jù)采用Matroska格式封裝成 Matroska格式的音視頻數(shù)據(jù),傳輸至服務(wù)器。
[0085] 步驟6:服務(wù)器存儲(chǔ)Matroska格式的音視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),利用RTSP協(xié)議控制 Matroska格式的音視頻數(shù)據(jù)的播放。
[0086] 步驟7:視頻接收設(shè)備終端根據(jù)RTP協(xié)議中的同步信息對(duì)音視頻數(shù)據(jù)進(jìn)行同步解 封,得到解封后的ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)。
[0087] 步驟8:視頻接收設(shè)備終端將ACC格式的音頻數(shù)據(jù)進(jìn)行解碼解密,得到WAV格式的 音頻數(shù)據(jù),將H. 264碼流格式的視頻數(shù)據(jù)進(jìn)行解碼解密,得到Y(jié)UV格式的視頻數(shù)據(jù)。
[0088] 步驟9:視頻接收設(shè)備終端將解碼解密后的YUV格式的視頻數(shù)據(jù)和WAV格式的音 頻數(shù)據(jù)進(jìn)行實(shí)時(shí)播放,同時(shí)對(duì)文字?jǐn)?shù)據(jù)進(jìn)行展現(xiàn)。
【權(quán)利要求】
1. 一種基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng),其特征在于,包括視頻發(fā)送設(shè)備終端、服務(wù)器 和視頻接收設(shè)備終J而; 所述的視頻發(fā)送設(shè)備終端,用于采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),將音頻數(shù)據(jù)轉(zhuǎn)換 為WAV格式的音頻數(shù)據(jù),將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù),并進(jìn)行編碼加密后,封裝 傳輸至服務(wù)器,將文字?jǐn)?shù)據(jù)直接通過(guò)Socket套接字協(xié)議傳輸至服務(wù)器; 所述的服務(wù)器,用于存儲(chǔ)音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),同時(shí)將其傳輸至視頻接收設(shè) 備終端進(jìn)行播放; 所述的視頻接收設(shè)備終端,用于對(duì)音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行同步解封,并進(jìn)行解碼解 密,將解碼解密后的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行同步播放,同時(shí)對(duì)文字?jǐn)?shù)據(jù)進(jìn)行顯示。
2. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng),其特征在于,所述的視頻 發(fā)送設(shè)備終端為移動(dòng)客戶端、Web客戶端或PC客戶端。
3. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng),其特征在于,所述的視頻 發(fā)送設(shè)備終端,設(shè)有采集層、編碼加密層和封裝同步層; 所述的采集層,用于采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),將音頻數(shù)據(jù)轉(zhuǎn)換為WAV格式 的音頻數(shù)據(jù),將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù),將WAV格式的音頻數(shù)據(jù)和YUV格式的 視頻數(shù)據(jù)傳輸至編碼加密層,將文字?jǐn)?shù)據(jù)直接通過(guò)Socket套接字協(xié)議傳輸至服務(wù)器; 所述的編碼加密層,用于將WAV格式的音頻數(shù)據(jù)進(jìn)行編碼加密,得到ACC格式的音頻數(shù) 據(jù),將YUV格式的視頻數(shù)據(jù)進(jìn)行編碼加密,得到H. 264碼流格式的視頻數(shù)據(jù),將ACC格式的 音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)傳輸至封裝同步層; 所述的封裝同步層,用于以音頻數(shù)據(jù)為基準(zhǔn),將ACC格式的音頻數(shù)據(jù)和H. 264碼流格式 的視頻數(shù)據(jù)封裝成滿足RTP協(xié)議的編碼加密的音視頻數(shù)據(jù),通過(guò)互聯(lián)網(wǎng)傳輸至視頻接收設(shè) 備終端;再將封裝后的編碼加密的音視頻數(shù)據(jù)采用Matroska格式封裝成Matroska格式的 音視頻數(shù)據(jù),傳輸至服務(wù)器。
4. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng),其特征在于,所述的服務(wù) 器包括:Web服務(wù)器、文件服務(wù)器、RTSP服務(wù)器和NoSQL服務(wù)器; 所述的Web服務(wù)器,用于控制和定位Matroska格式的音視頻數(shù)據(jù)及文字?jǐn)?shù)據(jù)的存儲(chǔ)位 置; 所述的文件服務(wù)器,用于存儲(chǔ)Matroska格式的音視頻數(shù)據(jù); 所述的RTSP服務(wù)器,用于利用RTSP協(xié)議控制Matroska格式的音視頻數(shù)據(jù)的播放; 所述的NoSQL務(wù)器,用于存儲(chǔ)文字?jǐn)?shù)據(jù)。
5. 根據(jù)根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng),其特征在于,所述的 視頻接收設(shè)備終端,設(shè)有同步層、解碼解密層和播放層; 所述的同步層,用于根據(jù)RTP協(xié)議中的同步信息對(duì)音視頻數(shù)據(jù)進(jìn)行同步解封,得到解 封后的ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù),發(fā)送至解碼解密層; 所述的解碼解密層,用于將ACC格式的音頻數(shù)據(jù)進(jìn)行解碼解密,得到WAV格式的音頻數(shù) 據(jù),將H. 264碼流格式的視頻數(shù)據(jù)進(jìn)行解碼解密,得到Y(jié)UV格式的視頻數(shù)據(jù),將WAV格式的 音頻數(shù)據(jù)和YUV格式的視頻數(shù)據(jù)傳輸至播放層; 所述的播放層,用于將解碼解密后的YUV格式的視頻數(shù)據(jù)和WAV格式的音頻數(shù)據(jù)進(jìn)行 實(shí)時(shí)播放,同時(shí)對(duì)文字?jǐn)?shù)據(jù)進(jìn)行顯示。
6. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng),其特征在于,所述的WAV格 式的音頻數(shù)據(jù)在進(jìn)行編碼的過(guò)程中對(duì)量化后幅值進(jìn)行加密,得到ACC格式的音頻數(shù)據(jù)。
7. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng),其特征在于,所述的YUV格 式的視頻數(shù)據(jù)在進(jìn)行編碼的過(guò)程中,針對(duì)I幀視頻數(shù)據(jù),對(duì)I幀幀內(nèi)預(yù)測(cè)后的預(yù)測(cè)模式進(jìn)行 加密;針對(duì)量化后的DC系數(shù)加密;針對(duì)p幀視頻數(shù)據(jù),對(duì)運(yùn)動(dòng)補(bǔ)償后的運(yùn)動(dòng)矢量加密;得到 H. 264碼流格式的視頻數(shù)據(jù)。
8. 采用權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會(huì)議系統(tǒng)進(jìn)行視頻會(huì)議的方法,其特 征在于,包括以下步驟: 步驟1 :視頻發(fā)送設(shè)備終端采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù); 步驟2 :視頻發(fā)送設(shè)備終端將音頻數(shù)據(jù)轉(zhuǎn)換為WAV格式的音頻數(shù)據(jù),將視頻數(shù)據(jù)轉(zhuǎn)換為 YUV格式的視頻數(shù)據(jù),將WAV格式的音頻數(shù)據(jù)和YUV格式的視頻數(shù)據(jù),將文字?jǐn)?shù)據(jù)直接傳輸 至服務(wù)器; 步驟3 :視頻發(fā)送設(shè)備終端將WAV格式的音頻數(shù)據(jù)進(jìn)行編碼加密,得到ACC格式的音頻 數(shù)據(jù),將YUV格式的視頻數(shù)據(jù)進(jìn)行編碼加密,得到H. 264碼流格式的視頻數(shù)據(jù); 步驟4 :視頻發(fā)送設(shè)備終端以音頻數(shù)據(jù)為基準(zhǔn),將ACC格式的音頻數(shù)據(jù)和H. 264碼流格 式的視頻數(shù)據(jù)封裝成滿足RTP協(xié)議的音視頻數(shù)據(jù),通過(guò)互聯(lián)網(wǎng)傳輸至視頻接收設(shè)備終端; 步驟5 :視頻發(fā)送設(shè)備終端將編碼加密的音視頻數(shù)據(jù)采用Matroska格式封裝成 Matroska格式的音視頻數(shù)據(jù),傳輸至服務(wù)器; 步驟6 :服務(wù)器存儲(chǔ)Matroska格式的音視頻數(shù)據(jù)和文字?jǐn)?shù)據(jù),利用RTSP協(xié)議控制 Matroska格式的音視頻數(shù)據(jù)的播放; 步驟7 :視頻接收設(shè)備終端根據(jù)RTP協(xié)議中的同步信息對(duì)音視頻數(shù)據(jù)進(jìn)行同步解封,得 到解封后的ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù); 步驟8 :視頻接收設(shè)備終端將ACC格式的音頻數(shù)據(jù)進(jìn)行解碼解密,得到WAV格式的音頻 數(shù)據(jù),將H. 264碼流格式的視頻數(shù)據(jù)進(jìn)行解碼解密,得到Y(jié)UV格式的視頻數(shù)據(jù); 步驟9 :視頻接收設(shè)備終端將解碼解密后的YUV格式的視頻數(shù)據(jù)和WAV格式的音頻數(shù) 據(jù)進(jìn)行實(shí)時(shí)播放,同時(shí)對(duì)文字?jǐn)?shù)據(jù)進(jìn)行展現(xiàn)。
【文檔編號(hào)】H04N7/15GK104506793SQ201510024771
【公開(kāi)日】2015年4月8日 申請(qǐng)日期:2015年1月16日 優(yōu)先權(quán)日:2015年1月16日
【發(fā)明者】朱志良, 郭繼東, 于海, 張偉, 趙玉麗 申請(qǐng)人:東北大學(xué)