一種無線視頻會議傳輸方法
【專利摘要】本發(fā)明公開了一種無線視頻會議傳輸方法，包括步驟：步驟S1，會議數(shù)據(jù)發(fā)送端采集音頻視頻數(shù)據(jù)，并進行編碼產(chǎn)生音頻碼流和視頻碼流；步驟S2，將音頻碼流和/或視頻碼流按特定格式封裝為數(shù)據(jù)包并發(fā)送至接收端；步驟S3，接收端接收音頻碼流和/或視頻碼流，并按所述特定述格式解碼并進行處理，并根據(jù)處理結(jié)果向所述發(fā)送端發(fā)送應(yīng)答；步驟S4，發(fā)送端根據(jù)所述應(yīng)答進行數(shù)據(jù)重發(fā)，丟棄，編碼碼率控制中的至少一種操作；其中，所述特定格式包括：類型，說明封裝的數(shù)據(jù)包的類型；序列號，數(shù)據(jù)包的編號；數(shù)據(jù)，數(shù)據(jù)包中的實際數(shù)據(jù)，本發(fā)明能夠增強無線環(huán)境下的視頻會議的穩(wěn)定性，提升用戶體驗。
【專利說明】一種無線視頻會議傳輸方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及無線視頻會議領(lǐng)域，尤其涉及一種無線視頻會議傳輸方法。

【背景技術(shù)】
[0002] 目前，隨著3G技術(shù)的成熟和4G技術(shù)的發(fā)展，使用無線傳輸?shù)膽?yīng)用越來越多，隨著 無線帶寬的增大，視頻會議作為一種高帶寬的數(shù)據(jù)應(yīng)用，在無線傳輸領(lǐng)域逐漸得到應(yīng)用。但 是，即使是在4G網(wǎng)絡(luò)的條件下，有時在無線網(wǎng)絡(luò)中視頻會議的效果也會難以讓人滿意。由 于帶寬共享、信號覆蓋等問題，導致傳輸時常常出現(xiàn)帶寬不穩(wěn)定，誤碼率高等現(xiàn)象，最終導 致視頻會議的圖像出現(xiàn)卡頓，聲音斷續(xù)等影響使用的問題。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明鑒于上述情況而作出，其目的是提供一種無線視頻會議傳輸方法，能夠增 強無線環(huán)境下的視頻會議的穩(wěn)定性，提升用戶體驗。
[0004] 本發(fā)明提供一種無線視頻會議傳輸方法，包括步驟：
[0005] 步驟S1，會議數(shù)據(jù)發(fā)送端采集音頻視頻數(shù)據(jù)，并進行編碼產(chǎn)生音頻碼流和視頻碼 流。
[0006] 步驟S2,將音頻碼流和/或視頻碼流按特定格式封裝為數(shù)據(jù)包并發(fā)送至接收端。
[0007] 步驟S3,接收端接收音頻碼流和/或視頻碼流，并按所述特定述格式解碼并進行 處理，并根據(jù)處理結(jié)果向所述發(fā)送端發(fā)送應(yīng)答。
[0008] 步驟S4,發(fā)送端根據(jù)所述應(yīng)答進行數(shù)據(jù)重發(fā)，丟棄，編碼碼率控制中的至少一種操 作。
[0009] 其中，所述特定格式包括：
[0010] 類型，說明封裝的數(shù)據(jù)包的類型，具體包括：
[0011] CTRL，說明該數(shù)據(jù)包是視頻會議的控制命令，用于控制開始傳輸及結(jié)束傳輸；
[0012] Audio,說明該數(shù)據(jù)包是音頻編碼數(shù)據(jù)；
[0013] I_FRAME，說明該數(shù)據(jù)包是視頻編碼產(chǎn)生的關(guān)鍵幀數(shù)據(jù)；
[0014] P_FRAME，說明該數(shù)據(jù)包是視頻編碼產(chǎn)生的P幀數(shù)據(jù)；
[0015] B_FRAME，說明該數(shù)據(jù)包是視頻編碼產(chǎn)生的B幀數(shù)據(jù)；
[0016] ACK，說明該數(shù)據(jù)包是接收端的應(yīng)答數(shù)據(jù)；
[0017] ACK2，說明該數(shù)據(jù)包是發(fā)送端對應(yīng)答的回應(yīng)。
[0018] 序列號，數(shù)據(jù)包的編號，序列號為4字節(jié)序列號數(shù)據(jù)，當所述類型為Audio, 1_ FRAME，P_FRAME，B_FRAME時，數(shù)據(jù)包中包含所述序列號。
[0019] 數(shù)據(jù)，數(shù)據(jù)包中的實際數(shù)據(jù)。
[0020] 當類型為Audio, I_FRAME，P_FRAME，B_FRAME時，所述數(shù)據(jù)為會議的音視頻數(shù)據(jù)。
[0021] 當所述類型為ACK時，所述數(shù)據(jù)包括：
[0022] [隨機序列號][開始序列號][結(jié)束序列號][丟失序列號]，
[0023] 其中，隨機序列號為接收端產(chǎn)生的用于標識ACK的序列號，丟失序列號為32位整 數(shù)，當丟失序列號最高位為〇時，表示該序列號的數(shù)據(jù)包丟失，當丟失序列號最高位為1時， 表示從該序列號起，到下一個序列號的所有數(shù)據(jù)包都已丟失。
[0024] 當所述類型為ACK2時，所述數(shù)據(jù)包括：
[0025] [隨機序列號][開始序列號][結(jié)束序列號][省略序列號]，
[0026] 其中，隨機序列號為ACK中的序列號，序列號為省略序列號的數(shù)據(jù)包在即將重發(fā) 的過程中將不再重發(fā)，同時接收端將不再等待丟失的數(shù)據(jù)包。
[0027] 進一步地，步驟S3中，所述進行處理，并根據(jù)處理結(jié)果向所述發(fā)送端發(fā)送應(yīng)答包 括：接收端根據(jù)收到的數(shù)據(jù)包的序列號判斷當前傳輸中丟失的數(shù)據(jù)包的情況，并反饋給發(fā) 送端。
[0028] 進一步地，步驟S4中，所述發(fā)送端根據(jù)所述應(yīng)答進行數(shù)據(jù)重發(fā)，丟棄，編碼碼率控 制中的至少一種操作包括：
[0029] 發(fā)送端根據(jù)音頻優(yōu)先，關(guān)鍵幀優(yōu)先或P幀優(yōu)先原則，對丟失的數(shù)據(jù)包進行選擇性 重發(fā)；
[0030] 并根據(jù)當前發(fā)送的數(shù)據(jù)的丟失比例計算當前的發(fā)送帶寬，對編碼器進行碼率控 制。
[0031] 進一步地，所述對丟失的數(shù)據(jù)包進行選擇性重發(fā)包括：
[0032] 當丟包長度小于第一閥值時，重發(fā)所有丟失的數(shù)據(jù)包；
[0033] 當丟包長度在第一閥值和第二閥值之間時，不再重發(fā)所有類型為B_FRAME的數(shù)據(jù) 包；
[0034] 當丟包長度在第二閥值和第三閥值之間時，不再重發(fā)所有類型為B_FRAME或者P_ FRAME的數(shù)據(jù)包，直到下一個類型為I_FRAME的數(shù)據(jù)包；
[0035] 當丟包長度不小于第三閥值時，不再重發(fā)所有類型為B_FRAME或者P_FRAME的數(shù) 據(jù)包，直到下一個類型為I_FRAME的數(shù)據(jù)包。
[0036] 本發(fā)明的有益效果，能夠增強無線環(huán)境下的視頻會議的穩(wěn)定性，提升用戶體驗。

【專利附圖】

【附圖說明】
[0037] 圖1是本發(fā)明的一種無線視頻會議傳輸方法的處理流程示意圖；
[0038] 圖2是本發(fā)明的發(fā)送端的處理流程示意圖；
[0039] 圖3是本發(fā)明的接收端的處理流程示意圖。

【具體實施方式】
[0040] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明了，下面結(jié)合【具體實施方式】并參 照附圖，對本發(fā)明進一步詳細說明。應(yīng)該理解，這些描述只是示例性的，而并非要限制本發(fā) 明的范圍。此外，在以下說明中，省略了對公知結(jié)構(gòu)和技術(shù)的描述，以避免不必要地混淆本 發(fā)明的概念。
[0041] 如圖1所示，一種無線視頻會議傳輸方法，包括步驟：
[0042] 步驟S1，會議數(shù)據(jù)發(fā)送端采集音頻視頻數(shù)據(jù)，并進行編碼產(chǎn)生音頻碼流和視頻碼 流。
[0043] 步驟S2,將音頻碼流和/或視頻碼流按特定格式封裝為數(shù)據(jù)包并發(fā)送至接收端。
[0044] 步驟S3,接收端接收音頻碼流和/或視頻碼流，并按所述特定述格式解碼并進行 處理，并根據(jù)處理結(jié)果向所述發(fā)送端發(fā)送應(yīng)答。
[0045] 步驟S4,發(fā)送端根據(jù)所述應(yīng)答進行數(shù)據(jù)重發(fā)，丟棄，編碼碼率控制中的至少一種操 作。
[0046] 其中，所述特定格式包括：
[0047] 類型，說明封裝的數(shù)據(jù)包的類型，具體包括：
[0048] CTRL，說明該數(shù)據(jù)包是視頻會議的控制命令，用于控制開始傳輸及結(jié)束傳輸；
[0049] AUDIO,說明該數(shù)據(jù)包是音頻編碼數(shù)據(jù)；
[0050] I_FRAME，說明該數(shù)據(jù)包是視頻編碼產(chǎn)生的關(guān)鍵幀數(shù)據(jù)；
[0051] P_FRAME，說明該數(shù)據(jù)包是視頻編碼產(chǎn)生的P幀數(shù)據(jù)；
[0052] B_FRAME，說明該數(shù)據(jù)包是視頻編碼產(chǎn)生的B幀數(shù)據(jù)；
[0053] ACK，說明該數(shù)據(jù)包是接收端的應(yīng)答數(shù)據(jù)；
[0054] ACK2，說明該數(shù)據(jù)包是發(fā)送端對應(yīng)答的回應(yīng)。
[0055] 序列號，數(shù)據(jù)包的編號，序列號為4字節(jié)序列號數(shù)據(jù)，當所述類型為Audio, 1_ FRAME，P_FRAME，B_FRAME時，數(shù)據(jù)包中包含所述序列號。
[0056] 數(shù)據(jù)，數(shù)據(jù)包中的實際數(shù)據(jù)。
[0057] 當類型為Audio, I_FRAME，P_FRAME，B_FRAME時，所述數(shù)據(jù)為會議的音視頻數(shù)據(jù)。
[0058] 當所述類型為ACK時，所述數(shù)據(jù)包括：
[0059][隨機序列號][開始序列號][結(jié)束序列號][丟失序列號]，
[0060] 其中，隨機序列號為接收端產(chǎn)生的用于標識ACK的序列號，丟失序列號為32位整 數(shù)，當丟失序列號最高位為〇時，表示該序列號的數(shù)據(jù)包丟失，當丟失序列號最高位為1時， 表示從該序列號起，到下一個序列號的所有數(shù)據(jù)包都已丟失。
[0061] 當所述類型為ACK2時，所述數(shù)據(jù)包括：
[0062] [隨機序列號][開始序列號][結(jié)束序列號][省略序列號]，
[0063] 其中，隨機序列號為ACK中的序列號，序列號為省略序列號的數(shù)據(jù)包在即將重發(fā) 的過程中將不再重發(fā)，同時接收端將不再等待丟失的數(shù)據(jù)包。
[0064] 進一步地，步驟S3中，所述進行處理，并根據(jù)處理結(jié)果向所述發(fā)送端發(fā)送應(yīng)答包 括：接收端根據(jù)收到的數(shù)據(jù)包的序列號判斷當前傳輸中丟失的數(shù)據(jù)包的情況，并反饋給發(fā) 送端。
[0065] 進一步地，步驟S4中，所述發(fā)送端根據(jù)所述應(yīng)答進行數(shù)據(jù)重發(fā)，丟棄，編碼碼率控 制中的至少一種操作包括：
[0066] 發(fā)送端根據(jù)音頻優(yōu)先，關(guān)鍵幀優(yōu)先或P幀優(yōu)先原則，對丟失的數(shù)據(jù)包進行選擇性 重發(fā)；
[0067] 并根據(jù)當前發(fā)送的數(shù)據(jù)的丟失比例計算當前的發(fā)送帶寬，對編碼器進行碼率控 制。
[0068] 進一步地，所述對丟失的數(shù)據(jù)包進行選擇性重發(fā)包括：
[0069] 當丟包長度小于第一閥值時，重發(fā)所有丟失的數(shù)據(jù)包；
[0070] 當丟包長度在第一閥值和第二閥值之間時，不再重發(fā)所有類型為B_FRAME的數(shù)據(jù) 包；
[0071] 當丟包長度在第二閥值和第三閥值之間時，不再重發(fā)所有類型為B_FRAME或者P_ FRAME的數(shù)據(jù)包，直到下一個類型為I_FRAME的數(shù)據(jù)包；
[0072] 當丟包長度不小于第三閥值時，不再重發(fā)所有類型為B_FRAME或者P_FRAME的數(shù) 據(jù)包，直到下一個類型為I_FRAME的數(shù)據(jù)包。
[0073] 實施例 [0074] 硬件包括：
[0075] 嵌入式開發(fā)板一塊（例如海思3512芯片，具有視頻編解碼能力），PC機一臺，2G以 上主頻，2048M以上內(nèi)存，10G以上硬盤空間，無線通信模塊1個，寬帶接入口一個。嵌入式 開發(fā)板連接無線通信模塊，并編譯安裝本發(fā)明所述發(fā)送端軟件；PC機接入寬帶，并安裝本 發(fā)明所述的接收端軟件。
[0076] 具體操作過程：
[0077] 1.啟動PC機，并使接收軟件正常運行。
[0078] 2.啟動嵌入式開發(fā)板，并使無線模塊正常工作，通過撥號程序使無線模塊連接互 聯(lián)網(wǎng)，使嵌入式開發(fā)板能與接收PC正常通信。
[0079] 3.啟動開發(fā)板上發(fā)送端軟件使其和PC上的接收端軟件建立連接。
[0080] 4.啟動開發(fā)板上發(fā)送端程序的音頻視頻編碼。
[0081] 5. PC接收端軟件接收到碼流并解碼播放。
[0082] 其中，發(fā)送端的處理流程包括：
[0083] 201，開始。
[0084] 202,連接接收端。
[0085] 203,判斷連接是否成功，如果不成功，轉(zhuǎn)至213,否則轉(zhuǎn)至204。
[0086] 204,獲取發(fā)送隊列數(shù)據(jù)。
[0087] 205,判斷獲取是否成功，如果不成功轉(zhuǎn)至208,否則轉(zhuǎn)至206。
[0088] 206,數(shù)據(jù)封包。
[0089] 207,發(fā)送。
[0090] 208,接收控制包。
[0091] 209,判斷控制包是ACK還是CTRL，如果是CTRL轉(zhuǎn)至212,如果是ACK轉(zhuǎn)至210。
[0092] 210,計算重傳包加入隊列，計算是否需要丟棄數(shù)據(jù)包，計算當前碼率，控制編碼 器。
[0093] 211，回應(yīng) ACK2 包，并轉(zhuǎn)至 204。
[0094] 212,結(jié)束控制。
[0095] 213,結(jié)束。
[0096] 接收端的處理流程包括：
[0097] 301，開始。
[0098] 302,啟動監(jiān)聽。
[0099] 303,等待連接，如果用戶結(jié)束則轉(zhuǎn)至312,如果收到請求則轉(zhuǎn)至304。
[0100] 304,連接發(fā)送端。
[0101] 305,接收數(shù)據(jù)包。
[0102] 306,統(tǒng)計定時器超時，如果未超時，轉(zhuǎn)至311，如果超時轉(zhuǎn)至307。
[0103] 307,統(tǒng)計丟包。
[0104] 308,發(fā)送 ACK。
[0105] 309,接收 ACK2。
[0106] 310,判斷是否收到ACK2,如果重試超時，轉(zhuǎn)至312,如果接收超時，轉(zhuǎn)至308,如果 收到，轉(zhuǎn)至311。
[0107] 311，數(shù)據(jù)包送解碼器播放。
[0108] 312,結(jié)束。
[0109] 其中，發(fā)送端的重發(fā)丟包及碼率控制策略具體包括：
[0110] (1)根據(jù)單位時間內(nèi)發(fā)送的數(shù)據(jù)包長度S和單位時間內(nèi)接收到的ACK包計算得到 丟失包長度R，計算丟包F = 100 X R/S，設(shè)定的編碼數(shù)量為K ;
[0111] (2)設(shè)置閥值 MO, Ml, M2, M3, 0<M0<M1<M2<M3<100
[0112] (3)當R〈M0時，重發(fā)所有丟失數(shù)據(jù)包，設(shè)置編碼碼率為K。
[0113] 當M0〈 = R〈M1時，丟棄B_FRAME數(shù)據(jù)；設(shè)置編碼碼率為（100-M1)K/100。
[0114] 當Ml〈 = R〈M2時，丟棄B_FRAME，P_FRAME至到下一個I_FRAME ;設(shè)置編碼碼率為 (100-M2)K/100。
[0115] 當R> = M2時，丟棄B_FRAME、P_FRAME至下一個I_FRAME ;設(shè)置編碼速率為 (100-M3)K/100。
[0116] 應(yīng)當理解的是，本發(fā)明的上述【具體實施方式】僅僅用于示例性說明或解釋本發(fā)明的 原理，而不構(gòu)成對本發(fā)明的限制。因此，在不偏離本發(fā)明的精神和范圍的情況下所做的任何 修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。此外，本發(fā)明所附權(quán)利要求旨 在涵蓋落入所附權(quán)利要求范圍和邊界、或者這種范圍和邊界的等同形式內(nèi)的全部變化和修 改例。
【權(quán)利要求】
1. 一種無線視頻會議傳輸方法，其特征在于，包括步驟： 步驟S1，會議數(shù)據(jù)發(fā)送端采集音頻視頻數(shù)據(jù)，并進行編碼產(chǎn)生音頻碼流和視頻碼流； 步驟S2,將音頻碼流和/或視頻碼流按特定格式封裝為數(shù)據(jù)包并發(fā)送至接收端； 步驟S3,接收端接收音頻碼流和/或視頻碼流，并按所述特定述格式解碼并進行處理， 并根據(jù)處理結(jié)果向所述發(fā)送端發(fā)送應(yīng)答； 步驟S4,發(fā)送端根據(jù)所述應(yīng)答進行數(shù)據(jù)重發(fā)，丟棄，編碼碼率控制中的至少一種操作； 其中，所述特定格式包括： 類型，說明封裝的數(shù)據(jù)包的類型； 序列號，數(shù)據(jù)包的編號； 數(shù)據(jù)，數(shù)據(jù)包中的實際數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述特定格式的類型包括： CTRL，說明該數(shù)據(jù)包是視頻會議的控制命令，用于控制開始傳輸及結(jié)束傳輸； Audio,說明該數(shù)據(jù)包是音頻編碼數(shù)據(jù)； I_FRAME，說明該數(shù)據(jù)包是視頻編碼產(chǎn)生的關(guān)鍵幀數(shù)據(jù)； P_FRAME，說明該數(shù)據(jù)包是視頻編碼產(chǎn)生的P幀數(shù)據(jù)； B_FRAME，說明該數(shù)據(jù)包是視頻編碼產(chǎn)生的B幀數(shù)據(jù)； ACK，說明該數(shù)據(jù)包是接收端的應(yīng)答數(shù)據(jù)； ACK2，說明該數(shù)據(jù)包是發(fā)送端對應(yīng)答的回應(yīng)。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述序列號為4字節(jié)序列號數(shù)據(jù)，當所述 類型為Audio, I_FRAME，P_FRAME，B_FRAME時，數(shù)據(jù)包中包含所述序列號。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述數(shù)據(jù)為數(shù)據(jù)包中攜帶的數(shù)據(jù)，當類型 為Audio, I_FRAME，P_FRAME，B_FRAME時，所述數(shù)據(jù)為會議的音視頻數(shù)據(jù)。
5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，當所述類型為ACK時，所述數(shù)據(jù)包括： [隨機序列號][開始序列號][結(jié)束序列號][丟失序列號]， 其中，隨機序列號為接收端產(chǎn)生的用于標識ACK的序列號，丟失序列號為32位整數(shù)，當 丟失序列號最高位為〇時，表示該序列號的數(shù)據(jù)包丟失，當丟失序列號最高位為1時，表示 從該序列號起，到下一個序列號的所有數(shù)據(jù)包都已丟失。
6. 根據(jù)權(quán)利要求4所述的方法，其特征在于，當所述類型為ACK2時，所述數(shù)據(jù)包括： [隨機序列號][開始序列號][結(jié)束序列號][省略序列號]， 其中，隨機序列號為ACK中的序列號，序列號為省略序列號的數(shù)據(jù)包在即將重發(fā)的過 程中將不再重發(fā)，同時接收端將不再等待丟失的數(shù)據(jù)包。
7. 根據(jù)權(quán)利要求1至6任意一項所述的方法，其特征在于，步驟S3中，所述進行處理， 并根據(jù)處理結(jié)果向所述發(fā)送端發(fā)送應(yīng)答包括：接收端根據(jù)收到的數(shù)據(jù)包的序列號判斷當前 傳輸中丟失的數(shù)據(jù)包的情況，并反饋給發(fā)送端。
8. 根據(jù)權(quán)利要求1至6任意一項所述的方法，其特征在于，步驟S4中，所述發(fā)送端根據(jù) 所述應(yīng)答進行數(shù)據(jù)重發(fā)，丟棄，編碼碼率控制中的至少一種操作包括： 發(fā)送端根據(jù)音頻優(yōu)先，關(guān)鍵幀優(yōu)先或P幀優(yōu)先原則，對丟失的數(shù)據(jù)包進行選擇性重發(fā)； 并根據(jù)當前發(fā)送的數(shù)據(jù)的丟失比例計算當前的發(fā)送帶寬，對編碼器進行碼率控制。
9. 根據(jù)權(quán)利要求8所述的方法，其特征在于，所述對丟失的數(shù)據(jù)包進行選擇性重發(fā)包 括： 當丟包長度小于第一閥值時，重發(fā)所有丟失的數(shù)據(jù)包； 當丟包長度在第一閥值和第二閥值之間時，不再重發(fā)所有類型為B_FRAME的數(shù)據(jù)包； 當丟包長度在第二閥值和第三閥值之間時，不再重發(fā)所有類型SB_FRAME或者P_ FRAME的數(shù)據(jù)包，直到下一個類型為I_FRAME的數(shù)據(jù)包； 當丟包長度不小于第三閥值時，不再重發(fā)所有類型為B_FRAME或者P_FRAME的數(shù)據(jù)包， 直到下一個類型為I_FRAME的數(shù)據(jù)包。
【文檔編號】H04N7/15GK104113722SQ201410277369
【公開日】2014年10月22日 申請日期:2014年6月19日 優(yōu)先權(quán)日:2014年6月19日
【發(fā)明者】彭濤, 張銘, 趙安, 王進東, 沈弘, 趙麗萍 申請人:南京熊貓電子股份有限公司, 南京熊貓通信科技有限公司