專利名稱：一種視頻信號(hào)和音頻信號(hào)的傳輸合成方法、系統(tǒng)及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種視頻信號(hào)和音頻信號(hào)的傳輸合成方法、系統(tǒng)及裝置。
背景技術(shù)：
用戶之間在通過不同的終端分別傳輸音頻信號(hào)和視頻信號(hào)時(shí)，例如通過視頻電話的形式獲取視頻信號(hào)時(shí)，可以通過即時(shí)通訊客戶端進(jìn)行視頻聊天，但是由于網(wǎng)絡(luò)帶寬資源有限，并且受傳輸?shù)臄?shù)據(jù)包數(shù)量的影響，會(huì)出現(xiàn)傳輸擁塞的問題，從而導(dǎo)致在通話的過程中會(huì)出現(xiàn)語音信號(hào)不連貫的問題，無法滿足音頻信號(hào)的高質(zhì)量要求。為了規(guī)避這種情況，在實(shí)際使用中，往往采用的是通過不同的終端和傳輸途徑來完成視頻和音頻的交互，比如視頻采用阿里旺旺進(jìn)行交互，音頻使用IP電話進(jìn)行交互。但 由于視頻和音頻來自不同的終端和途徑，用戶如何將保存接收到視頻和音頻信號(hào)保存到同一個(gè)文件中，成為了一個(gè)難以克服的技術(shù)問題。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明實(shí)施例提供一種視頻信號(hào)和音頻信號(hào)的傳輸合成方法、系統(tǒng)及裝置，用以解決現(xiàn)有來自不同終端的視頻信號(hào)和音頻信號(hào)難以保存在同一文件中的問題。本發(fā)明實(shí)施例提供的一種視頻信號(hào)和音頻信號(hào)的傳輸合并方法，包括接收遠(yuǎn)端用戶通過第一終端發(fā)送的第一音頻信號(hào)，及通過第二終端發(fā)送的第一視頻信號(hào)；將生成的同步信號(hào)添加到該接收到的第一音頻信號(hào)和第一視頻信號(hào)中；根據(jù)第一音頻信號(hào)和第一視頻信號(hào)中添加的同步信號(hào)，將第一音頻信號(hào)和第一視頻信號(hào)合并。本發(fā)明實(shí)施例提供的一種視頻信號(hào)和音頻信號(hào)的傳輸合并裝置，包括接收模塊，用于接收遠(yuǎn)端用戶通過第一終端發(fā)送的第一音頻信號(hào)，及通過第二終端發(fā)送的第一視頻信號(hào)；添加模塊，用于將生成的同步信號(hào)添加到該接收到的第一音頻信號(hào)和第一視頻信號(hào)中；合并模塊，用于根據(jù)第一音頻信號(hào)和第一視頻信號(hào)中添加的同步信號(hào)，將第一音頻信號(hào)和第一視頻信號(hào)合并。發(fā)明實(shí)施例提供的一種視頻信號(hào)和音頻信號(hào)的傳輸合并系統(tǒng)，包括上述的視頻信號(hào)和音頻信號(hào)的傳輸合并裝置，及向所述裝置發(fā)送遠(yuǎn)端用戶的第一音頻信號(hào)的第一終端，及向所述裝置發(fā)送第一視頻信號(hào)的第二終端。本發(fā)明實(shí)施例提供了一種視頻信號(hào)和音頻信號(hào)的傳輸合并方法、系統(tǒng)及裝置，該方法通過對(duì)接收到的遠(yuǎn)端用戶通過不同終端發(fā)送的視頻信號(hào)和音頻信號(hào)中添加同步信號(hào)，并在合并時(shí)根據(jù)該同步信號(hào)對(duì)音頻信號(hào)和視頻信號(hào)進(jìn)行合并，從而可以保證在同一時(shí)刻接收到的視頻信號(hào)和音頻信號(hào)具有相同的同步信號(hào)，在進(jìn)行合并時(shí)，可以根據(jù)該同步信號(hào)對(duì)視頻信號(hào)和音頻信號(hào)進(jìn)行合并，保證后續(xù)合并后的視音頻文件中視頻信號(hào)和音頻信號(hào)的同步性，從而滿足用戶的使用。


圖I為本申請(qǐng)實(shí)施例提供的視頻信號(hào)和音頻信號(hào)的傳輸合并過程；圖2A為本申請(qǐng)實(shí)施例提供的將遠(yuǎn)端用戶及本地用戶的音頻信號(hào)和視頻信號(hào)合并生成視音頻文件的過程；圖2B為本申請(qǐng)實(shí)施例提供的將遠(yuǎn)端用戶及本地用戶的音頻信號(hào)和視頻信號(hào)合并生成視音頻文件的過程；圖3為本申請(qǐng)實(shí)施例提供的一種視頻信號(hào)和音頻信號(hào)的傳輸合并裝置結(jié)構(gòu)示意圖；圖4為本申請(qǐng)實(shí)施例提供的一種視頻信號(hào)和音頻信號(hào)的傳輸合并系統(tǒng)結(jié)構(gòu)示意圖。
具體實(shí)施例方式本申請(qǐng)實(shí)施例為了保證合并的視頻信號(hào)和音頻信號(hào)的同步性，提供了一種視頻信號(hào)和音頻信號(hào)的傳輸合并方法、系統(tǒng)及裝置，該方法通過對(duì)接收到的遠(yuǎn)端用戶通過不同終端發(fā)送的視頻信號(hào)和音頻信號(hào)增加同步信號(hào)，即對(duì)同時(shí)接收到的視頻信號(hào)和音頻信號(hào)中添加相應(yīng)的同步信號(hào)，在視頻信號(hào)和音頻信號(hào)合并時(shí)，根據(jù)該相應(yīng)的同步信號(hào)進(jìn)行合并，從而保證合并的視頻文件和音頻文件的同步性，在后續(xù)使用該合并后的視音頻文件時(shí)，可以滿足用戶的需求。下面結(jié)合說明書附圖，對(duì)本申請(qǐng)實(shí)施例進(jìn)行詳細(xì)說明。圖I為本申請(qǐng)實(shí)施例提供的視頻信號(hào)和音頻信號(hào)的傳輸合并過程，該過程包括以下步驟SlOl :接收遠(yuǎn)端用戶通過第一終端發(fā)送的第一音頻信號(hào)，及通過第二終端發(fā)送的第一視頻信號(hào)。其中，該第一終端可以為移動(dòng)終端或固定電話，該第二終端可以為具有視頻信號(hào)采集及發(fā)送功能的終端。或者該視頻信號(hào)的采集通過攝像頭實(shí)現(xiàn)，該第二終端將攝像頭采集的遠(yuǎn)端用戶的視頻信息發(fā)送到本地用戶所在的終端。S102:將生成的同步信號(hào)添加到該接收到的第一音頻信號(hào)和第一視頻信號(hào)中。在本申請(qǐng)實(shí)施例中該同步信號(hào)按照設(shè)定的周期生成，并且進(jìn)一步為了后續(xù)音頻信號(hào)和視頻信號(hào)合并的方便，可以按照同步時(shí)信號(hào)生成的時(shí)間順序，確定每個(gè)同步信號(hào)的序號(hào)，每個(gè)同步信號(hào)賦予一個(gè)序號(hào)，每個(gè)同步信號(hào)的序號(hào)是按照時(shí)間順序遞增的，每個(gè)生成的同步信號(hào)添加到該同步信號(hào)生成時(shí)刻接收到第一音頻信號(hào)和第一視頻信號(hào)中。由于同步信號(hào)按照設(shè)定的時(shí)間間隔生成，而遠(yuǎn)端用戶發(fā)送的視頻信號(hào)和音頻信號(hào)也具有一定的周期性，當(dāng)每生成了一個(gè)同步信號(hào)后，并在該時(shí)刻接收到的遠(yuǎn)端用戶發(fā)送的視頻信號(hào)和音頻信號(hào)后，將該同步信號(hào)添加到該視頻信號(hào)和該音頻信號(hào)中，以標(biāo)識(shí)接收到的視頻信號(hào)和音頻信號(hào)的同步性?！?br> 具體的在本申請(qǐng)中可以將該終端的時(shí)鐘信號(hào)作為同步信號(hào)，以該終端中央處理器(CPU)的時(shí)鐘周期為單位，周期性的生成同步信號(hào)。具體的可以以某一時(shí)鐘周期為起點(diǎn)，以CPU的時(shí)鐘周期為單位進(jìn)行累加，并將累加后的時(shí)鐘周期轉(zhuǎn)化為納秒，作為同步信號(hào)，該同步信號(hào)可以轉(zhuǎn)化為納秒作為視頻信號(hào)和音頻信號(hào)的時(shí)間戳。S103 :根據(jù)第一音頻信號(hào)和第一視頻信號(hào)中添加的同步信號(hào)，將第一音頻信號(hào)和第一視頻信號(hào)合并。由于在本申請(qǐng)實(shí)施例中對(duì)接收到的遠(yuǎn)端用戶發(fā)送的視頻信號(hào)和音頻信號(hào)中，根據(jù)接收到的視頻信號(hào)和音頻信號(hào)的時(shí)間順序添加了對(duì)應(yīng)的同步信號(hào)，因此將視頻信號(hào)和音頻信號(hào)進(jìn)行合并時(shí)，可以根據(jù)添加了同步信號(hào)后的視頻信號(hào)和音頻信號(hào)進(jìn)行相應(yīng)的合并操作即可。當(dāng)未賦予視頻信號(hào)和音頻信號(hào)中添加的同步信號(hào)的序號(hào)時(shí)，根據(jù)接收到的視頻信號(hào)和音頻信號(hào)中添加的同步信號(hào)，依次根據(jù)同步信號(hào)，將視頻信號(hào)和音頻信號(hào)合并。當(dāng)賦予了添加到視頻信號(hào)和音頻信號(hào)中的同步信號(hào)的序號(hào)時(shí)，識(shí)別同步信號(hào)的序號(hào)，將相同序號(hào)的視頻信號(hào)和音頻信號(hào)合并。 具體的在將同步信號(hào)添加到視頻信號(hào)和音頻信號(hào)中時(shí)，由于視頻信號(hào)和音頻信號(hào)都是以數(shù)據(jù)幀為單位的，當(dāng)接收到視頻信號(hào)和音頻信號(hào)時(shí)，在每個(gè)視頻信號(hào)和音頻信號(hào)對(duì)應(yīng)的數(shù)據(jù)幀的幀頭或者幀尾添加該同步信號(hào)，但要保證視頻信號(hào)和音頻信號(hào)添加同步信號(hào)的位置相同，都同為幀頭或同為幀尾。在本申請(qǐng)實(shí)施例中，當(dāng)本地用戶與遠(yuǎn)端用戶進(jìn)行視頻和語音通信時(shí)，遠(yuǎn)端用戶采用兩個(gè)終端向本地用戶發(fā)送音頻信號(hào)和視頻信號(hào)。具體的，遠(yuǎn)端用戶采用第一終端向本地用戶所在的終端發(fā)送音頻信號(hào)，通過第二終端向本地用戶所在的終端發(fā)送視頻信號(hào)。該第一終端可以為移動(dòng)終端或者固定電話，該第二終端可以為具有視頻信號(hào)采集及發(fā)送功能的終端，例如該第二終端可以為安裝有阿里旺旺客戶端的終端，并且該終端可以通過攝像頭采集視頻信息，但在本申請(qǐng)實(shí)施例中只利用該客戶端對(duì)視頻信號(hào)進(jìn)行處理的能力。而本地用戶所在的終端可以接收遠(yuǎn)端用戶通過第一終端發(fā)送的音頻信號(hào)以及通過第二終端發(fā)送的視頻信號(hào)。為了實(shí)現(xiàn)本地用戶所在的終端可以接收音頻信號(hào)，在該本地用戶所在的終端上可以安裝有對(duì)音頻信號(hào)進(jìn)行接收及發(fā)送的音頻通信客戶端，例如該客戶端可以為具有基于IP的語音通信(Voice-over-Internet-Protocol, V0IP)功能的音頻通信客戶端，為了實(shí)現(xiàn)本地用戶所在的終端可以接收視頻信號(hào)，在該本地用戶所在的客戶端上可以安裝進(jìn)行視頻通信的客戶端，例如阿里旺旺客戶端等，但在本申請(qǐng)實(shí)施例中只利用該客戶端對(duì)視頻信號(hào)進(jìn)行處理的能力。具體的當(dāng)該遠(yuǎn)端用戶通過第一終端，例如固定電話，與本地用戶所在的終端進(jìn)行音頻通信時(shí)，該遠(yuǎn)端用戶通過第一終端發(fā)送音頻信號(hào)。當(dāng)該第一終端接收到該音頻信號(hào)后，將該音頻信號(hào)發(fā)送到公共交換電話網(wǎng)絡(luò)(Public Switched Telephone Network,PSTN),通過PSTN將該音頻信號(hào)發(fā)送到語音網(wǎng)關(guān)。由于該本地用戶所在的終端本身具有VOIP功能，因此遠(yuǎn)端用戶的音頻信號(hào)在經(jīng)過語音網(wǎng)關(guān)后被發(fā)送到IP網(wǎng)絡(luò)，通過IP網(wǎng)絡(luò)發(fā)送到本地用戶所在的終端。為了防止IP網(wǎng)絡(luò)不穩(wěn)定，傳輸?shù)奖镜赜脩羲诘慕K端的音頻信號(hào)的數(shù)據(jù)包發(fā)生抖動(dòng)，在本發(fā)明實(shí)施例中當(dāng)音頻信號(hào)的數(shù)據(jù)包傳輸?shù)奖镜赜脩羲诘慕K端后，將該音頻信號(hào)的數(shù)據(jù)包緩存，緩存一定的時(shí)間長度后，提取緩存后的音頻信號(hào)的數(shù)據(jù)包。
為了防止音頻信號(hào)的數(shù)據(jù)包因?yàn)閬G包而產(chǎn)生的音頻流的不連續(xù)，在本申請(qǐng)實(shí)施例中，將第一音頻信號(hào)和第一視頻信號(hào)合并之前，當(dāng)本地用戶所在的終端檢測(cè)到接收到的音頻信號(hào)中存在被丟棄的數(shù)據(jù)包時(shí)，采用包含靜音信號(hào)的數(shù)據(jù)包代替該被丟棄的數(shù)據(jù)包。由于本申請(qǐng)實(shí)施例中本地用戶所在的終端根據(jù)接收到的音頻信號(hào)，考慮了該音頻信號(hào)的時(shí)延不同，及網(wǎng)絡(luò)的抖動(dòng)情況，即使當(dāng)前向本地用戶播放的音頻流不連續(xù)，但是采用了上述音頻信號(hào)緩存、以及采用包含靜音信號(hào)的數(shù)據(jù)包代替被丟棄的數(shù)據(jù)包，之后再將經(jīng)過上述處理后的音頻信號(hào)與視頻信號(hào)進(jìn)行合并，從而可以有效的防止網(wǎng)絡(luò)的抖動(dòng)，以及音頻流的不連續(xù)的問題。本地用戶所在的終端接收到遠(yuǎn)端用戶通過第二終端發(fā)送的視頻信號(hào)后，根據(jù)生成的同步信號(hào)，將該同步信號(hào)添加到該視頻信號(hào)中。較佳的，為了保證后續(xù)視頻信號(hào)和音頻信 號(hào)合并的準(zhǔn)確性，該視頻信號(hào)在發(fā)送時(shí)是以幀為單位發(fā)送的，并且每幀視頻信號(hào)應(yīng)能保證添加有相應(yīng)的同步信號(hào)。另外，在本申請(qǐng)實(shí)施例中為了完整的記錄本地用戶與遠(yuǎn)端用戶的視頻與音頻信號(hào)的交互過程，此時(shí)將遠(yuǎn)端用戶的視頻信號(hào)作為第一視頻信號(hào)，其音頻信號(hào)作為第一音頻信號(hào)，將本地用戶的視頻信號(hào)作為第二視頻信號(hào)，其音頻信號(hào)作為第二音頻信號(hào)，該生成完整的合并后的視音頻文件的過程包括接收本地用戶的第二音頻信號(hào)及第二視頻信號(hào)；將生成的同步信號(hào)添加該接收到的第二音頻信號(hào)和第二視頻信號(hào)中；根據(jù)第一音頻信號(hào)和第二音頻信號(hào)中添加的同步信號(hào)，將接收到的第一音頻信號(hào)與第二音頻信號(hào)合并得到合并后的音頻信號(hào)，并根據(jù)第一視頻信號(hào)和第二視頻信號(hào)中添加的同步信號(hào)并保留該同步信號(hào)，將接收到的第一視頻信號(hào)和第二視頻信號(hào)合并得到合并后的視頻信號(hào)并保留該同步信號(hào)；根據(jù)合并后的音頻信號(hào)及視頻信號(hào)中保留的同步信號(hào)，將合并后的音頻信號(hào)和視頻信號(hào)合并。圖2A為本申請(qǐng)實(shí)施例提供的視頻信號(hào)和音頻信號(hào)的詳細(xì)傳輸合并過程，該過程包括以下步驟S201 :接收遠(yuǎn)端用戶通過第一終端發(fā)送的第一音頻信號(hào)，及通過第二終端發(fā)送的第一視頻信號(hào)。S202 :將生成的同步信號(hào)添加到第一音頻信號(hào)和第一視頻信號(hào)中。S203 :接收本地用戶的第二音頻信號(hào)及第二視頻信號(hào)。S204 :將生成的同步信號(hào)添加到第二音頻信號(hào)和第二視頻信號(hào)中。S205 :根據(jù)第一音頻信號(hào)和第二音頻信號(hào)中添加的同步信號(hào)，將接收到的第一音頻信號(hào)與第二音頻信號(hào)合并得到合并后的音頻信號(hào)，并根據(jù)第一視頻信號(hào)和第二視頻信號(hào)中添加的同步信號(hào)并保留該同步信號(hào)，將接收到的第一視頻信號(hào)和第二視頻信號(hào)合并得到合并后的視頻信號(hào)并保留該同步信號(hào)。S206:根據(jù)合并后的音頻信號(hào)及視頻信號(hào)中保留的同步信號(hào)，將合并后的音頻信號(hào)和視頻信號(hào)合并。在上述實(shí)施例中步驟S201 S202與步驟S203 S204的步驟不分先后。另在，在本申請(qǐng)實(shí)施例中在對(duì)音頻信號(hào)和視頻信號(hào)進(jìn)行合并時(shí)，可以首先可以根據(jù)接收到的遠(yuǎn)端用戶的第一音頻信號(hào)和本地用戶的第二音頻信號(hào)，進(jìn)行音頻信號(hào)的合并。具體的接收到第一終端發(fā)送的第一音頻信號(hào)后，將當(dāng)前生成的同步信號(hào)添加到該第一音頻信號(hào)中，并確定該第一音頻信號(hào)中是否存在被丟棄的數(shù)據(jù)包，當(dāng)存在被丟棄的數(shù)據(jù)包時(shí)，采用包含靜音信號(hào)的數(shù)據(jù)包替代該被丟棄的數(shù)據(jù)包。并且當(dāng)接收到本地用戶輸入的第二音頻信號(hào)后，將當(dāng)前生成的同步信號(hào)添加到該第二音頻信號(hào)中。根據(jù)該第一音頻信號(hào)和第二音頻信號(hào)中添加的同步信號(hào)，對(duì)第一音頻信號(hào)和第二音頻信號(hào)進(jìn)行合并得到合并后的音頻信號(hào)，并且在進(jìn)行合并的過程中，將該同步信號(hào)保留到該合并后的音頻信號(hào)中，以便后續(xù)與合并后的視頻信號(hào)合并時(shí)使用。對(duì)于視頻信號(hào)的合并，當(dāng)接收到遠(yuǎn)端用戶通過第二終端發(fā)送的第一視頻信號(hào)時(shí)，根據(jù)當(dāng)前生成的同步信號(hào)，將該同步信號(hào)添加到該第一視頻信號(hào)中，并根據(jù)接收到的本地用戶發(fā)送的第二視頻信號(hào)，及當(dāng)前生成的同步信號(hào)，將該同步信號(hào)添加到該第二視頻信號(hào)中。根據(jù)添加了同步信號(hào)后的第一視頻信號(hào)和第二視頻信號(hào)，對(duì)第一視頻信號(hào)和第二視頻信號(hào)進(jìn)行合并，得到合并后的視頻信號(hào)，并且在該合并后的視頻信號(hào)中保留該同步信號(hào)。當(dāng)需要對(duì)視頻信號(hào)和音頻信號(hào)進(jìn)行合并時(shí)，則根據(jù)合并后的視頻信號(hào)和合并后的音頻信號(hào)中攜帶的同步信號(hào)，對(duì)合并后的視頻信號(hào)和合并后的音頻信號(hào)進(jìn)行合并，得到合并后的視音頻信號(hào)。 另外，在本申請(qǐng)實(shí)施例中，由于在本地用戶的第二視頻信號(hào)和第二音頻信號(hào)中也都添加了相應(yīng)的同步信號(hào)，可以根據(jù)該第二音頻信號(hào)和第二視頻信號(hào)中添加的同步信號(hào)，對(duì)第二視頻信號(hào)和第二音頻信號(hào)進(jìn)行合并得到第二視音頻信號(hào)，在該第二視音頻信號(hào)中保留該同步信號(hào)。并且根據(jù)添加了同步信號(hào)后的第一視頻信號(hào)和第一音頻，對(duì)該第一視頻信號(hào)和第一音頻信號(hào)進(jìn)行合并得到第一視音頻信號(hào)，并在該第一視音頻信號(hào)中保留該同步信號(hào)。之后根據(jù)該第一視音頻信號(hào)中保留的同步信號(hào)和第二視音頻信號(hào)中保留的同步信號(hào)，對(duì)該第一視音頻信號(hào)和第二視音頻信號(hào)進(jìn)行合并，得到合并后的視音頻信號(hào)也是可以的。根據(jù)在合并得到合并后的視音頻信號(hào)時(shí)，可以根據(jù)自身的需要，及每個(gè)信號(hào)中添加的同步信號(hào)進(jìn)行具體的實(shí)施。具體的本申請(qǐng)實(shí)施例中該同步信號(hào)的生成具有一定的周期性。較佳的本地用戶所在的終端在生成同步信號(hào)時(shí)，可以將該終端的時(shí)鐘信號(hào)作為同步信號(hào)，以該終端中央處理器(CPU)的時(shí)鐘周期為單位，周期性的生成同步信號(hào)。具體的可以以某一時(shí)鐘周期為起點(diǎn)，以CPU的時(shí)鐘周期為單位進(jìn)行累加，并將累加后的時(shí)鐘周期轉(zhuǎn)化為納秒，作為同步信號(hào)，該同步信號(hào)可以作為視頻信號(hào)和音頻信號(hào)的時(shí)間戳。并且在本申請(qǐng)實(shí)施例中，在進(jìn)行合并后的視頻信號(hào)和合并后的音頻信號(hào)的合并之前，也可以先將接收到的合并后的視頻信號(hào)和合并后的音頻信號(hào)分別錄制下來，根據(jù)錄制下來的視頻信號(hào)和音頻信號(hào)中保留的同步信號(hào)，對(duì)視頻信號(hào)和音頻信號(hào)進(jìn)行合并，或者也可以實(shí)時(shí)的對(duì)保留了同步信號(hào)后的視頻信號(hào)和音頻信號(hào)進(jìn)行合并，具體的實(shí)現(xiàn)方式可以根據(jù)需要靈活選擇。圖2B為本申請(qǐng)實(shí)施例提供的將遠(yuǎn)端用戶及本地用戶的音頻信號(hào)和視頻信號(hào)合并生成視音頻信號(hào)的過程。當(dāng)遠(yuǎn)端用戶通過固定電話向本地用戶所在的終端發(fā)送第一音頻信號(hào)時(shí)，該第一音頻信號(hào)通過PSTN設(shè)備被發(fā)送到語音網(wǎng)關(guān)，語音網(wǎng)關(guān)將該第一音頻信號(hào)轉(zhuǎn)化為音頻信號(hào)的IP數(shù)據(jù)包，并將該IP數(shù)據(jù)包發(fā)送到本地用戶所在的終端。當(dāng)本地用戶所在的終端接收到該第一音頻信號(hào)后，將根據(jù)自身的時(shí)鐘周期生成的同步信號(hào)添加到該第一音頻信號(hào)中。
并且本地用戶通過麥克風(fēng)向其所在的終端發(fā)送第二音頻信號(hào)，該終端接收到到該第二音頻信號(hào)后，將根據(jù)自身的時(shí)鐘周期生成的同步信號(hào)添加到該第二音頻信號(hào)中。本地用戶所在的終端根據(jù)添加了同步信號(hào)后的第一音頻信號(hào)，判斷該第一音頻信號(hào)中是否存在被丟棄的數(shù)據(jù)包，當(dāng)判斷該第一音頻信號(hào)中存在被丟棄的數(shù)據(jù)包時(shí)，采用包含靜音信號(hào)的數(shù)據(jù)包代替該被丟棄的數(shù)據(jù)包，對(duì)該第一音頻信號(hào)進(jìn)行補(bǔ)包處理。該本地用戶所在的終端根據(jù)補(bǔ)包處理后的第一音頻信號(hào)和第二音頻信號(hào)中添加的同步信號(hào)，將該第一音頻信號(hào)和第二音頻信號(hào)合并得到合并后的音頻信號(hào)，并在該合并后的音頻信號(hào)中保留該同步信號(hào)，對(duì)該合并后的音頻信號(hào)進(jìn)行錄制。具體的在進(jìn)行音頻信號(hào)的錄制時(shí)，可以將該合并后的音頻信號(hào)錄制為WAV等媒體播放器可以支持的播放格式。第一攝像頭將采集到的遠(yuǎn)端用戶的第一視頻信號(hào)發(fā)送到遠(yuǎn)端用戶所在的第二終端，其中該第二終端上安裝有即時(shí)通信客戶端。接收到該視頻信號(hào)的第二終端，將該第一視 頻信號(hào)發(fā)送到IP網(wǎng)絡(luò)，通過IP網(wǎng)絡(luò)將該第一視頻信號(hào)發(fā)送到本地用戶所在的終端，其中本地用戶所在的終端通過其上安裝的即時(shí)通信客戶端接收該第一視頻信號(hào)。本地用戶所在的終端在接收到該第一視頻信號(hào)后，將當(dāng)前生成的同步信號(hào)添加到該第一視頻信號(hào)中，并且當(dāng)通過第二攝像頭獲取到本地用戶的第二視頻信號(hào)時(shí)，將當(dāng)前生成的同步信號(hào)添加到該第二視頻信號(hào)中。在對(duì)視頻信號(hào)進(jìn)行合并時(shí)，根據(jù)第一視頻信號(hào)和第二視頻信號(hào)中添加的同步信號(hào)，對(duì)該第一視頻信號(hào)和第二視頻信號(hào)進(jìn)行合并，得到合并后的視頻信號(hào)，并在該合并后的視頻信號(hào)中保留該同步信號(hào)。之后對(duì)該合并后的視頻信號(hào)進(jìn)行錄制。具體的在對(duì)第一視頻信號(hào)和第二視頻信號(hào)進(jìn)行合并時(shí)，由于視頻信號(hào)是以幀為單位接收的，每幀的寬度和高度可知，因此在進(jìn)行合并得到合并后的視頻信號(hào)時(shí)，將每幀的長度或?qū)挾仍O(shè)置為第一視頻信號(hào)和第二視頻信號(hào)中長度或?qū)挾茸畲笾档膬杀都纯?。例如合并后的視頻信號(hào)的每幀的寬度為第一視頻信號(hào)或第二視頻信號(hào)中每幀的寬度的兩倍時(shí)，則在該合并后的視頻信號(hào)中的每幀中左邊和右邊分別為對(duì)應(yīng)的第一視頻信號(hào)的圖像幀和第二視頻信號(hào)的圖像幀。本地用戶所在的終端根據(jù)錄制的該合成后的音頻信號(hào)，以及合成后的視頻信號(hào)中保留的同步信號(hào)，將同步信號(hào)相同的合并后的視頻信號(hào)以及合并后的音頻信號(hào)對(duì)齊，將對(duì)齊后的視頻信號(hào)和音頻信號(hào)合并生成視音頻信號(hào)。具體的本申請(qǐng)實(shí)施例在生成該視音頻信號(hào)對(duì)應(yīng)的視音頻文件時(shí)，可以將該文件生成為高級(jí)串流格式(Advanced Streaming Format, ASF)文件。圖3為本申請(qǐng)實(shí)施例提供的一種視頻信號(hào)和音頻信號(hào)的傳輸合并裝置結(jié)構(gòu)示意圖，所述裝置包括接收模塊31，用于接收遠(yuǎn)端用戶通過第一終端發(fā)送的第一音頻信號(hào)，及通過第二終端發(fā)送的第一視頻信號(hào)；添加模塊32，用于將生成的同步信號(hào)添加到該接收到的第一音頻信號(hào)和第一視頻信號(hào)中；合并模塊33，用于根據(jù)第一音頻信號(hào)和第一視頻信號(hào)中添加的同步信號(hào)，將第一音頻信號(hào)和第一視頻信號(hào)合并。
添加模塊32，具體用于將每個(gè)生成的所述同步信號(hào)添加到該同步信號(hào)生成時(shí)刻接收到的第一音頻信號(hào)和第一視頻信號(hào)中。該同步信號(hào)按照設(shè)定的時(shí)鐘周期生成。添加模塊32，具體用于當(dāng)接收到所述第一視頻信號(hào)和第一音頻信號(hào)時(shí)，在第一視頻信號(hào)和第一音頻信號(hào)對(duì)應(yīng)的每個(gè)數(shù)據(jù)幀的幀頭或者幀尾添加所述同步信號(hào)，第一視頻信號(hào)和第一音頻信號(hào)添加同步信號(hào)的位置相同，都同為幀頭或同為幀尾。按照同步時(shí)信號(hào)生成的時(shí)間順序，確定每個(gè)同步信號(hào)的序號(hào)，每個(gè)同步信號(hào)賦予一個(gè)序號(hào)。所述裝置中，所述接收模塊31，還用于接收本地用戶的第二音頻信號(hào)及第二視頻信號(hào)； 添加模塊32，還用于將生成的同步信號(hào)添加該接收到的第二音頻信號(hào)和第二視頻信號(hào)中；合并模塊33，還用于根據(jù)第一音頻信號(hào)和第二音頻信號(hào)中添加的同步信號(hào)，將接收到的第一音頻信號(hào)與第二音頻信號(hào)合并得到合并后的音頻信號(hào)，并根據(jù)第一視頻信號(hào)和第二視頻信號(hào)中添加的同步信號(hào)，將接收到的第一視頻信號(hào)和第二視頻信號(hào)合并得到合并后的視頻信號(hào)；根據(jù)合并后的音頻信號(hào)及視頻信號(hào)中保留的同步信號(hào)，將合并后的音頻信號(hào)和視頻信號(hào)合并。所述裝置還包括判斷模塊34，用于判斷所述第一音頻信號(hào)是否存在被丟棄的數(shù)據(jù)包；當(dāng)判斷所述第一音頻信號(hào)中存在被丟棄的數(shù)據(jù)包時(shí)，采用包含靜音信號(hào)的數(shù)據(jù)包代替該被丟棄的數(shù)據(jù)包。圖4為本申請(qǐng)實(shí)施例提供的一種視頻信號(hào)和音頻信號(hào)的傳輸合并系統(tǒng)結(jié)構(gòu)示意圖，所述系統(tǒng)包括上述所述的視頻信號(hào)和音頻信號(hào)的傳輸合并裝置41，及向所述裝置發(fā)送遠(yuǎn)端用戶的第一音頻信號(hào)的第一終端42，及向所述裝置發(fā)送第一視頻信號(hào)的第二終端43。所述系統(tǒng)還包括PSTN設(shè)備44，用于接收所述第一終端發(fā)送的所述遠(yuǎn)端用戶的第一音頻信號(hào)，將所述第一音頻信號(hào)發(fā)送到語音網(wǎng)關(guān)；語音網(wǎng)關(guān)45，用于接收所述PSTN設(shè)備發(fā)送的所述遠(yuǎn)端用戶的第一音頻信號(hào)，將所述音頻信號(hào)轉(zhuǎn)換為VOIP數(shù)據(jù)包發(fā)送。本發(fā)明實(shí)施例提供了一種視頻信號(hào)和音頻信號(hào)的傳輸合并方法、系統(tǒng)及裝置，該方法通過對(duì)接收到的遠(yuǎn)端用戶發(fā)送的視頻信號(hào)和音頻信號(hào)中添加同步信號(hào)，并在合并時(shí)根據(jù)該同步信號(hào)對(duì)音頻信號(hào)和視頻信號(hào)進(jìn)行合并，從而可以保證在同一時(shí)刻接收到的視頻信號(hào)和音頻信號(hào)具有相同的同步信號(hào)，在進(jìn)行合并時(shí)，可以根據(jù)該同步信號(hào)對(duì)視頻信號(hào)和音頻信號(hào)進(jìn)行合并，保證后續(xù)合并后的視音頻文件中視頻信號(hào)和音頻信號(hào)的同步性，從而滿足用戶的使用。顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
權(quán)利要求
1.一種視頻信號(hào)和音頻信號(hào)的傳輸合成方法，其特征在于，包括 接收遠(yuǎn)端用戶通過第一終端發(fā)送的第一音頻信號(hào)，及通過第二終端發(fā)送的第一視頻信號(hào); 將生成的同步信號(hào)添加到該接收到的第一音頻信號(hào)和第一視頻信號(hào)中； 根據(jù)第一音頻信號(hào)和第一視頻信號(hào)中添加的同步信號(hào)，將第一音頻信號(hào)和第一視頻信號(hào)合并。
2.如權(quán)利要求I所述的方法，其特征在于，所述同步信號(hào)按照設(shè)定的時(shí)鐘周期生成。
3.如權(quán)利要求2所述的方法，其特征在于，每個(gè)生成的所述同步信號(hào)添加到該同步信號(hào)生成時(shí)刻接收到的第一音頻信號(hào)和第一視頻信號(hào)中。
4.如權(quán)利要求3所述的方法，其特征在于，當(dāng)接收到所述第一視頻信號(hào)和第一音頻信號(hào)時(shí)，在第一視頻信號(hào)和第一音頻信號(hào)對(duì)應(yīng)的每個(gè)數(shù)據(jù)幀的幀頭或者幀尾添加所述同步信號(hào)，第一視頻信號(hào)和第一音頻信號(hào)添加同步信號(hào)的位置相同，都同為幀頭或同為幀尾。
5.如權(quán)利要求2所述的方法，其特征在于，按照同步時(shí)信號(hào)生成的時(shí)間順序，確定每個(gè)同步信號(hào)的序號(hào)，每個(gè)同步信號(hào)賦予一個(gè)序號(hào)。
6.如權(quán)利要求I所述的方法，其特征在于，所述方法還包括 接收本地用戶的第二音頻信號(hào)及第二視頻信號(hào)； 將生成的同步信號(hào)添加該接收到的第二音頻信號(hào)和第二視頻信號(hào)中； 根據(jù)第一音頻信號(hào)和第二音頻信號(hào)中添加的同步信號(hào)，將接收到的第一音頻信號(hào)與第二音頻信號(hào)合并得到合并后的音頻信號(hào)，并根據(jù)第一視頻信號(hào)和第二視頻信號(hào)中添加的同步信號(hào)并保留該同步信號(hào)，將接收到的第一視頻信號(hào)和第二視頻信號(hào)合并得到合并后的視頻信號(hào)并保留該同步信號(hào)； 根據(jù)合并后的音頻信號(hào)及視頻信號(hào)中保留的同步信號(hào)，將合并后的音頻信號(hào)和視頻信號(hào)合并。
7.如權(quán)利要求I或6所述的方法，其特征在于，所述將第一音頻信號(hào)和第一視頻信號(hào)合并之前，所述方法還包括 判斷所述第一音頻信號(hào)是否存在被丟棄的數(shù)據(jù)包； 當(dāng)判斷所述第一音頻信號(hào)中存在被丟棄的數(shù)據(jù)包時(shí)，采用包含靜音信號(hào)的數(shù)據(jù)包代替該被丟棄的數(shù)據(jù)包。
8.如權(quán)利要求I所述的方法，其特征在于，所述第一終端為移動(dòng)終端或固定電話，第二終端為具有視頻信號(hào)采集及發(fā)送功能的終端。
9.如權(quán)利要求I所述的方法，其特征在于，所述遠(yuǎn)端用戶通過第一終端發(fā)送第一音頻信號(hào)包括 所述第一終端接收所述遠(yuǎn)端用戶發(fā)送的第一音頻信號(hào)，將所述第一音頻信號(hào)發(fā)送到公共交換電話網(wǎng)絡(luò)PSTN，通過所述PSTN將所述第一音頻信號(hào)發(fā)送到語音網(wǎng)關(guān)后，轉(zhuǎn)換為基于IP的語音通信VOIP數(shù)據(jù)包發(fā)送。
10.一種視頻信號(hào)和音頻信號(hào)的傳輸合并裝置，其特征在于，所述裝置包括 接收模塊，用于接收遠(yuǎn)端用戶通過第一終端發(fā)送的第一音頻信號(hào)，及通過第二終端發(fā)送的第一視頻信號(hào)； 添加模塊，用于將生成的同步信號(hào)添加到該接收到的第一音頻信號(hào)和第一視頻信號(hào)中； 合并模塊，用于根據(jù)第一音頻信號(hào)和第一視頻信號(hào)中添加的同步信號(hào)，將第一音頻信號(hào)和第一視頻信號(hào)合并。
11.如權(quán)利要求10所述的裝置，其特征在于，所述添加模塊，具體用于將每個(gè)生成的所述同步信號(hào)添加到該同步信號(hào)生成時(shí)刻接收到的第一音頻信號(hào)和第一視頻信號(hào)中。
12.如權(quán)利要求11所述的裝置，其特征在于，所述添加模塊，具體用于當(dāng)接收到所述第一視頻信號(hào)和第一音頻信號(hào)時(shí)，在第一視頻信號(hào)和第一音頻信號(hào)對(duì)應(yīng)的每個(gè)數(shù)據(jù)幀的幀頭或者幀尾添加所述同步信號(hào)，第一視頻信號(hào)和第一音頻信號(hào)添加同步信號(hào)的位置相同，都同為巾貞頭或同為巾貞尾。
13.如權(quán)利要求10所述的裝置，其特征在于，所述裝置中， 所述接收模塊，還用于接收本地用戶的第二音頻信號(hào)及第二視頻信號(hào)； 添加模塊，還用于將生成的同步信號(hào)添加該接收到的第二音頻信號(hào)和第二視頻信號(hào)中； 合并模塊，還用于根據(jù)第一音頻信號(hào)和第二音頻信號(hào)中添加的同步信號(hào)，將接收到的第一音頻信號(hào)與第二音頻信號(hào)合并得到合并后的音頻信號(hào)，并根據(jù)第一視頻信號(hào)和第二視頻信號(hào)中添加的同步信號(hào)，將接收到的第一視頻信號(hào)和第二視頻信號(hào)合并得到合并后的視頻信號(hào)；根據(jù)合并后的音頻信號(hào)及視頻信號(hào)中保留的同步信號(hào)，將合并后的音頻信號(hào)和視頻信號(hào)合并。
14.如權(quán)利要求10或13所述的裝置，其特征在于，所述裝置還包括 判斷模塊，用于判斷所述第一音頻信號(hào)是否存在被丟棄的數(shù)據(jù)包；當(dāng)判斷所述第一音頻信號(hào)中存在被丟棄的數(shù)據(jù)包時(shí)，采用包含靜音信號(hào)的數(shù)據(jù)包代替該被丟棄的數(shù)據(jù)包。
15.一種視頻信號(hào)和音頻信號(hào)的傳輸合并系統(tǒng)，其特征在于，所述系統(tǒng)包括如權(quán)利要求10 14任一所述的裝置，及向所述裝置發(fā)送遠(yuǎn)端用戶的第一音頻信號(hào)的第一終端，及向所述裝置發(fā)送第一視頻信號(hào)的第二終端。
16.如權(quán)利要求15所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括 公共交換電話網(wǎng)絡(luò)PSTN設(shè)備，用于接收所述第一終端發(fā)送的所述遠(yuǎn)端用戶的第一音頻信號(hào)，將所述第一音頻信號(hào)發(fā)送到語音網(wǎng)關(guān)； 語音網(wǎng)關(guān)，用于接收所述PSTN設(shè)備發(fā)送的所述遠(yuǎn)端用戶的第一音頻信號(hào)，將所述音頻信號(hào)轉(zhuǎn)換為基于IP的語音通信VOIP數(shù)據(jù)包發(fā)送。
全文摘要
本發(fā)明公開了一種視頻信號(hào)和音頻信號(hào)的傳輸合成方法、系統(tǒng)及裝置，用以解決現(xiàn)有視頻信號(hào)和音頻信號(hào)不同步，影響用戶使用的問題。該方法通過對(duì)接收到的遠(yuǎn)端用戶通過不同終端發(fā)送的視頻信號(hào)和音頻信號(hào)中添加同步信號(hào)，并在合并時(shí)根據(jù)該同步信號(hào)對(duì)音頻信號(hào)和視頻信號(hào)進(jìn)行合并，從而可以保證在同一時(shí)刻接收到的視頻信號(hào)和音頻信號(hào)具有相同的同步信號(hào)，在進(jìn)行合并時(shí)，可以根據(jù)該同步信號(hào)對(duì)視頻信號(hào)和音頻信號(hào)進(jìn)行合并，保證后續(xù)合并后的視音頻文件中視頻信號(hào)和音頻信號(hào)的同步性，從而滿足用戶的使用。
文檔編號(hào)H04N21/236GK102932673SQ201110229698
公開日2013年2月13日 申請(qǐng)日期2011年8月11日 優(yōu)先權(quán)日2011年8月11日
發(fā)明者杜武平, 張啟東, 歐陽彬, 向宜, 熊益斌 申請(qǐng)人:阿里巴巴集團(tuán)控股有限公司