本發(fā)明實施例涉及通信技術(shù)領(lǐng)域，尤其涉及直播方法、直播裝置以及終端。

背景技術(shù)：

目前，以移動終端為媒介進行直播，逐漸成為了重要的直播方式。

發(fā)明人在研究本申請的過程中發(fā)現(xiàn)，現(xiàn)有技術(shù)中，將不同來源的直播流整合并傳輸?shù)讲シ哦藭r，存在以下缺陷：不同來源的直播流之間的影像和/或音頻容易出現(xiàn)不同步。

因此，不同來源的直播流之間的影像和/或音頻如何實現(xiàn)同步，成為亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例所要解決的技術(shù)問題是，實現(xiàn)不同來源的直播流之間的影像和/或音頻的同步。

為了解決上述技術(shù)問題，本發(fā)明實施例所述直播方法、直播裝置以及終端采用了以下的技術(shù)方案。

本發(fā)明實施例采用的第一技術(shù)方案為：一種直播方法，包括：

獲取第一類直播流的圖像幀和/或音頻流；

獲取第二類直播流的圖像幀和/或音頻流；

將第一類直播流的圖像幀與第二類直播流的圖像幀拼接；和/或

將第一類直播流的音頻流與第二類直播流的音頻流混合；

重新生成直播流，包括拼接后的圖像幀和/或混合后的音頻流，并發(fā)送。

優(yōu)選的，所述第一類直播流，具體為：在直播現(xiàn)場采集的圖像幀和/或音頻流。

優(yōu)選的，所述第二類直播流，具體為：從網(wǎng)絡(luò)側(cè)獲取的圖像幀和/或音頻流。

優(yōu)選的，所述第一類直播流，包括至少一道直播流；所述第二類直播流，包括至少一道直播流。

優(yōu)選的，所述將第一類直播流的圖像幀與第二類直播流的圖像幀拼接，具體為：

將第一類直播流的圖像幀與第二類直播流的圖像幀進行預(yù)處理；

將第一類直播流的圖像幀與第二類直播流的圖像幀進行配準；

將第一類直播流的圖像幀與第二類直播流的圖像幀進行融合。

本發(fā)明實施例采用的第二技術(shù)方案為：一種直播裝置，包括：

第一獲取模塊，用于獲取第一類直播流的圖像幀和/或音頻流；

第二獲取模塊，用于獲取第二類直播流的圖像幀和/或音頻流；

拼接模塊，用于將第一類直播流的圖像幀與第二類直播流的圖像幀拼接；

混合模塊，用于將第一類直播流的音頻流與第二類直播流的音頻流混合；

生成模塊，用于生成直播流；

發(fā)送模塊，用于發(fā)送直播流。

優(yōu)選的，所述第一獲取模塊，用于在直播現(xiàn)場采集圖像幀和/或音頻流。

優(yōu)選的，所述第二獲取模塊，用于從網(wǎng)絡(luò)側(cè)獲取圖像幀和/或音頻流。

優(yōu)選的，所述第一獲取模塊，獲取所述第一類直播流至少一道直播流的圖像幀和/或音頻流；

所述第二獲取模塊，獲取所述第二類直播流至少一道直播流的圖像幀和/或音頻流。

優(yōu)選的，所述拼接模塊包括：

預(yù)處理單元，用于將第一類直播流的圖像幀與第二類直播流的圖像幀進行預(yù)處理；

配準單元，用于將第一類直播流的圖像幀與第二類直播流的圖像幀進行配準；

融合單元，用于將第一類直播流的圖像幀與第二類直播流的圖像幀進行融合。

本發(fā)明實施例采用的第三技術(shù)方案為：一種終端，所述終端包括第二技術(shù)方案所描述的任意一種直播裝置。

與現(xiàn)有技術(shù)相比，本發(fā)明實施例主要有以下有益效果：

本發(fā)明實施例，通過獲取第一類直播流的圖像幀和/或音頻流，以及獲取第二類直播流的圖像幀和/或音頻流。通過將第一類直播流的圖像幀與第二類直播流的圖像幀拼接，和/或?qū)⒌谝活愔辈チ鞯囊纛l流與第二類直播流的音頻流混合。然后重新生成直播流，并發(fā)送。綜上所述，本發(fā)明實施例，實現(xiàn)了不同來源的直播流之間的影像和/或音頻的同步，提高了用戶的使用體驗。

附圖說明

圖1為本發(fā)明第一實施例所述直播方法的示意圖。

圖2為本發(fā)明第二實施例所述以移動終端為媒介進行直播的示意圖。

圖3為本發(fā)明第二實施例所述將第一類直播流的圖像幀與第二類直播流的圖像幀拼接的示意圖。

圖4為本發(fā)明第三實施例所述直播裝置的示意圖。

圖5為本發(fā)明第四實施例所述直播裝置的示意圖。

圖6為一種實施本發(fā)明第四實施例所述直播裝置的終端示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚而完整的描述。所描述的實施例是本發(fā)明一部分較佳的實施例，而不是全部可行的實施例?；诒景l(fā)明具體實施方式中的各個實施例，本領(lǐng)域的任何技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的其他實施例，都應(yīng)屬于本發(fā)明保護的范圍。

除非另有定義，本文所使用的所有技術(shù)和科學(xué)術(shù)語與本發(fā)明技術(shù)領(lǐng)域的技術(shù)人員通常理解的含義相同。本文中所使用的任何術(shù)語只是為了描述具體的實施例，并非旨在限制本發(fā)明的保護范圍。

本發(fā)明第一實施例：

參考圖1，為本發(fā)明第一實施例所述直播方法的示意圖。本發(fā)明第一實施例所述的直播方法在智能手機、平板電腦、筆記本電腦、智能電視等終端上實施。本發(fā)明第一實施例所述的直播方法包括以下內(nèi)容。

步驟S1：獲取第一類直播流的圖像幀和/或音頻流；獲取第二類直播流的圖像幀和/或音頻流。

所述第一類直播流與所述第二類直播流是兩類不同來源的直播流。

步驟S2：將第一類直播流的圖像幀與第二類直播流的圖像幀拼接；和/或?qū)⒌谝活愔辈チ鞯囊纛l流與第二類直播流的音頻流混合。

步驟S3：重新生成直播流，包括拼接后的圖像幀和/或混合后的音頻流，并發(fā)送。

本發(fā)明第一實施例所述的直播方法，主要有以下技術(shù)效果：

本發(fā)明第一實施例所述直播方法，通過獲取第一類直播流的圖像幀和/或音頻流，以及獲取第二類直播流的圖像幀和/或音頻流。通過將第一類直播流的圖像幀與第二類直播流的圖像幀拼接，和/或?qū)⒌谝活愔辈チ鞯囊纛l流與第二類直播流的音頻流混合。然后重新生成直播流，并發(fā)送。綜上所述，本發(fā)明第一實施例所述的直播方法，實現(xiàn)了不同來源的直播流之間的影像和/或音頻的同步，提高了用戶的使用體驗。

本發(fā)明第二實施例：

本發(fā)明第二實施例所述的直播方法在智能手機、平板電腦、筆記本電腦、智能電視等終端上實施。本發(fā)明第二實施例所述的直播方法包括以下內(nèi)容。

步驟A1：獲取第一類直播流的圖像幀和/或音頻流，所述第一類直播流具體為在直播現(xiàn)場采集的圖像幀和/或音頻流；獲取第二類直播流的圖像幀和/或音頻流，所述第二類直播流具體為從網(wǎng)絡(luò)側(cè)獲取的圖像幀和/或音頻流。

可選的，所述第一類直播流，包括至少一道直播流?？蛇x的，所述第二類直播流，包括至少一道直播流。

步驟A2：將第一類直播流的圖像幀與第二類直播流的圖像幀拼接；和/或?qū)⒌谝活愔辈チ鞯囊纛l流與第二類直播流的音頻流混合。

在本發(fā)明第二實施例中，所述將第一類直播流的圖像幀與第二類直播流的圖像幀拼接，具體為：

將第一類直播流的圖像幀與第二類直播流的圖像幀進行預(yù)處理；

將第一類直播流的圖像幀與第二類直播流的圖像幀進行配準；

將第一類直播流的圖像幀與第二類直播流的圖像幀進行融合。

步驟A3：重新生成直播流，包括拼接后的圖像幀和/或混合后的音頻流，并發(fā)送。

下面將舉例對本發(fā)明第二實施例所述的直播方法作進一說明。

假定，本發(fā)明第二實施例所述的直播方法在智能手機、平板電腦等移動終端上實施。

參考圖2，為本發(fā)明第二實施例所述以移動終端為媒介進行直播的示意圖。

假定，一名主播在其工作室對某場正在網(wǎng)上直播的球賽進行解說。該主播通過一臺移動終端在其工作室實時采集直播流a，并實時從網(wǎng)絡(luò)側(cè)獲取直播流b。然后，該主播的移動終端將直播流a的圖像幀與直播流b的圖像幀進行拼接，將直播流a的音頻流與直播流b的音頻流進行混合。該主播的移動終端將拼接后的圖像幀以及混合后的音頻流重新生成直播流，并發(fā)送到網(wǎng)絡(luò)側(cè)。想要收看該主播直播球賽的用戶，從網(wǎng)絡(luò)側(cè)獲取該主播上傳的直播流，并播放。

參考圖3，為本發(fā)明第二實施例所述將第一類直播流的圖像幀與第二類直播流的圖像幀拼接的示意圖。

假定，圖像幀a_n來自第一類直播流，圖像幀b_n來自第二類直播流。將圖像幀a_n和圖像幀b_n進行預(yù)處理，包括給圖像幀a_n和圖像幀b_n去噪、邊緣提取、直方圖處理、建立圖像的匹配模板以及對圖像進行某種變換(如傅里葉變換、小波變換等)等操作。然后將圖像幀a_n和圖像幀b_n進行配準。最后圖像幀a_n和圖像幀b_n進行融合，得到新的圖像幀c_n。

根據(jù)上述方法即可完成第一類直播流的圖像幀與第二類直播流的圖像幀的拼接。

由于第一類直播流可以只包含圖像幀或者音頻流，也可以既包括圖像幀又包括音頻流。同樣第二類直播流可以只包含圖像幀或者音頻流，也可以既包括圖像幀又包括音頻流。因此重新生成的直播流存在多種情況，具體參見表格1。

其中，圖像幀a_n和圖像幀b_n進行融合，得到新的圖像幀c_n；音頻流A_n與音頻流B_n進行混合，得到新的音頻流C_n。

表格1

本發(fā)明第二實施例所述的直播方法，主要有以下技術(shù)效果：

本發(fā)明第二實施例所述的直播方法，通過獲取第一類直播流的圖像幀和/或音頻流，所述第一類直播流具體為在直播現(xiàn)場采集的圖像幀和/或音頻流，以及獲取第二類直播流的圖像幀和/或音頻流，所述第二類直播流具體為從網(wǎng)絡(luò)側(cè)獲取的圖像幀和/或音頻流。通過將第一類直播流的圖像幀與第二類直播流的圖像幀拼接；和/或?qū)⒌谝活愔辈チ鞯囊纛l流與第二類直播流的音頻流混合。然后重新生成直播流，包括拼接后的圖像幀和/或混合后的音頻流，并發(fā)送。綜上所述，本發(fā)明第二實施例所述的直播方法，實現(xiàn)了不同來源的直播流之間的影像和/或音頻的同步，進一步提高了用戶的使用體驗。

本發(fā)明第三實施例：

參考圖4，為本發(fā)明第三實施例所述直播裝置的示意圖。本發(fā)明第三實施例所述的直播裝置，用于實施本發(fā)明第一實施例所述的直播方法。

本發(fā)明第三實施例所述的直播裝置，在智能手機、平板電腦、筆記本電腦、智能電視等終端上實施。

本發(fā)明第三實施例所述的直播裝置，包括：

第一獲取模塊1，用于獲取第一類直播流的圖像幀和/或音頻流；

第二獲取模塊2，用于獲取第二類直播流的圖像幀和/或音頻流；

拼接模塊3，用于將第一類直播流的圖像幀與第二類直播流的圖像幀拼接；

混合模塊4，用于將第一類直播流的音頻流與第二類直播流的音頻流混合；

生成模塊5，用于生成直播流；

發(fā)送模塊6，用于發(fā)送直播流。

在本發(fā)明第三實施例中，所述第一獲取模塊1獲取第一類直播流的圖像幀和/或音頻流；所述第二獲取模塊2獲取第二類直播流的圖像幀和/或音頻流。所述拼接模塊3將第一類直播流的圖像幀與第二類直播流的圖像幀拼接；和/或所述混合模塊4將第一類直播流的音頻流與第二類直播流的音頻流混合。所述生成模塊5重新生成直播流，包括拼接后的圖像幀和/或混合后的音頻流，所述發(fā)送模塊6將重新生成的直播流發(fā)送。

本發(fā)明第三實施例所述的直播裝置，主要有以下技術(shù)效果：

本發(fā)明第三實施例所述直播裝置，通過第一獲取模塊1，獲取第一類直播流的圖像幀和/或音頻流。通過第二獲取模塊2，獲取第二類直播流的圖像幀和/或音頻流。通過拼接模塊3，將第一類直播流的圖像幀與第二類直播流的圖像幀拼接；和/或通過混合模塊4，將第一類直播流的音頻流與第二類直播流的音頻流混合。通過生成模塊5，重新生成直播流。通過發(fā)送模塊6，將重新生成的直播流發(fā)送。綜上所述，本發(fā)明第三實施例所述的直播裝置，實現(xiàn)了不同來源的直播流之間的影像和/或音頻的同步，提高了用戶的使用體驗。

本發(fā)明第四實施例：

參考圖5，為本發(fā)明第四實施例所述直播裝置的示意圖。本發(fā)明第四實施例所述的直播裝置，用于實施本發(fā)明第二實施例所述的直播方法。

本發(fā)明第四實施例所述的直播裝置，在智能手機、平板電腦、筆記本電腦、智能電視等終端上實施。

本發(fā)明第四實施例所述直播裝置，包括：

第一獲取模塊10，用于獲取第一類直播流的圖像幀和/或音頻流，具體為：用于在直播現(xiàn)場采集圖像幀和/或音頻流；

第二獲取模塊20，用于獲取第二類直播流的圖像幀和/或音頻流，具體為：用于從網(wǎng)絡(luò)側(cè)獲取圖像幀和/或音頻流；

拼接模塊30，用于將第一類直播流的圖像幀與第二類直播流的圖像幀拼接；

混合模塊40，用于將第一類直播流的音頻流與第二類直播流的音頻流混合；

生成模塊50，用于生成直播流；

發(fā)送模塊60，用于發(fā)送直播流。

在本發(fā)明第四實施例中，所述拼接模塊30包括：

預(yù)處理單元31，用于將第一類直播流的圖像幀與第二類直播流的圖像幀進行預(yù)處理；

配準單元32，用于將第一類直播流的圖像幀與第二類直播流的圖像幀進行配準；

融合單元33，用于將第一類直播流的圖像幀與第二類直播流的圖像幀進行融合。

可選的，所述第一獲取模塊10，獲取所述第一類直播流至少一道直播流的圖像幀和/或音頻流?？蛇x的，所述第二獲取模塊20，獲取所述第二類直播流至少一道直播流的圖像幀和/或音頻流。

本發(fā)明第四實施例所述的直播裝置，主要有以下技術(shù)效果：

本發(fā)明第四實施例所述的直播裝置，通過第一獲取模塊10，獲取第一類直播流的圖像幀和/或音頻流，具體為：用于在直播現(xiàn)場采集圖像幀和/或音頻流。通過第二獲取模塊20，獲取第二類直播流的圖像幀和/或音頻流，具體為：用于從網(wǎng)絡(luò)側(cè)獲取圖像幀和/或音頻流。通過預(yù)處理單元31，將第一類直播流的圖像幀與第二類直播流的圖像幀進行預(yù)處理；通過配準單元32，將第一類直播流的圖像幀與第二類直播流的圖像幀進行配準；通過融合單元33，將第一類直播流的圖像幀與第二類直播流的圖像幀進行融合。通過混合模塊40，將第一類直播流的音頻流與第二類直播流的音頻流混合。通過生成模塊50，生成直播流。通過發(fā)送模塊60，發(fā)送直播流。綜上所述，本發(fā)明第四實施例所述的直播裝置，實現(xiàn)了不同來源的直播流之間的影像和/或音頻的同步，進一步提高了用戶的使用體驗。

本領(lǐng)域普通技術(shù)人員應(yīng)當理解到，上述各個實施例中的直播裝置還可以通過其他方式實現(xiàn)。本發(fā)明各個實施例中所述的直播裝置可以用硬件實現(xiàn)，或固件實現(xiàn)，或它們的組合方式來實現(xiàn)。

當使用到軟件實現(xiàn)時，可以將上述各個實施例中的各個功能模塊存儲在計算機可讀介質(zhì)中或作為可讀介質(zhì)上的一個或多個指令或代碼進行傳輸。計算機可讀介質(zhì)包括計算機存儲介質(zhì)和通信介質(zhì)，其中通信介質(zhì)包括便于從一個地方向另一個地方傳送計算機程序的任何介質(zhì)。存儲介質(zhì)可以是計算機能夠存儲的任何可用介質(zhì)。以此為例但不限于次：計算機可讀介質(zhì)可以包括RAM、ROM、EEPROM、CD-ROM或其他光盤存儲、磁盤存儲介質(zhì)或者其他磁存儲設(shè)備、或者能夠攜帶或存儲具有指令或數(shù)據(jù)結(jié)構(gòu)形式的期望的程序代碼并能夠由計算機存取的任何其他介質(zhì)。此外，任何連接可以適當?shù)某蔀橛嬎銠C可讀介質(zhì)。例如，如果軟件是使用同軸電纜、光釬光纜、雙絞線、數(shù)字用戶線(DSL)或者諸如紅外線、無線電和微波之類的無線技術(shù)從網(wǎng)站、服務(wù)器或者其他遠程源傳輸?shù)模敲赐S電纜、光釬光纜、雙絞線、DSL或者諸如紅外線、無線和微波之類的無線技術(shù)包括在所屬介質(zhì)的定義中。

舉例而言，一種如圖6所示的實施本發(fā)明第四實施例所述的直播裝置的終端。所述終端包括但不限于：電源模塊z1、通信模塊z2、攝影模塊z3、錄音模塊z4、處理器模塊z5、存儲器模塊z6和總線z7。

本領(lǐng)域普通技術(shù)人員應(yīng)當理解到，將上述終端包括的各個硬件設(shè)備進行必要的組合就能實現(xiàn)本發(fā)明第四實施例所述直播裝置的各個功能模塊。

例如，通過電源模塊z1、攝影模塊z3、錄音模塊z4、處理器模塊z5、存儲器模塊z6和總線z7等便能實現(xiàn)本發(fā)明第四實施例所述直播裝置的第一獲取模塊10。通過電源模塊z1、通信模塊z2、處理器模塊z5、存儲器模塊z6和總線z7等便能實現(xiàn)本發(fā)明第四實施例所述直播裝置的第二獲取模塊20。通過電源模塊z1、處理器模塊a5、存儲器模塊z6和總線z7等便能實現(xiàn)本發(fā)明第四實施例所述直播裝置的拼接模塊30。通過電源模塊z1、處理器模塊z5、存儲器模塊z6和總線z7等便能實現(xiàn)本發(fā)明第四實施例所述直播裝置的混合模塊40。通過電源模塊z1、處理器模塊z5、存儲器模塊z6和總線z7等便能實現(xiàn)本發(fā)明第四實施例所述直播裝置的生成模塊50。通過電源模塊z1、通信模塊z2、處理器模塊z5、存儲器模塊z6和總線z7等便能實現(xiàn)本發(fā)明第四實施例所述直播裝置的發(fā)送模塊60。

本領(lǐng)域普通技術(shù)人員應(yīng)當理解到，參照圖6所示的實施本發(fā)明第四實施例所述直播裝置的終端，本發(fā)明第三實施例所述直播裝置也可借助軟件加必需的通用硬件平臺來實現(xiàn)。

實施本發(fā)明第三實施例或者本發(fā)明第四實施例所述直播裝置的終端，包括但不限于：智能手機、平板電腦、筆記本電腦、智能電視。

圖6所示的實施本發(fā)明第四實施例所述直播裝置的終端，只是為了更充分地說明如何實現(xiàn)本發(fā)明的各個實施例，不能用于限定本申請的保護范圍。

通過以上所有的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實施方式可借助軟件加必需的通用硬件平臺來實現(xiàn)，當然也可以通過硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品可以存儲在計算機可讀存儲介質(zhì)中，如ROM/RAM、磁碟、光盤等，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個實施例或者實施例的某些部分所述的方法。

上述實施例為本發(fā)明較佳的實施方式，但本發(fā)明的實施方式并不受上述實施例的限制，其他的任何未背離本發(fā)明的精神實質(zhì)與原理下所作的改變、修飾、替代、組合、簡化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護范圍之內(nèi)。