本申請涉及數據處理技術領域,特別涉及一種直播降噪的方法及系統(tǒng)。
背景技術:
伴隨著人類向信息化時代的邁進,逐漸出現了各種新興職業(yè),其中在各大網站平臺相繼出現的網絡主播相信大家都有所了解。顧名思義,就是在互聯網節(jié)目或活動中,負責參與一系列策劃、編輯、錄制、制作、觀眾互動等工作,并由本人擔當主持工作的人或職業(yè)。而且網絡主播是一個綜合能力很強的職業(yè),一個優(yōu)秀的網絡主播一個人常常要面對線上數萬人、幾十萬人甚至上百萬人的觀眾,并且實時與線上觀眾交流互動。
在通過這樣一種方式與成千上萬的觀眾進行互動的過程中,對直播環(huán)境的環(huán)境要求很高,而噪聲不可避免。噪聲的類型有很多,例如,嘈雜的人聲、機器運轉聲、外界汽車鳴笛聲以及各種轟鳴聲,針對不同的直播內容,不同類型的噪聲所起到的干擾作用也不盡相同。若直播環(huán)境中存在著會極大影響直播體驗的噪聲,不可避免的會降低觀眾對該直播平臺的印象和評價、甚至不再選擇在該直播平臺觀看直播。而對于直播平臺來說,觀眾是極其重要的,一旦埋下了丟失觀眾的隱患,想要再次挽回觀眾的心卻不是一件易事。
在現有技術中,對于直播環(huán)境的降噪是將直播原始音頻文件通過復合的降噪模型進行統(tǒng)一處理,其中該降噪模型中包含了許多預設噪聲樣本,即,不管進行直播的內容到底是什么,對所有直播原始音頻文件都會進行相同的降噪處理。而這樣的做法無法有針對性的對特定直播內容進行降噪,例如該直播內容就是主播與觀眾的聊天,而該降噪模型依然對人聲進行了降噪,造成了直播時觀眾無法聽到清晰的聲音,勢必會對觀眾的直播體驗造成影響。
那么,如何在無法避免噪聲存在的情況下,提供一種更有針對性、可選擇的、降噪效果更好的直播降噪方法,是本領域技術人員亟待解決的問題。
技術實現要素:
本申請的目的是提供一種直播降噪的方法及系統(tǒng),能夠在無法避免噪聲存在的情況下,以一種更有針對性、可選擇的、降噪效果更好的直播降噪方法,提高觀眾的直播觀看體驗和直播平臺的競爭力。
為解決上述技術問題,本申請?zhí)峁┮环N直播降噪的方法,該方法包括:
根據輸入的選擇信息確定選擇的預設噪聲樣本;
根據所述預設噪聲樣本,通過降噪模型對原始音頻文件進行降噪處理,得到最終音頻文件;
將所述最終音頻文件輸出至直播服務器。
可選的,根據所述預設噪聲樣本,通過降噪模型對原始音頻文件進行降噪處理,包括:
依次從所述預設噪聲樣本中選取一個噪聲樣本,并通過所述降噪模型對所述噪聲樣本進行降噪處理。
可選的,根據將所述預設噪聲樣本,通過降噪模型對原始音頻文件進行降噪處理前,還包括:
將在直播過程中產生的實時音頻數據按預設周期生成多個所述原始音頻文件。
可選的,本方案還包括:
根據輸入的采集指令進行噪聲樣本采集,得到自定義噪聲樣本,并命名所述自定義噪聲樣本。
可選的,本方案還包括:
對所述預設噪聲樣本和所述自定義噪聲樣本進行管理操作;其中,所述管理操作包括預覽播放、錄音、保存、新建、刪除和排序中的至少一種。
可選的,根據所述預設噪聲樣本,通過降噪模型對原始音頻文件進行降噪處理,包括:
根據所述預設噪聲樣本,通過譜減法降噪模型對所述原始音頻文件進行降噪處理。
本申請還提供了一種直播降噪的系統(tǒng),該系統(tǒng)包括:
選擇確定單元,用于根據輸入的選擇信息確定選擇的預設噪聲樣本;
降噪單元,用于根據所述預設噪聲樣本,通過降噪模型對原始音頻文件進行降噪處理,得到最終音頻文件;
輸出單元,用于將所述最終音頻文件輸出至直播服務器。
可選的,所述降噪單元包括:
處理子單元,用于依次從所述預設噪聲樣本中選取一個噪聲樣本,并通過所述降噪模型對所述噪聲樣本進行降噪處理。
可選的,本方案還包括:
原始音頻文件生成單元,用于將在直播過程中產生的實時音頻數據按預設周期生成所述原始音頻文件。
可選的,本方案還包括:
自定義采集單元,用于根據輸入的采集指令進行噪聲樣本采集,得到自定義噪聲樣本,并命名所述自定義噪聲樣本。
可選的,本方案還包括:
管理單元,用于對所述預設噪聲樣本和所述自定義噪聲樣本進行管理操作;其中,所述管理操作包括預覽播放、錄音、保存、新建、刪除和排序中的至少一種。
可選的,所述降噪單元包括:
譜減法子單元,用于根據所述預設噪聲樣本,通過譜減法降噪模型對所述原始音頻文件進行降噪處理。
本申請所提供的一種直播降噪的方法,通過根據輸入的選擇信息確定選擇的預設噪聲樣本;根據所述預設噪聲樣本,通過降噪模型對原始音頻文件進行降噪處理,得到最終音頻文件;將所述最終音頻文件輸出至直播服務器來實現最終的直播降噪。
顯然,本申請所提供的技術方案通過對用戶選擇的要濾除的噪聲樣本通過降噪模型對原始音頻文件進行降噪,能夠在無法避免噪聲存在的情況下,以一種更有針對性、可選擇的、降噪效果更好的直播降噪方法,提高觀眾的直播觀看體驗和直播平臺的競爭力。本申請同時還提供了一種直播降噪的系統(tǒng),具有上述有益效果,在此不再贅述。
附圖說明
為了更清楚地說明本申請實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請的實施例,對于本領域普通技術人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據提供的附圖獲得其它的附圖。
圖1為本申請實施例所提供的一種直播降噪的方法的流程圖;
圖2為本申請實施例所提供的另一種直播降噪的方法的流程圖;
圖3為本申請實施例所提供的又一種直播降噪的方法的流程圖;
圖4為本申請實施例所提供的一種直播降噪的系統(tǒng)的結構圖。
具體實施方式
本申請的核心是提供一種直播降噪的方法及系統(tǒng),能夠在無法避免噪聲存在的情況下,以一種更有針對性、可選擇的、降噪效果更好的直播降噪方法,提高觀眾的直播觀看體驗和直播平臺的競爭力。
為使本申請實施例的目的、技術方案和優(yōu)點更加清楚,下面將結合本申請實施例中的附圖,對本申請實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例是本申請一部分實施例,而不是全部的實施例?;诒旧暾堉械膶嵤├绢I域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例,都屬于本申請保護的范圍。
以下結合圖1,圖1為本申請實施例所提供的一種直播降噪的方法的流程圖。
其具體包括以下步驟:
s101:根據輸入的選擇信息確定選擇的預設噪聲樣本;
本步驟旨在通過用戶基于自己的判斷對直播環(huán)境中存在的噪聲種類以及自身直播的內容有針對性的選擇要濾除的噪聲類型所對應的預設噪聲樣本。大自然中聲音信息多姿多彩、種類繁多,例如,鳥鳴聲、流水聲、竊竊私語聲、歡笑聲、轟鳴聲等等,即存在多種多樣的聲音樣本,在主播們的直播環(huán)境也不盡相同,各種類型的戶外直播正在不斷充斥著我們的眼球,就會接觸到更多的聲音類型。
而即使是優(yōu)美的歌聲在不同的人聽來感覺也會存在不同。可能主播正在講一個非常嚴肅的紀實故事,好不容易將觀眾帶入自己所營造的氛圍中,卻被這一優(yōu)美而富有旋律的歌聲破壞了氛圍,這種情形下的歌聲對這個主播來說就是噪聲,但換一個場景下可能就是一曲優(yōu)美的歌聲,會給觀眾帶來好心情,所以,對于基于何種原則而做出的選擇,需要基于實際情況下方方面面的考慮做出相應的選擇。
其中,可以提前預設一些常用的噪聲樣本供用戶選擇,能夠滿足用戶們一些基本的需求,例如經常能夠聽到的喧嘩嘈雜聲、汽車鳴笛聲、機器轟鳴聲等,以能夠滿足用戶們的基本需求為準。
進一步的,除開這些常聽到的噪聲外,可能會有些主播們有些自己獨特的直播內容,相應的可能會需要濾除的噪聲樣本也不太常見,在此情況下,也可以根據該主播的個人需求開啟噪聲樣本錄入操作,收集想要當作噪聲樣本的聲音,并可以根據聲音的類型和個人的喜好進行命名,以簡單、清晰的辨別到底是何種噪聲樣本,達到提醒自己的目的。
更進一步的,經過用戶自行添加后致使預設噪聲樣本庫更加完善,一段時間后可能會積累成為一個龐大的噪聲樣本庫,一方面,更完善的噪聲樣本庫可以讓用戶更精準的濾除不想要的聲音,另一方面,更大的數據庫會給設備帶來更大的負擔,占用存儲空間、減慢設備運轉速度,使得在直播過程中易出現卡頓,影響觀眾的直播觀看體驗。為防止出現此種情況,還可以通過管理操作對經過擴充的噪聲樣本庫進行管理,包括:預覽播放、錄音、保存、新建、刪除和排序中的至少一種,能使得該噪聲樣本庫更加精簡,達到更高的利用率。
值的一提的是,既然會存在包含很多噪聲樣本的噪聲樣本庫來實現精確濾除噪聲,可能出現需要對多種類型噪聲進行濾除,即需要選擇確定使用多個預設噪聲樣本,在后續(xù)的降噪處理中進行降噪,此處并不對選擇確定的預設噪聲樣本的具體數量進行限定,即,可能出現單選,也有可能出現復選的情況,應視主播的直播內容、個人的想法和習慣以及所處的環(huán)境進行實際的選擇。
s102:根據預設噪聲樣本,通過降噪模型對原始音頻文件進行降噪處理,得到最終音頻文件;
根據s101中選擇確定的預設噪聲樣本,通過降噪模型對直播過程中實時得到的原始音頻文件進行降噪處理。其中,降噪模型有很多種,此處并不對選擇何種降噪模型進行降噪處理做具體限定,只要使用了降噪模型對音頻文件進行了降噪處理都可視為在本申請所保護的范圍之內。降噪模型的原理是根據選擇的噪聲樣本在原始音頻文件中進行匹配并進行相應的修改,而不同的方法則是對如何進行修改提出了的自己的看法,常見的有譜減法模型、非線性譜減模型、多帶譜減模型。
同時,考慮到在用戶可能會選擇確定了多個需要濾除的噪聲樣本的可能性,而對于多個都需要濾除的噪聲樣本通過降噪模型進行降噪處理會出現幾種方式,其中,可以通過串行的處理方式,即每次只讓一個噪聲樣本通過降噪模型對原始音頻文件進行降噪,在上一次降噪處理完成后,再拿經過一次降噪處理的第一音頻文件執(zhí)行根據另一噪聲樣本通過降噪模型進行的第二次降噪處理,依次類推,直至完成所有選擇的噪聲樣本的降噪,得到最終音頻文件。
也可以通過并行的處理方式,即同時以多個降噪模型通過降噪模型對原始音頻文件進行降噪,只需進行一次降噪處理即可得到最終音頻文件。兩種處理方式各種長處,前者可以以較低的設備性能完成,后者則是處理的快,可視直播時的實際情況以及開直播的設備的性能來綜合考慮。
實際聽覺環(huán)境中,對于如何判斷在中原聲音信號摻雜有噪聲的聲音信號,一種普遍被使用的方法是:采集到的聲音信號永遠都是原信號與噪聲信號的疊加,即模型是信號的直接疊加,這就要滿足:原信號與噪聲信號不相關。其實有些情況下這個條件是不滿足的,所以依然有很多其他的模型,如有人認為原信號和噪聲信號是卷積的關系。可以將噪聲樣本的聲音波形在音頻文件中進行匹配,并將匹配到的聲音波形進行刪減調節(jié),這就是譜減法的由來。
其中,譜減法就是基于噪聲的加法模型,在譜減法的基礎上有人提出了非線性譜減算法:假設了噪聲對所有的頻譜分量都有同等的影響,繼而只用了一個過減因子來減去對噪聲的過估計,但現實世界中的噪聲并非如此,這意味著可以用一個頻率相關的減法因子來處理不同類型的噪聲;另一種是多帶譜減法,在多帶算法中,將語音頻譜劃分為多個互不重疊的子帶,譜減法在每個子帶獨立運行。將語音信號分為多個子帶信號的過程可以通過在時域使用帶通濾波器來進行,或者在頻域使用適當的窗。
多帶譜減法與非線性譜減法的主要區(qū)別在于對過減因子的估計:多帶算法針對頻帶估計減法因子,而非線性譜減算法針對每一個頻點,導致頻點上的信噪比可能有很大變化。這種劇烈變化是譜減法中所遇到的語音失真的原因之一,相反,子帶信噪比變化則不會特別劇烈。
s103:將最終音頻文件輸出至直播服務器。
本步驟只需要將s102中經過降噪處理得到的最終音頻文件輸出至直播服務器即可,便可以達到對直播音源實現針對性的降噪作用。
進一步的,區(qū)別于現有直播平臺的對完整的音頻文件一次性進行降噪處理,本申請還可以通過一系列對原始音頻文件的操作使其達到現有技術無法實現的在直播中對實時音頻文件進行降噪處理,而不是在事后進行處理。這一點會在后續(xù)的實施例中進行詳細的說明。
基于上述技術方案,本申請實施例提供的直播降噪的方法,通過對用戶選擇的要濾除的噪聲樣本通過降噪模型對原始音頻文件進行降噪,能夠在無法避免噪聲存在的情況下,以一種更有針對性、可選擇的、降噪效果更好的直播降噪方法,提高觀眾的直播觀看體驗和直播平臺的競爭力。
以下結合圖2,圖2為本申請實施例所提供的另一種直播降噪的方法的流程圖。
其具體包括以下步驟:
s201:將直播過程中產生的實時音頻數據按預設周期生成多個原始音頻文件;
網絡直播是一種即時性的交互活動,也就是說你和主播通過文字、表情以及彈幕等就好像能夠面對面的交流一樣,也就是主播通過這一平臺將其想要表現給觀眾的內容即時的展現給觀眾。在此過程中,即時的直播過程中就會產生實時音頻數據,對一個完整、體積龐大的音頻文件進行后期處理會需要很長時間,但將其拆分成一個個小的音頻文件或者說,在生成原始音頻文件時就設定一個短時限,例如5s,即主播直播時錄制的聲音數據以每5s依次生成眾多的原始音頻文件,就可以很好的降低降噪處理的時間以及計算能力,并可以及時的將已經處理過得到的最終音頻文件上傳至直播服務器,讓觀眾可以享受到實時且經過降噪處理的聲音信息。
之所以將這個時限設的較短,是因為大多直播平臺考慮到直播內容的時效性,往往會設置直播延遲,即觀眾看到的一段時間前主播錄制的畫面和聲音數據,這個延遲往往不會太長,否則會影響直播觀看體驗,可以正好利用這點。
s202:根據輸入的選擇信息確定選擇的預設噪聲樣本;
s203:依次從預設噪聲樣本中選取一個噪聲樣本,并通過譜減法降噪模型對原始音頻文件進行降噪處理;
針對s102中進行描述的兩種具體的方式:串行處理和并行處理,考慮到網絡主播這一職業(yè)的出現收益最多的是由特長、能夠變現自己的普通大眾,基于這一考慮,在仍能夠完成降噪處理的前提下,更適合選擇對直播設備性能要求更小的串行處理方式,即對復選的多個噪聲樣本依次通過降噪模型進行降噪處理。
s204:將最終音頻文件輸出至直播服務器。
以下結合圖3,圖3為本申請實施例所提供的又一種直播降噪的方法的流程圖。
本實施例建立在一個實際的情境下:主播在直播一場小型個人音樂會,主播對著麥克風進行實時的講解,但是主播的附近存在人群說話的嘈雜聲,此吃主播的目標是保留音樂會現場的音樂聲和自己解說的聲音,并需要濾除直播環(huán)境中的嘈雜人身和汽車鳴笛聲兩種噪聲。
整個直播過程以5s的預設周期在整個直播過程中共生成100個原始音頻文件,且采用基礎的譜減法為降噪模型。
其具體包括以下步驟:
s301:將直播過程中產生的實時音頻數據以5s為最大長度共生成100個原始音頻文件;
s302:根據輸入的選擇信息確定選擇嘈雜人聲和汽車鳴笛聲兩個噪聲樣本;
s303:利用嘈雜人聲的噪聲樣本通過譜減法降噪模型對100個原始音頻文件進行第一降噪處理;
s304:得到100個第一音頻文件;
s305:利用汽車鳴笛聲的噪聲樣本通過譜減法降噪模型對100個第一音頻文件進行第二降噪處理;
s306:得到100個最終音頻文件;
s307:將100個最終音頻文件輸出至直播服務器。
基于上述技術方案,本申請實施例提供的直播降噪的方法,通過對用戶選擇的要濾除的噪聲樣本通過降噪模型對原始音頻文件進行降噪,并可在不同的情況選擇更合適的處理方法,將經過降噪處理的最終音頻文件實時的傳輸給觀眾,使觀眾獲得更好的直播觀看體驗。能夠在無法避免噪聲存在的情況下,以一種更有針對性、可選擇的、降噪效果更好的直播降噪方法,提高觀眾的直播觀看體驗和直播平臺的競爭力。
上面提及的幾種方式,只是從實際出發(fā)提出的幾種具體例子,當然可以有其他的方式來達到同樣的效果,此處并不做具體限定。
下面請參見圖4,圖4為本申請實施例所提供的一種直播降噪的系統(tǒng)的結構框圖。
該系統(tǒng)可以包括:
選擇確定單元100,用于根據輸入的選擇信息確定選擇的預設噪聲樣本;
降噪單元200,用于根據預設噪聲樣本,通過降噪模型對原始音頻文件進行降噪處理,得到最終音頻文件;
輸出單元300,用于將最終音頻文件輸出至直播服務器。
其中,該降噪單元200包括:
處理子單元,用于依次從預設噪聲樣本中選取一個噪聲樣本,并通過降噪模型對噪聲樣本進行降噪處理。
譜減法子單元,用于根據預設噪聲樣本,通過譜減法降噪模型對原始音頻文件進行降噪處理。
進一步的,該系統(tǒng)還包括:
原始音頻文件生成單元,用于將在直播過程中產生的實時音頻數據按預設周期生成原始音頻文件;
自定義采集單元,用于根據輸入的采集指令,進行噪聲樣本采集,得到自定義噪聲樣本,并命名自定義噪聲樣本;
管理單元,用于對預設噪聲樣本和自定義噪聲樣本進行管理操作;其中,管理操作包括預覽播放、錄音、保存、新建、刪除和排序中的至少一種。
在實施例三中所舉實際例子既可以對應上述各單元:
選擇確定單元100通過其包括的預設噪聲樣本供主播進行選擇,主播直接勾選要想消除的噪聲類型,即,勾選嘈雜人聲樣本和汽車鳴笛聲樣本。緊接著,降噪單元200則對從直播發(fā)布應用軟件錄入的100個原始音頻文件進行噪音過濾,先對于所勾選的嘈雜人聲樣本聲音波形一致的波形進行刪減調節(jié),在經過第一次降噪處理后,再對另一勾選的汽車鳴笛聲樣本執(zhí)行相同的步驟,最終得到最終音頻文件。其中,這是與實施例三相同的串行處理方式,在實施例三也進行如果進行并行的處理方式,在此不再贅述。
最后將得到的最終音頻文件通過輸出單元300傳輸至直播服務器,即能夠讓觀眾得到經過降噪處理的實時直播。
進一步的,還可以通過自定義單元和管理單元進行自定義噪聲樣本的生成和一系列管理操作,在步驟s101中由對于管理操作的詳細介紹,可以參見相關部分,在此不再贅述。
說明書中各個實施例采用遞進的方式描述,每個實施例重點說明的都是與其它實施例的不同之處,各個實施例之間相同相似部分互相參見即可。對于實施例公開的裝置而言,由于其與實施例公開的方法相對應,所以描述的比較簡單,相關之處參見方法部分說明即可。
專業(yè)人員還可以進一步意識到,結合本文中所公開的實施例描述的各示例的單元及算法步驟,能夠以電子硬件、計算機軟件或者二者的結合來實現,為了清楚地說明硬件和軟件的可互換性,在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行,取決于技術方案的特定應用和設計約束條件。專業(yè)技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能,但是這種實現不應認為超出本申請的范圍。
以上對本申請所提供的直播降噪的方法及系統(tǒng)進行了詳細介紹。本文中應用了具體個例對本申請的原理及實施方式進行了闡述,以上實施例的說明只是用于幫助理解本申請的方法及其核心思想。應當指出,對于本技術領域的普通技術人員來說,在不脫離本申請原理的前提下,還可以對本申請進行若干改進和修飾,這些改進和修飾也落入本申請權利要求的保護范圍內。
還需要說明的是,在本說明書中,諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且,術語“包括”、“包含”或者其任何其它變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素,而且還包括沒有明確列出的其它要素,或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括要素的過程、方法、物品或者設備中還存在另外的相同要素。