專利名稱：一種音頻可視化實(shí)現(xiàn)方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信號處理領(lǐng)域，尤指一種基于參數(shù)模型的音頻可視化實(shí)現(xiàn)方法 及裝置。
背景技術(shù)：
音頻可視化，在手持多々某體設(shè)備和PC版本的播放器中已有較為廣泛的應(yīng) 用。例如Windows Media Player， Winamp等常用的音頻播放軟件都可以支持 音頻可視化功能。音頻可視化是指在播放純音頻或音樂播放時，不僅顯示歌曲 歌詞或者其他音頻信息，還會顯示豐富的圖形信息，例如顯示頻語輪廓，變 換的幾何圖形，或者與音樂相關(guān)的跳動圖形等等等。這些顯示一般稱為可視化 效果。
目前，音頻可視化功能的實(shí)現(xiàn)都是基于參數(shù)4莫式的。具體而言，現(xiàn)有音頻 可視化效果的實(shí)現(xiàn)都是基于音頻能量變化的，通過音頻能量的變化控制對應(yīng)的 -現(xiàn)頻畫面的效顯示果。
現(xiàn)有技術(shù)中的音頻可視化效果，其基本實(shí)現(xiàn)原理如圖l所示。對音頻信號 進(jìn)行FFT變換得到頻域信號，對變換得到的頻域信號進(jìn)行頻帶劃分，計算各個 頻帶的能量，根據(jù)得到的各個頻帶的能量值，調(diào)制得到視頻生成模型，利用得 到的視頻生成模型，生成對應(yīng)的視頻文件并顯示。
音樂(音頻)作為與人類共通的情感語言，之所以能撥動人的心弦，生物 物理學(xué)的解釋是聲音由耳神經(jīng)觸傳到大腦中樞神經(jīng)中心，/人而產(chǎn)生人與音樂 聲響的共鳴和共振，并不斷的合上節(jié)拍，表現(xiàn)出情感的訴說與付出。因此，音 樂的節(jié)拍和能量實(shí)質(zhì)是音樂最重要的兩個特征。
本申請發(fā)明人發(fā)現(xiàn)現(xiàn)有的音頻可視化效果都是基于音頻能量變化的，沒有體現(xiàn)出音頻的節(jié)拍信息。因此視頻畫面的變化沒能實(shí)現(xiàn)與音頻信號變化的完美 結(jié)合，即沒能完全體現(xiàn)音頻的特性，未能獲得最佳的可視化效果。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種音頻可視化實(shí)現(xiàn)方法及裝置，解決了現(xiàn)有技術(shù)中音 頻可視化未體現(xiàn)音頻信號節(jié)拍信息的問題，獲得了良好的視頻可視化效果。
一種音頻可視化實(shí)現(xiàn)方法，包括
提取音頻文件中的音頻信號屬性信息，所述屬性信息至少包括音頻信號的 節(jié)拍信息；
根據(jù)所述屬性信息，確定選取的畫面產(chǎn)生模型中畫面元素的變化參數(shù)，生
成與所述音頻文件對應(yīng)的視頻模型；
根據(jù)所述視頻模型生成與所述音頻文件對應(yīng)的視頻文件。 本發(fā)明的上述方法，所述節(jié)拍信息，包括節(jié)拍速率和每個所述節(jié)拍速率
所對應(yīng)的時間段；或
所述節(jié)拍信息包括規(guī)定時間內(nèi)的節(jié)拍數(shù)、以及每拍的起始時間或終止時
間；或
所述節(jié)拍信息包括節(jié)拍速率、每個所述節(jié)拍速率所對應(yīng)的時間段，以及 規(guī)定時間內(nèi)的節(jié)拍數(shù)、以及每拍的起始時間或終止時間。
本發(fā)明的上述方法，根據(jù)所述屬性信息，確定選取的畫面產(chǎn)生模型中畫面 元素的變化參數(shù)，具體包括 選取畫面產(chǎn)生模型；
根據(jù)提取到的所述屬性信息中包含的節(jié)拍信息，確定節(jié)拍速率和每個節(jié)拍 速率所對應(yīng)的時間^:;
根據(jù)所述節(jié)拍速率和對應(yīng)的時間段，確定所述畫面產(chǎn)生模型中包含的畫面 元素在每個所述時間段內(nèi)的變化周期或變化頻率。
根據(jù)本發(fā)明的上述方法，所述屬性信息，還包括音頻信號的能量信息；所述根據(jù)所述屬性信息，確定選取的畫面產(chǎn)生模型中畫面元素的變化參
數(shù)，具體包括
選取畫面產(chǎn)生模型；
根據(jù)提取到的所述屬性信息中包含的節(jié)拍信息，確定節(jié)拍速率和每個節(jié)拍 速率所對應(yīng)的時間段；并根據(jù)所述節(jié)拍速率和對應(yīng)的時間段，確定所述畫面產(chǎn)
根據(jù)提取到的所述能量信息，確定所述畫面產(chǎn)生模型中包含的畫面元素在
每個變化周期內(nèi)的變化幅度。
根據(jù)本發(fā)明的上述方法，所述節(jié)拍信息，還包括各節(jié)拍點(diǎn)所對應(yīng)的時刻； 所述根據(jù)所述屬性信息，確定選取的畫面產(chǎn)生模型中畫面元素的變化參
數(shù)，還包括
根據(jù)所述屬性信息中包含的節(jié)拍信息，確定各節(jié)拍點(diǎn)所對應(yīng)的時刻；以及 確定所述節(jié)拍點(diǎn)所對應(yīng)的時刻為所述畫面元素突變的時刻。 本發(fā)明的上述方法，還包括
在所述各節(jié)拍點(diǎn)所對應(yīng)的時刻，進(jìn)行畫面產(chǎn)生才莫型的切換。 根據(jù)本發(fā)明的上述方法，所述畫面元素，包括至少一種下列元素和/或至少 兩種下列元素的組合點(diǎn)、線、圖形、曲線、設(shè)定形狀的實(shí)體。 一種音頻可視/f匕實(shí)現(xiàn)裝置，包括
信息提取才莫塊，用于提取音頻文件中的音頻信號屬性信息，所述屬性信息 至少包括音頻信號的節(jié)拍信息；
模型生成模塊，用于根據(jù)所述屬性信息，確定選取的畫面產(chǎn)生模型中畫面 元素的變化參數(shù)，生成與所述音頻文件對應(yīng)的一見頻4莫型；
視頻生成模塊，用于根據(jù)所述視頻模型生成與所述音頻文件對應(yīng)的視頻文件。
根據(jù)本發(fā)明的上述裝置，所述模型生成模塊，具體包括 選取單元，用于選取畫面產(chǎn)生模型；第一確定單元，用于根據(jù)提取到的所述屬性信息中包含的節(jié)拍信息，確定
節(jié)拍速率和每個節(jié)拍速率所對應(yīng)的時間^殳；以及才艮據(jù)所述節(jié)拍速率和對應(yīng)的時 間段，確定所述畫面產(chǎn)生模型中包含的畫面元素在每個所述時間段內(nèi)的變化周 期或變化頻率。
根據(jù)本發(fā)明的上述方裝置，所述信息提取模塊提取的所述屬性信息，還包 括音頻信號的能量信息；
所述模型生成才莫塊，還包括
第二確定單元，用于根據(jù)提取到的所述能量信息，確定所述畫面產(chǎn)生模型 中包含的畫面元素在每個變化周期內(nèi)的變化幅度。
根據(jù)本發(fā)明的上述裝置，所述模型生成才莫塊，還包括
變化控制單元，用于根據(jù)所述屬性信息中包含的節(jié)拍信息，確定各節(jié)拍點(diǎn) 所對應(yīng)的時刻；以及確定所述節(jié)拍點(diǎn)所對應(yīng)的時刻為所述畫面元素突變的時 刻。
根據(jù)本發(fā)明的上述裝置，所述變化控制單元，還用于 在所述各節(jié)拍點(diǎn)所對應(yīng)的時刻，執(zhí)行畫面產(chǎn)生模型的切換。 本發(fā)明實(shí)施例提供的音頻可視化實(shí)現(xiàn)方法及裝置，通過提取音頻文件中至 少包括音頻信號的節(jié)拍信息的音頻信號屬性信息；并才艮據(jù)屬性信息，確定選取 的畫面產(chǎn)生模型中畫面元素的變化參數(shù)，生成與音頻文件對應(yīng)的視頻模型；根 據(jù)視頻模型生成與音頻文件對應(yīng)的視頻文件。使得生成的視頻文件能夠很好的 反映音頻文件的節(jié)拍信息，在播放時視頻畫面變化與語音頻節(jié)拍變化能夠很好 的匹配，獲得了良好的視頻可視化效果。


圖1為現(xiàn)有技術(shù)中音頻可視化效果的實(shí)現(xiàn)原理示意圖； 圖2為本發(fā)明實(shí)施例中音頻可朝L化實(shí)現(xiàn)原理示意圖； 圖3為本發(fā)明實(shí)施例中音頻可禍/化實(shí)現(xiàn)方法的流程圖；圖4為本發(fā)明實(shí)施例中音頻可視化裝置的結(jié)構(gòu)示意圖。
具體實(shí)施例方式
本發(fā)明實(shí)施例提供的音頻可視化實(shí)現(xiàn)方法。其原理如圖2所示，通過提取 音頻文件中包含的音頻信號的屬性信息(至少包括對應(yīng)的節(jié)拍信息，還可以包 括音頻信號的能量信息)，確定選取的畫面產(chǎn)生;f莫型中畫面元素的變化參數(shù)， 生成與所述音頻文件對應(yīng)的^L頻模型，根據(jù)生成的一見頻才莫型生成與該音頻文件 對應(yīng)的視頻文件，并在播;改該音頻文件時同步4番;改生成的一見頻文件。
本發(fā)明實(shí)施例提供的音頻可視化實(shí)現(xiàn)方法，其流程如圖3所示，具體執(zhí)行 步驟如下
步驟S101:提取音頻文件對應(yīng)的音頻信號屬性信息。其中，音頻信號的屬 性信息至少包括音頻信號節(jié)拍信息，還可以包括音頻信號能量信息。
根據(jù)音頻文件(音樂)所具有的節(jié)拍特征，可以將音樂分為"勁歌，，"l曼 歌，，等音樂形式。例如快節(jié)奏的Disco、 Hip-Hop舞曲音樂就屬于"快歌"; 而浪漫的情歌等則屬于"慢歌"。上述分類體現(xiàn)了聽眾對音樂速度(Tempo, — 個專業(yè)術(shù)語)層面的需求，而真正用來量化描述音樂速度的卻是BPM( Beats Per Minute,每分鐘的節(jié)拍數(shù))，也就是節(jié)拍速率。
例如當(dāng)音樂的規(guī)定節(jié)拍速率為60BMP時，那么每拍占的時間是每分鐘 的60分之一，也就是一秒，(半拍為二分之一秒)，如果規(guī)定的節(jié)拍速率為 120BMP,那么每一拍占的時間是半秒鐘(半拍是l/4秒)，現(xiàn)在是半秒鐘打一 拍，前面是一秒鐘打一拍，顯然后者要比前者快。所以，節(jié)拍體現(xiàn)了音樂節(jié)奏 的快l曼。
具體而言，節(jié)拍信息包括節(jié)拍速率以及每個節(jié)拍速率所對應(yīng)的時間段； 或包括規(guī)定時間內(nèi)的節(jié)拍數(shù)(例如一分鐘)或每拍的起始時間或終止時間等各
的時間段等)；或者上述節(jié)拍速率和每個節(jié)拍速率所對應(yīng)的時間段，以及規(guī)定時間內(nèi)的節(jié)拍數(shù)(例如一分鐘)或每拍的起始時間或終止時間均包含在節(jié)拍信
息中。節(jié)拍信息還可以包括各節(jié)拍點(diǎn)所對應(yīng)的時刻。
能量信息可以是音頻信號的能量變化情況或音頻信號中每個數(shù)據(jù)幀的能 量大小等各種參數(shù)信息。
提取音頻文件的能量信息和節(jié)拍信息，在現(xiàn)有技術(shù)中有很多中實(shí)現(xiàn)方式。 例如，現(xiàn)有提取音頻信號能量信息的方法可以方便的提取到音頻信號每個數(shù)據(jù) 幀的能量信息以及多個數(shù)據(jù)幀的能量信息的變化規(guī)律等。現(xiàn)有提取節(jié)拍信息的 方法，既能分析出音樂的行進(jìn)速度以及每一拍所出現(xiàn)的時刻，還能夠分辨出其 中的強(qiáng)拍和弱拍。例如采用共振器的方法分析出音樂中可能存在的多個節(jié)拍 速率和每個節(jié)拍速率所出現(xiàn)的時刻，然后結(jié)合音樂知識，最終確定出可能的節(jié)
拍，并分辨出其中的強(qiáng)拍和弱拍。
需要說明的是節(jié)拍信息中包含的各個參數(shù)有時候可以相互轉(zhuǎn)化，也就是 說，當(dāng)提取到某一個節(jié)拍參數(shù)時，可以通過關(guān)系運(yùn)算得到另一個節(jié)拍參數(shù)的值。 同理能量信息中包含的各個參數(shù)有時候可以相互轉(zhuǎn)化的。
由于音頻速率的節(jié)拍信息體現(xiàn)了音樂節(jié)奏的快慢，因此視頻文件要體現(xiàn)音 頻文件的節(jié)拍信息，需要確定音頻文件的節(jié)拍速率。
例如對節(jié)拍信息的提取，可以直接提取節(jié)拍速率；也可以提取規(guī)定時間 內(nèi)的節(jié)拍數(shù)(如1分鐘)或每拍的持續(xù)時間，并計算得到節(jié)拍速率。當(dāng)提取 到音頻文件的節(jié)拍速率為B拍/分鐘時，則可以計算得到每拍的持續(xù)時間是
60/ 75。
步驟S102:選取畫面生成^f莫型。
不同的畫面產(chǎn)生模型，所產(chǎn)生的畫面也不同。如^^莫擬產(chǎn)生噴泉、火焰、風(fēng) 暴等抽象效果的畫面產(chǎn)生模型都是一些音頻可^見化中常用的畫面產(chǎn)生模型，除 此之外，畫面產(chǎn)生模型中畫面的組成元素也可以是點(diǎn)、線、圖形、曲線、或者 其他設(shè)定形狀的實(shí)體等等，也可以是上述圖形與曲線、點(diǎn)與線等任意兩種或多 種的組合。例如三角形、柱狀圖、波形圖等等因此，針對待配置視頻的每一個音頻文件都需要預(yù)先選擇一個或多個畫面 生成模型，從而確定為該音頻文件所配置的一個或多個畫面。
特別的，可以選用已有的畫面生成才莫型，也可以自行設(shè)計畫面生成才莫型， 以更好的體現(xiàn)待配置視頻的音頻文件的風(fēng)格特征。
通常音頻可視化效果的畫面產(chǎn)生模型大致可以分為以下幾種類別 一是顯示跟頻語相關(guān)性很強(qiáng)的圖形，比如柱狀圖，曲線圖或者部分波形圖。 二是顯示完全隨機(jī)的內(nèi)容，每次都不一樣，跟音頻本身也沒有聯(lián)系。 三是部分參數(shù)是隨機(jī)的，比如顏色，而部分參數(shù)是跟音頻的頻譜相關(guān)的，
比如形狀或者幅度等等，這樣圖形可以隨著音樂變化，而又不會太單調(diào)。
步驟S103:根據(jù)提取到的屬性信息，確定選取的畫面產(chǎn)生模型中畫面元素
的變化參數(shù)。具體包括下列兩種情況
(1) 根據(jù)節(jié)拍信息確定畫面產(chǎn)生^f莫型中畫面元素的變化參數(shù)。具體為 根據(jù)上述提取到的音頻信號屬性信息中包含的節(jié)拍信息，確定節(jié)拍速率和
每個節(jié)拍速率所對應(yīng)的時間段。然后再根據(jù)節(jié)拍速率和對應(yīng)的時間段，確定畫 面產(chǎn)生模型中包含的畫面元素在每個時間段內(nèi)的變化周期或變化頻率。
例如視頻模型中的畫面組成元素按照一定的畫面產(chǎn)生模型中規(guī)定的運(yùn)動 變化規(guī)律產(chǎn)生畫面時，各畫面元素的運(yùn)動速度v必須與音樂節(jié)拍速率6 (BMP) 成正比。這樣才能達(dá)到視覺與聽覺的一致性。例如通常所使用的cyclone模 型，就是，旋轉(zhuǎn)線速度v-c。""6。其中，co朋為常數(shù)(constant)。
需要說明的是，變化參數(shù)也可以包括畫面產(chǎn)生模型中各畫面元素對應(yīng)的 2D和/或3D的各種形狀變化參數(shù)，使得生成的可視化圖形具備更多的表現(xiàn)效 果。比如在屏幕上一個到處跳動的小球的跳動方向和速度等。
(2) 根據(jù)節(jié)拍信息和能量信息確定畫面產(chǎn)生模型中畫面元素的變化參數(shù)。 具體為
根據(jù)提取到的音頻信號屬性信息中包含的節(jié)拍信息，確定節(jié)拍速率和每個 節(jié)拍速率所對應(yīng)的時間段；并根據(jù)節(jié)拍速率和對應(yīng)的時間段，確定畫面產(chǎn)生模型中包含的畫面元素在每個時間段內(nèi)的變化周期或變化頻率；以及
根據(jù)提取到的音頻信號能量信息，確定畫面產(chǎn)生模型中包含的畫面元素在 每個變化周期內(nèi)的變化幅度。
除了如(1)中所舉例說明的畫面元素運(yùn)動速度與節(jié)拍速率成正比外，每 個變化周期內(nèi)畫面元素的變化幅度。例如噴泉的的高度變化等等也與音頻信 號的能量信息相關(guān)，例如與能量的大小成正比，等等。
節(jié)拍也是指強(qiáng)拍和弱拍的組合規(guī)律。有很多有強(qiáng)有弱的音，在長度相同的 時間內(nèi)，按照一定的次序反復(fù)出現(xiàn)，形成有規(guī)律的強(qiáng)弱變化。節(jié)拍的"強(qiáng)"與 "弱"變化可以表征各種情感，各種不同風(fēng)格的樂曲。在強(qiáng)拍處(即能量大的 節(jié)拍處)，使變化幅度增大，能夠更好的反應(yīng)音頻的風(fēng)格和情感特征。
特別的，上述根據(jù)屬性信息，確定選取的畫面產(chǎn)生模型中畫面元素的變化 參數(shù)，除了包括(l)、 (2)中所述的確定畫面元素在每個時間段內(nèi)的變化周期 或變化頻率、以及畫面元素在每個變化周期內(nèi)的變化幅度外，還包括在節(jié)拍 點(diǎn)處實(shí)現(xiàn)畫面突變。具體為
根據(jù)屬性信息中包含的節(jié)拍信息，確定各節(jié)拍點(diǎn)所對應(yīng)的時刻；以及確定 節(jié)拍點(diǎn)所對應(yīng)的時刻為畫面元素突變的時刻。
音樂視覺效果的節(jié)拍跟蹤，就是在音樂的節(jié)拍點(diǎn)處，畫面出現(xiàn)具有視覺沖 擊力的變化，在視覺上體現(xiàn)出強(qiáng)拍和弱拍的秩序，在音頻的強(qiáng)拍點(diǎn)上，突出視 覺的變化，在音頻的弱拍上保持原來的運(yùn)動方式，在視覺上對強(qiáng)弱進(jìn)行區(qū)分， 從而可以使視頻更具有可欣賞性，從而獲取更好的視覺效果。
例如通常使用的cyclone模型，通常情況下，每個目標(biāo)個體(particle) 的運(yùn)動都是連續(xù)的，在強(qiáng)拍點(diǎn)，產(chǎn)生一個位移的突變，這樣，整個畫面就有了 一種"舞蹈"效果，這樣能4艮好的強(qiáng)調(diào)出音頻的節(jié)拍。
除此之外，還包括當(dāng)一個音頻文件對應(yīng)選擇了不止一個視頻模型時，在 各節(jié)拍點(diǎn)所對應(yīng)的時刻，進(jìn)行畫面產(chǎn)生模型的切換。
在音樂的節(jié)拍點(diǎn)處，更新畫面模型以及對應(yīng)的各種參數(shù)信息，重新調(diào)制畫面產(chǎn)生模型，產(chǎn)生顏色、運(yùn)動速率、運(yùn)動方向、變化幅度等不相同的畫面。不 僅能降低運(yùn)算的復(fù)雜度，而且使視頻顯示更好的體現(xiàn)出了音樂的節(jié)拍信息。
步驟S104:根據(jù)選取的畫面產(chǎn)生才莫型和確定出的變化參數(shù)，生成與該音頻 文件對應(yīng)的視頻模型。
上述步驟S103確定了選取的畫面產(chǎn)生模型的各種變化參數(shù)后，就可以生 生成對應(yīng)的視頻模型了。視頻模型中包含了視頻畫面的畫面元素及其對應(yīng)的 運(yùn)動變化規(guī)律。如變化幅度、變化周期或變化頻率等，還包括切換時間、 突變時間等等。
例如以三角形為畫面組成元素(particle ),可S見化效果以cyclone才莫型為 基礎(chǔ)演變得到的。Cyclone模型的核心是由6個參考點(diǎn)坐標(biāo)根據(jù)貝塞爾函數(shù)得 到一條曲線，N個particles以擬合曲線為中心由曲線底部螺旋上升到曲線頂點(diǎn)， 旋轉(zhuǎn)半徑遵循由小(底部)到大(頂部)的變化規(guī)律，旋轉(zhuǎn)線速度保持穩(wěn)定。 在視頻模型中，至少要包含該曲線的變化幅度、 一個變化周期的時間長度等， 還可以包括在某些時間點(diǎn)切換成心的變化曲線，以及在某些時間點(diǎn)發(fā)生顯示形 狀的突變等。
步驟S105:根據(jù)視頻模型生成與音頻文件對應(yīng)的視頻文件。
該步驟中實(shí)現(xiàn)根據(jù)視頻模型生成可以使用播放軟件播放的視頻文件。
在播放音頻文件時，同步播放為該音頻文件配置的^f見頻文件，從而取得良
好的視頻可視化效果。
根據(jù)本發(fā)明實(shí)施例的上述音頻可4見化實(shí)現(xiàn)方法，可以構(gòu)建一種音頻可視/f匕
實(shí)現(xiàn)裝置，如圖4所示，包括信息提取模塊ll、模型生成模塊12和視頻生
成模塊13。
信息提取模塊ll，用于提取音頻文件中的音頻信號屬性信息，其中，屬性 信息至少包括音頻信號的節(jié)拍信息。
模型生成模塊12,用于根據(jù)信息提^f莫塊ll提取到的屬性信息，確定選 取的畫面產(chǎn)生模型中畫面元素的變化參數(shù)，生成與該音頻文件對應(yīng)的視頻模型。
較佳的，模型生成模塊12，進(jìn)一步可以包括選取單元121和第一確定單 元122。
選取單元121,用于選取畫面產(chǎn)生才莫型。
第一確定單元122,用于根據(jù)信息提^Mt塊11提取到的屬性信息中包含的 節(jié)拍信息，確定節(jié)拍速率和每個節(jié)拍速率所對應(yīng)的時間段；以及根據(jù)確定出的 節(jié)拍速率和對應(yīng)的時間段，確定選取的畫面產(chǎn)生才莫型中包含的畫面元素在每個 時間段內(nèi)的變化周期或變化頻率。
特別的，信息提^Mt塊11提取的屬性信息，還包括音頻信號的能量信息。
模型生成模塊12，進(jìn)一步還包括第二確定單元123，用于根據(jù)信息提取 模塊11提取到的能量信息，確定畫面產(chǎn)生模型中包含的畫面元素在每個變化 周期內(nèi)的變化幅度。
特別的，模型生成模塊12,還包括變化控制單元124,用于根據(jù)信息提 取模塊11屬性信息中包含的節(jié)拍信息，確定各節(jié)拍點(diǎn)所對應(yīng)的時刻；以及確 定各節(jié)拍點(diǎn)所對應(yīng)的時刻為畫面元素突變的時刻。
變化控制單元124，還用于在所述各節(jié)拍點(diǎn)所對應(yīng)的時刻，執(zhí)行不同畫 面產(chǎn)生模型的切換。
視頻生成模塊13，用于根據(jù)模型生成模塊12生成的視頻模型生成與該音 頻文件對應(yīng)的一見頻文件。
本發(fā)明實(shí)施例的上述音頻可視化實(shí)現(xiàn)方法及裝置，提取音頻文件中的音頻 信號屬性信息，根據(jù)屬性信息中包含的節(jié)拍信息，確定選取的畫面產(chǎn)生it型中 畫面元素的變化參數(shù)，生成與音頻文件對應(yīng)的3見頻模型；并根據(jù)視頻模型生成 與音頻文件對應(yīng)的4見頻文件。使得生成的視頻文件能夠4艮好的反映音頻文件的 節(jié)拍信息，在播放時視頻畫面變化與語音頻節(jié)拍變化能夠很好的匹配，獲得了 良好的一見頻可視/f匕效果。以及根據(jù)根據(jù)屬性信息中包含的節(jié)拍信息和能量信息，共同確定選取的畫 面產(chǎn)生才莫型中畫面元素的變4匕參數(shù)，利用#見頻畫面的畫面組成元素的運(yùn)動速
度，運(yùn)動軌跡，元素形狀，及元素數(shù)量等各種參^:的變化體現(xiàn)音頻能量信息和 節(jié)拍信息的改變，從而使聲音的美學(xué)在物理層面變的可見。其中，畫面組成元 素的運(yùn)動速度，運(yùn)動軌跡，形狀變化和元素數(shù)目都是基于一定的參數(shù)才莫型的， 利用音頻的能量信息和節(jié)拍信息作為參數(shù)，去調(diào)制畫面產(chǎn)生模型，從而產(chǎn)生出 各種隨音頻能量和節(jié)拍變化而變化的音樂視覺效果。使得生成的視頻文件能夠 更好的反映音頻信號的特征，在播放時視頻畫面變化與語音頻特征變化的更完 美的匹配，獲得了更好好的視頻可視化效果。
以上所述，僅為本發(fā)明較佳的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局 限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易 想到的變化、替換或應(yīng)用到其他類似的裝置，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之 內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1、一種音頻可視化實(shí)現(xiàn)方法，其特征在于，包括提取音頻文件中的音頻信號屬性信息，所述屬性信息至少包括音頻信號的節(jié)拍信息；根據(jù)所述屬性信息，確定選取的畫面產(chǎn)生模型中畫面元素的變化參數(shù)，生成與所述音頻文件對應(yīng)的視頻模型；根據(jù)所述視頻模型生成與所述音頻文件對應(yīng)的視頻文件。
2、 如權(quán)利要求1所述的方法，其特征在于，所述節(jié)拍信息，包括節(jié)拍 速率和每個所述節(jié)拍速率所對應(yīng)的時間段；或所述節(jié)拍信息包括規(guī)定時間內(nèi)的節(jié)拍數(shù)、以及每拍的起始時間或終止時 間；或所述節(jié)拍信息包括節(jié)拍速率、每個所述節(jié)拍速率所對應(yīng)的時間段，以及 規(guī)定時間內(nèi)的節(jié)拍數(shù)、以及每拍的起始時間或終止時間。
3、 如權(quán)利要求2所述的方法，其特征在于，根據(jù)所述屬性信息，確定選 取的畫面產(chǎn)生模型中畫面元素的變化參數(shù)，具體包括選取畫面產(chǎn)生模型；根據(jù)提取到的所述屬性信息中包含的節(jié)拍信息，確定節(jié)拍速率和每個節(jié)拍 速率所對應(yīng)的時間_度；根據(jù)所述節(jié)拍速率和對應(yīng)的時間段，確定所述畫面產(chǎn)生模型中包含的畫面 元素在每個所述時間_險內(nèi)的變化周期或變化頻率。
4、 如權(quán)利要求2所述的方法，其特征在于，所述屬性信息，還包括音 頻信號的能量信息；所述根據(jù)所述屬性信息，確定選取的畫面產(chǎn)生模型中畫面元素的變化參 數(shù)，具體包括選取畫面產(chǎn)生模型；根據(jù)提取到的所述屬性信息中包含的節(jié)拍信息，確定節(jié)拍速率和每個節(jié)拍速率所對應(yīng)的時間段；并根據(jù)所述節(jié)拍速率和對應(yīng)的時間段，確定所述畫面產(chǎn)根據(jù)提取到的所述能量信息，確定所述畫面產(chǎn)生模型中包含的畫面元素在 每個變化周期內(nèi)的變化幅度。
5、 如權(quán)利要求3或4所述的方法，其特征在于，所述節(jié)拍信息，還包括 各節(jié)拍點(diǎn)所對應(yīng)的時刻；所述根據(jù)所述屬性信息，確定選取的畫面產(chǎn)生模型中畫面元素的變化參 數(shù)，還包括根據(jù)所述屬性信息中包含的節(jié)拍信息，確定各節(jié)拍點(diǎn)所對應(yīng)的時刻；以及 確定所述節(jié)拍點(diǎn)所對應(yīng)的時刻為所述畫面元素突變的時刻。
6、 如權(quán)利要求5所述的方法，其特征在于，還包括 在所述各節(jié)拍點(diǎn)所對應(yīng)的時刻，進(jìn)行畫面產(chǎn)生模型的切換。
7、 如權(quán)利要求1-4任一所述的方法，其特征在于，所述畫面元素，包括 至少一種下列元素和/或至少兩種下列元素的組合點(diǎn)、線、圖形、曲線、設(shè)定 形狀的實(shí)體。
8、 一種音頻可視化實(shí)現(xiàn)裝置，其特征在于，包括信息提取模塊，用于提取音頻文件中的音頻信號屬性信息，所述屬性信息 至少包括音頻信號的節(jié)拍信息；模型生成模塊，用于根據(jù)所述屬性信息，確定選取的畫面產(chǎn)生模型中畫面 元素的變化參數(shù)，生成與所述音頻文件對應(yīng)的^1J^莫型；視頻生成模塊，用于根據(jù)所述視頻模型生成與所述音頻文件對應(yīng)的視頻文件。
9、 如權(quán)利要求8所述的裝置，其特征在于，所述模型生成模塊，具體包括選取單元，用于選取畫面產(chǎn)生模型；第一確定單元，用于根據(jù)提取到的所述屬性信息中包含的節(jié)拍信息，確定節(jié)拍速率和每個節(jié)拍速率所對應(yīng)的時間段；以及根據(jù)所述節(jié)拍速率和對應(yīng)的時 間段，確定所述畫面產(chǎn)生模型中包含的畫面元素在每個所述時間段內(nèi)的變化周 期或變化頻率。
10、 如權(quán)利要求9所述的裝置，其特征在于，所述信息提取模塊提取的所 述屬性信息，還包括音頻信號的能量信息；所述模型生成模塊，還包括第二確定單元，用于根據(jù)提取到的所述能量信息，確定所述畫面產(chǎn)生模型 中包含的畫面元素在每個變化周期內(nèi)的變化幅度。
11、 如權(quán)利要求9或10所述的裝置，其特征在于，所述模型生成模塊， 還包括變化控制單元，用于根據(jù)所述屬性信息中包含的節(jié)拍信息，確定各節(jié)拍點(diǎn) 所對應(yīng)的時刻；以及確定所述節(jié)拍點(diǎn)所對應(yīng)的時刻為所述畫面元素突變的時 刻。
12、 如權(quán)利要求11所述的裝置，其特征在于，所述變化控制單元，還用于在所述各節(jié)拍點(diǎn)所對應(yīng)的時刻，執(zhí)行畫面產(chǎn)生模型的切換。
全文摘要
本發(fā)明公開了一種音頻可視化實(shí)現(xiàn)方法，該方法包括提取音頻文件中的音頻信號屬性信息，所述屬性信息至少包括音頻信號的節(jié)拍信息；根據(jù)所述屬性信息，確定選取的畫面產(chǎn)生模型中畫面元素的變化參數(shù)，生成與所述音頻文件對應(yīng)的視頻模型；根據(jù)所述視頻模型生成與所述音頻文件對應(yīng)的視頻文件。上述方法所生成的視頻文件能夠很好的反映音頻文件的節(jié)拍信息，獲得了良好的視頻可視化效果。
文檔編號G10L15/00GK101577114SQ20091008669
公開日2009年11月11日 申請日期2009年6月18日 優(yōu)先權(quán)日2009年6月18日
發(fā)明者磊 徐, 王簫程 申請人:北京中星微電子有限公司