專利名稱：：基于視頻分割技術的流媒體分發(fā)和用戶vcr操作方法
技術領域：
：本發(fā)明屬于網絡流媒體
技術領域：
，具體涉及流媒體的分發(fā)和用戶的VCR操作方法。技術背景伴隨著網絡技術的發(fā)展和普及，網絡上的資源越來越豐富，它們改變著人們的生活方式，網絡流媒體就是其中一個重要的方面。在傳統(tǒng)的模式下，人們收看視頻節(jié)目依賴于電視臺的推入，是一種被動的收看模式；而網絡流媒體允許用戶自主的選擇節(jié)目，并且提供快進、快退等操作(即VCR操作)滿足用戶的需求。但是，現今的系統(tǒng)存在兩個主要問題一是，過多的VCR操作將會加重系統(tǒng)的負擔，無論是傳統(tǒng)的服務器一-客戶端模式，還是現在流行的點對點模式；另一方面，現今的VCR操作只是簡單地提供2倍速，4倍速或者8倍速等操作模式，這讓用戶很難迅速找到他們感興趣的部分。
發(fā)明內容本發(fā)明的目的在于提出一種不增加系統(tǒng)負擔，而讓用戶迅速找到感興趣的節(jié)目的流媒體分發(fā)方式和用戶VCR操作方法。本發(fā)明提出的流媒體分發(fā)方式和用戶VCR操作，首先使用視頻分割技術對視頻數據進行預處理，將得到的鏡頭和場景分割結果用于流媒體的分發(fā)和用戶的VCR操作，以減輕系統(tǒng)的負擔并且滿足用戶的需求。系統(tǒng)的框架如圖1所示。視頻分割技術是本發(fā)明的基礎，它的流程如圖2所示。視頻是由幀、鏡頭和場景按照從低到高的層次結構組成。幀，是組成視頻的最小單位，它是傳統(tǒng)的媒體分發(fā)以及用戶進行VCR操作(包含播放、停止、暫定、快進和快退等)的單位。對于一般的視頻數據，它們的速率為25-30幀每秒，因此幀的數量十分巨大，增加了系統(tǒng)的處理壓力。鏡頭，是由一個相機動作(如開/關)中的連續(xù)幀組成，它包含了一致的背景或者物體特定的活動。在鏡頭分割模塊中，本發(fā)明采用通用算法[1]，首先計算每一幀在HSV(Hue-Saturation-Yalue)顏色空間內的192維直方圖，然后得到它們的均值和方差，當超過某一閾值時，判定存在一個鏡頭。在系統(tǒng)中，我們用關鍵幀表示鏡頭，并用鏡頭為單位組織視頻，這樣我們在保留視頻信息的同時，降低了系統(tǒng)的計算負擔。場景，是由一組語義相關的鏡頭組成，它是視頻結構中的語義單元。因此，基于場景的分割，將為用戶提供基于視頻語義的理解。在場景分割模塊中，本發(fā)明根據已經提出的算法[2]，首先利用流形學習的理論，自動的發(fā)掘視頻的結構特征，而非依賴某些視頻結構的先驗知識，這保證了算法在各種類型的視頻上都有好的表現。然后，根據已經得到的視頻結構特征，利用馬爾科夫鏈蒙特卡羅方法動態(tài)地進行模擬采樣，尋找場景邊界的最大后驗概率分布，完成場景的自動分割。通過以上兩步對視頻數據的預處理，就可以得到鏡頭和場景分割的結果，它們提供了對視頻數據不同層次的理解，將極大地方便流媒體的分發(fā)和用戶的操作。表l的結果反映了視頻數據不同層次結構的時間特性。本發(fā)明的系統(tǒng)拓撲如圖3所示，各個部分所完成的功能如下主干網絡主干網路15實現接入網間網絡的互連。接入網接入主干網絡的帶寬較昂貴，如果視頻服務器位于主干網絡中，即使服務器帶寬滿足，接入網接入帶寬的接入帶寬也會成為瓶頸。小區(qū)駐地網絡通過網關路由器16接入主干網。接入網內用戶具有較高的接入帶寬——10/100M，終端數目約為2000~10000。媒體服務器媒體服務器17具有海量的硬盤空間和較高的處理速度，擁有所有的視頻資源，包括VoD視頻和IPTV源。在添加新的視頻資源時，需要對視頻進行如前描述的預處理。在服務過程中，還要處理所有用戶的視頻請求，保存整個系統(tǒng)的視頻內容索引，告知每個請求的用戶獲取資源的方式。用戶節(jié)點邊緣服務器以下的用戶節(jié)18點采用P2P的工作方式，節(jié)目源由媒體服務器提供。每個采用P2P工作方式的節(jié)點都要提供其上行帶寬，把自己緩沖區(qū)中傳送給所需要的其他節(jié)點。流媒體系統(tǒng)P2P分發(fā)方式和VCR操作的實現方法如下(1)整個系統(tǒng)在初始化階段時，媒體服務器上保存有視頻資源，并進行預處理。所謂預處理就是利用以上提到的場景、鏡頭分割技術在服務器端對視頻進行處理，得到場景和鏡頭的邊界，提取場景和鏡頭的關鍵幀，單獨保存在一個關鍵幀文件中，此文件比源文件小很多。該關鍵幀文件的結構是按照影片的播放順序保存各個場景的關鍵幀，而每個場景又和若干個鏡頭的關鍵幀對應。流媒體VCR分發(fā)與傳統(tǒng)的分發(fā)方式不同，不僅要傳輸視頻源文件，還要分發(fā)給用戶的關鍵幀文件。(2)當新用戶加入系統(tǒng)準備觀看時，首先向服務器發(fā)出視頻請求，該請求包括所請求視頻的編號。服務器對該請求進行響應，確認包含所需的該視頻正常播放文件和關鍵幀文件的節(jié)點存在。如有其他用戶節(jié)點擁有該視頻的文件，通知擁有節(jié)點將正常播放文件部分塊或者關鍵幀文件中的場景索引部分發(fā)送給請求節(jié)點。擁有節(jié)點可以是單個節(jié)點也可以是多個節(jié)點，但需保證不發(fā)送重復的塊。如沒有其他用戶節(jié)點包含這些塊，服務器直接對請求用戶提供服務(3)當用戶連入系統(tǒng)后，系統(tǒng)提供獨特的操作界面，它除了包含傳統(tǒng)的播放、暫停、停止等VCR操作方式外，還包括基于場景關鍵幀的直接訪問和基于鏡頭關鍵幀的快進/快退瀏覽。上述操作都是建立在視頻預處理的基礎上的。在操作面板上設置有一個該段視頻的場景索引，點擊某一場景的索引號，可以看到該場景的代表幀，根據代表幀的內容，用戶可以決定是否從該場景繼續(xù)觀看節(jié)目，如果不感興趣，則可以繼續(xù)在場景索引列表中選擇。由于場景是視頻的語義單元，因此它能更快地幫助用戶尋找視頻中令他們感興趣的部分。系統(tǒng)提供的基于鏡頭的快進/快退操作，方便用戶在某一場景內更快地找到感興趣的部分，因為在預處理的過程中，場景是由若干幀圖像表示，因此用戶只需點擊若干次快進或快退按鈕，就可以在一個場景內快速的瀏覽。由于場景和鏡頭都屬于視頻的高級結構，所以由它們構成的索引文件數據量小，可以伴隨著最初的視頻流載入客戶本地的機器，在方便用戶操作的同時極大減輕了網絡的負擔。(4)用戶在獲得關鍵幀文件中的場景索引部分后，可以在播放器中顯示各個場景的關鍵幀，根據觀看興趣可以選擇跳至某些場景。這時用戶會產生新的讀取請求，發(fā)至服務器端。服務器對該請求進行響應，確認包含所需的該視頻正常播放文件的節(jié)點存在。如有其他用戶節(jié)點擁有該視頻的文件，通知擁有節(jié)點將正常播放文件所需部分塊發(fā)送給請求節(jié)點。如沒有其他用戶節(jié)點包含這些塊，服務器直接對請求用戶提供服務。(5)當用戶在觀看過程中，使用基于鏡頭的快進/快退功能時，服務器對該請求進行響應，確認包含所需的該視頻關鍵幀文件塊的節(jié)點存在。如有其他用戶節(jié)點擁有該視頻的關鍵幀文件塊，通知擁有節(jié)點將關鍵幀文件所需部分塊發(fā)送給請求節(jié)點。如沒有其他用戶節(jié)點包含這些塊，服務器直接對請求用戶提供服務。本發(fā)明中，客戶端正常播放視頻和關鍵幀文件的方式如圖5所示，它包括兩種緩存機制，鏡頭關鍵幀緩存(SKF)和正常播放緩存(NPB)。在播放正常播放緩存中的文件時，播放將按照正常的速率播放；播放鏡頭關鍵幀緩存中的文件時，如果是鏡頭關鍵幀的快進或快退操作時，將按照實現設置好的播放速度瀏覽，例如2幀/秒(如圖6所示)。視頻索引文件也保存在鏡頭關鍵幀緩存中，提供場景的關鍵幀預覽和跳轉的索引信息。傳統(tǒng)的VCR快進/快退方式只是按照預置的速度向前或向后快速播放，在流媒體系統(tǒng)中這種操作會產生較大量的網絡流量，服務器需要發(fā)送幾倍于正常播放的流量大客戶端?，F在一般會采用步進/步退的VCR播放方式，按照一定的播放速率跳幀播放視頻，這樣就會大大減小服務器和客戶端之間的流量。但是如果這個速率過大，會造成用戶對于瀏覽過的視頻的理解度降低，無法很好選擇其所需要的場景；如果速率過低，仍會造成網絡的巨大負擔和服務器的計算能力開銷。采用基于鏡頭關鍵幀的快進/快退，可以保證用戶通過瀏覽關鍵幀獲得對視頻主要內容的了解情況下的網絡較低的負載。圖l為系統(tǒng)框架圖。圖2為視頻分割流程圖。圖3為系統(tǒng)架構拓撲圖。圖4為流媒體的VCR操作的P2P分發(fā)方式。圖5為緩存管理。圖6為關鍵幀的處理流程。圖中標號l為服務器節(jié)點，2為分發(fā)網絡，3為客戶端節(jié)點，4為視頻源，5為分割后的視頻，6為關鍵幀文件，7為點對點的分發(fā)方式，8為父結點選擇，9為媒體播放器，10為媒體服務器，11為視頻流，12為鏡頭分割模塊，此模塊通過比較HSV顏色空間內的顏色直方圖進行鏡頭分割，13為場景結構分析模塊，利用流形學習理論，進行場景結構計算，14為場景分割模塊，利用馬爾可夫鏈蒙特卡羅方法進行場景分割，15為主干網絡，16為小區(qū)網關路由器，17為媒體服務器，18為小區(qū)用戶節(jié)點，19為服務器，20為節(jié)點A，21為節(jié)點B，22為節(jié)點C，23為服務器上的視頻源文件，24為服務器上的關鍵幀文件，25為節(jié)點A上的正常播放緩存，26為節(jié)點A上的關鍵幀播放緩存，27為節(jié)點B上的正常播放緩存，28為節(jié)點B上的關鍵幀播放緩存，29為節(jié)點C上的正常播放緩存，30為節(jié)點C上的關鍵幀播放緩存，31為節(jié)點C向服務器發(fā)出鏡頭快進請求，32為服務器對請求的響應，33為節(jié)點C向節(jié)點A發(fā)出關鍵幀文件請求，34為節(jié)點A向節(jié)點C發(fā)送關鍵幀文件塊S2，35為節(jié)點的播放緩存，36為正常播放緩存，37為播放時間軸，38為關鍵幀快進開始的時間，39為視頻源文件塊，40為網絡傳輸，41為關鍵幀播放緩存，42為解碼，43為鏡頭關鍵幀，44為視頻播放，45為視頻播放器。具體實施方式下面通過一個例子進一步描述本發(fā)明。以圖4中的情況為例，節(jié)點C(圖4-22)是新加入系統(tǒng)的節(jié)點，系統(tǒng)中已經存在節(jié)點A(圖4-20)和B(圖4-21)，他們和節(jié)點C具有相同的請求興趣。1、系統(tǒng)首先進行初始化，媒體服務器(圖4-19)上保存有視頻資源(圖4-23)，并進行預處理，生成關鍵幀文件(圖4-24)。2、新用戶節(jié)點C加入系統(tǒng)準備觀看時，首先向服務器發(fā)出視頻請求(圖4-31)。服務器對該請求進行響應(圖4-32)并傳送索引文件SI(圖4-30)。節(jié)點C在獲得關鍵幀文件中的場景索引部分后，可以在播放器中顯示各個場景的關鍵幀，根據觀看興趣可以選擇跳至某些場景。3、開始正常播放時，節(jié)點C把收到的視頻內容保存在正常播放緩存(圖4-29)中。4、當節(jié)點C正常播放完塊16后，發(fā)起快進請求，需要播放關鍵幀文件塊S2。用戶節(jié)點A擁有節(jié)點C請求的視頻的文件塊S2，服務器通知節(jié)點A為節(jié)點C服務，正常播放時，節(jié)點C向節(jié)點A發(fā)出塊S2的請求(圖4-33)，節(jié)點A相應該請求并傳送塊S2。否則服務器可以直接對請求用戶提供服務。5、再如節(jié)點A發(fā)起快進操作，需要關鍵幀文件塊S3時，擁有S3的節(jié)點B向節(jié)點A發(fā)送塊S3。6、節(jié)點C正常播放視頻和關鍵幀文件的緩存管理如圖5所示。播放完正常播放緩存中塊7之后(圖5-38)，播放鏡頭關鍵幀緩存中的S2和S3，當VCR請求結束時，從正常播放緩存中又開始正常播放源文件。在播放正常播放緩存中的文件(圖5-36)時，播放將按照正常的速率播放；播放鏡頭關鍵幀緩存中的文件時，將按照實現設置好的播放速度瀏覽，例如2幀/秒(如圖6-45所示)。視頻索引文件也保存在鏡頭關鍵幀緩存中，提供場景的關鍵幀預覽和跳轉的索引信息。表1視頻統(tǒng)計信息<table>tableseeoriginaldocumentpage8</column></row><table>[1]HongJiangZhang,PhilippeAigrainandDragutinPetkovic，"RepresentationandRetrievalofVideoDatainMultimediaSystems",Publisher:Springer(January31,1997)[2]張振原，路紅，"一種基于視頻結構的場景分割方法"，中國圖象圖形學報，2007年10月權利要求1、一種基于視頻分割技術的流媒體分發(fā)和用戶VCR操作方法，在系統(tǒng)中，用關鍵幀表示鏡頭，并用鏡頭為單位組織視頻，其特征在于具體步驟如下(1)在初始化階段時，媒體服務器上保存有視頻資源，并進行預處理，所謂預處理就是利用場景分割和鏡頭分割技術在服務器端對視頻進行處理，得到場景和鏡頭的邊界，提取場景和鏡頭的關鍵幀，單獨保存在一個關鍵幀文件中；該關鍵幀文件的結構是按照影片的播放順序保存各個場景的關鍵幀，每個場景又和若干個鏡頭的關鍵幀對應；(2)當新用戶加入系統(tǒng)準備觀看時，首先向服務器發(fā)出視頻請求，該請求包括所請求視頻的編號；服務器對該請求進行響應，確認包含所需的該視頻正常播放文件和關鍵幀文件的節(jié)點存在；如有其他用戶節(jié)點擁有該視頻的文件，通知擁有節(jié)點將正常播放文件部分塊或者關鍵幀文件中的場景索引部分發(fā)送給請求節(jié)點；擁有節(jié)點是單個節(jié)點或者是多個節(jié)點，但需保證不發(fā)送重復的塊；如沒有其他用戶節(jié)點包含這些塊，服務器直接對請求用戶提供服務；(3)當用戶連入系統(tǒng)后，系統(tǒng)提供獨特的操作界面，它除了包含傳統(tǒng)的播放、暫停、停止的VCR操作方式外，還包括基于場景關鍵幀的直接訪問和基于鏡頭關鍵幀的快進/快退瀏覽；在操作面板上設置有一個該段視頻的場景索引，點擊某一場景的索引號，可以看到該場景的代表幀，根據代表幀的內容，用戶可以決定是否從該場景繼續(xù)觀看節(jié)目，如果不感興趣，則可以繼續(xù)在場景索引列表中選擇；(4)用戶在獲得關鍵幀文件中的場景索引部分后，在播放器中顯示各個場景的關鍵幀，根據觀看興趣選擇跳至某些場景；這時用戶會產生新的讀取請求，發(fā)至服務器端；服務器對該請求進行響應，確認包含所需的該視頻正常播放文件的節(jié)點存在；如有其他用戶節(jié)點擁有該視頻的文件，通知擁有節(jié)點將正常播放文件所需部分塊發(fā)送給請求節(jié)點；如沒有其他用戶節(jié)點包含這些塊，服務器直接對請求用戶提供服務。(5)當用戶在觀看過程中，使用基于鏡頭的快進/快退功能時，服務器對該請求進行響應，確認包含所需的該視頻關鍵幀文件塊的節(jié)點存在；如有其他用戶節(jié)點擁有該視頻的關鍵幀文件塊，通知擁有節(jié)點將關鍵幀文件所需部分塊發(fā)送給請求節(jié)點；如沒有其他用戶節(jié)點包含這些塊，服務器直接對請求用戶提供服務。2、根據權利要求1所述的基于視頻分割技術的流媒體分發(fā)和用戶VCR操作方法，其特征在于所述的鏡頭分割技術，其步驟為首先計算每一幀在HSV顏色空間內的192維直方圖，然后得到它們的均值和方差，當超過某一閾值時，判定存在一個鏡頭。3、根據權利要求1所述的基于視頻分割技術的流媒體分發(fā)和用戶VCR操作方法，其特征在于所述的場景分割技術，其步驟為首先利用流形學習的理論，自動的發(fā)掘視頻的結構特征，然后，根據已經得到的視頻結構特征，利用馬爾科夫鏈蒙特卡羅方法動態(tài)地進行模擬采樣，尋找場景邊界的最大后驗概率分布，完成場景的自動分割。全文摘要本發(fā)明屬于網絡流媒體
技術領域：
，具體為一種基于視頻分割技術的流媒體分發(fā)方式和用戶VCR操作。本發(fā)明提出的流媒體分發(fā)方式和用戶VCR操作(包含播放、停止、暫定、快進和快退等)都依賴于視頻分割技術，包括如下兩個方面的內容一是改變傳統(tǒng)的以視頻幀單位的視頻分發(fā)模式；二是提供新的快進和快退操作，不再是簡單的2倍速，4倍速或8倍速等模式，而是根據視頻分割的結果，提供給用戶基于鏡頭和場景的快進或快退操作，這都將極大地方便用戶的使用。文檔編號H04N7/173GK101257615SQ20071004740公開日2008年9月3日申請日期2007年10月25日優(yōu)先權日2007年10月25日發(fā)明者張振原,新王,薛向陽,紅路,鄭常熠申請人:復旦大學