專利名稱：一種移動可視設(shè)備自適應(yīng)顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，尤其涉及一種移動可視設(shè)備自適應(yīng)顯示方法。
背景技術(shù)：
在我們的日常生活中，越來越多的信息資源由可視的內(nèi)容來表征和傳播，在網(wǎng)絡(luò)內(nèi)容自適應(yīng)中我們需要考慮的一個要點就是讓圖像這一主要的可視媒體形式能夠自動適應(yīng)不同的客戶端環(huán)境。除傳統(tǒng)的個人電腦以外的許多設(shè)備對多媒體資源的使用越來越多，例如wcbTV、移動電話、掌上電腦及智能手機等。特別是隨著內(nèi)置攝像頭的移動設(shè)備的使用和移動博客(moblogging)的興起，多媒體內(nèi)容，包括圖像，視頻在移動設(shè)備上的使用越來越廣泛。但是對于大多數(shù)移動設(shè)備，它們顯示屏幕小，存儲空間有限，計算能力弱。網(wǎng)絡(luò)帶寬窄，這就需要有專門適合其應(yīng)用環(huán)境的多媒體內(nèi)容。另外，不同的用戶有不同興趣偏好。對于多媒體信息的發(fā)布者來說，提供適合各種設(shè)備顯示及符合個人興趣的不同版本的內(nèi)容，其工作量非常大。這就要求研究新的內(nèi)容自適應(yīng)轉(zhuǎn)換和傳輸?shù)南到y(tǒng)和技術(shù)，來滿足復(fù)雜的客戶端環(huán)境，并提供最好的瀏覽體驗。盡管已經(jīng)有很多種圖像自適應(yīng)的研究方案和方法，但目前的研究主要集中在對多媒體內(nèi)容的壓縮及緩沖以減少數(shù)據(jù)傳輸量、獲得更快的傳輸速度上，而對于在小屏幕上人的視覺觀感則很少見考慮。而移動設(shè)備的有限顯示屏幕正逐漸成為限制其獲取網(wǎng)絡(luò)信息的最主要瓶頸限制。目前，對視頻自適應(yīng)顯示的研究主要集中在視頻的壓縮和緩存方面，對于顯示面積的約束考慮得很少。而且對于可供移動設(shè)備所訪問的視頻資源與圖像不同，多數(shù)已經(jīng)經(jīng)過很好的編輯，不過我們注意到一些拍攝比較隨意的視頻，例如家庭錄像、監(jiān)測視頻等等在移動設(shè)備上有越來越廣泛的應(yīng)用，對于返一類視頻，有可能同時也有針對不同的顯示條件作自適應(yīng)的優(yōu)化需求。在實際應(yīng)用中，目前的研究主要集中在對多媒體內(nèi)容的壓縮及緩沖以減少數(shù)據(jù)傳輸量、獲得更快的傳輸速度上，而對于在小屏幕上人的視覺觀感則很少見考慮。移動設(shè)備的有限顯示屏幕成為限制其獲取網(wǎng)絡(luò)信息的最主要瓶頸限制。因此，有必要提供一種移動可視設(shè)備自適應(yīng)顯示方法來解決上述缺陷。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種移動可視設(shè)備自適應(yīng)顯示方法，能夠?qū)⒂脩舾信d趣的內(nèi)容放大顯示，而放大顯示后.感興趣的區(qū)域以較高的分辨率顯示，有更好的觀感，實現(xiàn)小屏幕移動設(shè)備的自適應(yīng)顯示。為了解決上述問題，本發(fā)明提出了一種移動可視設(shè)備自適應(yīng)顯示方法，所述方法包括步驟I :對輸入的高分辨率視頻流進行解碼；步驟2 :感興趣區(qū)域提取，檢測視頻幀中的感興趣區(qū)域，然后用虛擬鏡頭控制來調(diào)整區(qū)域邊界，從解碼得到的視頻序列中裁剪出感興趣區(qū)域，組成一個新的低分辨率視頻序列；步驟3 :快速轉(zhuǎn)碼，分別將解碼后的高分辨率視頻流以及所提取的感興趣區(qū)域轉(zhuǎn)換成滿足顯示屏尺寸的低分辨率視頻流并發(fā)送給用戶。較佳地，所述步驟3的快速轉(zhuǎn)碼過程包括步驟31 :運動矢量調(diào)整，修正不同幀中的感興趣區(qū)域不同造成的運動信息錯誤；步驟32 :快速模式選擇，利用原碼流中的運動信息，采用快速模式選擇算法加速編碼；步驟33 :運動矢量插值，對沒有運動信息的宏塊，通過其周圍運動信息進行插值以計算所述宏塊的運動矢量。 較佳地，在所述步驟32快速模式選擇時，每個宏塊包括16個4x4的小塊，每個小塊對應(yīng)有運動矢量，通過快速模式選擇算法加速編碼的步驟包括步驟321 :步驟將一個宏塊內(nèi)的運動矢量相同的分為一組；步驟322:統(tǒng)計各組相同運動矢量的個數(shù)并找出具有最多運動矢量的組，該組的運動矢量為表示為MVmax,個數(shù)為Nmax ;步驟323 :如果Nmax大于8，則該宏塊的模式設(shè)定為16x16，運動矢量即MVmax，跳到步驟326 ;步驟324 :如果Nmax小于或等于8，進一步分析如果該宏塊上半部分和下半部分的8個運動矢量分別相等，則該模式為16x8 ;如果左右兩部分相等，則模式為8x16 ;宏塊所有運動矢量保持不變，跳到步驟6 ;步驟325 :如果上述條件均不滿足，則判定模式為PSx8，需要分別對四個8x8的塊進行運動估計和模式選擇；步驟326 :執(zhí)行變換，量化、熵編碼。較佳地，所述感興趣區(qū)域的所提取的特征對象包括運動分量、人臉、文本、顯著度。利用本發(fā)明實施例的移動可視設(shè)備自適應(yīng)顯示方法，用戶可以看到視頻中感興趣區(qū)域的放大顯示，比如說，視頻中出現(xiàn)的含有人臉的區(qū)域或含有文字的段落。因為在小屏幕上很可能由于過于縮小而看不清楚其中的內(nèi)容，而放大顯示后.感興趣的區(qū)域以較高的分辨率顯示，有更好的觀感，可以實現(xiàn)小屏幕移動設(shè)備的自適應(yīng)顯示。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其它的附圖。圖I是本發(fā)明的移動可視設(shè)備自適應(yīng)顯示方法的流程示意圖；圖2是本發(fā)明實施例的移動可視設(shè)備自適應(yīng)顯示方法的原理示意圖；圖3是應(yīng)用本發(fā)明的移動可視設(shè)備自適應(yīng)顯示方法的自適應(yīng)顯示系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施例方式下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。在本發(fā)明中，建立了一種針對視頻的視覺注意力模型，借助數(shù)值化的注意力模型我們可以把理解一個信息內(nèi)容對象的問題拆分為一系列更簡單、計算量更小的局部分析問題。在數(shù)值化的注意力建模問題上，通過把多種圖像特征綜合到一張單獨的顯著特征圖上，利用動態(tài)神經(jīng)網(wǎng)絡(luò)可以把那些受關(guān)注的區(qū)域按照特征的顯著值從高到低的順序逐個檢測出來。在本發(fā)明實施例的移動可視設(shè)備自適應(yīng)顯示系統(tǒng)中，用戶可以看到視頻中感興趣區(qū)域的放大顯示，比如說，視頻中出現(xiàn)的含有人臉的區(qū)域或含有文字的段落。因為在小屏幕上很可能由于過于縮小而看不清楚其中的內(nèi)容，而放大顯示后.感興趣的區(qū)域以較高的分辨率顯示，有更好的觀感。如果我們單獨考慮視頻中的每一幀，可以很容易地把前面圖像自適應(yīng)的方法應(yīng)用到視頻中，找出每幀中感興趣的區(qū)域。但是如果直接輸出這些從原幀中剪切出的感興趣的區(qū)域，得到的視頻片斷會有很嚴重的跳動感，因此，引入了虛擬鏡頭控制的概念解決這一問題。在像素域?qū)υ家曨l檢測視頻幀中的感興趣對象，之后進行自動建模，生成適合顯示區(qū)域的視頻，然后再對處理過的視頻進行編碼傳輸?shù)娇蛻舳说囊苿釉O(shè)備上。在實際應(yīng)用中，這種完全解碼再編碼的方法的計算量很大。會給服務(wù)器端帶來巨大的處理壓力。所以我們在采用空間轉(zhuǎn)碼的方法來避免再次重新編碼的步驟。這種方法比原來需要重新編碼的方法的執(zhí)行效率大大提高了，而在輸出視頻的質(zhì)量上只有很小的影響。與一般的空間轉(zhuǎn)碼方法來比，由于我們只處理感興趣的區(qū)域，所以能夠獲得更好的視覺觀感，同時節(jié)省了大量的帶寬。圖I是本發(fā)明實施例的移動可視設(shè)備自適應(yīng)顯示方法的流程示意圖，如圖I所示，該方法包括步驟SlOl :對輸入的高分辨率視頻流進行解碼；步驟S102 :感興趣區(qū)域提取，檢測視頻幀中的感興趣區(qū)域，然后用虛擬鏡頭控制來調(diào)整區(qū)域邊界，從解碼得到的視頻序列中裁剪出感興趣區(qū)域，組成一個新的低分辨率視頻序列；步驟S103 :快速轉(zhuǎn)碼，分別將解碼后的高分辨率視頻流以及所提取的感興趣區(qū)域轉(zhuǎn)換成滿足顯示屏尺寸的低分辨率視頻流并發(fā)送給用戶。圖2是本發(fā)明實施例的移動可視設(shè)備自適應(yīng)顯示方法的原理示意圖，下面結(jié)合圖I、圖2對本發(fā)明實施例的移動可視設(shè)備自適應(yīng)顯示方法進行進一步說明。本發(fā)明整個系統(tǒng)包括三大模塊解碼部分，感興趣區(qū)域提取部分和轉(zhuǎn)碼部分。解碼部分對輸入的高分辨率視頻首先執(zhí)行解碼操作，得到各種解碼信息，并輸入感興趣區(qū)域和轉(zhuǎn)碼部分兩個模塊；感興趣區(qū)域提取模塊首先檢測視頻幀中的感興趣區(qū)域，然后用虛擬鏡頭控制來調(diào)整區(qū)域邊界，最終確定滿足屏幕尺寸限制的區(qū)域，最后從解碼得到的視頻序列中裁剪出感興趣區(qū)域組成一個新的低分辨率視頻序列轉(zhuǎn)碼部分利用本發(fā)明提出的快速轉(zhuǎn)碼算法。生成具有原高分辨率視頻大部分信息且滿足顯示屏尺寸限制的低分辨率的視頻碼流，最后發(fā)送給用戶。
提取感興趣區(qū)域時，信息的載體為感興趣對象，每個感興趣對象有兩個屬性SR (spatial region)和AV (attention value) · SR表示感興趣對象在圖像中具體的位置；AV反映了感興趣對象的重要性，即在整個圖像所包含的信息中的貢獻。為了精確地檢測圖像中的感興趣信息，基于上述的模型，本發(fā)明實施例的系統(tǒng)采用了四種感興趣對象運動對象(motion object).人臉對象(face object),文本對象(text object)和顯著對象(saliency object)。通常情況下,視頻中的運動對象比其他類型的對象更加吸引用戶的注意，也就是說具有更多的感興趣信息。因此，在本實施例的系統(tǒng)中，運動對象的檢測是最重要的。采用視頻是以H. 264格式編碼的，所以可以直接提取視頻序列中的運動場來表示并衡量運動信息。在本發(fā)明實施例的移動可視設(shè)備自適應(yīng)顯示的方法中，涉及虛擬鏡頭的控制，虛擬鏡頭的控制可以假設(shè)在原視頻的場景中再架設(shè)一臺攝像機，能夠在原視頻變化的幀中進行鏡頭的平移和縮放。定義兩類焦點鏡頭焦點(CF)和目標焦點(TF)。鏡頭焦點表示當前顯示給用戶的區(qū)域的焦點；目標焦點是虛擬鏡頭要移向的區(qū)域的焦點。相應(yīng)的定義兩類顯示比率鏡頭比率(CR)和目標比率(TR)，來表征相對于原圖的縮放比。CF和TF之間的歐氏距離定義為CR和TR之間的差定義為4r。兩幀之問兩個感興趣的區(qū)域直接的切換可以用一個從當前顯示區(qū)域到目標區(qū)域下一幀中的感興趣的區(qū)域平滑的過渡來代替，這個平滑的過渡由虛擬鏡頭的平移和縮放兩個操作組成。另外，考慮到在原視頻中不同的鏡頭(shot)中的內(nèi)容一般沒有聯(lián)系，在視頻流到達一個鏡頭(shot)的邊界時，虛擬鏡頭也將直接跳轉(zhuǎn)到切換狀態(tài)。
快速轉(zhuǎn)碼時，通常不同幀的感興趣區(qū)域的大小并不相同，但在我們系統(tǒng)應(yīng)用環(huán)境中，感興趣區(qū)域的尺寸要受到編碼標準的限制。即各幀中截取的感興趣區(qū)域的大小是一定的。此外，為了便于后續(xù)轉(zhuǎn)碼算法的設(shè)計，在我們的系統(tǒng)中。感興趣區(qū)域的尺寸被限制為有限集合，比如CIF (352x288)，QCIF (176x144)。在本系統(tǒng)中，感興趣區(qū)域被定義為一個矩形，實際的尺寸根據(jù)移動設(shè)備的顯示屏尺寸確定。如果搜索算法決定的視頻幀中的感興趣區(qū)域不符合事先確定的尺寸，則對檢測的區(qū)域進行放寬或縮小以滿足確定的尺寸。在轉(zhuǎn)碼方案的設(shè)計中，要想快速有效地生成碼流，關(guān)鍵性的問題是如何利用原碼流中的運動信息生成新碼流的運動信息。這個問題在H. 264/AVC標準中變得更加復(fù)雜，不僅需要計算運動矢量的值，還要確定最優(yōu)的模式(mode)。兩者對最終的轉(zhuǎn)碼性能都有著巨大的影響。在本發(fā)明的方案中.提出了一種快速模式選擇的方法，包括以下幾個步驟步驟S31 :運動矢量調(diào)整；運動矢量調(diào)整是快速模式選擇中要最先執(zhí)行的操作，這是為了修正不同幀中感興趣區(qū)域位置不同造成的運動信息錯誤。運動矢量調(diào)整可以帶來轉(zhuǎn)碼性能的大幅度提高。步驟S32 :快速模式選擇；利用原碼流中的運動信息，本發(fā)明提出一種快速模式選擇的算法加速編碼過程。由于不需要對所有的模型進行運動估計，所以可以大幅度減少編碼復(fù)雜度。每個宏塊(macro block)由16個4x4的小塊組成，每個小塊都有自己獨立的運動矢量，即每個宏塊有16個運動矢量。當然，部分運動矢量可以是相同的。快速模式選擇算法如下步驟321 :將一個宏塊內(nèi)的運動矢量相同的分為一組；步驟322 :統(tǒng)計各組相同運動矢量的個數(shù)并找出具有最多運動矢量的組。該組的；運動矢量為表示為MVmax，個數(shù)為Nmax ;步驟323 :如果Nmax大于8,則該宏塊的模式設(shè)定為16x16,運動矢量即MVmax ;跳到步驟6 ;步驟324 :如果Nmax小于或等于8，則需要進一步的分析才能確定模式，如果該宏塊上半部分和下半部分的8個運動矢量分別相等，則該模式為16x8 :如果左右兩部分相等，則模式為8x16。宏塊所有運動矢量保持不變，跳到步驟326;步驟325:上述條件均不滿足。則判定模式為PSx8，需要分別對四個8x8的塊；進行運動估計和模式選擇。為了簡化復(fù)雜度，對于8x8的分塊，我們只選擇Inter8x8模式；步驟326 :執(zhí)行變換，量化、熵編碼。步驟S33:運動矢量插值；上述快速模式選擇算法是利用了宏塊的運動信息，但是,在H. 264/AVC標準中，inter巾貞的宏塊可以是inter模式也可以是intra模式。而intra宏塊是沒有運動信息的，如果簡單地設(shè)定這些宏塊運動矢量為0，會造成轉(zhuǎn)碼性能的損失。為解決這一問題，考慮周圍運動信息的插值方法以計算intra宏塊的運動矢量。較佳地，應(yīng)用本發(fā)明移動可視設(shè)備自適應(yīng)顯示方法的對應(yīng)的自適應(yīng)顯示系統(tǒng)可被安置在代理服務(wù)器或網(wǎng)關(guān)上，如圖3所示，當視頻服務(wù)器將高質(zhì)量高分辨率的視頻經(jīng)過代理服務(wù)器或同關(guān)發(fā)送給移動用戶時，自適應(yīng)系統(tǒng)根據(jù)實際的顯示屏尺寸。利用轉(zhuǎn)碼技術(shù)調(diào)整原始視頻，生成滿足尺寸限制的視頻。 通過本發(fā)明的移動可視設(shè)備自適應(yīng)顯示的方法，用戶可以看到視頻中感興趣區(qū)域的放大顯示，比如說，視頻中出現(xiàn)的含有人臉的區(qū)域或含有文字的段落。因為在小屏幕上很可能由于過于縮小而看不清楚其中的內(nèi)容，而放大顯示后.感興趣的區(qū)域以較高的分辨率顯示，有更好的觀感。本發(fā)明針對小屏幕設(shè)備提出合理實用的圖像和視頻的自適應(yīng)顯示方法，實現(xiàn)了小屏幕移動設(shè)備的自適應(yīng)顯示。本領(lǐng)域普通技術(shù)人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，該程序可以存儲于一計算機可讀存儲介質(zhì)中，存儲介質(zhì)可以包括只讀存儲器(ROM，Read Only Memory)、隨機存取存儲器(RAM，RandomAccess Memory)、磁盤或光盤等。另外，以上對本發(fā)明實施例所提供的移動可視設(shè)備自適應(yīng)顯示方法進行了詳細介紹，本文中應(yīng)用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式
及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
權(quán)利要求
1.一種移動可視設(shè)備自適應(yīng)顯示方法，其特征在于，所述方法包括 步驟I:對輸入的高分辨率視頻流進行解碼； 步驟2 :感興趣區(qū)域提取，檢測視頻幀中的感興趣區(qū)域，然后用虛擬鏡頭控制來調(diào)整區(qū)域邊界，從解碼得到的視頻序列中裁剪出感興趣區(qū)域，組成一個新的低分辨率視頻序列； 步驟3 :快速轉(zhuǎn)碼，分別將解碼后的高分辨率視頻流以及所提取的感興趣區(qū)域轉(zhuǎn)換成滿足顯示屏尺寸的低分辨率視頻流并發(fā)送給用戶。
2.如權(quán)利要求I所述的移動可視設(shè)備自適應(yīng)顯示方法，其特征在于，所述步驟3的快速轉(zhuǎn)碼過程包括 步驟31 :運動矢量調(diào)整，修正不同幀中的感興趣區(qū)域不同造成的運動信息錯誤； 步驟32 :快速模式選擇，利用原碼流中的運動信息，采用快速模式選擇算法加速編碼； 步驟33 :運動矢量插值，對沒有運動信息的宏塊，通過其周圍運動信息進行插值以計算所述宏塊的運動矢量。
3.如權(quán)利要求2所述的移動可視設(shè)備自適應(yīng)顯示方法，其特征在于，在所述步驟32快速模式選擇時，每個宏塊包括16個4x4的小塊，每個小塊對應(yīng)有運動矢量，通過快速模式選擇算法加速編碼的步驟包括 步驟321 :步驟將一個宏塊內(nèi)的運動矢量相同的分為一組； 步驟322 :統(tǒng)計各組相同運動矢量的個數(shù)并找出具有最多運動矢量的組，該組的運動矢量為表示為MVmax,個數(shù)為Nmax ； 步驟323 :如果Nmax大于8，則該宏塊的模式設(shè)定為16x16，運動矢量即MVmax，跳到步驟 326 ； 步驟324 :如果Nmax小于或等于8，進一步分析如果該宏塊上半部分和下半部分的8個運動矢量分別相等，則該模式為16x8 ;如果左右兩部分相等，則模式為8x16 ;宏塊所有運動矢量保持不變，跳到步驟6 ; 步驟325 :如果上述條件均不滿足，則判定模式為PSx8，需要分別對四個8x8的塊進行運動估計和模式選擇； 步驟326 :執(zhí)行變換，量化、熵編碼。
4.如權(quán)利要求I所述的移動可視設(shè)備自適應(yīng)顯示方法，其特征在于，所述感興趣區(qū)域的所提取的特征對象包括運動分量、人臉、文本、顯著度。
全文摘要
本發(fā)明實施例公開了一種移動可視設(shè)備自適應(yīng)顯示方法，包括以下步驟步驟1對輸入的高分辨率視頻流進行解碼；步驟2感興趣區(qū)域提取，檢測視頻幀中的感興趣區(qū)域，然后用虛擬鏡頭控制來調(diào)整區(qū)域邊界，從解碼得到的視頻序列中裁剪出感興趣區(qū)域，組成一個新的低分辨率視頻序列；步驟3快速轉(zhuǎn)碼，分別將解碼后的高分辨率視頻流以及所提取的感興趣區(qū)域轉(zhuǎn)換成滿足顯示屏尺寸的低分辨率視頻流并發(fā)送給用戶。利用本發(fā)明的移動可視設(shè)備自適應(yīng)顯示方法，可以實現(xiàn)小屏幕移動設(shè)備的自適應(yīng)顯示，用戶可以看到視頻中感興趣區(qū)域如出現(xiàn)的含有人臉的區(qū)域或含有文字的段落的放大顯示，即放大顯示后.感興趣的區(qū)域以較高的分辨率顯示，有更好的觀感。
文檔編號H04N21/2343GK102625147SQ20121005004
公開日2012年8月1日 申請日期2012年2月29日 優(yōu)先權(quán)日2012年2月29日
發(fā)明者吳仁濤, 羅笑南 申請人:中山大學(xué)