專利名稱：視頻電路、視頻系統(tǒng)及其視頻處理方法
技術領域：
本發(fā)明涉及視頻處理設備，更具體地說，涉及準備將要在視頻播放器上顯示的視頻信息。
背景技術：
影片和其它視頻內容通常使用35mm膠片以16∶9的縱橫比拍攝。在影片進入一級市場時，將對35mm膠片進行復制然后分發(fā)給各個電影院，從而將影片賣給觀眾。例如，電影院通常將影片投射在“大屏幕”上以供付費觀眾觀看，這是通過使用高流明光束透射35mm膠片來實現的。一旦影片離開“大屏幕”，便進入二級市場，通過銷售包含影片的影碟或影帶(例如VHS影帶、DVD、高清(HD)-DVD、藍光DVD和其它錄制媒體)來將影片分發(fā)給個人觀眾。其它用于在二級市場中分發(fā)影片的方法，還包括通過互聯(lián)網下載和通過電視網絡提供商廣播。
為能通過二級市場分發(fā)，35mm膠片上的內容將以每膠片幀為單位轉換為原始(raw)數字視頻。要想達到HD的清晰度，每個膠片幀至少需要1920×1080像素，對于一部兩小時長的影片，這種原始數字視頻需要大約25GB存儲空間。為避免這種存儲要求，通常使用編碼器來編碼和壓縮原始數字視頻，以此來顯著的降低存儲要求。編碼標準包括例如但不限于運動圖象專家組(MPEG)-1、MPEG-2、用于HD的增強型MPEG-2、MPEG-4 AVC、H.261、H.263和電影和電視工程師學會(SMPTE)VC-1。
為了能夠滿足在電話機、個人數字助理(PDA)和其它手持設備上顯示影片的要求，壓縮的數字視頻數據通常通過互聯(lián)網下載、上傳或存儲到手持設備上，然后由手持設備對視頻數據進行解壓、解碼，以便顯示在手持設備的視頻顯示屏上，從而展示給用戶。然而，這種手持設備的尺寸通常會限制其上的視頻顯示屏(屏幕)的尺寸。例如，手持設備上的小屏幕通常只有2英寸(5.08cm)長(對角線)。相比之下，電視機的屏幕通常為30-60英寸(76.2cm-152.4cm)(對角線測量)或更大。屏幕尺寸上的差異對觀眾所能感覺得到的圖象質量有著較大的影響。
例如，常見的傳統(tǒng)PDA和高端電話機屏幕有著與人眼相同的寬高比。在小屏幕上，人眼往往無法察覺細小的細節(jié)，例如文本、面部特征和遠處的物體。例如，在電影院中，對于包含位于遠處的演員和鐵路標記的全景畫面來說，觀眾可以輕易識別出演員的面部表情和閱讀標記上的文字。在HD電視機屏幕上，觀眾也有可能做到這一點。但是，在轉換到手持設備的小屏幕上時，由于人眼的限制，將不再可能識別面部特征和文字。
無論屏幕有多大，其清晰度不是受技術限制，就是受人眼的限制。但是，在小屏幕上，這種限制更加明顯。例如，常見的傳統(tǒng)PDA和高端電話機屏幕的寬高比為4∶3，通常能夠顯示分辨率為320×240像素的QVGA視頻。相比之下，HD電視機屏幕的寬高比通常為16∶9，通常能夠顯示分辨率高達1920×1080像素的視頻。在對HD視頻進行轉換、以便使其適合在像素上少很多的小屏幕上顯示的過程中，像素數據將進行合并，視頻細節(jié)的損失會很多。將小屏幕像素數增加至HD電視機的水平能夠避免上述轉換過程，但是，正如前面提到的那樣，受到人眼本身的限制，視頻的細節(jié)仍會損失。
通常使用視頻編碼轉換和編輯系統(tǒng)將視頻從一種格式和清晰度轉換到另一種格式和清晰度，以便在特定的屏幕上進行回放。例如，輸入這種系統(tǒng)的可能是DVD視頻，而在轉換過程之后，輸出的視頻將在QVGA屏幕上重新播放。轉換過程中還可使用交互編輯功能來生成編輯和轉換后的輸出視頻。為了能夠支持多種不同的屏幕尺寸、清晰度和編碼標準，需要生成多種輸出視頻流或文件。
視頻通常是以“大屏幕”格式拍攝的，這種格式在供電影院觀看時會收到良好的效果。因為視頻隨后將進行編碼轉換，所以“大屏幕”格式視頻可能不足以支持轉換到小屏幕尺寸。在這種情況下，還沒有一種轉換過程能夠生成可供小屏幕顯示的合適視頻。通過本文的介紹并參考附圖，與本發(fā)明技術方案相比，現有和傳統(tǒng)方法的局限性和缺點對于本領域的技術人員來說將變得更加明顯。

發(fā)明內容
本發(fā)明涉及一種裝置和操作方法，在


具體實施方式
和權利要求中進行了詳細的描述。
根據本發(fā)明的一個方面，提供了一種視頻電路，其接收編碼視頻，所述編碼視頻代表視頻數據全幀序列，所述視頻電路包括處理電路，用于對所述編碼視頻應用解碼和子幀處理，生成視頻數據子幀第一序列和視頻數據子幀第二序列；所述視頻數據子幀第一序列在視頻數據全幀序列中對應的區(qū)域不同于所述視頻數據子幀第二序列；所述處理電路將所述視頻數據子幀第一序列和所述視頻數據子幀第二序列合并，生成視頻數據子幀第三序列。
在本發(fā)明所述的視頻電路中，所述處理電路對所述視頻數據子幀第三序列進行編碼。
在本發(fā)明所述的視頻電路中，所述處理電路按順序應用所述解碼和子幀處理。
在本發(fā)明所述的視頻電路中，所述處理電路同時應用所述解碼和子幀處理。
在本發(fā)明所述的視頻電路中，所述處理電路基于子幀元數據實施所述子幀處理。
在本發(fā)明所述的視頻電路中，在實施所述子幀處理之前，所述處理電路基于目標顯示設備的特點剪裁所述子幀元數據。
在本發(fā)明所述的視頻電路中，所述處理電路基于目標顯示設備的特點剪裁所述視頻數據子幀第三序列。
在本發(fā)明所述的視頻電路中，所述處理電路包括數字權限管理。
在本發(fā)明所述的視頻電路中，所述處理電路包括計費管理。
根據本發(fā)明的一個方面，提供了一種視頻系統(tǒng)，其接收代表視頻數據全幀序列的視頻，所述視頻系統(tǒng)包括處理電路，用于對所述視頻應用子幀處理，生成視頻數據子幀第一序列和視頻數據子幀第二序列；所述視頻數據子幀第一序列由至少第一參數定義，所述視頻數據子幀第二序列由至少第二參數定義，所述至少第一參數和所述至少第二參數共同組成元數據；所述處理電路接收所述元數據，以便進行所述子幀處理；所述處理電路將所述視頻數據子幀第一序列和所述視頻數據子幀第二序列合并，生成視頻數據子幀第三序列。
在本發(fā)明所述的視頻系統(tǒng)中，所述處理電路通過通信鏈路接收所述元數據。
在本發(fā)明所述的視頻系統(tǒng)中，所述處理電路從可移動存儲設備中接收所述元數據。
在本發(fā)明所述的視頻系統(tǒng)中，所述元數據包括元數據文件，所述元數據文件包括至少一個視頻調整參數，該參數與所述視頻數據子幀第一序列中的至少一部分相關聯(lián)。
在本發(fā)明所述的視頻系統(tǒng)中，發(fā)送所述視頻數據子幀第三序列以便在目標顯示屏上顯示。
在本發(fā)明所述的視頻系統(tǒng)中，在執(zhí)行所述子幀處理之前，所述處理電路對所述元數據進行剪裁。
在本發(fā)明所述的視頻系統(tǒng)中，所述剪裁包括對所述視頻數據子幀第三序列進行調整，以便在目標顯示屏上顯示。
在本發(fā)明所述的視頻系統(tǒng)中，所述目標顯示屏處于不同于所述視頻系統(tǒng)的另一位置。
根據本發(fā)明的一個方面，提供了一種進行視頻處理的方法，包括接收代表視頻數據全幀序列的視頻數據；對所述視頻數據進行子幀處理，生成視頻數據子幀第一序列和視頻數據子幀第二序列，所述視頻數據子幀第一序列由至少第一參數定義，所述視頻數據子幀第二序列由至少第二參數定義，所述至少第一參數和所述至少第二參數共同組成元數據；將所述視頻數據子幀第一序列和所述視頻數據子幀第二序列合并，生成視頻數據子幀第三序列。
在本發(fā)明所述的方法中，所述視頻數據子幀第一序列對應所述視頻數據全幀序列中的第一區(qū)域；所述視頻數據子幀第二序列對應所述視頻數據全幀序列中的第二區(qū)域；所述第一區(qū)域不同于所述第二區(qū)域。
在本發(fā)明所述的方法中，還包括對所述視頻數據進行解碼。
在本發(fā)明所述的方法中，對所述視頻數據的解碼發(fā)生在對所述視頻數據的子幀處理之前。
在本發(fā)明所述的方法中，還包括對所述視頻數據子幀第三序列進行編碼。
在本發(fā)明所述的方法中，還包括在對所述視頻數據進行子幀處理之前，基于目標視頻顯示設備的特點對所述元數據進行剪裁。
在本發(fā)明所述的方法中，還包括基于目標顯示設備的特點對所述視頻數據子幀第三序列進行剪裁。
在本發(fā)明所述的方法中，還包括對所述視頻數據、所述元數據和所述視頻數據子幀第三序列其中的至少一個應用數字權限管理。
在本發(fā)明所述的方法中，還包括對所述視頻數據、所述元數據和所述視頻數據子幀第三序列其中的至少一個應用計費管理操作。
在本發(fā)明所述的方法中，還包括通過通信鏈路接收所述元數據。
在本發(fā)明所述的方法中，還包括通過可移動存儲設備接收所述元數據。
在本發(fā)明所述的方法中，所述元數據包括元數據文件，所述元數據文件包括至少一個視頻調整參數，該參數與所述視頻數據子幀第一序列中的至少一部分相關聯(lián)。
在本發(fā)明所述的方法中，還包括將所述視頻數據子幀第三序列發(fā)往目標顯示屏進行顯示。
通過下面參考附圖對本發(fā)明進行的具體描述，本發(fā)明的多個方面和優(yōu)點將變得更加清晰。

圖1是依據本發(fā)明一實施例的自適應視頻處理系統(tǒng)的結構示意圖；圖2是依據本發(fā)明實施例的自適應視頻處理系統(tǒng)和子幀元數據生成系統(tǒng)多個實施例的結構示意圖；圖3是依據本發(fā)明一實施例的視頻拍攝/子幀元數據生成系統(tǒng)的結構示意圖；圖4是示范性原始視頻幀和對應子幀的示意圖；圖5是提供包含用于創(chuàng)建子幀的視頻編輯工具的圖形用戶接口的視頻處理系統(tǒng)一實施例的結構示意圖；圖6是示范性原始視頻幀和對應子幀的示意圖；圖7是子幀序列的示范性子幀元數據的對應表；圖8是包含子幀編輯信息的示范性子幀元數據的對應表；圖9是依據本發(fā)明一實施例的視頻處理電路的示意圖；圖10是依據本發(fā)明一實施例的自適應視頻處理電路結構及操作的示意圖；圖11是依據本發(fā)明的自適應視頻處理電路第一具體實施例的功能框圖；圖12是依據本發(fā)明的自適應視頻處理電路第二具體實施例的功能框圖；圖13是依據本發(fā)明的自適應視頻處理電路第三具體實施例的功能框圖；圖14是依據本發(fā)明的自適應視頻處理電路第四具體實施例的功能框圖；圖15是依據本發(fā)明一實施例的視頻處理過程的流程圖。
具體實施例方式
圖1是依據本發(fā)明一實施例的自適應視頻處理系統(tǒng)的結構示意圖。自適應視頻處理系統(tǒng)10包括解碼器22、編碼器24、元數據處理電路26、目標顯示屏剪裁電路28和管理電路30。管理電路30具有與視頻處理操作、數字權限管理操作和計費操作有關的功能。自適應視頻處理電路10可以是硬件、軟件或硬件和軟件和結合。在各種實施例中，自適應視頻處理電路10可以是通用微處理器、專用微處理器、數字信號處理器、應用專用集成電路或可用于執(zhí)行軟件指令并處理數據以便完成圖1-圖15中所述功能的其它數字邏輯。
自適應視頻處理電路10接收一個或多個輸入，生成一個或多個輸出。通常，自適應視頻處理電路10接收視頻數據11全幀序列、元數據15和目標顯示屏信息20。視頻數據11全幀序列可以是編碼源視頻12或原始源視頻14。視頻數據全幀序列可能是由視頻攝像機或拍攝系統(tǒng)所拍攝，下文將參考圖3-圖9進行詳細描述?？芍苯訌倪@種攝像機中接收視頻數據11全幀序列，也可從存儲器例如服務器中接收視頻數據11全幀序列。
自適應視頻處理電路10可通過有線或無線連接直接從攝像機接收視頻數據11全幀序列，也可通過有線或無線連接從存儲設備中接收視頻數據11全幀序列。這種有線或無線連接可由無線局域網(WLAN)、廣域網(WAN)、互聯(lián)網、局域網(LAN)、衛(wèi)星網、有線網相互組合或上述網絡其中之一來提供。在收到視頻數據11全幀序列之后，自適應視頻處理電路10可將視頻數據全幀序列存儲在存儲器中，或者需要時使用臨時存儲器直接對視頻數據11全幀序列進行操作。
自適應視頻處理電路10可能收到的第二輸入為元數據15。元數據15包括相似顯示屏元數據16或目標顯示屏元數據18。通常，如下文將要參考圖2-圖9進行詳細描述的那樣，元數據是這樣一種信息，自適應視頻處理電路10用元數據來調整視頻數據全幀序列，生成輸出，以供在一個或多個目標視頻設備上進行顯示。使用元數據15來調整視頻數據11全幀序列的方式將具體參考圖6-圖15進行詳細描述。從相似顯示屏元數據16和目標顯示屏元數據18的名稱中可以看出，自適應視頻處理電路10所接收的具體元數據將發(fā)往特定的目標顯示屏，或者發(fā)往一組目標顯示屏。例如，相似顯示屏元數據16可包括用于一組相似顯示屏的特定數據。這種相似的顯示屏具有相同的屏幕分辨率、相同的縱橫比和/或與組中其它顯示屏相同的其它特征。目標顯示屏元數據18對應于目標視頻播放器的特定目標顯示屏。目標顯示屏元數據18專門進行了剪裁，用于調整視頻數據11全幀序列，以便生成目標顯示屏視頻。
自適應視頻處理電路10可能收到的另一輸入是目標顯示屏信息20。目標顯示屏信息20可包括目標視頻播放器的目標顯示屏的屏幕分辨率、目標視頻播放器的目標顯示屏的縱橫比、目標視頻播放器的目標顯示屏將要接收的視頻數據的信息格式或目標視頻播放器的目標顯示屏專用的其它信息。自適應視頻處理電路10可使用目標顯示屏信息進一步處理視頻數據全幀序列和/或元數據15，以便按照目標視頻播放器的特定目標顯示屏進行剪裁。
在其各種操作中，自適應視頻處理電路10生成兩種視頻輸出31、33，以及數字權限管理(DRM)/計費信號38。第一種輸出31包括編碼源視頻12、原始源視頻14和剪裁后的元數據32。編碼源視頻12僅流經自適應視頻處理電路10，構成一個輸出。同理，原始源視頻14僅流經自適應視頻處理電路10，構成一個輸出。然而，剪裁后的元數據32是由自適應視頻處理電路10對相似顯示屏元數據16、目標顯示屏元數據18和目標顯示屏信息20中的一個或多個進行處理來生成的。剪裁后的顯示屏元數據32將由具有目標顯示屏的目標視頻設備使用，以創(chuàng)建按照目標顯示屏進行剪裁的視頻。目標視頻播放器可使用剪裁后的元數據32，結合編碼源視頻12和原始源視頻14中的一個或多個，為目標顯示設備創(chuàng)建顯示信息。
自適應視頻處理電路10生成的第二種輸出是目標顯示屏視頻33，其中包括編碼目標顯示屏視頻34和/或目標顯示屏視頻36。這些輸出34和36由自適應視頻處理電路10創(chuàng)建，以便在目標視頻播放器的目標顯示屏上進行顯示。編碼目標視頻數據34和36中的每一個都是基于視頻輸入11、元數據15和目標顯示屏信息20來創(chuàng)建的。編碼目標顯示屏視頻34和目標顯示屏視頻36的創(chuàng)建方式是由自適應視頻處理電路10的具體操作決定的。自適應視頻處理電路10的這些具體操作將參考圖11-圖15進行詳細描述。
在自適應視頻處理電路10的一個操作實例中，自適應視頻處理電路10接收編碼源視頻12。自適應視頻處理電路10隨后使用解碼器22對編碼源視頻12進行解碼。自適應視頻處理電路10隨后使用元數據15和/或目標顯示屏信息20來操作解碼源視頻，生成目標顯示屏視頻。隨后，自適應視頻處理電路10使用編碼器24創(chuàng)建編碼目標顯示屏視頻34。編碼目標顯示屏視頻34是專門為在目標顯示屏上顯示而生成的。因此，目標顯示屏元數據18和/或目標顯示屏信息20用于處理未編碼源視頻，按照特定目標視頻設備及其對應的目標顯示屏的需要對其進行裁減，生成目標顯示屏視頻。
在自適應視頻處理電路10的另一操作實例中，自適應視頻處理電路10接收原始源視頻14。原始源視頻14包括視頻數據全幀序列。自適應視頻處理電路10應用元數據15和/或目標顯示屏信息32來創(chuàng)建目標顯示屏視頻36。相比于創(chuàng)建編碼目標顯示屏視頻34的操作，自適應視頻處理電路10并未對調整后的視頻進行編碼，以此來生成目標顯示屏視頻36。
在圖1自適應視頻處理電路10的另一項操作中，自適應視頻處理電路10接收相似顯示屏元數據16，以及目標顯示屏信息20。自適應視頻處理電路10收到的相似顯示屏元數據16并不是專門為目標視頻播放器的目標顯示屏生成的。因此，自適應視頻處理電路10使用其元數據處理電路26，基于目標顯示屏信息20來調整相似顯示屏元數據16，生成剪裁后的元數據32。
在圖1自適應視頻處理電路10的另一項操作中，使用目標顯示屏剪裁電路28來創(chuàng)建編碼目標顯示屏視頻34和目標顯示屏視頻36之中的一個或多個。目標顯示屏剪裁電路28使用目標顯示屏信息20進一步調整數據幀，專門按照目標視頻播放器的目標顯示屏來剪裁輸出33。
自適應視頻處理電路10的管理電路30執(zhí)行視頻處理管理操作，創(chuàng)建目標顯示屏視頻33或剪裁后的元數據32。自適應視頻處理電路10中的管理電路30中的數字權限電路執(zhí)行其操作，不僅為進站源視頻11和進站元數據15，還為輸出31和33來執(zhí)行數字權限管理。管理電路30的數字權限管理電路可與遠端服務器或其它設備一起來確保對包含視頻數據全幀的源視頻的操作是經過授權的。
當用戶通過自適應視頻處理電路10執(zhí)行操作時，管理電路30的計費操作用于對用戶計費。例如，目標視頻設備的用戶請求自適應視頻處理電路10從原始源視頻14中準備目標顯示屏視頻36。管理電路30首先判斷用戶是否有權訪問用來創(chuàng)建目標顯示屏視頻36的原始源視頻14、元數據15和目標顯示屏信息20。在通過執(zhí)行數字權限管理操作確定用戶有權訪問源視頻14之后，管理電路30啟動計費操作。這些計費操作將對用戶進行計費，或者通知用戶將要扣除的費用。
自適應視頻處理電路10可由硬件、軟件或硬件和軟件的組合來實現。自適應視頻處理電路10可由個人計算機、服務器計算機、機頂盒或其它設備上的軟件應用程序來實現。圖1中自適應視頻處理電路10的其它/額外的操作將參考圖2-圖15進行描述。
圖2是依據本發(fā)明實施例的自適應視頻處理系統(tǒng)和子幀元數據生成系統(tǒng)多個實施例的結構示意圖。圖2中描述的架構包括自適應視頻處理(AVP)系統(tǒng)和子幀元數據生成(SMG)系統(tǒng)。通常，SMG系統(tǒng)和AVP系統(tǒng)可分布在通信架構中的一個、兩個或多于兩個的部件上。
子幀元數據生成系統(tǒng)100包括攝影機110和/或計算系統(tǒng)140。將要參考圖3-圖9來詳細描述的攝像機110拍攝視頻數據全幀原始序列。隨后，計算系統(tǒng)140和/或攝像機110基于用戶輸入所指定的子幀生成元數據。這些基于用戶輸入所指定的子幀用于指示將使用全幀視頻數據代表的畫面中的哪些子部分來專門為目標視頻播放器創(chuàng)建視頻。這些目標視頻播放器可包括視頻播放器144、146、148和150。
圖2中展示的AVG系統(tǒng)用于從視頻數據全幀序列和元數據中創(chuàng)建視頻數據子幀序列，其中元數據是由SMG系統(tǒng)生成的。拍攝系統(tǒng)100的AVG系統(tǒng)和/或SMG系統(tǒng)可存儲在服務器152、數字計算機142或視頻顯示播放器144、146、148和/或150中。若元數據和源視頻存儲在圖2中的系統(tǒng)中，AVP可在稍后執(zhí)行。作為選擇，還可在攝像機110拍攝完源視頻，并且攝像機110的SMG、計算系統(tǒng)140和/或計算系統(tǒng)142的應用程序生成完元數據之后，立即執(zhí)行AVP。
通信系統(tǒng)154包括通信架構156和/或物理介質158中的一個或多個。通信架構156支持前文參考圖1描述的源視頻11、元數據15、目標顯示屏信息20、輸出31、顯示屏視頻33和DRM/計費信號38的交換。如圖所示，通信架構156可包括互聯(lián)網和其它數據網。作為選擇，可將視頻數據和其它輸入輸出寫入物理媒體158中，從而通過物理媒體158分發(fā)?？稍谝曨l出租商店中將物理媒體158出租給用戶，用戶將其應用到物理媒體視頻播放器中。
本發(fā)明將要詳述的自適應視頻處理操作使用元數據和其它輸入對視頻數據全幀進行操作，生成目標視頻數據，以便在視頻播放器144、146、148和/或150上顯示。用來為播放器144、146、148和150創(chuàng)建目標顯示屏視頻的視頻數據11、元數據15和目標視頻顯示信息20可從單個源或多個源處接收。例如，在服務器152上存儲元數據15，而源視頻11存儲在不同的地方。作為選擇，源視頻11、元數據15和目標顯示屏信息20還可一同存儲在服務器152或另一單個設備上。
本發(fā)明的自適應視頻處理操作可由計算系統(tǒng)142、攝像機110、計算系統(tǒng)140、播放器144、146、148和/或150和服務器152中的一個或多個來執(zhí)行。正如將要參考圖10-圖15所詳述的那樣，這些操作為特定目標視頻播放器創(chuàng)建目標顯示屏視頻。
圖3是依據本發(fā)明一實施例的視頻拍攝/子幀元數據生成系統(tǒng)的結構示意圖。圖3中的視頻拍攝/子幀元數據生成系統(tǒng)100包括攝像機110和SMG系統(tǒng)120。視頻攝像機110拍攝與畫面102有關的視頻數據的原始全幀序列。視頻攝像機110還可通過麥克風111a和111b來獲取音頻。視頻攝像機110可將視頻數據的全幀發(fā)往控制臺140或交由SMG系統(tǒng)120執(zhí)行。視頻攝像機110或控制臺140的SMG系統(tǒng)120通過用戶輸入設備121或123從用戶處接收輸入。根據用戶的輸入，SMG系統(tǒng)120在視頻顯示屏上顯示一個或多個子幀，該視頻顯示屏上同樣顯示視頻數據的全幀序列。根據從用戶輸入和其它信息創(chuàng)建的子幀，SMG系統(tǒng)120創(chuàng)建元數據15。視頻拍攝/子幀元數據生成系統(tǒng)100的視頻數據輸出是一個或多個編碼源視頻12或原始源視頻14。視頻拍攝/子幀元數據生成系統(tǒng)100還輸出元數據15，該元數據可以是相似顯示屏元數據16和/或目標顯示屏元數據18。視頻拍攝/子幀元數據生成系統(tǒng)100還可輸出目標顯示屏信息20。
攝像機110拍攝的原始視頻幀序列為畫面102。畫面102可以是攝像機110拍攝的任一種畫面。例如，畫面102可以是一大幅風景，且畫面含有很多細節(jié)。此外，畫面102還可以是互相對話的演員的頭部照。另外，畫面102還可以是狗追球的動作畫面。在拍攝原始視頻幀的過程中，畫面102的類型通常會隨時間發(fā)生變化。
在現有的視頻拍攝系統(tǒng)中，用戶操作攝像機110來拍攝畫面102的原始視頻幀，這些幀進行了優(yōu)化，以適應“大屏幕”格式。在本發(fā)明中，這些原始視頻幀隨后才會進行轉換，以便最終由配有各自的視頻顯示屏的目標視頻播放器顯示出來。因為子幀元數據生成系統(tǒng)120會隨時間拍攝不同類型的畫面，對所拍攝的視頻進行轉換以生成用于在目標視頻播放器上觀看的子幀的方式也會隨時間發(fā)生變化。“大屏幕”格式并不總是能夠很好的轉換為小屏幕類型上。因此，本發(fā)明的子幀元數據生成系統(tǒng)120支持這樣一種原始視頻幀拍攝方式，即在轉換到較小格式時，這種方式可以提供高質量的視頻子幀，以供顯示在目標視頻播放器的一個或多個視頻顯示屏上。
編碼源視頻12可使用基于離散余弦變換(DCT)的編碼/壓縮格式(例如MPEG-1、MPEG-2、用于HD的增強型MPEG-2、MPEG-4 AVC、H.261和H.263)中的一種或幾種來編碼，使用運動向量來從相鄰幀或場(field)構建基于幀或場的預測，這是通過通常存在的幀間或場間的運動來實現的。例如，在使用MPEG編碼標準時，原始視頻幀序列將被編碼為由三種不同類型的幀組成的序列“I”幀、“B”幀和“P”幀?！癐”幀是幀內編碼的，“P”幀和“B”幀是幀間編碼的。因此，“I”幀是獨立的，也就是說它們在重建過程中無需參考其它幀，而“P”幀和“B”幀是相關的，也就是說，它們需要依靠其它幀來進行重建。具體來說，P幀是從上一I幀或P幀向前預測的，B幀是從上一/下一I幀或P幀向前預測和向后預測的。IPB幀序列將使用DCT進行壓縮，將“I”、“P”或“B”幀中的N×N(N通常設置為8)像素數據塊轉換到DCT域，以便更容易進行量化。隨后對量化后的比特流應用游程編碼和熵編碼，生成壓縮比特流，與原始的未壓縮視頻數據相比，壓縮比特流的比特率明顯降低。
圖4是示范性原始視頻幀和對應子幀的示意圖。如圖所示，視頻顯示屏400包含一個可視區(qū)域，其中顯示了代表圖3中畫面102的原始視頻幀序列。根據圖4所示的實施例，SMG系統(tǒng)120還用于響應代表用戶輸入的其它信號，除子幀402以外，在視頻顯示屏400上還顯示與原始視頻幀序列相關聯(lián)的其它子幀404和406。這些子幀402中的每一個都具有與多個目標視頻顯示屏其中之一相對應的縱橫比和尺寸。此外，SMG系統(tǒng)120生成與每一個子幀402、404和406相關的元數據15。子幀元數據生成系統(tǒng)120所生成的與子幀402、404和406相關的元數據15使得對應的目標視頻顯示屏在其視頻顯示屏上生成對應的顯示畫面。在圖4所示的實施例中，SMG系統(tǒng)120包括單個視頻顯示屏400，每個子幀402、404和406正是通過該顯示屏顯示出來的。在另一實施例中，視頻處理系統(tǒng)生成的多個子幀中的每一個將獨立地顯示在對應的目標視頻播放器上。
在圖4所示的實施例中，在子幀組中至少有兩個子幀404和406與原始視頻幀序列中的單個幀相對應。因此，例如，在特定的目標視頻播放器中，子幀404和406以及其中包含的相關視頻信息將會在不同的時間顯示在單個目標視頻播放器上。在圖4所示的實施例中，目標視頻播放器所顯示視頻的第一部分展示的是子幀404中包含的狗追球的畫面，而目標視頻播放器所顯示視頻的第二部分展示的是子幀406中描述的反彈球的畫面。因此，在本實施例中，目標視頻播放器中在時間上相鄰的視頻序列是由單個原始視頻幀序列生成的。
此外，在圖4所示的實施例中，在子幀組中至少有兩個子幀包含空間位置隨原始視頻幀序列變化的物體。在這種幀中，顯示狗的子幀404的空間位置會隨與顯示反彈球的子幀406有關的原始視頻幀序列變化。此外，在圖4所示的實施例中，在子幀組中的兩個子幀可對應于原始視頻幀序列中的至少兩個不同的幀。在該實施例中，子幀404和406會對應顯示在視頻顯示屏400上的原始視頻幀序列中的不同幀。在該實施例中，在第一時間段，選擇子幀404以便在一段時間內顯示狗的圖象。此外，在該實施例中，子幀406對應不同的時間段，用于顯示反彈球。在該實施例中，子幀組404和406中的至少一部分對應由原始視頻幀序列所描述畫面的一個子畫面。所描述的序列可在整個顯示屏400上顯示，也可在子幀402中顯示。
圖5是提供包含用于創(chuàng)建子幀的視頻編輯工具的圖形用戶接口(GUI)的視頻處理系統(tǒng)一實施例的結構示意圖。視頻處理顯示屏502上顯示的是當前幀504及其子幀506。子幀506包括由用戶指定的感興趣區(qū)域內的視頻數據。一旦指定了子幀506，用戶便可使用通過GUI 508提供給用戶的一種或多種視頻編輯工具來編輯子幀506。例如，如圖5所示，通過點擊或選擇GUI 508中的一種編輯工具，用戶可對子幀506應用濾光鏡、色彩修正、疊加或其它編輯工具。此外，GUI 508還可使得用戶在原始幀和/或子幀之間移動，以便觀看和比較原始子幀序列和子幀序列。
圖6是示范性原始視頻幀和對應子幀的示意圖。在圖6中，第一畫面602由原始視頻幀606的第一序列604描述，第二畫面608由原始視頻幀606的第二序列610描述。因此，每個畫面602和608包含原始視頻幀606的各自序列604和610，通過順序的顯示原始視頻幀606的各序列604和610中的每個原始視頻幀606來觀看。
但是，要想在小視頻顯示屏上顯示每個畫面602和608，而又不會降低觀眾所能感覺得到的視頻質量，每個畫面602和608可分割為分開顯示的子畫面。例如，如圖6所示，在第一畫面602中，存在兩個子畫面612和614，在第二畫面608中，存在一個子畫面616。如同每個畫面602和608可以通過順序顯示原始視頻幀606的各自序列604和610來觀看一樣，每個子畫面612、614和616也可通過顯示各自的子幀618(618a、618b和618c)序列來觀看。
例如，來看原始視頻幀第一序列604中的第一幀606a，用戶可指定兩個子幀618a和618b，每一個子幀包含代表不同子畫面612和614的視頻數據。假設子畫面612和614連續(xù)貫穿于原始視頻幀的606第一序列604之中，用戶可進一步在原始視頻幀606的第一序列604中隨后的每個原始視頻幀606a中為每個子畫面612和614分別指定兩個子幀618a和618b。這樣便得到子幀618a第一序列620，其中包含的每個子幀618a都包含代表子畫面612的視頻內容；還可得到子幀618b第二序列630，其中包含的每個子幀618b都包含代表子畫面614的視頻內容。子幀618a和618b的各序列620和630可順序顯示。例如，按順序交叉顯示對應于第一子畫面612的每個子幀618a和對應于第二子畫面614序列30的每個子幀618b。通過這種方式，影片仍能保持畫面602的邏輯流，并且能讓觀眾看到畫面602的細微細節(jié)。
同理，來看原始視頻幀606第二序列610中的第一幀606b，用戶可指定對應子畫面616的子幀618c。再次假設子畫面616連續(xù)貫穿于原始視頻幀606第二序列610，用戶可進一步在原始視頻幀606第二序列610中的后續(xù)每個原始視頻幀606中指定包含子畫面616的子幀618c。這樣便得到子幀618c序列640，其中的每個子幀618c都包含代表子畫面616的視頻內容。
圖7是子幀序列的示范性子幀元數據的對應表。圖7中展示的子幀元數據150中包含的是順序排列的元數據700，用于指示子幀的順序(也就是顯示順序)。例如，順序排列的元數據700可標識子畫面序列和各子畫面的子幀序列。使用圖7中展示的例子，順序排列的元數據700可分成子幀元數據150的多個組720，其中每個組720對應特定的子畫面。
例如，在第一個組720中，順序排列的元數據700開始于子幀第一序列(例如序列620)中的第一子幀(例如子幀618a)，其后是第一序列620中的各其它子幀。在圖7中，第一序列中的第一子幀被標記為原始視頻幀A的子幀A，第一序列中的最后一個子幀被標記為原始視頻幀F的子幀F。在第一序列620的最后一個子幀之后，順序排列的元數據700延續(xù)到第二個組720，其開始于子幀第二序列(例如序列630)中的第一子幀(例如子幀618b)，結束于第二序列630的最后一個子幀。在圖7中，第二序列中的第一子幀被標記為原始視頻幀A的子幀G，第二序列中的最后一個子幀被標記為原始視頻幀F的子幀L。最后一個組720開始于子幀第三序列(例如序列640)的第一子幀(例如子幀618c)，結束于第三序列640中的最后一個子幀。在圖7中，第三序列中的第一子幀被標記為原始視頻幀G的子幀M，第三序列中的最后一個子幀被標記為原始視頻幀I的子幀P。
每個組720中包含的是該組720中每一個單獨子幀的子幀元數據。例如第一個組720包括子幀第一序列620中每個子幀的子幀元數據150。在一個示范性實施例中，子幀元數據150可組成其中包含一定數量的條目710的元數據文本文件。元數據文本文件中的每個條目710包括該特定子幀的子幀元數據150。因此，元數據文本文件中的每個條目710包含標識與該元數據相關聯(lián)的特定子幀的子幀標識符，并引用原始視頻幀序列中的一個幀。
編輯信息包括但不限于，搖攝方向(pan direction)和搖攝率(pan rate)、縮放率、對比度調整、亮度調整、濾光鏡參數和視頻效果參數。具體來說，與子幀相關聯(lián)，存在幾種類型可以應用的編輯信息，它們與下列內容有關a)視覺調整，例如亮度、濾光、視頻效果、對比度和色彩調整；b)運動信息，例如搖攝、加速、速率、子幀在原始幀序列上的移動方向；c)尺寸調整信息，例如子幀在原始幀序列上的縮放(包括放大、縮小和縮放比例)；d)與原始視頻數據落入子幀中的那些部分相關聯(lián)、合并或被其疊加的任何類型的補充媒介(例如疊加的文本或圖形或補充的音頻)。
圖8是包含子幀編輯信息的示范性子幀元數據的對應表。子幀元數據包括元數據報頭802。元數據報頭802包括元數據(MD)參數、數字權限管理(DRM)參數和計費管理參數。元數據參數包括與該元數據有關的信息，如創(chuàng)建日期、過期日期、創(chuàng)建者標識、目標視頻設備種類(category/categories)、目標視頻設備類別(class/classes)、源視頻信息和通常與所有元數據有關的其它信息。元數據報頭802中的數字權限管理部分包括用于判斷子幀元數據是否可用以及將該子幀元數據可用到何種程度的信息。元數據報頭802中的計費管理參數包括在元數據開始使用時用于啟動計費操作的信息。
子幀元數據包含在子幀文本文件的條目804中。每個子幀的子幀元數據150包括子幀常規(guī)信息806，例如分配給該子幀的子幀標識符(SF ID)、與從中提取除該子幀的原始視頻幀相關聯(lián)的信息(OF ID、OF計數、播放偏移量)、子幀位置和尺寸(SF位置、SF尺寸)以及將要顯示該子幀的顯示屏的縱橫比(SF比)。此外，如圖8所示，特定子幀的子幀信息804可包括用于編輯該子幀的編輯信息806。圖8中所示的編輯信息806的例子包括搖攝方向和搖攝率、縮放比例、色彩調整、濾光鏡參數、對圖像或視頻序列的補充以及其它視頻效果和相關參數。
圖9是依據本發(fā)明一實施例的視頻處理電路的示意圖。視頻處理電路900支持前面參考圖1-圖8描述的本發(fā)明SMG或AVP系統(tǒng)。視頻處理電路900包括處理電路910和本地存儲器930，二者共同存儲和執(zhí)行軟件指令并處理數據。處理電路910可以是微處理器、數字信號處理器、應用專用集成電路或能夠用于處理數據和執(zhí)行軟件操作的其它類型的電路。本地存儲器930是隨機訪問存儲器、只讀存儲器、硬盤驅動器、光驅和/或能夠存儲數據和軟件程序的其它存儲器中的一種或多種。
視頻處理電路900還包括顯示屏接口920、一個或多個用戶接口917、一個或多個輸出接口980和視頻攝像機/攝像機接口990。在執(zhí)行SMG系統(tǒng)時，視頻處理電路900包括攝像機和/或視頻攝像機接口。視頻處理電路900接收視頻數據全幀序列。若視頻處理電路900中包含視頻攝像機，則由視頻攝像機拍攝視頻數據全幀序列。視頻數據全幀序列作為原始視頻幀115存儲在本地存儲器930中。顯示屏接口920連接到一個或多個顯示屏，這些顯示屏由視頻處理電路900直接服務。用戶輸入接口917連接到一個或多個用戶輸入設備，例如鍵盤、鼠標或其它用戶輸入設備。通信接口980可連接到數據網絡、DVD刻錄機或可將信息發(fā)往視頻處理電路900和從視頻處理電路900中讀取信息的其它通信鏈路。
本地存儲器930存儲有可由處理電路910執(zhí)行的操作系統(tǒng)940。同理，本地存儲器930存儲有用于實現SMG功能和/或AVP功能950的軟件指令。當處理電路910執(zhí)行SMG和/或AVP軟件指令950后，視頻處理電路900就可執(zhí)行SMG功能和/或AVP功能的操作。
視頻處理電路900還可在子幀元數據150生成過程中或者生成完成之后對其進行存儲。當視頻處理電路900執(zhí)行SMG系統(tǒng)時，視頻處理電路900創(chuàng)建元數據15，并將其作為子幀元數據150存儲在本地存儲器中。視頻處理電路900執(zhí)行AVP系統(tǒng)，視頻處理電路900可通過通信接口980接收子幀元數據15，以便將其用于處理同樣通過通信接口980收到的源視頻11。視頻處理電路900還在本地存儲器930中存儲有執(zhí)行后便可實現編碼器和/或解碼器操作960的軟件指令。視頻處理電路900執(zhí)行SMG和/或AVP系統(tǒng)的方式參考圖1-圖8以及圖10-圖15進行介紹。
現在來看圖1、3、4和9，在一項具體操作過程中，處理電路910在編碼視頻14上應用解碼和子幀處理操作，同時生成視頻數據子幀第一序列和視頻數據子幀第二序列。視頻數據子幀第一序列在視頻數據全幀序列中對應的區(qū)域不同于視頻數據子幀第二序列。此外，處理電路910將視頻數據子幀第一序列和視頻數據子幀第二序列合并，生成視頻數據子幀第三序列。
處理電路910可對視頻數據子幀第三序列進行編碼。處理電路910可順次和/或同時應用解碼和子幀處理操作。處理電路可根據子幀元數據15來實施子幀處理。處理電路910可基于目標顯示設備的特點來剪裁子幀元數據，然后實施子幀處理。處理電路910可基于目標視頻設備的特點來剪裁視頻數據子幀第三序列。
根據另一項操作，處理電路910對視頻應用子幀處理操作，生成視頻數據子幀第一序列和視頻數據子幀第二序列。視頻數據子幀第一序列由至少第一參數來定義，視頻數據子幀第二序列由至少第二參數來定義。所述至少第一參數和至少第二參數共同構成元數據。處理電路910接收元數據，進行子幀處理，將視頻數據子幀第一序列和視頻數據子幀第二序列合并，生成視頻數據子幀第三序列。視頻數據子幀第三序列將發(fā)往目標顯示屏顯示。在執(zhí)行子幀處理之前，處理電路910可先對元數據進行剪裁。處理電路910還可對視頻數據子幀第三序列進行修改，以便在目標顯示屏上顯示。
圖10是依據本發(fā)明一實施例的自適應視頻處理電路結構及操作的示意圖。圖中展示了自適應處理電路1000的一種具體實現方式。自適應處理電路1000包括解碼器1002、元數據處理電路1004、元數據剪裁電路1006和管理電路1008。自適應處理電路1000還可包括目標顯示屏剪裁電路1010和編碼器1012。自適應處理電路1000接收原始源視頻16、編碼源視頻14、相似顯示屏元數據16和/或目標顯示屏信息20。
自適應處理電路1000的解碼器1002接收編碼源視頻14，對其進行解碼，生成原始視頻。作為選擇，自適應處理電路接收的原始源視頻16將作為原始視頻直接提供給自適應處理電路1000。元數據剪裁電路1006接收相似顯示屏元數據16，管理電路接收目標顯示屏信息20。
在其操作過程中，元數據處理電路1004對原始視頻和元數據15進行操作，生成輸出發(fā)往目標顯示屏剪裁電路1010。元數據剪裁電路1006接收相似顯示屏元數據16，基于從管理電路1008收到的接口數據，生成剪裁后的元數據32。管理電路1008接收目標顯示屏信息20，生成輸出，發(fā)往元數據剪裁電路1006、解碼器1002、元數據處理電路1004和目標顯示屏剪裁電路1010中的一個或多個。元數據處理電路1004基于從元數據剪裁電路1006收到的剪裁后的元數據32處理原始視頻，生成輸出，該輸出將進一步由目標顯示屏剪裁電路1010進行剪裁，生成目標顯示屏視頻36。目標顯示屏視頻36可由編碼器1012編碼，生成編碼目標顯示屏視頻34。
圖10中自適應處理電路1000的每個部件都可基于其收到的任意或所有輸入來執(zhí)行操作。例如，解碼器1002可基于從管理電路1008收到的信息剪裁其操作，對編碼源視頻14進行編碼。這一操作可基于目標顯示屏信息20來進行。此外，元數據剪裁電路1006可基于從管理電路1008收到的信息，修改相似顯示屏元數據16，生成剪裁后的元數據32。元數據剪裁電路1006從管理電路1008收到的信息是基于目標顯示屏信息20的。相似顯示屏元數據16可對應具有相似特性的一組或一類目標顯示屏。但是，自適應處理電路1000生成對應特定目標顯示屏的剪裁后的元數據32。因此，元數據剪裁電路1006基于目標顯示屏信息20和由管理電路1008生成的相關信息來修改相似顯示屏元數據16，生成剪裁后的元數據32。
元數據處理電路1004可基于相似顯示屏元數據16來修改原始視頻，生成顯示屏視頻。作為選擇，元數據處理電路1004基于剪裁后的元數據32處理原始視頻，生成輸出。但是，元數據處理電路1004還可以不生成最終形式的顯示屏視頻。因此，目標顯示屏剪裁電路1010可使用管理電路1008提供給他的其它信息(基于目標顯示屏信息20)進一步剪裁顯示屏視頻，生成目標顯示屏視頻36。目標顯示屏剪裁電路1010執(zhí)行的剪裁還表現在編碼器1012生成的編碼目標顯示屏視頻34中。
圖11是依據本發(fā)明的自適應視頻處理電路第一具體實施例的功能框圖。在本實施例中，解碼器1102接收編碼源視頻12，生成未編碼視頻1104。元數據處理電路1106接收未編碼視頻1104或原始源視頻14?；谀繕孙@示屏元數據18，元數據處理電路1106處理原始源視頻14和/或未編碼視頻1104，生成輸出視頻數據。元數據處理電路1106還可從目標顯示屏元數據剪裁電路1112接收輸入。目標顯示屏元數據剪裁電路1112接收相似顯示屏元數據16和目標顯示屏信息20?；谙嗨骑@示屏元數據16和目標顯示屏信息20，目標顯示屏元數據剪裁電路1112生成剪裁后的元數據32。因此，元數據處理電路1106使用目標顯示屏元數據18和/或剪裁后的元數據32來處理其輸入視頻，生成輸出。
對于目標視頻播放器的目標顯示屏而言，元數據處理電路1106的輸出所接受的處理可能并不充分。因此，補充目標顯示屏剪裁電路1108接收元數據處理電路1106的輸出，基于目標顯示屏信息20進一步處理輸入視頻，生成目標顯示屏視頻36。目標顯示屏視頻36是專門按照目標視頻播放器的目標顯示屏進行剪裁的。編碼器1110也從補充目標顯示屏剪裁電路1108接收輸出，對輸出進行編碼，生成編碼目標顯示屏視頻34。編碼目標顯示屏視頻34是遵循目標視頻播放器可接收的視頻數據的格式進行編碼的。目標視頻播放器接收編碼目標視頻34，基于這種視頻34在其顯示屏上顯示視頻畫面。
圖12是依據本發(fā)明的自適應視頻處理電路第二具體實施例的功能框圖。與圖11中的結構相比，集成的解碼和元數據處理電路1202接收編碼源視頻12、原始源視頻14、目標顯示屏元數據18，并從目標顯示屏元數據剪裁電路1208接收剪裁后的元數據32。目標顯示屏元數據剪裁電路1208基于相似顯示屏元數據16和目標顯示屏信息20生成剪裁后的元數據32。
集成的解碼和元數據處理電路1202對其輸入進行處理，生成作為輸出的顯示屏視頻。在任意時刻，發(fā)往集成的解碼和元數據處理電路1202的所有輸入并不同時出現。例如，若出現編碼源視頻12，則集成的解碼和元數據處理電路1202對編碼源視頻12進行解碼，然后使用目標顯示屏元數據18和/或剪裁后的元數據32對未編碼源視頻進行處理，生成視頻輸出。當然，當集成的解碼和元數據處理電路1202接收原始源視頻14時，其無需在執(zhí)行元數據處理操作之前對原始源視頻14進行解碼。
集成的解碼和元數據處理電路1202的輸出將由補充目標剪裁電路1204接收。補充目標剪裁電路1204還接收目標顯示屏信息20。補充目標剪裁電路1204基于目標顯示屏信息20對其從集成的解碼和元數據處理電路1202收到的視頻數據進行處理，生成目標顯示屏視頻36。作為選擇，補充目標剪裁電路1204生成輸出并發(fā)往編碼器1206，后者對輸入的數據進行編碼，生成編碼目標顯示屏視頻34。目標顯示屏視頻36和編碼目標顯示屏視頻34都是專門應用于目標視頻播放器的特定目標顯示屏的。
圖13是依據本發(fā)明的自適應視頻處理電路第三具體實施例的功能框圖。在圖13所示的結構中，集成的解碼、目標剪裁和元數據處理電路1302接收編碼源視頻12、原始源視頻14、目標顯示屏元數據18、相似顯示屏元數據16和目標顯示屏信息20?；谄渌邮盏挠行掖嬖诘男盘?，集成的解碼、目標剪裁和元數據處理電路1302執(zhí)行解碼操作、目標剪裁操作和元數據處理操作中的一種或多種，生成發(fā)往補充目標剪裁電路1304的視頻數據和/或剪裁后的元數據32。
補充目標剪裁電路1304接收集成的解碼、目標剪裁和元數據處理電路1302的輸出，以及目標顯示屏信息20?；谄漭斎霐祿?，補充目標剪裁電路1304生成目標顯示屏視頻36和/或發(fā)往編碼器1306的輸出。編碼器1306從補充目標剪裁電路1304接收輸入數據，生成編碼目標顯示屏視頻34。
圖14是依據本發(fā)明的自適應視頻處理電路第四具體實施例的功能框圖。在圖14所示的實施例中，生成的編碼源視頻12發(fā)往解碼器1402進行解碼，生成未編碼視頻1104。集成的目標剪裁和元數據處理電路1404接收未編碼視頻1104、原始源視頻14、目標顯示屏元數據18、相似顯示屏元數據16和目標顯示屏信息20。基于其輸入及具體的操作模式，集成的目標剪裁和元數據處理電路1404生成輸出并發(fā)往補充目標剪裁電路1406，同時還會生成剪裁后的元數據32。
補充目標剪裁電路1406接收集成的目標剪裁和元數據處理電路1404的輸出，并將其作為自己的輸入，同時還接收目標顯示屏信息20。作為其輸出，補充目標剪裁電路1406生成目標顯示屏視頻36，并將其發(fā)往編碼器1408。編碼器1408對其輸入進行編碼，生成編碼目標顯示屏視頻34。目標顯示屏視頻36和編碼目標顯示屏視頻34是專門應用于所選擇的包含目標視頻顯示屏的目標視頻播放器的。
圖11-圖14中的每個結構都可由圖10中的自適應視頻處理電路1000來實現。此外，圖10中自適應視頻處理電路1000的結構和操作以及圖11-圖14中的多種實施例還可通過圖2中具有自適應視頻處理功能的一個或多個設備來完成。因此，圖11-圖14中的各種操作可由一個、兩個或兩個以上的特定處理部件/設備來實現。將這些特定處理操作分布設置在一個、兩個或多個處理部件/設備上時所采用的方式可基于處理效率、資源位置、數據位置、用戶位置、服務提供商位置或其它資源位置來選擇。
圖15是依據本發(fā)明一實施例的視頻處理過程的流程圖。根據本發(fā)明，視頻處理電路的操作1500開始于接收視頻數據(步驟1510)。當接收的視頻數據為編碼格式時，視頻處理電路對視頻數據進行解碼(步驟1512)。視頻處理電路隨后接收元數據(步驟1514)。該元數據可以是本文所描述的普通元數據、相似元數據或剪裁后的元數據。當收到的是相似元數據或普通元數據時，圖15中的操作包括基于目標顯示屏信息對元數據進行剪裁(步驟1516)。步驟1516是可選的。
隨后，圖15中的操作包括基于元數據對視頻數據進行子幀處理(步驟1518)。隨后的操作包括基于目標顯示屏信息20剪裁在步驟1518生成的視頻數據子幀輸出序列(步驟1520)。步驟1520的操作生成剪裁后的視頻數據子幀輸出序列。隨后，可選的，該視頻數據子幀輸出序列將進行編碼(步驟1522)。最后，視頻數據子幀序列將輸出到存儲器中存儲、通過網絡輸出到目標設備或者以其它方式輸出或者輸出到其它位置(步驟1524)。
根據圖15中展示的一個特定實施例，視頻處理系統(tǒng)接收代表視頻數據全幀序列的視頻數據。視頻處理系統(tǒng)隨后對視頻數據進行子幀處理，生成視頻數據子幀第一序列和視頻數據子幀第二序列。視頻數據子幀第一序列由至少第一參數來定義，視頻數據子幀第二序列由至少第二參數來定義，該至少第一參數和至少第二參數共同組成元數據。通過將視頻數據子幀第一序列和視頻數據子幀第二序列合并，視頻處理系統(tǒng)隨后生成視頻數據子幀第三序列。
在本實施例中，視頻數據子幀第一序列可對應視頻數據全幀序列中的第一區(qū)域，視頻數據子幀第二序列可對應視頻數據全幀序列中的第二區(qū)域，其中第一區(qū)域不同于第二區(qū)域。
本領域一般技術人員知悉，此處使用的術語“通訊連接”，包括無線和有線，直接連接和通過其它的元件、組件、電路或模塊的間接連接。本領域一般技術人員也知悉，推斷連接(inferred coupling，例如，一個元件被推斷連接到另一個元件)包括與“通訊連接”一樣的方式在兩個元件中的有線和無線，直接與間接連接。
以上借助于說明指定的功能和關系的方法步驟對本發(fā)明進行了描述。為了描述的方便，這些功能組成模塊和方法步驟的界限和順序在此處被專門定義。然而，只要給定的功能和關系能夠適當地實現，界限和順序的變化是允許的。任何上述變化的界限或順序應被視為在權利要求保護的范圍內。
以上還借助于說明某些重要功能的功能模塊對本發(fā)明進行了描述。為了描述的方便，這些功能組成模塊的界限在此處被專門定義。當這些重要的功能被適當地實現時，變化其界限是允許的。類似地，流程圖模塊也在此處被專門定義來說明某些重要的功能，為廣泛應用，流程圖模塊的界限和順序可以被另外定義，只要仍能實現這些重要功能。上述功能模塊、流程圖功能模塊的界限及順序的變化仍應被視為在權利要求保護范圍內。
本領域技術人員也知悉此處所述的功能模塊，和其它的說明性模塊、模組和組件，可以如示例或由分立元件、特殊功能的集成電路、帶有適當軟件的處理器及類似的裝置組合而成。
此外，雖然描述細節(jié)的目的是清楚和明白上述實施例，本發(fā)明并不限于這些實施例。任何本領域技術人員知悉的、對這些特征和實施例進行各種改變或等效替換而得的技術方案，都屬于本發(fā)明的保護范圍。
權利要求
1.一種視頻電路，其接收編碼視頻，所述編碼視頻代表視頻數據全幀序列，其特征在于，所述視頻電路包括處理電路，用于對所述編碼視頻應用解碼和子幀處理，生成視頻數據子幀第一序列和視頻數據子幀第二序列；所述視頻數據子幀第一序列在視頻數據全幀序列中對應的區(qū)域不同于所述視頻數據子幀第二序列；所述處理電路將所述視頻數據子幀第一序列和所述視頻數據子幀第二序列合并，生成視頻數據子幀第三序列。
2.根據權利要求1所述的視頻電路，其特征在于，所述處理電路對所述視頻數據子幀第三序列進行編碼。
3.根據權利要求1所述的視頻電路，其特征在于，所述處理電路按順序應用所述解碼和子幀處理。
4.根據權利要求1所述的視頻電路，其特征在于，所述處理電路同時應用所述解碼和子幀處理。
5.根據權利要求1所述的視頻電路，其特征在于，所述處理電路基于子幀元數據實施所述子幀處理。
6.根據權利要求5所述的視頻電路，其特征在于，在實施所述子幀處理之前，所述處理電路基于目標顯示設備的特點剪裁所述子幀元數據。
7.一種視頻系統(tǒng)，其接收代表視頻數據全幀序列的視頻，其特征在于，所述視頻系統(tǒng)包括處理電路，用于對所述視頻應用子幀處理，生成視頻數據子幀第一序列和視頻數據子幀第二序列；所述視頻數據子幀第一序列由至少第一參數定義，所述視頻數據子幀第二序列由至少第二參數定義，所述至少第一參數和所述至少第二參數共同組成元數據；所述處理電路接收所述元數據，以便進行所述子幀處理；所述處理電路將所述視頻數據子幀第一序列和所述視頻數據子幀第二序列合并，生成視頻數據子幀第三序列。
8.根據權利要求7所述的視頻系統(tǒng)，其特征在于，所述處理電路通過通信鏈路接收所述元數據。
9.一種進行視頻處理的方法，其特征在于，包括接收代表視頻數據全幀序列的視頻數據；對所述視頻數據進行子幀處理，生成視頻數據子幀第一序列和視頻數據子幀第二序列，所述視頻數據子幀第一序列由至少第一參數定義，所述視頻數據子幀第二序列由至少第二參數定義，所述至少第一參數和所述至少第二參數共同組成元數據；將所述視頻數據子幀第一序列和所述視頻數據子幀第二序列合并，生成視頻數據子幀第三序列。
10.根據權利要求9所述的方法，其特征在于，所述視頻數據子幀第一序列對應所述視頻數據全幀序列中的第一區(qū)域；所述視頻數據子幀第二序列對應所述視頻數據全幀序列中的第二區(qū)域；所述第一區(qū)域不同于所述第二區(qū)域。
全文摘要
一種視頻處理系統(tǒng)，對視頻數據應用子幀處理，生成視頻數據子幀第一序列和視頻數據子幀第二序列。視頻數據子幀第一序列和視頻數據子幀第二序列由元數據定義。該處理電路將視頻數據子幀第一序列和視頻數據子幀第二序列合并，生成視頻數據子幀第三序列。自適應視頻處理電路接收編碼源視頻數據、原始源視頻數據、相似顯示屏元數據、目標顯示屏元數據和/或目標顯示屏信息。自適應視頻處理電路處理其輸入信息生成一個或多個輸出，其中包括剪裁后的元數據、編碼目標顯示屏視頻數據、目標顯示屏視頻數據和數字權限管理/計費信號。
文檔編號H04N7/26GK101094407SQ20071012649
公開日2007年12月26日 申請日期2007年6月20日 優(yōu)先權日2006年6月23日
發(fā)明者詹姆士·D·貝內特 申請人:美國博通公司