專利名稱：視頻編碼的方法
技術領域：
本發(fā)明涉及一種視頻編碼的方法，尤其涉及一種降低移動估測(Motion Estimation)的運算量的視頻編碼的方法。
背景技術：
數(shù)字圖像已經(jīng)是非常普遍用來傳播信息的媒介，為了能更有效率地節(jié)省 圖像處理時間以及存儲空間，往往就會使用圖像壓縮技術。
圖像壓縮技術主要是利用移動估測(Motion Estimation)運算，此一運算是 希望找出影片中物體移動的軌跡，以期在后續(xù)的移動補償(Motion Compensatkm)能以最少的數(shù)據(jù)量重建圖像(fmme)。
更進一步而言，視頻數(shù)據(jù)是由許多圖像(frame)所組合成的，當我們在 看影片的時候，那些連續(xù)動作其實都是由一張張圖像(fmme)所構成的，利用 我們的視覺暫留，讓我們以為那些動作是連續(xù)的。因此這一張張的圖像中， 相鄰的兩張圖像的大部分區(qū)域都相當相像，利用這個特性，將兩張圖像的每 個像素(pixel)相減，得到一個差值(difference)，而因為兩張圖像相似度高， 所以相減后的值也會很小，如果我們只存第一張圖像，第二張就僅存儲差值， 如此一來需要存儲的數(shù)據(jù)量就會減少很多。而再還原的時候只要將前一張圖 像減掉差值就可以得到后一張的值了。
而連續(xù)影片中一定會有移動的物體，也就是相同一個物體在前后兩張的 位置不同。如果能找到物體移動的位置，再做相減，則得到的差值就會越小。 因此就還必須找到移動向量(Motion vector),而估測物體移動到哪里的方法就 是移動估測(Motion Estimation)。還原圖像時，依據(jù)移動向量找到要相減 差值的圖像區(qū)塊就稱為移動補償(MotionCompensation)。
移動向量簡單來說就是估算目前圖像(Current Frame)里NxN(例如8x8或 16xl6)的區(qū)塊(Macro Block)與前一張圖像(Previous Frame)里最相似的參考區(qū) 塊(ReferenceBlock)位移的向量。將目前圖像里要用來估算的Macro Block和
4Reference Block里相同大小的某一區(qū)塊作相減，然后將相減后的每個像素取 絕對值相加得到一個值，稱為絕對差值和(SAD)，其中SAD值越小就代表這 兩個區(qū)塊越相近。將搜尋區(qū)域中所有的位置都算出一個SAD值，最小的值 即是所要尋找的移動后的位置，如此便可算出移動向量(MotionVector)。
雖然，利用移動向量與差值可減少需存儲的運算數(shù)據(jù)量，然而比較兩張 圖像找出移動向量仍需要不少的運算量。另外，由于圖像壓縮的技術架構為 本領域的普通技術人員所周知，因此未在此多做贅述。

發(fā)明內容
本發(fā)明的主要目的在于提供一種視頻編碼的方法。
本發(fā)明的另 一 目的在于提供一種降低圖像壓縮技術中移動估測(motkm estimation)的運算量的視頻編碼的方法。
為達到上述的目的，本發(fā)明提供一種視頻編碼的方法。視頻由多個圖像 (frames)所組成，每個圖像包含多個區(qū)塊，該視頻中一物體具有一位置信息。 該方法包括以下步驟
步驟S11:提取該物體分別在第一圖像與第二圖像的位置信息。例如位 置信息可以是來自 一作業(yè)系統(tǒng)(OS)。
步驟S12:依據(jù)該物體的位置信息，計算含有該物體的區(qū)塊的預估移動 向量。較佳者，是將該第二圖像中含有該物體的所述多個區(qū)塊定義為畫面間 區(qū)塊(inter-block)，并依據(jù)該預估移動向量以進行編碼。在本實施例中，本發(fā) 明可依據(jù)該物體的所述位置信息，計算該物體的位置或尺寸變化。進一步將 因為該物體位置或尺寸的變化而對應在該第二圖像中新出現(xiàn)的區(qū)塊定義為 畫面內區(qū)塊(intra-block)，以進行編碼。
步驟S13:依據(jù)該預估移動向量，對該視頻進行編碼。
該物體在第一圖像的位置信息包括一識別碼，且該識別碼是用以辨識物 體。因此通過作業(yè)系統(tǒng)所提供的識別碼，即可辨識物體，以了解是要提取哪 一個物體的位置信息，如此即可節(jié)省運算量。
該物體具有一視窗框，利用作業(yè)系統(tǒng)的位置信息可獲知該物體在該第一 圖像的四個坐標值，也就是該視窗框的四個轉角(comer)位置的坐標值。眾所 周知，作業(yè)系統(tǒng)可提供視窗信息，因此關于提取坐標值的技術未多贅述。物體從第一圖像移動到第二圖像有多種可能實施例，包括物體單純的移
動及物體縮放(scale)。因此，若是物體單純的移動，則物體的尺寸在該第一
圖像與該第二圖像實質上相同。若是物體縮放，則物體的尺寸在第一圖像與 第二圖像不同，且分別為放大或縮小物體的尺寸。
在一實施例中，該視頻為一作業(yè)系統(tǒng)畫面的操作過程，且物體的位置信 息是由該作業(yè)系統(tǒng)提供。
除了上述物體單純的移動及物體縮放之外，還可新增或刪除物體。因此 本發(fā)明還揭示在新增物體時，降低移動估測的運算量的視頻編碼的方法，該
視頻由多個圖像(frames)所組成，每個圖像包含多個區(qū)塊，該視頻中一物體具 有一新增物體信息及一位置信息，其方法包含
步驟S21:提取物體的新增物體信息。較佳者，新增物體信息是來自一
作業(yè)系統(tǒng)(OS)。
步驟S22:當該物體于一第一圖像中不存在，而新增于一第二圖像時， 提取該物體在該第二圖像中的該位置信息。
步驟S23:將該圖像含有該物體的區(qū)塊定義為畫面內區(qū)塊，以對該視頻
進行編碼。
另外，本發(fā)明也揭示在刪除物體時，降低移動估測的運算量的視頻編碼
的方法，其方法包含
步驟S31:提取物體的一刪除物體信息。較佳者，刪除物體信息是來自
一作業(yè)系統(tǒng)。
步驟S32:當該物體于一第一圖像中存在，而在一第二圖像中被刪除時，
提取該物體在第一圖像中的位置信息。
步驟S33:將該第二圖像中，對應于該物體刪除后所新出現(xiàn)的區(qū)塊定義
為畫面內區(qū)塊，以對該視頻進行編碼。
如此一來，如果要進行兩臺屏幕同步顯示時，圖像傳遞所須進行的圖像
壓縮技術，應當可降低其移動估測(motionestimation)的運算量。同樣地，若 是需要進行錄制屏幕操作畫面時，圖像壓縮技術改進其移動估測的運算量也 可改善錄制的運算量。


6圖1為顯示一物體在連續(xù)的兩張圖像中移動的示意圖。
圖1A為依據(jù)圖1，顯示其區(qū)塊屬性。
圖2為顯示一物體在連續(xù)的兩張圖像中縮放的示意圖。
圖2A為依據(jù)圖2，顯示其區(qū)塊屬性。
圖3為依據(jù)本發(fā)明的實施例，顯示降低移動估測(motionestimation)的運 算量的視頻編碼的方法流程圖。
圖4為顯示一物體在連續(xù)的兩張圖像中新增的示意圖。
圖5依據(jù)圖4，顯示其降低移動估測的運算量的視頻編碼的方法流程圖。
圖6為顯示一物體在連續(xù)的兩張圖像中被刪除的示意圖。
圖7依據(jù)圖6，顯示其降低移動估測的運算量的視頻編碼的方法流程圖。
其中，附圖標記說明如下
10、 20、 20，、 40、 60、 80物體
11、 21、 41、 61、 81 第一圖像
12、 22、 42、 62、 82 第二圖像 15、 25 區(qū)塊屬性
152、 252畫面間區(qū)塊(inter block) 151、 251畫面內區(qū)塊(intra block)
具體實施例方式
為讓本發(fā)明的上述和其他目的、特征和優(yōu)點能更明顯易懂，下文特舉出 優(yōu)選實施例，并配合所附附圖，作詳細說明如下。
請參考圖1，其顯示在連續(xù)的圖像中，有一物體移動。如先前技術所描 述，利用人類的視覺暫留，連續(xù)動作其實都是由一張張圖像(frame)所構成的。 圖l顯示兩張連續(xù)的圖像，第一圖像11與第二圖像12，而物體10的移動， 則分別顯示在第一圖像11與第二圖像12上的不同位置，也就是物體10是 從第一圖像11移動到第二圖像12。
請同時參考圖3的流程圖，本發(fā)明所提供的方法包括以下步驟
步驟S11:提取該物體IO分別在第一圖像11與第二圖像12的位置信息。 例如所述位置信息可以是來自一作業(yè)系統(tǒng)(OS)。
步驟S12:依據(jù)該物體10的位置信息，計算含有該物體10的區(qū)塊152的預估移動向量。請同時參考圖1A的區(qū)塊屬性圖。較佳者，區(qū)塊屬性15包 括畫面內區(qū)塊(inter block) 151及/或一畫面內區(qū)塊(intra block) 152。在本實施 例中，依據(jù)畫面內區(qū)塊(interblock)還計算出其移動向量(motionvector)。因此 在進行圖像壓縮時，移動估測(motion estimation)的運算可利用區(qū)塊屬性15 的畫面內區(qū)塊152所預先估算出的移動向量，而無須一一比較第一圖像11 及第二圖像12的所有區(qū)塊。
請回到圖1與圖1A，物體IO在第一圖像11的位置信息包括一識別碼， 且該識別碼是用以辨識物體10的所在位置。在本實施例中，物體10具有一 視窗框，利用作業(yè)系統(tǒng)(圖未示)的位置信息可獲知該物體IO在該第一圖像的 四個坐標值10a 10d，也就是該視窗框的四個轉角(comer)位置的坐標值。
舉例而言，計算機的作業(yè)系統(tǒng)可提供物體10視窗框的識別碼，因此通 過作業(yè)系統(tǒng)所提供的識別碼，即可辨識物體IO，以了解是要提取哪一個物體 IO的位置信息。例如，利用系統(tǒng)程序通過作業(yè)系統(tǒng)呼叫-"GetDesktopWindows()，，
以取得物體10的識別碼，由此更進一步可利用系統(tǒng)程序通過作業(yè)系統(tǒng)
呼叫
"GetWindowRect()"
以取得物體10視窗框的坐標值。
眾所周知，作業(yè)系統(tǒng)可提供視窗信息，因此關于提取位置信息的技術未 多贅述。
在一實施例中，本發(fā)明的視頻為一作業(yè)系統(tǒng)畫面的操作過程，且物體IO
的位置信息是由作業(yè)系統(tǒng)(os)提供。由此，當使用者進行遠端桌面連線時，
傳送作業(yè)系統(tǒng)的操作畫面成為一視頻，此時通常會對此視頻進行編碼壓縮后 才傳送到遠端。故此時可利用作業(yè)系統(tǒng)提供的信息，減少此視頻編碼所需的 運算。
此外，物體從第一圖像移動到第二圖像有多種可能實施例。請參考圖2， 在此實施例中，物體20是從第一圖像21縮小至第二圖像22的物體20'。同 樣地，本發(fā)明的方法可利用計算機的作業(yè)系統(tǒng)提供物體20、 20，視窗框的識 別碼及坐標值。由此，即可獲得如圖2A所示的區(qū)塊屬性25。在本實施例中， 除了物體20與20'之外，第一圖像21與第二圖像22僅差別在于物體20縮小之后多余的空間，因此該多余的空間在區(qū)塊屬性25中顯示即定義為畫面
內區(qū)塊(intra block)，也就是依照本發(fā)明的方法，進行視頻編碼時，多余的 空間會被定義為畫面內區(qū)塊。
由以上圖1與圖2可知，若物體10僅是單純的移動，則物體10的尺寸 在該第一圖像11與該第二圖像12實質上相同。若物體20是進行縮放，則 物體20、 20'的尺寸在第一圖像21與第二圖像22不同，且分別為放大或縮 小物體的尺寸。
除了上述物體單純的移動及物體縮放之外，還可能新增或刪除物體。因 此本發(fā)明還揭示在新增物體時，降低移動估測的運算量的視頻編碼的方法。 請同時參考圖4與圖5，新增物體60在第二圖像62，也就是第一圖像61并 無該物體60。在此實施例中，本發(fā)明的方法包含
步驟S21:提取物體60的一新增物體信息。較佳者，新增物體信息是來 自一作業(yè)系統(tǒng)。
步驟S22:當該物體于一第一圖像中不存在，而新增于一第二圖像時， 提取該物體在該第二圖像中的該位置信息。
步驟S23:將該圖像含有該物體的區(qū)塊定義為畫面內區(qū)塊，以對該視頻 進行編碼。在本實施例中，不存在畫面間區(qū)塊，也就是區(qū)塊屬性(圖未示)僅 包含畫面內區(qū)塊(圖未示)，因此視頻編碼是依據(jù)畫面內區(qū)塊。
同樣地，在本實施例中，物體60具有一視窗框，利用作業(yè)系統(tǒng)的位置 信息可獲知該物體在該第一圖像61的四個坐標值，也就是該視窗框的四個 轉角(comer)位置的坐標值。眾所周知，作業(yè)系統(tǒng)可提供視窗信息，因此關于 提取坐標值的技術未多贅述。
在一實施例中，該視頻為一作業(yè)系統(tǒng)畫面的操作過程，且物體的位置信 息是由該作業(yè)系統(tǒng)提供。
另外，本發(fā)明也揭示在刪除物體時，降低移動估測的運算量的視頻編碼 的方法。請同時參考圖6與圖7，從第一圖像81刪除物體80，也就是第二 圖像82并無該物體80。在此實施例中，本發(fā)明的方法包含
步驟S31:提取物體80的一刪除物體信息。較佳者，刪除物體信息是來 自一作業(yè)系統(tǒng)。
步驟S32:依據(jù)該刪除物體信息，提取物體80在第一圖像81的一位置信息。
步驟S33:將該第二圖像中，對應于該物體刪除后所新出現(xiàn)的區(qū)塊定義 為畫面內區(qū)塊，以對該視頻進行編碼。在本實施例中，除了物體80之外，
第一圖像81與第二圖像82并無差別，因此其區(qū)塊屬性(圖未示)僅包含畫面
內區(qū)塊(圖未示)。
由于上述的方法最好以計算機程序完成，因此本發(fā)明的方法可以以計算 機程序寫于載有計算機可使用的媒介，譬如硬盤，集成電路，光盤及其他可 記錄計算機程序的物品。
更進一步而言，本發(fā)明的視頻編碼的方法，可以計算機程序語言寫成以 便執(zhí)行，而計算機程序可以存儲于任何微處理單元可以辨識、解讀的記錄介 質，或包含有該記錄介質的物品及裝置或計算機程序產(chǎn)品。其不限為任何形
式，該物品較佳為CD， CD-R， MO，軟盤磁片，硬盤磁片，IC芯片或任何 本領域的普通技術人員所可使用的包含有該記錄介質的物品。由于本發(fā)明的 視頻編碼的方法已揭示完整，任何熟悉計算機程序語言者閱讀本發(fā)明說明書 即知如何撰寫計算機軟件程序，故有關計算機軟件程序細節(jié)部分不在此贅 述。
雖然本發(fā)明已以優(yōu)選實施例揭示如上，然而其并非用以限定本發(fā)明，任 何本領域的普通技術人員，在不脫離本發(fā)明的精神和范圍內，應當可作一些 的變與潤飾，因此本發(fā)明的保護范圍應當視隨附的權利要求書所限定的范圍 為準。
10
權利要求
1.一種視頻編碼的方法，該視頻由多個圖像所組成，每個圖像包含多個區(qū)塊，該視頻中一物體具有一位置信息，該方法包括提取該物體分別在一第一圖像與一第二圖像中的該位置信息；依據(jù)該物體的所述位置信息，計算含有該物體的區(qū)塊的預估移動向量；以及依據(jù)該預估移動向量，對該視頻進行編碼。
2. 如權利要求1所述的方法，還包含以下步驟將該第二圖像中含有該物體的所述多個區(qū)塊定義為畫面間區(qū)塊，并依據(jù) 該預估移動向量以進行編碼。
3. 如權利要求2所述的方法，還包含以下步驟 依據(jù)該物體的所述位置信息，計算該物體的位置或尺寸變化；以及 將因為該物體位置或尺寸的變化而對應在該第二圖像中新出現(xiàn)的區(qū)塊定義為畫面內區(qū)塊，以進行編碼。
4. 如權利要求3所述的方法，其中該視頻為一作業(yè)系統(tǒng)畫面的操作過 程，且該物體的所述位置信息由該作業(yè)系統(tǒng)提#1。
5. 如權利要求4所述的方法，其中該物體具有一視窗框，且該物體的該 位置信息包括該視窗框的四個轉角位置的坐標值。
6. —種視頻編碼的方法，該視頻由多個圖像所組成，每個圖像包含多個 區(qū)塊，該視頻中一物體具有一新增物體信息及一位置信息，該方法包括提取該物體的該新增物體信息；當該物體于一第一圖像中不存在，而新增于一第二圖像時，提取該物體 在該第二圖像中的該位置信息；以及將該圖像含有該物體的區(qū)塊定義為畫面內區(qū)塊，以對該視頻進行編碼。
7. 如權利要求6所述的方法，其中該視頻為一作業(yè)系統(tǒng)畫面的操作過程， 且該物體的該新增物體信息及該位置信息由該作業(yè)系統(tǒng)提供。
8. 如權利要求7所述的方法，其中該物體具有一視窗框，且該物體的該 位置信息包括該視窗框的四個轉角位置的坐標值。
9. 一種視頻編碼的方法，該視頻由多個圖像所組成，每個圖像包含多個 區(qū)塊，該視頻中一物體具有一刪除物體信息及一位置信息，該方法包括提取該物體的一刪除物體信息；當該物體于一第一圖像中存在，而在一第二圖像中被刪除時，提取該物 體在該第 一 圖像中的該位置信息；將該第二圖像中，對應于該物體刪除后所新出現(xiàn)的區(qū)塊定義為畫面內區(qū) 塊，以對該視頻進行編碼。
10. 如權利要求9所述的方法，其中該視頻為一作業(yè)系統(tǒng)畫面的操作過 程，且該物體的該刪除物體信息及該位置信息由該作業(yè)系統(tǒng)提供。
11. 如權利要求IO所述的方法，其中該物體具有一視窗框，且該物體的 該位置信息包括該視窗框的四個轉角位置的坐標值。
12. —種內儲程序的計算機可讀取記錄介質，當計算機載入該程序并執(zhí) 行后，可完成如權利要求1至11中任一所述的方法。
13. —種內儲程序的計算機程序產(chǎn)品，當計算機載入該計算機程序并執(zhí) 行后，可完成如權利要求1至11中任一項所述的方法。
全文摘要
本發(fā)明提供一種視頻編碼的方法。該方法利用移動物體、縮放物體或新增/刪除物體等的位置信息，由此提供預估的移動向量，并依據(jù)該預估移動向量，對該視頻進行編碼。其中該視頻由多個圖像所組成，每個圖像包含多個區(qū)塊，該視頻中一物體具有一位置信息，該方法包括提取該物體分別在一第一圖像與一第二圖像中的該位置信息；依據(jù)該物體的所述位置信息，計算含有該物體的區(qū)塊的預估移動向量；以及依據(jù)該預估移動向量，對該視頻進行編碼。進行兩臺屏幕同步顯示時，可降低其移動估測(motion estimation)的運算量。進行錄制屏幕操作畫面時，改善其移動估測的運算量也可改善錄制的運算量。
文檔編號H04N7/26GK101656879SQ20081014496
公開日2010年2月24日 申請日期2008年8月18日 優(yōu)先權日2008年8月18日
發(fā)明者曾建堂 申請人:宏碁股份有限公司