專利名稱：具有低存儲器帶寬要求的視頻處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于根據(jù)基于塊的預(yù)測編碼技術(shù)來處理對應(yīng)于畫面序列的數(shù)據(jù)的視頻處理設(shè)備。
本發(fā)明尤其涉及基于MPEG或者與之等效的視頻標準的視頻編碼器、解碼器和轉(zhuǎn)碼器。
背景技術(shù)：
以基于塊的預(yù)測編碼技術(shù)(比如MPEG-2、H.264)為基礎(chǔ)的視頻解碼器或編碼器例如是基于對運動估計/運動補償?shù)难h(huán)使用，以便減小將要傳輸?shù)男畔⒘俊?br>

圖1示出一種根據(jù)這些編碼技術(shù)的傳統(tǒng)視頻解碼器。例如在S.R.Ely的“MPEG video encodinga basic tutorial introduction(MPEG視頻編碼基本教程)”(BBC Research and Development Report，1996/3)中描述了這樣一種傳統(tǒng)視頻解碼器。
所述視頻解碼器(100)包括一個解碼單元(10)，用于解碼一個對應(yīng)于編碼畫面序列的編碼數(shù)據(jù)流ES。在MPEG標準中，考慮三種類型的畫面不參考其它畫面編碼的I(或內(nèi)部編碼)畫面；參考一個過去畫面(I或P)編碼的P(或預(yù)測)畫面；以及參考就顯示順序而言的過去畫面或未來畫面(I或P)而編碼的B(或雙向預(yù)測)畫面。這些I畫面和P畫面在下文中將稱作參考畫面。此外，一個MPEG序列中的每個畫面被細分為稱作宏塊的運動補償區(qū)域。
根據(jù)現(xiàn)有技術(shù)的解碼單元包括-一個解析器(12)，用于分析所述編碼數(shù)據(jù)流；-一個宏塊處理單元MBPU(13)，用于計算運動矢量V(n)和經(jīng)可變長度解碼的數(shù)據(jù)；-一個逆量化和逆離散余弦變換IQ/IDCT電路(15)，用于從所述經(jīng)可變長度解碼的數(shù)據(jù)中提供殘差數(shù)據(jù)R’(n)；-一個運動補償電路MC(14)，用于使用所述運動矢量V(n)來提供經(jīng)運動補償?shù)臄?shù)據(jù)；
-一個重建電路REC(16)，用于從經(jīng)運動補償?shù)臄?shù)據(jù)與殘差數(shù)據(jù)的和來重建畫面。
已知的視頻解碼器包括一個外部存儲器EMEM(1)，用于存儲由所述重建電路提供的重建畫面。待存儲的畫面是內(nèi)部編碼類型或者預(yù)測類型的參考畫面F0和F1。
該解碼單元還包括一個存儲器控制器MMI(11)，用于控制在所述解碼單元和外部存儲器之間通過數(shù)據(jù)總線(2)進行的數(shù)據(jù)交換。舉例來說，所述數(shù)據(jù)交換是從重建電路向外部存儲器中存儲參考畫面，或者從外部存儲器中讀出參考畫面內(nèi)的經(jīng)運動補償?shù)臄?shù)據(jù)以便將其獲取到運動補償電路。
現(xiàn)有技術(shù)的一個缺陷是在宏塊的基礎(chǔ)上執(zhí)行運動補償，因此對于連續(xù)的宏塊通常是從外部存儲器的不同存儲區(qū)中讀出經(jīng)運動補償?shù)臄?shù)據(jù)。結(jié)果，從外部存儲器讀出的數(shù)據(jù)是以不規(guī)則的方式獲得的，并且根據(jù)現(xiàn)有技術(shù)的視頻解碼器需要大量的存儲器帶寬，這是由于將要讀出的數(shù)據(jù)量較大，而且很難優(yōu)化存儲器控制器對外部存儲器的訪問。實際上，將要讀出的數(shù)據(jù)不必在存儲器數(shù)據(jù)組中對齊。由于帶寬資源并不像處理器頻率那樣依照摩爾定律快速增加，所以所述缺陷日益嚴重。
下面的例子在MPEG-2解碼的情況下說明了這一點。假設(shè)外部存儲器是以64位字組織的。因此一個字可以包含8個像素值(亮度或色度)。運動補償電路必須讀取至少16×8像素的區(qū)域。在MPEG2標準中，運動補償具有半像素精度。結(jié)果，運動補償電路必須讀取17×9像素的區(qū)域，以便計算內(nèi)插的像素值。由于存儲器是以字組織的，所以實際上運動補償電路讀取9行的3個字(即24×9字節(jié))，這對應(yīng)于30％的帶寬損失(對于MPEG-2高清晰度HD畫面來說，17×9對應(yīng)于近似180Mbytes/s的帶寬，而24×9對應(yīng)于近似270Mbytes/s的帶寬)。
另一個問題與存儲器控制器的優(yōu)化有關(guān)。這是由于諸如SDRAM之類的存儲器是以脈沖串(burst)模式操作的，這不適用于不規(guī)則的數(shù)據(jù)讀出。脈沖串是為存儲器的每一行產(chǎn)生的。一個脈沖串包括至少7個或8個周期，而在我們的例子中，只要3個周期就足以讀出一行的3個字。結(jié)果，根據(jù)現(xiàn)有技術(shù)的視頻解碼器所需要的帶寬是所述解碼處理的理論上需要的帶寬的超過兩倍。
此外，參考畫面無法容易地存儲在代替外部存儲器的嵌入式存儲器中，因為所述嵌入式存儲器仍然非常昂貴。在我們的例子中，一個6Mbytes的嵌入式存儲器在高清晰度HD格式下將是必須的，這樣的存儲器在CMOS 0.12微米技術(shù)中對應(yīng)于近似50mm2的電路尺寸，這占用了太大的電路面積。
發(fā)明概要本發(fā)明的一個方面是提出一種視頻處理設(shè)備，其比起現(xiàn)有技術(shù)德視頻處理設(shè)備需要較少的存儲器帶寬。
為此，根據(jù)本發(fā)明的視頻處理設(shè)備包括-一個處理單元，包括一個重建電路以用于從解碼數(shù)據(jù)中重建畫面；-一個外部存儲器，用于存儲由該重建電路提供的重建畫面，該處理單元還包括-一個存儲器控制器，用于控制該處理單元和該外部存儲器之間的數(shù)據(jù)交換；-一個高速緩沖存儲器，用于臨時存儲對應(yīng)于一個預(yù)測區(qū)域的數(shù)據(jù)，所述數(shù)據(jù)是通過該存儲器控制器從該外部存儲器中讀出的；以及-一個運動補償電路，用于在從該高速緩沖存儲器讀出的預(yù)測區(qū)域的基礎(chǔ)上把經(jīng)運動補償?shù)臄?shù)據(jù)提供給該重建電路。
本發(fā)明基于這樣的事實在解壓縮處理期間，所述處理單元需要循環(huán)地讀取外部存儲器的一個預(yù)定存儲區(qū)，該預(yù)定存儲區(qū)對應(yīng)于參考畫面的一個預(yù)定區(qū)域，所述預(yù)定區(qū)域在下文中稱作預(yù)測區(qū)域。所述預(yù)測區(qū)域充當(dāng)用于逐塊重建當(dāng)前畫面的參考。
這樣的預(yù)測區(qū)域可以被加載到一個嵌入式存儲器(即高速緩沖存儲器)中而不需要過高的成本或電路面積，因為所述區(qū)域比起整個畫面要小得多。
結(jié)果，比起沒有高速緩沖存儲器的解決方案，根據(jù)本發(fā)明的處理設(shè)備所需的存儲器帶寬得以減小。
此外，在存儲器控制器級別沒有帶寬損失，因為是在規(guī)則的基礎(chǔ)上將數(shù)據(jù)從外部存儲器讀出到高速緩沖存儲器中。
附圖簡述下面將以舉例的方式參照附圖更詳細地描述本發(fā)明，其中圖1是一個傳統(tǒng)視頻解碼器的示意圖；圖2是一個根據(jù)本發(fā)明的視頻解碼器的示意圖；以及圖3是一個根據(jù)本發(fā)明的視頻解碼器的示意圖。
發(fā)明的詳細描述在這里借助于視頻解碼器和視頻編碼器的例子來描述本發(fā)明，但是本領(lǐng)域的技術(shù)人員可以看出，本發(fā)明可以應(yīng)用于根據(jù)基于塊的預(yù)測編碼技術(shù)來處理對應(yīng)于畫面序列的數(shù)據(jù)的任何視頻處理設(shè)備，比如用于把對應(yīng)于一個編碼畫面序列的第一編碼數(shù)據(jù)流轉(zhuǎn)換成第二編碼數(shù)據(jù)流的轉(zhuǎn)碼器，或者用于執(zhí)行視頻縮放的設(shè)備。
本發(fā)明是在MPEG2標準的情況下描述的，但是本發(fā)明也可以應(yīng)用于其中所述預(yù)測區(qū)域具有有限格式的其它編碼格式，比如H.264。
本發(fā)明還基于這樣的事實預(yù)測區(qū)域的大小是預(yù)先確定的，在其中必須可以找到17×9像素的區(qū)域(如上文中所限定)。在MPEG2標準得例子中，所述預(yù)測區(qū)域被限制到256行以用于解碼。
圖2描述了一個根據(jù)本發(fā)明的視頻解碼器。所述視頻解碼器(200)包括一個解碼單元(20)，用于解碼一個對應(yīng)于編碼畫面序列的編碼數(shù)據(jù)流ES。所述解碼單元包括-一個解析器(12)，用于分析所述編碼數(shù)據(jù)流；-一個宏塊處理單元MBPU(13)，用于計算運動矢量V(n)和經(jīng)可變長度解碼的數(shù)據(jù)；-一個逆量化和逆離散余弦變換IQ/IDCT電路(15)，用于從所述經(jīng)可變長度解碼的數(shù)據(jù)中提供殘差數(shù)據(jù)R’(n)；-一個運動補償電路MC(14)，用于使用所述運動矢量V(n)來提供經(jīng)運動補償?shù)臄?shù)據(jù)；-一個重建電路REC(16)，用于從經(jīng)運動補償?shù)臄?shù)據(jù)與殘差數(shù)據(jù)的和來重建畫面。
該視頻解碼器包括一個外部存儲器EMEM(1)，用于存儲由所述重建電路提供的參考畫面F0和F1。
該解碼單元還包括一個存儲器控制器MMI(11)，用于控制在所述解碼單元和外部存儲器之間通過數(shù)據(jù)總線(2)進行的數(shù)據(jù)交換。
根據(jù)本發(fā)明的視頻解碼器還包括一個高速緩沖存儲器CM(17)，用于臨時存儲通過所述存儲器控制器從外部存儲器中讀出的數(shù)據(jù)。在MPEG2的情況下，所述高速緩沖存儲器包括256行，并且適于接收所述預(yù)測區(qū)域?？梢砸圆煌绞礁略摳咚倬彌_存儲器的內(nèi)容。
根據(jù)第一種方式，在解碼處理期間以規(guī)則的方式從所述外部存儲器中讀出對應(yīng)于所述預(yù)測區(qū)域的數(shù)據(jù)。每當(dāng)已經(jīng)處理了一行(row)宏塊時，所述高速緩沖存儲器的內(nèi)容被逐行改變。然后直接使用所述高速緩沖存儲器的內(nèi)容來執(zhí)行運動補償，對數(shù)據(jù)的不規(guī)則讀出是在所述高速緩沖存儲器的級別完成的，而不再是在外部存儲器的級別來完成，因此不需要附加的存儲器帶寬。結(jié)果，根據(jù)本發(fā)明的設(shè)備所需要的帶寬是固定的，并且大約等于180Mbytes/s。
根據(jù)另一種方式，所述高速緩沖存儲器的256行被分成相等的存儲區(qū)。如果解碼單元需要訪問一個存儲區(qū)中的一個特定像素，則由該高速緩沖存儲器產(chǎn)生一個請求(例如緩存未中(cache miss))，只有在該情況下才借助于存儲器控制器將該對應(yīng)存儲區(qū)從外部存儲器獲取到所述高速緩沖存儲器中。因此，如果在解碼期間不需要一個存儲區(qū)中的像素，則節(jié)省下了用于獲取畫面的該對應(yīng)部分的帶寬。結(jié)果，根據(jù)本發(fā)明的解碼設(shè)備所需要的帶寬是可變的，并且取決于解碼流而位于0到180MBytes/s之間。
根據(jù)本發(fā)明的第一實施例，在所述高速緩沖存儲器中存儲2個參考畫面的預(yù)測區(qū)域。因此，與其中嵌入了整幀的解決方案相比，所述嵌入式存儲器的尺寸在HD格式下減小了超過4倍。
根據(jù)本發(fā)明的第二實施例，在所述高速緩沖存儲器中只存儲過去參考畫面的預(yù)測區(qū)域，而從外部存儲器中讀出未來參考畫面。在這種情況下，所述嵌入式存儲器的尺寸被減小，但是與第一實施例相比，根據(jù)本發(fā)明的視頻解碼器所需要的存儲器帶寬略有增加。
根據(jù)本發(fā)明的第三實施例，在所述高速緩沖存儲器中存儲參考畫面的亮度分量的預(yù)測區(qū)域，而直接從外部存儲器中讀出所述參考畫面的色度分量的預(yù)測區(qū)域。同樣地，所述嵌入式存儲器的尺寸被減小，但是與第一實施例相比，視頻解碼器所需要的帶寬略有增加。
本發(fā)明還可應(yīng)用于視頻編碼器。圖3描述了一個根據(jù)本發(fā)明的編碼器。所述視頻編碼器(300)包括一個編碼單元(30)，用于編碼一個對應(yīng)于一個畫面序列的輸入數(shù)據(jù)流。所述編碼單元包括-一個減法器SUB(32)，用于提供第一殘差數(shù)據(jù)R(n)，-一個離散余弦變換和量化DCT/Q電路(33)，用于連續(xù)地對該第一殘差數(shù)據(jù)R(n)進行變換和量化；-一個可變長度編碼器VLC(34)，用于從所述經(jīng)量化的數(shù)據(jù)提供經(jīng)可變長度編碼的數(shù)據(jù)；-一個逆量化和逆離散余弦變換IQ/IDCT電路(35)，用于從所述經(jīng)量化的數(shù)據(jù)中提供第二殘差數(shù)據(jù)R’(n)；-一個運動補償電路MC(37)，用于使用運動矢量(V(n))來向重建電路REC(36)和該減法器提供經(jīng)運動補償?shù)臄?shù)據(jù)P(I’(n-1)；V(n))，該減法器適于從輸入數(shù)據(jù)I(n)中減去所述經(jīng)運動補償?shù)臄?shù)據(jù)；-一個重建電路REC(36)，用于從所述經(jīng)運動補償?shù)臄?shù)據(jù)與所述第二殘差數(shù)據(jù)R’的和來重建畫面；-一個運動估計電路ME(38)，用于在參考畫面中找到與待編碼的當(dāng)前宏塊相關(guān)聯(lián)的參考宏塊及其對應(yīng)的運動矢量V(n)。
所述運動估計電路例如是基于計算絕對差的和SAD，SAD的表達式為SAD=Σi=0k,k-1|A(i)-B(i)|]]>其中B(i)和A(i)分別表示k×k尺寸的當(dāng)前宏塊(在MPEG-2標準中例如是16×16像素)以及參考畫面中的參考宏塊。使得SAD最小化的參考宏塊被考慮為最佳匹配宏塊，并且導(dǎo)出對應(yīng)的數(shù)據(jù)和運動矢量。
所述視頻解碼器包括一個外部存儲器EMEM(1)，用于存儲由所述重建電路提供的參考畫面F0和F1以及待編碼的當(dāng)前畫面。
該編碼單元包括一個存儲器控制器MMI(31)，用于控制在所述編碼單元和外部存儲器之間通過數(shù)據(jù)總線(2)進行的數(shù)據(jù)交換。
根據(jù)本發(fā)明的視頻解碼器還包括一個高速緩沖存儲器CM(39)，用于臨時存儲通過所述存儲器控制器從外部存儲器中讀出的對應(yīng)于所述預(yù)測區(qū)域的數(shù)據(jù)。然后直接使用所述高速緩沖存儲器來執(zhí)行運動估計和運動補償。
在視頻編碼器的情況下，可以得到甚至比視頻解碼器還高的帶寬增益，這是因為所述預(yù)測區(qū)域的尺寸對于編碼來說并不是標準化的，因此可以減小到128行或者甚至64行，當(dāng)然這樣做的代價是減小了視頻質(zhì)量。
前面的附圖及其描述是用于說明而不是限制本發(fā)明?？梢钥闯?，有大量落在所附權(quán)利要求書范圍內(nèi)的替換方案。在這方面，發(fā)明人做出以下聲明。
有多種借助于硬件項來實現(xiàn)各種功能的方式。在這方面，附圖是示意性的，每個附圖只代表本發(fā)明的一個可能的實施例。因此，雖然附圖將不同功能顯示為不同方框，但是絕不排除由單個硬件項實施幾個功能。也不排除由若干硬件項的組合來實施一個功能。
所附權(quán)利要求書中的任何附圖標記都不應(yīng)被理解為限制該權(quán)利要求?？梢钥闯?，“包括”一詞及其等效表述不排除在權(quán)利要求中所限定的步驟或元件之外的任何其它步驟或元件的存在。元件或步驟之前的“一個”不排除存在多個此類元件或步驟。
權(quán)利要求
1.一種用于根據(jù)基于塊的預(yù)測編碼技術(shù)來處理對應(yīng)于畫面序列的數(shù)據(jù)的視頻處理設(shè)備，所述設(shè)備包括-一個處理單元(20；30)，包括一個重建電路(16；36)以用于從解碼數(shù)據(jù)中重建畫面；-一個外部存儲器(1)，用于存儲由該重建電路提供的參考畫面，該處理單元還包括-一個存儲器控制器(11；31)，用于控制該處理單元和該外部存儲器之間的數(shù)據(jù)交換；-一個高速緩沖存儲器(17；39)，用于臨時存儲對應(yīng)于一個預(yù)測區(qū)域的數(shù)據(jù)，所述數(shù)據(jù)是通過該存儲器控制器從該外部存儲器中讀出的；以及-一個運動補償電路(14；37)，用于在從該高速緩沖存儲器讀出的預(yù)測區(qū)域的基礎(chǔ)上把經(jīng)運動補償?shù)臄?shù)據(jù)提供給該重建電路。
2.如權(quán)利要求1所述的視頻處理設(shè)備，其中所述處理單元是一個解碼單元(20)，用于解碼對應(yīng)于一個編碼畫面序列的編碼數(shù)據(jù)流。
3.如權(quán)利要求1所述的視頻處理設(shè)備，其中所述處理單元是一個編碼單元(30)，用于編碼對應(yīng)于一個畫面序列的輸入數(shù)據(jù)流。
4.如權(quán)利要求1所述的視頻處理設(shè)備，其中所述處理單元是一個轉(zhuǎn)碼單元，用于把對應(yīng)于一個編碼畫面序列的第一編碼數(shù)據(jù)流轉(zhuǎn)碼成第二編碼數(shù)據(jù)流。
5.如權(quán)利要求1所述的視頻處理設(shè)備，其中所述存儲器控制器(11；31)能夠?qū)?yīng)于一個完整預(yù)測區(qū)域的數(shù)據(jù)自動地從所述外部存儲器(1)獲取到所述高速緩沖存儲器(17；39)。
6.如權(quán)利要求1所述的視頻處理設(shè)備，其中所述高速緩沖存儲器(17；39)被劃分成相等的存儲區(qū)，并且所述存儲器控制器(11；31)能夠在所述處理單元的請求下將對應(yīng)于一個存儲區(qū)的數(shù)據(jù)從所述外部存儲器(1)獲取到所述高速緩沖存儲器(17；39)。
7.如權(quán)利要求1所述的視頻處理設(shè)備，其中所述高速緩沖存儲器(17；39)適于接收兩個參考畫面的預(yù)測區(qū)域。
8.如權(quán)利要求1所述的視頻處理設(shè)備，其中所述高速緩沖存儲器(17；39)適于接收一個過去參考畫面的預(yù)測區(qū)域，而未來參考畫面的預(yù)測區(qū)域是從所述外部存儲器(1)讀出的。
9.如權(quán)利要求1所述的視頻處理設(shè)備，其中所述高速緩沖存儲器(17；39)適于接收至少一個參考畫面的預(yù)測區(qū)域的亮度分量。
10.一種用于根據(jù)基于塊的預(yù)測編碼技術(shù)來處理對應(yīng)于畫面序列的數(shù)據(jù)的視頻處理方法，所述方法包括-從解碼數(shù)據(jù)中重建畫面；-在一個外部存儲器(1)中存儲由該重建步驟提供的參考畫面；-在一個高速緩沖存儲器(17；39)中臨時存儲對應(yīng)于一個預(yù)測區(qū)域的數(shù)據(jù)，所述數(shù)據(jù)是通過一個存儲器控制器從該外部存儲器中讀出的；以及-進行運動補償，以便能夠在從該高速緩沖存儲器讀出的預(yù)測區(qū)域的基礎(chǔ)上把經(jīng)運動補償?shù)臄?shù)據(jù)提供給該重建步驟。
全文摘要
本發(fā)明涉及一種用于根據(jù)基于塊的預(yù)測編碼技術(shù)來處理對應(yīng)于畫面序列的數(shù)據(jù)的視頻處理設(shè)備。所述設(shè)備包括一個處理單元(20)和一個外部存儲器(1)，該處理單元包括一個重建電路(16)以用于從解碼數(shù)據(jù)中重建畫面，該外部存儲器用于存儲由該重建電路提供的參考畫面。該解碼單元還包括一個存儲器控制器MMI(11)，用于控制在所述解碼單元和外部存儲器之間的數(shù)據(jù)交換；一個高速緩沖存儲器(17)，用于臨時存儲對應(yīng)于一個預(yù)測區(qū)域的數(shù)據(jù)，所述數(shù)據(jù)是通過該存儲器控制器從該外部存儲器中讀出的；以及一個運動補償電路(14)，用于在從該高速緩沖存儲器讀出的預(yù)測區(qū)域的基礎(chǔ)上把經(jīng)運動補償?shù)臄?shù)據(jù)提供給該重建電路。
文檔編號H04N7/50GK1792097SQ200480013584
公開日2006年6月21日 申請日期2004年5月6日 優(yōu)先權(quán)日2003年5月19日
發(fā)明者S·穆茨, H·德佩圖伊斯, E·德斯米奇特 申請人:皇家飛利浦電子股份有限公司