專利名稱：圖像數(shù)據(jù)傳輸方法、圖像處理裝置和攝像系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種進行圖像處理的裝置，特別涉及一種用于傳輸圖像的方法及裝置。
背景技術(shù)：
能夠以高壓縮率壓縮運動圖像的技術(shù)發(fā)展，被用于數(shù)碼相機、數(shù)碼攝像機中。作為運動圖像的壓縮方法，通常已知的是由國際標準化組織(ISO)規(guī)定的MPEG(Moving Picture Experts Group)。
在MPEG中，按照每個宏塊，處理利用幀內(nèi)相關(guān)性進行編碼(Intra編碼)、或利用幀間相關(guān)性進行編碼(Inter編碼)而得到的比特流，其中，所述宏塊由圖像中的水平NX×垂直NY像素構(gòu)成。只進行Intra編碼所構(gòu)成的圖像稱為I圖片，Intra編碼及Inter編碼混在一起進行編碼的圖像稱為P圖片或者B圖片。
在編碼時所生成的MPEG比特流、及解碼時所輸入的MPEG比特流中，進行逆量化、逆DCT和運動補償?shù)雀鞣N處理，所得到的重構(gòu)圖像保存(store)在臨時數(shù)據(jù)存儲部中。所保存的圖像作為參考圖像被讀出。
考慮用同步動態(tài)隨機存取存儲器(SDRAM)作為臨時數(shù)據(jù)存儲部的情況。在編碼/解碼處理時，對該SDRAM會發(fā)生多次傳輸重構(gòu)圖像及參考圖像的情況。作為高速地進行這種傳輸?shù)囊话惴椒ㄓ?，擴展SDRAM的數(shù)據(jù)總線寬度來一次傳輸多個像素的方法。例如，如果SDRAM的數(shù)據(jù)總線寬度是像素數(shù)據(jù)寬度的4倍，則將如圖11所示的水平16×垂直16像素的數(shù)據(jù)傳輸給SDRAM時，如圖12所示對每個水平方向排列的4個像素數(shù)據(jù)進行打包并將其作為數(shù)據(jù)傳輸?shù)膯挝?，這樣，就可以如圖13那樣傳輸水平4×垂直16個數(shù)據(jù)傳輸單位(數(shù)據(jù)包)。此時，與每次傳輸1個像素時相比，能夠?qū)鬏敃r間減少到1/4。
考慮實際傳輸1個宏塊的重構(gòu)圖像的亮度信號的情況。圖51是保存在SDRAM中的數(shù)據(jù)的映射示例說明圖。將圖13的數(shù)據(jù)包P0、P1、P2、P3、......P60、......P63分別傳輸給如圖51所示SDRAM的地址SD(ADXR，ADYR)、SD(ADXR+1，ADYR)、SD(ADXR+2，ADYR)、SD(ADXR+3，ADYR)、......SD(ADXR，ADYR+15)、......SD(ADXR+3，ADYR+15)時，按照下面的過程進行傳輸。
將行地址設(shè)置為ADYR后，傳輸數(shù)據(jù)包P0～P3；然后將行地址改變?yōu)锳DYR+1后，傳輸數(shù)據(jù)包P4～P7；接著將行地址改變?yōu)锳DYR+2后，傳輸數(shù)據(jù)包P8～P11；之后，采用同樣方法改變行地址并傳輸數(shù)據(jù)包P12～P63。
另外，在日本特開2002-152756號公報中公開了一種編碼裝置的例子，該編碼裝置采用線存儲器(line memory)來減少對參考圖像的傳輸。
對圖13的數(shù)據(jù)包P0～P7的傳輸過程，再稍微具體地說明。圖52是將數(shù)據(jù)包按照圖51寫入時的SDRAM的時序圖。假設(shè)SDRAM的突發(fā)長度(BL)為4。
首先，在時刻t0，進行行地址ADYR的設(shè)置(“act”命令)，在時刻t1，進行列地址(colume address)ADXR的設(shè)置(“write”命令)，連續(xù)寫入數(shù)據(jù)包P0～P3。
接著，為了改變行地址，SDRAM在時刻t5執(zhí)行“pre”命令，在時刻t6進行下一個行地址ADYR+1的設(shè)置(“act”命令)。然后，在時刻t7，進行列地址ADXR+1的設(shè)置(“write”命令)，連續(xù)寫入數(shù)據(jù)包P4～P7。以后，重復進行同樣的處理。
這里，如果將從當前“act”命令到下一個“act”命令之間的時間看成傳輸重構(gòu)圖像的1行所需的時間，則傳輸1行需要8個周期的時間。其中，進行數(shù)據(jù)傳輸?shù)臅r間只需要4個周期，除此之外的時間需要用于地址設(shè)置處理上。也就是說，每傳輸4個數(shù)據(jù)時，就會用4個周期來進行地址設(shè)置，這樣非常沒有效率。
下面，對參考圖像的讀出進行描述。圖53是對按照圖51所保存的數(shù)據(jù)包進行讀出時的SDRAM的時序圖。這里示出了對具有1個宏塊大小、即水平方向4×垂直方向16的數(shù)據(jù)包的參考圖像進行讀出的情況。在該讀出處理中，傳輸4個數(shù)據(jù)同樣也需要8個周期，其中4個周期要用在地址設(shè)置處理上。
圖54是示出傳輸17個像素的模式圖。在參考圖像為水平17×垂直17像素的圖像時，由于在水平方向上進行4像素打包，所以為了發(fā)送1行的17個像素需要5個數(shù)據(jù)包。例如，將從重構(gòu)圖像R0的數(shù)據(jù)P0中所包含的最左邊的像素開始在水平方向上錯開4n(n為整數(shù))像素的位置作為讀出開始位置時，如果讀出5個數(shù)據(jù)包，則能夠獲得17個像素的全部信息(參照圖54(a))。同樣，將從最左邊的像素開始在水平方向上錯開4n+1、4n+2、4n+3像素的位置作為讀出開始位置時，如果讀出5個數(shù)據(jù)包，則也能夠獲得17個像素的全部信息(分別參照圖54(b)、(c)、(d))。
圖55是參考圖像為水平17×垂直17像素時，對按照圖51所保存的數(shù)據(jù)包進行讀出時的SDRAM的時序圖。由于對垂直方向不進行像素打包，所以如果讀出17行(line)的數(shù)據(jù)，則可以獲得垂直17像素的信息。因此，進行水平方向5個數(shù)據(jù)×垂直方向17個數(shù)據(jù)的讀出即可。
這里，假設(shè)SDRAM的突發(fā)長度(BL)＝4，所以通過1次“read”命令只能讀出4個數(shù)據(jù)。因此，為了在同一行地址中能夠?qū)?個數(shù)據(jù)連續(xù)地讀出，在時刻t4再次執(zhí)行“read”命令，之后，在時刻t5執(zhí)行“pre”命令，以改變行地址。
由此可見，在傳輸參考圖像的過程中，需要進行與行的數(shù)目相應(yīng)的地址設(shè)置處理，所以也和傳輸重構(gòu)圖像時一樣沒有效率。該讀出/寫入傳輸周期的數(shù)目可以通過下式進行計算。
(向SDRAM的同一行地址的訪問次數(shù)+SDRAM的地址設(shè)置時間)×SDRAM的行地址改變次數(shù)......(C1)其中，SDRAM的地址設(shè)置所需要的時間是SDRAM的地址設(shè)置時間×SDRAM的行地址改變次數(shù)......(C2)在這里所使用的SDRAM中，“SDRAM的地址設(shè)置時間”＝4個周期，這可以通過圖52(寫入時)、圖53(讀出時)可以知道。每個宏塊中，“向SDRAM的同一行地址的訪問次數(shù)”＝4，“SDRAM的行地址改變次數(shù)”＝16，所以1個宏塊的重構(gòu)圖像的寫入周期的數(shù)目為(4+4)×16＝128個周期。由此可以知道，傳輸1個數(shù)據(jù)包需要2(＝128/64)個周期。
同樣，再考慮4:2:0形式的色差信號的傳輸情況。由于亮度信號為每1個宏塊水平16×垂直16像素，所以藍色差信號及紅色差信號均是每1個宏塊水平8×垂直8像素。在進行了水平4像素打包時，某一色差信號的數(shù)據(jù)包個數(shù)為水平2×垂直8。當利用式(C1)計算傳輸周期的數(shù)目時，“向SDRAM的同一行地址的訪問次數(shù)”＝2，“SDRAM的行地址改變次數(shù)”＝8，所以需要(2+4)×8＝48個周期。這樣，傳輸兩種色差信號時需要96個周期(＝48×2)。由此可知，傳輸1個數(shù)據(jù)包需要3(＝96/32)個周期。
上述時間與幀大小成比例地增長。高清晰度(HD)大小的圖像，每幀具有2,073,600個像素，當每秒處理60幀時，應(yīng)處理的總像素數(shù)為每秒124,416,000(＝2,073,600×60)像素。此外，為了實現(xiàn)高速傳輸，如果如前所述那樣進行數(shù)據(jù)打包(4個像素組成一個數(shù)據(jù)包)，則對SDRAM的存取數(shù)據(jù)包數(shù)為每秒31,104,000(＝124,416,000/4)個數(shù)據(jù)包。
考慮將這樣打包的數(shù)據(jù)向SDRAM傳輸?shù)那闆r?，F(xiàn)在，假設(shè)一個系統(tǒng)傳輸重構(gòu)圖像及參考圖像的宏塊的數(shù)目均是每宏塊1個，這時應(yīng)傳輸?shù)臄?shù)據(jù)的量非常大，總共為每秒62,208,000(＝31,104,000×2)個數(shù)據(jù)。由于亮度信號的SDRAM存取周期為“1個數(shù)據(jù)＝2個周期”，所以為了全部傳輸完1秒的亮度信號，需要124,416,000(＝62,208,000×2)個周期。其中的一半周期是SDRAM的地址設(shè)置時間。
同樣的，下面對色差信號的傳輸進行計算。由于4:2:0形式的色差信號(藍色差信號+紅色差信號)具有亮度信號的一半的信息量，所以應(yīng)向SDRAM傳輸?shù)臄?shù)據(jù)數(shù)為每秒31,104,000(＝62,208,000/2)。由于色差信號的SDRAM存取周期為“1個數(shù)據(jù)＝3個周期”，所以為了全部傳輸完1秒的色差信號，需要93,312,000(＝31,104,000×3)個周期。其中的2/3的周期是SDRAM的地址設(shè)置時間。
因此，亮度信號和兩種色差信號總共需要每秒217,728,000個周期。其中的124,416,000個周期是SDRAM的地址設(shè)置時間。這實際上是沒有效率的傳輸。由此為了實現(xiàn)高速傳輸，當然需要讓SDRAM高速地工作，從而造成消耗功率也增大。
圖56是以場為單位保存在SDRAM的不同區(qū)域的數(shù)據(jù)的映射示例說明圖。在隔行掃描(interlace)處理中，將宏塊分成前場(top field)和后場(bottom field)這2個場處理，前場由圖26所示的奇數(shù)行的像素(P0、P1、P2、P3、P8、P9、P10、P11、......、P59)組成，后場由圖26所示的偶數(shù)行的像素(P4、P5、P6、P7、P12、P13、P14、P15、......、P63)組成。
在很多情況下，將這兩個場保存在SDRAM上時，如圖56所示，將前場和后場保存于不同的區(qū)域。這是因為，從SDRAM讀出(參考圖像的傳輸)時，有時會發(fā)生以場為單位的傳輸請求，此時，如果兩個場的數(shù)據(jù)混在一起，則無法實現(xiàn)高效的傳輸。
對于圖56的情況，利用式(C1)求出傳輸所需要的周期數(shù)。對于每個宏塊，“向SDRAM的同一行地址的訪問次數(shù)”＝4、“SDRAM的行地址改變次數(shù)”＝8，所以每個宏塊需要(4+4)×8＝64個周期，兩個場加起來需要128(＝64×2)個周期。因而，傳輸1個數(shù)據(jù)需要2(＝128/64)個周期，這種傳輸和圖51所示的逐行處理一樣沒有效率。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提高進行圖像處理的裝置和存儲圖像數(shù)據(jù)的存儲器等之間的圖像數(shù)據(jù)的數(shù)據(jù)傳輸效率。
本發(fā)明中的圖像傳輸方法，包括以下步驟(a)、將保存在第1圖像存儲部的、具有由第1及第2方向的座標表示各自位置的多個像素的2維圖像的像素的數(shù)據(jù)，以在所述第1方向相鄰的規(guī)定數(shù)目個像素的數(shù)據(jù)為單位進行打包，將所得到的數(shù)據(jù)傳輸單位在所述第2方向上掃描讀出；(b)、將所述步驟(a)中所讀出的數(shù)據(jù)傳輸單位，突發(fā)式寫入臨時數(shù)據(jù)存儲部，該臨時數(shù)據(jù)存儲部用于將數(shù)據(jù)保存在由第1和第2地址的組合所指定的位置，其中，突發(fā)式寫入的區(qū)域為所述第1地址連續(xù)且所述第2地址固定的區(qū)域；(c)、將寫入所述臨時數(shù)據(jù)存儲部的數(shù)據(jù)傳輸單位，從所述第1地址連續(xù)且所述第2地址固定的區(qū)域中突發(fā)式讀出，并寫入第2圖像存儲部。
根據(jù)該方法，數(shù)據(jù)傳輸單位的個數(shù)在第1方向少于進行打包之前的像素的個數(shù)，而在第2方向等于進行打包之前的像素的個數(shù)。對于在第2方向上掃描讀出的數(shù)據(jù)傳輸單位，進行突發(fā)式寫入及突發(fā)式讀出，所以能夠提高與臨時數(shù)據(jù)存儲部之間的數(shù)據(jù)傳輸效率，實現(xiàn)高速的數(shù)據(jù)傳輸。
此外，本發(fā)明中的圖像數(shù)據(jù)傳輸方法，是一種需要臨時的存儲區(qū)域的圖像處理中的圖像數(shù)據(jù)傳輸方法，被作為處理單位的圖像具有第1方向DX×第2方向DY個數(shù)據(jù)傳輸單位時，其中DX、DY為自然數(shù)，如果DX＞＝DY，則在所述第1方向上掃描所述圖像，并將每DX個所述數(shù)據(jù)傳輸單位突發(fā)式寫入所述存儲區(qū)域的連續(xù)地址；如果DX＜DY，則在所述第2方向上掃描所述圖像，并將每DY個所述數(shù)據(jù)傳輸單位突發(fā)式寫入所述存儲區(qū)域的連續(xù)地址。
根據(jù)該方法，在圖像中，在第1及第2方向之中，在數(shù)據(jù)傳輸單位個數(shù)多的方向上掃描并進行突發(fā)式寫入，所以不論數(shù)據(jù)傳輸單位所占據(jù)的圖像上的形狀、圖像的縱橫比等如何，都能夠?qū)崿F(xiàn)高速的數(shù)據(jù)傳輸。
另外，本發(fā)明的圖像處理裝置，包括第1讀出部，用于將保存在第1圖像存儲部的、具有由第1和第2方向的座標表示各自位置的多個像素的2維圖像的像素的數(shù)據(jù)，以在所述第1方向相鄰的規(guī)定數(shù)目個像素的數(shù)據(jù)為單位進行打包，將所得到的數(shù)據(jù)傳輸單位在所述第2方向上掃描讀出，將所述讀出的數(shù)據(jù)傳輸單位，突發(fā)式寫入臨時數(shù)據(jù)存儲部，該臨時數(shù)據(jù)存儲部用于將數(shù)據(jù)保存在由第1和第2地址的組合所指定的位置，其中，突發(fā)式寫入的區(qū)域為所述第1地址連續(xù)且所述第2地址固定的區(qū)域；第1寫入部，用于將寫入所述臨時數(shù)據(jù)存儲部的數(shù)據(jù)傳輸單位，從所述第1地址連續(xù)且所述第2地址固定的區(qū)域中突發(fā)式讀出，并寫入第2圖像存儲部。
另外，本發(fā)明的攝像系統(tǒng)，包括模擬/數(shù)字轉(zhuǎn)換器，用于將模擬信號轉(zhuǎn)換為數(shù)字信號；圖像處理裝置，用于對所述數(shù)字信號進行圖像處理；其中，所述圖像處理裝置，包括讀出部，用于將所述圖像處理后保存在第1圖像存儲部的、具有由第1和第2方向的座標表示各自位置的多個像素的2維圖像的像素的數(shù)據(jù)，以在所述第1方向相鄰的規(guī)定數(shù)目個像素的數(shù)據(jù)為單位進行打包，將所得到的數(shù)據(jù)傳輸單位在所述第2方向上掃描讀出，將所述讀出的數(shù)據(jù)傳輸單位突發(fā)式寫入臨時數(shù)據(jù)存儲部，該臨時數(shù)據(jù)存儲部用于將數(shù)據(jù)保存在由第1和第2地址的組合所指定的位置，突發(fā)式寫入的區(qū)域為所述第1地址連續(xù)且所述第2地址固定的區(qū)域；寫入部，用于將寫入所述臨時數(shù)據(jù)存儲部的數(shù)據(jù)傳輸單位，從所述第1地址連續(xù)且所述第2地址固定的區(qū)域中突發(fā)式讀出，并寫入第2圖像存儲部。
綜上所述，通過本發(fā)明，能夠在圖像存儲部和臨時數(shù)據(jù)存儲部之間，實現(xiàn)高速的數(shù)據(jù)傳輸，所以對于使用SDRAM等可突發(fā)式傳輸?shù)拇鎯ζ髯鳛榕R時數(shù)據(jù)存儲部的圖像處理，能夠?qū)崿F(xiàn)高速的圖像處理。


圖1是本發(fā)明的第1實施方式中的圖像處理裝置的結(jié)構(gòu)框圖；圖2是關(guān)于運動估計的說明圖；圖3是生成P圖片及B圖片時的圖片的參考說明圖；圖4是作為編碼處理對象的圖像示例說明圖；圖5是圖1的重構(gòu)圖像存儲部中的重構(gòu)圖像說明圖；圖6是亮度信號及色差信號(4:4:4形式)的示例說明圖；圖7是亮度信號及色差信號(4:2:2形式)的示例說明圖；圖8是亮度信號及色差信號(4:2:0形式)的示例說明圖；圖9是用于運動估計的參考區(qū)域的示例說明圖；圖10是用于1/2像素精度下的搜索的參考區(qū)域說明圖；圖11是保存在圖1的重構(gòu)圖像存儲部中的重構(gòu)圖像的1宏塊的像素數(shù)據(jù)(亮度信號)的說明圖；圖12是用數(shù)據(jù)包示出圖11的像素數(shù)據(jù)的說明圖；圖13是對應(yīng)于圖像上的位置表示1宏塊的亮度信號的數(shù)據(jù)包的說明圖；圖14是示出圖1的幀垂直掃描讀出部對圖13的數(shù)據(jù)進行傳輸?shù)捻樞蛘f明圖；圖15是保存在圖1的臨時數(shù)據(jù)存儲部中的數(shù)據(jù)的映射示例說明圖；圖16是如圖14、圖15所示進行數(shù)據(jù)寫入時的圖1中的臨時數(shù)據(jù)存儲部的時序圖；圖17是示出在圖1的臨時數(shù)據(jù)存儲部中各宏塊的保存位置說明圖；圖18是以數(shù)據(jù)包為單位表示圖5的一部分的說明圖；
圖19是示出多個宏塊保存在圖1的臨時數(shù)據(jù)存儲部中的數(shù)據(jù)包的映射說明圖；圖20是亮度信號及各色差信號的各宏塊保存在圖1的臨時數(shù)據(jù)存儲部中的位置說明圖；圖21是示出按水平4像素打包的水平64×垂直64像素的重構(gòu)圖像和臨時數(shù)據(jù)存儲部上的映射圖像的說明圖；圖22是作為參考圖像讀出的區(qū)域示例說明圖；圖23是圖1的臨時數(shù)據(jù)存儲部在讀出圖22的參考圖像時的時序圖；圖24是示出圖1的參考圖像存儲部中的數(shù)據(jù)包的說明圖；圖25是示出本發(fā)明第2實施方式中的圖像處理裝置的結(jié)構(gòu)框圖；圖26是將圖13的像素數(shù)據(jù)分為兩個場的說明圖；圖27是示出圖25的場垂直掃描讀出部對圖26的數(shù)據(jù)進行傳輸?shù)捻樞虻恼f明圖；圖28是保存在圖25的臨時數(shù)據(jù)存儲器中的數(shù)據(jù)的映射示例說明圖；圖29是亮度信號及色差信號的各宏塊保存在圖25的臨時數(shù)據(jù)存儲部中的位置說明圖；圖30是保存在圖25的臨時數(shù)據(jù)存儲器中的數(shù)據(jù)的另一映射示例說明圖；圖31是對應(yīng)于畫面上的位置示出幀結(jié)構(gòu)圖像中的1宏塊的藍色差信號及紅色差信號(4:2:0形式)的數(shù)據(jù)包的說明圖；圖32是圖1的臨時數(shù)據(jù)存儲部中的色差信號的映射示例說明圖；圖33是圖1的臨時數(shù)據(jù)存儲部中的色差信號的另一映射示例說明圖；圖34是對應(yīng)于畫面上的位置示出場結(jié)構(gòu)圖像中的1宏塊的藍色差信號及紅色差信號(4:2:0形式)的數(shù)據(jù)包的說明圖；圖35是圖25的臨時數(shù)據(jù)存儲部中的色差信號的映射示例說明圖；圖36是圖25的臨時數(shù)據(jù)存儲部中的色差信號的另一映射示例說明圖；圖37是圖1的臨時數(shù)據(jù)存儲部中的亮度信號及色差信號的映射示例說明圖；圖38是圖25的臨時數(shù)據(jù)存儲部2中的亮度信號及色差信號的映射示例說明圖；
圖39是本發(fā)明的第4實施方式中的圖像處理裝置的結(jié)構(gòu)框圖；圖40是示出圖39的圖像處理裝置和可高速工作的臨時數(shù)據(jù)存儲部的框圖；圖41是圖39的圖像處理裝置的一個變形例的結(jié)構(gòu)框圖；圖42是圖39的圖像處理裝置的另一個變形例的結(jié)構(gòu)框圖；圖43是多編解碼器處理的示例時序圖；圖44是示出圖39的圖像處理裝置的又一變形例的結(jié)構(gòu)框圖；圖45是示出在本發(fā)明的第5實施方式中保存在臨時數(shù)據(jù)存儲部中的重構(gòu)圖像的說明圖；圖46是本發(fā)明的第6實施方式中的圖像處理裝置的結(jié)構(gòu)框圖；圖47是示出進行調(diào)停時的數(shù)據(jù)傳輸?shù)囊粋€例子的時序圖；圖48是示出進行調(diào)停時圖46的圖像處理裝置進行數(shù)據(jù)傳輸?shù)囊粋€例子的時序圖；圖49中，(a)是表示數(shù)據(jù)包和合成數(shù)據(jù)包的最前頭位置一致時的兩者關(guān)系說明圖；(b)是表示數(shù)據(jù)包和合成數(shù)據(jù)包的最前頭位置不一致時的兩者關(guān)系說明圖；圖50是本發(fā)明的第7實施方式中的攝像系統(tǒng)的結(jié)構(gòu)框圖；圖51是保存在SDRAM中的數(shù)據(jù)的映射示例說明圖；圖52是如圖51所示對數(shù)據(jù)包進行寫入時的SDRAM的時序圖；圖53是讀出按照圖51保存的數(shù)據(jù)包時的SDRAM的時序圖；圖54是示出傳輸17像素的模式圖；圖55是在參考圖像為水平17×垂直17像素的情況下，讀出按照圖51保存的數(shù)據(jù)包時的SDRAM的時序圖；圖56是每個場保存在SDRAM的不同區(qū)域中的數(shù)據(jù)的映射示例說明圖。
符號說明4 幀/場轉(zhuǎn)換部5 場/幀轉(zhuǎn)換部8 存儲器調(diào)停部23、24 選擇器
30 重構(gòu)圖像生成部32 幀垂直掃描讀出部33 場垂直掃描讀出部34 重構(gòu)圖像存儲部(storage)(第1圖像存儲部)40 運動估計/補償部42 幀垂直掃描寫入部43 場垂直掃描寫入部44 參考圖像存儲部(第2圖像存儲部)100、200、300、300B、300C、400、500 圖像處理裝置700 攝像系統(tǒng)712 光學系統(tǒng)714 傳感器716 模擬/數(shù)字轉(zhuǎn)換器具體實施方式
下面參照

本發(fā)明的實施方式。其中，相同的構(gòu)成要素附上相同的參考編號。
(第1實施方式)圖1是本發(fā)明的第1實施方式中的圖像處理裝置的結(jié)構(gòu)框圖。該圖像處理裝置用于提高幀結(jié)構(gòu)的圖像的傳輸效率。
圖1所示的圖像處理裝置100包括減法器12、離散余弦變換(DCT，discretecosine transform)處理部14、量化處理部16、可變長編碼解碼部18、開關(guān)21、22、逆量化處理部26、逆DCT處理部28、重構(gòu)圖像生成部30、運動估計/補償部40、宏塊(MB)類型控制部52和比率控制部54。其中，重構(gòu)圖像生成部30具有幀垂直掃描讀出部32和作為第1圖像存儲部的重構(gòu)圖像存儲部34。運動估計/補償部40具有幀垂直掃描寫入部42和作為第2圖像存儲部的參考圖像存儲部44。
幀垂直掃描讀出部32從重構(gòu)圖像存儲部34中讀出數(shù)據(jù)，并將該數(shù)據(jù)寫入臨時數(shù)據(jù)存儲部2。幀垂直掃描寫入部42從臨時數(shù)據(jù)存儲部2中讀出數(shù)據(jù)，并將該數(shù)據(jù)寫入?yún)⒖紙D像存儲部44。這里，作為例子，假設(shè)臨時數(shù)據(jù)存儲部2為SDRAM。下面，假設(shè)該SDRAM的突發(fā)長度(BL)為4。重構(gòu)圖像存儲部34及參考圖像存儲部44為，例如靜態(tài)隨機存取存儲器(SRAM)或觸發(fā)器。
-編碼時-下面對編碼時的圖像處理裝置100的工作進行描述。用于表示編碼對象圖像的圖片編碼類型(I圖片、P圖片、或B圖片)的圖片編碼類型信號TY輸入到開關(guān)21及MB類型控制部52。
當圖片編碼類型信號TY表示圖片編碼類型為I圖片時，開關(guān)21成為斷開狀態(tài)(非導通狀態(tài))；當圖片編碼類型信號TY表示圖片編碼類型為P圖片或B圖片時，開關(guān)21成為接通狀態(tài)(導通狀態(tài))。
MB類型控制部52根據(jù)圖片編碼類型信號TY及運動估計/補償部40輸出的信號，對開關(guān)22進行控制。具體而言，當圖片編碼類型信號TY表示圖片編碼類型為I圖片時，MB類型控制部52將開關(guān)22斷開。此外，當圖片編碼類型信號TY表示圖片編碼類型為P圖片或B圖片時，MB類型控制部52根據(jù)運動估計/補償部40輸出的運動估計結(jié)果，將宏塊的編碼類型確定為Intra編碼或者Inter編碼。
當編碼類型為Intra編碼時，開關(guān)22成為斷開狀態(tài)，當編碼類型為Inter編碼時，開關(guān)22成為接通狀態(tài)。MB類型控制部52將宏塊的編碼類型也輸出給可變長編碼解碼部18。比率控制部54監(jiān)視可變長編碼解碼部18產(chǎn)生的編碼量，并根據(jù)它來確定量化參數(shù)，并將該量化參數(shù)輸出給量化處理部16。
下面對I圖片的生成進行描述。當圖片編碼類型信號TY表示的圖片編碼類型為I圖片時，開關(guān)21、22成為斷開狀態(tài)。編碼對象圖像IM以宏塊為單位輸入到減法器12中。由于開關(guān)22為斷開狀態(tài)，所以減法器12將編碼對象圖像IM原封不動地輸出給DCT處理部14。
DCT處理部14對減法器12輸出的數(shù)據(jù)進行DCT處理，并將其結(jié)果輸出給量化處理部16。量化處理部16對DCT處理后的數(shù)據(jù)進行量化處理，并將其結(jié)果輸出給可變長編碼解碼部18和逆量化處理部26?？勺冮L編碼解碼部18對量化處理后的數(shù)據(jù)進行可變長編碼處理，并將所得到的代碼CD輸出到外部。
逆量化處理部26對從量化處理部16接收到的量化處理后的數(shù)據(jù)進行逆量化處理，并將其結(jié)果輸出給逆DCT處理部28。逆DCT處理部28對逆量化處理后的數(shù)據(jù)進行逆DCT處理，并將其結(jié)果輸出給重構(gòu)圖像生成部30。
由于開關(guān)22為斷開狀態(tài)，所以運動估計/補償部40的輸出不會提供到重構(gòu)圖像生成部30。因此，重構(gòu)圖像生成部30將逆DCT處理部28發(fā)送的數(shù)據(jù)原封不動地寫入重構(gòu)圖像存儲部34。之后，幀垂直掃描讀出部32讀出重構(gòu)圖像存儲部34的數(shù)據(jù)，將其保存于臨時數(shù)據(jù)存儲部2。保存于重構(gòu)圖像存儲部34并發(fā)送給臨時數(shù)據(jù)存儲部2的圖像數(shù)據(jù)被稱為重構(gòu)圖像，用作對P圖片或B圖片進行編碼時的參考圖像。
下面對P圖片的生成進行描述。當圖片編碼類型信號TY表示的圖片編碼類型為P圖片時，開關(guān)21成為接通狀態(tài)。編碼對象圖像IM以宏塊為單位輸入至減法器12和運動估計/補償部40。
圖2是關(guān)于運動估計的說明圖。幀垂直掃描寫入部42從臨時數(shù)據(jù)存儲部2中讀出與所輸入的編碼對象圖像IM(對象塊)相同位置的圖像及其周圍的圖像，并將其保存到參考圖像存儲部44。該讀出的像素區(qū)域稱為參考區(qū)域。編碼對象圖像IM具有水平NX×垂直NY像素(NX、NY為自然數(shù))，參考區(qū)域(水平MX×垂直MY像素)大于編碼對象圖像IM(MX、MY為滿足MX＞NX、MY＞NY的整數(shù))。運動估計/補償部40利用編碼對象圖像IM和參考區(qū)域上的參考塊(水平NX×垂直NY像素)進行運動估計。
塊匹配法為一種通常使用的運動估計方法。該方法是對對象塊和參考區(qū)域的參考塊進行比較，求出與對象塊最匹配的參考塊的位置，并將該參考塊的位置與對象塊的位置之間的坐標差作為運動矢量檢測。
對象塊與參考塊之間的塊匹配通過求出評價函數(shù)為最小值的參考塊來進行，該評價函數(shù)為構(gòu)成塊的像素所具有的像素值的差值的絕對值和，即(評價函數(shù))＝∑|Ref(Mx+x，My+y)-Org(x，y)|......(1)其中，Ref(Mx+x，My+y)表示參考圖像內(nèi)的位置(Mx+x，My+y)的像素值，該參考圖像對于對象塊位于相對位置(Mx，My)，Org(x，y)表示對象塊內(nèi)的位置(x，y)上的像素值。
運動估計/補償部40求出評價函數(shù)的最小值，并將其結(jié)果輸出給MB類型控制部52。MB類型控制部52根據(jù)該評價函數(shù)的最小值，將宏塊的編碼類型確定為Intra編碼或Inter編碼中的一個，并將其結(jié)果輸出給可變長編碼解碼部18及開關(guān)22。可變長編碼解碼部18生成表示宏塊的編碼類型的代碼并將其輸出。
當編碼類型確定為Intra編碼時，開關(guān)22成為斷開狀態(tài)，之后的編碼處理與I圖片生成時一樣。當編碼類型確定為Inter編碼時，運動估計/補償部40進行運動補償圖像的生成。該運動補償圖像是指進行上述運動估計處理后評價函數(shù)為最小值的參考塊。在Inter編碼的情況下，開關(guān)22成為接通狀態(tài)，運動估計/補償部40將生成的運動補償圖像通過開關(guān)22輸出給減法器12。減法器12從外部輸入的編碼對象圖像IM中減去所生成的運動補償圖像，并將其結(jié)果輸出給DCT處理部14。
當開關(guān)22為接通狀態(tài)(Inter編碼時)時，重構(gòu)圖像生成部30將經(jīng)過DCT處理部14、量化處理部16、逆量化處理部26和逆DCT處理部28處理的圖像和運動估計/補償部40輸出的運動補償圖像相加，并其結(jié)果寫入重構(gòu)圖像存儲部34。另外，當開關(guān)22為斷開狀態(tài)(Intra編碼時)時，重構(gòu)圖像生成部30將逆DCT處理部28輸出的圖像原封不動地寫入重構(gòu)圖像存儲部34。
之后，幀垂直掃描讀出部32讀出重構(gòu)圖像存儲部34中的數(shù)據(jù)，并將所讀出的重構(gòu)圖像寫入臨時數(shù)據(jù)存儲部2。在其它方面，和I圖片的生成的情況基本相同。
下面對B圖片的生成進行描述。圖3是對生成P圖片及B圖片時的圖片參考的說明圖。生成P圖片時，將按時間順序在前的I圖片或P圖片用作參考區(qū)域(前向參考區(qū)域)；而生成B圖片時，不僅將按時間順序在前的I圖片或P圖片用作參考區(qū)域(前向參考區(qū)域)，而且還將按時間順序在后的I圖片或P圖片也用作參考區(qū)域(后向參考區(qū)域)。因此，作為B圖片的后向參考區(qū)域所使用的I圖片或P圖片需要比該B圖片先進行編碼處理(參考圖3)。所以，圖1的運動估計/補償部40不僅需要從臨時數(shù)據(jù)存儲部2中讀出前向參考區(qū)域，還需要讀出后向參考區(qū)域。
另外，因為B圖片生成時所生成的重構(gòu)圖像不被用作其他圖片的參考圖像，所以在生成B圖片時，不進行經(jīng)過逆量化處理部26、逆DCT處理部28和重構(gòu)圖像生成部30的重構(gòu)圖像的生成處理。在其它方面，和P圖片生成的情況基本相同。
-解碼時-解碼時，可變長編碼解碼部18對所輸入的代碼CD進行解碼。此時，得到圖片編碼類型(I圖片、P圖片、B圖片)和宏塊類型(Intra/Inter編碼)，并將其發(fā)送給MB類型控制部52。
MB類型控制部52根據(jù)可變長編碼解碼部18發(fā)來的幀類型和宏塊類型，對開關(guān)22進行控制。具體而言，當幀類型為I圖片時，或者當幀類型為P圖片或B圖片且宏塊類型為Intra編碼時，將開關(guān)22斷開。當幀類型為P圖片或B圖片且宏塊類型為Inter編碼時，將開關(guān)22接通。
在進行I圖片的解碼時，重構(gòu)圖像生成部30將經(jīng)過可變長編碼解碼部18、逆量化處理部26和逆DCT處理部28處理后的數(shù)據(jù)寫入重構(gòu)圖像存儲部34。重構(gòu)圖像生成部30將保存在重構(gòu)圖像存儲部34中的數(shù)據(jù)作為再生圖像RP輸出到外部。并且，幀垂直掃描讀出部32讀出重構(gòu)圖像存儲部34的數(shù)據(jù)，由臨時數(shù)據(jù)存儲器2保存該數(shù)據(jù)。臨時數(shù)據(jù)存儲部2的數(shù)據(jù)用作解碼P圖片或B圖片時的參考圖像。
下面對P圖片的解碼進行描述?？勺冮L編碼解碼部18將通過對代碼CD進行解碼所得到的運動矢量信息輸出給運動估計/補償部40。運動估計/補償部40從臨時數(shù)據(jù)存儲部2讀出參考圖像，根據(jù)運動矢量信息對該參考圖像進行運動補償，并將其結(jié)果輸出給開關(guān)22。
當開關(guān)22為接通狀態(tài)(Inter編碼時)時，重構(gòu)圖像生成部30將經(jīng)過可變長編碼解碼部18、逆量化處理部26和逆DCT處理部28處理后的圖像，和運動估計/補償部40輸出的運動補償圖像相加，并將其結(jié)果寫入重構(gòu)圖像存儲部34。另外，當開關(guān)22為斷開狀態(tài)(Intra編碼時)時，重構(gòu)圖像生成部30將逆DCT處理部28輸出的圖像原封不動地寫入重構(gòu)圖像存儲部34。
和I圖片的情況一樣，重構(gòu)圖像生成部30將保存在重構(gòu)圖像存儲部34中的數(shù)據(jù)作為再生圖像RP輸出到外部。另外，幀垂直掃描讀出部32讀出重構(gòu)圖像存儲部34的數(shù)據(jù)，由臨時數(shù)據(jù)存儲器2保存該數(shù)據(jù)。臨時數(shù)據(jù)存儲部2的數(shù)據(jù)用作解碼P圖片或B圖片時的參考圖像。
在進行B圖片的解碼時，不僅將按時間順序在前的I圖片或P圖片用作參考區(qū)域，而且還將按時間順序在后的I圖片或P圖片也用作參考區(qū)域，在此不進行重構(gòu)圖像的生成處理。在其它方面，和P圖片的解碼情況基本相同。
-重構(gòu)圖像的傳輸-圖4是作為編碼處理對象的圖像的示例說明圖。圖4的圖像具有用水平方向和垂直方向的座標表示各自位置的水平64×垂直64個像素。若將宏塊的大小設(shè)為水平16×垂直16像素，則圖4的圖像就具有16個(水平4×垂直4)宏塊M0、M1、......、M15。編碼處理是按照宏塊M0、M1、......、M15的順序，以宏塊為單位進行。對應(yīng)于宏塊M0～M15，分別生成重構(gòu)圖像R0、R1、......、R15。重構(gòu)圖像按照R0、R1、......、R15的順序生成，并保存在重構(gòu)圖像存儲部34。
圖5是示出圖1的重構(gòu)圖像存儲部34中的重構(gòu)圖像的說明圖。為了在重構(gòu)圖像存儲部34上再現(xiàn)水平64×垂直64像素的整個幀的圖像，重構(gòu)圖像R0～R15在不破壞幀內(nèi)的像素之間的關(guān)系的情況下，保存到重構(gòu)圖像存儲部34。這是因為傳輸參考圖像時，有時需要對跨過宏塊的參考圖像進行傳輸，此時可以容易地取出參考圖像。
圖6是亮度信號和色差信號(4:4:4形式)的示例說明圖。重構(gòu)圖像有3個信號亮度信號(Y)和兩種色差信號(即藍色差信號(Cb)和紅色差信號(Cr))。在4:4:4形式時，如圖6所示，3個信號都具有相同信息量。
圖7是亮度信號和色差信號(4:2:2形式)的示例說明圖。因為人的眼睛對亮度敏感，而對顏色并不那么敏感，所以存在使色差信號的信息量少于亮度信號的情況。例如，在國家電視系統(tǒng)委員會(NTSC)標準中，每1幀，亮度信號為水平720×垂直480像素，而藍色差信號和紅色差信號在水平方向上被二次抽樣(縮減)后，只有水平360×垂直480像素(圖7)。藍色差信號和紅色差信號的像素數(shù)均為亮度信號的一半。
圖8是亮度信號和色差信號(4:2:0形式)的示例說明圖。在4:2:0形式時，相對于亮度信號為水平720×垂直480像素，藍色差信號和紅色差信號在水平和垂直兩個方向上被二次抽樣后，只有水平360×垂直240像素。此時，藍色差信號和紅色差信號的像素數(shù)均為亮度信號的1/4。在圖6～圖8的任一情況下，重構(gòu)圖像的亮度信號、藍色差信號和紅色差信號分別保存在臨時數(shù)據(jù)存儲部2中的不同區(qū)域中。
圖9是用于運動估計的參考區(qū)域的示例說明圖。將運動估計范圍在水平方向和垂直方向都設(shè)為±16像素的情況下，圖9示出用于圖4的宏塊M5的運動估計的亮度信號的參考區(qū)域。此時，運動估計/補償部40讀出水平3×垂直3宏塊、即水平48×垂直48像素的數(shù)據(jù)，并進行運動估計。
在運動估計/補償部40進行“運動估計和運動補償”時和只進行“運動補償”時，從臨時數(shù)據(jù)存儲部2讀出的參考區(qū)域的范圍不同。當然，執(zhí)行運動估計時，需要讀出較大范圍的參考圖像。運動估計只在編碼時進行，在解碼時不進行。此外，一般來說，運動估計所使用的數(shù)據(jù)只是亮度信號，而不使用色差信號。
圖10是示出用于1/2像素精度下的搜索的參考區(qū)域的說明圖。在進行運動估計時，除了進行整數(shù)像素精度下的搜索的情況外，還存在進行1/2像素精度下的搜索的情況。
在水平方向上搜索移位1/2像素的點時，運動估計/補償部40插入水平方向相鄰的2個像素(參照圖10的右下方)，生成1/2像素精度的像素，并利用該1/2像素精度的像素進行運動估計。因此，需要水平17×垂直16像素的整數(shù)像素。同樣，在垂直方向上搜索移位1/2像素的點時，需要水平16×垂直17像素的整數(shù)像素。在水平和垂直方向上搜索移位1/2像素的點時，運動估計/補償部40利用水平2×垂直2的4個像素進行插入(參照圖10的右下方)，并生成1/2像素精度的像素。因此，需要水平17×垂直17像素的整數(shù)像素。
下面對運動補償進行說明。當通過整數(shù)像素精度下的搜索或1/2像素精度下的搜索確定評價函數(shù)最小點時，運動估計/補償部40對該點實施運動補償(水平16×垂直16像素的參考圖像的生成)。如果評價函數(shù)最小點為1/2像素精度的點，則當然利用水平或垂直17個像素進行補償。
對于編碼時的亮度信號，運動估計/補償部40可以使用在運動估計時從臨時數(shù)據(jù)存儲部2讀出的參考圖像來實施運動補償。對于編碼時的色差信號以及解碼時的亮度信號和色差信號，運動估計/補償部40重新從臨時數(shù)據(jù)存儲部2中讀出像素，并進行運動補償。
圖11是示出保存在圖1的重構(gòu)圖像存儲部34中的重構(gòu)圖像的1宏塊的像素數(shù)據(jù)(亮度信號)的說明圖。1個宏塊由16×16像素構(gòu)成。假設(shè)構(gòu)成臨時數(shù)據(jù)存儲部2的SDRAM的數(shù)據(jù)總線寬度為像素數(shù)據(jù)的寬度(例如8比特)的4倍。假設(shè)幀垂直掃描讀出部32對圖11的像素，對每水平方向相鄰的4像素的數(shù)據(jù)進行打包，并將4像素的像素數(shù)據(jù)作為1個數(shù)據(jù)傳輸單位(下面稱為數(shù)據(jù)包)，以每個數(shù)據(jù)包為單位傳輸給臨時數(shù)據(jù)存儲部2。
圖12是用數(shù)據(jù)包表示圖11的像素數(shù)據(jù)的說明圖。如果使用數(shù)據(jù)包，則進行4×16次傳輸即可，所以與按每像素進行數(shù)據(jù)傳輸?shù)那闆r相比，能夠縮短傳輸圖像數(shù)據(jù)所需的時間。下面舉個例子，假設(shè)像素數(shù)據(jù)的寬度為1字節(jié)，SDRAM的數(shù)據(jù)總線寬度為4字節(jié)。
圖13是將1個宏塊的亮度信號的數(shù)據(jù)包對應(yīng)于圖像上位置的說明圖。數(shù)據(jù)包P0對應(yīng)于圖12的像素D0、D1、D2、D3，同樣，數(shù)據(jù)包P1、P2、......、P63分別對應(yīng)于像素D4～D7、像素D8～D11、......像素D252～D255。
圖14是表示圖1的幀垂直掃描讀出部32對圖13的數(shù)據(jù)進行傳輸?shù)捻樞虻恼f明圖。幀垂直掃描讀出部32首先從重構(gòu)圖像存儲部34將圖14的最左列的數(shù)據(jù)按照數(shù)據(jù)包P0、P4、P8、......、P60的順序傳輸給臨時數(shù)據(jù)存儲部2，然后，從重構(gòu)圖像存儲部34將圖14的左邊起第2列的數(shù)據(jù)按照數(shù)據(jù)包P1、P5、P9、......、P61的順序傳輸給臨時數(shù)據(jù)存儲部2。
接著，幀垂直掃描讀出部32從重構(gòu)圖像存儲部34將圖14的左邊起第3列的數(shù)據(jù)按照數(shù)據(jù)包P2、P6、P10、......、P62的順序傳輸給臨時數(shù)據(jù)存儲部2，然后，從重構(gòu)圖像存儲部34將圖14的最右列的數(shù)據(jù)按照數(shù)據(jù)包P3、P7、P11、......、P63的順序傳輸給臨時數(shù)據(jù)存儲部2。如上所述，進行垂直方向掃描，1宏塊的傳輸結(jié)束。
圖15是保存在圖1的臨時數(shù)據(jù)存儲部2中的數(shù)據(jù)的映射示例說明圖。下面，使用列地址ADX和行地址ADY，用地址SD(ADX，ADY)表示臨時數(shù)據(jù)存儲部2所具有的SDRAM中的數(shù)據(jù)保存位置。幀垂直掃描讀出部32將圖14的1列的數(shù)據(jù)包，突發(fā)式寫入至臨時數(shù)據(jù)存儲部2中的列地址ADX連續(xù)、行地址ADY固定的區(qū)域中。
具體而言，幀垂直掃描讀出部32在不改變行地址的情況下，將圖14的左邊第1列數(shù)據(jù)包P0、P4、P8、......、P60突發(fā)式寫入到臨時數(shù)據(jù)存儲部2的地址SD(ADXR，ADYR)、SD(ADXR+1，ADYR)、SD(ADXR+2，ADYR)、......SD(ADXR+15，ADYR)中。之后，幀垂直掃描讀出部32將行地址從ADYR改變成ADYR+1，然后在不改變行地址的情況下，將圖14的左邊起第2列數(shù)據(jù)包P1、P5、P9、......、P61突發(fā)式寫入到地址SD(ADXR，ADYR+1)、SD(ADXR+1，ADYR+1)、SD(ADXR+2，ADYR+1)、......SD(ADXR+15，ADYR+1)中。
同樣的，幀垂直掃描讀出部32將行地址改變成ADYR+2后，將圖14的左邊起第3列的數(shù)據(jù)寫入到同一行，然后將行地址改變成ADYR+3后，將圖14的右邊列的數(shù)據(jù)寫入到同一行。通過以上方法，傳輸1個宏塊時，可以將行地址改變次數(shù)從16次減少到4次。
將如上所述的按照圖15保存數(shù)據(jù)包的方式稱為幀映射保存模式。
圖16是圖1的臨時數(shù)據(jù)存儲部2按照圖14和圖15進行數(shù)據(jù)寫入時的時序圖。首先，幀垂直掃描讀出部32對臨時數(shù)據(jù)存儲部2在時刻t0進行行地址ADYR的設(shè)置(“act”命令)，在時刻t1設(shè)置列地址ADXR，并開始進行數(shù)據(jù)包的寫入(“write”命令)。在時刻t1～t4期間連續(xù)地寫入數(shù)據(jù)包P0、P4、P8、P12。
之后，幀垂直掃描讀出部32對臨時數(shù)據(jù)存儲部2在t5設(shè)置列地址ADXR+4，并開始進行數(shù)據(jù)包的寫入(“write”命令)。于是，數(shù)據(jù)包P16、P20、P24、P28被連續(xù)地寫入。同樣，圖14的左邊列的剩余數(shù)據(jù)包P32、P36、......，P60也對應(yīng)每個“write”命令以4個數(shù)據(jù)包為單位被寫入。
接著，幀垂直掃描讀出部32為了改變臨時數(shù)據(jù)存儲部2的行地址，在時刻t8執(zhí)行“pre”命令，在時刻t9進行下一個行地址ADYR+1的設(shè)置(“act”命令)。然后，在時刻t10設(shè)置列地址ADXR，并開始進行數(shù)據(jù)包的寫入(“write”命令)。于是，數(shù)據(jù)包P1、P5、P9、P13被連續(xù)地寫入。同樣，圖14的左邊起第2列的剩余數(shù)據(jù)包P17、P21、......，P61也對應(yīng)每個“write”命令以4個數(shù)據(jù)包為單位被寫入。
現(xiàn)在，將從當前“act”命令到下一個“act”命令之間的時間假設(shè)為傳輸重構(gòu)圖像的1列數(shù)據(jù)所需要的時間，則傳輸1列需要20個周期的時間。其中，數(shù)據(jù)傳輸處理的進行需要16個周期，除此之外的時間是地址設(shè)置處理所需要的。因而，每1像素的傳輸周期數(shù)為1.25個周期，可以看出，與圖52所示的重構(gòu)圖像傳輸(每1像素需要2個周期)相比，傳輸速度提高了。
如上所述，在本實施方式中，以垂直方向掃描重構(gòu)圖像后讀出，臨時數(shù)據(jù)存儲部2按照行地址固定的方向掃描，對所讀出的數(shù)據(jù)進行寫入。即，圖15等中的臨時數(shù)據(jù)存儲部2(SDRAM)上的橫方向(行地址固定的方向)對應(yīng)于重構(gòu)圖像的垂直方向，縱方向(列地址固定的方向)對應(yīng)于重構(gòu)圖像的水平方向。
-宏塊間的位置關(guān)系-圖17是示出在圖1的臨時數(shù)據(jù)存儲部2中保存各宏塊的位置說明圖。圖17中，橫方向(左右方向)的座標對應(yīng)于列地址，縱方向(上下方向)的座標對應(yīng)于行地址。臨時數(shù)據(jù)存儲部2按照圖17保存圖5所示的重構(gòu)圖像R0～R15(分別對應(yīng)宏塊M0～M15)。
例如，宏塊M6是宏塊M5其次處理的宏塊。在原圖像的幀上，宏塊M6位于宏塊M5的右側(cè)(圖4、圖5)。臨時數(shù)據(jù)存儲部2在保存這些宏塊的重構(gòu)圖像時，將重構(gòu)圖像R6保存在重構(gòu)圖像R5的下側(cè)(即，列地址和重構(gòu)圖像R5一樣，行地址比重構(gòu)圖像R5增加4)。
圖18是以數(shù)據(jù)包為單位示出圖5一部分的說明圖。圖19是示出多個宏塊保存在圖1的臨時數(shù)據(jù)存儲部2中的數(shù)據(jù)包的映射說明圖。
圖18中，著重說明分別位于宏塊M5的數(shù)據(jù)P3的上邊和右邊的宏塊M1的數(shù)據(jù)P63和宏塊M6的數(shù)據(jù)P0，分別位于宏塊M5的數(shù)據(jù)P63的下邊和右邊的宏塊M9的數(shù)據(jù)P3和宏塊M6的數(shù)據(jù)P60進行描述。
在臨時數(shù)據(jù)存儲部2中，與重構(gòu)圖像存儲部34中相比互換水平軸和垂直軸來進行映射，所以宏塊M1的數(shù)據(jù)P63和宏塊M6的數(shù)據(jù)P0在圖19中分別位于宏塊M5的數(shù)據(jù)P3的左邊和下邊，宏塊M9的數(shù)據(jù)P3和宏塊M6的數(shù)據(jù)P60在圖19中分別位于宏塊M5的數(shù)據(jù)P63的右邊和下邊。
如上所述，即使在水平軸和垂直軸互換后的臨時數(shù)據(jù)存儲部2上，像素數(shù)據(jù)之間的位置關(guān)系也不會破壞，所以可以容易地只提取出重構(gòu)圖像的必要部分作為參考圖像進行傳輸。
圖20是示出對于亮度信號和各色差信號，圖1的臨時數(shù)據(jù)存儲部2中保存各宏塊的位置說明圖。如圖20所示，臨時數(shù)據(jù)存儲部2將重構(gòu)圖像R0～R15的亮度信號、藍色差信號和紅色差信號分別保存于不同的區(qū)域。
圖21是示出按水平4像素所打包的水平64×垂直64像素的重構(gòu)圖像和臨時數(shù)據(jù)存儲部2上的映射圖像的說明圖。在重構(gòu)圖像中是橫(水平)方向4×縱(垂直)方向16數(shù)據(jù)，而在臨時數(shù)據(jù)存儲部2中是橫方向(同一行地址)16×縱方向(同一列地址)4數(shù)據(jù)。
-參考圖像的傳輸-下面對參考圖像的傳輸(從臨時存儲部2讀出)進行說明。圖22是作為參考圖像所讀出的區(qū)域的示例說明圖。這里，假設(shè)讀出1宏塊的參考圖像的情況。該區(qū)域的數(shù)據(jù)被保存在由橫方向16×縱方向4個地址所指定的區(qū)域中。
圖23是圖1的臨時數(shù)據(jù)存儲部2在讀出圖22的參考圖像時的時序圖。針對圖22的參考圖像的各行，幀垂直掃描寫入部42從列地址ADX連續(xù)且行地址固定的區(qū)域中突發(fā)式讀出寫入在臨時數(shù)據(jù)存儲部2中的數(shù)據(jù)包，并將其寫入?yún)⒖紙D像存儲部44。
具體而言，幀垂直掃描寫入部42在時刻t0讓臨時數(shù)據(jù)存儲部2執(zhí)行“act”命令從而進行行地址ADYS的設(shè)置，在時刻t1讓臨時數(shù)據(jù)存儲部2執(zhí)行“read”命令從而進行列地址ADXS的設(shè)置。臨時數(shù)據(jù)存儲部2在規(guī)定的周期后(時刻t2)，對地址SD(ADXS，ADYS)～SD(ADXS+3，ADYS)的4個地址的數(shù)據(jù)包Q0、Q1、Q2、Q3進行突發(fā)式讀出后輸出。
之后，幀垂直掃描寫入部42讓臨時數(shù)據(jù)存儲部2在時刻t3、t4、t5執(zhí)行“read”命令，從而分別設(shè)置列地址ADXS+4、ADXS+8和ADXS+12，臨時數(shù)據(jù)存儲部2每次對4個地址的數(shù)據(jù)包Q4～Q7、Q8～Q11、Q12～Q15進行輸出。
這樣，臨時數(shù)據(jù)存儲部2在同一行地址中讀出數(shù)據(jù)包Q0～Q15。參考圖像存儲部44保存所讀出的數(shù)據(jù)包Q0～Q15。執(zhí)行“read”命令后，在輸出數(shù)據(jù)之前需要規(guī)定數(shù)目的周期，考慮到這個情況需要事先執(zhí)行“act”命令。
幀垂直掃描寫入部42檢測到數(shù)據(jù)包Q0～Q15全被讀出后，為了改變行地址，讓臨時數(shù)據(jù)存儲部2執(zhí)行“pre”命令(時刻t6)和“act”命令(時刻t7)，從而設(shè)置行地址ADYS+1，之后，按同樣的方式進行該行的數(shù)據(jù)包Q16～Q31的讀出處理。
同樣的，幀垂直掃描寫入部42將行地址改變成ADYS+2后，從同一行中讀出參考圖像的第3行數(shù)據(jù)，將行地址改變成ADYS+3后，將參考圖像的第4行數(shù)據(jù)寫入到同一行中。參考圖像存儲部44保存所讀出的各行數(shù)據(jù)包。通過這樣方式，在傳輸1宏塊時，可以使改變行地址的次數(shù)為4次。
圖24是示出圖1的參考圖像存儲部44中的數(shù)據(jù)包的說明圖。幀垂直掃描寫入部42從臨時數(shù)據(jù)存儲部2中讀出數(shù)據(jù)包，并將其按照圖24寫入?yún)⒖紙D像存儲部44。即，將臨時數(shù)據(jù)存儲部2中保存在同一行的數(shù)據(jù)包寫入到參考圖像存儲部44的同一列，從而水平軸和垂直軸被互換，能夠恢復原來的圖像。
下面考慮將1宏塊作為參考圖像進行傳輸?shù)那闆r。如果參照前面給出的式(C1)進行計算，則“向SDRAM的同一行地址的訪問次數(shù)＝16、“SDRAM的地址設(shè)置時間”＝4、“SDRAM的行地址改變次數(shù)”＝4，所以傳輸1宏塊需要(16+4)×4＝80個周期，每個數(shù)據(jù)包的傳輸周期數(shù)為1.25(＝80/64)個周期。由此可知，和現(xiàn)有(每個數(shù)據(jù)包2個周期)相比，在參考圖像的傳輸過程中，傳輸效率也提高了。
另外，再考慮將水平17×垂直17像素作為參考圖像進行傳輸?shù)那闆r。在不采用本實施方式的傳輸方法時，向同一行地址的訪問次數(shù)為5，行地址改變次數(shù)為17，需要(5+4)×17＝153個周期。而按照圖23一樣方式傳輸時，向同一行地址的訪問次數(shù)為17，行地址改變次數(shù)為5，所以用(17+4)×5＝105個周期完成傳輸。此時，每個數(shù)據(jù)包的傳輸周期數(shù)為大約1.23個周期。
對于色差信號，也進行和亮度信號一樣的傳輸處理。對于色差信號，參照式(C1)計算跟臨時數(shù)據(jù)存儲部2有關(guān)的傳輸?shù)膫鬏斨芷跀?shù)。再有，向臨時數(shù)據(jù)存儲部2寫入時和從臨時數(shù)據(jù)存儲部2讀出時都需要相同的傳輸周期數(shù)。
4:2:0形式的情況下，各種色差信號(藍色差信號或紅色差信號)在每宏塊中具有水平8×垂直8像素，所以如果對水平方向上排列的4像素進行打包，則得到水平2×垂直8個數(shù)據(jù)包。對于每1個宏塊，“向SDRAM的同一行地址的訪問次數(shù)”＝8、“SDRAM的行地址改變次數(shù)”＝2，所以傳輸時需要(8+4)×2＝24個周期。另外，傳輸兩種色差信號時需要48個周期。因此，每個數(shù)據(jù)包的傳輸周期數(shù)是1.5(＝48/(2×8×2))個周期。
在不使用本實施方式的傳輸方法時，對于每1個宏塊，“向SDRAM的同一行地址的訪問次數(shù)”＝2、“SDRAM的行地址改變次數(shù)”＝8，所以傳輸時需要(2+4)×8＝48個周期。即，每個數(shù)據(jù)包需要3個周期。從而可知，通過本實施方式，傳輸效率提高了。
4:2:2形式的情況下，各種色差信號(藍色差信號或紅色差信號)在每宏塊中具有水平8×垂直16像素，所以如果對水平方向上排列的4像素進行打包，則得到水平2×垂直16個數(shù)據(jù)包。對于每1個宏塊，“向SDRAM的同一行地址的訪問次數(shù)”＝16、“SDRAM的行地址改變次數(shù)”＝2，所以傳輸時需要(16+4)×2＝40個周期。另外，傳輸兩種色差信號時需要80個周期。因此，每個數(shù)據(jù)包的傳輸周期數(shù)是1.25(＝80/(2×16×2))個周期。
在不使用本實施方式的傳輸方法時，對于每1個宏塊，“向SDRAM的同一行地址的訪問次數(shù)”＝2、“SDRAM的行地址改變次數(shù)”＝16，所以傳輸時需要(2+4)×16＝96個周期。即，每個數(shù)據(jù)包需要3個周期。由此可知，通過本實施方式，傳輸效率提高了。
色差信號為4:4:4形式時，可以和亮度信號一樣的方式進行計算，所以省略說明。
以上對宏塊具有水平方向4×垂直方向16個數(shù)據(jù)包的情況進行了說明，但宏塊所具有的數(shù)據(jù)包的個數(shù)并不局限于此。例如，宏塊具有水平方向DX×垂直方向DY個(DX、DY為自然數(shù))數(shù)據(jù)包時，如果DX＞＝DY，則可以在水平方向上對宏塊進行掃描，并每次DX個數(shù)據(jù)包地將數(shù)據(jù)包突發(fā)式寫入臨時數(shù)據(jù)存儲部2的連續(xù)地址中，如果DX＜DY，則可以在垂直方向上對宏塊進行掃描，并每次DY個數(shù)據(jù)包地將數(shù)據(jù)包突發(fā)式寫入臨時數(shù)據(jù)存儲部2的連續(xù)地址中。
按照上述方法，根據(jù)數(shù)據(jù)包的排列方式來切換掃描方向，所以不論數(shù)據(jù)包所占的圖像形狀或圖像的縱橫比等如何，都可以實現(xiàn)高速的數(shù)據(jù)傳輸。
(第2實施方式)圖25是本發(fā)明的第2實施方式中的圖像處理裝置的結(jié)構(gòu)框圖。該圖像處理裝置用于提高場結(jié)構(gòu)圖像的傳輸效率。
圖25的圖像處理裝置200，在圖1的圖像處理裝置100的基礎(chǔ)上，代替圖1的圖像處理裝置100中的重構(gòu)圖像生成部30和運動估計/補償部40，包括重構(gòu)圖像生成部230和運動估計/補償部240。重構(gòu)圖像生成部230具有場垂直掃描讀出部33和重構(gòu)圖像存儲部34。運動估計/補償部240具有場垂直掃描寫入部43和參考圖像存儲部44。
圖26是示出以場為單位劃分圖13的像素數(shù)據(jù)的說明圖。圖27是示出圖25的場垂直掃描讀出部33對圖26的數(shù)據(jù)進行傳輸?shù)捻樞虻恼f明圖。場垂直掃描讀出部33將屬于圖13的圖像中奇數(shù)行(前(TOP)場)的數(shù)據(jù)包和屬于偶數(shù)行(后(BOTTOM)場)的數(shù)據(jù)包獨立地讀出，并將其寫入臨時數(shù)據(jù)存儲部2。
具體而言，場垂直掃描讀出部33，首先從重構(gòu)圖像存儲部34中將圖27的前場圖像中最左邊列的數(shù)據(jù)按照數(shù)據(jù)包P0、P8、P16、......、P56的順序傳輸給臨時數(shù)據(jù)存儲部2，然后從重構(gòu)圖像存儲部34中將圖27的前場圖像中左邊起第2列數(shù)據(jù)按照數(shù)據(jù)包P1、P9、P17、......、P57的順序傳輸給臨時數(shù)據(jù)存儲部2。
接著，場垂直掃描讀出部33從重構(gòu)圖像存儲部34中，將圖27的前場圖像中左邊起第3列數(shù)據(jù)按照數(shù)據(jù)包P2、P10、P18、......、P58的順序傳輸給臨時數(shù)據(jù)存儲部2。然后，場垂直掃描讀出部33從重構(gòu)圖像存儲部34中，將圖27的前場圖像中最右邊列的數(shù)據(jù)按照數(shù)據(jù)包P3、P11、P19、......、P59的順序傳輸給臨時數(shù)據(jù)存儲部2。由此，1宏塊的前場的傳輸結(jié)束。
之后，場垂直掃描讀出部33從重構(gòu)圖像存儲部34中，將圖27的后場圖像中最左邊列的數(shù)據(jù)按照數(shù)據(jù)包P4、P12、P20、......、P60的順序傳輸給臨時數(shù)據(jù)存儲部2。其后按照同樣的方式，場垂直掃描讀出部33從重構(gòu)圖像存儲部34中，將圖27的后場圖像按照數(shù)據(jù)包P5、P13、P21、......、P61，P6、P14、P22、......、P62，P7、P15、P23、......、P63的順序傳輸給臨時數(shù)據(jù)存儲部2。由此，1宏塊的后場的傳輸結(jié)束，1宏塊的傳輸完成。
圖28是保存在圖25的臨時數(shù)據(jù)存儲部2中的數(shù)據(jù)的映射示例說明圖。場垂直掃描讀出部33將屬于前場的數(shù)據(jù)包和屬于后場的數(shù)據(jù)包突發(fā)式寫入到臨時數(shù)據(jù)存儲部2的不同區(qū)域中。
具體而言，場垂直掃描讀出部33在不改變行地址的情況下，將圖27的前場的左邊列的數(shù)據(jù)包P0、P8、P16、......、P56突發(fā)式寫入到臨時數(shù)據(jù)存儲部2的地址SD(ADXR，ADYT)、SD(ADXR+1，ADYT)、SD(ADXR+2，ADYT)、......、SD(ADXR+7，ADYT)的各自地址中。之后，場垂直掃描讀出部33將行地址從ADYT改變成ADYT+1后，在不改變行地址的情況下，將前場的左邊起第2列數(shù)據(jù)包P1、P9、P17、......、P57突發(fā)式寫入到地址SD(ADXR，ADYT+1)、SD(ADXR+1，ADYT+1)、SD(ADXR+2，ADYT+1)、......、SD(ADXR+7，ADYT+1)的各自地址中。
按照同樣的方式，場垂直掃描讀出部33將行地址改變成ADYT+2后，將前場的左邊起第3列數(shù)據(jù)寫入同一行中，將行地址改變成ADYT+3后，將前場的右邊列的數(shù)據(jù)寫入同一行中。
接著，場垂直掃描讀出部33在不改變行地址的情況下，將圖27的后場的左邊列的數(shù)據(jù)包P4、P12、P20、......、P60突發(fā)式寫入到臨時數(shù)據(jù)存儲部2的地址SD(ADXR，ADYB)、SD(ADXR+1，ADYB)、SD(ADXR+2，ADYB)、......、SD(ADXR+7，ADYB)的各自地址中。
按照同樣的方式，場垂直掃描讀出部33將行地址改變成ADYB+1后，將后場的左邊起第2列數(shù)據(jù)寫入同一行中，將行地址改變成ADYB+2后，將后場的左邊起第3列數(shù)據(jù)寫入同一行中，將行地址改變成ADYB+3后，將后場的右邊列的數(shù)據(jù)寫入同一行中。通過這種方式，在場結(jié)構(gòu)的圖像中，也可以減少數(shù)據(jù)傳輸時改變行地址的次數(shù)。
將如上所述的按照圖28保存數(shù)據(jù)包的方式稱為場映射保存模式。
向臨時數(shù)據(jù)存儲部2傳輸重構(gòu)圖像時，對于每1個宏塊的各場，“向SDRAM的同一行地址的訪問次數(shù)”＝8、“SDRAM的地址設(shè)置時間”＝4、“SDRAM的行地址改變次數(shù)”＝4。參照式(C1)計算，則傳輸1宏塊的一場需要(8+4)×4＝48個周期，每個數(shù)據(jù)包的傳輸周期數(shù)是1.5(＝48×2/60)個周期。由此可知，和現(xiàn)有(每個數(shù)據(jù)包2(＝(4+4)×8×2/64)個周期)相比，傳輸效率提高了。
圖29是示出圖25的臨時數(shù)據(jù)存儲部2中保存亮度信號和色差信號的各個宏塊的位置的說明圖。臨時數(shù)據(jù)存儲部2按照如圖29將重構(gòu)圖像R0～R15中的用于前場的信號和用于后場的信號保存在不同的區(qū)域中。
和圖21的情況一樣，由于在臨時數(shù)據(jù)存儲部2中像素數(shù)據(jù)之間的位置關(guān)系也沒有破壞，所以可以容易地只提取出重構(gòu)圖像中需要場的需要部分并作為參考圖像進行傳輸。
場垂直掃描寫入部43除了從臨時數(shù)據(jù)存儲部2獨立地突發(fā)式讀出前場的數(shù)據(jù)包和后場的數(shù)據(jù)包這點之外，進行參考圖像的傳輸(讀出)基本和圖23的情況一樣。即，對于每個場從4(將水平17×垂直17像素作為參考圖像時是5)個行地址讀出，從同一行地址讀出8(將水平17×垂直17像素作為參考圖像時是9)個列地址的數(shù)據(jù)包。
下面考慮將1宏塊作為參考圖像進行傳輸?shù)那闆r。對于每個場，“向SDRAM的同一行地址的訪問次數(shù)”＝8、“SDRAM的地址設(shè)置時間”＝4、“SDRAM的行地址改變次數(shù)”＝4，所以和向臨時數(shù)據(jù)存儲部2進行傳輸時同樣的，傳輸1宏塊的1場需要48個周期，每個數(shù)據(jù)包的傳輸周期數(shù)是1.5個周期。由此可知，和現(xiàn)有(每個數(shù)據(jù)包為2個周期)相比，在進行參考圖像的傳輸中，傳輸效率也提高了。
下面考慮將水平17×垂直17像素作為參考圖像進行傳輸?shù)那闆r。在不使用本實施方式的傳輸方法時，對于每個場，向同一行地址的訪問次數(shù)為5，行地址改變次數(shù)為9，參照式(C1)時，需要(5+4)×9＝81個周期。而采用本實施方式時，向同一行地址的訪問次數(shù)為9，行地址改變次數(shù)為5，所以用(9+4)×5＝65個周期完成傳輸。此時，每個數(shù)據(jù)包的傳輸周期數(shù)是大約1.44個周期。
對于色差信號，也和亮度信號一樣地進行傳輸處理。對于色差信號，參照式(C1)計算跟臨時數(shù)據(jù)存儲部2有關(guān)的傳輸?shù)膫鬏斨芷跀?shù)。再有，向臨時數(shù)據(jù)存儲部2寫入時和從臨時數(shù)據(jù)存儲部2讀出時都需要相同的傳輸周期數(shù)。
4:2:0形式的情況下，各種色差信號(藍色差信號或紅色差信號)在每宏塊中具有水平8×垂直8像素，所以如果對水平方向上排列的4像素進行打包，則每個場得到水平2×垂直8個數(shù)據(jù)包。對于1個宏塊的每個場，“向SDRAM的同一行地址的訪問次數(shù)”＝4、“SDRAM的行地址改變次數(shù)”＝2，所以傳輸時需要(4+4)×2＝16個周期。另外，傳輸兩個場的兩種色差信號時需要64個周期。因此，每個數(shù)據(jù)包的傳輸周期數(shù)是2(＝64/(2×4×2×2))個周期。
在不使用本實施方式的傳輸方法時，對于1個宏塊的每個場，“向SDRAM的同一行地址的訪問次數(shù)”＝2、“SDRAM的行地址改變次數(shù)”＝4，所以傳輸時需要(2+4)×4＝24個周期。即，每個數(shù)據(jù)包需要3個周期。由于可知，通過本實施方式，傳輸效率提高了。
4:2:2形式的情況下，各種色差信號在每宏塊中具有水平8×垂直16像素，所以如果對水平方向上排列的4像素進行打包，則每個場得到水平2×垂直8個數(shù)據(jù)包。對于1個宏塊的每個場，“向SDRAM的同一行地址的訪問次數(shù)”＝8、“SDRAM的行地址改變次數(shù)”＝2，所以傳輸時需要(8+4)×2＝24個周期。另外，傳輸兩個場的兩種色差信號時需要96個周期。因此，每個數(shù)據(jù)包的傳輸周期數(shù)是1.5(＝96/(2×8×2×2))個周期。
在不使用本實施方式的傳輸方法時，對于1個宏塊的每個場，“向SDRAM的同一行地址的訪問次數(shù)”＝2、“SDRAM的行地址改變次數(shù)”＝8，所以傳輸時需要(2+4)×8＝48個周期。即，每個數(shù)據(jù)包需要3個周期。由此可知，通過本實施方式，傳輸效率提高了。
色差信號為4:4:4形式時，可以和亮度信號同樣的方式進行計算，所以省略說明。
在臨時數(shù)據(jù)存儲部2中，如圖28所示，對保存前場數(shù)據(jù)的列地址的范圍ADXR～ADXR+7和保存后場數(shù)據(jù)的列地址的范圍相同的情況進行了說明，但保存不同場數(shù)據(jù)的列地址的范圍也可以不同。
圖30是保存在圖25的臨時數(shù)據(jù)存儲部2中的數(shù)據(jù)的映射的另一示例說明圖。按照圖30所示的場映射的另一例子，也可以將屬于前場一排的數(shù)據(jù)包和屬于后場一排的數(shù)據(jù)包，寫入相同的行地址。
例如，將前場的數(shù)據(jù)和后場的數(shù)據(jù)輪流進行傳輸。也就是說，在傳輸圖26的數(shù)據(jù)包時，首先按照數(shù)據(jù)包P0、P8、P16、......、P56的順序傳輸前場的最左列，之后，按照數(shù)據(jù)包P4、P12、P20、......、P60的順序傳輸后場的最左列。此時，將這些數(shù)據(jù)包按照圖30保存在同一行地址ADYR中。
接著，按照數(shù)據(jù)包P1、P9、P17、......、P57的順序傳輸前場的第2列。之后，按照數(shù)據(jù)包P5、P13、P21、......、P61的順序傳輸后場的第2列。這些數(shù)據(jù)包保存在圖30的行地址ADYR+1中。
接著，按照數(shù)據(jù)包P2、P10、P18、......、P58的順序傳輸前場的第3列。之后，按照數(shù)據(jù)包P6、P14、P22、......、P62的順序傳輸后場的第3列。這些數(shù)據(jù)包保存在圖30的行地址ADYR+2中。
最后，按照數(shù)據(jù)包P3、P11、P19、......、P59的順序傳輸前場的最右列。之后，按照數(shù)據(jù)包P7、P15、P23、......、P63的順序傳輸后場的最右列。這些數(shù)據(jù)包保存在圖30的行地址ADYR+3中。
當按照圖30所示的映射進行保存時，由于將前場和后場的重構(gòu)圖像的同列像素保存在相同行地址，所以前場和后場加在一起，每個宏塊只需要改變4次行地址即可。由于每個場不再需要改變4次行地址，所以可以加快數(shù)據(jù)傳輸。
(第3實施方式)本實施方式中，說明保存色差信號的例。首先，對圖1的圖像處理裝置處理幀結(jié)構(gòu)圖像的情況進行說明。
圖31是對應(yīng)畫面上的位置，示出幀結(jié)構(gòu)圖像中的1宏塊的藍色差信號和紅色差信號(4:2:0形式)的數(shù)據(jù)包。圖31中，按照和亮度信號同樣的方式，對各種色差信號(分別包括水平8×垂直8像素)以水平方向4像素為單位進行打包。
圖32是色差信號在圖1的臨時數(shù)據(jù)存儲部2中的映射示例說明圖。該圖32示出的是按照第1實施方式將藍色差信號和紅色差信號保存在不同區(qū)域的情況。在此情況下，如圖32所示，圖1的幀垂直掃描讀出部32將圖31的藍色差信號按照P0→P2→......→P14→P1→P3→......→P15的順序?qū)懭肱R時數(shù)據(jù)存儲部2，然后，將紅色差信號按照P0→P2→......→P14→P1→P3→......→P15的順序?qū)懭肱R時數(shù)據(jù)存儲部2。此時，藍色差信號P0、P2、......、P14被寫入同一行地址中，藍色差信號P0、P2、......、P14被寫入與上述藍色差信號的行地址不同的同一行地址中。
圖33是色差信號在圖1的臨時數(shù)據(jù)存儲部2中的另一映射示例說明圖。不論圖像形式為4:4:4形式、4:2:2形式或4:2:0形式中的哪一個，藍色差信號和紅色差信號的信息量都相同。此外，兩種色差信號的相同位置的數(shù)據(jù)(例如，圖31中的藍色差信號P0和紅色差信號P0)被用于表示相同像素，因此應(yīng)該在相同時間被讀出。
所以，如圖33所示，圖1的幀垂直掃描讀出部32按照圖31的藍色差信號P0→紅色差信號P0→藍色差信號P2→紅色差信號P2→......→藍色差信號P14→紅色差信號P14的順序?qū)懭肱R時數(shù)據(jù)存儲部2。此時，藍色差信號P0、P2、......、P14和紅色差信號P0、P2、......、P14被寫入到同一行地址。也就是說，將圖31的藍色差信號的數(shù)據(jù)包的1列和紅色差信號的數(shù)據(jù)包的1列保存在同一行地址，將兩種色差信號保存在同一區(qū)域中。
對于圖32的情況，在每個宏塊需要指定4次行地址來傳輸色差信號。如果采用式(C1)計算傳輸兩種色差信號所需要的周期數(shù)，則由于針對每個宏塊，“向SDRAM的同一行地址的訪問次數(shù)”＝8、“SDRAM的地址設(shè)置時間”＝4、“SDRAM的行地址改變次數(shù)”＝4，所以傳輸時需要(8+4)×4＝48個周期，每個數(shù)據(jù)包的傳輸周期數(shù)為1.5(＝48/(2×8×2))個周期。
對于圖33的情況，在每個宏塊指定2次行地址即可。針對每個宏塊，“向SDRAM的同一行地址的訪問次數(shù)”＝16、“SDRAM的行地址改變次數(shù)”＝2，所以傳輸兩種色差信號所需要的周期數(shù)是(16+4)×2＝40個周期。每個數(shù)據(jù)包的傳輸周期數(shù)為1.25(＝40/(2×8×2))個周期。從而傳輸效率提高了。
下面，說明圖25的圖像處理裝置處理場結(jié)構(gòu)圖像的情況。圖34是對應(yīng)于畫面上的位置，示出場結(jié)構(gòu)圖像中的1宏塊的藍色差信號和紅色差信號(4:2:0形式)的數(shù)據(jù)包的說明圖。圖34中，按照和亮度信號同樣的方式，對各種色差信號(分別為水平8×垂直8像素)以水平方向4像素為單位進行打包。
圖35是色差信號在圖25的臨時數(shù)據(jù)存儲部2中的映射示例說明圖。該圖35示出的是按照第2實施方式將藍色差信號和紅色差信號保存在不同區(qū)域的情況。在此情況下，如圖35所示，圖25的場垂直掃描讀出部33將圖34的前場的藍色差信號按照P0→P4→......→P12→P1→P5→......→P13的順序?qū)懭肱R時數(shù)據(jù)存儲部2，將后場的藍色差信號按照P2→P6→......→P14→P3→P7→......→P15的順序?qū)懭肱R時數(shù)據(jù)存儲部2，然后，將前場的紅色差信號按照P0→P4→......→P12→P1→P5→......→P13的順序?qū)懭肱R時數(shù)據(jù)存儲部2，將后場的紅色差信號按照P2→P6→......→P14→P3→P7→......→P15的順序?qū)懭肱R時數(shù)據(jù)存儲部2。此時，藍色差信號P0、P4、......、P12被寫入同一行地址，紅色差信號P0、P4、......、P12被寫入與上述藍色差信號的行地址不同的同一行地址。
圖36是色差信號在圖25的臨時數(shù)據(jù)存儲部2中的另一映射示例說明圖。在場結(jié)構(gòu)圖像中，兩種色差信號的相同位置的數(shù)據(jù)(例如，圖34中的藍色差信號P0和紅色差信號P0)也被用于表示相同像素，因此應(yīng)該在相同時間被讀出。
所以，如圖36所示，圖25的場垂直掃描讀出部33按照圖34的藍色差信號P0→紅色差信號P0→藍色差信號P4→紅色差信號P4→......→藍色差信號P12→紅色差信號P12的順序?qū)懭肱R時數(shù)據(jù)存儲部2。此時，藍色差信號P0、P4、......、P12和紅色差信號P0、P4、......、P12被寫入到同一行地址。也就是說，將圖34的藍色差信號的數(shù)據(jù)包的1列和紅色差信號的數(shù)據(jù)包的1列保存在同一行地址，將兩種色差信號保存在同一區(qū)域中。
對于圖35的情況，在每個宏塊需要指定8次行地址來傳輸色差信號。如果采用式(C1)計算傳輸兩種色差信號所需要的周期數(shù)，則由于針對每個宏塊，“向SDRAM的同一行地址的訪問次數(shù)”＝4、“SDRAM的地址設(shè)置時間”＝4、“SDRAM的行地址改變次數(shù)”＝8，所以傳輸時需要(4+4)×8＝64個周期，每個數(shù)據(jù)包的傳輸周期數(shù)為2(＝64/(2×8×2))個周期。
對于圖36的情況，在每個宏塊指定4次行地址即可。針對每個宏塊，“向SDRAM的同一行地址的訪問次數(shù)”＝8、“SDRAM的行地址改變次數(shù)”＝4，所以傳輸兩種色差信號所需要的周期數(shù)是(8+4)×4＝48個周期。每個數(shù)據(jù)包的傳輸周期數(shù)為1.5(＝48/(2×8×2))個周期，從而傳輸效率提高了。
上述對4:2:0形式的圖像的情況進行了說明，但對于4:2:2形式或4:4:4形式的圖像的情況也可以按照與圖33和圖36同樣的方式保存色差信號。
圖37是亮度信號和色差信號在圖1的臨時數(shù)據(jù)存儲部2中的映射示例說明圖。當圖像形式為4:4:4形式時，由于亮度信號、藍色差信號和紅色差信號的信息量均相同，所以，如圖37所示，圖1的幀垂直掃描讀出部32也可以以1個數(shù)據(jù)包為單位，將亮度信號、藍色差信號和紅色差信號依次保存在臨時數(shù)據(jù)存儲部2的同一行地址。
圖38是亮度信號和色差信號在圖25的臨時數(shù)據(jù)存儲部2中的映射示例說明圖。當圖像形式為4:4:4形式時，如圖38所示，圖25的場垂直掃描讀出部33也可以以1個數(shù)據(jù)包為單位，將亮度信號、藍色差信號和紅色差信號依次保存在臨時數(shù)據(jù)存儲部2的同一行地址。
通過圖37和圖38，可以減少數(shù)據(jù)傳輸時改變SDRAM行地址的次數(shù)，所以能夠提高傳輸效率。
另外，根據(jù)需要處理的圖像形式，也可以相應(yīng)地切換對臨時數(shù)據(jù)存儲部2的數(shù)據(jù)保存方法。也就是說，當圖像形式為4:2:0形式或4:2:2形式時，可以采用圖33或圖36所示的僅輪流映射色差信號的方法，當圖像形式為4:4:4形式時，也可以采用圖37或圖38所示的包括亮度信號的輪流映射方法。
此外，在圖35、圖36、圖38中，也可以如圖30所示，將前場的像素數(shù)據(jù)(亮度信號和色差信號)和后場的像素數(shù)據(jù)保存在相同的行地址。
此外，在編碼時，對亮度信號進行幀映射模式保存，而對兩種色差信號可以選擇幀映射模式、場映射模式以及幀映射模式和場映射模式的結(jié)合這三種之中的任何一種進行保存。
(第4實施方式)圖39是本發(fā)明的第4實施方式的圖像處理裝置的結(jié)構(gòu)框圖。圖39的圖像處理裝置300，在圖1的圖像處理裝置的基礎(chǔ)上，代替圖1的圖像處理裝置中的重構(gòu)圖像生成部30和運動估計/補償部40，包括重構(gòu)圖像生成部330和運動估計/補償部340。
重構(gòu)圖像生成部330在圖1的重構(gòu)圖像生成部30的基礎(chǔ)上還包括場垂直掃描讀出部33，運動估計/補償部340在圖1的運動估計/補償部40的基礎(chǔ)上還包括場垂直掃描寫入部43。此外，用臨時數(shù)據(jù)存儲部2A、2B取代臨時數(shù)據(jù)存儲部2。在此作為例子，假設(shè)臨時數(shù)據(jù)存儲部2A、2B為SDRAM。
和第1實施方式基本相同的，幀垂直掃描讀出部32按照圖14在垂直方向上掃描圖像，將亮度信號的數(shù)據(jù)包以宏塊為單位按照掃描順序從重構(gòu)圖像存儲部34傳輸給臨時數(shù)據(jù)存儲部2A，臨時數(shù)據(jù)存儲部2A以幀映射模式保存。幀垂直掃描讀出部32同樣在垂直方向上掃描圖像，將色差信號的數(shù)據(jù)包以宏塊為單位按照掃描順序從重構(gòu)圖像存儲部34傳輸給臨時數(shù)據(jù)存儲部2A，臨時數(shù)據(jù)存儲部2A以幀映射模式保存。
和第2實施方式基本相同的，場垂直掃描讀出部33按照圖27在垂直方向上掃描圖像，將亮度信號的數(shù)據(jù)包以宏塊為單位按照掃描順序從重構(gòu)圖像存儲部34傳輸給臨時數(shù)據(jù)存儲部2B，臨時數(shù)據(jù)存儲部2B以場映射模式保存。場垂直掃描讀出部33同樣在垂直方向上掃描圖像，將色差信號的數(shù)據(jù)包以宏塊為單位按照掃描順序從重構(gòu)圖像存儲部34傳輸給臨時數(shù)據(jù)存儲部2B，臨時數(shù)據(jù)存儲部2B以場映射模式保存。
此外，運動估計/補償部340以宏塊為單位從臨時數(shù)據(jù)存儲部2A、2B中讀出參考圖像。該運動估計/補償部340可以以宏塊為單位，在幀估計/補償和場估計/補償之間進行切換。
也就是說，在進行幀估計/補償時，幀垂直掃描寫入部42從數(shù)據(jù)以幀映射模式保存的臨時數(shù)據(jù)存儲部2A中讀出數(shù)據(jù)，并存入?yún)⒖紙D像存儲部44。在進行場估計/補償時，場垂直掃描寫入部43從數(shù)據(jù)以場映射模式保存的臨時數(shù)據(jù)存儲部2B中讀出數(shù)據(jù)，并存入?yún)⒖紙D像存儲部44。
這樣，利用臨時數(shù)據(jù)存儲部2A和臨時數(shù)據(jù)存儲部2B，以幀映射和場映射這兩種模式保存圖像，所以無論進行幀處理或場處理中的哪個，都可以高效地進行參考圖像的傳輸。此外由于可以在臨時數(shù)據(jù)存儲部2A和臨時數(shù)據(jù)存儲部2B中并行地進行寫入，所以可以高速地進行重構(gòu)圖像的寫入。
參考圖像是從臨時數(shù)據(jù)存儲部2A或臨時數(shù)據(jù)存儲部2B之中的一個讀出，因此，對臨時數(shù)據(jù)存儲部2A、2B之中，對不用于讀出的一個停止時鐘供給。從而，可以減少消耗功率。
圖40是示出圖39的圖像處理裝置和可高速工作的臨時數(shù)據(jù)存儲部2C的框圖。如此所示，圖39的圖像處理裝置還可以使用臨時數(shù)據(jù)存儲部2C。假設(shè)臨時數(shù)據(jù)存儲部2C例如是SDRAM，可以以圖39的臨時數(shù)據(jù)存儲部2A或2B的2倍速度傳輸數(shù)據(jù)。
圖40中，幀垂直掃描讀出部32和場垂直掃描讀出部33不是將數(shù)據(jù)傳輸傳輸給臨時數(shù)據(jù)存儲部2A和2B，而是傳輸給臨時數(shù)據(jù)存儲部2C的不同區(qū)域，所傳輸?shù)臄?shù)據(jù)由臨時存儲部2C保存。并且，幀垂直掃描寫入部42或場垂直掃描寫入部43從臨時數(shù)據(jù)存儲部2C中讀出數(shù)據(jù)，并由參考圖像存儲部44保存所讀出的數(shù)據(jù)。這樣，可以只使用1個臨時數(shù)據(jù)存儲部2C。
圖41是圖39的圖像處理裝置的變形例的結(jié)構(gòu)框圖。圖41的圖像處理裝置300B在圖39的圖像處理裝置的基礎(chǔ)上，代替圖39的圖像處理裝置中的重構(gòu)圖像生成部330包括圖1的重構(gòu)圖像生成部30，還包括幀/場轉(zhuǎn)換部4。
幀垂直掃描讀出部32和第1實施方式基本相同，將亮度信號和色差信號的數(shù)據(jù)包從重構(gòu)圖像存儲部34傳輸給臨時數(shù)據(jù)存儲部2C，由臨時數(shù)據(jù)存儲部2C以幀映射模式保存。之后，幀/場轉(zhuǎn)換部4讀出保存在臨時數(shù)據(jù)存儲部2C中的幀映射模式的重構(gòu)圖像，將所讀出的數(shù)據(jù)以場映射模式保存在與臨時數(shù)據(jù)存儲部2C中用于幀映射模式的區(qū)域不同的區(qū)域中。
這樣，通過圖41的圖像處理裝置也可以以幀映射模式和場映射模式這兩種模式保存重構(gòu)圖像。
圖42是圖39的圖像處理裝置的另一變形例的結(jié)構(gòu)框圖。圖42的圖像處理裝置300C在圖39的圖像處理裝置的基礎(chǔ)上，代替圖39的圖像處理裝置中的重構(gòu)圖像生成部330包括圖25的重構(gòu)圖像生成部230，還包括場/幀轉(zhuǎn)換部5。
場垂直掃描讀出部33和第2實施方式基本相同，將亮度信號和色差信號的數(shù)據(jù)包從重構(gòu)圖像存儲部34傳輸給臨時數(shù)據(jù)存儲部2C，由臨時數(shù)據(jù)存儲部2C以場映射模式保存。之后，場/幀轉(zhuǎn)換部5讀出保存在臨時數(shù)據(jù)存儲部2C中的場映射模式的重構(gòu)圖像，將所讀出的數(shù)據(jù)以幀映射模式保存在與臨時數(shù)據(jù)存儲部2C中的用于場映射模式的區(qū)域不同的區(qū)域中。
這樣，通過圖42的圖像處理裝置也可以以幀映射模式和場映射模式這兩種模式保存重構(gòu)圖像。
根據(jù)圖41和圖42的圖像處理裝置，存在一種折衷(trade-off)關(guān)系雖然從重構(gòu)圖像生成部30、230所傳輸?shù)闹貥?gòu)圖像數(shù)據(jù)減少，但臨時數(shù)據(jù)存儲部2C工作的時間延長。
圖40～圖42的臨時數(shù)據(jù)存儲部2C中，基本上需要確保用于幀映射模式和用于場映射模式這兩種模式的數(shù)據(jù)區(qū)域。但是，臨時數(shù)據(jù)存儲部2C也可以只按照幀映射模式或場映射模式中的一種模式保存重構(gòu)圖像數(shù)據(jù)。此外，根據(jù)條件，臨時數(shù)據(jù)存儲部2C也可以只按照幀映射模式，或者只按照場映射模式，或者按照幀映射模式和場映射模式這兩種模式(以下稱作3種映射模式)保存重構(gòu)圖像數(shù)據(jù)。
當需要處理的圖像大小(size)為CIF(水平384×垂直288像素)時，使用兩種映射模式進行處理容易，但當需要處理的圖像大小為HD(水平1920×垂直1080像素)時，為了使用兩種映射模式處理，需要在臨時數(shù)據(jù)存儲部2C上確保2個(用于幀映射模式和用于場映射模式)HD大小的區(qū)域，所以需要大容量的SDRAM，從而成本增加。因此，例如在進行HD圖像處理時，要使用幀映射模式或場映射模式中的任意一種模式的重構(gòu)圖像數(shù)據(jù)進行處理。也就是說，要根據(jù)處理對象的圖像大小使用3種映射模式中的一種模式的重構(gòu)圖像數(shù)據(jù)。從而，不管臨時數(shù)據(jù)存儲部2C的結(jié)構(gòu)如何，都能夠發(fā)揮相應(yīng)結(jié)構(gòu)的最高性能。
在解碼時，可變長編碼解碼部18分析所要解碼的代碼的頭部，可以根據(jù)其頭部信息所包含的圖像大小信息，選擇臨時數(shù)據(jù)存儲部2C中的映射模式。從而，可以使用適應(yīng)于圖像大小的區(qū)域，能夠有效地進行解碼處理。
此外，考慮其它處理部共用臨時數(shù)據(jù)存儲部2C的系統(tǒng)時，也可以根據(jù)對臨時數(shù)據(jù)存儲部2C的訪問負荷，切換映射模式。例如，在其它處理部頻繁地使用臨時數(shù)據(jù)存儲部2C時，可以使用能夠減少對臨時數(shù)據(jù)存儲部2C的訪問的映射模式，即幀映射模式或場映射模式，當來自其它處理部的訪問少時，也可以使用兩種映射模式。
這樣，如果根據(jù)對臨時數(shù)據(jù)存儲部2C的負荷(總線的通信量)切換映射模式，則臨時數(shù)據(jù)存儲部2C不管承受多少負荷，都可以發(fā)揮很高的性能。
圖43是表示多編解碼器(Multi-Codec)的處理例的時序圖。考慮圖40的圖像處理裝置處理4個用戶即用戶CLI0、CLI1、CLI2和CLI3的請求的情況。假設(shè)各個用戶的請求如下用戶CLI0SD(水平720×垂直480)大小圖像的編碼處理；用戶CLI1QVGA(水平320×垂直240)大小圖像的解碼處理；用戶CLI2CIF(水平384×垂直288)大小圖像的編碼處理；用戶CLI3HD(水平1920×垂直1080)大小圖像的解碼處理。
在圖43的時刻t0，沒有任何用戶的請求。在時刻t1，由用戶CLI0發(fā)出SD大小圖像的編碼處理請求，圖40的圖像處理裝置300開始該編碼處理。在時刻t2，由用戶CLI1發(fā)出QVGA大小圖像的解碼處理請求，圖像處理裝置300在時刻t2之后，在用戶CLI0的編碼處理和用戶CLI1的解碼處理之間，以幀為單位進行切換并輪流進行分時處理。
在時刻t3，用戶CLI2發(fā)出CIF大小圖像的編碼處理請求，圖像處理裝置300在用戶CLI0的編碼處理、用戶CLI1的解碼處理和用戶CLI2的編碼處理之間，以幀為單位進行切換并輪流進行分時處理。之后，在時刻t4，用戶CLI0的編碼處理結(jié)束，在時刻t5，用戶CLI1的解碼處理結(jié)束。從時刻t5到用戶CLI3發(fā)出HD大小圖像的解碼處理請求的時刻t6之間，圖像處理裝置300只執(zhí)行用戶CLI2的編碼處理。
從時刻t6開始，圖像處理裝置300除了執(zhí)行用戶CLI2的編碼處理外，還以幀為單位執(zhí)行用戶CLI3的解碼處理。在時刻t7，用戶CLI3的解碼處理結(jié)束，在時刻t8，用戶CLI2的編碼處理結(jié)束，從而來自所有用戶的請求處理完成。其中，假設(shè)使用臨時數(shù)據(jù)存儲部2C中的不同區(qū)域進行各個用戶的處理。
在使用幀映射模式和場映射模式進行時刻t1的用戶CLI0的SD大小圖像的編碼處理時，對于之后的時刻t2的用戶CLI1的QVGA大小圖像的解碼處理，需要使用臨時數(shù)據(jù)存儲部2C中用戶CLI0的編碼處理沒有使用的區(qū)域。
圖像處理裝置300從用戶CLI1接收到解碼處理請求時，求出臨時數(shù)據(jù)存儲部2C中未使用區(qū)域的容量，并根據(jù)所求出的容量選擇映射模式。也就是說，如果能夠確保使用兩種映射模式所需要的區(qū)域，則使用兩種映射模式開始用戶CLI1的處理即可，如果無法確保，則只使用幀映射模式或場映射模式中的一種模式開始處理即可。通過這樣控制，在開始用戶的請求時，對該新用戶能夠提供臨時數(shù)據(jù)存儲部2C中的最佳區(qū)域。
再有，從新用戶接收到圖像處理請求時，或者在處理結(jié)束時，對包括當前正在處理中的用戶在內(nèi)的所有用戶，也可以重新選擇映射模式，并重新分配區(qū)域。在時刻t3，用戶CLI2發(fā)出處理請求。在這一時間點，例如對于包括用已分配的區(qū)域正在處理中的用戶CLI0和CLI1在內(nèi)的3個用戶，重新選擇映射模式。并且，在時刻t4，用戶CLI0的處理結(jié)束。在這一時間點，例如對處理中的兩個用戶CLI1和CLI2重新選擇映射模式。
這樣，由于每當用戶數(shù)變化時，確定對所有用戶的處理的映射模式，所以對各處理的映射模式能夠一直處于最佳模式。
此外，各個用戶在發(fā)出處理請求時可以指定所希望的映射模式，在不能確保該請求的映射區(qū)域時，可以向該用戶通知。例如，當用戶發(fā)出希望使用兩種映射模式進行處理的處理請求時，如果臨時數(shù)據(jù)存儲部2C能夠確保使用該處理所需的兩種映射模式的區(qū)域，則使用兩種映射模式進行處理即可，如果無法確保，則將該情況通知給用戶。
收到該通知的用戶，可以重新發(fā)出將區(qū)域限定為可靠區(qū)域的處理(例如，只使用幀映射模式的處理)請求，或者，為了獲得區(qū)域，還可以對當前執(zhí)行中的其他用戶發(fā)出釋放請求。用戶由于在無法確保需要的區(qū)域時收到通知，所以不用對臨時數(shù)據(jù)存儲部2C的剩余容量進行檢查，就可以執(zhí)行處理請求。
下面對圖43的多編解碼器的處理中的具體例子進行描述。在時刻t5，除了用戶CLI2的請求以外，沒有其它請求，因此，假設(shè)臨時數(shù)據(jù)存儲部2C處于僅確保用戶CLI2的編碼處理所使用的兩種映射模式的區(qū)域的狀態(tài)。在之后的時刻t6，接收用戶CLI3的希望“使用兩種映射模式的處理”的HD大小圖像的解碼處理請求。
此時，圖像處理裝置300檢查臨時數(shù)據(jù)存儲部2C中用戶CLI2不使用的區(qū)域，并確認在該區(qū)域上是否能夠確保進行兩種映射模式的區(qū)域。如果能夠確保，圖像處理裝置300使用兩種映射模式開始用戶CLI3的處理，如果不能確保，則向用戶CLI3通知無法確保的信息。
如果可以使用幀映射模式或場映射模式處理用戶CLI3的處理的情況下，用戶CLI3重新指定“使用幀映射模式的處理”或“使用場映射模式的處理”后，發(fā)出解碼請求即可。
但是，在像需要“使用兩種映射模式的處理”的情況下，不能開始進行處理。此時，用戶CLI3可以放棄處理本身，或者可以向其它用戶(此時為用戶CLI2)發(fā)出釋放區(qū)域的請求。如果用戶CLI2根據(jù)該請求釋放區(qū)域，則圖像處理裝置300對該區(qū)域判斷是否能夠確保兩種映射模式的區(qū)域，如果能夠確保，則使用兩種映射模式開始處理，如果不能確保，則將該情況通知給用戶CLI3。從而，就容易確保處理中所需的區(qū)域。
這樣，實時監(jiān)視臨時數(shù)據(jù)存儲部2C中的區(qū)域分配情況，一直能夠?qū)崿F(xiàn)最佳的區(qū)域分配，所以對于臨時數(shù)據(jù)存儲部2C，可以進行高效的傳輸。
圖44是圖39的圖像處理裝置的又一個變形例的結(jié)構(gòu)框圖。圖44的圖像處理裝置400在圖39的圖像處理裝置的基礎(chǔ)上，還包括選擇器23、24。
選擇器23根據(jù)從外部輸入的映射類型信號MT，選擇幀垂直掃描讀出部32或場垂直掃描讀出部33。當選擇幀垂直掃描讀出部32時，臨時數(shù)據(jù)存儲部2C以幀映射模式保存重構(gòu)圖像，當選擇場垂直掃描讀出部33時，臨時數(shù)據(jù)存儲部2C以場映射模式保存重構(gòu)圖像，選擇器24根據(jù)映射類型信號MT，選擇幀垂直掃描寫入部42或場垂直掃描寫入部43。保存在臨時數(shù)據(jù)存儲部2C中的重構(gòu)圖像傳輸?shù)綆怪睊呙鑼懭氩?2和場垂直掃描寫入部43中被選擇的寫入部。
由于映射類型信號MT是以幀為單位切換，所以通過圖像處理裝置400，在逐行掃描圖像和隔行掃描圖像混在一起的動畫中，對逐行掃描圖像采用幀映射模式，對隔行掃描圖像采用場映射模式，可動態(tài)地選擇適當?shù)挠成漕愋?。因此，根?jù)圖像的種類，能夠在臨時數(shù)據(jù)存儲部2C中確保適當?shù)膮^(qū)域。
該映射類型信號MT可以在編碼/解碼時根據(jù)系統(tǒng)的具體應(yīng)用而指定，或者，在解碼時通過分析所要解碼的代碼的頭部，可以根據(jù)其頭部信息進行適當?shù)那袚Q。
(第5實施方式)本實施方式對第1實施方式中向臨時數(shù)據(jù)存儲部2保存重構(gòu)圖像的方法進行了變形。參照圖1進行說明。
圖45是示出本發(fā)明第5實施方式中保存在臨時數(shù)據(jù)存儲部2中的重構(gòu)圖像的說明圖。圖45示出按照圖17映射的區(qū)域在列方向(處理對象圖像的垂直方向)上進一步擴展2個宏塊的區(qū)域。這里舉一個例子，將處理對象圖像的幀大小設(shè)為圖4所示的水平64×垂直64像素(水平4×垂直4宏塊)，將運動估計范圍設(shè)為水平、垂直方向上都是±16像素。
第n(n為自然數(shù))幀的重構(gòu)圖像被用作第n+1幀的處理中。這時，生成第n+1幀的重構(gòu)圖像，所生成的重構(gòu)圖像被用作下一個第n+2幀的參考圖像。在處理第n+1幀時，前面幀(第n幀)的重構(gòu)圖像(R0n0、R1n0、......R15n0)已經(jīng)被寫入臨時數(shù)據(jù)存儲部2中。
幀垂直掃描寫入部42為了處理第n+1幀的宏塊M0(參照圖4)，將處理對象的宏塊M0對應(yīng)的重構(gòu)圖像R0n0和其周圍宏塊對應(yīng)的重構(gòu)圖像R1n0、R4n0、R5n0作為參考圖像讀出，寫入?yún)⒖紙D像存儲部44。
同樣的，幀垂直掃描寫入部42在處理宏塊M1時，讀出宏塊M1對應(yīng)的重構(gòu)圖像R1n0和其周圍的宏塊對應(yīng)的重構(gòu)圖像R0n0、R2n0、R4n0、R5n0、R6n0；在處理宏塊M5時，讀出宏塊M5對應(yīng)的重構(gòu)圖像R5n0和其周圍的宏塊對應(yīng)的重構(gòu)圖像R0n0、R1n0、R2n0、R4n0、R6n0、R8n0、R9n0、R10n0。
在處理第n+1幀的宏塊M0時，生成重構(gòu)圖像R0n1，由幀垂直掃描讀出部32將所生成的重構(gòu)圖像R0n1寫入臨時數(shù)據(jù)存儲部2。由于在處理宏塊M1、M4、M5時也需要重構(gòu)圖像R0n0，所以在宏塊M5的處理結(jié)束之前，需要持續(xù)保留重構(gòu)圖像R0n0。也就是說，不能將重構(gòu)圖像R0n1保存在圖45的重構(gòu)圖像R0n0的區(qū)域中。如果還考慮其它宏塊的處理，則需要將第n+1幀的重構(gòu)圖像保存在重構(gòu)圖像R0n0～R15n0的區(qū)域之外的區(qū)域中。
所以，將保存重構(gòu)圖像的區(qū)域在列方向上擴展2個宏塊，在擴展區(qū)域中保存第n+1幀的重構(gòu)圖像R0n1～R7n1。宏塊M7的處理結(jié)束時，圖45的左邊列的重構(gòu)圖像R0n0～R3n0不被用作參考圖像讀出，可以不要這些重構(gòu)圖像，所以，在該區(qū)域中保存第n+1幀的重構(gòu)圖像R8n1～R11n1；在宏塊M11的處理結(jié)束時，由于從圖45的左邊起第2列的重構(gòu)圖像R4n0～R7n0可以不要，所以，在該區(qū)域中保存第n+1幀的重構(gòu)圖像R12n1～R15n1。
同樣的，在重構(gòu)圖像R8n0～R15n0的區(qū)域中保存第n+2幀的重構(gòu)圖像R0n2～R7n2，在重構(gòu)圖像R0n1～R7n1的區(qū)域中保存第n+2幀的重構(gòu)圖像R8n2～R15n2。之后也一樣地將能夠保存1幀的重構(gòu)圖像的區(qū)域加上擴展區(qū)域的區(qū)域用作環(huán)形緩沖區(qū)，保存重構(gòu)圖像。
這樣，除了確保1畫面的重構(gòu)圖像區(qū)域之外，還確保用于保存作為圖4的編碼處理對象的圖像中的2行宏塊所對應(yīng)的重構(gòu)圖像的擴展區(qū)域即可，而不需要確保用于保存兩個畫面的重構(gòu)圖像的區(qū)域。因此，能夠控制編碼/解碼裝置的電路規(guī)模。
擴展區(qū)域需要根據(jù)運動估計/補償范圍而確保。一般而言，當臨時數(shù)據(jù)存儲部2以幀映射模式保存數(shù)據(jù)時，擴展區(qū)域只需要具有能夠保存在作為編碼處理對象的2維圖像的宏塊的行之中處理對象的宏塊和其上方的用于運動估計或運動補償?shù)暮陦K所屬的行的容量即可。
此外，當臨時數(shù)據(jù)存儲部2以場映射模式保存數(shù)據(jù)時，對于每個保存各場數(shù)據(jù)的區(qū)域，需要確保擴展區(qū)域。此時，各個擴展區(qū)域只需要具有以幀映射模式保存數(shù)據(jù)時的擴展區(qū)域的一半容量即可。
(第6實施方式)圖46是本發(fā)明第6實施方式的圖像處理裝置的結(jié)構(gòu)框圖。圖46的圖像處理裝置500在圖1的圖像處理裝置的基礎(chǔ)上，代替圖1的圖像處理裝置中重構(gòu)圖像生成部30和運動估計/補償部40，包括重構(gòu)圖像生成部530和運動估計/補償部540。
重構(gòu)圖像生成部530具有幀垂直掃描讀出部532和重構(gòu)圖像存儲部34。運動估計/補償部540具有幀垂直掃描寫入部542和參考圖像存儲部44。幀垂直掃描讀出部532和幀垂直掃描寫入部542除了以下要說明的點之外，分別和圖1的幀垂直掃描讀出部32和幀垂直掃描寫入部42一樣。
本實施方式中，說明多個裝置(用戶)共用臨時數(shù)據(jù)存儲部2的情況。存儲器調(diào)停部8用于調(diào)停各用戶向臨時數(shù)據(jù)存儲部2的訪問。
圖47是執(zhí)行調(diào)停時的數(shù)據(jù)傳輸?shù)囊粋€示例時序圖。這里，示出按照圖13的每行向臨時數(shù)據(jù)存儲部2進行寫入的情況，即突發(fā)式傳輸數(shù)據(jù)包P0～P3，之后依次突發(fā)式傳輸數(shù)據(jù)包P4～P7、P8～P11的情況。為了簡單，假設(shè)其它的用戶沒有輸出傳輸請求。
首先，在存儲器調(diào)停部8和用戶之間進行信息交換(期間HS)。如圖47所示，用戶向存儲器調(diào)停部8輸出TRANS_REQ、TRANS_WR、TRANS_SIZE和TRANS_XPOS/TRANS_YPOS。其中，所述TRANS_REQ為傳輸請求信號；所述TRANS_WR為表示要進行的傳輸是有關(guān)“寫入”還是“讀出”的傳輸?shù)男盘枺凰鯰RANS_SIZE為表示該傳輸?shù)臄?shù)據(jù)量(以數(shù)據(jù)包為單位)的信號；所述TRANS_XPOS/TRANS_YPOS為表示寫入所傳輸?shù)臄?shù)據(jù)的存儲器空間內(nèi)的位置、或讀出所傳輸?shù)臄?shù)據(jù)的存儲器空間內(nèi)的位置的信號。存儲器調(diào)停部8收到這樣的傳輸請求時，如果在和發(fā)出請求的用戶之間是可以進行收發(fā)數(shù)據(jù)的狀況，則將應(yīng)答信號TRANS_ACK輸出給該用戶。由此過程進行信息交換。
信息交換完成后，接著進行數(shù)據(jù)的傳輸。存儲器調(diào)停部8將傳輸使能信號TRANS_EN設(shè)為有效。在該信號為有效的期間DT內(nèi)進行數(shù)據(jù)傳輸。在此，也可以讓用戶輸出傳輸使能信號TRANS_EN。
數(shù)據(jù)傳輸時，每1個周期傳輸1個數(shù)據(jù)包。對于圖47的情況，每進行4個數(shù)據(jù)包的傳輸，為進行信息交換需要2個周期。這樣，每次進行傳輸時進行信息交換，為此需要2個周期，所以傳輸效率低。
圖48是執(zhí)行調(diào)停時圖46的圖像處理裝置中的數(shù)據(jù)傳輸示例時序圖。首先說明存儲器調(diào)停部8和圖像處理裝置500的幀垂直掃描讀出部532之間的數(shù)據(jù)傳輸。
為了傳輸重構(gòu)圖像存儲部34讀出的數(shù)據(jù)包，在存儲器調(diào)停部8和幀垂直掃描讀出部532之間進行信息交換。在這除了表示數(shù)據(jù)量的信號TRANS_SIZE為16這點上不同之外，其它和圖47的情況一樣。
信息交換完成后，存儲器調(diào)停部8將傳輸使能信號TRANS_EN設(shè)為有效。像參照圖14描述的情況一樣，幀垂直掃描讀出部532在垂直方向上進行掃描的同時，從重構(gòu)圖像存儲部34中讀出數(shù)據(jù)包。幀垂直掃描讀出部532在傳輸使能信號TRANS_EN為有效的期間DT內(nèi)，將所讀出的16個數(shù)據(jù)包作為1個突發(fā)傳輸單位輸出給存儲器調(diào)停部8。雖然用于信息交換還是需要2個周期，但是，信息交換是在每傳輸16個數(shù)據(jù)包時進行，所以和圖47的情況相比，傳輸效率提高。
這樣，根據(jù)圖46的圖像處理裝置，由于幀垂直掃描讀出部532在讀出時進行垂直掃描，突發(fā)式傳輸1列數(shù)據(jù)包，所以如圖48所示，可以減少傳輸次數(shù)。由于可以減少進行信息交換的頻率，所以即使由存儲器調(diào)停部8進行調(diào)停的情況下，也可以提高幀結(jié)構(gòu)圖像的傳輸效率。
下面，對存儲器調(diào)停部8和臨時數(shù)據(jù)存儲部2之間的數(shù)據(jù)傳輸進行描述。首先假設(shè)幀垂直掃描讀出部532和存儲器調(diào)停部8之間的數(shù)據(jù)總線寬度等于1個數(shù)據(jù)包的大小，存儲器調(diào)停部8和臨時數(shù)據(jù)存儲部2之間的數(shù)據(jù)總線寬度等于2個數(shù)據(jù)包的大小。此時，存儲器調(diào)停部8重新對2個數(shù)據(jù)包進行打包，將所得到的合成數(shù)據(jù)包傳輸給臨時數(shù)據(jù)存儲部2。存儲器調(diào)停部8在每1個周期傳輸一個合成數(shù)據(jù)包。
圖49(a)是表示數(shù)據(jù)包和合成數(shù)據(jù)包的前頭位置一致時的兩者關(guān)系說明圖。圖49(b)是表示數(shù)據(jù)包和合成數(shù)據(jù)包的前頭位置不一致時的兩者關(guān)系說明圖。
對于圖49(a)的情況，存儲器調(diào)停部8可以將從圖像處理裝置500接收的16個數(shù)據(jù)包重新打包，用8個周期寫入臨時數(shù)據(jù)存儲部2。而對于圖49(b)的情況，為了將接收到的16個數(shù)據(jù)包寫入臨時數(shù)據(jù)存儲部2，需要9個周期。這樣，在數(shù)據(jù)總線寬度不固定時，可能造成傳輸效率低下。圖46的圖像處理裝置由于對每16個數(shù)據(jù)包進行突發(fā)式傳輸，所以將圖49(b)所示傳輸效率低下的機會，可以減少為圖47所示對每4個數(shù)據(jù)包進行突發(fā)式傳輸時的1/4。
下面參照圖9和圖13說明防止傳輸效率低下的方法。作為例子，考慮傳輸圖9的宏塊R5數(shù)據(jù)的情況。圖9的宏塊R5由圖13所示數(shù)據(jù)包構(gòu)成，現(xiàn)在假設(shè)傳輸圖13的最左邊列數(shù)據(jù)包P0、P4、P8、......、P60。
數(shù)據(jù)包和合成數(shù)據(jù)包的關(guān)系為圖49(b)所示的情況時，最初的合成數(shù)據(jù)包中只包含數(shù)據(jù)包P0，最后的合成數(shù)據(jù)包中只包含數(shù)據(jù)包P60。這里，為了防止傳輸效率的低下，存儲器調(diào)停部8將宏塊R5的數(shù)據(jù)包P0和宏塊R1的數(shù)據(jù)包P60重新打包，將所得到的合成數(shù)據(jù)包傳輸給臨時數(shù)據(jù)存儲部2。并且，存儲器調(diào)停部8將宏塊R5的數(shù)據(jù)包P60和宏塊R9的數(shù)據(jù)包P0重新打包，將所得到的合成數(shù)據(jù)包傳輸給臨時數(shù)據(jù)存儲部2。
也就是說，在對宏塊R1進行重新打包時剩下1個數(shù)據(jù)包P60的情況下，存儲器調(diào)停部8在宏塊R5的數(shù)據(jù)包P0到達之前，保留宏塊R1的數(shù)據(jù)包P60，等這些數(shù)據(jù)齊備后，使用這些數(shù)據(jù)得到合成數(shù)據(jù)包。同樣的，在對宏塊R5進行重新打包時剩下1個數(shù)據(jù)包P60的情況下，存儲器調(diào)停部8在宏塊R9的數(shù)據(jù)包P0到達之前，保留宏塊R5的數(shù)據(jù)包P60，等這些數(shù)據(jù)齊備后，使用這些數(shù)據(jù)得到合成數(shù)據(jù)包。
這樣，圖49(b)所示的情況下，存儲器調(diào)停部8將最下行的數(shù)據(jù)包P60、P61、P62、P63分別和與下邊相鄰的宏塊的最上行數(shù)據(jù)包P0、P1、P2、P3進行重新打包，生成與存儲器調(diào)停部8和臨時數(shù)據(jù)存儲部2之間的數(shù)據(jù)總線寬度相同大小的合成數(shù)據(jù)包，并傳輸所得到的合成數(shù)據(jù)包。由于可以使合成數(shù)據(jù)包的一部分不為空，所以可以防止傳輸效率的低下。
從臨時數(shù)據(jù)存儲部2中讀出數(shù)據(jù)時，按照與上述相反的順序進行傳輸。即，存儲器調(diào)停部8從臨時數(shù)據(jù)存儲部2中讀出合成數(shù)據(jù)包，并分解成數(shù)據(jù)包。在存儲器調(diào)停部8和圖像處理裝置500的幀垂直掃描寫入部542之間進行信息交換，并完成信息交換后，存儲器調(diào)停部8將所得到的數(shù)據(jù)包傳輸給幀垂直掃描寫入部542。
再有，存儲器調(diào)停部8還可以改變TRANS_XPOS/TRANS_YPOS(圖48)的值后輸出給臨時數(shù)據(jù)存儲部2，其中，所述TRANS_XPOS/TRANS_YPOS是圖像處理裝置500輸出給存儲器調(diào)停部8的用于表示存儲器空間內(nèi)的位置的信號。
另外，本實施方式相當于在第1實施方式中進一步使用存儲器調(diào)停部8的情況，第2～第4實施方式中也同樣可以使用存儲器調(diào)停部8。
(第7實施方式)圖50是本發(fā)明第7實施方式的攝像系統(tǒng)的結(jié)構(gòu)框圖。圖50的攝像系統(tǒng)700，比如為數(shù)字靜止圖像照相機(digital still camera)，包括光學系統(tǒng)712、傳感器714、模擬/數(shù)字轉(zhuǎn)換器(ADC)716、圖像處理裝置718、記錄傳輸電路722、再生電路724、臨時數(shù)據(jù)存儲部726、時間控制電路732和系統(tǒng)控制電路734。圖像處理裝置718為第1～第6實施方式中描述的任意一個圖像處理裝置，臨時數(shù)據(jù)存儲部726為對應(yīng)該圖像處理裝置的臨時數(shù)據(jù)存儲部。
光學系統(tǒng)712使入射的圖像(入射光)IL在傳感器714上成像。傳感器714由時間控制電路732驅(qū)動，收集所入射的圖像IL，光電轉(zhuǎn)換成電信號，將所得到的模擬圖像信號輸出給模擬/數(shù)字轉(zhuǎn)換器716。模擬/數(shù)字轉(zhuǎn)換器716將該信號轉(zhuǎn)換為數(shù)字信號，并輸出給圖像處理裝置718。
圖像處理裝置718進行Y/C處理、邊緣處理、圖像的擴大縮小和圖像的編碼/解碼(壓縮伸展處理)等圖像處理，其中，所述圖像的編碼/解碼包括第1～第6實施方式所述的與臨時數(shù)據(jù)存儲部726之間的圖像數(shù)據(jù)傳輸。圖像處理裝置718將圖像處理后的信號輸出給記錄傳輸電路722，記錄傳輸電路722將該信號記錄到記錄媒體，或傳輸給攝像系統(tǒng)700的外部。記錄傳輸電路722從記錄媒體讀出信號，或者接收從外部傳輸過來的信號，并將該信號傳輸給再生電路724。再生電路724再生所接收到的信號。
模擬/數(shù)字轉(zhuǎn)換器716和圖像處理裝置718由時間控制電路732控制，系統(tǒng)控制電路734控制著該整個攝像系統(tǒng)700。
另外，圖像處理裝置718不僅對基于通過光學系統(tǒng)712入射到傳感器714中的入射光IL的信號進行圖像處理，還可以對例如從攝像系統(tǒng)700的外部以電信號輸入的圖像信號進行處理。
再有，在以上實施方式中描述了使用SDRAM作為臨時數(shù)據(jù)存儲部2、2A、2B、2C的情況，但還可以使用其他可突發(fā)讀/寫的存儲元件等。
此外，在以上實施方式中，描述了使用SDRAM作為重構(gòu)圖像存儲部34和參考圖像存儲部44的情況，但還可以使用可隨機存取的其他存儲元件等。
此外，在以上實施方式中，通過舉具體例子來說明圖像編碼/解碼處理，但對于以塊為單位進行處理的其他圖像處理，也可以采用同樣的技術(shù)。
此外，臨時數(shù)據(jù)存儲部2、2A、2B、2C所用的行地址和列地址，可以是臨時數(shù)據(jù)存儲部2、2A、2B、2C的物理地址，也可以是邏輯地址。
如上所述，本發(fā)明由于能夠在圖像處理裝置和存儲器等之間實現(xiàn)高速的數(shù)據(jù)傳輸，所以作為圖像處理裝置是有用的，特別對于數(shù)碼相機、帶相機的手機、數(shù)碼攝像機和網(wǎng)絡(luò)攝影機等含有運動圖像攝影功能的設(shè)備是有用的。
權(quán)利要求
1.一種圖像數(shù)據(jù)傳輸方法，該方法包括以下步驟(a)、將保存在第1圖像存儲部的、具有由第1和第2方向的座標表示各自位置的多個像素的2維圖像的像素的數(shù)據(jù)，以在所述第1方向相鄰的規(guī)定數(shù)目個像素的數(shù)據(jù)為單位進行打包，將所得到的數(shù)據(jù)傳輸單位在所述第2方向上掃描讀出；(b)、將所述步驟(a)中讀出的數(shù)據(jù)傳輸單位，突發(fā)式寫入臨時數(shù)據(jù)存儲部，該臨時數(shù)據(jù)存儲部用于將數(shù)據(jù)保存在由第1和第2地址的組合所指定的位置，其中，突發(fā)式寫入的區(qū)域為所述第1地址連續(xù)且所述第2地址固定的區(qū)域；(c)、將寫入所述臨時數(shù)據(jù)存儲部的數(shù)據(jù)傳輸單位，從所述第1地址連續(xù)且所述第2地址固定的區(qū)域中突發(fā)式讀出，并寫入第2圖像存儲部。
2.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述步驟(a)中，將所述2維圖象中在所述第2方向上屬于第奇數(shù)行的數(shù)據(jù)傳輸單位和屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，獨立地在所述第2方向上掃描讀出；所述步驟(b)中，將屬于所述第奇數(shù)行的數(shù)據(jù)傳輸單位和屬于所述第偶數(shù)行的數(shù)據(jù)傳輸單位寫入不同的區(qū)域。
3.根據(jù)權(quán)利要求2所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述步驟(b)中，將所述讀出的屬于第奇數(shù)行的數(shù)據(jù)傳輸單位和屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，寫入所述第二地址相同的區(qū)域。
4.根據(jù)權(quán)利要求2所述的圖像數(shù)據(jù)傳輸方法，其特征在于，該方法進一步包括場/幀轉(zhuǎn)換步驟，讀出寫入在所述臨時數(shù)據(jù)存儲部中的數(shù)據(jù)傳輸單位，將所讀出的數(shù)據(jù)傳輸單位以幀映射模式重新寫入所述臨時數(shù)據(jù)存儲部。
5.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)傳輸方法，其特征在于，該方法進一步包括幀/場轉(zhuǎn)換步驟，讀出寫入在所述臨時數(shù)據(jù)存儲部中的數(shù)據(jù)傳輸單位，將所讀出的數(shù)據(jù)傳輸單位以場映射模式重新寫入所述臨時數(shù)據(jù)存儲部。
6.根據(jù)權(quán)利要求5所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述幀/場轉(zhuǎn)換步驟中，將所述讀出的所述2維圖像中在所述第2方向上屬于第奇數(shù)行的數(shù)據(jù)傳輸單位和屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，寫入所述第2地址相同的區(qū)域。
7.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述步驟(a)中，將藍色差信號和紅色差信號作為所述像素的數(shù)據(jù)分別進行打包，并讀出所得到的數(shù)據(jù)傳輸單位；所述步驟(b)中，輪流寫入藍色差信號的數(shù)據(jù)傳輸單位和紅色差信號的數(shù)據(jù)傳輸單位。
8.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述步驟(a)中，將亮度信號、藍色差信號和紅色差信號作為所述像素的數(shù)據(jù)分別進行打包，并讀出所得到的各信號的數(shù)據(jù)傳輸單位；所述步驟(b)中，輪流寫入亮度信號、藍色差信號和紅色差信號的各自的數(shù)據(jù)傳輸單位。
9.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)傳輸方法，其特征在于，該方法進一步包括以下步驟(a1)、將保存在所述第1圖像存儲部的所述2維圖像中在所述第2方向上屬于第奇數(shù)行的數(shù)據(jù)傳輸單位和屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，獨立地在所述第2方向上掃描讀出，(b1)、將所述讀出的屬于第奇數(shù)行的數(shù)據(jù)傳輸單位，突發(fā)式寫入另一臨時數(shù)據(jù)存儲部，該另一臨時數(shù)據(jù)存儲部用于將數(shù)據(jù)保存在由第3和第4地址的組合所指定的位置，其中，突發(fā)式寫入的區(qū)域為所述第3地址連續(xù)所述第4地址固定的區(qū)域；(b2)、將所述讀出的屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，突發(fā)式寫入所述另一臨時數(shù)據(jù)存儲部，其中，突發(fā)式寫入的區(qū)域為與所述步驟(b1)中寫入的區(qū)域不同的、所述第3地址連續(xù)且所述第4地址固定的區(qū)域；(c1)、將寫入所述另一臨時數(shù)據(jù)存儲部的數(shù)據(jù)傳輸單位，從所述第3地址連續(xù)且所述第4地址固定的區(qū)域中突發(fā)式讀出，并寫入所述第2圖像存儲部；其中，該方法執(zhí)行所述步驟(c)或步驟(c1)中的任意一個。
10.根據(jù)權(quán)利要求9所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述步驟(b1)和步驟(b2)中，將所述讀出的屬于第奇數(shù)行的數(shù)據(jù)傳輸單位和屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，寫入所述第4地址相同的區(qū)域。
11.根據(jù)權(quán)利要求9所述的圖像數(shù)據(jù)傳輸方法，其特征在于，進行所述步驟(c)時，停止向所述另一臨時數(shù)據(jù)存儲部的時鐘供給；進行所述步驟(c1)時，停止向所述臨時數(shù)據(jù)存儲部的時鐘供給。
12.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)傳輸方法，其特征在于，該方法進一步包括以下步驟(a1)、將保存在所述第1圖像存儲部的所述2維圖像中在所述第2方向上屬于第奇數(shù)行的數(shù)據(jù)傳輸單位和屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，獨立地在所述第2方向上掃描讀出；(b1)、將所述讀出的屬于第奇數(shù)行的數(shù)據(jù)傳輸單位，突發(fā)式寫入所述臨時數(shù)據(jù)存儲部，其中，突發(fā)式寫入的區(qū)域為與所述步驟(b)中寫入的區(qū)域不同的、所述第1地址連續(xù)且所述第2地址固定的區(qū)域；(b2)、將所述讀出的屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，突發(fā)式寫入所述臨時數(shù)據(jù)存儲部，其中，突發(fā)式寫入的區(qū)域為與所述步驟(b)和(b1)中寫入的區(qū)域不同的、所述第1地址連續(xù)且所述第2地址固定的區(qū)域。
13.根據(jù)權(quán)利要求12所述的圖像數(shù)據(jù)傳輸方法，其特征在于，根據(jù)輸入的映射類型信號，在進行所述步驟(b)，和進行所述步驟(b1)、(b2)之間，選擇其中任意一種進行。
14.根據(jù)權(quán)利要求13所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述映射類型信號以幀為單位切換。
15.根據(jù)權(quán)利要求13所述的圖像數(shù)據(jù)傳輸方法，其特征在于，當需要再生的運動圖像為逐行掃描圖像時，切換所述映射類型信號以進行所述步驟(b)；當需要再生的運動圖像為隔行掃描圖像時，改變所述映射類型信號以進行所述步驟(b1)和(b2)。
16.根據(jù)權(quán)利要求12所述的圖像數(shù)據(jù)傳輸方法，其特征在于，在進行所述步驟(b)，和進行所述步驟(b1)和(b2)，和進行所述步驟(b)、(b1)和(b2)之間，適當?shù)剡x擇其中任意一種進行。
17.根據(jù)權(quán)利要求16所述的圖像數(shù)據(jù)傳輸方法，其特征在于，根據(jù)處理對象的圖像的幀大小，進行所述選擇。
18.根據(jù)權(quán)利要求16所述的圖像數(shù)據(jù)傳輸方法，其特征在于，根據(jù)所述臨時數(shù)據(jù)存儲部的負荷，進行所述選擇。
19.根據(jù)權(quán)利要求16所述的圖像數(shù)據(jù)傳輸方法，其特征在于，根據(jù)頭部信息所包含的圖像大小信息，進行所述選擇。
20.根據(jù)權(quán)利要求16所述的圖像數(shù)據(jù)傳輸方法，其特征在于，分時處理來自多個用戶的圖像處理請求，對所述多個用戶分別進行所述選擇。
21.根據(jù)權(quán)利要求20所述的圖像數(shù)據(jù)傳輸方法，其特征在于，從新用戶接收圖像處理請求時，計算所述臨時數(shù)據(jù)存儲部中未使用的區(qū)域的容量，并根據(jù)所述未使用的區(qū)域的容量，進行所述選擇。
22.根據(jù)權(quán)利要求21所述的圖像數(shù)據(jù)傳輸方法，其特征在于，當不能確保處理中所需要的區(qū)域時，向所述新用戶通知。
23.根據(jù)權(quán)利要求22所述的圖像數(shù)據(jù)傳輸方法，其特征在于，當不能確保用于進行所述步驟(b)、(b1)和(b2)的區(qū)域時，進行所述通知。
24.根據(jù)權(quán)利要求22所述的圖像數(shù)據(jù)傳輸方法，其特征在于，該方法進一步包括當所述新用戶接收到所述通知時，請求所述多個用戶中進行所述步驟(b)、(b1)和(b2)的用戶釋放一部分區(qū)域；如果區(qū)域被釋放，則使用所釋放的區(qū)域，進行所述新用戶的處理。
25.根據(jù)權(quán)利要求20所述的圖像數(shù)據(jù)傳輸方法，其特征在于，當從新用戶收到圖像處理請求時，對所述多個用戶和所述新用戶，重新進行所述選擇。
26.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述步驟(a)中，如果所述2維圖像中所述數(shù)據(jù)傳輸單位在所述第1方向上的個數(shù)少于在所述第2方向上的個數(shù)，則將所述數(shù)據(jù)傳輸單位在所述第2方向上掃描讀出，否則，將所述數(shù)據(jù)傳輸單位在所述第1方向上掃描讀出。
27.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述第1圖像存儲部中保存對運動圖像進行編碼或解碼時所生成的重構(gòu)圖像；從所述第2圖像存儲部中讀出對運動圖像進行編碼或解碼時所使用的參考圖像。
28.根據(jù)權(quán)利要求27所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述步驟(b)中，對能夠保存1幀的重構(gòu)圖像的區(qū)域加上擴展區(qū)域的區(qū)域，進行寫入。
29.根據(jù)權(quán)利要求28所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述擴展區(qū)域具有能夠保存所述2維圖像的宏塊的行中處理對象的宏塊和其上方的用于運動估計或運動補償?shù)暮陦K所屬的行的容量。
30.根據(jù)權(quán)利要求27所述的圖像數(shù)據(jù)傳輸方法，其特征在于，該方法進一步包括以下步驟(a1)、將保存在所述第1圖像存儲部的所述2維圖像中在所述第2方向上屬于第奇數(shù)行的數(shù)據(jù)傳輸單位和屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，獨立地在所述第2方向上掃描讀出，(b1)、將所述讀出的屬于第奇數(shù)行的數(shù)據(jù)傳輸單位，突發(fā)式寫入所述臨時數(shù)據(jù)存儲部，其中，突發(fā)式寫入的區(qū)域為與所述步驟(b)中進行寫入的區(qū)域不同的、所述第1地址連續(xù)且所述第2地址固定的區(qū)域；(b2)、將所述讀出的屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，突發(fā)式寫入所述臨時數(shù)據(jù)存儲部，其中，突發(fā)式寫入的區(qū)域為與所述步驟(b)和(b1)中進行寫入的區(qū)域不同的、所述第1地址連續(xù)且所述第2地址固定的區(qū)域；其中，對亮度信號進行所述步驟(b)；對藍色差信號和紅色差信號，在進行所述步驟(b)，和進行所述步驟(b1)和(b2)，和進行所述步驟(b)、(b1)和(b2)之間，選擇其中任意一種進行。
31.根據(jù)權(quán)利要求30所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述步驟(b1)和(b2)中，分別對能夠保存1幀的重構(gòu)圖像的區(qū)域加上擴展區(qū)域的區(qū)域，進行寫入。
32.根據(jù)權(quán)利要求31所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述擴展區(qū)域分別具有能夠保存所述2維圖像的宏塊的行中處理對象的宏塊和其上方的用于運動估計或運動補償?shù)暮陦K所屬的行的容量的一半的容量。
33.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述步驟(b)包括以下步驟(d)、為了傳輸所述步驟(a)中讀出的數(shù)據(jù)傳輸單位，在包括所述第1及第2圖像存儲部的裝置和存儲器調(diào)停部之間，進行信息交換；(e)、將所述步驟(a)中讀出的數(shù)據(jù)傳輸單位，通過所述存儲器調(diào)停部傳輸給所述臨時數(shù)據(jù)存儲部；所述步驟(c)包括以下步驟(f)、為了傳輸由所述臨時數(shù)據(jù)存儲部讀出的數(shù)據(jù)傳輸單位，在所述裝置和所述存儲器調(diào)停部之間，進行信息交換；(g)、將由所述臨時數(shù)據(jù)存儲部讀出的數(shù)據(jù)傳輸單位，通過所述存儲器調(diào)停部傳輸給所述第2圖像存儲部。
34.根據(jù)權(quán)利要求33所述的圖像數(shù)據(jù)傳輸方法，其特征在于，所述步驟(e)中，通過所述存儲器調(diào)停部，對所述步驟(a)中讀出的數(shù)據(jù)傳輸單位，按規(guī)定數(shù)目打包得到新的數(shù)據(jù)傳輸單位，將所得到的新的數(shù)據(jù)傳輸單位傳輸給所述臨時數(shù)據(jù)存儲部，當剩下不足所述規(guī)定數(shù)目的數(shù)目個數(shù)據(jù)傳輸單位時，讀出與所述剩下的數(shù)據(jù)傳輸單位在第2方向上相鄰的數(shù)據(jù)傳輸單位后，使用所述剩下的數(shù)據(jù)傳輸單位和所述相鄰的數(shù)據(jù)傳輸單位得到包括所述規(guī)定數(shù)目的數(shù)據(jù)傳輸單位的新的數(shù)據(jù)傳輸單位，并將其傳輸。
35.一種圖像數(shù)據(jù)傳輸方法，用于需要臨時的存儲區(qū)域的圖像處理，其特征在于，被作為處理單位的圖像具有第1方向DX×第2方向DY個數(shù)據(jù)傳輸單位時，其中DX、DY為自然數(shù)，如果DX＞＝DY，則在所述第1方向上掃描所述圖像，并將每DX個所述數(shù)據(jù)傳輸單位突發(fā)式寫入所述存儲區(qū)域的連續(xù)地址；如果DX＜DY，則在所述第2方向上掃描所述圖像，并將每DY個所述數(shù)據(jù)傳輸單位突發(fā)式寫入所述存儲區(qū)域的連續(xù)地址。
36.一種圖像處理裝置，該裝置包括第1讀出部，用于將保存在第1圖像存儲部的、具有由第1和第2方向的座標表示各自位置的多個像素的2維圖像的像素的數(shù)據(jù)，以在所述第1方向相鄰的規(guī)定數(shù)目個像素的數(shù)據(jù)為單位進行打包，將所得到的數(shù)據(jù)傳輸單位在所述第2方向上掃描讀出，將所述讀出的數(shù)據(jù)傳輸單位，突發(fā)式寫入臨時數(shù)據(jù)存儲部，該臨時數(shù)據(jù)存儲部用于將數(shù)據(jù)保存在由第1和第2地址的組合所指定的位置，其中，突發(fā)式寫入的區(qū)域為所述第1地址連續(xù)且所述第2地址固定的區(qū)域；第1寫入部，用于將寫入所述臨時數(shù)據(jù)存儲部的數(shù)據(jù)傳輸單位，從所述第1地址連續(xù)且所述第2地址固定的區(qū)域中突發(fā)式讀出，并寫入第2圖像存儲部。
37.根據(jù)權(quán)利要求36所述的圖像處理裝置，其特征在于，所述第1讀出部，用于將在所述2維圖象中在所述第2方向上屬于第奇數(shù)行的數(shù)據(jù)傳輸單位和屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，獨立地在所述第2方向上掃描讀出，并將屬于所述第奇數(shù)行的數(shù)據(jù)傳輸單位和屬于所述第偶數(shù)行的數(shù)據(jù)傳輸單位寫入不同的區(qū)域。
38.根據(jù)權(quán)利要求37所述的圖像處理裝置，其特征在于，該裝置進一步包括場/幀轉(zhuǎn)換部，用于讀出寫入所述臨時數(shù)據(jù)存儲部中的數(shù)據(jù)傳輸單位，將所讀出的數(shù)據(jù)傳輸單位，以幀映射模式重新寫入所述臨時數(shù)據(jù)存儲部。
39.根據(jù)權(quán)利要求36所述的圖像處理裝置，其特征在于，該裝置進一步包括第2讀出部，用于將保存在所述第1圖像存儲部的所述2維圖像中在所述第2方向上屬于第奇數(shù)行的數(shù)據(jù)傳輸單位和屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，獨立地在所述第2方向上掃描讀出，將所述讀出的屬于第奇數(shù)行的數(shù)據(jù)傳輸單位突發(fā)式寫入另一臨時數(shù)據(jù)存儲部，該另一臨時數(shù)據(jù)存儲部用于將數(shù)據(jù)保存在由第3和第4地址的組合所指定的位置，其中，突發(fā)式寫入的區(qū)域為所述第3地址連續(xù)且所述第4地址固定的區(qū)域，將所述讀出的屬于第偶數(shù)行的數(shù)據(jù)傳輸單位突發(fā)式寫入所述另一臨時數(shù)據(jù)存儲部中與屬于所述第奇數(shù)行的數(shù)據(jù)傳輸單位進行寫入的區(qū)域不同的、所述第3地址連續(xù)且所述第4地址固定的區(qū)域；第2寫入部，用于將寫入所述另一臨時數(shù)據(jù)存儲部的數(shù)據(jù)傳輸單位，從所述第3地址連續(xù)且所述第4地址固定的區(qū)域中突發(fā)式讀出，并寫入所述第2圖像存儲部。
40.根據(jù)權(quán)利要求36所述的圖像處理裝置，其特征在于，該裝置進一步包括第2讀出部，用于將保存在所述第1圖像存儲部的所述2維圖像中在所述第2方向上屬于第奇數(shù)行的數(shù)據(jù)傳輸單位和屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，獨立地在所述第2方向上掃描讀出，將所述讀出的屬于第奇數(shù)行的數(shù)據(jù)傳輸單位突發(fā)式寫入所述臨時數(shù)據(jù)存儲部中與所述第1讀出部進行寫入的區(qū)域不同的、所述第1地址連續(xù)且所述第2地址固定的區(qū)域，將所述讀出的屬于第偶數(shù)行的數(shù)據(jù)傳輸單位，突發(fā)式寫入所述臨時數(shù)據(jù)存儲部中與所述第1讀出部進行寫入的區(qū)域和進行屬于所述第奇數(shù)行的數(shù)據(jù)傳輸單位的寫入的區(qū)域不同的、所述第1地址連續(xù)且所述第2地址固定的區(qū)域。
41.根據(jù)權(quán)利要求40所述的圖像處理裝置，其特征在于，該裝置進一步包括選擇器，用于根據(jù)映射類型信號，在所述第1讀出部和第2讀出部的輸出之中選擇其中任意一個輸出，并將其輸出給所述臨時數(shù)據(jù)存儲部。
42.根據(jù)權(quán)利要求36所述的圖像處理裝置，其特征在于，該裝置進一步包括幀/場轉(zhuǎn)換部，用于讀出寫入所述臨時數(shù)據(jù)存儲部中的數(shù)據(jù)傳輸單位，并將所讀出的數(shù)據(jù)傳輸單位以場映射模式重新寫入所述臨時數(shù)據(jù)存儲部。
43.根據(jù)權(quán)利要求36所述的圖像處理裝置，其特征在于，該裝置進一步包括存儲器調(diào)停部，用于與所述第1讀出部之間、以及與所述第1寫入部之間進行信息交換；所述第1讀出部，用于與所述存儲器調(diào)停部之間進行信息交換后，將要寫入所述臨時數(shù)據(jù)存儲部的數(shù)據(jù)傳輸單位，通過所述存儲器調(diào)停部傳輸給所述臨時數(shù)據(jù)存儲部；所述第1寫入部，用于與所述存儲器調(diào)停部之間進行信息交換后，通過所述存儲器調(diào)停部接收從所述臨時數(shù)據(jù)存儲部讀出的數(shù)據(jù)傳輸單位。
44.一種攝像系統(tǒng)，該系統(tǒng)包括模擬/數(shù)字轉(zhuǎn)換器，用于將模擬信號轉(zhuǎn)換為數(shù)字信號；圖像處理裝置，用于對所述數(shù)字信號進行圖像處理；其中，所述圖像處理裝置，包括讀出部，用于將所述圖像處理后保存在第1圖像存儲部的、具有由第1和第2方向的座標表示各自位置的多個像素的2維圖像的像素的數(shù)據(jù)，以在所述第1方向相鄰的規(guī)定數(shù)目個像素的數(shù)據(jù)為單位進行打包，將所得到的數(shù)據(jù)傳輸單位在所述第2方向上掃描讀出，將所述讀出的數(shù)據(jù)傳輸單位突發(fā)式寫入臨時數(shù)據(jù)存儲部，該臨時數(shù)據(jù)存儲部用于將數(shù)據(jù)保存在由第1和第2地址的組合所指定的位置，突發(fā)式寫入的區(qū)域為所述第1地址連續(xù)且所述第2地址固定的區(qū)域；寫入部，用于將寫入所述臨時數(shù)據(jù)存儲部的數(shù)據(jù)傳輸單位，從所述第1地址連續(xù)且所述第2地址固定的區(qū)域中突發(fā)式讀出，并寫入第2圖像存儲部。
45.根據(jù)權(quán)利要求44所述的攝像系統(tǒng)，其特征在于，該系統(tǒng)進一步包括傳感器，用于將圖像轉(zhuǎn)換為所述模擬圖像信號并輸出；光學系統(tǒng)，用于使入射的圖像成像在所述傳感器上。
全文摘要
本發(fā)明提供一種圖像數(shù)據(jù)傳輸方法，該方法可以提高圖像數(shù)據(jù)的數(shù)據(jù)傳輸效率。該方法包括(a)將保存在第1圖像存儲部的具有由第1和第2方向的座標表示各自位置的多個像素的2維圖像的像素的數(shù)據(jù)，以在所述第1方向相鄰的規(guī)定數(shù)目個像素的數(shù)據(jù)為單位進行打包，將所得到的數(shù)據(jù)傳輸單位在所述第2方向上掃描讀出；(b)將所述步驟(a)中讀出的數(shù)據(jù)傳輸單位，突發(fā)式寫入臨時數(shù)據(jù)存儲部，該臨時數(shù)據(jù)存儲部用于將數(shù)據(jù)保存在由第1和第2地址組合所指定的位置，寫入?yún)^(qū)域為所述第1地址連續(xù)且所述第2地址固定的區(qū)域；(c)將寫入所述臨時數(shù)據(jù)存儲部的數(shù)據(jù)傳輸單位，從所述第1地址連續(xù)且所述第2地址固定的區(qū)域中突發(fā)式讀出，寫入第2圖像存儲部。
文檔編號H04N7/30GK101060628SQ200710090260
公開日2007年10月24日 申請日期2007年4月17日 優(yōu)先權(quán)日2006年4月17日
發(fā)明者田中康晴, 北村臣二, 永田太一, 嶼津義久 申請人:松下電器產(chǎn)業(yè)株式會社