專利名稱：移動圖像合成系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種合成系統(tǒng)或設備，在對一個圖像或畫面的多個移動圖像(畫面)數據執(zhí)行同步多圖像再現的情況下，使用每個移動圖像數據進行編碼(編碼)的方法以及產生相應于移動圖像數據的任意組合的多圖像合成移動圖像的合成方法。
如7-298263號日本未審查公開專利中所示，眾所周知這樣一種方法，即把移動圖像的一幀分割成多個區(qū)域獲得的的合成代碼串與通過對每個區(qū)域進行編碼而產生的代碼串相連，從而使其語法(syntax)與通過對圖像進行編碼而不分割成區(qū)域所產生的代碼串的語法相同。
圖51是示出實現此方法的配置的方框圖，以下將參考該圖來描述其操作。
首先，通過圖像分割器61以幀為單位把輸入的移動圖像分割成多個區(qū)域。此時，圖像分割器61根據來自分割控制單元75的圖像分割控制信號來確定分割方法。在此情況下，把一幀垂直分割成三個區(qū)域，按照從原始圖像的左手區(qū)域開始的順序把所分割的圖像信號分別取作77、78和79，把所分割的圖像信號77、78和79分別引入編碼器62、63和64。每個編碼器62到64接收來自分割控制單元75的所分割的幀的尺寸和編碼條件以對輸入的被分割圖像信號進行編碼，然后把這些信號作為代碼串80、81或82輸出到代碼串合成器74。接著，分割控制單元75輸出代碼串合成信號，該信號把依據圖像分割器61指令的幀分割方法通知代碼串合成器74，代碼串合成器74依據此代碼串合成信號按照特定序列來連接來自解碼器62到64的代碼串，以產生與不進行幀分割的情況相同的語法，最后輸出合成或組合的代碼串。
在上述7-298263號日本未審查公開專利中，依據來自分割控制單元的指令，把原來相應于一個圖像的圖像信號分割成依次相應于多個區(qū)域的分割圖像信號，在多個編碼器中依據MPEG(移動畫面專家組)分別對這些信號進行編碼，排列從多個編碼器輸出的代碼串以產生原始語法。
此時，每個編碼器接收所分割的幀的尺寸以及編碼條件以在進行MPEG編碼處理前了解圖像信號即編碼器本身所編碼的原始圖像的區(qū)域，換句話說，就是最后顯示編碼器本身所輸出的代碼串的圖像區(qū)域。
然而，在多圖像屏面(raster)(用于多個圖像的整個幀)的任意圖像區(qū)域中顯示縮小的移動圖像(以下將把每個圖像叫做小片(thumbnail)移動圖像)的情況下，在對某個小片移動圖像進行MPEG編碼處理時還不能知道顯示位置。
為此，在組合或結合多個圖像時，需要對每個經編碼的小片移動圖像(以下叫做經編碼的小片移動圖像)進行指定顯示位置的操作。
同時，例如在MPEG標準(例如，在圖52A到52D中示出MPEG形式的視頻流語法一部分)中，由一片段(slice)中在領先宏塊的可變長度代碼位宏塊_地址_增量(以下叫做MB_Addr_Inc)來表示解碼和再現時顯示該片段的水平位置。如果為了把經編碼的小片移動圖像置于任意位置而改變MV_Addr_Inc的值，則消除可變長度代碼的MB_Addr_Inc部分的位數也發(fā)生變化。結果，(在只應用MPEG作為指定用于經編碼的小片移動圖像的顯示位置的情況下，)在多圖像屏面中組合或結合移動圖像時，由于相對于遵循MB_Addr_Inc部分的所有代碼串的位數變化而產生位移動操作，這需行大量計算。
圖53A到53C是適用于描述該事件的示意圖。在把經編碼的小片移動圖像置于多圖像屏面的右下部分的情況下，其中所述屏面包括如圖53A所示的沿垂直方向的兩個分割(兩列)并沿水平方向的兩個分割(兩行)，經編碼的小片移動圖像A的代碼串如圖53B所示變化。在觀察整個移動圖像時，以片段_起始_代碼部分中的最后一個字節(jié)來指定片段的垂直位置的。
另一方面，以如上所述的MB_Addr_Inc來指定片段的水平位置。雖然片段的水平位置因為組合而從1到5，即如果以可變長度代碼來表示，則MB_Addr_Inc=1表示1位的“1”，如果以可變長度代碼來表示，則MB_Addr_Inc=5表示4位的“0010”，因此，在組合或合成后，位串又延長了3位。相應地，如圖53B和53C所示，在組合后超出MB_Addr_Inc的代碼串處于被額外地又移動3位的狀態(tài)。通常，計算機中的通用計算機或存儲單元以字節(jié)為單位進行訪問。為此，如圖53C所示，超出在領先宏塊的MB_Addr_Inc的所有代碼串需要進行位操作。
此外，在相同的MPEG標準中，不能保證以字節(jié)為單位來分隔(字節(jié)對準)相鄰宏塊的代碼串，而作為一種獨立的情況，由圖52A到52D中位于構成一片段的一組宏塊中最后一個宏塊的代碼串后的下一個_起始_代碼()來實現字節(jié)對準。在為了使經編碼的小片移動圖像位于任意位置而宏塊以所需的順序排列時，發(fā)生跨越字節(jié)邊界的宏塊互連，從而難于把代碼串解碼成為正確的圖像。
再者，就片段的最后一個宏塊中的代碼串而言，以如上所述的調整位來進行字節(jié)對準。在把另一個宏塊代碼串連到包含所加的調整位的宏塊代碼串后的情況下，解碼器根據除形成最后一個片段的代碼串以外在相鄰宏塊的代碼串中不存在調整位的假設對代碼串進行解碼。這樣，解碼器不能通過代碼串中的填充位把代碼串解碼成為正確的圖像。
圖54A到54C是適用于說明此情況的示意圖。在此情況下，把圖54A所示的經編碼的小片移動圖像A和B組合成一個多圖像屏面，它包括沿垂直方向的一個分隔(一行)和沿水平方向的兩個分隔(兩列)。在以把組成每個經編碼的小片移動圖像A和B的宏塊置于多圖像屏面內的任意位置的方式來實現此組合處理的情況下，在多圖像屏面內放置各個宏塊如圖54B所示，如圖54C的最低部分所示，其代碼串如此排列從而首先出現相應于片段M1的片段標題部分的代碼串，然后，接著是按照宏塊A1、A2、B1和B2順序的后續(xù)宏塊代碼串。
此時，假設以填充位對片段A1的最后(最終)一個宏塊A2進行字節(jié)對準，則片段M1的代碼串處于填充位串插在宏塊A2和B1之間的狀態(tài)。結果碰到的困難是不能對圖像進行準確地解碼。
本發(fā)明的目的是為了消除在多圖像屏面的任意位置處顯示依據各種標準編碼的小片移動圖像的系統(tǒng)中所存在的上述問題，因此，本發(fā)明的目的是提供了一種移動圖像合成系統(tǒng)，該系統(tǒng)能在例如MPEG標準中把代表一個片段顯示位置的可變長度代碼位部分高速地改寫或變?yōu)槿我庵?，只通過把宏塊排列成屏面掃描序列來組合多個圖像，在一多圖像屏面上以不同的尺寸同步地顯示小片移動圖像，以及把多圖像屏面分割成已編碼小片移動圖像，然后使多圖像屏面重新構成任意序列。
相應地，在本發(fā)明中，考慮到在合成或組合圖像的組合前還未確定的縮小的已編碼圖像的位置這一情況，進行編碼以利于改變其上的位置信息，如果需要在組合時改變其位置信息，則此改變是有利的，從而可對圖像實行各種組合。
此外，在MPEG標準的情況下，在為MB_Addr_Inc的位數因改變片段的水平坐標而方式變化作準備的第一方面，預先輸出代碼串(補充代碼串)來彌補位的短缺，從而移動圖像組合裝置通過實行幾次簡單的計算而結束對MB_Addr_Inc(片段上的水平位置信息)(包括用于以片段為單位的多圖像組合的可變長度代碼位)的改寫處理，這樣能加速產生多圖像合成移動圖像。
再者，設有移動圖像編碼裝置，該裝置輸出8組或8對額外_位_片段和額外_信息_片段作為上述補充代碼串，這使移動圖像合成裝置能從補充代碼串中提供任意數目的想要或缺乏的位并進一步產生宏塊_換碼代碼串。這使得可把表示片段的顯示位置的可變長度代碼位部分改寫為任意值。
在第二方面，移動圖像合成裝置防止宏塊代碼串的頭尾通過字節(jié)邊界并預先產生經過如此處理的宏塊代碼串從而把正確的代碼串作為MPEG視頻序列，移動圖像合成裝置可只通過按照屏面掃描順序連接宏塊代碼串來從中產生所需的多圖像合成移動圖像的代碼串，這有助于加速產生多圖像合成移動圖像。
在第三方面，移動圖像合成裝置能以片段為單位來組合具有不同長度的已編碼小片移動圖像，結果，移動圖像合成系統(tǒng)可提供多圖像合成移動圖像的代碼串，其中存在不同尺寸混合的已編碼小片移動圖像。
在第四方面，把移動構成多圖像合成移動圖像的MPEG代碼串分成多個原始的編碼小片移動圖像，所分割的編碼小片移動圖像在任意位置處再次進行排列，從而從諸如衛(wèi)星廣播中所確定的多圖像節(jié)目清單或類似的多圖像合成代碼串中重新構成觀眾所需節(jié)目的組合和順序清單。
在第五方面，圖像合成裝置改寫被編碼圖像上的信息值以輸出多圖像合成圖像流，其中每個被編碼圖像的代碼串都是作為圖像編碼格式的正確的信息值，代碼串序列都是作為圖像編碼格式的正確的序列。從而，即使因改變由可變長度代碼所限定的信息值而使信息的代碼長度發(fā)生變化，也可改變此信息值而不需要諸如移位操作等極大量的處理，這有利于加速多圖像合成圖像流。
此外，此時，由于把圖像合成裝置所產生的多圖像合成圖像的代碼串序列修正為MPEG格式，所以利用對MPEG代碼串進行解碼的圖像解碼裝置或圖像解碼單元(一般叫做MPEG解碼器)，可使解碼、再現和顯示變得容易。
在第六方面，移動圖像合成系統(tǒng)具有在處理中不存在延遲裝置的結構，并且圖像合成裝置接收所產生的至少一個已編碼圖像而沒有通過延遲裝置的單個通路。從而，可顯示諸如隨攝像機輸入的圖像而得到圖像的實時活動畫面與累積圖像的組合等多圖像合成圖像，由于幀的淡化處理是容易的，所以在再現和顯示經延遲時間調節(jié)的多圖像合成圖像時可通過延遲裝置延遲活動畫面部分的再現。
在第七方面，設有布局表改變裝置在任意定時改變布局表中多圖像布局信息的值，圖像合成裝置參考改變后的多圖像布局信息的值，從而可動態(tài)地改變待輸出的多圖像合成圖像的圖像布局。這樣，可動態(tài)地改變多圖像合成圖像區(qū)域的排列、每個區(qū)域的尺寸、在每個區(qū)域中待顯示的編碼圖像以及其它項目。
在第八方面，設有在接收到通過基于圖像編碼格式所產生的至少一個已編碼圖像時產生多圖像合成圖像流的圖像合成裝置，在需要改變被定義為該圖像編碼格式的可變長度代碼的信息值時，圖像合成裝置使用被定義為代碼串的擴展代碼串部分而不影響具有該圖像編碼格式的圖像，以把擴展代碼串輸出到多圖像合成圖像流，從而把已編碼圖像的信息值變?yōu)椴煌闹怠亩?，無論因改變被定義為可變長度代碼的信息值而引起的信息代碼長度的變化，信息值的改變變得很容易，而不必進行諸如移位操作等極大量的處理，這有利于加速多圖像合成圖像的產生處理。
此外，由于不需要產生待輸入此圖像合成裝置的已編碼圖像的圖像編碼裝置來進行實現上述加速的特殊處理，所以可利用普通的圖像編碼裝置來根據圖像編碼格式進行編碼處理。此外，可實現依據圖像編碼格式對普通編碼圖像所進行的組合處理。
從以下對較佳實施例的詳細描述并結合附圖將使本發(fā)明的目的和特征變得更加明顯起來，其中

圖1是依據本發(fā)明的移動圖像合成系統(tǒng)配置的示意圖；圖2是示出依據本發(fā)明第一實施例的移動圖像合成系統(tǒng)的方框圖；圖3是示出依據本發(fā)明第一實施例的移動圖像編碼裝置的操作的操作流程圖；圖4是本發(fā)明第一實施例中小片移動圖像的塊分割的一個例子的示意圖；圖5是本發(fā)明第一實施例中將從移動圖像編碼裝置輸出的代碼串的一個例子的示意圖；圖6是本發(fā)明第一實施例中在累積裝置中累積的已編碼小片移動圖像清單的一個例子的示意圖；圖7是本發(fā)明第一實施例中答復移動圖像列表裝置向移動圖像合成裝置發(fā)出的請求而產生的多圖像合成移動圖像的一個例子的示意圖；圖8是示出依據本發(fā)明第一實施例的移動圖像合成裝置的操作的操作流程圖；圖9是依據本發(fā)明第一實施例的移動圖像合成裝置內部的循環(huán)處理一個例子的示意圖；圖10A和10B是由依據本發(fā)明第一實施例的移動圖像合成裝置從累積裝置中讀出片段代碼串的處理的示意圖；由圖11A到11C構成的圖11是本發(fā)明第一實施例中片段垂直位置信息改寫處理的一個例子的示意圖(垂直位置=3)；由圖12A到12D構成的圖12是本發(fā)明第一實施例中片段水平位置信息改寫處理的一個例子的示意圖(水平位置=4)；由圖13A到13D構成的圖13是本發(fā)明第一實施例中片段水平位置信息改寫處理的一個例子的示意圖(水平位置=7)；由圖14A到14D構成的圖14是本發(fā)明第一實施例中片段水平位置信息改寫處理的一個例子的示意圖(水平位置=13)；由圖15A到圖15D構成的圖15是本發(fā)明第一實施例中片段水平位置信息改寫處理的一個例子的示意圖(水平位置=37)；圖16是示出依據本發(fā)明第二實施例的移動圖像合成系統(tǒng)的方框圖；圖17是本發(fā)明第二實施例中移動圖像編碼裝置的操作的操作流程圖；由圖18A到18C構成的圖18是本發(fā)明第二實施例中片段標題代碼串的一個例子的示意圖；由圖19A到19C構成的圖19是本發(fā)明第二實施例中工作緩沖器操作的一個例子的示意圖；由圖20A到20C構成的圖20是本發(fā)明第二實施例中由移動圖像編碼裝置進行MPEG編碼處理時工作緩沖器的操作的一個例子的示意圖；圖21是本發(fā)明第二實施例中插入宏塊_塞入的數目與變量b的值之間關系的示意圖；圖22是示出依據本發(fā)明第二實施例的移動圖像合成裝置的操作的流程圖；圖23是在依據本發(fā)明第二實施例的移動圖像合成裝置內部的循環(huán)處理的一個例子的示意圖；圖24是本發(fā)明第二實施例中相應于一個多圖像屏面的圖像合成處理序列的一個例子的示意圖25是示出依據本發(fā)明第三實施例的移動圖像合成系統(tǒng)的方框圖；圖26是示出本發(fā)明第三實施例中移動圖像編碼裝置的操作的操作流程圖；圖27是本發(fā)明第三實施例中多圖像配置的一個例子的示意圖；圖28是本發(fā)明第三實施例中兩維陣列變量V的初始化的一個例子的示意圖；圖29是在依據本發(fā)明第而實施例的移動圖像合成裝置內部的循環(huán)處理的一個例子的示意圖；圖30是本發(fā)明第三實施例中跳躍片段代碼串的示意圖；圖31是示出依據本發(fā)明第四實施例的移動圖像合成系統(tǒng)的方框圖；圖32是示出本發(fā)明第四實施例的多圖像合成移動圖像分割裝置的操作的操作流程圖；圖33是本發(fā)明第四實施例中圖像布局表格式的一個例子的示意圖；圖34是本發(fā)明第四實施例中響應于移動圖像列表裝置向移動圖像合成裝置發(fā)出的請求而產生的多圖像合成移動圖像的一個例子的示意圖；圖35是本發(fā)明第四實施例中多圖像合成移動圖像分割裝置的操作的操作流程圖；由36A到36D構成的圖36是本發(fā)明第四實施例中由移動圖像重新編碼裝置所進行的片段代碼串轉換處理的一個例子的示意圖；圖37是示出依據本發(fā)明第五實施例的移動圖像合成系統(tǒng)的結構的方框圖；圖38是本發(fā)明第五實施例中多圖像合成圖像的一個例子的示意圖；由圖39A和39B-1到39B-3構成的圖39是本發(fā)明第五實施例中多圖像合成圖像的代碼串序列的示意圖；圖40是示出依據本發(fā)明第六實施例的移動圖像合成系統(tǒng)的結構的方框圖；圖41是本發(fā)明第六實施例中對圖像合成裝置的編碼圖像輸入路徑的示意圖；圖42是本發(fā)明第六實施例中所再現的多圖像合成圖像的示意圖；圖43是示出依據本發(fā)明第七實施例的移動圖像合成系統(tǒng)的結構的方框圖；圖44是本發(fā)明第七實施例中在布局表的內容改變前后多圖像合成圖像的圖像結構的示意圖；圖45是本發(fā)明第七實施例中在圖像合成裝置內所進行的已編碼圖像的組合處理的示意圖；圖46是示出依據本發(fā)明第八實施例的移動圖像合成系統(tǒng)的結構的方框圖；圖47是本發(fā)明第八實施例中將從圖像編碼裝置中輸出的代碼串的一個例子的示意圖；圖48是本發(fā)明第八實施例中在累積裝置中累積的已編碼圖像清單的示意圖；圖49A和49B是本發(fā)明第八實施例中由圖像合成裝置從累積裝置中讀出片段代碼串處理的一個例子的示意圖；由圖50A到50D構成的圖50是本發(fā)明第八實施例中片段水平位置信息改寫處理的一個例子的示意圖；圖51是示出根據移動圖像的分割獲得代碼串的配置的方框圖，此代碼串在語法上與已有技術中未經移動圖像分割而產生的代碼串相同；圖52A到52D是MPEG格式的視頻流的一部分語法的示意圖；圖53A到53C是在改寫片段水平位置信息時發(fā)生的事件的示意圖；以及圖54A到54C是在連接宏塊而未經過字節(jié)對準時所發(fā)生的事件的示意圖。
以下將參考附圖來描述本發(fā)明的實施例。本發(fā)明不限于這些實施例，但本發(fā)明試圖覆蓋不背離本發(fā)明的精神和范圍的各種實施例。
在描述本發(fā)明的實施例前，將把依據本發(fā)明的移動圖像合成系統(tǒng)的配置作為一個整體進行描述。圖1是本發(fā)明的移動圖像合成系統(tǒng)的普通結構的示意圖。在圖1中，把移動圖像數據輸入到移動圖像接收裝置101，然后放入把移動圖像縮小到給定尺寸的移動圖像縮小裝置102，并進一步放入把小片移動圖像編碼成為MPEG代碼以產生經編碼的小片移動圖像的移動圖像編碼裝置103，在累積裝置105中存儲和累積經編碼的小片移動圖像。移動圖像合成裝置106用于組合或結合多個經編碼的小片移動圖像以產生多圖像合成移動圖像代碼串，該裝置與組合工作存儲器104和移動圖像列表裝置107相連。組合工作存儲器104用于在改寫立置信息時暫時存儲片段代碼串，而移動圖像列表裝置107用于繪制構成多圖像屏面的移動圖像的組合和順序清單，即請求移動圖像合成裝置106來合成給定的多圖像合成移動圖像。在移動圖像解碼裝置108中決定由移動圖像合成裝置106合成的多圖像合成移動圖像，繼而顯示在移動圖像顯示裝置109上。(第一實施例)
圖2是示出依據本發(fā)明第一實施例的移動圖像合成系統(tǒng)的結構特征的方框圖。
如圖2所示，依據第一實施例的移動圖像合成系統(tǒng)由用于管理所累積的多個經編碼的小片移動圖像并進行多圖像合成處理的移動圖像合成服務器201以及用于再現和顯示來自移動圖像合成服務器201的多圖像合成移動圖像的再現終端208。移動圖像合成服務器201包括移動圖像接收裝置202，用于接收待組合成多圖像合成移動圖像的移動圖像；移動圖像縮小裝置203，用于把接收的移動圖像縮小到給定或預定的尺寸以產生小片移動圖像；移動圖像編碼裝置，用于對小片移動圖像進行MPEG編碼以產生經編碼的小片移動圖像；合成工作存儲器205，用于在改寫有關經編碼的小片移動圖像的位置信息時暫時存儲片段代碼串；累積裝置206，用于存儲和累積經編碼的小片移動圖像；以及移動圖像合成裝置207，用于組合多個經編碼的小片移動圖像以產生多圖像合成移動圖像代碼串。再現終端208包括移動圖像列表裝置209，用于繪制組成多圖像合成移動圖像的移動圖像的組合和順序的清單或表格；移動圖像解碼裝置210，用于對合成的多圖像合成移動圖像進行解碼；以及移動圖像顯示裝置211，用于顯示經解碼的移動圖像。
對于移動圖像合成服務器201和再現終端208，諸如個人計算機和工作站等計算機式的普通操作系進行操作，同時移動圖像接收裝置202、移動圖像縮小裝置203、移動圖像編碼裝置204、移動圖像合成裝置207、移動圖像列表裝置209、移動圖像解碼裝置210和移動圖像顯示裝置211中的每個裝置構成可在該計算機內的多用途或專用操作系統(tǒng)的控制下操作的程序或專用硬件。
接著，以下將描述移動圖像編碼方法和組合多個移動圖像的方法。
以移動圖像數據編碼處理開始描述。
通過移動圖像接收裝置202取得待組合成多圖像合成移動圖像的移動圖像數據送入移動圖像合成服務器201內，然后利用移動圖像縮小裝置203把移動圖像數據縮小到預定尺寸以把它組合成小片移動圖像。接著，在移動圖像編碼裝置204中以允許多圖像組合的形式對此小片移動圖像進行MPEG編碼，并在累積裝置206中累積成待用于多圖像組合的已編碼小片移動圖像。
圖3示出根據用于多圖像組合的MPEG把小片移動圖像轉換成經編碼的小片移動圖像的操作流程。
在圖3中，操作流程進到步驟301(示意圖中的S301)以讀出對應于一個小片移動圖像幀的圖像數據，接著是沿水平方向把一幀的圖像數據分割成N個片段的步驟302，接著是輸出片段n的片段標題代碼串作為經編碼的小片移動圖像代碼串的一部分。接著，執(zhí)行步驟304以把片段n分割成M宏塊，接著是輸出宏塊m的MB_Addr_Inc作為經編碼的小片移動圖像代碼串的一部分的步驟305，接著是對宏塊m進行MPEG編碼(DCT、量化、可變長度編碼)以輸出獲得的代碼串作為經編碼的小片移動圖像代碼串的一部分的步驟306。
此后，操作流程進到步驟307以檢查片段n中所有宏塊的編碼是否都已結束。如果已經結束，則實行步驟308以對圖52D中的下一個_起始_代碼()進行處理，接著實行步驟309以檢查所有的N個片段的編碼是否已結束。如果已經結束，則實行步驟310以檢查是否要處理小片移動圖像的所有幀。在此情況下，變量m用于識別經處理的宏塊，而變量n用于識別片段。
圖4是在移動圖像編碼裝置204把小片移動圖像編碼成為經編碼的小片移動圖像(圖3中的步驟302和304)的情況下把小片移動圖像的每個幀圖像分割成小塊的一個例子的示意圖。
圖5是移動圖像編碼裝置204在圖3的步驟303、305、306和308對小片移動圖像的每個片段進行MPEG編碼時為了以片段為單位進行多圖像組合而輸出的代碼串的示意圖。此外，圖5示出的情況以圖4中構成片段和宏塊的例子為基礎。
如圖5的(a)和(e)所示，在步驟303示出片段n的片段代碼串的情況下，在把最后一個字節(jié)設定為值“n”的狀態(tài)下輸出片段_起始_代碼。
此外，如圖5的(b)所示，在以片段為單位進行多圖像組合時，在為MB_Addr_Inc的位數因改變片段的水平坐標而變化的事件作準備時，預先輸出用于提供想要的位的補充代碼串作為額外_位_片段和額外_信息_片段。此補充代碼串甚至利用圖52A到52D中以MPEG標準所規(guī)定的部分，解碼器能以此代碼串作為MPEG視頻序列對經編碼的小片移動圖像進行正常解碼。
在圖5的例子中，作為補充代碼串，在所有的位都被設定為“1”的狀態(tài)下輸出8組額外_位_片段和額外_信息_片段即總共包括72位的代碼串(將在以下描述使用8組額外_位_片段和額外_信息_片段的原因)。
此外，如圖5的(c)所示，在步驟305，把片段的在領先宏塊的MB_Addr_Inc指定為值“1”，并輸出代表值“1”的1位長度的可變長度代碼串“1”。圖5的(d)中所示的每個代碼串是通過進行步驟306和308的普通MPEG編碼處理(DCT、量化、移動量估計、可變長度編碼和字節(jié)對準處理)獲得的的代碼串。
此外，在以片段為單位進行多圖像組合時，作為經編碼的小片移動圖像的所需部分是接在圖5中片段層后的代碼串部分。然而，除了上述片段部分的代碼串以外，在輸出作為MPEG視頻序列的所需代碼串(序列標題、GPO標題、畫面標題及其它)的方式中，可把這些代碼串構成的經編碼的小片移動圖像解碼成為單個MPEG視頻序列并再現而顯示。
在以上參考圖5的(a)、(c)和(e)的描述中，雖然把片段_起始_代碼和MB_Addr_Inc設定為這樣的值從而把經編碼的小片移動圖像解碼成為單個MPEG視頻序列并再現顯示，但實際上可在編碼操作時采用任何值。
此外，如參考圖5的(b)所述，在為MB_Addr_Inc的位數因片段水平坐標的變化而變化作準備時，預先輸出用于提供想要的位的代碼串作為額外_位_片段和額外_信息_片段，還可預先輸出諸如適用于結合MB_Addr_Inc中的位數變化來實現輔助處理的宏塊_塞入等代碼串。
通過以上所述的處理，移動編碼裝置204輸出用于以片段為單位進行多圖像組合的經編碼的小片移動圖像代碼串。
以下將描述把單個經編碼的小片移動圖像組合成多圖像合成移動圖像的處理。
圖6是在累積裝置206中累積每個經編碼的小片移動圖像的一個例子的示意圖。如圖6所示，在累積裝置206中累積了五個經編碼的小片移動圖像A、B、C、D和E。此時，假設五個經編碼的小片移動圖像A、B、C、D和E中的每一個被水平分割成兩個片段，每個片段繼而包括三個宏塊。
移動圖像列表裝置209制訂在累積裝置206中累積的經編碼的小片移動圖像的組合和實現的清單。例如，移動圖像列表裝置209依據檢索鍵的命中率等級來產生清單。這里將描述假設移動圖像列表裝置209向移動圖像合成裝置207發(fā)出合成包括圖7所示垂直方向的兩個分割(兩列)和水平方向的兩個分割(兩行)的多圖像合成移動圖像。
圖8示出移動圖像合成裝置207把多個經編碼的小片移動圖像組合成多圖像合成移動圖像并輸出MPEG代碼串的操作流程。
操作流程在步驟801處開始以為多圖像組合進行初始化，然后進到步驟802以輸出MPEG視頻序列標題代碼串，從而可把多圖像合成的移動圖像解碼此外MPEG視頻序列，接著進到步驟803以輸出GOP標題和畫面標題代碼串從而可把它作為MPEG視頻序列同樣地解碼。此外，接著進行步驟804以從每個經解碼的小片移動圖像中讀出片段代碼串，然后接著進行步驟805以改寫用于在多圖像屏面內的所需位置顯示讀取的片段的位置信息，接著進行步驟806以檢查用于沿水平方向掃描經解碼的小片移動圖像的計數器值。接著，進行步驟807以檢查將在步驟904和905的每一個步驟中使用的片段計數器值，執(zhí)行步驟808以檢查用于沿垂直方向掃描經編碼的小片移動圖像的計數器值，進一步執(zhí)行步驟809以檢查是否終止多圖像組合。
響應于圖7所示多圖像組合的請求，移動圖像合成裝置207首先進行以下的初始化處理。即，由于多圖像屏面包括沿垂直方向的兩個分割和沿水平方向的兩個分割，所以把代表水平方向的圖像數目的變量x設定為2，而把表示垂直方向的圖像數目的變量Y設定為2。此外，把代表將在多圖像屏面的每個圖像區(qū)域中顯示的每個經編碼的小片移動圖像的片段數目的變量N初始化為2，而把表示構成每個片段的宏塊數目的變量M初始化為3。此外，如下所述對表示哪一個經編碼的小片移動圖像位于多圖像屏面內的某個位置的兩維陣列變量V(第一下標表示上述圖像區(qū)域的水平圖像區(qū)域，第二下標表示其垂直圖像區(qū)域)進行初始化。
V[1,1]=B,V[2,1]=D,V[1,2]=E,V[2,2]=A圖9描述的是以C語言在循環(huán)810、811和812(圖中為L810、L811、L812)中的循環(huán)運行，其中，變量x是作為循環(huán)計數值而被處理的圖象的水平位置，而變量y是作為循環(huán)計數值的圖象的垂直位置，而變量n取處理時作為循環(huán)計數值的編碼小片移動圖象的片段數。在三個循環(huán)的最里面的循環(huán)中，步驟804和805的處理是實際上采用的。
圖10A和10B是移動圖象合成裝置207在圖8所示的步驟804中執(zhí)行的片段碼串讀出處理。步驟804中，從由變量V[x,y][圖12中的(a)]指定的編碼小片移動圖象中讀出用變量f指定的用變量n表示的片段部分碼串(slice portion codestring)。例如，當x=2,y=2并且n=1時，在步驟804中讀出片段1A的編碼串。讀出的片段串存儲在合成工作存儲器(composition work memory)中，該存儲器中緩沖區(qū)的領先地址由變量Buf指出[圖12中的(b)]。
在MPEG標準的情況下，規(guī)定片段層(slice layer)的編碼串，從而編碼串從字節(jié)邊界開始，編碼串的結尾終斷在字節(jié)對齊的狀態(tài)，并且移動圖象編碼裝置204輸出這樣一個片段碼串。為此，以字節(jié)為單位從開頭到結束完整地讀出片段碼串，并將該片段碼串存儲在合成工作存儲器內。
移動圖象合成裝置207在步驟805中進行的片段顯示位置信息的重寫處理如下。
按照下面的公式，移動圖象合成裝置207計算顯示合成工作存儲器中片段碼串的多圖象屏面上的坐標。
水平位置(x-1)*M+1垂直位置(y-1)*N+n在前述片段A1的情況下，因為x=2,y=2并且n=1，所以結果是水平位置=4，而垂直位置=3。
圖11是有關合成工作存儲器中片段1A的垂直位置信息的重寫處理過程。圖11中，圖11A表示的部分給出片段1A的編碼串在步驟804中存儲在合成工作存儲器中時的狀態(tài)，而圖11B部分描繪的是包括有關以位為單位的片段的垂直位置信息編碼串的片段_開頭_編碼部分的情況。因為片段垂直位置信息是用片段_開頭_編碼的第四個字節(jié)(即buf[3])表示的，所以，在步驟805中，如下所述進行替換處理，以便將垂直位置設置在3。
buf[3]=3圖11中，圖11C表示的部分表示在由替換處理進行了垂直位置信息的重寫以后片段_開頭_編碼部分的編碼串。
類似地，圖12表示一例有關合成工作存儲器中片段1A的水平位置信息的重寫處理。圖12中，圖12A部分描述的是在步驟804中將片段1A的編碼串讀到合成工作存儲器中的狀態(tài)，而圖12B部分描繪的是以位為單位的詳細表示。盡管片段1A的新的水平位置(MB_Addr_Inc)取4，但如果以可變長度碼來表示，水平位置是“0011”，形成4位長度。產生編碼小片移動圖象的移動圖象編碼裝置204輸出MB_Addr_Inc作為“1”，即，如圖12B中所示的一位長度。所以，移動圖象合成裝置207從補充的編碼串部分中構成(make up)想要的三個位。首先，如圖12C所示，數量上與想要的位相同的字節(jié)經淡薄處理(thinning processed)(在片段1A的例子中，缺乏位(1acking bits)數是3，所以，在淡薄過程中取三個字節(jié))。
其次，在輸出與未經淡薄處理的buf
到buf[9]的10個字節(jié)對應的編碼串以后，如圖12C和12D部分中進行新的水平部分信息重寫處理。
buf[13]=buf[13]&0×01+0×c6該等式中，buf[13]&0×01用于濾波器(filter)計算，不對buf[13]的更低的1位進行重寫。
在重寫水平位置以后，輸出所有buf[13]以后的片段碼串，從而不輸出由淡薄處理取得字節(jié)部分的編碼串。在輸出所有的片段碼串以后，合成工作存儲器被設置到空閑狀態(tài)。
通過上述處理，移動圖象合成裝置207就完成了通過僅作幾次簡單計算就得到的表示片段水平部分信息的可變長度編碼位部分的重寫處理，并輸出通過以片段碼串為單位組合多個圖象所產生的多圖象組合的移動圖象編碼串。對從移動圖象合成裝置207輸出的多圖象組合移動圖象編碼串進行譯碼作為移動圖象譯碼裝置210中的移動圖象，并且將圖象顯示在移動圖象顯示裝置211上。
下面說明采用8組extra(附加)_bit(位)_slice(片段)和extra(附加)_information(信息)_slice(片段)的原因。
extra_bit_slice是1位長度，而extra_information_slice是8位長度，而當它們成對時，編碼長度達到9位。當借助于淡薄處理從9位長度的補充編碼串部分取得1個字節(jié)(=8位長度)時，還留1位。這1位可以分配在MB_Addr_inc部分的位數變化時用于丟失位補充。
借助于上述組，如果通過淡薄處理得到每一組一個字節(jié)，則有一個1位用于補充，因此當從8組中得到7字節(jié)時有8個位可用于補充。在需要9個或更多的補充位時，通過淡薄處理得到的字節(jié)數在所有的情況下都減小。例如，如果提供14位，則首先只取得5個字節(jié)，從而5位是可以補償的，于是，接著分配與1組對應的9個位作為補充位，從而總共有14個位可以獲得作為補充位。
因此，由于extra_bit_slice和extra_information_slice是由8組得到的，所以，可以提供任意個數的想要的位，并且由于8組形成最小值，所以補充編碼串可以將移動圖象的位速率的增加抑制到最小。
如上所述，按照本實施例，提供了一種移動圖象合成系統(tǒng)，它包含接收要合成成為多圖象組合移動圖象的圖象接收裝置、將接收的移動圖象減小到預定尺寸以產生小片移動圖象的移動圖象減小裝置、對小片移動圖象進行MPEG編碼以產生編碼小片移動圖象的移動圖象編碼裝置、存儲并累加按照MPEG編碼的編碼小片移動圖象的累加裝置、組合累加裝置中累加的多個編碼小片移動圖象以產生多圖象組合移動圖象編碼串的移動圖象組合裝置、用于移動圖象合成裝置暫時存儲片段碼串時的合成工作存儲器、用于制訂一合成表以及構成多圖象組合的移動圖象的移動圖象順序的移動圖象列表裝置、用來對由合成產生的多圖象組合移動圖象編碼串進行譯碼的移動圖象譯碼裝置，以及用來顯示經譯碼的移動圖象的移動圖象顯示裝置，其中，由于片段的水平坐標的變化而出現MB_Addr_Inc的位數的變化，移動圖象編碼裝置預先輸出一個要用來提供想要的位的補充編碼串，并且移動圖象合成裝置從補充編碼串提供想要的位，并重寫MB_Addr_Inc的值，因此產生一個多圖象組合的移動圖象編碼串。
由于在多圖象組合的移動圖象處位數的變化，使得可以省略所有后續(xù)編碼串的位移操作(bit shift operation)，尤其是代表片段水平位置信息的可變長度位部分的重寫處理可以僅僅通過進行幾次簡單的計算來完成，因此可以在高速下產生多圖象組合移動圖象，這提供了巨大的實際效果。
更具體地說，由于移動圖象編碼裝置具有輸出8組extra_bit_slice和extra_information_slice作為補充編碼串的功能，所以，移動圖象合成裝置可以從上述補充編碼串中提供任意個數想要的位，并且可以產生macroblock(宏塊)_escape(換碼)編碼串，從而將代表片段顯示位置的可變長度編碼位部分重寫成一任意值變得任意可行，這提供了巨大的實際效果。
偶爾，盡管本實施例是在片段配置的水平位置在數量上為4的情況下描述的，但即使是取得不同的片段配置時也可以進行重寫處理。圖13、14和15描繪的是水平位置在數量上分別是7、13和37時的MB_Addr_Inc重寫處理過程。盡管稱為macroblock_escape的11位編碼串應當在分配位置(disposing postion)在數量上是34的情況下輸出，但即使在這樣的情況下，采用使取得的字節(jié)數的數字變化通過淡薄處理、濾波器(filter)計算等來形成的方式，可以得到相同的效果。
另外，盡管在上述本發(fā)明的描述中，可變長度編碼位MB_Addr_Inc用作代表片段編碼串的水平位置的部分，并且一系列通過事先輸出的補充編碼串的簡單字節(jié)淡薄而將從MB_Addr_Inc的重寫得到的想要的位提供到片段標題部分的處理是在考慮到MPEG視頻序列的情況下完成的，所以，本發(fā)明同樣適用于除MPEG標準以外的標準。
即，在將編碼串譯碼成圖象時使表示該圖象內顯示的一個編碼串的位置的位置信息具有可變長度碼位的標準中，如果能夠輸出擴展編碼串而不影響譯碼時的圖象的區(qū)域規(guī)定為代表位置信息的編碼串部分的前面或后面或二者，則該區(qū)域用作補充編碼串，從而即使在除MPEG標準以外的標準中，也可以得到相同的效果。
(第二個實施例)下面描述本發(fā)明的第二個實施例。在說明第二個實施例時，與第一個實施例中相同的部件或部分采用相同的標號，并且為簡單起見這些部件或部分的說明從略。
圖16是按照本發(fā)明第二個實施例的移動圖象合成系統(tǒng)的結構方框圖。圖16中，標號1601代表MPEG編碼小片移動圖象產生編碼小片移動圖象的移動圖象編碼裝置，標號1602表示暫時存儲MPEG編碼操作產生的編碼串的編碼工作存儲器，而標號1603描繪的是將多個編碼小片移動圖象組合起來產生多圖象組合的移動圖象編碼串的移動圖象合成裝置。
下面描述移動圖象編碼的方法和在該移動圖象合成系統(tǒng)中得到的多個移動圖象的組合的方法。
描述從移動圖象編碼處理開始。
圖17是根據多圖象組合的MPEG在移動圖象編碼裝置1601將小片移動圖象轉換成編碼小片移動圖象所進行的操作流程。
圖17中，在步驟1701，輸出片段n的片段標題編碼串，作為一部分編碼小片移動圖象編碼串，而在步驟1702，使編碼工作存儲器中的內容空著，用于編碼工作存儲器初始化的處理。接著，在步驟1703，對宏塊m進行MPEG編碼(DCT、量化、可變長度編碼)，并將編碼產生的編碼串輸出到編碼工作存儲器，并且在步驟1704中，使編碼工作存儲器中的編碼串字節(jié)對齊，并且在步驟1705中，輸出編碼工作存儲器中的編碼串，作為一部分編碼的小片移動圖象編碼串。
圖18描繪的是一例步驟1702中的片段標題編碼串。圖18中，圖18a和18b表示的部分描繪了一例公共MPEG編碼裝置輸出的編碼串。從圖18的(a)和(b)可以看到，宏塊1跨越字節(jié)邊界。所以，本實施例中，移動圖象編碼裝置1601輸出包含2組extra_bit_slice和extra_infomation_slice的補充編碼串，即如圖18C中總共18個位。通過輸出這樣的補充編碼串，宏塊編碼串的開頭準確地從字節(jié)邊界開始。
有時，由于補充編碼串是用甚至是用MPEG標準規(guī)定的部分輸出的，所以，譯碼器可以正確地對帶有這樣的作為MPEG視頻序列的編碼串的編碼小片移動圖象進行譯碼。另外，盡管在圖18C中“11111111”輸出作為extra_information_slice，但也可以接受不同的值。
如上所述，步驟1701的處理確保構成一片段的宏塊編碼串從字節(jié)邊界位置開始。
下面描述編碼工作存儲器1602的運行。
圖19描繪的是編碼工作存儲器1602的運行。步驟1702的處理過程使得編碼工作存儲器1602的內容空閑[見圖19a]。同時，編碼工作存儲器也是計算機的一部分，并且讀出和寫訪問是以字節(jié)為單位進行的。所以，字節(jié)內有效的位長度是通過采用變量b來取得。如圖19b所示的那樣，有效編碼串被構筑成35位，所以，當35被8除，余數3位是用編碼工作存儲器1602中的第五字節(jié)的一部分的位表述的。因此，第五字節(jié)的有效位長度是用變量b設置為3的方式表述。圖19C描繪的是當7位長度編碼串“1111111”加到編碼工作存儲器1602時出現的編碼工作存儲器1602的內容的變化。
如上所述，編碼串可以是用編碼工作存儲器1602中的變量b以位為單位保持的。
圖20描繪的是當移動圖象編碼裝置1601在如圖17中的步驟1703和1704中進行MPEG編碼處理(DCT、量化、移動估算、可變長度編碼)的時候編碼工作存儲器1602的內容。如圖20A所示，當處在初始狀態(tài)下的時候，編碼工作存儲器1602的內容由于步驟1702的處理而空閑。
當用于下一個步驟1703中的宏塊的MPEG編碼處理獲得的編碼串加到編碼工作存儲器1602上時，編碼工作存儲器1602的內容變成如圖20B所示。在圖20B中，由于變量b的值是5，所以，宏塊的結尾跨越字節(jié)邊界5個位。因此，macroblock(宏塊)_stuffing(塞入)被插入到宏塊編碼串的開頭部分，從而宏塊的結尾碰到字節(jié)邊界。如圖20B所示，macroblock_stuffing是具有11位長度的編碼串，并且無論何時一個macroblock_stuffing被插入到編碼工作存儲器1602的開頭，已經存在于編碼工作存儲器1602中的編碼串可以沿向后的方向平移11個位。在跨越字節(jié)邊界5個位的情況下，當插入一個macroblock_stuffing時，變量b變成0，從而宏塊的結尾進入字節(jié)對齊狀態(tài)[見圖20C]。
經過插入到宏塊開頭部分中的處理的macro block_stuffing的編碼串取如圖52B所示MPEG視頻序列的正確排列。
圖21描繪的是在插入macroblock_stuffing前變量b的值和這時插入的macroblock_stuffing數值之間的關系。
如上所述，使宏塊編碼串的開頭和結尾碰到編碼工作存儲器1602中的字節(jié)邊界。移動圖象編碼裝置1601輸出編碼工作存儲器1602中的宏塊編碼串作為編碼小片移動圖象編碼串的一部分。
有時，在完成以宏塊為單位的多圖象組合時，作為編碼小片移動圖象所必須的部分是宏塊編碼串，其中，編碼串的開頭和結尾碰到字節(jié)邊界。盡管片段標題編碼串是在步驟1701中輸出的，但不必總是將片段標題編碼串輸出到編碼小片移動圖象的編碼串中。
另外，通過輸出MPEG視頻序列所需的編碼串(序列標題、GOP標題、圖象標題等)，可以對編碼小片移動圖象進行譯碼作為單個的MPEG視頻序列，可以對編碼小片移動圖象進行譯碼，作為單個的MPEG視頻序列，并接著重現并顯示。
下面描述將多個編碼小片移動圖象組合成多圖象組合移動圖象的處理過程。這時以及在第一個實施例中，假設移動圖象列表裝置209向移動圖象合成裝置1603發(fā)出一個合成多圖象組合移動圖象的請求，如圖7所示，該圖象包含沿縱向的兩個部分和沿水平方向的兩個部分。
圖22描繪的是在移動圖象合成裝置1603將多個編碼小片移動圖象組合成多圖象組合移動圖象并輸出其MPEG編碼串之前進行的運行流程。
圖22中，在步驟2201中，輸出每一GOP標題、圖象標題和片段標題的標題編碼串，使得多圖象組合的移動圖象被譯碼作為MPEG視頻序列，并且在步驟2202中，從每一編碼小片移動圖象中讀出宏塊編碼串。隨后，在步驟2203中，輸出從中讀出的宏塊編碼串作為多圖象組合的移動圖象編碼串，并且在步驟2204中，檢查宏塊計數器的值。
圖23描繪的是圖22的運行流程中以C語言表述的循環(huán)(L)810、811、812和2205的表述循環(huán)處理過程，其中，變量x是被處理作為循環(huán)計數值的圖象水平位置，而變量y是作為循環(huán)計數值的垂直位置，同時，變量n取處理過程中作為循環(huán)計數值的編碼小片移動圖象的片段數，變量m取為被處理的作為循環(huán)計數值的編碼小片移動圖象的宏塊數。
圖24描繪的是該實施例中一個多圖象幀的圖象合成處理程序。步驟2202中每一編碼小片移動圖象的宏塊編碼串的讀出和多圖象組合移動圖象編碼串的輸出是以屏面掃描順序(圖24中括號內的數字順序)進行的。即，宏塊編碼串讀出是以屏面掃描順序依次連接的，從而產生一個多圖象組合移動圖象編碼串。
如上所述，移動圖象編碼裝置1601產生宏塊編碼串，該編碼串的開頭和結尾不會跨越字節(jié)邊界，因此移動圖象合成裝置1603可以通過僅僅以屏面掃描順序連接宏塊編碼串來產生要求的多圖象組合移動圖象編碼串，它實現了多圖象組合移動圖象產生的加速。
在如圖22所示該實施例的運行流程中，盡管多圖象組合移動圖象的MPEG視頻序列中的一個圖象是僅用一個片段構成的，但即使是用多個片段構成，也能僅通過以屏面掃描順序連接宏塊編碼串的方式產生一個要求的多圖象組合移動圖象。這時，為了在字節(jié)邊界處使每一片段開頭編碼串和每一宏塊編碼串正確地相連，需要由圖18C中所示的補充編碼串使片段標題編碼串經過字節(jié)對齊。
如上所述，按照本實施例，提供了一種移動圖象合成系統(tǒng)，它包含接收要組合成多圖象組合移動圖象的移動圖象的移動圖象接收裝置、將接收的移動圖象減小到預定的尺寸以產生小片移動圖象的移動圖象減小裝置、對小片移動圖象進行MPEG編碼以產生編碼小片移動圖象的移動圖象編碼裝置、用作移動圖象編碼裝置暫時存儲微塊編碼串時的編碼工作存儲器、存儲并累加按照MPEG編碼的編碼小片移動圖象的累加裝置、組合累加裝置中累加的多個編碼小片移動圖象以產生多圖象組合的移動圖象編碼串的移動圖象合成裝置、產生構成多圖象組合的移動圖象的移動圖象的組合和順序表的移動圖象列表裝置、對由合成產生的多圖象組合移動圖象編碼串進行譯碼的移動圖象譯碼裝置，以及顯示譯碼移動圖象的移動圖象顯示裝置，其中，編碼工作存儲器具有以位為單位存儲和保留編碼串的裝置，并且移動圖象編碼裝置插入一補充編碼串，從而宏塊編碼串取具有字節(jié)邊界的接觸狀態(tài)，另外，移動圖象合成裝置以屏面掃描順序排列宏塊編碼串以產生形成要求的多圖象組合移動圖象的多圖象組合移動圖象編碼串。
由移動圖象合成系統(tǒng)為移動圖象合成而進行的多圖象組合僅取決于順序排列宏塊，所以，可以加速實現多圖象組合移動圖象的產生，這提供了巨大的實際效果。
(第三個實施例)下面描述本發(fā)明的第三個實施例。在說明第三個實施例中，與上述實施例中相同的部件或部分采用相同的標號，并且為簡單起見，其描述從略。
圖25是按照本發(fā)明第三個實施例的移動圖象合成相同的結構方框圖。
圖25中，標號2501表示將宏塊尺寸下的多圖象屏面分成區(qū)域時用來將多圖象布局信息保留在每一區(qū)域中的布局表，標號2502表示根據來自移動圖象列表裝置的請求繪制布局表的布局表制作裝置，標號2503將多個具有不同圖象尺寸的編碼小片移動圖象組合起來產生多圖象組合移動圖象編碼串的移動圖象合成裝置，而標號2504表示繪制將具有不同大小的圖象區(qū)域的多圖象組合移動圖象組織起來的移動圖象組合和順序表的移動圖象列表裝置。
圖26表示在移動圖象合成裝置2503將具有不同尺寸的編碼小片移動圖象組合成多圖象組合移動圖象并輸出其MPEG編碼串之前的運行流程。
圖26中，運行流程在步驟2601開始繪制布局表作為多圖象組合的初始化處理過程，隨后由步驟2602檢查當計數值取x和y時是否進行了合成處理過程，接著再由步驟2603檢查當計數值取x和y時是否輸出了跳躍(skip)宏塊編碼串。隨后，運行流程進入步驟2604輸出一跳躍片編碼串，并進入步驟2605，從用布局表T[x,y]表述的編碼小片移動圖象讀取一個片段編碼串，并進入步驟2606，使循球計數器值x遞增1。
圖27描述了一例本實施例中由具有不同圖象尺寸的編碼小片移動圖象合成的多圖象屏面。本例中，描述將針對這樣的假設進行，即，移動圖象列表裝置209向移動圖象合成裝置2503發(fā)出一個請求，用來合成如圖27所示的多圖象組合移動圖象。圖27中，通過下述沿縱向和水平方向的編號排列宏塊來確定每一編碼小片移動圖象的圖象尺寸(公共宏塊的尺寸是16個象素×16個象素)。
編碼小片移動圖象A(5,4)編碼小片移動圖象B(2,3)編碼小片移動圖象C(2,2)編碼小片移動圖象D(2,2)編碼小片移動圖象E(3,2)假設如第一個實施例中所描述的那樣，每一編碼小片移動圖象是在移動圖象編碼裝置204中制作，并在累加裝置206中累加。
響應于圖27中所示的多圖象組合，在步驟2601中，移動圖象合成裝置2501采用布局表制作裝置2502執(zhí)行下述初始化處理。即，將代表沿水平方向多圖象組合移動圖象的宏塊數的變量X設置為7，而將代表沿縱向的宏塊數的變量Y設置為6。接著，按照表示為二維陣列T[x,y](第一個下標代表將多圖象屏面以宏塊尺寸劃分成區(qū)域時的水平圖象區(qū)域，而第二個下標表示在這種情況下的縱向圖象區(qū)域)的布局表2501的每一陣列元素，如果與坐標(x,y)對應的區(qū)域是一個沒有移動圖象顯示的區(qū)域，則對該區(qū)域賦予一個符號S，而如果與坐標(x,y)對應的區(qū)域不是構成多圖象屏面的圖象區(qū)域的最左面的區(qū)域，則賦予一個符號N，當與坐標(x,y)對應的區(qū)域是構成多圖象屏面的圖象區(qū)域的最左面的區(qū)域時，則將該區(qū)域取作一個符號，它包含相應編碼小片移動圖象的標識(ID)符號(標識符)和從最上面的圖象區(qū)域起從1開始的縱向變化坐標，這樣就完成了初始化。
圖28描述的是在進行如圖27所示的多圖象組合時要取得的布局表2501的內容。圖28中，用作上述編碼小片移動圖象的ID符號是在尺度(measure)內的編碼小片移動圖象，并且縱向變化的坐標值是在這些尺度內的標號。
圖29是圖26中用C語言表述的運行流程中循環(huán)2607和2608的循環(huán)處理過程。
在圖26所示的步驟2602中，如果T[x,y]的值與符號N對應，則移動圖象合成裝置2501不進行處理過程。在步驟2603中，如果T[x,y]的值與符號S對應，則移動圖象合成裝置2501輸出一跳躍片編碼串。
圖30描述了一例由宏塊進行的片編碼串跳躍。移動圖象合成裝置2501輸出如圖30所示的6個字節(jié)，作為編碼串，從而跳躍一個宏塊區(qū)，它產生沒有顯示移動圖象的區(qū)域。
在步驟2605中，根據T[x,y]的值所代表的符號，獲得編碼小片的標識符和縱向變化坐標值。編碼小片移動圖象的ID符號用作標識累加裝置206中的編碼小片移動圖象，而縱向變化坐標值用作提供給要讀取的編碼小片移動圖象的片段編碼串的數。步驟805中，進行第一個實施例中描述的顯示位置信息的重寫處理過程，從而將步驟2605中讀取的片編碼串顯示在坐標(x,y)的位置上。
通過循環(huán)2607和2608的重復，移動圖象合成裝置2501相繼重寫從以T[x,y]表述的編碼小片移動圖象讀取的片編碼串的slice_start_code和MB_Addr_Inc，并輸出合成的編碼串作為多圖象組合移動圖象編碼串。
如上所述，按照本實施例，移動圖象合成系統(tǒng)包含移動圖象列表裝置用來繪制由具有不同圖象尺寸的編碼小片移動圖象組成的多圖象組合和順序表，以及包括布局表用于當多圖象屏面以宏塊尺寸劃分成保存有關各個區(qū)域的多圖象布局信息的區(qū)域的時候的移動圖象合成裝置和制作該布局表的布局表制作裝置。所以，移動圖象合成裝置參照該布局表確定相對于多圖象屏面上的每一坐標進行處理的編碼小片移動圖象的片編碼串。布局表包括與多圖象屏面上的每一坐標對應的多圖象屏面上每一圖象區(qū)域的有關位置的信息和位于該圖象區(qū)域上有關編碼小片移動圖象的信息。
通過這一過程，移動圖象合成裝置2501可以將具有不同圖象尺寸的多個編碼小片移動圖象組合起來，提供其中具有不同圖象尺寸的編碼小片移動圖象混合存在的多圖象組合移動圖象編碼串。這提供很大的實際效果。
(第四個實施例)下面描述本發(fā)明的第四個實施例。在說明第四個實施例時，與上述實施例中相同的部件或部分采用相同的標號，并且其說明從略。
圖31是按照本發(fā)明第四個實施例的移動圖象合成系統(tǒng)的結構方框圖。
圖31中，標號3101表示接收多圖象組合移動圖象編碼串而將其傳遞到移動圖象合成服務器201的移動圖象接收裝置，標號3102表示從接收的多圖象組合移動圖象編碼串獲得每一圖象區(qū)域部分的移動圖象編碼串的多圖象組合移動圖象劃分裝置，標號3103表示制作保存上述多圖象組合移動圖象、多圖象屏面每一區(qū)域部分的尺寸和位置信息的圖象布局表的圖象布局表制作裝置，標號3104表示將獲得的移動圖象編碼串轉換成使得可以在另一多圖象屏面中重新合成的編碼串(編碼小片移動圖象)的移動圖象編碼串，標號3105表示將累加裝置206中累加的重新編碼的小片移動圖象和編碼小片移動圖象與多圖象組合移動圖象編碼串組合起來的移動圖象合成裝置，而標號3106表示繪制要重新構筑的多圖象的組合和順序的表的移動圖象列表裝置。
下面首先描述從輸入的多圖象組合移動圖象編碼串劃分圖象區(qū)域部分的編碼串的處理過程。
圖32是多圖象組合移動圖象劃分裝置3102從多圖象組合移動圖象編碼串獲得構成多圖象屏面的每一圖象區(qū)域部分的移動圖象編碼串并輸出獲得的移動圖象編碼串作為不同的移動圖象編碼串之前所進行的運行流程。
圖32中，運行流程在步驟3201處開始，檢查表示該多圖象屏面中的圖象結構(布局)的布局信息是否包括在多圖象組合移動圖象數據編碼串中，并且隨后進入步驟3202，如果其中包括有布局信息則繪制一圖象布局表，并且隨后進入到步驟3203，從多圖象組合移動圖象數據編碼串讀取與一個幀對應的編碼串，并且接著進入步驟3204，為獲取每一片段編碼串搜尋slice_start_code(見圖52A)。隨后，執(zhí)行步驟3205，獲得有關進入獲取過程的片段的位置信息，并由步驟3206，將獲得的片段編碼串與編碼小片移動圖象的標識符號ID、有關多圖象屏面中片段的位置信息和每一圖象區(qū)域中有關片段的位置信息一起輸出到移動圖象再編碼裝置3104。此后，執(zhí)行步驟3207，檢查是否處理了與一個幀對應的編碼串中所有的片段，并且隨后執(zhí)行步驟3208，檢查是否處理了輸入的多圖象組合移動圖象數據的所有幀。
圖33描述的是圖象布局表的格式。
在圖33所示的圖象布局表中，將以宏塊為單位輸入的多圖象組合移動圖象數據的尺寸以“移動圖象水平尺寸”和“移動圖象縱向尺寸”存儲起來，構成多圖象格式的圖象區(qū)域數以“圖象數”存儲起來，位于圖象區(qū)域中的編碼小片移動圖象的標識符ID以“圖象m的標識符ID”存儲起來，圖象區(qū)m的左上角的坐標位置放入“有關圖象m的位置信息”，并將圖象區(qū)m的尺寸放入“圖象m的水平尺寸”和“圖象m的縱向尺寸”。
圖34描述的是一例當輸入的是具有如圖27所示的圖象結構的多圖象組合移動圖象數據時制作的圖象布局表。下面描述輸入的多圖象組合移動圖象數據具有如圖27所示的圖象結構時的情況。
圖象布局表是由圖象布局表制作裝置產生的，并且在步驟3201中，檢查經編碼的圖象布局表是否輸出到多圖象組合移動圖象數據編碼串或用戶數據區(qū)的每一標題部分(序列標題、GOP標題、圖象標題)的擴展編碼區(qū)中了。如果輸出了，則在步驟3202中，讀取該編碼串，從而繪制圖象布局表。
此外，為了將圖象布局表輸出到多圖象組合移動圖象編碼串中，產生并輸出多圖象組合移動圖象編碼串的移動圖象合成系統(tǒng)執(zhí)行將圖象布局表輸出到一編碼串內的處理。例如，第三個實施例中的移動圖象合成裝置2503將圖28中所示的布局表轉換成如圖34所示的圖象布局表，并對圖象布局表進行編碼并輸出該圖象布局表。
每一片段編碼串的獲取是通過搜尋代表片段的開頭的slice_start_code來完成的。有關獲取的片段編碼串的位置信息(有關多圖象屏面的位置的信息)是如下所述在步驟3205中獲得的。
水平位置=開頭宏塊的MB_Addr_Inc的值垂直位置=slice_start_code的第四字節(jié)的值根據圖象布局表和有關多圖象屏面中片段編碼串的位置信息，多圖象組合的移動圖象劃分裝置3102獲得編碼小片移動圖象的標識符ID和有關每一圖象區(qū)中有關片段的位置信息，并將它們輸出到移動圖象再編碼裝置3103。
圖35繪出的是從圖象布局表的例子獲得的編碼小片移動圖象的標識符ID和有關每一圖象區(qū)中片段的位置信息以及圖34中所示的位置信息。圖35中，它們被排列成如圖32中的運行流程中所處理的順序。
下面描述將由多圖象組合移動圖象劃分裝置3102劃分獲得的片段編碼串轉換成在不同的多圖象屏面中重新組合的編碼串的處理過程。
圖36描述了一例根據多圖象組合移動圖象劃分裝置3102傳遞的片段編碼串、有關多圖象屏面的位置信息和有關每一圖象區(qū)的位置信息，移動圖象再編碼裝置3104將片段編碼串轉換成在不同的多圖象屏面中重新組合的編碼串。本例中，移動圖象再編碼裝置3104從多圖象組合移動圖象劃分裝置3102接收的值如下所述。
片段編碼串圖36A和圖20B中示出的編碼串有關多圖象屏面的位置信息(5,6)有關圖象區(qū)的位置信息(1,2)標識符ID:E換言之，圖36示出在圖27所示的多圖象組合移動圖象中位于坐標(5,6)處編碼小片移動圖象E的第二片段編碼串的轉換。
圖36中，圖36a示出由多圖象組合移動圖象劃分裝置3102傳遞的片段編碼串，而圖36的部分(b)繪出的是以位為單位的詳細結構。由于有關片段編碼串的垂直位置信息存儲在slice_start_code的第四個字節(jié)中，即，buf[3]，對buf[3]=2進行替換處理，以便將buf[3]的值設置成用有關圖象區(qū)的位置信息表示的垂直位置“2”。
另外，盡管片編碼串的水平位置需要從5到1重寫，但因為是可變長度編碼位MB_Addr_lnc部分，所以如果表述成變量-長度編碼，則水平位置5是“0010”，而水平位置1在變量-長度碼中是“1”。因此，盡管當水平位置從5到1重寫時在MB_Addr_Inc部分中留下3位，但這些位以如圖36C中所示的那樣插入3個填充字節(jié)的方式被吸收。另外，如圖36C和圖36D所示的那樣，進行重寫操作，將水平位置設置為1。
將以該方式重寫的片段位置信息的片段編碼串作為可以以片段為單位組合起來的編碼小片移動圖象E的編碼串傳送到累加裝置206或直接傳送到移動圖象合成裝置3104用作多圖象組合移動圖象的合成。
如上所述，按照本實施例，提供了一種移動圖象合成系統(tǒng)，它包含接收多圖象組合移動圖象的移動圖象接收裝置、從接收的多圖象組合移動圖象編碼串獲得每一圖象區(qū)部分的片段編碼串的多圖象組合移動圖象劃分裝置、繪制保存每一多圖象屏面的圖象區(qū)的尺寸和相應關系中的位置信息的圖象布局表的圖象表制作裝置、將片段編碼串轉換成可以在不同的多圖象屏面中組合的片段編碼串的移動圖象再編碼裝置，以及重新組合再編碼片段編碼串以產生具有不同圖象結構的多圖象組合移動圖象編碼串的移動圖象合成裝置，其中，移動圖象劃分裝置從獲得的片段編碼串的標題部分獲取位置信息，并根據該位置信息參照圖象布局表取出相應編碼小片移動圖象的標識符ID和有關每一圖象區(qū)的位置信息，并接收取得的結果，移動圖象再編碼裝置將有關片段編碼串的位置信息從有關多圖象屏面的信息轉換成有關每一圖象的信息，從而使片段編碼串轉換成可以在不同的多圖象屏面中組合的編碼串。
通過上述過程，可以重新將多圖象組合移動圖象構筑成具有不同圖象結構的多圖象組合移動圖象。特別是，由于移動圖象再編碼裝置3103輸出格式與從第一個實施例中描述的移動圖象編碼裝置204輸出的編碼小片移動圖象相同的片編碼串，所以，可以在移動圖象合成裝置中以片段為單位重新組合輸出的片段編碼串，這提供了很大的效果。
(第五個實施例)下面描述本發(fā)明的第五個實施例。在說明第五個實施例時，與上述實施例中相同的部件或部分采用相同的標號，并且為簡化起見其描述從略。
圖37是按照本發(fā)明的第五個實施例的移動圖象合成系統(tǒng)的方框圖。
圖37中，標號4101表示根據圖象編碼格式進行輸入圖象的編碼處理的圖象編碼裝置，標號4102表示存儲并累加編碼圖象的累加裝置，標號4103接收至少一個編碼圖象產生多圖象組合圖象流的圖象合成裝置，而標號4104表示對多圖象組合圖象流進行譯碼以產生并顯示多圖象組合圖象的圖象譯碼裝置。
其次，描述按照本實施例的移動圖象合成系統(tǒng)的運行。
該實施例中，由于一例MPEG格式用作輸入圖象編碼格式，所以圖象編碼裝置4101是與按照上述第一個實施例的移動圖象編碼裝置204相同的，所以，其內部運行與第一個實施例中描述的是相同的。即，輸入圖象是小片圖象，而編碼移動圖象是編碼小片移動圖象。
因此，圖象編碼裝置4101將按照第一個實施例中描述的MPEG格式編碼的圖象壓縮輸出到累加裝置4102。
累加裝置4102與第一個實施例中的累加裝置205的是相同的，并且描述其內部運行。另外，該累加裝置4102存儲并累加編碼圖象，并且同時分配用于每一編碼圖象的可單獨辨別的圖象ID，用于累加管理。圖10A中，累加5個編碼圖象，并分別將圖象A、B、C、D和E提供給編碼圖象，用于累加管理。給出的編碼圖象可以根據指定的圖象ID從累加裝置獲得。每一編碼圖象具有與圖6所示的編碼小片圖象相等的結構。
圖象合成裝置4103從累加裝置4102取出至少一個編碼圖象，并進行圖象組合處理，以產生并輸出多圖象組合圖象流。順便指出，在該實施例中，圖象合成裝置在結構上與第一個實施例中的移動圖象合成裝置207具有相同的結構，并且其內部運行如上所述。
下面描述圖38中產生多圖象組合圖象的情況。即，圖象合成裝置4103采用將累加裝置4102中存儲的每一編碼圖象顯示在通過將多圖象屏面沿縱向和水平方向分成兩個而獲得的總共四個區(qū)域中的每一個的方式來壓縮多圖象組合圖象。
為了顯示如圖38中所示的多圖象組合圖象，從圖象合成裝置4103輸出的多圖象組合圖象流必須是如圖39所示的編碼串序列。因此，圖象合成裝置4103通過圖3中所示的步驟進行圖39中所示的編碼串生成處理。通過該編碼串生成處理產生的多圖象組合圖象流給出如MPEG格式的正確的編碼串，從而可以在圖象譯碼裝置4104中可以進行MPEG再現。
上述移動圖象合成系統(tǒng)的結構使得可以改變信息值，而無需進行極其大量的處理，例如與因定義為可變長度碼的信息值的變化而出現的編碼長度變化的位移操作，這樣做有利于加速多圖象組合圖象流。
另外，這時，由于圖象合成裝置4103產生的多圖象組合圖象流的編碼串序列作為MPEG格式而是正確的，所以在對MPEG編碼串進行譯碼的圖象譯碼裝置4104或圖象譯碼電源(一般稱為MPEG譯碼器)中可以容易地進行重現和顯示。
本實施例中，要輸入到圖象編碼裝置中的圖象可以是靜態(tài)畫面，也可以是移動圖象。在靜態(tài)畫面的情況下，本實施例的處理等效于輸入圖象僅為對幀電平(level)進行處理的部分中的一個幀的情況(見第一個實施例中的圖象編碼裝置的操作。
另外，事先通過采用某些圖象編碼格式對輸入圖象進行編碼也是可以接受。這時，圖象編碼裝置4101進行相對于輸入圖象對圖象編碼格式進行轉換處理。
另外，在本實施例中，盡管MPEG格式用作輸入圖象和多圖象組合圖象流的圖象編碼格式，但借助于圖象編碼格式標準，本發(fā)明還可以應用于所有的圖象編碼格式，而每一圖象編碼格式具有定義為可變長度碼的信息。
再有，在本實施例的描述中，盡管用于重寫定義為可變長度碼的信息的圖象合成裝置中的基本運算單位長度是8位(目前一般稱為一個字節(jié))，但也可以采用不小于1的任意的基本單位長度。
再有，在本實施例的例子中，盡管水平位置信息用作要重寫的信息，但借助于圖象編碼格式標準，還可以采用定義為可變長度碼的所有信息。另外，一次改變多個信息也是可以接受的。
另外，在本實施例中，盡管extra_bit_slice和extra_informatio_slice的組合提供想要的位時的擴展編碼串，定義為不影響圖象編碼格式的圖象或幾乎不對其有影響的編碼串的部分事先輸入到編碼圖象內也是合適的。
(第六個實施例)下面描述本發(fā)明的第六個實施例。在說明第六個實施例時，與上述實施例相同的部件或部分采用相同的標號，并且其描述從略。
圖40是按照該實施例的移動圖象合成系統(tǒng)的結構的方框圖。
圖40中，標號4401和4402表示暫時或長久累加輸入數據、保存數據或對其進行處理并隨后輸出的延遲裝置，標號4103表示對編碼圖象進行累加和管理的合成服務器，而標號4104表示對多圖象組合圖象的合成進行處理并接著重現和顯示結果的重現終端。
下面描述按照該實施例的移動圖象合成系統(tǒng)的運行。
延遲裝置4401和4402采用包括磁盤和存儲器件的存儲裝置，在延遲條件下輸出輸入的數據，并調整從幀淡薄處理得到的延遲時間。
這時，延遲裝置4401(下文中稱為延遲裝置1)使來自圖象編碼裝置的編碼圖象編碼串延遲一個固定時間，并且隨后輸出。該延遲時間可以從延遲裝置1指定，并且，例如，重現終端4104可以給出5秒延遲的指令。另外，延遲時間是可變。例如，還可以以延遲時間為10秒的初始狀態(tài)逐漸減小的方式進行跟進(catch-up)重現，從而在初始狀態(tài)后的1分鐘內，不會出現延遲時間(延遲時間達到零)，并且該處理過程還包括在延遲裝置1的處理過程內。
另一方面，延遲裝置4402(下文中稱為延遲裝置2)在與從累加裝置4102獲得的編碼圖象相關的每四個幀輸出一個編碼串(即輸出編碼串的幀號為1、5、9、13、…)。所以從延遲裝置2輸出的編碼圖象重現率增加到四次的圖象。
本實施例中，圖象合成裝置4103通過如圖41所示的路徑接收編碼圖象。
圖41中，從攝像機接收適時動態(tài)圖象作為輸入圖象，進行MPEG編碼處理，以輸出圖象ID為X的編碼圖象。
另外，延遲裝置1除了進行上述延遲處理以外還進行圖象ID的變換，本例中，將其改變?yōu)閄’。從累加裝置4102中取出圖象ID為B的編碼圖象。除了進行上述延遲處理以外，延遲裝置2將圖象ID改變成B’。
因此，圖象合成裝置4103進行圖象ID為X、X’、B和B‘的四個編碼圖象的組合處理。
作為移動圖象合成系統(tǒng)的結構，如圖40所示將圖象合成裝置4103放在重現終端4404側是合適的。此時，圖象合成裝置4103的內部處理與第一個實施例中的是相同的，并且圖象譯碼裝置4104對由圖象合成裝置4103合成的多圖象組合圖象流進行譯碼和重現。
圖42描繪了一例按照本實施例重現的多圖象組合圖象。圖42描繪的是各種圖象如現場圖象的重現例子，現場圖象的延遲圖象、累加圖象以及累加圖象的變速圖象在圖象區(qū)中組合成多圖象組合圖象。
采用上述結構的移動圖象合成系統(tǒng)，可以顯示多圖象組合圖象，如實時現場圖象如從攝像機輸入的圖象，和累加圖象，并且可以由延遲裝置延遲重現現場圖象部分，而經過調整延遲時間的多圖象組合圖象的重現和延遲也因幀淡薄處理而是可行的。
(第七個實施例)下面描述本發(fā)明的第七個實施例。在說明第七個實施例時，與上述實施例中相同的部件和部分采用相同的標號，并且為簡單起見，其描述從略。
圖43是按照該實施例的移動圖象合成系統(tǒng)的結構方框圖。
圖43中，標號4701表示在將通過多圖象組合圖象的重現獲得的圖象劃分成一個以上的區(qū)域時保存區(qū)域排列如圖象布局信息的布局表，而標號4702表示布局表中的多圖象布局信息值的布局表變更裝置。
下面描述本實施例的移動圖象合成系統(tǒng)的運行。
在說明本實施例時，與第三個實施例中相同的部件其描述將從略。即，小片圖象用作輸入圖象，而編碼小片移動圖象將用作一編碼圖象。另外，布局表4701與第三個實施例中的布局表是相同的，并且其結構也如所描述的那樣是相同的。再有，圖象合成裝置4103與第三個實施例中的移動圖象合成裝置2503是相同的，并且其內部運行也如所描述的那樣是相同的。
圖44描述的是在由布局表變換裝置4702改變布局表4701內容之和之后的多圖象組合圖象的圖象結構。
采用該實施例，如圖44所示，圖象合成裝置4103能夠產生相互在圖象結構上完全不同的多圖象組合圖象。圖45描述的是由圖象合成裝置4103對編碼圖象的組合進行的處理。
圖45中，在步驟4901中，向在第三個實施例中的步驟2601那樣進行初始化處理，繪制具有如圖44的上面部分所示初始化狀態(tài)下的圖象排列的布局表，并且隨后在步驟4902中，圖象合成裝置4103參照布局表。
在多圖象組合圖象流產生處理中對幀電平的處理開始時，圖象合成裝置4103在該時刻參照布局表(步驟4902)，按照布局表中的多圖象布局信息進行合成處理(圖45中的步驟803和809)。隨后，對幀電平由布局表變換裝置4702進行多圖象組合圖象的圖象結構改變。
所以，上述移動圖象合成系統(tǒng)的結構使得可以對多圖象組合圖象的配置進行動態(tài)改變區(qū)域大小的動態(tài)改變，顯示在這些區(qū)域中編碼圖象的動態(tài)改變，等等。
(第八個實施例)下面描述本發(fā)明的第八個實施例。在上面第七個實施例時，與上述實施例中相同的局部或部分采用相同的標號，并且為簡單起見，其描述從略。
圖46是按照該實施例的移動圖象合成系統(tǒng)的結構方框圖。
圖46中，標號5001表示根據圖象編碼格式對輸入圖象進行編碼處理以輸出編碼圖象的圖象編碼裝置，而標號5002表示接收至少一個編碼圖象以產生多圖象組合圖象流的圖象合成裝置。
其次，描述按照該實施例的移動圖象合成系統(tǒng)的運行。
本實施例的描述從由圖象編碼裝置5001進行輸入圖象編碼處理開始。
本實施例中，圖象編碼裝置5001按照MPEG格式對輸入的圖象進行編碼處理，并且在累加裝置4102中將編碼圖象累加。圖象編碼裝置5001中的MPEG編碼運行流程與參照圖3描述的第一個實施例中的是相同的。同時，本實施例中的輸入圖象可以與采用圖3的描述中的小片移動圖象那樣來對待。
圖47是圖象編碼裝置5001在步驟303、305、306和308中對輸入圖象進行MPEG編碼以輸出編碼圖象的例子。
圖47中，部分(a)、(b)、(c)和(d)分別與圖5中的(a)、(c)、(d)和(e)對應。因此，該實施例中的編碼圖象的編碼串與由公共MPEG編碼裝置或MPEG編碼單元(一般稱為MPEG編碼器)所產生的是相同的。因此，公共MPEG編碼裝置可以用作本實施例中的圖象編碼裝置5001。從圖象編碼裝置5001輸出的編碼圖象由累加裝置4102累加并管理。圖48是累加裝置4102中累加的編碼圖象。圖48中，分別用圖象ID A、B、C、D和E標識的編碼圖象在累加裝置4102中累加。另外，每一編碼圖象在水平方向被劃分成兩片段，每一片段由三個宏塊組成。
其次，描述本實施例中對具有可變長度的編碼圖象的信息值進行的重寫處理。描述將針對例如合成如圖38所示的多圖象組合圖象的情況進行。
多圖象組合圖象合成處理由圖象合成裝置5002進行，并且其運行流程是與參照圖8所示的第一個實施例相同的。同時，本實施例中的編碼圖象可以看作是與圖8中的編碼小片移動圖象相同的。
圖49A和49B描述的是圖象合成裝置5002在步驟804中進行的片段編碼串的讀出處理。讀出的片段編碼串存儲在開頭地址由變量Buf指出的緩沖器中。
圖象合成裝置5002進行如圖步驟805中指出的片段顯示位置信息的重寫處理。參照圖11對第一個實施例的描述適用于重寫垂直位置。
下面描述當水平位置的值從1變到4時步驟805中定義為可長度碼的水平位置信息的重寫處理。在存儲在累加裝置4102的條件下，如圖47所示，編碼圖象的水平位置信息值是1，并且其編碼串是一個位長度的“1”。為了將其重寫到水平位置4上，當用可變長度碼表述時，水平位置4變成四個位長度的“0011”。因此，出現缺少3個位的編碼串。
參照圖50，下面描述在高速下提供想要的編碼串和重寫水平位置信息值定義為可變長度碼的方法。
圖50中，圖50a給出在步驟804將片段1A的編碼串讀到一緩沖器內時的情況，而圖50b是該時刻片段標題附近的詳細描述。
首先，圖象合成裝置5002重寫buf[4]部分。本實施例中，重寫是buf[4]=buf[4]0×07。
隨后，輸出從buf
到buf[4]的5個字節(jié)，作為多圖象組合圖象流的編碼串。
隨后，作為6字節(jié)插入處理，是0×ff的6個字節(jié)被輸出作為相同多圖象組合圖象流的編碼串。
最后，在對水平位置詳細進行了重寫處理buf[10]=0×c6+(buf[4]&0×01)以后，輸出所有的繼buf[10]之后的片段編碼串，作為多圖象復合圖象流的編碼串。
同時，嚴格地講，由于在對水平位置信息的重寫處理時采用buf[4]的值，所以需要暫時在buf[4]的第一次重寫時將buf[4]的值存儲在變量中。
通過上述處理，定義為可變長度編碼的信息值的重寫可以僅通過幾次簡單的計算來完成。因此，在處理因定義為可變長度碼的信息值的變化而出現的信息的編碼長度變化時，可以改變該信息值，而無需極大量的如位移(bit shift)計算，這就大大加速了多圖象最后圖象產生處理過程。
另外，由于無需產生將編碼圖象輸入到圖象合成裝置以進行實現上述加速的特定處理過程的圖象編碼裝置，可以采用通用的圖象編碼裝置，根據上述圖象編碼格式進行編碼處理，并根據上述圖象編碼格式使公共編碼圖象間的組合處理得以加速。
如上所述，按照本發(fā)明，在移動圖象合成或組合中，因為縮小移動圖象的順序是，編碼、(累加)、合成和譯碼，所以與現有技術中合成(顯示排列)是在譯碼以后進行從而組合圖象需要譯碼處理的情況相比，當在合成以后立即進行譯碼處理時，就完成了譯碼，所以，自然，可以將合成處理所需的時間減小到最小，并且，由于考慮到合成以后圖象內經縮小和編碼的圖象的位置在組合前是不知道的，編碼將便于合成時位置信息的變更，所以，可以進行各種圖象合成(合成以后多圖象組合圖象的任意位置處在合成以前的縮小圖象的配置和顯示)。
應當指出，前文中僅涉及本發(fā)明的較佳實施例，并且，這些描述為了揭示本發(fā)明而試圖覆蓋本發(fā)明實施例的所有的變更和修改，這些變更和修改都不偏離本發(fā)明的精神和范圍。
權利要求
1．一種移動圖像合成系統(tǒng)，其特征在于包括移動圖像接收裝置，用于接收移動圖像；移動圖像縮小裝置，用于縮小所述移動圖像以產生縮小的移動圖像；移動圖像編碼裝置，用于對所述縮小的移動圖像進行編碼以產生經編碼的移動圖像；累積裝置，用于存儲和累積所述經編碼的移動圖像；移動圖像合成裝置，用于把在所述累積裝置中累積的至少一個經編碼的移動圖像組合成一多圖像合成移動圖像；移動圖像解碼裝置，用于對所述多圖像合成移動圖像進行解碼；以及移動圖像顯示裝置，用于顯示經解碼的移動圖像，其中所述移動圖像編碼裝置考慮到因在移動圖像組合時放置所述縮小的移動圖像而使所述位置信息發(fā)生變化的情況，根據所述縮小的移動圖像所具有的位置信息來執(zhí)行編碼以便改變所述位置信息，以及當需要改變所述縮小的移動圖像的位置信息時，所述移動圖像合成裝置把所述位置信息變到其組合處理所需的位置信息。
2．一種移動圖像合成系統(tǒng)，其特征在于包括移動圖像接收裝置，用于接收移動圖像；移動圖像縮小裝置，用于縮小所述移動圖像以產生小片移動圖像；移動圖像編碼裝置，用于依據MPEG標準對所述小片移動圖像進行編碼以產生經編碼的小片移動圖像；累積裝置，用于存儲和累積所述經編碼的小片移動圖像；移動圖像合成裝置，用于把在所述累積裝置中累積的一個或多個經編碼的移動圖像組合成一多圖像合成移動圖像；移動圖像解碼裝置，用于對所述多圖像合成移動圖像進行解碼；以及移動圖像顯示裝置，用于顯示經解碼的移動圖像，其中考慮到因改變片段的水平坐標而使MB_Addr_Inc的位數發(fā)生變化，所述移動圖像編碼輸出用于彌補想要的位的補充代碼串，以及所述移動圖像合成裝置通過從所述補充代碼串提供想要的位來改寫MB_Addr_Inc的值并產生多圖像合成的移動圖像代碼串。
3．如權利要求2所述的移動圖像合成系統(tǒng)，其特征在于所述移動圖像編碼裝置和所述移動圖像合成裝置利用MPEG視頻序列中片段標題部分的額外_位_片段和額外_信息_片段作為用于彌補想要的位的補充代碼串。
4．如權利要求3所述的移動圖像合成系統(tǒng)，其特征在于所述移動圖像編碼裝置輸出8組額外_位_片段和額外_信息_片段作為所述補充代碼串，所述移動圖像合成裝置從所述補充代碼串中提供任意數目的想要的位并產生宏塊_換碼代碼串。
5．一種移動圖像合成系統(tǒng)，其特征在于包括移動圖像接收裝置，用于接收移動圖像；移動圖像縮小裝置，用于縮小所述移動圖像以產生小片移動圖像；移動圖像編碼裝置，用于依據MPEG標準對所述小片移動圖像進行編碼以產生經編碼的小片移動圖像；累積裝置，用于存儲和累積所述經編碼的小片移動圖像；移動圖像合成裝置，用于把在所述累積裝置中累積的一個或多個經編碼的移動圖像組合成一多圖像合成移動圖像；移動圖像解碼裝置，用于對所述多圖像合成移動圖像進行解碼；以及移動圖像顯示裝置，用于顯示經解碼的移動圖像，其中所述移動圖像編碼裝置插入補充代碼串，從而每個宏塊代碼串的頭尾與字節(jié)邊界相接觸，以及所述移動圖像合成裝置按照屏面掃描的順序相繼排列所述宏塊代碼串，以產生所需的多圖像合成移動圖像代碼串。
6．如權利要求5所述的移動圖像合成系統(tǒng)，其特征在于所述移動圖像編碼裝置和所述移動圖像合成裝置利用MPEG視頻序列中片段標題部分的額外_位_片段和額外_信息_片段作為用于使所述宏塊代碼串的所述頭與所述字節(jié)邊界相接觸的所述補充代碼串。
7．如權利要求5所述的移動圖像合成系統(tǒng)，其特征在于所述移動圖像編碼裝置和所述移動圖像合成裝置把MPEG視頻序列中的宏塊_塞入作為用于使所述宏塊代碼串的所述尾與所述字節(jié)邊界相接觸的所述補充代碼串插入所述宏塊代碼串的頭部分。
8．如權利要求2所述的移動圖像合成系統(tǒng)，其特征在于所述移動圖像合成裝置包括用于在以宏塊尺寸把多圖像屏面分割成區(qū)域時保存有關每個所述區(qū)域的多圖像布局信息的布局表以及用于繪制所述布局表的布局表制作裝置，而所述移動圖像合成裝置參考所述布局表來確定將被作為所述多圖像合成移動圖像代碼串輸出的經編碼的小片移動圖像代碼串。
9．一種移動圖像合成系統(tǒng)，其特征在于包括移動圖像接收裝置，用于接收多圖像合成移動圖像；多圖像合成移動圖像分割裝置，用于從所述多圖像合成移動圖像的代碼串中提取每個圖像區(qū)域部分的片段代碼串；圖像布局表制作裝置，用于繪制保存多圖像屏面中每個圖像區(qū)域的尺寸以及相應關系的位置信息的圖像布局表；移動圖像重新編碼裝置，用于把所述片段代碼串轉換成允許在不同的多圖像屏面中重新組合的重新編碼的片段代碼串；累積裝置，用于存儲和累積經編碼的小片圖像；移動圖像合成裝置，用于重新組合所述重新編碼的片段代碼串以產生提供不同圖像結構的多圖像合成移動圖像代碼串；移動圖像列表裝置，用于繪制構成多圖像合成移動圖像的移動圖像的組合和順序的清單；移動圖像解碼裝置，用于對所述多圖像合成移動圖像進行解碼；以及移動圖像顯示裝置，用于顯示經解碼的移動圖像，其中所述多圖像合成移動圖像分割裝置從所述布局表中取得對所提取的片段代碼串進行重新編碼所需的經編碼的小片移動圖像的識別碼、有關所述經編碼的小片移動圖像在多圖像屏面中的位置信息以及有關所述經編碼的小片移動圖像在每個所述圖像區(qū)域中的位置信息，以及所述移動圖像重新編碼裝置根據所取得的結果把所述片段代碼串轉換成將在所述不同的多圖像屏面中重新組合的所述代碼串，以產生圖像結構與第一次所述的多圖像合成移動圖像的圖像結構不同的所述多圖像合成移動圖像。
10．如權利要求9所述的移動圖像合成系統(tǒng)，其特征在于所述移動圖像列表裝置選擇性地繪制來自所述累積裝置中累積的所述已編碼小片移動圖像的移動圖像以及由重新編碼的片段代碼串構成的移動圖像的清單，所述移動圖像合成裝置根據所述移動圖像列表裝置所繪制的所述移動圖像清單而從所述累積裝置中累積的所述已編碼小片移動圖像代碼串和重新編碼的片段代碼串中獲得一代碼串。
11．一種移動圖像合成系統(tǒng)，其特征在于包括圖像編碼裝置，用于根據圖像編碼格式對輸入的圖像進行編碼并輸出經編碼的圖像；以及圖像合成裝置，用于接收所述一個或多個經編碼的圖像以產生多圖像合成圖像流，其中考慮到被定義為所述圖像編碼格式的可變長度代碼的信息值發(fā)生改變的情況，所述圖像編碼裝置把被定義為不影響具有所述圖像編碼格式的圖像的代碼串的擴展代碼串預先輸出到所述經編碼的圖像中，以及所述圖像合成裝置利用用于產生所述多圖像合成圖像流的所述擴展代碼串把把所述經編碼的圖像的所述信息值變?yōu)椴煌闹怠?br> 12．如權利要求11所述的移動圖像合成系統(tǒng)，其特征在于所述圖像合成裝置改寫所輸入的每個所述經編碼的圖像的所述信息值，以輸出所述多圖像合成圖像流，其中每個所述經編碼的圖像的代碼串為作為所述圖像編碼格式的正確的信息值，每個所述經編碼的圖像的代碼串序列是作為所述圖像編碼格式的正確的序列。
13．如權利要求11所述的移動圖像合成系統(tǒng)，其特征在于在只接收到一個經編碼的圖像時，所述圖像合成裝置不產生多圖像合成圖像，而是改變被定義為所述經編碼的圖像中可變長度代碼的所述信息值并在改變所述信息值后輸出經編碼的圖像。
14．如權利要求11所述的移動圖像合成系統(tǒng)，其特征在于所在改變被定義為可變長度代碼的所述信息值時，所述圖像合成裝置在把所述圖像合成裝置的基本操作單位長度取作N位時從所述擴展代碼串中取出相應于N的任意倍數的位代碼串，以相應于信息代碼長度因改變所述信息值而發(fā)生的變化來調節(jié)位串。
15．如權利要求14所述的移動圖像合成系統(tǒng)，其特征在于所述操作單位長度是分別為通用計算機的中央處理單元的操作單位長度的4位、形成一個字節(jié)的8位、16位、32位和64位中的一個。
16．如權利要求11所述移動圖像合成系統(tǒng)，其特征在于還包括延遲裝置，所述延遲裝置用于在輸入的數據經過包括輸入數據累積和輸入數據保存的臨時或長時間處理后輸出所述輸入數據，其中所述圖像合成裝置接收通過所述延遲裝置產生的所述經編碼的圖像。
17．如權利要求16所述的移動圖像合成系統(tǒng)，其特征在于在有關所述圖像編碼裝置的一個輸入側的處理、所述圖像編碼裝置和所述圖像合成裝置之間的處理以及這兩個處理中存在不設置所述延遲裝置的處理，所述圖像合成裝置接收所產生的一個或多個經編碼的圖像而不需要通過所述延遲裝置的單個通路。
18．如權利要求11所述的移動圖像合成系統(tǒng)，其特征在于還包括用于在把待輸出的多圖像合成圖像的再現圖像分割成一個或多個區(qū)域時保存所述區(qū)域的結構作為多圖像布局信息的布局表，所述布局表保存有關把每個所述區(qū)域置于多圖像合成圖像中的至少一個位置信息和每個所述區(qū)域的尺寸信息作為所述多圖像布局信息，所述圖像合成裝置在產生所述多圖像合成圖像流時把被定義為可變長度代碼的信息值和被定義為固定長度代碼的信息值變?yōu)樗霾季直碇兴４娴闹怠?br> 19．如權利要求18所述的移動圖像合成系統(tǒng)，其特征在于用單個識別符來區(qū)分所述經編碼的圖像，利用所述識別符可獲得具有任意識別符的所述經編碼的圖像，所述布局表還保存將在所述區(qū)域中顯示的所述經編碼的圖像的所述識別符作為所述多布局信息中的區(qū)域圖像信息，所述圖像合成裝置參考所述區(qū)域圖像信息以從輸入的圖像中選擇將在所述區(qū)域中顯示的所述經編碼的圖像或繪制接收所述區(qū)域圖像信息作為一個輸入的經編碼圖像以改變所述經編碼圖像的所述信息值。
20．如權利要求18所述的移動圖像合成系統(tǒng)，其特征在于還包括用于改變所述布局表中所述多圖像布局信息的值的布局表改變裝置，所述布局表改變裝置在任意定時改變所述多圖像布局信息的所述值，所述圖像合成裝置參考改變的所述多圖像布局信息值，以動態(tài)地改變待輸出的所述多圖像合成圖像的多圖像布局。
21．如權利要求11所述的移動圖像合成系統(tǒng)，其特征在于所述圖像編碼格式用于靜態(tài)圖像，所述經編碼的圖像是靜態(tài)圖像。
22．如權利要求11所述的移動圖像合成系統(tǒng)，其特征在于所述圖像編碼格式相應于移動圖像，所述經編碼的圖像是移動圖像。
23．如權利要求11所述的移動圖像合成系統(tǒng)，其特征在于在所述圖像合成裝置中，通過使用互不相同的圖像編碼格式所進行的編碼來獲得待輸入的所述經編碼的圖像和待輸出的所述多圖像合成圖像流。
24．一種移動圖像合成系統(tǒng)，其特征在于包括用于接收從根據圖像編碼格式的編碼處理所產生的至少一個經編碼的圖像的圖像合成裝置，其中在需要改變被定義為所述圖像編碼格式的可變長度代碼的信息值時，所述圖像合成裝置為把所述經編碼的圖像中的所述信息值變?yōu)椴煌闹?，利用被定義為不影響具有所述圖像編碼格式的圖像的代碼串的擴展代碼串來把所述擴展代碼串輸出到所述多圖像合成圖像中。
25．如權利要求24所述的移動圖像合成系統(tǒng)，其特征在于所述圖像合成裝置改寫所輸入的每個所述經編碼的圖像的所述信息值，以輸出所述多圖像合成圖像流，其中每個所述經編碼的圖像的代碼串是作為所述圖像編碼格式的正確的信息值，每個所述經編碼的圖像的代碼串序列是作為所述圖像編碼格式的正確的序列。
26．如權利要求24所述的移動圖像合成系統(tǒng)，其特征在于在只接收到一個經編碼的圖像時，所述圖像合成裝置不產生多圖像合成圖像，而是改變被定義為所述經編碼的圖像中可變長度代碼的所述信息值并在改變所述信息值后輸出經編碼的圖像。
27．如權利要求24所述的移動圖像合成系統(tǒng)，其特征在于所在改變被定義為可變長度代碼的所述信息值時，所述圖像合成裝置在把所述圖像合成裝置的基本操作單位長度取作N位時從所述擴展代碼串中取出相應于N的任意倍數的位代碼串，以相應于信息代碼長度因改變所述信息值而發(fā)生的變化來調節(jié)位串。
28．如權利要求24所述的移動圖像合成系統(tǒng)，其特征在于所述操作單位長度是分別為通用計算機的中央處理單元的操作單位長度的4位、形成一個字節(jié)的8位、16位、32位和64位中的一個。
29．如權利要求24所述移動圖像合成系統(tǒng)，其特征在于還包括延遲裝置，所述延遲裝置用于在輸入的數據經過包括輸入數據累積和輸入數據保存的臨時或長時間處理后輸出所述輸入數據，其中所述圖像合成裝置接收通過所述延遲裝置產生的所述經編碼的圖像。
30．如權利要求29所述的移動圖像合成系統(tǒng)，其特征在于在有關所述圖像編碼裝置的一個輸入側的處理、所述圖像編碼裝置和所述圖像合成裝置之間的處理以及這兩個處理中存在不設置所述延遲裝置的處理，所述圖像合成裝置接收所產生的一個或多個經編碼的圖像而不需要通過所述延遲裝置的單個通路。
31．如權利要求24所述的移動圖像合成系統(tǒng)，其特征在于還包括用于在把待輸出的多圖像合成圖像的再現圖像分割成一個或多個區(qū)域時保存所述區(qū)域的結構作為多圖像布局信息的布局表，所述布局表保存有關把每個所述區(qū)域置于多圖像合成圖像中的至少一個位置信息和每個所述區(qū)域的尺寸信息作為所述多圖像布局信息，所述圖像合成裝置在產生所述多圖像合成圖像流時把被定義為可變長度代碼的信息值和被定義為固定長度代碼的信息值變?yōu)樗霾季直碇兴４娴闹怠?br> 32．如權利要求31所述的移動圖像合成系統(tǒng)，其特征在于用單個識別符來區(qū)分所述經編碼的圖像，利用所述識別符可獲得具有任意識別符的所述經編碼的圖像，所述布局表還保存將在所述區(qū)域中顯示的所述經編碼的圖像的所述識別符作為所述多布局信息中的區(qū)域圖像信息，所述圖像合成裝置參考所述區(qū)域圖像信息以從輸入的圖像中選擇將在所述區(qū)域中顯示的所述經編碼的圖像或繪制接收所述區(qū)域圖像信息作為一個輸入的經編碼圖像以改變所述經編碼圖像的所述信息值。
33．如權利要求31所述的移動圖像合成系統(tǒng)，其特征在于還包括用于改變所述布局表中所述多圖像布局信息的值的布局表改變裝置，所述布局表改變裝置在任意定時改變所述多圖像布局信息的所述值，所述圖像合成裝置參考改變的所述多圖像布局信息值，以動態(tài)地改變待輸出的所述多圖像合成圖像的多圖像布局。
34．如權利要求24所述的移動圖像合成系統(tǒng)，其特征在于所述圖像編碼格式用于靜態(tài)圖像，所述經編碼的圖像是靜態(tài)圖像。
35．如權利要求24所述的移動圖像合成系統(tǒng)，其特征在于所述圖像編碼格式相應于移動圖像，所述經編碼的圖像是移動圖像。
36．一種移動圖像合成系統(tǒng)，其特征在于包括第一和第二圖像編碼裝置，每個裝置用于根據圖像編碼格式對輸入的圖像進行編碼以輸出經編碼的圖像；以及圖像合成裝置，用于接收從所述第一圖像編碼裝置輸出的至少一個經編碼的圖像以及從所述第二圖像編碼裝置輸出的至少一個經編碼的圖像，以產生多圖像合成圖像，其中考慮到被定義為所述圖像編碼格式的可變長度代碼的信息值發(fā)生改變的情況，第一圖像編碼裝置把被定義為不影響具有所述圖像編碼格式的圖像的代碼串的擴展代碼串預先輸出到所述經編碼的圖像中，所述第二圖像編碼裝置不把所述擴展代碼串輸出到所述經編碼的圖像中，以及所述圖像合成裝置利用用于從所述第一圖像編碼裝置輸出的所述經編碼的圖像的所述擴展代碼串把所述信息值變?yōu)椴煌闹?，并通過把所述擴展代碼串輸出到用于從所述第二圖像編碼裝置輸出的所述經編碼的圖像的所述多圖像組合圖像中來把所述信息值變?yōu)椴煌闹怠?br> 全文摘要
一種移動圖像合成系統(tǒng),用于在多圖像屏面上的任意位置處顯示經縮小和編碼的圖像。它包括移動圖像縮小單元、移動圖像編碼單元、累積單元和移動圖像合成單元。移動圖像編碼單元考慮到因在移動圖像組合時放置縮小的移動圖像而使位置信息發(fā)生變化的情況來進行編碼處理,以便改變縮小的移動圖像所具有的位置信息。當因組合處理而需要改變縮小的移動圖像的位置信息時,移動圖像合成單元把位置信息變到其組合處理所需的位置信息。
文檔編號G09G5/14GK1225545SQ9812247
公開日1999年8月11日 申請日期1998年11月11日 優(yōu)先權日1997年11月11日
發(fā)明者松浦俊, 勘解由哲, 加藤等, 淺井香代子, 由雄宏明, 加藤毅, 早川佳宏, 丸谷健介 申請人:松下電器產業(yè)株式會社