專(zhuān)利名稱(chēng)：基于塊的交錯(cuò)的制作方法
技術(shù)領(lǐng)域：
描述了涉及圖像壓縮的實(shí)施方式。各種特定的實(shí)施方式涉及交錯(cuò)圖像的壓縮，交錯(cuò)圖像可能由具有重疊內(nèi)容的圖像形成。
背景技術(shù)：
已知各種技術(shù)來(lái)壓縮圖像，包括立體圖像和多視像。AVC，是指現(xiàn)有的國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)(IS0/IEC)運(yùn)動(dòng)圖片專(zhuān)家組-4(MPEG-4)第10部分高級(jí)視頻編碼(AVC)標(biāo)準(zhǔn)/國(guó)際電信聯(lián)盟電信分部(ITU-T)的H. 264建議(以下稱(chēng)“H. 264/MPEG-4AVC標(biāo)準(zhǔn)”或其變化，如“AVC標(biāo)準(zhǔn)”、“'H. 264標(biāo)準(zhǔn)”或簡(jiǎn)稱(chēng)為“AVC”或“'H. 264”)，可用于個(gè)別地壓縮此類(lèi)圖像。在使用幀內(nèi)編碼技術(shù)AVC內(nèi)通常對(duì)“I”幀進(jìn)行壓縮。

發(fā)明內(nèi)容
根據(jù)一般方面，訪問(wèn)包括多個(gè)塊的第一圖像。第一圖像的多個(gè)塊包括第一圖像塊。訪問(wèn)包括多個(gè)塊的第二圖像。第二圖像的多個(gè)塊包括具有與第一圖像塊重疊的內(nèi)容的第二圖像塊。第一圖像的多個(gè)塊和第二圖像的多個(gè)塊以塊為基礎(chǔ)交錯(cuò)以形成交錯(cuò)圖像。交錯(cuò)圖像的至少一部分通過(guò)使用第二圖像塊作為參考來(lái)編碼第一圖像塊而被編碼。提供編碼后的第一圖像塊以供傳輸或存儲(chǔ)。根據(jù)另外的一般方面，視頻信號(hào)或視頻信號(hào)結(jié)構(gòu)包括用于編碼的一個(gè)或多個(gè)圖片 部分。編碼是第一圖像的多個(gè)塊和第二圖像的多個(gè)塊的基于塊的交錯(cuò)的編碼。第一圖像的多個(gè)塊包括第一圖像塊，第二圖像的多個(gè)塊包括具有與第一圖像塊重疊的內(nèi)容的第二圖像塊。第一圖像塊的編碼使用第二圖像塊作為參考。根據(jù)另外的一般方面，訪問(wèn)編碼后的圖像。編碼后的圖像是第一圖像的多個(gè)塊和第二圖像的多個(gè)塊的基于塊的交錯(cuò)的編碼。第一圖像的多個(gè)塊包括第一圖像塊，第二圖像的多個(gè)塊包括具有與第一圖像塊重疊的內(nèi)容的第二圖像塊。解碼編碼后的圖像的一部分。編碼后的圖像部分使用第二圖像塊作為參考來(lái)編碼第一圖像塊。提供解碼后的部分以供處理或顯示。在附圖和下面的描述中闡明了一個(gè)或多個(gè)實(shí)施方式的細(xì)節(jié)。即使是以一特定的方式描述，應(yīng)該明確的是，實(shí)施方式可以各種方式配置或?qū)嵤?。例如，?shí)施方式可以執(zhí)行為一種方法，或?qū)嵤橐环N設(shè)備(例如配置為執(zhí)行一組操作的設(shè)備或存儲(chǔ)用于執(zhí)行一系列操作的指令的設(shè)備)，或以信號(hào)實(shí)施。從下面的詳細(xì)說(shuō)明結(jié)合所附的附圖和權(quán)利要求書(shū)一并考慮，其他方面和特征將變得很明顯。


圖I是描繪了可與一個(gè)或多個(gè)實(shí)施方式一起使用的用于編碼和解碼圖像的系統(tǒng)和處理的示例的方塊圖/流程圖。圖2是描繪了可與一個(gè)或多個(gè)實(shí)施方式一起使用的相鄰塊的示例的方塊圖。圖3是描繪了可與一個(gè)或多個(gè)實(shí)施方式一起使用的相鄰參考?jí)K的示例的方塊圖。圖4是描繪了可與一個(gè)或多個(gè)實(shí)施方式一起使用的垂直交錯(cuò)和水平交錯(cuò)的示例的方塊圖/流程圖。圖5是描繪了可與一個(gè)或多個(gè)實(shí)施方式一起使用的編碼處理的示例的流程圖。圖6是描繪了可與一個(gè)或多個(gè)實(shí)施方式一起使用的解碼處理的示例的流程圖。 圖7是描繪了可與一個(gè)或多個(gè)實(shí)施方式一起使用的編碼系統(tǒng)的示例的方塊圖/流程圖。圖8是描繪了可與一個(gè)或多個(gè)實(shí)施方式一起使用的解碼系統(tǒng)的示例的方塊圖/流程圖。圖9是描繪了可與一個(gè)或多個(gè)實(shí)施方式一起使用的視頻傳輸系統(tǒng)的示例的方塊圖/流程圖。圖10是描繪了可與一個(gè)或多個(gè)實(shí)施方式一起使用的視頻接收系統(tǒng)的示例的方塊圖/流程圖。
具體實(shí)施例方式在此申請(qǐng)中說(shuō)明的至少一個(gè)實(shí)施方式旨在提高對(duì)已合并成單個(gè)圖像的立體圖像對(duì)的壓縮效率。實(shí)施方式以允許H. 264壓縮算法以更好地利用幀內(nèi)塊預(yù)測(cè)的方式重新排列立體圖像對(duì)。立體圖像對(duì)的左視片和右視片在宏塊級(jí)交錯(cuò)。左視片和右視片被一起編碼為單個(gè)圖片，并且交錯(cuò)圖片的排列通常提高了對(duì)典型的水平或垂直分割屏幕排列的幀內(nèi)預(yù)測(cè)效率。在基于塊的壓縮算法(例如支持MPEG2，MPEG4)中，發(fā)明人已確定，在I-圖片壓縮上花費(fèi)了不均衡百分比的分配給壓縮流的總位預(yù)算。注意，I圖片經(jīng)常被用作參考圖片。在短期內(nèi)，廣播3D視頻可能依靠分割屏幕方法來(lái)遞送左/右立體圖像對(duì)。一個(gè)典型的排列是左圖片和右圖片，每一個(gè)圖片按一半來(lái)進(jìn)行水平子采樣，連接在一起以形成單個(gè)全尺寸的復(fù)合左+右圖片。水平子采樣和垂直子采樣兩者都在當(dāng)代的半分辨率3D編碼器中使用。通常情況下，水平子采樣用于1920X1080源材料，垂直子采樣用于1280X720p源材料。這些子采樣方法的優(yōu)點(diǎn)是，復(fù)合圖片可以由原有設(shè)備編碼和解碼，而顯示裝置負(fù)責(zé)分離左圖像和右圖像。此方法雖然方便，但沒(méi)有很好地利用在左圖像和右圖像之間的冗余。通過(guò)以允許壓縮算法更好地利用此冗余的方式重新排列左圖像和右圖像，所產(chǎn)生的壓縮后的圖像流仍然能夠與原有編碼/解碼工具在很大程度上保持兼容，同時(shí)提高了編碼后的I (或參考)圖片的壓縮效率。上面的方法能夠用來(lái)作為MVC (多視圖編碼)的可替代方法。雖然是可替代方法，但上面的方法和MVC并不一定等同，這兩種方法可能會(huì)產(chǎn)生不同的結(jié)果。MVC更具體地是指AVC標(biāo)準(zhǔn)的多視圖視頻編碼(“MVC”)擴(kuò)展(附錄H)，被稱(chēng)為H. 264/MPEG-4AVC，MVC擴(kuò)展(“MVC擴(kuò)展”或簡(jiǎn)稱(chēng)為“MVC”)。MVC是非向后兼容的壓縮算法，它是已被開(kāi)發(fā)來(lái)利用例如在立體圖像對(duì)中的左視圖和右視圖之間的冗余的H. 264/MPEG-4AVC標(biāo)準(zhǔn)的擴(kuò)展。參照?qǐng)DI，示出了系統(tǒng)100，系統(tǒng)100提供了用于處理幀內(nèi)編碼后的圖片(即，I圖片)的實(shí)施方式。幀內(nèi)編碼后的圖片遵循圖I所示和下文所述的處理。系統(tǒng)100包括編碼塊110、解碼塊120、連接編碼塊110和解碼塊120的傳輸操作130。提供用于立體圖像對(duì)的全分辨率輸入圖片作為到編碼塊110的輸入。全分辨率立體圖像包括左視片140和右視片142。全分辨率圖像在水平維度上按1/2來(lái)進(jìn)行下采樣將原始水平尺寸減小1/2。這導(dǎo)致了使水平采樣率轉(zhuǎn)換(“SRC”)成為原始水平尺寸的1/2。下采樣也被稱(chēng)為子采樣、速率轉(zhuǎn)換或向下縮放。編碼塊110包括下采樣左視 片140的采樣器144和下采樣右視片142的采樣器146。采樣器144產(chǎn)生是在水平維度上的左視片140的尺寸的1/2的采樣后的左視片148。同樣地，采樣器146產(chǎn)生是在水平維度上的右視片142的尺寸的1/2的采樣后的右視片150。采樣后的左視片148和采樣后的右視片150被交錯(cuò)，以形成交錯(cuò)復(fù)合圖片152。復(fù)合圖片152是通過(guò)將采樣后的左視片148分解(也稱(chēng)為分區(qū)或劃分)成16X16的宏塊、將采樣后的右視片150分解成16X16的宏塊，并將來(lái)自左視片148和右視片150的宏塊交錯(cuò)以形成復(fù)合圖片152。在圖I所示的實(shí)施方式中，如相對(duì)于下文圖4所進(jìn)一步解釋?zhuān)陦K以逐列的格式在交替的基礎(chǔ)上被交錯(cuò)。這產(chǎn)生了復(fù)合圖片152，復(fù)合圖片152具有與采樣后的左視片148和采樣后的右視片150相同的垂直維度，以及兩倍于采樣后的左視片148或采樣后的右視片150的水平維度。編碼塊110包括編碼復(fù)合圖片152的H. 264編碼器154。在編碼塊110中，復(fù)合圖片152使用HP0L4. X而被編碼以形成編碼后的圖片(未示出)。HP0L4. x是指高級(jí)規(guī)范(profile), 4. X級(jí)，其包括4. 0,4. I和4. 2。然而，其他實(shí)施方式使用H. 264編碼規(guī)范中的任意若干，諸如例如所有等級(jí)的基線規(guī)范、所有等級(jí)的主規(guī)范和所有等級(jí)的高級(jí)規(guī)范。編碼器154將復(fù)合圖片152編碼為I圖片，并使用H. 264幀內(nèi)編碼模式。因此，復(fù)合圖片152的塊使用來(lái)自復(fù)合圖片152的一個(gè)或多個(gè)其他塊作為參考而被編碼。例如，一個(gè)給定塊的預(yù)測(cè)塊可能會(huì)由相鄰塊的組合形成。一個(gè)給定塊的相鄰塊通常被定義為在角落或邊緣上觸及給定塊的八個(gè)塊中的一個(gè)。參照?qǐng)D2，中間塊M的八個(gè)相鄰塊以塊1-8示出。注意，為了 H. 264幀內(nèi)預(yù)測(cè)模式的目的，塊1、2、3、4和6 —般是允許作為預(yù)測(cè)塊的。參照?qǐng)D3，各種實(shí)施方式通過(guò)水平位于左側(cè)的塊(塊A)、垂直位于上側(cè)的塊(塊B)、對(duì)角線式地位于右上的塊(塊C)的結(jié)合而形成給定塊(塊G)的預(yù)測(cè)塊。因?yàn)閺?fù)合圖片152使用逐列交錯(cuò)，應(yīng)明確的是，塊G將來(lái)自采樣后的左視片148或采樣后的右視片150中的一個(gè)，并且塊A和C兩者都將是來(lái)自其他采樣后的圖片。各種實(shí)施方式可能會(huì)形成基于塊A、B或C中的僅僅一個(gè)(而不是其組合)的預(yù)測(cè)塊或者基于包括非相鄰塊的其他塊的預(yù)測(cè)塊。特別地，各種實(shí)施方式提供了允許塊G相對(duì)于僅塊A被編碼或相對(duì)于僅塊C被編碼的編碼模式。與使用不交錯(cuò)的分割屏幕格式(見(jiàn)下文描述的水平分割屏幕圖片160)相比，此種代碼塊G僅使用塊A或塊C的模式被期望通過(guò)使用交錯(cuò)復(fù)合圖片152來(lái)提高編碼效率。至少部分提高的效率被期望通過(guò)能使用來(lái)自其他視圖的相應(yīng)塊編碼來(lái)自一個(gè)視圖(左視圖或右視圖)的塊而帶來(lái)。如果相應(yīng)塊對(duì)齊得好，則殘留將較少，并且將需要更少的位來(lái)編碼。然而，需要注意的是，對(duì)齊不必完美以減少殘留和提供編碼增益。如上所述，如圖2中所示的塊1、2、3、4和6可用作H. 264幀內(nèi)預(yù)測(cè)中的塊M的預(yù)測(cè)塊。然而，各種實(shí)施方式執(zhí)行交錯(cuò)以利用如下事實(shí)在立體視圖中，期望在兩個(gè)圖片中有水平位移但沒(méi)有垂直位移。在此種情況下，期望最好的預(yù)測(cè)塊是來(lái)自其他立體視圖的相應(yīng)塊。該相應(yīng)塊將往往是處于在列交錯(cuò)后被編碼的塊的左側(cè)，并將往往是處于在行交錯(cuò)后被編碼的塊的上側(cè)。各種實(shí)施方式通過(guò)在復(fù)合圖片152內(nèi)搜索最好的參考?jí)K來(lái)執(zhí)行復(fù)合圖片152的幀內(nèi)編碼。更具體地說(shuō)，若干此類(lèi)實(shí)施方式在已被編碼的當(dāng)前圖片的那些部分的重建中搜索。由于搜索，與僅使用預(yù)定的鄰近塊作為參考相比，此種模式往往更時(shí)間密集和更處理器密集。然而，此種模式通常提供了找到給定塊的更好預(yù)測(cè)的優(yōu)勢(shì)。此種模式通常也提供了在 無(wú)需知道視差的情況下找到相應(yīng)立體圖像塊的優(yōu)勢(shì)。編碼塊110包括解碼編碼后的圖片以產(chǎn)生后解碼的圖片158的H. 264解碼器156。在編碼塊110的實(shí)施方式中，編碼后的圖片使用HP0L4. X被解碼。解碼后的圖片158是復(fù)合圖片152的重建。編碼塊110解交錯(cuò)解碼后的圖像158，以形成水平分割屏幕圖片160。水平分割屏幕圖片160包括采樣后的左視片148的左圖片重建162，并包括采樣后的右視片150的右圖片重建164。水平分割屏幕圖片160被作為參考圖片存儲(chǔ)在參考圖片存儲(chǔ)裝置(未示出)中，可以被編碼塊110用來(lái)作為參考圖片。P和B圖片被編碼為水平分割屏幕圖片。也就是說(shuō)，針對(duì)P和B圖片，是將采樣后的左視片148和采樣后的右視片150形成水平分割屏幕圖片，而不是形成交錯(cuò)復(fù)合圖片，并由編碼器154編碼。如上所述，參考圖片也被作為水平分割屏幕圖片存儲(chǔ)。當(dāng)P或B編碼后的塊包含指向I圖片的運(yùn)動(dòng)參考時(shí)，運(yùn)動(dòng)估計(jì)就被從水平分割屏幕重建圖片160中提取出來(lái)。因此，與P和B塊相比，編碼塊110針對(duì)I塊執(zhí)行不同的操作。例如，針對(duì)I塊’編碼塊110執(zhí)行(i)在編碼前交錯(cuò)，和(ii)在形成水平分割屏幕重建圖片前解交錯(cuò)。作為另一個(gè)示例，針對(duì)P和B塊，編碼塊110在編碼之前形成分割屏幕圖片。編碼器154也提供了編碼后的圖片(未示出)到傳輸操作130以供傳輸。被傳輸圖片由解碼塊120接收。解碼塊120包括執(zhí)行接收到的圖片的HP0L4. x解碼的H. 264解碼器170。解碼器170產(chǎn)生重建圖片172，重建圖片172是復(fù)合圖片152的重建。因此，重建圖片172具有從左圖像(采樣后的左視片148)和右圖像(采樣后的右視片150)交錯(cuò)的宏塊。在一個(gè)典型的實(shí)施方式中，解碼器170與解碼器156將是相同的。解碼塊120解交錯(cuò)重建圖片172以形成包括左圖片重建176和右圖片重建178的水平分割屏幕圖片174。如果在傳輸或解碼中沒(méi)有錯(cuò)誤，則(i)重建圖片172將匹配來(lái)自編碼塊110的解碼后的圖片，(ii)水平分割屏幕圖片174將匹配水平分割屏幕圖片160，(iii)左圖片重建176將匹配左圖片重建162，及(iv)右圖片重建178將匹配右圖片重建164。
解碼塊120包括執(zhí)行水平采樣率轉(zhuǎn)換以恢復(fù)原始水平尺寸的采樣器180。采樣器180通過(guò)上采樣左圖片重建176以恢復(fù)左視片140的原始水平尺寸來(lái)執(zhí)行轉(zhuǎn)換。采樣器180產(chǎn)生重建左視片184，重建左視片184是左視片140的重建。上采樣也被稱(chēng)為速率轉(zhuǎn)換或向上縮放。同樣地，解碼塊120包括執(zhí)行水平采樣率轉(zhuǎn)換以恢復(fù)原始水平尺寸的采樣器182。采樣器182通過(guò)上采樣右圖片重建178以恢復(fù)右視片142的原始水平尺寸來(lái)執(zhí)行轉(zhuǎn)換。采樣器182產(chǎn)生重建右視片186，重建右視片186是右視片142的重建。重建左視片184和重建右視片186是準(zhǔn)備好輸出到顯示器的全分辨率圖片。其他實(shí)施方式也提供，或者可替代地提供重建左視片184和/或重建右視片186用于處理。此處理包括例如濾波、渲染另外的圖像、偽影減少、顏色修改、邊緣銳化和/或?qū)ο髾z測(cè)，并可在顯示之前執(zhí)行或代替顯示來(lái)執(zhí)行。此外，其他實(shí)施方式提供了水平分割屏幕圖片174作為處理和/或顯示的輸出174。 如編碼塊110 —樣，與P和B塊相比，解碼塊120也對(duì)I塊執(zhí)行不同的操作。例如，針對(duì)I塊，解碼塊120在形成水平分割屏幕圖片174之前執(zhí)行解交錯(cuò)。相比之下，針對(duì)P和B塊而言，解碼器170的輸出將是水平分割屏幕圖片。圖I的處理至少在很大程度上與現(xiàn)有的處理是向后兼容的。此外，原有H. 264編碼器和解碼器都可以使用。然而，圖I的處理可以不與所有現(xiàn)有的解碼過(guò)程完全向后兼容。盡管如此，許多解碼器具有使用集成位塊傳送(Blit)(例如，可編程的位形裝置；或執(zhí)行位塊圖像傳送例如以組合多個(gè)位圖的位塊傳送裝置)的能力或?qū)⒑陦K交錯(cuò)I圖片圖像轉(zhuǎn)換成左/右分割屏幕圖像的DMA能力。也就是說(shuō)，現(xiàn)有的H. 264解碼器可能沒(méi)有配置為將解碼后的(交錯(cuò)圖片)158轉(zhuǎn)換成水平分割屏幕圖片160，或?qū)⒅亟▓D片172轉(zhuǎn)換成水平分割屏幕圖片174。然而，用于執(zhí)行此轉(zhuǎn)換的技術(shù)是可行的，是使用例如諸如集成位塊傳送或DMA的技術(shù)的普通技術(shù)人員所掌握的。此外，此類(lèi)技術(shù)可用于選擇性地創(chuàng)建交錯(cuò)圖像(例如，復(fù)合圖片152)或待用作到H. 264編碼器的輸入的分割屏幕連接圖像。其他實(shí)施方式修改了上述系統(tǒng)100的各個(gè)方面。某些實(shí)施方式和修改在下文描述，但也考慮了其他修改。-例如，兩個(gè)輸入圖像不需要形成立體圖像對(duì)。在各種實(shí)施方式中，輸入圖像是來(lái)自多視圖系統(tǒng)的圖像。-此外，輸入圖像不需要按正好1/2來(lái)進(jìn)行下采樣，且根本不需要下采樣。在各種實(shí)施方式中，輸入圖像(i)保持在其原始的采樣率，(ii)以非1/2的值來(lái)進(jìn)行下采樣，或
(iii)上采樣。-此外，輸入圖像不需要以同樣的速率進(jìn)行采樣。在各種實(shí)施方式中，第一輸入圖像以第一速率采樣，第二輸入圖像以與第一速率不同的第二速率采樣。-實(shí)施方式可以使用兩個(gè)以上的輸入圖像。各種實(shí)施方式使用三個(gè)或三個(gè)以上的輸入圖像，并交錯(cuò)所有的輸入圖像。一個(gè)此類(lèi)實(shí)施方式交錯(cuò)來(lái)自多視圖系統(tǒng)的三個(gè)或三個(gè)以上的輸入視圖。另一個(gè)此類(lèi)實(shí)施方式交錯(cuò)四個(gè)圖像，四個(gè)圖像包括在第一時(shí)刻通過(guò)立體攝像機(jī)拍攝的第一立體圖像對(duì)和在第二時(shí)刻通過(guò)立體攝像機(jī)拍攝的第二立體圖像對(duì)。-各種實(shí)施方式除了采樣輸入圖像外還處理輸入圖像，或代替采樣輸入圖像而處理輸入圖像。由各種實(shí)施方式執(zhí)行的處理包括例如濾波圖像的像素值、剪輯圖像的像素值、將塊添加到圖像邊框周?chē)膱D像或去除沒(méi)有重疊內(nèi)容的塊。-用于交錯(cuò)的塊不必為16x16，甚至也不必為宏塊。各種實(shí)施方式使用非16x16尺寸的塊和/或使用與在編碼中使用的宏塊的尺寸不同的塊尺寸。各種實(shí)施方式也改變塊尺寸，或使用可選的塊尺寸。H. 264標(biāo)準(zhǔn)允許4X4塊、8X8塊和16x16宏塊的幀內(nèi)預(yù)測(cè)。一個(gè)上述實(shí)施方式圖示并說(shuō)明了使用宏塊的概念，但其他實(shí)施方式實(shí)施了在塊級(jí)別的交錯(cuò)，包括例如4x4塊的級(jí)別、8x8塊的級(jí)別和采用4X4塊和8x8塊兩者的可變級(jí)別。-交錯(cuò)圖像不需要使用HP0L4.X進(jìn)行編碼，更不需要H. 264進(jìn)行編碼。各種實(shí)施方式使用不同的札264規(guī)范或不同的編碼方案。例如，針對(duì)H. 264，可以使用所有等級(jí)的高級(jí)規(guī)范、所有等級(jí)的主規(guī)范和所有等級(jí)的基線規(guī)范，各種實(shí)施方式被指向于這些等級(jí)和規(guī)范中的每一個(gè)。-由編碼塊110提供的編碼后的交錯(cuò)圖像不必被傳輸。例如，各種實(shí)施方式存儲(chǔ)編碼后的圖像。 -參考圖像不需要是水平分割屏幕圖像，或者甚至根本不需要是分割屏幕圖像。各種實(shí)施方式使用例如垂直分割屏幕圖像作為參考，或使用交錯(cuò)圖像作為參考，或使用單個(gè)圖像作為參考。-P和B圖片不需要編碼為水平分割屏幕圖片。各種實(shí)施方式執(zhí)行P和/或B立體圖像對(duì)的交錯(cuò)，如上面對(duì)I圖片所進(jìn)行的。這些實(shí)施方式的一個(gè)或多個(gè)對(duì)于用作參考的其他圖片使用幀間編碼來(lái)編碼交錯(cuò)P和/或B圖片。若干此類(lèi)實(shí)施方式的參考也是交錯(cuò)圖片，但對(duì)于其他實(shí)施方式，未對(duì)參考進(jìn)行交錯(cuò)。此外，這些實(shí)施方式中的一些考慮了幀內(nèi)預(yù)測(cè)模式和幀間預(yù)測(cè)模式兩者以在交錯(cuò)P或B圖片中編碼給定塊。正因?yàn)槿绱?，這些實(shí)施方式中的一些執(zhí)行來(lái)自交錯(cuò)P或B圖片的給定塊的最優(yōu)編碼。參照?qǐng)D4，示出了宏塊級(jí)交錯(cuò)的兩個(gè)實(shí)施方式的更詳細(xì)的視圖。圖4描繪出了立體圖像對(duì)的左圖片410和右圖片420。在此實(shí)施方式中，假定左圖片410和右圖片420已在水平方向上按因數(shù)2進(jìn)行了下采樣。如箭頭425所示，這兩個(gè)圖片410和420被結(jié)合，以形成交錯(cuò)圖片430。交錯(cuò)圖片430實(shí)際上是圖片410和420的列交錯(cuò)。針對(duì)此實(shí)施方式，假定編碼器由左到右逐行編碼交錯(cuò)圖片430。因此，當(dāng)編碼器編碼交錯(cuò)圖片430時(shí)，可以看出，當(dāng)編碼器到達(dá)標(biāo)記為R22的塊(在交錯(cuò)圖片430中圈出)時(shí)，編碼器已編碼了來(lái)自左圖片的相應(yīng)塊L22 (也在交錯(cuò)圖片430中圈出)，并具有可以在編碼R22中使用的L22的編碼。L22在交錯(cuò)圖片430中緊鄰R22的左側(cè)。L22和R22在立體圖像對(duì)中互為相應(yīng)塊，因此假定其內(nèi)容在很大程度上是重疊的。當(dāng)兩個(gè)塊具有一些共同的內(nèi)容時(shí)，內(nèi)容重疊。當(dāng)例如兩個(gè)塊包括特定的對(duì)象或背景時(shí)，即使該對(duì)象或背景不是在在各塊中完全相同的相對(duì)位置，此兩個(gè)塊也共享共同的內(nèi)容。這些相應(yīng)塊的識(shí)別是簡(jiǎn)單地基于L22和R22在兩個(gè)圖片410和420中具有相應(yīng)的位置的事實(shí)。也就是說(shuō)，假定L22和R22在其各自的圖片410和420中具有相同的(x，y)坐標(biāo)。其他實(shí)施方式基于例如視差來(lái)確定相應(yīng)塊。針對(duì)此類(lèi)基于視差的實(shí)施方式，可使用各種基于視差的度量，諸如例如立體圖像對(duì)的平均視差。在一個(gè)此類(lèi)實(shí)施方式中，圖片410的平均視差被確定為等于單塊的水平尺寸。因此，圖片410的塊L12被確定為相應(yīng)于圖片420的塊R11。注意，在此實(shí)施方式中，交錯(cuò)仍然可以如在交錯(cuò)圖片430中執(zhí)行，或者交錯(cuò)可基于視差。在一個(gè)基于視差的實(shí)施方式中，塊如在交錯(cuò)圖片430中交錯(cuò)。然而，相應(yīng)塊可能是或不是相鄰塊。在示例中，L12相應(yīng)于R11，如在交錯(cuò)圖片430中所示，該兩個(gè)塊仍相鄰。然而，如果視差等于塊的水平尺寸的兩倍，那么L13將相應(yīng)于R11，該兩個(gè)塊在交錯(cuò)圖片430中將不是相鄰塊。在另一個(gè)基于視差的實(shí)施方式中，塊基于視差交錯(cuò)。因此，如果L13相應(yīng)于RlI，那么該兩個(gè)塊交錯(cuò)，以使它們是相鄰塊。在一個(gè)此類(lèi)實(shí)施方式中，圖片410的前兩列直接插入交錯(cuò)圖片中，然后圖片410的其余列與來(lái)自圖片420的列進(jìn)行列交錯(cuò)。最后，圖片420最后剩下的列被直接插入交錯(cuò)圖片中。在各種實(shí)施方式中，塊之間的相應(yīng)關(guān)系并不完美。也就是說(shuō)，共同的內(nèi)容不是在每一相應(yīng)塊中的相同的相對(duì)位置上。例如，視差不等于塊的水平尺寸。盡管如此，仍然實(shí)現(xiàn)了編碼增益。
在其他的基于視差的實(shí)施方式中，來(lái)自各個(gè)輸入圖像的塊基于其在輸入圖像中的相對(duì)位置被交錯(cuò)。例如，圖片410的第一列后跟圖片420的第一列。然而，交錯(cuò)圖片的單個(gè)塊是通過(guò)在交錯(cuò)圖片搜索以找到好的參考來(lái)進(jìn)行幀內(nèi)編碼的。此類(lèi)搜索可識(shí)別相應(yīng)塊，而不需要實(shí)施方式在搜索之前知道視差。其他下采樣和交錯(cuò)選項(xiàng)也是可能的。仍參照?qǐng)D4，示出了實(shí)施方式，其中假定左圖片410和右圖片420已在垂直方向上按因數(shù)2進(jìn)行了下采樣，而不是如之前在上面的圖4的討論中說(shuō)明的在水平方向上。此外，垂直下采樣后的圖片410和420然后進(jìn)行行交錯(cuò)，以形成如箭頭435所示的交錯(cuò)圖片440。在編碼交錯(cuò)圖片430時(shí)，可以看出，當(dāng)編碼器到達(dá)標(biāo)記為R22的塊(在交錯(cuò)圖片440中圈出)時(shí)，編碼器已編碼了來(lái)自左圖片相應(yīng)塊L22(也在交錯(cuò)圖片440中圈出)，并具有可以在編碼R22中使用的L22的編碼。L22在交錯(cuò)圖片440中緊鄰R22的上側(cè)。在另一個(gè)實(shí)施方式中，左圖片和右圖片是以水平和垂直方向的組合進(jìn)行下采樣，以將其尺寸按組合因數(shù)2減小。如本領(lǐng)域普通技術(shù)人員所理解的，為實(shí)現(xiàn)按組合因數(shù)2的減小，在水平和垂直方向上的下采樣的各種組合都是可能的。這些下采樣后的圖片然后可以以本領(lǐng)域普通技術(shù)人員所知道的各種方式交錯(cuò)，包括行交錯(cuò)和列交錯(cuò)的組合。另一個(gè)實(shí)施方式根本不進(jìn)行下采樣，假定圖片410和420是其原始尺寸。此實(shí)施方式使用任一本領(lǐng)域已知的各種交錯(cuò)選項(xiàng)簡(jiǎn)單地結(jié)合左圖片和右圖片以產(chǎn)生大的交錯(cuò)圖片。
H.264編碼器然后對(duì)該大的交錯(cuò)圖片進(jìn)行編碼。在圖4的一個(gè)交錯(cuò)選項(xiàng)的典型實(shí)施方式中，編碼器和解碼器對(duì)交錯(cuò)圖片430和440解交錯(cuò)，以形成典型的左/右水平分割屏幕視圖的重建，如圖I的水平分割屏幕圖片174所提供。然而，在其他實(shí)施方式中，編碼器和解碼器不執(zhí)行此操作。相反，編碼器和解碼器簡(jiǎn)單地產(chǎn)生仍使左視圖和右視圖交錯(cuò)的重建交錯(cuò)圖片。編碼器使用此交錯(cuò)重建來(lái)執(zhí)行后續(xù)圖片的編碼。例如，如果P圖片使用交錯(cuò)I圖片作為參考進(jìn)行運(yùn)動(dòng)編碼，則編碼器使用交錯(cuò)I圖片以正常方式執(zhí)行對(duì)適當(dāng)運(yùn)動(dòng)矢量的搜索。以此種方式，編碼器可以確定相應(yīng)于左視圖或右視圖的塊是針對(duì)正在P圖片中編碼的當(dāng)前塊的最佳“匹配”。其他實(shí)施方式擴(kuò)大了在尋找參考圖片中的最佳“匹配”中使用的搜索窗口，以說(shuō)明在交錯(cuò)參考圖片中交錯(cuò)已將分量左圖片和右圖片的塊展開(kāi)得更遠(yuǎn)的事實(shí)。
參照?qǐng)D5，示出了在編碼兩個(gè)圖像中使用的實(shí)施方式。圖5描繪出了在編碼兩個(gè)圖像或其部分中使用的處理500。處理500包括訪問(wèn)第一圖像塊(510)。第一圖像可以是例如圖I的采樣后的左視片148，第一圖像塊可以是例如來(lái)自采樣后的左視片148的左上塊。處理500包括訪問(wèn)內(nèi)容與第一圖像塊重疊的第二圖像塊(520)。第二圖像可以是例如圖I的采樣后的右視片150。采樣后的左視片148和采樣后的右視片150兩者都從立體圖像對(duì)產(chǎn)生，因此假定在內(nèi)容上重疊。第 圖像塊可以是例如來(lái)自采樣后的右視片150的左上塊。如果采樣后的左視片148的左上塊的視差大于左上塊的水平塊尺寸，其內(nèi)容有可能不與采樣后的右視片150的左上塊的內(nèi)容重疊。如上所述，例如當(dāng)兩個(gè)塊包括共同的特征時(shí)，即使特征沒(méi)有在兩個(gè)塊中的每一個(gè)中的相同的相對(duì)位置對(duì)齊，內(nèi)容也可能會(huì)重疊。此種重疊通常發(fā)生在立體圖像對(duì)以及多視圖系統(tǒng)的獨(dú)立視圖中。無(wú)論圖像中的一個(gè)是否翻轉(zhuǎn)、旋轉(zhuǎn)、濾波或以其他方式處理，內(nèi)容都可能重疊。處理500包括對(duì)包括第一圖像塊的第一圖像的一部分和包括第二圖像塊的第二圖像的一部分進(jìn)行塊交錯(cuò)(530)。兩個(gè)部分可包括整個(gè)第一圖像和第二圖像?？商鎿Q地，兩個(gè)部分可包括少于全部的第一圖像和第二圖像。塊交錯(cuò)可以是例如如上所述的形成圖I的復(fù)合圖片152。處理500包括使用交錯(cuò)第二圖像塊作為參考對(duì)交錯(cuò)第一圖像塊進(jìn)行編碼(540)?？梢詧?zhí)行編碼，例如如上所述的使用圖I的編碼器154來(lái)編碼來(lái)自復(fù)合圖片152的塊。例如，假定列交錯(cuò)，使用塊A作為預(yù)測(cè)塊(即作為參考)編碼圖IB的塊G將導(dǎo)致第一圖像塊(塊G)被使用第二圖像塊(塊A)作為參考來(lái)編碼。參照?qǐng)D6，示出了在解碼兩個(gè)圖像中使用的實(shí)施方式。圖6描繪出了在解碼兩個(gè)圖像或其部分中使用的處理600。處理600包括訪問(wèn)圖像的編碼(610)。圖像是交錯(cuò)圖像，其中兩個(gè)圖像已基于塊進(jìn)行交錯(cuò)。兩個(gè)圖像是包括多個(gè)第一圖像塊的第一圖像和包括多個(gè)第二圖像塊的第二圖像。編碼可以是例如由上文討論的圖I的解碼塊120所接收和解碼的接收到的圖片。處理600包括解碼所訪問(wèn)的編碼的一部分(620)。該部分包括已使用第二圖像塊作為參考編碼的第一圖像塊的編碼。如上文建議的，第一圖像塊可以是來(lái)自采樣后的左視片148的左上塊。如上文建議的，第二圖像塊可以是來(lái)自采樣后的右視片150的左上塊，在此討論中假定其與來(lái)自采樣后的左視片148的左上塊具有重疊內(nèi)容?？梢杂衫缟衔挠懻摰膱DI的H. 264解碼器170執(zhí)行解碼。參照?qǐng)D7，編碼器700描繪出了可用于編碼諸如例如視頻圖像或深度圖像的圖像的編碼器的實(shí)施方式。在一個(gè)實(shí)施方式中，編碼器700被用作圖I的系統(tǒng)100中的編碼器154。編碼器700也可用于編碼數(shù)據(jù)，諸如例如提供編碼后的比特流的有關(guān)信息的元數(shù)據(jù)。編碼器700可以實(shí)施為例如視頻傳輸系統(tǒng)的一部分,視頻傳輸系統(tǒng)將關(guān)于圖9在下文進(jìn)行描述。還應(yīng)該明確的是，圖7的塊除提供了編碼器的方塊圖外，還提供了編碼處理的流程圖。輸入圖像序列到達(dá)加法器701以及位移補(bǔ)償塊720和位移估計(jì)塊718。注意，位移是指例如運(yùn)動(dòng)或視差。到加法器701的另一個(gè)輸入是通過(guò)交換器723接收到的各個(gè)可能的參考圖片信息中的一個(gè)。例如，如果與交換器723進(jìn)行信號(hào)通信的模式?jīng)Q定模塊724確定編碼模式應(yīng)該是參照來(lái)自當(dāng)前正在被編碼的同一圖片的塊的幀內(nèi)預(yù)測(cè)，則加法器701從幀內(nèi)預(yù)測(cè)模塊722接收其輸入?？商鎿Q地，如果模式?jīng)Q定模塊724確定編碼模式應(yīng)該是參照與當(dāng)前正在被編碼的圖片不同的圖片的位移補(bǔ)償和估計(jì)，則加法器701從位移補(bǔ)償模塊720接收其輸入。在各種實(shí)施方式中，幀內(nèi)預(yù)測(cè)模塊722基于作為正在被編碼的塊的相鄰塊的一個(gè)或多個(gè)塊提供了預(yù)定的預(yù)測(cè)塊。此相鄰塊可以是交錯(cuò)塊，交錯(cuò)塊來(lái)自另一個(gè)輸入圖像，諸如例如與正在被編碼的圖片形成立體圖像對(duì)的圖片。在各種實(shí)施方式中，交錯(cuò)基于(x，y)坐標(biāo)，使得塊以它們?cè)诮M成的圖片中出現(xiàn)的順序被交錯(cuò)。然而，在其他實(shí)施方式中，交錯(cuò)基于視差，使得內(nèi)容相應(yīng)的塊盡可能相互相鄰交錯(cuò)，不管這些塊是位于其組成的圖片的何處。一個(gè)特定的實(shí)施方式通過(guò)編碼單個(gè)值提供了此概念的實(shí)際使用，該單個(gè)值指定了在交錯(cuò)之前在左圖片和右圖片之間的整數(shù)個(gè)移位塊。這允許在編碼器處的平均視差測(cè)量來(lái)指導(dǎo)交錯(cuò)，在流中編碼花費(fèi)很少，并且允許在顯示之前在解碼器處進(jìn)行容易的塊解擾。
在各種實(shí)施方式中，幀內(nèi)預(yù)測(cè)模塊722通過(guò)在正在被編碼的圖片內(nèi)搜索最佳參考?jí)K而提供預(yù)測(cè)塊(參考)。更具體地說(shuō)，若干此類(lèi)實(shí)施方式在已編碼的當(dāng)前圖片的那些部分的重建內(nèi)搜索。在一些實(shí)施方式中，搜索限于位于現(xiàn)有的塊邊界上的塊。然而，在其他實(shí)施方式中，搜索允許搜索塊，不管那些塊是否越過(guò)現(xiàn)有的塊邊界。由于搜索，此類(lèi)實(shí)施方式往往比僅僅使用預(yù)定的鄰近塊作為參考更時(shí)間密集和處理器密集。然而，此類(lèi)實(shí)施方式通常提供了找到給定塊的更好預(yù)測(cè)的優(yōu)勢(shì)。此類(lèi)實(shí)施方式通常還提供了在無(wú)需知道視差的情況下找到相應(yīng)立體圖像塊或相應(yīng)多視像塊的優(yōu)勢(shì)。
此類(lèi)實(shí)施方式可導(dǎo)致最佳估計(jì)幀內(nèi)預(yù)測(cè)塊。此外，在各種實(shí)施方式中，參考?jí)K的邊界能夠位于亞像素的邊界上，參考的恢復(fù)涉及內(nèi)插步驟以還原在解碼過(guò)程中被用作參考的實(shí)際塊。取決于圖片的內(nèi)容，與使用相鄰塊作為參考相比，此類(lèi)亞像素內(nèi)插實(shí)施方式可提高壓縮效率。加法器701提供信號(hào)給變換模塊702，其配置為變換其輸入信號(hào)并將變換后的信號(hào)提供給量化模塊704。量化模塊704配置為對(duì)其接收到的信號(hào)執(zhí)行量化和將量化后的信息輸出給熵編碼器705。熵編碼器705配置為對(duì)其輸入信號(hào)執(zhí)行熵編碼以產(chǎn)生比特流。反量化模塊706配置為從量化模塊704接收量化后的信號(hào)并對(duì)量化后的信號(hào)執(zhí)行反量化。接著，反變換模塊708配置為從反量化模塊706接收反量化后的信號(hào)并對(duì)其接收到的信號(hào)執(zhí)行反變換。反變換模塊708的輸出是從加法器701輸出的信號(hào)的重建。加法器(更一般地被稱(chēng)為組合器)709將從反變換模塊708和交換器723接收到的信號(hào)相加(組合)，并將產(chǎn)生的信號(hào)輸出到幀內(nèi)預(yù)測(cè)模塊722和環(huán)路濾波器710。產(chǎn)生的信號(hào)是輸入到編碼器700的圖像序列信號(hào)的重建。如上文所討論，幀內(nèi)預(yù)測(cè)模塊722使用其接收到的信號(hào)執(zhí)行幀內(nèi)預(yù)測(cè)。同樣地，環(huán)路濾波器710對(duì)從加法器709接收到的信號(hào)濾波并將濾波后的信號(hào)提供給參考緩沖器712。參考緩沖器712將圖像信息提供給位移估計(jì)和補(bǔ)償模塊718和720。元數(shù)據(jù)可以被加到編碼器700作為編碼后的元數(shù)據(jù)，并與來(lái)自熵編碼器705的輸出比特流結(jié)合。可替換地，例如，未編碼的元數(shù)據(jù)可隨著量化后的圖像序列輸入到熵編碼器705進(jìn)行熵編碼。
數(shù)據(jù)還由模式?jīng)Q定模塊724提供給輸出比特流。模式?jīng)Q定模塊724將指示用于編碼給定塊的模式的信息提供給比特流。此類(lèi)信息常常包括參考?jí)K的位置的指示。例如，在使用幀內(nèi)預(yù)測(cè)和執(zhí)行當(dāng)前圖片的搜索以找到參考?jí)K的各種實(shí)施方式中，模式?jīng)Q定模塊724使用視差矢量指示參考位置。視差矢量信息可由幀內(nèi)預(yù)測(cè)模塊722提供給模式?jīng)Q定模塊724。如下文進(jìn)一步所述，視差矢量信息可使用相鄰宏塊的視差矢量作為參考而以不同方式進(jìn)行編碼。此外，圖片的視差矢量可分組并額外編碼以去除熵，因?yàn)樵谝暡钍噶恐锌赡苡锌臻g相似性。參照?qǐng)D8，解碼器800描繪了可用于解碼圖像并將它們提供給例如顯示裝置的解碼器的實(shí)施方式。解碼器800也可用于解碼例如提供解碼后的比特流的有關(guān)信息的元數(shù)據(jù)。在一個(gè)實(shí)施方式中，解碼器800被用作圖I的系統(tǒng)100中的解碼器156和/或解碼器170。此外，解碼器800可以實(shí)施為例如視頻接收系統(tǒng)的一部分，視頻接收系統(tǒng)將關(guān)于圖10在下文進(jìn)行描述。還應(yīng)該明確的是，圖8的塊除提供了解碼器的方塊圖外，還提供了解碼處理的流程圖。 解碼器800配置為使用比特流接收器802接收比特流。比特流接收器802與比特流解析器804進(jìn)行信號(hào)通信并將比特流提供給比特流解析器804。比特流解析器804配置為將殘留比特流傳輸給熵解碼器806、將控制句法元素傳輸給模式選擇模塊816以及將位移(運(yùn)動(dòng)/視差)矢量信息傳輸給位移補(bǔ)償模塊826和中貞內(nèi)預(yù)測(cè)模塊818。位移矢量信息可以是例如運(yùn)動(dòng)矢量信息或視差矢量信息。運(yùn)動(dòng)矢量信息通常用于幀間預(yù)測(cè)以指示與前一圖像的相對(duì)運(yùn)動(dòng)。視差矢量信息通常用于(i)幀間預(yù)測(cè)，以指示對(duì)于獨(dú)立圖像的視差；或(ii)幀內(nèi)預(yù)測(cè)，以指示對(duì)于相同的圖像的一部分的視差。如在本領(lǐng)域中所已知，視差通常指示兩個(gè)圖像之間的相對(duì)偏移或位移。視差也可以用來(lái)指示在圖像的兩部分之間的相對(duì)偏移或位移。反量化模塊808對(duì)從熵解碼器806接收到的熵解碼后的信號(hào)執(zhí)行反量化。此外，反變換模塊810配置為對(duì)從反量化模塊808接收到的反量化后的信號(hào)執(zhí)行反變換并將反變換后的信號(hào)輸出到加法器(也稱(chēng)為合并器)812。取決于采用的解碼模式，加法器812能夠接收多種其他信號(hào)中的一種。例如，模式?jīng)Q定模塊816能夠通過(guò)解析和分析控制句法元素來(lái)確定編碼器對(duì)當(dāng)前處理的塊執(zhí)行了位移補(bǔ)償還是幀內(nèi)預(yù)測(cè)編碼。根據(jù)確定的模式，模式選擇控制模塊816能夠基于控制句法元素訪問(wèn)和控制交換器817，使得加法器812能夠從位移補(bǔ)償模塊826或幀內(nèi)預(yù)測(cè)模塊818接收信號(hào)。在這里，幀內(nèi)預(yù)測(cè)模塊818配置為執(zhí)行幀內(nèi)預(yù)測(cè)，以使用當(dāng)前正在被解碼的相同的圖片作為參考對(duì)塊進(jìn)行解碼。接著，位移補(bǔ)償模塊826配置為執(zhí)行位移補(bǔ)償，以使用另一個(gè)先前處理的、與當(dāng)前正在被解碼的圖片不同的圖片的塊作為參考對(duì)塊進(jìn)行解碼。此外，各種實(shí)施方式的幀內(nèi)預(yù)測(cè)模塊818從比特流解析器804接收視差矢量信息，該視差矢量信息識(shí)別在幀內(nèi)預(yù)測(cè)中使用的參考?jí)K的位置。在此類(lèi)實(shí)施方式中，塊通常已按搜索正在被編碼的圖片以找到參考的幀內(nèi)編碼模式被編碼。這與(例如)使用來(lái)自正在被編碼的圖片的一個(gè)或多個(gè)預(yù)定塊來(lái)產(chǎn)生預(yù)測(cè)塊相反。在接收預(yù)測(cè)或補(bǔ)償信息信號(hào)后，加法器812將預(yù)測(cè)或補(bǔ)償信息信號(hào)與反變換后的信號(hào)相加，以供傳輸?shù)街T如例如濾掉塊偽影的去塊濾波器的環(huán)路濾波器814。加法器812還將相加后的信號(hào)輸出到幀內(nèi)預(yù)測(cè)模塊818，以供幀內(nèi)預(yù)測(cè)使用。環(huán)路濾波器814配置為濾波其輸入信號(hào)并輸出解碼后的圖片。此外，環(huán)路濾波器814將濾波后的信號(hào)提供給參考緩沖器820。參考緩沖器820配置為解析其接收到的信號(hào)以允許并輔助位移補(bǔ)償模塊826的位移補(bǔ)償解碼，參考緩沖器820向位移補(bǔ)償模塊826提供解析后的信號(hào)。此類(lèi)解析后的信號(hào)可以是例如可能已被用作參考的各個(gè)圖片的全部或部分。元數(shù)據(jù)可以包括在提供給比特流接收器802的比特流中。元數(shù)據(jù)可用比特流解析器804解析并用熵解碼器806解碼。使用輸出(未示出)進(jìn)行熵解碼后，可從解碼器800提取解碼后的元數(shù)據(jù)?，F(xiàn)在參照?qǐng)D9，示出了上文所述的特征和原理可以適用的視頻傳輸系統(tǒng)/設(shè)備900。視頻傳輸系統(tǒng)900可以是例如前端(head-end)系統(tǒng)或傳輸系統(tǒng),用于使用諸如例如衛(wèi)星、電纜、電話線或地面廣播的多種介質(zhì)中的任何一個(gè)傳輸信號(hào)。傳輸可通過(guò)互聯(lián)網(wǎng)或一 些其他網(wǎng)絡(luò)提供。視頻傳輸系統(tǒng)900能夠產(chǎn)生和遞送例如視頻內(nèi)容和諸如例如的深度指示符的其他內(nèi)容，深度指示符包括例如深度和/或視差值。還應(yīng)明確的是，圖9的塊除提供了視頻傳輸系統(tǒng)/設(shè)備的方塊圖外，還提供了視頻傳輸處理的流程圖。視頻傳輸系統(tǒng)900接收來(lái)自處理裝置901的輸入視頻。在一個(gè)實(shí)施方式中，處理裝置901簡(jiǎn)單地提供諸如左視片140和右視片142的原始尺寸的圖像給視頻傳輸系統(tǒng)900。然而，在另一個(gè)實(shí)施方式中，處理裝置901是處理器，配置為針對(duì)系統(tǒng)100關(guān)于采樣器144和采樣器146的操作以及產(chǎn)生復(fù)合圖片152的交錯(cuò)執(zhí)行如上文所述的下采樣和交錯(cuò)。處理裝置901的各種實(shí)施方式包括，例如實(shí)施了圖5的處理500的操作510、520和530的處理裝置。處理裝置901還可以向視頻傳輸系統(tǒng)900提供元數(shù)據(jù)，該元數(shù)據(jù)指示輸入圖片是否被交錯(cuò)和/或提供描述交錯(cuò)的各種參數(shù)。此類(lèi)參數(shù)包括例如交錯(cuò)圖片數(shù)、每一張圖片的轉(zhuǎn)換率、每一張圖片的轉(zhuǎn)換類(lèi)型(例如，水平采樣或垂直采樣)或交錯(cuò)模式(例如，行交錯(cuò)或列交錯(cuò))。視頻傳輸系統(tǒng)900包括編碼器902和能夠傳輸編碼后的信號(hào)的傳輸器904。編碼器902從處理器901接收視頻信息。視頻信息可包括例如圖像和深度指示符。編碼器902基于視頻信息生成編碼后的信號(hào)。編碼器902可以是例如編碼塊110、編碼器154或編碼器700。編碼器902可包括子模塊，包括例如用于接收各種信息并將其組裝成結(jié)構(gòu)化的格式以供存儲(chǔ)或傳輸?shù)难b配單元。各種信息可包括例如編碼后的或未編碼的視頻、編碼后或未編碼的深度指示符和/或信息以及編碼后的或未編碼的元素(諸如，例如運(yùn)動(dòng)矢量、編碼模式指示符和句法元素)。在一些實(shí)施方式中，編碼器902包括處理器901，因此執(zhí)行處理器901的操作。傳輸器904從編碼器902接收編碼后的信號(hào)并在一個(gè)或多個(gè)輸出比特流中傳輸編碼后的信號(hào)。傳輸器904可以例如適應(yīng)為傳輸節(jié)目信號(hào)，該節(jié)目信號(hào)具有表示編碼后的圖片和/或與之相關(guān)的信息的一個(gè)或多個(gè)比特流。典型的傳輸器執(zhí)行諸如例如提供糾錯(cuò)編碼、對(duì)信號(hào)中的數(shù)據(jù)進(jìn)行交錯(cuò)、將信號(hào)中的能量隨機(jī)化、使用調(diào)制器906將信號(hào)調(diào)制到一個(gè)或多個(gè)載波上中的一個(gè)或多個(gè)功能。傳輸器904可包括天線(未示出)或與其以接口聯(lián)接。此外，傳輸器904的實(shí)施方式可能是限于調(diào)制器906。
現(xiàn)在參照?qǐng)D10，示出了上文所述的特征和原理可以適用的視頻接收系統(tǒng)/設(shè)備1000。視頻接收系統(tǒng)1000可配置為通過(guò)諸如例如衛(wèi)星、電纜、電話線或地面廣播的多種介質(zhì)接收信號(hào)。信號(hào)可通過(guò)互聯(lián)網(wǎng)或一些其他網(wǎng)絡(luò)接收。還應(yīng)明確的是，圖10的塊除提供了視頻接收系統(tǒng)/設(shè)備的方塊圖外，還提供了視頻接收處理的流程圖。視頻接收系統(tǒng)1000可以是例如手機(jī)、計(jì)算機(jī)、機(jī)頂盒、電視或接收編碼后的視頻并提供例如解碼后的視頻顯示給用戶以供處理或存儲(chǔ)的其他裝置。因此，視頻接收系統(tǒng)1000可將其輸出提供給例如電視屏幕、計(jì)算機(jī)顯示器、計(jì)算機(jī)(用于存儲(chǔ)、處理或顯示)或一些其他存儲(chǔ)、處理或顯示裝置。視頻接收系統(tǒng)1000能夠接收和處理包括視頻信息的視頻內(nèi)容。視頻接收系統(tǒng)1000包括接收編碼后的信號(hào)(諸如例如在本申請(qǐng)的實(shí)施方式中所描述的信號(hào))的接收器1002。接收器1002可接收例如向圖I的解碼塊120提供接收到的圖片的信號(hào)、承載來(lái)自圖 7的編碼器700的比特流的信號(hào)、或者從圖9的視頻傳輸系統(tǒng)900輸出的信號(hào)。接收器1002可以例如適應(yīng)為接收節(jié)目信號(hào)，該節(jié)目信號(hào)具有表示編碼后的圖片的多個(gè)比特流。典型的接收器執(zhí)行諸如例如接收調(diào)制和編碼后的數(shù)據(jù)信號(hào)、使用解調(diào)器1004解調(diào)來(lái)自一個(gè)或多個(gè)載波的數(shù)據(jù)信號(hào)、將信號(hào)中的能量去隨機(jī)化、對(duì)信號(hào)中的數(shù)據(jù)解交錯(cuò)、糾錯(cuò)解碼信號(hào)中的一個(gè)或多個(gè)功能。接收器1002可包括天線(未示出)或與其以接口聯(lián)接。接收器1002的實(shí)施方式可限于解調(diào)器1004。視頻接收系統(tǒng)1000包括解碼器1006。接收器1002將接收到的信號(hào)提供給解碼器1006。解碼器1006輸出解碼后的信號(hào)(諸如例如包括視頻信息的解碼后的視頻信號(hào))。解碼器1006可以是例如圖I的系統(tǒng)100的解碼器156或解碼器170或圖8的解碼器800。在一個(gè)實(shí)施方式中，將來(lái)自解碼器1006的視頻輸出提供給處理裝置1008。在一個(gè)實(shí)施方式中，處理裝置1008是處理器，配置為針對(duì)系統(tǒng)100關(guān)于產(chǎn)生水平分割屏幕圖片174的解交錯(cuò)以及采樣器180和采樣器182的操作執(zhí)行如上文所述的解交錯(cuò)和上采樣。在一些實(shí)施方式中，解碼器1006包括處理器1008并因此執(zhí)行處理器1008的操作。在其他實(shí)施方式中，處理器1008是諸如例如機(jī)頂盒或電視的下游裝置的一部分。因此，提供了具有特定特征和方面的一個(gè)或多個(gè)實(shí)施方式。然而，所描述的實(shí)施方式的特征和方面可能還適用于其他實(shí)施方式。-例如，上述特征、方面和實(shí)施方式可應(yīng)用于或適應(yīng)于不局限于左/右立體系統(tǒng)的其他系統(tǒng)。一個(gè)此類(lèi)實(shí)施方式將視頻圖像和其相應(yīng)深度圖片交錯(cuò)。另一個(gè)此類(lèi)實(shí)施方式將來(lái)自不一定與左視圖和右視圖有關(guān)的多視圖系統(tǒng)的兩個(gè)或兩個(gè)以上不同的視圖交錯(cuò)。-作為另一個(gè)示例，上述實(shí)施方式一般性地描述了宏塊級(jí)交錯(cuò)。然而，在其他實(shí)施方式中，在其他等級(jí)上執(zhí)行交錯(cuò)。此類(lèi)其他級(jí)包括例如場(chǎng)等級(jí)、分片(slice)等級(jí)和分區(qū)等級(jí)。-作為另一個(gè)示例，這些實(shí)施方式和特征可用于編碼視頻和/或編碼其他類(lèi)型的數(shù)據(jù)的上下文。此外，這些實(shí)施方式和特征可用于或適應(yīng)用于標(biāo)準(zhǔn)的上下文。此類(lèi)標(biāo)準(zhǔn)包括例如AVC、針對(duì)多視圖編碼(MVC)的AVC擴(kuò)展、針對(duì)可伸縮視頻編碼(SVC)的AVC擴(kuò)展、針對(duì)3-D視頻編碼(3DV)和針對(duì)高性能視頻編碼(HVC)的任何建議的MPEG/JVT標(biāo)準(zhǔn)，但也可使用(現(xiàn)有的或?qū)?lái)的)其他標(biāo)準(zhǔn)。當(dāng)然，實(shí)施方式和特征不需要在標(biāo)準(zhǔn)中使用。各種實(shí)施方式涉及“圖像”和/或“圖片”。在本文中，術(shù)語(yǔ)“圖像”和“圖片”通篇交替使用，旨為廣義上的術(shù)語(yǔ)?！皥D像”或“圖片”可以是，例如一個(gè)幀或一個(gè)場(chǎng)的全部或部分。術(shù)語(yǔ)“視頻”是指圖像(或圖片)的序列。圖像或圖片可包括例如各種視頻組分中的任意一個(gè)或它們的組合。此類(lèi)組分或它們的組合包括例如亮度、色度、(YUV或YCbCr或YPbPr中的)Y、(YUV 中的)U、(YUV 中的)V、(YCbCr 中的)Cb、(YCbCr 中的)Cr、(YPbPr 中的)Pb、(YPbPr中的)Pr、(RGB中的)紅、(RGB中的)綠、(RGB中的)藍(lán)、S-視頻以及任何這些組分的負(fù)或正?！皥D像”或“圖片”也可以指或者可替代地指各種不同類(lèi)型的內(nèi)容，包括例如典型的二維視頻、2D視頻圖像的視差圖、相應(yīng)于2D視頻圖片的深度圖或邊緣圖。此外，本申請(qǐng)或其權(quán)利要求可指“確定”各種信息。確定信息可包括例如估計(jì)信息、計(jì)算信息、預(yù)測(cè)信息、識(shí)別信息或從存儲(chǔ)器中檢索信息中的一個(gè)或多個(gè)。應(yīng)理解的是，例如在“A/B”、“A和/或B”以及“A和B中的至少一個(gè)”的情況下使用下面的和/或”以及“至少一個(gè)”旨在包括選擇第一列舉選項(xiàng)(A)而不選擇第二列舉選項(xiàng)(B)、選擇第二列舉選項(xiàng)(B)而不選擇第一列舉選項(xiàng)(A)、或選擇兩個(gè)選項(xiàng)(A和B)。作為一個(gè)進(jìn)一步的示例，在“A、B和/或C”、“A、B和C中的至少一個(gè)”和“A、B或C中的至少 一個(gè)”的情況下，此類(lèi)措辭旨在包括選擇第一列舉選項(xiàng)(A)而不選擇第二列舉選項(xiàng)⑶和第三列舉選項(xiàng)(C)、選擇第二列舉選項(xiàng)(B)而不選擇第一列舉選項(xiàng)(A)和第三列舉選項(xiàng)(C)、選擇第三列舉選項(xiàng)(C)而不選擇第一列舉選項(xiàng)(A)和第二列舉選項(xiàng)(B)、選擇第一列舉選項(xiàng)(A)和第二列舉選項(xiàng)(B)而不選擇第三列舉選項(xiàng)(C)、選擇第一列舉選項(xiàng)(A)和第三列舉選項(xiàng)(C)而不選擇第二列舉選項(xiàng)(B)、選擇第二列舉選項(xiàng)(B)和第三列舉選項(xiàng)(C)而不選擇第一列舉選項(xiàng)(A)、或者選擇所有三個(gè)選項(xiàng)(A、B和C)。對(duì)于本領(lǐng)域及相關(guān)領(lǐng)域的普通技術(shù)人員將顯而易見(jiàn)的，此情況可以延伸為任意尺寸的列舉。注意，在本段中討論的措辭不是為了限制選擇，以便不包括未列舉的元素。例如，“A和/或B”不排除選擇“A”和“C”。參照本原理的“一個(gè)實(shí)施例”或“一實(shí)施例”或“一個(gè)實(shí)施方式”或“一實(shí)施方式”及其變形是指結(jié)合實(shí)施例說(shuō)明的一個(gè)特定的特征、結(jié)構(gòu)、特點(diǎn)等被包括在本原理的至少一個(gè)實(shí)施例中。因此，整個(gè)說(shuō)明書(shū)的各個(gè)地方出現(xiàn)的短語(yǔ)“在一個(gè)實(shí)施例中”或“在一實(shí)施例中”或“在一個(gè)實(shí)施方式中”或“在一實(shí)施方式中”及其任何其他變形并不一定都是指相同的實(shí)施例。此外，這些短語(yǔ)(例如，“在一個(gè)實(shí)施例中”)并不旨在指示只有一個(gè)可能的實(shí)施例，而是要注意正在討論一個(gè)特定的實(shí)施例的事實(shí)。本文所述的實(shí)施方式可以用例如方法或處理、設(shè)備、軟件程序、數(shù)據(jù)流或信號(hào)實(shí)施。即使是只在單一形式的實(shí)施方式(例如，只作為方法討論)的上下文中討論，所討論的特征的實(shí)施方式也可以其他形式(例如，設(shè)備或程序)實(shí)施。一種設(shè)備可在例如合適的硬件、軟件和/或固件中實(shí)施。方法可以在例如一種諸如例如處理器的設(shè)備中實(shí)施，處理器是指一般的處理裝置，包括例如計(jì)算機(jī)、微處理器、集成電路或可編程邏輯裝置。處理器還包括通信裝置，諸如例如計(jì)算機(jī)、手機(jī)、便攜/個(gè)人數(shù)字助理(“PDA”)和方便終端用戶或裝置之間的信息通信的其他裝置。本文所述的各種處理和特征的實(shí)施方式可在各種不同的設(shè)備或應(yīng)用中實(shí)現(xiàn)，特別是在例如與數(shù)據(jù)編碼和解碼相關(guān)聯(lián)的設(shè)備或應(yīng)用中。這類(lèi)設(shè)備的示例包括編碼器、解碼器、處理來(lái)自解碼器的輸出的后處理器、給編碼器提供輸入的預(yù)處理器、視頻編碼器、視頻解碼器、視頻編解碼器、網(wǎng)頁(yè)服務(wù)器、機(jī)頂盒、筆記本計(jì)算機(jī)、個(gè)人計(jì)算機(jī)、手機(jī)、PDA和其他通信裝置。應(yīng)當(dāng)明確的是，設(shè)備可以是移動(dòng)的，甚至可安裝在移動(dòng)車(chē)輛上。
此外，本方法可用由處理器執(zhí)行的指令來(lái)實(shí)施，這些指令(和/或?qū)嵤┓绞疆a(chǎn)生的數(shù)據(jù)值)可以存儲(chǔ)在諸如例如集成電路、軟件載體或其他存儲(chǔ)裝置的處理器可讀介質(zhì)中，其他存儲(chǔ)裝置諸如例如硬盤(pán)、壓縮盤(pán)、隨機(jī)存取存儲(chǔ)器(“RAM”)或只讀存儲(chǔ)器(“ROM”)的。指令可以形成在處理器可讀介質(zhì)上有形實(shí)現(xiàn)的應(yīng)用程序。指令可以例如在硬件、固件、軟件或組合中。指令可以在例如操作系統(tǒng)、獨(dú)立應(yīng)用或二者的組合中發(fā)現(xiàn)。因此，處理器可以特征化為，例如既是配置為執(zhí)行處理的裝置，又是包括具有執(zhí)行處理的指令的處理器可讀介質(zhì)(諸如存儲(chǔ)裝置)的裝置。此外，處理器可讀介質(zhì)在指令之外還存儲(chǔ)實(shí)施方式產(chǎn)生的數(shù)據(jù)值，或存儲(chǔ)實(shí)施方式產(chǎn)生的數(shù)據(jù)值來(lái)代替指令。對(duì)本領(lǐng)域的技術(shù)人員將是顯而易見(jiàn)的是，實(shí)施方式可產(chǎn)生各種信號(hào)，其格式化以攜帶例如存儲(chǔ)或傳輸?shù)男畔?。信息可包括例如?zhí)行方法的指令或由所描述的實(shí)施方式之一產(chǎn)生的數(shù)據(jù)。此信號(hào)可能被格式化為例如電磁波(例如，使用頻譜的無(wú)線電頻率部分)或基帶信號(hào)。格式化可包括例如編碼數(shù)據(jù)流和用編碼后的數(shù)據(jù)流調(diào)制載波。信號(hào)所攜帶的信息可以是，例如模擬或數(shù)字信息。如已知，信號(hào)可以經(jīng)過(guò)各種不同的有線或無(wú)線鏈路傳輸。 信號(hào)可存儲(chǔ)在處理器可讀介質(zhì)上。已描述了很多實(shí)施方式。然而，將會(huì)理解的是，可做出各種修改。例如，不同的實(shí)施方式的元素可以結(jié)合、補(bǔ)充、修改或去除，以產(chǎn)生其他實(shí)施方式。此外，普通技術(shù)人員將理解，其他結(jié)構(gòu)和處理可取代公開(kāi)的實(shí)施方式，生成的實(shí)施方式將以至少大體上相同的方式執(zhí)行至少大體上相同的功能，以實(shí)現(xiàn)至少大體上相同的結(jié)果。因此，這些和其他實(shí)施方式被本公開(kāi)考慮到并且在本公開(kāi)的范圍之內(nèi)。
權(quán)利要求
1.一種方法，包括 訪問(wèn)包括多個(gè)塊的第一圖像，所述第一圖像的多個(gè)塊包括第一圖像塊； 訪問(wèn)包括多個(gè)塊的第二圖像，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 以塊為基礎(chǔ)交錯(cuò)所述第一圖像的多個(gè)塊和所述第二圖像的多個(gè)塊以形成交錯(cuò)圖像；通過(guò)使用所述第二圖像塊作為參考編碼所述第一圖像塊來(lái)編碼所述交錯(cuò)圖像的至少一部分；和 提供編碼后的第一圖像塊以供傳輸或存儲(chǔ)。
2.如權(quán)利要求I所述的方法，其中所述第一圖像和所述第二圖像形成了一個(gè)立體圖像對(duì)。
3.如權(quán)利要求I所述的方法，其中所述第一圖像和所述第二圖像是多視圖系統(tǒng)的兩個(gè)單獨(dú)的視圖。
4.如權(quán)利要求1-3中任一所述的方法，其中所述第一圖像塊是(i)分區(qū)，(ii)宏塊， iii)分片，或Qv)場(chǎng)。
5.如權(quán)利要求1-4中任一所述的方法，其中所述編碼包括H.264編碼。
6.如權(quán)利要求5所述的方法，其中所述H.264編碼包括使用H. 264幀內(nèi)編碼模式來(lái)編碼。
7.如權(quán)利要求1-6中任一所述的方法，其中編碼所述第一圖像塊包括基于所述第一圖像塊的視差值識(shí)別所述第二圖像塊。
8.如權(quán)利要求1-7中任一所述的方法，其中交錯(cuò)包括基于所述第一圖像和所述第二圖像中的相對(duì)位置交錯(cuò)塊。
9.如權(quán)利要求1-7中任一所述的方法，其中交錯(cuò)包括基于在述第一圖像中的多個(gè)塊的視差值交錯(cuò)塊。
10.如權(quán)利要求1-9中任一所述的方法，其中所述第一圖像塊和所述第二圖像塊是所述交錯(cuò)圖像中的相鄰塊。
11.如權(quán)利要求1-9中任一所述的方法，其中所述第一圖像塊和所述第二圖像塊是所述交錯(cuò)圖像中的非相鄰塊。
12.如權(quán)利要求1-11中任一所述的方法，其中所述第一圖像塊和所述第二圖像塊是以包括一個(gè)或多個(gè)水平交錯(cuò)或垂直交錯(cuò)的方式被交錯(cuò)的。
13.如權(quán)利要求1-12中任一所述的方法，其中所述第一圖像是原始第一圖像的下采樣后的版本。
14.如權(quán)利要求13所述的方法，還包括下采樣所述原始第一圖像以產(chǎn)生所述第一圖像。
15.一種包括一個(gè)或多個(gè)處理器的設(shè)備，一個(gè)或多個(gè)處理器整體配置為執(zhí)行 訪問(wèn)包括多個(gè)塊的第一圖像，所述第一圖像的多個(gè)塊包括第一圖像塊； 訪問(wèn)包括多個(gè)塊的第二圖像，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 以塊為基礎(chǔ)交錯(cuò)所述第一圖像的多個(gè)塊和所述第二圖像的多個(gè)塊以形成交錯(cuò)圖像； 通過(guò)使用所述第二圖像塊作為參考編碼所述第一圖像塊來(lái)編碼所述交錯(cuò)圖像的至少一部分； 提供編碼后的第一圖像塊以供傳輸或存儲(chǔ)。
16.如權(quán)利要求15所述的設(shè)備，還包括存儲(chǔ)編碼后的第一圖像塊的存儲(chǔ)器。
17.—種設(shè)備,包括 用于訪問(wèn)包括多個(gè)塊的第一圖像的裝置，所述第一圖像的多個(gè)塊包括第一圖像塊；用于訪問(wèn)包括多個(gè)塊的第二圖像的裝置，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 用于以塊為基礎(chǔ)交錯(cuò)所述第一圖像的多個(gè)塊和所述第二圖像的多個(gè)塊以形成交錯(cuò)圖像的裝置； 用于通過(guò)使用所述第二圖像塊作為參考編碼所述第一圖像塊來(lái)編碼所述交錯(cuò)圖像的 至少一部分的裝置；和 用于提供編碼后的第一圖像塊以供傳輸或存儲(chǔ)的裝置。
18.—種處理器可讀介質(zhì)，其上存儲(chǔ)了導(dǎo)致一個(gè)或多個(gè)處理器整體執(zhí)行如下操作的指令 訪問(wèn)包括多個(gè)塊的第一圖像，所述第一圖像的多個(gè)塊包括第一圖像塊； 訪問(wèn)包括多個(gè)塊的第二圖像，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 以塊為基礎(chǔ)交錯(cuò)所述第一圖像的多個(gè)塊和所述第二圖像的多個(gè)塊以形成交錯(cuò)圖像；通過(guò)使用所述第二圖像塊作為參考編碼所述第一圖像塊來(lái)編碼所述交錯(cuò)圖像的至少一部分；和 提供編碼后的第一圖像塊以供傳輸或存儲(chǔ)。
19.一種設(shè)備,包括 一個(gè)或多個(gè)處理器，其整體配置為 訪問(wèn)包括多個(gè)塊的第一圖像，所述第一圖像的多個(gè)塊包括第一圖像塊； 訪問(wèn)包括多個(gè)塊的第二圖像，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊；和 以塊為基礎(chǔ)交錯(cuò)所述第一圖像的多個(gè)塊和所述第二圖像的多個(gè)塊以形成交錯(cuò)圖像；以及 編碼器，用于 通過(guò)使用所述第二圖像塊作為參考編碼所述第一圖像塊來(lái)編碼所述交錯(cuò)圖像的至少一部分； 提供編碼后的第一圖像塊以供傳輸或存儲(chǔ)。
20.—種設(shè)備,包括 一個(gè)或多個(gè)處理器，其整體配置為 訪問(wèn)包括多個(gè)塊的第一圖像，所述第一圖像的多個(gè)塊包括第一圖像塊； 訪問(wèn)包括多個(gè)塊的第二圖像，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊；和 以塊為基礎(chǔ)交錯(cuò)所述第一圖像的多個(gè)塊和所述第二圖像的多個(gè)塊以形成交錯(cuò)圖像； 編碼器，用于通過(guò)使用所述第二圖像塊作為參考編碼所述第一圖像塊來(lái)編碼所述交錯(cuò)圖像的至少一部分；以及 調(diào)制器，用于用編碼后的第一圖像塊調(diào)制信號(hào)。
21.一種格式化為包括信息的視頻信號(hào)，所述視頻信號(hào)包括 用于第一圖像的多個(gè)塊和第二圖像的多個(gè)塊的基于塊的交錯(cuò)的編碼的一個(gè)或多個(gè)圖片部分，所述第一圖像的多個(gè)塊包括第一圖像塊，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊，其中所述第一圖像塊的編碼使用所述第二圖像塊作為參考。
22.一種視頻信號(hào)結(jié)構(gòu)，包括 用于第一圖像的多個(gè)塊和第二圖像的多個(gè)塊的基于塊的交錯(cuò)的編碼的一個(gè)或多個(gè)圖片部分，所述第一圖像的多個(gè)塊包括第一圖像塊，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊，其中所述第一圖像塊的編碼使用所述第二圖像塊作 為參考。
23.一種處理器可讀介質(zhì)，其上存儲(chǔ)了視頻信號(hào)結(jié)構(gòu)，包括 用于第一圖像的多個(gè)塊和第二圖像的多個(gè)塊的基于塊的交錯(cuò)的編碼的一個(gè)或多個(gè)圖片部分，所述第一圖像的多個(gè)塊包括第一圖像塊，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊，其中所述第一圖像塊的編碼使用所述第二圖像塊作為參考。
24.—種方法,包括 訪問(wèn)編碼后的圖像，所述編碼后的圖像是第一圖像的多個(gè)塊和第二圖像的多個(gè)塊的基于塊的交錯(cuò)的編碼，所述第一圖像的多個(gè)塊包括第一圖像塊，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 解碼使用所述第二圖像塊作為參考編碼所述第一圖像塊的編碼后的圖像的一部分；和 提供解碼后的部分以供處理或顯示。
25.如權(quán)利要求24所述的方法還包括 對(duì)編碼后的圖像解碼，以產(chǎn)生包括解碼后的部分的解碼后的圖像； 對(duì)編碼后的圖像解交錯(cuò)，以產(chǎn)生包括至少所述第一圖像的重建和所述第二圖像的重建的解交錯(cuò)后的圖像。
26.如權(quán)利要求25所述的方法，進(jìn)一步包括上采樣解交錯(cuò)后的圖像，以產(chǎn)生上采樣后的圖像。
27.如權(quán)利要求26所述的方法，進(jìn)一步包括交錯(cuò)上采樣后的圖像，以產(chǎn)生重新交錯(cuò)后的圖像以供3D顯示。
28.如權(quán)利要求24-27中任一所述的方法，其中所述第一圖像和所述第二圖像形成了一個(gè)立體圖像對(duì)。
29.如權(quán)利要求24-26中任一所述的方法，其中所述第一圖像和所述第二圖像是多視圖系統(tǒng)的兩個(gè)單獨(dú)的視圖。
30.如權(quán)利要求24-29中任一所述的方法，其中所述第一圖像塊是(i)分區(qū)，(ii)宏塊，(iii)分片，或Qv)場(chǎng)。
31.如權(quán)利要求24-30中任一所述的方法，其中所述解碼包括H.264解碼。
32.如權(quán)利要求31所述的方法，其中所述H.264解碼包括使用H. 264幀內(nèi)解碼模式來(lái)解碼。
33.如權(quán)利要求24-32中任一所述的方法，其中解碼所述第一圖像塊包括基于所述第一圖像塊的視差值識(shí)別所述第二圖像塊。
34.如權(quán)利要求24-33中任一所述的方法，其中所述基于塊的交錯(cuò)包括基于所述第一圖像和所述第二圖像中的相對(duì)位置交錯(cuò)塊。
35.如權(quán)利要求24-33中任一所述的方法，其中所述基于塊的交錯(cuò)包括基于所述第一圖像中的多個(gè)塊的視差值交錯(cuò)塊。
36.如權(quán)利要求24-35中任一所述的方法，其中所述第一圖像塊和所述第二圖像塊是所述交錯(cuò)圖像中的相鄰塊。
37.如權(quán)利要求24-35中任一所述的方法，其中所述第一圖像塊和所述第二圖像塊是所述交錯(cuò)圖像中的非相鄰塊。
38.如權(quán)利要求24-37中任一所述的方法，其中所述基于塊的交錯(cuò)包括以包括一個(gè)或多個(gè)水平交錯(cuò)或垂直交錯(cuò)的方式交錯(cuò)所述第一圖像塊和所述第二圖像塊。
39.如權(quán)利要求24-38中任一所述的方法，其中所述第一圖像是原始第一圖像的下采樣后的版本。
40.一種包括一個(gè)或多個(gè)處理器的設(shè)備，一個(gè)或多個(gè)處理器整體配置為執(zhí)行 訪問(wèn)編碼后的圖像，所述編碼后的圖像是第一圖像的多個(gè)塊和第二圖像的多個(gè)塊的基于塊的交錯(cuò)的編碼，所述第一圖像的多個(gè)塊包括第一圖像塊，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 解碼使用所述第二圖像塊作為參考編碼所述第一圖像塊的編碼后的圖像的一部分；和 提供解碼后的部分以供處理或顯示。
41.如權(quán)利要求40所述的設(shè)備還包括用于存儲(chǔ)解碼后的部分的存儲(chǔ)器。
42.一種設(shè)備，包括 用于訪問(wèn)編碼后的圖像的裝置，所述編碼后的圖像是第一圖像的多個(gè)塊和第二圖像的多個(gè)塊的基于塊的交錯(cuò)的編碼，所述第一圖像的多個(gè)塊包括第一圖像塊，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 用于解碼使用所述第二圖像塊作為參考編碼所述第一圖像塊的編碼后的圖像的一部分的裝置；和 用于提供解碼后的部分以供處理或顯示的裝置。
43.一種處理器可讀介質(zhì)，其上存儲(chǔ)了導(dǎo)致一個(gè)或多個(gè)處理器整體執(zhí)行如下操作的指令 訪問(wèn)編碼后的圖像，所述編碼后的圖像是第一圖像的多個(gè)塊和第二圖像的多個(gè)塊的基于塊的交錯(cuò)的編碼，所述第一圖像的多個(gè)塊包括第一圖像塊，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 解碼使用所述第二圖像塊作為參考編碼所述第一圖像塊的編碼后的圖像的一部分；和 提供解碼后的部分以供處理或顯示。
44.一種包括解碼器的設(shè)備，解碼器配置為執(zhí)行 訪問(wèn)編碼后的圖像，所述編碼后的圖像是第一圖像的多個(gè)塊和第二圖像的多個(gè)塊的基于塊的交錯(cuò)的編碼，所述第一圖像的多個(gè)塊包括第一圖像塊，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 解碼使用所述第二圖像塊作為參考編碼所述第一圖像塊的編碼后的圖像的一部分；和 提供解碼后的部分以供處理或顯示。
45.如權(quán)利要求44所述的設(shè)備，其中所述解碼器是編碼器的一部分。
46.一種設(shè)備，包括 解調(diào)器，用于解調(diào)包括編碼后的圖像的信號(hào)；和 解碼器，用于執(zhí)行至少如下操作 訪問(wèn)解調(diào)后的編碼后的圖像，所述編碼后的圖像是第一圖像的多個(gè)塊和第二圖像的多個(gè)塊的基于塊的交錯(cuò)的編碼，所述第一圖像的多個(gè)塊包括第一圖像塊，所述第二圖像的多個(gè)塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 解碼使用所述第二圖像塊作為參考編碼所述第一圖像塊的編碼后的圖像的一部分；和 提供解碼后的部分以供處理或顯示。
全文摘要
至少一個(gè)實(shí)施方式交錯(cuò)了來(lái)自立體圖像對(duì)的塊，并使用相應(yīng)塊作為參考實(shí)現(xiàn)了交錯(cuò)圖像的幀內(nèi)編碼。一個(gè)特定的實(shí)施方式訪問(wèn)包括多個(gè)塊的第一圖像，多個(gè)塊的其中之一是第一圖像塊。訪問(wèn)包括多個(gè)塊的第二圖像，多個(gè)塊的其中之一是具有與第一圖像塊重疊的內(nèi)容的第二圖像塊。以塊為基礎(chǔ)交錯(cuò)第一圖像和第二圖像的多個(gè)塊，以形成交錯(cuò)圖像。通過(guò)使用第二圖像塊作為參考編碼第一圖像塊來(lái)編碼交錯(cuò)圖像的至少一部分。另一個(gè)實(shí)施方式提供了在信號(hào)中的編碼后的一部分。又另一個(gè)實(shí)施方式通過(guò)使用第二圖像塊作為參考來(lái)訪問(wèn)編碼后的圖像并解碼該部分。
文檔編號(hào)H04N13/00GK102742282SQ201180007731
公開(kāi)日2012年10月17日 申請(qǐng)日期2011年1月28日 優(yōu)先權(quán)日2010年1月29日
發(fā)明者布蘭·J·多林尼, 托馬斯·愛(ài)德華·豪蘭德?tīng)?申請(qǐng)人:湯姆遜許可證公司