本發(fā)明實(shí)施例涉及圖像編碼技術(shù)，尤其涉及一種全景圖像編碼方法和裝置。

背景技術(shù)：

近年來(lái)，隨著信息技術(shù)的發(fā)展，多視角的全景視頻因其沉浸式視覺(jué)體驗(yàn)，被越來(lái)越多地應(yīng)用于虛擬現(xiàn)實(shí)領(lǐng)域中。

然而，全景視頻因?yàn)樾枰С謱挿秶囊暯?，?duì)分辨率有較高的要求(4K及以上)，從而傳輸過(guò)程中有限帶寬的問(wèn)題就顯得尤為嚴(yán)重。同時(shí)，即使二維視頻編碼標(biāo)準(zhǔn)現(xiàn)在已經(jīng)很成熟了，如H.265/HEVC,H.264/AVC,AVS/AVS+/AVS2，但是在編碼全景視頻的時(shí)候仍然存在問(wèn)題，尤其是編碼效率。

在實(shí)現(xiàn)本發(fā)明的過(guò)程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)的缺陷在于：目前為止，并沒(méi)有針對(duì)全景視頻圖像的特有編碼優(yōu)化方案。已有的成熟編碼方案都是針對(duì)平面視頻圖像的。鑒于全景視頻和平面視頻之間的顯著差異性，已有的針對(duì)平面圖像的編碼方案很難徹底地適用于全景圖像。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種全景圖像編碼方法和裝置，以提供更適用于全景圖像編碼的方案，提高編碼效率。

第一方面，本發(fā)明實(shí)施例提供了一種全景圖像編碼方法，包括：

為全景圖像的像素點(diǎn)設(shè)置權(quán)重標(biāo)記；

將所述全景圖像映射成為平面圖像；

根據(jù)所述平面圖像中映射形成的權(quán)重標(biāo)記，控制所述平面圖像的編碼操作。

第二方面，本發(fā)明實(shí)施例提供了一種全景圖像編碼裝置，包括：

權(quán)重標(biāo)記模塊，用于為全景圖像的像素點(diǎn)設(shè)置權(quán)重標(biāo)記；

圖像映射模塊，用于將所述全景圖像映射成為平面圖像；

編碼控制模塊，用于根據(jù)所述平面圖像中映射形成的權(quán)重標(biāo)記，控制所述平面圖像的編碼操作。

本發(fā)明實(shí)施例的技術(shù)方案，通過(guò)在平面圖像上考慮映射前全景圖像上的各像素點(diǎn)的權(quán)重，使得平面圖像根據(jù)各區(qū)域像素點(diǎn)的重要性，來(lái)控制對(duì)平面圖像的編碼。從而能提高編碼效率，更適合全景圖像的編碼操作。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例一提供的一種全景圖像編碼方法的流程圖；

圖2為本發(fā)明實(shí)施例二提供的一種全景圖像編碼方法的流程圖；

圖3為本發(fā)明實(shí)施例三提供的一種全景圖像編碼方法的流程圖；

圖4為本發(fā)明實(shí)施例四提供的一種全景圖像編碼方法的流程圖；

圖5為本發(fā)明實(shí)施例五提供的一種全景圖像編碼裝置的結(jié)構(gòu)示意圖。

圖6為本發(fā)明實(shí)施例六提供的一種全景圖像編碼設(shè)備的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明?？梢岳斫獾氖牵颂幩枋龅木唧w實(shí)施例僅僅用于解釋本發(fā)明，而非對(duì)本發(fā)明的限定。另外還需要說(shuō)明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。

在全景視頻編碼領(lǐng)域中，目前被廣泛采納的客觀質(zhì)量評(píng)估指標(biāo)為基于球形的峰值信噪比(Spherical-PSNR,S-PSNR),S-PSNR被驗(yàn)證過(guò)比原始的PSNR指標(biāo)更為有效。本發(fā)明實(shí)施例的技術(shù)方案以S-PSNR為目標(biāo)進(jìn)行優(yōu)化，得到了良好的改善效果。

由于S-PSNR本質(zhì)上是在球面上計(jì)算全景視頻圖像的客觀質(zhì)量，并且用戶也是在球面上觀看全景視頻。因此，球面圖像上的內(nèi)容十分重要，而映射到平面后，某些球面圖像原本不存在的像素點(diǎn)就十分次要了。本發(fā)明實(shí)施例的技術(shù)方案根據(jù)該映射結(jié)果對(duì)映射后的平面圖像生成權(quán)重圖譜，即采樣密度大的區(qū)域分配更大的權(quán)重，采樣密度小的區(qū)域分配更小的權(quán)重。各區(qū)域的權(quán)重為后續(xù)編碼優(yōu)化做準(zhǔn)備。下面通過(guò)實(shí)施例具體說(shuō)明。

實(shí)施例一

圖1為本發(fā)明實(shí)施例一提供的一種全景圖像編碼方法的流程圖，本實(shí)施例可適用于對(duì)全景圖像，特別是全景視頻圖像進(jìn)行編碼的情況，該方法可以由全景圖像編碼裝置來(lái)執(zhí)行，該裝置可以采用硬件和/或軟件的方式來(lái)實(shí)現(xiàn)，可配置在能夠執(zhí)行圖像編碼操作的設(shè)備中。該方法包括：

S110、為全景圖像的像素點(diǎn)設(shè)置權(quán)重標(biāo)記；

全景圖像，一般是非平面圖像，例如典型的球面視頻中的每幀畫面均為球面全景圖像。全景圖像也是由眾多像素點(diǎn)構(gòu)成的，上述操作中，為全景圖像中的像素點(diǎn)進(jìn)行權(quán)重標(biāo)記的設(shè)置?？梢允菍⑷肯袼攸c(diǎn)進(jìn)行權(quán)重標(biāo)記，但優(yōu)選的是，在所述全景圖像中均勻分散的像素點(diǎn)上，設(shè)置權(quán)重標(biāo)記。例如，按照設(shè)定橫向間距和設(shè)定縱向間距，均勻的確定部分像素點(diǎn)，進(jìn)行權(quán)重標(biāo)記。權(quán)重標(biāo)記的像素點(diǎn)密度可根據(jù)需要進(jìn)行調(diào)整。

S120、將所述全景圖像映射成為平面圖像；

將全景圖像映射為平面圖像可采用任意映射方法來(lái)實(shí)現(xiàn)，例如，球面全面圖像可按經(jīng)緯度展開(kāi)，形成矩形的平面圖像。在不同的緯度上，由于球面上的像素點(diǎn)少，而平面圖像的像素點(diǎn)多，所以映射過(guò)程會(huì)通過(guò)插補(bǔ)填充算法形成一些像素點(diǎn)，填充在平面圖像上。例如，球面的北極或南極點(diǎn)，在平面圖像中會(huì)展開(kāi)形成一條直線，北極點(diǎn)和南極點(diǎn)的像素點(diǎn)可能為該直線中的某一個(gè)點(diǎn)。在映射過(guò)程中，若某全景圖像的像素點(diǎn)有權(quán)重標(biāo)記，則映射到平面圖像中，權(quán)重標(biāo)記仍保留。

S130、根據(jù)所述平面圖像中映射形成的權(quán)重標(biāo)記，控制所述平面圖像的編碼操作；

具體操作中，可以采用映射到平面圖像中像素點(diǎn)的權(quán)重標(biāo)記，直接控制各像素點(diǎn)所對(duì)應(yīng)的某區(qū)域的平面圖像的編碼操作，其權(quán)重標(biāo)記的利用方式有多種具體方式，只要能夠在編碼過(guò)程中體現(xiàn)該像素點(diǎn)所在區(qū)域的權(quán)重即可。

優(yōu)選是，將所述平面圖像進(jìn)行劃分，形成多個(gè)編碼塊；根據(jù)所述平面圖像中每個(gè)編碼塊像素點(diǎn)的權(quán)重標(biāo)記，控制所述編碼塊的編碼操作。即編碼塊作為像素點(diǎn)所在區(qū)域進(jìn)行編碼控制。

編碼塊是對(duì)平面圖像進(jìn)行劃分而形成的。劃分方式可因不同的壓縮算法需求而確定?？蛇x的，將所述平面圖像進(jìn)行劃分，形成多個(gè)編碼塊包括：將所述平面圖像進(jìn)行均分劃分，以確定各編碼塊。則各編碼塊的大小尺寸相同。

或者，也可以利用壓縮算法，根據(jù)圖像紋理等因素進(jìn)行編碼塊的劃分。

可以根據(jù)像素點(diǎn)權(quán)重標(biāo)記確定編碼塊的權(quán)重，以編碼塊權(quán)重控制編碼塊的編程操作。也可以直接根據(jù)像素點(diǎn)權(quán)重標(biāo)記，對(duì)該編碼塊內(nèi)部的編程操作所涉及壓縮參數(shù)進(jìn)行控制。根據(jù)各個(gè)編碼塊中像素點(diǎn)是否有權(quán)重標(biāo)記的特點(diǎn)，來(lái)確定編碼塊的權(quán)重。具體可以是，針對(duì)所述平面圖像中的每個(gè)編碼塊，統(tǒng)計(jì)映射在所述編碼塊中具有權(quán)重標(biāo)記的像素點(diǎn)數(shù)量，作為所述編碼塊的權(quán)重。本領(lǐng)域技術(shù)人員可以理解，具有權(quán)重標(biāo)記的像素點(diǎn)的權(quán)重值可以視為1，不具有權(quán)重標(biāo)記的像素點(diǎn)的權(quán)重值可以視為0,則可以通過(guò)累加像素點(diǎn)權(quán)重值的方式確定編碼塊的權(quán)重。

或者，若權(quán)重標(biāo)記并非0、1的開(kāi)關(guān)值，而是有具體權(quán)重?cái)?shù)值，則也可以采用將像素點(diǎn)的權(quán)重值進(jìn)行加和的方式確定編碼塊的權(quán)重值。

編碼塊的權(quán)重反映了該編碼塊在全景圖像中的重要性。具體是，平面圖像中，在球面全景圖像中不存在的像素點(diǎn)(例如北極點(diǎn)所在直線上非北極點(diǎn)的像素點(diǎn))，將不會(huì)被標(biāo)注權(quán)重標(biāo)記，因此這些區(qū)域的編碼塊的權(quán)重較低。

編碼塊的權(quán)重或編碼塊像素點(diǎn)的權(quán)重標(biāo)記可以用于影響對(duì)編碼塊的編碼操作，例如，根據(jù)所述平面圖像中每個(gè)編碼塊像素點(diǎn)的權(quán)重標(biāo)記，控制所述編碼塊的編碼操作具體包括：根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記計(jì)算確定針對(duì)所述編碼塊的壓縮參數(shù)；通過(guò)壓縮算法采用所述壓縮參數(shù)對(duì)所述編碼塊進(jìn)行編碼。

壓縮參數(shù)在不同壓縮算法中有不同體現(xiàn)，也有不同的確定方式?？刂茐嚎s參數(shù)，相當(dāng)于間接的控制了編碼的壓縮率。對(duì)于權(quán)重低，不重要的編碼塊，可采用較高的壓縮率。壓縮率等于壓縮前比特?cái)?shù)除以壓縮后比特?cái)?shù)，壓縮率越大，表明原始數(shù)據(jù)越少。對(duì)于權(quán)重高、重要的編碼塊，則采用較低的壓縮率，從而最大程度保持圖像的原始數(shù)據(jù)，利于解壓縮時(shí)復(fù)原。

在采用壓縮算法進(jìn)行編碼的過(guò)程中，有些壓縮算法可能需要進(jìn)一步劃分編碼塊，即根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記計(jì)算確定針對(duì)所述編碼塊的壓縮參數(shù)包括：根據(jù)所述壓縮算法的設(shè)定劃分規(guī)則，在所述編碼塊內(nèi)劃分編碼子塊；根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記確定所述編碼子塊的壓縮參數(shù)。優(yōu)選是，編碼塊可繼續(xù)被劃分為編碼子塊，且編碼子塊的權(quán)重根據(jù)編碼塊的權(quán)重或像素點(diǎn)的權(quán)重標(biāo)記確定，例如，直接等于編碼塊的權(quán)重，或者，基于編碼子塊中像素點(diǎn)的權(quán)重值進(jìn)行加和確定。

本發(fā)明實(shí)施例的技術(shù)方案，通過(guò)在平面圖像上考慮映射前全景圖像上的各像素點(diǎn)的權(quán)重，使得平面圖像根據(jù)各區(qū)域像素點(diǎn)的重要性，來(lái)控制對(duì)平面圖像的編碼。從而能提高編碼效率，更適合全景圖像的編碼操作。

典型的應(yīng)用在球面全景視頻圖像的編碼處理過(guò)程中。因球面的全景視頻圖像必須映射到平面，形成平面圖像才能進(jìn)行編碼。而映射過(guò)程中，平面圖像中的部分區(qū)域是球面圖像所不存在、通過(guò)插值填補(bǔ)而得，故對(duì)此浪費(fèi)過(guò)多的編碼資源，本發(fā)明實(shí)施例提出基于權(quán)重的編碼機(jī)制來(lái)對(duì)壓縮的全景視頻改善質(zhì)量，避免了編碼資源的浪費(fèi)。

已有壓縮算法中，主要有兩類控制模式，一種是基于量化參數(shù)(QP)來(lái)控制壓縮編碼過(guò)程，另一種是基于目標(biāo)碼率來(lái)控制壓縮編碼過(guò)程。下面分別通過(guò)實(shí)施例進(jìn)行說(shuō)明。

實(shí)施例二

圖2為本發(fā)明實(shí)施例二提供的一種全景圖像編碼方法的流程圖，本實(shí)施例以前述實(shí)施例提供的技術(shù)方案為基礎(chǔ)，具體提供一種基于量化參數(shù)(QP)來(lái)控制壓縮編碼過(guò)程的方案。

在本實(shí)施例中，根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記計(jì)算確定針對(duì)所述編碼塊的壓縮參數(shù)具體包括：如果壓縮算法為基于量化參數(shù)QP的壓縮算法，根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記確定所述編碼塊的權(quán)重，并與預(yù)設(shè)權(quán)重區(qū)段閾值進(jìn)行比較，根據(jù)所述編碼塊的權(quán)重所落入的區(qū)段，確定該區(qū)段對(duì)應(yīng)的QP值。

即根據(jù)編碼塊權(quán)重所對(duì)應(yīng)的閾值區(qū)段，直接按照該閾值區(qū)段對(duì)應(yīng)的QP值計(jì)算公式來(lái)計(jì)算確定QP值。

相應(yīng)的，本實(shí)施例的方法包括：

S210、為全景圖像的像素點(diǎn)設(shè)置權(quán)重標(biāo)記；

S220、將所述全景圖像映射成為平面圖像；

S230、將所述平面圖像進(jìn)行劃分，形成多個(gè)編碼塊；

S240、如果壓縮算法為基于量化參數(shù)QP的壓縮算法，基于如下公式確定壓縮算法的量化參數(shù)QP值，作為壓縮參數(shù)：

其中，

QP_t,j為第t幀圖像中第j個(gè)編碼塊的QP值；

QP_all為預(yù)設(shè)的QP基準(zhǔn)值，可以參考該壓縮算法的原有方式確定；

為第t幀圖像中第j個(gè)編碼塊的權(quán)重；

ω1、ω2、ω3和ω4，滿足0<ω1<ω2<ω3<ω4的關(guān)系，為預(yù)設(shè)權(quán)重區(qū)段閾值。

可以通過(guò)按如下公式，計(jì)算第j個(gè)編碼塊中每個(gè)像素點(diǎn)權(quán)重之和來(lái)確定：

其中，W_t(i)為第i個(gè)像素點(diǎn)在當(dāng)前幀的權(quán)重，可以等于該像素點(diǎn)所在編碼塊的權(quán)重，也可以是像素點(diǎn)自身的權(quán)重值。I_t,j為第t幀中第j個(gè)編碼塊中的像素點(diǎn)集合。

可見(jiàn)，當(dāng)權(quán)重越小時(shí)，該編碼塊越重要，則確定的QP值越小。QP值越小，則相應(yīng)的壓縮率越低，即對(duì)原始數(shù)據(jù)的保留越多。

S250、通過(guò)壓縮算法采用所述壓縮參數(shù)對(duì)所述編碼塊進(jìn)行編碼。

基于確定QP值進(jìn)行編碼操作，具體的編碼過(guò)程可參考各種已有壓縮算法的編碼過(guò)程。

通過(guò)采用本實(shí)施例的技術(shù)方案，基于權(quán)重的量化參數(shù)控制方案就可以通過(guò)計(jì)算每個(gè)編碼塊的QP值來(lái)執(zhí)行。

實(shí)施例三

圖3為本發(fā)明實(shí)施例三提供的一種全景圖像編碼方法的流程圖，本實(shí)施例以前述實(shí)施例提供的技術(shù)方案為基礎(chǔ)，具體提供一種基于目標(biāo)碼率來(lái)控制壓縮編碼過(guò)程的方案。

視頻編碼中碼率控制方案的主要目標(biāo)是最小化給定目標(biāo)碼率壓縮視頻的失真。為了最小化該失真，并提高最終的S-PSNR指標(biāo)，更多的比特?cái)?shù)應(yīng)該被分配給更重要的區(qū)域，即權(quán)重更大的區(qū)域。目前常用的四種不同的流行編碼器(AVS+,AVS2,H.264/AVC,H.265/HEVC)，可采用兩種基于權(quán)重碼率控制的方案。本實(shí)施例為第一種方案。

H.265/HEVC和AVS2的碼率控制方案相似。在傳統(tǒng)的碼率控制方案中，將bpp(每像素分配得到的比特?cái)?shù))用來(lái)計(jì)算得到最終的量化參數(shù)(QP)，進(jìn)而執(zhí)行后續(xù)的編碼操作。而本發(fā)明實(shí)施例的技術(shù)方案提出新概念每權(quán)重比特?cái)?shù)，即bpw(每權(quán)重分配得到的比特?cái)?shù))，來(lái)代替原來(lái)的bpp。

現(xiàn)有技術(shù)中，碼率控制方案中，為待編碼的圖像設(shè)定了編碼后的碼率，即目標(biāo)碼率?；谠撃繕?biāo)碼率所確定的比特?cái)?shù)，可確定各編碼塊的碼塊目標(biāo)碼率，繼而確定該編碼塊內(nèi)每個(gè)像素點(diǎn)分配得到的比特?cái)?shù)，即bpp。

本發(fā)明實(shí)施例中，以bpw代替了bpp，即根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記計(jì)算確定針對(duì)所述編碼塊的壓縮參數(shù)具體包括：如果壓縮算法為基于目標(biāo)碼率的壓縮算法，則根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記計(jì)算所述編碼塊的每權(quán)重比特?cái)?shù)；根據(jù)所述每權(quán)重比特?cái)?shù)，基于設(shè)定關(guān)系函數(shù)確定量化參數(shù)QP，作為所述編碼塊的壓縮參數(shù)。

相應(yīng)的，一種具體實(shí)現(xiàn)方式為包括：

S310、為全景圖像的像素點(diǎn)設(shè)置權(quán)重標(biāo)記；

S320、將所述全景圖像映射成為平面圖像；

S330、將所述平面圖像進(jìn)行劃分，形成多個(gè)編碼塊；

S340、如果壓縮算法為基于目標(biāo)碼率的壓縮算法，按照如下公式計(jì)算第t幀中第i個(gè)像素點(diǎn)的每權(quán)重比特?cái)?shù)bpw_t,i：

其中，

W_t,j(i)為第t幀中第i個(gè)像素點(diǎn)的權(quán)重；

r_t為第t幀的設(shè)定目標(biāo)碼率；

I_t為第t幀的總像素點(diǎn)數(shù)量；

S350、按照如下公式計(jì)算第t幀中第j個(gè)編碼塊的碼塊目標(biāo)碼率：

其中，I_t,j為第t幀中第j個(gè)編碼塊中的像素點(diǎn)集合；

S360、按照如下公式計(jì)算第t幀中第j個(gè)編碼塊的每權(quán)重比特?cái)?shù)

其中，#(I_t,j)為第t幀中第j個(gè)編碼塊中的像素點(diǎn)數(shù)量。

S370、根據(jù)所述每權(quán)重比特?cái)?shù)，基于設(shè)定關(guān)系函數(shù)確定量化參數(shù)QP，作為所述編碼塊的壓縮參數(shù)。

第j個(gè)編碼塊在第t幀的QP值可計(jì)算如下：

其中，f(·)為與QP之間的關(guān)系模型，可以采用已有bpp與QP之間的關(guān)系模型，也可以進(jìn)一步優(yōu)化設(shè)置。

S380、通過(guò)壓縮算法采用所述壓縮參數(shù)對(duì)所述編碼塊進(jìn)行編碼。

通過(guò)采用本實(shí)施例的技術(shù)方案，基于權(quán)重的碼率控制方案就可以通過(guò)計(jì)算每個(gè)編碼塊的QP值來(lái)執(zhí)行。更大權(quán)重和bpw意味著值得高碼率編碼的更重要區(qū)域，從而獲得更優(yōu)的球面視頻質(zhì)量。這樣的重要區(qū)域被分配更多的比特?cái)?shù)從而保證更好的球面視頻質(zhì)量。

實(shí)施例四

圖4為本發(fā)明實(shí)施例四提供的一種全景圖像編碼方法的流程圖，本實(shí)施例以前述實(shí)施例提供的技術(shù)方案為基礎(chǔ)，具體提供另一種基于目標(biāo)碼率來(lái)控制壓縮編碼過(guò)程的方案。

H.264和AVS+有類似的碼率控制方案。在這種碼率控制模式中，QP是通過(guò)目標(biāo)碼率在R-Q模型中計(jì)算而得。即只要目標(biāo)碼率獲得，就可得到相應(yīng)的QP值。

則，根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記計(jì)算確定針對(duì)所述編碼塊的壓縮參數(shù)包括：如果壓縮算法為基于目標(biāo)碼率的壓縮算法，則根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記計(jì)算所述編碼塊的碼塊目標(biāo)碼率；根據(jù)所述碼塊目標(biāo)碼率，基于設(shè)定關(guān)系函數(shù)確定量化參數(shù)QP，作為所述編碼塊的壓縮參數(shù)。

該基于權(quán)重的碼率控制方案利用第t幀圖像第j個(gè)編碼塊的每權(quán)重比特?cái)?shù)基于如下公式來(lái)計(jì)算第j個(gè)編碼塊在第t幀的碼塊目標(biāo)碼率r_t,j，來(lái)代替?zhèn)鹘y(tǒng)計(jì)算方法：

具體的，本實(shí)施例包括如下步驟：

S410、為全景圖像的像素點(diǎn)設(shè)置權(quán)重標(biāo)記；

S420、將所述全景圖像映射成為平面圖像；

S430、將所述平面圖像進(jìn)行劃分，形成多個(gè)編碼塊；

S440、如果壓縮算法為基于目標(biāo)碼率的壓縮算法，計(jì)算第t幀中第i個(gè)像素點(diǎn)的每權(quán)重比特?cái)?shù)bpw_t,I；

S450、計(jì)算第t幀中第j個(gè)編碼塊的碼塊目標(biāo)碼率；

具體的計(jì)算過(guò)程，可參考實(shí)施例三中的步驟S340-S350。

S460、根據(jù)所述碼塊目標(biāo)碼率，基于設(shè)定關(guān)系函數(shù)確定量化參數(shù)QP，作為所述編碼塊的壓縮參數(shù)。

可以基于已有的R-Q模型來(lái)確定QP值，作為壓縮參數(shù)。

S470、通過(guò)壓縮算法采用所述壓縮參數(shù)對(duì)所述編碼塊進(jìn)行編碼。

通過(guò)采用本實(shí)施例的技術(shù)方案，基于權(quán)重的碼率控制方案就可以通過(guò)計(jì)算每個(gè)編碼塊的QP值來(lái)執(zhí)行。更大權(quán)重和bpw意味著值得高碼率編碼的更重要區(qū)域，從而獲得更優(yōu)的球面視頻質(zhì)量。這樣的重要區(qū)域被分配更多的比特?cái)?shù)從而保證更好的球面視頻質(zhì)量。

實(shí)施例五

圖5為本發(fā)明實(shí)施例五提供的一種全景圖像編碼裝置的結(jié)構(gòu)示意圖，該裝置包括：權(quán)重標(biāo)記模塊510、圖像映射模塊520和編碼控制模塊530。

其中，權(quán)重標(biāo)記模塊510，用于為全景圖像的像素點(diǎn)設(shè)置權(quán)重標(biāo)記；圖像映射模塊520，用于將所述全景圖像映射成為平面圖像；編碼控制模塊530，用于根據(jù)所述平面圖像中映射形成的權(quán)重標(biāo)記，控制所述平面圖像的編碼操作。

上述方案中，權(quán)重標(biāo)記模塊510可具體用于：在所述全景圖像中均勻分散的像素點(diǎn)上，設(shè)置權(quán)重標(biāo)記。

上述方案中，編碼控制模塊530可具體包括：編碼塊劃分單元531和編碼控制單元532。

其中，編碼塊劃分單元531用于將所述平面圖像進(jìn)行劃分，形成多個(gè)編碼塊；編碼控制單元532用于根據(jù)所述平面圖像中每個(gè)編碼塊像素點(diǎn)的權(quán)重標(biāo)記，控制所述編碼塊的編碼操作。

可選的，編碼塊劃分單元531具體用于：將所述平面圖像進(jìn)行均分劃分，以確定各編碼塊。

可選的，編碼控制單元532具體包括：壓縮參數(shù)計(jì)算子單元和壓縮編碼子單元。其中，壓縮參數(shù)計(jì)算子單元，用于根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記計(jì)算確定針對(duì)所述編碼塊的壓縮參數(shù)；壓縮編碼子單元，用于通過(guò)壓縮算法采用所述壓縮參數(shù)對(duì)所述編碼塊進(jìn)行編碼。

本發(fā)明實(shí)施例的技術(shù)方案，通過(guò)在平面圖像上考慮映射前全景圖像上的各像素點(diǎn)的權(quán)重，使得平面圖像根據(jù)各區(qū)域像素點(diǎn)的重要性，來(lái)控制對(duì)平面圖像的編碼。從而能提高編碼效率，更適合全景圖像的編碼操作。

在上述方案中，壓縮參數(shù)的計(jì)算方式有多種，具體是：

壓縮參數(shù)計(jì)算子單元具體用于：根據(jù)所述壓縮算法的設(shè)定劃分規(guī)則，在所述編碼塊內(nèi)劃分編碼子塊；根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記確定所述編碼子塊的壓縮參數(shù)。

進(jìn)一步的，壓縮參數(shù)計(jì)算子單元具體用于：

如果壓縮算法為基于量化參數(shù)QP的壓縮算法，根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記確定所述編碼塊的權(quán)重，并與預(yù)設(shè)權(quán)重區(qū)段閾值進(jìn)行比較，根據(jù)所述編碼塊的權(quán)重所落入的區(qū)段，確定該區(qū)段對(duì)應(yīng)的QP值。

對(duì)于實(shí)際公式計(jì)算方式，壓縮參數(shù)計(jì)算子單元具體用于：

基于如下公式確定壓縮算法的量化參數(shù)QP值：

其中，

QP_t,j為第t幀圖像中第j個(gè)編碼塊的QP值；

QP_all為預(yù)設(shè)的QP基準(zhǔn)值；

為第t幀圖像中第j個(gè)編碼塊的權(quán)重；

W_t(i)為第i個(gè)像素點(diǎn)在當(dāng)前幀的權(quán)重；

I_t,j為第t幀中第j個(gè)編碼塊中的像素點(diǎn)集合；

ω1、ω2、ω3和ω4，滿足0<ω1<ω2<ω3<ω4的關(guān)系，為預(yù)設(shè)權(quán)重區(qū)段閾值。

另一方計(jì)算方式中，壓縮參數(shù)計(jì)算子單元具體用于：

如果壓縮算法為基于目標(biāo)碼率的壓縮算法，則根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記計(jì)算所述編碼塊的每權(quán)重比特?cái)?shù)；

根據(jù)所述每權(quán)重比特?cái)?shù)，基于設(shè)定關(guān)系函數(shù)確定量化參數(shù)QP，作為所述編碼塊的壓縮參數(shù)。

具體的，壓縮參數(shù)計(jì)算子單元具體用于：

按照如下公式計(jì)算第t幀中第i個(gè)像素點(diǎn)的每權(quán)重比特?cái)?shù)bpw_t,i：

其中，

W_t,j(i)為第t幀中第i個(gè)像素點(diǎn)的權(quán)重；

r_t為第t幀的設(shè)定目標(biāo)碼率；

I_t為第t幀的總像素點(diǎn)數(shù)量；

按照如下公式計(jì)算第t幀中第j個(gè)編碼塊的碼塊目標(biāo)碼率：

其中，I_t,j為第t幀中第j個(gè)編碼塊中的像素點(diǎn)集合；

按照如下公式計(jì)算第t幀中第j個(gè)編碼塊的每權(quán)重比特?cái)?shù)

其中，#(I_t,j)為第t幀中第j個(gè)編碼塊中的像素點(diǎn)數(shù)量。

再一種計(jì)算方式中，壓縮參數(shù)計(jì)算子單元具體用于：

如果壓縮算法為基于目標(biāo)碼率的壓縮算法，則根據(jù)所述編碼塊像素點(diǎn)的權(quán)重標(biāo)記計(jì)算所述編碼塊的碼塊目標(biāo)碼率；

根據(jù)所述碼塊目標(biāo)碼率，基于設(shè)定關(guān)系函數(shù)確定量化參數(shù)QP，作為所述編碼塊的壓縮參數(shù)。

上述全景圖像編碼裝置可執(zhí)行本發(fā)明任意實(shí)施例所提供的全景圖像編碼方法，具備執(zhí)行方法相應(yīng)的功能模塊和有益效果。

實(shí)施例六

本發(fā)明實(shí)施例六提供了一種全景圖像編碼設(shè)備，例如服務(wù)器等。該設(shè)備包括本發(fā)明任意實(shí)施例所提供的全景圖像編碼裝置。

具體的，如圖6所示，本發(fā)明實(shí)施例提供一種全景圖像編碼設(shè)備，該全景圖像編碼設(shè)備包括處理器60、存儲(chǔ)器61、輸入裝置62和輸出裝置63；設(shè)備中處理器60的數(shù)量可以是一個(gè)或多個(gè)，圖6中以一個(gè)處理器60為例；設(shè)備中的處理器60、存儲(chǔ)器61、輸入裝置62和輸出裝置63可以通過(guò)總線或其他方式連接，圖6中以通過(guò)總線連接為例。

存儲(chǔ)器61作為一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，可用于存儲(chǔ)軟件程序、計(jì)算機(jī)可執(zhí)行程序以及模塊，如本發(fā)明實(shí)施例中的全景圖像編碼方法對(duì)應(yīng)的程序指令/模塊(例如，全景圖像編碼裝置中的權(quán)重標(biāo)記模塊510、圖像映射模塊520和編碼控制模塊530)。處理器60通過(guò)運(yùn)行存儲(chǔ)在存儲(chǔ)器61中的軟件程序、指令以及模塊，從而執(zhí)行設(shè)備的各種功能應(yīng)用以及數(shù)據(jù)處理，即實(shí)現(xiàn)上述的全景圖像編碼方法。

存儲(chǔ)器61可主要包括存儲(chǔ)程序區(qū)和存儲(chǔ)數(shù)據(jù)區(qū)，其中，存儲(chǔ)程序區(qū)可存儲(chǔ)操作系統(tǒng)、至少一個(gè)功能所需的應(yīng)用程序；存儲(chǔ)數(shù)據(jù)區(qū)可存儲(chǔ)根據(jù)設(shè)備的使用所創(chuàng)建的數(shù)據(jù)等。此外，存儲(chǔ)器61可以包括高速隨機(jī)存取存儲(chǔ)器，還可以包括非易失性存儲(chǔ)器，例如至少一個(gè)磁盤存儲(chǔ)器件、閃存器件、或其他非易失性固態(tài)存儲(chǔ)器件。在一些實(shí)例中，存儲(chǔ)器61可進(jìn)一步包括相對(duì)于處理器60遠(yuǎn)程設(shè)置的存儲(chǔ)器，這些遠(yuǎn)程存儲(chǔ)器可以通過(guò)網(wǎng)絡(luò)連接至設(shè)備。上述網(wǎng)絡(luò)的實(shí)例包括但不限于互聯(lián)網(wǎng)、企業(yè)內(nèi)部網(wǎng)、局域網(wǎng)、移動(dòng)通信網(wǎng)及其組合。

輸入裝置62可用于接收輸入的數(shù)字或字符信息，以及產(chǎn)生與設(shè)備的用戶設(shè)置以及功能控制有關(guān)的鍵信號(hào)輸入。輸出裝置63可包括顯示屏等顯示設(shè)備。

注意，上述僅為本發(fā)明的較佳實(shí)施例及所運(yùn)用技術(shù)原理。本領(lǐng)域技術(shù)人員會(huì)理解，本發(fā)明不限于這里所述的特定實(shí)施例，對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)能夠進(jìn)行各種明顯的變化、重新調(diào)整和替代而不會(huì)脫離本發(fā)明的保護(hù)范圍。因此，雖然通過(guò)以上實(shí)施例對(duì)本發(fā)明進(jìn)行了較為詳細(xì)的說(shuō)明，但是本發(fā)明不僅僅限于以上實(shí)施例，在不脫離本發(fā)明構(gòu)思的情況下，還可以包括更多其他等效實(shí)施例，而本發(fā)明的范圍由所附的權(quán)利要求范圍決定。