專利名稱：利用區(qū)域檢測(cè)的資源自適應(yīng)視頻編碼系統(tǒng)及其使用的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在諸如視頻編碼器/編解碼器的設(shè)備內(nèi)使用的編碼。
背景技術(shù)：
視頻編碼已經(jīng)成為現(xiàn)代視頻處理設(shè)備的重要問(wèn)題。健壯的編碼算法允許以減少的帶寬傳輸視頻信號(hào)并且以更少的存儲(chǔ)器存儲(chǔ)視頻信號(hào)。然而，這些編碼方法的準(zhǔn)確性面臨正在變得習(xí)慣于更高分辨率和更好圖形質(zhì)量的用戶的詳細(xì)審查。已經(jīng)頒布了許多編碼方法的標(biāo)準(zhǔn)，包括還被稱為MPEG-4部分10或高級(jí)視頻編碼(AVC)的H. 264標(biāo)準(zhǔn)。雖然該標(biāo)準(zhǔn)提出了許多強(qiáng)有力的技術(shù)，可能有改進(jìn)這些方法的實(shí)現(xiàn)的性能和速度的進(jìn)一步改進(jìn)。通過(guò)對(duì)這些系統(tǒng)和本發(fā)明進(jìn)行比較，本領(lǐng)域技術(shù)人員將明了常規(guī)和傳統(tǒng)方法的其它限制和缺點(diǎn)。


圖1給出了根據(jù)本發(fā)明的實(shí)施例的視頻處理設(shè)備125的方框圖表示；圖2給出了根據(jù)本發(fā)明的實(shí)施例的區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器150的方框圖表示；圖3給出了根據(jù)本發(fā)明的另一實(shí)施例的區(qū)域檢測(cè)模塊320的方框圖表示；圖4給出了根據(jù)本發(fā)明的另一實(shí)施例的區(qū)域檢測(cè)模塊320'的方框圖表示；圖5給出了根據(jù)本發(fā)明的實(shí)施例的視頻編碼系統(tǒng)102的方框圖表示；圖6給出了根據(jù)本發(fā)明的實(shí)施例的視頻分發(fā)系統(tǒng)175的方框圖表示；圖7給出了根據(jù)本發(fā)明的實(shí)施例的視頻存儲(chǔ)系統(tǒng)179的方框圖表示；和圖8給出了根據(jù)本發(fā)明的實(shí)施例的方法的流程圖表示。
具體實(shí)施例方式圖1給出了根據(jù)本發(fā)明的實(shí)施例的視頻處理設(shè)備125的方框圖表示。特別地，視頻處理設(shè)備125包括接收模塊100，諸如機(jī)頂盒、電視接收機(jī)、個(gè)人計(jì)算機(jī)、有線電視接收機(jī)、衛(wèi)星廣播接收機(jī)、寬帶調(diào)制解調(diào)器、3G收發(fā)器或能夠從諸如廣播纜線系統(tǒng)、廣播衛(wèi)星系統(tǒng)、hternet、數(shù)字視頻盤播放器、數(shù)字視頻記錄器或其它視頻源之類的一個(gè)或多個(gè)源接收視頻信號(hào)110的其它信息接收器或收發(fā)器。視頻編碼系統(tǒng)102耦接到接收模塊100以對(duì)一個(gè)或多個(gè)視頻信號(hào)110進(jìn)行編碼、速率轉(zhuǎn)換(transrate)和/或轉(zhuǎn)碼(transcode)以便形成經(jīng)處理的視頻信號(hào)112。在本發(fā)明的實(shí)施例中，視頻信號(hào)110可以包括廣播視頻信號(hào)，諸如電視信號(hào)、高清晰度電視信號(hào)、增強(qiáng)高清晰度電視信號(hào)或直接或通過(guò)一個(gè)或多個(gè)衛(wèi)星或其它中繼站通過(guò)無(wú)線介質(zhì)或通過(guò)纜線網(wǎng)絡(luò)、光網(wǎng)絡(luò)或其它傳輸網(wǎng)絡(luò)傳輸?shù)钠渌鼜V播視頻信號(hào)。另外，可以從存儲(chǔ)的視頻文件產(chǎn)生視頻信號(hào)110、從記錄介質(zhì)一諸如磁帶、磁盤或光盤一回放視頻信號(hào)110，并且視頻信號(hào)110可以包括在公共或私有網(wǎng)絡(luò)一諸如局域網(wǎng)、廣域網(wǎng)、城域網(wǎng)或 Internet——上傳輸?shù)牧饕曨l信號(hào)。視頻信號(hào)110可以包括具有若干視頻格式中的任意一種格式的模擬視頻信號(hào)，所述視頻格式包括國(guó)家電視系統(tǒng)委員會(huì)制式(NTSC)、逐行倒相制式(PAL)或順序傳送與存儲(chǔ)彩色電視系統(tǒng)制式(SECAM)。經(jīng)處理的視頻信號(hào)112符合數(shù)字視頻編解碼器標(biāo)準(zhǔn)，諸如 H. 264.MPEG-4部分10高級(jí)視頻編碼(AVC)，或其它數(shù)字格式，諸如運(yùn)動(dòng)圖像專家組(MPEG) 格式(諸如 MPEGl、MPEG2 或 MPEG4)、Quicktime 格式、Real Media 格式、Windows Media Video(WMV)或音視頻交錯(cuò)格式(AVI)、或標(biāo)準(zhǔn)或?qū)Ｓ械牧硪粩?shù)字視頻格式。視頻編碼系統(tǒng)102包括區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器150和編碼工具75。特別地，區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器150可以通過(guò)運(yùn)動(dòng)檢測(cè)、聚類、統(tǒng)計(jì)模式識(shí)別、句法模式識(shí)別或通過(guò)其它檢測(cè)方法操作，以檢測(cè)視頻信號(hào)110的特定圖像(幀或場(chǎng))或圖像組中關(guān)注的空間區(qū)域或時(shí)間區(qū)域，諸如視頻信號(hào)110中圖像序列內(nèi)的一時(shí)間段。另外，作為對(duì)其的響應(yīng)，區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器150產(chǎn)生標(biāo)識(shí)檢測(cè)到的關(guān)注區(qū)域的區(qū)域標(biāo)識(shí)信號(hào)。視頻編碼系統(tǒng)102的編碼器部分操作多個(gè)編碼工具75以通過(guò)量化和數(shù)字化產(chǎn)生具有特定圖像質(zhì)量的經(jīng)處理的視頻信號(hào)112。當(dāng)檢測(cè)到關(guān)注區(qū)域時(shí)，編碼工具被調(diào)整到更高質(zhì)量。例如，可以調(diào)整編碼工具75以與至少一個(gè)圖像的在關(guān)注區(qū)域之外的部分相比，給關(guān)注區(qū)域分配更小量化、更高分辨率或其它更高質(zhì)量，以便與該圖像的在該區(qū)域之外的部分相對(duì)比，在編碼該區(qū)域時(shí)提供更高質(zhì)量的圖像。另外，視頻編碼系統(tǒng)102可以調(diào)整編碼工具75以便在對(duì)關(guān)注區(qū)域編碼時(shí)使用比在未檢測(cè)到并且標(biāo)識(shí)出關(guān)注區(qū)域時(shí)所使用的更高的分辨率、量化等。以這種方式，當(dāng)與視頻信號(hào)110的其它區(qū)域相比時(shí)，視頻編碼系統(tǒng)102可以在關(guān)注區(qū)域，諸如視覺(jué)重要性更大的區(qū)域，中分配更多可用計(jì)算資源和/或產(chǎn)生更高視頻質(zhì)量。例如，可以檢測(cè)人的頭部和肩部，并且可以在這些區(qū)域內(nèi)利用更多資源以便產(chǎn)生更高質(zhì)量的編碼。在另一個(gè)例子中，還可以檢測(cè)表現(xiàn)出更大程度的運(yùn)動(dòng)或更大復(fù)雜性的時(shí)間段，并且可以在這些時(shí)間段期間利用更多資源以便產(chǎn)生更高質(zhì)量編碼。除了視覺(jué)質(zhì)量改進(jìn)之外，本發(fā)明可用于最佳地分配CPU能力以便滿足實(shí)時(shí)要求。例如，當(dāng)對(duì)復(fù)雜序列編碼時(shí)，處理可能比實(shí)時(shí)慢。當(dāng)區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器150檢測(cè)到視頻編碼系統(tǒng)102的運(yùn)行比某個(gè)實(shí)時(shí)安全極限慢時(shí)，可以產(chǎn)生使得編碼器調(diào)整一個(gè)或多個(gè)編碼工具75的編碼質(zhì)量參數(shù)的區(qū)域標(biāo)識(shí)信號(hào)， 以便降低關(guān)注的空間或時(shí)間區(qū)域之外的質(zhì)量，從而省出計(jì)算資源。將結(jié)合下面結(jié)合圖2-8描述的許多可選功能和特征更詳細(xì)地描述區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器150和編碼工具75。圖2給出了根據(jù)本發(fā)明的實(shí)施例的區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器150的方框圖表示。特別地，區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器150包括用于檢測(cè)至少一個(gè)圖像中的檢測(cè)區(qū)域322的區(qū)域檢測(cè)模塊320，其中所述區(qū)域基于該檢測(cè)區(qū)域。在操作中，區(qū)域檢測(cè)模塊320可以檢測(cè)可能需要更高圖像質(zhì)量的特定圖案或其它關(guān)注區(qū)域的存在。這種圖案的例子是人臉或其它臉，然而，可以同樣地實(shí)現(xiàn)其它圖案，包括符號(hào)、文本、重要圖像和特定于應(yīng)用的圖案以及其它圖案。區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器150可選擇地包括區(qū)域清理模塊324，該區(qū)域清理模塊3M諸如通過(guò)形態(tài)操作，基于檢測(cè)區(qū)域322產(chǎn)生干凈區(qū)域326。區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器150還可以包括區(qū)域生長(zhǎng)模塊328，該區(qū)域生長(zhǎng)模塊3 擴(kuò)展干凈區(qū)域326以便產(chǎn)生區(qū)域標(biāo)識(shí)信號(hào)330，該區(qū)域標(biāo)識(shí)信號(hào)330標(biāo)識(shí)該區(qū)域包含關(guān)注圖案。例如，考慮圖像310包括人臉并且區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器150產(chǎn)生對(duì)應(yīng)于人臉的區(qū)域的情況，區(qū)域檢測(cè)模塊320可以基于對(duì)與面部特征相對(duì)應(yīng)的像素顏色值——諸如膚色——的檢測(cè)而產(chǎn)生檢測(cè)區(qū)域322。區(qū)域清理模塊可以產(chǎn)生包含這些面部特征的更連續(xù)區(qū)域，并且區(qū)域生長(zhǎng)模塊可以使該區(qū)域生長(zhǎng)，以便包括周圍的頭發(fā)和其它圖像部分，以便確保整個(gè)臉部被包括在由區(qū)域標(biāo)識(shí)信號(hào)330標(biāo)識(shí)的區(qū)域內(nèi)。編碼部分可以使用區(qū)域標(biāo)識(shí)信號(hào) 330操作，以便強(qiáng)化面部區(qū)域的質(zhì)量，同時(shí)潛在地削弱圖像的其它部分的質(zhì)量。應(yīng)當(dāng)注意，如果臉部有更高的感光度和辨識(shí)性，對(duì)于觀看者來(lái)說(shuō)整個(gè)圖像可能具有更高質(zhì)量。圖3給出了根據(jù)本發(fā)明的另一實(shí)施例的區(qū)域檢測(cè)模塊320的方框圖表示。在這個(gè)實(shí)施例中，區(qū)域檢測(cè)模塊320通過(guò)檢測(cè)圖像310中的顏色操作。顏色偏差校正模塊340從圖像310產(chǎn)生顏色偏差校正圖像342。顏色空間變換模塊344從顏色偏差校正圖像342產(chǎn)生顏色變換圖像346。顏色檢測(cè)模塊根據(jù)顏色變換圖像346的顏色，產(chǎn)生檢測(cè)區(qū)域322。例如，根據(jù)結(jié)合圖4討論的檢測(cè)人臉的例子，顏色檢測(cè)模塊348可以操作來(lái)在變換空間——諸如變換YCb(；空間的Cb(；子空間——中使用橢圓皮膚模型來(lái)檢測(cè)顏色變換圖像346中對(duì)應(yīng)于膚色的顏色。特別地，可以基于高斯膚色分布的假設(shè)來(lái)構(gòu)造對(duì)應(yīng)于恒定Mahalanobis距離的輪廓的參數(shù)橢圓，以基于Cb(；子空間內(nèi)的二維投影來(lái)標(biāo)識(shí)檢測(cè)區(qū)域 322。作為例子，可以出于這個(gè)目的使用與來(lái)自Heinrich-Hertz研究所圖像數(shù)據(jù)庫(kù)的膚色片對(duì)應(yīng)的853，571個(gè)像素，然而，在本發(fā)明的更寬范圍內(nèi)可以同樣使用其它例子。在一種簡(jiǎn)化的方法中，可以使用基于實(shí)際圖像的樣本產(chǎn)生的查找表來(lái)近似上面描述的建模方法。以此方式，可以在單個(gè)步驟中確定檢測(cè)結(jié)果，諸如對(duì)檢測(cè)區(qū)域322的標(biāo)識(shí)。圖4給出了根據(jù)本發(fā)明的另一實(shí)施例的區(qū)域檢測(cè)模塊320'的方框圖表示。在這個(gè)實(shí)施例中，諸如圖像310的圖像被變換到另一個(gè)域內(nèi)的變換圖像311。由區(qū)域檢測(cè)模塊 500在圖像310的原始域內(nèi)執(zhí)行檢測(cè)，并且還由區(qū)域檢測(cè)模塊504在變換圖像311的變換域內(nèi)執(zhí)行檢測(cè)。由比較模塊510比較檢測(cè)判定506和508，以便確定檢測(cè)區(qū)域322。在本發(fā)明的實(shí)施例中，區(qū)域檢測(cè)模塊500在YUV域中以與區(qū)域檢測(cè)模塊320類似的方式對(duì)圖像310進(jìn)行操作。圖像變換模塊502將圖像310變換到RGB域，并且區(qū)域檢測(cè)模塊504在RGB域中操作。如果區(qū)域檢測(cè)模塊500或區(qū)域檢測(cè)模塊504做出這種檢測(cè)，則比較模塊510可以用信號(hào)表示區(qū)域包含關(guān)注圖案。以這種方式，可以通過(guò)替換域，諸如RGB 域，內(nèi)的平行檢測(cè)來(lái)補(bǔ)償YUV建模中可能的性能損失。圖5給出了根據(jù)本發(fā)明的實(shí)施例的視頻編碼系統(tǒng)102的方框圖表示。特別地，視頻編碼系統(tǒng)102根據(jù)H. 264標(biāo)準(zhǔn)、MPEG-4標(biāo)準(zhǔn)、VC-I (SMPTE標(biāo)準(zhǔn)421M)或其它標(biāo)準(zhǔn)的許多功能和特征操作，以便對(duì)通過(guò)信號(hào)接口 198接收的視頻輸入信號(hào)110進(jìn)行編碼、速率變換和轉(zhuǎn)碼。
視頻編碼系統(tǒng)102包括具有信號(hào)接口 198的編碼器部分103、處理模塊230、運(yùn)動(dòng)補(bǔ)償模塊對(duì)0、存儲(chǔ)器模塊232和編碼模塊236?？梢允褂脝蝹€(gè)處理設(shè)備或多個(gè)處理設(shè)備實(shí)現(xiàn)處理模塊230。這種處理設(shè)備可以是微處理器、協(xié)處理器、微控制器、數(shù)字信號(hào)處理器、微型計(jì)算機(jī)、中央處理單元、現(xiàn)場(chǎng)可編程門陣列、可編程邏輯器件、狀態(tài)機(jī)、邏輯電路、模擬電路、數(shù)字電路和/或基于存儲(chǔ)在存儲(chǔ)器(諸如存儲(chǔ)器模塊20 內(nèi)的操作指令處理信號(hào)(模擬的和/或數(shù)字的)的任意設(shè)備。存儲(chǔ)器模塊232可以是單個(gè)存儲(chǔ)器設(shè)備或多個(gè)存儲(chǔ)器設(shè)備。這種存儲(chǔ)器設(shè)備可以包括硬盤驅(qū)動(dòng)器或其它盤驅(qū)動(dòng)器、只讀存儲(chǔ)器、隨機(jī)存取存儲(chǔ)器、 易失性存儲(chǔ)器、非易失性存儲(chǔ)器、靜態(tài)存儲(chǔ)器、動(dòng)態(tài)存儲(chǔ)器、閃存、高速緩存存儲(chǔ)器和/或存儲(chǔ)數(shù)字信息的任意設(shè)備。注意，當(dāng)處理模塊通過(guò)狀態(tài)機(jī)、模擬電路、數(shù)字電路和/或邏輯電路實(shí)現(xiàn)其一個(gè)或多個(gè)功能時(shí)，存儲(chǔ)對(duì)應(yīng)操作指令的存儲(chǔ)器可以嵌入在包含該狀態(tài)機(jī)、模擬電路、數(shù)字電路和/或邏輯電路的電路內(nèi)或在其之外。處理模塊230和存儲(chǔ)器模塊232可以通過(guò)總線250耦接到信號(hào)接口 198和多個(gè)其它模塊，諸如區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器150、運(yùn)動(dòng)補(bǔ)償模塊240和編碼模塊236。根據(jù)處理模塊 230的特定實(shí)現(xiàn)，視頻編碼器102的模塊可以以軟件、固件或硬件實(shí)現(xiàn)。還應(yīng)當(dāng)注意，本發(fā)明的軟件實(shí)現(xiàn)可被存儲(chǔ)在有形存儲(chǔ)介質(zhì)上，所述介質(zhì)諸如磁盤或光盤、只讀存儲(chǔ)器或隨機(jī)存取存儲(chǔ)器，并且還可被生產(chǎn)為一件制品。雖然示出了特定的總線體系結(jié)構(gòu)，但是根據(jù)本發(fā)明同樣可以實(shí)現(xiàn)使用一個(gè)或多個(gè)模塊之間的直接連接和/或附加總線的可替換體系結(jié)構(gòu)。運(yùn)動(dòng)補(bǔ)償模塊240在視頻流的每個(gè)幀或場(chǎng)的多個(gè)宏塊內(nèi)操作，以產(chǎn)生與每個(gè)宏塊的最終運(yùn)動(dòng)矢量對(duì)應(yīng)的殘余亮度和/或色度像素值。編碼模塊236通過(guò)將殘余像素值變換編碼并且量化為量化變換系數(shù)而產(chǎn)生經(jīng)處理的視頻信號(hào)112，該量化變換系數(shù)可以諸如通過(guò)熵編碼中的熵編碼而被進(jìn)一步編碼，由去塊化過(guò)濾器過(guò)濾，并且作為經(jīng)處理的視頻信號(hào) 112而被傳輸和/或存儲(chǔ)。在由編碼器102接收數(shù)字視頻流的轉(zhuǎn)碼應(yīng)用中，在進(jìn)一步編碼、 變換速率或轉(zhuǎn)碼之前，可以可選擇地全部或部分地解碼進(jìn)入的視頻信號(hào)。在操作中，運(yùn)動(dòng)補(bǔ)償模塊240和編碼模塊236包括多個(gè)編碼工具7 和75b，這些編碼工具操作以從一個(gè)或多個(gè)視頻信號(hào)Iio產(chǎn)生壓縮視頻流。編碼工具7 可以包括運(yùn)動(dòng)補(bǔ)償模塊240的基于編碼質(zhì)量參數(shù)操作的部分，所述參數(shù)諸如運(yùn)動(dòng)搜索范圍、宏塊模式、子像素精度和/或其它運(yùn)動(dòng)搜索參數(shù)、運(yùn)動(dòng)細(xì)化參數(shù)、模式判定參數(shù)或影響運(yùn)動(dòng)補(bǔ)償處理的質(zhì)量和計(jì)算復(fù)雜度的其它運(yùn)動(dòng)補(bǔ)償參數(shù)。編碼工具7 可以進(jìn)一步包括編碼模塊236的基于編碼質(zhì)量參數(shù)操作以產(chǎn)生經(jīng)處理的視頻信號(hào)112的部分，所述參數(shù)諸如量化參數(shù)(QP)、 量化矩陣和/或參考圖像頻率或編碼模塊236使用的其它編碼參數(shù)。如前所述，當(dāng)區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器150產(chǎn)生指示檢測(cè)到關(guān)注的空間或時(shí)間區(qū)域的區(qū)域標(biāo)識(shí)信號(hào)，諸如區(qū)域標(biāo)識(shí)信號(hào)330時(shí)，編碼器部分103調(diào)整編碼工具7 和75b的一個(gè)或多個(gè)編碼質(zhì)量參數(shù)，以與關(guān)注區(qū)域之外的部分相比，在關(guān)注區(qū)域內(nèi)產(chǎn)生更高質(zhì)量的編碼。圖6給出了根據(jù)本發(fā)明的實(shí)施例的視頻分發(fā)系統(tǒng)175的方框圖表示。特別地，經(jīng)處理的視頻信號(hào)112通過(guò)傳輸路徑122被傳輸?shù)揭曨l解碼器104。視頻解碼器104又可以操作以便對(duì)經(jīng)處理的視頻信號(hào)解碼，以便在諸如電視機(jī)10、計(jì)算機(jī)20或其它顯示設(shè)備的顯不設(shè)備上顯不。傳輸路徑122可以包括根據(jù)無(wú)線局域網(wǎng)協(xié)議——諸如802. 11協(xié)議、WIMAX協(xié)議、 藍(lán)牙協(xié)議等——操作的無(wú)線路徑。另外，傳輸路徑可以包括根據(jù)有線協(xié)議——諸如通用串
7行總線協(xié)議、以太網(wǎng)協(xié)議或其它高速協(xié)議——操作的有線路徑。圖7給出了根據(jù)本發(fā)明的實(shí)施例的視頻存儲(chǔ)系統(tǒng)179的方框圖表示。特別地，設(shè)備11是具有內(nèi)置數(shù)字視頻記錄器功能的機(jī)頂盒、獨(dú)立的數(shù)字視頻記錄器、DVD記錄器/播放器或存儲(chǔ)經(jīng)處理的視頻信號(hào)112以便在諸如電視機(jī)12的視頻顯示設(shè)備上顯示的其它設(shè)備。雖然視頻編碼器102被示出為單獨(dú)設(shè)備，但是其還可被結(jié)合在設(shè)備11內(nèi)。雖然示出了這些特定設(shè)備，但是視頻存儲(chǔ)系統(tǒng)179可以包括硬盤驅(qū)動(dòng)器、閃存設(shè)備、計(jì)算機(jī)、DVD刻錄機(jī)或能夠根據(jù)結(jié)合此處描述的本發(fā)明的特征和功能描述的方法和系統(tǒng)產(chǎn)生、存儲(chǔ)、解碼和/ 或顯示組合視頻流220的任意其它設(shè)備。圖8給出了根據(jù)本發(fā)明的實(shí)施例的方法的流程圖表示。特別地，給出了一種結(jié)合根據(jù)圖1-8所描述的一個(gè)或多個(gè)功能和特征使用的方法。在步驟400，基于多個(gè)編碼工具的操作產(chǎn)生經(jīng)處理的視頻信號(hào)，每個(gè)編碼工具具有至少一個(gè)編碼器質(zhì)量參數(shù)。在步驟402，該方法確定在至少一個(gè)圖像中是否檢測(cè)到關(guān)注區(qū)域。在步驟404，當(dāng)檢測(cè)到關(guān)注圖案時(shí)產(chǎn)生區(qū)域標(biāo)識(shí)信號(hào)。在步驟406，響應(yīng)于區(qū)域標(biāo)識(shí)信號(hào)調(diào)整多個(gè)編碼工具中的至少一個(gè)編碼工具的至少一個(gè)編碼質(zhì)量參數(shù)。在本發(fā)明的實(shí)施例中，步驟406包括調(diào)整多個(gè)編碼工具中的至少一個(gè)編碼工具的至少一個(gè)編碼質(zhì)量參數(shù)，以便與至少一個(gè)圖像的在關(guān)注區(qū)域之外的部分相比，在關(guān)注區(qū)域內(nèi)產(chǎn)生更高質(zhì)量的編碼。步驟406還可以包括響應(yīng)于區(qū)域標(biāo)識(shí)信號(hào)調(diào)整多個(gè)編碼工具中每一個(gè)的至少一個(gè)編碼質(zhì)量參數(shù)。在一種操作模式中，所述至少一個(gè)圖像包括圖像序列，并且關(guān)注區(qū)域包括跨所述圖像序列內(nèi)的多個(gè)圖像的時(shí)間段。所述多個(gè)編碼質(zhì)量參數(shù)可以包括量化參數(shù)、量化矩陣、運(yùn)動(dòng)搜索范圍、宏塊模式、子像素精度和/或參考圖片頻率。如前所述，視頻編碼系統(tǒng)的編碼器部分，諸如編碼器系統(tǒng)102，通過(guò)量化和數(shù)字化產(chǎn)生具有特定圖像質(zhì)量的經(jīng)處理的視頻信號(hào)。當(dāng)檢測(cè)到關(guān)注區(qū)域時(shí)，與所述一個(gè)或多個(gè)圖像在該區(qū)域之外的部分相比，給關(guān)注區(qū)域分配更小量化、更高分辨率或其它更高的質(zhì)量。與所述圖像的在該區(qū)域之外的部分相對(duì)比，在對(duì)該區(qū)域編碼時(shí)，這提供了更高質(zhì)量的圖像。例如，當(dāng)對(duì)所述區(qū)域內(nèi)的宏塊編碼時(shí)，編碼器部分使用比在沒(méi)有檢測(cè)到所述圖案并且沒(méi)有標(biāo)識(shí)所述區(qū)域時(shí)通常使用的更高的分辨率、量化等?？梢酝ㄟ^(guò)不同方式實(shí)現(xiàn)這種質(zhì)量變化。例如，在比特分配方法中，可以基于圖像的一部分在關(guān)注區(qū)域之內(nèi)還是在關(guān)注區(qū)域之外，調(diào)整量化參數(shù)和速率。還可以使用其它方法。例如，可以分配計(jì)算能力，以便與所述區(qū)域之外的編碼相比偏重所述區(qū)域內(nèi)的編碼。在這種方法中，可以調(diào)整編碼參數(shù)，諸如預(yù)先定義的運(yùn)動(dòng)估計(jì)搜索范圍、子像素運(yùn)動(dòng)估計(jì)精度、參考幀數(shù)目和宏塊模式候選數(shù)目，以便增加在關(guān)注區(qū)域內(nèi)使用的計(jì)算量，和/或減少在關(guān)注區(qū)域之外使用的計(jì)算量。可以實(shí)施本發(fā)明，例如，以便使用更少比特實(shí)現(xiàn)類似的視覺(jué)質(zhì)量，或使用相同數(shù)目的比特以便實(shí)現(xiàn)更高的視覺(jué)質(zhì)量。另外，可以更快地執(zhí)行編碼處理以便實(shí)現(xiàn)類似的視覺(jué)質(zhì)量，或可以采用類似的處理時(shí)間以便實(shí)現(xiàn)更高的視覺(jué)質(zhì)量。以此方式，編碼處理可以著重于用戶關(guān)心的圖像區(qū)域。在優(yōu)選實(shí)施例中，使用0. 35微米或更小的CMOS技術(shù)實(shí)現(xiàn)各種電路組件。然而在本發(fā)明的寬泛范圍內(nèi)，可以使用集成或非集成的其它電路技術(shù)。
雖然此處已經(jīng)明確描述了本發(fā)明的各種功能和特征的特定組合，但是可以有這些特征和功能的其它組合，其不受此處公開的特定示例的限制，并且被明確地包括在本發(fā)明的范圍內(nèi)。本領(lǐng)域的技術(shù)人員將明了，此處可能使用的術(shù)語(yǔ)“大體”或“近似地”給其對(duì)應(yīng)項(xiàng)和/或項(xiàng)之間的相對(duì)性提供工業(yè)可接受容限。這種工業(yè)可接受容限的范圍從小于百分之一到百分之二十，并且相應(yīng)于但不限于組件值、集成電路處理變化、溫度變化、上升和下降時(shí)間和/或熱噪聲。這種項(xiàng)之間的相對(duì)性的范圍從百分之幾的不同到量級(jí)的不同。本領(lǐng)域的普通技術(shù)人員還將明了，此處可能使用的術(shù)語(yǔ)“耦接”包括直接耦接和通過(guò)另一個(gè)組件、元件、電路或模塊的間接耦接，其中對(duì)于間接耦接，中間組件、元件、電路或模塊不改變信號(hào)的信息，而是可以調(diào)整其電流電平、電壓電平和/或功率電平。本領(lǐng)域的普通技術(shù)人員還將明了，推導(dǎo)耦接(即，根據(jù)推導(dǎo)一個(gè)元件耦接到另一個(gè)元件)包括兩個(gè)元件之間以與“耦接”相同的方式的直接和間接耦接。本領(lǐng)域的普通技術(shù)人員還將明了，此處可能使用的術(shù)語(yǔ)“滿意地比較”指兩個(gè)或多個(gè)元件、項(xiàng)、信號(hào)等之間的比較提供所希望的關(guān)系。例如，當(dāng)所希望的關(guān)系是信號(hào)1的幅度大于信號(hào)2的幅度時(shí)，那么當(dāng)信號(hào)1的幅度大于信號(hào)2的幅度時(shí)或當(dāng)信號(hào)2的幅度小于信號(hào)1的幅度時(shí)，實(shí)現(xiàn)滿意的比較。由于在本發(fā)明的各個(gè)實(shí)施例的描述中使用了術(shù)語(yǔ)模塊，模塊包括執(zhí)行一個(gè)或多個(gè)功能(諸如處理輸入信號(hào)以便產(chǎn)生輸出信號(hào))的以硬件、軟件和/或固件實(shí)現(xiàn)的功能塊。如此處使用的，模塊可以包括自身是模塊的子模塊。因此，此處已經(jīng)描述了一種用于實(shí)現(xiàn)視頻編碼系統(tǒng)的裝置和方法，以及包括優(yōu)選實(shí)施例的若干實(shí)施例。此處描述的本發(fā)明的各個(gè)實(shí)施例具有使得本發(fā)明區(qū)別于現(xiàn)有技術(shù)的特征。本領(lǐng)域的技術(shù)人員將明了，可以按照多種方法修改公開的發(fā)明，并且可以采取上面特別提出和描述的優(yōu)選形式之外的許多實(shí)施例。因此，旨在以所附權(quán)利要求覆蓋本發(fā)明的落在本發(fā)明的真實(shí)精神和范圍內(nèi)的所有修改。
9
權(quán)利要求
1.一種用于將視頻流編碼為經(jīng)處理的視頻信號(hào)的系統(tǒng)，所述視頻流包括至少一個(gè)圖像，所述系統(tǒng)包括區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器，用于檢測(cè)至少一個(gè)圖像中的關(guān)注區(qū)域，并且當(dāng)檢測(cè)到所述關(guān)注區(qū)域時(shí)產(chǎn)生區(qū)域標(biāo)識(shí)信號(hào)；和耦接到所述區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器的編碼器部分，所述編碼器部分基于多個(gè)編碼工具的操作產(chǎn)生所述經(jīng)處理的視頻信號(hào)，每個(gè)編碼工具具有至少一個(gè)編碼質(zhì)量參數(shù)，其中所述編碼器部分響應(yīng)于所述區(qū)域標(biāo)識(shí)信號(hào)調(diào)整所述多個(gè)編碼工具中的至少一個(gè)編碼工具的至少一個(gè)編碼質(zhì)量參數(shù)。
2.如權(quán)利要求1所述的系統(tǒng)，其中當(dāng)所述區(qū)域標(biāo)識(shí)信號(hào)指示檢測(cè)到所述關(guān)注區(qū)域時(shí)， 所述編碼器部分調(diào)整所述多個(gè)編碼工具中的至少一個(gè)編碼工具的至少一個(gè)編碼質(zhì)量參數(shù)以與所述至少一個(gè)圖像在所述關(guān)注區(qū)域之外的部分相比，在所述關(guān)注區(qū)域內(nèi)產(chǎn)生更高質(zhì)量的編碼。
3.如權(quán)利要求1所述的系統(tǒng)，其中所述編碼器部分響應(yīng)于所述區(qū)域標(biāo)識(shí)信號(hào)調(diào)整所述多個(gè)編碼工具的至少一個(gè)編碼質(zhì)量參數(shù)。
4.如權(quán)利要求1所述的系統(tǒng)，其中所述至少一個(gè)圖像包括圖像序列，并且所述關(guān)注區(qū)域包括跨所述圖像序列內(nèi)的多個(gè)圖像的時(shí)間段。
5.如權(quán)利要求4所述的系統(tǒng)，其中所述區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器包括 用于檢測(cè)所述圖像序列內(nèi)的運(yùn)動(dòng)量的運(yùn)動(dòng)檢測(cè)模塊。
6.如權(quán)利要求1所述的系統(tǒng)，其中所述區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器包括 用于檢測(cè)所述至少一個(gè)圖像中的臉部的區(qū)域檢測(cè)模塊。
7.如權(quán)利要求1所述的系統(tǒng)，其中所述多個(gè)編碼質(zhì)量參數(shù)包括下列中的至少一個(gè)量化參數(shù)和量化矩陣。
8.如權(quán)利要求1所述的系統(tǒng)，其中所述多個(gè)編碼質(zhì)量參數(shù)包括下列中的至少一個(gè) 運(yùn)動(dòng)搜索范圍、宏塊模式和子像素精度。
9.如權(quán)利要求1所述的系統(tǒng)，其中所述多個(gè)編碼質(zhì)量參數(shù)包括參考圖片頻率。
10.一種用于將視頻流編碼為經(jīng)處理的視頻信號(hào)的方法，所述視頻流包括至少一個(gè)圖像，所述方法包括基于多個(gè)編碼工具的操作而產(chǎn)生所述經(jīng)處理的視頻信號(hào)，其中每個(gè)編碼工具具有至少一個(gè)編碼質(zhì)量參數(shù)；檢測(cè)所述至少一個(gè)圖像內(nèi)的關(guān)注區(qū)域； 當(dāng)檢測(cè)到所述關(guān)注區(qū)域時(shí)，產(chǎn)生區(qū)域標(biāo)識(shí)信號(hào)；和響應(yīng)于所述區(qū)域標(biāo)識(shí)信號(hào)，調(diào)整所述多個(gè)編碼工具中的至少一個(gè)編碼工具的至少一個(gè)編碼質(zhì)量參數(shù)。
11.如權(quán)利要求10所述的方法，其中調(diào)整至少一個(gè)編碼質(zhì)量參數(shù)包括調(diào)整所述多個(gè)編碼工具中的至少一個(gè)編碼工具的至少一個(gè)編碼質(zhì)量參數(shù)以與所述至少一個(gè)圖像在所述關(guān)注區(qū)域之外的部分相比，在所述關(guān)注區(qū)域內(nèi)產(chǎn)生更高質(zhì)量的編碼。
12.如權(quán)利要求10所述的方法，其中調(diào)整至少一個(gè)編碼質(zhì)量參數(shù)包括 響應(yīng)于所述區(qū)域標(biāo)識(shí)信號(hào)調(diào)整所述多個(gè)編碼工具的至少一個(gè)編碼質(zhì)量參數(shù)。
13.如權(quán)利要求10所述的方法，其中所述至少一個(gè)圖像包括圖像序列，并且所述關(guān)注區(qū)域包括跨所述圖像序列內(nèi)的多個(gè)圖像的時(shí)間段。
14.如權(quán)利要求10所述的方法，其中所述多個(gè)編碼質(zhì)量參數(shù)包括下列中的至少一個(gè)量化參數(shù)和量化矩陣。
15.如權(quán)利要求10所述的方法，其中所述多個(gè)編碼質(zhì)量參數(shù)包括下列中的至少一個(gè) 運(yùn)動(dòng)搜索范圍、宏塊模式和子像素精度。
16.如權(quán)利要求10所述的方法，其中所述多個(gè)編碼質(zhì)量參數(shù)包括參考圖片頻率。
全文摘要
本公開利用區(qū)域檢測(cè)的資源自適應(yīng)視頻編碼系統(tǒng)及其使用的方法。用于將包括至少一個(gè)圖像的視頻流編碼為壓縮視頻信號(hào)的系統(tǒng)包括區(qū)域標(biāo)識(shí)信號(hào)產(chǎn)生器，用于檢測(cè)至少一個(gè)圖像中的關(guān)注區(qū)域，并且當(dāng)檢測(cè)到所述關(guān)注區(qū)域時(shí)產(chǎn)生區(qū)域標(biāo)識(shí)信號(hào)。編碼器部分基于多個(gè)編碼工具的操作產(chǎn)生所述經(jīng)處理的視頻信號(hào)，每個(gè)編碼工具具有至少一個(gè)編碼質(zhì)量參數(shù)。所述編碼器部分響應(yīng)于所述區(qū)域標(biāo)識(shí)信號(hào)調(diào)整所述多個(gè)編碼工具中的至少一個(gè)編碼工具的至少一個(gè)編碼質(zhì)量參數(shù)。
文檔編號(hào)H04N7/26GK102340665SQ20111016805
公開日2012年2月1日 申請(qǐng)日期2011年6月22日 優(yōu)先權(quán)日2010年7月20日
發(fā)明者劉洋, 潘峰 申請(qǐng)人:Vixs系統(tǒng)公司