視頻處理方法及視頻處理裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻處理方法及視頻處理裝置，更詳細(xì)地，涉及可提高幀緩沖存儲(chǔ)器的內(nèi)存帶寬效率的視頻處理方法及視頻處理裝置。
【背景技術(shù)】
[0002]本研究根據(jù)產(chǎn)業(yè)貿(mào)易資源部產(chǎn)業(yè)技術(shù)革新事業(yè)(系統(tǒng)半導(dǎo)體商業(yè)化技術(shù)開(kāi)發(fā)事業(yè))的環(huán)節(jié)來(lái)執(zhí)行[10049498，開(kāi)發(fā)在智能設(shè)備上再生網(wǎng)絡(luò)視頻的高清(4K級(jí))視頻譯碼器(HEVC/VP9)SoC]。
[0003]當(dāng)前，隨著視頻處理方式的提高，視頻處理裝置處理著更大尺寸的影像。
[0004]尤其，隨著產(chǎn)生對(duì)UHD的需求，很難利用當(dāng)前的視頻壓縮技術(shù)來(lái)收容存儲(chǔ)介質(zhì)的大小及傳輸介質(zhì)的帶寬，因此，需要用于壓縮UHD視頻的新的壓縮標(biāo)準(zhǔn)技術(shù)，隨之，在2013年I月結(jié)束了對(duì)HEVC的標(biāo)準(zhǔn)化。HEVC可用于通過(guò)互聯(lián)網(wǎng)(Internet)及3G、LTE等網(wǎng)來(lái)進(jìn)行服務(wù)的視頻流，而在此時(shí)，不僅是UHD可以被壓縮為HEVC，而且FHD或HD級(jí)別也可以被壓縮為HEVC。
[0005]如UHD TV的情況下，預(yù)計(jì)在短期內(nèi)具有4K (4096 X 2304像素)及30fps視頻流，預(yù)計(jì)需要以4K 60fps/120fps、8K 30fps/60fps/…等每秒鐘處理的次數(shù)會(huì)繼續(xù)增加。并且，預(yù)計(jì)用于雙向幀的預(yù)測(cè)及濾波處理的每個(gè)幀的請(qǐng)求帶寬會(huì)大幅度提高。
[0006]為了與這種處理帶寬的提高相對(duì)應(yīng)，需要使系統(tǒng)模數(shù)據(jù)塊間或向外部的傳輸帶寬根據(jù)在應(yīng)用中需要的性能、功能來(lái)一同提高。
[0007]然而，隨著要處理的圖像分辨率和幀率的增加，與所需的處理帶寬大幅度提高相比，用于傳輸?shù)膸拝s存在局限性問(wèn)題。
[0008]例如，用于在幀緩沖存儲(chǔ)器存儲(chǔ)圖像或從幀緩沖存儲(chǔ)器引出圖像的帶寬可根據(jù)內(nèi)存應(yīng)用的最小突發(fā)長(zhǎng)度(BURST LENGTH)而受到限制。
[0009]為了解決此問(wèn)題，雖然提出對(duì)輸入/輸出于幀緩沖存儲(chǔ)器的圖像執(zhí)行壓縮的方式，但實(shí)際上并未帶來(lái)令人矚目的帶寬降低效果。
[0010]并且，當(dāng)前的幀緩沖的壓縮方式為了得到高的壓縮效率而使用有損壓縮方式，然而這不僅帶來(lái)質(zhì)量的逐漸降低，而且還存在壓縮數(shù)據(jù)格式發(fā)生變更的問(wèn)題。
[0011]不僅如此，通過(guò)這種格式變更，用于隨機(jī)訪問(wèn)的幀緩沖存儲(chǔ)器探索過(guò)程變得復(fù)雜，最終存在處理量及處理時(shí)間重新增加的問(wèn)題。

【發(fā)明內(nèi)容】

[0012]技術(shù)問(wèn)題
[0013]本發(fā)明根據(jù)上述必要性來(lái)提出，本發(fā)明的目的在于，涉及可以利用幀緩沖的無(wú)損壓縮來(lái)以沒(méi)有質(zhì)量損失的方式提高帶寬效率的視頻處理裝置及視頻處理方法。
[0014]并且，本發(fā)明的目的在于，涉及可以通過(guò)提供維持無(wú)損并容易接近的幀緩沖的壓縮格式來(lái)進(jìn)行快速處理的視頻處理裝置及視頻處理方法。
[0015]并且，本發(fā)明的再一目的在于，涉及通過(guò)多變化幀緩沖器的無(wú)損壓縮時(shí)的壓縮方式來(lái)使帶寬減少效果最大化的視頻處理裝置及視頻處理方法。
[0016]并且，本發(fā)明的另一目的在于，涉及在幀緩沖器執(zhí)行壓縮時(shí)可有效執(zhí)行數(shù)據(jù)塊分割來(lái)提高壓縮效率的視頻處理裝置及視頻處理方法。
[0017]并且，本發(fā)明的目的在于，涉及僅在執(zhí)行解壓(decompress)時(shí)，也容易接近存儲(chǔ)器并解除壓縮，并用于維持帶寬減少效果的視頻處理裝置及視頻處理方法。
[0018]技術(shù)方案
[0019]用于實(shí)現(xiàn)上述目的的本發(fā)明一實(shí)施例的視頻處理裝置可包括:影像接收部，接收被編碼的影像；濾波部，對(duì)從編碼后的上述影像中復(fù)原的影像幀進(jìn)行濾波處理；數(shù)據(jù)塊分割部，按既定的分割數(shù)據(jù)塊單位來(lái)分割濾波處理后的上述影像幀；壓縮部，對(duì)上述多個(gè)數(shù)據(jù)塊分別執(zhí)行壓縮，以規(guī)定單位對(duì)上述壓縮的上述多個(gè)數(shù)據(jù)塊進(jìn)行封裝，并與被封裝的上述多個(gè)數(shù)據(jù)塊相對(duì)應(yīng)地生成查閱表信息；幀緩沖存儲(chǔ)器，記錄被封裝的上述數(shù)據(jù)；以及解壓部，利用上述查閱表信息，從上述幀緩沖存儲(chǔ)器獲得上述多個(gè)數(shù)據(jù)塊中的至少一個(gè)數(shù)據(jù)塊來(lái)執(zhí)行解壓。
[0020]用于實(shí)現(xiàn)上述目的的本發(fā)明一實(shí)施例的影像處理裝置的視頻處理方法包括:接收編碼的影像的步驟；對(duì)從編碼后的上述影像中復(fù)原的影像幀進(jìn)行濾波處理的步驟；按既定的分割數(shù)據(jù)塊單位來(lái)分割濾波處理后的上述影像幀的步驟；對(duì)上述多個(gè)數(shù)據(jù)塊分別執(zhí)行壓縮的步驟；以規(guī)定單位封裝被壓縮的上述多個(gè)數(shù)據(jù)塊，并與被封裝的上述多個(gè)數(shù)據(jù)塊相對(duì)應(yīng)地生成查閱表信息的步驟；記錄被封裝的上述數(shù)據(jù)的步驟；以及利用上述查閱表信息，從上述幀緩沖存儲(chǔ)器獲得上述多個(gè)數(shù)據(jù)塊中的至少一個(gè)數(shù)據(jù)塊來(lái)執(zhí)行解壓的步驟。
[0021]另一方面，上述視頻處理方法可通過(guò)計(jì)算機(jī)可讀記錄介質(zhì)來(lái)體現(xiàn)，在上述計(jì)算機(jī)可讀記錄介質(zhì)記錄有用于在計(jì)算機(jī)執(zhí)行的程序。
[0022]有益效果
[0023]根據(jù)本發(fā)明的多種實(shí)施例，可提供視頻處理裝置及視頻處理方法，上述視頻處理裝置及視頻處理方法即使在每秒鐘需要處理的像素?cái)?shù)(4K60fpS/120fpS、8K30fps/60fps/…等)較大的影像的情況下，也能在沒(méi)有質(zhì)量下降的狀態(tài)下減少內(nèi)存帶寬，從而可以提高處理效率。
[0024]并且，根據(jù)本發(fā)明的多種實(shí)施例，可提供視頻處理裝置及視頻處理方法，上述視頻處理裝置及視頻處理方法由于可以容易地接近被壓縮的幀緩沖存儲(chǔ)器，因而可以提高處理性能。
[0025]并且，根據(jù)本發(fā)明的多種實(shí)施例，可提供視頻處理裝置及視頻處理方法，上述視頻處理裝置及視頻處理方法可以減少?gòu)膸彌_存儲(chǔ)器輸入/輸出的信息的額外開(kāi)銷，且可以減少帶寬的變動(dòng)，從而可以容易地體現(xiàn)系統(tǒng)，并提高穩(wěn)定性。
[0026]并且，根據(jù)本發(fā)明的多種實(shí)施例，可提供按分割的紋理數(shù)據(jù)塊來(lái)選擇性適用互不相同壓縮方式，并選擇使帶寬減少效果最大化的方式，由此可提高影像處理性能的視頻處理裝置及視頻處理方法。
[0027]并且，根據(jù)本發(fā)明的多種實(shí)施例，可提供視頻處理裝置及視頻處理方法，上述視頻處理方法及視頻處理裝置提供有效紋理數(shù)據(jù)塊的分割及填充方式，并雙重處理的剩余信號(hào)執(zhí)行可變長(zhǎng)度編碼，由此可提高影像處理性能。
[0028]并且，根據(jù)本發(fā)明的多種實(shí)施例，可提供在執(zhí)行解壓時(shí)，可利用查閱表信息來(lái)容易地接近存儲(chǔ)器，且迅速接收傳輸帶寬得到減少的壓縮數(shù)據(jù)來(lái)解除壓縮，從而可提高影像處理性能的視頻處理裝置。
【附圖說(shuō)明】
[0029]圖1為表示本發(fā)明一實(shí)施例的視頻解碼裝置的結(jié)構(gòu)的框圖。
[0030]圖2為表示本發(fā)明另一實(shí)施例的視頻解碼裝置的結(jié)構(gòu)的框圖。
[0031]圖3為用于更加詳細(xì)說(shuō)明本發(fā)明實(shí)施例的視頻解碼裝置的壓縮部結(jié)構(gòu)的框圖。
[0032]圖4為用于說(shuō)明本發(fā)明實(shí)施例的視頻解碼方法的流程圖。
[0033]圖5為用于更為詳細(xì)地說(shuō)明本發(fā)明實(shí)施例的數(shù)據(jù)塊分割部的圖。
[0034]圖6為用于說(shuō)明本發(fā)明實(shí)施例的壓縮執(zhí)行部的工作的流程圖。
[0035]圖7為用于說(shuō)明根據(jù)本發(fā)明實(shí)施例來(lái)分割的數(shù)據(jù)塊的壓縮過(guò)程的流程圖。
[0036]圖8為用于說(shuō)明本發(fā)明實(shí)施例的數(shù)據(jù)塊的封裝過(guò)程的流程圖。
[0037]圖9為用于更為詳細(xì)地說(shuō)明本發(fā)明實(shí)施例的解壓部的圖。
[0038]圖10的㈧部分、⑶部分、(C)部分為用于說(shuō)明根據(jù)本發(fā)明實(shí)施例來(lái)壓縮的幀緩沖存儲(chǔ)器的圖。
[0039]圖11為用于說(shuō)明本發(fā)明實(shí)施例的壓縮方法及組化的圖。
[0040]圖12為用于說(shuō)明本發(fā)明實(shí)施例的查閱表的圖。
[0041]圖13為與以往的結(jié)構(gòu)相比較來(lái)說(shuō)明根據(jù)本發(fā)明實(shí)施例來(lái)存儲(chǔ)于幀緩沖存儲(chǔ)器的信息的圖。
[0042]圖14至圖21為用于說(shuō)明適用本發(fā)明實(shí)施例的情況下的處理效率得到提高的結(jié)果的實(shí)驗(yàn)數(shù)據(jù)。
【具體實(shí)施方式】
[0043]以下，參照附圖對(duì)本發(fā)明進(jìn)行詳細(xì)的說(shuō)明，以使本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員可以容易地實(shí)施。但本發(fā)明可以以多種不同形態(tài)體現(xiàn)，本發(fā)明并不局限于在此所述的實(shí)施例。并且，為了明確地說(shuō)明本發(fā)明而省略了附圖中與說(shuō)明無(wú)關(guān)的部分，且在本說(shuō)明書(shū)全文中，對(duì)類似的部分賦予類似的附圖標(biāo)記。
[0044]在本說(shuō)明書(shū)全文中，當(dāng)指出一個(gè)部分與另一部分“連接”時(shí)，這不僅包括“直接連接”的情況，而且還包括在中間設(shè)置其他元件來(lái)“間接連接”的情況。
[0045]在本說(shuō)明書(shū)全文中，當(dāng)指出一個(gè)部件位于另一部件“上”時(shí)，這不僅包括一個(gè)部件與另一部件相接觸的情況，而且還包括在兩個(gè)部件之間存在其他部件的情況。
[0046]在本說(shuō)明書(shū)全文中，當(dāng)指出一個(gè)部件“包括”一個(gè)結(jié)構(gòu)要素時(shí)，只要沒(méi)有特別相反的記載，就意味著并不是除去其他結(jié)構(gòu)要素，而是意味著包括其他結(jié)構(gòu)要素。在本說(shuō)明書(shū)全文中使用的程度術(shù)語(yǔ)“約”、“實(shí)際上”等是在所提及的含義中提出固有的制造及物質(zhì)允許誤差時(shí)，以其數(shù)值或接近其數(shù)值的含義使用，并用于防止不良的侵害者以不當(dāng)?shù)姆绞嚼脼榱吮阌诶斫舛峒暗臏?zhǔn)確或絕對(duì)的數(shù)值的公開(kāi)內(nèi)容。在本說(shuō)明書(shū)全文中使用的程度術(shù)語(yǔ)“?(的)步驟”或“?步驟”并不非意味著“用于?的步驟”。
[0047]在本說(shuō)明書(shū)全文中，馬庫(kù)什形式的表達(dá)所包括的術(shù)語(yǔ)“它們的組合”意味著選自由馬庫(kù)什形式的表達(dá)所記載的結(jié)構(gòu)要素組成的組中的一個(gè)以上的混合或組合，意味著包括選自由上述結(jié)構(gòu)要素組成的組中的一個(gè)以上。
[0048]作為對(duì)實(shí)際影像和其深度圖進(jìn)行編碼的方法的一例，雖然可利用至今所開(kāi)發(fā)的視頻編碼標(biāo)準(zhǔn)中的在具有最高編碼效率的移動(dòng)圖像專家組(MPEG，Moving Picture ExpertsGroup)和視頻編碼專家組(VCEG，Video Coding Experts Group)中共同進(jìn)行標(biāo)準(zhǔn)化的高效率視頻編碼(HEVC，High Efficiency Video Coding)來(lái)執(zhí)行解碼，但并不局限于此，本發(fā)明實(shí)施例的解碼裝置可利用使用幀緩沖存儲(chǔ)器的多種方式(MPEG2，AVC等)的編解碼器來(lái)執(zhí)行解碼。
[0049]通常，視頻處理裝置可包括編碼裝置或解碼裝置，編碼裝置包括編碼過(guò)程和解碼過(guò)程，解碼裝置包括解碼過(guò)程。解碼裝置的解碼過(guò)程可以與編碼裝置的解碼過(guò)程相同。以下以解碼裝置為主進(jìn)行說(shuō)明。
[0050]圖1為表示本發(fā)明一實(shí)施例的視頻解碼裝置的結(jié)構(gòu)的框圖。
[0051]參照?qǐng)D1，本發(fā)明的視頻解碼裝置100包括熵解碼部110、逆量化/逆變換部120、加法器180、濾波部130、壓縮部140、幀緩沖存儲(chǔ)器150、解壓部160、運(yùn)動(dòng)補(bǔ)償部170及輸出部 190。
[0052]除此之外，根據(jù)本發(fā)明的實(shí)施例，視頻解碼裝置100還可包括幀內(nèi)/幀間轉(zhuǎn)換開(kāi)關(guān)及幀內(nèi)預(yù)測(cè)部。只是，本實(shí)施例更加具體說(shuō)明用于生成預(yù)測(cè)數(shù)據(jù)塊的參照幀的壓縮及封裝方法和利用這種方法的幀之間的預(yù)測(cè)(幀間模式)時(shí)的運(yùn)動(dòng)補(bǔ)償過(guò)程。
[0053]熵解碼部110對(duì)從視頻編碼裝置傳輸?shù)木幋a比特流進(jìn)行解碼，來(lái)分為幀內(nèi)預(yù)測(cè)模式指數(shù)、移動(dòng)信息、量化系數(shù)序列等。熵解碼部110可向運(yùn)動(dòng)補(bǔ)償部170供給解碼后的移動(dòng)?目息O
[0054]熵解碼部110可向運(yùn)動(dòng)補(bǔ)償部170、逆量化/逆變換部120供給上述幀內(nèi)預(yù)測(cè)模式指數(shù)。并且，熵解碼部110可向逆量化/逆變換部120供給逆量化系數(shù)序列。
[0055]逆量化/逆變換部120可將量化系數(shù)序列變換為二維陳列的逆量化系數(shù)。逆量化/逆變換部120可以為了變換而選擇多個(gè)掃描圖案中的一個(gè)。逆量化/逆變換部120可基于當(dāng)前數(shù)據(jù)塊的預(yù)測(cè)模式(即，幀內(nèi)預(yù)測(cè)及幀間預(yù)測(cè)中的一個(gè))和幀內(nèi)預(yù)測(cè)模式中的至少一個(gè)幀內(nèi)預(yù)測(cè)模式來(lái)選擇多個(gè)掃描圖案中的一個(gè)。
[0056]逆量化/逆變換部120可從運(yùn)動(dòng)補(bǔ)償部170或熵解碼部110接收幀內(nèi)側(cè)模式。
[0057]逆量化/逆變換部120利用選自多個(gè)量化矩陣中的量化矩陣來(lái)在上述二維陳列的逆量化系數(shù)中復(fù)原量化系數(shù)。根據(jù)所要復(fù)原的當(dāng)前數(shù)據(jù)塊的大小來(lái)適用不同大小量化矩陣，而對(duì)于相同大小的數(shù)據(jù)塊，也可以基于上述當(dāng)前數(shù)據(jù)塊的預(yù)測(cè)模式及幀內(nèi)預(yù)測(cè)模式中的至少一個(gè)幀內(nèi)預(yù)測(cè)模式來(lái)選擇量化矩陣。
[0058]并且，逆量化/逆變換部120對(duì)復(fù)原的上述量