本公開整體涉及視頻譯碼(例如,包括視頻數(shù)據(jù)的編碼和/或解碼)。例如,本公開的各方面涉及用于使用共享插值濾波器和參考數(shù)據(jù)執(zhí)行幀間預(yù)測(cè)(例如,解碼器側(cè)運(yùn)動(dòng)矢量細(xì)化(dmvr))的系統(tǒng)和技術(shù)。
背景技術(shù):
1、許多設(shè)備和系統(tǒng)允許視頻數(shù)據(jù)被處理并輸出以供消費(fèi)。數(shù)字視頻數(shù)據(jù)包括大量數(shù)據(jù),以滿足消費(fèi)者和視頻提供者的需求。例如,視頻數(shù)據(jù)的消費(fèi)者期望最高質(zhì)量的視頻,具有高保真度、高分辨率、高幀速率等。結(jié)果,為了滿足這些需求所需要的大量視頻數(shù)據(jù)為處理并存儲(chǔ)視頻數(shù)據(jù)的通信網(wǎng)絡(luò)和設(shè)備帶來了負(fù)擔(dān)。
2、各種視頻譯碼技術(shù)可用于壓縮視頻數(shù)據(jù)。根據(jù)一個(gè)或多個(gè)視頻譯碼標(biāo)準(zhǔn)執(zhí)行視頻譯碼。例如,視頻譯碼標(biāo)準(zhǔn)包括通用視頻譯碼(vvc)、高效視頻譯碼(hevc)、高級(jí)視頻譯碼(avc)、mpeg-2部分2譯碼(mpeg代表運(yùn)動(dòng)圖像專家組)等等,以及專有視頻編解碼器/格式,諸如由開放媒體聯(lián)盟開發(fā)的aomedia視頻1(av1)。視頻譯碼通常利用預(yù)測(cè)方法(例如,幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)等),這些預(yù)測(cè)方法利用在視頻圖像或序列中存在的冗余。視頻譯碼技術(shù)的目標(biāo)是將視頻數(shù)據(jù)壓縮為使用較低比特率的形式,同時(shí)避免或最小化視頻質(zhì)量的降級(jí)。隨著不斷發(fā)展的視頻服務(wù)變得可用,需要具有更好的譯碼效率的編碼技術(shù)。
技術(shù)實(shí)現(xiàn)思路
1、在一些示例中,描述了用于使用共享插值濾波器進(jìn)行改進(jìn)的幀間預(yù)測(cè)的系統(tǒng)和技術(shù)。根據(jù)至少一個(gè)例示性示例,提供了一種處理視頻數(shù)據(jù)的方法。該方法包括:獲得用于預(yù)測(cè)視頻數(shù)據(jù)塊的參考數(shù)據(jù)塊;使用幀間預(yù)測(cè)處理路徑基于參考數(shù)據(jù)塊來確定一個(gè)或多個(gè)細(xì)化運(yùn)動(dòng)矢量;以及使用幀間預(yù)測(cè)處理路徑針對(duì)視頻數(shù)據(jù)塊執(zhí)行幀間預(yù)測(cè),其中該幀間預(yù)測(cè)基于參考數(shù)據(jù)塊和一個(gè)或多個(gè)細(xì)化運(yùn)動(dòng)矢量。
2、在另一示例中,提供了一種用于處理視頻數(shù)據(jù)的裝置,該裝置包括至少一個(gè)存儲(chǔ)器(例如,其被配置為存儲(chǔ)數(shù)據(jù),諸如虛擬內(nèi)容數(shù)據(jù)、一個(gè)或多個(gè)圖像等)和耦合到該至少一個(gè)存儲(chǔ)器的至少一個(gè)處理器(例如,其被實(shí)現(xiàn)在電路中)。至少一個(gè)處理器被配置為并且可以:獲得用于預(yù)測(cè)視頻數(shù)據(jù)塊的參考數(shù)據(jù)塊;使用幀間預(yù)測(cè)處理路徑基于參考數(shù)據(jù)塊來確定一個(gè)或多個(gè)細(xì)化運(yùn)動(dòng)矢量;以及使用幀間預(yù)測(cè)處理路徑針對(duì)視頻數(shù)據(jù)塊執(zhí)行幀間預(yù)測(cè),其中幀間預(yù)測(cè)基于參考數(shù)據(jù)塊和一個(gè)或多個(gè)細(xì)化運(yùn)動(dòng)矢量。
3、在另一示例中,提供了一種其上存儲(chǔ)有指令的非暫態(tài)計(jì)算機(jī)可讀介質(zhì),這些指令在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)使該一個(gè)或多個(gè)處理器:獲得用于預(yù)測(cè)視頻數(shù)據(jù)塊的參考數(shù)據(jù)塊;使用幀間預(yù)測(cè)處理路徑基于參考數(shù)據(jù)塊來確定一個(gè)或多個(gè)細(xì)化運(yùn)動(dòng)矢量;以及使用幀間預(yù)測(cè)處理路徑針對(duì)視頻數(shù)據(jù)塊執(zhí)行幀間預(yù)測(cè),其中幀間預(yù)測(cè)基于參考數(shù)據(jù)塊和一個(gè)或多個(gè)細(xì)化運(yùn)動(dòng)矢量。
4、在另一示例中,提供了一種用于處理視頻數(shù)據(jù)的裝置。該裝置包括:用于獲得用于預(yù)測(cè)視頻數(shù)據(jù)塊的參考數(shù)據(jù)塊的構(gòu)件;用于使用幀間預(yù)測(cè)處理路徑基于參考數(shù)據(jù)塊來確定一個(gè)或多個(gè)細(xì)化運(yùn)動(dòng)矢量的構(gòu)件;以及用于使用幀間預(yù)測(cè)處理路徑針對(duì)視頻數(shù)據(jù)塊執(zhí)行幀間預(yù)測(cè)的構(gòu)件,其中該幀間預(yù)測(cè)基于參考數(shù)據(jù)塊和一個(gè)或多個(gè)細(xì)化運(yùn)動(dòng)矢量。
5、在一些方面,上文所描述的方法、裝置和計(jì)算機(jī)可讀介質(zhì)中的一者或多者還包括:使用第一插值濾波器基于參考數(shù)據(jù)塊來確定2抽頭水平插值;以及使用第二插值濾波器基于參考數(shù)據(jù)塊來確定2抽頭垂直插值。
6、在一些方面,上文所描述的方法、裝置和計(jì)算機(jī)可讀介質(zhì)中的一者或多者還包括:基于2抽頭水平插值和2抽頭垂直插值來確定絕對(duì)差總和(sad);以及使用sad和與視頻數(shù)據(jù)塊相關(guān)聯(lián)的一個(gè)或多個(gè)原始運(yùn)動(dòng)矢量來生成一個(gè)或多個(gè)細(xì)化運(yùn)動(dòng)矢量。
7、在一些方面,上文所描述的方法、裝置和計(jì)算機(jī)可讀介質(zhì)中的一者或多者還包括:使用第一插值濾波器基于參考數(shù)據(jù)塊和第一細(xì)化運(yùn)動(dòng)矢量來確定8抽頭水平插值;使用第二插值濾波器基于參考數(shù)據(jù)塊和第二細(xì)化運(yùn)動(dòng)矢量來確定8抽頭垂直插值;以及使用8抽頭水平插值和8抽頭垂直插值來生成多個(gè)幀間預(yù)測(cè)像素。
8、在一些方面,上文所描述的方法、裝置和計(jì)算機(jī)可讀介質(zhì)中的一者或多者還包括:使用8抽頭水平插值和8抽頭垂直插值來確定加權(quán)預(yù)測(cè),其中該加權(quán)預(yù)測(cè)是基于8抽頭水平插值與8抽頭垂直插值的總和來確定的;以及基于所述加權(quán)預(yù)測(cè)來生成所述多個(gè)幀間預(yù)測(cè)像素。
9、在一些方面,上文所描述的方法、裝置和計(jì)算機(jī)可讀介質(zhì)中的一者或多者還包括:基于針對(duì)2抽頭水平插值和2抽頭垂直插值確定的絕對(duì)差總和(sad)來生成一個(gè)或多個(gè)細(xì)化運(yùn)動(dòng)矢量;其中sad是基于2抽頭垂直插值的負(fù)值與2抽頭水平插值的總和來確定的。
10、在一些方面,上文所描述的方法、裝置和計(jì)算機(jī)可讀介質(zhì)中的一者或多者還包括:使用算術(shù)邏輯來確定加權(quán)預(yù)測(cè)并確定sad。
11、在一些方面,幀間預(yù)測(cè)處理路徑包括第一插值濾波器和第二插值濾波器。在一些方面,第一插值濾波器是2抽頭32x2水平插值濾波器。在一些方面,第二插值濾波器是2抽頭32x2垂直插值濾波器。
12、在一些方面,為了確定一個(gè)或多個(gè)細(xì)化運(yùn)動(dòng)矢量,上文所描述的方法、裝置和計(jì)算機(jī)可讀介質(zhì)中的一者或多者還包括使用幀間預(yù)測(cè)處理路徑作為運(yùn)動(dòng)矢量細(xì)化路徑。在一些方面,為了針對(duì)視頻數(shù)據(jù)塊執(zhí)行幀間預(yù)測(cè),上文所描述的方法、裝置和計(jì)算機(jī)可讀介質(zhì)中的一者或多者還包括使用幀間預(yù)測(cè)處理路徑作為像素預(yù)測(cè)路徑。
13、在一些方面,上文所描述的方法、裝置和計(jì)算機(jī)可讀介質(zhì)中的一者或多者還包括:通過將第一插值濾波器配置為執(zhí)行2抽頭20x2水平插值并且將第二插值濾波器配置為執(zhí)行2抽頭20x2垂直插值來使用幀間預(yù)測(cè)處理路徑作為運(yùn)動(dòng)矢量細(xì)化路徑;以及通過將第一插值濾波器配置為執(zhí)行8抽頭8x2水平插值并且將第二插值濾波器配置為執(zhí)行8抽頭8x2垂直插值來使用幀間預(yù)測(cè)處理路徑作為像素預(yù)測(cè)路徑。
14、在一些方面,上文所描述的方法、裝置和計(jì)算機(jī)可讀介質(zhì)中的一者或多者還包括:生成包括一個(gè)或多個(gè)圖片的所編碼的視頻比特流,該一個(gè)或多個(gè)圖片中的至少一個(gè)圖片基于針對(duì)視頻數(shù)據(jù)塊執(zhí)行的幀間預(yù)測(cè)。
15、在一些方面,上文所描述的方法、裝置和計(jì)算機(jī)可讀介質(zhì)中的一者或多者還包括:將所編碼的視頻比特流發(fā)送到解碼設(shè)備,所編碼的視頻比特流與信令信息一起被發(fā)送。
16、在一些方面,存儲(chǔ)所編碼的視頻比特流。
17、在一些方面,上文所描述的方法、裝置和計(jì)算機(jī)可讀介質(zhì)中的一者或多者還包括:獲得一個(gè)或多個(gè)所編碼的圖片,該一個(gè)或多個(gè)所編碼的圖片中的至少一個(gè)所編碼的圖片包括視頻數(shù)據(jù)塊;以及從至少一個(gè)所編碼的圖片解碼視頻數(shù)據(jù)塊。
18、在一些方面,上文所描述的方法、裝置和計(jì)算機(jī)可讀介質(zhì)中的一者或多者還包括:從至少一個(gè)所編碼的圖片解碼視頻數(shù)據(jù)塊包括重建視頻數(shù)據(jù)塊。
19、在一些方面,該裝置是以下各項(xiàng)或以下各項(xiàng)的一部分:移動(dòng)設(shè)備(例如,移動(dòng)電話或所謂的“智能電話”或其他移動(dòng)設(shè)備)、可穿戴設(shè)備、擴(kuò)展現(xiàn)實(shí)設(shè)備(例如,虛擬現(xiàn)實(shí)(vr)設(shè)備、增強(qiáng)現(xiàn)實(shí)(ar)設(shè)備或混合現(xiàn)實(shí)(mr)設(shè)備)、交通工具(汽車、卡車等或汽車、卡車等的組件或系統(tǒng))、個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、機(jī)器人設(shè)備或其他設(shè)備。在一些方面,該裝置包括用于捕獲射頻(rf)信號(hào)的無線電檢測(cè)和測(cè)距(雷達(dá))。在一些方面,該裝置包括一個(gè)或多個(gè)光檢測(cè)和測(cè)距(lidar)傳感器、雷達(dá)傳感器、或用于捕獲基于光的(例如,光頻率)信號(hào)的其他基于光的傳感器。在一些方面,該裝置包括用于捕獲一個(gè)或多個(gè)圖像的一個(gè)相機(jī)或多個(gè)相機(jī)。在一些方面,該裝置還包括用于顯示一個(gè)或多個(gè)圖像、通知和/或其他可顯示數(shù)據(jù)的顯示器。在一些方面,上述裝置可包括一個(gè)或多個(gè)傳感器,其可被用于確定該裝置的位置、該裝置的狀態(tài)(例如,溫度、濕度水平、和/或其他狀態(tài))、和/或用于其他目的。
20、該
技術(shù)實(shí)現(xiàn)要素:
不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵或必要特征,其也不旨在孤立地用于確定所要求保護(hù)的主題的范圍。本主題應(yīng)當(dāng)參照本專利的整個(gè)說明書的合適部分、任何或所有附圖、以及每項(xiàng)權(quán)利要求來理解。
21、前述內(nèi)容以及其他特征和實(shí)施方案將在參考以下說明書、權(quán)利要求書和附圖時(shí)變得更明顯。