本公開(kāi)的實(shí)施例一般涉及視頻處理技術(shù)，更具體地涉及用于圖像/視頻編解碼的基于神經(jīng)網(wǎng)絡(luò)環(huán)路濾波的率失真優(yōu)化。
背景技術(shù)：
1、如今，數(shù)字視頻能力正被應(yīng)用于人們生活的各個(gè)方面。針對(duì)視頻編碼/解碼，已經(jīng)提出了多種類(lèi)型的視頻壓縮技術(shù)，諸如mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4第10部分高級(jí)視頻編解碼(avc)、itu-th.265高效視頻編解碼(hevc)標(biāo)準(zhǔn)、多功能視頻編解碼(vvc)標(biāo)準(zhǔn)。然而，總體上期望進(jìn)一步提高視頻編解碼技術(shù)的編解碼效率。
技術(shù)實(shí)現(xiàn)思路
1、本公開(kāi)的實(shí)施例提供一種用于視頻處理的解決方案。
2、在第一方面，提出了一種用于視頻處理的方法。該方法包括：針對(duì)視頻的視頻單元與視頻單元的比特流之間的轉(zhuǎn)換，確定在視頻單元的過(guò)程期間是否應(yīng)用用于神經(jīng)網(wǎng)絡(luò)(nn)濾波的至少一個(gè)nn模型；基于該確定，通過(guò)將過(guò)程應(yīng)用于視頻單元來(lái)處理視頻單元；以及基于經(jīng)處理的視頻單元執(zhí)行轉(zhuǎn)換。以此方式，在rdo過(guò)程期間考慮由于nn濾波器引起的減少失真的影響，從而改善編解碼性能。
3、在第二方面，提出了一種用于視頻處理的裝置。該裝置包括處理器和其上具有指令的非暫態(tài)存儲(chǔ)器。該指令在由處理器執(zhí)行時(shí)使處理器執(zhí)行根據(jù)本公開(kāi)的第一方面的方法。
4、在第三方面，提出了一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)指令，該指令使處理器執(zhí)行根據(jù)本公開(kāi)的第一方面的方法。
5、在第四方面，提出了另一種非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)。該非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)存儲(chǔ)視頻的由用于視頻處理的裝置執(zhí)行的方法生成的比特流。該方法包括：確定在視頻的視頻單元的過(guò)程期間是否應(yīng)用用于神經(jīng)網(wǎng)絡(luò)(nn)濾波的至少一個(gè)nn模型；基于該確定，通過(guò)將過(guò)程應(yīng)用于視頻單元來(lái)處理視頻單元；以及基于經(jīng)處理的視頻單元生成比特流。
6、在第五方面，提出了一種用于存儲(chǔ)視頻的比特流的方法。該方法包括：確定在視頻的視頻單元的過(guò)程期間是否應(yīng)用用于神經(jīng)網(wǎng)絡(luò)(nn)濾波的至少一個(gè)nn模型；基于該確定，通過(guò)將過(guò)程應(yīng)用于視頻單元來(lái)處理視頻單元；基于經(jīng)處理的視頻單元生成比特流；以及將比特流存儲(chǔ)在非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)中。
7、提供本
技術(shù)實(shí)現(xiàn)要素：
以引入簡(jiǎn)化形式的概念的選擇，這將在以下具體實(shí)施方式中進(jìn)一步描述。本發(fā)明內(nèi)容不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或基本特征，也不旨在用于限制所要求保護(hù)的主題的范圍。
1.一種視頻處理的方法，包括：
2.根據(jù)權(quán)利要求1所述的方法，其中所述至少一個(gè)nn模型被包括在編碼器中。
3.根據(jù)權(quán)利要求1所述的方法，其中所述過(guò)程包括率失真優(yōu)化(rdo)過(guò)程，并且所述至少一個(gè)nn模型被用于所述視頻單元的所述rdo過(guò)程中。
4.根據(jù)權(quán)利要求1所述的方法，其中所述至少一個(gè)nn模型未被包括在兼容解碼器中。
5.根據(jù)權(quán)利要求1所述的方法，其中所述至少一個(gè)nn模型比被用于兼容解碼器中的nn濾波的另一nn濾波器模型更簡(jiǎn)單。
6.根據(jù)權(quán)利要求1所述的方法，其中所述至少一個(gè)nn模型與編碼器中的另一濾波器模型組合。
7.根據(jù)權(quán)利要求6所述的方法，其中所述至少一個(gè)nn模型不同于nn濾波器。
8.根據(jù)權(quán)利要求6所述的方法，其中所述至少一個(gè)nn模型在所述另一濾波器模型之前被應(yīng)用，或者
9.根據(jù)權(quán)利要求6所述的方法，其中所述另一濾波器模型包括以下至少一項(xiàng)：
10.根據(jù)權(quán)利要求6所述的方法，其中所述至少一個(gè)nn模型或所述另一濾波器模型中的至少一項(xiàng)根據(jù)預(yù)定義順序或自適應(yīng)順序被應(yīng)用。
11.根據(jù)權(quán)利要求10所述的方法，其中所述預(yù)定義順序包括依次應(yīng)用去方塊濾波器、cnn濾波器模型、sao濾波器和alf濾波器。
12.根據(jù)權(quán)利要求6所述的方法，其中應(yīng)用所述至少一個(gè)nn模型或所述另一濾波器模型中的至少一項(xiàng)的順序取決于以下至少一項(xiàng)：
13.根據(jù)權(quán)利要求6所述的方法，其中是否利用所述至少一個(gè)nn模型或所述另一濾波器模型中的至少一項(xiàng)取決于以下至少一項(xiàng)：
14.根據(jù)權(quán)利要求6所述的方法，其中利用所述至少一個(gè)nn模型或所述另一濾波器模型中的至少一項(xiàng)的方法取決于以下至少一項(xiàng)：
15.根據(jù)權(quán)利要求1所述的方法，其中所述過(guò)程包括模式?jīng)Q策過(guò)程，并且所述模式?jīng)Q策過(guò)程取決于所述至少一個(gè)nn濾波器模型。
16.根據(jù)權(quán)利要求15所述的方法，其中所述模式?jīng)Q策過(guò)程是根據(jù)歸因于所述至少一個(gè)nn模型的經(jīng)濾波的重建信息的。
17.根據(jù)權(quán)利要求15所述的方法，其中所述至少一個(gè)nn模型在確定所述視頻單元的最佳幀內(nèi)預(yù)測(cè)模式時(shí)被使用。
18.根據(jù)權(quán)利要求15所述的方法，其中所述至少一個(gè)nn模型在確定所述視頻單元的最佳編解碼幀內(nèi)方法時(shí)被使用。
19.根據(jù)權(quán)利要求15所述的方法，其中所述至少一個(gè)nn模型與幀間模式選擇的rdo一起被使用。
20.根據(jù)權(quán)利要求15所述的方法，其中所述至少一個(gè)nn模型在確定所述視頻單元的最佳編解碼幀間方法時(shí)被使用。
21.根據(jù)權(quán)利要求15所述的方法，其中所述至少一個(gè)nn模型與分割模式選擇的rdo一起被使用。
22.根據(jù)權(quán)利要求15所述的方法，其中所述至少一個(gè)nn模型與變換核選擇的rdo一起被使用。
23.根據(jù)權(quán)利要求15所述的方法，其中所述至少一個(gè)nn模型在確定包括所述視頻單元的幀內(nèi)和幀間方法的最佳編解碼方法時(shí)被使用。
24.根據(jù)權(quán)利要求15所述的方法，其中無(wú)論何時(shí)失真被計(jì)算，所述至少一個(gè)nn模型都被使用。
25.根據(jù)權(quán)利要求15所述的方法，其中每當(dāng)失真被計(jì)算時(shí)，所述至少一個(gè)nn模型被使用。
26.根據(jù)權(quán)利要求15所述的方法，其中當(dāng)失真是利用矩陣被計(jì)算時(shí)，所述至少一個(gè)nn模型不被使用。
27.根據(jù)權(quán)利要求1所述的方法，其中所述過(guò)程包括模式?jīng)Q策過(guò)程，并且在所述模式?jīng)Q策過(guò)程中計(jì)算的失真或成本被調(diào)整，使得nn濾波過(guò)程的影響被考慮。
28.根據(jù)權(quán)利要求27所述的方法，其中所述失真或成本根據(jù)矩陣被計(jì)算。
29.根據(jù)權(quán)利要求27所述的方法，其中所述過(guò)程包括nn濾波過(guò)程，并且所述方法還包括：
30.根據(jù)權(quán)利要求27所述的方法，還包括：
31.根據(jù)權(quán)利要求27所述的方法，其中所述過(guò)程包括rdo過(guò)程，并且
32.根據(jù)權(quán)利要求27所述的方法，還包括：
33.根據(jù)權(quán)利要求32所述的方法，其中經(jīng)濾波的重建樣點(diǎn)由所述至少一個(gè)nn模型進(jìn)行濾波。
34.根據(jù)權(quán)利要求32所述的方法，其中經(jīng)濾波的重建樣點(diǎn)由所述另一濾波器模型進(jìn)行濾波。
35.根據(jù)權(quán)利要求32所述的方法，其中經(jīng)濾波的重建樣點(diǎn)由所述至少一個(gè)nn模型或所述另一濾波器模型中的至少一項(xiàng)進(jìn)行濾波。
36.根據(jù)權(quán)利要求32所述的方法，其中所述失真的函數(shù)被調(diào)用，并且所述函數(shù)的輸出被設(shè)置為與在所述rdo過(guò)程期間要被檢查的當(dāng)前模式相關(guān)聯(lián)的真實(shí)失真。
37.根據(jù)權(quán)利要求27所述的方法，還包括：
38.根據(jù)權(quán)利要求27所述的方法，其中所述過(guò)程包括rdo過(guò)程，并且
39.根據(jù)權(quán)利要求27所述的方法，其中所述失真首先在未經(jīng)濾波的重建與原始樣點(diǎn)之間被計(jì)算，然后被按因子進(jìn)行縮放。
40.根據(jù)權(quán)利要求39所述的方法，其中所述因子是0到1.0之間的常數(shù)，或者
41.根據(jù)權(quán)利要求1所述的方法，其中所述過(guò)程包括rdo過(guò)程，并且
42.根據(jù)權(quán)利要求41所述的方法，其中所述第一濾波過(guò)程中的第一濾波器模型與所述第二濾波過(guò)程中的第二濾波器模型不同。
43.根據(jù)權(quán)利要求41所述的方法，其中所述第一濾波過(guò)程中的濾波器模型的數(shù)目與所述第二濾波過(guò)程中的濾波器模型的數(shù)目不同。
44.根據(jù)權(quán)利要求41所述的方法，其中所述第一濾波過(guò)程的第一網(wǎng)絡(luò)結(jié)構(gòu)與所述第二濾波過(guò)程的第二網(wǎng)絡(luò)結(jié)構(gòu)不同。
45.根據(jù)權(quán)利要求41所述的方法，其中在所述rdo過(guò)程期間的所述第一濾波過(guò)程僅被應(yīng)用于所述視頻單元的子區(qū)域。
46.根據(jù)權(quán)利要求45所述的方法，其中所述第一濾波過(guò)程僅被應(yīng)用于所述視頻單元的邊界樣點(diǎn)。
47.根據(jù)權(quán)利要求45所述的方法，其中所述第一濾波過(guò)程僅被應(yīng)用于所述視頻單元的內(nèi)部樣點(diǎn)。
48.根據(jù)權(quán)利要求41所述的方法，其中在所述rdo過(guò)程期間的所述第一濾波過(guò)程僅被應(yīng)用于所述視頻單元的經(jīng)下采樣版本。
49.根據(jù)權(quán)利要求1所述的方法，其中所述過(guò)程包括rdo過(guò)程，并且
50.根據(jù)權(quán)利要求49所述的方法，其中所述殘差塊的數(shù)目與所述解碼器的相同。
51.根據(jù)權(quán)利要求1所述的方法，其中在rdo過(guò)程中使用的所述至少一個(gè)nn模型是在解碼器處使用的nn模型的簡(jiǎn)化版本。
52.根據(jù)權(quán)利要求51所述的方法，其中所述至少一個(gè)nn模型的第一深度與在所述解碼器處使用的所述nn模型的第二深度不同。
53.根據(jù)權(quán)利要求52所述的方法，其中所述第一深度比所述第二深度更淺。
54.根據(jù)權(quán)利要求51所述的方法，其中所述至少一個(gè)nn模型的第一特征圖與在所述解碼器處使用的所述nn模型的第二特征圖不同。
55.根據(jù)權(quán)利要求54所述的方法，其中所述rdo過(guò)程中的所述至少一個(gè)nn模型具有比在所述解碼器處使用的所述nn模型更少的特征圖。
56.根據(jù)權(quán)利要求51所述的方法，其中所述至少一個(gè)nn模型的殘差塊的數(shù)目與所述解碼器處的所述nn模型的殘差塊的數(shù)目不同。
57.根據(jù)權(quán)利要求56所述的方法，其中所述至少一個(gè)nn模型的殘差塊的數(shù)目小于所述解碼器處的所述nn模型的殘差塊的數(shù)目。
58.根據(jù)權(quán)利要求56所述的方法，其中所述至少一個(gè)nn模型的殘差塊的所述數(shù)目是以下之一：1、2、3、4、5、6。
59.根據(jù)權(quán)利要求51所述的方法，其中所述至少一個(gè)nn模型的卷積核與所述解碼器處的所述nn模型的卷積核不同。
60.根據(jù)權(quán)利要求1所述的方法，其中所述過(guò)程包括rdo過(guò)程，并且
61.根據(jù)權(quán)利要求60所述的方法，其中是否和/或如何在所述rdo過(guò)程中使用所述至少一個(gè)nn模型取決于以下至少一項(xiàng)：
62.根據(jù)權(quán)利要求1至61中任一項(xiàng)所述的方法，其中所述轉(zhuǎn)換包括將所述視頻單元編碼到所述比特流中。
63.根據(jù)權(quán)利要求1至61中任一項(xiàng)所述的方法，其中所述轉(zhuǎn)換包括從所述比特流解碼所述視頻單元。
64.一種用于視頻處理的裝置，包括處理器和其上具有指令的非暫態(tài)存儲(chǔ)器，其中所述指令在由所述處理器執(zhí)行時(shí)使所述處理器執(zhí)行根據(jù)權(quán)利要求1至63中任一項(xiàng)所述的方法。
65.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有指令，所述指令使處理器執(zhí)行根據(jù)權(quán)利要求1至63中任一項(xiàng)所述的方法。
66.一種非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，存儲(chǔ)視頻的由用于視頻處理的裝置執(zhí)行的方法生成的比特流，其中所述方法包括：
67.一種用于存儲(chǔ)視頻的比特流的方法，包括：