所公開的實(shí)施方式總體上涉及視頻編譯碼,包括但不限于用于實(shí)現(xiàn)基于外推濾波器的幀內(nèi)預(yù)測(extrapolation?filter-based?intra?prediction,eip)模式的系統(tǒng)和方法。
背景技術(shù):
1、數(shù)字視頻由各種電子設(shè)備例如數(shù)字電視、膝上型計(jì)算機(jī)或臺式計(jì)算機(jī)、平板計(jì)算機(jī)、數(shù)字?jǐn)z像裝置、數(shù)字記錄設(shè)備、數(shù)字媒體播放器、視頻游戲控制臺、智能電話、視頻電話會議設(shè)備、視頻流式傳輸設(shè)備等支持。電子設(shè)備通過通信網(wǎng)絡(luò)發(fā)送和接收或以其他方式傳送數(shù)字視頻數(shù)據(jù),以及/或者將數(shù)字視頻數(shù)據(jù)存儲在存儲設(shè)備上。由于通信網(wǎng)絡(luò)的帶寬容量有限和存儲設(shè)備的存儲器資源有限,因此可以使用視頻編碼以在傳送或存儲視頻數(shù)據(jù)之前根據(jù)一個(gè)或更多個(gè)視頻編碼標(biāo)準(zhǔn)來壓縮視頻數(shù)據(jù)。視頻編碼可以由提供云服務(wù)的服務(wù)器或電子/客戶端設(shè)備上的硬件和/或軟件來執(zhí)行。
2、視頻編碼通常使用利用視頻數(shù)據(jù)中固有的冗余的預(yù)測方法(例如,幀間預(yù)測、幀內(nèi)預(yù)測等)。視頻編碼旨在將視頻數(shù)據(jù)壓縮成使用較低比特率的形式,同時(shí)避免視頻質(zhì)量的劣化或使視頻質(zhì)量的劣化最小化。已經(jīng)開發(fā)了多種視頻編解碼器標(biāo)準(zhǔn)。例如,高效視頻編碼(high-efficiency?video?coding,hevc/h.265)是作為mpeg-h項(xiàng)目的一部分而設(shè)計(jì)的視頻壓縮標(biāo)準(zhǔn)。itu-t和iso/iec于2013年(版本1)、2014年(版本2)、2015年(版本3)、2016年(版本4)發(fā)布了hevc/h.265標(biāo)準(zhǔn)。通用視頻編碼(versatile?video?coding,vvc/h.266)是旨在作為hevc的后續(xù)的視頻壓縮標(biāo)準(zhǔn)。itu-t和iso/iec于2020年(版本1)和2022年(版本2)發(fā)布了vvc/h.266標(biāo)準(zhǔn)。aomedia?video?1(alliance?for?open?media?video1,av1)是被設(shè)計(jì)為hevc的替選的開放式視頻編碼格式。在2019年1月8日,發(fā)布了該規(guī)范的具有勘誤表1的驗(yàn)證版本1.0.0。
技術(shù)實(shí)現(xiàn)思路
1、除其他外,本公開描述了一組用于視頻(圖像)壓縮、更具體地與基于外推濾波器的幀內(nèi)預(yù)測模式(或“外推濾波器幀內(nèi)預(yù)測模式”)相關(guān)的方法。可以在兩個(gè)步驟中處理基于外推濾波器的幀內(nèi)預(yù)測。首先,利用預(yù)定模板從當(dāng)前塊的相鄰重建像素獲得外推濾波器系數(shù)。第二,外推在當(dāng)前塊內(nèi)從左上到右下逐位置生成預(yù)測值。本文描述的實(shí)施方式包括在當(dāng)前塊滿足邊界條件時(shí)限制eip參數(shù)。在使用基于外推濾波器的幀內(nèi)預(yù)測模式時(shí)確定當(dāng)前塊是否滿足邊界條件的優(yōu)點(diǎn)是能夠(例如,通過用信號通知更少的指示符和/或用信號通知更小的集)減少信令開銷。
2、根據(jù)一些實(shí)施方式,一種視頻解碼的方法,包括(i)接收包括多個(gè)塊的視頻比特流;在eip模式對于多個(gè)塊中的當(dāng)前塊有效并且在對于當(dāng)前塊滿足邊界條件的情況下,(ii)從第一eip參數(shù)集中確定一個(gè)或更多個(gè)eip模式參數(shù);在對于當(dāng)前塊不滿足邊界條件的情況下,(iii)從第二eip參數(shù)集中確定一個(gè)或更多個(gè)eip模式參數(shù),其中,第二eip參數(shù)集包括未包括在第一eip參數(shù)集中的一個(gè)或更多個(gè)參數(shù);以及(iv)使用一個(gè)或更多個(gè)eip模式參數(shù)來重建當(dāng)前塊。
3、根據(jù)一些實(shí)施方式,一種視頻編碼的方法,包括(i)接收包括多個(gè)視頻塊的視頻數(shù)據(jù);在eip模式對于多個(gè)塊中的當(dāng)前塊有效并且在對于當(dāng)前塊滿足邊界條件的情況下,(ii)從第一eip參數(shù)集中確定一個(gè)或更多個(gè)eip模式參數(shù);在對于當(dāng)前塊不滿足邊界條件的情況下,(iii)從第二eip參數(shù)集中確定一個(gè)或更多個(gè)eip模式參數(shù),其中,第二eip參數(shù)集包括未包括在第一eip參數(shù)集中的一個(gè)或更多個(gè)參數(shù);以及(iv)使用一個(gè)或更多個(gè)eip模式參數(shù)對當(dāng)前塊進(jìn)行編碼。
4、根據(jù)一些實(shí)施方式,一種處理視覺媒體數(shù)據(jù)的方法,包括:(i)獲得包括多個(gè)幀的源視頻序列;以及(ii)執(zhí)行源視頻序列與視覺媒體數(shù)據(jù)的視頻比特流之間的轉(zhuǎn)換,其中,比特流包括:(a)與多個(gè)視頻塊對應(yīng)的多個(gè)編碼塊,多個(gè)編碼塊包括使用eip模式編碼的第一塊;在對于第一塊滿足邊界條件的情況下,(b)針對第一塊的第一eip模式參數(shù)集的指示;以及在對于第一塊不滿足邊界條件的情況下,(iii)針對第一塊的第二eip模式參數(shù)集的指示,其中,第二eip參數(shù)集包括未包括在第一eip參數(shù)集中的一個(gè)或更多個(gè)參數(shù)。
5、根據(jù)一些實(shí)施方式,提供了一種計(jì)算系統(tǒng),諸如流式傳輸系統(tǒng)、服務(wù)器系統(tǒng)、個(gè)人計(jì)算機(jī)系統(tǒng)或其他電子設(shè)備。該計(jì)算系統(tǒng)包括控制電路系統(tǒng)以及存儲一個(gè)或更多個(gè)指令集的存儲器。一個(gè)或更多個(gè)指令集包括用于執(zhí)行本文描述的方法中的任何方法的指令。在一些實(shí)施方式中,計(jì)算系統(tǒng)包括編碼器部件和解碼器部件(例如,轉(zhuǎn)碼器)。根據(jù)一些實(shí)施方式,提供了一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)。非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)存儲用于由計(jì)算系統(tǒng)執(zhí)行的一個(gè)或更多個(gè)指令集。一個(gè)或更多個(gè)指令集包括用于執(zhí)行本文描述的方法中的任何方法的指令。
6、因此,公開了用于對視頻進(jìn)行編碼和解碼的設(shè)備和系統(tǒng)以及方法。這樣的方法、設(shè)備和系統(tǒng)可以補(bǔ)充或替代用于視頻編碼/解碼的常規(guī)方法、設(shè)備和系統(tǒng)。說明書中描述的特征和優(yōu)點(diǎn)并不一定是詳盡的,并且特別地,鑒于本公開內(nèi)容中提供的附圖、說明書和權(quán)利要求,一些附加的特征和優(yōu)點(diǎn)對于本領(lǐng)域普通技術(shù)人員而言將是明顯的。此外,應(yīng)當(dāng)注意,本說明書中使用的語言主要是出于可讀性和指導(dǎo)性的目的而選擇的,而并非是為了描繪或限制本文所描述的主題而選擇的。
1.一種視頻解碼的方法,所述方法在具有存儲器和一個(gè)或更多個(gè)處理器的計(jì)算系統(tǒng)處執(zhí)行,所述方法包括:
2.根據(jù)權(quán)利要求1所述的方法,其中,所述一個(gè)或更多個(gè)eip模式參數(shù)包括用于所述eip模式的重建區(qū)域的參數(shù)。
3.根據(jù)權(quán)利要求1所述的方法,其中,所述一個(gè)或更多個(gè)eip模式參數(shù)包括用于所述eip模式的濾波器形狀的參數(shù)。
4.根據(jù)權(quán)利要求1所述的方法,還包括:從所述視頻比特流中解析指示是否要使用外推濾波器幀內(nèi)預(yù)測(eip)模式對所述多個(gè)塊中的當(dāng)前塊進(jìn)行解碼的指示符。
5.根據(jù)權(quán)利要求1所述的方法,其中,所述邊界條件涉及圖片邊界、子圖片邊界、切片邊界和/或圖塊邊界。
6.根據(jù)權(quán)利要求1所述的方法,其中,所述邊界條件包括所述當(dāng)前塊位于頂部分割邊界處。
7.根據(jù)權(quán)利要求1所述的方法,其中,所述邊界條件包括所述當(dāng)前塊位于左分割邊界處。
8.根據(jù)權(quán)利要求1所述的方法,還包括:在所述當(dāng)前塊位于分割邊界處的情況下,確定所述eip模式對于所述當(dāng)前塊無效。
9.根據(jù)權(quán)利要求8所述的方法,其中,所述分割邊界是左上分割邊界。
10.根據(jù)權(quán)利要求1所述的方法,其中,所述邊界條件對應(yīng)于所述當(dāng)前塊的可用重建樣本的數(shù)目。
11.根據(jù)權(quán)利要求10所述的方法,其中,所述邊界條件是可用頂部行的數(shù)目是否小于預(yù)定閾值。
12.根據(jù)權(quán)利要求10所述的方法,其中,所述邊界條件是可用左列的數(shù)目是否小于預(yù)定閾值。
13.根據(jù)權(quán)利要求1所述的方法,還包括:在所述eip模式對于所述當(dāng)前塊有效并且在用于所述eip模式的重建區(qū)域中的一個(gè)或更多個(gè)樣本不可用的情況下,針對所述eip模式填充所述一個(gè)或更多個(gè)樣本。
14.根據(jù)權(quán)利要求13所述的方法,其中,填充所述一個(gè)或更多個(gè)樣本包括使用預(yù)定義的常數(shù)值來填充所述一個(gè)或更多個(gè)樣本。
15.根據(jù)權(quán)利要求14所述的方法,其中,所述預(yù)定義的常數(shù)值基于樣本比特深度。
16.根據(jù)權(quán)利要求13所述的方法,其中,填充所述一個(gè)或更多個(gè)樣本包括擴(kuò)展可用樣本值以填充所述一個(gè)或更多個(gè)樣本。
17.根據(jù)權(quán)利要求1所述的方法,其中,所述第一eip參數(shù)集包括用于所述eip模式的第一組重建區(qū)域類型和濾波器形狀,其中,所述第二eip參數(shù)集包括用于所述eip模式的第二組重建區(qū)域類型和濾波器形狀,并且其中,用于所述eip模式的所述第一組重建區(qū)域類型和濾波器形狀包括用于所述eip模式的所述第二組重建區(qū)域類型和濾波器形狀的子集。
18.一種計(jì)算系統(tǒng),包括:
19.根據(jù)權(quán)利要求18所述的計(jì)算系統(tǒng),還包括:經(jīng)由視頻比特流用信號通知指示是否要使用所述eip模式對所述多個(gè)塊中的當(dāng)前塊進(jìn)行解碼的指示符。
20.一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì),其存儲一個(gè)或更多個(gè)指令集,所述一個(gè)或更多個(gè)指令集被配置成用于由具有控制電路系統(tǒng)和存儲器的計(jì)算設(shè)備執(zhí)行,所述一個(gè)或更多個(gè)指令集包括用于以下處理的指令: