TWI750560B

TWI750560B - 虛擬邊緣的環內濾波的方法和設備

Info

Publication number: TWI750560B
Application number: TW108148059A
Authority: TW
Inventors: 林聖晏; 林建良; 劉琳
Original assignee: 聯發科技股份有限公司
Priority date: 2019-01-14
Filing date: 2019-12-27
Publication date: 2021-12-21
Also published as: WO2020147545A1; TW202034283A; DE112019006649T8; CN113170124B; DE112019006649T5; CN113170124A

Abstract

公開了對視頻序列進行編碼的方法和設備。根據該方法，在位元流中用信號通知第一語法或者從位元流中解析第一語法，其中，該第一語法指示針對對應區域中的一個或更多個虛擬邊緣是否禁用環路濾波處理。接收當前圖片中的重建的濾波單元，其中，該重建的濾波單元與環路濾波器相關聯，並且該重建的濾波單元包括重建的像素，以向當前重建的像素應用與該環路濾波器相關聯的環路濾波處理。如果該第一語法為真，則當該重建的濾波單元跨對應區域中的所述一個或更多個虛擬邊緣時，禁用環路濾波處理。如果該第一語法為假，則當該重建的濾波單元跨虛擬邊緣時，不禁用環路濾波處理。

Description

虛擬邊緣的環內濾波的方法和設備

本發明涉及對包含一個或更多個虛擬邊緣的圖片（諸如360度虛擬實境（VR360）圖片）進行圖片處理。特別地，本發明涉及在包含一個或更多個虛擬邊緣的圖片（諸如VR360視頻）的不連續邊緣或虛擬邊緣處進行環內濾波處理（in-loop filtering process）的語法設計（syntax design）。

360度視頻（也稱為沉浸式視頻（immersive video））是一項新興的技術，該技術可以提供“當下的感覺（feeling as sensation of present）”。通過利用覆蓋全景的環繞場景（特別是360度視野）包圍用戶來實現沉浸感。立體呈現可以進一步改善“當下的感覺”。因此，將全景視頻廣泛用於虛擬實境（VR：Virtual Reality）應用。

可以使用360度球形全景攝像機或者被設置成覆蓋環繞360度的所有視野的多張圖片，來拍攝360度虛擬實境（VR）圖片。三維（3D）球形圖片很難使用常規的圖片/視頻處理裝置來進行處理或存儲。因此，通常使用3D到2D投影方法（諸如等距矩形（EquiRectangular）投影（ERP：EquiRectangular Projection）和立方體貼圖（CubeMap）投影（CMP：CubeMap Projection））將360度VR圖片轉換成二維（2D）格式。除了ERP和CMP投影格式之外，還有在本領域中廣泛使用的各種其它VR投影格式，諸如OctaHedron投影（OHP：OctaHedron Projection）、二十面體投影（ISP：icosahedron projection）、分段球形投影（SSP：Segmented Sphere Projection）以及旋轉球形投影（RSP：Rotated Sphere Projection）。

與常規的2D視頻序列相比，VR360視頻序列通常需要更多的存儲空間。因此，通常將視訊壓縮應用於VR360視頻序列，以減少用於存儲的存儲空間或者用於流播/傳輸的位元速率。

高效視頻編碼（HEVC：High Efficiency Video Coding）標準是在ITU-T視頻編碼專家組（VCEG：Video Coding Experts Group）和ISO/IEC運動圖像專家組（MPEG：Moving Picture Experts Group）標準化組織的聯合視頻專案下開發的，尤其是具有稱為視頻編碼聯合協作團隊（JCT-VC：Joint Collaborative Team on Video Coding）的合作關係。可以使用HEVC對VR360視頻序列進行編解碼。然而，本發明也可以適用於其它編解碼方法。

在HEVC中，將一個片段分區成多個編碼樹單元（CTU：coding tree unit）。對於彩色圖片，可以將彩色片段分區成多個編碼樹塊（CTB：coding tree block）。將CTU進一步分區成多個編碼單元（CU：coding unit）以適應各種局部特徵。HEVC支援多種幀內（Intra）預測模式，並且對於幀內編碼的CU，用信號通知所選擇的幀內預測模式。除編碼單元的概念之外，HEVC中還引入了預測單元（PU：prediction unit）的概念。一旦進行了CU層次樹的拆分後，根據預測類型和PU分區，將各個葉級（leaf）CU進一步拆分成一個或更多個預測單元（PU）。在預測之後，將與CU相關聯的殘餘項（residue）分區成變換塊（命名為變換處理的變換單元（TU：transform unit））。

雖然編解碼處理可以有效減少傳輸所需的頻寬或存儲所需的容量，但是編解碼處理通常會引入稱為編碼偽像（coding artefact）的編碼雜訊。為了減輕編碼偽像，已經引入了各種濾波技術，諸如去塊濾波器（de-blocking filter）、SAO（樣本自我調整偏移，sample adaptive offset）以及ALF（自我調整環路濾波器，adaptive loop filter）。通常將濾波處理應用于所重建的圖片，隨後將該重建的圖片用作參考圖片。換句話說，濾波處理處於編解碼環路內部。因此，這種濾波處理也稱為環內濾波。

在HEVC中，在重建圖片之後應用去塊濾波器。對編碼單元、預測單元或變換單元之間的邊緣進行濾波，以減輕因基於塊的編碼而造成的塊狀偽像。邊緣可以是垂直邊緣或水平邊緣。在分別如第1A圖和第1B圖所示的垂直邊緣（110）和水平邊緣（120）的去塊濾波處理中涉及到邊緣像素。對於垂直邊緣（即，第1A圖中的線110），將水平濾波器應用於各條水平線上的一些邊緣樣本。例如，可以將水平去塊濾波器應用於垂直邊緣左側的p00、p01以及p02和垂直邊緣右側的q00、q01以及q02。類似地，對於水平邊緣（即，第1B圖中的線120），將垂直濾波器應用於各條垂直線上的一些邊緣樣本。例如，可以將垂直去塊濾波器應用于水平邊緣上側的p00、p01以及p02和水平邊緣下側的q00、q01以及q02。換句話說，沿垂直於邊緣的方向來應用去塊濾波器。

邊緣強度值Bs是針對每四個樣本的長度邊緣來進行計算的，並且可以取3個可能值。亮度分量和色度分量在去塊處理中是分開處理的。對於亮度分量，可以僅對具有等於1或2的Bs值的塊邊緣進行濾波。對於色度分量的情況來說，可以僅對具有等於2的Bs值的邊緣進行濾波。

對於亮度分量，針對每四個樣本的長度邊緣來檢查附件條件，以確定是否應當應用去塊濾波，並且進一步確定如果應用了去塊，那麼是應用正常的濾波器還是應用強濾波器。

對於正常濾波模式下的亮度分量，可以對邊緣各側的兩個樣本進行修改。在強濾波模式下，可以對邊緣各側的三個樣本進行修改。

對於色度分量，當邊緣強度大於1時，可以僅對邊緣各側的一個樣本進行修改。

開發了SAO處理來補償因編碼處理而造成的強度水平偏移（intensity level offset）。HEVC採用的SAO處理包含兩種方法。一種方法是帶偏移（BO：Band Offset），另一種方法是邊緣偏移（EO：Edge Offset）。使用BO以根據像素強度將像素分類成多個帶，接著將偏移應用於一個或更多個帶中的像素。使用EO以根據當前像素與相應的近鄰（neighbour）之間的關係將像素分類成多個類別，接著將偏移應用於各個類別下的像素。有4種EO方向模式（0°、90°、135°以及45°）和不進行處理（關閉（OFF））。第2圖中示出了這四種EO類型。

當對區域中的所有像素進行分類時，對於各個類別下的像素，匯出並發送一個偏移量（offset）。將SAO處理應用於亮度分量和色度分量，並且這些分量中的各個分量都是獨立處理的。除EO的類別4之外，其它各個類別的所有像素都匯出一個偏移量（offset），其中類別4被強制使用了零偏移（zero offset.）。下表1列出了EO像素分類，其中“C”表示待分類的像素。如表1所示，與對類別進行確定相關聯的條件涉及：根據EO類型將當前像素值與兩個相應的近鄰值進行比較。可以根據比較結果確定類別（即，“>”、“>”或“=”）。各個類別在當前像素與鄰近的像素之間的相對強度方面皆有特殊的含義。例如，類別0對應於其中中心像素的強度低於兩個鄰近的像素的強度的“谷（valley）”。類別3對應於其中中心像素的強度高於兩個鄰近的像素的強度的“峰（peak）”。類別1和類別2分別對應于具有向上斜率（類別2）或向下斜率（類別1）的平坦段。表1

類別	條件
0	C >兩個近鄰
1	C >一個近鄰&& C ==一個近鄰
2	C >一個近鄰&& C ==一個近鄰
3	C >兩個近鄰
4	以上都不是

自我調整環路濾波器（ALF：Adaptive Loop Filter）是將自我調整尺寸的濾波器應用于重建的像素。在HEVC標準開發期間對ALF進行了評估，但是HEVC並未採用ALF。然而，命名為VVC（通用視頻編碼：Versatile Video Coding）的新興視頻編碼標準正在考慮ALF。為了優化性能，ALF使用Wiener濾波技術來匯出濾波器係數。而且，對於不同的圖片區域允許多個濾波器。例如，ALF可以是5x5濾波器或7x7濾波器，如第3圖所示，其中“C”表示正被濾波的當前重建的像素。

根據常規的方法，將諸如去塊、SAO以及ALF這樣的環路濾波器應用于重建的VR360圖片，而無需考慮VR360圖片中的可能的不連續邊緣。例如，基於立方體貼圖的投影使用立方體上的六個面，來表示VR360視頻中的一個幀。這六個面對應於從該立方體展開並適配成不同的佈局（諸如1x6、6x1、2x3或者3x2的佈局）的面。在各種立方體貼圖佈局當中，3x2佈局因其編碼效率而經常被使用。第4圖例示了3x2立方體貼圖佈局形式的示例。佈局410對應於從立方體展開的六個面，其中圖像412對應於正面，連接至圖像412左側的三個圖像414在水平方向上對應於連接至正面412的其它三個表面，圖像416對應於立方體頂部的面，而圖像418對應於立方體底部的面。因此，包括圖像414和圖像412的四個圖像在水平方向上是連續的，而包括圖像416、圖像412以及圖像418的三個圖像在垂直方向上是連續的。4x3佈局410包含一些空白區域，這對於編碼不是高效的。佈局420對應於3x2立方體貼圖佈局，其中，三個圖像414和三個垂直連接的圖像（圖像416、412以及418）是毗連（abutted）的。與三個圖像414相對應的上部子幀在水平方向上是連續的。而且，與三個圖像412、416以及418相對應的下部子幀在水平方向上是連續的。然而，上部子幀與下部子幀之間的邊緣422是不連續的。換句話說，與來自3D投影的佈局格式相對應的VR360圖片可能在圖片內包含不連續邊緣。

除了VR360圖片，其它圖片格式也可能在圖片中包含不連續邊緣。例如，畫中畫（PIP）格式是一種流行的格式，可以在同一螢幕上同時顯示兩個視頻（例如主視頻和副視頻）。因此，對於各個PIP幀，與所述兩個視頻關聯的圖片之間可能存在不連續性。VR360圖片以及PIP幀中存在跨不連續邊緣進行環路濾波處理問題。

第5A圖至第5C圖例示了應用于重建的VR360圖片的環內濾波器的示例。第5A圖例示了去塊濾波器的示例，其中，將去塊濾波器應用於當前塊510。將去塊濾波器應用於當前塊510與上方的鄰近塊512之間的水平邊緣516。也將去塊濾波器應用於當前塊510與左側的鄰近塊514之間的垂直邊緣518。

第5B圖例示了SAO處理的示例。基於各個編碼樹單元（CTU：coding tree unit）520的統計資訊來匯出偏移補償參數。在統計資訊推導期間，將BO和EO分類應用於所有像素。對於各個BO和EO類別，確定偏移值。在收集了CTU的統計資訊之後，可以將SAO應用于CTU中的重建的像素。

第5C圖例示了用於重建的VR360圖片的ALF處理的示例。重建的像素530可以由5x5濾波器進行濾波，或者重建的像素532可以由7x7濾波器進行濾波。如前提及，可以使用Wiener濾波器技術來設計濾波器參數，以使原始圖片與重建的圖片之間的誤差最小。對於各個重建的像素，自我調整地選擇濾波器尺寸以實現最佳性能。

如第4圖中的佈局420所示，立方體貼圖的3x2佈局在上部子幀與下部子幀之間包含不連續邊緣。邊緣422的一側上的像素可以與邊緣422的另一側上的像素完全不同。因此，在將環內濾波器應用於緊挨著該邊緣或者靠近該邊緣的重建的像素時，可能會導致不合需要的結果。第6圖例示了應用于重建的像素622的SAO濾波器的示例，其中指示了不連續邊緣610。針對重建的像素622例示了在不連續邊緣處的SAO操作620。由虛線框624指示了3x3的SAO窗口。對於水平邊緣610，針對90°、135°以及45°的SAO濾波處理將利用來自不連續邊緣的另一側的參考像素。儘管不連續邊緣的另一側上的鄰近的像素626（命名為非預期像素）靠近重建的像素622，但這些像素626與正被濾波的重建的像素622可能有很大不同。在這種情況下，針對邊緣像素的SAO處理可能會產生不合需要的結果。

因此，希望開發出克服與用於VR360圖片的環內濾波器有關的問題的技術。

公開了對視頻序列進行編碼的方法和設備，其中，重建的濾波單元包括進行環路濾波處理的多個重建的像素。根據該方法，在編碼器側在位元流中用信號通知（signalled）第一語法或者在解碼器側從所述位元流中解析所述第一語法（syntax）。接收當前圖片中的重建的濾波單元，其中，所述重建的濾波單元與環路濾波器相關聯，並且所述重建的濾波單元包括重建的像素，向當前重建的像素應用與所述環路濾波器相關聯的環路濾波處理。所述第一語法指示針對對應區域中的一個或更多個虛擬邊緣是否禁用所述環路濾波處理。如果所述第一語法為真，則在所述重建的濾波單元跨所述對應區域中的所述一個或更多個虛擬邊緣時，禁用所述環路濾波處理。如果所述第一語法為假，則在所述重建的濾波單元跨所述虛擬邊緣時，不禁用所述環路濾波處理。

針對所述對應區域，可以按包括SPS（序列參數集，Sequence Parameter Set)）、PPS（圖片參數集，Picture Parameter Set）、APS（應用參數集，Application Parameter Set）、片段（slice）、圖塊（tile）、圖片、CTU（編碼樹單元，Coding Tree Unit）、CU（編碼單元，Coding Unit）、PU（預測單元，(Prediction Unit）或TU（變換單元，Transform Unit)）級別的語法級別，在所述位元流中用信號通知所述第一語法或者從所述位元流中解析所述第一語法。

在一個實施方式中，如果所述第一語法為真，則在所述編碼器側用信號通知一個或更多個第二語法或者在所述解碼器側解析一個或更多個第二語法，以指示所述對應區域中的虛擬邊緣資訊。所述第二語法包括指示所述對應區域中的垂直虛擬邊緣的數量的第一數量和指示所述對應區域中的水平虛擬邊緣的數量的第二數量。在一個示例中，各個垂直虛擬邊緣是從所述對應區域的上邊緣到下邊緣，並且各個水平虛擬邊緣是從所述對應區域的左邊緣到右邊緣。在這種情況下，如果所述第一數量大於0，則在所述位元流中發送各個垂直虛擬邊緣的位置或者從所述位元流中解析各個垂直虛擬邊緣的位置。如果所述第二數量大於0，則在所述位元流中發送各個水平虛擬邊緣的位置或者從所述位元流中解析各個水平虛擬邊緣的位置。

在另一示例中，所述垂直虛擬邊緣不一定是從所述對應區域的上邊緣到下邊緣，並且所述水平虛擬邊緣不一定是從所述對應區域的左邊緣到右邊緣。在這種情況下，如果所述第一數量大於0，則在所述位元流中發送各個垂直虛擬邊緣的x方位（position）、y起始方位以及y終止方位的位置或者從所述位元流中解析各個垂直虛擬邊緣的x方位、y起始方位以及y終止方位的位置（location）；以及如果所述第二數量大於0，則在所述位元流中發送各個水平虛擬邊緣的y方位、x起始方位以及x終止方位的位置或者從所述位元流中解析各個水平虛擬邊緣的y方位、x起始方位以及x終止方位的位置。

在又一示例中，所述垂直虛擬邊緣的長度和所述水平虛擬邊緣的長度是固定的。在這種情況下，如果所述第一數量大於0，則在所述位元流中發送各個垂直虛擬邊緣的起點的位置，或者從所述位元流中解析各個垂直虛擬邊緣的起點的位置。如果所述第二數量大於0，則在所述位元流中發送各個水平虛擬邊緣的起點的位置，或者從所述位元流中解析各個水平虛擬邊緣的起點的位置。

在一個實施方式中，如果所述第一語法為真，則在所述編碼器側用信號通知一個或更多個第二語法，或者在所述解碼器側解析一個或更多個第二語法，其中，所述一個或更多個第二語法指示所述對應區域中的所述一個或更多個虛擬邊緣的數量。如果所述一個或更多個虛擬邊緣的數量大於0，則在所述位元流中發送所述一個或更多個虛擬邊緣的起點和終點的位置，或者從所述位元流中解析所述一個或更多個虛擬邊緣的起點和終點的位置。所述一個或更多個虛擬邊緣可以對應於一個或更多個矩形框，並且起點和終點對應於所述一個或更多個矩形框的左上方位和右下方位。

在一個實施方式中，如果所述第一語法為真，則在所述編碼器側用信號通知第二語法，或者在所述解碼器側解析第二語法，並且其中，所述第二語法指示所述對應區域中的至少一個虛擬邊緣的形狀。例如，在所述對應區域中的至少一個虛擬邊緣的形狀包括直線虛擬邊緣和圓形虛擬邊緣。當所述第二語法指示圓形虛擬邊緣時，在所述編碼器側用信號通知一個或更多個第三語法，或者在所述解碼器側解析一個或更多個第三語法，以指示至少一個圓形的中心位置和半徑。

在一個實施方式中，在所述編碼器側用信號通知一個或更多個第二語法，或者在所述解碼器側解析一個或更多個第二語法，以指示當前虛擬邊緣與先前虛擬邊緣之間的差值。例如，在所述當前虛擬邊緣是所述對應區域中的第一虛擬邊緣時，在所述編碼器側直接用信號通知所述第一虛擬邊緣的絕對方位，或者在所述解碼器側直接解析所述第一虛擬邊緣的絕對方位。在另一示例中，在所述當前虛擬邊緣是所述對應區域中的第一虛擬邊緣時，在所述編碼器側直接用信號通知所述第一虛擬邊緣與所述對應區域的起點之間的差異，或者在所述解碼器側解析所述第一虛擬邊緣與所述對應區域的起點之間的差異。

在一個實施方式中，如果所述第一語法為真，則在所述編碼器側用信號通知一個或更多個第二語法或者在所述解碼器側解析一個或更多個第二語法，以指示所述一個或更多個虛擬邊緣的位置，並且所述一個或更多個虛擬邊緣的位置是按照處理單元的寬度和/或高度測量到的。例如，所述處理單元被設定成如下區域，該區域包括圖片、片段、圖塊、CTU（編碼樹單元）、CU（編碼單元）、PU（預測單元）、TU（變換單元）、預定義值或者這些的組合。

在一個實施方式中，如果目標對應區域具有和先前對應區域相同的虛擬邊緣，則所述目標對應區域繼承和所述先前對應區域相同的虛擬邊緣。例如，所述目標對應區域包括圖片、片段、圖塊、CTU（編碼樹單元）、CU（編碼單元）、PU（預測單元）、TU（變換單元）。而且，可以在所述編碼器側用信號通知第二語法，或者在所述解碼器側解析第二語法，以指示所述目標對應區域是否繼承和所述先前對應區域相同的虛擬邊緣。

在一個實施方式中，所述視頻序列對應於360度虛擬實境（VR360：60-degree virtual reality）視頻。VR360視頻包括等距矩形投影（ERP：Equirectangular projection）、填充等距矩形投影（PERP：Padded Equirectangular projection）、八面體投影、二十面體投影、截頭正方形四面體（TSP：Truncated Square Pyramid）、分段球形投影（SSP：Segmented Sphere Projection）或旋轉球形投影（RSP：Rotated Sphere Projection）。

在一個實施方式中，所述環路濾波器屬於如下組，該組包括去塊濾波器、SAO（樣本自我調整偏移，Sample Adaptive Offset)）濾波器以及ALF（自我調整環路濾波器，Adaptive Loop Filter）。

下面的描述是執行本發明的最佳設想模式。該描述僅出於例示本發明的一般原理的目的而給出，而不應按限制性意義進行。本發明的範圍是通過參考所附權利要求來最佳地確定的。

應當容易地理解，如本文通常描述的且在附圖中例示的本發明的元件可以按寬泛種類的不同配置來設置和設計。因此，如在附圖中所表示的，下面對本發明的系統和方法的實施方式的更詳細描述並非旨在對要求保護的本發明的範圍進行限制，而只是表示本發明的所選擇的實施方式。

貫穿本說明書對“一個實施方式”、“實施方式”或類似語言的引用意指可以在本發明的至少一個實施方式中包括結合該實施方式描述的特定特徵、結構或特性。因此，貫穿本說明書處處出現的短語“在一個實施方式中”或者“在實施方式中”不必都指同一實施方式。

而且，可以在一個或更多個實施方式中按任何合適方式組合所描述的特徵、結構或特性。然而，相關領域技術人員將認識到，可以在缺少這些具體細節中的一個或更多個的情況下或者利用其它方法、元件等來具體實踐本發明。在其它情況下，未詳細示出或描述公知的結構或操作，以避免搞混本發明的各方面。

參照附圖將最好地理解本發明的所示實施方式，其中，貫穿全文由相同數位來指定相同部分。下面的描述只是作為示例，並且簡單地例示了與本文所要求保護的發明相一致的設備和方法的某些選擇的實施方式。

在本說明書中，出現在附圖和描述中的相同標號指定了不同視圖之間的對應或相同要素。

如前提及，當將環內濾波器應用於VR360視頻中的不連續邊緣時，針對該不連續邊緣的一側上的重建的像素的濾波處理，可能需要使用該不連續邊緣的另一側上的一個或更多個重建的像素（稱為非預期像素）。由於不連續邊緣的兩側的像素之間的不連續性，因此將非預期像素用於環內濾波處理可能會造成明顯的偽像。因此，根據本發明的方法，如果環內濾波處理跨該不連續邊緣，則禁用環內濾波處理或者使用較小尺寸的濾波器。VR360視頻或PIP中的不連續邊緣或邊緣在本公開中也稱為虛擬邊緣。在本公開中，可以將環內濾波器稱為環路濾波器。在本公開中，可以將環內濾波處理稱為環路濾波處理。

第7A圖例示了跨不連續邊緣705應用去塊濾波處理。在第7A圖中，將去塊濾波處理710應用於當前塊712，其中將塊邊緣與不連續邊緣705對齊。當前塊712的去塊濾波處理涉及由點填充區域714所指示的非預期像素。由於跨不連續邊緣應用去塊濾波處理，因此，根據本發明的方法禁用了當前塊的去塊濾波處理。將去塊濾波處理720應用於當前塊722，其中，不連續邊緣705位於當前塊的內部。當前塊722的去塊濾波處理可能涉及非預期像素，其中，當前塊中的像素中的一些像素可以位於虛擬邊緣的與鄰近參考塊（如點填充區域724所示）的不同側。根據本發明的方法禁用當前塊的去塊濾波處理，或者使用具有較小濾波器尺寸的去塊濾波器。另外，當虛擬邊緣位於鄰近參考塊內部時，根據本發明的方法禁用當前塊的去塊濾波處理，或者使用具有較小濾波器尺寸的去塊濾波器。在HEVC中，去塊濾波器在塊邊緣的各側上可以使用多至4個像素。根據本發明的實施方式，去塊濾波器可以在塊邊緣的至少一側上使用較少的像素。

可以將去塊濾波器應用于諸如變換塊邊緣、子塊邊緣或其它類型塊的塊。因此，在一個實施方式中，如果塊（例如，與用於去塊濾波器的子塊或變換塊相關聯的子塊邊緣或變換塊邊緣）與虛擬邊緣對齊或者虛擬邊緣位於塊或鄰近的塊內部，則禁用該塊（例如，子塊或變換塊）的環路濾波處理。

在第7B圖中，將SAO濾波處理730應用於與不連續邊緣705相鄰的當前像素732。當前像素732的SAO濾波處理涉及由點填充方形（dots-filled square）734所指示的非預期像素。由於跨不連續邊緣應用SAO濾波處理，因此，根據本發明的方法禁用了當前像素的SAO濾波處理。在第7B圖中，將ALF濾波處理740應用於與不連續邊緣705相鄰的當前像素742。當前像素742的ALF濾波處理涉及由點填充方形744所指示的非預期像素。由於跨不連續邊緣應用ALF濾波處理，因此，根據本發明的方法禁用當前像素的ALF濾波處理，或者如果較小的ALF可用，則使用較小的ALF。例如，如果7x7和5x5 ALF均可用，則當7x7 ALF跨虛擬邊緣時，可以使用5x5 ALF。ALF濾波處理包括確定濾波器係數並應用濾波器。雖然對於跨不連續邊緣禁用環內波處理的方法，使用去塊、SAO以及ALF環內濾波器作為示例，但是該方法也可以應用於其它類型的環內濾波處理。

根據本發明的實施方式，可以按諸如SPS、PPS、APS、片段、圖塊、圖片、CTU、CU、PU或TU級別這樣的語法級別在位元流中發送語法（例如，控制標誌或啟用標誌），以指示是否針對對應區域（例如，圖片、片段、圖塊、CTU、CU、PU或TU）中的虛擬邊緣禁用濾波器。例如，可以在序列級別上用信號通知控制標誌sps_loop_filter_disabled_across_virtual_boundaries_flag，以指示是否針對該序列的幀中的虛擬邊緣禁用濾波器。

在不同的圖片、片段、圖塊、CTU、CU、PU或TU中，該虛擬邊緣可以是不同的。例如，第8A圖示出了三個幀（i-1、i以及i+1），其中，這三個幀具有如虛線所示的不同虛擬邊緣。第8B圖例示了具有如虛線所示的不同虛擬邊緣的不同CTU（即，840、842、844以及846）的示例。

在下文中，公開了根據本發明的實施方式的各種語法結構。

語法結構設計（Syntax Structure Design）I

在一個實施方式中，如果語法（例如，控制標誌或啟用標誌）為真，則跨虛擬邊緣禁用環路濾波器；以及如果語法（例如，控制標誌或啟用標誌）為假，則在重建的濾波單元跨虛擬邊緣時，不禁用環路濾波器。

在一個實施方式中，如果語法（例如，控制標誌或啟用標誌）等於真，則也可以在位元流中用信號通知兩種語法，以分別指示垂直虛擬邊緣的數量和水平虛擬邊緣的數量。如果垂直虛擬邊緣的數量大於0，則在位元流中用信號通知所有垂直虛擬邊緣的位置。類似地，如果水平虛擬邊緣的數量大於0，則在位元流中用信號通知所有水平虛擬邊緣的位置。

表2示出了結合本發明的實施方式的示例性SPS語法表。表2

seq_parameter_set_rbsp( ) {	描述符
…
sps_loop_filter_disabled_across_virtual_boundaries_flag	u(1)
if( sps_loop_filter_disabled_across_virtual_boundaries_flag ) {
sps_num_ver_virtual_boundaries	ue(v)
if( sps_num_ver_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_ver_virtual_boundaries; i++ ) {
sps_virtual_boundaries_pos_x[ i ]	ue(v)
}
}
sps_num_hor_virtual_boundaries	ue(v)
if( sps_num_hor_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_hor_virtual_boundaries; i++ ) {
sps_virtual_boundaries_pos_y[ i ]	ue(v)
}
}
}
…
}

由於虛擬邊緣並非總是被設定成從區域（例如，圖片、片段、圖塊、CTU、CU、PU或TU）的最左方位到最右方位或者從區域的最高方位到最低方位。虛擬邊緣的起點或終點可以位於圖片內部。例如，如第8C圖所示，虛擬邊緣的起點或終方位於圖片內部，其中，垂直虛擬邊緣852的上端在圖片內部（即，圖片的中間），而水平虛擬邊緣是從圖片的左側到右側。因此，在語法表3中也指定了虛擬邊緣的起始方位和終止方位。

在另一實施方式中，如果語法（即，控制標誌或啟用標誌）等於真，則也可以在位元流中用信號通知兩種語法，以分別指示垂直虛擬邊緣的數量和水平虛擬邊緣的數量。如果垂直虛擬邊緣的數量大於0，則在位元流中用信號通知各個垂直虛擬邊緣的x方位以及y起點和y終點。如果水平虛擬邊緣的數量大於0，則在位元流中用信號通知各個水平虛擬邊緣的y方位以及x起點和x終點。

表3示出了結合本發明的上面實施方式的示例性SPS語法表。表3

seq_parameter_set_rbsp( ) {	描述符
…
sps_loop_filter_disabled_across_virtual_boundaries_flag	u(1)
if( sps_loop_filter_disabled_across_virtual_boundaries_flag ) {
sps_num_ver_virtual_boundaries	ue(v)
if( sps_num_ver_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_ver_virtual_boundaries; i++ ) {
sps_virtual_boundaries_pos_x[ i ]	ue(v)
sps_virtual_boundaries_start_pos_y[ i ]	ue(v)
sps_virtual_boundaries_end_pos_y[ i ]	ue(v)
}
}
sps_num_hor_virtual_boundaries	ue(v)
if( sps_num_hor_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_hor_virtual_boundaries; i++ ) {
sps_virtual_boundaries_pos_y[ i ]	ue(v)
sps_virtual_boundaries_start_pos_x[ i ]	ue(v)
sps_virtual_boundaries_end_pos_x[ i ]	ue(v)
}
}
}
…
}

在另一實施方式中，虛擬邊緣的長度是固定的。在這種情況下，可以如表4所示更改上面的語法表。此外，可以按SPS、PPS、APS、片段、圖塊、圖片、CTU、CU、PU或TU級別在位元流中發送語法（例如，控制標誌或啟用標誌），以指示是否針對虛擬邊緣禁用環內濾波器。如果語法為真，則在重建的濾波單元跨虛擬邊緣時，禁用環路濾波器。如果語法為假，則在重建的濾波單元跨虛擬邊緣時，不禁用環路濾波器。

如果語法（例如，控制標誌或啟用標誌）等於真，則也可以在位元流中發送以下語法。可以在位元流中發送兩種語法，以分別指示對垂直虛擬邊緣的數量和水平虛擬邊緣的數量進行設定。如果垂直虛擬邊緣的數量大於0，則將各個垂直虛擬邊緣的起點（x方位和y方位）發送到位元流中。如果水平虛擬邊緣的數量大於0，則將各個水平虛擬邊緣的起點（x方位和y方位）發送到位元流中。表4

seq_parameter_set_rbsp( ) {	描述符
…
sps_loop_filter_disabled_across_virtual_boundaries_flag	u(1)
if( sps_loop_filter_disabled_across_virtual_boundaries_flag ) {
sps_num_ver_virtual_boundaries	ue(v)
if( sps_num_ver_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_ver_virtual_boundaries; i++ ) {
sps_ver_virtual_boundaries_pos_x[ i ]	ue(v)
sps_ver_virtual_boundaries_pos_y[ i ]	ue(v)
}
}
sps_num_hor_virtual_boundaries	ue(v)
if( sps_num_hor_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_hor_virtual_boundaries; i++ ) {
sps_hor_virtual_boundaries_pos_x[ i ]	ue(v)
sps_hor_virtual_boundaries_pos_y[ i ]	ue(v)
}
}
}
…
}

語法結構設計II

還公開了更靈活的用信號通知各種類型的虛擬邊緣的語法結構。虛擬邊緣並非總是被設定成從區域（圖片、片段、圖塊、CTU、CU、PU、TU）的最左方位到最右方位，或者從區域的最高方位到最低方位。

在位元流中用信號通知各個虛擬邊緣的兩個位置起點和終點，以使可以將虛擬邊緣設定為矩形框或直線。起點指示框的左上方位，終點指示框的右下方位。

如果語法（即，控制標誌或啟用標誌）等於真，則也可以在位元流中用信號通知以下語法。可以在位元流中用信號通知一種語法，以指示虛擬邊緣的數量。如果虛擬邊緣的數量大於0，則在位元流中用信號通知所有虛擬邊緣的起點和終點的位置。

表5示出了結合上面實施方式的示例性語法表。表5

seq_parameter_set_rbsp( ) {	描述符
…
sps_loop_filter_disabled_across_virtual_boundaries_flag	u(1)
if( sps_loop_filter_disabled_across_virtual_boundaries_flag ) {
sps_num_virtual_boundaries	ue(v)
if( sps_num_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_virtual_boundaries; i++ ) {
sps_virtual_boundaries_start_pos_x[ i ]	ue(v)
sps_virtual_boundaries_start_pos_y[ i ]	ue(v)
sps_virtual_boundaries_end_pos_x[ i ]	ue(v)
sps_virtual_boundaries_end_pos_y[ i ]	ue(v)
}
}
}
…
}

在另一示例中，該語法結構與表5類似。然而，該虛擬邊緣可以通過該虛擬邊緣的對應的起點的位置以及起點與終點之間的偏移值來用信號通知： virtual_boundaries_end_pos_x[i] = virtual_boundaries_start_pos_x[i] + virtual_boundaries_offset_x[i]， virtual_boundaries_end_pos_y[i] = virtual_boundaries_start_pos_y[i] + virtual_boundaries_offset_y[i]，其中，i = 0, …num_virtual_boundaries -1。

此外，可以按SPS、PPS、APS、片段、圖塊、圖片、CTU、CU、PU或TU級別在位元流中發送語法（例如，控制標誌或啟用標誌），以指示是否針對虛擬邊緣禁用環內濾波器。如果語法為真，則在重建的濾波單元跨虛擬邊緣時，禁用環路濾波器。如果語法為假，則在重建的濾波單元跨虛擬邊緣時，不禁用環路濾波器。

如果語法（例如，控制標誌或啟用標誌）等於真，則也可以在位元流中用信號通知以下語法。可以在位元流中用信號通知一種語法，以指示對應區域中存在的水平虛擬邊緣的數量。如果虛擬邊緣的數量大於0，則在位元流中用信號通知所有虛擬邊緣的起點的位置以及偏移值。

表6示出了結合上面實施方式的示例性語法表。表6

seq_parameter_set_rbsp( ) {	描述符
…
sps_loop_filter_disabled_across_virtual_boundaries_flag	u(1)
if( sps_loop_filter_disabled_across_virtual_boundaries_flag ) {
sps_num_virtual_boundaries	ue(v)
if( sps_num_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_virtual_boundaries; i++ ) {
sps_virtual_boundaries_start_pos_x[ i ]	ue(v)
sps_virtual_boundaries_start_pos_y[ i ]	ue(v)
sps_virtual_boundaries_offset_x[ i ]	se(v)
sps_virtual_boundaries_offset_y[ i ]	se(v)
}
}
}
…
}

語法結構設計III

對於一些VR投影圖片，該佈局可以包括沿除垂直和水平方向之外的其它各種角度的虛擬邊緣，並且多個虛擬邊緣可以形成諸如三角形或矩形這樣的非正方形形狀。而且，虛擬邊緣可以是直線或者諸如圓形這樣的形狀。根據本發明的一些實施方式，將語法結構設計成支援這樣的情況。

在一個實施方式中，如果語法（例如，控制標誌或啟用標誌）等於真，則也可以在位元流中用信號通知以下語法。例如，可以在位元流中用信號通知一種語法，以指示虛擬邊緣的數量。如果虛擬邊緣的數量大於0，則可以在位元流中用信號通知語法（例如，形狀標誌），以指示各個虛擬邊緣的形狀。例如，如果形狀標記等於第一值（例如，0），則該虛擬邊緣是直線。在位元流中用信號通知起點和終點的位置。如果形狀標記等於第二值（例如，1），則該虛擬邊緣是圓形。可以在位元流中用信號通知圓心的方位和圓的半徑。

表7示出了如下示例性語法表，其與上面基於語法結構II的表5中的語法表的實施方式相對應。表7

seq_parameter_set_rbsp( ) {	描述符
…
sps_loop_filter_disabled_across_virtual_boundaries_flag	u(1)
if( sps_loop_filter_disabled_across_virtual_boundaries_flag ) {
sps_num_virtual_boundaries	ue(v)
if( sps_num_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_virtual_boundaries; i++ ) {
sps_virtual_boundaries_shape[ i ]	u(1)
if (sps_virtual_boundaries_shape[ i ] == 0 ) { // straight line
sps_virtual_boundaries_start_pos_x[ i ]	ue(v)
sps_virtual_boundaries_start_pos_y[ i ]	ue(v)
sps_virtual_boundaries_end_pos_x[ i ]	ue(v)
sps_virtual_boundaries_end_pos_y[ i ]	ue(v)
}
if (sps_virtual_boundaries_shape[ i ] == 1 ) { // circle
sps_virtual_boundaries_center_pos_x[ i ]	ue(v)
sps_virtual_boundaries_centerpos_y[ i ]	ue(v)
sps_virtual_boundaries_radius[ i ]	ue(v)
}
}
}
}
…
}

表8示出了如下示例性語法表，其與上面基於語法結構II的表6中的語法表的實施方式相對應。表8

seq_parameter_set_rbsp( ) {	描述符
…
sps_loop_filter_disabled_across_virtual_boundaries_flag	u(1)
if( sps_loop_filter_disabled_across_virtual_boundaries_flag ) {
sps_num_virtual_boundaries	ue(v)
if( sps_num_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_virtual_boundaries; i++ ) {
sps_virtual_boundaries_shape[ i ]	u(1)
if (sps_virtual_boundaries_shape[ i ] == 0 ) { // straight line
sps_virtual_boundaries_start_pos_x[ i ]	ue(v)
sps_virtual_boundaries_start_pos_y[ i ]	ue(v)
sps_virtual_boundaries_offset_x[ i ]	se(v)
sps_virtual_boundaries_offset_y[ i ]	se(v)
}
if (sps_virtual_boundaries_shape[ i ] == 1 ) { // circle
sps_virtual_boundaries_center_pos_x[ i ]	ue(v)
sps_virtual_boundaries_centerpos_y[ i ]	ue(v)
sps_virtual_boundaries_radius[ i ]	ue(v)
}
}
}
}
…
}

減少用於信號通知的比特數

為了減少位元流中的比特數，可以根據先前虛擬邊緣以及先前虛擬邊緣與當前虛擬邊緣之間的差值匯出虛擬邊緣的位置。

根據本發明的一種方法，僅在位元流中用信號通知了差值。可以如下匯出第一虛擬邊緣的位置： virtual_boundaries_pos_x[0] = 0 + virtual_boundaries_diff_x[0]， virtual_boundaries_pos_y[0] = 0 + virtual_boundaries_diff_y[0]。

對於第一虛擬邊緣，也可以根據當前區域的起始方位匯出該位置： virtual_boundaries_pos_x[0] =（當前區域的起點的x方位）+ virtual_boundaries_diff_x[0], virtual_boundaries_pos_y[0] =（當前區域的起點的y方位）+ virtual_boundaries_diff_y[0]。

可以如下匯出其它虛擬邊緣的位置： virtual_boundaries_pos_x[i] = virtual_boundaries_pos_x [i-1] + virtual_boundaries_diff_x[i], virtual_boundaries_pos_y[i] = virtual_boundaries_pos_y [i-1] + virtual_boundaries_diff_y[i]. 其中，i = 1, … num_virtual_boundaries -1。

可以將該方法與語法結構I、II以及III相結合，以減少位元流的比特數。

表9示出了結合上面實施方式以減少比特數的示例性語法表。表9

seq_parameter_set_rbsp( ) {	描述符
…
sps_loop_filter_disabled_across_virtual_boundaries_flag	u(1)
if( sps_loop_filter_disabled_across_virtual_boundaries_flag ) {
sps_num_ver_virtual_boundaries	ue(v)
if( sps_num_ver_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_ver_virtual_boundaries; i++ ) {
sps_virtual_boundaries_diff_x[ i ] // difference	se(v)
}
}
sps_num_hor_virtual_boundaries	ue(v)
if( sps_num_hor_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_hor_virtual_boundaries; i++ ) {
sps_virtual_boundaries_diff_y[ i ] // difference	se(v)
}
}
}
…
}

根據另一實施方式，在位元流中用信號通知第一虛擬邊緣的絕對位置以及其它虛擬邊緣的差值。可以根據先前虛擬邊緣以及先前虛擬邊緣與當前虛擬邊緣之間的差值匯出其它虛擬邊緣的位置。

除第一虛擬邊緣之外，可以像以前一樣匯出其它虛擬邊緣的位置，如下所示。 virtual_boundaries_pos_x[i] = virtual_boundaries_pos_x [i-1] + virtual_boundaries_diff_x[i], virtual_boundaries_pos_y[i] = virtual_boundaries_pos_y [i-1] + virtual_boundaries_diff_y[i]. 其中，i = 1, … num_virtual_boundaries -1。

表10示出了結合上面實施方式以減少比特數的示例性語法表。表10。

seq_parameter_set_rbsp( ) {	描述符
…
sps_loop_filter_disabled_across_virtual_boundaries_flag	u(1)
if( sps_loop_filter_disabled_across_virtual_boundaries_flag ) {
sps_num_ver_virtual_boundaries	ue(v)
if( sps_num_ver_virtual_boundaries != 0 ) {
sps_virtual_boundaries_pos_x[ 0 ]	ue(v)
for( i = 1; i > sps_num_ver_virtual_boundaries; i++ ) {
sps_virtual_boundaries_diff_x[ i ] // difference	se(v)
}
}
sps_num_hor_virtual_boundaries	ue(v)
if( sps_num_hor_virtual_boundaries != 0 ) {
sps_virtual_boundaries_pos_y[ 0 ]	ue(v)
for( i = 1; i > sps_num_hor_virtual_boundaries; i++ ) {
sps_virtual_boundaries_diff_y[ i ] // difference	se(v)
}
}
}
…
}

為了減少比特數，可以將虛擬邊緣的位置設定成處理單元最小寬度/高度的倍數。因此，可以以最小處理單元為單位，在位元流中用信號通知虛擬邊緣的位置。

例如，新興VVC（通用視頻編碼）標準中的最小處理單元為4x4塊；因此，將虛擬邊緣的位置設定成4的倍數。

為了進一步減少比特數，可以以片段、圖塊、CTU、CU、PU、TU、其它預定義值或者這些的組合為單位，在位元流中用信號通知虛擬邊緣的位置。例如，垂直虛擬邊緣的位置可以是3 CTU寬度加5塊寬度。

可以將該方法與語法結構I、II以及III相結合，以減少位元流的比特數。也可以將該方法與其它比特數減少方法相結合。

也可以將比特數減少方法應用於語法結構中的偏移值和差值。

可以從先前區域（例如，圖片、片段、圖塊、CTU、CU、TU、PU等）繼承虛擬邊緣方位，並因此可以減少當前區域（例如，圖片、片段、圖塊、CTU、CU、TU、PU等）的比特數。例如，如果當前幀中的虛擬邊緣的方位與先前幀相同，則可以從先前幀繼承虛擬邊緣。在另一示例中，如果當前CTU中的虛擬邊緣的方位與先前CTU相同，則可以從先前CTU繼承虛擬邊緣。對於當前區域，可以使用一種附加的語法（例如，sps_virtual_boundary_inherit_flag）來標識是否從先前區域繼承虛擬邊緣。

表11示出了結合上面實施方式以減少比特數的示例性語法表。表11

seq_parameter_set_rbsp( ) {	描述符
…
sps_loop_filter_disabled_across_virtual_boundaries_flag	u(1)
if( sps_loop_filter_disabled_across_virtual_boundaries_flag ) {
sps_virtual_boundary_inherit_flag	u(1)
if ( ! sps_virtual_boundary_inherit) {
sps_num_ver_virtual_boundaries	ue(v)
if( sps_num_ver_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_ver_virtual_boundaries; i++ ) {
sps_virtual_boundaries_pos_x[ i ]	ue(v)
}
}
sps_num_hor_virtual_boundaries	ue(v)
if( sps_num_hor_virtual_boundaries != 0 ) {
for( i = 0; i > sps_num_hor_virtual_boundaries; i++ ) {
sps_virtual_boundaries_pos_y[ i ]	ue(v)
}
}
}
}
…
}

第9圖例示了根據本發明的實施方式的用於跨不連續邊緣或虛擬邊緣的環路濾波處理的參考像素擴展910。在第9圖中，將上部子幀中的像素進行擴展以形成另選參考像素（標記為點填充區域1），並且將下部子幀中的像素進行擴展以形成另選參考像素（標記為點填充區域2）。在第9圖中，示出了上部子幀的虛擬邊緣912a和下部子幀的虛擬邊緣912b。當將虛擬邊緣的同一側的像素進行擴展以形成另選參考像素時，使用當前子幀中的最近的像素。換句話說，將上部子幀的下側線向下延伸以形成參考像素區域1，並將下部子幀的上側線向上延伸以形成參考像素區域2。當環路濾波處理需要來自不連續邊緣或虛擬邊緣的另一側的參考像素時，將當前子幀中的最近的像素（即，與當前像素處於不連續邊緣/虛擬邊緣的同一側）用作另選參考像素。在第9圖中，VR360圖片由上部子幀和下部子幀組成。如應理解，旨在將3x2立方體貼圖佈局作為示例來說明根據本發明的實施方式的參考像素擴展。

可以將參考像素擴展應用於其它VR360佈局格式，諸如從八面體投影（OHP：OctaHedron Projection）、二十面體投影（ISP：icosahedron projection）、分段球形投影（SSP：Segmented Sphere Projection）以及旋轉球形投影（RSP：Rotated Sphere Projection）匯出的佈局格式。VR360圖片中可能有一個以上的虛擬邊緣。而且，虛擬邊緣可以沿其它方向而不是垂直/水平方向。當環路濾波處理涉及非預期參考像素（即，虛擬邊緣的另一側的參考像素）時，可以將與要濾波的當前重建的像素在同一側的最近像素擴展以形成另選參考像素。

已經基於3x2立方體貼圖佈局示出了跨虛擬邊緣的濾波控制（即，啟用或禁用）。上面描述的跨虛擬邊緣的濾波處理可以適用於其它VR格式，諸如八面體投影（OHP）、二十面體投影（ISP）、分段球形投影（SSP）以及旋轉球形投影（RSP）。第10圖示出了與等距矩形投影（ERP：Equirectangular projection）1010、填充等距矩形投影（PERP：Padded Equirectangular Projection）1020、八面體投影1030、簡潔選項1的八面體投影1040以及簡潔選項2的八面體投影1050相對應的圖片。第11圖示出了與二十面體投影1110、簡潔選項1的二十面體投影1120以及截頭正方形四面體（TSP：Truncated Square Pyramid）1130相對應的圖片。第12圖示出了與分段球形投影（SSP）1210和旋轉球形投影（RSP）1220相對應的圖片。

該方法不僅適用於去塊濾波器、ALF濾波器以及SAO濾波器，而且適用於其它濾波器。

第13圖例示了根據本發明的實施方式的用於視頻的編解碼系統的示例性流程圖，其中，用信號通知第一語法以指示針對對應區域中的一個或更多個虛擬邊緣是否禁用環路濾波處理。可以將流程圖中所示的步驟以及本公開中的其他後續流程圖實現為，可在編碼器側和/或解碼器側的一個或更多個處理器（例如，一個或更多個CPU）上執行的程式碼。流程圖中所示的步驟也可以基於硬體來實現，例如被設置成執行該流程圖中的步驟的一個或更多個電子裝置或處理器。根據該方法，在步驟1310中，在編碼器側在位元流中用信號通知第一語法，或者在解碼器側從位元流中解析第一語法，其中，該第一語法指示針對對應區域中的一個或更多個虛擬邊緣是否禁用環路濾波處理。在步驟1320中，接收圖片中的當前重建的像素的重建的濾波單元，其中，該重建的濾波單元與環路濾波器相關聯，並且該重建的濾波單元包括重建的像素，向當前重建的像素應用與環路濾波器相關聯的環路濾波處理。如果該第一語法為真，則在重建的濾波單元跨對應區域中的所述一個或更多個虛擬邊緣時，禁用環路濾波處理。如果該第一語法為假，則在重建的濾波單元跨虛擬邊緣時，不禁用環路濾波處理。

上面示出的流程圖旨在用作示例來例示本發明的實施方式。在不脫離本發明的精神的情況下，本領域技術人員可以通過修改單獨步驟、拆分或組合步驟來具體實踐本發明。

呈現上面的描述是為了使本領域普通技術人員能夠具體實踐在特定應用及其要求的背景下所提供的本發明。這些實施方式的各種修改例對於本領域技術人員是顯而易見的，並且可以將本文所定義的一般原理應用於其它實施方式。因此，本發明不旨在限於所示出和描述的特定實施方式，而是符合與本文所公開的原理和新穎特徵相一致的最廣範圍。在上面的詳細描述中，例示了各種具體的細節，以便提供對本發明的詳盡理解。儘管如此，本領域技術人員還應明白，可以對本發明進行具體實踐。

如上所述的本發明的實施方式可以採用各種硬體、軟體代碼或這兩者的組合來實現。例如，本發明的實施方式可以是用於執行本文所述的處理的被集成到視訊壓縮晶片中的一個或更多個電子電路或者被集成到視訊壓縮軟體中的程式碼。本發明的實施方式還可以是要在數位訊號處理器（DSP）上執行以執行本文所述的處理的程式碼。本發明還可以涉及要由電腦處理器、數位訊號處理器、微處理器或者現場可程式設計閘陣列（FPGA）執行的許多功能。可以將這些處理器配置成，通過執行對根據本發明具體實施的特定方法進行定義的機器可讀軟體代碼或固件代碼，來執行根據本發明的特定的任務。可以以不同程式設計語言和不同格式或樣式來開發軟體代碼或固件代碼。也可以為不同目標平臺編譯這些軟體代碼。然而，軟體代碼的不同代碼格式、樣式以及語言和配置代碼以執行根據本發明的任務的其它手段將不脫離本發明的精神和範圍。

本發明可以在不脫離其精神和基本特徵的情況下按其它特定形式來具體實施。所述示例要如所示並且不受限地按全部方面來加以考慮。因此，通過所附權利要求而非前述描述來指示本發明的範圍。落入權利要求的等同物的含義和範圍內的所有改變將被涵蓋在這些權利要求的範圍內。

110、518:垂直邊緣 120、516:水平邊緣 410、420:佈局 412、414、416、418、411:圖像 510、722:當前塊 512、514:鄰近塊 520、840、842、844、846:編碼樹單元 530、532、622:重建的像素 610、705:不連續邊緣 624:虛線框 620、730:SAO操作 626:鄰近的像素 720:去塊濾波處理 724:填充區域 732、742:當前像素 734、744:點填充方形 852:垂直虛擬邊緣 910:參考像素擴展 912a、912b:虛擬邊緣 1010:等距矩形投影（ERP） 1020:填充等距矩形投影（PERP） 1030:八面體投影 1040:簡潔選項1的八面體投影 1050:簡潔選項2的八面體投影 1110:二十面體投影 1120:簡潔選項1的二十面體投影 1130:截頭正方形四面體（TSP） 1210:分段球形投影（SSP） 1220:旋轉球形投影（RSP） 1310-1320:步驟

第1A圖例示了在垂直邊緣的去塊濾波處理中所涉及的邊緣像素的示例。第1B圖例示了在水平邊緣的去塊濾波處理中所涉及的邊緣像素的示例。第2圖示出了SAO（樣本自我調整偏移）的4種EO（邊緣偏移：Edge Offset）方向模式（0°、90°、135°以及45°）。第3圖例示了包括5x5濾波器和7x7濾波器的ALF的示例，其中“C”表示正被濾波的當前重建的像素。第4圖例示了4x3和3x2的立方體貼圖佈局形式的示例。第5A圖例示了應用於採用3x2佈局的VR360圖片的塊的去塊濾波器的示例。第5B圖例示了應用於採用3x2佈局的VR360圖片的像素的SAO處理的示例。第5C圖例示了針對重建的VR360圖片使用5x5或7x7濾波器的ALF處理的示例。第6圖例示了在不連續邊緣處應用于重建的像素的SAO濾波器的示例。第7A圖例示了跨不連續邊緣應用或者應用於靠近不連續邊緣的塊邊緣的去塊濾波處理的示例。第7B圖例示了跨不連續邊緣應用SAO（樣本自我調整偏移）和ALF（自我調整環路濾波器）濾波處理的示例。第8A圖例示了三個幀（i-1、i以及i-1）具有如虛線所示的不同的虛擬邊緣的示例。第8B圖例示了具有如虛線所示的不同的虛擬邊緣的不同的CTU（編碼樹單元）的示例。第8C圖例示了虛擬邊緣的起點或終點位於圖片內部的示例。第9圖例示了根據本發明的實施方式的用於跨不連續邊緣或虛擬邊緣的環路濾波處理的參考像素擴展的示例。第10圖例示了VR360投影的各種示例，其包括如第10圖所示的等距矩形投影（ERP：Equirectangular projection）、填充等距矩形投影（PERP：Padded Equirectangular Projection）、八面體投影、簡潔選項1的八面體投影以及簡潔選項2的八面體投影。第11圖例示了包括二十面體投影、簡潔選項1的二十面體投影以及截頭正方形四面體（TSP：Truncated Square Pyramid）的VR360投影的各種示例。第12圖例示了包括分段球形投影（SSP：Segmented Sphere Projection）和旋轉球形投影（RSP：Rotated Sphere Projection）的VR360投影的各種示例。第13圖例示了根據本發明的實施方式的用於視頻的編碼系統的示例性流程圖，其中，用信號通知第一語法以指示針對對應區域中的一個或更多個虛擬邊緣是否禁用環路濾波處理。

1310-1320:步驟

Claims

一種對視頻序列進行編解碼的方法，其中，來自所述視頻序列的圖片包括一個或更多個不連續邊緣，所述方法包括以下步驟：在編碼器側在位元流中用信號通知第一語法，或者在解碼器側從所述位元流中解析所述第一語法，其中，所述第一語法指示針對對應區域中的一個或更多個虛擬邊緣是否禁用環路濾波處理；接收當前圖片中的重建的濾波單元，其中，所述重建的濾波單元與環路濾波器相關聯，並且所述重建的濾波單元包括重建的像素，以向當前重建的像素應用與所述環路濾波器相關聯的環路濾波處理；其中，如果所述第一語法為真，則當所述重建的濾波單元跨所述對應區域中的所述一個或更多個虛擬邊緣時，禁用所述環路濾波處理；以及如果所述第一語法為假，則當所述重建的濾波單元跨所述對應區域中的虛擬邊緣時，不禁用所述環路濾波處理；其中，如果所述第一語法為真，則在所述編碼器側用信號通知一個或更多個第二語法，或者在所述解碼器側解析所述一個或更多個第二語法，所述一個或更多個第二語法包括：指示所述對應區域中的垂直虛擬邊緣的數量的第一數量，和指示所述對應區域中的水平虛擬邊緣的數量的第二數量。
如申請專利範圍第1項所述的方法，其中，針對所述對應區域，按包括序列參數集SPS、圖片參數集PPS、應用參數集APS、片段、圖塊、圖片、編碼樹單元CTU、編碼單元CU、預測單元PU或變換單元TU級別的語法級別，在所述位元流中用信號通知所述第一語法或者從所述位元流中解析所述第一語法。
如申請專利範圍第1項所述的方法，其中，所述一個或更多個第二語法指示所述對應區域中的虛擬邊緣資訊。
如申請專利範圍第3項所述的方法，其中，各個垂直虛擬邊緣是從所述對應區域的上邊緣到下邊緣的，並且各個水平虛擬邊緣是從所述對應區域的左邊緣到右邊緣的；如果所述第一數量大於0，則在所述位元流中發送各個垂直虛擬邊緣的位置，或者從所述位元流中解析各個垂直虛擬邊緣的位置；以及如果所述第二數量大於0，則在所述位元流中發送各個水平虛擬邊緣的位置，或者從所述位元流中解析各個水平虛擬邊緣的位置。
如申請專利範圍第3項所述的方法，其中，所述垂直虛擬邊緣不必需是從所述對應區域的上邊緣到下邊緣的，並且所述水平虛擬邊緣不必需是從所述對應區域的左邊緣到右邊緣的；如果所述第一數量大於0，則在所述位元流中發送各個垂直虛擬邊緣的x方位、y起始方位以及y終止方位的位置，或者從所述位元流中解析各個垂直虛擬邊緣的x方位、y起始方位以及y終止方位的位置；以及如果所述第二數量大於0，則在所述位元流中發送各個水平虛擬邊緣的y方位、x起始方位以及x終止方位的位置，或者從所述位元流中解析各個水平虛擬邊緣的y方位、x起始方位以及x終止方位的位置。
如申請專利範圍第3項所述的方法，其中，所述垂直虛擬邊緣的長度和所述水平虛擬邊緣的長度是固定的；如果所述第一數量大於0，則在所述位元流中發送各個垂直虛擬邊緣的起點的位置，或者從所述位元流中解析各個垂直虛擬邊緣的起點的位置；以及如果所述第二數量大於0，則在所述位元流中發送各個水平虛擬邊緣的起點的位置，或者從所述位元流中解析各個水平虛擬邊緣的起點的位置。
如申請專利範圍第1項所述的方法，其中，如果所述一個或更多個虛擬邊緣的數量大於0，則在所述位元流中發送所述一個或更多個虛擬邊緣的起點和終點的位置。
如申請專利範圍第7項所述的方法，其中，所述一個或更多個虛擬邊緣對應於一個或更多個矩形框，並且起點和終點對應於所述一個或更多個矩形框的左上方位和右下方位。
如申請專利範圍第7項所述的方法，其中，如果所述一個或更多個虛擬邊緣的數量大於0，則在所述位元流中發送所述一個或更多個虛擬邊緣的起點的位置、以及所述起點與對應終點之間的偏移值，或者從所述位元流中解析所述一個或更多個虛擬邊緣的起點的位置、以及所述起點與對應終點之間的偏移值。
如申請專利範圍第1項所述的方法，其中，在所述編碼器側用信號通知一個或更多個第三語法，或者在所述解碼器側解析所述一個或更多個第三語法，以指示當前虛擬邊緣與先前虛擬邊緣之間的差值。
如申請專利範圍第10項所述的方法，其中，當所述當前虛擬邊緣是所述對應區域中的第一虛擬邊緣時，在所述編碼器側直接用信號通知所述第一虛擬邊緣的絕對方位，或者在所述解碼器側直接解析所述第一虛擬邊緣的絕對方位。
如申請專利範圍第10項所述的方法，其中，當所述當前虛擬邊緣是所述對應區域中的第一虛擬邊緣時，在所述編碼器側直接用信號通知所述第一虛擬邊緣與所述對應區域的起點之間的差異，或者在所述解碼器側解析所述第一虛擬邊緣與所述對應區域的起點之間的差異。
如申請專利範圍第1項所述的方法，其中，如果所述第一語法為真，則在所述編碼器側用信號通知一個或更多個第三語法，或者在所述解碼器側解析所述一個或更多個第三語法，以指示所述一個或更多個虛擬邊緣的位置，並且其中，所述一個或更多個虛擬邊緣的位置是按照處理單元的寬度和/或高度測量到的。
如申請專利範圍第13項所述的方法，其中，處理單元被設定成如下區域，該區域包括圖片、片段、圖塊、編碼樹單元CTU、編碼單元CU、預測單元PU、變換單元TU、或預定義值。
如申請專利範圍第1項所述的方法，其中，如果目標對應區域具有和先前對應區域相同的虛擬邊緣，則所述目標對應區域繼承和所述先前對應區域相同的虛擬邊緣。
如申請專利範圍第15項所述的方法，其中，所述目標對應區域包括圖片、片段、圖塊、編碼樹單元CTU、編碼單元CU、預測單元PU、變換單元TU。
如申請專利範圍第15項所述的方法，其中，在所述編碼器側用信號通知第三語法，或者在所述解碼器側解析所述第三語法，以指示所述目標對應區域是否繼承和所述先前對應區域相同的虛擬邊緣。
如申請專利範圍第1項所述的方法，其中，所述環路濾波器屬於如下組，該組包括去塊濾波器、樣本自我調整偏移SAO濾波器、以及自我調整環路濾波器ALF。
一種對視頻序列進行編碼的設備，其中，來自所述視頻序列的圖片包括一個或更多個不連續邊緣，所述設備包括：一個或更多個電子裝置或處理器，所述一個或更多個電子裝置或處理器被配置成進行如下操作：在編碼器側在位元流中用信號通知第一語法，或者在解碼器側從所述位元流中解析所述第一語法，其中，所述第一語法指示針對對應區域中的一個或更多個虛擬邊緣是否禁用環路濾波處理；接收當前圖片中的重建的濾波單元，其中，所述重建的濾波單元與環路濾波器相關聯，並且所述重建的濾波單元包括重建的像素，以向當前重建的像素應用與所述環路濾波器相關聯的環路濾波處理；其中，如果所述第一語法為真，則當所述重建的濾波單元跨所述對應區域中的所述一個或更多個虛擬邊緣時，禁用所述環路濾波處理；以及如果所述第一語法為假，則當所述重建的濾波單元跨所述對應區域中的虛擬邊緣時，不禁用所述環路濾波處理；其中，如果所述第一語法為真，則在所述編碼器側用信號通知一個或更多個第二語法，或者在所述解碼器側解析所述一個或更多個第二語法，所述一個或更多個第二語法包括：指示所述對應區域中的垂直虛擬邊緣的數量的第一數量，和指示所述對應區域中的水平虛擬邊緣的數量的第二數量。