CN104519362A - 一种邻帧预测深度相似性的视频编码方法 - Google Patents

Abstract

该发明公开了一种邻帧预测深度相似性的视频编码方法，涉及计算机视觉和信号处理技术，研究偏重于视频帧间编码算法优化和视频图像相关处理。在原有帧间预测视频编码方法的基础上，利用相邻帧之间的纹理特征的相关性，优化每一帧预测的划分过程，另外通过控制量化参数(QP)和参考帧选择过程(RFS)来保证预测的准确性，在缩减编码时间与保证预测精准中达到一个平衡，真正从整体上优化了整个帧间编码过程。

Description

一种邻帧预测深度相似性的视频编码方法

技术领域

本发明涉及计算机视觉和信号处理技术，研究偏重于视频帧间编码算法优化和视频图像相关处理。

背景技术

HEVC是ITU-T视频编码专家组和ISO动态图像专家组组织联合成立jCT-VC(JointCollaborative Team-Video Coding)组织制定的最新一代视频编码标准。

本发明针对HEVC中的帧间编码的预测帧的构造过程中的预测算法进行了整体性优化。HEVC的帧间编码过程涉及面广，流程相对复杂，当今的研究趋势主要趋向于在流程中某一个细节，用数学方法减少算法的冗余执行，达到节省编码时间的目的。在这些已经公开的相关技术和文献内容中，算法的优化主要有两种途径：削减原有编码过程以及大幅改变原编码过程。这两种主要途径在实际应用中很难被采纳，削减原有编码过程以达到编码时间的缩短，这违背了HEVC制定的初衷，这种类型的优化往往对某些特定类型的视频序列可以起到极好的优化效果，但却忽略了由被削减的编码过程进行判断的特殊情况，而研究人员往往会回避这些特殊情况，以偏概全；而另一个途径，则是运用数学理论自制一套全新的预测算法，大幅度甚至整体地替换掉原有的编码预测机制，不仅理解不易，其真实的算法性能指标，与经过大量实验而制定的HEVC标准相比，是否真的更好也有待更多的实验来检验。

发明内容

本发明在原有帧间预测视频编码方法的基础上，利用相邻帧之间的纹理特征的相关性，优化每一帧预测的划分过程，另外通过控制量化参数(QP)和参考帧选择过程(RFS)来保证预测的准确性，在缩减编码时间与保证预测精准中达到一个平衡，真正从整体上优化了整个帧间编码过程。

在H.265的编码结构设计中，划分，预测，变换三个主要的编码过程拥有各自独立的编码结构，分别是Coding Unit(CU),Prediction Unit(PU)和Transform Unit(TU)。他们都是帧的编码结构，编码结构是面积小于图像帧的矩形像素块，为了保证网络传输的及时性，编码和传输都是以编码结构为单位，而不是以帧为单位。

本发明一种邻帧预测深度相似性的视频编码方法，该方法包括：

步骤1：选取待编码的视频，将视频中每相邻的8个视频帧划分为一组(GOP,Group ofPictures)，选择该组中一帧进行编码，称其为当前帧；

步骤2：从该组中已经编码的视频帧中选择一帧为当前帧的参考帧，若当前帧为该组中第一帧则选择前一组的最后一帧为参考帧；

步骤3：判断选择出的参考帧与当前帧是否跨越视频场景；若跨越视频场景，则对当前帧进行编码时其起始深度为0，最大深度不超过根据需要的编译精度设定的最大深度，计算其量化参数，则跳转到步骤6；若未跨越视频场景，则转到步骤4；

步骤4：计算出当前帧的量化参数，将当前帧的量化参数与参考帧的量化参数进行比较，若当前帧的量化参数大于参考帧的量化参数，将参考帧的起始深度减1作为当前帧的起始深度；否则，将参考帧的起始划分深度作为当前帧的起始深度；

步骤5：计算参考帧的平均深度，若参考帧的平均深度接近其起始深度，则限定当前帧的最大深度不超过参考帧的最大深度；若参考帧的平均深度更接近最大深度，则当前帧的最大深度不超过设定的最大深度；

步骤6：将当前帧及其起始深度、最大深度、平均深度、量化参数存入参考帧候选列表，作为后续视频帧编码的候选参考帧；

步骤7：根据编码配置信息，依次对所有的视频帧进行编码，完成整个视频的编码。

进一步地，对所述步骤1划分的视频组中的8个视频帧按照视频顺序进行0～7编号，选择其中视频帧进行编码的顺序为0，3，5，2，6，4，7，1。

进一步地，所述步骤2中选择该组候选参考帧中与当前帧距离最近的一帧为当前帧的参考帧。

进一步地，所述步骤3中判断参考帧与当前帧是否跨越视频场景的方法为：分别计算出当前帧和参考帧的起始深度、平均深度、最大深度的差值的绝对值；分别设定三个绝对值的加权系数分别为7、10、3，计算其加权之和T，若T＞25，并且当前帧与参考帧的距离大于等于4，则认为参考帧与当前帧跨越了视频场景，否则未跨越视频场景。

进一步地，步骤7的具体步骤如下：

步骤7-1：根据步骤1到步骤6完成CU的划分，经过后续的变换、量化、变换编码、反变换、反量化等过程完成一个CU的编码；

步骤7-2：遍历当前帧的所有CU，重复执行步骤7-1，完成一个帧的完整编码过程。

步骤7-3：按照配置文件中指定的一个组(GOP)内的所有视频帧的编码顺序，以及每一帧的参考帧的相对位置，依次对该组内的所有帧编码；

步骤7-4：被编码视频的所有组按照显示顺序，重复执行步骤7-3，完成所有组的编码，没有包含在任何组内的帧，按照配置文件指定的模式进行编码。

本发明一种邻帧预测深度相似性的视频编码方法，用相邻帧之间的纹理特征的相关性，优化每一帧预测的划分过程，从而具有在保证预测的准确性的同时缩减了编码时间的效果。

附图说明

图1为CU深度与纹理复杂度示意图；

图2为Co-located CU和Current CU的位置关系示意图；

图3为单向预测帧的选取方法示意图；

图4为双向预测帧的选取方法示意图；

图5为当前帧的参考帧选取：跨越场景边界示意图；

图6为视频序列Vidyol的QP和平均深度的关系曲线图；

图7邻帧预测深度优化算法在不同清晰度视频序列ASTP的变化直方图；

图8邻帧预测深度优化算法在不同清晰度视频序列BD-bitrate的变化直方图。

具体实施方式

下面针对附图对本发明进行进一步说明。首先需要说明几个概念：

(1)在H.265的编码结构设计中，划分，预测，变换三个主要的编码过程拥有各自独立的编码结构，分别是Coding Unit(CU),Prediction Unit(PU)和Transform Unit(TU)。他们都是帧的编码结构，编码结构是面积小于图像帧的矩形像素块，为了保证网络传输的及时性，编码和传输都是以编码结构为单位，而不是以帧为单位。

(2)当前CU(current CU)是指当前正在被编码的编码单元，Co-located CU是指与当前CU在不同帧中位置且大小相同的CU。

CU划分的优化算法主要利用了视频编码的两个特性：

(1)邻近帧之间的相关性；

(2)CU划分过程中，深度大小与纹理复杂度的对应关系。

所谓邻近帧之间的相关性，是视频编码帧间预测的基础，一个视频中的相邻图像帧很可能属于同一个场景，因此它们之间的差异相对较小，所以可以用邻近帧的块来作为当前帧中需要编码的块的预测，也称为PU。

CU的深度与CU的大小相对应。而当深度值越大，即CU的尺寸越小时，即会进行精确度相对较高的预测。在纹理复杂度的层面来说，纹理较复杂的图像会更多地进行精确度高的预测，纹理平坦的图像则会相对粗糙地进行预测，CU的划分不需要那么精确。纹理复杂度和CU深度的关系如图1所示。

CU划分的优化算法的主要思路是：利用参考帧的co-located CU的深度信息，确定当前帧当前CU的起始和结束搜索深度。

Co-located CU是指当前帧时域参考帧中，和当前帧当前CU处于相同坐标范围内的CU，如图4所示。因为参考帧已经被编码，所以可获得其详细的深度信息，包括最小、最大和平均划分深度。这些深度信息用于初始化当前CU的深度信息，以减少深度搜索过程的耗时。

本发明的主要包括以下步骤：

A.判断当前帧类型是否符合帧间优化算法的条件；

B.优化当前帧的搜索深度；

C.利用量化参数(QP)与搜索深度的关系，校验并修正优化后的最小搜索深度；

D.根据帧类型，判断是否保存当前帧搜索深度的相关信息。

步骤A中判断当前帧类型是否符合帧间优化算法的条件涉及到不同类型的帧的参考帧选取(RFS)过程，其差异也被考虑到优化算法当中，以下是对参考帧选取(RFS)过程的具体描述：

类型为B帧或P帧的图像帧，编码器使用帧间模式进行编码，其中心思想是利用邻近帧的亮度和色度块作为源图像中CU的预测帧，组成预测帧的这些邻近帧的不同大小的亮度和色度块称为PU。

在H.265中，图像帧类型的不同决定了参考帧选取方式的不同。

当源图像帧为P帧，只在显示顺序前向选取参考帧，即为当前帧在显示顺序上的前一帧，当前图像序列的编码顺序和显示顺序一致，其过程如图3所示，POC表示图像的显示顺序，方块中的数字表示编码顺序，绿色的方块表示已经编码的帧，白色的方块表示当前正在编码的帧，箭头的方向表示参考帧选取的方向。

当源图像帧是B帧时，在当前帧显示顺序的前向和后向，都要取得参考帧的候选，当前图像序列被编码的顺序和显示顺序是不一致的，而参考帧则必须是比当前帧在编码顺序上更靠前的帧，所以可能出现以下情况：

(1)当前帧和参考帧在显示顺序上不相邻，甚至有很大间隔；

(2)参考帧在显示顺序上比当前帧更靠后；

双向预测帧的选取过程如图4所示，箭头所指向的帧都是参考帧的候选集合，先暂存在两个列表中，根据预测帧的构建结果，选出最匹配的参考帧。

依据帧间编码中B帧参考帧的选取过程，如果当前帧为B帧，其参考帧与当前帧的距离可能会较大，导致参考帧和当前帧位于不同的场景当中，如图5所示。

由于CU划分的优化是基于相邻帧之间的相关性进行的，当参考帧和当前帧处于不同的场景中时，这种相关性就变得非常弱，再进行深度划分的优化会导致预测的较大幅度的偏差，虽然缩减了编码时间，但会造成编码后的图像清晰度的损失。

所以在发明中提出的CU划分的优化算法中，每隔16帧会进行一次判断：分别选取当前帧的前向和后向的第一个参考帧pre_Pic和suf_Pic，如果pre_Pic和suf_Pic的三个深度信息变量的差值Δdepth_start、Δdepth_end和Δdepth_avg加权之后的绝对值之和超过了某个阀值Threshold且pre_Pic和suf_Pic的显示顺序(POC)之差大于等于4，则表明参考帧的选取有可能跨越了场景边界，则不进行优化，保留原来的CU划分算法。经过实验，Threshold的值设置为25，三个深度信息变量的加权值分别设置7、10、3时，算法达到了最优的性能。判断标志giveup_flag如式1所示。

giveup_flag＝7×|Δdepth_start|+10×|Δdepth_avg|+3×|Δdepth_end|≥25&&|POC_{pre_Pic}-POC_{suf_Pic}|≥4  (1)

综上所述，步骤A的具体步骤如下：

A1.从候选帧列表中取出第一个候选帧作为当前帧预测时进行深度划分的参考帧，理论上来说，这一帧是在POC顺序上距离当前帧最近的帧，所以尽管它不一定是单个的特定的CU的最佳参考帧，但从整体上的深度信息来看，这一帧在所有候选当中是最优的参考帧；

A2.判断该帧的类型是B-Slice还是P-Slice：如果是B-Slice，则需要在进行最大深度信息优化标志distance-scale的判断之前，如式5判断标志giveup_flag，如果为真则当前帧不进行优化，按照原算法进行预测；如果是P-Slice，则不需要进行参考帧和当前帧是否属于同一场景的检验，直接进行深度信息的优化(最小深度优化以及distance-scale标志的判断)；

步骤B中优化当前帧的深度信息的优化算法主要内容如下：

B1.用co-located CU的最小划分深度depth_start(n-1)初始化当前CU的起始划分深度depth_start(n)，CU的划分过程便略过了深度小于depth_start(n-1)的部分，同时，为了保证预测的准确性，量化参数对深度的影响会考虑在内。

B2.用co-located CU的最大划分深度depth_end(n-1)初始化当前CU的终止划分深度depth_end(n)，即可略过深度大于depth_end(n-1)的深度划分过程，提高编码速率。但由于深度较大的划分过程是比较精确的划分过程，过度的简化深度较大的划分过程可能会引起预测准确性地较大偏差，所以优化算法为这种简化提出了限制条件，只有式1中标志opt_decide_flag为真，才能进行深度较大的划分过程的优化。式2中preQP表示参考帧的QP，currQP表示当前帧的QP，max_pre_dpt表示参考帧的最大划分深度，即depth_end(n-1)。

opt_decide_flag＝(distance_scale>＝1||preQP<currQP)&&max_pre_dpt<3  (2)

式1中的变量distance_scale的值由co-located CU的最小、最大深度和平均深度的差值的绝对值之比来决定，如式3所示，max、min、avg分别表示参考帧的最大，最小和平均划分深度。

$\mathrm{dis}\tan \mathrm{ce}\_\mathrm{scale}=\frac{\max -\mathrm{avg}}{\mathrm{avg}-\min }---\left(3\right)$

如果distance_scale的值小于1，则进行最大深度优化，将参考帧的最大深度max_pre_dpt作为当前帧的最大搜索深度，如果值大于1，则不进行最大深度优化。

步骤C利用量化参数(QP)与搜索深度的关系，校验并修正优化后的最小搜索深度的方法也是基于邻帧之间深度的相关性，为了最大限度的保证当前帧与参考帧之间的深度相关性，本发明中采用了以下一些校验和优化的方法，在大幅缩减编码时间的同时，保证整个优化预测算法的准确度。根据编码配置，编码器会给根据每一帧的POC，在基础量化参数(QP)的基础上加一个偏移(offset)，得到该帧最终的量化参数。实验结果标明，量化参数对于CU划分的深度有一定影响，由于各图像帧的量化参数的偏移各不相同，因此CU划分深度的优化应该把量化参数这个因素考虑在内。

图6表示了视频序列Vidyol的QP和平均深度之间的关系。从图中可以看到，对于每一个相同的基本QP(22、27、32、37),当QP offset变大时，平均深度变小，即QP offset的变化趋势与平均深度的变化趋势相反。所以当CU深度的优化算法使得当前帧与其参考帧的平均深度和QP的关系相矛盾时，优化算法则需要进行相应的修正：即当优化算法确定的当前帧的起始搜索深度depthstart(n)大于等于参考帧的平均深度Avg_depth(n-1)，且当前帧的QP大于参考帧的QP时，当前帧的起始搜索深度自减1，如式4所示：

步骤C包括以下步骤：

C1.如果当前帧与参考帧的深度大小与量化参数大小关系矛盾，则修正最小搜索深度；

C2.如果当前帧与参考帧的深度大小与量化参数大小关系不矛盾，则不进行修正；

本发明的关键点在于通过邻帧纹理复杂度相似性与和参考帧管理机制的结合，从多个方面对帧间编码的编码效率进行了整体性综合性优化。本发明没有涉及到复杂的数学模型和公式，以增加编码算法的复杂程度，而是优先考虑其实用性，从H.265原有的帧间编码算法中的深度划分、量化系数的选取以及参考帧管理机制等几个基本过程入手，在每一个局部，进行细微的有效的改进，在保证预测误差在可控范围内的同时，最大程度缩减编码时间，最终通过以点到面的积累从整体上达到可观的优化效果。

本发明基于相邻帧之间搜索深度的相关性，本发明对参考帧的深度信息进行了精细的判断和处理，以保证最后获得的参考深度信息，最大程度上接近于原有的深度遍历过程获得的深度信息。这种精细处理是通过引入平均深度的概念以判断深度的分布、量化参数与深度的关系校验以及对参考帧管理机制的改进这三点相结合而进行的，经过了大量的实验得到了最佳的参数，是一种具有原创性的处理方式，算法流程并不复杂，对于整个HEVC编码过程来说，其增加的算法复杂性微乎其微，但该算法有效地精简了帧间预测算法中占编码时间最长的深度遍历过程中的不必要的冗余遍历。

实验结果统计如下：邻帧预测深度优化算法在HM中应用的实验结果如表1所示；实验结果用树状图统计如图7、图8。

可以看到，无论在哪一种GOP结构的编码配置下，邻帧预测深度优化算法能够有效地提高帧内预测模式的编码效率，编码时间的提升普遍超过30％，且对高分辨率图像，即高清视频中的图像序列效果尤为明显，且BD-bitrate的增加也在可忽略范围内(低于2％)，说明本发明确实在原HM-12.0基础上，相比于第三条中提到的现有的编码优化技术，在可控的预测误差范围内，大幅度缩减了编码时间，相对平衡地有效提升了视频帧间编码的编码效率，并且对于高清视频效果尤为明显，具有相当高的创新性和实用价值。

本发明的技术优势在于：与一些数学上的优化或者削减编码过程以达到缩短编码时间的优化相比，没有依靠删减编码过程，利用特殊样本获得可观效果或者大幅度改变原有帧间预测机制的做法，而是保留了HEVC帧间编码的所有过程，从而保证该发明的实用性的前提下，从每个帧间编码的基本入手，考虑各个过程之间的关联，局部优化之后，从各方面进行微调，最终在编码时间的缩减和预测损失的可控之间达到一个平衡，提升了HEVC帧间编码效率。

特别是本发明将量化参数(QP)，参考帧选择机制(RFS)与深度优化相结合，通过大量实验，获得最适合的权值，通过这些权值将每个部分的功能以合理的比例融入到整个编码过程中，保证了预测误差与缩减时间的相对平衡，没有为了追求局部的效果而影响整体的构架，是一项全局统筹，经过了深思熟虑的技术发明。

表-1 实验结果

Claims (5)

1.一种邻帧预测深度相似性的视频编码方法，该方法包括：

步骤1：选取待编码的视频，将视频中每相邻的8个视频帧划分为一组，选择该组中一帧进行编码，称其为当前帧；

步骤2：从该组中已经编码的视频帧中选择一帧为当前帧的参考帧，若当前帧为该组中第一帧则选择前一组的最后一帧为参考帧；

步骤3：判断选择出的参考帧与当前帧是否跨越视频场景；若跨越视频场景，则对当前帧进行编码时其起始深度为0，最大深度不超过根据需要的编译精度设定的最大深度，计算其量化参数，则跳转到步骤6；若未跨越视频场景，则转到步骤4；

步骤4：计算出当前帧的量化参数，将当前帧的量化参数与参考帧的量化参数进行比较，若当前帧的量化参数大于参考帧的量化参数，将参考帧的起始深度减1作为当前帧的起始深度；否则，将参考帧的起始划分深度作为当前帧的起始深度；

步骤5：计算参考帧的平均深度，若参考帧的平均深度接近其起始深度，则限定当前帧的最大深度不超过参考帧的最大深度；若参考帧的平均深度更接近最大深度，则当前帧的最大深度不超过设定的最大深度；

步骤6：将当前帧及其起始深度、最大深度、平均深度、量化参数存入参考帧候选列表，作为后续视频帧编码的候选参考帧；

步骤7：根据编码配置信息，依次对所有的视频帧进行编码，完成整个视频的编码。

2.如权利要求1所述的一种邻帧预测深度相似性的视频编码方法，其特征在于所述步骤1划分的视频组中的8个视频帧按照视频顺序进行0～7编号，选择其中视频帧进行编码的顺序为0，3，5，2，6，4，7，1。

3.如权利要求1所述的一种邻帧预测深度相似性的视频编码方法，其特征在于所述步骤2中选择该组候选参考帧中与当前帧距离最近的一帧为当前帧的参考帧。

4.如权利要求1所述的一种邻帧预测深度相似性的视频编码方法，其特征在于所述步骤3中判断参考帧与当前帧是否跨越视频场景的方法为：分别计算出当前帧和参考帧的起始深度、平均深度、最大深度的差值的绝对值；分别设定三个绝对值的加权系数分别为7、10、3，计算其加权之和T，若T＞25，并且当前帧与参考帧的距离大于等于4，则认为参考帧与当前帧跨越了视频场景，否则未跨越视频场景。

5.如权利要求1所述的一种邻帧预测深度相似性的视频编码方法，其特征在于步骤7的具体步骤如下：

步骤7-1：根据步骤1到步骤6完成CU的划分，经过后续的变换、量化、变换编码、反变换、反量化等过程完成一个CU的编码；

步骤7-2：遍历当前帧的所有CU，重复执行步骤7-1，完成一个帧的完整编码过程。

步骤7-3：按照配置文件中指定的一个组内的所有视频帧的编码顺序，以及每一帧的参考帧的相对位置，依次对该组内的所有帧编码；

步骤7-4：被编码视频的所有组按照显示顺序，重复执行步骤7-3，完成所有组的编码，没有包含在任何组内的帧，按照配置文件指定的模式进行编码。