CN102761764B - 一种用于三维立体视频的深度图片的上采样方法 - Google Patents

Abstract

本发明涉及一种用于三维立体视频的深度图片的上采样方法，属于图像处理技术领域。首先训练三个相互关联的数据库：低分辨率深度图片块库，彩色图片块库和高分辨率深度图片块库，利用三个数据库，当输入一个新的低分辨率深度图及其对应的彩色图片库时，将其分割成图片块，然后联合求解其在低分辨率深度图片库和彩色图片库中的稀疏线性表示，利用线性表示在高分辨率图片库上重构高分辨率深度图片。本发明使用学习的方法，得到比传统方法更高的深度图片恢复质量，训练的时候联合了彩色图片，保证了质量恢复的效果。使用本发明方法，可以得到很高质量的高分辨率深度图片，通过实验验证，该方法尤其对采集到的深度图片质量极低的情况有更理想的效果。

Description

一种用于三维立体视频的深度图片的上采样方法

技术领域

本发明涉及一种用于三维立体视频的深度图片的上采样方法，属于图像处理技术领域。

背景技术

三维立体视频已经在众多应用中代替传统的二维彩色电视，因为它能够给用户带来全新的观看体验：用户可以获得更真实的三维场景体验和感受，可以自由地选择观看的视点并且随时在不同视点间进行切换。同传统二维视频相比，三维立体视频在视觉效果和用户交互性上的巨大优势，使得三维立体视频成为研究的热点，得到迅速发展和普及。

目前一种常用的三维立体视频显示技术为“彩色视频+深度视频”技术：使用一路彩色视频来表达纹理信息，并且使用一路与其对应的深度视频来表达彩色视频中每个像素点的纵向深度信息。深度视频中的一帧是与彩色视频中的对应帧“像素-像素”对应的，且每个像素的值在0～255范围内的灰度视频。

由于深度图片与彩色图片是“像素-像素”对应的，深度图片需要具有和彩色图片相同的分辨率，然而由于深度图片的采集设备、合成算法等的限制，采集到的深度图片通常具有较低的分辨率，例如目前得到广泛研究的基于反射时间的深度相机就具有低分辨率的特性。因此，深度图片的上采样是三维立体技术中非常重要的一项技术。深度图片的作用是给出每个像素点的深度信息，因此深度图片具有会对三维视觉效果造成影响的两个要求：1）深度图片中的物体要求有清晰地边缘；2）一个物体内部，局部具有相同的深度值。在深度图片上采样的过程中，应该尽量保证上述两点，这样才能保证良好的三维效果。

作为一个传统的问题，图片上采样已经具有几十年的研究历史。由于深度图片可以看做普通的灰白图片，已有的图片上采样方法可以直接适用于深度图片上。但是传统的图片上采样方法忽略了深度视频和彩色视频的对应关系，从而恢复边缘的时候不能得到准确的边缘值，且一定程度上破坏了深度图局部一致的特性。最新的研究表明，利用高分辨率的彩色图片对深度图片的上采样做指导，能够很好地改善上采样的质量。而目前已有的利用彩色图片作指导的上采样方法都不是基于学习的算法，因此上采样的质量存在进一步改进的空间。基于学习的方法就是通过大量的已知数据学习一个从低分辨率深度图片到高分辨率深度图片的映射，基于学习的方法通常比普通的方法具有更好的上采样质量。

机器学习的方法有很多种，其中基于图片块在一个很大的图片块库中的稀疏表示的学习方法被证明对于多种图片质量恢复问题都具有很好的效果，其中包括图片的上次样问题。这种方法的核心思想是：当拥有一个图片块库时，一个新的图片块可以表示为这个图片库中的图片块的一个线性组合；当这个图片块库足够大的时候，这个线性表示中有大量的零元素（稀疏），即这个图片块能够用图片块库中的极少数的图片块线性加和表示。基于图片的稀疏表示特性，本发明的基本思想为首先训练三个对应的图片块库：一个低分辨率图片块库、一个彩色图片库和一个高分辨率图片块库，三个图片块库中的对应图片块为低分辨率图片块及其对应的彩色图片块和其标准的上采样结果。然后，当输入一个新的低分辨率图片块及其对应的彩色图片块的时候，联合求解其在各自图片块库上的最优稀疏表示，并将此稀疏稀疏用于高分辨率图片块库上就能得到新输入的低分辨率图片块对应的高分辨率图片块，即其上采样的结果。下面介绍本发明的具体内容。

发明内容

本发明的目的是提出一种用于三维立体视频的深度图片的上采样方法，以应对多种原因产生的低分辨率深度图片，由于其较高的恢复质量，特别适合于应对采集端采集到分辨率很低的深度图片的情况。

本发明提出的用于三维立体视频的深度图片的上采样方法，包括以下步骤：

（1）定义α为对三维立体视频深度图片的上采样率，S_L为将低分辨率三维立体视频的深度图片分成像素块的大小，S_H为将对低分辨率三维立体视频的深度图片进行上采样后得到的高分辨率深度图片分成像素块的大小以及将采集的彩色图片分成像素块的大小，S_H＝S_L×α；

（2）分别提取低分辨率深度图片像素块、高分辨率深度图片像素块和采集的彩色图片像素块的特征值，提取过程如下：

（2-1）对三维立体视频的低分辨率深度图片使用双线性内插（Bicubic）算法，对低分辨率深度图片以上采样率α进行上采样，得到初始高分辨率深度图片H^int，然后将H^int分为大小为S_H×S_H的像素块，从大小为S_H×S_H的像素块中提取该像素块在横向、竖向两个方向上的一阶、二阶梯度共四个特征值L_i；

（2-2）将对低分辨率三维立体视频的深度图片进行上采样后得到的高分辨率深度图片分成大小为S_H×S_H的像素块通过计算得到高分辨率深度图片像素块的特征值H_i：其中为与大小相等的像素块，且像素块中的每个像素点的深度值等于像素块中各像素点深度值的平均值；

（2-3）对采集的彩色图片用边缘检测算法（Sober算子）进行边缘提取，得到初始边缘图像C^raw，去除边缘图像C^raw中因为物体纹理产生的伪物体边缘，得到边缘图像将边缘图像C分成大小为S_H×S_H的像素块，C中的每个像素块作为采集的彩色图片中对应位置的像素块的特征值C_i；

（3）建立三个相互关联的低分辨率深度图片像素块库D_L、采集的彩色图片像素块库D_C和高分辨率深度图片像素块库D_H，建立过程包括以下步骤：

（3-1）从同一场景中采集低分辨率深度图片、高分辨率彩色图片和标准高分辨率深度图片；

（3-2）分别将上述采集到的低分辨率深度图片、高分辨率彩色图片和标准高分辨率深度图片分割成为像素块，将在低分辨率深度图片、高分辨率彩色图片和标准高分辨率深度图片中位置相对应的像素块定义为一个像素块组，得到多个像素块组，从多个像素块组中随机抽取多个像素块组，使用上述步骤（2）的特征值提取方法，分别对像素块组中的低分辨率深度图片像素块、高分辨率深度图片像素块和采集的彩色图片像素块进行特征值提取；

（3-3）通过求解下式，得到三个相互关联的像素块库D_L、D_C和D_H，：

$\underset{D_l,D_c,D_h,{\mathrm{\α}}_i}{\min }\underset{i}{\mathrm{\Σ}}{\mathrm{\λ}}_l{\left|\right|D_l{\mathrm{\α}}_i-L_i\left|\right|}_2^2+{\mathrm{\λ}}_c{\left|\right|D_c{\mathrm{\α}}_i-C_i\left|\right|}_2^2+{\left|\right|D_h{\mathrm{\α}}_i-H_i\left|\right|}_2^2$

其中||α_i||₁≤ε，

其中，L_i为低分辨率深度图片像素块特征值，C_i为高分辨率彩色图片像素块特征值，H_i为高分辨率深度图片像素块特征值，λ_l、λ_c为对应项的权重，取值为大于零的实数，α_i为系数变量，ε为一个大于零的实数；

(4)根据上述得到的相互关联的低分辨率深度图片像素块库D_L、采集的彩色图片像素块库D_c和高分辨率深度图片像素块库D_H，对输入的低分辨率深度图片进行上采样，上采样过程包括以下步骤：

(4-1)将输入的低分辨率深度图片采用双线性内插(Bicubic)方法进行上采样，使用联合彩色图片双边滤波方法对得到的上采样图片进行滤波，得到分辨率为目标分辨率的高分辨率深度图片H^b；

(4-2)使用上述步骤(2)的特征值提取方法，分别提取输入的低分辨率深度图片像素块的特征值上L_i'、输入的彩色图片像素块的特征值C_i'，以及上述步骤(4-1)的高分辨率深度图片H^b像素块的特征值

(4-3)使用下列映射函数，得到与输入的低分辨率深度图片像素块L_i'相对应的高分辨率深度图片像素块H_i'，映射函数如下：

H_i’=D_hα^*

${\mathrm{\α}}^{*}=\underset{{\left|\right|\mathrm{\α}\left|\right|}_1{\≤\mathrm{\ϵ}}^{\′}}{\mathrm{agr}\min }\{{{\mathrm{\λ}}_l}^{\′}{\left|\right|D_l{\mathrm{\α}}^{\′}-L_i\left|\right|}_2^2+{{\mathrm{\λ}}_c}^{\′}{\left|\right|D_c{\mathrm{\α}}^{\′}-C_i\left|\right|}_2^2+{{\mathrm{\λ}}_r}^{\′}{\left|\right|D_h{\mathrm{\α}}^{\′}-H_i^b\left|\right|}_2^2\}$

其中，λ_l'、λ_c'和λ_r'为对应项的权重，取值为大于零的实数，α'为系数变量，ε'为一个大于零的实数。

本发明提出的用于三维立体视频的深度图片的上采样方法，其优点是：

l、本发明提出的用于三维立体视频的深度图片的上采样方法，使用自然图片中的像素块在像素块库中存在稀疏表示的特性，建立从低分辨率三维立体视频中的低分辨率深度图片到高分辨率深度图片的映射函数，能够高质量的进行深度图片的上采样，相对于传统的深度图片上采样方法，具有更好的上采样效果；

2、本发明提出的用于三维立体视频的深度图片的上采样方法，引入三维立体视频中的彩色图片对深度图片上采样过程的指导，建立的映射函数包含了高分辨率的彩色图片，从而相对于其他的基于建立映射函数类的算法，能够更好的利用三维立体视频的深度图片拥有一个“像素-像素”对应的彩色图片的特性，达到更好的上采样效果；

3、本发明提出的用于三维立体视频的深度图片的上采样方法，特别适用于上采样率较高的情况，经过实验证明，当上采样率很高的情况下，大部分深度图片上采样方法的上采样质量都有明显的下降，而本发明的算法即使在上采样率很高的情况下，也同样能够保证较高的上采样质量，这个特点使本发明方法具有更宽的应用领域。

附图说明

图1是本发明算法的流程以及特征提取的示意图。

具体实施方法

本发明提出的用于三维立体视频的深度图片的上采样方法，其流程框图如图1所示，包括以下步骤：

（1）定义α为对三维立体视频深度图片的上采样率，S_L为将低分辨率三维立体视频的深度图片分成像素块的大小（每个低分辨率深度图片块大小为S_L×S_L），S_H为将对低分辨率三维立体视频的深度图片进行上采样后得到的高分辨率深度图片分成像素块的大小以及将采集的彩色图片分成像素块的大小，S_H＝S_L×α；例如，上采样率α=2表示将深度图片的长和宽都变为之前的2倍，而选择S_L=8，则S_H=16，从而将低分辨率的深度图片分为8×8的像素块，而将高分辨率的深度图以及彩色图片分为16x16的像素块；

本发明需要探究低分辨率深度图片像素块、采集的彩色图片像素块和高分辨率深度图片像素块之间的关系，处于算法鲁棒性的考量，本发明不探索三种像素块本身之间的关联关系，而是提取每种像素块各自的某些特征作为表示；

（2）分别提取低分辨率深度图片像素块、高分辨率深度图片像素块和采集的彩色图片像素块的特征值，提取过程如下：

（2-1）对三维立体视频的低分辨率深度图片使用双线性内插（Bicubic）算法，对低分辨率深度图片以上采样率α进行上采样，得到初始高分辨率深度图片H^int，然后将H^int分为大小为S_H×S_H的像素块，从大小为S_H×S_H的像素块中提取该像素块在横向、竖向两个方向上的一阶、二阶梯度共四个特征值L_i，用于代表低分辨率深度像素块；

（2-2）将对低分辨率三维立体视频的深度图片进行上采样后得到的高分辨率深度图片分成大小为S_H×S_H的像素块通过计算得到高分辨率深度图片像素块的特征值Hi：其中为与大小相等的像素块，且像素块中的每个像素点的深度值等于像素块中各像素点深度值的平均值；

（2-3）对采集的彩色图片用边缘检测算法（Sober算子）进行边缘提取，得到初始边缘图像C^raw，去除边缘图像C^raw中因为物体纹理产生的伪物体边缘，得到边缘图像将边缘图像C分成大小为S_H×S_H的像素块，C中的每个像素块作为采集的彩色图片中对应位置的像素块的特征值C_i；

图1为以上三个特征值提取的示意图；

（3）建立三个相互关联的低分辨率深度图片像素块库D_L、采集的彩色图片像素块库D_C和高分辨率深度图片像素块库D_H，这三个库中对应的项为同一场景局部对应的采集到的低分辨率深度图片块，采集到的高分辨率彩色图片块以及标准的高分辨率深度图片块分别提取的特征向量。建立过程包括以下步骤：

（3-1）从同一场景中采集低分辨率深度图片、高分辨率彩色图片和标准高分辨率深度图片；

（3-2）分别将上述采集到的低分辨率深度图片、高分辨率彩色图片和标准高分辨率深度图片分割成为像素块，将在低分辨率深度图片、高分辨率彩色图片和标准高分辨率深度图片中位置相对应的像素块定义为一个像素块组，得到多个像素块组，从多个像素块组中随机抽取多个像素块组，例如采集10⁵组像素块，使用上述步骤（2）的特征值提取方法，分别对像素块组中的低分辨率深度图片像素块、高分辨率深度图片像素块和采集的彩色图片像素块进行特征值提取；

（3-3）通过求解下式，得到三个相互关联的像素块库D_L、D_C和D_H，：

$\underset{D_l,D_c,D_h,{\mathrm{\α}}_i}{\min }\underset{i}{\mathrm{\Σ}}{\mathrm{\λ}}_l{\left|\right|D_l{\mathrm{\α}}_i-L_i\left|\right|}_2^2+{\mathrm{\λ}}_c{\left|\right|D_c{\mathrm{\α}}_i-C_i\left|\right|}_2^2+{\left|\right|D_h{\mathrm{\α}}_i-H_i\left|\right|}_2^2$

其中||α_i||₁≤ε，

其中，L_i为低分辨率深度图片像素块特征值，C_i为高分辨率彩色图片像素块特征值，H_i为高分辨率深度图片像素块特征值，λ_l、λ_c为对应项的权重，取值为大于零的实数，例如，可以选取λ_l=λ_c=1，α_i为系数变量，ε为一个大于零的实数；

例如，最终的训练结果为三个像素块库的大小均为1024个图片块，实验证明，1024个图片块已经具有很高的表达能力，能够达到很好的上采样效果。

上述公式的求解方法，是一个经典的最优化问题，有大量的方法可以对其进行求解，例如拉丝算法（Lars算法）。

（4）根据上述得到的相互关联的低分辨率深度图片像素块库D_L、采集的彩色图片像素块库D_C和高分辨率深度图片像素块库D_H，对输入的低分辨率深度图片进行上采样，上采样过程包括以下步骤：

（4-1）将输入的低分辨率深度图片采用双线性内插（Bicubic）方法进行上采样，使用联合彩色图片双边滤波方法对得到的上采样图片进行滤波，得到分辨率为目标分辨率的高分辨率深度图片H^b；

（4-2）使用上述步骤（2）的特征值提取方法，分别提取输入的低分辨率深度图片像素块的特征值L_i′、输入的彩色图片像素块的特征值C_i′，以及上述步骤（4-1）的高分辨率深度图片H^b像素块的特征值

（4-3）使用下列映射函数，得到与输入的低分辨率深度图片像素块L_i′相对应的高分辨率深度图片像素块H_i′，映射函数如下：

H_i′=D_hα^*

${\mathrm{\α}}^{*}=\underset{{\left|\right|\mathrm{\α}\left|\right|}_1\≤{\mathrm{\ϵ}}^{\′}}{\mathrm{agr}\min }\{{{\mathrm{\λ}}_l}^{\′}{\left|\right|D_l{\mathrm{\α}}^{\′}-L_i\left|\right|}_2^2+{{\mathrm{\λ}}_c}^{\′}{\left|\right|D_c{\mathrm{\α}}^{\′}-C_i\left|\right|}_2^2+{{\mathrm{\λ}}_r}^{\′}{\left|\right|D_h{\mathrm{\α}}^{\′}-H_i^b\left|\right|}_2^2\}$

其中，λ_l′、λ_c′和λ_r′为对应项的权重，取值为大于零的实数，例如选取λ_l′=λ_c′=λ_h′=1，α′为系数变量，ε′为一个大于零的实数。

Claims (1)

1.一种用于三维立体视频的深度图片的上采样方法，其特征在于该方法包括以下步骤：

（1）定义α为对三维立体视频深度图片的上采样率，S_L为将低分辨率三维立体视频的深度图片分成像素块的大小，S_H为将对低分辨率三维立体视频的深度图片进行上采样后得到的高分辨率深度图片分成像素块的大小以及将采集的彩色图片分成像素块的大小，S_H＝S_L×α；

（2）分别提取低分辨率深度图片像素块、高分辨率深度图片像素块和采集的彩色图片像素块的特征值，提取过程如下：

（2-1）对三维立体视频的低分辨率深度图片使用双线性内插方法，对低分辨率深度图片以上采样率α进行上采样，得到初始高分辨率深度图片H^int，然后将H^int分为大小为S_H×S_H的像素块，从大小为S_H×S_H的像素块中提取该像素块在横向、竖向两个方向上的一阶、二阶梯度共四个特征值；

（2-2）将对低分辨率三维立体视频的深度图片进行上采样后得到的高分辨率深度图片分成大小为S_H×S_H的像素块通过计算得到高分辨率深度图片像素块的特征值H_i： $H_i=H_i^{\mathrm{raw}}-\mathrm{mean}\left(H_i^{\mathrm{raw}}\right),$ 其中为与大小相等的像素块，且像素块中的每个像素点的深度值等于像素块中各像素点深度值的平均值；

（2-3）对采集的彩色图片用边缘检测算法进行边缘提取，得到初始边缘图像C^raw，去除边缘图像C^raw中因为物体纹理产生的伪物体边缘，得到边缘图像C＝▽C^raw×▽H^int，将边缘图像C分成大小为S_H×S_H的像素块，C中的每个像素块作为采集的彩色图片中对应位置的像素块的特征值C_i；

（3）建立三个相互关联的低分辨率深度图片像素块库D_L、采集的彩色图片像素块库D_C和高分辨率深度图片像素块库D_H，建立过程包括以下步骤：

（3-1）从同一场景中采集低分辨率深度图片、高分辨率彩色图片和标准高分辨率深度图片；

（3-2）分别将上述采集到的低分辨率深度图片、彩色图片和标准高分辨率深度图片分割成为像素块，将在低分辨率深度图片、彩色图片和标准高分辨率深度图片中位置相对应的三个像素块D_l、D_c、D_h组成一个像素块组，得到多个像素块组，从多个像素块组中随机抽取几个像素块组，使用上述步骤（2）的特征值提取方法，分别对几个像素块组中的低分辨率深度图片像素块、高分辨率深度图片像素块和采集的彩色图片像素块进行特征值提取；

（3-3）通过求解下式，得到三个相互关联的像素块库D_L、D_C和D_H，：

$\underset{D_l,D_c,D_h,{\mathrm{\α}}_i}{\min }\underset{i}{\mathrm{\Σ}}{\mathrm{\λ}}_l{\left|\right|D_l{\mathrm{\α}}_i-L_i\left|\right|}_2^2+{\mathrm{\λ}}_c{\left|\right|D_c{\mathrm{\α}}_i-C_i\left|\right|}_2^2+{\left|\right|D_h{\mathrm{\α}}_i-H_i\left|\right|}_2^2$

其中||α_i||₁≤ε，

其中，L_i为低分辨率深度图片像素块特征值，C_i为彩色图片像素块特征值，H_i为高分辨率深度图片像素块特征值，λ_l、λ_c为对应项的权重，取值为大于零的实数，α_i为系数变量，ε为一个大于零的实数；

（4）根据上述得到的相互关联的低分辨率深度图片像素块库D_L、采集的彩色图片像素块库D_C和高分辨率深度图片像素块库D_H，对输入的低分辨率深度图片和彩色图片进行上采样，上采样过程包括以下步骤：

（4-1）将输入的低分辨率深度图片采用双线性内插方法进行上采样，使用联合彩色图片双边滤波方法对得到的上采样图片进行滤波，得到分辨率为目标分辨率的高分辨率深度图片H^b；

（4-2）使用上述步骤（2）的特征值提取方法，分别提取输入的低分辨率深度图片像素块的特征值L_i′、输入的彩色图片像素块的特征值C_i′，以及上述步骤（4-1）的高分辨率深度图片H^b像素块的特征值

（4-3）使用下列映射函数，得到与输入的低分辨率深度图片像素块L_i′相对应的高分辨率深度图片像素块H_i′，映射函数如下：

H_i′＝D_hα^*

${\mathrm{\α}}^{*}=\underset{{\left|\right|\mathrm{\α}\left|\right|}_1\≤{\mathrm{\ϵ}}^{\′}}{\arg \min }\{{{\mathrm{\λ}}_l}^{\′}{\left|\right|D_l{\mathrm{\α}}^{\′}-L_i\left|\right|}_2^2+{{\mathrm{\λ}}_c}^{\′}{\left|\right|D_c{\mathrm{\α}}^{\′}-C_i\left|\right|}_2^2+{{\mathrm{\λ}}_r}^{\′}{\left|\right|D_h{\mathrm{\α}}^{\′}-H_i^b\left|\right|}_2^2\}$

其中，λ_l′、λ_c′和λ_r′为对应项的权重，取值为大于零的实数，α′为系数变量，ε′为一个大于零的实数，D_l、D_c、D_h分别是在低分辨率深度图片、彩色图片和标准高分辨率深度图片中位置相对应的三个像素块。