CN107105214A - 一种三维视频图像重定位方法 - Google Patents

Abstract

本发明公开了一种三维视频图像重定位方法，其通过提取左视点彩色图像的形状保护能量项、边界弯曲度能量项和舒适度保持能量项，并通过优化获取最佳相似变换矩阵，这样使得获得的重定位三维视频图像能够较好地保留重要的显著语义信息且保持视觉舒适性；其对三维视频图像在三维显示空间的水平坐标位置、垂直坐标位置和深度坐标位置同时进行调整，这样能保证重定位后的深度图像的深度值与重定位后的像素点的坐标位置是匹配的，从而能够保证重定位后的三维视频图像的舒适性。

Description

一种三维视频图像重定位方法

技术领域

本发明涉及一种图像信号的处理方法，尤其是涉及一种三维视频图像重定位方法。

背景技术

随着立体显示技术的快速发展，各种具有不同立体显示功能的立体显示终端也广泛出现，但是，由于立体显示终端的种类繁多，宽/高比规格不一，因此若将宽/高比一定的图像放在不同的立体显示终端上显示，则必须先对图像的尺寸进行调整，以达到立体显示的效果。传统的图像缩放方法是通过裁剪或者是按固定比例进行缩放，然而这样做可能会出现图像中的内容减少或者导致显著物体形变。

对于三维视频图像而言，如果将彩色图像的缩放关系直接应用到深度图像，则由于重定位后相机场景几何已发生严重变化，而若还保持深度值不变则会严重影响虚拟视点绘制效果，从而引起立体深度感发生变化，严重时会导致视觉不舒适，因此，如何对三维视频图像的彩色图像和深度图像同时进行缩放以减少图像形变、突出显著内容，同时如何保证缩放后的彩色图像和深度图像的视差/深度分布的一致性，从而降低视觉不舒适、增强深度感，都是在对三维视频图像进行重定位过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种符合显著语义特征，且能够有效地调整三维视频图像尺寸大小的三维视频图像重定位方法。

本发明解决上述技术问题所采用的技术方案为：一种三维视频图像重定位方法，其特征在于包括以下步骤：

①将待处理的三维视频图像的左视点彩色图像、右视点彩色图像、左视点深度图像及右视点深度图像对应记为{I_L(x,y)}、{I_R(x,y)}、{D_L(x,y)}及{D_R(x,y)}，其中，(x,y)表示待处理的三维视频图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示待处理的三维视频图像的宽度，H表示待处理的三维视频图像的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，D_L(x,y)表示{D_L(x,y)}中坐标位置为(x,y)的像素点的像素值，D_R(x,y)表示{D_R(x,y)}中坐标位置为(x,y)的像素点的像素值；

②将{I_L(x,y)}和{D_L(x,y)}分割成个互不重叠的尺寸大小为40×40的四边形网格；然后以{I_L(x,y)}中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述{I_L(x,y)}中的每个四边形网格，将{I_L(x,y)}中的第k个四边形网格记为U_L,k，其中，1≤k≤M， 对应表示U_L,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，

③计算{D_L(x,y)}中的每个像素点的场景深度值，将{D_L(x,y)}中坐标位置为(x,y)的像素点的场景深度值记为z_L(x,y)，然后计算{I_L(x,y)}中的每个像素点在{I_R(x,y)}中的对应坐标位置，将{I_L(x,y)}中坐标位置为(x,y)的像素点在{I_R(x,y)}中的对应坐标位置记为(x_R,y_R)，x_R＝x'/w'，y_R＝y'/w'，接着计算{I_L(x,y)}中的每个像素点的水平视差值，将{I_L(x,y)}中坐标位置为(x,y)的像素点的水平视差值记为d_L(x,y)，d_L(x,y)＝x_R-x；其中，z_near表示最小的场景深度值，z_far表示最大的场景深度值，R₁为左视点相机的旋转矩阵，A₁为左视点相机的内参矩阵，T₁为左视点相机的平移矩阵，R₂为右视点相机的旋转矩阵，A₂为右视点相机的内参矩阵，T₂为右视点相机的平移矩阵，A₁ ^-1为A₁的逆矩阵，R₂ ^-1为R₂的逆矩阵；

④根据{I_L(x,y)}中的每个四边形网格，获取对应的三维曲面网格，以{I_L(x,y)}中的每个三维曲面网格的左上、左下、右上和右下4个网格顶点的集合来描述{I_L(x,y)}中的每个三维曲面网格，将根据U_L,k获取的对应的三维曲面网格记为V_L,k，其中，对应表示V_L,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述， 以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述， 以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述， 以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述， d_e表示待处理的三维视频图像的左视点与右视点之间的水平基线距离，L_D表示待处理的三维视频图像的左视点和右视点与显示器之间的观看距离，W_d表示显示器的水平宽度，R表示显示器的水平分辨率，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值；

⑤根据{I_L(x,y)}中的所有三维曲面网格对应的P个候选目标三维曲面网格，对{I_L(x,y)}中的每个三维曲面网格的各个网格顶点分别进行相似变换，使得原三维曲面网格与原三维曲面网格经过相似变换后得到的候选目标三维曲面网格的变换误差最小，得到{I_L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，将V_L,k对应的第p个候选目标三维曲面网格的相似变换矩阵记为 其中，1≤p≤P，表示V_L,k对应的第p个候选目标三维曲面网格， 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，表示的第i个网格顶点，i＝1,2,3,4， 和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，(A_L,k)^T为A_L,k的转置，((A_L,k)^TA_L,k)^-1为(A_L,k)^TA_L,k的逆；

⑥获取{D_L(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值；然后根据{D_L(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值，提取出{D_L(x,y)}的最大可容忍失真分布图像，记为{S_L(x,y)}；其中，S_L(x,y)表示{S_L(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{D_L(x,y)}中坐标位置为(x,y)的像素点的最大可容忍失真值；

⑦采用基于图论的视觉显著模型提取出{I_L(x,y)}的显著图，记为{M_L(x,y)}；然后根据{M_L(x,y)}和{S_L(x,y)}，获取{I_L(x,y)}的视觉显著图，记为将中坐标位置为(x,y)的像素点的像素值记为 其中，M_L(x,y)表示{M_L(x,y)}中坐标位置为(x,y)的像素点的像素值，λ₁表示M_L(x,y)的权重，λ₂表示S_L(x,y)的权重，λ₁+λ₂＝1；

⑧根据{I_L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，并结合计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的形状保护能量项，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的形状保护能量项记为 其中，表示V_L,k中的所有像素点的视觉显著值的均值，也即表示中与V_L,k对应的区域中的所有像素点的像素值的均值，符号“|| ||”为求欧氏距离符号；

⑨根据{I_L(x,y)}中的每个三维曲面网格的各个网格顶点的边缘和{I_L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的边缘，计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的边界弯曲度能量项，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的边界弯曲度能量项记为 其中，符号“|| ||”为求欧氏距离符号，e_L,k表示V_L,k的所有网格顶点的边缘组成的矩阵，(e_L,k)^T为e_L,k的转置，((e_L,k)^Te_L,k)^-1为(e_L,k)^Te_L,k的逆，表示的所有网格顶点的边缘组成的矩阵，

⑩根据{I_L(x,y)}中的每个三维曲面网格的各个网格顶点的深度值和{I_L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的深度值，计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的舒适度保持能量项，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的舒适度保持能量项记为 其中，表示V_L,k的第i个网格顶点的深度坐标位置，exp()表示以自然基数e为底的指数函数，符号“| |”为取绝对值符号，Z_max表示{I_L(x,y)}在显示空间的最大深度值，Z_min表示{I_L(x,y)}在显示空间的最小深度值， CVZ_min表示最小舒适观看区域范围，η1表示最小舒适观看视角，CVZ_max表示最大舒适观看区域范围，η2表示最大舒适观看视角，表示的第i个网格顶点的深度坐标位置；

计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的总能量，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的总能量记为 然后令表示在{I_L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的最佳相似变换矩阵下{I_L(x,y)}的总能量，根据{I_L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的相似变换矩阵，通过最小二乘法求解得到并将相应的V_L,k对应的最佳相似变换矩阵记为

根据{I_L(x,y)}中的每个三维曲面网格对应的最佳相似变换矩阵，计算{I_L(x,y)}中的每个三维曲面网格的各个网格顶点经最佳相似变换后的三维坐标值，将V_L,k中三维坐标值为(X'_L,k,Y'_L,k,Z'_L,k)的网格顶点经最佳相似变换后的三维坐标值记为 和通过求解得到，其中，X'_L,k,Y'_L,k,Z'_L,k对应表示V_L,k中的一个网格顶点的水平坐标位置、垂直坐标位置和深度坐标位置，对应表示V_L,k中三维坐标值为(X'_L,k,Y'_L,k,Z'_L,k)的网格顶点经最佳相似变换后得到的水平坐标位置、垂直坐标位置和深度坐标位置，(A'_L,k)^T为A'_L,k的转置，((A'_L,k)^TA'_L,k)^-1为(A'_L,k)^TA'_L,k的逆，

根据{I_L(x,y)}中的所有三维曲面网格的网格顶点经最佳相似变换后的三维坐标值，获取{D_L(x,y)}中的每个四边形网格的各个网格顶点到重定位后的左视点深度图像中的映射函数值，假设(x₂,y₂)为{D_L(x,y)}中的一个四边形网格的其中一个网格顶点的坐标位置，则将{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点到重定位后的左视点深度图像中的映射函数值记为f(D_L(x₂,y₂))，β₁、β₂、β₃、β₄和β₅是通过求解得到的，其中，(x₂,y₂)∈Ω，Ω表示{I_L(x,y)}中的所有三维曲面网格中的网格顶点的坐标位置构成的集合，β₁、β₂、β₃、β₄和β₅均为系数，D_L(x₂,y₂)表示{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点的像素值，表示{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点经重定位后的深度值， 表示{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点经重定位后的场景深度值，f表示水平相机阵列中各相机的水平焦距，表示{I_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点经最佳相似变换后的三维坐标值的深度坐标位置；

采用相同的最佳相似变换矩阵对{I_L(x,y)}中的每个三维曲面网格中的所有像素点进行相似变换，得到{I_L(x,y)}中的每个三维曲面网格中的每个像素点经最佳相似变换后的三维坐标值，并进而获得重定位后的左视点彩色图像及左视点深度图像，对应记为和将中坐标位置为(x',y')的像素点的像素值记为将中坐标位置为(x',y')的像素点的像素值记为 其中，1≤x'≤W'，1≤y'≤H，W'表示重定位后的三维视频图像的宽度，H亦表示重定位后的三维视频图像的高度，f(D_L(x,y))表示{D_L(x,y)}中坐标位置为(x,y)的像素点到重定位后的左视点深度图像中的映射函数值，表示{D_L(x,y)}中坐标位置为(x,y)的像素点经重定位后的像素值， 表示{I_L(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的水平坐标位置，表示{I_L(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的垂直坐标位置，表示{I_L(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的深度坐标位置；

根据和获取重定位后的右视点彩色图像及右视点深度图像，对应记为和将中坐标位置为(x”,y”)的像素点的像素值记为将中坐标位置为(x”,y”)的像素点的像素值记为其中，1≤x”≤W'，1≤y”≤H，表示中坐标位置为(x',y')的像素点的像素值，

所述的步骤⑥的具体过程为：

⑥_1、将{D_L(x,y)}中当前待处理的像素点定义为当前像素点；

⑥_2、将当前像素点的坐标位置记为(x₁,y₁)，如果1≤x₁≤W且y₁＝1，则直接将当前像素点的横坐标作为当前像素点的左方向最大可容忍失真值，记为δ_l(x₁,y₁)；如果1≤x₁≤W且1<y₁≤H，则在{I_L(x,y)}中位于坐标位置为(x₁,y₁)的像素点的水平左侧的所有像素点中，找出亮度分量的值与坐标位置为(x₁,y₁)的像素点的亮度分量的值相等的所有像素点，再计算找出的每个像素点的横坐标与坐标位置为(x₁,y₁)的像素点的横坐标x₁的横坐标差值，最后将所有横坐标差值中值最小的横坐标差值作为当前像素点的左方向最大可容忍失真值，记为δ_l(x₁,y₁)；同样，如果1≤x₁≤W且y₁＝H，则直接将当前像素点的横坐标作为当前像素点的右方向最大可容忍失真值，记为δ_r(x₁,y₁)；如果1≤x₁≤W且1≤y₁<H，则在{I_L(x,y)}中位于坐标位置为(x₁,y₁)的像素点的水平右侧的所有像素点中，找出亮度分量的值与坐标位置为(x₁,y₁)的像素点的亮度分量的值相等的所有像素点，再计算找出的每个像素点的横坐标与坐标位置为(x₁,y₁)的像素点的横坐标x₁的横坐标差值，最后将所有横坐标差值中值最大的横坐标差值作为当前像素点的右方向最大可容忍失真值，记为δ_r(x₁,y₁)；其中，1≤x₁≤W，1≤y₁≤H；

⑥_3、根据δ_l(x₁,y₁)和δ_r(x₁,y₁)，确定当前像素点的最大可容忍失真值，记为S_L(x₁,y₁)，S_L(x₁,y₁)＝min(|δ_l(x₁,y₁)|,|δ_r(x₁,y₁)|)，其中，min()为取最小值函数，符号“||”为取绝对值符号；

⑥_4、将{D_L(x,y)}中下一个待处理的像素点作为当前像素点，然后返回步骤⑥_2继续执行，直至{D_L(x,y)}中的所有像素点处理完毕，得到{D_L(x,y)}中的每个像素点的最大可容忍失真值，再由{D_L(x,y)}中的所有像素点的最大可容忍失真值得到{D_L(x,y)}的最大可容忍失真分布图像{S_L(x,y)}。

与现有技术相比，本发明的优点在于：

1)本发明方法通过提取左视点彩色图像的形状保护能量项、边界弯曲度能量项和舒适度保持能量项，并通过优化获取最佳相似变换矩阵，这样使得获得的重定位三维视频图像能够较好地保留重要的显著语义信息且保持视觉舒适性。

2)本发明方法对三维视频图像在三维显示空间的水平坐标位置、垂直坐标位置和深度坐标位置同时进行调整，这样能保证重定位后的深度图像的深度值与重定位后的像素点的坐标位置是匹配的，从而能够保证重定位后的三维视频图像的舒适性。

附图说明

图1为本发明方法的总体实现框图；

图2a为“Poznan Street”的原始左视点彩色图像；

图2b为“Poznan Street”的重定位到原始左视点彩色图像的宽度80％后的左视点彩色图像；

图2c为“Poznan Street”的重定位到原始左视点彩色图像的宽度70％后的左视点彩色图像；

图2d为“Poznan Street”的重定位到原始左视点彩色图像的宽度50％后的左视点彩色图像；

图3a为“Poznan Street”的原始左视点深度图像；

图3b为“Poznan Street”的重定位到原始左视点深度图像的宽度80％后的左视点深度图像；

图3c为“Poznan Street”的重定位到原始左视点深度图像的宽度70％后的左视点深度图像；

图3d为“Poznan Street”的重定位到原始左视点深度图像的宽度50％后的左视点深度图像；

图4a为“Undo Dance”的原始左视点彩色图像；

图4b为“Undo Dance”的重定位到原始左视点彩色图像的宽度80％后的左视点彩色图像；

图4c为“Undo Dance”的重定位到原始左视点彩色图像的宽度70％后的左视点彩色图像；

图4d为“Undo Dance”的重定位到原始左视点彩色图像的宽度50％后的左视点彩色图像；

图5a为“Undo Dance”的原始左视点深度图像；

图5b为“Undo Dance”的重定位到原始左视点深度图像的宽度80％后的左视点深度图像；

图5c为“Undo Dance”的重定位到原始左视点深度图像的宽度70％后的左视点深度图像；

图5d为“Undo Dance”的重定位到原始左视点深度图像的宽度50％后的左视点深度图像；

图6a为“Newspaper”的原始左视点彩色图像；

图6b为“Newspaper”的重定位到原始左视点彩色图像的宽度80％后的左视点彩色图像；

图6c为“Newspaper”的重定位到原始左视点彩色图像的宽度70％后的左视点彩色图像；

图6d为“Newspaper”的重定位到原始左视点彩色图像的宽度50％后的左视点彩色图像；

图7a为“Newspaper”的原始左视点深度图像；

图7b为“Newspaper”的重定位到原始左视点深度图像的宽度80％后的左视点深度图像；

图7c为“Newspaper”的重定位到原始左视点深度图像的宽度70％后的左视点深度图像；

图7d为“Newspaper”的重定位到原始左视点深度图像的宽度50％后的左视点深度图像。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种三维视频图像重定位方法，其总体实现框图如图1所示，其包括以下步骤：

①将待处理的三维视频图像的左视点彩色图像、右视点彩色图像、左视点深度图像及右视点深度图像对应记为{I_L(x,y)}、{I_R(x,y)}、{D_L(x,y)}及{D_R(x,y)}，其中，(x,y)表示待处理的三维视频图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示待处理的三维视频图像的宽度，H表示待处理的三维视频图像的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，D_L(x,y)表示{D_L(x,y)}中坐标位置为(x,y)的像素点的像素值，D_R(x,y)表示{D_R(x,y)}中坐标位置为(x,y)的像素点的像素值。

②将{I_L(x,y)}和{D_L(x,y)}分割成个互不重叠的尺寸大小为40×40的四边形网格；然后以{I_L(x,y)}中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述{I_L(x,y)}中的每个四边形网格，将{I_L(x,y)}中的第k个四边形网格记为U_L,k，其中，1≤k≤M， 对应表示U_L,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，

③计算{D_L(x,y)}中的每个像素点的场景深度值，将{D_L(x,y)}中坐标位置为(x,y)的像素点的场景深度值记为z_L(x,y)，然后计算{I_L(x,y)}中的每个像素点在{I_R(x,y)}中的对应坐标位置，将{I_L(x,y)}中坐标位置为(x,y)的像素点在{I_R(x,y)}中的对应坐标位置记为(x_R,y_R)，x_R＝x'/w'，y_R＝y'/w'，接着计算{I_L(x,y)}中的每个像素点的水平视差值，将{I_L(x,y)}中坐标位置为(x,y)的像素点的水平视差值记为d_L(x,y)，d_L(x,y)＝x_R-x；其中，z_near表示最小的场景深度值，z_far表示最大的场景深度值，在本实施例中z_near和z_far的值根据具体的测试序列确定，R₁为左视点相机的旋转矩阵，A₁为左视点相机的内参矩阵，T₁为左视点相机的平移矩阵，R₂为右视点相机的旋转矩阵，A₂为右视点相机的内参矩阵，T₂为右视点相机的平移矩阵，A₁ ^-1为A₁的逆矩阵，R₂ ^-1为R₂的逆矩阵。

④根据{I_L(x,y)}中的每个四边形网格，获取对应的三维曲面网格，以{I_L(x,y)}中的每个三维曲面网格的左上、左下、右上和右下4个网格顶点的集合来描述{I_L(x,y)}中的每个三维曲面网格，将根据U_L,k获取的对应的三维曲面网格记为V_L,k，其中，对应表示V_L,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述， 以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述， 以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述， 以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述， d_e表示待处理的三维视频图像的左视点与右视点之间的水平基线距离，L_D表示待处理的三维视频图像的左视点和右视点与显示器之间的观看距离，W_d表示显示器的水平宽度，R表示显示器的水平分辨率，在本实施例中取d_e＝65、L_D＝800、W_d＝750、R＝1920，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值。

⑤根据{I_L(x,y)}中的所有三维曲面网格对应的P个候选目标三维曲面网格，对{I_L(x,y)}中的每个三维曲面网格的各个网格顶点分别进行相似变换，使得原三维曲面网格与原三维曲面网格经过相似变换后得到的候选目标三维曲面网格的变换误差最小，得到{I_L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，将V_L,k对应的第p个候选目标三维曲面网格的相似变换矩阵记为 其中，1≤p≤P，表示V_L,k对应的第p个候选目标三维曲面网格， 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，表示的第i个网格顶点，i＝1,2,3,4， 和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，(A_L,k)^T为A_L,k的转置，((A_L,k)^TA_L,k)^-1为(A_L,k)^TA_L,k的逆。

⑥获取{D_L(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值；然后根据{D_L(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值，提取出{D_L(x,y)}的最大可容忍失真分布图像，记为{S_L(x,y)}；其中，S_L(x,y)表示{S_L(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{D_L(x,y)}中坐标位置为(x,y)的像素点的最大可容忍失真值。

在此具体实施例中，步骤⑥的具体过程为：

⑥_1、将{D_L(x,y)}中当前待处理的像素点定义为当前像素点。

⑥_2、将当前像素点的坐标位置记为(x₁,y₁)，如果1≤x₁≤W且y₁＝1，则直接将当前像素点的横坐标作为当前像素点的左方向最大可容忍失真值，记为δ_l(x₁,y₁)；如果1≤x₁≤W且1<y₁≤H，则在{I_L(x,y)}中位于坐标位置为(x₁,y₁)的像素点的水平左侧的所有像素点中，找出亮度分量的值与坐标位置为(x₁,y₁)的像素点的亮度分量的值相等的所有像素点，再计算找出的每个像素点的横坐标与坐标位置为(x₁,y₁)的像素点的横坐标x₁的横坐标差值，最后将所有横坐标差值中值最小的横坐标差值作为当前像素点的左方向最大可容忍失真值，记为δ_l(x₁,y₁)；同样，如果1≤x₁≤W且y₁＝H，则直接将当前像素点的横坐标作为当前像素点的右方向最大可容忍失真值，记为δ_r(x₁,y₁)；如果1≤x₁≤W且1≤y₁<H，则在{I_L(x,y)}中位于坐标位置为(x₁,y₁)的像素点的水平右侧的所有像素点中，找出亮度分量的值与坐标位置为(x₁,y₁)的像素点的亮度分量的值相等的所有像素点，再计算找出的每个像素点的横坐标与坐标位置为(x₁,y₁)的像素点的横坐标x₁的横坐标差值，最后将所有横坐标差值中值最大的横坐标差值作为当前像素点的右方向最大可容忍失真值，记为δ_r(x₁,y₁)；其中，1≤x₁≤W，1≤y₁≤H。

⑥_3、根据δ_l(x₁,y₁)和δ_r(x₁,y₁)，确定当前像素点的最大可容忍失真值，记为S_L(x₁,y₁)，S_L(x₁,y₁)＝min(|δ_l(x₁,y₁)|,|δ_r(x₁,y₁)|)，其中，min()为取最小值函数，符号“||”为取绝对值符号。

⑥_4、将{D_L(x,y)}中下一个待处理的像素点作为当前像素点，然后返回步骤⑥_2继续执行，直至{D_L(x,y)}中的所有像素点处理完毕，得到{D_L(x,y)}中的每个像素点的最大可容忍失真值，再由{D_L(x,y)}中的所有像素点的最大可容忍失真值得到{D_L(x,y)}的最大可容忍失真分布图像{S_L(x,y)}。

⑦采用现有的基于图论的视觉显著(Graph-Based Visual Saliency，GBVS)模型提取出{I_L(x,y)}的显著图，记为{M_L(x,y)}；然后根据{M_L(x,y)}和{S_L(x,y)}，获取{I_L(x,y)}的视觉显著图，记为将中坐标位置为(x,y)的像素点的像素值记为 其中，M_L(x,y)表示{M_L(x,y)}中坐标位置为(x,y)的像素点的像素值，λ₁表示M_L(x,y)的权重，λ₂表示S_L(x,y)的权重，λ₁+λ₂＝1，在本实施例中取λ₁＝λ₂＝0.5。

⑧根据{I_L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，并结合计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的形状保护能量项，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的形状保护能量项记为 其中，表示V_L,k中的所有像素点的视觉显著值的均值，也即表示中与V_L,k对应的区域中的所有像素点的像素值的均值，符号“|| ||”为求欧氏距离符号。

⑨根据{I_L(x,y)}中的每个三维曲面网格的各个网格顶点的边缘和{I_L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的边缘，计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的边界弯曲度能量项，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的边界弯曲度能量项记为 其中，符号“|| ||”为求欧氏距离符号，e_L,k表示V_L,k的所有网格顶点的边缘组成的矩阵，(e_L,k)^T为e_L,k的转置，((e_L,k)^Te_L,k)^-1为(e_L,k)^Te_L,k的逆，表示的所有网格顶点的边缘组成的矩阵，

⑩根据{I_L(x,y)}中的每个三维曲面网格的各个网格顶点的深度值和{I_L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的深度值，计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的舒适度保持能量项，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的舒适度保持能量项记为 其中，表示V_L,k的第i个网格顶点的深度坐标位置，exp()表示以自然基数e为底的指数函数，符号“| |”为取绝对值符号，Z_max表示{I_L(x,y)}在显示空间的最大深度值，Z_min表示{I_L(x,y)}在显示空间的最小深度值， CVZ_min表示最小舒适观看区域范围，η₁表示最小舒适观看视角，在本实施例中取η₁＝-1°，CVZ_max表示最大舒适观看区域范围，η₂表示最大舒适观看视角，在本实施例中取η₂＝1°，表示的第i个网格顶点的深度坐标位置。

计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的总能量，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的总能量记为 然后令表示在{I_L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的最佳相似变换矩阵下{I_L(x,y)}的总能量，根据{I_L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的相似变换矩阵，通过最小二乘法求解得到并将相应的V_L,k对应的最佳相似变换矩阵记为

根据{I_L(x,y)}中的每个三维曲面网格对应的最佳相似变换矩阵，计算{I_L(x,y)}中的每个三维曲面网格的各个网格顶点经最佳相似变换后的三维坐标值，将V_L,k中三维坐标值为(X'_L,k,Y'_L,k,Z'_L,k)的网格顶点经最佳相似变换后的三维坐标值记为 和通过求解得到，其中，X'_L,k,Y'_L,k,Z'_L,k对应表示V_L,k中的一个网格顶点的水平坐标位置、垂直坐标位置和深度坐标位置，对应表示V_L,k中三维坐标值为(X'_L,k,Y'_L,k,Z'_L,k)的网格顶点经最佳相似变换后得到的水平坐标位置、垂直坐标位置和深度坐标位置，(A'_L,k)^T为A'_L,k的转置，((A'_L,k)^TA'_L,k)^-1为(A'_L,k)^TA'_L,k的逆，

根据{I_L(x,y)}中的所有三维曲面网格的网格顶点经最佳相似变换后的三维坐标值，获取{D_L(x,y)}中的每个四边形网格的各个网格顶点到重定位后的左视点深度图像中的映射函数值，假设(x₂,y₂)为{D_L(x,y)}中的一个四边形网格的其中一个网格顶点的坐标位置，则将{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点到重定位后的左视点深度图像中的映射函数值记为f(D_L(x₂,y₂))，β₁、β₂、β₃、β₄和β₅是通过求解得到的，其中，(x₂,y₂)∈Ω，Ω表示{I_L(x,y)}中的所有三维曲面网格中的网格顶点的坐标位置构成的集合，β₁、β₂、β₃、β₄和β₅均为系数，D_L(x₂,y₂)表示{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点的像素值，表示{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点经重定位后的深度值， 表示{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点经重定位后的场景深度值，f表示水平相机阵列中各相机的水平焦距，在本实施例中，f的值根据具体的测试序列确定，表示{I_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点经最佳相似变换后的三维坐标值的深度坐标位置。

采用相同的最佳相似变换矩阵对{I_L(x,y)}中的每个三维曲面网格中的所有像素点进行相似变换，得到{I_L(x,y)}中的每个三维曲面网格中的每个像素点经最佳相似变换后的三维坐标值，并进而获得重定位后的左视点彩色图像及左视点深度图像，对应记为和将中坐标位置为(x',y')的像素点的像素值记为将中坐标位置为(x',y')的像素点的像素值记为 其中，1≤x'≤W'，1≤y'≤H，W'表示重定位后的三维视频图像的宽度，H亦表示重定位后的三维视频图像的高度，f(D_L(x,y))表示{D_L(x,y)}中坐标位置为(x,y)的像素点到重定位后的左视点深度图像中的映射函数值，在此将步骤中的{D_L(x,y)}中的网格顶点到重定位后的左视点深度图像中的映射关系应用于{D_L(x,y)}中的每个像素点上，表示{D_L(x,y)}中坐标位置为(x,y)的像素点经重定位后的像素值， 表示{I_L(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的水平坐标位置，表示{I_L(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的垂直坐标位置，表示{I_L(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的深度坐标位置。

根据和获取重定位后的右视点彩色图像及右视点深度图像，对应记为和将中坐标位置为(x”,y”)的像素点的像素值记为将中坐标位置为(x”,y”)的像素点的像素值记为其中，1≤x”≤W'，1≤y”≤H， 中坐标位置为(x',y')的像素点的像素值，

以下就利用本发明方法分别对“Poznan Street”、“Undo Dance”和“Newspaper”三维立体视频测试序列中的两个视点进行处理。在本实施例中，取“Poznan Street”三维立体视频测试序列的第5个和第3个视点分别作为三维视频图像的左视点和右视点，取“UndoDance”的三维立体视频测试序列的第1个和第9个视点分别作为三维视频图像的左视点和右视点，取“Newspaper”的三维立体视频测试序列的第2个和第6个视点分别作为三维视频图像的左视点和右视点。在本实施例中，“Poznan Street”三维立体视频测试序列的f、z_near和z_far分别为1732.875727、-34.506386和-2760.510889；“Undo Dance”三维立体视频测试序列的f、z_near和z_far分别为2302.852541609168、2289和213500；“Newspaper”三维立体视频测试序列的f、z_near和z_far分别为2929.4940521927465、-2715.181648和-9050.605493。

图2a给出了“Poznan Street”的原始左视点彩色图像、图2b给出了“PoznanStreet”的重定位到原始左视点彩色图像的宽度80％后的左视点彩色图像、图2c给出了“Poznan Street”的重定位到原始左视点彩色图像的宽度70％后的左视点彩色图像、图2d给出了“Poznan Street”的重定位到原始左视点彩色图像的宽度50％后的左视点彩色图像；图3a给出了“Poznan Street”的原始左视点深度图像、图3b给出了“Poznan Street”的重定位到原始左视点深度图像的宽度80％后的左视点深度图像、图3c给出了“PoznanStreet”的重定位到原始左视点深度图像的宽度70％后的左视点深度图像、图3d给出了“Poznan Street”的重定位到原始左视点深度图像的宽度50％后的左视点深度图像；图4a给出了“Undo Dance”的原始左视点彩色图像、图4b给出了“Undo Dance”的重定位到原始左视点彩色图像的宽度80％后的左视点彩色图像、图4c给出了“Undo Dance”的重定位到原始左视点彩色图像的宽度70％后的左视点彩色图像、图4d给出了“Undo Dance”的重定位到原始左视点彩色图像的宽度50％后的左视点彩色图像；图5a给出了“Undo Dance”的原始左视点深度图像、图5b给出了“Undo Dance”的重定位到原始左视点深度图像的宽度80％后的左视点深度图像、图5c给出了“Undo Dance”的重定位到原始左视点深度图像的宽度70％后的左视点深度图像、图5d给出了“Undo Dance”的重定位到原始左视点深度图像的宽度50％后的左视点深度图像；图6a给出了“Newspaper”的原始左视点彩色图像、图6b给出了“Newspaper”的重定位到原始左视点彩色图像的宽度80％后的左视点彩色图像、图6c给出了“Newspaper”的重定位到原始左视点彩色图像的宽度70％后的左视点彩色图像、图6d给出了“Newspaper”的重定位到原始左视点彩色图像的宽度50％后的左视点彩色图像；图7a给出了“Newspaper”的原始左视点深度图像、图7b给出了“Newspaper”的重定位到原始左视点深度图像的宽度80％后的左视点深度图像、图7c给出了“Newspaper”的重定位到原始左视点深度图像的宽度70％后的左视点深度图像、图7d给出了“Newspaper”的重定位到原始左视点深度图像的宽度50％后的左视点深度图像。从图2a至图7d中可以看出，采用本发明方法得到的彩色图像能够较好地保留重要的显著语义信息，同时深度图像又能根据重定位后的视点位置进行自适应调整。

Claims (2)

1.一种三维视频图像重定位方法，其特征在于包括以下步骤：

①将待处理的三维视频图像的左视点彩色图像、右视点彩色图像、左视点深度图像及右视点深度图像对应记为{I_L(x,y)}、{I_R(x,y)}、{D_L(x,y)}及{D_R(x,y)}，其中，(x,y)表示待处理的三维视频图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示待处理的三维视频图像的宽度，H表示待处理的三维视频图像的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，D_L(x,y)表示{D_L(x,y)}中坐标位置为(x,y)的像素点的像素值，D_R(x,y)表示{D_R(x,y)}中坐标位置为(x,y)的像素点的像素值；

②将{I_L(x,y)}和{D_L(x,y)}分割成个互不重叠的尺寸大小为40×40的四边形网格；然后以{I_L(x,y)}中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述{I_L(x,y)}中的每个四边形网格，将{I_L(x,y)}中的第k个四边形网格记为U_L,k，其中，1≤k≤M， 对应表示U_L,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，

③计算{D_L(x,y)}中的每个像素点的场景深度值，将{D_L(x,y)}中坐标位置为(x,y)的像素点的场景深度值记为z_L(x,y)，然后计算{I_L(x,y)}中的每个像素点在{I_R(x,y)}中的对应坐标位置，将{I_L(x,y)}中坐标位置为(x,y)的像素点在{I_R(x,y)}中的对应坐标位置记为(x_R,y_R)，x_R＝x'/w'，y_R＝y'/w'，接着计算{I_L(x,y)}中的每个像素点的水平视差值，将{I_L(x,y)}中坐标位置为(x,y)的像素点的水平视差值记为d_L(x,y)，d_L(x,y)＝x_R-x；其中，z_near表示最小的场景深度值，z_far表示最大的场景深度值，R₁为左视点相机的旋转矩阵，A₁为左视点相机的内参矩阵，T₁为左视点相机的平移矩阵，R₂为右视点相机的旋转矩阵，A₂为右视点相机的内参矩阵，T₂为右视点相机的平移矩阵，A₁ ^-1为A₁的逆矩阵，R₂ ^-1为R₂的逆矩阵；

④根据{I_L(x,y)}中的每个四边形网格，获取对应的三维曲面网格，以{I_L(x,y)}中的每个三维曲面网格的左上、左下、右上和右下4个网格顶点的集合来描述{I_L(x,y)}中的每个三维曲面网格，将根据U_L,k获取的对应的三维曲面网格记为V_L,k，其中，对应表示V_L,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述， 以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述， 以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述， 以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述， d_e表示待处理的三维视频图像的左视点与右视点之间的水平基线距离，L_D表示待处理的三维视频图像的左视点和右视点与显示器之间的观看距离，W_d表示显示器的水平宽度，R表示显示器的水平分辨率，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值；

⑤根据{I_L(x,y)}中的所有三维曲面网格对应的P个候选目标三维曲面网格，对{I_L(x,y)}中的每个三维曲面网格的各个网格顶点分别进行相似变换，使得原三维曲面网格与原三维曲面网格经过相似变换后得到的候选目标三维曲面网格的变换误差最小，得到{I_L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，将V_L,k对应的第p个候选目标三维曲面网格的相似变换矩阵记为 其中， 表示V_L,k对应的第p个候选目标三维曲面网格， 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，表示的第i个网格顶点，i＝1,2,3,4， 和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，(A_L,k)^T为A_L,k的转置，((A_L,k)^TA_L,k)^-1为(A_L,k)^TA_L,k的逆；

⑥获取{D_L(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值；然后根据{D_L(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值，提取出{D_L(x,y)}的最大可容忍失真分布图像，记为{S_L(x,y)}；其中，S_L(x,y)表示{S_L(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{D_L(x,y)}中坐标位置为(x,y)的像素点的最大可容忍失真值；

⑦采用基于图论的视觉显著模型提取出{I_L(x,y)}的显著图，记为{M_L(x,y)}；然后根据{M_L(x,y)}和{S_L(x,y)}，获取{I_L(x,y)}的视觉显著图，记为将中坐标位置为(x,y)的像素点的像素值记为 其中，M_L(x,y)表示{M_L(x,y)}中坐标位置为(x,y)的像素点的像素值，λ₁表示M_L(x,y)的权重，λ₂表示S_L(x,y)的权重，λ₁+λ₂＝1；

⑧根据{I_L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，并结合计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的形状保护能量项，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的形状保护能量项记为 其中，表示V_L,k中的所有像素点的视觉显著值的均值，也即表示中与V_L,k对应的区域中的所有像素点的像素值的均值，符号“|| ||”为求欧氏距离符号；

⑨根据{I_L(x,y)}中的每个三维曲面网格的各个网格顶点的边缘和{I_L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的边缘，计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的边界弯曲度能量项，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的边界弯曲度能量项记为 其中，符号“|| ||”为求欧氏距离符号，e_L,k表示V_L,k的所有网格顶点的边缘组成的矩阵，

(e_L,k)^T为e_L,k的转置，((e_L,k)^Te_L,k)^-1为(e_L,k)^Te_L,k的逆，表示的所有网格顶点的边缘组成的矩阵，

<mrow> <msubsup> <mover> <mi>e</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mi>p</mi> </msubsup> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <msubsup> <mover> <mi>X</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>1</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>X</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>2</mn> </mrow> </msubsup> </mrow> </mtd> <mtd> <mrow> <msubsup> <mover> <mi>Y</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>1</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>Y</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>2</mn> </mrow> </msubsup> </mrow> </mtd> <mtd> <mrow> <msubsup> <mover> <mi>Z</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>1</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>Z</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>2</mn> </mrow> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mover> <mi>X</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>2</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>X</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>3</mn> </mrow> </msubsup> </mrow> </mtd> <mtd> <mrow> <msubsup> <mover> <mi>Y</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>2</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>Y</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>3</mn> </mrow> </msubsup> </mrow> </mtd> <mtd> <mrow> <msubsup> <mover> <mi>Z</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>2</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>Z</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>3</mn> </mrow> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mover> <mi>X</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>3</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>X</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>4</mn> </mrow> </msubsup> </mrow> </mtd> <mtd> <mrow> <msubsup> <mover> <mi>Y</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>3</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>Y</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>4</mn> </mrow> </msubsup> </mrow> </mtd> <mtd> <mrow> <msubsup> <mover> <mi>Z</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>3</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>Z</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>4</mn> </mrow> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mover> <mi>X</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>4</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>X</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>1</mn> </mrow> </msubsup> </mrow> </mtd> <mtd> <mrow> <msubsup> <mover> <mi>Y</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>4</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>Y</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>1</mn> </mrow> </msubsup> </mrow> </mtd> <mtd> <mrow> <msubsup> <mover> <mi>Z</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>4</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>Z</mi> <mo>~</mo> </mover> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>p</mi> <mo>,</mo> <mn>1</mn> </mrow> </msubsup> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>

⑩根据{I_L(x,y)}中的每个三维曲面网格的各个网格顶点的深度值和{I_L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的深度值，计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的舒适度保持能量项，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的舒适度保持能量项记为 其中，表示V_L,k的第i个网格顶点的深度坐标位置，exp()表示以自然基数e为底的指数函数，符号“| |”为取绝对值符号，Z_max表示{I_L(x,y)}在显示空间的最大深度值，Z_min表示{I_L(x,y)}在显示空间的最小深度值， CVZ_min表示最小舒适观看区域范围，η₁表示最小舒适观看视角，CVZ_max表示最大舒适观看区域范围，η₂表示最大舒适观看视角，表示的第i个网格顶点的深度坐标位置；

计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的总能量，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的总能量记为 然后令表示在{I_L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的最佳相似变换矩阵下{I_L(x,y)}的总能量，根据{I_L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的相似变换矩阵，通过最小二乘法求解得到并将相应的V_L,k对应的最佳相似变换矩阵记为

根据{I_L(x,y)}中的每个三维曲面网格对应的最佳相似变换矩阵，计算{I_L(x,y)}中的每个三维曲面网格的各个网格顶点经最佳相似变换后的三维坐标值，将V_L,k中三维坐标值为(X'_L,k,Y'_L,k,Z'_L,k)的网格顶点经最佳相似变换后的三维坐标值记为 和通过求解得到，其中，X'_L,k,Y'_L,k,Z'_L,k对应表示V_L,k中的一个网格顶点的水平坐标位置、垂直坐标位置和深度坐标位置，对应表示V_L,k中三维坐标值为(X'_L,k,Y'_L,k,Z'_L,k)的网格顶点经最佳相似变换后得到的水平坐标位置、垂直坐标位置和深度坐标位置，(A'_L,k)^T为A'_L,k的转置，((A'_L,k)^TA'_L,k)^-1为(A'_L,k)^TA'_L,k的逆，

根据{I_L(x,y)}中的所有三维曲面网格的网格顶点经最佳相似变换后的三维坐标值，获取{D_L(x,y)}中的每个四边形网格的各个网格顶点到重定位后的左视点深度图像中的映射函数值，假设(x₂,y₂)为{D_L(x,y)}中的一个四边形网格的其中一个网格顶点的坐标位置，则将{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点到重定位后的左视点深度图像中的映射函数值记为f(D_L(x₂,y₂))，β₁、β₂、β₃、β₄和β₅是通过求解得到的，其中，(x₂,y₂)∈Ω，Ω表示{I_L(x,y)}中的所有三维曲面网格中的网格顶点的坐标位置构成的集合，β₁、β₂、β₃、β₄和β₅均为系数，D_L(x₂,y₂)表示{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点的像素值，表示{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点经重定位后的深度值， 表示{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点经重定位后的场景深度值，f表示水平相机阵列中各相机的水平焦距，表示{I_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点经最佳相似变换后的三维坐标值的深度坐标位置；

采用相同的最佳相似变换矩阵对{I_L(x,y)}中的每个三维曲面网格中的所有像素点进行相似变换，得到{I_L(x,y)}中的每个三维曲面网格中的每个像素点经最佳相似变换后的三维坐标值，并进而获得重定位后的左视点彩色图像及左视点深度图像，对应记为和将中坐标位置为(x',y')的像素点的像素值记为将中坐标位置为(x',y')的像素点的像素值记为 其中，1≤x'≤W'，1≤y'≤H，W'表示重定位后的三维视频图像的宽度，H亦表示重定位后的三维视频图像的高度，f(D_L(x,y))表示{D_L(x,y)}中坐标位置为(x,y)的像素点到重定位后的左视点深度图像中的映射函数值，表示{D_L(x,y)}中坐标位置为(x,y)的像素点经重定位后的像素值， 表示{I_L(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的水平坐标位置，表示{I_L(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的垂直坐标位置，表示{I_L(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的深度坐标位置；

根据和获取重定位后的右视点彩色图像及右视点深度图像，对应记为和将中坐标位置为(x”,y”)的像素点的像素值记为将中坐标位置为(x”,y”)的像素点的像素值记为其中，1≤x”≤W'，1≤y”≤H， 表示中坐标位置为(x',y')的像素点的像素值，

2.根据权利要求1所述的一种三维视频图像重定位方法，其特征在于所述的步骤⑥的具体过程为：

⑥_1、将{D_L(x,y)}中当前待处理的像素点定义为当前像素点；

⑥_2、将当前像素点的坐标位置记为(x₁,y₁)，如果1≤x₁≤W且y₁＝1，则直接将当前像素点的横坐标作为当前像素点的左方向最大可容忍失真值，记为δ_l(x₁,y₁)；如果1≤x₁≤W且1<y₁≤H，则在{I_L(x,y)}中位于坐标位置为(x₁,y₁)的像素点的水平左侧的所有像素点中，找出亮度分量的值与坐标位置为(x₁,y₁)的像素点的亮度分量的值相等的所有像素点，再计算找出的每个像素点的横坐标与坐标位置为(x₁,y₁)的像素点的横坐标x₁的横坐标差值，最后将所有横坐标差值中值最小的横坐标差值作为当前像素点的左方向最大可容忍失真值，记为δ_l(x₁,y₁)；同样，如果1≤x₁≤W且y₁＝H，则直接将当前像素点的横坐标作为当前像素点的右方向最大可容忍失真值，记为δ_r(x₁,y₁)；如果1≤x₁≤W且1≤y₁<H，则在{I_L(x,y)}中位于坐标位置为(x₁,y₁)的像素点的水平右侧的所有像素点中，找出亮度分量的值与坐标位置为(x₁,y₁)的像素点的亮度分量的值相等的所有像素点，再计算找出的每个像素点的横坐标与坐标位置为(x₁,y₁)的像素点的横坐标x₁的横坐标差值，最后将所有横坐标差值中值最大的横坐标差值作为当前像素点的右方向最大可容忍失真值，记为δ_r(x₁,y₁)；其中，1≤x₁≤W，1≤y₁≤H；

⑥_3、根据δ_l(x₁,y₁)和δ_r(x₁,y₁)，确定当前像素点的最大可容忍失真值，记为S_L(x₁,y₁)，S_L(x₁,y₁)＝min(|δ_l(x₁,y₁)|,|δ_r(x₁,y₁)|)，其中，min()为取最小值函数，符号“| |”为取绝对值符号；

⑥_4、将{D_L(x,y)}中下一个待处理的像素点作为当前像素点，然后返回步骤⑥_2继续执行，直至{D_L(x,y)}中的所有像素点处理完毕，得到{D_L(x,y)}中的每个像素点的最大可容忍失真值，再由{D_L(x,y)}中的所有像素点的最大可容忍失真值得到{D_L(x,y)}的最大可容忍失真分布图像{S_L(x,y)}。