CN103581661A - 一种立体图像视觉舒适度评价方法 - Google Patents

Abstract

本发明公开了一种立体图像视觉舒适度评价方法，其首先通过提取右视点图像的图像显著图和右视差图像的深度显著图，得到右视点图像的立体显著图，然后根据立体显著图加权提取出视差幅度、视差梯度和空间频率特征，得到立体图像的特征矢量，再利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练，最后利用训练得到的支持向量回归训练模型对立体图像集合中的每幅立体图像进行测试，得到每幅立体图像的客观视觉舒适度评价预测值，优点是获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的视觉舒适度变化情况，从而有效地提高了客观评价结果与主观感知的相关性。

Description

一种立体图像视觉舒适度评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种立体图像视觉舒适度评价方法。

背景技术

随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的视觉体验质量（QoE，quality of experience）是立体视频系统设计中的一个重要问题，而视觉舒适度（VC，visual comfort）是影响立体视频的视觉体验质量的重要因素。目前，对立体视频/立体图像的质量评价研究主要考虑内容失真对于图像质量的影响，而很少考虑视觉舒适度等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/立体图像的视觉舒适度客观评价模型对指导3D内容的制作和后期处理具有十分重要的作用。

传统的立体图像视觉舒适度评价方法主要采用全局的视差统计特征来预测视觉舒适度。然而，根据人眼立体视觉注意力特性，人眼只对部分视觉重要区域的视觉舒适/不舒适比较敏感，如果以此全局的视差统计特征来预测视觉重要区域的视觉舒适程度，则会导致无法精确预测得到客观评价值。因此，如何在评价过程中有效地根据视觉显著性来提取出视觉舒适度特征，使得客观评价结果更加感觉符合人类视觉系统，是在对立体图像进行客观视觉舒适度评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种立体图像视觉舒适度评价方法，其能够有效地提高客观评价结果与主观感知的相关性。

本发明解决上述技术问题所采用的技术方案为：一种立体图像视觉舒适度评价方法，其特征在于包括以下步骤：

①将待评价的立体图像的左视点图像记为{I_L(x,y)}，将待评价的立体图像的右视点图像记为{I_R(x,y)}，将待评价的立体图像的右视差图像记为{d_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的宽度，H表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的像素值；

②采用多个不同尺度对{I_R(x,y)}进行分块处理，然后获取{I_R(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{I_R(x,y)}在不同尺度下的每个子块的特征矢量，获取{I_R(x,y)}在不同尺度下的每个子块的显著值，进而获得{I_R(x,y)}在不同尺度下的图像显著图，最后将{I_R(x,y)}在不同尺度下的图像显著图进行融合，得到{I_R(x,y)}的最终的图像显著图，记为{SM_img(x,y)}，其中，SM_img(x,y)表示{SM_img(x,y)}中坐标位置为(x,y)的像素点的像素值；

③采用多个不同尺度对{d_R(x,y)}进行分块处理，然后获取{d_R(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{d_R(x,y)}在不同尺度下的每个子块的特征矢量，获取{d_R(x,y)}在不同尺度下的每个子块的显著值，进而获得{d_R(x,y)}在不同尺度下的深度显著图，最后将{d_R(x,y)}在不同尺度下的深度显著图进行融合，得到{d_R(x,y)}的最终的深度显著图，记为{SM_dep(x,y)}，其中，SM_dep(x,y)表示{SM_dep(x,y)}中坐标位置为(x,y)的像素点的像素值；

④根据{I_R(x,y)}的图像显著图{SM_img(x,y)}和{d_R(x,y)}的深度显著图{SM_dep(x,y)}，获取{I_R(x,y)}的立体显著图，记为{SM_3D(x,y)}，将{SM_3D(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM_3D(x,y)，

其中，

表示SM_img(x,y)的权重，

表示SM_dep(x,y)的权重，

⑤根据{d_R(x,y)}和{SM_3D(x,y)}，计算{d_R(x,y)}中立体显著图加权的视差幅值和视差梯度，对应记为ξ₁和ξ₂；并根据{I_R(x,y)}和{SM_3D(x,y)}，计算{I_R(x,y)}中立体显著图加权的空间频率，记为ξ₃；然后将ξ₁、ξ₂和ξ₃按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X=[ξ₁,ξ₂,ξ₃]，其中，此处符号“[]”为矢量表示符号；

⑥采用n副各不相同的立体图像以及每幅立体图像对应的右视差图像建立一个立体图像集合，其中，n≥1；然后利用主观质量评价方法分别获取立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，将立体图像集合中的第i幅立体图像的视觉舒适度的平均主观评分均值记为MOS_i，其中，1≤i≤n，MOS_i∈[1,5]；再按照步骤①至步骤⑤获取待评价的立体图像的特征矢量X的操作，以相同的方式分别获取立体图像集合中的每幅立体图像的特征矢量，将立体图像集合中的第i幅立体图像的特征矢量记为X_i；

⑦将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，训练得到最优的权重矢量w^opt和最优的偏置项b^opt，接着利用w^opt和b^opt构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k′幅立体图像的客观视觉舒适度评价预测值记为Q_k′，Q_k′=f(X_k′)，

其中，1≤k′≤K′，K′表示测试样本数据集合中包含的立体图像的幅数，f()为函数表示形式，X_k′表示测试样本数据集合中的第k′幅立体图像的特征矢量，(w^opt)^T为w^opt的转置矢量，

表示X_k′的线性函数；

之后通过重新分配训练集和测试集，重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，经过N次迭代后计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。

所述的步骤②的具体过程为：

②-1、采用J个不同尺度对{I_R(x,y)}进行分块处理，在第j个尺度h_j下将{I_R(x,y)}划分成

个互不重叠的尺寸大小为h_j×h_j的子块，其中，1≤j≤J，2≤J≤5，符号

为向下取整符号；

②-2、将{I_R(x,y)}在第j个尺度h_j下当前待处理的第l个子块定义为当前第一子块，其中，

②-3、将当前第一子块记为{f_j,l(x₂,y₂)}，其中，(x₂,y₂)表示当前第一子块{f_j,l(x₂,y₂)}中的像素点的坐标位置，1≤x₂≤h_j,1≤y₂≤h_j，f_j,l(x₂,y₂)表示当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的像素值；

②-4、获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的水平梯度值和垂直梯度值，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的红-绿颜色分量及蓝-黄颜色分量，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点经Log-Gabor滤波后得到的振幅；

②-5、根据步骤②-4获取的当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的多个图像感知特征，以及当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的坐标位置，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的特征矢量，将当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的特征矢量记为

$X_{j,l}^f(x_2,y_2)=$ $[{\mathrm{GX}}^f(x_2,y_2),{\mathrm{GY}}^f(x_2,y_2),L(x_2,y_2),a(x_2,y_2),b(x_2,y_2),\mathrm{\ΔRG}(x_2,y_2),\mathrm{\ΔBY}(x_2,y_2),\mathrm{LG}(x_2,y_2),x_2,y_2]$ ，其中，符号“[]”为矢量表示符号，

的维数为10，GX^f(x₂,y₂)和GY^f(x₂,y₂)对应为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的水平梯度值和垂直梯度值，L(x₂,y₂)、a(x₂,y₂)及b(x₂,y₂)对应为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，ΔRG(x₂,y₂)和ΔBY(x₂,y₂)对应为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的红-绿颜色分量和蓝-黄颜色分量，LG(x₂,y₂)为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点经Log-Gabor滤波后得到的振幅；

②-6、根据当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的特征矢量，计算当前第一子块{f_j,l(x₂,y₂)}的协方差矩阵，记为 $C_{j,l}^f=\frac{1}{h_j\×h_j-1}\underset{x_2=1}{\overset{h_j}{\mathrm{\Σ}}}\underset{y_2=1}{\overset{h_j}{\mathrm{\Σ}}}(X_{j,l}^f(x_2,y_2)-{\mathrm{\μ}}_{j,l}^f){(X_{j,l}^f(x_2,y_2)-{\mathrm{\μ}}_{j,l}^f)}^T,$ 其中，

表示当前第一子块{f_j,l(x₂,y₂)}中的所有像素点的特征矢量的均值矢量，

为

的转置矢量，

的维数为10×10；

②-7、对当前第一子块{f_j,l(x₂,y₂)}的协方差矩阵进行Cholesky分解，

得到当前第一子块{f_j,l(x₂,y₂)}的Sigma特征集，记为

$S_{j,l}^f=[\sqrt{10}\×L^{\left(1\right)},...,\sqrt{10}\×L^{\left(l^{\′}\right)},...,\sqrt{10}\×L^{\left(10\right)},-\sqrt{10}\×L^{\left(1\right)},...,-\sqrt{10}\×L^{\left(l^{\′}\right)},...,-\sqrt{10}\×L^{\left(10\right)},{\mathrm{\μ}}_{j,l}^f],$ 其中，L^T为L的转置矩阵，此处1≤i′≤10，L⁽¹⁾表示L的第1列向量，L^(i′)表示L的第i′列向量，L⁽¹⁰⁾表示L的第10列向量，

的维数为10×21；

②-8、计算当前第一子块{f_j,l(x₂,y₂)}的显著值，记为

${\mathrm{SM}}_{j,l}^f=\frac{\underset{l^{\′}\∈N\left(l\right)}{\mathrm{\Σ}}k(y_{{j,l}^{\′}}^f,y_{j,\min }^f)\·y_{{j,l}^{\′}}^f}{\underset{l^{\′}\∈N\left(l\right)}{\mathrm{\Σ}}k(y_{{j,l}^{\′}}^f,y_{j,\min }^f)},$ 其中，

N(l)表示以当前第一子块{f_j,l(x₂,y₂)}为中心的邻域窗口，

表示当前第一子块{f_j,l(x₂,y₂)}的Sigma特征集

与相邻的第l′个子块的Sigma特征集

之间的欧式距离，

符号“|| ||”为求欧式距离符号，此处x_l表示当前第一子块{f_j,l(x₂,y₂)}的中心像素点的坐标位置，此处x_l′表示与当前第一子块{f_j,l(x₂,y₂)}相邻的第l′个子块的中心像素点的坐标位置，表示N(l)内的所有子块的Sigma特征集与当前第一子块{f_j,l(x₂,y₂)}的Sigma特征集

之间的欧氏距离中的最小值，

h为控制系数；

②-9、根据人眼的中心偏移特性，计算当前第一子块{f_j,l(x₂,y₂)}的最终的显著值，记为

其中，符号“|| ||”为求欧式距离符号，x_c表示{I_R(x,y)}的中心像素点的坐标位置，Z为控制系数；

②-10、将当前第一子块{f_j,l(x₂,y₂)}的最终的显著值

作为当前第一子块{f_j,l(x₂,y₂)}中的所有像素点的显著值，然后令l=l+1，将{I_R(x,y)}在第j个尺度h_j下下一个待处理的子块作为当前第一子块，再返回步骤②-3继续执行，直至{I_R(x,y)}在第j个尺度h_j下的所有子块均处理完毕，得到在第j个尺度h_j下{I_R(x,y)}的图像显著图，记为

其中，l=l+1中的“=”为赋值符号，

表示

中坐标位置为(x,y)的像素点的像素值；

②-11、令j=j+1，然后返回步骤②-2继续执行，直至得到{I_R(x,y)}在J个不同尺度下的图像显著图，再将{I_R(x,y)}在J个不同尺度下的图像显著图进行融合，得到{I_R(x,y)}的最终的图像显著图，记为{SM_img(x,y)}，将{SM_img(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM_img(x,y)， ${\mathrm{SM}}_{\mathrm{img}}(x,y)=G_{\mathrm{\σ}}(x,y)*\underset{1\≤j\≤J}{\mathrm{\Π}}{\mathrm{SM}}_{h_j}^f(x,y),$ 其中，j=j+1中“=”为赋值符号，“*”为卷积操作符号，G_σ(x,y)表示标准差为σ的高斯函数。

所述的步骤②-1中取J=4，j=1时取h₁=8，j=2时取h₂=16，j=3时取h₃=32，j=4时取h₄=64；所述的步骤②-8中取N(l)的大小为7×7，取h=0.5；所述的步骤②-9中取所述的步骤②-11中取σ=0.02×H。

所述的步骤③的具体过程为：

③-1、采用J个不同尺度对{d_R(x,y)}进行分块处理，在第j个尺度h_j下将{d_R(x,y)}划分成个互不重叠的尺寸大小为h_j×h_j的子块，其中，1≤j≤J，2≤J≤5，符号

为向下取整符号；

③-2、将{d_R(x,y)}在第j个尺度h_j下当前待处理的第l个子块定义为当前第二子块，其中，

③-3、将当前第二子块记为{g_j,l(x₂,y₂)}，其中，(x₂,y₂)表示当前第二子块{g_j,l(x₂,y₂)}中的像素点的坐标位置，1≤x₂≤h_j,1≤y₂≤h_j，g_j,l(x₂,y₂)表示当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的像素值；

③-4、获取当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的像素值、水平梯度值和垂直梯度值，获取当前第二子块{g_j,l(x₂,y₂)}中的每个像素点经高斯差分算子后得到的响应值；

③-5、根据步骤③-4获取的当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的多个深度感知特征，获取当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的特征矢量，将当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的特征矢量记为 $X_{j,l}^g(x_2,y_2)=[d_R(x_2,y_2),{\mathrm{GX}}^g(x_2,y_2),{\mathrm{GY}}^g(x_2,y_2),\mathrm{DoG}(x_2,y_2)],$ 其中，符号“[]”为矢量表示符号，

的维数为4，d_R(x₂,y₂)为当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的像素值，GX^g(x₂,y₂)和GY^g(x₂,y₂)对应为当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的水平梯度值和垂直梯度值，DoG(x₂,y₂)为当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点经高斯差分算子后得到的响应值；

③-6、根据当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的特征矢量，计算当前第二子块{g_j,l(x₂,y₂)}的协方差矩阵，记为

$C_{j,l}^g=\frac{1}{h_j\×h_j-1}\underset{x_2=1}{\overset{h_j}{\mathrm{\Σ}}}\underset{y_2=1}{\overset{h_j}{\mathrm{\Σ}}}(X_{j,l}^g(x_2,y_2)-{\mathrm{\μ}}_{j,l}^g){(X_{j,l}^g(x_2,y_2)-{\mathrm{\μ}}_{j,l}^g)}^T,$ 其中，

表示当前第二子块{g_j,l(x₂,y₂)}中的所有像素点的特征矢量的均值矢量，

为

的转置矢量，的维数为4×4；

③-7、对当前第二子块{g_j,l(x₂,y₂)}的协方差矩阵

进行Cholesky分解，

得到当前第二子块{g_j,l(x₂,y₂)}的Sigma特征集，记为

$S_{j,l}^g=[\sqrt{4}\×L^{\′\left(1\right)},...,\sqrt{4}\×L^{\′\left(i^{\′}\right)},...,\sqrt{4}\×L^{\′\left(4\right)},-\sqrt{4}\×L^{\′\left(1\right)},...,-\sqrt{4}\×L^{\′\left(i^{\′}\right)},...,-\sqrt{4}\×L^{\′\left(4\right)},{\mathrm{\μ}}_{j,l}^g],$ 其中，L′^T为L′的转置矩阵，此处1≤i′≤4，L′⁽¹⁾表示L′的第1列向量，L′^(i′)表示L′的第i′列向量，L′⁽⁴⁾表示L′的第4列向量，

的维数为4×9；

③-8、计算当前第二子块{g_j,l(x₂,y₂)}的显著值，记为

${\mathrm{SM}}_{j,l}^g=\frac{\underset{l^{\′}{\∈N}^{\′}\left(l\right)}{\mathrm{\Σ}}k(y_{{j,l}^{\′}}^g,y_{j,\min }^g)\·y_{{j,l}^{\′}}^g}{\underset{l^{\′}{\∈N}^{\′}\left(l\right)}{\mathrm{\Σ}}k(y_{{j,l}^{\′}}^g,y_{j,\min }^g)},$ 其中，

N′(l)表示以当前第二子块{g_j,l(x₂,y₂)}为中心的邻域窗口，

表示当前第二子块{g_j,l(x₂,y₂)}的Sigma特征集

与相邻的第l′个子块的Sigma特征集之间的欧式距离，

符号“|| ||”为求欧式距离符号，此处x_l表示当前第二子块{g_j,l(x₂,y₂)}的中心像素点的坐标位置，此处x_l′表示与当前第二子块{g_j,l(x₂,y₂)}相邻的第l′个子块的中心像素点的坐标位置，

表示N′(l)内的所有子块的Sigma特征集与当前第二子块{g_j,l(x₂,y₂)}的Sigma特征集

之间的欧氏距离中的最小值，

h为控制系数；

③-9、将当前第二子块{g_j,l(x₂,y₂)}的显著值

作为当前第二子块{g_j,l(x₂,y₂)}中的所有像素点的显著值，然后令l=l+1，将{d_R(x,y)}在第j个尺度h_j下下一个待处理的子块作为当前第二子块，再返回步骤③-3继续执行，直至{d_R(x,y)}在第j个尺度h_j下的所有子块均处理完毕，得到在第j个尺度h_j下{d_R(x,y)}的深度显著图，记为

其中，l=l+1中的“=”为赋值符号，

表示中坐标位置为(x,y)的像素点的像素值；

③-10、令j=j+1，然后返回步骤③-2继续执行，直至得到{d_R(x,y)}在J个不同尺度下的深度显著图，再将{d_R(x,y)}在J个不同尺度下的深度显著图进行融合，得到{d_R(x,y)}的最终的深度显著图，记为{SM_dep(x,y)}，将{SM_dep(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM_dep(x,y)， ${\mathrm{SM}}_{\mathrm{dep}}(x,y)=G_{\mathrm{\σ}}(x,y)*\underset{1\≤j\≤J}{\mathrm{\Π}}{\mathrm{SM}}_{h_j}^g(x,y),$ 其中，j=j+1中“=”为赋值符号，“*”为卷积操作符号，G_σ(x,y)表示标准差为σ的高斯函数。

所述的步骤③-1中取J=4，j=1时取h₁=8，j=2时取h₂=16，j=3时取h₃=32，j=4时取h₄=64；所述的步骤③-8中取N′(l)的大小为3×3，取h=0.5；所述的步骤③-10中取σ=0.02×H。

所述的步骤④中取

所述的步骤⑤的具体过程为：

⑤-1、根据{d_R(x,y)}和{SM_3D(x,y)}，计算{d_R(x,y)}中立体显著图加权的视差幅值，记为ξ₁， ${\mathrm{\ξ}}_1=\frac{\underset{x=1}{\overset{W}{\mathrm{\Σ}}}\underset{y=1}{\overset{H}{\mathrm{\Σ}}}{\mathrm{SM}}_{3D}(x,y)\·\left|d_R(x,y)\right|}{\underset{x=1}{\overset{W}{\mathrm{\Σ}}}\underset{y=1}{\overset{H}{\mathrm{\Σ}}}{\mathrm{SM}}_{3D}(x,y)},$ 其中，符号“|| ||”为取绝对值符号；

⑤-2、根据{d_R(x,y)}和{SM_3D(x,y)}，计算{d_R(x,y)}中立体显著图加权的视差梯度，记为ξ₂， ${\mathrm{\&xi;}}_2=\frac{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)\&CenterDot;\left|{\mathrm{\&Delta;d}}_R(x,y)\right|}{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)},$ Δd_R(x,y)=(d_R(x+1,y)+d_R(x-1,y)+d_R(x,y+1)+d_R(x,y-1))/4-d_R(x,y)，其中，符号“|| ||”为取绝对值符号，d_R(x+1,y)表示{d_R(x,y)}中坐标位置为(x+1,y)的像素点的像素值，d_R(x-1,y)表示{d_R(x,y)}中坐标位置为(x-1,y)的像素点的像素值，d_R(x,y+1)表示{d_R(x,y)}中坐标位置为(x,y+1)的像素点的像素值，d_R(x,y-1)表示{d_R(x,y)}中坐标位置为(x,y-1)的像素点的像素值，如果x+1>W，则d_R(x+1,y)的值由d_R(W,y)的值替代，如果x-1<1，则d_R(x-1,y)的值由d_R(1,y)的值替代，如果y+1>H，则d_R(x,y+1)的值由d_R(x,H)的值替代，如果y-1<1，则d_R(x,y-1)的值由d_R(x,1)的值替代；

⑤-3、根据{I_R(x,y)}和{SM_3D(x,y)}，计算{I_R(x,y)}中立体显著图加权的空间频率，记为ξ₃， ${\mathrm{\&xi;}}_3=\frac{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)\&CenterDot;c(x,y)}{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)},$ $c(x,y)=\sqrt{{(I_R(x,y)-I_R(x-1,y){)}^2+(I_R(x,y)-I_R(x,y-1))}^2},$ 其中，I_R(x-1,y)表示{I_R(x,y)}中坐标位置为(x-1,y)的像素点的像素值，I_R(x,y-1)表示{I_R(x,y)}中坐标位置为(x,y-1)的像素点的像素值，如果x-1<1，则I_R(x-1,y)的值由I_R(1,y)的值替代，如果y-1<1，则I_R(x,y-1)的值由I_R(x,1)的值替代；

⑤-4、将ξ₁、ξ₂和ξ₃按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X=[ξ₁,ξ₂,ξ₃]，其中，此处符号“[]”为矢量表示符号，X的维数为3。

所述的步骤⑦的具体过程为：

⑦-1、随机选择立体图像集合中的幅立体图像构成训练集，将立体图像集合中剩余的K′=n-t幅立体图像构成测试集，其中，符号

为向上取整符号；

⑦-2、将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，记为Ω_t，{X_k,MOS_k}∈Ω_t，其中，X_k表示训练样本数据集合Ω_t中的第k幅立体图像的特征矢量，MOS_k表示训练样本数据集合Ω_t中的第k幅立体图像的平均主观评分均值，1≤k≤t；

⑦-3、构造训练样本数据集合Ω_t中的每幅立体图像的特征矢量的回归函数，将X_k的回归函数记为f(X_k)，

其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矢量，b为偏置项，

表示X_k的线性函数，

D(X_k,X_l′)为支持向量回归中的核函数，X_l′为训练样本数据集合Ω_t中的第l′幅立体图像的特征矢量，1≤l′≤t，γ为核参数，exp()表示以e为底的指数函数，e=2.71828183，符号“|| ||”为求欧式距离符号；

⑦-4、采用支持向量回归作为机器学习的方法，对训练样本数据集合Ω_t中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，拟合得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为(w^opt,b^opt)， $(w^{\mathrm{opt}},b^{\mathrm{opt}})=\underset{(w,b)\&Element;\mathrm{\&Psi;}}{\arg \min }\underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2,$ 利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为

其中，Ψ表示对训练样本数据集合Ω_t中的所有立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合， $\underset{(w,b)\&Element;\mathrm{\&Psi;}}{\arg \min }\underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2$ 表示使得 $\underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2$ 最小的w和b的值，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，

表示支持向量回归训练模型的输入矢量X_inp的线性函数；

⑦-5、将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Q_k′，Q_k′=f(X_k′)，

其中，1≤k′≤K′，X_k′表示测试样本数据集合中的第k′幅立体图像的特征矢量，

表示X_k′的线性函数；

⑦-6、再重新随机选择立体图像集合中的

幅立体图像构成训练集，将立体图像集合中剩余的K′=n-t幅立体图像构成测试集，然后返回步骤⑦-2继续执行，在经过N次迭代后，计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，再将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。

所述的步骤⑦-3中取γ=54。

与现有技术相比，本发明的优点在于：

1）本发明方法考虑到视觉重要区域对视觉舒适度的影响，因此通过提取右视点图像的图像显著图和右视差图像的深度显著图得到右视点图像的立体显著图，然后根据立体显著图加权提取出反映视觉舒适度的特征矢量，从而有效地提高了客观评价结果与主观感知的相关性。

2）本发明方法根据用于反映立体图像的右视差图像的视差幅值、视差梯度和用于反映立体图像的右视点图像的空间频率，得到立体图像的特征矢量，然后利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练，计算得到立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值，由于获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的视觉舒适度变化情况，因此有效地提高了客观评价结果与主观感知的相关性。

附图说明

图1为本发明方法的总体实现框图；

图2a为“purse”的右视点图像；

图2b为“purse”的右视差图像；

图2c为“purse”的右视点图像的图像显著图；

图2d为“purse”的右视差图像的深度显著图；

图2e为“purse”的右视点图像的立体显著图；

图3a为“redcup”的右视点图像；

图3b为“redcup”的右视差图像；

图3c为“redcup”的右视点图像的图像显著图；

图3d为“redcup”的右视差图像的深度显著图；

图3e为“redcup”的右视点图像的立体显著图；

图4a为“desktop”的右视点图像；

图4b为“desktop”的右视差图像；

图4c为“desktop”的右视点图像的图像显著图；

图4d为“desktop”的右视差图像的深度显著图；

图4e为“desktop”的右视点图像的立体显著图；

图5为采用视差幅度和视差梯度两个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图；

图6为采用视差幅度和空间频率两个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图；

图7为采用视差梯度和空间频率两个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图；

图8为采用视差幅度、视差梯度和空间频率三个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体图像视觉舒适度评价方法，其总体实现框图如图1所示，其包括以下步骤：

①将待评价的立体图像的左视点图像记为{I_L(x,y)}，将待评价的立体图像的右视点图像记为{I_R(x,y)}，将待评价的立体图像的右视差图像记为{d_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的宽度，H表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的像素值。

②采用多个不同尺度对{I_R(x,y)}进行分块处理，然后获取{I_R(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{I_R(x,y)}在不同尺度下的每个子块的特征矢量，获取{I_R(x,y)}在不同尺度下的每个子块的显著值，进而获得{I_R(x,y)}在不同尺度下的图像显著图，最后将{I_R(x,y)}在不同尺度下的图像显著图进行融合，得到{I_R(x,y)}的最终的图像显著图，记为{SM_img(x,y)}，其中，SM_img(x,y)表示{SM_img(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤②的具体过程为：

②-1、采用J个不同尺度对{I_R(x,y)}进行分块处理，在第j个尺度h_j下将{I_R(x,y)}划分成

个互不重叠的尺寸大小为h_j×h_j的子块，其中，1≤j≤J，2≤J≤5，符号

为向下取整符号。在此，取J=4，j=1时取h₁=8，j=2时取h₂=16，j=3时取h₃=32，j=4时取h₄=64。

②-2、将{I_R(x,y)}在第j个尺度h_j下当前待处理的第l个子块定义为当前第一子块，其中，

②-3、将当前第一子块记为{f_j,l(x₂,y₂)}，其中，(x₂,y₂)表示当前第一子块{f_j,l(x₂,y₂)}中的像素点的坐标位置，1≤x₂≤h_j,1≤y₂≤h_j，f_j,l(x₂,y₂)表示当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的像素值。

②-4、获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的水平梯度值和垂直梯度值，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的红-绿颜色分量及蓝-黄颜色分量，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点经Log-Gabor滤波后得到的振幅。

②-5、根据步骤②-4获取的当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的多个图像感知特征，以及当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的坐标位置，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的特征矢量，将当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的特征矢量记为

$X_{j,l}^f(x_2,y_2)=$ $[{\mathrm{GX}}^f(x_2,y_2),{\mathrm{GY}}^f(x_2,y_2),L(x_2,y_2),a(x_2,y_2),b(x_2,y_2),\mathrm{\&Delta;RG}(x_2,y_2),\mathrm{\&Delta;BY}(x_2,y_2),\mathrm{LG}(x_2,y_2),x_2,y_2]$ ，其中，符号“[]”为矢量表示符号，

的维数为10，GX^f(x₂,y₂)和GY^f(x₂,y₂)对应为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的水平梯度值和垂直梯度值，L(x₂,y₂)、a(x₂,y₂)及b(x₂,y₂)对应为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，ΔRG(x₂,y₂)和ΔBY(x₂,y₂)对应为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的红-绿颜色分量和蓝-黄颜色分量，LG(x₂,y₂)为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点经Log-Gabor滤波后得到的振幅。

②-6、根据当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的特征矢量，计算当前第一子块{f_j,l(x₂,y₂)}的协方差矩阵，记为

$C_{j,l}^f=\frac{1}{h_j\&times;h_j-1}\underset{x_2=1}{\overset{h_j}{\mathrm{\&Sigma;}}}\underset{y_2=1}{\overset{h_j}{\mathrm{\&Sigma;}}}(X_{j,l}^f(x_2,y_2)-{\mathrm{\&mu;}}_{j,l}^f){(X_{j,l}^f(x_2,y_2)-{\mathrm{\&mu;}}_{j,l}^f)}^T,$ 其中，

表示当前第一子块{f_j,l(x₂,y₂)}中的所有像素点的特征矢量的均值矢量，

为

的转置矢量，

的维数为10×10。

②-7、对当前第一子块{f_j,l(x₂,y₂)}的协方差矩阵进行Cholesky分解，

得到当前第一子块{f_j,l(x₂,y₂)}的Sigma特征集（Sigma set），记为

$S_{j,l}^f=[\sqrt{10}\&times;L^{\left(1\right)},...,\sqrt{10}\&times;L^{\left(i^{\&prime;}\right)},...,\sqrt{10}\&times;L^{\left(10\right)},-\sqrt{10}\&times;L^{\left(1\right)},...,-\sqrt{10}\&times;L^{\left(i^{\&prime;}\right)},...,-\sqrt{10}\&times;L^{\left(10\right)},{\mathrm{\&mu;}}_{j,l}^f],$ 其中，L^T为L的转置矩阵，此处1≤i′≤10，L⁽¹⁾表示L的第1列向量，L^(i′)表示L的第i′列向量，L⁽¹⁰⁾表示L的第10列向量，

的维数为10×21。

②-8、计算当前第一子块{f_j,l(x₂,y₂)}的显著值，记为

${\mathrm{SM}}_{j,l}^f=\frac{\underset{l^{\&prime;}\&Element;N\left(l\right)}{\mathrm{\&Sigma;}}k(y_{{j,l}^{\&prime;}}^f,y_{j,\min }^f)\&CenterDot;y_{{j,l}^{\&prime;}}^f}{\underset{l^{\&prime;}\&Element;N\left(l\right)}{\mathrm{\&Sigma;}}k(y_{{j,l}^{\&prime;}}^f,y_{j,\min }^f)},$ 其中，

N(l)表示以当前第一子块{f_j,l(x₂,y₂)}为中心的邻域窗口，在此取N(l)的大小为7×7，

表示当前第一子块{f_j,l(x₂,y₂)}的Sigma特征集与相邻的第l′个子块的Sigma特征集

之间的欧式距离，

符号“|| ||”为求欧式距离符号，此处x_l表示当前第一子块{f_j,l(x₂,y₂)}的中心像素点的坐标位置，此处x_l′表示与当前第一子块{f_j,l(x₂,y₂)}相邻的第l′个子块的中心像素点的坐标位置，

表示N(l)内的所有子块的Sigma特征集与当前第一子块{f_j,l(x₂,y₂)}的Sigma特征集之间的欧氏距离中的最小值， $k(y_{j,l^{\&prime;}}^f,f_{j,\min }^f)=e^{-\frac{{(y_{j,l^{\&prime;}}^f-y_{j,\min }^f)}^2}{h}},$ h为控制系数，在此取h=0.5。

②-9、根据人眼的中心偏移（center-bias）特性，计算当前第一子块{f_j,l(x₂,y₂)}的最终的显著值，记为其中，符号“|| ||”为求欧式距离符号，x_c表示{I_R(x,y)}的中心像素点的坐标位置，Z为控制系数，在此取 $Z=\sqrt{{(W/2)}^2+{(H/2)}^2}.$

②-10、将当前第一子块{f_j,l(x₂,y₂)}的最终的显著值作为当前第一子块{f_j,l(x₂,y₂)}中的所有像素点的显著值，然后令l=l+1，将{I_R(x,y)}在第j个尺度h_j下下一个待处理的子块作为当前第一子块，再返回步骤②-3继续执行，直至{I_R(x,y)}在第j个尺度h_j下的所有子块均处理完毕，得到在第j个尺度h_j下{I_R(x,y)}的图像显著图，记为

其中，l=l+1中的“=”为赋值符号，

表示

中坐标位置为(x,y)的像素点的像素值。

②-11、令j=j+1，然后返回步骤②-2继续执行，直至得到{I_R(x,y)}在J个不同尺度下的图像显著图，再将{I_R(x,y)}在J个不同尺度下的图像显著图进行融合，得到{I_R(x,y)}的最终的图像显著图，记为{SM_img(x,y)}，将{SM_img(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM_img(x,y)， ${\mathrm{SM}}_{\mathrm{img}}(x,y)=G_{\mathrm{\&sigma;}}(x,y)*\underset{1\&le;j\&le;J}{\mathrm{\&Pi;}}{\mathrm{SM}}_{h_j}^f(x,y),$ 其中，j=j+1中“=”为赋值符号，“*”为卷积操作符号，G_σ(x,y)表示标准差为σ的高斯函数，在此取σ=0.02×H。

③采用多个不同尺度对{d_R(x,y)}进行分块处理，然后获取{d_R(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{d_R(x,y)}在不同尺度下的每个子块的特征矢量，获取{d_R(x,y)}在不同尺度下的每个子块的显著值，进而获得{d_R(x,y)}在不同尺度下的深度显著图，最后将{d_R(x,y)}在不同尺度下的深度显著图进行融合，得到{d_R(x,y)}的最终的深度显著图，记为{SM_dep(x,y)}，其中，SM_dep(x,y)表示{SM_dep(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤③的具体过程为：

③-1、采用J个不同尺度对{d_R(x,y)}进行分块处理，在第j个尺度h_j下将{d_R(x,y)}划分成

个互不重叠的尺寸大小为h_j×h_j的子块，其中，1≤j≤J，2≤J≤5，符号为向下取整符号。在此，取J=4，j=1时取h₁=8，j=2时取h₂=16，j=3时取h₃=32，j=4时取h₄=64。

③-2、将{d_R(x,y)}在第j个尺度h_j下当前待处理的第l个子块定义为当前第二子块，其中，

③-3、将当前第二子块记为{g_j,l(x₂,y₂)}，其中，(x₂,y₂)表示当前第二子块{g_j,l(x₂,y₂)}中的像素点的坐标位置，1≤x₂≤h_j,1≤y₂≤h_j，g_j,l(x₂,y₂)表示当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的像素值。

③-4、获取当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的像素值、水平梯度值和垂直梯度值，获取当前第二子块{g_j,l(x₂,y₂)}中的每个像素点经高斯差分（DoG，Difference ofGaussian）算子后得到的响应值。

③-5、根据步骤③-4获取的当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的多个深度感知特征，获取当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的特征矢量，将当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的特征矢量记为

$X_{j,l}^g(x_2,y_2)=[d_R(x_2,y_2),{\mathrm{GX}}^g(x_2,y_2),{\mathrm{GY}}^g(x_2,y_2),\mathrm{DoG}(x_2,y_2)],$ 其中，符号“[]”为矢量表示符号，

的维数为4，d_R(x₂,y₂)为当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的像素值，GX^g(x₂,y₂)和GY^g(x₂,y₂)对应为当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的水平梯度值和垂直梯度值，DoG(x₂,y₂)为当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点经高斯差分算子后得到的响应值。

③-6、根据当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的特征矢量，计算当前第二子块{g_j,l(x₂,y₂)}的协方差矩阵，记为

$C_{j,l}^g=\frac{1}{h_j\&times;h_j-1}\underset{x_2=1}{\overset{h_j}{\mathrm{\&Sigma;}}}\underset{y_2=1}{\overset{h_j}{\mathrm{\&Sigma;}}}(X_{j,l}^g\left(x_2{,y}_2\right)-{\mathrm{\&mu;}}_{j,l}^g){(X_{j,l}^g(x_2,y_2)-{\mathrm{\&mu;}}_{j,l}^g)}^T,$ 其中，

表示当前第二子块{g_j,l(x₂,y₂)}中的所有像素点的特征矢量的均值矢量，

为

的转置矢量，

的维数为4×4。

③-7、对当前第二子块{g_j,l(x₂,y₂)}的协方差矩阵

进行Cholesky分解，

得到当前第二子块{g_j,l(x₂,y₂)}的Sigma特征集，记为 $S_{j,l}^g=[\sqrt{4}\&times;L^{\&prime;\left(1\right)},...,\sqrt{4}\&times;L^{\&prime;\left(i^{\&prime;}\right)},..,\sqrt{4}\&times;L^{\&prime;\left(4\right)},-\sqrt{4}\&times;L^{\&prime;\left(1\right)},...,-\sqrt{4}\&times;L^{\&prime;\left(i^{\&prime;}\right)},...,-\sqrt{4}\&times;L^{\&prime;\left(4\right)},{\mathrm{\&mu;}}_{j,l}^g],$ 其中，L′^T为L′的转置矩阵，此处1≤i′≤4，L′⁽¹⁾表示L′的第1列向量，L′^(i′)表示L′的第i′列向量，L′⁽⁴⁾表示L′的第4列向量，的维数为4×9。

③-8、计算当前第二子块{g_j,l(x₂,y₂)}的显著值，记为 ${\mathrm{SM}}_{j,l}^g=\frac{\underset{l^{\&prime;}\&Element;N^{\&prime;}\left(l\right)}{\mathrm{\&Sigma;}}k(y_{{j,l}^{\&prime;}}^g,y_{j,\min }^g)\&CenterDot;y_{j,l^{\&prime;}}^g}{\underset{l^{\&prime;}\&Element;N^{\&prime;}\left(l\right)}{\mathrm{\&Sigma;}}k(y_{{j,l}^{\&prime;}}^g,y_{j,\min }^g)},$ 其中，

N′(l)表示以当前第二子块{g_j,l(x₂,y₂)}为中心的邻域窗口，在此取N′(l)的大小为3×3，

表示当前第二子块{g_j,l(x₂,y₂)}的Sigma特征集

与相邻的第l′个子块的Sigma特征集

之间的欧式距离，

符号“|| ||”为求欧式距离符号，此处x_l表示当前第二子块{g_j,l(x₂,y₂)}的中心像素点的坐标位置，此处x_l′表示与当前第二子块{g_j,l(x₂,y₂)}相邻的第l′个子块的中心像素点的坐标位置，

表示N′(l)内的所有子块的Sigma特征集与当前第二子块{g_j,l(x₂,y₂)}的Sigma特征集

之间的欧氏距离中的最小值， $k(y_{{j,l}^{\&prime;}}^g,y_{j,\min }^g)=e^{-\frac{{(y_{{j,l}^{\&prime;}}^g-y_{j,\min }^g)}^2}{h}},$ h为控制系数，在此取h=0.5。

③-9、将当前第二子块{g_j,l(x₂,y₂)}的显著值

作为当前第二子块{g_j,l(x₂,y₂)}中的所有像素点的显著值，然后令l=l+1，将{d_R(x,y)}在第j个尺度h_j下下一个待处理的子块作为当前第二子块，再返回步骤③-3继续执行，直至{d_R(x,y)}在第j个尺度h_j下的所有子块均处理完毕，得到在第j个尺度h_j下{d_R(x,y)}的深度显著图，记为

其中，l=l+1中的“=”为赋值符号，

表示中坐标位置为(x,y)的像素点的像素值。

③-10、令j=j+1，然后返回步骤③-2继续执行，直至得到{d_R(x,y)}在J个不同尺度下的深度显著图，再将{d_R(x,y)}在J个不同尺度下的深度显著图进行融合，得到{d_R(x,y)}的最终的深度显著图，记为{SM_dep(x,y)}，将{SM_dep(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM_dep(x,y)， ${\mathrm{SM}}_{\mathrm{dep}}(x,y)=G_{\mathrm{\&sigma;}}(x,y)*\underset{1\&le;j\&le;J}{\mathrm{\&Pi;}}{\mathrm{SM}}_{h_j}^g(x,y),$ 其中，j=j+1中“=”为赋值符号，“*”为卷积操作符号，G_σ(x,y)表示标准差为σ的高斯函数，在此取σ=0.02×H。

④根据{I_R(x,y)}的图像显著图{SM_img(x,y)}和{d_R(x,y)}的深度显著图{SM_dep(x,y)}，获取{I_R(x,y)}的立体显著图，记为{SM_3D(x,y)}，将{SM_3D(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM_3D(x,y)，

其中，

表示SM_img(x,y)的权重，

表示SM_dep(x,y)的权重，

在此取

在此，截取三组典型的立体图像来说明本发明方法中获取的待评价的立体图像的右视点图像的立体显著图的性能。图2a和图2b分别给出了“purse”的右视点图像和右视差图像，图2c给出了“purse”的右视点图像的图像显著图，图2d给出了“purse”的右视差图像的深度显著图，图2e给出了“purse”的右视点图像的立体显著图；图3a和图3b分别给出了“redcup”的右视点图像和右视差图像，图3c给出了“redcup”的右视点图像的图像显著图，图3d给出了“redcup”的右视差图像的深度显著图，图3e给出了“redcup”的右视点图像的立体显著图；图4a和图4b分别给出了“desktop”的右视点图像和右视差图像，图4c给出了“desktop”的右视点图像的图像显著图，图4d给出了“desktop”的右视差图像的深度显著图，图4e给出了“desktop”的右视点图像的立体显著图。从图2e、图3e和图4e中可以看出，采用本发明方法得到的立体显著图，能够很好地反映人眼视觉舒适程度。

⑤根据{d_R(x,y)}和{SM_3D(x,y)}，计算{d_R(x,y)}中立体显著图加权的视差幅值和视差梯度，对应记为ξ₁和ξ₂；并根据{I_R(x,y)}和{SM_3D(x,y)}，计算{I_R(x,y)}中立体显著图加权的空间频率，记为ξ₃；然后将ξ₁、ξ₂和ξ₃按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X=[ξ₁,ξ₂,ξ₃]，其中，此处符号“[]”为矢量表示符号。

在此具体实施例中，步骤⑤的具体过程为：

⑤-1、根据{d_R(x,y)}和{SM_3D(x,y)}，计算{d_R(x,y)}中立体显著图加权的视差幅值，记为ξ₁， ${\mathrm{\&xi;}}_1=\frac{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)\&CenterDot;\left|d_R(x,y)\right|}{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)},$ 其中，符号“|| ||”为取绝对值符号。

⑤-2、根据{d_R(x,y)}和{SM_3D(x,y)}，计算{d_R(x,y)}中立体显著图加权的视差梯度，记为ξ₂， ${\mathrm{\&xi;}}_2=\frac{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)\&CenterDot;\left|{\mathrm{\&Delta;d}}_R(x,y)\right|}{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)},$ Δd_R(x,y)=(d_R(x+1,y)+d_R(x-1,y)+d_R(x,y+1)+d_R(x,y-1))/4-d_R(x,y)，其中，符号“|| ||”为取绝对值符号，d_R(x+1,y)表示{d_R(x,y)}中坐标位置为(x+1,y)的像素点的像素值，d_R(x-1,y)表示{d_R(x,y)}中坐标位置为(x-1,y)的像素点的像素值，d_R(x,y+1)表示{d_R(x,y)}中坐标位置为(x,y+1)的像素点的像素值，d_R(x,y-1)表示{d_R(x,y)}中坐标位置为(x,y-1)的像素点的像素值，如果x+1>W，则d_R(x+1,y)的值由d_R(W,y)的值替代，如果x-1<1，则d_R(x-1,y)的值由d_R(1,y)的值替代，如果y+1>H，则d_R(x,y+1)的值由d_R(x,H)的值替代，如果y-1<1，则d_R(x,y-1)的值由d_R(x,1)的值替代。

⑤-3、根据{I_R(x,y)}和{SM_3D(x,y)}，计算{I_R(x,y)}中立体显著图加权的空间频率，记为ξ₃， ${\mathrm{\&xi;}}_3=\frac{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)\&CenterDot;c(x,y)}{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)},$ $c(x,y)=\sqrt{{(I_R(x,y)-I_R(x-1,y))}^2+{(I_R(x,y)-I_R(x,y-1))}^2},$ 其中，I_R(x-1,y)表示{I_R(x,y)}中坐标位置为(x-1,y)的像素点的像素值，I_R(x,y-1)表示{I_R(x,y)}中坐标位置为(x,y-1)的像素点的像素值，如果x-1<1，则I_R(x-1,y)的值由I_R(1,y)的值替代，如果y-1<1，则I_R(x,y-1)的值由I_R(x,1)的值替代。

⑤-4、将ξ₁、ξ₂和ξ₃按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X=[ξ₁,ξ₂,ξ₃]，其中，此处符号“[]”为矢量表示符号，X的维数为3。

⑥采用n副各不相同的立体图像以及每幅立体图像对应的右视差图像建立一个立体图像集合，其中，n≥1；然后利用主观质量评价方法分别获取立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，将立体图像集合中的第i幅立体图像的视觉舒适度的平均主观评分均值记为MOS_i，其中，1≤i≤n，MOS_i∈[1,5]；再按照步骤①至步骤⑤获取待评价的立体图像的特征矢量X的操作，以相同的方式分别获取立体图像集合中的每幅立体图像的特征矢量，将立体图像集合中的第i幅立体图像的特征矢量记为X_i。

在本实施例中，采用韩国科学技术院图像和视频系统实验室提供的立体图像数据库作为立体图像集合，该立体图像数据库包含120幅立体图像以及对应的右视差图像，该立体图像数据库包含了各种场景深度的室内和室外图像，并给出了每副立体图像的视觉舒适度的平均主观评分均值。

⑦将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，训练得到最优的权重矢量w^opt和最优的偏置项b^opt，接着利用w^opt和b^opt构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k′幅立体图像的客观视觉舒适度评价预测值记为Q_k′，Q_k′=f(X_k′)，

其中，1≤k′≤K′，K′表示测试样本数据集合中包含的立体图像的幅数，f()为函数表示形式，X_k′表示测试样本数据集合中的第k′幅立体图像的特征矢量，(w^opt)^T为w^opt的转置矢量，

表示X_k′的线性函数；

之后通过重新分配训练集和测试集，重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，经过N次迭代后计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。

在此具体实施例中，步骤⑦的具体过程为：

⑦-1、随机选择立体图像集合中的

幅立体图像构成训练集，将立体图像集合中剩余的K′=n-t幅立体图像构成测试集，其中，符号

为向上取整符号。

⑦-2、将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，记为Ω_t，{X_k,MOS_k}∈Ω_t，其中，X_k表示训练样本数据集合Ω_t中的第k幅立体图像的特征矢量，MOS_k表示训练样本数据集合Ω_t中的第k幅立体图像的平均主观评分均值，1≤k≤t。

⑦-3、构造训练样本数据集合Ω_t中的每幅立体图像的特征矢量的回归函数，将X_k的回归函数记为f(X_k)，

其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矢量，b为偏置项，

表示X_k的线性函数，

D(X_k,X_l′)为支持向量回归中的核函数，

X_l′为训练样本数据集合Ω_t中的第l′幅立体图像的特征矢量，1≤l′≤t，γ为核参数，在此取γ=54，exp()表示以e为底的指数函数，e=2.71828183，符号“|| ||”为求欧式距离符号。

⑦-4、采用支持向量回归作为机器学习的方法，对训练样本数据集合Ω_t中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，拟合得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为(w^opt,b^opt)， $(w^{\mathrm{opt}},b^{\mathrm{opt}})=\underset{(w,b)\&Element;\mathrm{\&Psi;}}{\arg \min }\underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2,$ 利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为

其中，Ψ表示对训练样本数据集合Ω_t中的所有立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合， $\underset{(w,b)\&Element;\mathrm{\&Psi;}}{\arg \min }\underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2$ 表示使得 $\underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2$ 最小的w和b的值，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，

表示支持向量回归训练模型的输入矢量X_inp的线性函数。

⑦-5、将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k′幅立体图像的客观视觉舒适度评价预测值记为Q_k′，

其中，1≤k′≤K′，X_k′表示测试样本数据集合中的第k′幅立体图像的特征矢量，

表示X_k′的线性函数。

⑦-6、再重新随机选择立体图像集合中的幅立体图像构成训练集，将立体图像集合中剩余的K′=n-t幅立体图像构成测试集，然后返回步骤⑦-2继续执行，在经过N次迭代后，计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，再将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。

在本实施例中，利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数（Pearson linear correlation coefficient，PLCC）、Spearman相关系数（Spearman rank order correlation coefficient，SROCC）、Kendall相关系数（Kendall rank-order correlation coefficient，KROCC)、均方误差（root mean squarederror，RMSE），PLCC和RMSE反映客观评价预测值的准确性，SROCC和KROCC反映其单调性。将计算得到的120幅立体图像的客观视觉舒适度评价预测值做五参数Logistic函数非线性拟合，PLCC、SROCC和KROCC值越高、RMSE值越小说明本发明方法的评价结果与平均主观评分均值的相关性越好。表1给出了采用不同特征组合得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性，从表1中可以看出，只采用两个特征组合得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性均不是最优的，并且由视差幅度特征构成的特征对评价性能的影响比其他两个特征要大，这说明了本发明方法提取的视差幅度、视差梯度和空间频率特征是有效的，使得得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性更强，这足以说明本发明方法是有效的。

图5给出了采用视差幅度和视差梯度两个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图，图6给出了采用视差幅度和空间频率两个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图，图7给出了采用视差梯度和空间频率两个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图，图8给出了采用视差幅度、视差梯度和空间频率三个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图，散点图中的散点越集中，说明客观评价结果与主观感知的一致性越好。从图5至图8中可以看出，采用本发明方法得到的散点图中的散点比较集中，与主观评价数据之间的吻合度较高。

表1 采用不同特征组合得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性

特征矢量	X=[ξ1,ξ2]	X=[ξ1,ξ3]	X=[ξ2,ξ3]	X=[ξ1,ξ2,ξ3]
					PLCC	0.7478	0.7726	0.6472	0.7996
SROCC	0.7881	0.8101	0.6800	0.8192
					KROCC	0.5849	0.6038	0.5016	0.6123
RMSE	0.5341	0.5109	0.6133	0.4732

Claims (9)

1.一种立体图像视觉舒适度评价方法，其特征在于包括以下步骤：

①将待评价的立体图像的左视点图像记为{I_L(x,y)}，将待评价的立体图像的右视点图像记为{I_R(x,y)}，将待评价的立体图像的右视差图像记为{d_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的宽度，H表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的像素值；

②采用多个不同尺度对{I_R(x,y)}进行分块处理，然后获取{I_R(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{I_R(x,y)}在不同尺度下的每个子块的特征矢量，获取{I_R(x,y)}在不同尺度下的每个子块的显著值，进而获得{I_R(x,y)}在不同尺度下的图像显著图，最后将{I_R(x,y)}在不同尺度下的图像显著图进行融合，得到{I_R(x,y)}的最终的图像显著图，记为{SM_img(x,y)}，其中，SM_img(x,y)表示{SM_img(x,y)}中坐标位置为(x,y)的像素点的像素值；

③采用多个不同尺度对{d_R(x,y)}进行分块处理，然后获取{d_R(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{d_R(x,y)}在不同尺度下的每个子块的特征矢量，获取{d_R(x,y)}在不同尺度下的每个子块的显著值，进而获得{d_R(x,y)}在不同尺度下的深度显著图，最后将{d_R(x,y)}在不同尺度下的深度显著图进行融合，得到{d_R(x,y)}的最终的深度显著图，记为{SM_dep(x,y)}，其中，SM_dep(x,y)表示{SM_dep(x,y)}中坐标位置为(x,y)的像素点的像素值；

④根据{I_R(x,y)}的图像显著图{SM_img(x,y)}和{d_R(x,y)}的深度显著图{SM_dep(x,y)}，获取{I_R(x,y)}的立体显著图，记为{SM_3D(x,y)}，将{SM_3D(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM_3D(x,y)，其中，

表示SM_img(x,y)的权重，

表示SM_dep(x,y)的权重，

⑤根据{d_R(x,y)}和{SM_3D(x,y)}，计算{d_R(x,y)}中立体显著图加权的视差幅值和视差梯度，对应记为ξ₁和ξ₂；并根据{I_R(x,y)}和{SM_3D(x,y)}，计算{I_R(x,y)}中立体显著图加权的空间频率，记为ξ₃；然后将ξ₁、ξ₂和ξ₃按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X=[ξ₁,ξ₂,ξ₃]，其中，此处符号“[]”为矢量表示符号；

⑥采用n副各不相同的立体图像以及每幅立体图像对应的右视差图像建立一个立体图像集合，其中，n≥1；然后利用主观质量评价方法分别获取立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，将立体图像集合中的第i幅立体图像的视觉舒适度的平均主观评分均值记为MOS_i，其中，1≤i≤n，MOS_i∈[1,5]；再按照步骤①至步骤⑤获取待评价的立体图像的特征矢量X的操作，以相同的方式分别获取立体图像集合中的每幅立体图像的特征矢量，将立体图像集合中的第i幅立体图像的特征矢量记为X_i；

⑦将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，训练得到最优的权重矢量w^opt和最优的偏置项b^opt，接着利用w^opt和b^opt构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k′幅立体图像的客观视觉舒适度评价预测值记为Q_k′，Q_k′=f(X_k′)，

其中，1≤k′≤K′，K′表示测试样本数据集合中包含的立体图像的幅数，f()为函数表示形式，X_k′表示测试样本数据集合中的第k′幅立体图像的特征矢量，(w^opt)^T为w^opt的转置矢量，

表示X_k′的线性函数；

之后通过重新分配训练集和测试集，重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，经过N次迭代后计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。

2.根据权利要求1所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤②的具体过程为：

②-1、采用J个不同尺度对{I_R(x,y)}进行分块处理，在第j个尺度h_j下将{I_R(x,y)}划分成个互不重叠的尺寸大小为h_j×h_j的子块，其中，1≤j≤J，2≤J≤5，符号

为向下取整符号；

②-2、将{I_R(x,y)}在第j个尺度h_j下当前待处理的第l个子块定义为当前第一子块，其中，

②-3、将当前第一子块记为{f_j,l(x₂,y₂)}，其中，(x₂,y₂)表示当前第一子块{f_j,l(x₂,y₂)}中的像素点的坐标位置，1≤x₂≤h_j,1≤y₂≤h_j，f_j,l(x₂,y₂)表示当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的像素值；

②-4、获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的水平梯度值和垂直梯度值，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的红-绿颜色分量及蓝-黄颜色分量，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点经Log-Gabor滤波后得到的振幅；

②-5、根据步骤②-4获取的当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的多个图像感知特征，以及当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的坐标位置，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的特征矢量，将当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的特征矢量记为

$X_{j,l}^f(x_2,y_2)=$ $[{\mathrm{GX}}^f(x_2,y_2),{\mathrm{GY}}^f(x_2,y_2),L(x_2,y_2),a(x_2,y_2),b(x_2,y_2),\mathrm{\&Delta;RG}(x_2,y_2),\mathrm{\&Delta;BY}(x_2,y_2),\mathrm{LG}(x_2,y_2),x_2,y_2]$ ，其中，符号“[]”为矢量表示符号，的维数为10，GX^f(x₂,y₂)和GY^f(x₂,y₂)对应为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的水平梯度值和垂直梯度值，L(x₂,y₂)、a(x₂,y₂)及b(x₂,y₂)对应为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，ΔRG(x₂,y₂)和ΔBY(x₂,y₂)对应为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的红-绿颜色分量和蓝-黄颜色分量，LG(x₂,y₂)为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点经Log-Gabor滤波后得到的振幅；

②-6、根据当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的特征矢量，计算当前第一子块{f_j,l(x₂,y₂)}的协方差矩阵，记为

$C_{j,l}^f=\frac{1}{h_j\&times;h_j-1}\underset{x_2=1}{\overset{h_j}{\mathrm{\&Sigma;}}}\underset{y_2=1}{\overset{h_j}{\mathrm{\&Sigma;}}}(X_{j,l}^f(x_2,y_2)-{\mathrm{\&mu;}}_{j,l}^f)(X_{j,l}^f(x_2,y_2)-{{\mathrm{\&mu;}}_{j,l}^f)}^T,$ 其中，表示当前第一子块{f_j,l(x₂,y₂)}中的所有像素点的特征矢量的均值矢量，为

的转置矢量，

的维数为10×10；

②-7、对当前第一子块{f_j,l(x₂,y₂)}的协方差矩阵

进行Cholesky分解，

得到当前第一子块{f_j,l(x₂,y₂)}的Sigma特征集，记为

$S_{j,l}^f=[\sqrt{10}\&times;L^{\left(1\right)},...,\sqrt{10}\&times;L^{\left(i\right)},...,\sqrt{10}\&times;L^{\left(10\right)},-\sqrt{10}\&times;L^{\left(1\right)},...,-\sqrt{10}\&times;L^{\left(i^{\&prime;}\right)},...,-\sqrt{10}\&times;L^{\left(10\right)},{\mathrm{\&mu;}}_{j,l}^f],$ 其中，L^T为L的转置矩阵，此处1≤i′≤10，L⁽¹⁾表示L的第1列向量，L^(i′)表示L的第i′列向量，L⁽¹⁰⁾表示L的第10列向量，

的维数为10×21；

②-8、计算当前第一子块{f_j,l(x₂,y₂)}的显著值，记为

${\mathrm{SM}}_{j,l}^f=\frac{\underset{l^{\&prime;}\&Element;N\left(l\right)}{\mathrm{\&Sigma;}}k(y_{{j,l}^{\&prime;}}^f,y_{j,\min }^f)\&CenterDot;y_{{j,l}^{\&prime;}}^f}{\underset{l^{\&prime;}\&Element;N\left(l\right)}{\mathrm{\&Sigma;}}k(y_{{j,l}^{\&prime;}}^f,y_{j,\min }^f)},$ 其中，

N(l)表示以当前第一子块{f_j,l(x₂,y₂)}为中心的邻域窗口，

表示当前第一子块{f_j,l(x₂,y₂)}的Sigma特征集

与相邻的第l′个子块的Sigma特征集

之间的欧式距离，符号“”为求欧式距离符号，此处x_l表示当前第一子块{f_j,l(x₂,y₂)}的中心像素点的坐标位置，此处x_l′表示与当前第一子块{f_j,l(x₂,y₂)}相邻的第l′个子块的中心像素点的坐标位置，

表示N(l)内的所有子块的Sigma特征集与当前第一子块{f_j,l(x₂,y₂)}的Sigma特征集

之间的欧氏距离中的最小值，

h为控制系数；

②-9、根据人眼的中心偏移特性，计算当前第一子块{f_j,l(x₂,y₂)}的最终的显著值，记为

其中，符号“|| ||”为求欧式距离符号，x_c表示{I_R(x,y)}的中心像素点的坐标位置，Z为控制系数；

②-10、将当前第一子块{f_j,l(x₂,y₂)}的最终的显著值

作为当前第一子块{f_j,l(x₂,y₂)}中的所有像素点的显著值，然后令l=l+1，将{I_R(x,y)}在第j个尺度h_j下下一个待处理的子块作为当前第一子块，再返回步骤②-3继续执行，直至{I_R(x,y)}在第j个尺度h_j下的所有子块均处理完毕，得到在第j个尺度h_j下{I_R(x,y)}的图像显著图，记为

其中，l=l+1中的“=”为赋值符号，

表示

中坐标位置为(x,y)的像素点的像素值；

②-11、令j=j+1，然后返回步骤②-2继续执行，直至得到{I_R(x,y)}在J个不同尺度下的图像显著图，再将{I_R(x,y)}在J个不同尺度下的图像显著图进行融合，得到{I_R(x,y)}的最终的图像显著图，记为{SM_img(x,y)}，将{SM_img(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM_img(x,y)， ${\mathrm{SM}}_{\mathrm{img}}(x,y)=G_{\mathrm{\&sigma;}}(x,y)*\underset{1\&le;j\&le;J}{\mathrm{\&Pi;}}{\mathrm{SM}}_{h_j}^f(x,y),$ 其中，j=j+1中“=”为赋值符号，“*”为卷积操作符号，G_σ(x,y)表示标准差为σ的高斯函数。

3.根据权利要求2所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤②-1中取J=4，j=1时取h₁=8，j=2时取h₂=16，j=3时取h₃=32，j=4时取h₄=64；所述的步骤②-8中取N(l)的大小为7×7，取h=0.5；所述的步骤②-9中取

所述的步骤②-11中取σ=0.02×H。

4.根据权利要求1至3中任一项所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤③的具体过程为：

③-1、采用J个不同尺度对{d_R(x,y)}进行分块处理，在第j个尺度h_j下将{d_R(x,y)}划分成

个互不重叠的尺寸大小为h_j×h_j的子块，其中，1≤j≤J，2≤J≤5，符号为向下取整符号；

③-2、将{d_R(x,y)}在第j个尺度h_j下当前待处理的第l个子块定义为当前第二子块，其中，

③-3、将当前第二子块记为{g_j,l(x₂,y₂)}，其中，(x₂,y₂)表示当前第二子块{g_j,l(x₂,y₂)}中的像素点的坐标位置，1≤x₂≤h_j,1≤y₂≤h_j，g_j,l(x₂,y₂)表示当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的像素值；

③-4、获取当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的像素值、水平梯度值和垂直梯度值，获取当前第二子块{g_j,l(x₂,y₂)}中的每个像素点经高斯差分算子后得到的响应值；

③-5、根据步骤③-4获取的当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的多个深度感知特征，获取当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的特征矢量，将当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的特征矢量记为

$X_{j,l}^g(x_2,y_2)=[d_R(x_2,y_2),{\mathrm{GX}}^g(x_2,y_2),{\mathrm{GY}}^g(x_2,y_2),\mathrm{DoG}(x_2,y_2)],$ 其中，符号“[]”为矢量表示符号，

的维数为4，d_R(x₂,y₂)为当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的像素值，GX^g(x₂,y₂)和GY^g(x₂,y₂)对应为当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的水平梯度值和垂直梯度值，DoG(x₂,y₂)为当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点经高斯差分算子后得到的响应值；

③-6、根据当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的特征矢量，计算当前第二子块{g_j,l(x₂,y₂)}的协方差矩阵，记为

$C_{j,l}^g=\frac{1}{h_j\&times;h_j-1}\underset{x_2=1}{\overset{h_j}{\mathrm{\&Sigma;}}}\underset{y_2=1}{\overset{h_j}{\mathrm{\&Sigma;}}}(X_{j,l}^g(x_2,y_2)-{\mathrm{\&mu;}}_{j,l}^g){(X_{j,l}^g(x_2,y_2)-{\mathrm{\&mu;}}_{j,l}^g)}^T,$ 其中，

表示当前第二子块{g_j,l(x₂,y₂)}中的所有像素点的特征矢量的均值矢量，

为

的转置矢量，

的维数为4×4；

③-7、对当前第二子块{g_j,l(x₂,y₂)}的协方差矩阵

进行Cholesky分解，

得到当前第二子块{g_j,l(x₂,y₂)}的Sigma特征集，记为

$S_{j,l}^g=[\sqrt{4}\&times;L^{\&prime;\left(1\right)},...,\sqrt{4}\&times;L^{\&prime;\left(i^{\&prime;}\right)},...,\sqrt{4}\&times;L^{\&prime;\left(4\right)},-\sqrt{4}\&times;L^{\&prime;\left(1\right)},...,-\sqrt{4}\&times;L^{\&prime;\left(i^{\&prime;}\right)},...,-\sqrt{4}\&times;L^{\&prime;\left(4\right)},{\mathrm{\&mu;}}_{j,l}^g],$ 其中，L′^T为L′的转置矩阵，此处1≤i′≤4，L′⁽¹⁾表示L′的第1列向量，L′^(i′)表示L′的第i′列向量，L′⁽⁴⁾表示L′的第4列向量，

的维数为4×9；

③-8、计算当前第二子块{g_j,l(x₂,y₂)}的显著值，记为 ${\mathrm{SM}}_{j,l}^g=\frac{\underset{l^{\&prime;}{\&Element;N}^{\&prime;}\left(l\right)}{\mathrm{\&Sigma;}}k(y_{{j,l}^{\&prime;}}^g,y_{j,\min }^g)\&CenterDot;y_{{j,l}^{\&prime;}}^g}{\underset{l^{\&prime;}{\&Element;N}^{\&prime;}\left(l\right)}{\mathrm{\&Sigma;}}k(y_{{j,l}^{\&prime;}}^g,y_{j,\min }^g)},$ 其中，

N′(l)表示以当前第二子块{g_j,l(x₂,y₂)}为中心的邻域窗口，

表示当前第二子块{g_j,l(x₂,y₂)}的Sigma特征集

与相邻的第l′个子块的Sigma特征集

之间的欧式距离，

符号“|| ||”为求欧式距离符号，此处x_l表示当前第二子块{g_j,l(x₂,y₂)}的中心像素点的坐标位置，此处x_l′表示与当前第二子块{g_j,l(x₂,y₂)}相邻的第l′个子块的中心像素点的坐标位置，

表示N′(l)内的所有子块的Sigma特征集与当前第二子块{g_j,l(x₂,y₂)}的Sigma特征集之间的欧氏距离中的最小值，h为控制系数；

③-9、将当前第二子块{g_j,l(x₂,y₂)}的显著值

作为当前第二子块{g_j,l(x₂,y₂)}中的所有像素点的显著值，然后令l=l+1，将{d_R(x,y)}在第j个尺度h_j下下一个待处理的子块作为当前第二子块，再返回步骤③-3继续执行，直至{d_R(x,y)}在第j个尺度h_j下的所有子块均处理完毕，得到在第j个尺度h_j下{d_R(x,y)}的深度显著图，记为

其中，l=l+1中的“=”为赋值符号，

表示

中坐标位置为(x,y)的像素点的像素值；

③-10、令j=j+1，然后返回步骤③-2继续执行，直至得到{d_R(x,y)}在J个不同尺度下的深度显著图，再将{d_R(x,y)}在J个不同尺度下的深度显著图进行融合，得到{d_R(x,y)}的最终的深度显著图，记为{SM_dep(x,y)}，将{SM_dep(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM_dep(x,y)， ${\mathrm{SM}}_{\mathrm{dep}}(x,y)=G_{\mathrm{\&sigma;}}(x,y)*\underset{1\&le;j\&le;J}{\mathrm{\&Pi;}}{\mathrm{SM}}_{h_j}^g(x,y),$ 其中，j=j+1中“=”为赋值符号，“*”为卷积操作符号，G_σ(x,y)表示标准差为σ的高斯函数。

5.根据权利要求4所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤③-1中取J=4，j=1时取h₁=8，j=2时取h₂=16，j=3时取h₃=32，j=4时取h₄=64；所述的步骤③-8中取N′(l)的大小为3×3，取h=0.5；所述的步骤③-10中取σ=0.02×H。

6.根据权利要求5所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤④中取

7.根据权利要求6所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤⑤的具体过程为：

⑤-1、根据{d_R(x,y)}和{SM_3D(x,y)}，计算{d_R(x,y)}中立体显著图加权的视差幅值，记为ξ₁， ${\mathrm{\&xi;}}_1=\frac{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)\&CenterDot;\left|d_R(x,y)\right|}{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)},$ 其中，符号“|| ||”为取绝对值符号；

⑤-2、根据{d_R(x,y)}和{SM_3D(x,y)}，计算{d_R(x,y)}中立体显著图加权的视差梯度，记为ξ₂， ${\mathrm{\&xi;}}_2=\frac{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)\&CenterDot;\left|{\mathrm{\&Delta;d}}_R(x,y)\right|}{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)},$ Δd_R(x,y)=(d_R(x+1,y)+d_R(x-1,y)+d_R(x,y+1)+d_R(x,y-1))/4-d_R(x,y)，其中，符号“|| ||”为取绝对值符号，d_R(x+1,y)表示{d_R(x,y)}中坐标位置为(x+1,y)的像素点的像素值，d_R(x-1,y)表示{d_R(x,y)}中坐标位置为(x-1,y)的像素点的像素值，d_R(x,y+1)表示{d_R(x,y)}中坐标位置为(x,y+1)的像素点的像素值，d_R(x,y-1)表示{d_R(x,y)}中坐标位置为(x,y-1)的像素点的像素值，如果x+1>W，则d_R(x+1,y)的值由d_R(W,y)的值替代，如果x-1<1，则d_R(x-1,y)的值由d_R(1,y)的值替代，如果y+1>H，则d_R(x,y+1)的值由d_R(x,H)的值替代，如果y-1<1，则d_R(x,y-1)的值由d_R(x,1)的值替代；

⑤-3、根据{I_R(x,y)}和{SM_3D(x,y)}，计算{I_R(x,y)}中立体显著图加权的空间频率，记为ξ₃， ${\mathrm{\&xi;}}_3=\frac{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)\&CenterDot;c(x,y)}{\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{SM}}_{3D}(x,y)},$ $c(x,y)=\sqrt{{(I_R(x,y)-I_R(x-1,y))}^2+{(I_R(x,y)-I_R(x,y-1))}^2},$ 其中，I_R(x-1,y)表示{I_R(x,y)}中坐标位置为(x-1,y)的像素点的像素值，I_R(x,y-1)表示{I_R(x,y)}中坐标位置为(x,y-1)的像素点的像素值，如果x-1<1，则I_R(x-1,y)的值由I_R(1,y)的值替代，如果y-1<1，则I_R(x,y-1)的值由I_R(x,1)的值替代；

⑤-4、将ξ₁、ξ₂和ξ₃按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X=[ξ₁,ξ₂,ξ₃]，其中，此处符号“[]”为矢量表示符号，X的维数为3。

8.根据权利要求7所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤⑦的具体过程为：

⑦-1、随机选择立体图像集合中的

幅立体图像构成训练集，将立体图像集合中剩余的K′=n-t幅立体图像构成测试集，其中，符号

为向上取整符号；

⑦-2、将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，记为Ω_t，{X_k,MOS_k}∈Ω_t，其中，X_k表示训练样本数据集合Ω_t中的第k幅立体图像的特征矢量，MOS_k表示训练样本数据集合Ω_t中的第k幅立体图像的平均主观评分均值，1≤k≤t；

⑦-3、构造训练样本数据集合Ω_t中的每幅立体图像的特征矢量的回归函数，将X_k的回归函数记为f(X_k)，

其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矢量，b为偏置项，

表示X_k的线性函数，

D(X_k,X_l′)为支持向量回归中的核函数，

X_l′为训练样本数据集合Ω_t中的第l′幅立体图像的特征矢量，1≤l′≤t，γ为核参数，exp()表示以e为底的指数函数，e=2.71828183，符号“|| ||”为求欧式距离符号；

⑦-4、采用支持向量回归作为机器学习的方法，对训练样本数据集合Ω_t中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，拟合得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为(w^opt,b^opt)， $(w^{\mathrm{opt}},b^{\mathrm{opt}})=\underset{(w,b)\&Element;\mathrm{\&Psi;}}{\arg \min }\underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{\left(f\left(X_k\right)-{\mathrm{MOS}}_k\right)}^2,$ 利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为其中，Ψ表示对训练样本数据集合Ω_t中的所有立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合， $\underset{(w,b)\&Element;\mathrm{\&Psi;}}{\arg \min }\underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2$ 表示使得 $\underset{k=1}{\overset{t}{\mathrm{\&Sigma;}}}{(f\left(X_k\right)-{\mathrm{MOS}}_k)}^2$ 最小的w和b的值，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，

表示支持向量回归训练模型的输入矢量X_inp的线性函数；

⑦-5、将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k′幅立体图像的客观视觉舒适度评价预测值记为Q_k′，Q_k′=f(X_k′)，

其中，1≤k′≤K′，X_k′表示测试样本数据集合中的第k′幅立体图像的特征矢量，

表示X_k′的线性函数；

⑦-6、再重新随机选择立体图像集合中的

幅立体图像构成训练集，将立体图像集合中剩余的K′=n-t幅立体图像构成测试集，然后返回步骤⑦-2继续执行，在经过N次迭代后，计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，再将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。

9.根据权利要求8所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤⑦-3中取γ=54。

Images