CN104822058B - 一种立体图像显著图提取方法 - Google Patents

Abstract

本发明公开了一种立体图像显著图提取方法，其在训练阶段，提取多幅训练立体图像的右视点图像中的每个区域的对比度特征矢量、通用特征矢量和背景先验特征矢量，并融合得到每幅立体图像的右视点图像中的每个区域的用于反映视觉显著性的特征矢量，建立特征矢量与平均眼动值之间的随机森林回归训练模型；在测试阶段，计算测试立体图像的右视点图像中的每个区域的用于反映视觉显著性的特征矢量，并根据已训练得到的随机森林回归训练模型，预测得到测试立体图像的三维显著图；优点是所提取的特征能够较好地反映各种因素的显著变化情况，从而有效地提高了视觉显著值的预测准确性。

Description

一种立体图像显著图提取方法

技术领域

本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像显著图提取方法。

背景技术

在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。

然而，人眼感知立体图像产生立体视觉的过程并不是简单的左视点图像和右视点图像叠加的过程，因此，立体视觉特征(例如：三维视觉注意力)并不是平面视觉特性的简单拓展，如何从立体图像中有效地提取出立体视觉特征、如何使得提取出的立体视觉特征符合人眼三维观看行为，都是在对立体图像进行视觉显著图提取过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种立体图像显著图提取方法，其符合显著语义特征，且具有较强的提取稳定性和较高的提取准确性。

本发明解决上述技术问题所采用的技术方案为：一种立体图像显著图提取方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段的具体步骤如下：

①-1、将选取的N副各不相同的立体图像以及每幅立体图像的右视差图像构成一个集合，记为{L_i,R_i,d_i|1≤i≤N}，其中，N≥1，L_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的左视点图像，R_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的右视点图像，d_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的右视差图像；

①-2、采用超像素分割技术将{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像分割成M个互不重叠的区域，将R_i中的第h个区域记为SP_i,h，其中，M≥1，1≤h≤M；

①-3、计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量，将R_i中的第h个区域SP_i,h的对比度特征矢量记为 $X_{i,h}^c=[d_{i,h}{,d}_{i,h}^1,d_{i,h}^2,d_{i,h}^3,d_{i,h}^4,d_{i,h}^5,d_{i,h}^6],$ 其中，的维数为36，此处符号“[]”为矢量表示符号，d_i,h表示SP_i,h的第一特征矢量u_i,h与相邻区域的第一特征矢量的距离，f_i,h的维数为20，f_i,h表示SP_i,h中的所有像素点的频率响应特征矢量的均值，c_i,h的维数为9，c_i,h表示SP_i,h中的所有像素点的颜色特征矢量的均值，d_i,h表示SP_i,h的视差幅值的均值，表示SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，表示SP_i,h中的所有像素点的LBP特征统计直方图与SP_i,h的相邻区域中的所有像素点的LBP特征统计直方图的距离，表示SP_i,h中的所有像素点的视差统计直方图与SP_i,h的相邻区域中的所有像素点的视差统计直方图的距离，此处的相邻区域是指R_i中与SP_i,h相邻的区域；

①-4、计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的通用特征矢量，将R_i中的第h个区域SP_i,h的通用特征矢量记为 其中，的维数为33，此处符号“[]”为矢量表示符号，的维数为20，表示SP_i,h中的所有像素点的频率响应特征矢量的方差，的维数为9，表示SP_i,h中的所有像素点的颜色特征矢量的方差，表示SP_i,h的视差幅值的方差，x_i,h的维数为2，x_i,h表示SP_i,h的中心像素点的坐标位置，s_i,h表示SP_i,h的面积；

①-5、计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的背景先验特征矢量，将R_i中的第h个区域SP_i,h的背景先验特征矢量记为 $X_{i,h}^b=[e_{i,h},e_{i,h}^1,e_{i,h}^2,e_{i,h}^3,e_{i,h}^4,e_{i,h}^5,e_{i,h}^6],$ 其中，的维数为36，此处符号“[]”为矢量表示符号，e_i,h表示SP_i,h的第一特征矢量u_i,h与背景区域的第一特征矢量的距离，f_i,h的维数为20，f_i,h表示SP_i,h中的所有像素点的频率响应特征矢量的均值，c_i,h的维数为9，c_i,h表示SP_i,h中的所有像素点的颜色特征矢量的均值，表示SP_i,h的视差幅值的均值，表示SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图与R_i中的背景区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图与R_i中的背景区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图与R_i中的背景区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色直方图与R_i中的背景区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，表示SP_i,h中的所有像素点的LBP特征统计直方图与R_i中的背景区域中的所有像素点的LBP特征统计直方图的距离，表示SP_i,h中的所有像素点的视差统计直方图与R_i中的背景区域中的所有像素点的视差统计直方图的距离，此处的背景区域是指R_i中位于最左边、最右边、最上边、最下边的区域；

①-6、将{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量、通用特征矢量和背景先验特征矢量按顺序进行排列，构成{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的用于反映视觉显著性的特征矢量，将R_i中的第h个区域SP_i,h的用于反映视觉显著性的特征矢量记为X_i,h，其中，X_i,h的维数为105，此处符号“[]”为矢量表示符号；

①-7、采用随机森林回归，对{L_i,R_i,d_i|1≤i≤N}中的所有立体图像的右视点图像中的所有区域的用于反映视觉显著性的特征矢量进行训练，并使得经过训练得到的回归函数值与平均眼动值之间的误差最小，得到最优的随机森林回归训练模型，记为f(D_inp)，其中，f()为函数表示形式，D_inp表示随机森林回归训练模型的输入矢量；

所述的测试阶段的具体步骤如下：

②-1、对于任意一副测试立体图像S_test，将S_test的左视点图像、右视点图像、右视差图像对应记为L_test、R_test、d_test；然后采用超像素分割技术将R_test分割成M个互不重叠的区域，将R_test中的第h个区域记为SP_h'；其中，M≥1，1≤h≤M；

②-2、按照步骤①-3至步骤①-6的过程，以相同的操作方式获取R_test中的每个区域的用于反映视觉显著性的特征矢量，将R_test中的第h个区域SP_h'的用于反映视觉显著性的特征矢量记为F_test,h；然后根据训练阶段得到的最优的随机森林回归训练模型f(D_inp)，将F_test,h作为最优的随机森林回归训练模型的输入矢量，获取R_test中的每个区域的三维视觉显著值，将R_test中的第h个区域SP_h'的三维视觉显著值记为S_3D,h，S_3D,h＝f(F_test,h)；再将R_test中的每个区域的三维视觉显著值作为对应区域中的所有像素点的显著值，从而得到R_test的三维显著图，记为{S_3D(x,y)}，其中，此处(x,y)表示S_test中的像素点的坐标位置，1≤x≤W,1≤y≤H，W和H对应表示S_test的宽度和高度，S_3D(x,y)表示{S_3D(x,y)}中坐标位置为(x,y)的像素点的像素值。

所述的步骤①-3中R_i中的第h个区域SP_i,h的对比度特征矢量的获取过程为：

a1、计算R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量的均值，记为f_i,h，f_i,h中的第个元素的值等于R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量中的第个元素的频率响应振幅的均值，其中，f_i,h的维数为20，

a2、计算R_i中的第h个区域SP_i,h中的所有像素点的颜色特征矢量的均值，记为c_i,h， $c_{i,h}=[{\stackrel{\‾}{R}}_{i,h},{\stackrel{\‾}{G}}_{i,h},{\stackrel{\‾}{B}}_{i,h},{\stackrel{\‾}{L}}_{i,h},{\stackrel{\‾}{a}}_{i.h},{\stackrel{\‾}{b}}_{i,h},{\stackrel{\‾}{H}}_{i,h},{\stackrel{\‾}{V}}_{i,h},{\stackrel{\‾}{S}}_{i,h}],$ 其中，c_i,h的维数为9，此处符号“[]”为矢量表示符号，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的V分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色值的均值；

a3、计算R_i中的第h个区域SP_i,h的视差幅值的均值，记为等于d_i中与SP_i,h对应的区域中的所有像素点的像素值的均值；

a4、将f_i,h、c_i,h和按顺序进行排列，构成R_i中的第h个区域SP_i,h的第一特征矢量，记为u_i,h，其中，u_i,h的维数为30，此处符号“[]”为矢量表示符号；

a5、计算R_i中的第h个区域SP_i,h的第一特征矢量u_i,h与相邻区域的第一特征矢量的距离，记为d_i,h，其中，d_i,h的维数为30，1≤p≤M，表示R_i中的第h个区域SP_i,h的相邻区域的序号的集合，u_i,p表示R_i中的第p个区域SP_i,p的第一特征矢量，符号“||”为取绝对值符号，P表示R_i中的第h个区域SP_i,h的相邻区域的总个数，此处的相邻区域是指R_i中与SP_i,h相邻的区域；

a6、计算R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点的LBP特征统计直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点的视差统计直方图，记为其中，的维数为16³，的维数为16³，的维数为16，的维数为16，的维数为256，的维数为16；

a7、计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点的LBP特征统计直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点的视差统计直方图的距离，记为

其中，1≤p≤M，表示R_i中的第h个区域SP_i,h的相邻区域的序号的集合，P表示R_i中的第h个区域SP_i,h的相邻区域的总个数，χ()为求卡方距离函数，表示R_i中的第p个区域SP_i,p中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图，表示R_i中的第p个区域SP_i,p中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图，表示R_i中的第p个区域SP_i,p中的所有像素点在HVS颜色空间的H分量的颜色直方图，表示R_i中的第p个区域SP_i,p中的所有像素点在HVS颜色空间的S分量的颜色直方图，表示R_i中的第p个区域SP_i,p中的所有像素点的LBP特征统计直方图，表示R_i中的第p个区域SP_i,p中的所有像素点的视差统计直方图；

a8、将d_i,h、和按顺序进行排列，构成R_i中的第h个区域SP_i,h的对比度特征矢量，记为 $X_{i,h}^b=[e_{i,h},e_{i,h}^1,e_{i,h}^2,e_{i,h}^3,e_{i,h}^4,e_{i,h}^5,e_{i,h}^6],$ 其中，的维数为36，此处符号“[]”为矢量表示符号。

所述的步骤①-4中R_i中的第h个区域SP_i,h的通用特征矢量的获取过程为：

b1、计算R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量的方差，记为中的第个元素的值等于R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量中的第个元素的频率响应振幅的方差，其中，的维数为20，

b2、计算R_i中的第h个区域SP_i,h中的所有像素点的颜色特征矢量的方差，记为 ${\hat{c}}_{i,h}=[{\hat{R}}_{i,h},{\hat{G}}_{i,h},{\hat{B}}_{i,h},{\hat{L}}_{i,h},{\hat{a}}_{i,h},{\hat{b}}_{i,h},{\hat{H}}_{i,h},{\hat{V}}_{i,h},{\hat{S}}_{i,h}],$ 其中，的维数为9，此处符号“[]”为矢量表示符号，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的V分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色值的方差；

b3、计算R_i中的第h个区域SP_i，h的视差幅值的方差，记为等于d_i中与SP_i,h对应的区域中的所有像素点的像素值的方差；

b4、获取R_i中的第h个区域SP_i,h的中心像素点的坐标位置，记为x_i,h，其中，x_i,h的维数为2；

b5、计算R_i中的第h个区域SP_i,h的面积，记为s_i,h；

b6、将x_i,h和s_i,h按顺序进行排列，构成R_i中的第h个区域SP_i,h的通用特征矢量，记为 $X_{i,h}^a=[{\hat{f}}_{i,h},{\hat{c}}_{i,h},{\hat{d}}_{i,h},x_{i,h},s_{i,h}],$ 其中，的维数为33，此处符号“[]”为矢量表示符号。

所述的步骤①-5中R_i中的第h个区域SP_i,h的背景先验特征矢量的获取过程为：

c1、计算R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量的均值，记为f_i,h，f_i,h中的第个元素的值等于R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量中的第个元素的频率响应振幅的均值，其中，f_i,h的维数为20，

c2、计算R_i中的第h个区域SP_i,h中的所有像素点的颜色特征矢量的均值，记为c_i,h， $c_{i,h}=[{\stackrel{\‾}{R}}_{i,h},{\stackrel{\‾}{G}}_{i,h},{\stackrel{\‾}{B}}_{i,h},{\stackrel{\‾}{L}}_{i,h},{\stackrel{\‾}{a}}_{i,h},{\stackrel{\‾}{b}}_{i,h},{\stackrel{\‾}{H}}_{i,h},{\stackrel{\‾}{V}}_{i,h},{\stackrel{\‾}{S}}_{i,h}],$ 其中，c_i,h的维数为9，此处符号“[]”为矢量表示符号，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的V分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色值的均值；

c3、计算R_i中的第h个区域SP_i,h的视差幅值的均值，记为等于d_i中与SP_i,h对应的区域中的所有像素点的像素值的均值；

c4、将f_i,h、c_i,h和按顺序进行排列，构成R_i中的第h个区域SP_i,h的第一特征矢量，记为u_i,h，其中，u_i,h的维数为30，此处符号“[]”为矢量表示符号；

c5、计算R_i中的第h个区域SP_i,h的第一特征矢量u_i,h与背景区域的第一特征矢量的距离，记为e_i,h，其中，e_i,h的维数为30，1≤q≤M，表示R_i中的所有背景区域的序号的集合，u_i,q表示R_i中的第q个区域SP_i,q的第一特征矢量，符号“||”为取绝对值符号，Q表示R_i中的背景区域的总个数，此处的背景区域是指R_i中位于最左边、最右边、最上边、最下边的区域；

c6、计算R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点的LBP特征统计直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点的视差统计直方图，记为其中，的维数为16³，的维数为16³，的维数为16，的维数为16，的维数为256，的维数为16；

c7、计算与R_i中的背景区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，记为

计算与R_i中的背景区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，记为

计算与R_i中的背景区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，记为

计算与R_i中的背景区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，记为

计算与R_i中的背景区域中的所有像素点的LBP特征统计直方图的距离，记为

计算与R_i中的背景区域中的所有像素点的视差统计直方图的距离，记为

其中，1≤q≤M，表示R_i中的所有背景区域的序号的集合，Q表示R_i中的背景区域的总个数，χ()为求卡方距离函数，表示R_i中的第q个区域SP_i,q中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图，表示R_i中的第q个区域SP_i,q中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图，表示R_i中的第q个区域SP_i,q中的所有像素点在HVS颜色空间的H分量的颜色直方图，表示R_i中的第q个区域SP_i,q中的所有像素点在HVS颜色空间的S分量的颜色直方图，表示R_i中的第q个区域SP_i,q中的所有像素点的LBP特征统计直方图，表示R_i中的第q个区域SP_i,q中的所有像素点的视差统计直方图；

c8、将e_i,h、 按顺序进行排列，构成R_i中的第h个区域SP_i,h的背景先验特征矢量，记为 $X_{i,h}^b=[e_{i,h},e_{i,h}^1,e_{i,h}^2,e_{i,h}^3,e_{i,h}^4,e_{i,h}^5,e_{i,h}^6],$ 其中，的维数为36，此处符号“[]”为矢量表示符号。

所述的R_i中的每个像素点的频率响应特征矢量的获取过程为：

1)-1、采用Gabor滤波器对R_i进行滤波处理，得到R_i中的每个像素点在不同中心频率和不同方向因子下的频率响应振幅，将R_i中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应振幅记为G(x,y；ω,θ)，其中，此处(x,y)表示{L_i,R_i,d_i|1≤i≤N}中的立体图像中的像素点的坐标位置，1≤x≤W,1≤y≤H，W和H对应表示{L_i,R_i,d_i|1≤i≤N}中的立体图像的宽度和高度，ω表示Gabor滤波器的中心频率，ω∈Φ_ω，θ表示Gabor滤波器的方向因子，θ∈Φ_θ，Φ_ω表示Gabor滤波器的所有中心频率的集合，Φ_θ表示Gabor滤波器的所有方向因子的集合；

1)-2、将R_i中的每个像素点在不同中心频率和不同方向因子下的频率响应振幅按顺序进行排列，构成R_i中的每个像素点的频率响应特征矢量，将R_i中坐标位置为(x,y)的像素点的频率响应特征矢量记为f_i(x,y)，其中，f_i(x,y)的维数为20。

所述的R_i中的每个像素点的颜色特征矢量的获取过程为：

2)-1、计算R_i中的每个像素点在不同颜色空间的颜色值，将R_i中坐标位置为(x,y)的像素点在RGB颜色空间的R分量、G分量和B分量的颜色值分别记为R(x,y)、G(x,y)和B(x,y)，将R_i中坐标位置为(x,y)的像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色值分别记为L(x,y)、a(x,y)和b(x,y)，将R_i中坐标位置为(x,y)的像素点在HVS颜色空间的H分量、V分量和S分量的颜色值分别记为H(x,y)、V(x,y)和S(x,y)，其中，此处(x,y)表示{L_i,R_i,d_i|1≤i≤N}中的立体图像中的像素点的坐标位置，1≤x≤W,1≤y≤H，W和H对应表示{L_i,R_i,d_i|1≤i≤N}中的立体图像的宽度和高度；

2)-2、将R_i中的每个像素点在不同颜色空间的颜色值按顺序进行排列，构成R_i中的每个像素点的颜色特征矢量，将R_i中坐标位置为(x,y)的像素点的颜色特征矢量记为c_i(x,y)，c_i(x,y)＝[R(x,y),G(x,y),B(x,y),L(x,y),a(x,y),b(x,y),H(x,y),V(x,y),S(x,y)]，其中，c_i(x,y)的维数为9，此处符号“[]”为矢量表示符号。

与现有技术相比，本发明的优点在于：

1)本发明方法同时考虑了立体图像的右视点图像中的每个区域的对比度特征矢量、通用特征矢量和背景先验特征矢量，并融合得到立体图像的右视点图像中的每个区域的用于反映视觉显著性的特征矢量，因此本发明方法具有较高的提取准确性和较强的稳定性，并能够较好地反映各种因素的显著变化情况，符合显著语义特征。

2)本发明方法通过训练构建用于反映视觉显著性的特征矢量与平均眼动值之间的随机森林回归训练模型，然后利用该随机森林回归训练模型来预测测试立体图像的右视点图像中的每个区域的三维视觉显著值，从而得到测试立体图像的三维显著图，有效地提高了视觉显著值的预测准确性。

附图说明

图1为本发明方法的总体实现框图；

图2a为“Image1”的右视点图像；

图2b为“Image1”的右视点图像的真实眼动图；

图2c为“Image1”的三维显著图；

图3a为“Image2”的右视点图像；

图3b为“Image2”的右视点图像的真实眼动图；

图3c为“Image2”的三维显著图；

图4a为“Image3”的右视点图像；

图4b为“Image3”的右视点图像的真实眼动图；

图4c为“Image3”的三维显著图；

图5a为“Image4”的右视点图像；

图5b为“Image4”的右视点图像的真实眼动图；

图5c为“Image4”的三维显著图；

图6a为“Image5”的右视点图像；

图6b为“Image5”的右视点图像的真实眼动图；

图6c为“Image5”的三维显著图；

图7a为“Image6”的右视点图像；

图7b为“Image6”的右视点图像的真实眼动图；

图7c为“Image6”的三维显著图；

图8a为“Image7”的右视点图像；

图8b为“Image7”的右视点图像的真实眼动图；

图8c为“Image7”的三维显著图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体图像显著图提取方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程，训练阶段的具体步骤如下：

①-1、将选取的N副各不相同的立体图像以及每幅立体图像的右视差图像构成一个集合，记为{L_i,R_i,d_i|1≤i≤N}，其中，N≥1，在本实施例中取N＝600，L_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的左视点图像，R_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的右视点图像，d_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的右视差图像。

在本实施例中，采用新加坡国立大学提供的三维人眼跟踪数据库(NUS 3D-Saliency database)构造训练立体图像集，该立体图像数据库包含600副立体图像以及对应的右视差图像，并给出了每副立体图像的真实眼动图。

①-2、采用现有的超像素分割技术将{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像分割成M个互不重叠的区域，将R_i中的第h个区域记为SP_i,h，可将{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像重新表示为M个区域的集合，将R_i重新表示的M个区域的集合记为{SP_i,h}；其中，M≥1，在本实施例中取M＝400，1≤h≤M。

①-3、计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量，将R_i中的第h个区域SP_i,h的对比度特征矢量记为 $X_{i,h}^c=[d_{i,h}{,d}_{i,h}^1,d_{i,h}^2,d_{i,h}^3,d_{i,h}^4,d_{i,h}^5,d_{i,h}^6],$ 其中，的维数为36，此处符号“[]”为矢量表示符号，d_i,h表示SP_i,h的第一特征矢量u_i,h与相邻区域的第一特征矢量的距离，f_i,h的维数为20，f_i,h表示SP_i,h中的所有像素点的频率响应特征矢量的均值，c_i,h的维数为9，c_i,h表示SP_i,h中的所有像素点的颜色特征矢量的均值，表示SP_i,h的视差幅值的均值，表示SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，表示SP_i,h中的所有像素点的LBP特征统计直方图与SP_i,h的相邻区域中的所有像素点的LBP特征统计直方图的距离，表示SP_i,h中的所有像素点的视差统计直方图与SP_i,h的相邻区域中的所有像素点的视差统计直方图的距离，此处的相邻区域是指R_i中与SP_i,h相邻的区域。

在此具体实施例中，步骤①-3中R_i中的第h个区域SP_i,h的对比度特征矢量的获取过程为：

a1、计算R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量的均值，记为f_i,h，f_i,h中的第个元素的值等于R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量中的第个元素的频率响应振幅的均值，其中，f_i,h的维数为20，

a2、计算R_i中的第h个区域SP_i,h中的所有像素点的颜色特征矢量的均值，记为c_i,h， $c_{i,h}=[{\stackrel{\‾}{R}}_{i,h},{\stackrel{\‾}{G}}_{i,h},{\stackrel{\‾}{B}}_{i,h},{\stackrel{\‾}{L}}_{i,h},{\stackrel{\‾}{a}}_{i,h},{\stackrel{\‾}{b}}_{i,h},{\stackrel{\‾}{H}}_{i,h},{\stackrel{\‾}{V}}_{i,h},{\stackrel{\‾}{S}}_{i,h}],$ 其中，c_i,h的维数为9，此处符号“[]”为矢量表示符号，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的V分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色值的均值。

a3、计算R_i中的第h个区域SP_i,h的视差幅值的均值，记为等于d_i中与SP_i,h对应的区域中的所有像素点的像素值的均值。

a4、将f_i,h、c_i,h和按顺序进行排列，构成R_i中的第h个区域SP_i,h的第一特征矢量，记为u_i,h，其中，u_i,h的维数为30，此处符号“[]”为矢量表示符号。

a5、计算R_i中的第h个区域SP_i,h的第一特征矢量u_i,h与相邻区域的第一特征矢量的距离，记为d_i,h，其中，d_i,h的维数为30，1≤p≤M，表示R_i中的第h个区域SP_i,h的相邻区域的序号的集合，u_i,p表示R_i中的第p个区域SP_i,p(SP_i,p为SP_i,h的相邻区域)的第一特征矢量，符号“||”为取绝对值符号，P表示R_i中的第h个区域SP_i,h的相邻区域的总个数，在本实施例中取P＝20，此处的相邻区域是指R_i中与SP_i,h相邻的区域。

a6、计算R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点的LBP特征统计直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点的视差统计直方图，记为其中，的维数为16³，的维数为16³，的维数为16，的维数为16，的维数为256，的维数为16。

a7、计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点的LBP特征统计直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点的视差统计直方图的距离，记为

其中，1≤p≤M，表示R_i中的第h个区域SP_i,h的相邻区域的序号的集合，P表示R_i中的第h个区域SP_i,h的相邻区域的总个数，在本实施例中取P＝20，χ()为求卡方距离(Chi-distance measure)函数，表示R_i中的第p个区域SP_i,p中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图，表示R_i中的第p个区域SP_i,p中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图，表示R_i中的第p个区域SP_i,p中的所有像素点在HVS颜色空间的H分量的颜色直方图，表示R_i中的第p个区域SP_i,p中的所有像素点在HVS颜色空间的S分量的颜色直方图，表示R_i中的第p个区域SP_i,p中的所有像素点的LBP特征统计直方图，表示R_i中的第p个区域SP_i,p中的所有像素点的视差统计直方图。

a8、将d_i,h、和按顺序进行排列，构成R_i中的第h个区域SP_i,h的对比度特征矢量，记为 $X_{i,h}^b=[e_{i,h},e_{i,h}^1,e_{i,h}^2,e_{i,h}^3,e_{i,h}^4,e_{i,h}^5,e_{i,h}^6],$ 其中，的维数为36，此处符号“[]”为矢量表示符号。

①-4、计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的通用特征矢量，将R_i中的第h个区域SP_i,h的通用特征矢量记为 其中，的维数为33，此处符号“[]”为矢量表示符号，的维数为20，表示SP_i,h中的所有像素点的频率响应特征矢量的方差，的维数为9，表示SP_i,h中的所有像素点的颜色特征矢量的方差，表示SP_i,h的视差幅值的方差，x_i,h的维数为2，x_i,h表示SP_i,h的中心像素点的坐标位置，s_i,h表示SP_i,h的面积。

在此具体实施例中，步骤①-4中R_i中的第h个区域SP_i,h的通用特征矢量的获取过程为：

b1、计算R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量的方差，记为中的第个元素的值等于R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量中的第个元素的频率响应振幅的方差，其中，的维数为20，

b2、计算R_i中的第h个区域SP_i,h中的所有像素点的颜色特征矢量的方差，记为 ${\hat{c}}_{i,h}=[{\hat{R}}_{i,h},{\hat{G}}_{i,h},{\hat{B}}_{i,h},{\hat{L}}_{i,h},{\hat{a}}_{i,h},{\hat{b}}_{i,h},{\hat{H}}_{i,h},{\hat{V}}_{i,h},{\hat{S}}_{i,h}],$ 其中，的维数为9，此处符号“[]”为矢量表示符号，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的V分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色值的方差。

b3、计算R_i中的第h个区域SP_i,h的视差幅值的方差，记为等于d_i中与SP_i,h对应的区域中的所有像素点的像素值的方差。

b4、获取R_i中的第h个区域SP_i,h的中心像素点的坐标位置，记为x_i,h，其中，x_i,h的维数为2。

b5、计算R_i中的第h个区域SP_i,h的面积，记为s_i,h。

b6、将x_i,h和s_i,h按顺序进行排列，构成R_i中的第h个区域SP_i,h的通用特征矢量，记为 $X_{i,h}^a=[{\hat{f}}_{i,h},{\hat{c}}_{i,h},{\hat{d}}_{i,h},x_{i,h},s_{i,h}],$ 其中，的维数为33，此处符号“[]”为矢量表示符号。

①-5、计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的背景先验特征矢量，将R_i中的第h个区域SP_i,h的背景先验特征矢量记为 $X_{i,h}^b=[e_{i,h},e_{i,h}^1,e_{i,h}^2,e_{i,h}^3,e_{i,h}^4,e_{i,h}^5,e_{i,h}^6],$ 其中，的维数为36，此处符号“[]”为矢量表示符号，e_i,h表示SP_i,h的第一特征矢量u_i,h与背景区域的第一特征矢量的距离，f_i,h的维数为20，f_i,h表示SP_i,h中的所有像素点的频率响应特征矢量的均值，c_i,h的维数为9，c_i,h表示SP_i,h中的所有像素点的颜色特征矢量的均值，表示SP_i,h的视差幅值的均值，表示SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图与R_i中的背景区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图与R_i中的背景区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图与R_i中的背景区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色直方图与R_i中的背景区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，表示SP_i,h中的所有像素点的LBP特征统计直方图与R_i中的背景区域中的所有像素点的LBP特征统计直方图的距离，表示SP_i,h中的所有像素点的视差统计直方图与R_i中的背景区域中的所有像素点的视差统计直方图的距离，此处的背景区域是指R_i中位于最左边、最右边、最上边、最下边的区域。

在此具体实施例中，步骤①-5中R_i中的第h个区域SP_i,h的背景先验特征矢量的获取过程为：

c1、计算R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量的均值，记为f_i,h，f_i,h中的第个元素的值等于R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量中的第个元素的频率响应振幅的均值，其中，f_i,h的维数为20，

c2、计算R_i中的第h个区域SP_i,h中的所有像素点的颜色特征矢量的均值，记为c_i,h， $c_{i,h}=[{\stackrel{\‾}{R}}_{i,h},{\stackrel{\‾}{G}}_{i,h},{\stackrel{\‾}{B}}_{i,h},{\stackrel{\‾}{L}}_{i,h},{\stackrel{\‾}{a}}_{i,h},{\stackrel{\‾}{b}}_{i,h},{\stackrel{\‾}{H}}_{i,h},{\stackrel{\‾}{V}}_{i,h},{\stackrel{\‾}{S}}_{i,h}],$ 其中，c_i,h的维数为9，此处符号“[]”为矢量表示符号，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的V分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色值的均值。

c3、计算R_i中的第h个区域SP_i,h的视差幅值的均值，记为等于d_i中与SP_i,h对应的区域中的所有像素点的像素值的均值。

c4、将f_i,h、c_i,h和按顺序进行排列，构成R_i中的第h个区域SP_i,h的第一特征矢量，记为u_i,h，其中，u_i,h的维数为30，此处符号“[]”为矢量表示符号；

c5、计算R_i中的第h个区域SP_i,h的第一特征矢量u_i,h与背景区域的第一特征矢量的距离，记为e_i,h，其中，e_i,h的维数为30，1≤q≤M，表示R_i中的所有背景区域的序号的集合，u_i,q表示R_i中的第q个区域SP_i,q(SP_i,q为R_i中的背景区域)的第一特征矢量，符号“||”为取绝对值符号，Q表示R_i中的背景区域的总个数，此处的背景区域是指R_i中位于最左边、最右边、最上边、最下边的区域，即将落在R_i中的最左边、最右边、最上边和最下边的区域作为背景区域。

c6、计算R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点的LBP特征统计直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点的视差统计直方图，记为其中，的维数为16³，的维数为16³，的维数为16，的维数为16，的维数为256，的维数为16。

c7、计算与R_i中的背景区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，记为

计算与R_i中的背景区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，记为

计算与R_i中的背景区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，记为

计算与R_i中的背景区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，记为

计算与R_i中的背景区域中的所有像素点的LBP特征统计直方图的距离，记为

计算与R_i中的背景区域中的所有像素点的视差统计直方图的距离，记为

其中，1≤q≤M，表示R_i中的所有背景区域的序号的集合，Q表示R_i中的背景区域的总个数，χ()为求卡方距离(Chi-distance measure)函数，表示R_i中的第q个区域SP_i,q中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图，表示R_i中的第q个区域SP_i,q中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图，表示R_i中的第q个区域SP_i,q中的所有像素点在HVS颜色空间的H分量的颜色直方图，表示R_i中的第q个区域SP_i,q中的所有像素点在HVS颜色空间的S分量的颜色直方图，表示R_i中的第q个区域SP_i,q中的所有像素点的LBP特征统计直方图，表示R_i中的第q个区域SP_i,q中的所有像素点的视差统计直方图。

c8、将e_i,h、和按顺序进行排列，构成R_i中的第h个区域SP_i,h的背景先验特征矢量，记为 $X_{i,h}^b=[e_{i,h},e_{i,h}^1,e_{i,h}^2,e_{i,h}^3,e_{i,h}^4,e_{i,h}^5,e_{i,h}^6],$ 其中，的维数为36，此处符号“[]”为矢量表示符号。

①-6、将{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量、通用特征矢量和背景先验特征矢量按顺序进行排列，构成{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的用于反映视觉显著性的特征矢量，将R_i中的第h个区域SP_i,h的用于反映视觉显著性的特征矢量记为X_i,h，其中，X_i,h的维数为105，此处符号“[]”为矢量表示符号。

①-7、采用现有的随机森林回归，对{L_i,R_i,d_i|1≤i≤N}中的所有立体图像的右视点图像中的所有区域的用于反映视觉显著性的特征矢量进行训练，并使得经过训练得到的回归函数值与平均眼动值之间的误差最小，得到最优的随机森林回归训练模型，记为f(D_inp)，其中，f()为函数表示形式，D_inp表示随机森林回归训练模型的输入矢量。

测试阶段的具体步骤如下：

②-1、对于任意一副测试立体图像S_test，将S_test的左视点图像、右视点图像、右视差图像对应记为L_test、R_test、d_test；然后采用现有的超像素分割技术将R_test分割成M个互不重叠的区域，将R_test中的第h个区域记为SP_h'，可将R_test重新表示为M个区域的集合，记为{SP_h'}；其中，M≥1，在本实施例中取M＝400，1≤h≤M。

②-2、按照步骤①-3至步骤①-6的过程，以相同的操作方式获取R_test中的每个区域的用于反映视觉显著性的特征矢量，将R_test中的第h个区域SP_h'的用于反映视觉显著性的特征矢量记为F_test,h，F_test,h的获取过程为：计算R_test中的第h个区域SP_h'的对比度特征矢量记为 ${X_h^c}^{\′}=[{d_h}^{\′},{d_h^1}^{\′},{d_h^2}^{\′},{d_h^3}^{\′},{d_h^4}^{\′},{d_h^5}^{\′},{d_h^6}^{\′}],$ 其中，的维数为36，d_h'表示SP_h'的第一特征矢量u_h'与相邻区域的第一特征矢量的距离，f_h'的维数为20，f_h'表示SP_h'的频率响应特征矢量的均值，c_h'的维数为9，c_h'表示SP_h'的颜色特征矢量的均值，表示SP_h'的视差幅值的均值，表示SP_h'中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图与SP_h'的相邻区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，表示SP_h'中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图与SP_h'的相邻区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，表示SP_h'中的所有像素点在HVS颜色空间的H分量的颜色直方图与SP_h'的相邻区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，表示SP_h'中的所有像素点在HVS颜色空间的S分量的颜色直方图与SP_h'的相邻区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，表示SP_h'中的所有像素点的LBP特征统计直方图与SP_h'的相邻区域中的所有像素点的LBP特征统计直方图的距离，表示SP_h'中的所有像素点的视差统计直方图与SP_h'的相邻区域中的所有像素点的视差统计直方图的距离，此处的相邻区域是指与SP_h'相邻的区域；计算R_test中的第h个区域SP_h'的通用特征矢量记为 ${X_h^a}^{\′}=[{{\hat{f}}_h}^{\′},{{\hat{c}}_h}^{\′},{{\hat{d}}_h}^{\′},{x_h}^{\′},{s_h}^{\′}],$ 其中，的维数为33，的维数为20，表示SP_h'的频率响应特征矢量的方差，的维数为9，表示SP_h'的颜色特征矢量的方差，表示SP_h'的视差幅值的方差，x_h'的维数为2，x_h'表示SP_h'的中心像素点的坐标位置，s_h'表示SP_h'的面积；计算R_test中的第h个区域SP_h'的的背景先验特征矢量记为 ${X_h^b}^{\′}=[{e_h}^{\′},{e_h^1}^{\′},{e_h^2}^{\′},{e_h^3}^{\′},{e_h^4}^{\′},{e_h^5}^{\′},{e_h^6}^{\′}],$ 其中，的维数为36，e_h'表示SP_h'的第一特征矢量u_h'与背景区域的第一特征矢量的距离，表示SP_h'中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图与背景区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，表示SP_h'中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图与背景区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，表示SP_h'中的所有像素点在HVS颜色空间的H分量的颜色直方图与背景区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，表示SP_h'中的所有像素点在HVS颜色空间的S分量的颜色直方图与背景区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，表示SP_h'中的所有像素点的LBP特征统计直方图与背景区域中的所有像素点的LBP特征统计直方图的距离，表示SP_h'中的所有像素点的视差统计直方图与背景区域中的所有像素点的视差统计直方图的距离，此处的背景区域是指位于最左边、最右边、最上边、最下边的区域；将R_test中的第h个区域SP_h'的对比度特征矢量、通用特征矢量和背景先验特征矢量按顺序进行排列，构成R_test中的第h个区域SP_h'的用于反映视觉显著性的特征矢量，记为F_test,h，其中，F_test,h的维数为105；然后根据训练阶段得到的最优的随机森林回归训练模型f(D_inp)，将F_test,h作为最优的随机森林回归训练模型的输入矢量，获取R_test中的每个区域的三维视觉显著值，将R_test中的第h个区域SP_h'的三维视觉显著值记为S_3D,h，S_3D,h＝f(F_test,h)；再将R_test中的每个区域的三维视觉显著值作为对应区域中的所有像素点的显著值，如对于R_test中的第h个区域SP_h'，将S_3D,h作为SP_h'中的所有像素点的显著值，从而得到R_test的三维显著图，记为{S_3D(x,y)}，其中，此处(x,y)表示S_test中的像素点的坐标位置，1≤x≤W,1≤y≤H，W和H对应表示S_test的宽度和高度，S_test的宽度与训练阶段选取的立体图像的宽度一致，S_test的高度与训练阶段选取的立体图像的高度一致，S_3D(x,y)表示{S_3D(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，R_i中的每个像素点的频率响应特征矢量的获取过程为：

1)-1、采用Gabor滤波器对R_i进行滤波处理，得到R_i中的每个像素点在不同中心频率和不同方向因子下的频率响应振幅，将R_i中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应振幅记为G(x,y；ω,θ)，其中，此处(x,y)表示{L_i,R_i,d_i|1≤i≤N}中的立体图像中的像素点的坐标位置，1≤x≤W,1≤y≤H，W和H对应表示{L_i,R_i,d_i|1≤i≤N}中的立体图像的宽度和高度，ω表示Gabor滤波器的中心频率，ω∈Φ_ω，θ表示Gabor滤波器的方向因子，θ∈Φ_θ，Φ_ω表示Gabor滤波器的所有中心频率的集合，在本实施例中Φ_ω＝{1.74,2.47,3.49,4.93,6.98}，Φ_θ表示Gabor滤波器的所有方向因子的集合，在本实施例中Φ_θ＝{0°,90°,180°,270°}。

1)-2、将R_i中的每个像素点在不同中心频率和不同方向因子下的频率响应振幅按顺序进行排列，构成R_i中的每个像素点的频率响应特征矢量，将R_i中坐标位置为(x,y)的像素点的频率响应特征矢量记为f_i(x,y)，f_i(x,y)为由G(x,y；1.74,0°)、G(x,y；2.47,0°)、G(x,y；3.49,0°)、G(x,y；4.93,0°)、G(x,y；6.98,0°)、G(x,y；1.74,90°)、G(x,y；2.47,90°)、G(x,y；3.49,90°)、G(x,y；4.93,90°)、G(x,y；6.98,90°)、G(x,y；1.74,180°)、G(x,y；2.47,180°)、G(x,y；3.49,180°)、G(x,y；4.93,180°)、G(x,y；6.98,180°)、G(x,y；1.74,270°)、G(x,y；2.47,270°)、G(x,y；3.49,270°)、G(x,y；4.93,270°)、G(x,y；6.98,270°)按顺序排列构成的矢量，其中，f_i(x,y)的维数为20。

在此具体实施例中，R_i中的每个像素点的颜色特征矢量的获取过程为：

2)-1、计算R_i中的每个像素点在不同颜色空间的颜色值，将R_i中坐标位置为(x,y)的像素点在RGB颜色空间的R分量、G分量和B分量的颜色值分别记为R(x,y)、G(x,y)和B(x,y)，将R_i中坐标位置为(x,y)的像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色值分别记为L(x,y)、a(x,y)和b(x,y)，将R_i中坐标位置为(x,y)的像素点在HVS颜色空间的H分量、V分量和S分量的颜色值分别记为H(x,y)、V(x,y)和S(x,y)，其中，此处(x,y)表示{L_i,R_i,d_i|1≤i≤N}中的立体图像中的像素点的坐标位置，1≤x≤W,1≤y≤H，W和H对应表示{L_i,R_i,d_i|1≤i≤N}中的立体图像的宽度和高度。

2)-2、将R_i中的每个像素点在不同颜色空间的颜色值按顺序进行排列，构成R_i中的每个像素点的颜色特征矢量，将R_i中坐标位置为(x,y)的像素点的颜色特征矢量记为c_i(x,y)，c_i(x,y)＝[R(x,y),G(x,y),B(x,y),L(x,y),a(x,y),b(x,y),H(x,y),V(x,y),S(x,y)]，其中，c_i(x,y)的维数为9，此处符号“[]”为矢量表示符号。

以下就利用本发明方法对法国南特大学提供的三维人眼跟踪数据库(3Deye-tracking database)中的Image1、Image2、Image3、Image4和Image5五幅立体图像的三维显著图进行提取。图2a给出了“Image1”的右视点图像、图2b给出了“Image1”的右视点图像的真实眼动图、图2c给出了“Image1”的三维显著图；图3a给出了“Image2”的右视点图像、图3b给出了“Image2”的右视点图像的真实眼动图、图3c给出了“Image2”的三维显著图；图4a给出了“Image3”的右视点图像、图4b给出了“Image3”的右视点图像的真实眼动图、图4c给出了“Image3”的三维显著图；图5a给出了“Image4”的右视点图像、图5b给出了“Image4”的右视点图像的真实眼动图、图5c给出了“Image4”的三维显著图；图6a给出了“Image5”的右视点图像、图6b给出了“Image5”的右视点图像的真实眼动图、图6c给出了“Image5”的三维显著图；图7a给出了“Image6”的右视点图像、图7b给出了“Image6”的右视点图像的真实眼动图、图7c给出了“Image6”的三维显著图；图8a给出了“Image7”的右视点图像、图8b给出了“Image7”的右视点图像的真实眼动图、图8c给出了“Image7”的三维显著图。从图2a至图8c中可以看出，采用本发明方法得到的三维显著图由于考虑了对比度特征、通用特征和背景先验特征，因此能够很好地符合显著语义的特征。

Claims (6)

1.一种立体图像显著图提取方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段的具体步骤如下：

①-1、将选取的N副各不相同的立体图像以及每幅立体图像的右视差图像构成一个集合，记为{L_i,R_i,d_i|1≤i≤N}，其中，N≥1，L_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的左视点图像，R_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的右视点图像，d_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的右视差图像；

①-2、采用超像素分割技术将{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像分割成M个互不重叠的区域，将R_i中的第h个区域记为SP_i,h，其中，M≥1，1≤h≤M；

①-3、计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量，将R_i中的第h个区域SP_i,h的对比度特征矢量记为 其中，的维数为36，此处符号“[]”为矢量表示符号，d_i,h表示SP_i,h的第一特征矢量u_i,h与相邻区域的第一特征矢量的距离，f_i,h的维数为20，f_i,h表示SP_i,h中的所有像素点的频率响应特征矢量的均值，c_i,h的维数为9，c_i,h表示SP_i,h中的所有像素点的颜色特征矢量的均值，表示SP_i,h的视差幅值的均值，表示SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS 颜色空间的S分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，表示SP_i,h中的所有像素点的LBP特征统计直方图与SP_i,h的相邻区域中的所有像素点的LBP特征统计直方图的距离，表示SP_i,h中的所有像素点的视差统计直方图与SP_i,h的相邻区域中的所有像素点的视差统计直方图的距离，此处的相邻区域是指R_i中与SP_i,h相邻的区域；

①-4、计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的通用特征矢量，将R_i中的第h个区域SP_i,h的通用特征矢量记为 其中，的维数为33，此处符号“[]”为矢量表示符号，的维数为20，表示SP_i,h中的所有像素点的频率响应特征矢量的方差，的维数为9，表示SP_i,h中的所有像素点的颜色特征矢量的方差，表示SP_i,h的视差幅值的方差，x_i,h的维数为2，x_i,h表示SP_i,h的中心像素点的坐标位置，s_i,h表示SP_i,h的面积；

①-5、计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的背景先验特征矢量，将R_i中的第h个区域SP_i,h的背景先验特征矢量记为 其中，的维数为36，此处符号“[]”为矢量表示符号，e_i,h表示SP_i,h的第一特征矢量u_i,h与背景区域的第一特征矢量的距离，f_i,h的维数为20，f_i,h表示SP_i,h中的所有像素点的频率响应特征矢量的均值，c_i,h的维数为9，c_i,h表示SP_i,h中的所有像素点的颜色特征矢量的均值，表示SP_i,h的视差幅值的均值，表示SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图与R_i中的背景区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图与R_i中的背景区域中的所有像素点在CIELAB 颜色空间的L分量、a分量和b分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图与R_i中的背景区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色直方图与R_i中的背景区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，表示SP_i,h中的所有像素点的LBP特征统计直方图与R_i中的背景区域中的所有像素点的LBP特征统计直方图的距离，表示SP_i,h中的所有像素点的视差统计直方图与R_i中的背景区域中的所有像素点的视差统计直方图的距离，此处的背景区域是指R_i中位于最左边、最右边、最上边、最下边的区域；

①-6、将{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量、通用特征矢量和背景先验特征矢量按顺序进行排列，构成{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的用于反映视觉显著性的特征矢量，将R_i中的第h个区域SP_i,h的用于反映视觉显著性的特征矢量记为X_i,h，其中，X_i,h的维数为105，此处符号“[]”为矢量表示符号；

①-7、采用随机森林回归，对{L_i,R_i,d_i|1≤i≤N}中的所有立体图像的右视点图像中的所有区域的用于反映视觉显著性的特征矢量进行训练，并使得经过训练得到的回归函数值与平均眼动值之间的误差最小，得到最优的随机森林回归训练模型，记为f(D_inp)，其中，f()为函数表示形式，D_inp表示随机森林回归训练模型的输入矢量；

所述的测试阶段的具体步骤如下：

②-1、对于任意一副测试立体图像S_test，将S_test的左视点图像、右视点图像、右视差图像对应记为L_test、R_test、d_test；然后采用超像素分割技术将R_test分割成M个互不重叠的区域，将R_test中的第h个区域记为SP_h'；其中，M≥1，1≤h≤M；

②-2、按照步骤①-3至步骤①-6的过程，以相同的操作方式获取R_test中的每个区域 的用于反映视觉显著性的特征矢量，将R_test中的第h个区域SP_h'的用于反映视觉显著性的特征矢量记为F_test,h；然后根据训练阶段得到的最优的随机森林回归训练模型f(D_inp)，将F_test,h作为最优的随机森林回归训练模型的输入矢量，获取R_test中的每个区域的三维视觉显著值，将R_test中的第h个区域SP_h'的三维视觉显著值记为S_3D,h，S_3D,h＝f(F_test,h)；再将R_test中的每个区域的三维视觉显著值作为对应区域中的所有像素点的显著值，从而得到R_test的三维显著图，记为{S_3D(x,y)}，其中，此处(x,y)表示S_test中的像素点的坐标位置，1≤x≤W,1≤y≤H，W和H对应表示S_test的宽度和高度，S_3D(x,y)表示{S_3D(x,y)}中坐标位置为(x,y)的像素点的像素值。

2.根据权利要求1所述的一种立体图像显著图提取方法，其特征在于所述的步骤①-3中R_i中的第h个区域SP_i,h的对比度特征矢量的获取过程为：

a1、计算R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量的均值，记为f_i,h，f_i,h中的第个元素的值等于R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量中的第个元素的频率响应振幅的均值，其中，f_i,h的维数为20，

a2、计算R_i中的第h个区域SP_i,h中的所有像素点的颜色特征矢量的均值，记为c_i,h，其中，c_i,h的维数为9，此处符号“[]”为矢量表示符号，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示R_i中的第h个区 域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的V分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色值的均值；

a3、计算R_i中的第h个区域SP_i,h的视差幅值的均值，记为 等于d_i中与SP_i,h对应的区域中的所有像素点的像素值的均值；

a4、将f_i,h、c_i,h和按顺序进行排列，构成R_i中的第h个区域SP_i,h的第一特征矢量，记为其中，u_i,h的维数为30，此处符号“[]”为矢量表示符号；

a5、计算R_i中的第h个区域SP_i,h的第一特征矢量u_i,h与相邻区域的第一特征矢量的距离，记为d_i,h，其中，d_i,h的维数为30，1≤p≤M，表示R_i中的第h个区域SP_i,h的相邻区域的序号的集合，u_i,p表示R_i中的第p个区域SP_i,p的第一特征矢量，符号“| |”为取绝对值符号，P表示R_i中的第h个区域SP_i,h的相邻区域的总个数，此处的相邻区域是指R_i中与SP_i,h相邻的区域；

a6、计算R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点的LBP特征统计直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点的视差统计直方图，记为其中，的维数为16³，的维数为16³，的维数为16，的维数为16，的维数为256，的维数为16；

a7、计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点在RGB颜色空间 的R分量、G分量和B分量的颜色直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点的LBP特征统计直方图的距离，记为

计算与R_i中的第h个区域SP_i,h的相邻区域中的所有像素点的视差统计直方图的距离，记为

其中，1≤p≤M，表示R_i中的第h个区域SP_i,h的相邻区域的序号的集合，P表示R_i中的第h个区域SP_i,h的相邻区域的总个数，χ()为求卡方距离函数，表示R_i中的第p个区域SP_i,p中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图，表示R_i中的第p个区域SP_i,p中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图，表示R_i中的第p个区域SP_i,p中的所有像素点在HVS颜色空间的H分量的颜色直方图，表示R_i中的第p个区域SP_i,p中的所有像素点在HVS颜色空间的S分量的颜色直方图，表示R_i中的第p个区域SP_i,p中的所有像素点 的LBP特征统计直方图，表示R_i中的第p个区域SP_i,p中的所有像素点的视差统计直方图；

a8、将d_i,h、和按顺序进行排列，构成R_i中的第h个区域SP_i,h的对比度特征矢量，记为 其中，的维数为36，此处符号“[]”为矢量表示符号。

3.根据权利要求2所述的一种立体图像显著图提取方法，其特征在于所述的步骤①-4中R_i中的第h个区域SP_i,h的通用特征矢量的获取过程为：

b1、计算R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量的方差，记为 中的第个元素的值等于R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量中的第个元素的频率响应振幅的方差，其中，的维数为20，

b2、计算R_i中的第h个区域SP_i,h中的所有像素点的颜色特征矢量的方差，记为 其中，的维数为9，此处符号“[]”为矢量表示符号，表示R_i中的第h个区域SP_i，h中的所有像素点在RGB颜色空间的R分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的V分量的颜色值的方差，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色值的方差；

b3、计算R_i中的第h个区域SP_i,h的视差幅值的方差，记为 等于d_i中与SP_i,h对应的区域中的所有像素点的像素值的方差；

b4、获取R_i中的第h个区域SP_i,h的中心像素点的坐标位置，记为x_i,h，其中，x_i,h的维数为2；

b5、计算R_i中的第h个区域SP_i,h的面积，记为s_i,h；

b6、将x_i,h和s_i,h按顺序进行排列，构成R_i中的第h个区域SP_i,h的通用特征矢量，记为 其中，的维数为33，此处符号“[]”为矢量表示符号。

4.根据权利要求3所述的一种立体图像显著图提取方法，其特征在于所述的步骤①-5中R_i中的第h个区域SP_i,h的背景先验特征矢量的获取过程为：

c1、计算R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量的均值，记为f_i,h，f_i,h中的第个元素的值等于R_i中的第h个区域SP_i,h中的所有像素点的频率响应特征矢量中的第个元素的频率响应振幅的均值，其中，f_i,h的维数为20，

c2、计算R_i中的第h个区域SP_i,h中的所有像素点的颜色特征矢量的均值，记为c_i,h，其中，c_i,h的维数为9，此处符号“[]”为矢量表示符号，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示R_i中的第h个区域SP_i，h中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示R_i中的第h个区 域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的V分量的颜色值的均值，表示R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色值的均值；

c3、计算R_i中的第h个区域SP_i,h的视差幅值的均值，记为 等于d_i中与SP_i,h对应的区域中的所有像素点的像素值的均值；

c4、将f_i,h、c_i,h和按顺序进行排列，构成R_i中的第h个区域SP_i,h的第一特征矢量，记为u_i,h，其中，u_i,h的维数为30，此处符号“[]”为矢量表示符号；

c5、计算R_i中的第h个区域SP_i,h的第一特征矢量u_i,h与背景区域的第一特征矢量的距离，记为e_i,h，其中，e_i,h的维数为30，1≤q≤M，表示R_i中的所有背景区域的序号的集合，u_i,q表示R_i中的第q个区域SP_i,q的第一特征矢量，符号“| |”为取绝对值符号，Q表示R_i中的背景区域的总个数，此处的背景区域是指R_i中位于最左边、最右边、最上边、最下边的区域；

c6、计算R_i中的第h个区域SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点的LBP特征统计直方图，记为计算R_i中的第h个区域SP_i,h中的所有像素点的视差统计直方图，记为其中，的维数为16³，的维数为16³，的维数为16，的维数为16，的维数为256，的维数为16；

c7、计算与R_i中的背景区域中的所有像素点在RGB颜色空间的R分量、G分 量和B分量的颜色直方图的距离，记为

计算与R_i中的背景区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，记为

计算与R_i中的背景区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，记为

计算与R_i中的背景区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，记为

计算与R_i中的背景区域中的所有像素点的LBP特征统计直方图的距离，记为

计算与R_i中的背景区域中的所有像素点的视差统计直方图的距离，记为

其中，1≤q≤M，表示R_i中的所有背景区域的序号的集合，Q表示R_i中的背景区域的总个数，χ()为求卡方距离函数，表示R_i中的第q个区域SP_i,q中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图，表示R_i中的第q个区域SP_i,q中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图，表示R_i中的第q个区域SP_i,q中的所有像素点在HVS颜色空间的H分量的颜色直方图，表示R_i中的第q个区域SP_i,q中的所有像素点在HVS颜色空间的S分量的颜色直方图，表示R_i中的第q个区域SP_i,q中的所有像素点的LBP特征统计直方图，表示R_i中的第q个区域SP_i,q中的所有像素点的视差统计直方图；

c8、将e_i,h、和按顺序进行排列，构成R_i中的第h个区域SP_i,h的背景先验特征矢量，记为 其中，的维数为36，此处符号“[]”为矢量表示符号。

5.根据权利要求2至4中任一项所述的一种立体图像显著图提取方法，其特征在于所述的R_i中的每个像素点的频率响应特征矢量的获取过程为：

1)-1、采用Gabor滤波器对R_i进行滤波处理，得到R_i中的每个像素点在不同中心频率和不同方向因子下的频率响应振幅，将R_i中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应振幅记为G(x,y；ω,θ)，其中，此处(x,y)表示{L_i,R_i,d_i|1≤i≤N}中的立体图像中的像素点的坐标位置，1≤x≤W,1≤y≤H，W和H对应表示{L_i,R_i,d_i|1≤i≤N}中的立体图像的宽度和高度，ω表示Gabor滤波器的中心频率，ω∈Φ_ω，θ表示Gabor滤波器的方向因子，θ∈Φ_θ，Φ_ω表示Gabor滤波器的所有中心频率的集合，Φ_θ表示Gabor滤波器的所有方向因子的集合；

1)-2、将R_i中的每个像素点在不同中心频率和不同方向因子下的频率响应振幅按顺序进行排列，构成R_i中的每个像素点的频率响应特征矢量，将R_i中坐标位置为(x,y)的像素点的频率响应特征矢量记为f_i(x,y)，其中，f_i(x,y)的维数为20。

6.根据权利要求5所述的一种立体图像显著图提取方法，其特征在于所述的R_i中的每个像素点的颜色特征矢量的获取过程为：

2)-1、计算R_i中的每个像素点在不同颜色空间的颜色值，将R_i中坐标位置为(x,y) 的像素点在RGB颜色空间的R分量、G分量和B分量的颜色值分别记为R(x,y)、G(x,y)和B(x,y)，将R_i中坐标位置为(x,y)的像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色值分别记为L(x,y)、a(x,y)和b(x,y)，将R_i中坐标位置为(x,y)的像素点在HVS颜色空间的H分量、V分量和S分量的颜色值分别记为H(x,y)、V(x,y)和S(x,y)，其中，此处(x,y)表示{L_i,R_i,d_i|1≤i≤N}中的立体图像中的像素点的坐标位置，1≤x≤W,1≤y≤H，W和H对应表示{L_i,R_i,d_i|1≤i≤N}中的立体图像的宽度和高度；

2)-2、将R_i中的每个像素点在不同颜色空间的颜色值按顺序进行排列，构成R_i中的每个像素点的颜色特征矢量，将R_i中坐标位置为(x,y)的像素点的颜色特征矢量记为c_i(x,y)，c_i(x,y)＝[R(x,y),G(x,y),B(x,y),L(x,y),a(x,y),b(x,y),H(x,y),V(x,y),S(x,y)]，其中，c_i(x,y)的维数为9，此处符号“[]”为矢量表示符号。