CN105338335B - 一种立体图像显著图提取方法 - Google Patents
一种立体图像显著图提取方法 Download PDFInfo
- Publication number
- CN105338335B CN105338335B CN201510673217.3A CN201510673217A CN105338335B CN 105338335 B CN105338335 B CN 105338335B CN 201510673217 A CN201510673217 A CN 201510673217A CN 105338335 B CN105338335 B CN 105338335B
- Authority
- CN
- China
- Prior art keywords
- pixel points
- region
- value
- color space
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000006870 function Effects 0.000 claims abstract description 176
- 239000013598 vector Substances 0.000 claims abstract description 166
- 238000012360 testing method Methods 0.000 claims abstract description 86
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 230000004424 eye movement Effects 0.000 claims description 25
- 238000010586 diagram Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000000470 constituent Substances 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种立体图像显著图提取方法，其包括训练阶段和测试阶段两个过程，在训练阶段，提取多幅立体图像各自的右视点图像中的每个区域的对比度、深度和纹理特征矢量，并分别构造基于不同核函数的弱分类器，再通过AdaBoosting模型构造使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小的强分类器；在测试阶段，计算测试立体图像的右视点图像中的每个区域的对比度、深度和纹理特征矢量，并利用已训练得到的强分类器来预测测试立体图像的右视点图像中的每个区域的三维视觉显著值，从而得到测试立体图像的立体显著图；优点是所训练得到的强分类器较好地反映了不同特征和不同核对显著的影响，从而有效地提高了三维视觉显著值的预测准确性。
Description
技术领域
本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像显著图提取方法。
背景技术
在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。而随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，针对立体图像/视频的显著区域检测及建模也是一个非常重要的研究内容。
然而，立体图像并不是平面图像的简单空间拓展，因此人眼感知立体图像产生立体视觉的过程也不是简单的左视点图像和右视点图像叠加的过程，因此，立体视觉特征(例如：三维视觉注意力)并不是平面视觉特性的简单拓展。然而，现有的立体图像显著图提取方法还停留在平面图像显著提取方法的简单拓展。因此，如何从立体图像中有效地提取出立体视觉特征、如何使得提取出的立体视觉特征符合人眼三维观看行为、如何采用机器学习方法训练出分类模型，都是在对立体图像进行视觉显著图提取过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种立体图像显著图提取方法，其符合显著语义特征，且具有较强的提取稳定性和较高的提取准确性。
本发明解决上述技术问题所采用的技术方案为：一种立体图像显著图提取方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：
①-1、将选取的N幅各不相同的立体图像以及每幅立体图像的右视差图像和右视点图像的真实眼动图构成一个集合，记为{Li,Ri,di,Fi|1≤i≤N}，其中，N≥1，Li表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的左视点图像，Ri表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视点图像，di表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视差图像，Fi表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视点图像的真实眼动图；
①-2、采用超像素分割技术将{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像分割成M个互不重叠的区域，将Ri中的第h个区域记为SPi,h，其中，M≥1，1≤h≤M；
①-3、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量，将SPi,h的对比度特征矢量记为 其中，的维数为6，符号“[]”为矢量表示符号，表示SPi,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离，表示SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离，表示SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离，表示SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离，表示SPi,h中的所有像素点在RGB颜色空间的G分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离，表示SPi,h中的所有像素点在RGB颜色空间的B分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离，Ri中的背景区域是指Ri中位于最左边、最右边、最上边、最下边的区域，SPi,h的相邻区域是指Ri中与SPi,h左相邻、右相邻、上相邻、下相邻的区域；
①-4、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的深度特征矢量，将SPi,h的深度特征矢量记为 其中，的维数为3，符号“[]”为矢量表示符号，表示SPi,h中的所有像素点的视差幅值的均值，表示SPi,h中的所有像素点的视差幅值与Ri中的背景区域中的所有像素点的视差幅值的距离，表示SPi,h中的所有像素点的视差幅值与SPi,h的相邻区域中的所有像素点的视差幅值的距离；
①-5、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域中的所有像素点的LBP特征统计直方图，将以矢量形式表示的LBP特征统计直方图作为对应区域的纹理特征矢量，将SPi,h的纹理特征矢量记为其中，的维数为59；
①-6、按{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的M个互不重叠的区域，将{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图对应分割成M个互不重叠的区域；然后计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图中的每个区域的平均眼动值；接着按平均眼动值的大小对{Li,Ri,di,Fi|1≤i≤N}中的所有N幅立体图像的右视点图像的真实眼动图中的M×N个区域进行排序；之后从排序后的M×N个区域中取平均眼动值最高的20％区域，并将{Li,Ri,di,Fi|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为正样本区域，同时从排序后的M×N个区域中取平均眼动值最低的40％区域，并将{Li,Ri,di,Fi|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为负样本区域；再将所有正样本区域的特征矢量集的集合作为{Li,Ri,di,Fi|1≤i≤N}的正样本集合，记为并将所有负样本区域的特征矢量集的集合作为{Li,Ri,di,Fi|1≤i≤N}的负样本集合，记为最后将和构成初始的样本训练集，记为其中，表示第j个正样本区域的特征矢量集， 表示第j个正样本区域的对比度特征矢量，表示第j个正样本区域的深度特征矢量，表示第j个正样本区域的纹理特征矢量，Lj表示第j个正样本区域的标签值，Lj＝+1，T1表示正样本区域的总个数，T1＝0.2×M×N，表示第k个负样本区域的特征矢量集， 表示第k个负样本区域的对比度特征矢量，表示第k个负样本区域的深度特征矢量，表示第k个负样本区域的纹理特征矢量，Lk'表示第k个负样本区域的标签值，Lk'＝-1，T2表示负样本区域的总个数，T2＝0.4×M×N，表示中的第r个样本，为正样本或为负样本，若中的标签值为+1，则为正样本，若中的标签值为-1，则为负样本，T＝0.6×M×N，T＝T1+T2；
①-7、采用AdaBoosting模型作为机器学习的方法，对中的所有正样本和所有负样本进行训练，使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小，得到中的每个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，将中的任意一个样本的第m个弱分类器的回归函数的最优的权重矢量和最优的偏置项及权重系数对应记为和及然后根据中的任意一个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，构造一个强分类器，将根据的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数构造的强分类器记为φ(r)，其中，1≤m≤L，L表示中的任意一个样本的弱分类器的总个数，L＝Nf×Nk，Nf表示中的任意一个样本中的特征矢量的总个数，Nf＝3，Nk表示中的任意一个样本的任意一个弱分类器的回归函数的核的总个数，Nk≥2，为的转置矢量，km(r)表示的第m个弱分类器的回归函数的核函数；
所述的测试阶段过程的具体步骤如下：
②-1、对于任意一幅测试立体图像Stest，将Stest的左视点图像、右视点图像、右视差图像对应记为Ltest、Rtest、dtest；然后采用超像素分割技术将Rtest分割成M'个互不重叠的区域，将Rtest中的第h个区域记为SPh'，其中，M'≥1，1≤h≤M'；
②-2、按照步骤①-3至步骤①-5的过程，以相同的操作方式获取Rtest中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量；然后将Rtest中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量构成的集合作为输入样本；再计算Rtest中的每个区域对应的输入样本的每个弱分类器的回归函数的核函数，将SPh'对应的输入样本的第m个弱分类器的回归函数的核函数记为km(h)；
②-3、根据训练阶段构造的强分类器φ(r)，获取Rtest中的每个区域的三维视觉显著值，将SPh'的三维视觉显著值记为S3D,h，S3D,h＝φ(h)，再将Rtest中的每个区域的三维视觉显著值作为对应区域中的所有像素点的显著值，对于SPh'，将SPh'的三维视觉显著值作为SPh'中的所有像素点的显著值，从而得到Stest的立体显著图，记为{S3D(x',y')}，其中，(x',y')表示Stest中的像素点的坐标位置，1≤x'≤W',1≤y'≤H'，W'和H'对应表示Stest的宽度和高度，S3D(x',y')表示{S3D(x',y')}中坐标位置为(x',y')的像素点的像素值，S3D(x',y')亦表示Rtest中坐标位置为(x',y')的像素点的显著值。
所述的步骤①-3中的的获取过程为：
①-3a、计算SPi,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离 其中，表示Ri中的所有背景区域的序号的集合，表示SPi,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示Ri中的第q个区域SPi,q中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，Q表示Ri中的背景区域的总个数，符号“||”为取绝对值符号；
①-3b、计算SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离 其中，表示SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示Ri中的第q个区域SPi,q中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值；
①-3c、计算SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离 其中，表示SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示Ri中的第q个区域SPi,q中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值；
①-3d、计算SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离 其中，表示SPi,h的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SPi,h中的中心像素点的坐标位置，表示Ri中的第p个区域SPi,p中的中心像素点的坐标位置，σp表示高斯函数的标准差，表示SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示Ri中的第p个区域SPi,p中的所有像素点在RGB颜色空间的R分量的颜色值的均值，P表示SPi,h的相邻区域的总个数，符号“|| ||”为求欧式距离符号；
①-3e、计算SPi,h中的所有像素点在RGB颜色空间的G分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离 其中，表示SPi,h中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示Ri中的第p个区域SPi,p中的所有像素点在RGB颜色空间的G分量的颜色值的均值；
①-3f、计算SPi,h中的所有像素点在RGB颜色空间的B分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离 其中，表示SPi,h中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示Ri中的第p个区域SPi,p中的所有像素点在RGB颜色空间的B分量的颜色值的均值；
①-3g、将和按顺序进行排列，构成SPi,h的对比度特征矢量
所述的步骤①-4中的的获取过程为：
①-4a、计算SPi,h中的所有像素点的视差幅值的均值
①-4b、计算SPi,h中的所有像素点的视差幅值与Ri中的背景区域中的所有像素点的视差幅值的距离 其中，表示Ri中的所有背景区域的序号的集合，表示Ri中的第q个区域SPi,q中的所有像素点的视差幅值的均值，Q表示Ri中的背景区域的总个数，符号“||”为取绝对值符号；
①-4c、计算SPi,h中的所有像素点的视差幅值与SPi,h的相邻区域中的所有像素点的视差幅值的距离 其中，表示SPi,h的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SPi,h中的中心像素点的坐标位置，表示Ri中的第p个区域SPi,p中的中心像素点的坐标位置，σp表示高斯函数的标准差，表示Ri中的第p个区域SPi,p中的所有像素点的视差幅值的均值，P表示SPi,h的相邻区域的总个数，符号“|| ||”为求欧式距离符号；
①-4d、将和按顺序进行排列，构成SPi,h的深度特征矢量
所述的步骤①-7中将的第m个弱分类器的回归函数记为fm(r)，fm(r)＝(wm)Tkm(r)+bm，其中，wm为权重矢量，(wm)T为wm的转置矢量，bm为偏置项，km(r)表示fm(r)的核函数。
所述的步骤①-7中当取Nk＝3时1≤m≤9，则的第1个弱分类器的回归函数的核函数为k1(r)， 的第2个弱分类器的回归函数的核函数为k2(r)， 的第3个弱分类器的回归函数的核函数为k3(r)， 的第4个弱分类器的回归函数的核函数为k4(r)， 的第5个弱分类器的回归函数的核函数为k5(r)， 的第6个弱分类器的回归函数的核函数为k6(r)， 的第7个弱分类器的回归函数的核函数为k7(r)， 的第8个弱分类器的回归函数的核函数为k8(r)， 的第9个弱分类器的回归函数的核函数为k9(r)，其中，1≤r'≤T，exp()表示以自然基数e为底的指数函数，和对应表示中的对比度特征矢量、深度特征矢量和纹理特征矢量， 和对应表示中的第r'个样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，为的转置矩阵，为的转置矩阵，为的转置矩阵，γ、e和d均为核参数，符号“|| ||”为求欧式距离符号。
所述的核参数γ＝1/10，e＝3，d＝1。
所述的步骤①-7中将和及组成一个组合，记为 其中，表示取使得的值最小的wm、bm和βm的值，wm、bm和βm对应表示权重矢量、偏置项和权重系数，(wm,bm,βm)为wm、bm和βm组成的组合，Ψ表示对中的所有样本进行训练的所有的权重矢量和偏置项及权重系数的组合的集合，(wm)T为wm的转置矢量，Lr表示中的标签值。
所述的步骤②-2中当取Nk＝3时1≤m≤9，则SPh'对应的输入样本的第1个弱分类器的回归函数的核函数为k1(h)，SPh'对应的输入样本的第2个弱分类器的回归函数的核函数为k2(h)，SPh'对应的输入样本的第3个弱分类器的回归函数的核函数为k3(h)，SPh'对应的输入样本的第4个弱分类器的回归函数的核函数为k4(h)，SPh'对应的输入样本的第5个弱分类器的回归函数的核函数为k5(h)，SPh'对应的输入样本的第6个弱分类器的回归函数的核函数为k6(h)，SPh'对应的输入样本的第7个弱分类器的回归函数的核函数为k7(h)，SPh'对应的输入样本的第8个弱分类器的回归函数的核函数为k8(h)，SPh'对应的输入样本的第9个弱分类器的回归函数的核函数为k9(h)，其中，1≤h'≤M'，exp()表示以自然基数e为底的指数函数，和对应表示SPh'对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，和对应表示Rtest中的第h'个区域SPh”对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，为的转置矩阵，为的转置矩阵，为的转置矩阵，γ、e和d均为核参数，符号“|| ||”为求欧式距离符号。
所述的核参数γ＝1/10，e＝3，d＝1。
与现有技术相比，本发明的优点在于：
1)本发明方法同时考虑了立体图像的右视点图像中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量，并分别构造基于不同核函数的弱分类器，再通过AdaBoosting模型作为机器学习的方法，构造使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小的强分类器，所训练得到的强分类器能够很好地反映不同特征、不同核对显著的影响，符合显著语义特征。
2)本发明方法通过AdaBoosting模型作为机器学习的方法，构造使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小的强分类器，然后利用已训练得到的强分类器来预测测试立体图像的右视点图像中的每个区域的三维视觉显著值，从而得到测试立体图像的立体显著图，这个过程有效地提高了三维视觉显著值的预测准确性和稳定性，从而提高了测试立体图像的立体显著图的提取稳定性和提取准确性。
附图说明
图1为本发明方法的总体实现框图；
图2a为“Image1”的右视点图像；
图2b为“Image1”的右视点图像的真实眼动图；
图2c为“Image1”的立体显著图；
图3a为“Image2”的右视点图像；
图3b为“Image2”的右视点图像的真实眼动图；
图3c为“Image2”的立体显著图；
图4a为“Image3”的右视点图像；
图4b为“Image3”的右视点图像的真实眼动图；
图4c为“Image3”的立体显著图；
图5a为“Image4”的右视点图像；
图5b为“Image4”的右视点图像的真实眼动图；
图5c为“Image4”的立体显著图；
图6a为“Image5”的右视点图像；
图6b为“Image5”的右视点图像的真实眼动图；
图6c为“Image5”的立体显著图；
图7a为“Image6”的右视点图像；
图7b为“Image6”的右视点图像的真实眼动图；
图7c为“Image6”的立体显著图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种立体图像显著图提取方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程，训练阶段过程的具体步骤如下：
①-1、将选取的N幅各不相同的立体图像以及每幅立体图像的右视差图像和右视点图像的真实眼动图构成一个集合，记为{Li,Ri,di,Fi|1≤i≤N}，其中，N≥1，Li表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的左视点图像，Ri表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视点图像，di表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视差图像，Fi表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视点图像的真实眼动图。
在本实施例中，采用新加坡国立大学提供的三维人眼跟踪数据库(NUS 3D-Saliency database)构造训练立体图像集，该三维人眼跟踪数据库包含600幅立体图像以及对应的右视差图像，并给出了每幅立体图像的右视点图像的真实眼动图。
①-2、采用现有的超像素分割技术将{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像分割成M个互不重叠的区域，将Ri中的第h个区域记为SPi,h，可将{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像重新表示为M个区域的集合，可将Ri重新表示的M个区域的集合记为{SPi,h}，其中，M≥1，在本实施例中取M＝400，1≤h≤M。
①-3、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量，将SPi,h的对比度特征矢量记为 其中，的维数为6，符号“[]”为矢量表示符号，表示SPi,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离，表示SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离，表示SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离，表示SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离，表示SPi,h中的所有像素点在RGB颜色空间的G分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离，表示SPi,h中的所有像素点在RGB颜色空间的B分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离，Ri中的背景区域是指Ri中位于最左边、最右边、最上边、最下边的区域，即将落在Ri中的最左边、最右边、最上边和最下边的区域作为背景区域，SPi,h的相邻区域是指Ri中与SPi,h左相邻、右相邻、上相邻、下相邻的区域。
在此具体实施例中，步骤①-3中的的获取过程为：
①-3a、计算SPi,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离 其中，表示Ri中的所有背景区域的序号的集合，表示SPi,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示Ri中的第q个区域SPi,q(SPi,q为背景区域)中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，Q表示Ri中的背景区域的总个数，符号“||”为取绝对值符号。
①-3b、计算SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离 其中，表示SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示Ri中的第q个区域SPi,q(SPi,q为背景区域)中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值。
①-3c、计算SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离 其中，表示SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示Ri中的第q个区域SPi,q(SPi,q为背景区域)中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值。
①-3d、计算SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离 其中，表示SPi,h的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SPi,h中的中心像素点的坐标位置，表示Ri中的第p个区域SPi,p(SPi,p为SPi,h的相邻区域)中的中心像素点的坐标位置，σp表示高斯函数的标准差，在本实施例中取σp＝0.4，表示SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示Ri中的第p个区域SPi,p中的所有像素点在RGB颜色空间的R分量的颜色值的均值，P表示SPi,h的相邻区域的总个数，在本实施例中取P＝20，符号“|| ||”为求欧式距离符号。
①-3e、计算SPi,h中的所有像素点在RGB颜色空间的G分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离 其中，表示SPi,h中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示Ri中的第p个区域SPi,p中的所有像素点在RGB颜色空间的G分量的颜色值的均值。
①-3f、计算SPi,h中的所有像素点在RGB颜色空间的B分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离 其中，表示SPi,h中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示Ri中的第p个区域SPi,p中的所有像素点在RGB颜色空间的B分量的颜色值的均值。
①-3g、将和按顺序进行排列，构成SPi,h的对比度特征矢量
①-4、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的深度特征矢量，将SPi,h的深度特征矢量记为 其中，的维数为3，符号“[]”为矢量表示符号，表示SPi,h中的所有像素点的视差幅值的均值，表示SPi,h中的所有像素点的视差幅值与Ri中的背景区域中的所有像素点的视差幅值的距离，表示SPi,h中的所有像素点的视差幅值与SPi,h的相邻区域中的所有像素点的视差幅值的距离。
在此具体实施例中，步骤①-4中的的获取过程为：
①-4a、计算SPi,h中的所有像素点的视差幅值的均值
①-4b、计算SPi,h中的所有像素点的视差幅值与Ri中的背景区域中的所有像素点的视差幅值的距离 其中，表示Ri中的所有背景区域的序号的集合，表示Ri中的第q个区域SPi,q(SPi,q为背景区域)中的所有像素点的视差幅值的均值，Q表示Ri中的背景区域的总个数，符号“||”为取绝对值符号。
①-4c、计算SPi,h中的所有像素点的视差幅值与SPi,h的相邻区域中的所有像素点的视差幅值的距离 其中，表示SPi,h的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SPi,h中的中心像素点的坐标位置，表示Ri中的第p个区域SPi,p(SPi,p为SPi,h的相邻区域)中的中心像素点的坐标位置，σp表示高斯函数的标准差，在本实施例中取σp＝0.4，表示Ri中的第p个区域SPi,p中的所有像素点的视差幅值的均值，P表示SPi,h的相邻区域的总个数，符号“|| ||”为求欧式距离符号。
①-4d、将和按顺序进行排列，构成SPi,h的深度特征矢量
①-5、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域中的所有像素点的LBP特征统计直方图，将以矢量形式表示的LBP特征统计直方图作为对应区域的纹理特征矢量，将SPi,h的纹理特征矢量记为其中，的维数为59。
①-6、按{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的M个互不重叠的区域，将{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图对应分割成M个互不重叠的区域，即Ri中的每个区域与Fi中的每个区域一一对应；然后计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图中的每个区域的平均眼动值；接着按平均眼动值的大小对{Li,Ri,di,Fi|1≤i≤N}中的所有N幅立体图像的右视点图像的真实眼动图中的M×N个区域进行排序；之后从排序后的M×N个区域中取平均眼动值最高的20％区域，并将{Li,Ri,di,Fi|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为正样本区域，同时从排序后的M×N个区域中取平均眼动值最低的40％区域，并将{Li,Ri,di,Fi|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为负样本区域；再将所有正样本区域的特征矢量集的集合作为{Li,Ri,di,Fi|1≤i≤N}的正样本集合，记为并将所有负样本区域的特征矢量集的集合作为{Li,Ri,di,Fi|1≤i≤N}的负样本集合，记为最后将和构成初始的样本训练集，记为其中，表示第j个正样本区域的特征矢量集， 表示第j个正样本区域的对比度特征矢量，表示第j个正样本区域的深度特征矢量，表示第j个正样本区域的纹理特征矢量，Lj表示第j个正样本区域的标签值，Lj＝+1，T1表示正样本区域的总个数，T1＝0.2×M×N，表示第k个负样本区域的特征矢量集， 表示第k个负样本区域的对比度特征矢量，表示第k个负样本区域的深度特征矢量，表示第k个负样本区域的纹理特征矢量，Lk'表示第k个负样本区域的标签值，Lk'＝-1，T2表示负样本区域的总个数，T2＝0.4×M×N，表示中的第r个样本，为正样本或为负样本，若中的标签值为+1，则为正样本，若中的标签值为-1，则为负样本，T＝0.6×M×N，T＝T1+T2。
①-7、采用现有的AdaBoosting模型作为机器学习的方法，对中的所有正样本和所有负样本进行训练，使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小，得到中的每个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，中的所有样本相对应的弱分类器的回归函数的最优的权重矢量和最优的偏置项及权重系数相同，即中的所有样本各自的第m个弱分类器的回归函数的最优的权重矢量相同、最优的偏置项相同及权重系数相同，将中的任意一个样本的第m个弱分类器的回归函数的最优的权重矢量和最优的偏置项及权重系数对应记为和及然后根据中的任意一个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，构造一个强分类器，将根据的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数构造的强分类器记为φ(r)，其中，1≤m≤L，L表示中的任意一个样本的弱分类器的总个数，L＝Nf×Nk，Nf表示中的任意一个样本中的特征矢量的总个数，在本实施例中中的任意一个样本中包含对比度特征矢量、深度特征矢量和纹理特征矢量，即Nf＝3，Nk表示中的任意一个样本的任意一个弱分类器的回归函数的核的总个数，Nk≥2，在本实施例中取Nk＝3，为的转置矢量，km(r)表示的第m个弱分类器的回归函数的核函数。
在此具体实施例中，步骤①-7中将的第m个弱分类器的回归函数记为fm(r)，fm(r)＝(wm)Tkm(r)+bm，其中，wm为权重矢量，(wm)T为wm的转置矢量，bm为偏置项，km(r)表示fm(r)的核函数。
在此具体实施例中，步骤①-7中当取Nk＝3时1≤m≤9，则的第1个弱分类器的回归函数的核函数为k1(r)， 的第2个弱分类器的回归函数的核函数为k2(r)， 的第3个弱分类器的回归函数的核函数为k3(r)， 的第4个弱分类器的回归函数的核函数为k4(r)， 的第5个弱分类器的回归函数的核函数为k5(r)， 的第6个弱分类器的回归函数的核函数为k6(r)， 的第7个弱分类器的回归函数的核函数为k7(r)， 的第8个弱分类器的回归函数的核函数为k8(r)， 的第9个弱分类器的回归函数的核函数为k9(r)，其中，1≤r'≤T，exp()表示以自然基数e为底的指数函数，和对应表示中的对比度特征矢量、深度特征矢量和纹理特征矢量， 和对应表示中的第r'个样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，为的转置矩阵，为的转置矩阵，为的转置矩阵，γ、e和d均为核参数，在本实施例中取γ＝1/10，e＝3，d＝1，符号“|| ||”为求欧式距离符号。
在此具体实施例中，步骤①-7中将和及组成一个组合，记为其中，表示取使得的值最小的wm、bm和βm的值，wm、bm和βm对应表示权重矢量、偏置项和权重系数，(wm,bm,βm)为wm、bm和βm组成的组合，Ψ表示对中的所有样本进行训练的所有的权重矢量和偏置项及权重系数的组合的集合，(wm)T为wm的转置矢量，Lr表示中的标签值。
测试阶段过程的具体步骤如下：
②-1、对于任意一幅测试立体图像Stest，将Stest的左视点图像、右视点图像、右视差图像对应记为Ltest、Rtest、dtest；然后采用现有的超像素分割技术将Rtest分割成M'个互不重叠的区域，将Rtest中的第h个区域记为SPh'，其中，M'≥1，在本实施例中取M'＝400，1≤h≤M'。
②-2、按照步骤①-3至步骤①-5的过程，以相同的操作方式获取Rtest中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量；然后将Rtest中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量构成的集合作为输入样本；再计算Rtest中的每个区域对应的输入样本的每个弱分类器的回归函数的核函数，将SPh'对应的输入样本的第m个弱分类器的回归函数的核函数记为km(h)。
在此，如SPh'的对比度特征矢量的获取过程为：
A1、计算SPh'中的所有像素点在CIELAB颜色空间的L分量的颜色值与Rtest中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离 其中，表示Rtest中的所有背景区域的序号的集合，表示SPh'中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示Rtest中的第q个区域SPq'中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，Q'表示Rtest中的背景区域的总个数，符号“| |”为取绝对值符号。
B1、计算SPh'中的所有像素点在CIELAB颜色空间的a分量的颜色值与Rtest中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离 其中，表示SPh'中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示Rtest中的第q个区域SPq'中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值。
C1、计算SPh'中的所有像素点在CIELAB颜色空间的b分量的颜色值与Rtest中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离 其中，表示SPh'中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示Rtest中的第q个区域SPq'中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值。
D1、计算SPh'中的所有像素点在RGB颜色空间的R分量的颜色值与SPh'的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离 其中，表示SPh'的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SPh'中的中心像素点的坐标位置，表示Rtest中的第p个区域SPp'中的中心像素点的坐标位置，σp表示高斯函数的标准差，在本实施例中取σp＝0.4，表示SPh'中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示Rtest中的第p个区域SPp'中的所有像素点在RGB颜色空间的R分量的颜色值的均值，P'表示SPh'的相邻区域的总个数，在本实施例中取P'＝20，符号“||||”为求欧式距离符号。
E1、计算SPh'中的所有像素点在RGB颜色空间的G分量的颜色值与SPh'的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离 其中，表示SPh'中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示Rtest中的第p个区域SPp'中的所有像素点在RGB颜色空间的G分量的颜色值的均值。
F1、计算SPh'中的所有像素点在RGB颜色空间的B分量的颜色值与SPh'的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离 其中，表示SPh'中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示Rtest中的第p个区域SPp'中的所有像素点在RGB颜色空间的B分量的颜色值的均值。
G1、将和按顺序进行排列，构成SPh'的对比度特征矢量。
在此，如SPh'的深度特征矢量的获取过程为：
A2、计算SPh'中的所有像素点的视差幅值的均值
B2、计算SPh'中的所有像素点的视差幅值与Rtest中的背景区域中的所有像素点的视差幅值的距离 其中，表示Rtest中的所有背景区域的序号的集合，表示Rtest中的第q个区域SPq'中的所有像素点的视差幅值的均值，Q'表示Rtest中的背景区域的总个数，符号“||”为取绝对值符号。
C1、计算SPh'中的所有像素点的视差幅值与SPh'的相邻区域中的所有像素点的视差幅值的距离 其中，表示SPh'的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SPh'中的中心像素点的坐标位置，表示Rtest中的第p个区域SPp'中的中心像素点的坐标位置，σp表示高斯函数的标准差，在本实施例中取σp＝0.4，表示Rtest中的第p个区域SPp'中的所有像素点的视差幅值的均值，P'表示SPh'的相邻区域的总个数，符号“|| ||”为求欧式距离符号。
D1、将和按顺序进行排列，构成SPh'的深度特征矢量。
在此，如SPh'的纹理特征矢量的获取过程为：计算SPh'中的所有像素点的LBP特征统计直方图，将以矢量形式表示的LBP特征统计直方图作为SPh'的纹理特征矢量。
在此具体实施例中，步骤②-2中当取Nk＝3时1≤m≤9，则SPh'对应的输入样本的第1个弱分类器的回归函数的核函数为k1(h)，SPh'对应的输入样本的第2个弱分类器的回归函数的核函数为k2(h)，SPh'对应的输入样本的第3个弱分类器的回归函数的核函数为k3(h)，SPh'对应的输入样本的第4个弱分类器的回归函数的核函数为k4(h)，SPh'对应的输入样本的第5个弱分类器的回归函数的核函数为k5(h)，SPh'对应的输入样本的第6个弱分类器的回归函数的核函数为k6(h)，SPh'对应的输入样本的第7个弱分类器的回归函数的核函数为k7(h)，SPh'对应的输入样本的第8个弱分类器的回归函数的核函数为k8(h)，SPh'对应的输入样本的第9个弱分类器的回归函数的核函数为k9(h)，其中，1≤h'≤M'，exp()表示以自然基数e为底的指数函数，和对应表示SPh'对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，和对应表示Rtest中的第h'个区域SPh”对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，为的转置矩阵，为的转置矩阵，为的转置矩阵，γ、e和d均为核参数，在本实施例中取γ＝1/10，e＝3，d＝1，符号“|| ||”为求欧式距离符号。
②-3、根据训练阶段构造的强分类器φ(r)，获取Rtest中的每个区域的三维视觉显著值，将SPh'的三维视觉显著值记为S3D,h，S3D,h＝φ(h)，再将Rtest中的每个区域的三维视觉显著值作为对应区域中的所有像素点的显著值，对于SPh'，将SPh'的三维视觉显著值作为SPh'中的所有像素点的显著值，从而得到Stest的立体显著图，记为{S3D(x',y')}，其中，(x',y')表示Stest中的像素点的坐标位置，1≤x'≤W',1≤y'≤H'，W'和H'对应表示Stest的宽度和高度，Stest的宽度与训练阶段选取的立体图像的宽度可以不一致，Stest的高度与训练阶段选取的立体图像的高度可以不一致，即Stest与训练阶段选取的立体图像的尺寸大小可以一样也可以不一样，但要保证分割区域相同，S3D(x',y')表示{S3D(x',y')}中坐标位置为(x',y')的像素点的像素值，S3D(x',y')亦表示Rtest中坐标位置为(x',y')的像素点的显著值。
以下就利用本发明方法对法国南特大学提供的三维人眼跟踪数据库(3D eye-tracking database)中的Image1、Image2、Image3、Image4、Image5和Image6六幅立体图像的立体显著图进行提取。图2a给出了“Image1”的右视点图像、图2b给出了“Image1”的右视点图像的真实眼动图、图2c给出了“Image1”的立体显著图；图3a给出了“Image2”的右视点图像、图3b给出了“Image2”的右视点图像的真实眼动图、图3c给出了“Image2”的立体显著图；图4a给出了“Image3”的右视点图像、图4b给出了“Image3”的右视点图像的真实眼动图、图4c给出了“Image3”的立体显著图；图5a给出了“Image4”的右视点图像、图5b给出了“Image4”的右视点图像的真实眼动图、图5c给出了“Image4”的立体显著图；图6a给出了“Image5”的右视点图像、图6b给出了“Image5”的右视点图像的真实眼动图、图6c给出了“Image5”的立体显著图；图7a给出了“Image6”的右视点图像、图7b给出了“Image6”的右视点图像的真实眼动图、图7c给出了“Image6”的立体显著图。从图2a至图7c中可以看出，采用本发明方法得到的立体显著图由于考虑了对比度特征、深度特征和纹理特征，因此能够很好地符合显著语义的特征。
Claims (8)
1.一种立体图像显著图提取方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：
①-1、将选取的N幅各不相同的立体图像以及每幅立体图像的右视差图像和右视点图像的真实眼动图构成一个集合，记为{Li,Ri,di,Fi|1≤i≤N}，其中，N≥1，Li表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的左视点图像，Ri表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视点图像，di表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视差图像，Fi表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视点图像的真实眼动图；
①-2、采用超像素分割技术将{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像分割成M个互不重叠的区域，将Ri中的第h个区域记为SPi,h，其中，M≥1，1≤h≤M；
①-3、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量，将SPi,h的对比度特征矢量记为 其中，的维数为6，符号“[]”为矢量表示符号，表示SPi,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离，表示SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离，表示SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离，表示SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离，表示SPi,h中的所有像素点在RGB颜色空间的G分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离，表示SPi,h中的所有像素点在RGB颜色空间的B分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离，Ri中的背景区域是指Ri中位于最左边、最右边、最上边、最下边的区域，SPi,h的相邻区域是指Ri中与SPi,h左相邻、右相邻、上相邻、下相邻的区域；
①-4、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的深度特征矢量，将SPi,h的深度特征矢量记为 其中，的维数为3，符号“[]”为矢量表示符号，表示SPi,h中的所有像素点的视差幅值的均值，表示SPi,h中的所有像素点的视差幅值与Ri中的背景区域中的所有像素点的视差幅值的距离，表示SPi,h中的所有像素点的视差幅值与SPi,h的相邻区域中的所有像素点的视差幅值的距离；
①-5、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域中的所有像素点的LBP特征统计直方图，将以矢量形式表示的LBP特征统计直方图作为对应区域的纹理特征矢量，将SPi,h的纹理特征矢量记为其中，的维数为59；
①-6、按{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的M个互不重叠的区域，将{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图对应分割成M个互不重叠的区域；然后计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图中的每个区域的平均眼动值；接着按平均眼动值的大小对{Li,Ri,di,Fi|1≤i≤N}中的所有N幅立体图像的右视点图像的真实眼动图中的M×N个区域进行排序；之后从排序后的M×N个区域中取平均眼动值最高的20％区域，并将{Li,Ri,di,Fi|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为正样本区域，同时从排序后的M×N个区域中取平均眼动值最低的40％区域，并将{Li,Ri,di,Fi|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为负样本区域；再将所有正样本区域的特征矢量集的集合作为{Li,Ri,di,Fi|1≤i≤N}的正样本集合，记为并将所有负样本区域的特征矢量集的集合作为{Li,Ri,di,Fi|1≤i≤N}的负样本集合，记为最后将和构成初始的样本训练集，记为其中，表示第j个正样本区域的特征矢量集， 表示第j个正样本区域的对比度特征矢量，表示第j个正样本区域的深度特征矢量，表示第j个正样本区域的纹理特征矢量，Lj表示第j个正样本区域的标签值，Lj＝+1，T1表示正样本区域的总个数，T1＝0.2×M×N，表示第k个负样本区域的特征矢量集， 表示第k个负样本区域的对比度特征矢量，表示第k个负样本区域的深度特征矢量，表示第k个负样本区域的纹理特征矢量，Lk'表示第k个负样本区域的标签值，Lk'＝-1，T2表示负样本区域的总个数，T2＝0.4×M×N，表示中的第r个样本，为正样本或为负样本，若中的标签值为+1，则为正样本，若中的标签值为-1，则为负样本，T＝0.6×M×N，T＝T1+T2；
①-7、采用AdaBoosting模型作为机器学习的方法，对中的所有正样本和所有负样本进行训练，使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小，得到中的每个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，将中的任意一个样本的第m个弱分类器的回归函数的最优的权重矢量和最优的偏置项及权重系数对应记为和及然后根据中的任意一个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，构造一个强分类器，将根据的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数构造的强分类器记为φ(r)，其中，1≤m≤L，L表示中的任意一个样本的弱分类器的总个数，L＝Nf×Nk，Nf表示中的任意一个样本中的特征矢量的总个数，Nf＝3，Nk表示中的任意一个样本的任意一个弱分类器的回归函数的核的总个数，Nk≥2，为的转置矢量，km(r)表示的第m个弱分类器的回归函数的核函数；
所述的步骤①-7中将和及组成一个组合，记为 其中，表示取使得的值最小的wm、bm和βm的值，wm、bm和βm对应表示权重矢量、偏置项和权重系数，(wm,bm,βm)为wm、bm和βm组成的组合，Ψ表示对中的所有样本进行训练的所有的权重矢量和偏置项及权重系数的组合的集合，(wm)T为wm的转置矢量，Lr表示中的标签值；
所述的测试阶段过程的具体步骤如下：
②-1、对于任意一幅测试立体图像Stest，将Stest的左视点图像、右视点图像、右视差图像对应记为Ltest、Rtest、dtest；然后采用超像素分割技术将Rtest分割成M'个互不重叠的区域，将Rtest中的第h个区域记为SPh'，其中，M'≥1，1≤h≤M'；
②-2、按照步骤①-3至步骤①-5的过程，以相同的操作方式获取Rtest中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量；然后将Rtest中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量构成的集合作为输入样本；再计算Rtest中的每个区域对应的输入样本的每个弱分类器的回归函数的核函数，将SPh'对应的输入样本的第m个弱分类器的回归函数的核函数记为km(h)；
②-3、根据训练阶段构造的强分类器φ(r)，获取Rtest中的每个区域的三维视觉显著值，将SPh'的三维视觉显著值记为S3D,h，S3D，h＝φ(h)，再将Rtest中的每个区域的三维视觉显著值作为对应区域中的所有像素点的显著值，对于SPh'，将SPh'的三维视觉显著值作为SPh'中的所有像素点的显著值，从而得到Stest的立体显著图，记为{S3D(x',y')}，其中，(x',y')表示Stest中的像素点的坐标位置，1≤x'≤W',1≤y'≤H'，W'和H'对应表示Stest的宽度和高度，S3D(x',y')表示{S3D(x',y')}中坐标位置为(x',y')的像素点的像素值，S3D(x',y')亦表示Rtest中坐标位置为(x',y')的像素点的显著值。
2.根据权利要求1所述的一种立体图像显著图提取方法，其特征在于所述的步骤①-3中的的获取过程为：
①-3a、计算SPi,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离 其中，表示Ri中的所有背景区域的序号的集合，表示SPi,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示Ri中的第q个区域SPi,q中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，Q表示Ri中的背景区域的总个数，符号“| |”为取绝对值符号；
①-3b、计算SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离 其中，表示SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示Ri中的第q个区域SPi,q中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值；
①-3c、计算SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离 其中，表示SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示Ri中的第q个区域SPi,q中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值；
①-3d、计算SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离 其中，表示SPi,h的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SPi,h中的中心像素点的坐标位置，表示Ri中的第p个区域SPi,p中的中心像素点的坐标位置，σp表示高斯函数的标准差，表示SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示Ri中的第p个区域SPi,p中的所有像素点在RGB颜色空间的R分量的颜色值的均值，P表示SPi,h的相邻区域的总个数，符号“|| ||”为求欧式距离符号；
①-3e、计算SPi,h中的所有像素点在RGB颜色空间的G分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离 其中，表示SPi,h中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示Ri中的第p个区域SPi,p中的所有像素点在RGB颜色空间的G分量的颜色值的均值；
①-3f、计算SPi,h中的所有像素点在RGB颜色空间的B分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离 其中，表示SPi,h中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示Ri中的第p个区域SPi,p中的所有像素点在RGB颜色空间的B分量的颜色值的均值；
①-3g、将和按顺序进行排列，构成SPi,h的对比度特征矢量
3.根据权利要求1或2所述的一种立体图像显著图提取方法，其特征在于所述的步骤①-4中的的获取过程为：
①-4a、计算SPi,h中的所有像素点的视差幅值的均值
①-4b、计算SPi,h中的所有像素点的视差幅值与Ri中的背景区域中的所有像素点的视差幅值的距离 其中，表示Ri中的所有背景区域的序号的集合，表示Ri中的第q个区域SPi,q中的所有像素点的视差幅值的均值，Q表示Ri中的背景区域的总个数，符号“||”为取绝对值符号；
①-4c、计算SPi,h中的所有像素点的视差幅值与SPi,h的相邻区域中的所有像素点的视差幅值的距离 其中，表示SPi,h的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SPi,h中的中心像素点的坐标位置，表示Ri中的第p个区域SPi,p中的中心像素点的坐标位置，σp表示高斯函数的标准差，表示Ri中的第p个区域SPi,p中的所有像素点的视差幅值的均值，P表示SPi,h的相邻区域的总个数，符号“|| ||”为求欧式距离符号；
①-4d、将和按顺序进行排列，构成SPi,h的深度特征矢量
4.根据权利要求3所述的一种立体图像显著图提取方法，其特征在于所述的步骤①-7中将的第m个弱分类器的回归函数记为fm(r)，fm(r)＝(wm)Tkm(r)+bm，其中，wm为权重矢量，(wm)T为wm的转置矢量，bm为偏置项，km(r)表示fm(r)的核函数。
5.根据权利要求4所述的一种立体图像显著图提取方法，其特征在于所述的步骤①-7中当取Nk＝3时1≤m≤9，则的第1个弱分类器的回归函数的核函数为k1(r)， 的第2个弱分类器的回归函数的核函数为k2(r)， 的第3个弱分类器的回归函数的核函数为k3(r)， 的第4个弱分类器的回归函数的核函数为k4(r)， 的第5个弱分类器的回归函数的核函数为k5(r)， 的第6个弱分类器的回归函数的核函数为k6(r)， 的第7个弱分类器的回归函数的核函数为k7(r)， 的第8个弱分类器的回归函数的核函数为k8(r)， 的第9个弱分类器的回归函数的核函数为k9(r)，其中，1≤r'≤T，exp()表示以自然基数e为底的指数函数，和对应表示中的对比度特征矢量、深度特征矢量和纹理特征矢量， 和对应表示中的第r'个样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，为的转置矩阵，为的转置矩阵，为的转置矩阵，γ、e和d均为核参数，符号“|| ||”为求欧式距离符号。
6.根据权利要求5所述的一种立体图像显著图提取方法，其特征在于所述的核参数γ＝1/10，e＝3，d＝1。
7.根据权利要求1所述的一种立体图像显著图提取方法，其特征在于所述的步骤②-2中当取Nk＝3时1≤m≤9，则SPh'对应的输入样本的第1个弱分类器的回归函数的核函数为k1(h)，SPh'对应的输入样本的第2个弱分类器的回归函数的核函数为k2(h)，SPh'对应的输入样本的第3个弱分类器的回归函数的核函数为k3(h)，SPh'对应的输入样本的第4个弱分类器的回归函数的核函数为k4(h)，SPh'对应的输入样本的第5个弱分类器的回归函数的核函数为k5(h)，SPh'对应的输入样本的第6个弱分类器的回归函数的核函数为k6(h)，SPh'对应的输入样本的第7个弱分类器的回归函数的核函数为k7(h)，SPh'对应的输入样本的第8个弱分类器的回归函数的核函数为k8(h)，SPh'对应的输入样本的第9个弱分类器的回归函数的核函数为k9(h)，其中，1≤h'≤M'，exp()表示以自然基数e为底的指数函数，和对应表示SPh'对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，和对应表示Rtest中的第h'个区域SPh”对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，为的转置矩阵，为的转置矩阵，为的转置矩阵，γ、e和d均为核参数，符号“|| ||”为求欧式距离符号。
8.根据权利要求7所述的一种立体图像显著图提取方法，其特征在于所述的核参数γ＝1/10，e＝3，d＝1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510673217.3A CN105338335B (zh) | 2015-10-15 | 2015-10-15 | 一种立体图像显著图提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510673217.3A CN105338335B (zh) | 2015-10-15 | 2015-10-15 | 一种立体图像显著图提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105338335A CN105338335A (zh) | 2016-02-17 |
| CN105338335B true CN105338335B (zh) | 2017-03-29 |
Family
ID=55288580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510673217.3A Active CN105338335B (zh) | 2015-10-15 | 2015-10-15 | 一种立体图像显著图提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105338335B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105959679B (zh) * | 2016-04-27 | 2017-09-19 | 宁波大学 | 一种立体图像视觉舒适度和深度感联合优化方法 |
| CN108205814B (zh) * | 2016-12-19 | 2021-07-02 | 中国科学院苏州纳米技术与纳米仿生研究所 | 彩色图像的黑白轮廓生成方法 |
| CN110210492B (zh) * | 2019-04-28 | 2020-12-01 | 浙江科技学院 | 一种基于深度学习的立体图像视觉显著性检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103369348A (zh) * | 2013-06-27 | 2013-10-23 | 宁波大学 | 一种基于区域重要性分类的立体图像质量客观评价方法 |
| CN104243956A (zh) * | 2014-09-12 | 2014-12-24 | 宁波大学 | 一种立体图像视觉显著图提取方法 |
| CN104574366A (zh) * | 2014-12-18 | 2015-04-29 | 华南理工大学 | 一种基于单目深度图的视觉显著性区域的提取方法 |
| CN104822058A (zh) * | 2015-04-14 | 2015-08-05 | 宁波大学 | 一种立体图像显著图提取方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101550065B1 (ko) * | 2013-06-21 | 2015-09-07 | 한국과학기술원 | 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법 및 시스템 |
-
2015
- 2015-10-15 CN CN201510673217.3A patent/CN105338335B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103369348A (zh) * | 2013-06-27 | 2013-10-23 | 宁波大学 | 一种基于区域重要性分类的立体图像质量客观评价方法 |
| CN104243956A (zh) * | 2014-09-12 | 2014-12-24 | 宁波大学 | 一种立体图像视觉显著图提取方法 |
| CN104574366A (zh) * | 2014-12-18 | 2015-04-29 | 华南理工大学 | 一种基于单目深度图的视觉显著性区域的提取方法 |
| CN104822058A (zh) * | 2015-04-14 | 2015-08-05 | 宁波大学 | 一种立体图像显著图提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| Saliency Detection : A Self-adaption Sparse Representation Approach;Gaoxiang Zhang ET AL;《2011 Sixth International Conference on Image and Graphics》;20111231;第461-465页 * |
| 基于显著性分析的立体图像视觉舒适度预测;邵枫等;《光学精密工程》;20140630;第22卷(第6期);第1631-1638页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105338335A (zh) | 2016-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Locate globally, segment locally: A progressive architecture with knowledge review network for salient object detection | |
| CN109753885B (zh) | 一种目标检测方法、装置以及行人检测方法、系统 | |
| CN110555434B (zh) | 一种局部对比和全局指导的立体图像视觉显著性检测方法 | |
| EP3916627A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
| US20160180188A1 (en) | Method for detecting salient region of stereoscopic image | |
| CN110619638A (zh) | 一种基于卷积块注意模块的多模态融合显著性检测方法 | |
| CN111563418A (zh) | 一种基于注意力机制的非对称多模态融合显著性检测方法 | |
| CN111080670B (zh) | 图像提取方法、装置、设备及存储介质 | |
| CN103020265B (zh) | 图像检索的方法和系统 | |
| CN104484886B (zh) | 一种mr图像的分割方法及装置 | |
| CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN116229056A (zh) | 基于双分支特征融合的语义分割方法、装置、设备 | |
| CN104392233B (zh) | 一种基于区域的图像显著图提取方法 | |
| CN110705566B (zh) | 一种基于空间金字塔池的多模态融合显著性检测方法 | |
| CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
| CN114627173A (zh) | 通过差分神经渲染进行对象检测的数据增强 | |
| CN105338335B (zh) | 一种立体图像显著图提取方法 | |
| CN111739037B (zh) | 一种针对室内场景rgb-d图像的语义分割方法 | |
| CN102867171B (zh) | 一种基于标记传播与邻域嵌入保持的人脸表情识别方法 | |
| CN104243956B (zh) | 一种立体图像视觉显著图提取方法 | |
| CN104822058B (zh) | 一种立体图像显著图提取方法 | |
| CN109165551B (zh) | 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法 | |
| CN104504715A (zh) | 基于局部四元数矩特征的图像分割方法 | |
| CN109741351A (zh) | 一种基于深度学习的类别敏感型边缘检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20191220 Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000 Patentee after: Huzhou You Yan Intellectual Property Service Co., Ltd. Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818 Patentee before: Ningbo University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200629 Address after: 313000 Room 121,221, Building 3, 1366 Hongfeng Road, Wuxing District, Huzhou City, Zhejiang Province Patentee after: ZHEJIANG DUYAN INFORMATION TECHNOLOGY Co.,Ltd. Address before: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000 Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd. |