CN107665488B - 一种立体图像视觉显著提取方法 - Google Patents

一种立体图像视觉显著提取方法 Download PDF

Info

Publication number
CN107665488B
CN107665488B CN201710826355.XA CN201710826355A CN107665488B CN 107665488 B CN107665488 B CN 107665488B CN 201710826355 A CN201710826355 A CN 201710826355A CN 107665488 B CN107665488 B CN 107665488B
Authority
CN
China
Prior art keywords
pixel
pixel point
pixel value
q200cs
middle coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710826355.XA
Other languages
English (en)
Other versions
CN107665488A (zh
Inventor
周武杰
蔡星宇
岑岗
邱薇薇
周扬
赵颖
何成
葛丁飞
金国英
陈寿法
郑卫红
李鑫
吴洁雯
王昕峰
施祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lingkun Information Technology Co ltd
Original Assignee
Zhejiang University of Science and Technology ZUST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Science and Technology ZUST filed Critical Zhejiang University of Science and Technology ZUST
Priority to CN201710826355.XA priority Critical patent/CN107665488B/zh
Publication of CN107665488A publication Critical patent/CN107665488A/zh
Application granted granted Critical
Publication of CN107665488B publication Critical patent/CN107665488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种立体图像视觉显著提取方法，其将测试立体图像的左视点图像转换到Lab颜色空间，并将三通道图像和左视差图像的归一化图像缩放到200×200像素尺寸；然后获取四幅图像各自的梯度幅值图，并进行对数计算；接着利用中心偏好图对四幅对数计算后的图像进行中心四周加强，再根据中心四周加强后的图像组成四元数矩阵，对四元数矩阵实施四元数傅里叶变换得到频域矩阵；之后利用频域滤波模板图对频域矩阵进行低通滤波，再对得到的低通特征图实施四元数傅里叶反变换；最后根据反变换得到的四元数矩阵获取初步视觉显著图，对初步视觉显著图归一化处理和缩放到W×H像素尺寸，得到最终视觉显著图；优点是具有较强的提取稳定性和较高的提取准确性。

Description

一种立体图像视觉显著提取方法
技术领域
本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像视觉显著提取方法。
背景技术
在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。而随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，针对立体图像/视频的显著区域检测及建模也是一个非常重要的研究内容。
然而，立体图像并不是平面图像的空间维度拓展，人眼感知物体时利用视差的方法与颜色大不相同，因此，用平面图像特征简单拓展得到立体图像特征不是特别的合适。然而，现有的立体图像显著图仍然停留在平面图像显著提取方法的简单拓展上。因此，要找到一种符合人类视觉系统的立体视觉显著性特征是立体图像显著性研究方向需要解决的必不可少的问题。
发明内容
本发明所要解决的技术问题是提供一种符合显著语义特征的立体图像视觉显著提取方法，其具有较强的提取稳定性和较高的提取准确性。
本发明解决上述技术问题所采用的技术方案为：一种立体图像视觉显著提取方法，其特征在于包括以下步骤：
①对于任意一幅测试立体图像Stest，将Stest的左视点图像记为{LRGB(x,y)}，将Stest的左视差图像记为{D(x,y)}；其中，1≤x≤W，1≤y≤H，W表示Stest的宽度，H表示Stest的高度，LRGB(x,y)表示{LRGB(x,y)}中坐标位置为(x,y)的像素点的像素值，D(x,y)表示{D(x,y)}中坐标位置为(x,y)的像素点的像素值；
②将{LRGB(x,y)}从RGB颜色空间转换到Lab颜色空间，并将数据类型转换到实数类型，得到Lab颜色空间的左视点图像，记为{LLab(x,y)}；然后将{LLab(x,y)}的L通道图像记为{LLab,L(x,y)}，将{LLab(x,y)}的a通道图像记为{LLab,a(x,y)}，将{LLab(x,y)}的b通道图像记为{LLab,b(x,y)}；再将{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}均缩放到200×200像素尺寸，将{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}缩放后得到的图像对应记为{L200,L(x1,y1)}、{L200,a(x1,y1)}和{L200,b(x1,y1)}；其中，LLab(x,y)表示{LLab(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,L(x,y)表示{LLab,L(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,a(x,y)表示{LLab,a(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,b(x,y)表示{LLab,b(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x1≤200，1≤y1≤200，L200,L(x1,y1)表示{L200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，L200,a(x1,y1)表示{L200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，L200,b(x1,y1)表示{L200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；
对{D(x,y)}进行归一化处理，将归一化处理后得到的图像记为{D0,1(x,y)}；然后将{D0,1(x,y)}缩放到200×200像素尺寸，将缩放后得到的图像记为{D200(x1,y1)}；其中，D0,1(x,y)∈[0,1]，D0,1(x,y)表示{D0,1(x,y)}中坐标位置为(x,y)的像素点的像素值，D200(x1,y1)表示{D200(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；
③对{D200(x1,y1)}进行梯度提取，得到{D200(x1,y1)}的梯度幅值图，记为{G200,D(x1,y1)}；同样，对{L200,L(x1,y1)}进行梯度提取，得到{L200,L(x1,y1)}的梯度幅值图，记为{G200,L(x1,y1)}；对{L200,a(x1,y1)}进行梯度提取，得到{L200,a(x1,y1)}的梯度幅值图，记为{G200,a(x1,y1)}；对{L200,b(x1,y1)}进行梯度提取，得到{L200,b(x1,y1)}的梯度幅值图，记为{G200,b(x1,y1)}；其中，G200,D(x1,y1)表示{G200,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,L(x1,y1)表示{G200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,a(x1,y1)表示{G200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,b(x1,y1)表示{G200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；
④对{G200,D(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,D(x1,y1)}，将{GQ200,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,D(x1,y1)，GQ200,D(x1,y1)＝log10(1+2000×G200,D(x1,y1))；同样，对{G200,L(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,L(x1,y1)}，将{GQ200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,L(x1,y1)，GQ200,L(x1,y1)＝log10(1+100×G200,L(x1,y1))；对{G200,a(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,a(x1,y1)}，将{GQ200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,a(x1,y1)，GQ200,a(x1,y1)＝log10(1+100×G200,a(x1,y1))；对{G200,b(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,b(x1,y1)}，将{GQ200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,b(x1,y1)，GQ200,b(x1,y1)＝log10(1+100×G200,b(x1,y1))；
⑤利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,D(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,D(x1,y1)}，将{GQ200CS,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为DQ200CS,D(x1,y1)，GQ200CS,D(x1,y1)＝GQ200,D(x1,y1)×Csaliency200(x1,y1)×0.5；同样，利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,L(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,L(x1,y1)}，将{GQ200CS,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200CS,L(x1,y1)，GQ200CS,L(x1,y1)＝GQ200,L(x1,y1)×Csaliency200(x1,y1)；利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,a(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,a(x1,y1)}，将{GQ200CS,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200CS,a(x1,y1)，GQ200CS,a(x1,y1)＝GQ200,a(x1,y1)×Csaliency200(x1,y1)；利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,b(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,b(x1,y1)}，将{GQ200CS,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200CS,b(x1,y1)，GQ200CS,b(x1,y1)＝GQ200,b(x1,y1)×Csaliency200(x1,y1)；其中，Csaliency200(x1,y1)表示{Csaliency200(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；
⑥将{GQ200CS,D(x1,y1)}的矩阵表示形式、{GQ200CS,L(x1,y1)}的矩阵表示形式、{GQ200CS,a(x1,y1)}的矩阵表示形式、{GQ200CS,b(x1,y1)}的矩阵表示形式组成四元数矩阵，记为{QI200(x1,y1)}，将{QI200(x1,y1)}中坐标为(x1,y1)的元素的四元数值记为QI200(x1,y1)，QI200(x1,y1)＝GQ200CS,D(x1,y1)+i×GQ200CS,L(x1,y1)+j×GQ200CS,a(x1,y1)+k×GQ200CS,b(x1,y1)；然后对{QI200(x1,y1)}实施四元数傅里叶变换，得到{QI200(x1,y1)}的频域矩阵，记为{Qf200(u1,v1)}；其中，i、j、k均为虚数单位，GQ200CS,D(x1,y1)为QI200(x1,y1)的实部，GQ200CS,L(x1,y1)为QI200(x1,y1)的i虚部，GQ200CS,a(x1,y1)为QI200(x1,y1)的j虚部，GQ200CS,b(x1,y1)为QI200(x1,y1)的k虚部，1≤u1≤200，1≤v1≤200，Qf200(u1,v1)表示{Qf200(u1,v1)}中坐标为(u1,v1)的元素的四元数值；
⑦利用200×200像素尺寸的频域滤波模板图{LG200(u1,v1)}对{Qf200(u1,v1)}进行Log-Gabor低通滤波，得到{Qf200(u1,v1)}对应的低通特征图，记为{Qlog-Gabor200(u1,v1)}；然后对{Qlog-Gabor200(u1,v1)}的矩阵表示形式实施四元数傅里叶反变换，将四元数傅里叶反变换后得到的四元数矩阵记为{Qo200(x1,y1)}，将{Qo200(x1,y1)}中坐标为(x1,y1)的元素的四元数值记为Qo200(x1,y1)，Qo200(x1,y1)＝u200(x1,y1)+i×u200i(x1,y1)+j×u200j(x1,y1)+k×u200k(x1,y1)；其中，LG200(u1,v1)表示{LG200(u1,v1)}中坐标位置为(u1,v1)的像素点的像素值，Qlog-Gabor200(u1,v1)表示{Qlog-Gabor200(u1,v1)}中坐标位置为(u1,v1)的像素点的像素值，u200(x1,y1)表示{Qo200(x1,y1)}的实数矩阵{u200(x1,y1)}中坐标为(x1,y1)的元素的值，u200i(x1,y1)表示{Qo200(x1,y1)}的虚数i矩阵{u200i(x1,y1)}中坐标为(x1,y1)的元素的值，u200j(x1,y1)表示{Qo200(x1,y1)}的虚数j矩阵{u200j(x1,y1)}中坐标为(x1,y1)的元素的值，u200k(x1,y1)表示{Qo200(x1,y1)}的虚数k矩阵{u200k(x1,y1)}中坐标为(x1,y1)的元素的值；
⑧根据{u200(x1,y1)}，{u200i(x1,y1)}，{u200j(x1,y1)}和{u200k(x1,y1)}，获取Stest的初步视觉显著图，记为{SQFT-LG200(x1,y1)}，将{SQFT-LG200(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为SQFT-LG200(x1,y1)，SQFT-LG200(x1,y1)＝0.3×u200(x1,y1)+u200i(x1,y1)+u200j(x1,y1)+u200k(x1,y1)；然后对{SQFT-LG200(x1,y1)}进行归一化处理，将归一化处理后得到的图像记为{SQFT-F(x1,y1)}；再将{SQFT-F(x1,y1)}缩放到W×H像素尺寸，将缩放后得到的图像作为Stest的最终视觉显著图，记为{SF(x,y)}；其中，SQFT-F(x1,y1)表示{SQFT-F(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，SF(x,y)表示{SF(x,y)}中坐标位置为(x,y)的像素点的像素值。
所述的步骤②中，其中，min()为取最小值函数，max()为取最大值函数。
所述的步骤③中，G200,D(x1,y1)＝abs(G200x,D(x1,y1)+G200y,D(x1,y1))，G200,L(x1,y1)＝abs(G200x,L(x1,y1)+G200y,L(x1,y1))，G200,a(x1,y1)＝abs(G200x,a(x1,y1)+G200y,a(x1,y1))，G200,b(x1,y1)＝abs(G200x,b(x1,y1)+G200y,b(x1,y1))；其中，abs()表示取绝对值函数，G200x,D(x1,y1)表示对{D200(x1,y1)}的水平方向进行梯度提取得到的水平方向梯度图{G200x,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200y,D(x1,y1)表示对{D200(x1,y1)}的垂直方向进行梯度提取得到的垂直方向梯度图{G200y,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200x,L(x1,y1)表示对{L200,L(x1,y1)}的水平方向进行梯度提取得到的水平方向梯度图{G200x,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200y,L(x1,y1)表示对{L200,L(x1,y1)}的垂直方向进行梯度提取得到的垂直方向梯度图{G200y,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200x,a(x1,y1)表示对{L200,a(x1,y1)}的水平方向进行梯度提取得到的水平方向梯度图{G200x,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200y,a(x1,y1)表示对{L200,a(x1,y1)}的垂直方向进行梯度提取得到的垂直方向梯度图{G200y,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200x,b(x1,y1)表示对{L200,b(x1,y1)}的水平方向进行梯度提取得到的水平方向梯度图{G200x,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200y,b(x1,y1)表示对{L200,b(x1,y1)}的垂直方向进行梯度提取得到的垂直方向梯度图{G200y,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值。
所述的步骤⑤中，其中，e为自然基数，x0表示{Csaliency200(x1,y1)}的中心像素点的横坐标，y0表示{Csaliency200(x1,y1)}的中心像素点的纵坐标，δD表示中心偏好参数。
所述的步骤⑦中，{LG200(u1,v1)}利用Log-Gabor频域滤波器生成，生成{LG200(u1,v1)}的过程中所需的4个输入参数的取值分别为：带宽控制参数σF的取值为0.3，滤波模板图宽度控制参数u0的取值为100，滤波模板图高度控制参数v0的取值为100，滤波器中心频率控制参数ω0的取值为0.1667；所述的步骤⑦中，Qlog-Gabor200(u1,v1)＝LG200(u1,v1)×Qf200(u1,v1)。
所述的步骤⑧中，其中，max()表示取最大值函数。
与现有技术相比，本发明的优点在于：
1)本发明方法将视差信息的特征融合到左视点视觉显著图提取之中，提高了立体视觉显著值预测的准确性和稳定性。
2)本发明方法是基于四元数频域的频域分析得到的，有较强的鲁棒性，对不同场景类型的图像都有较好的显著值预测效果。
3)本发明方法的实现是通过一次性的四元数Log-Gabor滤波得到的，相对于其他预测准确率相近的现有算法计算速度更快。
4)本发明方法是在四元数频域进行滤波得到的，通过修改或者部分修改滤波器，可以容易的实现方法的拓展，和改动，如方向性选择以及滤波频率选择，可以针对各种应用的特殊性进行快速的修改。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种立体图像视觉显著提取方法，其综合利用Lab数据和视差(disparity)数据，实现基于紧致性分析和多线索融合的立体视觉显著性检测，其总体实现框图如图1所示，其特征在于包括以下步骤：
①对于任意一幅测试立体图像Stest，将Stest的左视点图像记为{LRGB(x,y)}，将{LRGB(x,y)}的R通道图像记为{LRGB,R(x,y)}，将{LRGB(x,y)}的G通道图像记为{LRGB,G(x,y)}，将{LRGB(x,y)}的B通道图像记为{LRGB,B(x,y)}，将Stest的左视差图像记为{D(x,y)}；其中，1≤x≤W，1≤y≤H，W表示Stest的宽度，H表示Stest的高度，LRGB(x,y)表示{LRGB(x,y)}中坐标位置为(x,y)的像素点的像素值，LRGB,R(x,y)表示{LRGB,R(x,y)}中坐标位置为(x,y)的像素点的像素值，LRGB,G(x,y)表示{LRGB,G(x,y)}中坐标位置为(x,y)的像素点的像素值，LRGB,B(x,y)表示{LRGB,B(x,y)}中坐标位置为(x,y)的像素点的像素值，D(x,y)表示{D(x,y)}中坐标位置为(x,y)的像素点的像素值。
②将{LRGB(x,y)}从RGB颜色空间转换到Lab颜色空间，并将数据类型转换到实数类型，得到Lab颜色空间的左视点图像，记为{LLab(x,y)}；然后将{LLab(x,y)}的L通道图像记为{LLab,L(x,y)}，将{LLab(x,y)}的a通道图像记为{LLab,a(x,y)}，将{LLab(x,y)}的b通道图像记为{LLab,b(x,y)}；再将{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}均缩放到200×200像素尺寸，将{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}缩放后得到的图像对应记为{L200,L(x1,y1)}、{L200,a(x1,y1)}和{L200,b(x1,y1)}；其中，LLab(x,y)表示{LLab(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,L(x,y)表示{LLab,L(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,a(x,y)表示{LLab,a(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,b(x,y)表示{LLab,b(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x1≤200，1≤y1≤200。L200,L(x1,y1)表示{L200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，L200,a(x1,y1)表示{L200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，L200,b(x1,y1)表示{L200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值。
对{D(x,y)}进行归一化处理，将归一化处理后得到的图像记为{D0,1(x,y)}；然后将{D0,1(x,y)}缩放到200×200像素尺寸，将缩放后得到的图像记为{D200(x1,y1)}；其中，D0,1(x,y)∈[0,1]，D0,1(x,y)表示{D0,1(x,y)}中坐标位置为(x,y)的像素点的像素值，D200(x1,y1)表示{D200(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值。
在本实施例中，步骤②中，其中，min()为取最小值函数，max()为取最大值函数。
③对{D200(x1,y1)}进行梯度提取，得到{D200(x1,y1)}的梯度幅值图，记为{G200,D(x1,y1)}；同样，对{L200,L(x1,y1)}进行梯度提取，得到{L200,L(x1,y1)}的梯度幅值图，记为{G200,L(x1,y1)}；对{L200,a(x1,y1)}进行梯度提取，得到{L200,a(x1,y1)}的梯度幅值图，记为{G200,a(x1,y1)}；对{L200,b(x1,y1)}进行梯度提取，得到{L200,b(x1,y1)}的梯度幅值图，记为{G200,b(x1,y1)}；其中，G200,D(x1,y1)表示{G200,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,L(x1,y1)表示{G200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,a(x1,y1)表示{G200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,b(x1,y1)表示{G200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值。
在本实施例中，步骤③中，G200,D(x1,y1)＝abs(G200x,D(x1,y1)+G200y,D(x1,y1))，G200,L(x1,y1)＝abs(G200x,L(x1,y1)+G200y,L(x1,y1))，G200,a(x1,y1)＝abs(G200x,a(x1,y1)+G200y,a(x1,y1))，G200,b(x1,y1)＝abs(G200x,b(x1,y1)+G200y,b(x1,y1))；其中，abs()表示取绝对值函数，G200x,D(x1,y1)表示对{D200(x1,y1)}的水平方向进行现有的梯度提取得到的水平方向梯度图{G200x,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200y,D(x1,y1)表示对{D200(x1,y1)}的垂直方向进行现有的梯度提取得到的垂直方向梯度图{G200y,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200x,L(x1,y1)表示对{L200,L(x1,y1)}的水平方向进行现有的梯度提取得到的水平方向梯度图{G200x,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200y,L(x1,y1)表示对{L200,L(x1,y1)}的垂直方向进行现有的梯度提取得到的垂直方向梯度图{G200y,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200x,a(x1,y1)表示对{L200,a(x1,y1)}的水平方向进行现有的梯度提取得到的水平方向梯度图{G200x,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200y,a(x1,y1)表示对{L200,a(x1,y1)}的垂直方向进行现有的梯度提取得到的垂直方向梯度图{G200y,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200x,b(x1,y1)表示对{L200,b(x1,y1)}的水平方向进行现有的梯度提取得到的水平方向梯度图{G200x,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200y,b(x1,y1)表示对{L200,b(x1,y1)}的垂直方向进行现有的梯度提取得到的垂直方向梯度图{G200y,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值。
④对{G200,D(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,D(x1,y1)}，将{GQ200,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,D(x1,y1)，GQ200,D(x1,y1)＝log10(1+2000×G200,D(x1,y1))；同样，对{G200,L(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,L(x1,y1)}，将{GQ200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,L(x1,y1)，GQ200,L(x1,y1)＝log10(1+100×G200,L(x1,y1))；对{G200,a(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,a(x1,y1)}，将{GQ200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,a(x1,y1)，GQ200,a(x1,y1)＝log10(1+100×G200,a(x1,y1))；对{G200,b(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,b(x1,y1)}，将{GQ200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,b(x1,y1)，GQ200,b(x1,y1)＝log10(1+100×G200,b(x1,y1))。
⑤利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,D(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,D(x1,y1)}，将{GQ200CS,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为DQ200CS,D(x1,y1)，GQ200CS,D(x1,y1)＝GQ200,D(x1,y1)×Csaliency200(x1,y1)×0.5；同样，利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,L(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,L(x1,y1)}，将{GQ200CS,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200CS,L(x1,y1)，GQ200CS,L(x1,y1)＝GQ200,L(x1,y1)×Csaliency200(x1,y1)；利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,a(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,a(x1,y1)}，将{GQ200CS,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200CS,a(x1,y1)，GQ200CS,a(x1,y1)＝GQ200,a(x1,y1)×Csaliency200(x1,y1)；利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,b(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,b(x1,y1)}，将{GQ200CS,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200CS,b(x1,y1)，GQ200CS,b(x1,y1)＝GQ200,b(x1,y1)×Csaliency200(x1,y1)；其中，Csaliency200(x1,y1)表示{Csaliency200(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值。
在本实施例中，步骤⑤中，其中，e为自然基数，e＝2.7182818284…，x0表示{Csaliency200(x1,y1)}的中心像素点的横坐标，y0表示{Csaliency200(x1,y1)}的中心像素点的纵坐标，δD表示中心偏好参数，在本实施例中，取x0＝100、y0＝100、δD＝114。
⑥将{GQ200CS,D(x1,y1)}的矩阵表示形式、{GQ200CS,L(x1,y1)}的矩阵表示形式、{GQ200CS,a(x1,y1)}的矩阵表示形式、{GQ200CS,b(x1,y1)}的矩阵表示形式组成四元数矩阵，记为{QI200(x1,y1)}，将{QI200(x1,y1)}中坐标为(x1,y1)的元素的四元数值记为QI200(x1,y1)，QI200(x1,y1)＝GQ200CS,D(x1,y1)+i×GQ200CS,L(x1,y1)+j×GQ200CS,a(x1,y1)+k×GQ200CS,b(x1,y1)；然后对{QI200(x1,y1)}实施现有的四元数傅里叶变换，得到{QI200(x1,y1)}的频域矩阵，记为{Qf200(u1,v1)}；其中，i、j、k均为虚数单位，GQ200CS,D(x1,y1)为QI200(x1,y1)的实部，GQ200CS,L(x1,y1)为QI200(x1,y1)的i虚部，GQ200CS,a(x1,y1)为QI200(x1,y1)的j虚部，GQ200CS,b(x1,y1)为QI200(x1,y1)的k虚部，1≤u1≤200，1≤v1≤200，Qf200(u1,v1)表示{Qf200(u1,v1)}中坐标为(u1,v1)的元素的四元数值。
⑦利用200×200像素尺寸的频域滤波模板图{LG200(u1,v1)}对{Qf200(u1,v1)}进行现有的Log-Gabor低通滤波，得到{Qf200(u1,v1)}对应的低通特征图，记为{Qlog-Gabor200(u1,v1)}；然后对{Qlog-Gabor200(u1,v1)}的矩阵表示形式实施现有的四元数傅里叶反变换，将四元数傅里叶反变换后得到的四元数矩阵记为{Qo200(x1,y1)}，将{Qo200(x1,y1)}中坐标为(x1,y1)的元素的四元数值记为Qo200(x1,y1)，Qo200(x1,y1)＝u200(x1,y1)+i×u200i(x1,y1)+j×u200j(x1,y1)+k×u200k(x1,y1)；其中，LG200(u1,v1)表示{LG200(u1,v1)}中坐标位置为(u1,v1)的像素点的像素值，Qlog-Gabor200(u1,v1)表示{Qlog-Gabor200(u1,v1)}中坐标位置为(u1,v1)的像素点的像素值，u200(x1,y1)表示{Qo200(x1,y1)}的实数矩阵{u200(x1,y1)}中坐标为(x1,y1)的元素的值，u200i(x1,y1)表示{Qo200(x1,y1)}的虚数i矩阵{u200i(x1,y1)}中坐标为(x1,y1)的元素的值，u200j(x1,y1)表示{Qo200(x1,y1)}的虚数j矩阵{u200j(x1,y1)}中坐标为(x1,y1)的元素的值，u200k(x1,y1)表示{Qo200(x1,y1)}的虚数k矩阵{u200k(x1,y1)}中坐标为(x1,y1)的元素的值。
在本实施例中，步骤⑦中，{LG200(u1,v1)}利用现有的Log-Gabor频域滤波器生成，生成{LG200(u1,v1)}的过程中所需的4个输入参数的取值分别为：带宽控制参数σF的取值为0.3，滤波模板图宽度控制参数u0的取值为100，滤波模板图高度控制参数v0的取值为100，滤波器中心频率控制参数ω0的取值为0.1667；所述的步骤⑦中，Qlog-Gabor200(u1,v1)＝LG200(u1,v1)×Qf200(u1,v1)。
⑧根据{u200(x1,y1)}，{u200i(x1,y1)}，{u200j(x1,y1)}和{u200k(x1,y1)}，获取Stest的初步视觉显著图，记为{SQFT-LG200(x1,y1)}，将{SQFT-LG200(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为SQFT-LG200(x1,y1)，SQFT-LG200(x1,y1)＝0.3×u200(x1,y1)+u200i(x1,y1)+u200j(x1,y1)+u200k(x1,y1)；然后对{SQFT-LG200(x1,y1)}进行归一化处理，将归一化处理后得到的图像记为{SQFT-F(x1,y1)}；再将{SQFT-F(x1,y1)}缩放到W×H像素尺寸，将缩放后得到的图像作为Stest的最终视觉显著图，记为{SF(x,y)}；其中，SQFT-F(x1,y1)表示{SQFT-F(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，SF(x,y)表示{SF(x,y)}中坐标位置为(x,y)的像素点的像素值。
在本实施例中，步骤⑧中，其中，max()表示取最大值函数。
为了验证本发明方法的可行性和有效性，进行实验。
在此，采用法国南特大学提供的三维人眼跟踪数据库(3Deye-trackingdatabase)来分析本发明方法的准确性和稳定性。这里，利用评估视觉显著提取方法的3个常用客观参量作为评价指标，即Pearson相关系数(Pearson linear correlationcoefficient，PLCC)、Kullback-Leibler散度系数(Kullback-Leibler divergence，KLD)、AUC参数(the Area Under the receiver operating characteristics Curve，AUC)。
利用本发明方法获取法国南特大学提供的三维人眼跟踪数据库中的每幅立体图像的最终视觉显著图，并与三维人眼跟踪数据库中的每幅立体图像的主观视觉显著图(三维人眼跟踪数据库中存在)进行比较，PLCC和AUC值越高、KLD值越低说明本发明方法提取的最终视觉显著图与主观视觉显著图的一致性越好。反映本发明方法的显著提取性能的PLCC、KLD和AUC相关指标如表1所列。从表1所列的数据可知，按本发明方法提取得到的最终视觉显著图与主观视觉显著图的准确性和稳定性是很好的，表明客观提取结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。
表1利用本发明方法提取得到的最终视觉显著图与主观视觉显著图的准确性和稳
定性

Claims (5)

1.一种立体图像视觉显著提取方法，其特征在于包括以下步骤：
①对于任意一幅测试立体图像Stest，将Stest的左视点图像记为{LRGB(x,y)}，将Stest的左视差图像记为{D(x,y)}；其中，1≤x≤W，1≤y≤H，W表示Stest的宽度，H表示Stest的高度，LRGB(x,y)表示{LRGB(x,y)}中坐标位置为(x,y)的像素点的像素值，D(x,y)表示{D(x,y)}中坐标位置为(x,y)的像素点的像素值；
②将{LRGB(x,y)}从RGB颜色空间转换到Lab颜色空间，并将数据类型转换到实数类型，得到Lab颜色空间的左视点图像，记为{LLab(x,y)}；然后将{LLab(x,y)}的L通道图像记为{LLab,L(x,y)}，将{LLab(x,y)}的a通道图像记为{LLab,a(x,y)}，将{LLab(x,y)}的b通道图像记为{LLab,b(x,y)}；再将{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}均缩放到200×200像素尺寸，将{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}缩放后得到的图像对应记为{L200,L(x1,y1)}、{L200,a(x1,y1)}和{L200,b(x1,y1)}；其中，LLab(x,y)表示{LLab(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,L(x,y)表示{LLab,L(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,a(x,y)表示{LLab,a(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,b(x,y)表示{LLab,b(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x1≤200，1≤y1≤200，L200,L(x1,y1)表示{L200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，L200,a(x1,y1)表示{L200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，L200,b(x1,y1)表示{L200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；
对{D(x,y)}进行归一化处理，将归一化处理后得到的图像记为{D0,1(x,y)}；然后将{D0,1(x,y)}缩放到200×200像素尺寸，将缩放后得到的图像记为{D200(x1,y1)}；其中，D0,1(x,y)∈[0,1]，D0,1(x,y)表示{D0,1(x,y)}中坐标位置为(x,y)的像素点的像素值，D200(x1,y1)表示{D200(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；
③对{D200(x1,y1)}进行梯度提取，得到{D200(x1,y1)}的梯度幅值图，记为{G200,D(x1,y1)}；同样，对{L200,L(x1,y1)}进行梯度提取，得到{L200,L(x1,y1)}的梯度幅值图，记为{G200,L(x1,y1)}；对{L200,a(x1,y1)}进行梯度提取，得到{L200,a(x1,y1)}的梯度幅值图，记为{G200,a(x1,y1)}；对{L200,b(x1,y1)}进行梯度提取，得到{L200,b(x1,y1)}的梯度幅值图，记为{G200,b(x1,y1)}；其中，G200,D(x1,y1)表示{G200,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,L(x1,y1)表示{G200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,a(x1,y1)表示{G200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,b(x1,y1)表示{G200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；
④对{G200,D(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,D(x1,y1)}，将{GQ200,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,D(x1,y1)，GQ200,D(x1,y1)＝log10(1+2000×G200,D(x1,y1))；同样，对{G200,L(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,L(x1,y1)}，将{GQ200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,L(x1,y1)，GQ200,L(x1,y1)＝log10(1+100×G200,L(x1,y1))；对{G200,a(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,a(x1,y1)}，将{GQ200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,a(x1,y1)，GQ200,a(x1,y1)＝log10(1+100×G200,a(x1,y1))；对{G200,b(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,b(x1,y1)}，将{GQ200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,b(x1,y1)，GQ200,b(x1,y1)＝log10(1+100×G200,b(x1,y1))；
⑤利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,D(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,D(x1,y1)}，将{GQ200CS,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为DQ200CS,D(x1,y1)，GQ200CS,D(x1,y1)＝GQ200,D(x1,y1)×Csaliency200(x1,y1)×0.5；同样，利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,L(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,L(x1,y1)}，将{GQ200CS,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200CS,L(x1,y1)，GQ200CS,L(x1,y1)＝GQ200,L(x1,y1)×Csaliency200(x1,y1)；利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,a(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,a(x1,y1)}，将{GQ200CS,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200CS,a(x1,y1)，GQ200CS,a(x1,y1)＝GQ200,a(x1,y1)×Csaliency200(x1,y1)；利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,b(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,b(x1,y1)}，将{GQ200CS,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200CS,b(x1,y1)，GQ200CS,b(x1,y1)＝GQ200,b(x1,y1)×Csaliency200(x1,y1)；其中，Csaliency200(x1,y1)表示{Csaliency200(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；
所述的步骤⑤中，其中，e为自然基数，x0表示{Csaliency200(x1,y1)}的中心像素点的横坐标，y0表示{Csaliency200(x1,y1)}的中心像素点的纵坐标，δD表示中心偏好参数；
⑥将{GQ200CS,D(x1,y1)}的矩阵表示形式、{GQ200CS,L(x1,y1)}的矩阵表示形式、{GQ200CS,a(x1,y1)}的矩阵表示形式、{GQ200CS,b(x1,y1)}的矩阵表示形式组成四元数矩阵，记为{QI200(x1,y1)}，将{QI200(x1,y1)}中坐标为(x1,y1)的元素的四元数值记为QI200(x1,y1)，QI200(x1,y1)＝GQ200CS,D(x1,y1)+i×GQ200CS,L(x1,y1)+j×GQ200CS,a(x1,y1)+k×GQ200CS,b(x1,y1)；然后对{QI200(x1,y1)}实施四元数傅里叶变换，得到{QI200(x1,y1)}的频域矩阵，记为{Qf200(u1,v1)}；其中，i、j、k均为虚数单位，GQ200CS,D(x1,y1)为QI200(x1,y1)的实部，GQ200CS,L(x1,y1)为QI200(x1,y1)的i虚部，GQ200CS,a(x1,y1)为QI200(x1,y1)的j虚部，GQ200CS,b(x1,y1)为QI200(x1,y1)的k虚部，1≤u1≤200，1≤v1≤200，Qf200(u1,v1)表示{Qf200(u1,v1)}中坐标为(u1,v1)的元素的四元数值；
⑦利用200×200像素尺寸的频域滤波模板图{LG200(u1,v1)}对{Qf200(u1,v1)}进行Log-Gabor低通滤波，得到{Qf200(u1,v1)}对应的低通特征图，记为{Qlog-Gabor200(u1,v1)}；然后对{Qlog-Gabor200(u1,v1)}的矩阵表示形式实施四元数傅里叶反变换，将四元数傅里叶反变换后得到的四元数矩阵记为{Qo200(x1,y1)}，将{Qo200(x1,y1)}中坐标为(x1,y1)的元素的四元数值记为Qo200(x1,y1)，Qo200(x1,y1)＝u200(x1,y1)+i×u200i(x1,y1)+j×u200j(x1,y1)+k×u200k(x1,y1)；其中，LG200(u1,v1)表示{LG200(u1,v1)}中坐标位置为(u1,v1)的像素点的像素值，Qlog-Gabor200(u1,v1)表示{Qlog-Gabor200(u1,v1)}中坐标位置为(u1,v1)的像素点的像素值，u200(x1,y1)表示{Qo200(x1,y1)}的实数矩阵{u200(x1,y1)}中坐标为(x1,y1)的元素的值，u200i(x1,y1)表示{Qo200(x1,y1)}的虚数i矩阵{u200i(x1,y1)}中坐标为(x1,y1)的元素的值，u200j(x1,y1)表示{Qo200(x1,y1)}的虚数j矩阵{u200j(x1,y1)}中坐标为(x1,y1)的元素的值，u200k(x1,y1)表示{Qo200(x1,y1)}的虚数k矩阵{u200k(x1,y1)}中坐标为(x1,y1)的元素的值；
⑧根据{u200(x1,y1)}，{u200i(x1,y1)}，{u200j(x1,y1)}和{u200k(x1,y1)}，获取Stest的初步视觉显著图，记为{SQFT-LG200(x1,y1)}，将{SQFT-LG200(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为SQFT-LG200(x1,y1)，SQFT-LG200(x1,y1)＝0.3×u200(x1,y1)+u200i(x1,y1)+u200j(x1,y1)+u200k(x1,y1)；然后对{SQFT-LG200(x1,y1)}进行归一化处理，将归一化处理后得到的图像记为{SQFT-F(x1,y1)}；再将{SQFT-F(x1,y1)}缩放到W×H像素尺寸，将缩放后得到的图像作为Stest的最终视觉显著图，记为{SF(x,y)}；其中，SQFT-F(x1,y1)表示{SQFT-F(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，SF(x,y)表示{SF(x,y)}中坐标位置为(x,y)的像素点的像素值。
2.根据权利要求1所述的一种立体图像视觉显著提取方法，其特征在于所述的步骤②中，其中，min()为取最小值函数，max()为取最大值函数。
3.根据权利要求1所述的一种立体图像视觉显著提取方法，其特征在于所述的步骤③中，G200,D(x1,y1)＝abs(G200x,D(x1,y1)+G200y,D(x1,y1))，G200,L(x1,y1)＝abs(G200x,L(x1,y1)+G200y,L(x1,y1))，G200,a(x1,y1)＝abs(G200x,a(x1,y1)+G200y,a(x1,y1))，G200,b(x1,y1)＝abs(G200x,b(x1,y1)+G200y,b(x1,y1))；其中，abs()表示取绝对值函数，G200x,D(x1,y1)表示对{D200(x1,y1)}的水平方向进行梯度提取得到的水平方向梯度图{G200x,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200y,D(x1,y1)表示对{D200(x1,y1)}的垂直方向进行梯度提取得到的垂直方向梯度图{G200y,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200x,L(x1,y1)表示对{L200,L(x1,y1)}的水平方向进行梯度提取得到的水平方向梯度图{G200x,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200y,L(x1,y1)表示对{L200,L(x1,y1)}的垂直方向进行梯度提取得到的垂直方向梯度图{G200y,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200x,a(x1,y1)表示对{L200,a(x1,y1)}的水平方向进行梯度提取得到的水平方向梯度图{G200x,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200y,a(x1,y1)表示对{L200,a(x1,y1)}的垂直方向进行梯度提取得到的垂直方向梯度图{G200y,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200x,b(x1,y1)表示对{L200,b(x1,y1)}的水平方向进行梯度提取得到的水平方向梯度图{G200x,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200y,b(x1,y1)表示对{L200,b(x1,y1)}的垂直方向进行梯度提取得到的垂直方向梯度图{G200y,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值。
4.根据权利要求1所述的一种立体图像视觉显著提取方法，其特征在于所述的步骤⑦中，{LG200(u1,v1)}利用Log-Gabor频域滤波器生成，生成{LG200(u1,v1)}的过程中所需的4个输入参数的取值分别为：带宽控制参数σF的取值为0.3，滤波模板图宽度控制参数u0的取值为100，滤波模板图高度控制参数v0的取值为100，滤波器中心频率控制参数ω0的取值为0.1667；所述的步骤⑦中，Qlog-Gabor200(u1,v1)＝LG200(u1,v1)×Qf200(u1,v1)。
5.根据权利要求1所述的一种立体图像视觉显著提取方法，其特征在于所述的步骤⑧中，其中，max()表示取最大值函数。
CN201710826355.XA 2017-09-14 2017-09-14 一种立体图像视觉显著提取方法 Active CN107665488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710826355.XA CN107665488B (zh) 2017-09-14 2017-09-14 一种立体图像视觉显著提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710826355.XA CN107665488B (zh) 2017-09-14 2017-09-14 一种立体图像视觉显著提取方法

Publications (2)

Publication Number Publication Date
CN107665488A CN107665488A (zh) 2018-02-06
CN107665488B true CN107665488B (zh) 2019-12-24

Family

ID=61098018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710826355.XA Active CN107665488B (zh) 2017-09-14 2017-09-14 一种立体图像视觉显著提取方法

Country Status (1)

Country Link
CN (1) CN107665488B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409383A (zh) * 2018-09-26 2019-03-01 重庆邮电大学 基于扩展四元局部二值模式的彩色图像特征提取方法
CN109635822B (zh) * 2018-12-07 2022-06-21 浙江科技学院 基于深度学习编码译码网络的立体图像视觉显著提取方法
CN109977967B (zh) * 2019-03-06 2020-12-25 浙江科技学院 基于参数共享深度学习网络的立体图像视觉显著提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262691B2 (en) * 2013-12-17 2016-02-16 Catholic University Industry Academic Cooperation Foundation Method for extracting salient object from stereoscopic image
CN106682599A (zh) * 2016-12-15 2017-05-17 浙江科技学院 一种基于稀疏表示的立体图像视觉显著提取方法
CN106778772A (zh) * 2016-11-23 2017-05-31 浙江科技学院 一种立体图像视觉显著提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262691B2 (en) * 2013-12-17 2016-02-16 Catholic University Industry Academic Cooperation Foundation Method for extracting salient object from stereoscopic image
CN106778772A (zh) * 2016-11-23 2017-05-31 浙江科技学院 一种立体图像视觉显著提取方法
CN106682599A (zh) * 2016-12-15 2017-05-17 浙江科技学院 一种基于稀疏表示的立体图像视觉显著提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Saliency Detection for Stereoscopic Images;Yuming Fang,et al.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20140630;第2625-2636页 *

Also Published As

Publication number Publication date
CN107665488A (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
He et al. Towards fast and accurate real-world depth super-resolution: Benchmark dataset and baseline
CN107767413B (zh) 一种基于卷积神经网络的图像深度估计方法
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN109255358B (zh) 一种基于视觉显著性和深度图的3d图像质量评价方法
KR101584115B1 (ko) 시각적 관심맵 생성 장치 및 방법
CN104392233B (zh) 一种基于区域的图像显著图提取方法
CN104036502B (zh) 一种无参考模糊失真立体图像质量评价方法
CN107665488B (zh) 一种立体图像视觉显著提取方法
CN110570402B (zh) 基于边界感知神经网络的双目显著物体检测方法
KR101028628B1 (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
CN108447059B (zh) 一种全参考光场图像质量评价方法
CN114648482A (zh) 立体全景图像的质量评价方法、系统
CN112734914A (zh) 一种增强现实视觉的图像立体重建方法及装置
CN109409380B (zh) 一种基于双学习网络的立体图像视觉显著提取方法
CN103632372B (zh) 一种视频显著图提取方法
CN112149662A (zh) 一种基于扩张卷积块的多模态融合显著性检测方法
CN104243956B (zh) 一种立体图像视觉显著图提取方法
CN106682599B (zh) 一种基于稀疏表示的立体图像视觉显著提取方法
WO2024187901A1 (zh) 一种图像高质量和谐化模型训练及装置
CN112508847A (zh) 一种基于深度特征与结构加权lbp特征的图像质量评价方法
CN108470176B (zh) 一种基于频域稀疏表示的立体图像视觉显著提取方法
CN104822058A (zh) 一种立体图像显著图提取方法
CN105338335B (zh) 一种立体图像显著图提取方法
KR20140061028A (ko) 주파수 성분과 영역 분할을 이용한 고해상도 얼굴 영상 복원 장치 및 방법
CN116645513A (zh) 水印提取方法、模型训练方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221025

Address after: 230000 b-1018, Woye Garden commercial office building, 81 Ganquan Road, Shushan District, Hefei City, Anhui Province

Patentee after: HEFEI WISDOM DRAGON MACHINERY DESIGN Co.,Ltd.

Address before: 310023 No. 318 stay Road, Xihu District, Zhejiang, Hangzhou

Patentee before: ZHEJIANG University OF SCIENCE AND TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221207

Address after: B702, Building 2, Dingtai Fenghua, No. 1085, Qianhai Road, Fenghua Community, Nanshan Street, Nanshan District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Wuxin Tongde Enterprise Management Consulting Partnership (L.P.)

Address before: 230000 b-1018, Woye Garden commercial office building, 81 Ganquan Road, Shushan District, Hefei City, Anhui Province

Patentee before: HEFEI WISDOM DRAGON MACHINERY DESIGN Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230406

Address after: Building 1003, Building 3, Chongwen Park, Nanshan Zhiyuan, No. 3370 Liuxian Avenue, Fuguang Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province, 518000

Patentee after: Shenzhen Lingkun Information Technology Co.,Ltd.

Address before: B702, Building 2, Dingtai Fenghua, No. 1085, Qianhai Road, Fenghua Community, Nanshan Street, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: Shenzhen Wuxin Tongde Enterprise Management Consulting Partnership (L.P.)