CN107844750A - 一种水面全景图像目标检测识别方法 - Google Patents
一种水面全景图像目标检测识别方法 Download PDFInfo
- Publication number
- CN107844750A CN107844750A CN201710979114.9A CN201710979114A CN107844750A CN 107844750 A CN107844750 A CN 107844750A CN 201710979114 A CN201710979114 A CN 201710979114A CN 107844750 A CN107844750 A CN 107844750A
- Authority
- CN
- China
- Prior art keywords
- target
- box
- image
- target detection
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种水面全景图像目标检测识别方法,属于计算机视觉识别技术领域。本发明方法首先利用目标检测识别神经网络模型对全景图像进行目标检测识别,获取目标类别和检测框初始位置;之后对目标局部区域进行图像分割,得到多个超像素块,再采用多阈值融合策略合并所述超像素块,得到调整后目标检测框;再计算新的目标局部区域的边缘图,根据目标检测框box*周围边缘点的分布调整box*,得到最终目标检测框box*;最后由全景图像成像平面坐标系与世界坐标系的映射关系,将最终目标检测框box*位置转化为目标的实际位置。本发明方法能有效克服全景图像中畸变效应,从全景图像中将目标位置准确识别出来。
Description
技术领域
本发明属于计算机视觉识别技术领域,更具体地,涉及一种水面全景图像目标检测识别方法。
背景技术
随着海洋强国战略的提出,我国已经开始大力发展海洋设备。无人艇作为一种无人水面移动平台,不仅能够进入一些恶劣环境中完成任务,同时也能够提高需要长时间作业的任务的完成效率,在许多实际应用中都发挥着十分重要的作用,例如海关巡逻、浅海扫雷和水质监测等等。对于无人艇而言,环境感知技术是其完成自主航行和自主避障不可缺少的一环。特别地,在实际作业的过程当中,仅能够检测前进方向的目标或障碍物是远远不够的,危险可能出现在无人艇周围任何的方位。因此,装备全景相机来采集无人艇周围360°范围内的环境信息,并实时检测其中的目标及障碍物,是提高无人艇自主航行安全性的有效手段。
在现有的技术中,尚没有将水面全景图像用于目标检测识别任务之中。有人曾提出一种基于三维全景环视的无人艇自动锚泊视觉辅助系统,在艇身周围布置多个相机和毫米波测距雷达,通过拼接多个相机的图像来合成全景图像辅助测距雷达进行自动锚泊,通过无人艇身上的多个相机采集图像信息实现广阔的视角监控。但是所述方法仅是利用全景图像辅助测距雷达进行自动锚泊,没有利用全景图像信息进行目标识别,目前常用的目标检测识别算法如下:
2014年,Ross Girshick等人发表了R-CNN算法,首次提出了基于目标潜在区域结合卷积神经网络的目标检测算法,代替了使用滑动窗口和手工设计特征的传统目标检测算法,使得目标检测的准确率得到了本质的提高。2015年,Kaiming He等人提出了Faster R-CNN算法,用一个卷积神经网络模型同时完成了分类任务与回归任务,实现了目标检测与识别;同时构建了RPN网络模型,大大缩减了算法运行时间。该算法取得了当时最好的效果,在VOC 2007数据集上正确率达到了73.2%。2015年,Wei Liu等人提出SSD算法,不同于R-CNN系列算法需要提取目标潜在区域,直接利用多层卷积特征生成目标检测框。由于不需要生成目标潜在区域,SSD算法的速度得到很大的提升。SSD300网络在VOC2007数据集上获得72.1%正确率的同时,计算速度达到了58fps。2016年,Jifeng Dai等人发表了R-FCN算法。R-FCN算法为了解决卷积神经网络池化层大量丢失图像空间信息的问题,提出了位置敏感型卷积滤波器,大大提高了目标检测识别正确率。
上述方法对当前公共数据库中的图像都有很好的效果,但是全景图像是由多个相机拍摄的照片变形拼接而形成,因而会存在拼接裂缝以及相机鱼眼模式产生的扭曲等畸变,这些畸变会导致目标产生较大的形变,上述基于深度学习的目标检测识别算法,能够克服目标一定程度的形变,但是无法解决目标大的形变,难以检测到目标准确位置,因此针对现有的全景图像,现有的基于深度学习的目标检测识别算法对目标位置识别准确率不够高。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了计算机视觉识别技术,其目的在于先利用基于深度学习的目标检测算法强大的拟合能力,找到初始目标检测框;之后针对全景图像畸变大的特点,分割目标局部区域产生若干超像素块,利用多阈值超像素块融合策略,调整初始目标检测框;接着根据目标检测框周围边缘点的分布情况,再次调整目标检测框位置,得到最终目标检测框;最后将最终目标检测框位置转化为目标的实际位置。由此解决现有技术中全景图像目标识别无法解决图像畸变影响的技术问题。
为实现上述目的,提供了计算机视觉识别技术,所述方法包括:
(1)利用训练好的目标检测识别神经网络模型对全景图像进行目标检测识别,获取目标类别和初始目标检测框box;
(2)在全景图像上截取以目标检测框box为中心,γ倍目标检测框box大小的矩形区域作为目标局部区域;其中,1.1≤γ≤1.5,优选γ=1.2;
(3)对目标局部区域进行图像分割,得到多个超像素块,再采用多阈值融合策略合并所述超像素块,得到调整后目标检测框box*;
(4)在全景图像上截取以目标检测框box*为中心,γ倍目标检测框box*大小的矩形区域作为新的目标局部区域;
(5)计算新的目标局部区域的边缘图,根据目标检测框box*周围边缘点的分布调整box*,得到最终目标检测框box*;
(6)由全景图像成像平面坐标系与世界坐标系的映射关系,将最终目标检测框box*位置转化为目标的实际位置。
进一步地,所述步骤(1)具体包括:
(11)对全景图像进行尺寸归一化,之后对归一化后图像去均值;
(12)利用特征提取网络计算全景图像的卷积特征,以最后一层卷积特征图为输入构建目标潜在区域生成网络,由目标潜在区域生成网络生成目标潜在区域;
(13)对目标潜在区域进行RoI Pooling归一化至固定大小,之后将其输入到预测网络中,得到多个目标检测框;
(14)采用非极大值抑制抑制算法,剔除多余的目标检测框,得到初始目标检测框box。
进一步地,所述步骤(3)具体包括:
(31)计算目标局部区域中所有像素点之间的不相似度e:
其中,r、g和b分别代表像素点在RGB三通道的值;定义像素点合并阈值θ,8≤θ≤10,优选θ=9;若两个像素点间的不相似度满足e<θ,则将两像素点合并成一个区域C;
在区域C中,最大的不相似度作为类内差异Int(C):
Int(C)=maxe,
将两区域C1和C2间最小的不相似度作为类间差异Diff(C1,C2):
其中,vi和vj分别表示区域C1和C2中的像素点;
若区域C1和C2的类间差异同时小于各自的类内差异,则将区域C1和C2合并;对目标局部区域中所有区域进行迭代融合,直到不满足融合条件,最终得到的区域作为超像素块;
(32)为每一个超像素块构建一个最小外接矩形s,计算超像素块和初始目标检测框box的重合率:
构建两个集合:
Sinner={s∈Sθ|IoU(s,box)=1},
Sinter={s∈Sθ|0<IoU(s,box)<1},
其中,Sθ表示和目标检测框box有交集的超像素块集合;Sinner表示被目标检测框box包含的超像素块集合;Sinter表示和目标检测框box部分相交的超像素块集合;
将集合Sinner区域中所有超像素块融合,获取融合后区域的最小外接矩形box*;
(33)遍历集合Sinter,若满足:
IoU(box*∪si,box*)>δ1,si∈Sinter,
则将满足上式的si从集合Sinter中剔除得到新的集合Sinter,用box*∪si更新box*;其中δ1表示第一超像素块融合阈值,0.5≤δ1≤0.7,优选δ1=0.5;
(34)将第二超像素块融合阈值δ2更换δ1,代入新的Sinter和box*重复步骤(33),得到新的集合Sinter和box*;再次用第三超像素块融合阈值δ3更换δ2,代入新的Sinter和box*重复步骤(33),得到新的box*,box*既为调整后的目标检测框;其中,0.6≤δ2≤0.8,优选δ2=0.7;0.7≤δ3≤0.9,优选δ3=0.8。
进一步地,所述步骤(5)具体包括:
(51)将新的目标局部区域转换为灰度图像,在利用下式以滑动窗口的方式对图像进行平滑去噪处理;
其中,x和y为目标局部区域图像中每一个像素的坐标值,δ为高斯函数模板;
(52)对图像的x方向和y方向分别利用一阶有限差分来模拟偏导,其中差分计算模板为:
利用该模板通过卷积的方式计算图像中每一个元素f(i,j)的梯度幅值M(i,j)和方向θ(i,j):
θ(i,j)=arctan((f(i,j)*Sy(i,j))/(f(i,j)*Sx(i,j))),
利用非极大值抑制算法得到局部梯度最大的点作为目标潜在边缘点,潜在的边缘点灰度值置为128,其余像素点灰度值全部置零,得到目标局部区域的二值化图像;
(53)设置两个边缘检测阈值β1、β2,其中β1=0.4β2,将二值化图像中梯度值小于β1的像素灰度值设为零,得到目标边缘图像a,同时将二值化图像中梯度值小于β2的像素灰度值设为零,得到目标边缘图像b;再通过目标边缘图a和b间的相互补充,得到最终目标边缘图;
(54)计算最终目标边缘图中边缘点和目标检测框box*四条边框上的像素点之间的距离,找出距离边缘点最近的像素点,用所述像素点组成图像的最小外接矩形更新目标检测框BOX*;
(55)判断IoU(box*,BOX*)>TH是否成立,若上式成立,则box*=BOX*,得到最终目标检测框box*;否则box*=BOX*,返回步骤(54);其中,TH表示停止阈值,0.8≤TH≤0.9,优选TH=0.9。
进一步地,所述步骤(53)中通过边缘图a和b间的相互补充,检测出边缘点并连接成线具体为:
(531)对图像b进行遍历,若检测到未访问过像素点,且该像素点的灰度值不为零,则记像素点为p(i,j),并找出以p(i,j)为起始点的边缘线;否则进入步骤(534);
(532)在图像a中,找到和图像b中点p(i,j)对应的点,记为s(i,j),若在点s(i,j)的8邻域中发现有非零像素点,则记该像素点为u(i,j),并在图像b中找到与点u(i,j)所对应的像素点,记为r(i,j),找出以像素点r(i,j)为起始点的边缘线;否则直接进入步骤(533);
(533)将像素点p(i,j)标记为已访问,返回步骤(531);
(534)由所有边缘线得到最终目标边缘图。
进一步地,所述步骤(54)中像素点(x,y)和边缘点(x′,y′)之间的距离为dt(x,y):
其中,f(x′,y′)表示将边缘点(x′,y′)与像素点(x,y)的灰度值交换后的灰度值。
进一步地,所述步骤(1)中训练目标检测识别神经网络模型具体过程包括:
St1利用预训练的VGG16模型初始化特征提取网络,训练目标潜在区域生成网络,同时调整特征提取网络参数;
St2利用预训练的VGG16模型再次初始化特征提取网络,利用上一步训练好的目标潜在区域生成网络生成目标潜在区域,训练预测网络模型以及特征提取网络;
St3利用上一步训练好的特征提取网络和预测网络模型,重新训练目标潜在区域生成网络,调整目标潜在区域生成网络参数;
St4利用之前训练好的特征提取网络和目标潜在区域生成网络,重新训练预测网络模型,修改预测网络模型参数。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有以下技术特征及有益效果:
本发明采用基于深度学习的目标检测算法检测出全景图像中所有目标的初始位置,并识别出目标的类别;利用图像分割算法处理目标局部区域得到若干超像素块,利用多阈值超像素块融合策略调整目标检测框位置;最后利用边缘提取算法得到的目标局部区域边缘图,根据目标检测框周围边缘点的分布情况,调整得到最终的目标检测框,并将最终目标检测框的位置转化为实际目标位置,可以有效克服全景图像中畸变效应,从全景图像中将目标位置准确识别出来。
附图说明
图1是本发明方法的流程图;
图2是本发明方法实施例的实施过程示意图;
图3是实施例检测识别结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,结合实施例对本发明方法的流程进行介绍,本发明实施例方法包括以下步骤:
步骤1训练目标检测识别神经网络模型。目标检测识别网络由特征提取网络、目标潜在区域生成网络(RPN网络)和预测网络三部分组成,训练的过程为分步式训练
特征提取网络用来提取图像的卷积特征,目标潜在区域生成网络利用卷积特征生成可能存在目标的目标检测框,预测网络对这些可能存在目标的检测框进行进一步的预测和调整,得到最终的目标位置和类别信息。
步骤1具体包括以下子步骤:
(1-1)定义网络误差函数。对于目标潜在区域生成网络,误差函数如下:
其中i为目标潜在区域的序号,pi为第i个目标潜在区域的预测的类别,为第i个真实目标框的类别,的值为1。如果第i个目标潜在区域与任何一个真实目标框的交集-并集比(IoU)大于0.7,则pi等于1否则等于0。ti是第i个目标潜在区域的4个坐标,其中ti∈{tx,ty,tw,th},为第i个真实目标框的4个坐标。Ncls为训练时每一批图片的数量,Nreg为所有锚点框的数量,λ为分类损失与回归损失的平衡因子。Lcls为分类损失函数,是一个标准的对数损失函数。Lreg是回归损失函数,具体如下所示:
tx=(x-xa)/wa,ty=(y-ya)/ha,tw=log(w/wa),th=log(h/ha)
其中,xa代表锚点框左上角的横坐标,x代表目标潜在区域左上角的横坐标,即为锚点框回归之后的坐标,x*代表真实目标框左上角的横坐标。y、w和h依次代表目标框的左上角纵坐标、宽和高。
对于预测网络,误差定义如下:
L(p,u,t,t*)=Lcls(p,u)+λ[u≥1]Lreg(t,t*)
其中p代表目标被预测的类别,在本实施例中,p共有军舰、帆船、浮标等25种类型。u代表目标检测框的真实类别,[u≥1]表示当u≥1时此式等于1,否则此式的值为0。t表示目标被预测的位置,t*表示目标实际的位置,其具体含义与目前潜在区域生成网络中对应的变量相同。Lcls、Lreg以及λ的含义均与目标潜在区域生成网络中对应变量相同。
(1-2)分步式训练。训练的过程主要分为4个部分:
1)利用预训练好的VGG16模型初始化特征提取网络,训练RPN网络,同时调整特征提取网络参数;
2)利用预训练好的VGG16模型再次初始化特征提取网络,利用上一步训练好的RPN网络生成目标潜在区域,训练预测网络模型以及特征提取网络;
3)利用上一步训练好的特征提取网络和预测网络模型,重新训练RPN网络,这一过程只调整RPN网络参数,不改变特征提取网络与预测网络模型的参数;
4)利用之前训练好的特征提取网络和RPN网络,重新训练预测网络模型,此过程只修改预测网络模型参数。通过以上四个步骤实现了RPN网络和预测网络的卷积共享,完成了算法的训练过程。
步骤2拍摄全景图像。此步骤可以利用一体化的全景相机,也可以利用多个普通相机组合成全景相机。在本实施例中,将6个GoPro相机置于船体上方,分别拍摄6个方向的图片,然后利用全景拼接软件Autopano Giga将6张图片拼接成一副完成的全景图像。此外,在拍摄前利用相机标定板标定相机,建立成像平面坐标系与世界坐标系的映射关系,即能够将目标在全景图像上的坐标转换为真实空间的坐标。
步骤3目标检测识别。对全景图像进行目标检测,具体包括以下子步骤:
(3-1)图片初始化。在本发明实施例中,全景图像由多个相机拍摄结果拼接而成,因此图片尺寸非常大。首先将全景图像归一化至800*1000大小,然后对图像去均值。
(3-2)计算目标潜在区域。利用特征提取网络计算全景图像的卷积特征,以最后一层卷积特征图为输入构建RPN网络。在RPN网络上,以每个点为中心,构建9种尺度的锚点框。并通过滑动窗口的方式,遍历RPN网络。接着将所有的锚点框进行分类和回归操作,根据分类得分排序,取得分前300的锚点框作为目标潜在区域。
(3-3)计算目标初始位置与类别。将步骤(3-2)得到的300个目标潜在区域,经过RoI Pooling层归一化至固定大小。再将这些目标潜在区域送入预测网络中,进行分类和回归,得到目标的初始位置和类别。
(3-4)剔除冗余目标框。步骤(3-3)会产生很多重复的目标检测框,同时框住一个目标。利用非极大值抑制算法,剔除冗余的目标检测框。
如图2所示,进行步骤4获取目标局部区域。由步骤3可得初始目标检测框,在全景图像上截取以此框为中心,面积为目标框γ倍的矩形区域,作为目标局部区域。在本实施例中,γ=1.2。
步骤5基于超像素分割调整目标检测框。首先将步骤4得到的目标局部区域进行图像分割,得到若干超像素块。然后利用本发明提出的多阈值融合策略合并相应的超像素块,从而调整目标检测框的大小和位置。步骤5具体包括以下子步骤:
(5-1)图像分割。将图像中的像素点看作是一副图的顶点,像素点间的不相似度看作是顶点之间的边,通过将相似的点融合成一块块的区域,从而将图像分割成为若干超像素块。将像素点间的颜色距离作为不相似度e测量方式,定义如下:
其中r、g、b分别代表像素点在RGB三通道的值。定义像素点合并阈值θ,若两个像素点间的不相似度e小于合并阈值θ,则将像素点合并成一个区域C。对于区域C,定义其类内差异Int(C)如下:
将区域C中,不相似度最大的两个像素点之间的颜色距离作为类内差异。对于两个区域C1、C2,将两个区域间最小的颜色距离作为类间差异,定义如下:
其中vi和vj表示两个区域中的像素点。若两个区域间的类间差异同时小于各自区域的类内差异,则合并区域C1、C2。区域融合是一个迭代的过程,如果融合一次后,仍有两个区域的类间差异小于各自类内差异,则继续融合,否则停止融合。
(5-2)基于超像素块融合调整目标检测框。对于步骤3得到的初始目标检测框box,经过步骤(5-1)计算出对应目标局部区域的超像素分割图。为每一个超像素块构建一个最小外接矩形s来代表超像素块,按照下式计算每一个超像素块s与初始目标检测框box的IoU值。
对于与目标检测框box有交集的超像素块s∈Sθ,按照以下公式构建两个集合Sinner、Sinter,分别代表完全被检测框包含的超像素块集合以及与检测框部分相交的超像素块集合。
Sinner={s∈SθIoU(s,box)=1}
Sinter={s∈Sθ0<IoU(s,box)<1}
首先将集合Sinner中的超像素块融合,得到最小外接矩形box*。然后遍历集合Sinter中的每一个超像素块s,计算s与box*融合之后的矩形框与box*的IoU值,如果满足以下要求,则在遍历完集合Sinter后,用box*∪s更新矩形框box*。
IoU(b*∪si)>δ1,si∈Sinter
其中δ1是人工设定的超参数,代表超像素块融合阈值。经过一轮遍历Sinter后,将满足上述的超像素块从中剔除,得到新的Sinter集合。按照上述方法再次遍历Sinter集合,将融合阈值更改为δ2,更新box*矩形框。同样的步骤,以融合阈值δ3再次更新box*,从而得到调整之后的目标检测框box*。在本实施例中,δ1的值设为0.5,δ2的值设为0.7。
步骤6获取目标局部区域。由步骤5得到初次调整后的目标检测框,在全景图像上截取以此框为中心,面积为目标框γ倍的矩形区域,作为目标局部区域。在本实施例中,γ=1.2。
步骤7基于边缘信息调整目标检测框。计算步骤6得到的目标局部区域的边缘图,根据目标检测框box*附近的边缘点分布情况,再次调整目标检测框box*。具体包括以下子步骤:
(7-1)目标局部区域预处理。首先将目标局部区域从彩色图转换为灰度图像,再利用离散化的二维高斯函数以滑动窗口的方式对图像进行平滑,以消除图像中噪声的影响。高斯模糊公式如下:
其中,x、y为目标局部区域图像中每一个像素的位置,为高斯函数模板,常见的模板有3*3、5*5、7*7。在本实施例中,利用7*7大小的高斯模板。
(7-2)计算梯度。对图像的x方向和y方向分别利用一阶有限差分,来近似两个方向上的偏导,其中差分计算模板如下:
利用如上模板通过卷积的方式,计算图像中每一个元素f(i,j)的梯度幅值M(i,j)和方向θ(i,j),计算公式如下:
θ(i,j)=arctan((f(i,j)*Sy(i,j))/(f(i,j)*Sx(i,j)))
此时计算的梯度为全局梯度,还不足以确定边缘,需要利用非极大值抑制算法保留局部梯度最大的点。完成非极大值抑制操作后,得到目标局部区域的二值化图像,非边缘点的灰度值为零,潜在的边缘点灰度值为128。
(7-3)检测和连接边缘。设置两个边缘检测阈值β1、β2,其中β1=0.4β2。在步骤(7-2)所得的目标局部区域二值化图像中,将梯度值小于β1的像素灰度值设为零,得到包含较多边缘的图像a。同时,将目标局部区域二值化图像中梯度值小于β2的像素灰度值设为零,得到图像b。由于δ2的阈值较高,会过滤掉包括真实边缘信息在内的大部分边缘信息。考虑到图像a中保留了大部分边缘信息,因此利用图像a作为补充,在图像b的基础上连接边缘,从而得到最终的边缘图。
对图像b进行遍历,若检测到像素p(i,j)的灰度值不为零,则跟踪以p(i,j)为起始点的边缘线,找到边缘线终点像素q(i,j)。然后,在图像a中,找到与图像b中像素点p(i,j)对应的点s(i,j)。若在s(i,j)的8邻域中发现有非零像素点u(i,j),则在图像2中找到与u(i,j)所对应的像素点,记为r(i,j)。在图像b中,以像素点r(i,j)为起始点,重复第一个步骤,继续寻找边缘线。若在图像a和图像b中,无法找到非零像素点,则以p(i,j)为起点的边缘线检测完成,将其标记为已访问。继续遍历图像b,重复上述步骤,检测出所有边缘线,得到最终的边缘检测图。
(7-4)基于边缘信息调整目标检测框。在边缘图上,计算每一个像素点(x,y)与边缘点之间的距离,找出距离最近的边缘点(x′,y′),通过下式能够快速求出像素点与周围边缘点之间的距离:
其中,f表示将边缘像素点与背景像素点的灰度值交换,f(x′,y′)表示交换之后像素的灰度值。边缘点的灰度值此时为零,背景点的灰度值为128,利用上述公式能够快速找到距离像素点(x,y)最近的边缘点(x′,y′)。
首先找到目标检测框box*四条边框上的像素点,然后计算边缘点距离这些像素点的距离,找出其中距离最近的边缘点,用这些边缘点的最小外接矩形更新目标检测框box*。计算更新前后目标检测框的IoU,若IoU大于停止阈值,则停止调整,否则继续按照之前的步骤更新box*。在本实施例中,停止阈值设为0.9。如图3所示,得到目标的在全景图像中的最终目标检测框。
步骤8根据步骤2得到的映射关系,将步骤7得到的目标位置坐标转换到世界坐标系中,即在现实空间中的位置,然后将坐标输入到航迹规划模块,从而控制无人艇前进方向。
以上内容本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种水面全景图像目标检测识别方法,其特征在于,所述方法包括:
(1)利用训练好的目标检测识别神经网络模型对全景图像进行目标检测识别,获取目标类别和初始目标检测框box;
(2)在全景图像上截取以目标检测框box为中心,γ倍目标检测框box大小的矩形区域作为目标局部区域;
(3)对目标局部区域进行图像分割,得到多个超像素块,再采用多阈值融合策略合并所述超像素块,得到调整后目标检测框box*;
(4)在全景图像上截取以目标检测框box*为中心,γ倍目标检测框box*大小的矩形区域作为新的目标局部区域;
(5)计算新的目标局部区域的边缘图,根据目标检测框box*周围边缘点的分布调整box*,得到最终目标检测框box*;
(6)由全景图像成像平面坐标系与世界坐标系的映射关系,将最终目标检测框box*位置转化为目标的实际位置。
2.根据权利要求1所述的一种目标位置检测方法,其特征在于,所述步骤(1)具体包括:
(11)对全景图像进行尺寸归一化,之后对归一化后图像去均值;
(12)利用特征提取网络计算全景图像的卷积特征,以最后一层卷积特征图为输入构建目标潜在区域生成网络,由目标潜在区域生成网络生成目标潜在区域;
(13)对目标潜在区域进行RoI Pooling归一化至固定大小,之后将其输入到预测网络中,得到多个目标检测框;
(14)采用非极大值抑制抑制算法,剔除多余的目标检测框,得到初始目标检测框box。
3.根据权利要求1所述的一种目标位置检测方法,其特征在于,所述步骤(3)具体包括:
(31)计算目标局部区域中所有像素点之间的不相似度e:
<mrow>
<mi>e</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>r</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>g</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>g</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>b</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>b</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>,</mo>
</mrow>
其中,r、g和b分别代表像素点在RGB三通道的值;定义像素点合并阈值θ;若两个像素点间的不相似度满足e<θ,则将两像素点合并成一个区域C;
在区域C中,最大的不相似度作为类内差异Int(C):
Int(C)=maxe,
将两区域C1和C2间最小的不相似度作为类间差异Diff(C1,C2):
<mrow>
<mi>D</mi>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>C</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>C</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>C</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>C</mi>
<mn>2</mn>
</msub>
</mrow>
</munder>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中,vi和vj分别表示区域C1和C2中的像素点;
若区域C1和C2的类间差异同时小于各自的类内差异,则将区域C1和C2合并;对目标局部区域中所有区域进行迭代融合,直到不满足融合条件,最终得到的区域作为超像素块;
(32)为每一个超像素块构建一个最小外接矩形s,计算超像素块和初始目标检测框box的重合率:
<mrow>
<mi>I</mi>
<mi>o</mi>
<mi>U</mi>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mi>o</mi>
<mi>x</mi>
<mo>,</mo>
<mi>s</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mi>b</mi>
<mi>o</mi>
<mi>x</mi>
<mo>&cap;</mo>
<mi>s</mi>
<mo>|</mo>
</mrow>
<mrow>
<mo>|</mo>
<mi>b</mi>
<mi>o</mi>
<mi>x</mi>
<mo>&cup;</mo>
<mi>s</mi>
<mo>|</mo>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
构建两个集合:
Sinner={s∈Sθ|IoU(s,box)=1},
Sinter={s∈Sθ|0<IoU(s,box)<1},
其中,Sθ表示和目标检测框box有交集的超像素块集合;Sinner表示被目标检测框box包含的超像素块集合;Sinter表示和目标检测框box部分相交的超像素块集合;
将集合Sinner区域中所有超像素块融合,获取融合后区域的最小外接矩形box*;
(33)遍历集合Sinter,若满足:
IoU(box*∪si,box*)>δ1,si∈Sinter,
则将满足上式的si从集合Sinter中剔除得到新的集合Sinter,用box*∪si更新box*;其中δ1表示第一超像素块融合阈值;
(34)将第二超像素块融合阈值δ2更换δ1,代入新的Sinter和box*重复步骤(33),得到新的集合Sinter和box*;再次用第三超像素块融合阈值δ3更换δ2,代入新的Sinter和box*重复步骤(33),得到新的box*,box*既为调整后的目标检测框。
4.根据权利要求1所述的一种目标位置检测方法,其特征在于,所述步骤(5)具体包括:
(51)将新的目标局部区域转换为灰度图像,在利用下式以滑动窗口的方式对图像进行平滑去噪处理;
<mrow>
<mi>G</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msup>
<mi>&pi;&delta;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&delta;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
</msup>
<mo>,</mo>
</mrow>
其中,x和y为目标局部区域图像中每一个像素的坐标值,δ为高斯函数模板;
(52)对图像的x方向和y方向分别利用一阶有限差分来模拟偏导,其中差分计算模板为:
<mrow>
<msub>
<mi>S</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
<mrow>
<msub>
<mi>S</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
利用该模板通过卷积的方式计算图像中每一个元素f(i,j)的梯度幅值M(i,j)和方向θ(i,j):
<mrow>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>*</mo>
<msub>
<mi>S</mi>
<mi>x</mi>
</msub>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>*</mo>
<msub>
<mi>S</mi>
<mi>y</mi>
</msub>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>,</mo>
</mrow>
θ(i,j)=arctan((f(i,j)*Sy(i,j))/(f(i,j)*Sx(i,j))),利用非极大值抑制算法得到局部梯度最大的点作为目标潜在边缘点,潜在的边缘点灰度值置为非零,其余像素点灰度值全部置零,得到目标局部区域的二值化图像;
(53)设置两个边缘检测阈值β1、β2,其中β1=0.4β2,将二值化图像中梯度值小于β1的像素灰度值设为零,得到目标边缘图像a,同时将二值化图像中梯度值小于β2的像素灰度值设为零,得到目标边缘图像b;再通过目标边缘图a和b间的相互补充,得到最终目标边缘图;
(54)计算最终目标边缘图中边缘点和目标检测框box*四条边框上的像素点之间的距离,找出距离边缘点最近的像素点,用所述像素点组成图像的最小外接矩形更新目标检测框BOX*;
(55)判断IoU(box*,BOX*)>TH是否成立,若上式成立,则box*=BOX*,得到最终目标检测框box*;否则box*=BOX*,返回步骤(54);其中,TH表示停止阈值。
5.根据权利要求1或4所述的一种目标位置检测方法,其特征在于,所述步骤(53)中通过边缘图a和b间的相互补充,检测出边缘点并连接成线具体为:
(531)对图像b进行遍历,若检测到未访问过像素点,且该像素点的灰度值不为零,则记像素点为p(i,j),并找出以p(i,j)为起始点的边缘线;否则进入步骤(534);
(532)在图像a中,找到和图像b中点p(i,j)对应的点,记为s(i,j),若在点s(i,j)的8邻域中发现有非零像素点,则记该像素点为u(i,j),并在图像b中找到与点u(i,j)所对应的像素点,记为r(i,j),找出以像素点r(i,j)为起始点的边缘线;否则直接进入步骤(533);
(533)将像素点p(i,j)标记为已访问,返回步骤(531);
(534)由所有边缘线得到最终目标边缘图。
6.根据权利要求1所述的一种目标位置检测方法,其特征在于,所述步骤(54)中像素点(x,y)和边缘点(x′,y′)之间的距离为dt(x,y):
<mrow>
<mi>d</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
</mrow>
</munder>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>(</mo>
<mrow>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
</mrow>
<mo>)</mo>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>-</mo>
<mi>x</mi>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>-</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中,f(x′,y′)表示将边缘点(x′,y′)与像素点(x,y)的灰度值交换后的灰度值。
7.根据权利要求1所述的一种目标位置检测方法,其特征在于,所述步骤(1)中训练目标检测识别神经网络模型具体过程包括:
St1利用预训练的VGG16模型初始化特征提取网络,训练目标潜在区域生成网络,同时调整特征提取网络参数;
St2利用预训练的VGG16模型再次初始化特征提取网络,利用上一步训练好的目标潜在区域生成网络生成目标潜在区域,训练预测网络模型以及特征提取网络;
St3利用上一步训练好的特征提取网络和预测网络模型,重新训练目标潜在区域生成网络,调整目标潜在区域生成网络参数;
St4利用之前训练好的特征提取网络和目标潜在区域生成网络,重新训练预测网络模型,修改预测网络模型参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710979114.9A CN107844750B (zh) | 2017-10-19 | 2017-10-19 | 一种水面全景图像目标检测识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710979114.9A CN107844750B (zh) | 2017-10-19 | 2017-10-19 | 一种水面全景图像目标检测识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107844750A true CN107844750A (zh) | 2018-03-27 |
CN107844750B CN107844750B (zh) | 2020-05-19 |
Family
ID=61661512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710979114.9A Active CN107844750B (zh) | 2017-10-19 | 2017-10-19 | 一种水面全景图像目标检测识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107844750B (zh) |
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108710881A (zh) * | 2018-05-23 | 2018-10-26 | 中国民用航空总局第二研究所 | 神经网络模型、候选目标区域生成方法、模型训练方法 |
CN108920707A (zh) * | 2018-07-20 | 2018-11-30 | 百度在线网络技术(北京)有限公司 | 用于标注信息的方法及装置 |
CN109032744A (zh) * | 2018-07-27 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 图标展示方法、装置、服务器及存储介质 |
CN109117831A (zh) * | 2018-09-30 | 2019-01-01 | 北京字节跳动网络技术有限公司 | 物体检测网络的训练方法和装置 |
CN109165648A (zh) * | 2018-08-30 | 2019-01-08 | Oppo广东移动通信有限公司 | 一种图像处理方法、图像处理装置及移动终端 |
CN109684991A (zh) * | 2018-12-24 | 2019-04-26 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN109859216A (zh) * | 2019-02-16 | 2019-06-07 | 深圳市未来感知科技有限公司 | 基于深度学习的测距方法、装置、设备及存储介质 |
CN109857887A (zh) * | 2018-12-10 | 2019-06-07 | 福州大学 | 一种相册人物自动分类的方法 |
CN109977767A (zh) * | 2019-02-18 | 2019-07-05 | 浙江大华技术股份有限公司 | 基于超像素分割算法的目标检测方法、装置及存储装置 |
CN110163271A (zh) * | 2019-05-13 | 2019-08-23 | 武汉大学 | 一种基于球面投影网格和球面卷积的全景影像目标检测方法 |
CN110378258A (zh) * | 2019-07-04 | 2019-10-25 | 上海眼控科技股份有限公司 | 一种基于图像的车辆座椅信息检测方法及设备 |
CN110598665A (zh) * | 2019-09-19 | 2019-12-20 | 西南交通大学 | 一种基于车载移动深度学习平台的杆号识别方法 |
CN110660067A (zh) * | 2018-06-28 | 2020-01-07 | 杭州海康威视数字技术股份有限公司 | 一种目标检测方法及其装置 |
CN110728310A (zh) * | 2019-09-27 | 2020-01-24 | 聚时科技(上海)有限公司 | 一种基于超参数优化的目标检测模型融合方法及融合系统 |
CN111091117A (zh) * | 2019-12-31 | 2020-05-01 | 北京城市网邻信息技术有限公司 | 用于二维全景图像的目标检测方法、装置、设备、介质 |
CN111292288A (zh) * | 2018-12-06 | 2020-06-16 | 北京欣奕华科技有限公司 | 一种目标检测及定位的方法及装置 |
CN111445496A (zh) * | 2020-02-26 | 2020-07-24 | 沈阳大学 | 一种水下图像识别跟踪系统及方法 |
CN111462221A (zh) * | 2020-04-03 | 2020-07-28 | 深圳前海微众银行股份有限公司 | 待侦测物体阴影面积提取方法、装置、设备及存储介质 |
CN111738045A (zh) * | 2020-01-19 | 2020-10-02 | 中国科学院上海微系统与信息技术研究所 | 一种图像检测方法、装置、电子设备及存储介质 |
CN111738295A (zh) * | 2020-05-22 | 2020-10-02 | 南通大学 | 图像的分割方法及存储介质 |
CN111738272A (zh) * | 2019-03-25 | 2020-10-02 | 杭州海康威视数字技术股份有限公司 | 一种目标特征提取方法、装置及电子设备 |
CN111796283A (zh) * | 2020-07-13 | 2020-10-20 | 江苏恒澄交科信息科技股份有限公司 | 一种基于航线的毫米波雷达降噪方法 |
CN112070736A (zh) * | 2020-09-01 | 2020-12-11 | 上海电机学院 | 一种结合目标检测和深度计算的物体体积视觉测量方法 |
CN112308072A (zh) * | 2020-11-06 | 2021-02-02 | 中冶赛迪重庆信息技术有限公司 | 一种废钢料场散落料识别方法、系统、电子设备及介质 |
CN112348013A (zh) * | 2020-10-27 | 2021-02-09 | 上海眼控科技股份有限公司 | 目标检测方法、装置、计算机设备和可读存储介质 |
CN112364678A (zh) * | 2019-09-30 | 2021-02-12 | 山东省科学院海洋仪器仪表研究所 | 一种基于npu板卡的浮标识别定位方法及其船载装置 |
CN112581449A (zh) * | 2020-12-18 | 2021-03-30 | 深兰科技(上海)有限公司 | 超高检测方法、装置、电子设备和存储介质 |
CN112990381A (zh) * | 2021-05-11 | 2021-06-18 | 南京甄视智能科技有限公司 | 畸变图像目标识别方法及装置 |
CN113095237A (zh) * | 2021-04-15 | 2021-07-09 | 国家电网有限公司 | 一种复杂环境下目标检测方法 |
CN113091693A (zh) * | 2021-04-09 | 2021-07-09 | 天津大学 | 一种基于图像超分辨率技术的单目视觉长程测距方法 |
CN113301274A (zh) * | 2021-07-28 | 2021-08-24 | 北京海兰信数据科技股份有限公司 | 一种船舶实时视频全景拼接方法及系统 |
CN113378605A (zh) * | 2020-03-10 | 2021-09-10 | 北京京东乾石科技有限公司 | 多源信息融合方法及装置、电子设备和存储介质 |
CN113705643A (zh) * | 2021-08-17 | 2021-11-26 | 荣耀终端有限公司 | 一种目标物检测方法、装置以及电子设备 |
CN114494824A (zh) * | 2021-12-30 | 2022-05-13 | 北京城市网邻信息技术有限公司 | 用于全景图像的目标检测方法、装置、设备及存储介质 |
CN115713500A (zh) * | 2022-11-07 | 2023-02-24 | 广州汽车集团股份有限公司 | 一种视觉感知方法及装置 |
CN115880292A (zh) * | 2023-02-22 | 2023-03-31 | 和普威视光电股份有限公司 | 一种海湖面目标探测方法、装置、终端及存储介质 |
WO2023066142A1 (zh) * | 2021-10-22 | 2023-04-27 | 影石创新科技股份有限公司 | 全景图像的目标检测方法、装置、计算机设备和存储介质 |
WO2023066143A1 (zh) * | 2021-10-22 | 2023-04-27 | 影石创新科技股份有限公司 | 全景图像的图像分割方法、装置、计算机设备和存储介质 |
CN116152167A (zh) * | 2022-12-13 | 2023-05-23 | 珠海视熙科技有限公司 | 滑动检测方法、装置、介质、设备 |
CN117076941A (zh) * | 2023-07-13 | 2023-11-17 | 国网山东省电力公司泰安供电公司 | 一种光缆鸟害监测方法、系统、电子设备及可读存储介质 |
WO2024027347A1 (zh) * | 2022-08-04 | 2024-02-08 | 腾讯科技(深圳)有限公司 | 内容识别方法、装置、设备、存储介质及计算机程序产品 |
CN117541768A (zh) * | 2024-01-09 | 2024-02-09 | 中数智科(杭州)科技有限公司 | 一种轨道车辆箱体锁孔状态检测方法 |
CN117726511A (zh) * | 2024-02-18 | 2024-03-19 | 科睿特软件集团股份有限公司 | 用于旅游景观展示的全景成像装置及方法 |
CN112348013B (zh) * | 2020-10-27 | 2024-11-19 | 上海眼控科技股份有限公司 | 目标检测方法、装置、计算机设备和可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0689357A1 (en) * | 1994-06-17 | 1995-12-27 | Harris Corporation | Autonomous prioritized image transmission |
CN105022990A (zh) * | 2015-06-29 | 2015-11-04 | 华中科技大学 | 一种基于无人艇应用的水面目标快速检测方法 |
CN105513066A (zh) * | 2015-12-02 | 2016-04-20 | 中山大学 | 一种基于种子点选取与超像素融合的通用物体检测方法 |
CN106096607A (zh) * | 2016-06-12 | 2016-11-09 | 湘潭大学 | 一种车牌识别方法 |
CN106446890A (zh) * | 2016-10-28 | 2017-02-22 | 中国人民解放军信息工程大学 | 一种基于窗口打分和超像素分割的候选区域提取方法 |
US20170147905A1 (en) * | 2015-11-25 | 2017-05-25 | Baidu Usa Llc | Systems and methods for end-to-end object detection |
-
2017
- 2017-10-19 CN CN201710979114.9A patent/CN107844750B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0689357A1 (en) * | 1994-06-17 | 1995-12-27 | Harris Corporation | Autonomous prioritized image transmission |
CN105022990A (zh) * | 2015-06-29 | 2015-11-04 | 华中科技大学 | 一种基于无人艇应用的水面目标快速检测方法 |
US20170147905A1 (en) * | 2015-11-25 | 2017-05-25 | Baidu Usa Llc | Systems and methods for end-to-end object detection |
CN105513066A (zh) * | 2015-12-02 | 2016-04-20 | 中山大学 | 一种基于种子点选取与超像素融合的通用物体检测方法 |
CN106096607A (zh) * | 2016-06-12 | 2016-11-09 | 湘潭大学 | 一种车牌识别方法 |
CN106446890A (zh) * | 2016-10-28 | 2017-02-22 | 中国人民解放军信息工程大学 | 一种基于窗口打分和超像素分割的候选区域提取方法 |
Non-Patent Citations (3)
Title |
---|
PEER NEUBERT ET AL.: "Compact Watershed and Preemptive SLIC On improving trade-offs of superixel segmentation algorithms", 《2014 22ND INTERNATIONAL CONGERENCE ON PATTERN RECOGNITON》 * |
张晴 等: "超像素和阈值分割相结合的显著目标检测算法", 《现代电子技术》 * |
方智文 等: "基于多尺度局部极值和边缘检测的目标性算法", 《信号处理》 * |
Cited By (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108710881A (zh) * | 2018-05-23 | 2018-10-26 | 中国民用航空总局第二研究所 | 神经网络模型、候选目标区域生成方法、模型训练方法 |
CN108710881B (zh) * | 2018-05-23 | 2020-12-29 | 中国民用航空总局第二研究所 | 神经网络模型、候选目标区域生成方法、模型训练方法 |
CN110660067A (zh) * | 2018-06-28 | 2020-01-07 | 杭州海康威视数字技术股份有限公司 | 一种目标检测方法及其装置 |
CN108920707A (zh) * | 2018-07-20 | 2018-11-30 | 百度在线网络技术(北京)有限公司 | 用于标注信息的方法及装置 |
CN108920707B (zh) * | 2018-07-20 | 2022-03-15 | 百度在线网络技术(北京)有限公司 | 用于标注信息的方法及装置 |
CN109032744A (zh) * | 2018-07-27 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 图标展示方法、装置、服务器及存储介质 |
CN109032744B (zh) * | 2018-07-27 | 2021-10-08 | 百度在线网络技术(北京)有限公司 | 图标展示方法、装置、服务器及存储介质 |
CN109165648A (zh) * | 2018-08-30 | 2019-01-08 | Oppo广东移动通信有限公司 | 一种图像处理方法、图像处理装置及移动终端 |
CN109117831A (zh) * | 2018-09-30 | 2019-01-01 | 北京字节跳动网络技术有限公司 | 物体检测网络的训练方法和装置 |
CN111292288A (zh) * | 2018-12-06 | 2020-06-16 | 北京欣奕华科技有限公司 | 一种目标检测及定位的方法及装置 |
CN109857887A (zh) * | 2018-12-10 | 2019-06-07 | 福州大学 | 一种相册人物自动分类的方法 |
CN109684991B (zh) * | 2018-12-24 | 2021-10-01 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN109684991A (zh) * | 2018-12-24 | 2019-04-26 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN109859216A (zh) * | 2019-02-16 | 2019-06-07 | 深圳市未来感知科技有限公司 | 基于深度学习的测距方法、装置、设备及存储介质 |
CN109977767A (zh) * | 2019-02-18 | 2019-07-05 | 浙江大华技术股份有限公司 | 基于超像素分割算法的目标检测方法、装置及存储装置 |
CN111738272B (zh) * | 2019-03-25 | 2024-08-02 | 杭州海康威视数字技术股份有限公司 | 一种目标特征提取方法、装置及电子设备 |
CN111738272A (zh) * | 2019-03-25 | 2020-10-02 | 杭州海康威视数字技术股份有限公司 | 一种目标特征提取方法、装置及电子设备 |
CN110163271A (zh) * | 2019-05-13 | 2019-08-23 | 武汉大学 | 一种基于球面投影网格和球面卷积的全景影像目标检测方法 |
CN110378258A (zh) * | 2019-07-04 | 2019-10-25 | 上海眼控科技股份有限公司 | 一种基于图像的车辆座椅信息检测方法及设备 |
CN110598665B (zh) * | 2019-09-19 | 2022-09-09 | 西南交通大学 | 一种基于车载移动深度学习平台的杆号识别方法 |
CN110598665A (zh) * | 2019-09-19 | 2019-12-20 | 西南交通大学 | 一种基于车载移动深度学习平台的杆号识别方法 |
CN110728310B (zh) * | 2019-09-27 | 2023-09-01 | 聚时科技(上海)有限公司 | 一种基于超参数优化的目标检测模型融合方法及融合系统 |
CN110728310A (zh) * | 2019-09-27 | 2020-01-24 | 聚时科技(上海)有限公司 | 一种基于超参数优化的目标检测模型融合方法及融合系统 |
CN112364678A (zh) * | 2019-09-30 | 2021-02-12 | 山东省科学院海洋仪器仪表研究所 | 一种基于npu板卡的浮标识别定位方法及其船载装置 |
CN112364678B (zh) * | 2019-09-30 | 2023-04-07 | 山东省科学院海洋仪器仪表研究所 | 一种基于npu板卡的浮标识别定位方法及其船载装置 |
CN111091117A (zh) * | 2019-12-31 | 2020-05-01 | 北京城市网邻信息技术有限公司 | 用于二维全景图像的目标检测方法、装置、设备、介质 |
CN111738045A (zh) * | 2020-01-19 | 2020-10-02 | 中国科学院上海微系统与信息技术研究所 | 一种图像检测方法、装置、电子设备及存储介质 |
CN111738045B (zh) * | 2020-01-19 | 2024-04-19 | 中国科学院上海微系统与信息技术研究所 | 一种图像检测方法、装置、电子设备及存储介质 |
CN111445496B (zh) * | 2020-02-26 | 2023-06-30 | 沈阳大学 | 一种水下图像识别跟踪系统及方法 |
CN111445496A (zh) * | 2020-02-26 | 2020-07-24 | 沈阳大学 | 一种水下图像识别跟踪系统及方法 |
CN113378605A (zh) * | 2020-03-10 | 2021-09-10 | 北京京东乾石科技有限公司 | 多源信息融合方法及装置、电子设备和存储介质 |
CN113378605B (zh) * | 2020-03-10 | 2024-04-09 | 北京京东乾石科技有限公司 | 多源信息融合方法及装置、电子设备和存储介质 |
CN111462221A (zh) * | 2020-04-03 | 2020-07-28 | 深圳前海微众银行股份有限公司 | 待侦测物体阴影面积提取方法、装置、设备及存储介质 |
CN111738295A (zh) * | 2020-05-22 | 2020-10-02 | 南通大学 | 图像的分割方法及存储介质 |
CN111738295B (zh) * | 2020-05-22 | 2024-03-22 | 南通大学 | 图像的分割方法及存储介质 |
CN111796283A (zh) * | 2020-07-13 | 2020-10-20 | 江苏恒澄交科信息科技股份有限公司 | 一种基于航线的毫米波雷达降噪方法 |
CN112070736A (zh) * | 2020-09-01 | 2020-12-11 | 上海电机学院 | 一种结合目标检测和深度计算的物体体积视觉测量方法 |
CN112070736B (zh) * | 2020-09-01 | 2023-02-24 | 上海电机学院 | 一种结合目标检测和深度计算的物体体积视觉测量方法 |
CN112348013A (zh) * | 2020-10-27 | 2021-02-09 | 上海眼控科技股份有限公司 | 目标检测方法、装置、计算机设备和可读存储介质 |
CN112348013B (zh) * | 2020-10-27 | 2024-11-19 | 上海眼控科技股份有限公司 | 目标检测方法、装置、计算机设备和可读存储介质 |
CN112308072A (zh) * | 2020-11-06 | 2021-02-02 | 中冶赛迪重庆信息技术有限公司 | 一种废钢料场散落料识别方法、系统、电子设备及介质 |
CN112581449A (zh) * | 2020-12-18 | 2021-03-30 | 深兰科技(上海)有限公司 | 超高检测方法、装置、电子设备和存储介质 |
CN113091693A (zh) * | 2021-04-09 | 2021-07-09 | 天津大学 | 一种基于图像超分辨率技术的单目视觉长程测距方法 |
CN113095237A (zh) * | 2021-04-15 | 2021-07-09 | 国家电网有限公司 | 一种复杂环境下目标检测方法 |
CN112990381B (zh) * | 2021-05-11 | 2021-08-13 | 南京甄视智能科技有限公司 | 畸变图像目标识别方法及装置 |
CN112990381A (zh) * | 2021-05-11 | 2021-06-18 | 南京甄视智能科技有限公司 | 畸变图像目标识别方法及装置 |
CN113301274B (zh) * | 2021-07-28 | 2021-11-09 | 北京海兰信数据科技股份有限公司 | 一种船舶实时视频全景拼接方法及系统 |
CN113301274A (zh) * | 2021-07-28 | 2021-08-24 | 北京海兰信数据科技股份有限公司 | 一种船舶实时视频全景拼接方法及系统 |
CN113705643A (zh) * | 2021-08-17 | 2021-11-26 | 荣耀终端有限公司 | 一种目标物检测方法、装置以及电子设备 |
WO2023066142A1 (zh) * | 2021-10-22 | 2023-04-27 | 影石创新科技股份有限公司 | 全景图像的目标检测方法、装置、计算机设备和存储介质 |
WO2023066143A1 (zh) * | 2021-10-22 | 2023-04-27 | 影石创新科技股份有限公司 | 全景图像的图像分割方法、装置、计算机设备和存储介质 |
CN114494824A (zh) * | 2021-12-30 | 2022-05-13 | 北京城市网邻信息技术有限公司 | 用于全景图像的目标检测方法、装置、设备及存储介质 |
CN114494824B (zh) * | 2021-12-30 | 2022-11-22 | 北京城市网邻信息技术有限公司 | 用于全景图像的目标检测方法、装置、设备及存储介质 |
WO2024027347A1 (zh) * | 2022-08-04 | 2024-02-08 | 腾讯科技(深圳)有限公司 | 内容识别方法、装置、设备、存储介质及计算机程序产品 |
CN115713500A (zh) * | 2022-11-07 | 2023-02-24 | 广州汽车集团股份有限公司 | 一种视觉感知方法及装置 |
CN116152167B (zh) * | 2022-12-13 | 2024-04-05 | 珠海视熙科技有限公司 | 滑动检测方法、装置、介质、设备 |
CN116152167A (zh) * | 2022-12-13 | 2023-05-23 | 珠海视熙科技有限公司 | 滑动检测方法、装置、介质、设备 |
CN115880292B (zh) * | 2023-02-22 | 2023-06-16 | 和普威视光电股份有限公司 | 一种海湖面目标探测方法、装置、终端及存储介质 |
CN115880292A (zh) * | 2023-02-22 | 2023-03-31 | 和普威视光电股份有限公司 | 一种海湖面目标探测方法、装置、终端及存储介质 |
CN117076941B (zh) * | 2023-07-13 | 2024-08-06 | 国网山东省电力公司泰安供电公司 | 一种光缆鸟害监测方法、系统、电子设备及可读存储介质 |
CN117076941A (zh) * | 2023-07-13 | 2023-11-17 | 国网山东省电力公司泰安供电公司 | 一种光缆鸟害监测方法、系统、电子设备及可读存储介质 |
CN117541768B (zh) * | 2024-01-09 | 2024-04-26 | 中数智科(杭州)科技有限公司 | 一种轨道车辆箱体锁孔状态检测方法 |
CN117541768A (zh) * | 2024-01-09 | 2024-02-09 | 中数智科(杭州)科技有限公司 | 一种轨道车辆箱体锁孔状态检测方法 |
CN117726511B (zh) * | 2024-02-18 | 2024-05-03 | 科睿特软件集团股份有限公司 | 用于旅游景观展示的全景成像装置及方法 |
CN117726511A (zh) * | 2024-02-18 | 2024-03-19 | 科睿特软件集团股份有限公司 | 用于旅游景观展示的全景成像装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107844750B (zh) | 2020-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107844750B (zh) | 一种水面全景图像目标检测识别方法 | |
CN109784333B (zh) | 基于点云带权通道特征的三维目标检测方法及系统 | |
JP5178875B2 (ja) | 対応点探索のための画像処理方法 | |
CN106960446B (zh) | 一种面向无人艇应用的水面目标检测跟踪一体化方法 | |
CN110232389B (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
CN109961417B (zh) | 图像处理方法、装置及移动装置控制方法 | |
EP2887315B1 (en) | Camera calibration device, method for implementing calibration, program and camera for movable body | |
CN108597009B (zh) | 一种基于方向角信息进行三维目标检测的方法 | |
CN115761550A (zh) | 一种基于激光雷达点云和相机图像融合的水面目标检测方法 | |
CN107677274B (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
CN111784655B (zh) | 一种水下机器人回收定位方法 | |
CN110246151B (zh) | 一种基于深度学习和单目视觉的水下机器人目标跟踪方法 | |
CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
CN110209184A (zh) | 一种基于双目视觉系统的无人机避障方法 | |
CN107895375A (zh) | 基于视觉多特征的复杂道路线提取方法 | |
CN109919026A (zh) | 一种水面无人艇局部路径规划方法 | |
CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
CN107301646A (zh) | 基于单目视觉的无人船智能避障方法和装置 | |
CN113269689B (zh) | 一种基于法向量和高斯权重约束的深度图像补全方法及系统 | |
Li et al. | Vision-based target detection and positioning approach for underwater robots | |
CN114241438B (zh) | 一种基于先验信息的交通信号灯快速精确的识别方法 | |
CN114898321A (zh) | 道路可行驶区域检测方法、装置、设备、介质及系统 | |
Geiger | Monocular road mosaicing for urban environments | |
CN111881878A (zh) | 一种环视复用的车道线识别方法 | |
CN117611525A (zh) | 一种受电弓滑板磨耗视觉检测方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |