CN114066732A - 一种多源监视器的可见光图像几何辐射拼接处理方法 - Google Patents
一种多源监视器的可见光图像几何辐射拼接处理方法 Download PDFInfo
- Publication number
- CN114066732A CN114066732A CN202111381340.XA CN202111381340A CN114066732A CN 114066732 A CN114066732 A CN 114066732A CN 202111381340 A CN202111381340 A CN 202111381340A CN 114066732 A CN114066732 A CN 114066732A
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- visible light
- images
- spliced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005855 radiation Effects 0.000 title claims abstract description 52
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000012937 correction Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 3
- 230000007704 transition Effects 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种多源监视器的可见光图像几何辐射拼接处理方法,属于图像处理技术领域。该方法包括:对至少两张待拼接可见光图像分别进行畸变区域的几何校正,得到第一图像,至少两张待拼接可见光图像是由多个设置位置和/或角度不同、监控区域存在重叠的监视器采集得到;对第一图像进行辐射修正,得到第二图像;确定至少两张待拼接可见光图像中的两张第一可见光图像对应的第二图像之间的特征匹配点之间的密度信息,根据密度信息选择拼接边缘;根据拼接边缘完成两张第二图像的拼接;对所有第二图像完成拼接后得到的拼接图像再次进行几何校正。本发明能够使得拼接图像的接缝实现几何对齐、辐射过渡自然,进而使得拼接图像的整体感更强。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种多源监视器的可见光图像几何辐射拼接处理方法。
背景技术
随着网络技术,计算机处理技术的发展,更高分辨率,更大画面的视频备受欢迎。更高的分辨率能够提供更多的视频内容细节,更大画面给用户身临其境的观赏效果,仿佛身处在整个画面中一样。但是,如果直接采用更大视场的摄像头进行采集,不仅分辨率难以满足要求,而且几何畸变非常严重,摄像头造价高。为避免这些问题,现有技术提出了图像拼接方案。
图像拼接,一般是使用两路或以上的摄像头进行图像采集,该两路或以上的摄像头的视野存在重叠部分,然后基于匹配的特征点进行拼接,得到更大视野范围的图像,甚至是全景图像。但是,由于是使用不同摄像头在不同位置和/或角度采集的不同图像,因此拼接图像之间辐射特性、畸变特性都不同,因此会导致拼接图像之间存在辐射差异、几何扭曲、接缝明显等问题。
发明内容
因此,本发明实施例要解决的技术问题在于克服现有技术中在对不同摄像头采集的图像进行拼接时容易出现的拼接图像之间存在辐射差异、几何扭曲、接缝明显之类的缺陷,从而提供一种多源监视器的可见光图像几何辐射拼接处理方法。
为此,本发明提供一种多源监视器的可见光图像几何辐射拼接处理方法,包括以下步骤:
对至少两张待拼接可见光图像分别进行畸变区域的几何校正,得到第一图像,所述至少两张待拼接可见光图像是由多个设置位置和/或角度不同、监控区域存在重叠的监视器采集得到;
对所述第一图像进行辐射修正,得到第二图像;
确定所述至少两张待拼接可见光图像中的两张第一可见光图像对应的所述第二图像之间的特征匹配点之间的密度信息,根据所述密度信息选择拼接边缘;
根据所述拼接边缘完成两张所述第二图像的拼接;
对所有所述第二图像完成拼接后得到的拼接图像再次进行几何校正。
可选的,所述对至少两张待拼接可见光图像分别进行畸变区域的几何校正,包括:
将所述至少两张待拼接可见光图像分别划分成多个多边形区块;
对所述多边形区块进行放大;
调节放大后的所述多边形区块的顶点,并在调节后缩小所述多边形区块至放大前的尺寸。
可选的,所述调节放大后的所述多边形区块的顶点,包括:
对于所述待拼接可见光图像中的第一多边形区块,根据其他的所述待拼接可见光图像中与所述第一多边形区块重叠的区域中的匹配特征点之间的距离的均方差确定所述第一多边形区块的校正参数;
根据所述校正参数确定所述第一多边形区块中的至少部分顶点的第一移动方向和第一距离,并根据确定所述第一移动方向和所述第一距离拖动对应的顶点,以使得所述第一多边形区块发生相应的几何形变进行几何校正;
对于所述待拼接可见光图像中与所述第一多边形区块相邻的第二多边形区块,根据所有相邻的且已经根据所述校正参数进行几何校正的所述第一多边形区块的共边确定共边上的顶点的第二移动方向和第二距离,并根据所述第二移动方向和所述第二距离拖动对应的顶点,以使得所述第二多边形区块发生相应的几何形变进行几何校正;
对于所述待拼接可见光图像中除所述第一多边形区块和所述第二多边形区块以外的第三多边形区块,根据所有相邻的且已经进行几何校正的所述多边形区块确定共边上的顶点的第三移动方向和第三距离,并根据所述第三移动方向和所述第三距离拖动对应的顶点,以使得所述第三多边形区块发生相应的几何形变进行几何校正。
可选的,所述对于所述待拼接可见光图像中的第一多边形区块,根据其他的所述待拼接可见光图像中与所述第一多边形区块重叠的区域中的匹配特征点之间的距离的均方差确定所述第一多边形区块的校正参数,包括:
对其他的所述述待拼接可见光图像中与所述第一多边形区块重叠的区域进行边缘检测;
获取检测到的边缘上的匹配特征点;
根据所述边缘上的匹配特征点之间的距离的均方差确定所述校正参数。
可选的,所述对所述第一图像进行辐射修正,得到第二图像,包括:
对于所述第一图像中的第一待融合图像,获取所有待与所述第一待融合图像进行边缘拼接的第二待融合图像;
获取所述第一待融合图像中与所述第二待融合图像重叠的第一图像区域、和所述第二待融合图像中与所述第一待融合图像重叠的第二图像区域;
根据所述第一图像区域和所述第二图像区域之间的辐射差异确定融合参数,并根据所述融合参数对所述第一待融合图像进行辐射修正。
可选的,所述根据所述第一图像区域和所述第二图像区域之间的辐射差异确定融合参数,并根据所述融合参数对所述第一待融合图像进行辐射修正,包括:
所述第一图像区域划分成2*N份第一子图像区域,其中,将所述第一图像区域沿第一方向划分成N份,所述第一方向为所述第一待融合图像和所述第二待融合图像拼接时的接缝走向,N为大于1的整数;
从靠近所述第一图像区域中心的N份第一子图像区域中分别选取M个特征匹配点作为目标特征匹配点;
确定所述第一待融合图像和所述第二待融合图像中的所述目标特征匹配点之间的像素差值;
获取每一个所述第一子图像区域中的M个所述目标特征匹配点之间的像素差值的均值;
根据N个所述像素差值的均值确定所述融合参数。
可选的,所述根据N个所述像素差值的均值确定所述融合参数之后,还包括:
将所述第一待融合图像划分成R*S份第二子图像区域;
按照以下公式分别对所述第二子图像区域进行辐射修正:
其中,PIi,PIi′分别是第i个所述第二子图像区域中的一个像素在进行辐射修正前后的像素值,i=1,2,3,…,R*S,δj为第j个靠近所述第一图像区域中心的所述第一子图像区域对应的像素差值的均值,所述像素差值为第二待融合图像中的所述目标特征匹配点的像素值减去所述第一待融合图像中的所述目标特征匹配点的像素值得到的差值,αi1+αi2+…+αij=1,且αij与第一距离呈反比,所述第一距离为第i个所述第二子图像区域和第j个靠近所述第一图像区域中心的所述第一子图像区域之间的距离。
可选的,所述方法还包括:
采用高斯函数对图像进行卷积运算,得到图像的不同尺度空间;
在所述不同尺度空间完成兴趣点的搜索获取图像中具有尺度不变形的特征点;
确定所述特征点的主方向;
利用随机抽样一致性算法剔除误提取的特征点;
利用人工智能神经网络或最近邻算法对两张待进行特征匹配的图像中的特征点进行特征匹配。
可选的,所述利用人工智能神经网络或最近邻算法对两张待进行特征匹配的图像中的特征点进行特征匹配,包括:
将两张所述待进行特征匹配的图像按照相同的划分方式分别划分成多个第三子图像区域和多个第四子图像区域;
根据预先确定的图像采集参数确定待进行特征匹配的目标第三子图像区域和目标第四子图像区域,所述图像采集参数根据采集所述待进行特征匹配的图像的所述监视器的视场、设置角度和/或设置位置确定;
将所述目标第三子图像区域中的特征点与划分位置对应的所述目标第四子图像区域中的特征点进行匹配;
若匹配不到,则与所述目标第四子图像区域紧邻的其他第四子图像区域中的特征点进行匹配。
可选的,所述确定所述至少两张待拼接可见光图像中的两张第一可见光图像对应的所述第二图像之间的特征匹配点之间的密度信息,根据所述密度信息选择拼接边缘,包括:
将两张所述第一可见光图像对应的所述第二图像之间的重叠区域沿X方向划分为x份沿Y方向划分为y份得到x*y份第五子图像区域,其中,X方向和Y方向垂直,且Y方向与两张所述第一可见光图像对应的所述第二图像拼接时的接缝走向一致;
统计每一所述第五子图像区域中的特征匹配点的密度信息;
沿Y方向从每x个所述第五子图像区域中选择特征匹配点密度最大的一个所述第五子图像区域,得到y个目标第五子图像区域;
从y个所述目标第五子图像区域中选取所述拼接边缘。
本发明实施例的技术方案,具有如下优点:
本发明实施例提供的多源监视器的可见光图像几何辐射拼接处理方法,在拼接之前对待拼接图像进行几何校正,不仅实现了对几何畸变的校正,而且方便拼接时图像内容的几何对齐,避免接缝处的几何错位。还对拼接图像进行了辐射修正,使得图像的辐射特征趋于一致,使得拼接图像的视觉整体性更强,避免块状感。另外,在拼接之后再次对图像进行几何校正,使得拼接图像的几何畸变得到最大程度上的校正,使得拼接图像从整体上看更加协调。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中多源监视器的可见光图像几何辐射拼接处理方法的一个具体示例的流程图;
图2为本发明实施例中对图像进行几何校正的一个具体示例的流程图;
图3为本发明实施例中对图像进行辐射修正的一个具体示例的流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,本文所用的术语仅用于描述特定实施例的目的,而并非旨在限制本发明。除非上下文明确指出,否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。使用“包括”和/或“包含”等术语时,是意图说明存在该特征、整数、步骤、操作、元素和/或组件,而不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其他组合的存在或增加。术语“和/或”包括一个或多个相关列出项目的任何和所有组合。术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通;可以是无线连接,也可以是有线连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种多源监视器的可见光图像几何辐射拼接处理方法,如图1所示,包括以下步骤:
S1:对至少两张待拼接可见光图像分别进行畸变区域的几何校正,得到第一图像,所述至少两张待拼接可见光图像是由多个设置位置和/或角度不同、监控区域存在重叠的监视器采集得到;
S2:对所述第一图像进行辐射修正,得到第二图像;
S3:确定所述至少两张待拼接可见光图像中的两张第一可见光图像对应的所述第二图像之间的特征匹配点之间的密度信息,根据所述密度信息选择拼接边缘;
S4:根据所述拼接边缘完成两张所述第二图像的拼接;
S5:对所有所述第二图像完成拼接后得到的拼接图像再次进行几何校正。
两张所述第一可见光图像是由相邻的所述监视器采集得到,相邻的所述监视器的监控区域存在重叠,因此该两张第一可见光图像之间存在重叠区域。重叠区域,也即该图像区域内的图像内容对应的拍摄对象相同。
本实施例中,在拼接之前对待拼接图像进行几何校正,不仅实现了对几何畸变的校正,而且方便拼接时图像内容的几何对齐,避免接缝处的几何错位。还对拼接图像进行了辐射修正,使得图像的辐射特征趋于一致,使得拼接图像的视觉整体性更强,避免块状感。另外,在拼接之后再次对图像进行几何校正,使得拼接图像的几何畸变得到最大程度上的校正,使得拼接图像从整体上看更加协调。
可选的,如图2所示,所述对至少两张待拼接可见光图像分别进行畸变区域的几何校正,即步骤S1,包括:
S11:将所述至少两张待拼接可见光图像分别划分成多个多边形区块;
S12:对所述多边形区块进行放大;
S13:调节放大后的所述多边形区块的顶点,并在调节后缩小所述多边形区块至放大前的尺寸。
其中,所述多边形区域可以为三角形区块或矩形区块。
可选的,所述调节放大后的所述多边形区块的顶点,包括:
对于所述待拼接可见光图像中的第一多边形区块,根据其他的所述待拼接可见光图像中与所述第一多边形区块重叠的区域中的匹配特征点之间的距离的均方差确定所述第一多边形区块的校正参数;
根据所述校正参数确定所述第一多边形区块中的至少部分顶点的第一移动方向和第一距离,并根据确定所述第一移动方向和所述第一距离拖动对应的顶点,以使得所述第一多边形区块发生相应的几何形变进行几何校正;
对于所述待拼接可见光图像中与所述第一多边形区块相邻的第二多边形区块,根据所有相邻的且已经根据所述校正参数进行几何校正的所述第一多边形区块的共边确定共边上的顶点的第二移动方向和第二距离,并根据所述第二移动方向和所述第二距离拖动对应的顶点,以使得所述第二多边形区块发生相应的几何形变进行几何校正;
对于所述待拼接可见光图像中除所述第一多边形区块和所述第二多边形区块以外的第三多边形区块,根据所有相邻的且已经进行几何校正的所述多边形区块确定共边上的顶点的第三移动方向和第三距离,并根据所述第三移动方向和所述第三距离拖动对应的顶点,以使得所述第三多边形区块发生相应的几何形变进行几何校正。
其中,所述第一多边形区块中至少部分区域与其他的所述待拼接可见光图像重叠。
本实施例中,对监视器成像过程中所产生的畸变进行校正,避免后续的图像拼接发生几何错位等问题。
可选的,所述对于所述待拼接可见光图像中的第一多边形区块,根据其他的所述待拼接可见光图像中与所述第一多边形区块重叠的区域中的匹配特征点之间的距离的均方差确定所述第一多边形区块的校正参数,包括:
对其他的所述述待拼接可见光图像中与所述第一多边形区块重叠的区域进行边缘检测;
获取检测到的边缘上的匹配特征点;
根据所述边缘上的匹配特征点之间的距离的均方差确定所述校正参数。
可选的,如图3所示,所述对所述第一图像进行辐射修正,得到第二图像,即步骤S2,包括:
S21:对于所述第一图像中的第一待融合图像,获取所有待与所述第一待融合图像进行边缘拼接的第二待融合图像;
S22:获取所述第一待融合图像中与所述第二待融合图像重叠的第一图像区域、和所述第二待融合图像中与所述第一待融合图像重叠的第二图像区域;
S23:根据所述第一图像区域和所述第二图像区域之间的辐射差异确定融合参数,并根据所述融合参数对所述第一待融合图像进行辐射修正。
可选的,所述根据所述第一图像区域和所述第二图像区域之间的辐射差异确定融合参数,并根据所述融合参数对所述第一待融合图像进行辐射修正,包括:
所述第一图像区域划分成2*N份第一子图像区域,其中,将所述第一图像区域沿第一方向划分成N份,所述第一方向为所述第一待融合图像和所述第二待融合图像拼接时的接缝走向,N为大于1的整数;
从靠近所述第一图像区域中心的N份第一子图像区域中分别选取M个特征匹配点作为目标特征匹配点;
确定所述第一待融合图像和所述第二待融合图像中的所述目标特征匹配点之间的像素差值;
获取每一个所述第一子图像区域中的M个所述目标特征匹配点之间的像素差值的均值;M为正整数即可;
根据N个所述像素差值的均值确定所述融合参数。
本实施例中,根据两张待直接拼接的图像中的重叠区域中特征匹配点之间的像素差值确定辐射修正参数,使得拼接后的图像的辐射基本一致,且与原图像的辐射差异更小。
进一步可选的,所述根据N个所述像素差值的均值确定所述融合参数之后,还包括:
将所述第一待融合图像划分成R*S份第二子图像区域;
按照以下公式分别对所述第二子图像区域进行辐射修正:
其中,PIi,PIi′分别是第i个所述第二子图像区域中的一个像素在进行辐射修正前后的像素值,i=1,2,3,…,R*S,δj为第j个靠近所述第一图像区域中心的所述第一子图像区域对应的像素差值的均值,所述像素差值为第二待融合图像中的所述目标特征匹配点的像素值减去所述第一待融合图像中的所述目标特征匹配点的像素值得到的差值,αi1+αi2+…+αij=1,且αij与第一距离呈反比,所述第一距离为第i个所述第二子图像区域和第j个靠近所述第一图像区域中心的所述第一子图像区域之间的距离。
本实施例中,所述像素差值可以是负值。在一定范围内,N、M、R和S的取值越大,融合效果越好。
本实施例中,在进行辐射修正时,按照距离接缝附近的重叠区域的远近进行不同程度的辐射修正,从而使得拼接图像的辐射过渡自然。
其他可选的具体实施方式中,也可以将所述第一待融合图像中除所述第一图像区域以外的其他区域划分成R*S份。对于所述第一图像区域的辐射修正具体可以按照以下公式进行:
其中,PIl,PIl′分别是第l个所述第一子图像区域中的一个像素在进行辐射修正前后的像素值,l=1,2,3,…,2*N,δk为第k个靠近所述第一图像区域中心的所述第一子图像区域对应的像素差值的均值,所述像素差值为第二待融合图像中的所述目标特征匹配点的像素值减去所述第一待融合图像中的所述目标特征匹配点的像素值得到的差值,βl1+βl2+…+βlk=1,且βlk与第二距离呈反比,所述第二距离为第l个所述第一子图像区域和第k个靠近所述第一图像区域中心的所述第一子图像区域之间的距离。
另外,在根据N个所述像素差值的均值确定所述融合参数之后,可以根据所述融合参数对所述第二待融合图像进行辐射修正,具体可参阅上述对第一待融合图像进行融合的过程,唯一的区别为:如果所述像素差值为第二待融合图像中的所述目标特征匹配点的像素值减去所述第一待融合图像中的所述目标特征匹配点的像素值得到的差值,那么公式(1)中的“+”需要改为“-”。
进一步可选的,所述方法还包括确定特征匹配点的过程,具体可以是:
采用高斯函数对图像进行卷积运算,得到图像的不同尺度空间;
在所述不同尺度空间完成兴趣点的搜索获取图像中具有尺度不变形的特征点;
确定所述特征点的主方向;
利用随机抽样一致性算法(RANSAC)剔除误提取的特征点;
利用人工智能神经网络或最近邻算法对两张待进行特征匹配的图像中的特征点进行特征匹配。
上述图像具体可以是监视器采集到的可见光图像经几何校正和辐射修正得到的第二图像,也可以是监视器采集到的可见光图像本身。
可选的,所述利用人工智能神经网络或最近邻算法对两张待进行特征匹配的图像中的特征点进行特征匹配,包括:
将两张所述待进行特征匹配的图像按照相同的划分方式分别划分成多个第三子图像区域和多个第四子图像区域;
根据预先确定的图像采集参数确定待进行特征匹配的目标第三子图像区域和目标第四子图像区域,所述图像采集参数根据采集所述待进行特征匹配的图像的所述监视器的视场、设置角度和/或设置位置确定;
将所述目标第三子图像区域中的特征点与划分位置对应的所述目标第四子图像区域中的特征点进行匹配;
若匹配不到,则与所述目标第四子图像区域紧邻的其他第四子图像区域中的特征点进行匹配。
本实施例,可以最大程度减少特征匹配所需的计算量,而且还可以减少错误的特征匹配。其中,第三子图像区域和第四子图像区域划分位置对应,也即在将两张待进行特征匹配的图像上下重叠时,该第三子图像区域和第四子图像区域上下重叠。
进一步可选的,在匹配不到的情况下,可以根据目标第三子图像区域中已经完成特征匹配的特征点与该待匹配特征点之间的相对位置关系,确定上述其他第四子图像区域。
其他可选的具体实施方式中,如果根据目标第三子图像区域中已经完成匹配的特征点与该待匹配特征点之间的相对位置关系能够确定需要与所述目标第四子图像区域紧邻的其他第四子图像区域中的特征点进行匹配,那么直接将该待匹配特征点与该其他第四子图像区域中的特征点进行匹配。
可选的,所述确定所述至少两张待拼接可见光图像中的两张第一可见光图像对应的所述第二图像之间的特征匹配点之间的密度信息,根据所述密度信息选择拼接边缘,包括:
将两张所述第一可见光图像对应的所述第二图像之间的重叠区域沿X方向划分为x份沿Y方向划分为y份得到x*y份第五子图像区域,其中,X方向和Y方向垂直,且Y方向与两张所述第一可见光图像对应的所述第二图像拼接时的接缝走向一致;
统计每一所述第五子图像区域中的特征匹配点的密度信息;
沿Y方向从每x个所述第五子图像区域中选择特征匹配点密度最大的一个所述第五子图像区域,得到y个目标第五子图像区域;
从y个所述目标第五子图像区域中选取所述拼接边缘。
具体的,可以从y个所述目标第五子图像区域中选取一个特征匹配点,然后对选取的特征匹配点进行连线得到的线条即作为所述拼接边缘。
在根据所述拼接边缘完成两张所述第二图像的拼接时,需使得选取的所述特征匹配点之间的均方距离误差最小。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种多源监视器的可见光图像几何辐射拼接处理方法,其特征在于,包括以下步骤:
对至少两张待拼接可见光图像分别进行畸变区域的几何校正,得到第一图像,所述至少两张待拼接可见光图像是由多个设置位置和/或角度不同、监控区域存在重叠的监视器采集得到;
对所述第一图像进行辐射修正,得到第二图像;
确定所述至少两张待拼接可见光图像中的两张第一可见光图像对应的所述第二图像之间的特征匹配点之间的密度信息,根据所述密度信息选择拼接边缘;
根据所述拼接边缘完成两张所述第二图像的拼接;
对所有所述第二图像完成拼接后得到的拼接图像再次进行几何校正。
2.根据权利要求1所述的方法,其特征在于,所述对至少两张待拼接可见光图像分别进行畸变区域的几何校正,包括:
将所述至少两张待拼接可见光图像分别划分成多个多边形区块;
对所述多边形区块进行放大;
调节放大后的所述多边形区块的顶点,并在调节后缩小所述多边形区块至放大前的尺寸。
3.根据权利要求2所述的方法,其特征在于,所述调节放大后的所述多边形区块的顶点,包括:
对于所述待拼接可见光图像中的第一多边形区块,根据其他的所述待拼接可见光图像中与所述第一多边形区块重叠的区域中的匹配特征点之间的距离的均方差确定所述第一多边形区块的校正参数;
根据所述校正参数确定所述第一多边形区块中的至少部分顶点的第一移动方向和第一距离,并根据确定所述第一移动方向和所述第一距离拖动对应的顶点,以使得所述第一多边形区块发生相应的几何形变进行几何校正;
对于所述待拼接可见光图像中与所述第一多边形区块相邻的第二多边形区块,根据所有相邻的且已经根据所述校正参数进行几何校正的所述第一多边形区块的共边确定共边上的顶点的第二移动方向和第二距离,并根据所述第二移动方向和所述第二距离拖动对应的顶点,以使得所述第二多边形区块发生相应的几何形变进行几何校正;
对于所述待拼接可见光图像中除所述第一多边形区块和所述第二多边形区块以外的第三多边形区块,根据所有相邻的且已经进行几何校正的所述多边形区块确定共边上的顶点的第三移动方向和第三距离,并根据所述第三移动方向和所述第三距离拖动对应的顶点,以使得所述第三多边形区块发生相应的几何形变进行几何校正。
4.根据权利要求3所述的方法,其特征在于,所述对于所述待拼接可见光图像中的第一多边形区块,根据其他的所述待拼接可见光图像中与所述第一多边形区块重叠的区域中的匹配特征点之间的距离的均方差确定所述第一多边形区块的校正参数,包括:
对其他的所述述待拼接可见光图像中与所述第一多边形区块重叠的区域进行边缘检测;
获取检测到的边缘上的匹配特征点;
根据所述边缘上的匹配特征点之间的距离的均方差确定所述校正参数。
5.根据权利要求1所述的方法,其特征在于,所述对所述第一图像进行辐射修正,得到第二图像,包括:
对于所述第一图像中的第一待融合图像,获取所有待与所述第一待融合图像进行边缘拼接的第二待融合图像;
获取所述第一待融合图像中与所述第二待融合图像重叠的第一图像区域、和所述第二待融合图像中与所述第一待融合图像重叠的第二图像区域;
根据所述第一图像区域和所述第二图像区域之间的辐射差异确定融合参数,并根据所述融合参数对所述第一待融合图像进行辐射修正。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一图像区域和所述第二图像区域之间的辐射差异确定融合参数,并根据所述融合参数对所述第一待融合图像进行辐射修正,包括:
所述第一图像区域划分成2*N份第一子图像区域,其中,将所述第一图像区域沿第一方向划分成N份,所述第一方向为所述第一待融合图像和所述第二待融合图像拼接时的接缝走向,N为大于1的整数;
从靠近所述第一图像区域中心的N份第一子图像区域中分别选取M个特征匹配点作为目标特征匹配点;
确定所述第一待融合图像和所述第二待融合图像中的所述目标特征匹配点之间的像素差值;
获取每一个所述第一子图像区域中的M个所述目标特征匹配点之间的像素差值的均值;
根据N个所述像素差值的均值确定所述融合参数。
7.根据权利要求6所述的方法,其特征在于,所述根据N个所述像素差值的均值确定所述融合参数之后,还包括:
将所述第一待融合图像划分成R*S份第二子图像区域;
按照以下公式分别对所述第二子图像区域进行辐射修正:
其中,PIi,PIi′分别是第i个所述第二子图像区域中的一个像素在进行辐射修正前后的像素值,i=1,2,3,…,R*S,δj为第j个靠近所述第一图像区域中心的所述第一子图像区域对应的像素差值的均值,所述像素差值为第二待融合图像中的所述目标特征匹配点的像素值减去所述第一待融合图像中的所述目标特征匹配点的像素值得到的差值,αi1+αi2+…+αij=1,且αij与第一距离呈反比,所述第一距离为第i个所述第二子图像区域和第j个靠近所述第一图像区域中心的所述第一子图像区域之间的距离。
8.根据权利要求1所述的方法,其特征在于,还包括:
采用高斯函数对图像进行卷积运算,得到图像的不同尺度空间;
在所述不同尺度空间完成兴趣点的搜索获取图像中具有尺度不变形的特征点;
确定所述特征点的主方向;
利用随机抽样一致性算法剔除误提取的特征点;
利用人工智能神经网络或最近邻算法对两张待进行特征匹配的图像中的特征点进行特征匹配。
9.根据权利要求8所述的方法,其特征在于,所述利用人工智能神经网络或最近邻算法对两张待进行特征匹配的图像中的特征点进行特征匹配,包括:
将两张所述待进行特征匹配的图像按照相同的划分方式分别划分成多个第三子图像区域和多个第四子图像区域;
根据预先确定的图像采集参数确定待进行特征匹配的目标第三子图像区域和目标第四子图像区域,所述图像采集参数根据采集所述待进行特征匹配的图像的所述监视器的视场、设置角度和/或设置位置确定;
将所述目标第三子图像区域中的特征点与划分位置对应的所述目标第四子图像区域中的特征点进行匹配;
若匹配不到,则与所述目标第四子图像区域紧邻的其他第四子图像区域中的特征点进行匹配。
10.根据权利要求1所述的方法,其特征在于,所述确定所述至少两张待拼接可见光图像中的两张第一可见光图像对应的所述第二图像之间的特征匹配点之间的密度信息,根据所述密度信息选择拼接边缘,包括:
将两张所述第一可见光图像对应的所述第二图像之间的重叠区域沿X方向划分为x份沿Y方向划分为y份得到x*y份第五子图像区域,其中,X方向和Y方向垂直,且Y方向与两张所述第一可见光图像对应的所述第二图像拼接时的接缝走向一致;
统计每一所述第五子图像区域中的特征匹配点的密度信息;
沿Y方向从每x个所述第五子图像区域中选择特征匹配点密度最大的一个所述第五子图像区域,得到y个目标第五子图像区域;
从y个所述目标第五子图像区域中选取所述拼接边缘。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111381340.XA CN114066732B (zh) | 2021-11-21 | 2021-11-21 | 一种多源监视器的可见光图像几何辐射拼接处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111381340.XA CN114066732B (zh) | 2021-11-21 | 2021-11-21 | 一种多源监视器的可见光图像几何辐射拼接处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114066732A true CN114066732A (zh) | 2022-02-18 |
CN114066732B CN114066732B (zh) | 2022-05-24 |
Family
ID=80278694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111381340.XA Active CN114066732B (zh) | 2021-11-21 | 2021-11-21 | 一种多源监视器的可见光图像几何辐射拼接处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114066732B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106157292A (zh) * | 2015-04-23 | 2016-11-23 | 尤淑撑 | 基于两时相遥感图像的国土资源变化监测 |
CN111415298A (zh) * | 2020-03-20 | 2020-07-14 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、电子设备及计算机可读存储介质 |
CN111583116A (zh) * | 2020-05-06 | 2020-08-25 | 上海瀚正信息科技股份有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 |
CN111583110A (zh) * | 2020-04-24 | 2020-08-25 | 华南理工大学 | 一种航拍图像的拼接方法 |
CN111815517A (zh) * | 2020-07-09 | 2020-10-23 | 苏州万店掌网络科技有限公司 | 一种基于球机抓拍图片的自适应全景拼接方法 |
-
2021
- 2021-11-21 CN CN202111381340.XA patent/CN114066732B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106157292A (zh) * | 2015-04-23 | 2016-11-23 | 尤淑撑 | 基于两时相遥感图像的国土资源变化监测 |
CN111415298A (zh) * | 2020-03-20 | 2020-07-14 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、电子设备及计算机可读存储介质 |
CN111583110A (zh) * | 2020-04-24 | 2020-08-25 | 华南理工大学 | 一种航拍图像的拼接方法 |
CN111583116A (zh) * | 2020-05-06 | 2020-08-25 | 上海瀚正信息科技股份有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 |
CN111815517A (zh) * | 2020-07-09 | 2020-10-23 | 苏州万店掌网络科技有限公司 | 一种基于球机抓拍图片的自适应全景拼接方法 |
Non-Patent Citations (6)
Title |
---|
周茜: "遥感影像自动拼接技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
周茜: "遥感影像自动拼接技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 March 2013 (2013-03-15), pages 1 - 63 * |
李赛: "面阵摆扫热红外航空影像分步几何校正方法", 《红外与毫米波学报》 * |
李赛: "面阵摆扫热红外航空影像分步几何校正方法", 《红外与毫米波学报》, 30 April 2020 (2020-04-30), pages 242 - 250 * |
董强: "机载图像拼接关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
董强: "机载图像拼接关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 October 2018 (2018-10-15), pages 1 - 138 * |
Also Published As
Publication number | Publication date |
---|---|
CN114066732B (zh) | 2022-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12034906B2 (en) | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene | |
CN105957007B (zh) | 基于特征点平面相似度的图像拼接方法 | |
CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
TWI622021B (zh) | 具接合功能的全景影像產生方法及裝置 | |
CN108600576B (zh) | 图像处理装置、方法和系统以及计算机可读记录介质 | |
US11328188B2 (en) | Target-image acquisition method, photographing device, and unmanned aerial vehicle | |
CN106875339A (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
CN112085659A (zh) | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 | |
CN105023260A (zh) | 一种全景图像融合方法及融合装置 | |
WO2021037288A2 (zh) | 一种双光相机成像校准的方法、装置和双光相机 | |
JP5091099B2 (ja) | 撮像装置 | |
CN106886976B (zh) | 一种基于内参数修正鱼眼像机的图像生成方法 | |
CN114331835A (zh) | 一种基于最优映射矩阵的全景图像拼接方法及装置 | |
CN116132610A (zh) | 一种综采面视频拼接方法及系统 | |
CN114066732B (zh) | 一种多源监视器的可见光图像几何辐射拼接处理方法 | |
CN114972030A (zh) | 一种图像拼接方法、装置、存储介质与电子设备 | |
CN116437165A (zh) | 影像处理系统及其方法 | |
CN107067368B (zh) | 基于影像变形的街景影像拼接方法及系统 | |
KR101132976B1 (ko) | 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법 | |
CN112085803B (zh) | 一种多镜头多探测器拼接式相机颜色一致性处理方法 | |
CN115619636A (zh) | 图像拼接方法、电子设备以及存储介质 | |
Dudek et al. | Robust global and local color matching in stereoscopic omnidirectional content | |
CN108965805A (zh) | 一种基于嵌入式深度学习算法的拼接联动系统 | |
CN114612574A (zh) | 一种基于无人机的车载环视相机全景鸟瞰图标定及转换拼接方法 | |
CN113744133A (zh) | 一种图像拼接方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |