CN111583116A - 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 - Google Patents
基于多摄像机交叉摄影的视频全景拼接融合方法及系统 Download PDFInfo
- Publication number
- CN111583116A CN111583116A CN202010375299.4A CN202010375299A CN111583116A CN 111583116 A CN111583116 A CN 111583116A CN 202010375299 A CN202010375299 A CN 202010375299A CN 111583116 A CN111583116 A CN 111583116A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- points
- corrected
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000009466 transformation Effects 0.000 claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims abstract description 18
- 238000012937 correction Methods 0.000 claims abstract description 14
- 238000005286 illumination Methods 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 22
- 238000012217 deletion Methods 0.000 claims description 18
- 230000037430 deletion Effects 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 14
- 238000009434 installation Methods 0.000 description 11
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了基于多摄像机交叉摄影的视频全景拼接融合方法及系统，该系统用于实现该方法，该方法包括：从视频流中获取两张拍摄区域重叠的摄像机同一时刻的图像；对两张图像依次进行畸变校正和正射校正获得校正图像；提取两张校正图像的特征点，根据特征点得到特征点匹配对；根据特征点匹配对得到透视变换矩阵，根据透视变换矩阵得到两张透视变换图像；获得两张两张透视变换图像的蒙版；根据终蒙版以及特征点匹配对，对两张透视变换图像进行拼接。本发明实现了主光轴交叉夹角大的摄像机之间的图像的拼接。
Description
技术领域
本发明涉及视频处理领域，具体涉及基于多摄像机交叉摄影的视频全景拼接融合方法及系统。
背景技术
随着智能智造、智慧城市领域的蓬勃发展，越来越多场景需要有360度无死角的监控，最简单的解决方案就是直接在中心区域安装一个球形全景摄像机。但需要达到360度无死角拍摄，要求球形全景相机的必须垂直对地安装在场景的中心区域，要求场景中没有大型遮挡物，要求对相机输出图像进行畸变矫正，而且球形全景摄像机由于成像关系的原因，与主光轴夹角最小的正下方区域几乎占据整个输出视频的80％，而离主光轴角度越大区域拍摄的清晰度越低。相对于以上种种条件的限制，使用多个枪型摄像机交叉摄影的方式能满足90％以上场景对于360度无死角监控的需求。但由于摄像机安装数量的增多，由人工一个个的查看每个摄像机所拍摄视频非常的费事费神费力，因此社会各界对于多摄像机交叉摄影视频数据的融合技术提出了非常迫切的需求。
现阶段视频融合技术都只能在两个摄像机主光轴夹角在90度以内时进行视频融合才能融合出比较好的效果，当两个摄像机主光轴夹角大于90度时效果就会变得非常不理想。
发明内容
针对上述问题，本发明提供了一种基于多摄像机交叉摄影的视频全景拼接融合方法及系统。
一方面，本发明提供了基于多摄像机交叉摄影的视频全景拼接融合方法，其包括：
S1：从视频流中获取多个摄像机同一时刻的图像；
S2：对于S1中获取的一张图像，根据匹配规则从S1获取的图像中选出与其匹配的另一张图像，对两张匹配的图像分别先进行畸变校正，然后分别进行正射校正，得到两张校正图像，所述匹配规则包括：匹配的两张图像分别对应两个摄像机，所述两个摄像机的拍摄区域存在互相重叠的区域，所述互相重叠的区域的面积与所述两个摄像机的拍摄区域的面积之和的比例大于预设的重叠阈值；
S3：对两张校正图像分别提取各自的特征点，然后根据两张校正图像的特征点在两张校正图像之间进行特征点匹配，得到初步匹配对，对初步匹配对进行筛选，得到特征点匹配对；
S4：根据特征点匹配对计算两张校正图像的透视变换矩阵，根据透视变换矩阵将两张校正图像调整到统一的图像坐标系中，对于一个特征匹配对中的两个像素点，其在所述坐标系中的坐标相同，从而得到两张透视变换图像；
S5：分别计算两张透视变换图像的初始蒙版，将得到的两张初始蒙版的像素点的总数记为Nt，将获得的两张初始蒙版置于S4所述的坐标系中，按设定的删除规则交替对两张初始蒙版的边缘像素点进行删除，缩小两张初始蒙版的面积，所述删除规则包括：对于当前正在处理的初始蒙版的一个边缘像素点，判断在另一个初始蒙版中是否有与其坐标相同的像素点，若有，则在当前正在处理的初始蒙版中将该边缘像素点删除，若无，则保留该边缘像素点；
直到两张初始蒙版中剩余的坐标相同的像素点对的数量与Nt的比值小于预设的阈值，才停止交替删除两张初始蒙版中的边缘像素点，将停止交替删除边缘像素点后得到的面积缩小的两张初始蒙版作为两张最终蒙版；
S6：根据两张最终蒙版以及特征点匹配对，对两张透视变换图像进行拼接。
另一方面，
本发明提供了基于多摄像机交叉摄影的视频全景拼接融合系统，其包括：
图像获取模块，用于从视频流中获取多个摄像机同一时刻的图像；
图像预处理模块，用于对于图像获取模块中获取的一张图像，根据匹配规则从图像获取模块获取的图像中选出与其匹配的另一张图像，对两张匹配的图像分别先进行畸变校正，然后分别进行正射校正，得到两张校正图像，所述匹配规则包括：匹配的两张图像分别对应两个摄像机，所述两个摄像机的拍摄区域存在互相重叠的区域，所述互相重叠的区域的面积与所述两个摄像机的拍摄区域的面积之和的比例大于预设的重叠阈值；
特征匹配模块，用于对两张校正图像分别提取各自的特征点，然后根据两张校正图像的特征点在两张校正图像之间进行特征点匹配，得到初步匹配对，对初步匹配对进行筛选，得到特征点匹配对；
透视变换模块，用于根据特征点匹配对计算两张校正图像的透视变换矩阵，根据透视变换矩阵将两张校正图像调整到统一的图像坐标系中，对于一个特征匹配对中的两个像素点，其在所述坐标系中的坐标相同，从而得到两张透视变换图像；
蒙版获取模块，用于分别计算两张透视变换图像的初始蒙版，将得到的两张初始蒙版的像素点的总数记为Nt，将获得的两张初始蒙版置于透视变换模块中的坐标系中，按设定的删除规则交替对两张初始蒙版的边缘像素点进行删除，缩小两张初始蒙版的面积，所述删除规则包括：对于当前正在处理的初始蒙版的一个边缘像素点，判断在另一个初始蒙版中是否有与其坐标相同的像素点，若有，则在当前正在处理的初始蒙版中将该边缘像素点删除，若无，则保留该边缘像素点；
直到两张初始蒙版中剩余的坐标相同的像素点对的数量与Nt的比值小于预设的阈值，才停止交替删除两张初始蒙版中的边缘像素点，将停止交替删除边缘像素点后得到的面积缩小的两张初始蒙版作为两张最终蒙版；
图像拼接模块，用于根据两张最终蒙版以及特征点匹配对，对两张透视变换图像进行拼接。
本发明的有益效果为：通过图像拼接融合技术，可以将多个摄像机拍摄的视频中的同一时刻的图像进行拼接融合，且对摄像机的安装位置、摄像头的主光轴交叉夹角的限制少，只需要当前摄像机拍摄的区域至少有另一个摄像机拍摄的区域与能重叠，且重叠范围不低于预设的重叠阈值就能进行融合。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1，为本发明基于多摄像机交叉摄影的视频全景拼接融合方法的一种示例性实施例图。
图2，为一号摄像机拍摄的图像。
图3，为二号摄像机拍摄的图像。
图4，为对图2进行畸变校正后获得的图像。
图5，为对图3进行畸变校正后获得的图像。
图6，为图4和图5特征匹配的结果。
图7，为对图4进行正射校正获得的图像。
图8，为对图5进行正射校正获得的图像。
图9，为对图7和图8进行特征点匹配的结果。
图10，为按照本发明的一种实施方式对图2和图3进行图像拼接取得的结果。
图11，为本发明基于多摄像机交叉摄影的视频全景拼接融合系统的一种示例性实施例图。
具体实施方式
结合以下实施例对本发明作进一步描述。
针对现有技术存在的技术问题，本发明提供了一种基于多摄像机交叉摄影的视频全景拼接融合方法及系统。
参见图1，一方面，本发明提供了基于多摄像机交叉摄影的视频全景拼接融合方法，其包括：
S1：从视频流中获取多个摄像机同一时刻的图像；
S2：对于S1中获取的一张图像，根据匹配规则从S1获取的图像中选出与其匹配的另一张图像，对两张匹配的图像分别先进行畸变校正，然后分别进行正射校正，得到两张校正图像，所述匹配规则包括：匹配的两张图像分别对应两个摄像机，所述两个摄像机的拍摄区域存在互相重叠的区域，所述互相重叠的区域的面积与所述两个摄像机的拍摄区域的面积之和的比例大于预设的重叠阈值；
S3：对两张校正图像分别提取各自的特征点，然后根据两张校正图像的特征点在两张校正图像之间进行特征点匹配，得到初步匹配对，对初步匹配对进行筛选，得到特征点匹配对；
S4：根据特征点匹配对计算两张校正图像的透视变换矩阵，根据透视变换矩阵将两张校正图像调整到统一的图像坐标系中，对于一个特征匹配对中的两个像素点，其在所述坐标系中的坐标相同，从而得到两张透视变换图像；
S5：分别计算两张透视变换图像的初始蒙版，将得到的两张初始蒙版的像素点的总数记为Nt，将获得的两张初始蒙版置于S4所述的坐标系中，按设定的删除规则交替对两张初始蒙版的边缘像素点进行删除，缩小两张初始蒙版的面积，所述删除规则包括：对于当前正在处理的初始蒙版的一个边缘像素点，判断在另一个初始蒙版中是否有与其坐标相同的像素点，若有，则在当前正在处理的初始蒙版中将该边缘像素点删除，若无，则保留该边缘像素点；
直到两张初始蒙版中剩余的坐标相同的像素点对的数量与Nt的比值小于预设的阈值，才停止交替删除两张初始蒙版中的边缘像素点，将停止交替删除边缘像素点后得到的面积缩小的两张初始蒙版作为两张最终蒙版；
S6：根据两张最终蒙版以及特征点匹配对，对两张透视变换图像进行拼接。
本发明上述实施方式，通过图像拼接融合技术，可以将多个摄像机拍摄的视频中的同一时刻的图像进行拼接融合，且对摄像机的安装位置、摄像头的主光轴交叉夹角的限制少，只需要当前摄像机拍摄的区域至少有另一个摄像机拍摄的区域与能重叠，且重叠范围不低于预设的重叠阈值就能进行融合。融合后的图像就是多个摄像头同一时刻拍摄到的信息。
所述畸变校正用于校正由于摄像机镜头导致的成像畸变，使图像看起来更加贴近实际场景。
使用现阶段技术进行拼接融合，在两个摄像机主光轴夹角较小或者多个摄像机垂直对地拍摄时，融合结果能满足需求，但若有多个摄像机在倾斜拍摄或两个摄像机在交叉摄影时融合效果并不好。下面进行举例说明：
图2和图3分别是一号摄像机和二号摄像机拍摄的图像，两张图像不仅是倾斜拍摄，而且主光轴夹角较小，图4和图5分别是一号摄像机和二号摄像机畸变校正后的图像，图6是对图4和图5进行匹配的结果。从图6可以看到，匹配结果连线存在着大量错误结果，这将会直接导致图像间的透射矩阵矩阵拟合得不理想甚至没法拟合出透射矩阵，从而导致两个摄像机的视频拍摄的视频融合出现问题甚至无法融合。
而本发明的上述实施例则可以很好地解决这个问题。
按照本发明的上述实施例，对畸变校正后的图4和图5分别进行正射校正，对应得到图7和图8，然后分别提取图7和图8中的特征点，并对图7和图8进行特征点匹配，匹配结果如图9所示，本发明很好地解决了现有技术中存在的问题。图10是在特征匹配后，继续按照本发明的上述实施方式最终得到的图像拼接结果。
在一种实施方式中，所述重叠阈值优选为30％。
在一种实施方式中，所述正射校正包括：通过摄像机的安装位置、安装角度以及摄像机内参矩阵将所有摄像机统一到一个空间坐标下，同时根据安装位置信息求得拍摄面，由此对摄像机拍摄视场进行建模，根据摄像机拍摄视场模型消除拍摄视频帧每个像素的分辨率差异。
由于摄像机有可能是倾斜摄影，势必会导致拍摄出来的视频帧图像中，每个像素所代表的实际面积有可能会有较大差异，而上述实施方式可以很好地消除这一差异。
在一种实施方式中，所述特征点包括校正图像中灰度值发生剧烈变化的点、在校正图像边缘上曲率较大的点、以该点为中心，该点周围像素单元的梯度变化较大的点。
在一种实施方式中，所述对初步匹配对进行筛选，得到特征点匹配对，包括：根据初步匹配对的连线方向以及长度，对不符合预设条件的初步匹配对进行删除，所述预设条件包括特征点匹配对的连线的方向与水平向右方向所形成的夹角小于预设的角度阈值，所述初步匹配对的连线的长度小于预设的长度阈值；将剩余的初步匹配对作为特征点匹配对。
在一种实施方式中，所述对两张校正图像分别提取各自的特征点，包括：
将校正图像转换为灰度图像；
对灰度图像进行滤波处理得到滤波图像；
对滤波图像，使用非极大值抑制筛选出其中的特征点，并将选出的所有特征点存入粗选集合中；
对于粗选集合中的特征点，判断所述特征点的海瑟矩阵判别式的值是否比与其相邻的八个像素点的海瑟矩阵判别式的值都大，若是，则在粗选集合中保留该特征点，否则，将其从粗选集合中删除；
将粗选集合中剩余的特征点作为最终提取到的特征点。
本发明上述实施方式，通过非极大值抑制快速筛选出滤波图像中的特征点，然后使用海瑟矩阵判别式对初步筛选出的特征点进行再次的判断，可以有效地避免传统方式中单一筛选方式不准确的问题，同时由于粗选集合中的需要判断的数量极大地减少了，从而大大地缩短了使用海瑟矩阵进行再次判断的时间。
在一种实施方式中，所述将校正图像转换为灰度图像，包括：
对校正图像进行光照调整得到光照调整图像，使用加权平均法将所述光照调整图像转换为灰度图像。
在一种实施方式中，所述对校正图像进行光照调整，包括：
对于校正图像中的第v个像素点，v∈V，V表示校正图像的像素点的总数，使用下述方式进行光照调整：
获取第v个像素点在Lab颜色空间中的三个通道分量，分别记为lv，av，bv，对Lv进行如下调节：
式中，aL表示校正图像在Lab颜色空间中调节后的L分量的值，η表示校正图像在Lab颜色空间中L分量的均值，
θ表示预设的常数参数，ψ表示调节系数；
将aLv，av，bv从Lab颜色空间转化到RGB颜色空间，从而得到光照调整图像。
本发明上述实施例，可以根据单个像素点L分量与所有像素点的L分量均值之间的关系自适应地调整像素点的L分量的值，从而解决光照不均引起的特征点提取准确率低的问题，而传统的光照调整方式都是全局调整的方式，并没有针对性，其对于由于光照不足引起的阴影的调整效果并不好，本发明上述实施例很好地解决了上述问题，从而有利于图像更准确的拼接融合。
在一种实施方式中，所述对灰度图像进行滤波处理得到滤波图像，包括：
将所述灰度图像划分为大小相等的P个区块；
对于第p个区块，计算该区块的所有像素点的灰度值的标准差SDp，p∈[1，P]；
若SDp≤Jthre，Jthre表示预设的判断阈值，则采用下述方式对第p个区块进行滤波处理：
式中，q1表示第p个区块中的第q1个像素点，aFPq1表示第q1个像素点滤波后的值，R1表示第q1个像素点的预设大小的邻域像素点组成的集合T1中像素点的总数，gvr1表示T1中的第r1个像素点的灰度值；
若SDp＞Jthre，则采用下述方式对第p个区块进行滤波处理：
式中，aFPq表示第q个像素点滤波后的值，
为预设的范围控制参数，gb表示高斯滤波的标准差，q表示第p个区块中的第q个像素点，aFPq表示第q个像素点滤波后的值，T表示第q个像素点的预设大小的邻域像素点组成的集合，gvr表示T中的第r个像素点的灰度值，osdr表示T中的第r个像素点与第p个区块中的第q个像素点之间的欧氏距离，fcp表示第p个区域的所有像素点的噪声方差，bzp表示第p个区域的所有像素点的灰度值的标准差；
式中，δ为预设的调节系数，fq表示第p个区块中的第q个像素点的灰度值，max fq表示T中的像素点的灰度最大值，min fq表示所述T中的像素点的灰度最小值，avefq表示T中所有像素点的灰度均值。
本发明上述实施方式，在对灰度图像进行滤波时，先将其划分为大小相等的P个区块，然后再对每个区块的灰度值的标准差SDp进行计算，在SDp小于等于预设阈值时，表明该区块灰度值变化较为平缓，因此采用速度较快的均值滤波来进行滤波处理，可以有效地缩短滤波处理的时间。在SDp大于预设阈值时，表示该区块的像素点的灰度值变化幅度较大，因此采用了加权滤波的方式进行滤波，在滤波时充分考虑了当前正在滤波的像素点与其邻域之间的关系，根据当前正在滤波的像素点与其邻域中的像素点的灰度均值进行对比，为不同对比结果设置了不同的计算方式，从而更好地保留图像的细节信息。与此同时，也考虑了当前处理的像素点与其邻域像素点在空间距离上的关系，为不同的距离关系设置了不同权重，从而使得滤波的效果更为准确。有利于提高后续特征点提取的准确性，从而提高图像拼接的准确性，获得更好的视频拼接融合的效果。
在一种实施方式中，所述根据特征点匹配对计算两张校正图像的透视变换矩阵，包括：采用最小二乘拟合法计算两张校正图像的透视变换矩阵。
在一种实施方式中，所述计算两张透视变换图像的初始蒙版，包括：将透视变换图像中的像素点的像素值设置为1，从而得到透视变换图像的初始蒙版。
在一种实施方式中，所述根据两张最终蒙版以及特征点匹配对，对两张透视变换图像进行拼接，包括：
设image1和image2分别为两张透视变换图像，mask1是image1的最终蒙版，mask2是image2的最终蒙版，resu]timage是拼接后的图像，(x，y)是透视变换图像上的像素点的位置；
若mask1(x，y)的像素值不等于0，且mask2(x，y)的像素值等于0，则resultimage(x，y)的像素值使用image1(x，y)的像素值填充；
若mask1(x，y)的像素值等于0，且mask2(x，y)的像素值不等于0，则resultimage(x，y)的像素值使用image2(x，y)的像素值填充；
若mask1(x，y)的像素值不等于0，且mask2(x，y)的像素值不等于0，则resultimage(x，y)＝image1(x，y)×w1(x，y)+image2(x，y)×w2(x，y)，w1和w2表示权重系数。
在一种实施方式中，w1(x，y)＝α×w11(x，y)+β×w12(x，y)，
w2(x，y)＝α×w21(x，y)+β×w22(x，y)，α+β＝1，
w11(x，y)＝d1(x，y)/(d1(x，y)+d2(x，y))，w21(x，y)＝d2(x，y)/(d1(x，y)+d2(x，y))，d1(x，y)是mask1中，(x，y)处的像素点到蒙版边缘的最小距离，d2(x，y)是mask2中，(x，y)处的像素点到蒙版边缘的最小距离；
EP2i，j(x，y)＝|2image2(i，j)-image2(i+s，j)-image2(i+1，j)|+|2image2(i，j)-image2(i，j+s)+s|
上式中，M和N表示分别表示以(x，y)为中心的处理窗口的水平方向的像素点的数量和竖直方向的像素点的数量，w12(x，y)和w22(x，y)分别表示image1和image2中位置为(x，y)处的像素点的像素值权重，image1(i，j)和image2(i，j)分别表示处理窗口中位置为(i，j)的像素点在image1和image2中的像素值，s表示坐标调节参数。
本发明上述实施方式，在求取两张融合图像中的像素点的融合权重时，通过求取蒙版中像素点到蒙版边缘的最短距离获得距离权重w11，、w12以及在原图像中利用处理窗口根据当前处理像素点与临近像素点的像素值关系得到像素值权重，并按预设的权重参数综合距离权重和像素值权重得到融合权重，可以使得融合后的图像过渡更加平滑，有效地保留了图像的结构的准确性。
在一种实施方式中，s的取值为1。
另一方面，如图11所示，本发明提供了基于多摄像机交叉摄影的视频全景拼接融合系统，其包括：
图像获取模块，用于从视频流中获取多个摄像机同一时刻的图像；
图像预处理模块，用于对于图像获取模块中获取的一张图像，根据匹配规则从图像获取模块获取的图像中选出与其匹配的另一张图像，对两张匹配的图像分别先进行畸变校正，然后分别进行正射校正，得到两张校正图像，所述匹配规则包括：匹配的两张图像分别对应两个摄像机，所述两个摄像机的拍摄区域存在互相重叠的区域，所述互相重叠的区域的面积与所述两个摄像机的拍摄区域的面积之和的比例大于预设的重叠阈值；
特征匹配模块，用于对两张校正图像分别提取各自的特征点，然后根据两张校正图像的特征点在两张校正图像之间进行特征点匹配，得到初步匹配对，对初步匹配对进行筛选，得到特征点匹配对；
透视变换模块，用于根据特征点匹配对计算两张校正图像的透视变换矩阵，根据透视变换矩阵将两张校正图像调整到统一的图像坐标系中，得到两张透视变换图像；
蒙版获取模块，用于分别计算两张透视变换图像的初始蒙版，将得到的两张初始蒙版的像素点的总数记为Nt，将获得的两张初始蒙版置于透视变换模块中的坐标系中，按设定的删除规则交替对两张初始蒙版的边缘像素点进行删除，缩小两张初始蒙版的面积，所述删除规则包括：对于当前正在处理的初始蒙版的一个边缘像素点，判断在另一个初始蒙版中是否有与其坐标相同的像素点，若有，则在当前正在处理的初始蒙版中将该边缘像素点删除，若无，则保留该边缘像素点；
直到两张初始蒙版中剩余的坐标相同的像素点对的数量与Nt的比值小于预设的阈值，才停止交替删除两张初始蒙版中的边缘像素点，将停止交替删除边缘像素点后得到的面积缩小的两张初始蒙版作为两张最终蒙版；
图像拼接模块，用于根据两张最终蒙版以及特征点匹配对，对两张透视变换图像进行拼接。
在一种实施方式中，所述重叠阈值优选为30％。
在一种实施方式中，所述图像预处理模块包括正射校正子模块，其用于对图像进行正射校正，具体包括：通过摄像机的安装位置、安装角度以及摄像机内参矩阵将所有摄像机统一到一个空间坐标下，同时根据安装位置信息求得拍摄面，由此对摄像机拍摄视场进行建模，根据摄像机拍摄视场模型消除拍摄视频帧每个像素的分辨率差异。
在一种实施方式中，所述特征匹配模块包括特征点匹配对获取子模块，其用于对初步匹配对进行筛选，得到特征点匹配对，具体包括：根据初步匹配对的连线方向以及长度，对不符合预设条件的初步匹配对进行删除，所述预设条件包括特征点匹配对的连线的方向与水平向右方向所形成的夹角小于预设的角度阈值，所述初步匹配对的连线的长度小于预设的长度阈值；将剩余的初步匹配对作为特征点匹配对。
在一种实施方式中，所述特征匹配模块还包括特征点获取子模块，其用于对两张校正图像分别提取各自的特征点，具体包括：
将校正图像转换为灰度图像；
对灰度图像进行滤波处理得到滤波图像；
对滤波图像，使用非极大值抑制筛选出其中的特征点，并将选出的所有特征点存入粗选集合中；
对于粗选集合中的特征点，判断所述特征点的海瑟矩阵判别式的值是否比与其相邻的八个像素点的海瑟矩阵判别式的值都大，若是，则在粗选集合中保留该特征点，否则，将其从粗选集合中删除；
将粗选集合中剩余的特征点作为最终提取到的特征点。
在一种实施方式中，所述特征点获取子模块包括灰度转换单元，其用于将校正图像转换为灰度图像，具体包括：
对校正图像进行光照调整得到光照调整图像，使用加权平均法将所述光照调整图像转换为灰度图像。
在一种实施方式中，所述灰度转换单元包括光照调整子单元和灰度转换子单元，
所述光照调整子单元用于对校正图像进行光照调整得到光照调整图像，具体包括：
对于校正图像中的第v个像素点，v∈V，V表示校正图像的像素点的总数，使用下述方式进行光照调整：
获取第v个像素点在Lab颜色空间中的三个通道分量，分别记为Lv，av，bv，对Lv进行如下调节：
式中，aL表示校正图像在Lab颜色空间中调节后的L分量的值，η表示校正图像在Lab颜色空间中L分量的均值，
θ表示预设的常数参数，ψ表示调节系数；
将aLv，av，bv从Lab颜色空间转化到RGB颜色空间，从而得到光照调整图像；
所述灰度转换子单元用于使用加权平均法将所述光照调整图像转换为灰度图像。
在一种实施方式中，所述特征点获取子模块还包括滤波单元，其用于对灰度图像进行滤波处理得到滤波图像，具体包括：
将所述灰度图像划分为大小相等的P个区块；
对于第p个区块，计算该区块的所有像素点的灰度值的标准差SDp，p∈[1，P]；
若SDp≤Jthre，Jthre表示预设的判断阈值，则采用下述方式对第p个区块进行滤波处理：
式中，q1表示第p个区块中的第q1个像素点，aFPq1表示第q1个像素点滤波后的值，R1表示第q1个像素点的预设大小的邻域像素点组成的集合T1中像素点的总数，gvr1表示T1中的第r1个像素点的灰度值；
若SDp＞Jthre，则采用下述方式对第p个区块进行滤波处理：
式中，aFPq表示第q个像素点滤波后的值，
为预设的范围控制参数，gb表示高斯滤波的标准差，q表示第p个区块中的第q个像素点，aFPq表示第q个像素点滤波后的值，T表示第q个像素点的预设大小的邻域像素点组成的集合，gvr表示T中的第r个像素点的灰度值，osdr表示T中的第r个像素点与第p个区块中的第q个像素点之间的欧氏距离，fcp表示第p个区域的所有像素点的噪声方差，bzp表示第p个区域的所有像素点的灰度值的标准差；
式中，δ为预设的调节系数，fq表示第p个区块中的第q个像素点的灰度值，max fq表示T中的像素点的灰度最大值，min fq表示所述T中的像素点的灰度最小值，avefq表示T中所有像素点的灰度均值。
在一种实施方式中，所述透视变换模块包括透视矩阵计算子模块，其用于根据特征点匹配对计算两张校正图像的透视变换矩阵，具体包括：采用最小二乘拟合法计算两张校正图像的透视变换矩阵。
在一种实施方式中，所述计算两张透视变换图像的初始蒙版，包括：将透视变换图像中的像素点的像素值设置为1，从而得到透视变换图像的初始蒙版。。
在一种实施方式中，图像拼接模块包括图像拼接子模块，其用于根据两张透视变换图像的最终蒙版以及特征点匹配对，对两张透视变换图像进行拼接，具体包括：
设image1和image2分别为两张透视变换图像，mask1是image1的最终蒙版，mask2是image2的最终蒙版，resultimage是拼接后的图像，(x，y)是透视变换图像上的像素点的位置；
若mask1(x，y)的像素值不等于0，且mask2(x，y)的像素值等于0，则resultimage(x，y)的像素值使用image1(x，y)的像素值填充；
若mask1(x，y)的像素值等于0，且mask2(x，y)的像素值不等于0，则resultimage(x，y)的像素值使用image2(x，y)的像素值填充；
若mask1(x，y)的像素值不等于0，且mask2(x，y)的像素值不等于0，则resultimage(x，y)＝image1(x，y)×w1(x，y)+image2(x，y)×w2(x，y)，w1和w2表示权重系数。
在一种实施方式中，w1(x，y)＝α×w11(x，y)+β×w12(x，y)，
w2(x，y)＝α×w21(x，y)+β×w22(x，y)，α+β＝1，
w11(x，y)＝d1(x，y)/(d1(x，y)+d2(x，y))，w21(x，y)＝d2(x，y)/(d1(x，y)+d2(x，y))，d1(x，y)是mask1中，(x，y)处的像素点到蒙版边缘的最小距离，d2(x，y)是mask2中，(x，y)处的像素点到蒙版边缘的最小距离；
EP1i，j(x，y)＝|2image1(i，j)-image1(i+s，j)-image1(i+1，j)|+|2image1(i，j)-image1(i，j+s)+s|
EP2i，j(x，y)＝|2image2(i，j)-image2(i+s，j)-image2(i+1，j)|+|2image2(i，j)-image2(i，j+s)+s|
上式中，M和N表示分别表示以(x，y)为中心的处理窗口的水平方向的像素点的数量和竖直方向的像素点的数量，w12(x，y)和w22(x，y)分别表示image1和image2中位置为(x，y)处的像素点的像素值权重，image1(i，j)和image2(i，j)分别表示处理窗口中位置为(i，j)的像素点在image1和image2中的像素值，s表示坐标调节参数。
在一种实施方式中，s的取值为1。
为了得到优秀的匹配结果，本发明先畸变校正以及正射校正，通过将摄像机拍摄视频帧中每个像素的分辨率调整到几乎一致的大小，然后对拍摄到的视频帧进行特征点匹配。此方法由于结合了摄影模型，因此摄像机安装位置、安装角度对后续特征点匹配的影响几乎可以忽略不计。处理后得到的图像已经经过正射校正，可以直接进行后续的特征点匹配，而且在特征点匹配筛选过程中加入匹配点连线的方向、长度的过滤而不用担心拍摄方向的问题。
现有技术中，往往是直接对拍摄到的视频帧进行特征点匹配，得到的匹配结果在两个摄像机的拍摄角度差异较大时并不理想，从而影响后续融合效果，甚至当拍摄的物体或场景具有一定的对称性时，传统方法无法判断出匹配结果的对错，也无法判断计算出的变换矩阵是否正确甚至计算不出变换矩阵，从而导致无法融合。
为了融合出好的效果，先将多幅图像变换到统一的图像坐标系并且建立每幅图像有像素区域的蒙版图像，运用蒙版图像进行公共区域的计算并且将计算后的结果图像作为融合权重文件输入，得到最终融合结果，融合结果更为准确。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (10)
1.基于多摄像机交叉摄影的视频全景拼接融合方法，其特征在于，其包括：
S1：从视频流中获取多个摄像机同一时刻的图像；
S2：对于S1中获取的一张图像，根据匹配规则从S1获取的图像中选出与其匹配的另一张图像，对两张匹配的图像分别先进行畸变校正，然后分别进行正射校正，得到两张校正图像，所述匹配规则包括：匹配的两张图像分别对应两个摄像机，所述两个摄像机的拍摄区域存在互相重叠的区域，所述互相重叠的区域的面积与所述两个摄像机的拍摄区域的面积之和的比例大于预设的重叠阈值；
S3：对两张校正图像分别提取各自的特征点，然后根据两张校正图像的特征点在两张校正图像之间进行特征点匹配，得到初步匹配对，对初步匹配对进行筛选，得到特征点匹配对；
S4：根据特征点匹配对计算两张校正图像的透视变换矩阵，根据透视变换矩阵将两张校正图像调整到统一的图像坐标系中，对于一个特征匹配对中的两个像素点，其在所述坐标系中的坐标相同，从而得到两张透视变换图像；
S5：分别计算两张透视变换图像的初始蒙版，将得到的两张初始蒙版的像素点的总数记为Nt，将获得的两张初始蒙版置于S4所述的坐标系中，按设定的删除规则交替对两张初始蒙版的边缘像素点进行删除，缩小两张初始蒙版的面积，所述删除规则包括：对于当前正在处理的初始蒙版的一个边缘像素点，判断在另一个初始蒙版中是否有与其坐标相同的像素点，若有，则在当前正在处理的初始蒙版中将该边缘像素点删除，若无，则保留该边缘像素点；
直到两张初始蒙版中剩余的坐标相同的像素点对的数量与Nt的比值小于预设的阈值，才停止交替删除两张初始蒙版中的边缘像素点，将停止交替删除边缘像素点后得到的面积缩小的两张初始蒙版作为两张最终蒙版；
S6：根据两张最终蒙版以及特征点匹配对，对两张透视变换图像进行拼接。
2.根据权利要求1所述的基于多摄像机交叉摄影的视频全景拼接融合方法，其特征在于，所述对初步匹配对进行筛选，得到特征点匹配对，包括：根据初步匹配对的连线方向以及长度，对不符合预设条件的初步匹配对进行删除，所述预设条件包括特征点匹配对的连线的方向与水平向右方向所形成的夹角小于预设的角度阈值，所述初步匹配对的连线的长度小于预设的长度阈值；将剩余的初步匹配对作为特征点匹配对。
3.根据权利要求1所述的基于多摄像机交叉摄影的视频全景拼接融合方法，其特征在于，所述对两张校正图像分别提取各自的特征点，包括：
将校正图像转换为灰度图像；
对灰度图像进行滤波处理得到滤波图像；
对滤波图像，使用非极大值抑制筛选出其中的特征点，并将选出的所有特征点存入粗选集合中；
对于粗选集合中的特征点，判断所述特征点的海瑟矩阵判别式的值是否比与其相邻的八个像素点的海瑟矩阵判别式的值都大，若是，则在粗选集合中保留该特征点，否则，将其从粗选集合中删除；
将粗选集合中剩余的特征点作为最终提取到的特征点。
4.根据权利要求3所述的基于多摄像机交叉摄影的视频全景拼接融合方法，其特征在于，对校正图像进行光照调整得到光照调整图像，使用加权平均法将所述光照调整图像转换为灰度图像。
5.根据权利要求4所述的基于多摄像机交叉摄影的视频全景拼接融合方法，其特征在于，所述对校正图像进行光照调整得到光照调整图像，包括：
对于校正图像中的第v个像素点，v∈V，V表示校正图像的像素点的总数，使用下述方式进行光照调整：
获取第v个像素点在Lab颜色空间中的三个通道分量，分别记为LV，av，bv，对Lv进行如下调节：
式中，aL表示校正图像在Lab颜色空间中调节后的L分量的值，η表示校正图像在Lab颜色空间中L分量的均值，
θ表示预设的常数参数，ψ表示调节系数；
将aLv，av，bv从Lab颜色空间转化到RGB颜色空间，从而得到光照调整图像。
6.一种基于多摄像机交叉摄影的视频全景拼接融合系统，其包括：
图像获取模块，用于从视频流中获取多个摄像机同一时刻的图像；
图像预处理模块，用于对于图像获取模块中获取的一张图像，根据匹配规则从图像获取模块获取的图像中选出与其匹配的另一张图像，对两张匹配的图像分别先进行畸变校正，然后分别进行正射校正，得到两张校正图像，所述匹配规则包括：匹配的两张图像分别对应两个摄像机，所述两个摄像机的拍摄区域存在互相重叠的区域，所述互相重叠的区域的面积与所述两个摄像机的拍摄区域的面积之和的比例大于预设的重叠阈值；
特征匹配模块，用于对两张校正图像分别提取各自的特征点，然后根据两张校正图像的特征点在两张校正图像之间进行特征点匹配，得到初步匹配对，对初步匹配对进行筛选，得到特征点匹配对；
透视变换模块，用于根据特征点匹配对计算两张校正图像的透视变换矩阵，根据透视变换矩阵将两张校正图像调整到统一的图像坐标系中，对于一个特征匹配对中的两个像素点，其在所述坐标系中的坐标相同，从而得到两张透视变换图像；
蒙版获取模块，用于分别计算两张透视变换图像的初始蒙版，将得到的两张初始蒙版的像素点的总数记为Nt，将获得的两张初始蒙版置于透视变换模块中的坐标系中，按设定的删除规则交替对两张初始蒙版的边缘像素点进行删除，缩小两张初始蒙版的面积，所述删除规则包括：对于当前正在处理的初始蒙版的一个边缘像素点，判断在另一个初始蒙版中是否有与其坐标相同的像素点，若有，则在当前正在处理的初始蒙版中将该边缘像素点删除，若无，则保留该边缘像素点；
直到两张初始蒙版中剩余的坐标相同的像素点对的数量与Nt的比值小于预设的阈值，才停止交替删除两张初始蒙版中的边缘像素点，将停止交替删除边缘像素点后得到的面积缩小的两张初始蒙版作为两张最终蒙版；
图像拼接模块，用于根据两张最终蒙版以及特征点匹配对，对两张透视变换图像进行拼接。
7.根据权利要求6所述的基于多摄像机交叉摄影的视频全景拼接融合系统，其特征在于，所述特征匹配模块包括特征点匹配对获取子模块，其用于对初步匹配对进行筛选，得到特征点匹配对，具体包括：根据初步匹配对的连线方向以及长度，对不符合预设条件的初步匹配对进行删除，所述预设条件包括特征点匹配对的连线的方向与水平向右方向所形成的夹角小于预设的角度阈值，所述初步匹配对的连线的长度小于预设的长度阈值；将剩余的初步匹配对作为特征点匹配对。
8.根据权利要求6所述的基于多摄像机交叉摄影的视频全景拼接融合系统，其特征在于，所述特征匹配模块还包括特征点获取子模块，其用于对两张校正图像分别提取各自的特征点，具体包括：
将校正图像转换为灰度图像；
对灰度图像进行滤波处理得到滤波图像；
对滤波图像，使用非极大值抑制筛选出其中的特征点，并将选出的所有特征点存入粗选集合中；
对于粗选集合中的特征点，判断所述特征点的海瑟矩阵判别式的值是否比与其相邻的八个像素点的海瑟矩阵判别式的值都大，若是，则在粗选集合中保留该特征点，否则，将其从粗选集合中删除；
将粗选集合中剩余的特征点作为最终提取到的特征点。
9.根据权利要求8所述的基于多摄像机交叉摄影的视频全景拼接融合系统，其特征在于，所述特征点获取子模块包括灰度转换单元，其用于将校正图像转换为灰度图像，具体包括：
对校正图像进行光照调整得到光照调整图像，使用加权平均法将所述光照调整图像转换为灰度图像。
10.根据权利要求9所述的基于多摄像机交叉摄影的视频全景拼接融合系统，其特征在于，所述灰度转换单元包括光照调整子单元和灰度转换子单元，
所述光照调整子单元用于对校正图像进行光照调整得到光照调整图像，具体包括：
对于校正图像中的第v个像素点，v∈V，V表示校正图像的像素点的总数，使用下述方式进行光照调整：
获取第v个像素点在Lab颜色空间中的三个通道分量，分别记为Lv，av，bv，对Lv进行如下调节：
式中，aL表示校正图像在Lab颜色空间中调节后的L分量的值，η表示校正图像在Lab颜色空间中L分量的均值，
θ表示预设的常数参数，ψ表示调节系数；
将aLv，av，bv从Lab颜色空间转化到RGB颜色空间，从而得到光照调整图像；
所述灰度转换子单元用于使用加权平均法将所述光照调整图像转换为灰度图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010375299.4A CN111583116A (zh) | 2020-05-06 | 2020-05-06 | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010375299.4A CN111583116A (zh) | 2020-05-06 | 2020-05-06 | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111583116A true CN111583116A (zh) | 2020-08-25 |
Family
ID=72124665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010375299.4A Pending CN111583116A (zh) | 2020-05-06 | 2020-05-06 | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583116A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001357A (zh) * | 2020-09-07 | 2020-11-27 | 杨仙莲 | 目标识别检测方法及系统 |
| CN112001848A (zh) * | 2020-09-07 | 2020-11-27 | 杨仙莲 | 大数据监控系统中的图像识别拼接方法及系统 |
| CN112188163A (zh) * | 2020-09-29 | 2021-01-05 | 厦门汇利伟业科技有限公司 | 一种实时视频图像自动去重拼接的方法和系统 |
| CN112383788A (zh) * | 2020-11-11 | 2021-02-19 | 成都威爱新经济技术研究院有限公司 | 一种基于智能ai技术的直播实时图像提取系统及方法 |
| CN112509016A (zh) * | 2020-09-28 | 2021-03-16 | 杭州向正科技有限公司 | 基于多个低成本摄像头拍摄输出高清画面的方法 |
| CN112581371A (zh) * | 2021-01-27 | 2021-03-30 | 仲恺农业工程学院 | 基于四路摄像头新型结构的全景实时成像拼接方法 |
| CN112616017A (zh) * | 2020-12-15 | 2021-04-06 | 深圳市普汇智联科技有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法和系统 |
| CN112950510A (zh) * | 2021-03-22 | 2021-06-11 | 南京莱斯电子设备有限公司 | 一种大场景拼接图像色差校正方法 |
| CN113052119A (zh) * | 2021-04-07 | 2021-06-29 | 兴体(广州)智能科技有限公司 | 球类运动跟踪摄像方法及系统 |
| CN113506214A (zh) * | 2021-05-24 | 2021-10-15 | 南京莱斯信息技术股份有限公司 | 一种多路视频图像拼接方法 |
| CN113781309A (zh) * | 2021-09-17 | 2021-12-10 | 北京金山云网络技术有限公司 | 图像处理方法、装置及电子设备 |
| CN114066732A (zh) * | 2021-11-21 | 2022-02-18 | 特斯联科技集团有限公司 | 一种多源监视器的可见光图像几何辐射拼接处理方法 |
| CN114143517A (zh) * | 2021-10-26 | 2022-03-04 | 深圳华侨城卡乐技术有限公司 | 一种基于重叠区域的融合蒙板计算方法、系统及存储介质 |
| CN116760963A (zh) * | 2023-06-13 | 2023-09-15 | 中影电影数字制作基地有限公司 | 视频全景拼接与三维融合方法及装置 |
| CN117274063A (zh) * | 2023-10-31 | 2023-12-22 | 重庆市规划和自然资源信息中心 | 进行建筑物中线层构建的工作方法 |
| CN118138717A (zh) * | 2024-01-04 | 2024-06-04 | 西南计算机有限责任公司 | 一种面向无人平台集群的图像传输方法 |
| CN118570055A (zh) * | 2024-08-01 | 2024-08-30 | 山东博昂信息科技有限公司 | 一种全景拼接的车底安全检测方法和系统 |
-
2020
- 2020-05-06 CN CN202010375299.4A patent/CN111583116A/zh active Pending
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001357A (zh) * | 2020-09-07 | 2020-11-27 | 杨仙莲 | 目标识别检测方法及系统 |
| CN112001848A (zh) * | 2020-09-07 | 2020-11-27 | 杨仙莲 | 大数据监控系统中的图像识别拼接方法及系统 |
| CN112001357B (zh) * | 2020-09-07 | 2022-02-11 | 江苏炎颂科技有限公司 | 目标识别检测方法及系统 |
| CN112509016A (zh) * | 2020-09-28 | 2021-03-16 | 杭州向正科技有限公司 | 基于多个低成本摄像头拍摄输出高清画面的方法 |
| CN112188163A (zh) * | 2020-09-29 | 2021-01-05 | 厦门汇利伟业科技有限公司 | 一种实时视频图像自动去重拼接的方法和系统 |
| CN112383788A (zh) * | 2020-11-11 | 2021-02-19 | 成都威爱新经济技术研究院有限公司 | 一种基于智能ai技术的直播实时图像提取系统及方法 |
| CN112383788B (zh) * | 2020-11-11 | 2023-05-26 | 成都威爱新经济技术研究院有限公司 | 一种基于智能ai技术的直播实时图像提取系统及方法 |
| CN112616017A (zh) * | 2020-12-15 | 2021-04-06 | 深圳市普汇智联科技有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法和系统 |
| CN112581371A (zh) * | 2021-01-27 | 2021-03-30 | 仲恺农业工程学院 | 基于四路摄像头新型结构的全景实时成像拼接方法 |
| CN112581371B (zh) * | 2021-01-27 | 2022-03-22 | 仲恺农业工程学院 | 基于四路摄像头新型结构的全景实时成像拼接方法 |
| CN112950510A (zh) * | 2021-03-22 | 2021-06-11 | 南京莱斯电子设备有限公司 | 一种大场景拼接图像色差校正方法 |
| CN112950510B (zh) * | 2021-03-22 | 2024-04-02 | 南京莱斯电子设备有限公司 | 一种大场景拼接图像色差校正方法 |
| CN113052119A (zh) * | 2021-04-07 | 2021-06-29 | 兴体(广州)智能科技有限公司 | 球类运动跟踪摄像方法及系统 |
| CN113052119B (zh) * | 2021-04-07 | 2024-03-15 | 兴体(广州)智能科技有限公司 | 球类运动跟踪摄像方法及系统 |
| CN113506214A (zh) * | 2021-05-24 | 2021-10-15 | 南京莱斯信息技术股份有限公司 | 一种多路视频图像拼接方法 |
| CN113781309A (zh) * | 2021-09-17 | 2021-12-10 | 北京金山云网络技术有限公司 | 图像处理方法、装置及电子设备 |
| CN114143517A (zh) * | 2021-10-26 | 2022-03-04 | 深圳华侨城卡乐技术有限公司 | 一种基于重叠区域的融合蒙板计算方法、系统及存储介质 |
| CN114066732B (zh) * | 2021-11-21 | 2022-05-24 | 特斯联科技集团有限公司 | 一种多源监视器的可见光图像几何辐射拼接处理方法 |
| CN114066732A (zh) * | 2021-11-21 | 2022-02-18 | 特斯联科技集团有限公司 | 一种多源监视器的可见光图像几何辐射拼接处理方法 |
| CN116760963A (zh) * | 2023-06-13 | 2023-09-15 | 中影电影数字制作基地有限公司 | 视频全景拼接与三维融合方法及装置 |
| CN117274063A (zh) * | 2023-10-31 | 2023-12-22 | 重庆市规划和自然资源信息中心 | 进行建筑物中线层构建的工作方法 |
| CN118138717A (zh) * | 2024-01-04 | 2024-06-04 | 西南计算机有限责任公司 | 一种面向无人平台集群的图像传输方法 |
| CN118570055A (zh) * | 2024-08-01 | 2024-08-30 | 山东博昂信息科技有限公司 | 一种全景拼接的车底安全检测方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583116A (zh) | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 | |
| CN110660023B (zh) | 一种基于图像语义分割的视频拼接方法 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| CN103517041B (zh) | 基于多相机旋转扫描的实时全景监控方法和装置 | |
| CN112085659B (zh) | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 | |
| CN106600644B (zh) | 全景摄像机的参数矫正方法及装置 | |
| CN113301274B (zh) | 一种船舶实时视频全景拼接方法及系统 | |
| WO2014023231A1 (zh) | 宽视场超高分辨率光学成像系统及方法 | |
| CN106157304A (zh) | 一种基于多个相机的全景图拼接方法及系统 | |
| CN112261387B (zh) | 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端 | |
| CN110838086B (zh) | 一种基于相关性模板匹配的室外图像拼接方法 | |
| WO2014183385A1 (zh) | 一种终端及其实现图像处理的方法 | |
| CN107038714B (zh) | 多型视觉传感协同目标跟踪方法 | |
| CN105023260A (zh) | 一种全景图像融合方法及融合装置 | |
| CN113160053B (zh) | 一种基于位姿信息的水下视频图像复原与拼接方法 | |
| WO2020029877A1 (zh) | 多相机拼接的亮度调整方法及便携式终端 | |
| CN114331835A (zh) | 一种基于最优映射矩阵的全景图像拼接方法及装置 | |
| CN115330594A (zh) | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 | |
| CN115376028A (zh) | 基于稠密特征点拼接和改进型yolov 5的目标检测方法 | |
| CN115097836A (zh) | 基于图像配准的输电线路巡检方法、系统和存储介质 | |
| CN115002427A (zh) | 一种基于神经网络的投影融合方法 | |
| CN107330856B (zh) | 一种基于投影变换和薄板样条的全景成像方法 | |
| CN107067368B (zh) | 基于影像变形的街景影像拼接方法及系统 | |
| WO2020259444A1 (zh) | 一种图像处理方法及相关设备 | |
| CN110430400B (zh) | 一种双目可运动摄像机的地平面区域检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |