CN113301274A - 一种船舶实时视频全景拼接方法及系统 - Google Patents
一种船舶实时视频全景拼接方法及系统 Download PDFInfo
- Publication number
- CN113301274A CN113301274A CN202110859665.8A CN202110859665A CN113301274A CN 113301274 A CN113301274 A CN 113301274A CN 202110859665 A CN202110859665 A CN 202110859665A CN 113301274 A CN113301274 A CN 113301274A
- Authority
- CN
- China
- Prior art keywords
- panoramic
- images
- image
- video images
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013507 mapping Methods 0.000 claims abstract description 69
- 239000011159 matrix material Substances 0.000 claims abstract description 67
- 230000000694 effects Effects 0.000 claims abstract description 60
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 230000001131 transforming effect Effects 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000009499 grossing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 50
- 238000001514 detection method Methods 0.000 claims description 45
- 238000012937 correction Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000004075 alteration Effects 0.000 claims description 2
- 230000006872 improvement Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种船舶实时视频全景拼接方法，包括：获取多路实时视频图像并进行校准；通过全景像素映射矩阵对校准后的多路实时视频图像进行变换，并进行全景拼接融合，得到第一全景拼接图像；检测第一全景拼接图像的拼接效果，当达标时，对第一全景拼接图像进行滤波处理，平滑相邻两帧融合图像之间的亮度，得到第二全景拼接图像并输出，反之重新标定获得全景像素映射矩阵，对校准后的多路实时视频图像进行变换，并进行全景拼接融合。本发明实施例还公开了一种船舶实时视频全景拼接系统。本发明充分利用内河船舶上已经安装的多个摄像机，可节省设备资源，并检测拼接效果，可自动更新拼接参数，提高拼接图像的精度。
Description
技术领域
本发明涉及船舶技术领域，具体而言，涉及一种船舶实时视频全景拼接方法及系统。
背景技术
内河船舶通常会安装多个摄像机设备用以监控船上、船周围的行船环境。在船舶领域中，大多是通过船舶各个监控摄像机设备相互独立输出画面，探查船周各方位情况，并未采用全景拼接技术，最多只能涉及360度范围的监控。通过将多个画面进行全景拼接可以更加直观的观察周围环境。现有的全景拼接摄像机多为一体机，而许多内河船舶上已经安装有部分监控摄像机设备，如果采用一体机直接替换已经安装有部分监控摄像机设备，会造成设备资源浪费和损失。另外，通过一体机直接获取全景拼接图像，并没有相应的拼接效果检测，仅凭人眼主观判断，精度不够，且无法实时检测由于船舶晃动等外界因素影响导致的摄像机相对位置偏移，导致拼接图像质量不高。
发明内容
为解决上述问题，本发明的目的在于提供一种船舶实时视频全景拼接方法及系统，充分利用内河船舶上已经安装的多个摄像机，可以节省设备资源，并对拼接效果进行了检测，可自动更新拼接参数，提高拼接图像的精度。
本发明实施例提供了一种船舶实时视频全景拼接方法，所述方法包括：
获取所述船舶上多个摄像机实时采集的多路实时视频图像，并使用时间戳信息对所述多路视频图像进行校准；
通过预先标定得到的全景像素映射矩阵对校准后的多路实时视频图像进行变换，并对变换后的多路实时视频图像进行全景拼接融合，得到第一全景拼接图像；
对所述第一全景拼接图像的拼接效果进行检测，当拼接效果达标时，对所述第一全景拼接图像进行滤波处理，平滑相邻两帧融合图像之间的亮度，得到第二全景拼接图像并输出，反之重新标定获得全景像素映射矩阵，对校准后的多路实时视频图像进行变换，并对变换后的多路实时视频图像进行全景拼接融合。
作为本发明进一步的改进，所述全景像素映射矩阵通过对多路视频图像标定得到，
所述对多路视频图像标定，包括：
根据全景视场角度调整所述多个摄像机的相对位置，使所述多个摄像机同时采集多路视频图像；
对所述多路视频图像进行畸变矫正和图像投影，得到多路投影图像；
对所述多路投影图像进行特征点检测、图像匹配和全景拼接融合，得到标定全景拼接图像和所述全景像素映射矩阵。
作为本发明进一步的改进，所述多个摄像机的畸变矫正参数通过拍摄所述多个摄像机的标定棋盘图求解得到，
所述对所述多路视频图像进行畸变矫正和图像投影，得到多路投影图像，包括：
通过所述多个摄像机的畸变矫正参数对所述多路视频图像分别进行畸变矫正；
对校正后的多路视频图像进行平面投影和/或柱面投影，得到所述多路投影图像，其中，所述柱面投影是将视频图像投影至圆柱上，以获得在柱面上的成像。
作为本发明进一步的改进，所述对所述多路投影图像进行特征点检测、图像匹配和全景拼接融合，得到标定全景拼接图像和所述全景像素映射矩阵，包括：
对相邻两路摄像机对应的两幅投影图像进行特征提取；
根据所述两幅投影图像中特征点的对应匹配关系，对所述两幅投影图像中的特征点进行匹配，获取所述两幅投影图像中特征点的方位关系；
根据所述两幅投影图像中特征点的方位关系，确定所述两幅投影图像变换的单应矩阵；
根据所述单应矩阵确定所述两幅投影图像的像素映射矩阵；
重复上述过程，得到多个像素映射矩阵，即为所述全景映射矩阵；
通过所述全景映射矩阵，将所述多路投影图像依次进行转换，并将转换后的多路投影图像进行全景拼接融合，得到所述标定全景拼接图像。
作为本发明进一步的改进，所述对所述第一全景拼接图像的拼接效果进行检测，包括：
基于所述第一全景拼接图像的边缘信息，构建拼接效果的检测函数；
根据所述检测函数，对所述第一全景拼接图像中的相邻两幅图像，计算所述相邻两幅图像的重合区域中对应像素点的检测函数值；
将计算得到的多个检测函数值求取平均值，并将平均值与预设阈值比较；
在所述平均值小于或等于预设阈值时，确定所述第一全景拼接图像的拼接效果达标，反之不达标。
作为本发明进一步的改进，所述检测函数为均方误差函数MSE或平均绝对误差函数MAD：
式中，N表示宏块边长的像素点数，Cij和Rij分别表示当前宏块相应像素点的灰度和参考宏块相应像素点的灰度，i表示当前宏块中像素点的序号，j表示参考宏块中像素点的序号。
作为本发明进一步的改进，全景拼接融合采用加权平均融合、拉普拉斯融合和基于最佳缝合线融合中的一种。
本发明实施例提供了一种船舶实时视频全景拼接系统，所述系统包括：
全景视频标定模块，用于对多个摄像机采集的多路视频图像进行标定，得到标定全景拼接图像和全景像素映射矩阵；
实时视频拼接模块，用于对多个摄像机实时采集的实时多路视频图像进行时间戳校准，通过预先标定得到的全景像素映射矩阵对校准后的多路实时视频图像进行变换，并将变换后的多路实时视频图像进行全景拼接融合，得到第一全景拼接图像；以及在所述第一全景拼接图像的拼接效果达标时，对所述第一全景拼接图像进行滤波处理，平滑相邻两帧融合图像之间的亮度，得到第二全景拼接图像，在所述第一全景拼接图像的拼接效果不达标时，重新标定获得全景像素映射矩阵，对校准后的多路实时视频图像进行变换，并对变换后的多路实时视频图像进行全景拼接融合；
拼接效果确定模块，用于对所述标定全景拼接图像和所述第一全景拼接图像进行拼接效果检测。
作为本发明进一步的改进，所述全景视频标定模块包括：
根据全景视场角度调整所述多个摄像机的相对位置，使所述多个摄像机同时采集多路视频图像；
对所述多路视频图像进行畸变矫正和图像投影，得到多路投影图像；
对所述多路投影图像进行特征点检测、图像匹配和全景拼接融合，得到标定全景拼接图像和所述全景像素映射矩阵。
作为本发明进一步的改进，所述多个摄像机的畸变矫正参数通过拍摄所述多个摄像机的标定棋盘图求解得到，所述全景视频标定模块包括：
通过所述多个摄像机的畸变矫正参数对所述多路视频图像分别进行畸变矫正；
对校正后的多路视频图像进行平面投影和/或柱面投影，得到所述多路投影图像，其中，所述柱面投影是将视频图像投影至圆柱上，以获得在柱面上的成像。
作为本发明进一步的改进，所述全景视频标定模块包括：对相邻两路摄像机对应的两幅投影图像进行特征提取；
根据所述两幅投影图像中特征点的对应匹配关系，对所述两幅投影图像中的特征点进行匹配，获取所述两幅投影图像中特征点的方位关系；
根据所述两幅投影图像中特征点的方位关系，确定所述两幅投影图像变换的单应矩阵；
根据所述单应矩阵确定所述两幅投影图像的像素映射矩阵；
重复上述过程，得到多个像素映射矩阵，即为所述全景映射矩阵；
通过所述全景映射矩阵，将所述多路投影图像依次进行转换，并将转换后的多路投影图像进行全景拼接融合，得到所述标定全景拼接图像。
作为本发明进一步的改进，所述拼接效果确定模块包括：基于所述第一全景拼接图像的边缘信息，构建拼接效果的检测函数；
根据所述检测函数，对所述第一全景拼接图像中的相邻两幅图像，计算所述相邻两幅图像的重合区域中对应像素点的检测函数值；
将计算得到的多个检测函数值求取平均值，并将平均值与预设阈值比较；
在所述平均值小于或等于预设阈值时，确定所述第一全景拼接图像的拼接效果达标，反之不达标。
作为本发明进一步的改进，所述检测函数为均方误差函数MSE或平均绝对误差函数MAD：
式中，N表示宏块边长的像素点数，Cij和Rij分别表示当前宏块相应像素点的灰度和参考宏块相应像素点的灰度，i表示当前宏块中像素点的序号，j表示参考宏块中像素点的序号。
作为本发明进一步的改进，所述实时视频拼接模块采用加权平均融合、拉普拉斯融合和基于最佳缝合线融合中的一种进行全景拼接融合。
本发明实施例提供了一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被处理器执行以实现所述的方法。
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行以实现所述的方法。
本发明的有益效果为：本发明所述方法充分利用内河船舶上已经安装的多个摄像机，根据实际情况全景拼接融合，可以节省设备资源，降低成本。同时，对拼接效果进行了检测，摒弃了人眼主观判断带来的影响，在拼接效果不佳时，重新拼接计算，自动更新拼接参数，得到新的全景像素映射矩阵来重新拼接，可以相应提高拼接图像的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一示例性实施例所述的一种船舶实时视频全景拼接方法的流程示意图；
图2为本发明一示例性实施例所述的对多路视频图像的标定流程的流程示意图；
图3为本发明一示例性实施例所述的对多路实时视频图像的全景拼接流程的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明的描述中，所用术语仅用于说明目的，并非旨在限制本发明的范围。术语“包括”和/或“包含”用于指定所述元件、步骤、操作和/或组件的存在，但并不排除存在或添加一个或多个其他元件、步骤、操作和/或组件的情况。术语“第一”、“第二”等可能用于描述各种元件，不代表顺序，且不对这些元件起限定作用。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个及两个以上。这些术语仅用于区分一个元素和另一个元素。结合以下附图，这些和/或其他方面变得显而易见，并且，本领域普通技术人员更容易理解关于本发明所述实施例的说明。附图仅出于说明的目的用来描绘本发明所述实施例。本领域技术人员将很容易地从以下说明中认识到，在不背离本发明所述原理的情况下，可以采用本发明所示结构和方法的替代实施例。
本发明实施例所述的一种船舶实时视频全景拼接方法，如图1所示，所述方法包括：
获取所述船舶上多个摄像机实时采集的多路实时视频图像，并使用时间戳信息对所述多路视频图像进行校准；
通过预先标定得到的全景像素映射矩阵对校准后的多路实时视频图像进行变换，并对变换后的多路实时视频图像进行全景拼接融合，得到第一全景拼接图像；
对所述第一全景拼接图像的拼接效果进行检测，当拼接效果达标时，对所述第一全景拼接图像进行滤波处理，平滑相邻两帧融合图像之间的亮度，得到第二全景拼接图像并输出，反之重新标定获得全景像素映射矩阵，对校准后的多路实时视频图像进行变换，并对变换后的多路实时视频图像进行全景拼接融合。
全景拼接融合，即是将两幅或多幅具有重叠区域的图像，合并成一张大图。本发明是基于特征点的图像配准方法，即通过匹配点对构建投影图像之间的全景像素映射矩阵，完成多幅图像之间的映射，进而将映射后的图像通过融合，完成全景图像拼接。本发明所述方法充分利用内河船舶上已经安装的多个摄像机，根据实际情况全景拼接融合，可以节省设备资源，降低成本。同时，对拼接效果进行了检测，摒弃了人眼主观判断带来的影响，在拼接效果不佳时，重新拼接计算，自动更新拼接参数，得到新的全景像素映射矩阵来重新拼接，可以相应提高拼接图像的精度。
由于船舶晃动，可能会导致的摄像机相对位置偏移等细小变化。现有的一体机在拼接过程中无法实时检测由于船舶晃动等外界因素影响导致的摄像机相对位置偏移，致使拼接效果不好。通过对拼接效果进行检测，还能及时修正船舶晃动带来的影响，对拼接效果加以修正。
由于相邻照片一般会存在一些差别，所以在图像拼接完成之后，还要作平滑处理，使整幅全景拼接图像在亮度、色彩等方面看起来基本一致。由于是实时视频拼接，各幅画面前后帧之间亮度差异较大，本发明采用滤波器的形式，平滑当前帧与上一帧之间的亮度，减缓亮度梯度变化，调节整幅画面使其亮度均衡。
一种可选的实施方式中，全景拼接融合例如可以是加权平均融合，采用加权平均的方法，可以快速地实现两幅待拼接实时视频图像之间的无缝拼接。还可以采用拉普拉斯融合、基于最佳缝合线融合方法等。本发明所述方法可自由使用多种拼接模式，可适应性产生180度、240度、360度、540度、720度等全景图像。尤其扩充540度，可采用鸟瞰图方式更直观观察船上、船周情况；720度，可监测水下船体、水下环境变化。
一种可选的实施方式中，所述全景像素映射矩阵通过对多路视频图像标定得到，
所述对多路视频图像标定，包括：
根据全景视场角度调整所述多个摄像机的相对位置，使所述多个摄像机同时采集多路视频图像；
对所述多路视频图像进行畸变矫正和图像投影，得到多路投影图像；
对所述多路投影图像进行特征点检测、图像匹配和全景拼接融合，得到标定全景拼接图像和所述全景像素映射矩阵。
可以理解的是，在对多个摄像机实时采集的多路实时视频图像进行全景拼接前，需要预先对多个摄像机采集的多路视频图像进行标定，以得到标定的全景像素映射矩阵。得到该全景像素映射矩阵后，在对多个摄像机实时采集的多路实时视频图像进行全景拼接融合时，利用该标定好的像素映射矩阵进行变换，对变换后的多路实时视频图像进行全景拼接融合，以获取全景拼接图像。
一种可选的实施方式中，所述多个摄像机的畸变矫正参数通过拍摄所述多个摄像机的标定棋盘图求解得到，
所述对所述多路视频图像进行畸变矫正和图像投影，得到多路投影图像，包括：
通过所述多个摄像机的畸变矫正参数对所述多路视频图像分别进行畸变矫正；
对校正后的多路视频图像进行平面投影和/或柱面投影，得到所述多路投影图像，其中，所述柱面投影是将视频图像投影至圆柱上，以获得在柱面上的成像。
需要指出的是，每个摄像机都配有一个标定棋盘图，通过各个标定棋盘图分别对各路视频图像进行畸变矫正参数的求解。对于视频图像投影，可以采用平面投影，也可以采用柱面投影。例如，船舶上方、下方可采用平面投影，船舶四周可采用柱面投影方式。柱面投影就是将视频图像投影到圆柱上，以便获得从投影中心观察图像在柱面上的成像。这样一方面消除了视频图像之间可能存在的重复景物信息，同时也得到了每张视频图像上的像素点在视点空间中的位置信息。
一种可选的实施方式中，所述对所述多路投影图像进行特征点检测、图像匹配和全景拼接融合，得到标定全景拼接图像和所述全景像素映射矩阵，包括：
对相邻两路摄像机对应的两幅投影图像进行特征提取；
根据所述两幅投影图像中特征点的对应匹配关系，对所述两幅投影图像中的特征点进行匹配，获取所述两幅投影图像中特征点的方位关系；
根据所述两幅投影图像中特征点的方位关系，确定所述两幅投影图像变换的单应矩阵；
根据所述单应矩阵确定所述两幅投影图像的像素映射矩阵；
重复上述过程，得到多个像素映射矩阵，即为所述全景映射矩阵；
通过所述全景映射矩阵，将所述多路投影图像依次进行转换，并将转换后的多路投影图像进行全景拼接融合，得到所述标定全景拼接图像。
可以理解的是，投影图像需要两两进行特征提取、图像匹配，以确定各自投影图像中特征点的对应匹配关系。特征提取例如可以采用FAST、SURF等方法。利用特征点进行匹配，可以获得每两幅图像中特征点的方位关系。以匹配点对（即为同一点在不同平面的映射）为依据，利用RANSAC算法消除误匹配点对的同时，计算出两幅图像的图像变换矩阵，即单应性矩阵。RANSAC算法具有较高的鲁棒性，可以实现较为精确的匹配。由于全景拼接需要的图片较多，为了减小积累误差，还可以做全局配准。根据单应性矩阵可推算出两幅图像的像素坐标变化映射关系，即像素映射矩阵。根据像素映射矩阵可以实现两幅图像之间的映射（转换）。相应的，对两两图像依次获得对应的像素映射矩阵，最终可以得到全景像素映射矩阵。根据全景像素映射矩阵对多路投影图像进行转换，并将转换后的图像进行全景拼接融合，可以得到所述标定全景图像。
将转换后的多路投影图像进行全景拼接融合，例如可以采用加权平均融合、拉普拉斯融合和基于最佳缝合线融合中的一种。
一种可选的实施方式，所述对所述第一全景拼接图像的拼接效果进行检测，包括：
基于所述第一全景拼接图像的边缘信息，构建拼接效果的检测函数；
根据所述检测函数，对所述第一全景拼接图像中的相邻两幅图像，计算所述相邻两幅图像的重合区域中对应像素点的检测函数值；
将计算得到的多个检测函数值求取平均值，并将平均值与预设阈值比较；
在所述平均值小于或等于预设阈值时，确定所述第一全景拼接图像的拼接效果达标，反之不达标。
可以理解的是，图像的灰度信息包含的是图像信息，而边缘信息则反映了图像内在的性质，边缘信息不易受外界光照条件的影响而产生剧烈的变化。因此相比灰度信息，边缘信息使得图像的抗灰度和几何畸变能力强。本发明采用边缘信息来构建检测函数，以此来检测拼接效果，可以获得更加可靠的稳定性。
一种可选的实施方式，所述检测函数为均方误差函数MSE或平均绝对误差函数MAD：
式中，N表示宏块边长的像素点数，Cij和Rij分别表示当前宏块相应像素点的灰度和参考宏块相应像素点的灰度，i表示当前宏块中像素点的序号，j表示参考宏块中像素点的序号。
基于边缘信息构建检测函数，可以选择均方误差函数（MSE）、绝对误差和函数（SAD）、平均绝对误差函数（MAD）、方差和函数（SSE）、绝对变化误和函数（SATD） 作为检测函数。优选的，采用均方误差（MSE）和平均绝对误差（MAD）作为检测函数。
可以理解的是，所述第一全景拼接图像中的每幅图像，均被划分为多个宏块，每个宏块大小相等。将相邻两幅图像的重合区域分别计算一个检测函数值，可以得到所述第一全景拼接图像中多幅图像的多个检测函数值，采用求取平均值的方式，得到所述第一全景拼接图像的最终检测函数值，用来代表评价拼接效果的评价系数，与设置的评价阈值进行比较，当该最终检测函数值大于阈值时，说明拼接效果不达标，则需要重新进行标定，自动更新拼接参数，获取新的全景像素映射矩阵。
需要指出的是，在获得所述标定全景图像后，还可以对所述标定全景图像进行拼接效果检测。对所述标定全景图像的拼接效果同样采用上述对所述第一全景拼接图像的检测方法，这里不再赘述。
下面将详述对多路视频图像的标定流程，如图2所示，包括：
S1，拍摄各个摄像机的标定棋盘图，进行畸变矫正参数求解；
S2，根据全景视场角度调整所述多个摄像机的相对位置，使所述多个摄像机同时采集多路视频图像，即同时刻采集一组图像画面；
S3，根据不同的需求对相应的视频图像进行畸变矫正和图像投影，得到多路投影图像；
S4，对所述多路投影图像进行特征点检测、图像匹配和全景拼接融合，得到标定全景拼接图像和所述全景像素映射矩阵；
S5，对所述标定全景拼接图像进行拼接效果检测，当拼接效果达标时输出对应的全景像素映射矩阵。该全景像素映射矩阵用于后续对校准后的多路实时视频图像进行变换。当拼接效果不达标时，重复S2-S5。
下面将详述对多路实时视频图像的全景拼接流程，如图3所示，包括：
S1，获取多个摄像机实时采集的多路实时视频图像，并使用时间戳信息对所述多路视频图像进行校准；
S2，通过预先标定得到的全景像素映射矩阵对校准后的多路实时视频图像进行变换；
S3，对变换后的多路实时视频图像进行全景拼接融合，得到第一全景拼接图像；
S4，对所述第一全景拼接图像的拼接效果进行检测，当拼接效果达标时，对所述第一全景拼接图像进行滤波处理，平滑相邻两帧融合图像之间的亮度，得到第二全景拼接图像并输出。当拼接效果不达标时，启动标定流程（该标定流程如上述流程所述，这里不再赘述），重新标定获得全景像素映射矩阵，并重复S2-S4。
本发明实施例所述的一种船舶实时视频全景拼接系统，所述系统包括：
全景视频标定模块，用于对多个摄像机采集的多路视频图像进行标定，得到标定全景拼接图像和全景像素映射矩阵；
实时视频拼接模块，用于对多个摄像机实时采集的实时多路视频图像进行时间戳校准，通过预先标定得到的全景像素映射矩阵对校准后的多路实时视频图像进行变换，并将变换后的多路实时视频图像进行全景拼接融合，得到第一全景拼接图像；以及在所述第一全景拼接图像的拼接效果达标时，对所述第一全景拼接图像进行滤波处理，平滑相邻两帧融合图像之间的亮度，得到第二全景拼接图像，在所述第一全景拼接图像的拼接效果不达标时，重新标定获得全景像素映射矩阵，对校准后的多路实时视频图像进行变换，并对变换后的多路实时视频图像进行全景拼接融合；
拼接效果确定模块，用于对所述标定全景拼接图像和所述第一全景拼接图像进行拼接效果检测。
一种可选的实施方式，所述全景视频标定模块包括：
根据全景视场角度调整所述多个摄像机的相对位置，使所述多个摄像机同时采集多路视频图像；
对所述多路视频图像进行畸变矫正和图像投影，得到多路投影图像；
对所述多路投影图像进行特征点检测、图像匹配和全景拼接融合，得到标定全景拼接图像和所述全景像素映射矩阵。
一种可选的实施方式，所述多个摄像机的畸变矫正参数通过拍摄所述多个摄像机的标定棋盘图求解得到，所述全景视频标定模块包括：
通过所述多个摄像机的畸变矫正参数对所述多路视频图像分别进行畸变矫正；
对校正后的多路视频图像进行平面投影和/或柱面投影，得到所述多路投影图像，其中，所述柱面投影是将视频图像投影至圆柱上，以获得在柱面上的成像。
一种可选的实施方式，所述全景视频标定模块包括：对相邻两路摄像机对应的两幅投影图像进行特征提取；
根据所述两幅投影图像中特征点的对应匹配关系，对所述两幅投影图像中的特征点进行匹配，获取所述两幅投影图像中特征点的方位关系；
根据所述两幅投影图像中特征点的方位关系，确定所述两幅投影图像变换的单应矩阵；
根据所述单应矩阵确定所述两幅投影图像的像素映射矩阵；
重复上述过程，得到多个像素映射矩阵，即为所述全景映射矩阵；
通过所述全景映射矩阵，将所述多路投影图像依次进行转换，并将转换后的多路投影图像进行全景拼接融合，得到所述标定全景拼接图像。
一种可选的实施方式，所述拼接效果确定模块包括：基于所述第一全景拼接图像的边缘信息，构建拼接效果的检测函数；
根据所述检测函数，对所述第一全景拼接图像中的相邻两幅图像，计算所述相邻两幅图像的重合区域中对应像素点的检测函数值；
将计算得到的多个检测函数值求取平均值，并将平均值与预设阈值比较；
在所述平均值小于或等于预设阈值时，确定所述第一全景拼接图像的拼接效果达标，反之不达标。
一种可选的实施方式，所述检测函数为均方误差函数MSE或平均绝对误差函数MAD：
式中，N表示宏块边长的像素点数，Cij和Rij分别表示当前宏块相应像素点的灰度和参考宏块相应像素点的灰度，i表示当前宏块中像素点的序号，j表示参考宏块中像素点的序号。
一种可选的实施方式，所述实时视频拼接模块采用加权平均融合、拉普拉斯融合和基于最佳缝合线融合中的一种进行全景拼接融合。
本公开还涉及一种电子设备，包括服务器、终端等。该电子设备包括：至少一个处理器；与至少一个处理器通信连接的存储器；以及与存储介质通信连接的通信组件，所述通信组件在处理器的控制下接收和发送数据；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行以实现上述实施例中的方法。
在一种可选的实施方式中，存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器中，当被一个或者多个处理器执行时，执行上述任意方法实施例中的方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本公开还涉及一种计算机可读存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
此外，本领域普通技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本领域技术人员应理解，尽管已经参考示例性实施例描述了本发明，但是在不脱离本发明的范围的情况下，可进行各种改变并可用等同物替换其元件。另外，在不脱离本发明的实质范围的情况下，可进行许多修改以使特定情况或材料适应本发明的教导。因此，本发明不限于所公开的特定实施例，而是本发明将包括落入所附权利要求范围内的所有实施例。
Claims (10)
1.一种船舶实时视频全景拼接方法，其特征在于，所述方法包括：
获取所述船舶上多个摄像机实时采集的多路实时视频图像，并使用时间戳信息对所述多路视频图像进行校准；
通过预先标定得到的全景像素映射矩阵对校准后的多路实时视频图像进行变换，并对变换后的多路实时视频图像进行全景拼接融合，得到第一全景拼接图像；
对所述第一全景拼接图像的拼接效果进行检测，当拼接效果达标时，对所述第一全景拼接图像进行滤波处理，平滑相邻两帧融合图像之间的亮度，得到第二全景拼接图像并输出，反之重新标定获得全景像素映射矩阵，对校准后的多路实时视频图像进行变换，并对变换后的多路实时视频图像进行全景拼接融合。
2.如权利要求1所述的方法，其中，所述全景像素映射矩阵通过对多路视频图像标定得到，
所述对多路视频图像标定，包括：
根据全景视场角度调整所述多个摄像机的相对位置，使所述多个摄像机同时采集多路视频图像；
对所述多路视频图像进行畸变矫正和图像投影，得到多路投影图像；
对所述多路投影图像进行特征点检测、图像匹配和全景拼接融合，得到标定全景拼接图像和所述全景像素映射矩阵。
3.如权利要求2所述的方法，其中，所述多个摄像机的畸变矫正参数通过拍摄所述多个摄像机的标定棋盘图求解得到，
所述对所述多路视频图像进行畸变矫正和图像投影，得到多路投影图像，包括：
通过所述多个摄像机的畸变矫正参数对所述多路视频图像分别进行畸变矫正；
对校正后的多路视频图像进行平面投影和/或柱面投影，得到所述多路投影图像，其中，所述柱面投影是将视频图像投影至圆柱上，以获得在柱面上的成像。
4.如权利要求2所述的方法，其中，所述对所述多路投影图像进行特征点检测、图像匹配和全景拼接融合，得到标定全景拼接图像和所述全景像素映射矩阵，包括：
对相邻两路摄像机对应的两幅投影图像进行特征提取；
根据所述两幅投影图像中特征点的对应匹配关系，对所述两幅投影图像中的特征点进行匹配，获取所述两幅投影图像中特征点的方位关系；
根据所述两幅投影图像中特征点的方位关系，确定所述两幅投影图像变换的单应矩阵；
根据所述单应矩阵确定所述两幅投影图像的像素映射矩阵；
重复上述过程，得到多个像素映射矩阵，即为所述全景映射矩阵；
通过所述全景映射矩阵，将所述多路投影图像依次进行转换，并将转换后的多路投影图像进行全景拼接融合，得到所述标定全景拼接图像。
5.如权利要求1所述的方法，其中，所述对所述第一全景拼接图像的拼接效果进行检测，包括：
基于所述第一全景拼接图像的边缘信息，构建拼接效果的检测函数；
根据所述检测函数，对所述第一全景拼接图像中的相邻两幅图像，计算所述相邻两幅图像的重合区域中对应像素点的检测函数值；
将计算得到的多个检测函数值求取平均值，并将平均值与预设阈值比较；
在所述平均值小于或等于预设阈值时，确定所述第一全景拼接图像的拼接效果达标，反之不达标。
6.如权利要求5所述的方法，其中，所述检测函数为均方误差函数MSE或平均绝对误差函数MAD：
式中，N表示宏块边长的像素点数，Cij和Rij分别表示当前宏块相应像素点的灰度和参考宏块相应像素点的灰度，i表示当前宏块中像素点的序号，j表示参考宏块中像素点的序号。
7.如权利要求1所述的方法，其中，全景拼接融合采用加权平均融合、拉普拉斯融合和基于最佳缝合线融合中的一种。
8.一种船舶实时视频全景拼接系统，其特征在于，所述系统包括：
全景视频标定模块，用于对多个摄像机采集的多路视频图像进行标定，得到标定全景拼接图像和全景像素映射矩阵；
实时视频拼接模块，用于对多个摄像机实时采集的实时多路视频图像进行时间戳校准，通过预先标定得到的全景像素映射矩阵对校准后的多路实时视频图像进行变换，并将变换后的多路实时视频图像进行全景拼接融合，得到第一全景拼接图像；以及在所述第一全景拼接图像的拼接效果达标时，对所述第一全景拼接图像进行滤波处理，平滑相邻两帧融合图像之间的亮度，得到第二全景拼接图像，在所述第一全景拼接图像的拼接效果不达标时，重新标定获得全景像素映射矩阵，对校准后的多路实时视频图像进行变换，并对变换后的多路实时视频图像进行全景拼接融合；
拼接效果确定模块，用于对所述标定全景拼接图像和所述第一全景拼接图像进行拼接效果检测。
9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被处理器执行以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行以实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110859665.8A CN113301274B (zh) | 2021-07-28 | 2021-07-28 | 一种船舶实时视频全景拼接方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110859665.8A CN113301274B (zh) | 2021-07-28 | 2021-07-28 | 一种船舶实时视频全景拼接方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113301274A true CN113301274A (zh) | 2021-08-24 |
| CN113301274B CN113301274B (zh) | 2021-11-09 |
Family
ID=77331274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110859665.8A Active CN113301274B (zh) | 2021-07-28 | 2021-07-28 | 一种船舶实时视频全景拼接方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113301274B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808059A (zh) * | 2021-09-16 | 2021-12-17 | 北京拙河科技有限公司 | 阵列图像融合方法、装置、介质及设备 |
| CN113920011A (zh) * | 2021-09-26 | 2022-01-11 | 安徽光阵光电科技有限公司 | 一种多目全景视频拼接方法及系统 |
| CN114125178A (zh) * | 2021-11-16 | 2022-03-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频拼接方法、设备和可读介质 |
| CN114298906A (zh) * | 2021-12-27 | 2022-04-08 | 北京理工大学 | 一种空气和水下两用360°全景图像拼接方法 |
| CN114387229A (zh) * | 2021-12-24 | 2022-04-22 | 佛山欧神诺云商科技有限公司 | 瓷砖的拼接检测方法、装置、计算机设备及可读存储介质 |
| CN114972138A (zh) * | 2021-12-31 | 2022-08-30 | 长春工业大学 | 一种组网高安全性图像多通道融合防护方法及装置 |
| CN116485645A (zh) * | 2023-04-13 | 2023-07-25 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、设备及存储介质 |
| CN116567166A (zh) * | 2023-07-07 | 2023-08-08 | 广东省电信规划设计院有限公司 | 一种视频融合方法、装置、电子设备及存储介质 |
| CN117291809A (zh) * | 2023-11-27 | 2023-12-26 | 山东大学 | 一种基于深度学习的集成电路图像拼接方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105957008A (zh) * | 2016-05-10 | 2016-09-21 | 厦门美图之家科技有限公司 | 基于移动终端的全景图像实时拼接方法及系统 |
| US20170127045A1 (en) * | 2015-10-28 | 2017-05-04 | Toppano Co., Ltd. | Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof |
| CN107844750A (zh) * | 2017-10-19 | 2018-03-27 | 华中科技大学 | 一种水面全景图像目标检测识别方法 |
| CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
| CN111429382A (zh) * | 2020-04-10 | 2020-07-17 | 浙江大华技术股份有限公司 | 一种全景图像矫正方法、装置以及计算机存储介质 |
| CN112565608A (zh) * | 2020-12-07 | 2021-03-26 | 武汉理工大学 | 一种船舶全景图像自动拼接系统 |
-
2021
- 2021-07-28 CN CN202110859665.8A patent/CN113301274B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170127045A1 (en) * | 2015-10-28 | 2017-05-04 | Toppano Co., Ltd. | Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof |
| CN105957008A (zh) * | 2016-05-10 | 2016-09-21 | 厦门美图之家科技有限公司 | 基于移动终端的全景图像实时拼接方法及系统 |
| CN107844750A (zh) * | 2017-10-19 | 2018-03-27 | 华中科技大学 | 一种水面全景图像目标检测识别方法 |
| CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
| CN111429382A (zh) * | 2020-04-10 | 2020-07-17 | 浙江大华技术股份有限公司 | 一种全景图像矫正方法、装置以及计算机存储介质 |
| CN112565608A (zh) * | 2020-12-07 | 2021-03-26 | 武汉理工大学 | 一种船舶全景图像自动拼接系统 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808059A (zh) * | 2021-09-16 | 2021-12-17 | 北京拙河科技有限公司 | 阵列图像融合方法、装置、介质及设备 |
| CN113920011A (zh) * | 2021-09-26 | 2022-01-11 | 安徽光阵光电科技有限公司 | 一种多目全景视频拼接方法及系统 |
| CN114125178A (zh) * | 2021-11-16 | 2022-03-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频拼接方法、设备和可读介质 |
| CN114387229A (zh) * | 2021-12-24 | 2022-04-22 | 佛山欧神诺云商科技有限公司 | 瓷砖的拼接检测方法、装置、计算机设备及可读存储介质 |
| CN114298906A (zh) * | 2021-12-27 | 2022-04-08 | 北京理工大学 | 一种空气和水下两用360°全景图像拼接方法 |
| CN114972138A (zh) * | 2021-12-31 | 2022-08-30 | 长春工业大学 | 一种组网高安全性图像多通道融合防护方法及装置 |
| CN116485645A (zh) * | 2023-04-13 | 2023-07-25 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、设备及存储介质 |
| CN116567166A (zh) * | 2023-07-07 | 2023-08-08 | 广东省电信规划设计院有限公司 | 一种视频融合方法、装置、电子设备及存储介质 |
| CN116567166B (zh) * | 2023-07-07 | 2023-10-17 | 广东省电信规划设计院有限公司 | 一种视频融合方法、装置、电子设备及存储介质 |
| CN117291809A (zh) * | 2023-11-27 | 2023-12-26 | 山东大学 | 一种基于深度学习的集成电路图像拼接方法及系统 |
| CN117291809B (zh) * | 2023-11-27 | 2024-03-15 | 山东大学 | 一种基于深度学习的集成电路图像拼接方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113301274B (zh) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113301274B (zh) | 一种船舶实时视频全景拼接方法及系统 | |
| TWI622021B (zh) | 具接合功能的全景影像產生方法及裝置 | |
| KR101657039B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| US20160300337A1 (en) | Image fusion method and image processing apparatus | |
| CN108833785B (zh) | 多视角图像的融合方法、装置、计算机设备和存储介质 | |
| CN103971375B (zh) | 一种基于图像拼接的全景凝视相机空间标定方法 | |
| CN111583116A (zh) | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 | |
| KR101915729B1 (ko) | 360도 전방향 뷰 영상 생성 장치 및 방법 | |
| KR100914211B1 (ko) | 왜곡 영상 보정 장치 및 방법 | |
| CN109064404A (zh) | 一种基于多相机标定的全景拼接方法、全景拼接系统 | |
| CN106157304A (zh) | 一种基于多个相机的全景图拼接方法及系统 | |
| CN106997579B (zh) | 图像拼接的方法和装置 | |
| CN106600644B (zh) | 全景摄像机的参数矫正方法及装置 | |
| KR100790887B1 (ko) | 영상 처리장치 및 방법 | |
| CN105144687A (zh) | 图像处理装置、图像处理方法及程序 | |
| CN114549666B (zh) | 一种基于agv的环视图像拼接标定方法 | |
| CN112399033B (zh) | 摄像机组件和监控摄像机 | |
| US20180268521A1 (en) | System and method for stitching images | |
| CN111815517B (zh) | 一种基于球机抓拍图片的自适应全景拼接方法 | |
| CN110519528A (zh) | 一种全景视频合成方法、装置及电子设备 | |
| CN112261387A (zh) | 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端 | |
| CN109785390B (zh) | 一种用于图像矫正的方法和装置 | |
| CN108269234B (zh) | 一种全景相机镜头姿态估计方法及全景相机 | |
| CN105335977B (zh) | 摄像系统及目标对象的定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |