CN113344787B - 最佳缝合线自动调整算法、交通预警方法及系统 - Google Patents
最佳缝合线自动调整算法、交通预警方法及系统 Download PDFInfo
- Publication number
- CN113344787B CN113344787B CN202110656203.6A CN202110656203A CN113344787B CN 113344787 B CN113344787 B CN 113344787B CN 202110656203 A CN202110656203 A CN 202110656203A CN 113344787 B CN113344787 B CN 113344787B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- suture line
- optimal suture
- optimal
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 58
- 230000002159 abnormal effect Effects 0.000 claims description 31
- 230000014509 gene expression Effects 0.000 claims description 22
- 230000001133 acceleration Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 15
- 230000005856 abnormality Effects 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 abstract description 8
- 238000003860 storage Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 206010039203 Road traffic accident Diseases 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000009958 sewing Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开的最佳缝合线自动调整算法，涉及图像处理技术领域，基于最佳缝合线算法，在经过预处理的视频数据各幅图像的重叠区域中寻找最佳缝合线，根据预设的约束条件，判断最佳缝合线是否需要调整，若确定需要对该最佳缝合线进行调整，则利用最佳缝合线算法，在视频数据各幅图像的重叠区域中重新寻找最佳缝合线，提高了适用性，降低了对计算机系统性能的要求。另外，本发明还公开了一种基于最佳缝合线自动调整算法的全景视频生成方法及交通预警方法，涉及交通智能监测技术领域。
Description
技术领域
本发明具体涉及一种最佳缝合线自动调整算法、交通预警方法及系统，属于图像处理及交通智能监测技术领域。
背景技术
随着高速公路建设历程逐年增长，交通事故也在逐渐增加，尤其是隧道内发生的交通事故，同时隧道作为半封闭式的结构物，在隧道内发生交通事故要比在路面上发生交通事故的后果要严重得多，造成大量的人员和财产损失。然而伴随着信息化技术的不断发展，大量的视频监控设备设施应用于对过往车辆进行监管的高速公路，尤其是针对隧道出入口、隧道内的监控，在一定程度上有效地降低了交通事故的发生率，但是目前视频监控的应用主要是针对断面交通的监控，并非是全路段可视化一体的监控，这使得大量的交通事故无法追踪溯源，尤其是隧道内的连环交通事故。
为了解决上述问题，目前主要采用基于最佳缝合线的实时视频拼接方法，如：
公布号为CN111553841A的专利申请公开了一种基于最佳缝合线更新的实时视频拼接算法，该专利申请使用了基于特征点的图像配准技术，通过不同视角图像的匹配特征点估计出每一目摄像机的内外参数。在进行不同视角间图像融合时，采用了基于最佳缝合线的图像融合算法，针对运动物体可能产生的重影和不连续的问题，使用基于K邻近算法的背景消除算法和基于动态规划的缝合线更新算法以避免运动物体穿过缝合线而产生的不连续和重影，使用基于卷积金字塔的图像融合算法，消除拼接缝；
公布号为CN107580186B的发明专利公开了一种基于缝合线时空优化的视频拼接方法，该发明专利通过尺度不变特征转换算法检测特征点并对齐特征点，使用随机抽样一致算法优选特征点，计算特征点对在垂直方向上的平局距离，预对齐视频帧；基于图割算法，加上前景、边缘、视差等约束，计算最优的缝合线；使用前景检测和高斯滤波器平滑缝合线序列；对缝合线序列作质量评估；利用缝合线的质量，对缝合线两侧图像线性融合得到全景视频。
综上所述，现阶段对于视频拼接技术尤其是基于图像的视频拼接技术已比较成熟，但对于对应复杂、多变环境下的隧道内的全景视频监控研究较少，隧道监管不全面、应急处置不及时，导致隧道内事故多发且救援困难。所以说，对隧道等复杂、多变环境下的全景视频拼接以对隧道内的交通进行有效管控显得尤为必要。由于隧道作为半封闭结构物，其内部环境复杂、多变、摄像头多、里程跨度大，因此，现有的单一固定参数的视频拼接算法无法满足多路摄像头在多变环境下的全景视频拼接需求，同时基于实时更新最佳缝合线进行视频拼接对计算机系统的性能要求较高。
发明内容
针对现有技术存在的单一固定参数的视频拼接算法无法满足多路摄像头在多变环境下的全景视频拼接需求以及无法对隧道等复杂、多变环境下的全景视频拼接以对隧道内的交通进行有效管控的缺陷，本发明实施例提供了一种最佳缝合线自动调整算法、交通预警方法及系统。
为实现上述目的，本发明实施例采用以下技术方案：
第一方面，本发明实施例提供了一种最佳缝合线自动调整算法，该算法包括以下步骤：
S11基于最佳缝合线算法，在经过预处理的视频数据各幅图像重叠区域中寻找最佳缝合线；
S12根据预设的约束条件，判断所述最佳缝合线是否需要调整，其中，所述约束条件包括持续时长约束表达式及像素差约束表达式；
S13若确定需要对所述最佳缝合线进行调整，则利用最佳缝合线算法，在所述视频数据各幅图像的重叠区域中重新寻找最佳缝合线；
S14重复上述步骤S12-S13，对所述最佳缝合线进行自动调整。
作为本发明一个优选的实施例，所述约束条件为：
其中，|Ef(x,y)-Ef,z(x,y)|>△Pi为像素差约束表达式，Tt-T0>△Ti为持续时长约束表达式，Ef(x,y)为最佳缝合线f在点(x,y)处的像素准则值，Ef,z(x,y)为最佳缝合线f在坐标(x,y)周边相邻点z处的像素准则值，Tt为记录时刻点，T0为最佳缝合线确定后的时刻点，△Pi为摄像头像素差阈值序列，△Ti为持续时长阈值序列，i＝1、2…N，N为自然数。
作为本发明一个优选的实施例，根据预设的约束条件，判断所述最佳缝合线是否需要调整包括：
判断所述持续时长约束表达式及所述像素差约束表达式是否同时满足是否同时满足，若是，则确定所述最佳缝合线当前需要调整。
第二方面，本发明实施例提供了一种基于上述第一方面所述的最佳缝合线自动调整算法生成全景视频的方法，该方法包括以下步骤：
S21利用最佳缝合线自动调整算法，持续获取最佳缝合线；
S22根据所述最佳缝合线，生成待拼接图像；
S23利用泊松融合算法，对所述待拼接图像进行融合；
S24根据融合后的待拼接图像，实时生成全景视频。
第三方面，本发明实施例提供了一种基于上述第二方面所述的全景视频实时生成方法进行交通预警的方法，该方法包括以下步骤：
S31利用全景视频实时生成方法，实时生成全景视频；
S32根据第一识别模型，实时获取所述全景视频中行驶状态为异常的车辆并利用图像识别技术，获取所述车辆的基本信息；
S33根据所述车辆的基本信息，发出异常车辆预警信息；
S34根据第二识别模型，实时获取所述全景视频中交通状态为异常的道路；
S35根据所述道路的编号、名称及所在路段，发出道路预警信息。
作为本发明一个优选的实施例，所述第一识别模型的函数表达式为：
其中，cj1、cj2、cj3、cj4分别表示车辆j的速度、加速度、前后车距、车道偏移的异常信息，1、2、3、4分别表示车辆j的速度异常、加速度异常、前后车距异常和车道偏移异常，τα、、τβ、τδτγ分别为预设的车辆速度阈值、车辆加速度阈值、车辆前后车距阈值、车道偏移阈值，αj、、βj、δjγj分别表示车辆j的速度、加速度、前后车距、车道偏移，j＝1、2…K，K为自然数。
作为本发明一个优选的实施例，所述第二识别模型的函数表达式为：
其中，Stt表示t时刻道路的交通状态信息，1、2、3、4分别表示道路的交通状态为正常、拥堵、事故、超速，vz为道路的车辆限速值，v85为设定时间段内通过道路的第85位车辆的速度值，
表示道路内任意车辆的速度均不为0，
表示道路内存在车辆k的速度为0。
第四方面，本发明实施例提供了一种全景视频生成系统，该系统包括：
计算模块，被配置为利用最佳缝合线自动调整算法，持续获取最佳缝合线；
第一生成模块，被配置为根据所述最佳缝合线，生成待拼接图像；
融合模块，被配置为利用泊松融合算法，对所述待拼接图像进行融合；
第二生成模块，被配置为根据融合后的待拼接图像，实时生成全景视频。
第五方面，本发明实施例提供了一种交通预警系统，该系统包括：
计算模块，被配置为利用全景视频实时生成方法，实时生成全景视频；
第一获取模块，被配置为根据第一识别模型，实时获取所述全景视频中行驶状态为异常的车辆并利用图像识别技术，获取所述车辆的基本信息；
第一预警模块，被配置为根据所述车辆的基本信息，发出异常车辆预警信息；
第二获取模块，被配置为根据第二识别模型，实时获取所述全景视频中交通状态为异常的道路；
第二预警模块，被配置为根据所述道路的编号、名称及所在路段，发出道路预警信息。
本发明具有以下效果：
(1)结合隧道内环境的变化特点，引入双阈值约束，提出了一种最佳缝合线自动调整算法，满足了多路摄像头在多变环境下的全景视频拼接需求，提高了适用性，不需要实时调整最佳缝合线，降低了对计算机系统性能的要求；
(2)基于最佳缝合线自动调整算法，本发明实施例还提出了一种全景视频生成方法及系统、交通预警方法及系统，对隧道等复杂、多变环境下的全景视频拼接以对隧道内的交通进行有效管控，解决了对隧道内交通状况监管不利、不及时等问题，填补了隧道内等多变环境下的全景视频拼接的空白，降低了隧道内等复杂、多变环境下的交通事故率。
附图说明
图1为本发明实施例提供的最佳缝合线自动调整算法流程示意图；
图2为本发明实施例提供的全景视频生成方法流程示意图；
图3为本发明实施例提供的交通预警方法流程示意图；
图4为本发明实施例提供的全景视频生成系统结构示意图；
图5为本发明实施例提供的交通预警系统结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
如图1所示，本发明实施例提供了一种最佳缝合线自动调整算法，包括以下步骤：
S101，采集视频数据。
作为本发明一个具体的实施例，针对隧道的附近及内部视频数据的采集包括图像抓拍、视频采集两个部分，在隧道入口位置布设用于抓拍过往车辆的采集系统，如果需要抓拍隧道内的车辆抓拍可以另外进行布设；对隧道内部的视频采集的布设结合摄像头的像素和分辨率进行布设，为满足对相邻摄像头所述采集的视频数据进行拼接需要，隧道内各个摄像头布设的高度、间距、角度需保证一致，使得获得的视频数据具有一定的相似性，实现对过往车辆信息的识别，其中，车辆信息包括车辆的颜色、形状、车牌号等信息。
S102，对该视频数据进行预处理，包括以下步骤：
Step1：畸变校正。
作为本发明一个具体的实施例，受镜头畸变和诸多外部环境因素影响，视频数据中的图像会产生失真，通过摄像头的镜头进行畸变校正，使得图像的颜色、亮度统一，有利于图像拼接的完整平滑。
Step2：图像去噪。
作为本发明一个具体的实施例，使用典型的高斯滤波去噪方法对视频数据中的图像进行去噪，滤波结果通过滤波器窗口内的像素值进行加权并求平均值获得。
Step3：颜色校正。
其中，受诸多因素影响，图像间颜色和亮度的差异会导致拼接图像整体亮度不一致及出现明显拼接缝隙，因此，通过颜色校正获得较佳的图像融合效果，即以一幅图像的颜色和亮度为参考，通过颜色校正算法改变另一幅图像的颜色和亮度，使两幅图像的颜色和亮度相似。颜色校正算法对RGB通道分别先采用一维直方图匹配法进行变换，再合并3个通道获得目标图像。
Step4：特征匹配。
主要包括建立尺度空间、特征点检测、特征点主方向确认和生成特征描述符四个步骤：
(1)尺度空间的建立
通过建立尺度空间为特征点增加尺度不变性，可采用盒子滤波器与图像卷积获得多尺度图像组。
(2)确定关键点
利用Hessian矩阵行列式的极大值检测关键点。
(3)确定特征点主方向
以特征点为中心，建立圆形邻域，通过采用扇形滑动窗口对圆形邻域进行扫描，计算窗口内像素点的小波响应值，将响应值最大的窗口对应的中心角度为特征点方向角。
(4)建立特征点描述向量
以特征点为中心，特征点主方向为水平方向建立方形区域，计算每个子窗口在水平方向和垂直方向的响应值，从而建立子窗口四位特征描述向量。
Step5：像素点插值处理。
采用双线性插值进行整数转化，即假设像素点之间的变化是线性的，待求像素
点周围的四个像素点P11(x1，y1)，P12(x1，y2)，P21(x2,y1)，P22(x2,y2)在水平和垂直方向上分别进行插值，计算待求点P(x,y)的像素值。
首先，在水平方向上进行线性插值：
则：
式(1)及式(2)中，坐标R1为(x,y1)，坐标R2为(x,y2)，f为替换成像素值函数，f(p)为待求点P(x，y)的像素值。
其中，对视频数据进行预处理，为后续的图像配准过程打下基础，可以有效提高图像配准的准确度。
S103，利用面向监控的多路视频流拼接算法，在该视频数据各幅图像重叠区域中寻找最佳缝合线。
其中，最佳缝合线的准则要求为让缝合线两侧的图像在颜色上和几何结构上差别最小，因此，可以将下式作为搜索最佳缝合线的准则。
E(x，y)＝(Ecolor(x，y))2+Egeometry(x，y) (3)
式(3)中，E(x，y)表示重叠区域在点(x，y)处的像素准则值，Ecolor(x，y)表示重叠区域在点(x，y)处的颜色差值，Egeometry(x，y)表示重叠区域在点(x，y)处的几何结构差值。
基于梯度的几何结构差值计算公式为：
Egeometry(x,y)＝(Sx×(I1(x,y)-I2(x,y)))2+(Sy×(I1(x,y)-I2(x,y)))2 (4)
式(4)中，I1(x，y)和I2(x，y)分别表示两幅图像在重叠区域在点(x，y)处的像素值，Sx和Sy分别表示水平方向的Sobel算子和垂直方向上的Sobel算子。
通过动态规划的思想，从起始位置开始，以该行的每个像素点作为缝合线的起点扩展到最后一行进行像素值处理，具体的步骤如下：
Step1：将首行中的每个像素作为各条缝合线的起点，缝合线的初始准则值为起点像素的准则值；
Step2：缝合线扩展规则：对比点前点左右相邻及下一行相邻的共5个点的准则值，选择其最小点作为缝合线的下一个点。当下一个点为被选过的点时，选择次最小准则值点；
Step3：若当前点为重叠区域的最后一行的点，则停止扩展并执行步骤Step4，否则返回步骤Step2；
Step4：通过缝合线路径距离计算平均准则值，将平均准则值最小的缝合线作为最佳缝合线。
S104，根据预设的约束条件，判断该最佳缝合线是否需要调整，其中，约束条件包括持续时长约束表达式及像素差约束表达式。
作为本发明一个具体的实施例，因隧道内环境复杂、多变且相邻单点摄像头间视频信息也存在较大差异，致使单一固定的缝合线进行视频拼接无法满足全景视频的需求，同时实时动态的调整缝合线对计算机系统运算能力要求较高且致使全景可视化影像多变。因此，为有效避免单一最佳缝合线的适用性不足和实时调整最佳缝合线致使系统运行效率降低且影像多变等不足，本发明实施例根据隧道内不同时间段、不同位置的环境变化特点提出了基于双阈值约束的最佳缝合线调整算法。
其中，该算法的核心是将隧道内相邻摄像头采集的重叠图像处的环境特点，通过在不同时间段内设置不同的持续时长阈值和像素差阈值，对相邻摄像头采集的重叠图像的最佳缝合线进行调整，具体步骤如下：
Step1：划分时间段
隧道内摄像头是全天候全时段进行的，根据隧道所处位置光线变化的特点对摄像头拍摄的图像产生的影响，将全天分为若干个时间段：夜间段模式、白天段模式、傍晚段模式，不同时刻执行不同的时长。如夜间段模式执行的时长大于白天段模式执行的时长大于，白天段模式执行的时长大于傍晚段模式执行的时长大于。
也可以按照时间点进行划分，如20：00-6：00，6：01-10：00，10：01-14：00，14：01-17：00，17：01-19：59。也可以根据不同季节的日出日落时间划分时间段，时间段可根据光线变化划分。
Step2：选取阈值
由于隧道内摄像头采集的视频多变，本发明通过设置持续时长来避免计算机系统实时调整最佳缝合线，同时通过设定像素差阈值来避免单一最佳缝合线拼接适用性差的问题。
Step3：确定约束条件
基于持续时长阈值和像素差阈值的双阈值约束，判断最佳缝合线是否需要调整，具体如下：
式(5)中，Ef(x,y)为最佳缝合线f在点(x,y)处的像素准则值，Ef,z(x,y)为最佳缝合线f在坐标(x,y)周边相邻点z处的像素准则值，Tt为记录时刻点，T0为最佳缝合线确定后的时刻点，△Pi为摄像头像素差阈值序列，像素差阈值的大小随时间段改变、摄像头的布置位置的改变而改变；△Ti为持续时长阈值序列，持续时长的大小受计算机系统的运算能力、气候环境变化程度、不同时间段、摄像头位置处有所差异，i＝1、2…N，N为自然数。
S105，若确定该最佳缝合线需要调整，则利用最佳缝合线算法，在该视频数据各幅图像重叠区域中重新寻找最佳缝合线。
作为本发明一个可选的实施例，当同时满足式(5)中的2个表达式时，最佳缝合线的位置需重新进行确定，反之则最佳缝合线保持不变。
S106，重复上述步骤S104-S105，实现对最佳缝合线的自动调整。
进一步地，可以利用机器学习模型或神经网络模型，不断调整和优化当前已经确定的持续时长阈值和摄像头像素差阈值，确定持续时长阈值序列和摄像头像素差阈值序列。
本领域技术人员应该可以理解，实施例1提供的调整算法不仅适用复杂、多变的环境下最佳缝合线的寻找，也适用于正常的环境下最佳缝合线的寻找。
本发明实施例提供的最佳缝合线自动调整算法，基于最佳缝合线算法，在经过预处理的视频数据中各幅图像的重叠区域中寻找最佳缝合线，根据预设的约束条件，判断最佳缝合线是否需要调整，若确定需要对该最佳缝合线进行调整，则利用最佳缝合线算法，在视频数据各幅图像的重叠区域中重新寻找最佳缝合线，提高了适用性，降低了对计算机系统性能的要求。
实施例2
如图2所示，本发明实施例提供了一种生成全景视频的方法，该方法包括以下步骤：
S201，利用上述实施例1提供的最佳缝合线自动调整算法，持续获取待拼接图像的最佳缝合线；
S202，根据该最佳缝合线，生成待拼接图像；
S203，利用泊松融合算法，对该待拼接图像进行融合；
S204，根据融合后的待拼接图像，实时生成全景视频。
其中，基于最佳缝合线算法生成待拼接图像的掩码图像，仍需对图像进行融合操作。泊松融合算法是利用像素值和已知梯度信息建立泊松方程求解未知像素值的算法，根据源图像和目标图像的梯度，用一个向量去引导，使目标图像上有相似于源图像的梯度而边界部分仍保留目标图像的像素值，使结果没有明显的拼接缝，将图像融合问题转换为求解目标函数最小化的问题，并通过泊松方程求解合成区域的图像像素，做到更好地对待拼接图像进行融合。
进一步地，基于全景视频，可以进一步获取各个车辆的轨迹及运行状态信息，同时为全面保障隧道内的车辆安全，对隧道内的能见度、空气湿度、路面状况等信息进行获取。
实施例3
如图3所示，本发明实施例提供了一种交通预警方法，该方法包括以下步骤：
S301，利用上述实施例2提供的全景视频实时生成方法，实时生成全景视频。
S302，根据第一识别模型，实时获取全景视频中行驶状态为异常的车辆并利用图像识别技术，获取该车辆的基本信息。
作为本发明一个可选的实施例，第一识别模型的函数表达式为：
式(6)中，cj1、cj2、cj3、cj4分别表示车辆j的速度、加速度、前后车距、车道偏移的异常信息，1、2、3、4分别表示车辆j的速度异常、加速度异常、前后车距异常和车道偏移异常，τα、、τβ、τδτγ分别为预设的车辆速度阈值、车辆加速度阈值、车辆前后车距阈值、车道偏移阈值，αj、、βj、δjγj分别表示车辆j的速度、加速度、前后车距、车道偏移，j＝1、2…K，K为自然数。
S303，根据车辆的基本信息，发出异常车辆预警信息。
作为本发明一个具体的实施例，对于异常车辆信息预警，采用隧道内电子显示屏文字提示和语音警示的方式给与实施动态警示。
作为本发明一个具体的实施例，当车辆当前的速度大于当前路段的速度阈值时，则确定该车辆当前速度异常，确认该车辆为异常车辆并根据该车辆的车牌号、车身颜色等信息，发出该车辆存在速度异常的预警信息。
作为本发明一个具体的实施例，当车辆当前的加速度(或车道偏移)大于当前路段的设定当前路段加速度阈值(或车道偏移阈值)时，则确定该车辆当前加速度(或车道偏移)异常，确认该车辆为异常车辆并根据该车辆的车牌号、车身颜色等信息，发出该车辆存在加速度(或车道偏移)异常的预警信息。
同理，作为本发明一个具体的实施例，当车辆与前车距离小于当前路段的设定当前路段前后车距阈值时，则确定该车辆当前的前后车距异常，确认该车辆为异常车辆并根据该车辆的车牌号、车身颜色等信息，发出该车辆存在前后车距异常的预警信息。
S304，根据第二识别模型，实时获取该全景视频中交通状态为异常的道路。
作为本发明一个可选的实施例，第二识别模型的函数表达式为：
式(7)中，Stt表示t时刻道路的交通状态信息，1、2、3、4分别表示道路的交通状态为正常、拥堵、事故、超速，vz为道路的车辆限速值，v85为设定时间段内通过道路的第85位车辆的速度值，
表示道路内任意车辆的速度均不为0，
表示道路内存在车辆k的速度为0。
S305，根据道路的编号、名称及所在路段，发出道路预警信息。
作为本发明一个具体的实施例，发出预警信息的装置包括前端警示模块、智能声光预警警告模块。前端警示模块主要布设于隧道入口前100-200m位置，通过电子显示屏、智能可变限速标对隧道内的交通情况、事故情况等进行及时发布。其中，智能声光预警警示模块主要布设于隧道内事故多发地或结合隧道长度等间距布设，通过扬声器、电子显示屏等对隧道内的异常车辆进行警示，必要时进行语音警示。
本发明实施例提供的交通预警方法，通过全景视频实时生成方法，实时生成全景视频，根据第一识别模型，实时获取全景视频中行驶状态为异常的车辆并利用图像识别技术，获取该车辆的基本信息，根据车辆的基本信息，发出异常车辆预警信息，同时根据第二识别模型，实时获取该全景视频中交通状态为异常的道路，根据道路的编号、名称及所在路段，发出道路预警信息，降低了隧道内等复杂、多变环境下的交通事故率。
作为本发明一个具体的实施例，对于道路的预警信息，可通过隧道入口前布设的警示装置给与隧道内信息提示和动态限速控制。
实施例4
如图4所示，本发明实施例提供了一种全景视频生成系统，该系统包括：
计算模块，被配置为利用最佳缝合线自动调整算法，持续获取最佳缝合线；
第一生成模块，被配置为根据该最佳缝合线，生成待拼接图像；
融合模块，被配置为利用泊松融合算法，对该待拼接图像进行融合；
第二生成模块，被配置为根据融合后的待拼接图像，实时生成全景视频。
实施例5
如图5所示，本发明实施例提供了一种交通预警系统，该系统包括：
计算模块，被配置为利用全景视频实时生成方法，实时生成全景视频；
第一获取模块，被配置为根据第一识别模型，实时获取该全景视频中行驶状态为异常的车辆并利用图像识别技术，获取该车辆的基本信息；
第一预警模块，被配置为根据所述车辆的基本信息，发出异常车辆预警信息；
第二获取模块，被配置为根据第二识别模型，实时获取该全景视频中交通状态为异常的道路；
第二预警模块，被配置为根据该道路的编号、名称及所在路段，发出道路预警信息。
本领域技术人员应该可以理解，第一获取模块及第二获取模块除了可运行本发明实施例1所述方法获得全景视频外，还可以运行现有的任何最佳缝合线拼接方法获得全景视频。
可以理解的是，上述方法及系统中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (8)
1.一种最佳缝合线自动调整算法，其特征在于，包括以下步骤：
S11基于最佳缝合线算法，在经过预处理的视频数据各幅图像的重叠区域中寻找最佳缝合线；
S12根据预设的约束条件，判断所述最佳缝合线是否需要调整，其中，所述约束条件包括持续时长约束表达式及像素差约束表达式，|Ef(x,y)-Ef,z(x,y)|＞ΔPi为像素差约束表达式，Tt-T0＞ΔTi为持续时长约束表达式，Ef(x,y)为最佳缝合线f在点(x,y)处的像素准则值，Ef,z(x,y)为最佳缝合线f在点(x,y)周边相邻点z处的像素准则值，Tt为记录时刻点，T0为最佳缝合线确定后的时刻点，ΔPi为摄像头像素差阈值序列，ΔTi为持续时长阈值序列，i＝1、2…N，N为自然数；
S13若确定需要对所述最佳缝合线进行调整，则利用最佳缝合线算法，在所述视频数据各幅图像重叠区域中重新寻找最佳缝合线；
S14重复上述步骤S12-S13，对所述最佳缝合线进行自动调整。
2.根据权利要求1所述的最佳缝合线自动调整算法，其特征在于，根据预设的约束条件，判断所述最佳缝合线是否需要调整包括：
判断所述持续时长约束表达式及所述像素差约束表达式是否同时满足，若是，则确定所述最佳缝合线当前需要调整。
3.一种基于上述权利要求1或2所述的最佳缝合线自动调整算法生成全景视频的方法，其特征在于，包括以下步骤：
S21利用最佳缝合线自动调整算法，持续获取最佳缝合线；
S22根据所述最佳缝合线，生成待拼接图像；
S23利用泊松融合算法，对所述待拼接图像进行融合；
S24根据融合后的待拼接图像，实时生成全景视频。
4.一种基于上述权利要求3所述的生成全景视频的方法进行交通预警的方法，其特征在于，包括以下步骤：
S31利用生成全景视频的方法，实时生成全景视频；
S32根据第一识别模型，实时获取所述全景视频中行驶状态为异常的车辆并利用图像识别技术，获取所述车辆的基本信息；
S33根据所述车辆的基本信息，发出异常车辆预警信息；
S34根据第二识别模型，实时获取所述全景视频中交通状态为异常的道路；
S35根据所述道路的编号、名称及所在路段，发出道路预警信息。
5.根据权利要求 4所述的进行交通预警的方法，其特征在于，所述第一识别模型的函数表达式为：
其中，cj1、cj2、cj3、cj4分别表示车辆j的速度、加速度、前后车距、车道偏移的异常信息，1、2、3、4分别表示车辆j的速度异常、加速度异常、前后车距异常和车道偏移异常，τα、τβ、τδ、τγ分别为预设的车辆速度阈值、车辆加速度阈值、车辆前后车距阈值、车道偏移阈值，αj、βj、δj、γj分别表示车辆j的速度、加速度、前后车距、车道偏移，j＝1、2…K，K为自然数。
6.根据权利要求 4所述的进行交通预警的方法，其特征在于，所述第二识别模型的函数表达式为：
其中，Stt表示t时刻道路的交通状态信息，1、2、3、4分别表示道路的交通状态为正常、拥堵、事故、超速，vz为道路的车辆限速值，v85为设定时间段内通过道路的第85位车辆的速度值，
表示道路内任意车辆的速度均不为0，
表示道路内存在车辆k的速度为0。
7.一种全景视频生成系统，其特征在于，包括：
计算模块，被配置为利用权利要求1所述的最佳缝合线自动调整算法，持续获取最佳缝合线；
第一生成模块，被配置为根据所述最佳缝合线，生成待拼接图像；
融合模块，被配置为利用泊松融合算法，对所述待拼接图像进行融合；
第二生成模块，被配置为根据融合后的待拼接图像，实时生成全景视频。
8.一种交通预警系统，其特征在于，包括：
计算模块，被配置为利用权利要求3所述的生成全景视频的方法，实时生成全景视频；
第一获取模块，被配置为根据第一识别模型，实时获取所述全景视频中行驶状态为异常的车辆并利用图像识别技术，获取所述车辆的基本信息；
第一预警模块，被配置为根据所述车辆的基本信息，发出异常车辆预警信息；
第二获取模块，被配置为根据第二识别模型，实时获取所述全景视频中交通状态为异常的道路；
第二预警模块，被配置为根据所述道路的编号、名称及所在路段，发出道路预警信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110656203.6A CN113344787B (zh) | 2021-06-11 | 2021-06-11 | 最佳缝合线自动调整算法、交通预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110656203.6A CN113344787B (zh) | 2021-06-11 | 2021-06-11 | 最佳缝合线自动调整算法、交通预警方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113344787A CN113344787A (zh) | 2021-09-03 |
| CN113344787B true CN113344787B (zh) | 2022-02-01 |
Family
ID=77476957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110656203.6A Active CN113344787B (zh) | 2021-06-11 | 2021-06-11 | 最佳缝合线自动调整算法、交通预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344787B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理系统 |
| CN107346536A (zh) * | 2017-07-04 | 2017-11-14 | 广东工业大学 | 一种图像融合的方法与装置 |
| CN108922245A (zh) * | 2018-07-06 | 2018-11-30 | 北京中交华安科技有限公司 | 一种公路视距不良路段预警方法及系统 |
| CN109859105A (zh) * | 2019-01-21 | 2019-06-07 | 桂林电子科技大学 | 一种无参数影像自然拼接方法 |
| CN110390640A (zh) * | 2019-07-29 | 2019-10-29 | 齐鲁工业大学 | 基于模板的泊松融合图像拼接方法、系统、设备及介质 |
| CN111553841A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 一种基于最佳缝合线更新的实时视频拼接算法 |
| CN112333537A (zh) * | 2020-07-27 | 2021-02-05 | 深圳Tcl新技术有限公司 | 视频整合方法、装置及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI533675B (zh) * | 2013-12-16 | 2016-05-11 | 國立交通大學 | 影像接合之最佳動態接縫找尋調整系統與方法 |
| CN108205797B (zh) * | 2016-12-16 | 2021-05-11 | 杭州海康威视数字技术股份有限公司 | 一种全景视频融合方法及装置 |
-
2021
- 2021-06-11 CN CN202110656203.6A patent/CN113344787B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理系统 |
| CN107346536A (zh) * | 2017-07-04 | 2017-11-14 | 广东工业大学 | 一种图像融合的方法与装置 |
| CN108922245A (zh) * | 2018-07-06 | 2018-11-30 | 北京中交华安科技有限公司 | 一种公路视距不良路段预警方法及系统 |
| CN109859105A (zh) * | 2019-01-21 | 2019-06-07 | 桂林电子科技大学 | 一种无参数影像自然拼接方法 |
| CN110390640A (zh) * | 2019-07-29 | 2019-10-29 | 齐鲁工业大学 | 基于模板的泊松融合图像拼接方法、系统、设备及介质 |
| CN111553841A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 一种基于最佳缝合线更新的实时视频拼接算法 |
| CN112333537A (zh) * | 2020-07-27 | 2021-02-05 | 深圳Tcl新技术有限公司 | 视频整合方法、装置及计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Image stitching based on feature extraction techniques: a survey;Ebstam Adel 等;《International Journal of Computer Applications》;20140831;第99卷(第6期);第1-8页 * |
| 基于全景视觉的车辆异常行为检测技术的研究;庞成俊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20111215(第S1期);第I138-1561页 * |
| 基于最佳缝合线与灰度均值差改正比的图像拼接算法;罗永涛 等;《激光杂志》;20181215;第39卷(第12期);第42-46页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113344787A (zh) | 2021-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111967393B (zh) | 一种基于改进YOLOv4的安全帽佩戴检测方法 | |
| US8050459B2 (en) | System and method for detecting pedestrians | |
| Liu et al. | A vision-based pipeline for vehicle counting, speed estimation, and classification | |
| US20190122059A1 (en) | Signal light detection | |
| KR102052833B1 (ko) | 영상 추적을 이용한 차량 속도 검출 장치 및 방법 | |
| CN112991742B (zh) | 一种实时交通数据的可视化仿真方法及系统 | |
| CN110532903B (zh) | 一种交通灯图像处理的方法和设备 | |
| AU2019100914A4 (en) | Method for identifying an intersection violation video based on camera cooperative relay | |
| CN114781479A (zh) | 交通事件检测方法及装置 | |
| CN105205785A (zh) | 一种可定位的大型车辆运行管理系统及其运行方法 | |
| CN105354529A (zh) | 一种车辆逆行的检测方法及装置 | |
| CN115187946A (zh) | 井下障碍物点云与图像数据融合的多尺度智能感知方法 | |
| KR101699014B1 (ko) | 스테레오 카메라를 이용한 객체 검출 방법 및 장치 | |
| CN114372919A (zh) | 一种双挂汽车列车全景环视图像拼接方法及系统 | |
| CN114897684A (zh) | 车辆图像的拼接方法、装置、计算机设备和存储介质 | |
| CN108629225A (zh) | 一种基于多幅子图与图像显著性分析的车辆检测方法 | |
| CN113344787B (zh) | 最佳缝合线自动调整算法、交通预警方法及系统 | |
| CN104376316A (zh) | 车牌图像采集方法及装置 | |
| US11176379B2 (en) | Method of acquiring detection zone in image and method of determining zone usage | |
| Sun et al. | A traffic flow detection system based on YOLOv5 | |
| CN115206091B (zh) | 基于多摄像头和毫米波雷达的路况及事件监测系统及方法 | |
| CN103903269B (zh) | 球机监控视频的结构化描述方法和系统 | |
| CN114554158B (zh) | 一种基于道路交通场景下的全景视频拼接方法及系统 | |
| KR101865958B1 (ko) | 속도 제한 표지판 인식 장치 및 방법 | |
| CN116958528A (zh) | 一种基于图像融合的多无人机协同目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |