CN113532424A - 一种获取多维信息的一体化设备与协同测量方法 - Google Patents
一种获取多维信息的一体化设备与协同测量方法 Download PDFInfo
- Publication number
- CN113532424A CN113532424A CN202110911933.6A CN202110911933A CN113532424A CN 113532424 A CN113532424 A CN 113532424A CN 202110911933 A CN202110911933 A CN 202110911933A CN 113532424 A CN113532424 A CN 113532424A
- Authority
- CN
- China
- Prior art keywords
- geomagnetic
- indoor
- information
- reference point
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000691 measurement method Methods 0.000 title abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000005259 measurement Methods 0.000 claims abstract description 19
- 238000010219 correlation analysis Methods 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 12
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims 2
- 238000003860 storage Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000005358 geomagnetic field Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/04—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means
- G01C21/08—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means involving use of the magnetic field of the earth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
- G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Environmental & Geological Engineering (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请提出了一种用于获取室内多维信息的一体化设备与协同测量方法,该设备包括:空间信息扫描模块、GNSS(Global Navigation Satellite System,全球导航卫星系统)信号接收模块、地磁信号检测模块、数据存储器;一种基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法包括建立室内三维模型、基于所述的室内三维模型构建用户活动路径上的地磁数据库、将实时测量的地磁参考点地磁强度信息序列和所述地磁数据库中的地磁参考点信息序列进行相关性分析,当测量的室内环境容易受到外界干扰时,通过重新调整地磁与激光雷达、使其相互验证,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量,提高室内空间三维信息和地磁信息的扫描的效率和准确性。
Description
技术领域
本发明涉及激光雷达、地磁测量领域,尤其涉及基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法和设备。
背景技术
随着现代社会的发展,对于个性化的位置信息服务需求大幅增长。室外多维信息能够通过GPS、北斗等卫星导航系统(Global Navigation Satellite System,GNSS)将定位精度准确到米;而室内环境中GNSS信号无法被直接获取,因此无法精确定位。对于现代人而言,80%以上的活动空间集中在室内。因此,对于基于室内定位技术的准确度和效率的需求越来越迫切。在诸多可以提供室内定位信息的技术中,利用地磁定位的优势在于无需布设定位信息源,成本较低,广泛适用于大型建筑。但是地磁会因为车辆的经过而发生改变、导致测量不准确。
发明内容
有鉴于此,本申请提出了一种用于获取室内多维信息的一体化设备与协同测量方法,当测量的室内环境容易受到外界干扰:如邻接的房间时,通过重新调整地磁与激光雷达、使其相互验证,提高室内空间三维信息和地磁信息的扫描的效率和准确性。
一种基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法包括建立室内三维模型、基于所述的室内三维模型构建用户活动路径上的地磁数据库、将实时测量的地磁参考点地磁强度信息序列和所述地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量。
具体地包括:
步骤1、利用所述激光雷达和地磁一体化设备获取室内点云数据以及高分辨率的室内图像;
步骤2、将所述点云数据和所述高分辨率的室内图像进行多模态融合处理,获取兼有深度值信息和高分辨率的图像数据;
步骤3、获取室内常见物品图像数据集,构建深度神经网络模型RCNN;通过RCNN模型对所述高分辨率的室内图像进行目标检测,从而获取室内物品信息;
步骤4、对所述点云数据进行预处理、进行室内场景真实三维模型的重建;
步骤5、根据所述兼有深度值信息和高分辨率的图像数据,对步骤4的三维模型相应位置的物品进行标记,即将物品信息赋予所述室内三维模型;
步骤6、构建用户活动路径上的地磁数据库;
步骤7、将实时测量的地磁参考点地磁强度信息序列和步骤6地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量。
本申请提出了一种获取室内多维信息的一体化设备,包括:空间信息扫描模块、GNSS(Global Navigation Satellite System,全球导航卫星系统)信号接收模块、地磁信号检测模块、数据存储器;
所述的空间信息扫描模块、GNSS信号接收模块、地磁信号检测模块的输出端分别和数据存储器连接;所述信号处理模块还连接有输入/输出接口和双机协同接口模块。
有益的技术效果:本发明提供了一种获取多维信息的一体化设备与协同测量方法,克服了现有地磁检测技术中地磁会因为外界干扰,如车辆的经过导致测量不准确等问题,重新调整地磁与激光雷达、相互验证,使之更加方便和避免地磁测量的错误,提高室内空间三维信息和地磁信息的扫描的效率和准确性。
附图说明
图1是本发明实施例提供的方法的流程图
图2是本发明实施例提供的装置的结构示意图
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明采用地磁匹配定位技术,将实时测量的地磁参考点地磁强度信息序列和预先建立的地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量。本发明所提出的室内移动测量方法基于预先构建的用户活动路径上的地磁数据库与实时测量的地磁参考点地磁强度信息序列避免地磁测量的错误,提高室内空间三维信息和地磁信息的扫描的效率和准确性。
图1是本发明实施例提供的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法的流程图,图2中获取室内多维信息的一体化设备的结构图对本申请的流程图进行进一步的解释,获取室内多维信息的一体化设备包括:空间信息扫描模块、GNSS(Global Navigation Satellite System,全球导航卫星系统)信号接收模块、地磁信号检测模块、数据存储器;空间信息扫描模块、GNSS信号接收模块、地磁信号检测模块的输出端分别和数据存储器连接;信号处理模块还连接有输入/输出接口和双机协同接口模块。
本发明所提出的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法包括建立室内三维模型、基于所述的室内三维模型构建用户活动路径上的地磁数据库、将实时测量的地磁参考点地磁强度信息序列和所述地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量,具体包括:
步骤1、利用所述激光雷达和地磁一体化设备获取室内点云数据以及高分辨率的室内图像;
其中步骤1包括:
步骤S11、将所述激光雷达和地磁一体化设备置于室内中央位置,通过调整所述激光雷达和地磁一体化设备的底座三角架,调整所述激光雷达和地磁一体化设备的高度;
步骤S22、利用所述激光雷达和地磁一体化设备中的空间信息扫描模块对目标物进行扫描成像,获取高密度、高精度的激光点云数据和目标高分辨率的目标图像;并将三维点云数据和图像数据存储在数据存储器中。
步骤2、将所述点云数据和所述高分辨率的室内图像进行多模态融合处理,获取兼有深度值信息和高分辨率的图像数据;
随着当前室内定位的研究不断深入,单一的传感器没办法能够全部应对复杂的现实环境,为了解决检测的精度和可以更加鲁棒的问题,多模态的方法是当下最优的解决方案。所谓多模态融合,是指采取多种传感器数据作为深度学习网络的输入,多模态融合的好处多种传感器获取到的信息存在互补的地方。本发明将步骤1获取的点云数据和高分辨率的目标图像进行多模态融合处理,获取兼有深度值信息和高分辨率的图像数据。本发明基于共线方程实现点云和图像对应像素上相应的RGB值的精确匹配;所述共线方程为:
其中,(X, Y, Z) 为激光点在像平面坐标,待求解(x,y)为激光点在像平面坐标系下的对应的像素坐标;Xs、Ys、Zs为投影中心在像平面坐标系中的坐标,f为摄影机主距;a1-a3,b1-b3,c1-c3为变换系数。
步骤3、获取室内常见物品图像数据集,构建深度神经网络模型RCNN;通过RCNN模型对所述高分辨率的室内图像进行目标检测,从而获取室内物品信息;
其中步骤3包括:
步骤S31、生成候选区域:将一张图像分割成小区域,按照合并规则合并所述小区域中可能性最高的两个区域:所述合并规则是优先合并颜色纹理相近的区域,合并后区域总面积减小;重复执行合并操作至直至整张图像合并成一个区域位置,一张图像生成2000-3000个候选区域,并输出所述候选区域生成。
步骤S32、对所述的候选区域进行特征提取,将所述图像归一化为224*224输入神经网络模型,所述神经网络的提取特征为4096维;
步骤S33、将深度网络输出的4096维特征送入全连接层进行分类;为每一类目标单独分配一个线性SVM分类器进行判别并输出分类结果。
步骤4、对所述点云数据进行预处理、进行室内场景真实三维模型的重建;
未经过处理的点云数据是散乱无序排列的,无法进行建模,只有经过点云拼接、合并、降噪等处理后,才能将数据导入3DMax软件中进行建模。现行的地面三维激光扫描仪一般都具有数据的后处理软件,本发明中采用的是中海达扫描仪数据处理软件HD_3LS_SCENE,将数据导入到HD_3LS_SCENE软件中,进行相应的点云拼接、合并和降噪等处理,就可以得到高质量的点云建模数据。
处理过程中,首先对各站点云进行拼接,站点间的拼接精度要达到0.05m。其次是点云合并,相邻两站间有10%以上的重叠区,点云合并可以保证结构不变的情况下,有效地减少数据量。最后进行点云降噪,将与对象无关的点云进行删减剔除,提高点云质量。
包括步骤S41、点云拼接,三维激光扫描仪采用分站式的作业方式,获得的每一站数据都有自己独立的坐标系统,要想获得全方位的点云数据,就必须将他们配准到一个统一坐标系下。外业扫描得到的点云数据在导入软件后,首先要进行数据拼接,即把多站扫描的点云数据转化到同一坐标系中,采用公共重叠区域的点云拼接,形成一个整体。常用的拼接方法有:标靶拼接、同名点拼接、视图拼接、标靶与同名点的混合拼接和已知控制点的拼接。本文采用标靶和同名点的混合拼接,然后在HD_3LS_SCENE软件中进行拼接。拼接时采用先两两测站进行拼接,然后再把拼接好的结果与另外两站的拼接结果进行拼接,
步骤S42、 点云合并,由于分站式扫描,产生了一定的重叠区域;扫描仪与目标的距离也会影响扫描的数据量,一般距离越近,点云密度越大,距离越远,点云密度越小;数据拼接过程中未减少数据量,也会造成数据冗余。而获取的点云数据量过大,对硬件设施要求较高降低了数据处理效率。因此,有必要在不影响数据精度的情况下,对点云数据进行精简,即对重叠区域合并。在HD _3LS_SCENE软件中,执行合并命令,系统将自动生成简化后的点云数据,经点云合并操作后,既不影响原有的结构,又减少了数据存储空间,提高了数据处理效率。
步骤S43、点云降噪,三维激光扫描仪所得到的原始点云数据,是一个分布散乱的空间数据集合。在扫描中,所得点云数据会受到周围环境诸多因素的影响。虽然经过点云合并处理后,点云数据得到了大量删减,但合并未改变原有数据的纹理结构,原有的噪声点仍然存在。噪声点不仅会占用存储空间,增加计算机的处理时间,还会对点云的分割、识别和建模等产生影响,应对其剔除。在HD_3LS_SCENE软件中,先人为删除大范围噪声点云,再通过软件自动识别噪声点的方法删除零散的噪声点,通过人工和计算机软件的交互操作,切换不同视角,剔除所有的噪声点。
三维建模主要包括三维几何建模和纹理贴图两个部分,三维几何建模构造出室内的整体构造,纹理贴图可以构造出真实感得三维模型。镶嵌建模,与传统的量取尺寸建模不同,在3DMax 2015及以上的高版本中,可以将拼接好的点云数据导入工作面,再根据拼接好的点云结构特征,设计合理的镶嵌模块,进行分块建模。分块建模可以很好地构造复杂模块的细节,且不破坏整体结构。经镶嵌分块建模后,再将所有块状模型进行组合,构造出完整的三维立体模型,最后将点云数据隐藏,便可得到清晰的白膜。
步骤5、根据所述兼有深度值信息和高分辨率的图像数据,对步骤4的三维模型相应位置的物品进行标记,即将物品信息赋予所述室内三维模型。
其中步骤5包括:
步骤S51、利用Photoshop软件对所述高分辨率的室内图像进行矫正,将图片转化为正视投影图并进行裁剪、去杂色、平和色调等处理;
步骤S52、通过3DMax软件根据目标检测结果将贴图到对应物品的白膜上,若出现贴图扭曲错位现象,则对应添加UVW 贴图坐标,调整纹理坐标与模型坐标,使几何模型与纹理数据匹配。
步骤6、构建用户活动路径上的地磁数据库;
其中步骤6包括:
步骤S61、基于所述室内三维模型位置数据信息,对在室内用户的活动路径进行标注;
基于所述的室内三维模型位置信息,统计用户的所有可能活动路径,所述的用户活动路径数据表达式为:
还包括根据预设的参数d来确定两个邻接节点间的地磁数据库的地磁参考点k,首先获取两个邻接节点间的地磁参考点总数N以及两个邻接节点的距离L,计算公式如下,
步骤S62、根据所述的活动路径生成地磁参考点,并计算地磁参考点的位置坐标,获取该点的地磁强度;
根据所述的活动路径生成地磁参考点,并计算地磁参考点的位置坐标,获取该点的地磁强度包括:在获取地磁参考点的空间坐标后,模拟用户在室内的活动,通过所携带的地磁信号检测模块的设备,在用户活动路径上的地磁参考点采集地磁强度信号
步骤S63、基于所述地磁参考点的位置坐标和所述地磁强度,构建用户活动路径上的地磁数据库;
构建用户活动路径上的地磁数据库包括:将所述的地磁参考点的空间坐标和地磁强度绑定,以用户活动路径为单位存储至服务器的地磁数据库中。
步骤7、将实时测量的地磁参考点地磁强度信息序列和步骤6地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量。
用户携带智能手机在室内移动时,智能手机内置的地磁检测模块实时收集地磁强度信息K(t)。鉴于地磁信号本身容易受到金属物的干扰,假若用户周边突然出现驶过的汽车,势必会影响到地磁强度,因此收集到的地磁强度K(t)可能不会与步骤6构建的地磁数据库中的地磁序列达成一致匹配。然后这种干扰是瞬时的,驶过的汽车等干扰是无法长期存在,也即收集到地磁强度序列K(t)在大致的分布上应与地磁数据库中的某个序列相似。基于此,本发明利用KL散度来计算实时检测的地磁强度序列K(t)与地磁数据库中的序列M(t)的相似,进而获取数据库中相应序列的空间坐标,从而实现室内移动测量。
其中步骤7包括:
步骤S71、用户携带智能手机在室内移动过程中,利用所携带的智能手机内置的地磁检测模块实时收集地磁强度信息K(t);
步骤S72、根据地磁数据库中用户活动路径、每条路径上的节点以及每两个节点之间有的地磁参考点建立两个节点间的地磁参考点的地磁强度构建序列M(t),将实时收集到的地磁强度序列K(t)与M(t)进行KL散度计算:
其中,N为两个节点之间地磁参考点的个数,根据KL散度值获取相应的节点,将所述节点相连形成路径,将累计KL散度值最小时所在的用户可能活动路径确定为当前用户实际路径,实现室内移动测量。当KL散度值小于预设的阈值g时,判断当前用户的移动属于地磁数据库中相应的路径下的两个节点位置;否则,设备服务器端将不断搜寻,选择KL散度值最小的两个节点位置作为相应节点。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述方法包括建立室内三维模型、基于所述的室内三维模型构建用户活动路径上的地磁数据库、将实时测量的地磁参考点地磁强度信息序列和所述地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量。
所述建立室内三维模型包括:
步骤1、利用所述激光雷达和地磁一体化设备获取室内点云数据以及高分辨率的室内图像;
步骤2、将所述点云数据和所述高分辨率的室内图像进行多模态融合处理,获取兼有深度值信息和高分辨率的图像数据;
步骤3、获取室内常见物品图像数据集,构建深度神经网络模型RCNN;通过RCNN模型对所述高分辨率的室内图像进行目标检测,从而获取室内物品信息;
步骤4、对所述点云数据进行预处理、进行室内场景真实三维模型的重建;
步骤5、根据所述兼有深度值信息和高分辨率的图像数据,对步骤4的三维模型相应位置的物品进行标记,即将物品信息赋予所述室内三维模型;
步骤6、构建用户活动路径上的地磁数据库;
步骤7、将实时测量的地磁参考点地磁强度信息序列和步骤6地磁数据库中的地磁参考点信息序列进行相关性分析,当有车辆经过导致地磁强度变动时,根据地磁数据库中用户活动路径、每条路径上的节点以及每两个节点之间有的地磁参考点建立两个节点间的地磁参考点的地磁强度构建序列M(t),将实时收集到的地磁强度序列K(t)与M(t)进行KL散度计算:
其中,N为两个节点之间地磁参考点的个数,根据KL散度值获取相应的节点,将所述节点相连形成路径,将累计KL散度值最小时所在的用户可能活动路径确定为当前用户实际路径,其中获取节点的方法包括:当KL散度值小于预设的阈值g时,判断当前用户的移动属于地磁数据库中相应的路径下的两个节点位置;否则,设备服务器端将不断搜寻,选择KL散度值最小的两个节点位置作为相应节点;最终,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量。
2.如权利要求1所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述步骤1中利用所述激光雷达和地磁一体化设备获取室内点云数据以及高分辨率的室内图像包括:
步骤S11、将所述激光雷达和地磁一体化设备置于室内中央位置,通过调整所述激光雷达和地磁一体化设备的底座三角架,调整所述激光雷达和地磁一体化设备的高度;
步骤S12、利用所述激光雷达和地磁一体化设备中的空间信息扫描模块对目标物进行扫描成像,获取高密度、高精度的激光点云数据和目标高分辨率的目标图像;并将三维点云数据和图像数据存储在数据存储器中。
4.如权利要求1所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述步骤3中获取室内物品信息包括:
步骤S31、生成候选区域:将一张图像分割成小区域,按照合并规则合并所述小区域中可能性最高的两个区域:所述合并规则是优先合并颜色纹理相近的区域,合并后区域总面积减小;重复执行合并操作至直至整张图像合并成一个区域位置,一张图像生成2000-3000个候选区域,并输出所述候选区域生成。
步骤S32、对所述的候选区域进行特征提取,将所述图像归一化为224*224输入神经网络模型,所述神经网络的提取特征为4096维;
步骤S33、将深度网络输出的4096维特征送入全连接层进行分类;为每一类目标单独分配一个线性SVM分类器进行判别并输出分类结果。
5.如权利要求1所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述步骤4中对所述点云数据进行预处理、进行室内场景真实三维模型的重建包括:
步骤S41、点云拼接;
步骤S42、点云合并;
步骤S43、点云降噪。
6.如权利要求1所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述步骤5中将物品信息赋予三维模型包括:
步骤S51、利用Photoshop软件对所述高分辨率的室内图像进行矫正,将图片转化为正视投影图并进行裁剪、去杂色、平和色调等处理;
步骤S52、通过3DMax软件根据目标检测结果将贴图到对应物品的白膜上,若出现贴图扭曲错位现象,则对应添加UVW贴图坐标,调整纹理坐标与模型坐标,使几何模型与纹理数据匹配。
7.如权利要求1所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述步骤6中包括:
步骤S61、基于所述室内三维模型位置数据信息,对在室内用户的活动路径进行标注;
步骤S62、根据所述的活动路径生成地磁参考点,并计算地磁参考点的位置坐标,获取该点的地磁强度;
步骤S63、基于所述地磁参考点的位置坐标和所述地磁强度,构建用户活动路径上的地磁数据库;
所述步骤S61中对在室内用户的活动路径进行标注包括:
基于所述的室内三维模型位置信息,统计用户的所有可能活动路径,所述的用户活动路径数据表达式为:
{Index,{(xi,yi)node,i=1,2...I}}
其中,Index是用户活动路径的唯一标识号,(xi,yi)node是用户活动路径上的不同节点,在Index标号下的用户活动路径共有I个节点。
8.如权利要求7所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,进一步包括:
所述步骤S61中对在室内用户的活动路径进行标注包括获取地磁参考点:
根据预设的参数d来确定两个邻接节点间的地磁数据库的地磁参考点k,首先获取两个邻接节点间的地磁参考点总数N以及两个邻接节点的距离L,计算公式如下,
其中,(xnode1,ynode1)和(xnode1,ynode1)是两个用户活动路径上的两个邻接节点的坐标;
地磁参考点的空间位置坐标应(xk,yk)为:
所述步骤S62中根据所述的活动路径生成地磁参考点,并计算地磁参考点的位置坐标,获取该点的地磁强度包括:在获取地磁参考点的空间坐标后,模拟用户在室内的活动,通过所携带的地磁信号检测模块的设备,在用户活动路径上的地磁参考点采集地磁强度信号;
所述步骤S63中基于所述地磁参考点的位置坐标和所述地磁强度,构建用户活动路径上的地磁数据库包括:将所述的地磁参考点的空间坐标和地磁强度绑定,以用户活动路径为单位存储至服务器的地磁数据库中。
9.如权利要求1所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述步骤7中将实时测量的地磁参考点地磁强度信息序列和所述地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量包括:
步骤S71、用户携带智能手机在室内移动过程中,利用所携带的智能手机内置的地磁检测模块实时收集地磁强度信息K(t)。
10.一种获取多维信息的一体化设备与协同测量设备,采用如权利要求1-9中所述的方法,所述的获取室内多维信息的一体化设备包括:空间信息扫描模块、GNSS(GlobalNavigation Satellite System,全球导航卫星系统)信号接收模块、地磁信号检测模块、数据存储器;
所述的空间信息扫描模块、GNSS信号接收模块、地磁信号检测模块的输出端分别和数据存储器连接;所述信号处理模块还连接有输入/输出接口和双机协同接口模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110911933.6A CN113532424B (zh) | 2021-08-10 | 2021-08-10 | 一种获取多维信息的一体化设备与协同测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110911933.6A CN113532424B (zh) | 2021-08-10 | 2021-08-10 | 一种获取多维信息的一体化设备与协同测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113532424A true CN113532424A (zh) | 2021-10-22 |
CN113532424B CN113532424B (zh) | 2024-02-20 |
Family
ID=78091381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110911933.6A Active CN113532424B (zh) | 2021-08-10 | 2021-08-10 | 一种获取多维信息的一体化设备与协同测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113532424B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115291767A (zh) * | 2022-08-01 | 2022-11-04 | 北京奇岱松科技有限公司 | 物联网设备的控制方法、装置、电子设备及存储介质 |
CN117872389A (zh) * | 2024-01-19 | 2024-04-12 | 武汉万曦智能科技有限公司 | 场车无线测速方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10024664B1 (en) * | 2014-09-30 | 2018-07-17 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Range and intensity image-based terrain and vehicle relative pose estimation system |
CN108801265A (zh) * | 2018-06-08 | 2018-11-13 | 武汉大学 | 多维信息同步采集、定位与位置服务装置及系统和方法 |
KR101971734B1 (ko) * | 2018-07-26 | 2019-04-23 | 영남대학교 산학협력단 | 실내 측위 장치 및 방법 |
CN109737968A (zh) * | 2019-03-07 | 2019-05-10 | 中山大学 | 基于二维LiDAR和智能手机的室内融合定位方法 |
CN111126304A (zh) * | 2019-12-25 | 2020-05-08 | 鲁东大学 | 一种基于室内自然场景图像深度学习的增强现实导航方法 |
CN111156983A (zh) * | 2019-11-19 | 2020-05-15 | 石化盈科信息技术有限责任公司 | 目标设备定位方法、装置、存储介质以及计算机设备 |
WO2020237693A1 (zh) * | 2019-05-31 | 2020-12-03 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
KR20210003065A (ko) * | 2020-04-14 | 2021-01-11 | 네이버랩스 주식회사 | 데이터 수집 방법 및 시스템 |
CN113066162A (zh) * | 2021-03-12 | 2021-07-02 | 武汉大学 | 一种用于电磁计算的城市环境快速建模方法 |
-
2021
- 2021-08-10 CN CN202110911933.6A patent/CN113532424B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10024664B1 (en) * | 2014-09-30 | 2018-07-17 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Range and intensity image-based terrain and vehicle relative pose estimation system |
CN108801265A (zh) * | 2018-06-08 | 2018-11-13 | 武汉大学 | 多维信息同步采集、定位与位置服务装置及系统和方法 |
KR101971734B1 (ko) * | 2018-07-26 | 2019-04-23 | 영남대학교 산학협력단 | 실내 측위 장치 및 방법 |
CN109737968A (zh) * | 2019-03-07 | 2019-05-10 | 中山大学 | 基于二维LiDAR和智能手机的室内融合定位方法 |
WO2020237693A1 (zh) * | 2019-05-31 | 2020-12-03 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
CN111156983A (zh) * | 2019-11-19 | 2020-05-15 | 石化盈科信息技术有限责任公司 | 目标设备定位方法、装置、存储介质以及计算机设备 |
CN111126304A (zh) * | 2019-12-25 | 2020-05-08 | 鲁东大学 | 一种基于室内自然场景图像深度学习的增强现实导航方法 |
KR20210003065A (ko) * | 2020-04-14 | 2021-01-11 | 네이버랩스 주식회사 | 데이터 수집 방법 및 시스템 |
CN113066162A (zh) * | 2021-03-12 | 2021-07-02 | 武汉大学 | 一种用于电磁计算的城市环境快速建模方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115291767A (zh) * | 2022-08-01 | 2022-11-04 | 北京奇岱松科技有限公司 | 物联网设备的控制方法、装置、电子设备及存储介质 |
CN117872389A (zh) * | 2024-01-19 | 2024-04-12 | 武汉万曦智能科技有限公司 | 场车无线测速方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113532424B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Applicability of personal laser scanning in forestry inventory | |
CN109285220B (zh) | 一种三维场景地图的生成方法、装置、设备及存储介质 | |
US10043097B2 (en) | Image abstraction system | |
US20190303725A1 (en) | Neural network training system | |
US10297074B2 (en) | Three-dimensional modeling from optical capture | |
CN111709981A (zh) | 特征线融合的激光点云与模拟图像的配准方法 | |
CN111028358B (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
Chen et al. | Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework | |
CN112818925B (zh) | 一种城市建筑和树冠识别方法 | |
CN102959946A (zh) | 基于相关3d点云数据来扩充图像数据的技术 | |
DE112011102132T5 (de) | Verfahren und Vorrichtung für eine imagebasierte Positionierung | |
CN111915723A (zh) | 一种用于室内的三维全景构建方法和系统 | |
CN109883418A (zh) | 一种室内定位方法及装置 | |
CN111915517B (zh) | 适用于室内光照不利环境下rgb-d相机全局定位方法 | |
CN113532424B (zh) | 一种获取多维信息的一体化设备与协同测量方法 | |
Kaiser et al. | Automatic co-registration of photogrammetric point clouds with digital building models | |
Özdemir et al. | A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment | |
Jiang et al. | Determination of construction site elevations using drone technology | |
CN113160292B (zh) | 一种基于智能移动终端的激光雷达点云数据三维建模装置及方法 | |
CN110021041B (zh) | 基于双目相机的无人驾驶场景增量式网格化结构重建方法 | |
WO2020124091A1 (en) | Automatic fine-grained radio map construction and adaptation | |
CN117830772A (zh) | 基于点云图像融合的局部地图生成方法及系统 | |
CN116863083A (zh) | 变电站三维点云数据的处理方法和装置 | |
CN115019167A (zh) | 基于移动终端的融合定位方法、系统、设备及存储介质 | |
CN109813321B (zh) | 一种基于用户行为分析的室内地图绘制方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |