CN113532424A - 一种获取多维信息的一体化设备与协同测量方法 - Google Patents

一种获取多维信息的一体化设备与协同测量方法 Download PDF

Info

Publication number
CN113532424A
CN113532424A CN202110911933.6A CN202110911933A CN113532424A CN 113532424 A CN113532424 A CN 113532424A CN 202110911933 A CN202110911933 A CN 202110911933A CN 113532424 A CN113532424 A CN 113532424A
Authority
CN
China
Prior art keywords
geomagnetic
indoor
information
reference point
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110911933.6A
Other languages
English (en)
Other versions
CN113532424B (zh
Inventor
李卫红
张可文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Normal University Weizhi Information Technology Co ltd
South China Normal University Qingyuan Institute of Science and Technology Innovation Co Ltd
Original Assignee
Guangdong Normal University Weizhi Information Technology Co ltd
South China Normal University Qingyuan Institute of Science and Technology Innovation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Normal University Weizhi Information Technology Co ltd, South China Normal University Qingyuan Institute of Science and Technology Innovation Co Ltd filed Critical Guangdong Normal University Weizhi Information Technology Co ltd
Priority to CN202110911933.6A priority Critical patent/CN113532424B/zh
Publication of CN113532424A publication Critical patent/CN113532424A/zh
Application granted granted Critical
Publication of CN113532424B publication Critical patent/CN113532424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/04Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means
    • G01C21/08Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means involving use of the magnetic field of the earth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请提出了一种用于获取室内多维信息的一体化设备与协同测量方法,该设备包括:空间信息扫描模块、GNSS(Global Navigation Satellite System,全球导航卫星系统)信号接收模块、地磁信号检测模块、数据存储器;一种基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法包括建立室内三维模型、基于所述的室内三维模型构建用户活动路径上的地磁数据库、将实时测量的地磁参考点地磁强度信息序列和所述地磁数据库中的地磁参考点信息序列进行相关性分析,当测量的室内环境容易受到外界干扰时,通过重新调整地磁与激光雷达、使其相互验证,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量,提高室内空间三维信息和地磁信息的扫描的效率和准确性。

Description

一种获取多维信息的一体化设备与协同测量方法
技术领域
本发明涉及激光雷达、地磁测量领域,尤其涉及基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法和设备。
背景技术
随着现代社会的发展,对于个性化的位置信息服务需求大幅增长。室外多维信息能够通过GPS、北斗等卫星导航系统(Global Navigation Satellite System,GNSS)将定位精度准确到米;而室内环境中GNSS信号无法被直接获取,因此无法精确定位。对于现代人而言,80%以上的活动空间集中在室内。因此,对于基于室内定位技术的准确度和效率的需求越来越迫切。在诸多可以提供室内定位信息的技术中,利用地磁定位的优势在于无需布设定位信息源,成本较低,广泛适用于大型建筑。但是地磁会因为车辆的经过而发生改变、导致测量不准确。
发明内容
有鉴于此,本申请提出了一种用于获取室内多维信息的一体化设备与协同测量方法,当测量的室内环境容易受到外界干扰:如邻接的房间时,通过重新调整地磁与激光雷达、使其相互验证,提高室内空间三维信息和地磁信息的扫描的效率和准确性。
一种基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法包括建立室内三维模型、基于所述的室内三维模型构建用户活动路径上的地磁数据库、将实时测量的地磁参考点地磁强度信息序列和所述地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量。
具体地包括:
步骤1、利用所述激光雷达和地磁一体化设备获取室内点云数据以及高分辨率的室内图像;
步骤2、将所述点云数据和所述高分辨率的室内图像进行多模态融合处理,获取兼有深度值信息和高分辨率的图像数据;
步骤3、获取室内常见物品图像数据集,构建深度神经网络模型RCNN;通过RCNN模型对所述高分辨率的室内图像进行目标检测,从而获取室内物品信息;
步骤4、对所述点云数据进行预处理、进行室内场景真实三维模型的重建;
步骤5、根据所述兼有深度值信息和高分辨率的图像数据,对步骤4的三维模型相应位置的物品进行标记,即将物品信息赋予所述室内三维模型;
步骤6、构建用户活动路径上的地磁数据库;
步骤7、将实时测量的地磁参考点地磁强度信息序列和步骤6地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量。
本申请提出了一种获取室内多维信息的一体化设备,包括:空间信息扫描模块、GNSS(Global Navigation Satellite System,全球导航卫星系统)信号接收模块、地磁信号检测模块、数据存储器;
所述的空间信息扫描模块、GNSS信号接收模块、地磁信号检测模块的输出端分别和数据存储器连接;所述信号处理模块还连接有输入/输出接口和双机协同接口模块。
有益的技术效果:本发明提供了一种获取多维信息的一体化设备与协同测量方法,克服了现有地磁检测技术中地磁会因为外界干扰,如车辆的经过导致测量不准确等问题,重新调整地磁与激光雷达、相互验证,使之更加方便和避免地磁测量的错误,提高室内空间三维信息和地磁信息的扫描的效率和准确性。
附图说明
图1是本发明实施例提供的方法的流程图
图2是本发明实施例提供的装置的结构示意图
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明采用地磁匹配定位技术,将实时测量的地磁参考点地磁强度信息序列和预先建立的地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量。本发明所提出的室内移动测量方法基于预先构建的用户活动路径上的地磁数据库与实时测量的地磁参考点地磁强度信息序列避免地磁测量的错误,提高室内空间三维信息和地磁信息的扫描的效率和准确性。
图1是本发明实施例提供的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法的流程图,图2中获取室内多维信息的一体化设备的结构图对本申请的流程图进行进一步的解释,获取室内多维信息的一体化设备包括:空间信息扫描模块、GNSS(Global Navigation Satellite System,全球导航卫星系统)信号接收模块、地磁信号检测模块、数据存储器;空间信息扫描模块、GNSS信号接收模块、地磁信号检测模块的输出端分别和数据存储器连接;信号处理模块还连接有输入/输出接口和双机协同接口模块。
本发明所提出的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法包括建立室内三维模型、基于所述的室内三维模型构建用户活动路径上的地磁数据库、将实时测量的地磁参考点地磁强度信息序列和所述地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量,具体包括:
步骤1、利用所述激光雷达和地磁一体化设备获取室内点云数据以及高分辨率的室内图像;
其中步骤1包括:
步骤S11、将所述激光雷达和地磁一体化设备置于室内中央位置,通过调整所述激光雷达和地磁一体化设备的底座三角架,调整所述激光雷达和地磁一体化设备的高度;
步骤S22、利用所述激光雷达和地磁一体化设备中的空间信息扫描模块对目标物进行扫描成像,获取高密度、高精度的激光点云数据和目标高分辨率的目标图像;并将三维点云数据和图像数据存储在数据存储器中。
步骤2、将所述点云数据和所述高分辨率的室内图像进行多模态融合处理,获取兼有深度值信息和高分辨率的图像数据;
随着当前室内定位的研究不断深入,单一的传感器没办法能够全部应对复杂的现实环境,为了解决检测的精度和可以更加鲁棒的问题,多模态的方法是当下最优的解决方案。所谓多模态融合,是指采取多种传感器数据作为深度学习网络的输入,多模态融合的好处多种传感器获取到的信息存在互补的地方。本发明将步骤1获取的点云数据和高分辨率的目标图像进行多模态融合处理,获取兼有深度值信息和高分辨率的图像数据。本发明基于共线方程实现点云和图像对应像素上相应的RGB值的精确匹配;所述共线方程为:
Figure 767915DEST_PATH_IMAGE001
其中,(X, Y, Z) 为激光点在像平面坐标,待求解(x,y)为激光点在像平面坐标系下的对应的像素坐标;Xs、Ys、Zs为投影中心在像平面坐标系中的坐标,f为摄影机主距;a1-a3,b1-b3,c1-c3为变换系数。
步骤3、获取室内常见物品图像数据集,构建深度神经网络模型RCNN;通过RCNN模型对所述高分辨率的室内图像进行目标检测,从而获取室内物品信息;
其中步骤3包括:
步骤S31、生成候选区域:将一张图像分割成小区域,按照合并规则合并所述小区域中可能性最高的两个区域:所述合并规则是优先合并颜色纹理相近的区域,合并后区域总面积减小;重复执行合并操作至直至整张图像合并成一个区域位置,一张图像生成2000-3000个候选区域,并输出所述候选区域生成。
步骤S32、对所述的候选区域进行特征提取,将所述图像归一化为224*224输入神经网络模型,所述神经网络的提取特征为4096维;
步骤S33、将深度网络输出的4096维特征送入全连接层进行分类;为每一类目标单独分配一个线性SVM分类器进行判别并输出分类结果。
步骤4、对所述点云数据进行预处理、进行室内场景真实三维模型的重建;
未经过处理的点云数据是散乱无序排列的,无法进行建模,只有经过点云拼接、合并、降噪等处理后,才能将数据导入3DMax软件中进行建模。现行的地面三维激光扫描仪一般都具有数据的后处理软件,本发明中采用的是中海达扫描仪数据处理软件HD_3LS_SCENE,将数据导入到HD_3LS_SCENE软件中,进行相应的点云拼接、合并和降噪等处理,就可以得到高质量的点云建模数据。
处理过程中,首先对各站点云进行拼接,站点间的拼接精度要达到0.05m。其次是点云合并,相邻两站间有10%以上的重叠区,点云合并可以保证结构不变的情况下,有效地减少数据量。最后进行点云降噪,将与对象无关的点云进行删减剔除,提高点云质量。
包括步骤S41、点云拼接,三维激光扫描仪采用分站式的作业方式,获得的每一站数据都有自己独立的坐标系统,要想获得全方位的点云数据,就必须将他们配准到一个统一坐标系下。外业扫描得到的点云数据在导入软件后,首先要进行数据拼接,即把多站扫描的点云数据转化到同一坐标系中,采用公共重叠区域的点云拼接,形成一个整体。常用的拼接方法有:标靶拼接、同名点拼接、视图拼接、标靶与同名点的混合拼接和已知控制点的拼接。本文采用标靶和同名点的混合拼接,然后在HD_3LS_SCENE软件中进行拼接。拼接时采用先两两测站进行拼接,然后再把拼接好的结果与另外两站的拼接结果进行拼接,
步骤S42、 点云合并,由于分站式扫描,产生了一定的重叠区域;扫描仪与目标的距离也会影响扫描的数据量,一般距离越近,点云密度越大,距离越远,点云密度越小;数据拼接过程中未减少数据量,也会造成数据冗余。而获取的点云数据量过大,对硬件设施要求较高降低了数据处理效率。因此,有必要在不影响数据精度的情况下,对点云数据进行精简,即对重叠区域合并。在HD _3LS_SCENE软件中,执行合并命令,系统将自动生成简化后的点云数据,经点云合并操作后,既不影响原有的结构,又减少了数据存储空间,提高了数据处理效率。
步骤S43、点云降噪,三维激光扫描仪所得到的原始点云数据,是一个分布散乱的空间数据集合。在扫描中,所得点云数据会受到周围环境诸多因素的影响。虽然经过点云合并处理后,点云数据得到了大量删减,但合并未改变原有数据的纹理结构,原有的噪声点仍然存在。噪声点不仅会占用存储空间,增加计算机的处理时间,还会对点云的分割、识别和建模等产生影响,应对其剔除。在HD_3LS_SCENE软件中,先人为删除大范围噪声点云,再通过软件自动识别噪声点的方法删除零散的噪声点,通过人工和计算机软件的交互操作,切换不同视角,剔除所有的噪声点。
三维建模主要包括三维几何建模和纹理贴图两个部分,三维几何建模构造出室内的整体构造,纹理贴图可以构造出真实感得三维模型。镶嵌建模,与传统的量取尺寸建模不同,在3DMax 2015及以上的高版本中,可以将拼接好的点云数据导入工作面,再根据拼接好的点云结构特征,设计合理的镶嵌模块,进行分块建模。分块建模可以很好地构造复杂模块的细节,且不破坏整体结构。经镶嵌分块建模后,再将所有块状模型进行组合,构造出完整的三维立体模型,最后将点云数据隐藏,便可得到清晰的白膜。
步骤5、根据所述兼有深度值信息和高分辨率的图像数据,对步骤4的三维模型相应位置的物品进行标记,即将物品信息赋予所述室内三维模型。
其中步骤5包括:
步骤S51、利用Photoshop软件对所述高分辨率的室内图像进行矫正,将图片转化为正视投影图并进行裁剪、去杂色、平和色调等处理;
步骤S52、通过3DMax软件根据目标检测结果将贴图到对应物品的白膜上,若出现贴图扭曲错位现象,则对应添加UVW 贴图坐标,调整纹理坐标与模型坐标,使几何模型与纹理数据匹配。
步骤6、构建用户活动路径上的地磁数据库;
其中步骤6包括:
步骤S61、基于所述室内三维模型位置数据信息,对在室内用户的活动路径进行标注;
基于所述的室内三维模型位置信息,统计用户的所有可能活动路径,所述的用户活动路径数据表达式为:
Figure 634240DEST_PATH_IMAGE002
其中,Index是用户活动路径的唯一标识号,
Figure 769686DEST_PATH_IMAGE003
是用户活动路径上的不同节 点,在Index标号下的用户活动路径共有I个节点。
还包括根据预设的参数d来确定两个邻接节点间的地磁数据库的地磁参考点k,首先获取两个邻接节点间的地磁参考点总数N以及两个邻接节点的距离L,计算公式如下,
Figure 379659DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
其中,(
Figure 799008DEST_PATH_IMAGE006
)和(
Figure 977179DEST_PATH_IMAGE006
)是两个用户活动路径上的两个邻接节点的 坐标;
地磁参考点的空间位置坐标应(
Figure DEST_PATH_IMAGE007
)为:
Figure 114769DEST_PATH_IMAGE008
,k=1,2,…[N]
Figure 528432DEST_PATH_IMAGE009
, k=1,2,…[N]。
步骤S62、根据所述的活动路径生成地磁参考点,并计算地磁参考点的位置坐标,获取该点的地磁强度;
根据所述的活动路径生成地磁参考点,并计算地磁参考点的位置坐标,获取该点的地磁强度包括:在获取地磁参考点的空间坐标后,模拟用户在室内的活动,通过所携带的地磁信号检测模块的设备,在用户活动路径上的地磁参考点采集地磁强度信号
步骤S63、基于所述地磁参考点的位置坐标和所述地磁强度,构建用户活动路径上的地磁数据库;
构建用户活动路径上的地磁数据库包括:将所述的地磁参考点的空间坐标和地磁强度绑定,以用户活动路径为单位存储至服务器的地磁数据库中。
步骤7、将实时测量的地磁参考点地磁强度信息序列和步骤6地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量。
用户携带智能手机在室内移动时,智能手机内置的地磁检测模块实时收集地磁强度信息K(t)。鉴于地磁信号本身容易受到金属物的干扰,假若用户周边突然出现驶过的汽车,势必会影响到地磁强度,因此收集到的地磁强度K(t)可能不会与步骤6构建的地磁数据库中的地磁序列达成一致匹配。然后这种干扰是瞬时的,驶过的汽车等干扰是无法长期存在,也即收集到地磁强度序列K(t)在大致的分布上应与地磁数据库中的某个序列相似。基于此,本发明利用KL散度来计算实时检测的地磁强度序列K(t)与地磁数据库中的序列M(t)的相似,进而获取数据库中相应序列的空间坐标,从而实现室内移动测量。
其中步骤7包括:
步骤S71、用户携带智能手机在室内移动过程中,利用所携带的智能手机内置的地磁检测模块实时收集地磁强度信息K(t);
步骤S72、根据地磁数据库中用户活动路径、每条路径上的节点以及每两个节点之间有的地磁参考点建立两个节点间的地磁参考点的地磁强度构建序列M(t),将实时收集到的地磁强度序列K(t)与M(t)进行KL散度计算:
Figure 287441DEST_PATH_IMAGE010
其中,N为两个节点之间地磁参考点的个数,根据KL散度值获取相应的节点,将所述节点相连形成路径,将累计KL散度值最小时所在的用户可能活动路径确定为当前用户实际路径,实现室内移动测量。当KL散度值小于预设的阈值g时,判断当前用户的移动属于地磁数据库中相应的路径下的两个节点位置;否则,设备服务器端将不断搜寻,选择KL散度值最小的两个节点位置作为相应节点。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述方法包括建立室内三维模型、基于所述的室内三维模型构建用户活动路径上的地磁数据库、将实时测量的地磁参考点地磁强度信息序列和所述地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量。
所述建立室内三维模型包括:
步骤1、利用所述激光雷达和地磁一体化设备获取室内点云数据以及高分辨率的室内图像;
步骤2、将所述点云数据和所述高分辨率的室内图像进行多模态融合处理,获取兼有深度值信息和高分辨率的图像数据;
步骤3、获取室内常见物品图像数据集,构建深度神经网络模型RCNN;通过RCNN模型对所述高分辨率的室内图像进行目标检测,从而获取室内物品信息;
步骤4、对所述点云数据进行预处理、进行室内场景真实三维模型的重建;
步骤5、根据所述兼有深度值信息和高分辨率的图像数据,对步骤4的三维模型相应位置的物品进行标记,即将物品信息赋予所述室内三维模型;
步骤6、构建用户活动路径上的地磁数据库;
步骤7、将实时测量的地磁参考点地磁强度信息序列和步骤6地磁数据库中的地磁参考点信息序列进行相关性分析,当有车辆经过导致地磁强度变动时,根据地磁数据库中用户活动路径、每条路径上的节点以及每两个节点之间有的地磁参考点建立两个节点间的地磁参考点的地磁强度构建序列M(t),将实时收集到的地磁强度序列K(t)与M(t)进行KL散度计算:
Figure FDA0003204079760000011
其中,N为两个节点之间地磁参考点的个数,根据KL散度值获取相应的节点,将所述节点相连形成路径,将累计KL散度值最小时所在的用户可能活动路径确定为当前用户实际路径,其中获取节点的方法包括:当KL散度值小于预设的阈值g时,判断当前用户的移动属于地磁数据库中相应的路径下的两个节点位置;否则,设备服务器端将不断搜寻,选择KL散度值最小的两个节点位置作为相应节点;最终,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量。
2.如权利要求1所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述步骤1中利用所述激光雷达和地磁一体化设备获取室内点云数据以及高分辨率的室内图像包括:
步骤S11、将所述激光雷达和地磁一体化设备置于室内中央位置,通过调整所述激光雷达和地磁一体化设备的底座三角架,调整所述激光雷达和地磁一体化设备的高度;
步骤S12、利用所述激光雷达和地磁一体化设备中的空间信息扫描模块对目标物进行扫描成像,获取高密度、高精度的激光点云数据和目标高分辨率的目标图像;并将三维点云数据和图像数据存储在数据存储器中。
3.如权利要求1所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述步骤2中将所述点云数据和所述高分辨率的室内图像进行多模态融合处理,获取兼有深度值信息和高分辨率的图像数据包括:
基于共线方程实现点云和图像对应像素上相应的RGB值的精确匹配;所述共线方程为:
Figure FDA0003204079760000021
Figure FDA0003204079760000022
其中,(X,Y,Z)为激光点在像平面坐标,待求解(x,y)为激光点在像平面坐标系下的对应的像素坐标;Xs、Ys、Zs为投影中心在像平面坐标系中的坐标,f为摄影机主距;
a1-a3,b1-b3,c1-c3为变换系数。
4.如权利要求1所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述步骤3中获取室内物品信息包括:
步骤S31、生成候选区域:将一张图像分割成小区域,按照合并规则合并所述小区域中可能性最高的两个区域:所述合并规则是优先合并颜色纹理相近的区域,合并后区域总面积减小;重复执行合并操作至直至整张图像合并成一个区域位置,一张图像生成2000-3000个候选区域,并输出所述候选区域生成。
步骤S32、对所述的候选区域进行特征提取,将所述图像归一化为224*224输入神经网络模型,所述神经网络的提取特征为4096维;
步骤S33、将深度网络输出的4096维特征送入全连接层进行分类;为每一类目标单独分配一个线性SVM分类器进行判别并输出分类结果。
5.如权利要求1所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述步骤4中对所述点云数据进行预处理、进行室内场景真实三维模型的重建包括:
步骤S41、点云拼接;
步骤S42、点云合并;
步骤S43、点云降噪。
6.如权利要求1所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述步骤5中将物品信息赋予三维模型包括:
步骤S51、利用Photoshop软件对所述高分辨率的室内图像进行矫正,将图片转化为正视投影图并进行裁剪、去杂色、平和色调等处理;
步骤S52、通过3DMax软件根据目标检测结果将贴图到对应物品的白膜上,若出现贴图扭曲错位现象,则对应添加UVW贴图坐标,调整纹理坐标与模型坐标,使几何模型与纹理数据匹配。
7.如权利要求1所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述步骤6中包括:
步骤S61、基于所述室内三维模型位置数据信息,对在室内用户的活动路径进行标注;
步骤S62、根据所述的活动路径生成地磁参考点,并计算地磁参考点的位置坐标,获取该点的地磁强度;
步骤S63、基于所述地磁参考点的位置坐标和所述地磁强度,构建用户活动路径上的地磁数据库;
所述步骤S61中对在室内用户的活动路径进行标注包括:
基于所述的室内三维模型位置信息,统计用户的所有可能活动路径,所述的用户活动路径数据表达式为:
{Index,{(xi,yi)node,i=1,2...I}}
其中,Index是用户活动路径的唯一标识号,(xi,yi)node是用户活动路径上的不同节点,在Index标号下的用户活动路径共有I个节点。
8.如权利要求7所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,进一步包括:
所述步骤S61中对在室内用户的活动路径进行标注包括获取地磁参考点:
根据预设的参数d来确定两个邻接节点间的地磁数据库的地磁参考点k,首先获取两个邻接节点间的地磁参考点总数N以及两个邻接节点的距离L,计算公式如下,
Figure FDA0003204079760000041
Figure FDA0003204079760000042
其中,(xnode1,ynode1)和(xnode1,ynode1)是两个用户活动路径上的两个邻接节点的坐标;
地磁参考点的空间位置坐标应(xk,yk)为:
Figure FDA0003204079760000043
Figure FDA0003204079760000044
所述步骤S62中根据所述的活动路径生成地磁参考点,并计算地磁参考点的位置坐标,获取该点的地磁强度包括:在获取地磁参考点的空间坐标后,模拟用户在室内的活动,通过所携带的地磁信号检测模块的设备,在用户活动路径上的地磁参考点采集地磁强度信号;
所述步骤S63中基于所述地磁参考点的位置坐标和所述地磁强度,构建用户活动路径上的地磁数据库包括:将所述的地磁参考点的空间坐标和地磁强度绑定,以用户活动路径为单位存储至服务器的地磁数据库中。
9.如权利要求1所述的基于激光雷达和地磁一体化设备协同测量空间三维信息与地磁信息的方法,所述步骤7中将实时测量的地磁参考点地磁强度信息序列和所述地磁数据库中的地磁参考点信息序列进行相关性分析,估计出用户的位置坐标和行动轨迹,从而实现室内移动测量包括:
步骤S71、用户携带智能手机在室内移动过程中,利用所携带的智能手机内置的地磁检测模块实时收集地磁强度信息K(t)。
10.一种获取多维信息的一体化设备与协同测量设备,采用如权利要求1-9中所述的方法,所述的获取室内多维信息的一体化设备包括:空间信息扫描模块、GNSS(GlobalNavigation Satellite System,全球导航卫星系统)信号接收模块、地磁信号检测模块、数据存储器;
所述的空间信息扫描模块、GNSS信号接收模块、地磁信号检测模块的输出端分别和数据存储器连接;所述信号处理模块还连接有输入/输出接口和双机协同接口模块。
CN202110911933.6A 2021-08-10 2021-08-10 一种获取多维信息的一体化设备与协同测量方法 Active CN113532424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110911933.6A CN113532424B (zh) 2021-08-10 2021-08-10 一种获取多维信息的一体化设备与协同测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110911933.6A CN113532424B (zh) 2021-08-10 2021-08-10 一种获取多维信息的一体化设备与协同测量方法

Publications (2)

Publication Number Publication Date
CN113532424A true CN113532424A (zh) 2021-10-22
CN113532424B CN113532424B (zh) 2024-02-20

Family

ID=78091381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110911933.6A Active CN113532424B (zh) 2021-08-10 2021-08-10 一种获取多维信息的一体化设备与协同测量方法

Country Status (1)

Country Link
CN (1) CN113532424B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115291767A (zh) * 2022-08-01 2022-11-04 北京奇岱松科技有限公司 物联网设备的控制方法、装置、电子设备及存储介质
CN117872389A (zh) * 2024-01-19 2024-04-12 武汉万曦智能科技有限公司 场车无线测速方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10024664B1 (en) * 2014-09-30 2018-07-17 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Range and intensity image-based terrain and vehicle relative pose estimation system
CN108801265A (zh) * 2018-06-08 2018-11-13 武汉大学 多维信息同步采集、定位与位置服务装置及系统和方法
KR101971734B1 (ko) * 2018-07-26 2019-04-23 영남대학교 산학협력단 실내 측위 장치 및 방법
CN109737968A (zh) * 2019-03-07 2019-05-10 中山大学 基于二维LiDAR和智能手机的室内融合定位方法
CN111126304A (zh) * 2019-12-25 2020-05-08 鲁东大学 一种基于室内自然场景图像深度学习的增强现实导航方法
CN111156983A (zh) * 2019-11-19 2020-05-15 石化盈科信息技术有限责任公司 目标设备定位方法、装置、存储介质以及计算机设备
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及系统
KR20210003065A (ko) * 2020-04-14 2021-01-11 네이버랩스 주식회사 데이터 수집 방법 및 시스템
CN113066162A (zh) * 2021-03-12 2021-07-02 武汉大学 一种用于电磁计算的城市环境快速建模方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10024664B1 (en) * 2014-09-30 2018-07-17 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Range and intensity image-based terrain and vehicle relative pose estimation system
CN108801265A (zh) * 2018-06-08 2018-11-13 武汉大学 多维信息同步采集、定位与位置服务装置及系统和方法
KR101971734B1 (ko) * 2018-07-26 2019-04-23 영남대학교 산학협력단 실내 측위 장치 및 방법
CN109737968A (zh) * 2019-03-07 2019-05-10 中山大学 基于二维LiDAR和智能手机的室内融合定位方法
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及系统
CN111156983A (zh) * 2019-11-19 2020-05-15 石化盈科信息技术有限责任公司 目标设备定位方法、装置、存储介质以及计算机设备
CN111126304A (zh) * 2019-12-25 2020-05-08 鲁东大学 一种基于室内自然场景图像深度学习的增强现实导航方法
KR20210003065A (ko) * 2020-04-14 2021-01-11 네이버랩스 주식회사 데이터 수집 방법 및 시스템
CN113066162A (zh) * 2021-03-12 2021-07-02 武汉大学 一种用于电磁计算的城市环境快速建模方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115291767A (zh) * 2022-08-01 2022-11-04 北京奇岱松科技有限公司 物联网设备的控制方法、装置、电子设备及存储介质
CN117872389A (zh) * 2024-01-19 2024-04-12 武汉万曦智能科技有限公司 场车无线测速方法及系统

Also Published As

Publication number Publication date
CN113532424B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
Chen et al. Applicability of personal laser scanning in forestry inventory
CN109285220B (zh) 一种三维场景地图的生成方法、装置、设备及存储介质
US10043097B2 (en) Image abstraction system
US20190303725A1 (en) Neural network training system
US10297074B2 (en) Three-dimensional modeling from optical capture
CN111709981A (zh) 特征线融合的激光点云与模拟图像的配准方法
CN111028358B (zh) 室内环境的增强现实显示方法、装置及终端设备
Chen et al. Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework
CN112818925B (zh) 一种城市建筑和树冠识别方法
CN102959946A (zh) 基于相关3d点云数据来扩充图像数据的技术
DE112011102132T5 (de) Verfahren und Vorrichtung für eine imagebasierte Positionierung
CN111915723A (zh) 一种用于室内的三维全景构建方法和系统
CN109883418A (zh) 一种室内定位方法及装置
CN111915517B (zh) 适用于室内光照不利环境下rgb-d相机全局定位方法
CN113532424B (zh) 一种获取多维信息的一体化设备与协同测量方法
Kaiser et al. Automatic co-registration of photogrammetric point clouds with digital building models
Özdemir et al. A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment
Jiang et al. Determination of construction site elevations using drone technology
CN113160292B (zh) 一种基于智能移动终端的激光雷达点云数据三维建模装置及方法
CN110021041B (zh) 基于双目相机的无人驾驶场景增量式网格化结构重建方法
WO2020124091A1 (en) Automatic fine-grained radio map construction and adaptation
CN117830772A (zh) 基于点云图像融合的局部地图生成方法及系统
CN116863083A (zh) 变电站三维点云数据的处理方法和装置
CN115019167A (zh) 基于移动终端的融合定位方法、系统、设备及存储介质
CN109813321B (zh) 一种基于用户行为分析的室内地图绘制方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant