CN115326835B - 圆筒内表面检测方法、可视化方法以及检测系统 - Google Patents

圆筒内表面检测方法、可视化方法以及检测系统 Download PDF

Info

Publication number
CN115326835B
CN115326835B CN202211254437.9A CN202211254437A CN115326835B CN 115326835 B CN115326835 B CN 115326835B CN 202211254437 A CN202211254437 A CN 202211254437A CN 115326835 B CN115326835 B CN 115326835B
Authority
CN
China
Prior art keywords
point cloud
cylinder
cylindrical
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211254437.9A
Other languages
English (en)
Other versions
CN115326835A (zh
Inventor
崔超
徐健
周美兰
陆振
李振国
李正明
陆虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huiding Zhilian Equipment Technology Jiangsu Co ltd
Original Assignee
Huiding Zhilian Equipment Technology Jiangsu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huiding Zhilian Equipment Technology Jiangsu Co ltd filed Critical Huiding Zhilian Equipment Technology Jiangsu Co ltd
Priority to CN202211254437.9A priority Critical patent/CN115326835B/zh
Publication of CN115326835A publication Critical patent/CN115326835A/zh
Application granted granted Critical
Publication of CN115326835B publication Critical patent/CN115326835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
    • G01N2021/9548—Scanning the interior of a cylinder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种圆筒表内面检测方法、可视化方法以及检测系统，其中所述圆筒内表面检测方法包括如下步骤：（a）扫描所述圆筒内表面，以获取由3D点云数据组成的点云数据集合；（b）拼接所述点云数据集合中的所述3D点云数据成圆柱模型；以及（c）判断当前点是否是缺陷点。

Description

圆筒内表面检测方法、可视化方法以及检测系统
技术领域
本发明涉及视觉检测技术领域，尤其涉及一种圆筒内表面检测方法、可视化方法以及检测系统。
背景技术
在工业应用中，圆筒型零件随处可见，如圆筒管道、圆筒导弹等。由于材料腐蚀、摩擦以及制造过程中不可控制等原因，物体表面易产生变形、脱落等情形，因此需要定期对物体表面进行检测。特别地，对于一些精密零件需要对圆筒的内表面和外表面做出缺陷检测，以符合设备需要，其中缺陷检测是指检测物体表面的缺陷，如凸起、凹坑、划痕等。物体表面的缺陷检测对生产过程的安全性和避免经济损失具有重大意义。
圆筒零件的表面缺陷检测，特别是内表面的缺陷检测具有更大的难度，对于一些精密的圆筒形部件，由于筒内空间较小，无法将全景相机等大型检测设备放入到圆筒内部。现有的设备内表面检测方法主要有：射线检测、超声检测等。这些方法需要在设备外表面多次发射和接收信号才能完成设备的内表面缺陷检测，具有检测效率低及不可见等特征。
另外，现有技术的检测方法无法实现圆筒内部的可视化，也就是说，现有技术的检测方法和检测设备仅仅对圆筒内部的缺陷类型进行检测，而无法提供出缺陷的精确位置，这也给检测后的结果带来不确定性。用户也很难根据检测结果针对性地修复圆筒内部的缺陷。
发明内容
本发明的一个主要优势在于提供一种圆筒内表面检测方法、可视化方法以及检测系统，其中所述圆筒内表面检测方法是基于线结构光的视觉检测技术可以获取圆筒内表面的三维点云数据，对圆筒三维点云数据进行缺陷检测与纹理映射，实现圆筒内壁的可视化。
本发明的另一个优势在于提供一种圆筒内表面检测方法、可视化方法以及检测系统，其中所述圆筒内表面检测方法是基于三维点云数据的圆筒内表面缺陷检测方法，实现圆筒内、外表面缺陷检测的自动化及可视化。
本发明的另一个优势在于提供一种圆筒内表面检测方法、可视化方法以及检测系统，其中所述圆筒内表面检测方法基于3D点云数据拼接成圆柱模型，基于拟合出来的圆柱模型根据点到轴的距离与半径的差值来决定当前点是否是缺陷点。
本发明的另一个优势在于提供一种圆筒内表面检测方法、可视化方法以及检测系统，其中所述圆筒内表面检测方法使用3D相机从前到后对圆筒内表面进行扫描，提高了数据的完整性。
发明的另一个优势在于提供一种圆筒内表面检测方法、可视化方法以及检测系统，其中所述圆筒内表面检测方法基于第一片点云的圆柱轴的方向及轴上的一点来估计变换矩阵以实现初始配准，所述检测方法具有速度快、精度高、稳定性好等优点。
发明的另一个优势在于提供一种圆筒内表面检测方法、可视化方法以及检测系统，其中所述圆筒内表面检测方法基于拟合出来的圆筒模型根据点到轴的距离与半径的差值来决定当前点是否是缺陷点，用户可以根据需要设置所需的检测精度，有利于提高检测方法的适用性。
发明的另一个优势在于提供一种圆筒内表面检测方法、可视化方法以及检测系统，其中所述检测系统实现圆筒物体表面缺陷的自动检测及纹理映射，为圆筒物体提供三维模型，有利于实现检测的可视化，便于用户根据三维模型观察检测结果。
发明的另一个优势在于提供一种圆筒内表面检测方法、可视化方法以及检测系统，其中所述检测系统使用3D相机对圆筒物体内表面进行扫描，得到深度图像，并根据获取的深度图像解析出所述筒状物内表面的点云数据，根据扫描得到的深度信息对所述筒状物内表面进行缺陷检测，有利于提高检测的精确性。
依本发明的一个方面，能够实现前述目的和其他目的和优势的本发明的一种圆筒内表面检测方法，其中所述圆筒内表面检测方法包括如下步骤：
（a）扫描所述圆筒内表面，以获取由3D点云数据组成的点云数据集合；
（b）拼接所述点云数据集合中的所述3D点云数据成圆柱模型；以及
（c）判断所述圆柱模型的点是否是缺陷点。
根据本发明的一个实施例，所述步骤（a）进一步包括如下步骤：
（a.1）以特定的扫描视场沿圆筒的轴向方向O扫描所述圆筒内表面，并得到对应的深度图像；
（a.2）调整扫描视场与所述待测物表面的相对角度，并在每次调整后依上述步骤（a.1）扫描所述待测物的圆筒内表面和得到对应的深度图像，以致完整扫描所述待测物的圆筒内表面。
根据本发明的一个实施例，在所述步骤（a.2）中，以特定的旋转角度转动待测物，使得深度相机的扫描视场切换至所述待测物的圆筒内表面的特定位置。
根据本发明的一个实施例，在所述步骤（a.2）中，以特定的旋转角度转动所述深度相机，使得深度相机的扫描视场切换至所述待测物的圆筒内表面的特定位置。
根据本发明的一个实施例，所述圆筒内表面检测方法的所述步骤（a）进一步包括如下步骤：
（a.3）解析各所述深度图像为多片3D点云数据，以组成所述点云数据集合。
根据本发明的一个实施例，所述圆筒内表面检测方法的步骤（b）进一步包括如下步骤：
（b.1）基于一片3D点云数据计算所述点云数据集合中其他各3D点云数据的旋转量和平移量；
（b.2）旋转和平移其他各点云数据，以获取圆柱点云数据。
根据本发明的一个实施例，所述圆筒内表面检测方法的步骤（b.1）进一步包括如下步骤：
（b.1.1）基于第一片3D点云数据估算圆柱参数，并得到圆柱轴上的一点
Figure 213219DEST_PATH_IMAGE001
、圆柱轴的方向
Figure 764286DEST_PATH_IMAGE002
及半径r；和
（b.1.2）对于第i片3D点云数据
Figure 235718DEST_PATH_IMAGE003
，已知旋转角度θ及旋转轴v，计算初始旋转矩阵R 和初始平移量t，其中
Figure 306574DEST_PATH_IMAGE004
。
根据本发明的一个实施例，所述圆筒内表面检测方法的步骤（b.2）进一步包括如下步骤：
（b.2.1）基于初始的旋转矩阵R和平移向量t，估算变换矩阵
Figure 470839DEST_PATH_IMAGE005
；和
（b.2.2）基于变换矩阵
Figure 712464DEST_PATH_IMAGE005
来旋转和平移第i片3D点云数据
Figure 784326DEST_PATH_IMAGE003
进行，得到
Figure 162217DEST_PATH_IMAGE006
其中
Figure 294121DEST_PATH_IMAGE007
与
Figure 757464DEST_PATH_IMAGE008
分别为最终的旋转与平移矩阵，
Figure 633016DEST_PATH_IMAGE009
。
根据本发明的一个实施例，所述圆筒内表面检测方法的步骤（c）进一步包括如下步骤：
（c.1）设定圆筒缺陷判断阈值
Figure 865414DEST_PATH_IMAGE010
，其中
Figure 637061DEST_PATH_IMAGE011
；和
（c.2）计算圆柱点云中每个点到圆柱轴的距离，若
Figure 869590DEST_PATH_IMAGE012
，若
Figure 548833DEST_PATH_IMAGE013
，则点
Figure 635738DEST_PATH_IMAGE014
为凹 陷点；若
Figure 375024DEST_PATH_IMAGE015
，则点
Figure 547379DEST_PATH_IMAGE014
为凸起点。
根据本发明的一个实施例，在所述圆筒内表面检测方法的步骤（c.1）之前进一步包括步骤；
（c.0.1）在
Figure 764734DEST_PATH_IMAGE016
和
Figure 971724DEST_PATH_IMAGE017
方向划分圆柱点云Q成多个小块点云
Figure 632644DEST_PATH_IMAGE018
；和
（c.0.2）圆柱拟合所述圆柱点云Q的各小块点云
Figure 292296DEST_PATH_IMAGE019
中的数据，并得 到拟合圆柱的参数。
根据本发明的一个实施例，所述圆筒内表面检测方法的步骤（c）进一步包括如下步骤：
（c.3）对凹陷点和凸起点进行聚类，以得到圆柱表面的凹陷和凸起部分。
根据本发明的另一方面，本发明进一步提供一种圆筒内表面可视化方法，其中所述圆筒内表面可视化方法包括如下步骤：
（A）扫描所述圆筒内表面，以获取由3D点云数据组成的点云数据集合和由图像组成的图像集合；
（B）拼接所述点云数据集合的所述3D点云数据成圆柱模型，和拼接所述图像集合的所述图像成为圆柱图像点云；以及
（C）对齐所述圆柱模型与所述圆柱图像点云，以获取所述圆筒内表面的3D纹理贴图。
根据本发明的一个实施例，所述圆筒内表面可视化方法的步骤（B）进一步包括如下步骤：
（B.3）基于圆柱点云的质心中心化处理所述圆柱点云，以获取中心化点云；和
（B.4）估算所述中心化点云的圆柱参数，以获取圆柱的半径。
根据本发明的一个实施例，在所述圆筒内表面可视化方法的步骤（B）中，计算所述 圆柱点云Q的质心
Figure 313341DEST_PATH_IMAGE020
，中心化后的点为：
Figure 109259DEST_PATH_IMAGE021
其中
Figure 190347DEST_PATH_IMAGE022
为点云
Figure 602874DEST_PATH_IMAGE023
中的 第
Figure 365294DEST_PATH_IMAGE024
个点。
根据本发明的一个实施例，所述圆筒内表面可视化方法的步骤（B）进一步包括如下步骤：
（B.5）拼接拍摄到的图像集合成矩形图像；和
（B.6）映射拼接后的矩形图像为3D圆柱图像，以得到所述圆柱图像点云。
根据本发明的一个实施例，在所述圆筒内表面可视化方法的所述步骤（B.6）中，待 测物圆筒内表面所对应的图像中每行中相邻两个点间的角度值为：
Figure 343614DEST_PATH_IMAGE025
，每列中相邻 两个点所对应的高度值：
Figure 267708DEST_PATH_IMAGE026
，其中
Figure 717930DEST_PATH_IMAGE027
和
Figure DEST_PATH_IMAGE028
分别为图像的宽度和高度。
Figure 815199DEST_PATH_IMAGE029
和
Figure 116868DEST_PATH_IMAGE030
分别是点云
Figure 211863DEST_PATH_IMAGE023
的最小高度与最大高度值。
根据本发明的一个实施例，圆柱图像点云
Figure 130140DEST_PATH_IMAGE031
，其中图像中第
Figure 296679DEST_PATH_IMAGE024
行 第
Figure 921696DEST_PATH_IMAGE032
列的图像点所对应的空间点为
Figure 266220DEST_PATH_IMAGE033
，其中
Figure 609477DEST_PATH_IMAGE034
为第
Figure 579707DEST_PATH_IMAGE024
行第
Figure 121547DEST_PATH_IMAGE032
列的图像点所对应的
Figure 902552DEST_PATH_IMAGE034
值。
根据本发明的一个实施例，所述圆筒内表面可视化方法的步骤（C）进一步包括如下步骤：
（C.1）估算圆柱图像点云和中心化点云之间的变换矩阵
Figure 529843DEST_PATH_IMAGE005
；
（C.2）基于变换矩阵
Figure 772605DEST_PATH_IMAGE005
旋转和平移所述中心化点云或所述圆柱图像点云，以使得 所述中心化点云与所述圆柱图像点云相对齐；以及
（C.3）融合所述中心化点云与所述圆柱图像点云，使得所述中心化点云中的点从圆柱图像点云得到RGB信息。
根据本发明的一个实施例，在所述圆筒内表面可视化方法的步骤（C.3）中，中心化 点云
Figure 372214DEST_PATH_IMAGE035
中每个点的颜色为圆柱图片点云
Figure 307809DEST_PATH_IMAGE036
中离当前点最近点的颜色。
根据本发明的另一方面，本发明进一步提供一种圆筒内表面检测系统，包括：
扫描装置，用于扫描待测物的表面，以获取所述待测物表面的深度图像信息；
点云处理模块，其中所述点云处理模块将所述深度图像信息解析为3D点云数据，并将所述3D点云数据拼接成圆柱点云；以及
检测模块，其中所述检测模块计算所述点云数据中每个点到圆柱轴的距离，并判断是否为缺陷点。
根据本发明的一个实施例，所述扫描装置包括深度相机，所述深度相机从前到后沿所述轴向方向O对待测物体内表面进行扫描，得到对应于所述待测物表面的深度图像信息。
根据本发明的一个实施例，所述点云处理模块进一步包括图像解析单元和点云拼接单元，其中所述点云解析单元用于将所述深度相机拍摄的深度图像解析成3D点云数据，所述点云拼接单元移动和旋转所述点云数据，以拼接成圆柱点云。
根据本发明的一个实施例，所述检测模块包括圆柱拟合单元和缺陷判断单元，其 中所述圆柱拟合单元将圆柱点云分成多个小块
Figure 625658DEST_PATH_IMAGE037
，并对点云
Figure 422843DEST_PATH_IMAGE019
中的数据进行圆柱拟合，得到圆柱参数，所述缺陷判断单元计算点云中 每个点
Figure 142538DEST_PATH_IMAGE014
到轴的距离
Figure 249034DEST_PATH_IMAGE012
，若
Figure 850917DEST_PATH_IMAGE013
，则点
Figure 638744DEST_PATH_IMAGE014
为凹陷点；若
Figure 9683DEST_PATH_IMAGE015
，则点
Figure 490342DEST_PATH_IMAGE014
为凸起点。
根据本发明的一个实施例，进一步包括纹理贴图模块，其中所述纹理贴图模块将所述圆筒内表面对应的3D点云数据和2D图像信息融合成为带有颜色信息的纹理贴图。
根据本发明的一个实施例，所述纹理贴图模块包括图片处理单元、点云映射单元以及融合单元，其中所述图片处理单元用于拼接由图像，所述图片处理单元把所述图像拍摄单元拍摄的图像拼接成矩形的平面图像。所述点云映射单元将矩形的平面图像映射为圆柱，所述融合单元将由点云数据拼接成的圆柱点云数据和由图像拼接成的圆柱图像点云融合成一个带有颜色信息的圆柱表面模型。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明和附图得以充分体现。
附图说明
图1是根据本发明的第一较佳实施例的一种圆筒内表面检测系统的场景示意图。
图2是根据本发明上述第一较佳实施例的所述圆筒内表面检测系统的扫描示意图。
图3是根据本发明上述第一较佳实施例的所述圆筒内表面检测系统扫描得到的一片3D点云数据的示意图。
图4A和图4B是根据本发明上述第一较佳实施例的所述圆筒内表面检测系统的拼接示意图。
图5是根据本发明上述第一较佳实施例的所述圆筒内表面检测方法的检测流程示意图。
图6是根据本发明上述第一较佳实施例的所述圆筒内表面检测方法的步骤示意图。
图7是根据本发明第二较佳实施例的圆筒内表面可视化方法的流程示意图。
图8是根据本发明第二较佳实施例的圆筒内表面可视化方法的步骤示意图。
图9是根据本发明第三较佳实施例的圆筒内表面检测系统的系统结构示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
参照本发明说明书附图之图1至图9所示，依照本发明的一种圆筒内表面检测方法、可视化方法以及检测系统在接下来的描述中被阐明。所述圆筒内表面检测方法、可视化方法以及检测系统基于线结构光的视觉检测技术可以获取圆筒内表面的三维点云数据，对圆筒三维点云数据进行缺陷检测与纹理映射，实现圆筒壁的可视化。需要说明的是，依照本申请所述圆筒内表面检测方法、可视化方法以及检测系统可对待检测圆筒的内表面（圆筒内壁）或外表面（圆筒外壁）进行缺陷检测，并基于圆筒三维点云数据进行纹理映射，以实现圆筒壁的可视化。需要说明的是，在本申请中，适用于所述圆筒内表面检测方法、可视化方法以及检测系统的待检测物为筒状结构物，比如圆筒管道、圆筒导弹等圆筒形零件，其中所述待检测物的内表面为中空的圆筒结构或者所述待检测物的外表面为圆筒结构。
以下作为示例地，进一步地阐释所述圆筒内表面检测方法、可视化方法以及检测系统对圆筒内表面进行缺陷检测和实现圆筒内表面的可视化。可以理解的是，以同样的方法和系统也可以用于对圆筒外表面进行缺陷检测和实现圆筒外表面的可视化，在此不做赘述。
如图1至图6所示，依照本发明第一较佳实施例的一种圆筒内表面检测方法在接下来的描述中被阐明。在所述圆筒内表面检测方法中，使用深度相机扫描圆筒物体表面，生成物体不同部位的3D点云数据；将多个不同视角下的3D点云数据拼接成一个圆柱模型；基于拟合出来的圆柱模型根据点到轴的距离与半径的差值来决定当前点是否是缺陷点；通过聚类方法来找出圆筒物体的缺陷部分。
详细地说，所述圆筒内表面检测方法包括如下步骤：
（a）扫描所述圆筒内表面，以获取由3D点云数据组成的点云数据集合；
（b）拼接所述点云数据集合中的所述3D点云数据成圆柱模型；以及
（c）判断当前点是否是缺陷点。
通过上述圆筒内表面检测方法的步骤（a）获取多片点云数据，其中所述多片点云数据对应于所述待测物的内表面。设所述待测物具有一轴向方向O，其中所述待测物的轴向方向O为所述待测物的中心轴或者所述轴向方向平行于所述待测物的中心轴。详细地说，在本申请的该优选实施例中，通过深度相机沿所述待测物的轴向方向O扫描所述待测物的表面。所述深度相机通过从前到后沿所述轴向方向O对待测物体内表面进行扫描，得到对应于所述待测物表面的深度信息。优选地，在本申请的该优选实施例中，所述深度相机可以，但不限于3D相机。所述深度相机通过拍摄所述待测物的表面得到对应于所述待测物表面的深度图像。
扫描得到的所述深度图像经解析生成对应的3D点云数据。因此，由所述深度相机拍摄的多个深度图像经解析得到多片3D点云数据。
如图1至图3所示，在本申请的该优选实施例中，所述深度相机具有特定的扫描视场，当所述深度相机沿所述轴向方向O从前到后扫描时，所述深度相机基于其扫描视场拍摄所述待测物圆筒内表面特定圆心角R对应的区域。作为示例的，在本申请的该优选实施例中，经所述深度相机单次扫描得到的所述深度图像对应于所述待测物的内表面的圆心角R为10°、12°或20°等。
因此，在本申请的所述圆筒内表面检测方法的步骤（a）中，需要通过调整所述深度相机与所述待测物的相对角度，调整所述深度相机单次扫描时其视场所对应的所述待测物的内表面的位置。经多次调整所述深度相机与所述待测物的相对角度，以致所述深度相机全部地扫描所述待测物的表面，并且经所述深度相机扫描得到对应于所述待测物表面的多个深度图像；再将得到的各深度图像解析得到对应的多片3D点云数据。
本发明上述较佳实施例的所述圆筒内表面检测方法的所述步骤（a）进一步包括如下步骤：
（a.1）以特定的扫描视场沿圆筒的轴向方向O扫描所述圆筒内表面，并得到对应的深度图像；
（a.2）调整扫描视场与所述待测物表面的相对角度，并在每次调整后依上述步骤（a.1）扫描所述待测物的圆筒内表面和得到对应的深度图像，以致完整扫描所述待测物的圆筒内表面。
在本发明上述较佳实施例的所述圆筒内表面检测方法的所述步骤（a.2）中，在单次调整过程中，以特定的旋转角度转动待测物，使得深度相机的扫描视场切换至所述待测物的圆筒内表面的特定位置。可选地，在本发明上述较佳实施例的所述圆筒内表面检测方法的所述步骤（a.2）中，在单次调整的过程中，以特定的旋转角度转动所述深度相机，使得深度相机的扫描视场切换至所述待测物的圆筒内表面的特定位置。
需要说明的是，在本申请的该优选实施例中，通过所述深度相机对所述圆筒内表面进行扫描并获取对应于所述圆筒内表面的所述深度图像，基于扫描获得的所述深度图像被解析成与所述圆筒内表面相对应的多片3D点云数据。因此，可以理解的是，在本申请的该优选实施例中，在检测待测物的内表面（内壁）时，所述深度相机适于在所述待测物的圆筒内侧往复地移动，通过所述深度相机扫描所述圆筒内表面的深度图像。
本发明上述较佳实施例的所述圆筒内表面检测方法的所述步骤（a）进一步包括如下步骤：
（a.3）解析各所述深度图像为多片3D点云数据，以组成所述点云数据集合。
通过上述圆筒内表面检测方法的步骤（b）将多个不同视角下的点云拼接成圆柱点云。具体地，所述圆筒内表面检测方法的步骤（b）进一步包括如下步骤：
（b.1）基于一片3D点云数据计算所述点云数据集合中其他各3D点云数据的旋转量和平移量；
（b.2）旋转和平移其他各点云数据，以获取圆柱点云数据。
详细地说，在本发明的该优选实施例中，在所述圆筒内表面检测方法的步骤（b.1） 中，使用RANSAC（Random sample consensus，随机抽样一致算法）算法对第一片3D点云数据 进行圆柱参数估计，得到圆柱轴上的一点
Figure 61745DEST_PATH_IMAGE001
、圆柱轴的方向
Figure 450001DEST_PATH_IMAGE002
及半径r。可以理解的是，在本发明的该优选实施例中，可以选择任一片3D点云数据进行圆 柱参数估计，并得到对应圆柱轴向的圆柱参数。
对于第i片3D点云数据
Figure 941025DEST_PATH_IMAGE003
，已知旋转角度θ及旋转轴v，计算初始旋转矩阵R，公式如 下所示：
Figure 327007DEST_PATH_IMAGE038
Figure 169061DEST_PATH_IMAGE039
对于第i片3D点云数据
Figure 846161DEST_PATH_IMAGE003
，其初始平移向量t为：
Figure 129375DEST_PATH_IMAGE004
基于初始的旋转矩阵R和平移向量t，使用NDT算法来估计变换矩阵
Figure 14154DEST_PATH_IMAGE005
。基于变换矩 阵
Figure 15608DEST_PATH_IMAGE005
来对第i片3D点云数据
Figure 11246DEST_PATH_IMAGE003
进行旋转和平移，得到
Figure 148966DEST_PATH_IMAGE040
：
Figure 204647DEST_PATH_IMAGE041
其中
Figure 958977DEST_PATH_IMAGE007
与
Figure 430409DEST_PATH_IMAGE042
分别为最终的旋转与平移矩阵，
Figure 501265DEST_PATH_IMAGE009
。
Figure 665530DEST_PATH_IMAGE043
与
Figure 438314DEST_PATH_IMAGE044
分别表示点云
Figure 713437DEST_PATH_IMAGE003
与
Figure 153646DEST_PATH_IMAGE040
中的第j个点。
具体地，所述圆筒内表面检测方法的步骤（b.1）进一步包括如下步骤：
（b.1.1）基于第一片3D点云数据估算圆柱参数，并得到圆柱轴上的一点
Figure 223233DEST_PATH_IMAGE001
、圆柱轴的方向
Figure 748892DEST_PATH_IMAGE002
及半径r；和
（b.1.2）对于第i片3D点云数据
Figure 562127DEST_PATH_IMAGE003
，已知旋转角度θ及旋转轴v，计算初始旋转矩阵R 和初始平移量t，其中
Figure 60105DEST_PATH_IMAGE004
。
所述圆筒内表面检测方法的步骤（b.2）进一步包括如下步骤：
（b.2.1）基于初始的旋转矩阵R和平移向量t，估算变换矩阵
Figure 113643DEST_PATH_IMAGE005
；和
（b.2.2）基于变换矩阵
Figure 64281DEST_PATH_IMAGE005
来旋转和平移第i片3D点云数据
Figure 946786DEST_PATH_IMAGE003
进行，得到
Figure 96008DEST_PATH_IMAGE045
：
Figure 772977DEST_PATH_IMAGE041
其中
Figure 7649DEST_PATH_IMAGE007
与
Figure 428266DEST_PATH_IMAGE008
分别为最终的旋转与平移矩阵，
Figure 635257DEST_PATH_IMAGE009
。
通过上述步骤得到拼接好的圆柱点云
Figure 279865DEST_PATH_IMAGE046
，
Figure 939516DEST_PATH_IMAGE047
为点云的个数。
在本申请所述圆筒内表面检测方法的步骤（c）中，基于拼接得到的所述圆柱模型根据点到轴的距离与半径的差值来判断当前点是否是缺陷点。
通过上述圆筒内表面检测方法的步骤（c）实现圆筒内表面的缺陷检测。具体地，所述圆筒内表面检测方法的步骤（c）进一步包括如下步骤：
（c.1）设定圆筒缺陷判断阈值
Figure DEST_PATH_IMAGE048
，其中
Figure 436926DEST_PATH_IMAGE011
；和
（c.2）计算圆柱点云中每个点到圆柱轴的距离，若
Figure 764002DEST_PATH_IMAGE012
，若
Figure 579511DEST_PATH_IMAGE013
，则点
Figure 788776DEST_PATH_IMAGE014
为凹 陷点；若
Figure 551195DEST_PATH_IMAGE015
，则点
Figure 467199DEST_PATH_IMAGE014
为凸起点。
详细地说，将圆柱点云
Figure 719189DEST_PATH_IMAGE049
在
Figure 353432DEST_PATH_IMAGE050
和
Figure 919543DEST_PATH_IMAGE051
方向上分成多个小块
Figure 503102DEST_PATH_IMAGE037
，对 点云
Figure 863676DEST_PATH_IMAGE019
中的数据进行圆柱拟合，得到圆柱参数。计算点云
Figure 47533DEST_PATH_IMAGE052
中每个点
Figure 151755DEST_PATH_IMAGE014
到 拟合圆柱轴的距离
Figure 42351DEST_PATH_IMAGE012
，若
Figure 636143DEST_PATH_IMAGE013
，则点
Figure 979400DEST_PATH_IMAGE014
为凹陷点；若
Figure 949630DEST_PATH_IMAGE015
，则点
Figure 960311DEST_PATH_IMAGE014
为凸起点，其 中
Figure DEST_PATH_IMAGE053
为拟合圆柱的半径，
Figure 210158DEST_PATH_IMAGE054
为给定的阈值。将这些异常（即凹陷与凸起）点进行欧氏 聚类，得到所述圆柱表面的凹陷与凸起部分。
在本发明所述圆筒内表面检测方法的步骤（c.1）之前进一步包括步骤；
（c.0.1）在
Figure 40711DEST_PATH_IMAGE016
和
Figure 283473DEST_PATH_IMAGE017
方向划分圆柱点云Q成多个小块点云
Figure 414240DEST_PATH_IMAGE018
；
（c.0.2）圆柱拟合所述圆柱点云Q的各小块点云
Figure 287518DEST_PATH_IMAGE019
中的数据，并得 到拟合圆柱的参数。
所述圆筒内表面检测方法的步骤（c）进一步包括如下步骤：
（c.3）对凹陷点和凸起点进行聚类，以得到圆柱表面的凹陷和凸起部分。
值得一提的是，依本发明上述第一较佳实施例的所述圆筒内表面检测方法，使用3D相机从前到后对圆筒内表面进行扫描，提高了数据的完整性。基于第一片点云的圆柱轴的方向及轴上的一点来估计变换矩阵以实现初始配准，此方法具有速度快、精度高、稳定性好等优点。基于拟合出来的圆筒模型根据点到轴的距离与半径的差值来决定当前点是否是缺陷点（即凹陷或凸起点）。
可以理解的是，通过上述圆筒内表面的检测方法可对圆筒内壁进行检测，并根据扫描出的圆筒内表面数据拼接成与所述圆筒内壁相对应的3D点云数据；再基于拼接成的点云数据信息判断圆筒内壁的缺陷类型和缺陷点信息。通过上述圆筒内表面检测方法得出的检测结果是针对缺陷位置的点云信息，比如灰度的点云信息，通过如下所述的圆筒内表面可视化方法对缺陷位置进行展示，以便更加清楚地查看缺陷位置和缺陷位置的类型。
如图7至图8所示，依照本发明第二较佳实施例的一种圆筒内表面可视化方法在接下来的描述中被阐明。所述圆筒内表面可视化方法包括如下步骤：
（A）扫描所述圆筒内表面，以获取由3D点云数据组成的点云数据集合和由图像组成的图像集合；
（B）拼接所述点云数据集合的所述3D点云数据成圆柱模型，和拼接所述图像集合的所述图像成为圆柱图像点云；以及
（C）对齐所述圆柱模型与所述圆柱图像点云，以获取所述圆筒内表面的3D纹理贴图。
需要说明的是，通过本申请该优选实施例的所述圆筒内表面可视化方法将圆筒内表面扫描并拼接成3D纹理贴图，可以便于用户直观地观察所述圆筒内表面的纹理效果，提供了可视化的效果。可以理解的是，通过上述圆筒内表面可视化方法将圆筒内表面可视化，可方便用户对于圆筒内表面的纹理检查，特别是凸起、凹陷的缺陷检测，用于可以方便地从所述3D纹理贴图中查找缺陷点的位置。
本发明该优选实施例的所述圆筒内表面可视化方法的步骤（A）是通过深度相机（比如3D相机）扫描所述圆筒内表面，并获取对应于所述圆筒内表面的3D点云数据集合；通过平面相机（2D相机）扫描所述圆筒内表面，并获取对应于所述圆筒内表面的2D图像集合。
需要说明的是，3D点云数据和2D图像的获取可以是由同一设备经扫描完成的，也可是由不同设备分别扫描完成的，亦或是由不同设备同时扫描完成的。因此，在本申请的该优选实施例中，所述3D点云数据和2D图像获取的方式在此不做限定。
作为优选地，所述3D点云数据集合的扫描过程与上述第一较佳实施例中所述圆筒内表面检测方法的步骤（a）的过程相同。也就是说，通过深度相机沿所述待测物的轴向方向O扫描所述待测物的表面。所述深度相机通过从前到后沿所述轴向方向O对待测物体内表面进行扫描，得到对应于所述待测物表面的深度信息。
本发明上述较佳实施例的所述圆筒内表面可视化方法的所述步骤（A）进一步包括如下步骤：
（A.1）以特定的扫描视场沿圆筒的轴向方向O扫描所述圆筒内表面，并得到对应的深度图像；
（A.2）调整扫描视场与所述待测物表面的相对角度，并在每次调整后依上述步骤（A.1）扫描所述待测物的圆筒内表面和得到对应的深度图像，以致完整扫描所述待测物的圆筒内表面。
在本发明上述较佳实施例的所述圆筒内表面可视化方法的所述步骤（A.2）中，在单次调整过程中，以特定的旋转角度转动待测物，使得深度相机的扫描视场切换至所述待测物的圆筒内表面的特定位置。可选地，在本发明上述较佳实施例的所述圆筒内表面可视化方法的所述步骤（A.2）中，在单次调整的过程中，以特定的旋转角度转动所述深度相机，使得深度相机的扫描视场切换至所述待测物的圆筒内表面的特定位置。
需要说明的是，在本申请的该优选实施例中，通过所述深度相机对所述圆筒内表面进行扫描并获取对应于所述圆筒内表面的所述深度图像，基于扫描获得的所述深度图像被解析成与所述圆筒内表面相对应的多片3D点云数据。因此，可以理解的是，在本申请的该优选实施例中，在检测待测物的内表面（内壁）时，所述深度相机适于在所述待测物的圆筒内侧往复地移动，通过所述深度相机扫描所述圆筒内表面的深度图像。
所述2D图像集合的扫描过程与深度图像扫描过程类似本发明上述较佳实施例的所述圆筒内表面可视化方法的所述步骤（A）进一步包括如下步骤：
（A.3）以特定的扫描视场沿圆筒的轴向方向O扫描所述圆筒内表面，并得到对应的平面图像；
（A.4）调整扫描视场与所述待测物表面的相对角度，并在每次调整后依上述步骤（A.3）扫描所述待测物的圆筒内表面和得到对应的平面图像，以致完整扫描所述待测物的圆筒内表面。
需要说明的是，在本申请该优选实施例的所述圆筒内表面可视化方法的步骤（A）中，所述深度图像的获取过程和平面图像的获取过程不分先后。
作为优选地，所述3D点云数据集合的拼接过程与上述第一较佳实施例中所述圆筒内表面检测方法的步骤（b）的过程相同，在此不做赘述。
通过上述圆筒内表面可视化方法的步骤（B）将多个不同视角下的点云拼接成圆柱点云。具体地，所述圆筒内表面可视化方法的步骤（B）进一步包括如下步骤：
（B.1）基于一片3D点云数据计算所述点云数据集合中其他各3D点云数据的旋转量和平移量；
（B.2）旋转和平移其他各点云数据，以获取圆柱点云数据。
所述圆筒内表面可视化方法的步骤（B.1）进一步包括如下步骤：
（B.1.1）基于第一片3D点云数据估算圆柱参数，并得到圆柱轴上的一点
Figure 667684DEST_PATH_IMAGE001
、圆柱轴的方向
Figure 651821DEST_PATH_IMAGE002
及半径r；和
（B.1.2）对于第i片3D点云数据
Figure 433832DEST_PATH_IMAGE003
，已知旋转角度θ及旋转轴v，计算初始旋转矩阵R 和初始平移量t，其中
Figure 478011DEST_PATH_IMAGE004
。
所述圆筒内表面可视化方法的步骤（B.2）进一步包括如下步骤：
（B.2.1）基于初始的旋转矩阵R和平移向量t，估算变换矩阵
Figure 96206DEST_PATH_IMAGE005
；和
（B.2.2）基于变换矩阵
Figure 884033DEST_PATH_IMAGE005
来旋转和平移第i片3D点云数据
Figure 520551DEST_PATH_IMAGE003
进行，得到
Figure 1211DEST_PATH_IMAGE045
：
Figure 28072DEST_PATH_IMAGE041
其中
Figure 681908DEST_PATH_IMAGE007
与
Figure 110615DEST_PATH_IMAGE008
分别为最终的旋转与平移矩阵，
Figure 558914DEST_PATH_IMAGE009
。
通过上述步骤得到拼接好的圆柱点云
Figure 604230DEST_PATH_IMAGE046
，
Figure 733860DEST_PATH_IMAGE047
为点云的个数。
在本发明该优选实施例中，所述圆筒内表面可视化方法的步骤（B）进一步包括如下步骤：
（B.3）基于圆柱点云的质心中心化处理所述圆柱点云，以获取中心化点云；和
（B.4）估算所述中心化点云的圆柱参数，以获取圆柱的半径。
详细地说，将圆柱点云
Figure 827194DEST_PATH_IMAGE049
中心化，其中所述圆柱点云Q中心化后得到中心化点云
Figure 649656DEST_PATH_IMAGE023
。 所述圆柱点云的中心化过程是：首先计算所述圆柱点云Q的质心
Figure 713427DEST_PATH_IMAGE020
，中心化后 的点为：
Figure 646748DEST_PATH_IMAGE055
，其中
Figure 50048DEST_PATH_IMAGE022
为点云
Figure 105728DEST_PATH_IMAGE023
中的第
Figure 594478DEST_PATH_IMAGE056
个点。基于RANSAC算法对点云
Figure 331490DEST_PATH_IMAGE023
进行圆柱 参数估计，获取圆柱的半径
Figure 651613DEST_PATH_IMAGE057
。
在本发明该优选实施例中，所述圆筒内表面可视化方法的步骤（B）进一步包括如下步骤：
（B.5）拼接拍摄到的图像集合成矩形图像；和
（B.6）映射拼接后的矩形图像为3D圆柱图像，以得到所述圆柱图像点云。
在本发明该优选实施例的所述圆筒内表面可视化方法的所述步骤（B.6）中，待测 物圆筒内表面所对应的图像中每行中相邻两个点间的角度值为：
Figure 550299DEST_PATH_IMAGE025
，每列中相邻两 个点所对应的高度值：
Figure 339395DEST_PATH_IMAGE026
，其中
Figure 614518DEST_PATH_IMAGE027
和
Figure 789148DEST_PATH_IMAGE028
分别为图像的宽度和高度。
Figure 389893DEST_PATH_IMAGE029
和
Figure 587656DEST_PATH_IMAGE030
分别是点云
Figure 728788DEST_PATH_IMAGE023
的最小高度与最大高度值。
图像中每个像素点对应空间中的一个点，从而生成一个圆柱图像点云
Figure 961186DEST_PATH_IMAGE031
，其中图像中第
Figure 263991DEST_PATH_IMAGE024
行第
Figure 214630DEST_PATH_IMAGE032
列的图像点所对应的空间点为
Figure 97135DEST_PATH_IMAGE033
，其中
Figure 997089DEST_PATH_IMAGE034
为第
Figure 408479DEST_PATH_IMAGE024
行第
Figure 643151DEST_PATH_IMAGE032
列的图像点所对应的
Figure 63768DEST_PATH_IMAGE034
值。
在本发明该优选实施例中，所述圆筒内表面可视化方法的步骤（C）进一步包括如下步骤：
（C.1）估算圆柱图像点云和中心化点云之间的变换矩阵
Figure 270759DEST_PATH_IMAGE005
；
（C.2）基于变换矩阵
Figure 180946DEST_PATH_IMAGE005
旋转和平移所述中心化点云或所述圆柱图像点云，以使得 所述中心化点云与所述圆柱图像点云相对齐；以及
（C.3）融合所述中心化点云与所述圆柱图像点云，使得所述中心化点云中的点从圆柱图像点云得到RGB信息。
值得一提的是，在本发明的该优选实施例中，由于拼接得到的3D圆柱点云不具有颜色单具有对应于所述圆筒内表面的空间数据信息，通过拼接图片得到的圆柱图像点云不具有准确的空间信息但具有对应的颜色信息。因此，在本发明该优选实施例的所述圆筒内表面可视化方法的步骤（C）中，通过将拼接的所述3D圆柱点云和由图片拼接得到的圆柱图像点云对齐和融合，可以得到即具有颜色信息又具有对应于所述圆筒内表面空间数据信息的3D纹理贴图。
可以理解的是，在本发明上述较佳实施例的所述圆筒内表面可视化方法的步骤 （C.3）中，中心化点云
Figure 840597DEST_PATH_IMAGE023
中每个点的颜色为圆柱图片点云
Figure 861643DEST_PATH_IMAGE036
中离当前点最近点的颜色，即赋 值中心化点云
Figure 923140DEST_PATH_IMAGE023
中每个点与所述圆柱图片点云C中距离最近的点的颜色。
需要说明的是，在本申请该优选实施例中的所述圆筒内表面可视化方法中，所述圆筒内表面可视化方法可以与上述第一较佳实施例的所述圆筒内表面检测方法相互结合，即在所述圆筒内表面检测方法检测圆筒内壁缺陷位置和缺陷点类型后，再依所述圆筒内表面可视化方法对缺陷位置和缺陷类型进行展示，即将2D图像检测到的缺陷信息与3D检测的缺陷综合起来, 最后一起输出缺陷位置类型, 在纹理贴图的3D模型上展示出来。这样不仅可以检测圆筒内表面的缺陷位置和缺陷类型，同时还可以对缺陷位置和缺陷类型以高亮的方式进行展示，进一步提高了检测效果。
本领域技术人员可以理解的是，在本申请的该优选实施例中，所述圆筒内表面检测方法中检测步骤（c）与所述圆筒内表面可视化方法中的纹理贴图步骤（C）部分先后，即既可以先对圆筒内表面的缺陷位置和缺陷类型进行检测，并在检测后对圆筒内表面进行纹理贴图，进而形成具有高亮显示的3D纹理贴图模型；或者先将2D 图像与3D拼接模型结合形成可视化的纹理贴图模型，再通过缺陷检测方法对3D贴图模型进行缺陷位置和缺陷类型的检测，并在纹理贴图的3D模型上展示出来，以得到可视化的圆筒内表面缺陷检测模型。
参照本发明说明书附图之图9所示，依照本申请第三较佳实施例的圆筒内表面检测系统在接下来的描述中被阐明。所述圆筒内表面检测系统包括扫描装置10、点云处理模块20、以及检测模块30，其中所述扫描装置10用于扫描待测物的表面，以获取所述待测物表面的深度信息，所述扫描装置10扫描得到的深度信息被传输至所述点云处理模块20，由所述点云处理模块20将深度图像解析为3D点云数据信息，并将所述3D点云数据信息拼接成圆柱点云Q，由所述检测模块30根据拼接的所述圆柱点云Q判断圆筒内表面是否存在缺陷，比如凹陷点和凸起点。
详细地说，所述扫描装置10包括深度相机11，其中所述深度相机11适于拍摄所述待测物表面，并获取对应于所述待测物表面的深度图像信息。优选地，在本发明的该优选实施例中，所述扫描装置10的所述深度相机11为3D相机，并且所述深度相机11分多次从前到后对待测物内表面进行扫描，得到对应于所述圆筒内表面的多个深度图像。
详细地说，在本申请的该优选实施例中，通过所述深度相机11沿所述待测物的轴向方向O扫描所述待测物的表面。所述深度相机11通过从前到后沿所述轴向方向O对待测物体内表面进行扫描，得到对应于所述待测物表面的深度信息。所述深度相机通过拍摄所述待测物的表面得到对应于所述待测物表面的多个深度图像。
在本申请的该优选实施例中，所述深度相机11具有特定的扫描视场，当所述深度相机11沿所述轴向方向O从前到后扫描时，所述深度相机11基于其扫描视场拍摄所述待测物圆筒内表面特定圆心角R对应的区域。作为示例的，在本申请的该优选实施例中，经所述深度相机11单次扫描得到的所述深度图像对应于所述待测物的内表面的圆心角R为10°、12°或20°等。
因此，需要通过调整所述深度相机11与所述待测物的相对角度，调整所述深度相机11单次扫描时其视场所对应的所述待测物的内表面的位置。经多次调整所述深度相机11与所述待测物的相对角度，以致所述深度相机11全部地扫描所述待测物的表面，并且经所述深度相机11扫描得到对应于所述待测物表面的多个深度图像；再将得到的各深度图像解析得到对应的多片3D点云数据。
所述深度相机扫描得到的所述深度图像被传输至所述点云处理模块20，由所述点云处理模块20对所述深度图像进行解析和拼接，得到一个拼接的圆柱点云Q。
相应地，所述点云处理模块20进一步包括图像解析单元21和点云拼接单元22，其中所述图像解析单元21用于解析所述深度相机11拍摄的深度图像，并将所述深度图像解析成3D点云数据。在本申请的该优选实施例中，所述图像解析单元21将所述深度相机11拍摄得到的多个深度图像解析成为多片3D点云数据。所述点云拼接单元22基于解析得到的3D点云数据拼接成圆柱点云Q。
具体地，在本发明的该优选实施例中，所述点云拼接单元22使用RANSAC（Random sample consensus，随机抽样一致算法）算法对第一片3D点云数据进行圆柱参数估计，得到 圆柱轴上的一点
Figure 754961DEST_PATH_IMAGE001
、圆柱轴的方向
Figure 636329DEST_PATH_IMAGE058
及半径r。可以理解的是， 在本发明的该优选实施例中，可以选择任一片3D点云数据进行圆柱参数估计，并得到对应 圆柱轴向的圆柱参数。
对于第i片3D点云数据
Figure 461066DEST_PATH_IMAGE003
，已知旋转角度θ及旋转轴v，计算初始旋转矩阵R，公式如 下所示：
Figure 377069DEST_PATH_IMAGE038
Figure 832321DEST_PATH_IMAGE039
对于第i片3D点云数据
Figure 528882DEST_PATH_IMAGE003
，其初始平移向量t为：
Figure 829413DEST_PATH_IMAGE004
基于初始的旋转矩阵R和平移向量t，使用NDT算法来估计变换矩阵
Figure 662240DEST_PATH_IMAGE005
。所述点云拼 接单元22基于变换矩阵
Figure 288393DEST_PATH_IMAGE005
来对第i片3D点云数据
Figure 144354DEST_PATH_IMAGE003
进行旋转和平移，得到
Figure 64555DEST_PATH_IMAGE040
：
Figure 955151DEST_PATH_IMAGE041
其中
Figure 548943DEST_PATH_IMAGE007
与
Figure 157779DEST_PATH_IMAGE008
分别为最终的旋转与平移矩阵，
Figure 800113DEST_PATH_IMAGE009
。
Figure 607532DEST_PATH_IMAGE043
与
Figure 575488DEST_PATH_IMAGE059
分别表示点云
Figure 406040DEST_PATH_IMAGE003
与
Figure 914382DEST_PATH_IMAGE040
中的第j个点。
在本发明的该优选实施例中，所述点云拼接单元22基于第一片点云按照最终的旋 转和平移矩阵移动剩余的其他点云数据，从而得到所述圆柱点云Q。通过上述步骤得到拼接 好的圆柱点云
Figure 779570DEST_PATH_IMAGE060
，
Figure 465897DEST_PATH_IMAGE047
为点云的个数。
所述检测模块30根据所述圆柱点云Q进行缺陷检测。具体地说，所述检测模块30计 算所述点云数据中每个点到圆柱轴的距离，并根据设定的阈值
Figure 518167DEST_PATH_IMAGE061
）判断是否为缺陷 点。相应地，所述检测模块30进一步包括圆柱拟合单元31和缺陷判断单元32，其中所述圆柱 拟合单元31将圆柱点云
Figure 33462DEST_PATH_IMAGE049
在
Figure 815473DEST_PATH_IMAGE050
和
Figure 859653DEST_PATH_IMAGE051
方向上分成多个小块
Figure 461535DEST_PATH_IMAGE037
，并对点云
Figure 249363DEST_PATH_IMAGE019
中的数据进行圆柱拟合，得到圆柱参数。所述检测模块30的所述缺陷判 断单元32计算点云
Figure 89143DEST_PATH_IMAGE052
中每个点
Figure 366540DEST_PATH_IMAGE014
到轴的距离
Figure 658981DEST_PATH_IMAGE012
，若
Figure 250500DEST_PATH_IMAGE013
，则点
Figure 757836DEST_PATH_IMAGE014
为凹陷点；若
Figure 143818DEST_PATH_IMAGE015
，则点
Figure 720292DEST_PATH_IMAGE014
为凸起点。其中
Figure 115502DEST_PATH_IMAGE053
为圆柱的半径，
Figure 664295DEST_PATH_IMAGE054
为给定的阈值。所述检测模 块30进一步包括聚类单元33，其中所述聚类单元33将这些异常（即凹陷与凸起）点进行欧氏 聚类，得到圆柱表面的凹陷与凸起部分。
所述圆筒内表面检测系统进一步包括纹理贴图模块40，其中所述纹理贴图模块40将所述圆筒内表面对应的3D点云数据和2D图像信息融合成为带有颜色信息的纹理贴图。也就是说，在本申请的该优选实施例中，对应于所述圆筒内表面的3D点云数据和2D图像信息映射成为一个带有颜色信息的圆筒模型，便于直观地观察圆筒内表面，特别是待测物内表面的信息。
相应地，在本申请的该优选实施例中，所述扫描装置10进一步包括一图像拍摄单元12，其中所述图像拍摄单元12适于拍摄所述待测物的表面，得到对应于所述待测物圆筒内表面的图像信息。需要说明的是，在申请的该优选实施例中，所述图像拍摄单元12与所述深度相机11的扫描方式相同。所述图像拍摄单元12以特定的扫描视场沿圆筒的轴向方向O扫描所述圆筒内表面，并得到对应的平面图像，通过调整扫描视场与所述待测物表面的相对角度，并在每次调整后依上述扫描方法扫描所述待测物的圆筒内表面和得到对应的平面图像，以致完整扫描所述待测物的圆筒内表面。
所述图像拍摄单元12将拍摄的图像信息传输至所述纹理贴图模块40，由所述纹理 贴图模块40将所述图像信息和所述3D点云数据融合成为一个圆筒模型。所述纹理贴图模块 40包括图片处理单元41、点云映射单元42以及融合单元43，其中所述图片处理单元41用于 拼接由图像，所述图片处理单元41把所述图像拍摄单元12拍摄的图像拼接成矩形的平面图 像。所述点云映射单元42将矩形的平面图像映射为3D圆柱，在本发明该优选实施例中，待测 物圆筒内表面所对应的图像中每行中相邻两个点间的角度值为：
Figure 283495DEST_PATH_IMAGE025
，每列中相邻两 个点所对应的高度值：
Figure 284949DEST_PATH_IMAGE026
，其中
Figure 280587DEST_PATH_IMAGE027
和
Figure 683886DEST_PATH_IMAGE028
分别为图像的宽度和高度。
Figure 224720DEST_PATH_IMAGE029
和
Figure 713470DEST_PATH_IMAGE030
分别是点云
Figure 716061DEST_PATH_IMAGE023
的最小高度与最大高度值。
图像中每个像素点对应空间中的一个点，从而生成一个圆柱图像点云
Figure 36184DEST_PATH_IMAGE031
，其中图像中第
Figure 934870DEST_PATH_IMAGE024
行第
Figure 973233DEST_PATH_IMAGE032
列的图像点所对应的空间点为
Figure 248357DEST_PATH_IMAGE033
，其中
Figure 422986DEST_PATH_IMAGE034
为第
Figure 758153DEST_PATH_IMAGE024
行第
Figure 766035DEST_PATH_IMAGE032
列的图像点所对应的
Figure 844850DEST_PATH_IMAGE034
值。
所述融合单元43将由3D点云数据拼接成的圆柱点云数据和由2D图像拼接成的圆柱图像点云融合成一个带有颜色信息的圆柱表面模型，即3D纹理贴图模型。详细地说，所述融合单元43将圆柱点云数据和所述圆柱图像点云对齐后，构件所述圆柱点云数据和圆柱图像点云之间的映射关系，以使得所述圆柱点云数据和所述圆柱图像点云相互融合得到所述3D纹理贴图。可以理解的是，由所述纹理贴图模块40得到的所述3D纹理贴图对应于所述待测物的圆筒内表面图像和3D点云信息，并且所述3D纹理贴图还提供了可供用户观察的可视化立体图像信息，便于用户从所述3D纹理贴图中查找对应的圆筒内表面的缺陷位置和缺陷类型，比如凹陷和凸起点。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (20)

1.一种圆筒内表面检测方法，其特征在于，其中所述圆筒内表面检测方法包括如下步骤：
（a）扫描待测物的圆筒内表面，以获取由3D点云数据组成的点云数据集合和由图像组成的圆筒内表面的2D图像集合；
（b）拼接所述点云数据集合中的所述3D点云数据成圆柱模型，和拼接所述图像集合的所述图像成为圆柱图像点云；以及
（c）对齐所述圆柱模型与所述圆柱图像点云，并判断所述圆柱模型的点是否是缺陷点；
其中，在步骤（c）中，估算圆柱图像点云和中心化点云之间的变换矩阵
Figure RE-31986DEST_PATH_IMAGE001
；
基于变换矩阵
Figure RE-195114DEST_PATH_IMAGE001
旋转和平移所述中心化点云或所述圆柱图像点云，以使得所述中心化点云与所述圆柱图像点云相对齐；以及
融合所述中心化点云与所述圆柱图像点云，使得所述中心化点云中的点从圆柱图像点云得到RGB信息；
其中所述步骤（c）进一步包括：
（c.1）设定圆筒缺陷判断阈值
Figure RE-581096DEST_PATH_IMAGE002
，其中
Figure RE-485467DEST_PATH_IMAGE003
；和
（c.2）计算圆柱点云中每个点
Figure RE-349518DEST_PATH_IMAGE004
到圆柱轴的距离
Figure RE-632732DEST_PATH_IMAGE005
，若
Figure RE-579828DEST_PATH_IMAGE006
，则点
Figure RE-581282DEST_PATH_IMAGE004
为凹陷点；若
Figure RE-249024DEST_PATH_IMAGE007
，则点
Figure RE-245799DEST_PATH_IMAGE004
为凸起点。
2.根据权利要求1所述圆筒内表面检测方法，其中所述步骤（a）进一步包括如下步骤：
（a.1）以特定的扫描视场沿圆筒的轴向方向O扫描所述圆筒内表面，并得到对应的深度图像；
（a.2）调整扫描视场与待测物的圆筒内表面的相对角度，并在每次调整后依上述步骤（a.1）扫描所述待测物的圆筒内表面和得到对应的深度图像，以致完整扫描所述待测物的圆筒内表面。
3.根据权利要求2所述圆筒内表面检测方法，其中在所述步骤（a.2）中，以特定的旋转角度转动待测物，使得扫描视场切换至所述待测物的圆筒内表面的特定位置。
4.根据权利要求2所述圆筒内表面检测方法，其中在所述步骤（a.2）中，以特定的旋转角度转动深度相机，使得所述深度相机的扫描视场切换至所述待测物的圆筒内表面的特定位置。
5.根据权利要求2所述圆筒内表面检测方法，其中所述圆筒内表面检测方法的所述步骤（a）进一步包括如下步骤：
（a.3）解析各所述深度图像为多片3D点云数据，以组成所述点云数据集合。
6.根据权利要求2所述圆筒内表面检测方法，其中所述圆筒内表面检测方法的步骤（b）进一步包括如下步骤：
（b.1）基于一片3D点云数据计算所述点云数据集合中其他各3D点云数据的旋转量和平移量；
（b.2）旋转和平移其他各点云数据，以获取圆柱点云数据。
7.根据权利要求6所述圆筒内表面检测方法，其中所述圆筒内表面检测方法的步骤（b.1）进一步包括如下步骤：
（b.1.1）基于第一片3D点云数据估算圆柱参数，并得到圆柱轴上的一点
Figure RE-239163DEST_PATH_IMAGE008
、圆柱轴的方向
Figure RE-586967DEST_PATH_IMAGE009
及半径r；和
（b.1.2）对于第i片3D点云数据
Figure RE-58400DEST_PATH_IMAGE010
，已知旋转角度θ及旋转轴v，计算初始旋转矩阵R和初始平移量t，其中
Figure RE-316206DEST_PATH_IMAGE011
。
8.根据权利要求6所述圆筒内表面检测方法，其中所述圆筒内表面检测方法的步骤（b.2）进一步包括如下步骤：
（b.2.1）基于初始的旋转矩阵R和平移向量t，估算变换矩阵
Figure RE-339526DEST_PATH_IMAGE001
；和
（b.2.2）基于变换矩阵
Figure RE-49993DEST_PATH_IMAGE001
来旋转和平移第i片3D点云数据
Figure RE-325116DEST_PATH_IMAGE010
进行，得到
Figure RE-562062DEST_PATH_IMAGE012
：
Figure RE-631650DEST_PATH_IMAGE013
其中
Figure RE-94992DEST_PATH_IMAGE014
与
Figure RE-908227DEST_PATH_IMAGE015
分别为最终的旋转与平移矩阵，
Figure RE-999680DEST_PATH_IMAGE016
，
Figure RE-240168DEST_PATH_IMAGE017
，其中
Figure RE-49861DEST_PATH_IMAGE014
与
Figure RE-666788DEST_PATH_IMAGE018
分别为最终的旋转与平移矩阵，
Figure RE-753692DEST_PATH_IMAGE019
与
Figure RE-289716DEST_PATH_IMAGE020
分别表示点云
Figure RE-462071DEST_PATH_IMAGE010
与
Figure RE-617109DEST_PATH_IMAGE021
中的第j个点。
9.根据权利要求6所述圆筒内表面检测方法，其中在所述步骤（c）中，基于拼接得到的所述圆柱模型根据点到轴的距离与半径的差值来判断当前点是否是缺陷点。
10.根据权利要求8所述圆筒内表面检测方法，其中在所述圆筒内表面检测方法的步骤（c.1）之前进一步包括步骤；
（c.0.1）在
Figure RE-683154DEST_PATH_IMAGE022
和
Figure RE-265445DEST_PATH_IMAGE023
方向划分圆柱点云Q成多个小块点云
Figure RE-925097DEST_PATH_IMAGE024
；和
（c.0.2）圆柱拟合所述圆柱点云Q的各小块点云
Figure RE-883825DEST_PATH_IMAGE025
中的数据，并得到拟合圆柱的参数。
11.根据权利要求8所述圆筒内表面检测方法，其中所述圆筒内表面检测方法的步骤（c）进一步包括如下步骤：
（c.3）对凹陷点和凸起点进行聚类，以得到圆柱表面的凹陷和凸起部分。
12.根据权利要求1至11任一所述圆筒内表面检测方法，其中所述圆筒内表面检测方法的步骤（b）进一步包括如下步骤：
基于圆柱点云的质心中心化处理所述圆柱点云，以获取中心化点云；和
估算所述中心化点云的圆柱参数，以获取圆柱的半径。
13.根据权利要求1至11任一所述圆筒内表面检测方法，其中在所述圆筒内表面检测方法的步骤（b）中，计算圆柱点云Q的质心
Figure RE-804377DEST_PATH_IMAGE026
，中心化后的点为：
Figure RE-823148DEST_PATH_IMAGE027
，其中
Figure RE-970096DEST_PATH_IMAGE028
为点云
Figure RE-591570DEST_PATH_IMAGE029
中的第
Figure RE-241994DEST_PATH_IMAGE030
个点。
14.根据权利要求1至11任一所述圆筒内表面检测方法，其中所述圆筒内表面检测方法的步骤（b）进一步包括如下步骤：
拼接拍摄到的图像集合成矩形图像；和
映射拼接后的矩形图像为3D圆柱图像，以得到所述圆柱图像点云。
15.根据权利要求14所述圆筒内表面检测方法，其中在所述圆筒内表面检测方法中，待测物圆筒内表面所对应的图像中每行中相邻两个点间的角度值为：
Figure RE-290722DEST_PATH_IMAGE031
，每列中相邻两个点所对应的高度值：
Figure RE-924965DEST_PATH_IMAGE032
，其中
Figure RE-225497DEST_PATH_IMAGE033
和
Figure RE-996007DEST_PATH_IMAGE034
分别为图像的宽度和高度，
Figure RE-215635DEST_PATH_IMAGE035
和
Figure RE-337175DEST_PATH_IMAGE036
分别是点云
Figure RE-769294DEST_PATH_IMAGE037
的最小高度与最大高度值。
16.根据权利要求14所述圆筒内表面检测方法，其中圆柱图像点云
Figure RE-659889DEST_PATH_IMAGE038
，其中图像中第
Figure RE-50419DEST_PATH_IMAGE039
行第
Figure RE-862517DEST_PATH_IMAGE040
列的图像点所对应的空间点为
Figure RE-895064DEST_PATH_IMAGE041
，其中
Figure RE-109008DEST_PATH_IMAGE042
为第
Figure RE-936019DEST_PATH_IMAGE039
行第
Figure RE-235413DEST_PATH_IMAGE040
列的图像点所对应的
Figure RE-540492DEST_PATH_IMAGE042
值。
17.根据权利要求1所述圆筒内表面检测方法，其中在所述圆筒内表面检测方法中，中心化点云
Figure RE-140101DEST_PATH_IMAGE037
中每个点的颜色为圆柱图片点云
Figure RE-872434DEST_PATH_IMAGE043
中离当前点最近点的颜色。
18.圆筒内表面检测系统，其特征在于，包括：
扫描装置，用于扫描待测物的表面，以获取所述待测物表面的深度图像信息和所述待测物的2D图像信息；
点云处理模块，其中所述点云处理模块将所述深度图像信息解析为3D点云数据，并将所述3D点云数据拼接成圆柱点云；
纹理贴图模块，其中所述纹理贴图模块将圆筒内表面对应的3D点云数据和2D图像信息融合成为带有颜色信息的纹理贴图，其中所述纹理贴图模块包括图片处理单元、点云映射单元以及融合单元，其中所述图片处理单元用于拼接由图像，所述图片处理单元把拍摄的图像拼接成矩形的平面图像，所述点云映射单元将矩形的平面图像映射为圆柱，所述融合单元将由点云数据拼接成的圆柱点云数据和由图像拼接成的圆柱图像点云融合成一个带有颜色信息的圆柱表面模型；以及
检测模块，其中所述检测模块计算所述点云数据中每个点到圆柱轴的距离，并判断是否为缺陷点，其中所述检测模块包括圆柱拟合单元和缺陷判断单元，其中所述圆柱拟合单元将圆柱点云分成多个小块
Figure RE-924703DEST_PATH_IMAGE044
，并对点云
Figure RE-236736DEST_PATH_IMAGE025
中的数据进行圆柱拟合，得到圆柱参数，所述缺陷判断单元计算点云中每个点
Figure RE-549905DEST_PATH_IMAGE004
到轴的距离
Figure RE-594085DEST_PATH_IMAGE005
，若
Figure RE-258284DEST_PATH_IMAGE006
，则点
Figure RE-780533DEST_PATH_IMAGE004
为凹陷点；若
Figure RE-213788DEST_PATH_IMAGE007
，则点
Figure RE-163289DEST_PATH_IMAGE004
为凸起点。
19.根据权利要求18所述的圆筒内表面检测系统，其中所述扫描装置包括深度相机，所述深度相机从前到后沿轴向方向O对待测物体内表面进行扫描，得到对应于所述待测物表面的深度图像信息。
20.根据权利要求18所述的圆筒内表面检测系统，其中所述点云处理模块进一步包括图像解析单元和点云拼接单元，其中所述图像解析单元用于将深度相机拍摄的深度图像解析成3D点云数据，所述点云拼接单元移动和旋转所述点云数据，以拼接成圆柱点云。
CN202211254437.9A 2022-10-13 2022-10-13 圆筒内表面检测方法、可视化方法以及检测系统 Active CN115326835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211254437.9A CN115326835B (zh) 2022-10-13 2022-10-13 圆筒内表面检测方法、可视化方法以及检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211254437.9A CN115326835B (zh) 2022-10-13 2022-10-13 圆筒内表面检测方法、可视化方法以及检测系统

Publications (2)

Publication Number Publication Date
CN115326835A CN115326835A (zh) 2022-11-11
CN115326835B true CN115326835B (zh) 2023-03-24

Family

ID=83913409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211254437.9A Active CN115326835B (zh) 2022-10-13 2022-10-13 圆筒内表面检测方法、可视化方法以及检测系统

Country Status (1)

Country Link
CN (1) CN115326835B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117110319B (zh) * 2023-10-23 2024-01-26 汇鼎智联装备科技(江苏)有限公司 基于3d成像的球体表面缺陷检测方法和检测系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685793B (zh) * 2018-12-25 2021-11-02 科大智能物联技术股份有限公司 一种基于三维点云数据的管身缺陷检测方法及系统
CN110378884B (zh) * 2019-07-12 2023-03-24 西安石油大学 管内可视化检测视频进行偏心校正和展开变换的方法
CN111080627B (zh) * 2019-12-20 2021-01-05 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN111289526B (zh) * 2020-02-28 2021-08-17 涿州滨海燃气有限公司 一种燃气输送管道内表面缺陷检测方法及系统
CN112581457B (zh) * 2020-12-23 2023-12-12 武汉理工大学 一种基于三维点云的管道内表面检测方法及装置
CN114279361B (zh) * 2021-12-27 2023-08-22 哈尔滨工业大学芜湖机器人产业技术研究院 一种筒形零件内壁缺陷尺寸三维测量系统及其测量方法

Also Published As

Publication number Publication date
CN115326835A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN101630406B (zh) 摄像机的标定方法及摄像机标定装置
CN111325801B (zh) 一种激光雷达和相机的联合标定方法
CN110827392B (zh) 单目图像三维重建方法、系统及装置
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
CN112067233B (zh) 一种用于风洞模型六自由度运动捕获方法
CN105115560B (zh) 一种船舱舱容的非接触测量方法
CN111879235A (zh) 弯管的三维扫描检测方法、三维扫描系统和计算机设备
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
WO2022078442A1 (zh) 一种基于光扫描和智能视觉融合的3d信息采集方法
CN109242898B (zh) 一种基于图像序列的三维建模方法及系统
JP5093653B2 (ja) 測距装置およびその測距方法
CN110415363A (zh) 一种基于三目视觉的散乱物识别定位方法
CN110675436A (zh) 基于3d特征点的激光雷达与立体视觉配准方法
CN115326835B (zh) 圆筒内表面检测方法、可视化方法以及检测系统
CN112254680B (zh) 一种多自由度的智能视觉3d信息采集设备
JPH10122819A (ja) キャリブレーション方法およびその装置
CN112767249B (zh) 一种面向小型管件表面缺陷检测的图像展开拼接方法及系统
CN112785647A (zh) 一种三目立体图像检测方法和系统
CN116952191A (zh) 一种基于同轴摄影的视觉测距方法
CN112734842B (zh) 一种船舶大型设备对中安装辅助定位方法及系统
Tai et al. A fully automatic approach for fisheye camera calibration
CN117455921B (zh) 基于小视野镜头的大景深成像检测方法及系统
JP2006078291A (ja) 全方位三次元計測装置
JPH1114308A (ja) ３次元位置検出方法と装置
CN113188455B (zh) 一种基于机器人末端单目视觉的物体法向高度计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant