CN115578516A - 一种三维成像方法、装置、设备和存储介质 - Google Patents

一种三维成像方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN115578516A
CN115578516A CN202211281815.2A CN202211281815A CN115578516A CN 115578516 A CN115578516 A CN 115578516A CN 202211281815 A CN202211281815 A CN 202211281815A CN 115578516 A CN115578516 A CN 115578516A
Authority
CN
China
Prior art keywords
depth map
target
depth
prediction result
normal vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211281815.2A
Other languages
English (en)
Inventor
陈越
李律松
梅涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Holding Co Ltd
Original Assignee
Jingdong Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Holding Co Ltd filed Critical Jingdong Technology Holding Co Ltd
Priority to CN202211281815.2A priority Critical patent/CN115578516A/zh
Publication of CN115578516A publication Critical patent/CN115578516A/zh
Priority to PCT/CN2023/123920 priority patent/WO2024083006A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种三维成像方法、装置、设备和存储介质。该方法包括：获取目标拍摄场景对应的目标彩色图像和原始深度图，其中，目标拍摄场景中包含至少一个透明物体；将目标彩色图像输入至预设图像处理模型中，并根据预设图像处理模型的输出，获得透明物体分割结果、边界预测结果和法向量预测结果；基于透明物体分割结果，对原始深度图进行剪切处理，获得去除透明物体深度信息的第一深度图；基于第一深度图、透明物体分割结果、边界预测结果和法向量预测结果进行深度图全局优化，确定优化后的第二深度图；基于第二深度图确定目标拍摄场景对应的目标三维图像。通过本发明实施例的技术方案，可以有效提升透明物体的三维成像效果。

Description

一种三维成像方法、装置、设备和存储介质
技术领域
本发明实施例涉及计算机技术，尤其涉及一种三维成像方法、装置、设备和存储介质。
背景技术
随着计算机技术的快速发展，可以利用3D相机以光学的方式获取感兴趣场景的三维图像。
目前，三维成像方式可以包括被动双目三维成像、基于时间飞行原理的三维成像和结构光投影三维成像。其中，被动双目三维成像是通过图像特征匹配的方式，利用三角法间接计算三维信息。基于时间飞行原理的三维成像是根据光的飞行时间直接测量。结构光投影三维成像是主动投射已知编码图案，提高特征匹配效果。
然而，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
被动双目三维成像中对被测物体表明纹理特征要求较高，无法测量纹理不明显场景，从而不适合作为工业复合机器人的眼睛。基于时间飞行原理的三维成像的测量精度取决于对光束探测时间的精度，在近距离场景中的成像分辨率和精度较差，从而更多地应用到远距离场景中，比如自动驾驶和远距离搜索探测等。结构光投影三维成像中由于投射光线在透明物体上容易发生投射和反射，从而无法对透明物体进行有效地三维成像。
发明内容
本发明实施例提供了一种三维成像方法、装置、设备和存储介质，以有效提升拍摄场景中的透明物体的三维成像效果。
第一方面，本发明实施例提供了一种三维成像方法，包括：
获取目标拍摄场景对应的目标彩色图像和原始深度图，其中，所述目标拍摄场景中包含至少一个透明物体；
将所述目标彩色图像输入至预设图像处理模型中进行图像处理，并根据所述预设图像处理模型的输出，获得所述目标拍摄场景中的透明物体分割结果、边界预测结果和法向量预测结果；
基于所述透明物体分割结果，对所述原始深度图进行剪切处理，获得去除透明物体深度信息的第一深度图；
基于所述第一深度图、所述透明物体分割结果、所述边界预测结果和所述法向量预测结果进行深度信息的全局优化，确定优化后的第二深度图；
基于所述第二深度图，确定所述目标拍摄场景对应的目标三维图像。
第二方面，本发明实施例还提供了一种三维成像装置，包括：
图像获取模块，用于获取目标拍摄场景对应的目标彩色图像和原始深度图，其中，所述目标拍摄场景中包含至少一个透明物体；
目标彩色图像输入模块，用于将所述目标彩色图像输入至预设图像处理模型中进行图像处理，并根据所述预设图像处理模型的输出，获得所述目标拍摄场景中的透明物体分割结果、边界预测结果和法向量预测结果；
剪切处理模块，用于基于所述透明物体分割结果，对所述原始深度图进行剪切处理，获得去除透明物体深度信息的第一深度图；
全局优化模块，用于基于所述第一深度图、所述透明物体分割结果、所述边界预测结果和所述法向量预测结果进行深度信息的全局优化，确定优化后的第二深度图；
目标三维图像确定模块，用于基于所述第二深度图，确定所述目标拍摄场景对应的目标三维图像。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的三维成像方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的三维成像方法。
上述发明中的一个实施例具有如下优点或有益效果：
通过将目标拍摄场景对应的目标彩色图像输入至预设图像处理模型中进行图像处理，获得目标拍摄场景中的透明物体分割结果、边界预测结果和法向量预测结果，并基于透明物体分割结果，对目标拍摄场景对应的原始深度图进行剪切处理，获得去除透明物体深度信息的第一深度图，并基于第一深度图、透明物体分割结果、边界预测结果和法向量预测结果进行深度信息的全局优化，从而对因物体透明而导致的深度缺失区域进行深度补全，并基于补全优化后完整的第二深度图，可以更加精确地构建出包含有透明物体的目标拍摄场景所对应的目标三维图像，从而有效提升了透明物体的三维成像效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例所提供的一种三维成像方法的流程图；
图2是本发明一个实施例所涉及的一种三维成像过程的示例图；
图3是本发明一个实施例提供的另一种三维成像方法的流程图；
图4是本发明一个实施例提供的一种三维成像装置的结构示意图；
图5是本发明一个实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明一个实施例所提供的一种三维成像方法的流程图，本实施例可适用于对包含有透明物体的拍摄场景进行三维成像的情况。该方法可以由三维成像装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于电子设备中，比如3D相机，或者工业场景中的复合机器人的视觉传感器，以便辅助机器人完成复杂工况下的场景识别、目标检测等任务。如图1所示，该方法具体包括以下步骤：
S110、获取目标拍摄场景对应的目标彩色图像和原始深度图，其中，目标拍摄场景中包含至少一个透明物体。
其中，透明物体可以包括允许光完全透射的全透明物体和允许光部分透射的半透明物体，比如，玻璃杯和塑料瓶等。目标拍摄场景可以是指当前拍摄的场景区域。目标拍摄场景中可以存在一个或多个透明物体。目标拍摄场景中可以仅存在透明物体，还可以除了透明物体之外还存在其他非透明物体。目标彩色图像可以是利用红蓝绿三种颜色合成的RGB图像。原始深度图可以是包含有透明物体深度信息的深度图。
具体地，可以利用2D相机对目标拍摄场景进行拍摄，获得目标拍摄场景对应的目标彩色图像。可以利用3D相机对目标拍摄场景进行拍摄，获得目标拍摄场景对应的原始深度图。
S120、将目标彩色图像输入至预设图像处理模型中进行图像处理，并根据预设图像处理模型的输出，获得目标拍摄场景中的透明物体分割结果、边界预测结果和法向量预测结果。
其中，预设图像处理模型可以是用于对彩色图像进行透明物体分割提取、预测图像中的各个物体之间的边界、以及预测图像中的各个元素位置的法向量的神经网络模型。透明物体分割结果可以利用灰度图像进行表征，例如，透明物体所在位置区域为灰度值255的白色区域，除了透明物体之外的其他区域为灰度值0的黑色区域。边界预测结果可以是指与输入的目标彩色图像大小一致的边界预测图像。边界预测图像中包括利用线条表征出的透明物体与背景的边界以及透明物体与非透明物体之间的边界。法向量预测结果可以是指与输入的目标彩色图像大小一致的法向量预测图像。法向量预测图像中可以利用不同的颜色表征出图像中的每个元素位置对应的法向量。每个元素位置对应的法向量可以是指元素位置与其相邻的其他元素位置所构成的平面的法向量。需要说明的是，预设图像处理模型是预先基于样本数据进行模型训练获得的。样本数据包括包含有至少一个透明物体的样本彩色图像，以及对样本彩色图像进行标定获得的透明物体分割标签、边界标签和法向量标签。
具体地，图2给出了一种三维成像过程的示例图。如图2所示，可以将目标彩色图像输入至预先训练好的预设图像处理模型中，预设图像处理模型可以对输入的目标彩色图像进行图像处理，同时确定出目标拍摄场景中的透明物体分割结果、边界预测结果和法向量预测结果并输出，从而利用预设图像处理模型可以快速地获得透明物体分割结果、边界预测结果和法向量预测结果。
示例性地，预设图像处理模型可以包括：编码子模型、第一解码分支子模型、第二解码分支子模型和第三解码分支子模型。相应地，S120可以包括：将目标彩色图像输入至编码子模型中进行特征提取，获得提取出的目标图像特征信息；将目标图像特征信息输入至第一解码分支子模型中进行透明物体的位置预测，确定透明物体分割结果；将目标图像特征信息输入至第二解码分支子模型中进行透明物体和非透明物体的边界预测，确定边界预测结果；将目标图像特征信息输入至第三解码分支子模型中进行像素点位置对应的法向量的预测，确定法向量预测结果。
具体地，编码子模型可以是指对彩色图像进行图像编码，提取出彩色图像中的图像特征的网络模型。例如，可以仅将原始的Swin Transformer整个网络结构中的前两个推理阶段作为编码子模型，删除第三个和第四个两个推理阶段，从而可以降低模型的整体时间开销。可以将Swin Transformer网络结构中的单分支解码网络修改为三分支解码网络模型，即第一解码分支子模型、第二解码分支子模型和第三解码分支子模型。第一解码分支子模型、第二解码分支子模型和第三解码分支子模型是三个并列的用于预测不同信息的解码网络模型，从而通过第一解码分支子模型、第二解码分支子模型和第三解码分支子模型可以同时预测出输入图像中的透明物体分割结果、边界预测结果和法向量预测结果，避免了编码网络的重复推理，提高了信息预测效率，进一步也提高了三维成像效率。
S130、基于透明物体分割结果，对原始深度图进行剪切处理，获得去除透明物体深度信息的第一深度图。
其中，第一深度图可以是指不包含有透明物体深度信息的深度图。在采集原始深度图时，由于投射光线在透明物体上的透射和反射，导致采集到的透明物体深度信息不准确，从而需要对原始深度图中的透明物体位置预测错误的深度信息进行剪切。
具体地，如图2所示，根据透明物体分割结果中的透明物体位置信息，确定原始深度图中的透明物体所在位置处的深度信息，并将原始深度图中的透明物体深度信息进行剪切去除，从而获得去除预测错误的透明物体深度信息后的第一深度图。
S140、基于第一深度图、透明物体分割结果、边界预测结果和法向量预测结果进行深度信息的全局优化，确定优化后的第二深度图。
其中，第二深度图可以是对第一深度图进行深度信息补全后获得的最优深度图，也就是包含有最准确的透明物体深度信息的深度图。
具体地，如图2所示，可以将第一深度图、透明物体分割结果、边界预测结果和法向量预测结果输入一个全局优化器，全局优化器基于输入的信息求解出深度信息的最优解，并将获得的最优深度图，即第二深度图进行输出，从而实现对因物体透明而导致的深度缺失区域的深度信息补全。
示例性地，S140可以包括：以目标深度图作为优化对象，基于第一深度图、透明物体分割结果、边界预测结果和法向量预测结果，构建目标深度图所对应的目标优化函数；对目标优化函数进行最小化求解，并将最小解所对应的目标深度图确定为优化后的第二深度图。
其中，目标深度图可以是对第一深度图进行深度信息补全后获得的深度图。也就是说，目标深度图是一个与原始深度图尺寸大小一致的完整深度图。目标深度图可以是指目标优化函数中的优化对象。目标深度图中的每个像素点的深度信息均是可以调整优化的，以便确定出每个像素点对应的最优深度信息。具体地，在深度信息的全局优化时可以基于第一深度图、透明物体分割结果、边界预测结果和法向量预测结果，对目标深度图中的每个像素点位置进行建模，构建出以目标深度图为优化对象的目标优化函数，从而将整张深度图的优化转换为求解一个n元一次多项式的最小解的数学过程，并可以采用稀疏平方根Cholesky分解方式，对目标优化函数进行最小化求解，每个解对应一个包含具体深度值的目标深度图，获得的最小解为最优解，将最小解所对应的目标深度图作为最优深度图，即第二深度图，从而实现对因物体透明而导致的深度缺失区域的深度补全。
S150、基于第二深度图，确定目标拍摄场景对应的目标三维图像。
具体地，如图2所示，可以根据预先标定好的相机参数，对深度补全优化后的完整的第二深度图进行转换，获得目标拍摄场景中最终的三维点云数据，并基于三维点云数据可以更加精确地构建出包含有透明物体的目标拍摄场景对应的目标三维图像。通过在目标彩色图像和原始深度图的基础上，利用预设图像处理模型和全局优化方式，实现了一套后处理优化流程，从而在有限的算力开销下，可以有效改善成像系统对透明物体的三维成像效果。
本实施例的技术方案，通过将目标拍摄场景对应的目标彩色图像输入至预设图像处理模型中进行图像处理，获得目标拍摄场景中的透明物体分割结果、边界预测结果和法向量预测结果，并基于透明物体分割结果，对目标拍摄场景对应的原始深度图进行剪切处理，获得去除透明物体深度信息的第一深度图，并基于第一深度图、透明物体分割结果、边界预测结果和法向量预测结果进行深度信息的全局优化，从而对因物体透明而导致的深度缺失区域进行深度补全，并基于补全优化后完整的第二深度图，可以更加精确地构建出包含有透明物体的目标拍摄场景所对应的目标三维图像，从而有效提升了透明物体的三维成像效果。
图3为本发明实施例提供的另一种三维成像方法的流程图，本实施例在上述实施例的基础上，对目标深度图对应的目标优化函数的构建过程进行了详细描述。其中与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图3，本实施例提供的另一种三维成像方法具体包括以下步骤：
S310、获取目标拍摄场景对应的目标彩色图像和原始深度图，其中，目标拍摄场景中包含至少一个透明物体。
S320、将目标彩色图像输入至预设图像处理模型中进行图像处理，并根据预设图像处理模型的输出，获得目标拍摄场景中的透明物体分割结果、边界预测结果和法向量预测结果。
S330、基于透明物体分割结果，对原始深度图进行剪切处理，获得去除透明物体深度信息的第一深度图。
S340、以目标深度图作为优化对象，基于第一深度图，构建目标深度图对应的深度偏差子函数。
具体地，可以基于第一深度图和目标深度图中的每个像素点的深度值，构建出像素级别的深度偏差损失，即深度偏差子函数，并可以要求目标深度图中的当前像素的预测深度值与第一深度图中该像素的原始深度值的偏差尽可能地小。
示例性地，S340可以包括：获取第一深度图中的每个第一像素点对应的第一深度值；在第一深度图和目标深度图中，确定同一个第一像素点对应的第一深度值与优化深度值之间的深度偏差；基于各个深度偏差，构建目标深度图对应的深度偏差子函数。
其中，第一像素点是第一深度图中除了透明物体像素点之外的其他像素点。第一深度图是剪切去除了透明物体深度信息，第一深度图中的透明物体像素点为不存在第一深度值的无效像素点，此时可以将第一深度图中存在第一深度值的每个有效像素点作为第一像素点，即p1∈Tobs。
具体地，针对每个第一像素点而言，在第一深度图和目标深度图中，确定同一个第一像素点p1对应的第一深度值D0(p1)与优化深度值D(p1)之间的深度偏差，并可以将各个第一像素点对应的各个深度偏差的平方值进行相加，获得的相加结果作为构建出的深度偏差子函数ED。例如，构建出的深度偏差子函数为：
Figure BDA0003898473090000101
需要说明的是，深度偏差子函数中不对第一深度图中的无效像素点进行计算，从而对于剪切掉的透明物体区域，其优化后的深度相比于原始深度的偏差不要求尽可能小，仅要求有效像素点的优化后深度相比于原始深度的偏差要求尽可能小，从而保证有效像素点深度优化的准确性。
S350、基于边界预测结果和法向量预测结果，构建目标深度图对应的法向量偏差子函数。
具体地，可以基于目标深度图中的每个像素点和相邻像素点计算出的法向量和法向量预测结果中的每个像素点对应的预测法向量，构建出像素级别的法向量偏差损失，即法向量偏差子函数，并可以要求目标深度图中的除了边界像素点之外的每个像素点和相邻像素点计算出的法向量与法向量预测结果中该像素的预测法向量的夹角尽可能地小。
示例性地，S350可以包括：获取边界预测结果中的边界像素点；确定目标深度图中的每个第二像素点对应的第一法向量；获取法向量预测结果中的每个第二像素点对应的第二法向量；基于每个第二像素点对应的第一法向量和第二法向量，确定每个第二像素点对应的向量夹角；根据各个向量夹角，构建目标深度图对应的法向量偏差子函数。
其中，第二像素点是目标深度图中除了边界像素点之外的其他像素点。具体地，可以将边界预测结果中的每个边界上的所有像素点作为边界像素点，并将目标深度图中除了所有边界像素点之外的所有像素点确定为第二像素点，即p2∈N。针对每个第二像素点p2而言，可以在目标深度图中该第二像素点与其相邻的上下左右四个方向的相邻像素点q构成的平面，确定出该第二像素点对应的第一法向量v(p2,q)，并获取该第二像素点在法向量预测结果中的第二法向量N(p2)，基于该第二像素点对应的第一法向量和第二法向量，确定出该第二像素点对应的向量夹角＜v(p2,q),N(p2)＞。可以将各个第二像素点对应的各个向量夹角的平方值进行相加，获得的相加结果作为构建出的法向量偏差子函数。
例如，构建出的法向量偏差子函数为：
Figure BDA0003898473090000121
需要说明的是，法向量偏差子函数中不对目标深度图中被预测为边界像素点进行计算，从而允许目标拍摄场景中边界位置处的法向量发生剧烈变化，进而有效保证深度优化的准确性。
示例性地，确定目标深度图中的每个第二像素点对应的第一法向量，可以包括：根据目标深度图中的每个第二像素点所在的像素点位置以及在每两个相邻方向上的两个相邻像素点分别所在的两个像素点位置，确定每个第二像素点对应的法向量，其中，相邻方向包括上下左右四个方向；对各个法向量进行平均处理，确定每个第二像素点对应的第一法向量。
具体地，对于每个第二像素点而言，可以将该第二像素点所在的像素点位置与其每两个相邻方向的两个相邻像素点所在的两个像素点位置进行连线处理，构建出上下左右四个方向中每两个相邻方向所对应的平面，确定每个平面的法向量，并对该第二像素点对应的各个法向量进行平均处理，将获得的平均法向量确定为该第二像素点对应的第一法向量。通过对每两个相邻方向所对应的法向量进行平均处理，可以更加准确地表征出法向量偏差，进一步提高深度信息的全局优化效果。
S360、基于边界预测结果，构建目标深度图对应的深度平滑子函数。
具体地，可以基于目标深度图中的每个像素点和相邻像素点的深度值，构建出像素级别的深度平滑损失，即深度平滑子函数，并可以要求目标深度图中的除了边界像素点之外的每个像素点和相邻像素点之间的深度值变化尽可能地小。
示例性地，S360可以包括：获取边界预测结果中的边界像素点；根据目标深度图中的每个第二像素点对应的优化深度值以及在每个相邻方向上的相邻像素点对应的相邻深度值，确定每个第二像素点对应的变化深度；基于每个相邻方向上的各个第二像素点对应的变化深度，构建目标深度图对应的深度平滑子函数。
其中，第二像素点是目标深度图中除了边界像素点之外的其他像素点。相邻方向包括上下左右四个方向，具体地，可以将边界预测结果中的每个边界上的所有像素点作为边界像素点，并将目标深度图中除了所有边界像素点之外的所有像素点确定为第二像素点，即p2∈N。针对每个第二像素点p2而言，可以将目标深度图中该第二像素点对应的优化深度值D(p2)与每个相邻方向的相邻像素点对应的相邻深度值D(q)进行相减，获得该第二像素点与每个相邻方向的相邻像素点之间的变化深度。针对每个相邻方向而言，可以将该相邻方向上的各个第二像素点对应的变化深度的平方值进行相加，获得的相加结果作为构建出的该相邻方向对应的深度平滑子函数。例如，构建出的法向量偏差子函数为：
Figure BDA0003898473090000131
可以将各个相邻方向对应的各个深度平滑子函数进行联立求解，或者也可以对各个相邻方向对应的各个深度平滑子函数进行平均处理，获得的平均函数作为法向量偏差子函数。
需要说明的是，深度平滑子函数中不考虑目标深度图中被预测为边界像素点的深度变化的一致性，从而允许目标拍摄场景中边界位置处的深度发生跳变，进而有效保证深度优化的准确性。
S370、基于深度偏差子函数、法向量偏差子函数和深度平滑子函数，构建目标深度图对应的目标优化函数。
具体地，基于深度偏差权重λD、法向量偏差权重λN和深度平滑权重λS，对深度偏差子函数、法向量偏差子函数和深度平滑子函数进行加权求和，获得的求和结果作为构建出的目标优化函数E，即E＝λDED+λNEN+λSES。其中，深度偏差权重λD可以大于法向量偏差权重λN和深度平滑权重λS，以保证深度优化的准确性，例如，深度偏差权重λD可以为1000，法向量偏差权重λN和深度平滑权重λS均为1。
S380、对目标优化函数进行最小化求解，并将最小解所对应的目标深度图确定为优化后的第二深度图。
具体地，可以采用稀疏平方根Cholesky分解方式，对目标优化函数进行最小化求解，每个解对应一个目标深度图，获得的最小解为最优解，将最小解所对应的目标深度图作为最优深度图，即第二深度图，从而实现对因物体透明而导致的深度缺失区域的深度补全。
S390、基于第二深度图，确定目标拍摄场景对应的目标三维图像。
本实施例的技术方案，通过分别构建目标深度图对应的深度偏差子函数、法向量偏差子函数和深度平滑子函数，从而可以从深度偏差损失、法向量偏差损失和深度平滑损失上进行全局优化，进而可以更加准确地进行深度补全，保证深度信息的全局优化效果，进一步提高了透明物体三维成像效果。
以下是本发明实施例提供的三维成像装置的实施例，该装置与上述各实施例的三维成像方法属于同一个发明构思，在三维成像装置的实施例中未详尽描述的细节内容，可以参考上述三维成像方法的实施例。
图4为本发明实施例提供的一种三维成像装置的结构示意图，本实施例可适用于对包含有透明物体的拍摄场景进行三维成像的情况。如图4所示，该装置具体包括：图像获取模块410、目标彩色图像输入模块420、剪切处理模块430、全局优化模块440和目标三维图像确定模块450。
其中，图像获取模块410，用于获取目标拍摄场景对应的目标彩色图像和原始深度图，其中，所述目标拍摄场景中包含至少一个透明物体；目标彩色图像输入模块420，用于将所述目标彩色图像输入至预设图像处理模型中进行图像处理，并根据所述预设图像处理模型的输出，获得所述目标拍摄场景中的透明物体分割结果、边界预测结果和法向量预测结果；剪切处理模块430，用于基于所述透明物体分割结果，对所述原始深度图进行剪切处理，获得去除透明物体深度信息的第一深度图；全局优化模块440，用于基于所述第一深度图、所述透明物体分割结果、所述边界预测结果和所述法向量预测结果进行深度信息的全局优化，确定优化后的第二深度图；目标三维图像确定模块450，用于基于所述第二深度图，确定所述目标拍摄场景对应的目标三维图像。
本实施例的技术方案，通过将目标拍摄场景对应的目标彩色图像输入至预设图像处理模型中进行图像处理，获得目标拍摄场景中的透明物体分割结果、边界预测结果和法向量预测结果，并基于透明物体分割结果，对目标拍摄场景对应的原始深度图进行剪切处理，获得去除透明物体深度信息的第一深度图，并基于第一深度图、透明物体分割结果、边界预测结果和法向量预测结果进行深度信息的全局优化，从而对因物体透明而导致的深度缺失区域进行深度补全，并基于补全优化后完整的第二深度图，可以更加精确地构建出包含有透明物体的目标拍摄场景所对应的目标三维图像，从而有效提升了透明物体的三维成像效果。
可选地，全局优化模块440，包括：
目标优化函数构建单元，用于以目标深度图作为优化对象，基于所述第一深度图、所述透明物体分割结果、所述边界预测结果和所述法向量预测结果，构建目标深度图所对应的目标优化函数，其中，所述目标深度图是对所述第一深度图进行深度信息补全后获得的深度图；
目标优化函数求解单元，用于对所述目标优化函数进行最小化求解，并将最小解所对应的目标深度图确定为优化后的第二深度图。
可选地，目标优化函数构建单元，包括：
深度偏差子函数构建子单元，用于以目标深度图作为优化对象，基于所述第一深度图，构建所述目标深度图对应的深度偏差子函数；
法向量偏差子函数构建子单元，用于基于所述边界预测结果和所述法向量预测结果，构建所述目标深度图对应的法向量偏差子函数；
深度平滑子函数构建子单元，用于基于所述边界预测结果，构建所述目标深度图对应的深度平滑子函数；
目标优化函数构建子单元，用于基于所述深度偏差子函数、所述法向量偏差子函数和所述深度平滑子函数，构建所述目标深度图对应的目标优化函数。
可选地，深度偏差子函数构建子单元，具体用于：
获取所述第一深度图中的每个第一像素点对应的第一深度值，其中，所述第一像素点是所述第一深度图中除了透明物体像素点之外的其他像素点；在所述第一深度图和目标深度图中，确定同一个所述第一像素点对应的第一深度值与优化深度值之间的深度偏差；基于各个所述深度偏差，构建所述目标深度图对应的深度偏差子函数。
可选地，法向量偏差子函数构建子单元，具体用于：
获取所述边界预测结果中的边界像素点；确定所述目标深度图中的每个第二像素点对应的第一法向量，其中，所述第二像素点是所述目标深度图中除了所述边界像素点之外的其他像素点；获取所述法向量预测结果中的每个所述第二像素点对应的第二法向量；基于每个所述第二像素点对应的所述第一法向量和所述第二法向量，确定每个所述第二像素点对应的向量夹角；根据各个所述向量夹角，构建所述目标深度图对应的法向量偏差子函数。
可选地，法向量偏差子函数构建子单元，还具体用于：
根据所述目标深度图中的每个第二像素点所在的像素点位置以及在每两个相邻方向上的两个相邻像素点分别所在的两个像素点位置，确定每个第二像素点对应的法向量，其中，所述相邻方向包括上下左右四个方向；对各个所述法向量进行平均处理，确定每个第二像素点对应的第一法向量。
可选地，深度平滑子函数构建子单元，具体用于：
获取所述边界预测结果中的边界像素点；根据所述目标深度图中的每个第二像素点对应的优化深度值以及在每个相邻方向上的相邻像素点对应的相邻深度值，确定每个第二像素点对应的变化深度；其中，所述第二像素点是所述目标深度图中除了所述边界像素点之外的其他像素点；基于每个相邻方向上的各个所述第二像素点对应的变化深度，构建所述目标深度图对应的深度平滑子函数。
可选地，所述预设图像处理模型包括：编码子模型、第一解码分支子模型、第二解码分支子模型和第三解码分支子模型；
目标彩色图像输入模块420，具体用于：将所述目标彩色图像输入至所述编码子模型中进行特征提取，获得提取出的目标图像特征信息；将所述目标图像特征信息输入至第一解码分支子模型中进行透明物体的位置预测，确定透明物体分割结果；将所述目标图像特征信息输入至第二解码分支子模型中进行透明物体和非透明物体的边界预测，确定边界预测结果；将所述目标图像特征信息输入至第三解码分支子模型中进行像素点位置对应的法向量的预测，确定法向量预测结果。
本发明实施例所提供的三维成像装置可执行本发明任意实施例所提供的三维成像方法，具备执行三维成像方法相应的功能模块和有益效果。
值得注意的是，上述三维成像装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
图5为本发明实施例提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种三维成像方法步骤，该方法包括：
获取目标拍摄场景对应的目标彩色图像和原始深度图，其中，所述目标拍摄场景中包含至少一个透明物体；
将所述目标彩色图像输入至预设图像处理模型中进行图像处理，并根据所述预设图像处理模型的输出，获得所述目标拍摄场景中的透明物体分割结果、边界预测结果和法向量预测结果；
基于所述透明物体分割结果，对所述原始深度图进行剪切处理，获得去除透明物体深度信息的第一深度图；
基于所述第一深度图、所述透明物体分割结果、所述边界预测结果和所述法向量预测结果进行深度信息的全局优化，确定优化后的第二深度图；
基于所述第二深度图，确定所述目标拍摄场景对应的目标三维图像。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的三维成像方法的技术方案。
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的三维成像方法步骤，该方法包括：
获取目标拍摄场景对应的目标彩色图像和原始深度图，其中，所述目标拍摄场景中包含至少一个透明物体；
将所述目标彩色图像输入至预设图像处理模型中进行图像处理，并根据所述预设图像处理模型的输出，获得所述目标拍摄场景中的透明物体分割结果、边界预测结果和法向量预测结果；
基于所述透明物体分割结果，对所述原始深度图进行剪切处理，获得去除透明物体深度信息的第一深度图；
基于所述第一深度图、所述透明物体分割结果、所述边界预测结果和所述法向量预测结果进行深度信息的全局优化，确定优化后的第二深度图；
基于所述第二深度图，确定所述目标拍摄场景对应的目标三维图像。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种三维成像方法，其特征在于，包括：
获取目标拍摄场景对应的目标彩色图像和原始深度图，其中，所述目标拍摄场景中包含至少一个透明物体；
将所述目标彩色图像输入至预设图像处理模型中进行图像处理，并根据所述预设图像处理模型的输出，获得所述目标拍摄场景中的透明物体分割结果、边界预测结果和法向量预测结果；
基于所述透明物体分割结果，对所述原始深度图进行剪切处理，获得去除透明物体深度信息的第一深度图；
基于所述第一深度图、所述透明物体分割结果、所述边界预测结果和所述法向量预测结果进行深度信息的全局优化，确定优化后的第二深度图；
基于所述第二深度图，确定所述目标拍摄场景对应的目标三维图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一深度图、所述透明物体分割结果、所述边界预测结果和所述法向量预测结果进行深度信息的全局优化，确定优化后的第二深度图，包括：
以目标深度图作为优化对象，基于所述第一深度图、所述透明物体分割结果、所述边界预测结果和所述法向量预测结果，构建所述目标深度图对应的目标优化函数，其中，所述目标深度图是对所述第一深度图进行深度信息补全后获得的深度图；
对所述目标优化函数进行最小化求解，并将最小解所对应的目标深度图确定为优化后的第二深度图。
3.根据权利要求2所述的方法，其特征在于，所述以目标深度图作为优化对象，基于所述第一深度图、所述透明物体分割结果、所述边界预测结果和所述法向量预测结果，构建所述目标深度图对应的目标优化函数，包括：
以目标深度图作为优化对象，基于所述第一深度图，构建所述目标深度图对应的深度偏差子函数；
基于所述边界预测结果和所述法向量预测结果，构建所述目标深度图对应的法向量偏差子函数；
基于所述边界预测结果，构建所述目标深度图对应的深度平滑子函数；
基于所述深度偏差子函数、所述法向量偏差子函数和所述深度平滑子函数，构建所述目标深度图对应的目标优化函数。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一深度图，构建所述目标深度图对应的深度偏差子函数，包括：
获取所述第一深度图中的每个第一像素点对应的第一深度值，其中，所述第一像素点是所述第一深度图中除了透明物体像素点之外的其他像素点；
在所述第一深度图和所述目标深度图中，确定同一个所述第一像素点对应的第一深度值与优化深度值之间的深度偏差；
基于各个所述深度偏差，构建所述目标深度图对应的深度偏差子函数。
5.根据权利要求3所述的方法，其特征在于，所述基于所述边界预测结果和所述法向量预测结果，构建所述目标深度图对应的法向量偏差子函数，包括：
获取所述边界预测结果中的边界像素点；
确定所述目标深度图中的每个第二像素点对应的第一法向量，其中，所述第二像素点是所述目标深度图中除了所述边界像素点之外的其他像素点；
获取所述法向量预测结果中的每个所述第二像素点对应的第二法向量；
基于每个所述第二像素点对应的所述第一法向量和所述第二法向量，确定每个所述第二像素点对应的向量夹角；
根据各个所述向量夹角，构建所述目标深度图对应的法向量偏差子函数。
6.根据权利要求5所述的方法，其特征在于，所述确定所述目标深度图中的每个第二像素点对应的第一法向量，包括：
根据所述目标深度图中的每个第二像素点所在的像素点位置以及在每两个相邻方向上的两个相邻像素点分别所在的两个像素点位置，确定每个第二像素点对应的法向量，其中，所述相邻方向包括上下左右四个方向；
对各个所述法向量进行平均处理，确定每个第二像素点对应的第一法向量。
7.根据权利要求3所述的方法，其特征在于，所述基于所述边界预测结果，构建所述目标深度图对应的深度平滑子函数，包括：
获取所述边界预测结果中的边界像素点；
根据所述目标深度图中的每个第二像素点对应的优化深度值以及在每个相邻方向上的相邻像素点对应的相邻深度值，确定每个第二像素点对应的变化深度；其中，所述第二像素点是所述目标深度图中除了所述边界像素点之外的其他像素点；
基于每个相邻方向上的各个所述第二像素点对应的变化深度，构建所述目标深度图对应的深度平滑子函数。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述预设图像处理模型包括：编码子模型、第一解码分支子模型、第二解码分支子模型和第三解码分支子模型；
所述将所述目标彩色图像输入至预设图像处理模型中进行图像处理，包括：
将所述目标彩色图像输入至所述编码子模型中进行特征提取，获得提取出的目标图像特征信息；
将所述目标图像特征信息输入至第一解码分支子模型中进行透明物体的位置预测，确定透明物体分割结果；
将所述目标图像特征信息输入至第二解码分支子模型中进行透明物体和非透明物体的边界预测，确定边界预测结果；
将所述目标图像特征信息输入至第三解码分支子模型中进行像素点位置对应的法向量的预测，确定法向量预测结果。
9.一种三维成像装置，其特征在于，包括：
图像获取模块，用于获取目标拍摄场景对应的目标彩色图像和原始深度图，其中，所述目标拍摄场景中包含至少一个透明物体；
目标彩色图像输入模块，用于将所述目标彩色图像输入至预设图像处理模型中进行图像处理，并根据所述预设图像处理模型的输出，获得所述目标拍摄场景中的透明物体分割结果、边界预测结果和法向量预测结果；
剪切处理模块，用于基于所述透明物体分割结果，对所述原始深度图进行剪切处理，获得去除透明物体深度信息的第一深度图；
全局优化模块，用于基于所述第一深度图、所述透明物体分割结果、所述边界预测结果和所述法向量预测结果进行深度信息的全局优化，确定优化后的第二深度图；
目标三维图像确定模块，用于基于所述第二深度图，确定所述目标拍摄场景对应的目标三维图像。
10.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的三维成像方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的三维成像方法。
CN202211281815.2A 2022-10-19 2022-10-19 一种三维成像方法、装置、设备和存储介质 Pending CN115578516A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211281815.2A CN115578516A (zh) 2022-10-19 2022-10-19 一种三维成像方法、装置、设备和存储介质
PCT/CN2023/123920 WO2024083006A1 (zh) 2022-10-19 2023-10-11 一种三维成像方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211281815.2A CN115578516A (zh) 2022-10-19 2022-10-19 一种三维成像方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN115578516A true CN115578516A (zh) 2023-01-06

Family

ID=84586600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211281815.2A Pending CN115578516A (zh) 2022-10-19 2022-10-19 一种三维成像方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN115578516A (zh)
WO (1) WO2024083006A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058384A (zh) * 2023-08-22 2023-11-14 山东大学 一种三维点云语义分割的方法及系统
WO2024083006A1 (zh) * 2022-10-19 2024-04-25 京东科技控股股份有限公司 一种三维成像方法、装置、设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110109617A1 (en) * 2009-11-12 2011-05-12 Microsoft Corporation Visualizing Depth
CN109903372B (zh) * 2019-01-28 2021-03-23 中国科学院自动化研究所 深度图超分辨率补全方法及高质量三维重建方法与系统
CN113160313A (zh) * 2021-03-03 2021-07-23 广东工业大学 一种透明物体抓取控制方法、装置、终端及存储介质
CN113269689B (zh) * 2021-05-25 2023-08-29 西安交通大学 一种基于法向量和高斯权重约束的深度图像补全方法及系统
CN113313810B (zh) * 2021-06-18 2022-12-27 广东工业大学 一种透明物体的6d姿态参数计算方法
CN114004972A (zh) * 2021-12-03 2022-02-01 京东鲲鹏(江苏)科技有限公司 一种图像语义分割方法、装置、设备和存储介质
CN115578516A (zh) * 2022-10-19 2023-01-06 京东科技控股股份有限公司 一种三维成像方法、装置、设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024083006A1 (zh) * 2022-10-19 2024-04-25 京东科技控股股份有限公司 一种三维成像方法、装置、设备和存储介质
CN117058384A (zh) * 2023-08-22 2023-11-14 山东大学 一种三维点云语义分割的方法及系统
CN117058384B (zh) * 2023-08-22 2024-02-09 山东大学 一种三维点云语义分割的方法及系统

Also Published As

Publication number Publication date
WO2024083006A1 (zh) 2024-04-25

Similar Documents

Publication Publication Date Title
JP7106665B2 (ja) 単眼深度推定方法およびその装置、機器ならびに記憶媒体
CN115861601B (zh) 一种多传感器融合感知方法及装置
CN112258565B (zh) 图像处理方法以及装置
WO2024083006A1 (zh) 一种三维成像方法、装置、设备和存储介质
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN114842121B (zh) 贴图生成模型训练和贴图生成方法、装置、设备及介质
CN109003297A (zh) 一种单目深度估计方法、装置、终端和存储介质
CN110782531A (zh) 处理三维点云数据的方法和计算设备
CN114821505B (zh) 基于鸟瞰图的多视角3d目标检测方法、存储器及系统
CN114119992B (zh) 基于图像与点云融合的多模态三维目标检测方法及装置
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN116310684A (zh) 基于Transformer的多模态特征融合的三维目标检测方法
CN115439543A (zh) 孔洞位置的确定方法和元宇宙中三维模型的生成方法
CN114386481A (zh) 一种车辆感知信息融合方法、装置、设备及存储介质
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
CN118038229A (zh) 一种目标检测方法、装置、设备及存储介质
CN114549927B (zh) 特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN113763468B (zh) 一种定位方法、装置、系统及存储介质
Zhao et al. Distance transform pooling neural network for lidar depth completion
CN117252912A (zh) 深度图像获取方法、电子设备及存储介质
CN116129422A (zh) 单目3d目标检测方法、装置、电子设备和存储介质
CN115375740A (zh) 位姿确定方法和三维模型的生成方法、装置、设备、介质
CN114140497A (zh) 目标车辆3d实时追踪方法及系统
Rodriguez et al. Pola4All: survey of polarimetric applications and an open-source toolkit to analyze polarization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination