CN110827392B - 单目图像三维重建方法、系统及装置 - Google Patents

Abstract

本发明涉及测量领域，尤其涉及一种单目图像三维重建方法、系统及装置。单目图像三维重建方法包括以下步骤：拍摄得到一二维图像；分割所述二维图像，得到对应三维空间中的多个参考平面；根据多个参考平面完成所述二维图像所对应的三维重建；提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。本发明提供的单目图像三维重建方法、系统及装置，利用单目对平面的三维重建能力，首先创建参考平面，然后基于参考平面把图像中的每个物体点映射到每个模拟平面，来获得每个物体点的深度，完成整个图像的三维重建。其结构简单，实现容易，有很好的场景易用性。

Description

单目图像三维重建方法、系统及装置

本案是以申请号为201811009447.X，申请日为2018年8月31日，名称为《基于参考平面的单目图像三维重建方法、系统及装置》的专利申请为母案的分案申请。

技术领域

本发明涉及测量领域，尤其涉及一种单目图像三维重建方法、系统及装置。

背景技术

图像三维重建应用于各个领域。单目视觉结构简单，应用方便，在不借助已知标准物的前提下，只能对图像中指定的单个平面上的物体进行三维重建。双目立体视觉模拟人眼功能，通过视差完成三维重建，与单目视觉相比，能够对图像中所有物体进行三维重建，但双目立体视觉具有结构复杂、精确校准过程困难，对应点匹配误差大的缺点，在物体表面特征点较稀疏的场景中，很难获得精确的形状完成三维重建。结构光摄像头需要配合激光投射器、光学衍射元件及红外摄像头等核心器件，通过红外摄像头捕捉到扩散的红外散斑，算出各个点的深度信息，但光学衍射元件成本较高，非一般用户所能承受。高成本的三维激光扫描仪，及双目立体相机的都有较高的要求，因此需要一个更好的替代方案来解决此问题。

发明内容

本发明所要解决的技术问题是：提供一种的单目图像三维重建方法、系统及装置。

为了解决上述技术问题，本发明采用的第一技术方案为：

一种单目图像三维重建方法，包括以下步骤：

S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；

S2、分割所述二维图像，得到对应三维空间中的多个参考平面；

S3、根据多个参考平面完成所述二维图像所对应的三维重建；

S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。

本发明采用的第二技术方案为：

一种单目图像三维重建系统，包括一个或多个处理器及存储器，所述存储器存储有程序，该程序被处理器执行时实现以下步骤：

S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；

S2、分割所述二维图像，得到对应三维空间中的多个参考平面；

S3、根据多个参考平面完成所述二维图像所对应的三维重建；

S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。

本发明采用的第三技术方案为：

一种单目图像三维重建装置，包括相互连接的摄像头和三维重建单元，所述摄像头被配置为拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；

所述三维重建单元被配置为分割所述二维图像，得到对应三维空间中的多个参考平面；根据多个参考平面完成所述二维图像所对应的三维重建；提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。

本发明的有益效果在于：本发明提供的单目图像三维重建方法、系统及装置，利用单目对平面的三维重建能力，首先创建参考平面，然后基于参考平面把图像中的每个物体点映射到每个模拟平面，来获得每个物体点的深度，完成整个图像的三维重建。其结构简单，实现容易，有很好的场景易用性。

附图说明

图1为本发明的基于参考平面的单目图像三维重建方法的步骤流程图；

图2为本发明的基于参考平面的单目图像三维重建系统的结构示意图；

图3为本发明的基于参考平面的单目图像三维重建系统的投影点平面重建示意图；

标号说明：

1、处理器；2、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，一种基于参考平面的单目图像三维重建方法，包括以下步骤：

S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；

S2、分割所述二维图像，得到对应三维空间中的多个参考平面；

S3、根据多个参考平面完成所述二维图像所对应的三维重建；

S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。

从上述描述可知，本发明的有益效果在于：本发明提供的基于参考平面的单目图像三维重建方法，利用单目对平面的三维重建能力，首先创建参考平面，然后基于参考平面把图像中的每个物体点映射到每个模拟平面，来获得每个物体点的深度，完成整个图像的三维重建。

进一步的，步骤S1具体为：

旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；

步骤S2具体为：

使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；

步骤S3具体为：

将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；

步骤S4具体为：

提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建。

进一步的，步骤S2还包括：

将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。

参阅图2，本发明还提供的一种基于参考平面的单目图像三维重建系统，包括一个或多个处理器1及存储器2，所述存储器2存储有程序，该程序被处理器1执行时实现以下步骤：

S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；

S2、分割所述二维图像，得到对应三维空间中的多个参考平面；

S3、根据多个参考平面完成所述二维图像所对应的三维重建；

S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。

从上述描述可知，本发明的有益效果在于：本发明提供的基于参考平面的单目图像三维重建系统，利用单目对平面的三维重建能力，首先创建参考平面，然后基于参考平面把图像中的每个物体点映射到每个模拟平面，来获得每个物体点的深度，完成整个图像的三维重建。

进一步的，该程序被所述处理器执行时进一步实现包括以下步骤：

步骤S1具体为：

旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；

步骤S2具体为：

使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；

步骤S3具体为：

将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；

步骤S4具体为：

提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建。

进一步的，该程序被所述处理器执行时进一步实现包括以下步骤：

将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。

本发明还提供的一种基于参考平面的单目图像三维重建装置，包括相互连接的摄像头和三维重建单元，所述摄像头被配置为拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；

所述三维重建单元被配置为分割所述二维图像，得到对应三维空间中的多个参考平面；根据多个参考平面完成所述二维图像所对应的三维重建；提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。

从上述描述可知，本发明的有益效果在于：本发明提供的基于参考平面的单目图像三维重建装置，利用单目对平面的三维重建能力，首先创建参考平面，然后基于参考平面把图像中的每个物体点映射到每个模拟平面，来获得每个物体点的深度，完成整个图像的三维重建。其结构简单，实现容易，有很好的场景易用性。

进一步的，所述摄像头具体被配置为旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；

所述三维重建单元具体被配置为使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；

将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；

提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建。

进一步的，所述三维重建单元具体被配置为将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。

请参照图1，本发明的实施例一为：

本发明提供的基于参考平面的的单目图像三维重建方法，包括步骤：

S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；

S2、分割所述二维图像，得到对应三维空间中的多个参考平面；

S3、根据多个参考平面完成所述二维图像所对应的三维重建；

S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。

需要说明的是，本发明所述的图像三维重建，是指通过图像求得物体在统一三维参考坐标系下的坐标，摄像头是三维世界空间和二维图像之间的一种映射，其映射模型可表示为：

该映射模型表示三维参考坐标系上某点的齐次坐标(X_w，Y_w，Z_w，1)与该点映射到二维图像坐标系上的齐次坐标(u，v，1)之间的关系，可以通过摄像头内部参数K与摄像头外部参数(旋转R与平移t)获得。其中，摄像头内部参数

是摄像头的固有矩阵，(u₀，v₀)是摄像头光学中心在CCD成像平面上的投影位置，f是摄像头的焦距，d_x和d_y分别是CCD每个像素在水平方向和垂直方向上的物理尺寸。

上述的步骤S1具体为：

在本实施例中，旋转摄像头至需要三维重建的场景区域，摄像头对该区域进行图像抓取，建立二维图像坐标系；所述二维图像坐标系是以二维图像的左上角为原点，向右为u轴，向下为v轴所创建的坐标系；并通过云台得到摄像头光轴的旋转角度值，所述光轴旋转角度值包括云台的垂直转动角度α_c和水平转动角度β_c；

上述的步骤S2具体为：

在本实施例中，预先采集大量同类应用场景图片，使用SLIC算法对图像进行超像素处理，得到图像颜色与纹理的分布情况；对具有相同特性的超像素进行分组，相同特性是指图像中具有同一类几何意义的区域像素，比如对于工地场景，一般把图像分成两类几何类型，即参考平面(施工面)和非参考平面(从参考平面伸出的物体，如钢筋、脚手架、水泥柱等)；对采集的场景图片集进行超像素分组后，对分组进行标注(参考平面还是非参考平面)，再通过深度学习创建场景的几何分类模型；

在S1步骤抓取图像后，将分类模型对图像进行分析，分割出参考平面几何区域，把图像中属于参考平面区域的像素标记为参考平面类型，其他剩余像素标记为非参考平面类型；

上述的步骤S3具体为：

在本实施例中，为方便描述，以云台处于初始位置零方位(水平角与垂直角都为0度)时的光轴为Z_c轴，建立摄像头坐标系X_cY_cZ_c；在参考平面上，以光轴为原点，以摄像头坐标系X_cY_cZ_c的坐标轴方向为参考方向，建立三维参考坐标系X_wY_wZ_w，其中Y_w垂直于参考平面；

控制云台把摄像头光轴分别定位到参考平面的任意三个位置点，参考平面位置点的定位可以通过图像匹配算法，比较画面中心n×n像素区域与步骤S2得到的参考平面类型像素集进行确定，然后根据云台转动角度值及激光测距的距离，得到参考平面三个位置点在坐标系X_cY_cZ_c下的坐标值；

在本实施例中，通过云台定位激光束到参考平面的第一个位置点P₁，由点P₁到激光测量器的距离

及云台的垂直转动角度α₁、水平转动角度β₁，计算得到点P₁在坐标系X_cY_cZ_c下的坐标值

同理，可得激光束到参考平面第二个点P₂的坐标值

及第三个点P₃的坐标值

此处不再赘述；

由参考平面的法向量

可得向量

在参考平面法线上的投影向量

进一步可得，光轴与参考平面距离最近时，光轴相对零方位的垂直偏角

光轴相对零方位的水平偏角

由步骤S1中抓取图像时的云台垂直转动角度α_c和水平转动角度β_c，可得光轴彼时的单位向量

进一步可得，投影向量

和单位向量

之间的夹角

进一步可得，步骤S1抓取的图像中，光轴到参考平面的平移向量

及旋转向量

把(旋转R_c与平移t_c)代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型

中，即可实现对参考平面的三维重建，得到图像中参考平面的每个像素点所对应三维参考坐标系下的坐标；

上述的步骤S4具体为：

在本实施例中，物体投影点的提取方法如下：

对图像应用SharpMask图像分割算法，得到图像中物体的边缘分割纹理，对属于S2得到的非参考平面类型像素集范围的纹理像素点，计算其在参考平面的投影点；

所述投影点是指物体上的每一点投影到参考平面上的点，物体点与投影点的连线垂直于参考平面，即与参考平面的法向量平行；

物体与参考平面的连接处，反映在图像上就是，物体的边缘分割纹理像素点与参考平面像素点的相邻区域，在物体的边缘分割纹理像素点的八连通邻域内，查找是否包含步骤S2得到的参考平面类型像素集，把包含的参考平面像素列入所述物体边缘分割纹理像素点的投影点集；把纹理像素点分别与投影点集中的每个参考平面像素点进行结合，得到所述纹理像素点在二维图像坐标系中的平面直线集；

在三维参考坐标系X_wY_wZ_w下，取参考平面上一点m(0，0，0)与参考平面外一点n(0，0，1)，可知向量

即参考平面的法向量，代入过点m、n且与参考平面垂直的平面的三维参考坐标系和二维图像坐标系之间的映射模型

中，即可实现对所述垂直平面的三维重建，得到法向量

在二维图像坐标系下的直线；

按照物体点与投影点的连线与参考平面的法向量平行的约束条件原则，在所述平面直线集中找到与法向量

直线平行相关度最高的直线，平行相关度可以两直线的夹角作判别条件，把平行相关度最高的直线所对应的参考平面像素点，作为物体点的投影点；并由步骤S2参考平面的三维重建结果，可得投影点所对应三维参考坐标系下的坐标P_p＝(X_p，Y_p，Z_p)；

由步骤S3中单位向量

和平移向量t_c，可得步骤S1抓取图片时的光轴向量

由参考平面法线上的投影向量

可得，向量

在参考平面上的投影向量

以投影向量

作为法向量，结合投影点P_p，可得过投影点且与参考平面垂直的平面，此垂直平面即为物体点所在的平面；

进一步可得，向量

与垂直平面的交点(X_i，Y_i，Z_i)，其中

进一步可得，光轴到垂直平面的平移值

代入垂直平面的三维参考坐标系和二维图像坐标系之间的映射模型

中，即可得到物体点所对应三维参考坐标系下的坐标；

重复以上，即可得到图像中所有物体点在三维参考坐标系下的坐标，完成图像中所有物体的三维重建；

如图3所示，二维图像中，在参考平面ρ(建设工地楼面)上，有一根斜插在参考平面上的钢筋，钢筋的像素点A、B在参考平面ρ上的投影点为a、b，得到过投影点a、b与参考平面ρ垂直的模拟平面π₁、π₂，进一步可得平面π₁、π₂与二维图像之间的映射模型，从而得到图像像素点A、B的三维坐标；依此类推，可得钢筋所有像素点的三维坐标，完成整个钢筋的三维重建。

参照图2，本发明的实施例二为：

本发明提供的一种基于参考平面的单目图像三维重建系统，包括一个或多个处理器及存储器，所述存储器存储有程序，该程序被处理器执行时实现以下步骤：

S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；

S2、分割所述二维图像，得到对应三维空间中的多个参考平面；

S3、根据多个参考平面完成所述二维图像所对应的三维重建；

S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。

需要说明的是，本发明所述的图像三维重建，是指通过图像求得物体在统一三维参考坐标系下的坐标，摄像头是三维世界空间和二维图像之间的一种映射，其映射模型可表示为：

该映射模型表示三维参考坐标系上某点的齐次坐标(X_w，Y_w，Z_w，1)与该点映射到二维图像坐标系上的齐次坐标(u，v，1)之间的关系，可以通过摄像头内部参数K与摄像头外部参数(旋转R与平移t)获得。其中，摄像头内部参数

是摄像头的固有矩阵，(u₀，v₀)是摄像头光学中心在CCD成像平面上的投影位置，f是摄像头的焦距，d_x和d_y分别是CCD每个像素在水平方向和垂直方向上的物理尺寸。

上述的步骤S1具体为：

在本实施例中，旋转摄像头至需要三维重建的场景区域，摄像头对该区域进行图像抓取，建立二维图像坐标系；所述二维图像坐标系是以二维图像的左上角为原点，向右为u轴，向下为v轴所创建的坐标系；并通过云台得到摄像头光轴的旋转角度值，所述光轴旋转角度值包括云台的垂直转动角度α_c和水平转动角度β_c；

上述的步骤S2具体为：

在本实施例中，预先采集大量同类应用场景图片，使用SLIC算法对图像进行超像素处理，得到图像颜色与纹理的分布情况；对具有相同特性的超像素进行分组，相同特性是指图像中具有同一类几何意义的区域像素，比如对于工地场景，一般把图像分成两类几何类型，即参考平面(施工面)和非参考平面(从参考平面伸出的物体，如钢筋、脚手架、水泥柱等)；对采集的场景图片集进行超像素分组后，对分组进行标注(参考平面还是非参考平面)，再通过深度学习创建场景的几何分类模型；

在S1步骤抓取图像后，将分类模型对图像进行分析，分割出参考平面几何区域，把图像中属于参考平面区域的像素标记为参考平面类型，其他剩余像素标记为非参考平面类型；

上述的步骤S3具体为：

在本实施例中，为方便描述，以云台处于初始位置零方位(水平角与垂直角都为0度)时的光轴为Z_c轴，建立摄像头坐标系X_cY_cZ_c；在参考平面上，以光轴为原点，以摄像头坐标系X_cY_cZ_c的坐标轴方向为参考方向，建立三维参考坐标系X_wY_wZ_w，其中Y_w垂直于参考平面；

控制云台把摄像头光轴分别定位到参考平面的任意三个位置点，参考平面位置点的定位可以通过图像匹配算法，比较画面中心n×n像素区域与步骤S2得到的参考平面类型像素集进行确定，然后根据云台转动角度值及激光测距的距离，得到参考平面三个位置点在坐标系X_cY_cZ_c下的坐标值；

在本实施例中，通过云台定位激光束到参考平面的第一个位置点P₁，由点P₁到激光测量器的距离

及云台的垂直转动角度α₁、水平转动角度β₁，计算得到点P₁在坐标系X_cY_cZ_c下的坐标值

同理，可得激光束到参考平面第二个点P₂的坐标值

及第三个点P₃的坐标值

此处不再赘述；

由参考平面的法向量

可得向量

在参考平面法线上的投影向量

进一步可得，光轴与参考平面距离最近时，光轴相对零方位的垂直偏角

光轴相对零方位的水平偏角

由步骤S1中抓取图像时的云台垂直转动角度α_c和水平转动角度β_c，可得光轴彼时的单位向量

进一步可得，投影向量

和单位向量

之间的夹角

进一步可得，步骤S1抓取的图像中，光轴到参考平面的平移向量

及旋转向量

把(旋转R_c与平移t_c)代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型

中，即可实现对参考平面的三维重建，得到图像中参考平面的每个像素点所对应三维参考坐标系下的坐标；

上述的步骤S4具体为：

在本实施例中，物体投影点的提取方法如下：

对图像应用SharpMask图像分割算法，得到图像中物体的边缘分割纹理，对属于S2得到的非参考平面类型像素集范围的纹理像素点，计算其在参考平面的投影点；

所述投影点是指物体上的每一点投影到参考平面上的点，物体点与投影点的连线垂直于参考平面，即与参考平面的法向量平行；

物体与参考平面的连接处，反映在图像上就是，物体的边缘分割纹理像素点与参考平面像素点的相邻区域，在物体的边缘分割纹理像素点的八连通邻域内，查找是否包含步骤S2得到的参考平面类型像素集，把包含的参考平面像素列入所述物体边缘分割纹理像素点的投影点集；把纹理像素点分别与投影点集中的每个参考平面像素点进行结合，得到所述纹理像素点在二维图像坐标系中的平面直线集；

在三维参考坐标系X_wY_wZ_w下，取参考平面上一点m(0，0，0)与参考平面外一点n(0，0，1)，可知向量

即参考平面的法向量，代入过点m、n且与参考平面垂直的平面的三维参考坐标系和二维图像坐标系之间的映射模型

中，即可实现对所述垂直平面的三维重建，得到法向量

在二维图像坐标系下的直线；

按照物体点与投影点的连线与参考平面的法向量平行的约束条件原则，在所述平面直线集中找到与法向量

直线平行相关度最高的直线，平行相关度可以两直线的夹角作判别条件，把平行相关度最高的直线所对应的参考平面像素点，作为物体点的投影点；并由步骤S2参考平面的三维重建结果，可得投影点所对应三维参考坐标系下的坐标P_p＝(X_p，Y_p，Z_p)；

由步骤S3中单位向量

和平移向量t_c，可得步骤S1抓取图片时的光轴向量

由参考平面法线上的投影向量

可得，向量

在参考平面上的投影向量

以投影向量

作为法向量，结合投影点P_p，可得过投影点且与参考平面垂直的平面，此垂直平面即为物体点所在的平面；

进一步可得，向量

与垂直平面的交点(X_i，Y_i，Z_i)，其中

进一步可得，光轴到垂直平面的平移值

代入垂直平面的三维参考坐标系和二维图像坐标系之间的映射模型

中，即可得到物体点所对应三维参考坐标系下的坐标；

重复以上，即可得到图像中所有物体点在三维参考坐标系下的坐标，完成图像中所有物体的三维重建。

本发明的实施例三为：

本发明还提供的一种基于参考平面的单目图像三维重建装置，包括相互连接的摄像头和三维重建单元，所述摄像头被配置为拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；

所述三维重建单元被配置为分割所述二维图像，得到对应三维空间中的多个参考平面；根据多个参考平面完成所述二维图像所对应的三维重建；提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。

所述摄像头具体被配置为旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；

所述三维重建单元具体被配置为使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；

将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；

提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建。

所述三维重建单元具体被配置为将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。

在具体实施例中，上述的基于参考平面的单目图像三维重建装置，包括测量端；所述测量端包括激光、摄像头、调角器和处理器；所述激光设置在摄像头上，所述激光、摄像头和调角器分别与处理器连接，所述激光和摄像头分别与调角器连接，还包括服务端和至少一个以上的终端；所述测量端通过服务端分别与终端连接。服务端分别与测量端及终端通过网络连接。服务端提供测量端和终端之间的通信接口，服务端接收来自/发送去往测量端或终端的电信号。终端向用户显示可视输出，包括二维图像、三维重建结果的文本信息、图形信息及其任意组合。终端接收用户的控制输入，向服务端发送控制信号，执行二维图像抓取，获取图像内物体三维重建结果。

综上所述，本发明提供的一种基于参考平面的单目图像三维重建方法、系统及装置，利用单目对平面的三维重建能力，首先创建参考平面，然后基于参考平面把图像中的每个物体点映射到每个模拟平面，来获得每个物体点的深度，完成整个图像的三维重建。其结构简单，实现容易，有很好的场景易用性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种单目图像三维重建方法，其特征在于，包括以下步骤：

S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；

S2、分割所述二维图像，得到对应三维空间中的多个参考平面；

S3、根据多个参考平面完成所述二维图像所对应的三维重建；

S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建；

步骤S1具体为：

旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；

步骤S2具体为：

使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；

步骤S3具体为：

将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；

步骤S4具体为：

提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建；

所述步骤S2还包括：

预先采集大量同类应用场景图片，使用SLIC算法对所述采集的同类应用场景图片进行超像素处理，得到图像颜色与纹理的分布情况；

对具有相同特性的超像素进行分组；

对采集的同类应用场景图像进行超像素分组后，对分组进行标注，标注出是参考平面还是非参考平面，再通过深度学习创建分类模型。

2.根据权利要求1所述的单目图像三维重建方法，其特征在于，步骤S2还包括：

将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。

3.一种单目图像三维重建系统，其特征在于，包括一个或多个处理器及存储器，所述存储器存储有程序，该程序被处理器执行时实现以下步骤：

S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；

S2、分割所述二维图像，得到对应三维空间中的多个参考平面；

S3、根据多个参考平面完成所述二维图像所对应的三维重建；

S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建；

步骤S1具体为：

旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；

步骤S2具体为：

使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；

步骤S3具体为：

将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；

步骤S4具体为：

提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建；

所述步骤S2还包括：

预先采集大量同类应用场景图片，使用SLIC算法对所述采集的同类应用场景图片进行超像素处理，得到图像颜色与纹理的分布情况；

对具有相同特性的超像素进行分组；

对采集的同类应用场景图像进行超像素分组后，对分组进行标注，标注出是参考平面还是非参考平面，再通过深度学习创建分类模型。

4.根据权利要求3所述的单目图像三维重建系统，其特征在于，该程序被所述处理器执行时进一步实现包括以下步骤：

将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。

5.一种单目图像三维重建装置，其特征在于，包括相互连接的摄像头和三维重建单元，所述摄像头被配置为拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；

所述三维重建单元被配置为分割所述二维图像，得到对应三维空间中的多个参考平面；根据多个参考平面完成所述二维图像所对应的三维重建；提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建；

所述摄像头具体被配置为旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；

所述三维重建单元具体被配置为使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；

将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；

提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建；

还包括所述分类模型的建立；

所述分类模型的建立包括：

预先采集大量同类应用场景图片，使用SLIC算法对所述采集的同类应用场景图片进行超像素处理，得到图像颜色与纹理的分布情况；

对具有相同特性的超像素进行分组；

对采集的同类应用场景图像进行超像素分组后，对分组进行标注，标注出是参考平面还是非参考平面，再通过深度学习创建分类模型。

6.根据权利要求5所述的单目图像三维重建装置，其特征在于，所述三维重建单元具体被配置为将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。

Images