CN111660294B - 一种液压重载机械臂增强现实操控系统 - Google Patents

Abstract

本发明提供一种液压重载机械臂增强现实操控系统，包括现场图像信息采集模块，用于采集现场作业的图像信息及目标物体的空间位置信息；人工交互操作模块，用于操作员介入作业流程；MySQL数据库模块，用于存储用户信息、图像信息和路径规划信息；云端服务器模块，用于在云端生成目标模型，并根据作业任务结合路径规划信息计算路径；数据可视化模块，用于在操作界面显示数据分析结果；防撞检测模块，用于在模型数据层面验证计算的路径是否能够安全可靠执行；数据整合模块，用于将经过验证的可靠数据按照协议要求写入数据帧；紧急停止模块，用于突发状况时紧急断开对机械臂的控制。本发明能提高机械臂作业的智能性、操作的友好性以及可靠性。

Description

一种液压重载机械臂增强现实操控系统

技术领域

本发明涉及机械臂控制技术领域，特别涉及一种液压重载机械臂增强现实操控系统。

背景技术

自计算机和互联网诞生以来，它们时刻影响着我们的生活，给我们这个世界带来更多意想不到的变化。从寻常老百姓的家中到大型的工业现场里，都能见到各式各样的机器人的身影，在改变着、影响着我们的生活。现如今，人工智能(Artificial Intelligence，AI)发展如火如荼，我们的生活早已步入智能时代，工业机器人也在不断地发展之中。21世纪以来，随着劳动力成本的不断提高，技术的不断进步，各国陆续进行制造业的转型与升级，出现了机器人替代人的热潮。未来，机器人在一般制造业领域将成为工业机器人的新战场。

Unity3D的多版本适应性强，可以在多种电脑操作系统上进行安装使用，包括常见的Windows，macOS，Android，还包括可以在Web等多种主流平台上使用，可以满足不同用户的在不同场景下的需求。同时也有助于产品在市场上凸显出自身优势，打开市场缺口，使得经费、场地、设备的因素也将更小的影响到操作过程。同时，Unity3D所提供的操作系统平台也可以利用到教学、培训过程，能够更好地满足用户体验。从安全角度来讲，通过此操作系统平台来进行相关作业，可以让机械臂操作员处在远离现场环境的操作现场，通过以太网线等网络通信方式进行数据的传输，避免在各种复杂的现场工业环境中遭受不必要的危险问题，进一步保障操作员的人身安全问题。在投入到市场上使用时，简单易懂并且直观的操作方式也可大大降低培训操作员所带来的学习成本和培训费用。

现阶段投入市场使用的机械臂的自主能力还不够，还存在着一定的缺陷，人机交互能力还有待提高，不够良好的人机交互体验将会制约到机器人产业在我国的进一步发展。

发明内容

本发明的目的在于提供一种液压重载机械臂增强现实操控系统，以解决现有技术中存在的操作不便和缺乏良好移动性以及多平台兼容的问题。

为解决上述技术问题，本发明的实施例提供如下方案：

一种液压重载机械臂增强现实操控系统，包括：

现场图像信息采集模块，用于采集现场作业的图像信息以及目标物体的空间位置信息；

人工交互操作模块，用于操作员介入作业流程，发布作业任务，通过控制器控制机械臂运动；

MySQL数据库模块，用于存储用户信息、采集的图像信息和空间位置信息、路径规划信息；

云端服务器模块，用于在云端根据采集的图像信息和目标物体的空间位置信息生成目标模型及其空间位置，并根据作业任务结合路径规划信息计算路径；

数据可视化模块，用于在操作界面上显示所述MySQL数据库模块中数据的分析结果；

防撞检测模块，用于在模型数据层面验证计算的路径是否能够安全可靠执行；

数据整合模块，用于整理相关计算数据，并将经过所述防撞检测模块验证的可靠数据按照协议要求写入数据帧；

紧急停止模块，用于突发事件发生时，紧急断开对机械臂的控制，并锁住各个可移动关节；

5G通信模块，用于在各平台系统与所述云端服务器模块、所述MySQL数据库模块之间进行信息传递和数据交换时提供无线通信支持。

优选地，所述现场图像信息采集模块包括RGB摄像机和结构光深度摄像机；所述RGB摄像机用于采集现场作业的图像信息并实时回传，采集的图像信息通过改进的DPM算法实现对目标物体模型的图像识别及检测；所述结构光深度摄像机的编码方式采用自适应多维参数编码，由编码的主结构光形成的图像来反映目标物体的深度变化细节，用于采集目标物体的三维空间位置信息。

优选地，所述人工交互操作模块采用基于大型电液压驱动机器人的自适应主从操作策略，采取位差双向反馈的方法在主从机器人之间实现精准控制；

所述人工交互操作模块包括控制器，操作员通过操作所述控制器来控制机械臂末端进行移动，并记录移动的相关位置信息以供使用。

优选地，所述MySQL数据库模块存储的用户信息包括有权限使用系统的企业员工和负责人的身份信息，具体包括姓名、个人相片、工号以及使用权限，所述MySQL数据库模块用于开始使用系统前的登录验证操作；

所述MySQL数据库模块存储的图像信息及空间位置信息用于备份，以及用作对目标物体进行学习的训练数据集，以优化对目标物体的识别率；

所述MySQL数据库模块存储的路径规划信息用于备份，以及后续进行数据整合，通过计算相应的统计学数据来作为优化路径规划算法的有效辅助数据。

优选地，所述数据可视化模块基于孤立森林算法进行异常值检测，以及利用回归分析和拓扑数据分析对数据进行具体分析，并将分析结果以曲线图或柱状图的方式绘制出来，并显示在操作界面上；所述分析结果包括单次规划时间、单次运行时间、目标识别率、作业完成率。

优选地，所述云端服务器模块采用多层递阶网络结构，使用Robot-Cloud平台与SOA架构结合的云计算框架在云端完成数据处理与运算。

优选地，所述防撞检测模块包括基于深度学习的碰撞监测框架，所述碰撞监测框架基于设计的深度神经网路模型来学习机器人碰撞信号并识别任何碰撞发生；

所述防撞检测模块还用于利用Unity3D的系统特性，在模型层面进行单次运动规划的快速模拟运行；并在模拟运行的结果符合正常操作时，将具体数据按照协议格式下发到机械臂关节驱动器。

优选地，所述数据整合模块具体用于将经过所述防撞检测模块测试过的可靠数据根据EtherCAT协议标准格式，帧头，报头，报文的格式，按照机械臂关节编号，下发至机械臂，以供机械臂的各个关节驱动器读取数据帧里对应的数据来完成工作。

本发明的上述方案至少包括以下有益效果：

上述方案中，通过现场图像信息采集模块，在系统操作界面上实现实时图像以及图像增强现实功能；登录系统需要获得相应权限，系统会检验使用人员是否具备登陆的权限；具备登录权限的用户信息将会提前收录在MySQL数据库模块之中；系统通过MySQL数据库模块来存储由现场图像信息采集模块、人工交互操作模块所获得的各类数据，按照不同分类存储在不同链表之中；云端服务器模块接收来自现场图像信息采集模块采集到的和由人工交互操作模块生成的数据，完成增强现实的任务，并结合预先准备的、符合当前实际机械臂需求的路径规划算法进行计算；并将所得的数据发送到防撞检测模块，同时本次数据上传至MySQL数据库模块进行备份；当防撞检测模块接收到数据之后，利用碰撞监测框架(Robot CollisionNet)在Unity3D内进行本次运动规划的快速模拟运行，以检测该计算结果的正确性、可靠性；当模型模拟运行成功，表示本次计算结果是正确可靠的，再进一步将数据发送至数据整合模块，否则，系统将重新进行计算；通过数据整合模块将数据按照EtherCAT协议的要求以及实际机械臂控制的需求整理好数据帧格式，然后进行数据下发；该系统还具有紧急停止模块，按下紧急停止按钮后，系统将紧急停止数据上传和下发，并同时切断机械臂驱动器供电以保证作业安全；这样通过各个部分的协调操作，可以有效地提高机械臂作业的智能性、操作的友好性以及可靠性。

附图说明

图1是本发明实施例提供的液压重载机械臂增强现实操控系统的结构示意图；

图2是本发明实施例提供的液压重载机械臂增强现实操控系统的工作流程示意图；

图3是本发明实施例提供的现场图像信息采集模块的工作原理示意图；

图4是本发明实施例提供的MySQL数据库模块的工作原理示意图；

图5是本发明实施例提供的云端服务器模块的工作原理示意图；

图6是本发明实施例提供的防撞检测模块的工作原理示意图；

图7是本发明实施例提供的EtherCAT协议帧结构示意图。

附图标记说明：101-现场图像信息采集模块；102-人工交互操作模块；103-MySQL数据库模块；104-云端服务器模块；105-数据可视化模块；106-防撞检测模块；107-数据整合模块；108-紧急停止模块；109-5G通信模块；110-机械臂。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有技术存在的缺少一种智能化、移动化、可视化的机械臂实时操作监测系统问题，提供一种液压重载机械臂增强现实操控系统，来解决这一需求的空缺。如图1所示，本发明提供的液压重载机械臂增强现实操控系统包括：

现场图像信息采集模块101，用于采集现场作业的图像信息以及目标物体的空间位置信息；

人工交互操作模块102，用于操作员介入作业流程，发布作业任务，通过控制器控制机械臂运动；

MySQL数据库模块103，用于存储用户信息、采集的图像信息和空间位置信息、路径规划信息；

云端服务器模块104，用于在云端根据采集的图像信息和目标物体的空间位置信息生成目标模型及其空间位置，完成增强现实的任务，并根据作业任务结合路径规划信息计算路径；

数据可视化模块105，用于在操作界面上显示MySQL数据库模块103中数据的分析结果；例如，将MySQL数据库模块103中所存储的数据按类别分别利用Anaconda进行数据分析，并将分析结果：单次规划时间、单次运行时间、目标识别率、作业完成率等数据以曲线图或柱状图等图表这样易懂直观的方式绘制出来，并显示在操作界面上；

防撞检测模块106，用于在模型数据层面验证计算的路径是否能够安全可靠执行；本发明提出一种基于深度学习方法的碰撞监测框架Robot Collision Net，设计了一个深度神经网路模型来学习机器人碰撞信号并识别任何碰撞发生，利用Unity3D的系统特性，在模型层面进行本次运动规划的快速模拟运行，用于在模型数据层面验证计算的路径规划算法是否能够可靠、安全地完成执行，避免造成不必要的人员财产损失；

数据整合模块107，用于整理相关计算数据，并将经过防撞检测模块106验证的可靠数据按照协议要求写入数据帧；

紧急停止模块108，用于突发事件发生时，紧急断开对机械臂110的控制，并锁住各个可移动关节；

5G通信模块109，用于在各平台系统与云端服务器模块104、MySQL数据库模块103之间进行信息传递和数据交换时提供无线通信支持；例如，用于在PC端版本的系统与现场图像信息采集模块101的摄像头实时图像回传以及各个平台不同版本系统与云端服务器模块104、MySQL数据库模块103之间进行数据交换的时候提供无线通信支持。

图2是本发明实施例提供的液压重载机械臂增强现实操控系统的工作流程示意图，通过现场图像信息采集模块在系统操作界面上实现实时图像以及图像增强现实功能；登录系统需要获得相应权限，系统会检验使用人员是否具备登陆的权限；具备登录权限的用户信息将会提前收录在MySQL数据库模块之中；系统通过MySQL数据库模块来存储由现场图像信息采集模块、人工交互操作模块所获得的各类数据，按照不同分类存储在不同链表之中；云端服务器模块接收来自现场图像信息采集模块采集到的和由人工交互操作模块生成的数据，完成增强现实的任务，并结合预先准备的、符合当前实际机械臂需求的路径规划算法进行计算；并将所得的数据发送到防撞检测模块，同时本次数据上传至MySQL数据库模块进行备份；当防撞检测模块接收到数据之后，利用碰撞监测框架(Robot CollisionNet)在Unity3D内进行本次运动规划的快速模拟运行，以检测该计算结果的正确性、可靠性；当模型模拟运行成功，表示本次计算结果是正确可靠的，再进一步将数据发送至数据整合模块，否则，系统将重新进行计算；通过数据整合模块将数据按照EtherCAT协议的要求以及实际机械臂控制的需求整理好数据帧格式，然后进行数据下发；该系统还具有紧急停止模块，按下紧急停止按钮后，系统将紧急停止数据上传和下发，并同时切断机械臂驱动器供电以保证作业安全；这样通过各个部分的协调操作，可以有效地提高机械臂作业的智能性、操作的友好性以及可靠性。

进一步地，本发明实施例中要求获得的机械臂本身模型及现场环境模型，通过在电脑上将机械臂模型通过3DMax等绘图软件绘制好之后导出成.fbx或者.obj等格式文件，将模型放入工程的Assets文件夹下，随后即可将模型导入至Unity3D引擎软件中，也能在Scene视图里看到所用的机械臂模型；根据使用机械臂的规格型号不同使用C#语言编写相应基本程序。

进一步地，现场图像信息采集模块101包括RGB摄像机和结构光深度摄像机；RGB摄像机用于采集现场作业的图像信息并实时回传，采集的图像信息通过改进的DPM(Deformable Parts Model)算法实现对目标物体模型的图像识别及检测；结构光深度摄像机的编码方式采用自适应多维参数编码，由编码的主结构光形成的图像来反映目标物体的深度变化细节，用于采集目标物体的三维空间位置信息。

图像识别目标检测工作采用DPM技术来进行目标检测功能。利用图像识别技术以及预先采集目标图像的大量样本进行训练，获得训练模型，DPM是一种基于部件的，结合SVM(Support Vector Machine)的检测算法。这样，通过该摄像头模组进行目标选择，目标检测识别工作，当检测到目标物体之后，该摄像头模组不停止工作，仍然回传实时画面到交互操作界面。DPM技术的使用包括以下几个步骤：图像预处理；Gamma校正；计算Cell、Block梯度值；将Block梯度方向直方图整合为一个特征向量；特征向量归一化；最后进行分类处理。之后使用SVM进行分类训练，通过人工打好标签的训练样本来进行模型训练。

所述结构光深度摄像机用于向目标物体发射红外点阵，结构光相机对投射光源进行了编码，这样拍摄的是被编码的光源投影到物体上被物体表面的深度调制过的图像，因为结构光光源使用自适应多维参数编码，然后再根据提供的匹配角点或者直接的码字可以很方便的进行特征点的匹配，而不再需要使用被摄物体本身具有的特征点，因此可以提供更好的匹配结果。当匹配结果一致时，就完成了本次目标的识别检测。之后，利用卷积神经网络对采集到的信息进行计算，得到目标物体的空间位置信息。

图3是本发明实施例提供的现场图像信息采集模块的工作原理示意图。在本实施例中，现场图像信息采集模块101包含普通的RGB摄像头模组和结构光深度相机模组。

在本实施例中，普通的RGB摄像头模组可选取包含1/1.33″的索尼IMX686传感器，6400万像素、f/1.69光圈摄像头模组，可提供1080p分辨率，帧数为60fps的画面，主要用于采集现场环境信息并提供给操作员可视化真实现场界面。结构光深度相机模组主要可选用微软MicrosoftKinectv1结构光深度相机，该深度相机可实现彩色画面640*480的分辨率，帧数可达30fps，深度画面320*240的分辨率，帧数也为30fps，检测范围为0.8～4.0m，水平方向可达57度的获取范围，垂直方向上有43度的获取范围。

普通的RGB摄像头模组主要用于采集现场环境图像信息，并将现场画面实时传送到交互操作界面，与此同时，该摄像头模组还将用于在机械臂末端还未发现目标物体时的目标识别功能，采用DPM技术完成这一目标检测工作。检测到目标物体后切换到结构光深度相机模组，结构光深度相机模组包含一个红外摄像机，一个普通摄像头，一个红外点阵投射器。当结构光深度相机模组开始工作时，Kinectv1的红外IR发射端投射人眼不可见的伪随机散斑红外光点到物体上，每个伪随机散斑光点和它周围窗口内的点集在空间分布中的每个位置都是唯一且已知的。这是因为Kinect1的存储器中已经预储存了所有的数据。这些散斑投影在被观察物体上的大小和形状根据物体和相机的距离和方向而不同。

进一步地，人工交互操作模块102采用基于大型电液压驱动机器人的自适应主从操作策略，采取位差双向反馈的方法在主从机器人之间实现精准控制；

人工交互操作模块102包括控制器，操作员通过操作控制器来控制机械臂末端进行移动，并记录移动的相关位置信息以供使用。

进一步地，MySQL数据库模块103存储的用户信息包括有权限使用系统的企业员工和负责人的身份信息，具体包括姓名、个人相片、工号以及使用权限，MySQL数据库模块103用于开始使用系统前的登录验证操作；

MySQL数据库模块103存储的图像信息及空间位置信息用于备份，以及用作对目标物体进行学习的训练数据集，以优化对目标物体的识别率；

MySQL数据库模块103存储的路径规划信息用于备份，以及后续进行数据整合，通过计算相应的统计学数据来作为优化路径规划算法的有效辅助数据。

图4是本发明实施例提供的MySQL数据库模块的工作原理示意图。MySQL数据库模块可以采用MySQL 8.0.19版本数据库，考虑到该系统可能会涉及到作业安全的问题，对于该系统的使用应由熟悉操作过程的、具有一定操作权限的员工来使用。因此该模块将存储有权限使用该系统的企业员工、负责人的身份信息，用于登录验证。将现场图像信息采集模块通过摄像头采集到的图像信息存储到数据库之中，一方面作为备份，另外可以在日后用作对目标物体的信息的学习训练数据集，优化对目标物体的识别率。同时，在云端服务器模块计算好的路径规划数据也存储到MySQL数据库模块当中，作为备份，也便于日后将计算数据进行整合，计算相应的准确率等统计学数据来作为优化路径规划算法的有效辅助数据。

进一步地，数据可视化模块105基于孤立森林算法进行异常值检测，以及利用回归分析和拓扑数据分析对数据进行具体分析，并将分析结果以曲线图或柱状图等方式绘制出来，并显示在操作界面上；所述分析结果包括单次规划时间、单次运行时间、目标识别率、作业完成率等。

进一步地，云端服务器模块104采用多层递阶网络结构，使用Robot-Cloud平台与SOA(面向服务的体系架构)结合的云计算框架在云端完成数据处理与运算，减弱本地设备计算压力，提高计算便捷性，为用户对系统升级、文件校验、日志检查等提供有利条件。本发明能够降低现场使用设备的算力负担，增加系统的使用友好性，有利于推广该系统的使用，使该系统能够在更多普通设备、移动设备上进行使用，如：笔记本电脑、手机、平板电脑等，不再受距离的限制，增加操作设备的便携性。

图5是本发明实施例提供的云端服务器模块的工作原理示意图。本实施例中，云端服务器模块通过阿里云、腾讯云或者AmazonAWS服务来将系统执行任务所需的数据进行处理。随着5G技术的应用普及，越来越多的产品、设备可以通过5G技术来连接在一起。现场图像信息采集模块所采集到的信息，完成增强现实的任务、路径规划算法信息都将通过5G通信技术上传至云端，利用云端资源来进行计算。当连接到系统的机械臂或者机器人向Robot-Cloud发送请求时，控制器会寻找该请求所需的服务，当服务可用时即提供服务，否则排队等待。SOA接口层负责提供服务的配置和管理接口，服务态势信息由SOA接口层监测和记录。该模块的资源层属于IaaS层，整合硬件资源；云平台属于PaaS层，提供计算服务。

进一步地，防撞检测模块106包括基于深度学习的碰撞监测框架RobotCollisionNet，碰撞监测框架基于设计的深度神经网路模型来学习机器人碰撞信号并识别任何碰撞发生；

防撞检测模块106还用于利用Unity3D的系统特性，在模型层面进行单次运动规划的快速模拟运行；并在模拟运行的结果符合正常操作时，将具体数据按照协议格式下发到机械臂关节驱动器。

图6是本发明实施例提供的防撞检测模块的工作原理示意图。本实施例中，采用一维CNN来处理所获得的数据。这种数据驱动的方法统一了从高维信号和决策过程中提取特征的能力。该网络没有池化层，并利用有效的卷积填充来减少特征图的长度。RobotCollisionNet消除了传统决策过程的启发式和繁琐的性质，实时显示出高检测性能和泛化能力。利用Unity3D的系统特性，当数据上传到云端服务器进行路径规划计算之后，最终将会得到计算结果，并返回到本地，但在将数据通过EtherCAT总线通信方式下发到机械臂之前，为了排除路径规划算法可能存在的计算错误或者规划错误，将设置一个延时，将计算所获得的数据发送至Unity3D内，对已有的模型文件使用该计算数据，在模型层面进行本次运动规划的快速模拟运行。模拟运行的结果符合正常的操作的话，则再将具体数据按照协议格式下发到机械臂关节驱动器。

进一步地，数据整合模块107具体用于将经过防撞检测模块106测试过的可靠数据根据EtherCAT协议标准格式，帧头，报头，报文的格式，按照机械臂关节编号，下发至机械臂，以供机械臂的各个关节驱动器读取数据帧里对应的数据来完成工作。所述EtherCAT协议标准格式、帧头、报头、报文的格式如图7所示。

本发明利用到Unity3D可以制作多平台多版本的应用这一特性，为了将系统平台的移动性、便携性功能最大化，并且考虑到移动端设备的操作局限性，将本系统的部分功能制作成移动端版本(如手机、平板电脑端)并发布。其中，5G通信模块109的功能包括：

将现场采集的图像信息实时回传，使回传画面显示在操作界面上；将计算机械臂路径规划所需要的各类数据通过5G网络技术上传到云端，在云端进行计算；计算完成之后，再由5G网络将所得数据发送回本地，用于之后的操作。

综上所述，在本发明实施例中所述的一种液压重载机械臂增强现实操控系统，通过现场图像信息采集模块在系统操作界面上实现实时图像以及图像增强现实功能；登录系统需要获得相应权限，系统会检验使用人员是否具备登陆的权限；具备登录权限的用户信息将会提前收录在MySQL数据库模块之中；系统通过MySQL数据库模块来存储由现场图像信息采集模块、人工交互操作模块所获得的各类数据，按照不同分类存储在不同链表之中；云端服务器模块接收来自现场图像信息采集模块采集到的和由人工交互操作模块生成的数据，完成增强现实的任务，并结合预先准备的、符合当前实际机械臂需求的路径规划算法进行计算；并将所得的数据发送到防撞检测模块，同时本次数据上传至MySQL数据库模块进行备份；当防撞检测模块接收到数据之后，利用碰撞监测框架(Robot CollisionNet)在Unity3D内进行本次运动规划的快速模拟运行，以检测该计算结果的正确性、可靠性；当模型模拟运行成功，表示本次计算结果是正确可靠的，再进一步将数据发送至数据整合模块，否则，系统将重新进行计算；通过数据整合模块将数据按照EtherCAT协议的要求以及实际机械臂控制的需求整理好数据帧格式，然后进行数据下发；该系统还具有紧急停止模块，按下紧急停止按钮后，系统将紧急停止数据上传和下发，并同时切断机械臂驱动器供电以保证作业安全。

本发明的实施例中，通过采用一种液压重载机械臂增强现实操控系统来进行自主或人机交互作业，实现液压重载机械臂增强现实操控系统智能化及交互友好化作业。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种液压重载机械臂增强现实操控系统，其特征在于，包括：

现场图像信息采集模块，用于采集现场作业的图像信息以及目标物体的空间位置信息；

所述现场图像信息采集模块包括RGB摄像机和结构光深度摄像机；所述RGB摄像机用于采集现场作业的图像信息并实时回传，采集的图像信息通过改进的DPM算法实现对目标物体模型的图像识别及检测；所述结构光深度摄像机的编码方式采用自适应多维参数编码，由编码的主结构光形成的图像来反映目标物体的深度变化细节，用于采集目标物体的三维空间位置信息；

人工交互操作模块，用于操作员介入作业流程，发布作业任务，通过控制器控制机械臂运动；

所述人工交互操作模块采用基于大型电液压驱动机器人的自适应主从操作策略，采取位差双向反馈的方法在主从机器人之间实现精准控制；

所述人工交互操作模块包括控制器，操作员通过操作所述控制器来控制机械臂末端进行移动，并记录移动的相关位置信息以供使用；

MySQL数据库模块，用于存储用户信息、采集的图像信息和空间位置信息、路径规划信息；

所述MySQL数据库模块存储的用户信息包括有权限使用系统的企业员工和负责人的身份信息，具体包括姓名、个人相片、工号以及使用权限，所述MySQL数据库模块用于开始使用系统前的登录验证操作；

所述MySQL数据库模块存储的图像信息及空间位置信息用于备份，以及用作对目标物体进行学习的训练数据集，以优化对目标物体的识别率；

所述MySQL数据库模块存储的路径规划信息用于备份，以及后续进行数据整合，通过计算相应的统计学数据来作为优化路径规划算法的有效辅助数据；

云端服务器模块，用于在云端根据采集的图像信息和目标物体的空间位置信息生成目标模型及其空间位置，并根据作业任务结合路径规划信息计算路径；

所述云端服务器模块采用多层递阶网络结构，使用Robot-Cloud平台与SOA架构结合的云计算框架在云端完成数据处理与运算；

数据可视化模块，用于在操作界面上显示所述MySQL数据库模块中数据的分析结果；

防撞检测模块，用于在模型数据层面验证计算的路径是否能够安全可靠执行；

数据整合模块，用于整理相关计算数据，并将经过所述防撞检测模块验证的可靠数据按照协议要求写入数据帧；

所述数据整合模块具体用于将经过所述防撞检测模块测试过的可靠数据根据EtherCAT协议标准格式，帧头，报头，报文的格式，按照机械臂关节编号，下发至机械臂，以供机械臂的各个关节驱动器读取数据帧里对应的数据来完成工作；

紧急停止模块，用于突发事件发生时，紧急断开对机械臂的控制，并锁住各个可移动关节；

5G通信模块，用于在各平台系统与所述云端服务器模块、所述MySQL数据库模块之间进行信息传递和数据交换时提供无线通信支持。

2.根据权利要求1所述的液压重载机械臂增强现实操控系统，其特征在于，所述数据可视化模块基于孤立森林算法进行异常值检测，以及利用回归分析和拓扑数据分析对数据进行具体分析，并将分析结果以曲线图或柱状图的方式绘制出来，并显示在操作界面上；所述分析结果包括单次规划时间、单次运行时间、目标识别率、作业完成率。

3.根据权利要求1所述的液压重载机械臂增强现实操控系统，其特征在于，所述防撞检测模块包括基于深度学习的碰撞监测框架，所述碰撞监测框架基于设计的深度神经网路模型来学习机器人碰撞信号并识别任何碰撞发生；

所述防撞检测模块还用于利用Unity3D的系统特性，在模型层面进行单次运动规划的快速模拟运行；并在模拟运行的结果符合正常操作时，将具体数据按照协议格式下发到机械臂关节驱动器。

Images