CN114935916A - 一种利用物联网和虚拟现实技术实现工业元宇宙的方法 - Google Patents

一种利用物联网和虚拟现实技术实现工业元宇宙的方法 Download PDF

Info

Publication number
CN114935916A
CN114935916A CN202210620028.XA CN202210620028A CN114935916A CN 114935916 A CN114935916 A CN 114935916A CN 202210620028 A CN202210620028 A CN 202210620028A CN 114935916 A CN114935916 A CN 114935916A
Authority
CN
China
Prior art keywords
production equipment
industrial production
industrial
dimensional model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210620028.XA
Other languages
English (en)
Other versions
CN114935916B (zh
Inventor
杨松贵
丁亮
臧博伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Witsoft Technology Co Ltd
Original Assignee
Nanjing Witsoft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Witsoft Technology Co Ltd filed Critical Nanjing Witsoft Technology Co Ltd
Priority to CN202210620028.XA priority Critical patent/CN114935916B/zh
Publication of CN114935916A publication Critical patent/CN114935916A/zh
Application granted granted Critical
Publication of CN114935916B publication Critical patent/CN114935916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32339Object oriented modeling, design, analysis, implementation, simulation language
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种利用物联网和虚拟现实技术实现工业元宇宙的方法。S1:利用传感器采集工业生产设备的数据信息;S2:步骤S1中的传感器将采集到的数据实时信息发送给虚拟现实工业元宇宙系统;S3:数字孪生体根据输入数据进行形态展示和动画生成;S4:工作人员通过可穿戴设备感知虚拟现实工业元宇宙系统中的数字孪生体;S5:控制器将输入指令数据转化成控制指令,将控制指令发送给工业生产设备,工业生产设备根据控制指令完成相应的动作。本发明将传感器数据采集的看板功能添加进XR头戴显示器中,实现虚拟巡检。通过物联网技术将生产车间的的场景及功能按钮集成到数字孪生体中,实现了在XR头戴显示器中操作生产,从而实现身临其境的异地远程操作生产。

Description

一种利用物联网和虚拟现实技术实现工业元宇宙的方法
技术领域
本发明涉及基于物联网的交互和展示,涉及仿真技术、电子学、计算机图形学和信息处理等技术领域,具体涉及一种利用物联网和虚拟现实技术实现工业元宇宙的方法。
背景技术
物联网(Internet of Things,简称IoT)是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术,实时采集任何需要监控、连接、互动的物体或过程,采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息,通过各类可能的网络接入,实现物与物、物与人的泛在连接,实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体,它让所有能够被独立寻址的普通物理对象形成互联互通的网络。
虚拟现实技术(VR)是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据,通过计算机技术产生的电子信号,将其与各种输出设备结合使其转化为能够让人们感受到的现象,这些现象可以是现实中真真切切的物体,也可以是我们肉眼所看不到的物质,通过三维模型表现出来。因为这些现象不是我们直接所能看到的,而是通过计算机技术模拟出来的现实中的世界,故称为虚拟现实。
虚拟现实技术受到了越来越多人的认可,用户可以在虚拟现实世界体验到最真实的感受,其模拟环境的真实性与现实世界难辨真假,让人有种身临其境的感觉;同时,虚拟现实具有一切人类所拥有的感知功能,比如听觉、视觉、触觉、味觉、嗅觉等感知系统;最后,它具有超强的仿真系统,真正实现了人机交互,使人在操作过程中,可以随意操作并且得到环境最真实的反馈。正是虚拟现实技术的存在性、多感知性、交互性等特征使它受到了许多人的喜爱。
元宇宙(Metaverse)是利用科技手段进行链接与创造的,与现实世界映射和交互的虚拟世界,具备新型社会体系的数字生活空间。元宇宙本质上是对现实世界的虚拟化、数字化过程,需要对内容生产、经济系统、用户体验以及实体世界内容等进行大量改造。但元宇宙的发展是循序渐进的,是在共享的基础设施、标准及协议的支撑下,由众多工具、平台不断融合、进化而最终成形。它基于扩展现实技术提供沉浸式体验,基于数字孪生技术生成现实世界的镜像,基于区块链技术搭建经济体系,将虚拟世界与现实世界在经济系统、社交系统、身份系统上密切融合,并且允许每个用户进行内容生产和世界编辑。
结合物联网和虚拟现实技术,采用工业元宇宙虚拟现实技术,使得工人置身于模拟的工厂环境中,通过手势识别语交互别等人机交互方式来遥控工厂内部的机械,模拟在工厂工位上实施生产成为可能。
发明内容
为了解决上述技术问题,本发明提出一种利用物联网和虚拟现实技术实现工业元宇宙的方法,包括如下步骤:
S1:利用传感器采集工业生产设备的数据信息:
传感器包括:GPS传感器、射频传感器、红外感应传感器、激光扫描传感器、热量传感器、力学传感器、化学元素传感器、声波传感器、电压电流传感器等;
GPS传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的位置数据;其中,工业生产设备所需的生产工具包括运输车俩、车床;
射频传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的电信号数据;
激光扫描传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的生产工具、现场作业人员、工业生产设备生产工艺、以及工业生产设备生产环境的图像数据;
热量传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员、以及工业生产设备生产环境的热量数据;
力学传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的受力反馈数据;
化学元素传感器采集工业生产设备原材料、以及工业生产设备生产环境数据;
声波传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员、以及工业生产设备生产环境的声波反馈数据;
电压电流传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具的电压电流数据;
通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器各种装置与技术,实时采集其声、光、热、电、力学、化学、生物、位置等各种需要的数据信息。
S2:将步骤S1中的传感器将采集到的数据实时信息发送给虚拟现实工业元宇宙系统;
虚拟工业元宇宙系统包括数字孪生体、控制指令集和传感器数据采集分析模块;
数字孪生体包括虚拟现实环境三维模型、工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型;
传感器数据采集分析模块将步骤S1中传感器实时采集到的数据转化,转化成数字孪生体能够识别的输入数据,输入数据包括转化后的位置数据、电信号数据、光波数据、图像数据、热量数据、受力反馈数据、环境数据、声波反馈数据、和电压电流数据;
工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型在虚拟现实环境三维模型中展现;
虚拟现实环境三维模型、工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型通过人工绘制的方法建立,或者通过摄像头采集数据,经三维模型生成系统实时生成三维模型的方法获得;
虚拟现实环境三维模型、工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型分别由N个零部件三维模型组合而成,N大于等于1。
进一步的,数字孪生体的构建方法,包括如下步骤:
S21:建立工业厂房虚拟三维模型;
通过图像传感器设备获取工业厂房轮廓,人工测量工业厂房尺寸;通过工业厂房轮廓和工业厂房尺寸绘制工业厂房虚拟三维模型;
S22:建立工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员虚拟三维模型;
对于能够从其它系统中获取到工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具三维模型的,通过三维模型数据采集工具或接口直接获取工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具的三维模型,按与实际物品的实际尺寸对获取到的工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具的三维模型进行相应比例的缩放,得到工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具的虚拟三维模型;
同时,使得获取的工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具的虚拟三维模型与实际物品比例相匹配;
对于无法直接获得三维模型的工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员等,通过测量与拍摄轮廓视图的方式进行绘制,按比例绘制工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的虚拟三维模型;
S23:将工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具虚拟三维模型放置在业厂房虚拟三维模型内;
选择工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具不同面上的任意三个点X1、X2、X3,分别测量X1、X2、X3到工业厂房地面四个角的距离得到:
X1到工业厂房地面四个角的距离:LX11、LX12、 LX13、 LX14;
X2到工业厂房地面四个角的距离:LX21、LX22、 LX23、 LX24;
X3到工业厂房地面四个角的距离:LX11、LX12、 LX13、 LX14;
在工业设备虚拟三维模型中相应的位置找到与X1、X2、X3相对应的虚拟的三个点Y1、Y2、Y3,以及与工业厂房地面四个角相对于的虚拟的四个角;
将工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具虚拟三维模型分别放置到工业厂房虚拟三维模型中,分别调整工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具上的三个点Y1、Y2、Y3的位置,使得,
Y1到工业厂房虚拟三维模型地面四个角的距离分别为:LX11、LX12、 LX13、 LX14;
Y2到工业厂房虚拟三维模型地面四个角的距离分别为:LX21、LX22、 LX23、 LX24;
Y到工业厂房虚拟三维模型地面四个角的距离分别为:LX11、LX12、 LX13、 LX14。
S3:数字孪生体根据输入数据进行形态展示和动画生成;
根据输入的转化后的位置数据,在虚拟现实环境三维模型中展示工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型相应的位置;同时,根据输入的转化后的位置数据,在工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型中以动画的形式展现各模型组成部分的运动轨迹;
根据输入的转换后的电信号数据,在虚拟现实环境三维模型中,以动态图表和/或动画的形式展示各工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的电信号;
根据输入的转换后的图像数据,在虚拟现实环境三维模型中,以虚拟图像的形式展示工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的图像;
以工业生产设备的红黄绿三种颜色的故障灯图像为例,图像传感器采集到红、黄、绿的灯数据后,经过转化,在虚拟现实的工业生产设备的故障灯以虚拟的红、黄、绿颜色进行相应的展示;
根据输入的转换后的热量数据,在虚拟现实环境三维模型中,以动态图表和/或热量颜色动画的形式展示工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的热量;
根据输入的转换后的受力反馈数据,在虚拟现实环境三维模型中,以动态图表和/或热量颜色动画的形式展示工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的受力反馈;
根据输入的转换后的声波反馈数据,在虚拟现实环境三维模型中,以声音的形式展示工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的声音;
根据输入的转换后的电压电流数据,在虚拟现实环境三维模型中,以声音的形式展示工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的电压电流。
S4:工作人员通过可穿戴设备感知虚拟现实工业元宇宙系统中的数字孪生体,感知在虚拟现实环境三维模型中展示工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型相应的位置,在工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型中以动画的形式展现各模型组成部分的运动轨迹;
感知在虚拟现实环境三维模型中,以动态图表和/或动画的形式展示的各工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的电信号;
感知在虚拟现实环境三维模型中,以虚拟图像的形式展示的工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的图像;
感知在虚拟现实环境三维模型中,以动态图表和/或热量颜色动画的形式展示的工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的热量;
感知在虚拟现实环境三维模型中,以动态图表和/或热量颜色动画的形式展示的工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的受力反馈;
感知在虚拟现实环境三维模型中,以声音的形式展示的工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的声音;
感知在虚拟现实环境三维模型中,以声音的形式展示的工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的电压电流。
进一步的,所述可穿戴设备包括XR头戴显示器,所述XR头戴显示器用于显示虚拟现实环境三维模型,以及虚拟现实环境三维模型中的工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型,以及各三维模型的动态变化、看板信息。
进一步的,还包括捕捉摄像头,所述捕捉摄像头用于捕捉工作人员的手势和手部动作特征,将捕捉到的工作人员的手势和手部动作特征转化成仿真数字信号,并将仿真数字信号发送给控制指令集;
所述控制指令集还包括手势和手部动作特征与控制指令对应的赋值表,当手势和手部动作特征与存储在赋值表中的手势和手部动作特征相匹配时,触发相应的控制指令;
例:利用摄像头捕捉手势动作比如识别到手部动作特征并赋予其特殊定义:比一个点击手势定义为单击鼠标左键,实现操作系统的鼠标左键功能,拇指和食指连成圈定义为单击鼠标右键,实现操作系统的鼠标右键功能。
进一步的,还包括语音识别设备,所述语音识别设备用于识别工作人员的声音指令,并将识别到的工作人员的声音指令转化成仿真输入数字信号,发送给控制指令集;
所述控制指令集还包括控制指令输入模块,所述控制指令输入模块接收仿真输入数字信号,所述控制指令集将仿真输入数字信号转化成控制指令;
例:用语音识别设备识别人声,规定系统收到ABCD…等字母发音为键盘想对应的按键,从而实现键盘输入功能。
S5:控制器将输入指令数据转化成控制指令,将控制指令发送给工业生产设备,工业生产设备根据控制指令完成相应的动作。
进一步的,所述控制指令集为通过鼠标键盘向工业控制器输入的特定的字符,所述控制指令集基于特定算法转化为二进制代码实现特定电路指令的输入,从而实现工业设备控制。
与现有技术相比,本发明的有益效果为:
1、将传感器数据采集的看板功能添加进XR头戴显示器中,从而实现虚拟巡检。
2、通过物联网技术将生产车间的的场景及功能按钮集成到数字孪生体中,实现了在XR头戴显示器中操作生产,从而实现身临其境的异地远程操作生产。
3、在一个互通的网络和统一的虚拟化空间中,工位、车间、产线、工厂、产业链能够全程虚拟化和在线化,工作人员的分工与合作生产便能够突破空间的束缚,工人可以随时随地的身临其境的参与到工业生产中,提高了人才的利用效率,提高了工厂的空间利用效率,降低企业的生产经营成本。
4、工业元宇宙是目前三维设计、虚拟现实、增强现实、人工智能、数字孪生、物联网、5G网络、大数据、云计算、等新兴技术的发展优化、升级,有机大集成。作为基础设施将大幅度提升算力(硬件、软件、算法)、展示力、交互水平、通讯流量、速率、数据存储,将促进工业企业、行业的生态发生革命性的改变,改变人的思维方式,促进创意、创新、创业,促进工业产品的丰富性、高质量、精细化、艺术性、具备竞争力,进而创造巨大的经济价值与社会价值。
附图说明
图1为本发明利用物联网和虚拟现实技术实现工业元宇宙的方法的结构示意图。
具体实施方式
实施例1:
请结合参照图1,一种利用物联网和虚拟现实技术实现工业元宇宙的方法,包括如下步骤 :
S1:利用传感器采集工业生产设备的数据信息:
传感器包括:GPS传感器、射频传感器、红外感应传感器、激光扫描传感器、热量传感器、力学传感器、化学元素传感器、声波传感器、电压电流传感器等;
GPS传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的位置数据;其中,工业生产设备所需的生产工具包括运输车俩、车床;
射频传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的电信号数据;
激光扫描传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的生产工具、现场作业人员、工业生产设备生产工艺、以及工业生产设备生产环境的图像数据;
热量传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员、以及工业生产设备生产环境的热量数据;
力学传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的受力反馈数据;
化学元素传感器采集工业生产设备原材料、以及工业生产设备生产环境数据;
声波传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员、以及工业生产设备生产环境的声波反馈数据;
电压电流传感器采集工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具的电压电流数据;
通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器各种装置与技术,实时采集其声、光、热、电、力学、化学、生物、位置等各种需要的数据信息。
S2:步骤S1中的传感器将采集到的数据实时信息发送给虚拟现实工业元宇宙系统;
虚拟工业元宇宙系统包括数字孪生体、控制指令集和传感器数据采集分析模块;
数字孪生体包括虚拟现实环境三维模型、工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型;
传感器数据采集分析模块将步骤S1中传感器实时采集到的数据转化,转化成数字孪生体能够识别的输入数据,输入数据包括转化后的位置数据、电信号数据、光波数据、图像数据、热量数据、受力反馈数据、环境数据、声波反馈数据、和电压电流数据;
工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型在虚拟现实环境三维模型中展现;
虚拟现实环境三维模型、工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型通过人工绘制的方法建立,或者通过摄像头采集数据,经三维模型生成系统实时生成三维模型的方法获得;
虚拟现实环境三维模型、工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型分别由N个零部件三维模型组合而成,N大于等于1。
进一步的,数字孪生体的构建方法,包括如下步骤:
S21:建立工业厂房虚拟三维模型
通过图像传感器设备获取工业厂房轮廓,人工测量工业厂房尺寸;通过工业厂房轮廓和工业厂房尺寸绘制工业厂房虚拟三维模型;
S22:建立工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员虚拟三维模型;
对于能够从其它系统中获取到工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具三维模型的,通过三维模型数据采集工具或接口直接获取工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具的三维模型,按与实际物品的实际尺寸对获取到的工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具的三维模型进行相应比例的缩放,得到工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具的虚拟三维模型;
同时,使得获取的工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具的虚拟三维模型与实际物品比例相匹配;
对于无法直接获得三维模型的工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员等,通过测量与拍摄轮廓视图的方式进行绘制,按比例绘制工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的虚拟三维模型;
S23:将工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具虚拟三维模型放置在业厂房虚拟三维模型内;
选择工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具不同面上的任意三个点X1、X2、X3,分别测量X1、X2、X3到工业厂房地面四个角的距离得到:
X1到工业厂房地面四个角的距离:LX11、LX12、 LX13、 LX14;
X2到工业厂房地面四个角的距离:LX21、LX22、 LX23、 LX24;
X3到工业厂房地面四个角的距离:LX11、LX12、 LX13、 LX14;
在工业设备虚拟三维模型中相应的位置找到与X1、X2、X3相对应的虚拟的三个点Y1、Y2、Y3,以及与工业厂房地面四个角相对于的虚拟的四个角;
将工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具虚拟三维模型分别放置到工业厂房虚拟三维模型中,分别调整工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具上的三个点Y1、Y2、Y3的位置,使得,
Y1到工业厂房虚拟三维模型地面四个角的距离分别为:LX11、LX12、 LX13、 LX14;
Y2到工业厂房虚拟三维模型地面四个角的距离分别为:LX21、LX22、 LX23、 LX24;
Y到工业厂房虚拟三维模型地面四个角的距离分别为:LX11、LX12、 LX13、 LX14。
S3:数字孪生体根据输入数据进行形态展示和动画生成;
根据输入的转化后的位置数据,在虚拟现实环境三维模型中展示工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型相应的位置;同时,根据输入的转化后的位置数据,在工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型中以动画的形式展现各模型组成部分的运动轨迹;
根据输入的转换后的电信号数据,在虚拟现实环境三维模型中,以动态图表和/或动画的形式展示各工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的电信号;
根据输入的转换后的图像数据,在虚拟现实环境三维模型中,以虚拟图像的形式展示工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的图像;
以工业生产设备的红黄绿三种颜色的故障灯图像为例,图像传感器采集到红、黄、绿的灯数据后,经过转化,在虚拟现实的工业生产设备的故障灯以虚拟的红、黄、绿颜色进行相应的展示;
根据输入的转换后的热量数据,在虚拟现实环境三维模型中,以动态图表和/或热量颜色动画的形式展示工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的热量;
根据输入的转换后的受力反馈数据,在虚拟现实环境三维模型中,以动态图表和/或热量颜色动画的形式展示工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的受力反馈;
根据输入的转换后的声波反馈数据,在虚拟现实环境三维模型中,以声音的形式展示工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的声音;
根据输入的转换后的电压电流数据,在虚拟现实环境三维模型中,以声音的形式展示工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的电压电流。
S4:工作人员通过可穿戴设备感知虚拟现实工业元宇宙系统中的数字孪生体,感知在虚拟现实环境三维模型中展示工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型相应的位置,在工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型中以动画的形式展现各模型组成部分的运动轨迹;
感知在虚拟现实环境三维模型中,以动态图表和/或动画的形式展示的各工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的电信号;
感知在虚拟现实环境三维模型中,以虚拟图像的形式展示的工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的图像;
感知在虚拟现实环境三维模型中,以动态图表和/或热量颜色动画的形式展示的工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的热量;
感知在虚拟现实环境三维模型中,以动态图表和/或热量颜色动画的形式展示的工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的受力反馈;
感知在虚拟现实环境三维模型中,以声音的形式展示的工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的声音;
感知在虚拟现实环境三维模型中,以声音的形式展示的工业生产设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员的电压电流;
可穿戴设备获取工作人员的语音、动作、位置数据,并将获得的语音、动作、位置数据发送给虚拟现实工业元宇宙系统,虚拟现实工业元宇宙系统中的控制指令集将收到的语音、动作、位置数据进行转化,转化成工业生产设备控制器能够识别的输入指令数据。
进一步的,所述可穿戴设备包括XR头戴显示器,所述XR头戴显示器用于显示虚拟现实环境三维模型,以及虚拟现实环境三维模型中的工业生产设备三维模型、工业生产设备零部件三维模型、工业生产设备原材料三维模型、工业生产设备所需的操作工具三维模型、现场作业人员三维模型,以及各三维模型的动态变化、看板信息。
进一步的,还包括捕捉摄像头,所述捕捉摄像头用于捕捉工作人员的手势和手部动作特征,将捕捉到的工作人员的手势和手部动作特征转化成仿真数字信号,并将仿真数字信号发送给控制指令集;
所述控制指令集还包括手势和手部动作特征与控制指令对应的赋值表,当手势和手部动作特征与存储在赋值表中的手势和手部动作特征相匹配时,触发相应的控制指令。
例:利用摄像头捕捉手势动作比如识别到手部动作特征并赋予其特殊定义:比一个点击手势定义为单击鼠标左键,实现操作系统的鼠标左键功能,拇指和食指连成圈定义为单击鼠标右键,实现操作系统的鼠标右键功能。
进一步的,还包括语音识别设备,所述语音识别设备用于识别工作人员的声音指令,并将识别到的工作人员的声音指令转化成仿真输入数字信号,发送给控制指令集;
所述控制指令集还包括控制指令输入模块,所述控制指令输入模块接收仿真输入数字信号,所述控制指令集将仿真输入数字信号转化成控制指令;
例:用语音识别设备识别人声,规定系统收到ABCD…等字母发音为键盘想对应的按键,从而实现键盘输入功能。
S5:控制器将输入指令数据转化成控制指令,将控制指令发送给工业生产设备,工业生产设备根据控制指令完成相应的动作。
进一步的,所述控制指令集为通过鼠标键盘向工业控制器输入的特定的字符,所述控制指令集基于特定算法转化为二进制代码实现特定电路指令的输入,从而实现工业设备控制。
当前行业主流工厂现有的传感器实时采集的数据看板功能主要放置在MES系统中,一般显示在实施现场的工业看板或者控制中心的大屏上,无法做到沉浸化。
本发明实现了工业生产设备网络化。工业生产设备网络化的意义在于实现所有生产制造过程实时在线可控,丰富的传感器模块可以感知声、光、电、力、热、化学、生物、位置等信息,数据通过5G模块的低延时上传云端,能够实现异地的数据看板功能。
本发明实现了工业生产设备虚拟化。工业生产设备虚拟化的含义是通过数字孪生技术将生产制造过程中所涉及到的生产设备复制出一系列的数字样机,工人可以在虚拟现实系统中重现生产场景,这些数字样机不仅仅是单一的3D模型,而是整合传感器数据和控制单元的可操控的数字化生产设备。当前行业中存在的远程控制机器的操作场景基本是基于PC的鼠标键盘式操作,没有身临其境的现场感。而通过虚拟现实技术的远程操作,工人在佩戴XR头戴显示器中可以全沉浸式的利用手势和语音等交互方式来完成更接近于现场操作的生产体验,从而实现工厂真正意义的无人化。
本发明工厂全链模块化。将各车间或工厂全链路的数字孪生体集成到统一的模块并在云端串连并网形成统一的数据及功能端口对接,并将数字孪生体模块集成到XR头戴显示器的沉浸式体验应用中实现工业元宇宙。
本发明通过虚拟点与现实点重合,提高了虚拟操作的精确性。
实施例2:
在一个减速机工厂的工业元宇宙生产场景下,销售订单从前端ERP系统中导入到MES系统中,MES系统根据订单数量、交付日期、所需原材料、所需设备等条件安排生产,并将生产任务逐个分解合理分配到元宇宙中的各个工厂及产线再到工位上,每个被分配到生产任务的工人无论身处何地,只要带上XR眼镜在工业元宇宙的虚拟现实应用中进入自己的虚拟工位。工人在工位上可以看到远处工厂设备的数据信息,这些信息是传感器将采集到的数据信息在统一的通信协议下低延时的传输到云端后台服务器系统中并通过虚拟现实系统驱动数字样机同步展示出来的。工人在虚拟工位上通过手势和语音来操作虚拟车床进行生产。生产完毕的减速机产品将通过AGV和立库完成货物的存储和配送或者送往元宇宙中另一个工厂进行进一步的加工处理。
本发明已由上述相关实施例加以描述,然而上述实施例仅为实施本发明的范例。必需指出的是,已揭露的实施例并未限制本发明的范围。相反地,在不脱离本发明的精神和范围内所作的更动与润饰,均属本发明的专利保护范围。

Claims (5)

1.一种利用物联网和现实技术实现工业元宇宙的方法,其特征在于:所述方法步骤如下:
S1:利用传感器采集工业生产设备的数据信息:
通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器各种装置与技术,实时采集其声、光、热、电、力学、化学、生物、位置等各种需要的数据实时信息;
S2:将步骤S1中的采集到的数据实时信息发送给虚拟现实工业元宇宙系统;
虚拟工业元宇宙系统包括数字孪生体、控制指令集和传感器数据采集分析模块;
S3:将步骤S2中的数字孪生体根据输入数据进行形态展示和动画生成;
根据输入后的位置数据、电信号数据、图像数据、热量数据、受力反馈数据、声波反馈数据、电压电流数据进行形态展示和以及在虚拟现实环境三维模型中的动画生成;
S4:工作人员通过可穿戴设备获取步骤S3中的语音、动作、位置数据,并将获得的语音、动作、位置数据发送给虚拟现实工业元宇宙系统,虚拟现实工业元宇宙系统中的控制指令集将收到的语音、动作、位置数据进行转化,转化成工业生产设备控制器能够识别的输入指令数据;
S5:控制器将输入指令数据转化成控制指令,将控制指令发送给工业生产设备,工业生产设备根据控制指令完成相应的动作。
2.如权利要求1所述一种利用物联网和现实技术实现工业元宇宙的方法,其特征在于:所述步骤S2中,数字孪生体的构建方法,包括如下步骤:
S21:建立工业厂房虚拟三维模型;
S22:建立工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具、现场作业人员虚拟三维模型;
S23:将工业设备、工业生产设备零部件、工业生产设备原材料、工业生产设备所需的操作工具虚拟三维模型放置在业厂房虚拟三维模型内。
3.如权利要求1所述一种利用物联网和现实技术实现工业元宇宙的方法,其特征在于:所述步骤S4中可穿戴设备包括XR头戴显示器。
4.如权利要求3所述一种利用物联网和现实技术实现工业元宇宙的方法,其特征在于:所述穿戴设备还包括捕捉摄像头以及语音识别设备。
5.如权利要求1所述一种利用物联网和现实技术实现工业元宇宙的方法,其特征在于:所述控制指令集为通过鼠标键盘向工业控制器输入的特定的字符,所述控制指令集基于特定算法转化为二进制代码实现特定电路指令的输入,从而实现工业设备控制。
CN202210620028.XA 2022-06-02 2022-06-02 一种利用物联网和虚拟现实技术实现工业元宇宙的方法 Active CN114935916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210620028.XA CN114935916B (zh) 2022-06-02 2022-06-02 一种利用物联网和虚拟现实技术实现工业元宇宙的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210620028.XA CN114935916B (zh) 2022-06-02 2022-06-02 一种利用物联网和虚拟现实技术实现工业元宇宙的方法

Publications (2)

Publication Number Publication Date
CN114935916A true CN114935916A (zh) 2022-08-23
CN114935916B CN114935916B (zh) 2024-07-02

Family

ID=82867244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210620028.XA Active CN114935916B (zh) 2022-06-02 2022-06-02 一种利用物联网和虚拟现实技术实现工业元宇宙的方法

Country Status (1)

Country Link
CN (1) CN114935916B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115454240A (zh) * 2022-09-05 2022-12-09 无锡雪浪数制科技有限公司 一种元宇宙虚拟现实交互体验系统及方法
CN115741682A (zh) * 2022-11-08 2023-03-07 安徽信息工程学院 一种基于数字孪生技术的智能机械臂远程控制系统
CN116055526A (zh) * 2023-01-08 2023-05-02 福州卓立信息科技有限公司 一种基于元宇宙的工业设备能耗物联网系统及交互方法
CN116152020A (zh) * 2023-01-08 2023-05-23 福州卓立信息科技有限公司 一种基于元宇宙的物联网教育平台及其构建方法
CN116243802A (zh) * 2023-03-24 2023-06-09 摩尔线程智能科技(北京)有限责任公司 一种虚拟世界物理化系统
CN116300757A (zh) * 2023-03-24 2023-06-23 摩尔线程智能科技(北京)有限责任公司 一种数字模型生产系统及电子设备
WO2024178642A1 (zh) * 2023-02-28 2024-09-06 西门子股份公司 基于元宇宙控制生产单位的方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230440A (zh) * 2017-12-29 2018-06-29 杭州百子尖科技有限公司 基于虚拟增强现实的化工全流程操作系统及方法
US20200265329A1 (en) * 2019-02-14 2020-08-20 Rockwell Automation Technologies, Inc. Ai extensions and intelligent model validation for an industrial digital twin
WO2021114654A1 (zh) * 2019-12-13 2021-06-17 哈尔滨工业大学 一种三体智能系统及探测机器人
CN113485392A (zh) * 2021-06-17 2021-10-08 广东工业大学 基于数字孪生的虚拟现实交互方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230440A (zh) * 2017-12-29 2018-06-29 杭州百子尖科技有限公司 基于虚拟增强现实的化工全流程操作系统及方法
US20200265329A1 (en) * 2019-02-14 2020-08-20 Rockwell Automation Technologies, Inc. Ai extensions and intelligent model validation for an industrial digital twin
WO2021114654A1 (zh) * 2019-12-13 2021-06-17 哈尔滨工业大学 一种三体智能系统及探测机器人
CN113485392A (zh) * 2021-06-17 2021-10-08 广东工业大学 基于数字孪生的虚拟现实交互方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115454240A (zh) * 2022-09-05 2022-12-09 无锡雪浪数制科技有限公司 一种元宇宙虚拟现实交互体验系统及方法
CN115454240B (zh) * 2022-09-05 2024-02-13 无锡雪浪数制科技有限公司 一种元宇宙虚拟现实交互体验系统及方法
CN115741682A (zh) * 2022-11-08 2023-03-07 安徽信息工程学院 一种基于数字孪生技术的智能机械臂远程控制系统
CN116055526A (zh) * 2023-01-08 2023-05-02 福州卓立信息科技有限公司 一种基于元宇宙的工业设备能耗物联网系统及交互方法
CN116152020A (zh) * 2023-01-08 2023-05-23 福州卓立信息科技有限公司 一种基于元宇宙的物联网教育平台及其构建方法
WO2024178642A1 (zh) * 2023-02-28 2024-09-06 西门子股份公司 基于元宇宙控制生产单位的方法、装置、设备及存储介质
CN116243802A (zh) * 2023-03-24 2023-06-09 摩尔线程智能科技(北京)有限责任公司 一种虚拟世界物理化系统
CN116300757A (zh) * 2023-03-24 2023-06-23 摩尔线程智能科技(北京)有限责任公司 一种数字模型生产系统及电子设备
CN116243802B (zh) * 2023-03-24 2024-03-19 摩尔线程智能科技(北京)有限责任公司 一种虚拟世界物理化系统

Also Published As

Publication number Publication date
CN114935916B (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
CN114935916B (zh) 一种利用物联网和虚拟现实技术实现工业元宇宙的方法
CN112818446B (zh) 一种智能车间数字孪生系统的构建方法
CN109375595B (zh) 一种车间可视化监控方法、装置及设备
CN110599603A (zh) 基于增强现实的机械设备可视化交互与设备状态监控系统及其方法
CN103247004B (zh) 一种基于机电集成bim模型的信息管理方法与系统
Xie et al. Framework for a closed-loop cooperative human Cyber-Physical System for the mining industry driven by VR and AR: MHCPS
CN108983729A (zh) 一种工业生产线数字孪生方法及系统
CN106514667A (zh) 基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统
CN102722106A (zh) 一种沉浸式虚拟现实仿真交互展示方法及其展示系统
CN111966068A (zh) 电机产线增强现实监控方法、装置、电子设备及存储介质
CN110580024A (zh) 基于增强现实的车间辅助作业实现方法、系统及存储介质
CN107967057B (zh) 一种基于Leap Motion的虚拟装配示教方法
CN111028579A (zh) 一种基于vr现实的视觉教学系统
CN113752264A (zh) 基于数字孪生的机械臂智能装备控制方法及系统
CN115309264A (zh) 一种面向虚拟和物理世界连接构建系统
CN114428487A (zh) 自动化控制装置、系统、方法
CN110977981A (zh) 一种机器人虚拟现实同步系统及同步方法
CN116127821A (zh) 一种运维数据的三维可视化呈现方法及平台
CN108415386A (zh) 用于智能车间的增强现实系统及其工作方法
CN108776444B (zh) 适用于cps自动化控制系统的增强现实人机交互系统
Caiza et al. Digital twin for monitoring an industrial process using augmented reality
CN116243802B (zh) 一种虚拟世界物理化系统
Liu et al. Research on real-time monitoring technology of equipment based on augmented reality
CN115437330A (zh) 一种利用虚拟现实技术实现工业元宇宙的方法
CN209746614U (zh) 一种虚拟机器人工作站的仿真互动可视化系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant