CN111679740A - 利用增强现实ar技术对电站设备进行远程智能诊断的方法 - Google Patents

利用增强现实ar技术对电站设备进行远程智能诊断的方法 Download PDF

Info

Publication number
CN111679740A
CN111679740A CN202010508416.XA CN202010508416A CN111679740A CN 111679740 A CN111679740 A CN 111679740A CN 202010508416 A CN202010508416 A CN 202010508416A CN 111679740 A CN111679740 A CN 111679740A
Authority
CN
China
Prior art keywords
technology
remote
diagnosis
equipment
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010508416.XA
Other languages
English (en)
Inventor
徐创学
冯庭有
吴波
江永
李振兴
周明
赵骥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Thermal Power Research Institute Co Ltd
Huaneng Group Technology Innovation Center Co Ltd
Original Assignee
Xian Thermal Power Research Institute Co Ltd
Huaneng Group Technology Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Thermal Power Research Institute Co Ltd, Huaneng Group Technology Innovation Center Co Ltd filed Critical Xian Thermal Power Research Institute Co Ltd
Priority to CN202010508416.XA priority Critical patent/CN111679740A/zh
Publication of CN111679740A publication Critical patent/CN111679740A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

利用增强现实AR技术对电站设备进行远程智能诊断的方法，利用AR全息技术将虚拟世界和现实世界融合在一起，通过即时通讯技术实现远程诊断多方进行“面对面”进行沟通和交流，“手把手”地协助解决问题；利用AR视觉定位，注册，识别，跟踪组成的完整的AR物体连接，再通过手势和姿态的直接识别和控制，实现远程诊断的“人‑机”连接；利用“端‑云”、AI数据建模及可视化技术实现数据的连接应用；利用AR增强仿真和投影技术将对物理环境和虚拟环境进行融合，通过AR让协同各方通过第一视角的画面多方共享，提供一个虚拟环境与现实世界相叠加的场景，让协作更精准、更高效，对提高电站设备安全性、可靠性、可用度以及降低诊断维修成本具有积极意义。

Description

利用增强现实AR技术对电站设备进行远程智能诊断的方法
技术领域
本发明涉及远程智能诊断的方法，特别涉及利用增强现实AR技术对电站设备进行远程智能诊断的方法，基于增强现实AR技术实现“人－机－数－环－知”循环互动进行远程故障的诊断。
背景技术
发电厂(电站)是资金和技术密集型企业，其设备的安全和高效运行是企业不断追求的目标。在电力生产过程中，重要设备运行过程中的任何故障不仅直接影响电能的产量和质量，还可能造成严重的设备和人身事故。要使机组设备安全、可靠、经济地运行，过程状态监测和故障诊断是重要且有效的技术手段。另外由于机组灵活性运行和环保排放等方面需求，电厂在设备运行、检修和可靠性、经济性分析诊断过程中，需要丰富经验和知识的专业人员进行技术服务。随着企业数字化程度提高和设备的大型化，设备故障诊断需要借助的资源和处理的数据量越来越多，需要借助大量的科学计算和知识经验支持，使得单个企业无法解决所有的问题。
传统的现场技术服务方式存在项目周期长、执行成本高、人力资源占用率高、劳动强度大、应急性差等缺点。现场对设备的诊断分析容易受到人力、技术以及地域的限制，历史知识共享性、重用性低的问题。
随着计算机网络技术的迅速发展，设备的远程诊断得到越来越广泛的重视。但传统的远程诊断在数据灵活采集、现场设备连接、环境感知、人员沟通和远程知识传递都存在技术和空间上的障碍，制约了远程诊断的实际应用效果。
发明内容
为了解决传统远程诊断面临的上述问题，迎合智能电站的发展趋势，本发明的目的在于提供一种利用增强现实AR技术对电站设备进行远程智能诊断的方法,利用AR技术开发的一种对电站设备进行远程智能诊断的方法，主要特征是基于“人－机－数－环－知识”要素地循环有机互动，实现信息、数据和人力资源的有效协同共享，让工业问题诊断更直接，更精准，更高效，可促进区域乃至全球诊断资源共享和快速故障诊断，对提高电站设备安全性、可靠性、可用度以及降低诊断维修成本具有积极意义。
为了达到上述目的，本发明的技术方案为：
一种利用增强现实AR技术对电站设备进行远程智能诊断的方法,包括以下步骤：
1.利用AR全息技术和即时通讯技术将现场检修员工与远程专家进行“面对面”连接，实现远程诊断
具体为：在即时通讯的基础上，通过AR全息成像显示技术把相距千里之外的现场检修员工和远程专家虚拟在一个房间位置，使用景深传感相机和数码投影仪来营造出一个虚拟空间，并将虚拟世界和现实世界融合在一起，场检修员工和远程专家通过这个全息的数码影像从各种不同角度看到彼此，双方“面对面”进行沟通和交流，“手把手”地协助解决问题，双方可在同一工作白板进行图形绘制、展示工作原理流程和解决方案；
2.利用AR设备识别跟踪和控制感知技术将现场检修机器与远程专家进行人-机连接
首先利用ARAR设备对现场机器进行定位、注册、识别、跟踪，组成完整的AR物体连接，借助计算机将数据通过AR的2D、3D和4D图像技术，对机器进行立体透视；
在物体控制感知方面，通过手势和姿态的直接识别和控制，实现与诊断机器设备手势和肢体交互，通过追踪手部很多个关节，实现点击，触摸，滑动和反馈手部姿势，另外还有语音合成控制，意念控制人机交互能功能，远程专家只需上下“看”一眼运行中的设备就能知道哪个零部件出了问题，这样在3D虚拟空间中直接拖拽、旋转、放缩、操作现场设备及其零部件的透视图，帮助用户理解设备结构和运行状态，进一步检查和发现问题；
3.利用“端-云”技术将现场运行信息与远程诊断中心进行数据建模可视化连接
远程诊断需要采集大量的现场运行数据，包括实时数据和历史数据，这些数据具备实时海量的特点，传输并保存到诊断数据中心上，利用人工智能AI从大量运行数据中发现潜在规律、提取设备特征数据和运行规则建模，AR则是将这些特征参数的进行模型的高维显示，给诊断者辅助决策，量值包括：最大值、最小值、峰值、均值、均方值、方差、方根幅值、平均幅值、平均峰值；
4、利用AR增强仿真和投影技术对物理环境和虚拟环境进行融合，将现场环境虚拟到远程诊断中心进行环境仿真连接
通过AR让协同各方通过第一视角的画面多方共享，为远程专家提供一个虚拟环境与现实世界相叠加的场景，通过将物理空间和虚拟空间进行校准、融合和控制，呈现在大家面前的视野不仅仅是检修员工的眼睛看到的，还有虚拟空间物体、数据及模型，这样远程诊断整个工作沉浸在增强现实的场景中，远程专家直接了解现场检修员所看到的内容，能够更清楚地了解现场工作、维修危险系数，远程专家的指导结果将同步展现在现场用户视野中；
5、应用AR远程诊断实现设备运行特征参数提取与知识图谱的建立
电站设备诊断是基于实时/历史数据挖掘部件特征的设备状态评价技术，通过人工智能计算方法，包括人工神经网络，遗传算法、模式识别和数理统计，从大量历史数据中获取机组特征参数，用模式匹配方式对主要设备运行状态进行性能及故障诊断；故障诊断中直接记录、保存现场一手数据，并对任务状态进行实时跟踪，同时能够查询多种类型的知识图谱数据，多种类型包括文档、图片、视频及数据模型；知识图谱数据是通过AR技术实现现场设备运行大数据的收集、分析，从而进行经验方法的沉淀及流程的优化，实现设备诊断知识图谱的建立。
本发明的优点：
本发明是根据“人－机－数－环－知”5个特征要素的循环互动来进行远程故障诊断，利用AR全息技术将虚拟世界和现实世界融合在一起，通过即时通讯(文字、语音、图片、视频表达的信息)技术实现远程诊断多方进行“面对面”进行沟通和交流，“手把手”地协助解决问题；利用ARAR视觉定位，注册，识别，跟踪组成的完整的AR物体连接，再通过手势和姿态的直接识别和控制实现远程诊断的“人-机”连接；利用“端-云”、AI数据建模及可视化技术实现数据的连接应用；利用AR增强仿真和投影技术将对物理环境和虚拟环境进行融合，通过AR让协同各方通过第一视角的画面多方共享，提供一个虚拟环境与现实世界相叠加的场景，让协作更精准、更高效。并将远程诊断由桌面级延伸到环境级；应用AR+AI远程诊断实现了设备运行特征参数提取与知识图谱的建立。基于AR技术的远程诊断，真正意义上远程诊断能够实现前面讲的多专家、多手段、多工具的协同，以及能够实现区域乃至全球诊断资源共享和快速故障诊断；为智能电站的迅速发展提供多元化的启发，对提高电站设备安全性、可靠性、可用度以及降低诊断维修成本具有积极意义。
附图说明
图1是本发明利用增强现实(AR)技术对电站设备进行远程诊断－特征要素关系图。
图2是本发明利用增强现实(AR)技术对电站设备进行远程智能诊断各系统连接框图。
具体实施方式
下面结合说明书的附图1和图2，对本发明作进一步的说明。
如图1所示，本发明利用增强现实(AR)技术对电站设备进行远程智能诊断的方法，是一种实现“人－机－数－环－知”循环互动进行远程故障诊断的方法，其特点要素包括5个方面如图1所示，具体为：
1.利用AR全息技术和即时通讯技术将现场检修员工与远程专家进行“面对面”连接，实现远程诊断
远程诊断常用的方法就是远程协助，目前电话、视频、聊天工具能够提供远程协助功能，但体验却不尽如人意，比如电话无法具象地表现出对话双方的场景画面，视频远程协助虽然能够提供现场画面，不过却很难实现“手把手”地协助，而聊天工具的远程协助一般为单向(如QQ)。
该步骤具体为：在即时通讯(文字、语音、图片、视频表达的信息)的基础上，通过AR全息成像显示技术把相距千里之外的现场检修员工和远程专家虚拟在一个房间位置。以往只能通过屏幕的文字、语音、图片还有视频来表达自己的信息，运用了强大的AR虚拟全息成像技术，使用景深传感相机和数码投影仪来营造出一个虚拟空间，并将虚拟世界和现实世界融合在一起，利用AR强大的实时3D运算能力、精准的即时定位、手势识别技术与立体抬头现实技术等技术，提供了一种前所未有的互动形式。场检修员工和远程专家能够通过这个全息的数码影像从各种不同角度看到彼此，双方近乎“面对面”进行沟通和交流，包括音视频聊天互动、“手把手”地协助解决问题，双方可在同一工作白板进行图形绘制、展示工作原理流程和解决方案。
远程专家可以用手指或笔在屏幕中圈出问题所在，对方同时也可以看到画圈的画面，以此来解决实际中所遇到的问题。这样远程专家就可以“现场”方式指导用户操作，以解决实际工作中所遇到的问题。
AR多人通讯支持一对多、多对一、多对多等各种场景，参与诊断各方可自由选择接入通讯的终端设备类型。
2、利用AR设备识别跟踪和控制感知技术将现场检修机器与远程专家进行人-机连接
通过利用AR视觉定位，注册，识别，跟踪组成的完整的AR物体连接技术。借助计算机将复杂数据通过AR的2D、3D和4D图像技术，对机器进行立体透视，是人机互动连接的前提。
在物体控制感知方面，通过手势和姿态的直接识别和控制，实现与诊断机器设备手势和肢体交互，系统可通过常用手势实现点击，触摸，滑动和反馈手部姿势，还可用语音和图形标记物控制，可实现在3D虚拟空间中直接拖拽、旋转、放缩、操作现场设备及其零部件的透视图。这样，远程专家只需上下“看”一眼运行中的设备就能知道你的哪个零部件出了问题，甚至可以判断设备是否需要停机维修。
通过追踪手部很多个关节，实现点击，触摸，滑动和反馈手部姿势，另外还有更强的人机交互能功能：语音合成控制，意念控制等。这样在3D虚拟空间中直接拖拽、旋转、放缩、操作现场设备及其零部件的透视图，帮助用户理解设备结构和运行状态，进一步检查和发现问题。
3、利用“端-云”技术将现场运行信息与远程诊断中心进行数据建模可视化连接
如图2所示，远程诊断中心提供数据云服务(IaaS/PaaS/SaaS)，AR终端现场部署，两者进行“端-云”连接。
远程诊断需要大量的现场运行数据，这些数据具备实时海量的特点。根据数据及建模连接需要，基于XML语言可扩展性、高度结构化、便于网络传输特点，自定义标记、属性和描述法，实现数据跨平台传送及多样化显示，这样对工作地点移动性较大的远程诊断人员来说，可以及时地进行数据连接。
对于接收到的大数据集，采用AR+AI工作处理方式。电站设备诊断是基于实时/历史数据挖掘部件特征的设备状态评价技术，利用人工智能AI从大量运行数据中发现潜在规律、提取设备特征数据和运行规则建模，AR则是将这些特征参数的量值(包括：最大值、最小值、峰值、均值、均方值、方差、方根幅值、平均幅值、平均峰值)进行模型的高维显示，给诊断者辅助决策。
AR终端现场部署，数据及模型存储在云端，通过“AR+AI”技术进行端云连接互动，实现算力和算法的融合，技术和应用场景的结合。
4、利用AR增强仿真和投影技术将对物理环境和虚拟环境进行融合。将现场环境虚拟到远程诊断中心进行环境仿真连接
通过AR让协同各方通过第一视角的画面多方共享，为远程专家提供一个虚拟环境与现实世界相叠加的场景，如图2所示，通过将物理空间和虚拟空间进行校准、融合和控制，使远程诊断整个工作沉浸在增强现实的场景中，不仅仅是检修员工的眼睛看到的，远程专家也直接了解现场检修员所看到的内容，可以更清楚地了解现场工作、维修危险系数，远程专家的指导结果将同步展现在现场用户视野中。可通过一键冻屏和实时标注技术，提供身临其境的维修指导，让协作更精准、更高效。
通过AR环境投影映射方式取代我们在日常生活中所熟知的屏幕，实现360°投影沉浸式环境体验，将远程诊断由桌面级延伸到环境级，即由传统桌面远程连接方式向现场物理世界大场景交互发展，实现“无处不在的用户交互界面”。
5.应用AR远程诊断实现了设备运行特征值参数提取与知识图谱的建立
在工业领域，大型设备因机构复杂，大修操作繁琐，流程长、对操作规范、效率、安全性要求高。现场巡检和检修人员压力大。
电站设备诊断是基于实时/历史数据挖掘部件特征的设备状态评价技术，通过人工智能计算方法(人工神经网络，遗传算法)、模式识别和数理统计，从大量历史数据中获取机组特征参数，用模式匹配方式对主要设备运行状态进行性能及故障诊断。
AR诊断过程中可直接记录、保存现场一手数据，并对任务状态进行实时跟踪，便于信息的管理与追溯。同时可查询多种类型(包括文档、图片、视频及数据模型等)的知识图谱数据。
通过AR技术实现现场设备运行大数据的收集、分析，从而进行经验方法的沉淀及流程的优化。同时构建“专家数据模型”和相关智能算法，实现真正意义的远程智能诊断。
本发明的利用增强现实(AR)技术对电站设备进行远程智能诊断的方法，利用AR技术，相关人员通过AR智能终端，如AR智能眼镜，利用内置的软件算法和工作辅助系统进行以往案例分析、判断，迭代出最优工作方案，将需要实操的标准步骤则通过三维图像叠加的现实世界中，并浮现于眼前。所有步骤都将一清二楚，出错率极大降低。
随着工业物联网技术的发展，远程故障诊断和维护技术可以实现对复杂系统快速、及时、正确诊断和维护。远程诊断不但能及时给机组做出分析诊断，减少故障的处理时间，并可为发电企业提供设备状态评估、故障预警、性能劣化分析、节能分析以及运行指导，因而可提高设备运行安全性、可靠性、可用度。
基于AR技术的远程诊断是计算机、现代信息技术和传统工程技术服务的结合，通过“人－机－数－环－知”循环互动，真正意义上远程诊断能够实现前面讲的多专家、多手段、多工具的协同，以及能够实现区域乃至全球诊断资源共享和快速故障诊断。诊断过程中“移动的是信息流而不是人本身”，符合目前“互联网+技术”的发展潮流，成为工业智能化发展的方向之一，也为智能电站的迅速发展提供多元化的启发，本发明具有良好的应用前景。
以上显示和说明了本发明的系统架构、主要内容和主要特征。本行业的技术人员应该了解，本发明不受上述应用例子的限制，上述应用例子和说明书中描述的只是说明本发明的原理及组成，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.利用增强现实AR技术对电站设备进行远程智能诊断的方法,其特征在于，包括以下步骤：
(1)、利用AR全息技术和即时通讯技术将现场检修员工与远程专家进行“面对面”连接，实现远程诊断；
(2)、利用AR设备识别跟踪和控制感知技术将现场检修机器与远程专家进行人-机连接；
(3)、利用“端-云”技术将现场运行信息与远程诊断中心进行数据建模可视化连接；
(4)、利用AR增强仿真和投影技术将对物理环境和虚拟环境进行融合，将现场环境虚拟到远程诊断中心进行环境仿真连接；
(5)、应用AR远程诊断实现设备运行特征参数提取与知识图谱的建立。
2.根据权利要求1所述的利用增强现实AR技术对电站设备进行远程智能诊断的方法,其特征在于，
所述的利用AR全息技术和即时通讯技术将现场检修员工与远程专家进行“面对面”连接，实现远程诊断，具体为：在即时通讯的基础上，通过AR全息成像显示技术把相距千里之外的现场检修员工和远程专家虚拟在一个房间位置，使用景深传感相机和数码投影仪来营造出一个虚拟空间，并将虚拟世界和现实世界融合在一起，场检修员工和远程专家能够通过这个全息的数码影像从各种不同角度看到彼此，双方“面对面”进行沟通和交流，“手把手”地协助解决问题，双方可在同一工作白板进行图形绘制、展示工作原理流程和解决方案。
3.根据权利要求1所述的利用增强现实AR技术对电站设备进行远程智能诊断的方法,其特征在于，
所述的利用AR设备识别跟踪和控制感知技术将现场检修机器与远程专家进行人-机连接，具体为：
首先利用ARAR设备对现场机器进行定位、注册、识别、跟踪，组成完整的AR物体连接，借助计算机将数据通过AR的2D、3D和4D图像技术，对机器进行立体透视；
在物体控制感知方面，通过手势和姿态的直接识别和控制，实现与诊断机器设备手势和肢体交互，通过追踪手部很多个关节，实现点击，触摸，滑动和反馈手部姿势，另外还有语音合成控制，意念控制人机交互能功能，远程专家只需上下“看”一眼运行中的设备就能知道哪个零部件出了问题，这样在3D虚拟空间中直接拖拽、旋转、放缩、操作现场设备及其零部件的透视图，帮助用户理解设备结构和运行状态，进一步检查和发现问题。
4.根据权利要求1所述的利用增强现实AR技术对电站设备进行远程智能诊断的方法,其特征在于，
所述的利用“端-云”技术将现场运行信息与远程诊断中心进行数据建模可视化连接，具体为：
远程诊断需要采集大量的现场运行数据，包括实时数据和历史数据，这些数据具备实时海量的特点，传输并保存到诊断数据中心上，利用人工智能AI从大量运行数据中发现潜在规律、提取设备特征数据和运行规则建模，AR则是将这些特征参数的进行模型的高维显示，给诊断者辅助决策，量值包括：最大值、最小值、峰值、均值、均方值、方差、方根幅值、平均幅值、平均峰值。
5.根据权利要求1所述的利用增强现实AR技术对电站设备进行远程智能诊断的方法,其特征在于，
所述的利用AR增强仿真和投影技术将对物理环境和虚拟环境进行融合，将现场环境虚拟到远程诊断中心进行环境仿真连接，具体为：
通过AR让协同各方通过第一视角的画面多方共享，为远程专家提供一个虚拟环境与现实世界相叠加的场景；通过将物理空间和虚拟空间进行校准、融合和控制，呈现在大家面前的视野不仅仅是检修员工的眼睛看到的，还有虚拟空间物体、数据及模型，这样远程诊断整个工作沉浸在增强现实的场景中，远程专家直接了解现场检修员所看到的内容，能够更清楚地了解现场工作、维修危险系数，远程专家的指导结果将同步展现在现场用户视野中。
6.根据权利要求1所述的利用增强现实AR技术对电站设备进行远程智能诊断的方法,其特征在于，
所述的应用AR远程诊断实现了设备运行特征参数提取与知识图谱的建立具体为：
基于实时/历史数据挖掘部件特征的设备状态评价技术，通过人工智能计算方法，包括人工神经网络，遗传算法、模式识别和数理统计，从大量历史数据中获取机组特征参数，用模式匹配方式对主要设备运行状态进行性能及故障诊断；故障诊断中直接记录、保存现场一手数据，并对任务状态进行实时跟踪，同时能够查询多种类型的知识图谱数据，多种类型包括文档、图片、视频及数据模型；知识图谱数据是通过AR技术实现现场设备运行大数据的收集、分析，从而进行经验方法的沉淀及流程的优化，实现设备诊断知识图谱的建立。
CN202010508416.XA 2020-06-06 2020-06-06 利用增强现实ar技术对电站设备进行远程智能诊断的方法 Pending CN111679740A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010508416.XA CN111679740A (zh) 2020-06-06 2020-06-06 利用增强现实ar技术对电站设备进行远程智能诊断的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010508416.XA CN111679740A (zh) 2020-06-06 2020-06-06 利用增强现实ar技术对电站设备进行远程智能诊断的方法

Publications (1)

Publication Number Publication Date
CN111679740A true CN111679740A (zh) 2020-09-18

Family

ID=72435233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010508416.XA Pending CN111679740A (zh) 2020-06-06 2020-06-06 利用增强现实ar技术对电站设备进行远程智能诊断的方法

Country Status (1)

Country Link
CN (1) CN111679740A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181848A (zh) * 2020-10-21 2021-01-05 滁州市精美家电设备股份有限公司 工业互联网5g远程保障及诊断全自动成套设备运行系统
CN112330818A (zh) * 2020-11-03 2021-02-05 北京卫星环境工程研究所 基于增强现实的无人机零部件手工铺层辅助系统和方法
CN112434575A (zh) * 2020-11-12 2021-03-02 广东电网有限责任公司 一种基于姿态识别的电力物联网设备远程控制方法及系统
CN112562092A (zh) * 2020-12-22 2021-03-26 国网上海市电力公司 一种基于ar技术的电气试验智能交互系统
CN112616047A (zh) * 2020-11-13 2021-04-06 贵州电网有限责任公司 基于ar的机房作业现场指导及远程协助调度系统
CN112710426A (zh) * 2020-12-17 2021-04-27 大唐东北电力试验研究院有限公司 一种基于虚拟现实的ar电站汽轮机动平衡方法及装置
CN112865317A (zh) * 2021-01-28 2021-05-28 深圳供电局有限公司 智慧电站远程虚拟控制方法、装置及系统
CN112947881A (zh) * 2021-04-02 2021-06-11 浙江德维迪亚数字科技有限公司 基于即时通讯的远程冻屏指导方法
CN113011723A (zh) * 2021-03-04 2021-06-22 北京计算机技术及应用研究所 一种基于增强现实的远程装备维保系统
CN113114971A (zh) * 2021-06-16 2021-07-13 国能信控互联技术有限公司 辅助远程协作的头显设备、远程协同系统及其控制方法
CN113222337A (zh) * 2021-04-06 2021-08-06 盈机技术服务(北京)有限公司 一种远程脆弱性评估方法、装置以及存储介质
CN113783305A (zh) * 2021-09-27 2021-12-10 国能陕西水电有限公司 一种基于ar的电站集成式管理方法、系统及服务器
CN115171447A (zh) * 2022-07-11 2022-10-11 广东电网有限责任公司东莞供电局 一种基于增强现实技术的操作辅导系统
CN115357873A (zh) * 2022-10-20 2022-11-18 苏州元硕自动化科技有限公司 基于Vuforia技术的AR设备点检辅助系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108879440A (zh) * 2018-06-20 2018-11-23 国网山东省电力公司济宁供电公司 基于可穿戴增强现实显示终端和云平台的智能检修系统及方法
CN110233841A (zh) * 2019-06-11 2019-09-13 上海文景信息科技有限公司 一种基于ar全息眼镜的远程教育数据交互系统及方法
CN110442486A (zh) * 2019-08-05 2019-11-12 北京远舢智能科技有限公司 一种基于混合现实技术的远程设备诊断系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108879440A (zh) * 2018-06-20 2018-11-23 国网山东省电力公司济宁供电公司 基于可穿戴增强现实显示终端和云平台的智能检修系统及方法
CN110233841A (zh) * 2019-06-11 2019-09-13 上海文景信息科技有限公司 一种基于ar全息眼镜的远程教育数据交互系统及方法
CN110442486A (zh) * 2019-08-05 2019-11-12 北京远舢智能科技有限公司 一种基于混合现实技术的远程设备诊断系统和方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181848A (zh) * 2020-10-21 2021-01-05 滁州市精美家电设备股份有限公司 工业互联网5g远程保障及诊断全自动成套设备运行系统
CN112330818B (zh) * 2020-11-03 2021-06-22 北京卫星环境工程研究所 基于增强现实的无人机零部件手工铺层辅助系统和方法
CN112330818A (zh) * 2020-11-03 2021-02-05 北京卫星环境工程研究所 基于增强现实的无人机零部件手工铺层辅助系统和方法
CN112434575A (zh) * 2020-11-12 2021-03-02 广东电网有限责任公司 一种基于姿态识别的电力物联网设备远程控制方法及系统
CN112434575B (zh) * 2020-11-12 2023-09-01 广东电网有限责任公司 一种基于姿态识别的电力物联网设备远程控制方法及系统
CN112616047A (zh) * 2020-11-13 2021-04-06 贵州电网有限责任公司 基于ar的机房作业现场指导及远程协助调度系统
CN112710426A (zh) * 2020-12-17 2021-04-27 大唐东北电力试验研究院有限公司 一种基于虚拟现实的ar电站汽轮机动平衡方法及装置
CN112562092A (zh) * 2020-12-22 2021-03-26 国网上海市电力公司 一种基于ar技术的电气试验智能交互系统
CN112865317A (zh) * 2021-01-28 2021-05-28 深圳供电局有限公司 智慧电站远程虚拟控制方法、装置及系统
CN113011723A (zh) * 2021-03-04 2021-06-22 北京计算机技术及应用研究所 一种基于增强现实的远程装备维保系统
CN113011723B (zh) * 2021-03-04 2024-03-01 北京计算机技术及应用研究所 一种基于增强现实的远程装备维保系统
CN112947881A (zh) * 2021-04-02 2021-06-11 浙江德维迪亚数字科技有限公司 基于即时通讯的远程冻屏指导方法
CN113222337A (zh) * 2021-04-06 2021-08-06 盈机技术服务(北京)有限公司 一种远程脆弱性评估方法、装置以及存储介质
CN113222337B (zh) * 2021-04-06 2022-07-29 盈机技术服务(北京)有限公司 一种远程脆弱性评估方法、装置以及存储介质
CN113114971A (zh) * 2021-06-16 2021-07-13 国能信控互联技术有限公司 辅助远程协作的头显设备、远程协同系统及其控制方法
CN113783305A (zh) * 2021-09-27 2021-12-10 国能陕西水电有限公司 一种基于ar的电站集成式管理方法、系统及服务器
CN113783305B (zh) * 2021-09-27 2023-10-20 国能陕西水电有限公司 一种基于ar的电站集成式管理方法、系统及服务器
CN115171447A (zh) * 2022-07-11 2022-10-11 广东电网有限责任公司东莞供电局 一种基于增强现实技术的操作辅导系统
CN115357873A (zh) * 2022-10-20 2022-11-18 苏州元硕自动化科技有限公司 基于Vuforia技术的AR设备点检辅助系统

Similar Documents

Publication Publication Date Title
CN111679740A (zh) 利用增强现实ar技术对电站设备进行远程智能诊断的方法
CN111260084B (zh) 基于增强现实协同装配维修的远程系统及方法
WO2021179399A1 (zh) 一种基于混合现实的远程操作引导系统及方法
JP2021103564A (ja) 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体
CN108509026B (zh) 基于增强交互方式的远程维修支持系统及方法
Li et al. A framework and method for human-robot cooperative safe control based on digital twin
CN104656893B (zh) 一种信息物理空间的远程交互式操控系统及方法
CN112306233A (zh) 一种巡检方法、系统和巡检管理平台
CN113752264A (zh) 基于数字孪生的机械臂智能装备控制方法及系统
CN110142769B (zh) 基于人体姿态识别的ros平台在线机械臂示教系统
Lapointe et al. A literature review of AR-based remote guidance tasks with user studies
CN109395375A (zh) 一种基于增强现实与移动交互的三维游戏接口设计方法
CN116489149A (zh) 面向工业应用的云边端协同混合现实协作环境构建方法
CN107538492A (zh) 移动机器人的智能操控系统、方法及智能学习方法
CN110751734A (zh) 一种适用于工作现场的混合现实助手系统
CN115469745A (zh) 一种基于ar技术的机房设备故障处理方法和系统
CN114169546A (zh) 一种基于深度学习的mr远程协同装配系统及方法
Zenati et al. A new AR interaction for collaborative E-maintenance system
CN112069873A (zh) 一种基于LeapMotion手势识别的屏幕控制系统及方法
CN111660294B (zh) 一种液压重载机械臂增强现实操控系统
CN207432213U (zh) 移动机器人的智能操控系统
CN113674426A (zh) 使用ar技术的设备检修方法及装置
Liu et al. AR-Driven Industrial Metaverse for the Auxiliary Maintenance of Machine Tools in IoT-Enabled Manufacturing Workshop
Yu et al. A novel MR remote collaborative assembly system using reconstructed attribute-enhanced product models
Deherkar et al. Gesture controlled virtual reality based conferencing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200918