KR20210075484A - Method for inspecting facility and user terminal performing the same - Google Patents

Method for inspecting facility and user terminal performing the same Download PDF

Info

Publication number
KR20210075484A
KR20210075484A KR1020190166609A KR20190166609A KR20210075484A KR 20210075484 A KR20210075484 A KR 20210075484A KR 1020190166609 A KR1020190166609 A KR 1020190166609A KR 20190166609 A KR20190166609 A KR 20190166609A KR 20210075484 A KR20210075484 A KR 20210075484A
Authority
KR
South Korea
Prior art keywords
user terminal
inspection
facility
user
screen
Prior art date
Application number
KR1020190166609A
Other languages
Korean (ko)
Other versions
KR102304781B1 (en
Inventor
정상훈
Original Assignee
주식회사 칸정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 칸정보기술 filed Critical 주식회사 칸정보기술
Priority to KR1020190166609A priority Critical patent/KR102304781B1/en
Publication of KR20210075484A publication Critical patent/KR20210075484A/en
Application granted granted Critical
Publication of KR102304781B1 publication Critical patent/KR102304781B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G06K9/3283—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093—Calendar-based scheduling for persons or groups
    • G06Q10/1097—Task assignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Disclosed are a facility inspection method and device. The facility inspection method comprises the steps of: providing building information corresponding to the building identification marker on the screen when the building identification marker is recognized in the first image acquired through the camera in the inspection mode using augmented reality; providing an interface screen for inspection of the facility corresponding to the facility identification marker when the facility identification marker is recognized in the second image acquired through the camera; receiving inspection data related to inspection of facilities through user input; and generating report data on the basis of user input and transmitting the generated report data to a server.

Description

시설물 점검 방법 및 시설물 점검 방법을 수행하는 사용자 단말{METHOD FOR INSPECTING FACILITY AND USER TERMINAL PERFORMING THE SAME}User terminal performing facility inspection method and facility inspection method {METHOD FOR INSPECTING FACILITY AND USER TERMINAL PERFORMING THE SAME}

실시예들은 시설물 점검 기술에 관한 것이다.Embodiments relate to facility inspection techniques.

건물의 시설물을 점검하는 것은 안전성은 물론이고 효율성 측면에서도 중요한 일이다. 건물의 시설물들이 점점 더 다양해지고 역할이 중요해짐에 따라 시설물의 점검에 있어서 전문성을 확보하는 것에 대한 필요성이 대두되었다. 또한, 시설물의 안전관리와 관련된 법이 3종 소형 시설물까지 확대되어 적용되는 만큼, 시설물 점검에 소요되는 시간을 절감하는 방법에 대한 연구가 필요한 실정이다.Inspection of building facilities is important not only in terms of safety but also in terms of efficiency. As the facilities of buildings become more diverse and their roles become more important, the need for securing expertise in facility inspection has emerged. In addition, as the law related to the safety management of facilities has been extended and applied to three types of small facilities, there is a need for research on a method of reducing the time required for facility inspection.

일 실시예에 따른 시설물의 점검 방법에 있어서, 증강 현실을 이용한 점검 모드에서, 카메라를 통해 획득한 제1 이미지에서 건물 식별 마커가 인식되는 경우 상기 건물 식별 마커에 대응하는 건물 정보를 화면에 제공하는 단계; 상기 카메라를 통해 획득한 제2 이미지에서 시설물 식별 마커가 인식되는 경우, 상기 시설물 식별 마커에 대응하는 시설물의 점검을 위한 인터페이스 화면을 제공하는 단계; 상기 시설물의 점검과 관련된 점검 데이터를 사용자 입력을 통해 수신하는 단계; 및 상기 사용자 입력에 기초하여 보고 데이터를 생성하고, 상기 생성된 보고 데이터를 서버에 전송하는 단계를 포함할 수 있다.In the inspection method of a facility according to an embodiment, in an inspection mode using augmented reality, when a building identification marker is recognized in a first image acquired through a camera, building information corresponding to the building identification marker is provided on a screen step; providing an interface screen for inspection of a facility corresponding to the facility identification marker when the facility identification marker is recognized in the second image acquired through the camera; receiving inspection data related to inspection of the facility through a user input; and generating report data based on the user input and transmitting the generated report data to a server.

상기 건물 정보를 화면에 제공하는 단계는, 상기 인식된 건물 식별 마커에 기초하여 상기 건물의 도면 데이터에 대한 렌더링을 수행하는 단계; 및 상기 렌더링이 수행된 건물의 도면 데이터를 화면에 제공하는 단계를 포함할 수 있다.The providing of the building information to the screen may include: rendering the drawing data of the building based on the recognized building identification marker; and providing the drawing data of the building on which the rendering is performed to the screen.

상기 시설물의 점검을 위한 인터페이스 화면은, 상기 시설물을 점검하는 방법과 관련된 영상을 포함하는 화면, 상기 점검의 진행과 관련된 화면 및 상기 사용자 입력을 통해 상기 점검 데이터를 수신하기 위한 화면 중 적어도 하나를 포함할 수 있다.The interface screen for the inspection of the facility includes at least one of a screen including an image related to a method of inspecting the facility, a screen related to the progress of the inspection, and a screen for receiving the inspection data through the user input can do.

상기 점검 데이터를 수신하는 단계는, 작업 영상 등록과 관련된 사용자 선택을 수신하는 단계; 상기 사용자 선택에 응답하여, 스마트 글래스와 연결을 시도하는 단계; 상기 스마트 글래스와 연결된 경우, 상기 스마트 글래스로부터 상기 스마트 글래스에 의해 촬영된 작업 영상을 수신하는 단계; 및 상기 수신한 작업 영상을 등록하는 단계를 포함할 수 있다.Receiving the inspection data may include: receiving a user selection related to job image registration; in response to the user selection, attempting to connect with the smart glasses; receiving a work image captured by the smart glasses from the smart glasses when connected to the smart glasses; and registering the received work image.

상기 점검 데이터를 수신하는 단계는, 캘리퍼 수치 등록과 관련된 사용자 선택을 수신하는 단계; 상기 사용자 단말의 카메라를 통해 시설물의 캘리퍼 수치를 포함하는 이미지를 획득하는 단계; 광학 문자 인식(Optical character recognition; OCR) 기능을 이용하여 상기 이미지에서 상기 캘리퍼 수치를 인식하는 단계; 및 사용자 입력을 통해 상기 인식된 캘리퍼 수치가 확인된 경우, 상기 확인된 캘리퍼 수치를 등록하는 단계를 포함할 수 있다.Receiving the inspection data may include: receiving a user selection related to caliper numerical registration; acquiring an image including caliper values of facilities through the camera of the user terminal; recognizing the caliper value in the image using an optical character recognition (OCR) function; and when the recognized caliper value is confirmed through a user input, registering the identified caliper value.

일 실시예에 따른 점검 방법은 사용자 입력을 통해 캘리퍼 수치를 입력받은 경우, 상기 입력받은 캘리퍼 수치를 등록하는 단계를 더 포함할 수 있다.The inspection method according to an exemplary embodiment may further include registering the received caliper value when the caliper value is input through a user input.

상기 보고 데이터는, 스케줄 관리 모드에서 사용자 선택에 의해 상기 보고 데이터에 대응하는 날짜가 선택되었을 경우, 상기 사용자 단말에 디스플레이될 수 있다.The report data may be displayed on the user terminal when a date corresponding to the report data is selected by a user selection in the schedule management mode.

상기 스케줄 관리 모드는, 날짜 별로 기 등록된 보고 데이터에 기초한 점검 결과를 제공하고, 사용자 입력에 기초하여 시설물 점검과 관련된 신규 스케줄을 등록하는 모드일 수 있다.The schedule management mode may be a mode of providing inspection results based on previously registered report data for each date and registering a new schedule related to facility inspection based on a user input.

일 실시예에 따른 시설물의 점검 방법을 수행하는 사용자 단말은 메모리 및 프로세서를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고, 상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 상기 사용자 단말이, 증강 현실을 이용한 점검 모드에서, 카메라를 통해 획득한 제1 이미지에서 건물 식별 마커가 인식되는 경우 상기 건물 식별 마커에 대응하는 건물 정보를 화면에 제공하고, 상기 카메라를 통해 획득한 제2 이미지에서 시설물 식별 마커가 인식되는 경우, 상기 시설물 식별 마커에 대응하는 시설물의 점검을 위한 인터페이스 화면을 제공하고, 상기 시설물의 점검과 관련된 점검 데이터를 사용자 입력을 통해 수신하고, 상기 사용자 입력에 기초하여 보고 데이터를 생성하고, 상기 생성된 보고 데이터를 서버에 전송하도록 상기 사용자 단말을 제어할 수 있다.A user terminal for performing a facility inspection method according to an embodiment includes a memory and a processor, the memory stores instructions executable by the processor, and when the instructions are executed by the processor, The processor provides the building information corresponding to the building identification marker to the screen when the user terminal recognizes the building identification marker in the first image acquired through the camera in the inspection mode using augmented reality, and the camera When the facility identification marker is recognized in the second image acquired through providing an interface screen for inspection of a facility corresponding to the facility identification marker, and receiving inspection data related to the inspection of the facility through a user input, the The user terminal may be controlled to generate report data based on a user input and transmit the generated report data to a server.

상기 프로세서는 상기 사용자 단말이, 작업 영상 등록과 관련된 사용자 선택을 수신하고, 상기 사용자 선택에 응답하여, 스마트 글래스와 연결을 시도하고, 상기 스마트 글래스와 연결된 경우, 상기 스마트 글래스로부터 상기 스마트 글래스에 의해 촬영된 작업 영상을 수신하고, 상기 수신한 작업 영상을 등록하도록 상기 사용자 단말을 제어할 수 있다.The processor, when the user terminal receives a user selection related to job image registration, and in response to the user selection, tries to connect with smart glasses, and is connected to the smart glasses, by the smart glasses from the smart glasses It is possible to control the user terminal to receive the captured work image, and to register the received work image.

상기 프로세서는 상기 사용자 단말이, 캘리퍼 수치 등록과 관련된 사용자 선택을 수신하고, 상기 사용자 단말의 카메라를 통해 시설물의 캘리퍼 수치를 포함하는 이미지를 획득하고, 광학 문자 인식(Optical character recognition; OCR) 기능을 이용하여 상기 이미지에서 상기 캘리퍼 수치를 인식하고, 사용자 입력을 통해 상기 인식된 캘리퍼 수치가 확인된 경우, 상기 확인된 캘리퍼 수치를 등록하도록 상기 사용자 단말을 제어할 수 있다.The processor, the user terminal receives a user selection related to caliper numerical registration, acquires an image including the caliper numerical value of the facility through the camera of the user terminal, and optical character recognition (OCR) function The user may control the user terminal to recognize the caliper value from the image by using the caliper, and to register the confirmed caliper value when the recognized caliper value is confirmed through a user input.

상기 보고 데이터는, 스케줄 관리 모드에서 사용자 선택에 의해 상기 보고 데이터에 대응하는 날짜가 선택되었을 경우, 상기 사용자 단말에 디스플레이될 수 있다.The report data may be displayed on the user terminal when a date corresponding to the report data is selected by a user selection in the schedule management mode.

상기 스케줄 관리 모드는, 날짜 별로 기 등록된 보고 데이터에 기초한 점검 결과를 제공하고, 사용자 입력에 기초하여 시설물 점검과 관련된 신규 스케줄을 등록하는 모드일 수 있다.The schedule management mode may be a mode of providing inspection results based on previously registered report data for each date and registering a new schedule related to facility inspection based on a user input.

일 실시예에 따르면, 현장 중심형 모바일 스마트 시설물 점검 및 진단 관리시스템을 활용한 안전하고 효율적인 안전진단 관리 업무의 전문성을 확보할 수 있다.According to an embodiment, it is possible to secure expertise in safe and efficient safety diagnosis management work using a field-oriented mobile smart facility inspection and diagnosis management system.

일 실시예에 따르면, 선진형 건설 및 시설 안전, 시설 유지 관리 정책 개발 및 기술 기준 마련 제도 제안을 통하여 기술 활용의 확장성을 도모할 수 있다.According to an embodiment, it is possible to promote the scalability of technology utilization through advanced construction and facility safety, facility maintenance policy development, and technology standard preparation system proposal.

일 실시예에 따르면, 건물을 지속적이고, 과학적이며, 효율적으로 관리할 수 있다.According to one embodiment, the building can be managed continuously, scientifically and efficiently.

일 실시예에 따르면, 건물의 시설물을 점검하는 현장에서도 안전 진단 보고서를 작성할 수 있다.According to an embodiment, a safety diagnosis report may be prepared even at the site of inspecting the facilities of a building.

일 실시예에 따르면, 건물의 시설물을 점검하는 현장에서도 기존에 시설물에 대한 점검 이력 및 작업 이력 등을 조회할 수 있다.According to an embodiment, even at the site of inspecting the facilities of the building, the inspection history and the work history of the existing facilities may be inquired.

일 실시예에 따르면, ICT(Information and Communications Technologies) 기술을 통해 현장 기반의 스마트 시설물 점검 및 진단 관리 시스템을 구현할 수 있어, 작업자의 현장 중심의 작업 및 운영에 대한 효율성을 극대화할 수 있다.According to an embodiment, it is possible to implement a field-based smart facility inspection and diagnosis management system through Information and Communications Technologies (ICT) technology, thereby maximizing the efficiency of the operator's field-oriented work and operation.

일 실시예에 따르면, 시설 안전 및 유지 관리 분야에 미래 지향적이고, 융합적이며, 복합적인 선진화 기술 개발 내용을 실제 현장의 테스트 베드 적용을 통한 검증을 수행할 수 있다.According to one embodiment, future-oriented, convergence, and complex advanced technology development in the field of facility safety and maintenance can be verified through application of a test bed in the actual field.

일 실시예에 따르면 3D 도면과 증강 현실을 기반으로 안전을 진단할 대상의 위치기반 서비스를 제공할 수 있다.According to an embodiment, a location-based service of a target for safety diagnosis may be provided based on a 3D drawing and augmented reality.

도 1은 일 실시예에 따른 시설물의 점검 시스템의 전체적인 개요를 도시하는 도면이다.
도 2는 일 실시예에 따른 스케줄 관리 모드 및 점검 모드를 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 시설물의 점검 방법을 수행하는 애플리케이션 화면의 일례를 도시하는 도면이다.
도 4a 내지 도 4d는 일 실시예에 따른 스케줄 관리 모드와 관련된 애플리케이션 화면의 일례를 도시하는 도면들이다.
도 5는 일 실시예에 따른 시설물의 점검 방법을 설명하기 위한 흐름도이다.
도 6a 내지 도 10b는 일 실시예에 따른 점검 모드와 관련된 애플리케이션 화면의 일례를 도시하는 도면들이다.
도 11은 일 실시예에 따른 시설물의 점검 방법을 수행하기 위한 애플리케이션을 실행하는 사용자 단말의 구성을 도시하는 도면이다.1 is a diagram illustrating an overall outline of an inspection system for a facility according to an embodiment.
2 is a flowchart illustrating a schedule management mode and a check mode according to an embodiment.
3 is a diagram illustrating an example of an application screen for performing a method of inspecting a facility according to an exemplary embodiment.
4A to 4D are diagrams illustrating an example of an application screen related to a schedule management mode according to an embodiment.
5 is a flowchart illustrating a method of inspecting a facility according to an exemplary embodiment.
6A to 10B are diagrams illustrating an example of an application screen related to an inspection mode according to an exemplary embodiment.
11 is a diagram illustrating a configuration of a user terminal that executes an application for performing a method of inspecting a facility according to an exemplary embodiment.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. Like reference numerals in each figure indicate like elements.

아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Various modifications may be made to the embodiments described below. It should be understood that the embodiments described below are not intended to limit the embodiments, and include all modifications, equivalents or substitutes thereto.

실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the examples are only used to describe specific examples, and are not intended to limit the examples. The singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components are assigned the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted. In the description of the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description thereof will be omitted.

도 1은 일 실시예에 따른 시설물의 점검 시스템의 전체적인 개요를 도시하는 도면이다.1 is a diagram illustrating an overall outline of an inspection system for a facility according to an embodiment.

시설물의 점검 시스템은 증강 현실을 이용한 시설물의 점검 방법과 점검에 대한 스케줄 관리 방법을 수행할 수 있는 애플리케이션이 실행된 사용자 단말(130)을 통해, 작업자가 수행한 점검 및 관리에 대한 보고 데이터를 생성하고 관리하는 기능을 개시할 수 있다. 시설물의 점검 시스템은 소규모 FMS(Facility Management System)로서, 작업자의 작업 중에 촬영된 점검 또는 작업 영상과 점검 데이터를 데이터베이스화 하여 관리할 수 있다.The facility inspection system generates report data on the inspection and management performed by the operator through the user terminal 130 in which the application capable of performing the inspection method of the facility using augmented reality and the schedule management method for inspection is executed and can initiate a management function. The facility inspection system is a small-scale FMS (Facility Management System), and it is possible to manage the inspection or operation images and inspection data captured during the operator's operation by making a database.

도 1을 참조하면, 일 실시예에서 시설물의 점검 시스템은 서버(110), 네트워크(120), 사용자 단말(130) 및 스마트 글래스(140)를 포함할 수 있다. 사용자 단말(130)은 시설물의 점검 방법과 점검에 대한 스케줄 관리 방법을 수행할 수 있는 애플리케이션이 실행된 장치일 수 있다. 사용자 단말(130)은 작업자의 사용자 입력을 통해 수신한 점검 데이터에 기초하여 보고 데이터를 생성할 수 있고, 생성한 보고 데이터를 네트워크(120)를 통해 서버(110)에 전송할 수 있다. 사용자 단말(130)은 건물과 시설물의 식별 마커에 기초하여 건물과 시설물을 식별할 수 있다. 사용자 단말(130)은 식별한 건물에 대한 입체 도면을 제공할 수 있고, 식별된 시설물에 대한 점검 방법을 제공할 수 있다. 사용자 단말(130)은 작업자의 사용자 입력을 통해 점검 데이터를 수신하고, 점검 데이터에 기초하여 보고 데이터를 생성할 수 있다. 작업자는 사용자 단말(130)과 블루투스로 연결된 스마트 글래스(140)와 같은 핸즈프리(hands-free) 기반의 장치를 통해 작업 과정을 촬영한 작업 영상을 사용자 단말(130)에 전송할 수 있다. 사용자 단말(130)은 작업자의 수기 입력 또는 스마트 글래스(140)를 통한 영상 전송을 통해 보고 데이터를 생성할 수 있다. 사용자 단말(130)은 작업자가 수행한 점검 및 관리에 대한 정보를 포함하는 보고 데이터를 네트워크(120)를 통해 서버(110)에 전송할 수 있다.Referring to FIG. 1 , in an embodiment, the inspection system for a facility may include a server 110 , a network 120 , a user terminal 130 , and smart glasses 140 . The user terminal 130 may be a device in which an application capable of performing a facility inspection method and a schedule management method for inspection is executed. The user terminal 130 may generate report data based on the inspection data received through a user input of an operator, and may transmit the generated report data to the server 110 through the network 120 . The user terminal 130 may identify the building and the facility based on the identification marker of the building and the facility. The user terminal 130 may provide a three-dimensional drawing of the identified building, and may provide an inspection method for the identified facility. The user terminal 130 may receive inspection data through a user input of an operator, and generate report data based on the inspection data. The operator may transmit a work image captured by the work process to the user terminal 130 through a hands-free device such as smart glasses 140 connected to the user terminal 130 via Bluetooth. The user terminal 130 may generate report data through handwriting input by an operator or image transmission through the smart glasses 140 . The user terminal 130 may transmit report data including information on the inspection and management performed by the operator to the server 110 through the network 120 .

서버(110)는 사용자 단말(130)로부터 수신한 보고 데이터에 기초하여 안전 점검에 대한 전문적이고 체계적인 시설물에 대한 안전을 점검하고 시설물을 관리하기 위한 플랫폼을 구축할 수 있다. 또한, 서버(110)는 현장 기반의 시설물에 대한 안전 점검 및 관리에 대한 이력을 관리할 수 있다.The server 110 may build a platform for inspecting the safety of a professional and systematic facility for safety inspection and managing the facility based on the report data received from the user terminal 130 . In addition, the server 110 may manage a history of safety inspection and management of field-based facilities.

도 2는 일 실시예에 따른 스케줄 관리 모드 및 점검 모드를 설명하기 위한 흐름도이다.2 is a flowchart illustrating a schedule management mode and a check mode according to an embodiment.

도 2를 참조하면 시설물의 점검을 위한 애플리케이션이 실행되는 사용자 단말은 스케줄 관리 모드 및 점검 모드로 동작할 수 있다.Referring to FIG. 2 , a user terminal in which an application for facility inspection is executed may operate in a schedule management mode and an inspection mode.

단계(205)에서 사용자 단말은 애플리케이션을 실행시킬 수 있다. 이때, 사용자 단말에는 스플래시(splash) 화면이 디스플레이될 수 있다. 단계(210)에서 사용자는 사용자 단말에 로그인 정보를 입력할 수 있다. 사용자 단말은 사용자가 입력한 로그인 정보에 기초하여 사용자에 대한 인증을 수행할 수 있다.In step 205, the user terminal may execute an application. In this case, a splash screen may be displayed on the user terminal. In step 210, the user may input login information into the user terminal. The user terminal may authenticate the user based on the login information input by the user.

사용자 정보에 기초하여 로그인이 된 후에, 사용자 단말은 도 3과 같은 화면을 제공할 수 있다. 도 3은 일 실시예에 따른 시설물의 점검 방법을 수행하는 애플리케이션 화면의 일례를 도시하는 도면이다. 사용자가 참조번호(310)에 대한 사용자 선택을 입력하였을 경우, 사용자 단말은 스케줄 관리 모드로 전환할 수 있다. 또한, 사용자가 참조번호(320)에 대한 사용자 선택을 입력하였을 경우, 사용자 단말은 점검 모드로 전환할 수 있다.After logging in based on user information, the user terminal may provide a screen as shown in FIG. 3 . 3 is a diagram illustrating an example of an application screen for performing a method of inspecting a facility according to an exemplary embodiment. When the user inputs a user selection for the reference number 310, the user terminal may switch to the schedule management mode. Also, when the user inputs a user selection for the reference number 320 , the user terminal may switch to the inspection mode.

단계(215)에서 사용자 단말은 애플리케이션을 스케줄 관리 모드에서 실행시킬 수 있다. 단계(220)에서 사용자 단말은 스케줄 리스트를 제공할 수 있다. In step 215, the user terminal may run the application in the schedule management mode. In step 220, the user terminal may provide a schedule list.

스케줄 관리 모드는 도 4a 내지 도 4d를 통해 설명될 수 있다. 도 4a 내지 도 4d는 일 실시예에 따른 스케줄 관리 모드와 관련된 애플리케이션 화면의 일례를 도시하는 도면들이다.The schedule management mode may be described with reference to FIGS. 4A to 4D . 4A to 4D are diagrams illustrating an example of an application screen related to a schedule management mode according to an embodiment.

사용자 단말은 도 4a와 같은 화면을 디스플레이하여 스케줄 리스트를 제공할 수 있다. 스케줄이 등록된 날짜는 하단에 점 표시가 추가될 수 있다. 현재 날짜(410)는 하이라이트 표시되어 식별될 수 있다. 사용자 단말은 사용자 선택에 의해 필터 버튼(420)이 선택된 경우, 스케줄 리스트를 날짜 별 또는 시설 별로 분류하여 제공할 수 있다. 사용자 단말은 사용자 선택에 의해 추가 버튼(430)이 선택된 경우, 신규 스케줄을 등록하는 것에 대한 화면을 제공할 수 있다. 사용자는 사용자 단말에 날짜, 시간, 건물 및 작업자에 대한 정보를 입력하여 신규 스케줄을 등록할 수 있다.The user terminal may provide a schedule list by displaying a screen as shown in FIG. 4A. The date on which the schedule is registered may be marked with a dot at the bottom. The current date 410 may be identified by being highlighted. When the filter button 420 is selected by the user selection, the user terminal may classify and provide the schedule list by date or facility. When the add button 430 is selected by the user selection, the user terminal may provide a screen for registering a new schedule. A user may register a new schedule by inputting information on the date, time, building, and worker in the user terminal.

도 2의 단계(225)에서 사용자 단말은 스케줄의 상세한 정보를 제공할 수 있다. 사용자 단말은 사용자 선택에 의해 하단에 점 표시가 있는 날짜 중 하나가 선택된 경우, 도 4b의 화면을 디스플레이하여 사용자에게 스케줄의 상세한 정보를 제공할 수 있다. 사용자 단말은 사용자에 의해 일 날짜가 선택되었을 경우, 선택된 날짜에 대응하는 보고 데이터에 기초하여 점검 데이터를 제공할 수 있다.In step 225 of FIG. 2 , the user terminal may provide detailed information of the schedule. When one of the dates with dots at the bottom is selected by the user's selection, the user terminal may display the screen of FIG. 4B to provide detailed information of the schedule to the user. When a day date is selected by the user, the user terminal may provide inspection data based on report data corresponding to the selected date.

참조번호(440)은 작업자가 점검을 수행하고자 하는 건물에 대한 정보를 나타내고, 참조번호(450)는 작업자가 점검을 수행하고자 하는 시설물에 대한 정보를 나타낼 수 있다. 사용자가 상세보기를 선택하면, 사용자는, 작업자가 점검하고자 하거나 또는 점검을 수행한 시설물의 리스트를 비롯한 상세한 정보를 제공받을 수 있다.Reference number 440 may indicate information on a building for which the operator intends to perform an inspection, and reference number 450 may indicate information on a facility on which the operator intends to perform inspection. When the user selects the detailed view, the user may be provided with detailed information including a list of facilities that the operator wants to inspect or has performed the inspection.

사용자가 참조번호(460)의 상세보기 버튼을 선택하고 해당 날짜에 대응하는 작업 내용이 등록되어 있을 경우, 사용자 단말은 도 4c와 같은 화면을 디스플레이할 수 있다. 사용자는 도 4c의 화면에서 작업 내용의 상세한 내용을 제공받을 수 있다. 작업 내용은 작업자가 점검 데이터에 기초하여 수행한 작업에 대한 내용을 포함할 수 있다. 또한, 작업 내용은 작업자 또는 사용자에 의해 직접 입력될 수 있다.When the user selects the detailed view button of reference number 460 and the job contents corresponding to the corresponding date are registered, the user terminal may display a screen as shown in FIG. 4C . The user may be provided with detailed content of the work content on the screen of FIG. 4C . The work content may include the work performed by the operator based on the inspection data. In addition, the work content may be directly input by an operator or a user.

사용자가 참조번호(470)의 상세보기 버튼을 선택하고 해당 날짜에 대응하는 작업 영상이 등록되어 있을 경우, 사용자 단말은 도 4d와 같은 화면을 디스플레이할 수 있다. 사용자는 도 4d의 화면에서 작업 영상을 제공받을 수 있다. 작업 영상은 작업자가 점검 데이터에 기초하여 수행한 작업을 스마트 글래스로 직접 촬영한 영상일 수 있다.When the user selects the detailed view button of reference number 470 and a work image corresponding to the corresponding date is registered, the user terminal may display a screen as shown in FIG. 4D . The user may be provided with a work image on the screen of FIG. 4D . The work image may be an image of a work performed by the operator based on the inspection data directly taken with smart glasses.

사용자 선택에 의해 삭제 버튼(480)이 선택되었을 경우, 사용자 단말은 삭제 버튼(480)에 대응하는 날짜의 스케줄을 삭제할 수 있다.When the delete button 480 is selected by the user selection, the user terminal may delete the schedule of the date corresponding to the delete button 480 .

도 2의 단계(230)에서 사용자 단말은 증강 현실(Augmented Reality)을 이용한 점검 모드로 전환할 수 있다. 단계(235)에서 사용자 단말은 카메라를 통해 건물의 마커를 인식할 수 있다. 사용자 단말은 단계(240)에서 인식한 마커에 대응하는 건물에 대한 3D(three dimension) 정보를 제공할 수 있다. 단계(245)에서 사용자 단말은 카메라를 통해 시설물의 마커를 인식할 수 있다. 사용자 단말은 인식한 시설물의 마커에 기초하여 시설물을 식별할 수 있다.In step 230 of FIG. 2 , the user terminal may switch to an inspection mode using augmented reality. In step 235, the user terminal may recognize the marker of the building through the camera. The user terminal may provide three dimension (3D) information about the building corresponding to the marker recognized in step 240 . In step 245, the user terminal may recognize the marker of the facility through the camera. The user terminal may identify the facility based on the recognized facility marker.

단계(250)에서 작업자는 시설물에 대한 점검을 수행할 수 있고, 사용자 단말은 점검을 수행하는 것과 관련된 인터페이스 화면을 제공할 수 있다. 단계(255)에서 사용자 단말은 점검 데이터에 대한 사용자 입력을 수신하고 사용자 입력에 기초하여 보고 데이터를 생성할 수 있다. 또한, 단계(260)에서 사용자 단말은 스마트 글래스가 촬영한 점검 영상 또는 작업 영상을 수신하여 등록할 수 있다. 사용자 단말은 단계(270)에서 캘리퍼 수치와 관련된 OCR를 인식하여 캘리퍼 수치를 등록할 수 있고, 실시예에 따라 단계(265)에서 캘리퍼 수치에 대한 사용자 입력에 기초하여 캘리퍼 수치를 결정하고, 캘리퍼 수치를 등록할 수 있다. 캘리퍼 수치 및 점검 영상 중 적어도 하나가 추가된 보고 데이터는 단계(275)에서 서버에 전송되고 저장될 수 있다.In step 250 , the operator may inspect the facility, and the user terminal may provide an interface screen related to performing the inspection. In step 255 , the user terminal may receive a user input for the inspection data and generate report data based on the user input. Also, in step 260 , the user terminal may receive and register an inspection image or a work image captured by the smart glasses. The user terminal may register the caliper value by recognizing the OCR related to the caliper value in step 270 , and determine the caliper value based on the user input for the caliper value in step 265 according to an embodiment, and the caliper value can be registered. Report data to which at least one of a caliper value and an inspection image is added may be transmitted to and stored in a server in operation 275 .

단계(280)에서 사용자 단말은 식별된 시설물에 대한 점검 방법을 사용자에게 안내할 수 있다. 예를 들어, 사용자 단말은 가이드 영상을 통해, 식별된 시설물에 대한 점검 방법을 사용자에게 안내할 수 있다. 또한, 단계(285)에서 사용자 단말은 시설물 점검 내역에 대한 정보를 사용자에게 제공할 수 있다. 단계(290)에서 사용자 단말은 점검 내역의 리스트를 제공할 수 있다. 점검 내역 리스트는 작업자가 점검을 수행한 시설물들의 내역을 포함하는 리스트일 수 있다. 점검 내역 리스트에는 예를 들어, 배관 파이프, 천장 배선 및 배선 관제기 등이 포함될 수 있다.In step 280, the user terminal may guide the user to the inspection method for the identified facility. For example, the user terminal may guide the user of the inspection method for the identified facility through the guide image. In addition, in step 285 , the user terminal may provide information on the facility inspection details to the user. In step 290, the user terminal may provide a list of inspection details. The inspection history list may be a list including details of facilities that the operator has inspected. The inspection history list may include, for example, plumbing pipes, ceiling wiring, and wiring controllers.

도 5는 일 실시예에 따른 시설물의 점검 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a method of inspecting a facility according to an exemplary embodiment.

시설물의 점검을 위한 애플리케이션이 실행 중인 사용자 단말은 증강 현실을 이용한 점검 모드와 점검과 관련된 스케줄을 관리하는 스케줄 관리 모드 중 어느 하나로 실행될 수 있다.The user terminal in which the application for inspection of facilities is running may be executed in either an inspection mode using augmented reality and a schedule management mode for managing a schedule related to inspection.

도 5를 참조하면 단계(510)에서 사용자 단말은 증강 현실을 이용한 점검 모드에서, 카메라를 통해 획득한 제1 이미지에서 건물 식별 마커가 인식되는 경우 건물 식별 마커에 대응하는 건물 정보를 화면에 제공할 수 있다. 사용자 단말은 사용자 단말의 카메라를 통해 건물 식별 마커가 포함된 제1 이미지를 획득할 수 있다. 사용자 단말은 제1 이미지에 포함된 건물 식별 마커를 인식하여 건물 식별 마커에 대응하는 건물을 식별할 수 있다. 사용자 단말은 식별한 건물에 대응하는 건물 정보를 화면에 디스플레이할 수 있다.5, in step 510, the user terminal provides building information corresponding to the building identification marker on the screen when the building identification marker is recognized in the first image acquired through the camera in the inspection mode using augmented reality. can The user terminal may acquire the first image including the building identification marker through the camera of the user terminal. The user terminal may identify the building corresponding to the building identification marker by recognizing the building identification marker included in the first image. The user terminal may display building information corresponding to the identified building on the screen.

사용자 단말은 인식된 건물 식별 마커에 기초하여 결정된 건물의 도면 데이터에 대한 렌더링을 수행할 수 있다. 사용자 단말은 렌더링이 수행된 건물의 도면 데이터를 화면에 제공할 수 있다. 이때, 렌더링이 수행된 건물의 도면 데이터는 3D 도면 데이터일 수 있다. 사용자는 터치 스크린을 이용하여 3D로 제공된 건물의 도면 데이터를 다양한 각도로 제공받을 수 있다.The user terminal may render the drawing data of the determined building based on the recognized building identification marker. The user terminal may provide the drawing data of the rendered building to the screen. In this case, the drawing data of the building on which the rendering is performed may be 3D drawing data. The user may be provided with drawing data of the building provided in 3D from various angles using the touch screen.

사용자 단말은 사용자 단말의 카메라를 통해 제2 이미지를 획득할 수 있다. 단계(520)에서 사용자 단말은 카메라를 통해 획득한 제2 이미지에서 시설물 식별 마커가 인식되는 경우, 시설물 식별 마커에 대응하는 시설물을 식별할 수 있고, 사용자 단말은 시설물 식별 마커에 대응하는 시설물의 점검을 위한 인터페이스 화면을 제공할 수 있다. 여기서, 시설물의 점검을 위한 인터페이스 화면은 시설물을 점검하는 방법과 관련된 영상을 포함하는 화면, 점검의 진행과 관련된 화면 및 사용자 입력을 통해 점검 데이터를 수신하기 위한 화면 중 적어도 하나를 포함할 수 있다. 사용자 단말은 시설물을 식별한 경우, 시설물을 점검하는 방법에 대한 가이드 영상을 제공할 수 있다.The user terminal may acquire the second image through the camera of the user terminal. In step 520, when the facility identification marker is recognized in the second image acquired through the camera, the user terminal may identify a facility corresponding to the facility identification marker, and the user terminal checks the facility corresponding to the facility identification marker It is possible to provide an interface screen for Here, the interface screen for inspecting the facility may include at least one of a screen including an image related to a method of inspecting a facility, a screen related to the progress of the inspection, and a screen for receiving inspection data through a user input. When the user terminal identifies the facility, the user terminal may provide a guide image for a method of inspecting the facility.

단계(530)에서 사용자 단말은 시설물의 점검과 관련된 점검 데이터를 사용자 입력을 통해 수신할 수 있다. 사용자 단말은 사용자 입력을 통해 점검 데이터를 수신하기 위한 화면에 기초하여 사용자 입력을 입력받을 수 있다. 점검 데이터는 시설물에 대한 점검을 수행할 점검일, 시설물에 대응하는 건물, 점검을 수행할 시설물, 점검의 결과로 작업을 수행한 시간, 작업에 대한 내용, 작업 과정을 포함하는 영상 및 작업의 결과로 획득한 수치 중 적어도 하나를 포함할 수 있다.In step 530, the user terminal may receive inspection data related to the inspection of the facility through a user input. The user terminal may receive a user input based on a screen for receiving inspection data through the user input. Inspection data includes images and work results including the inspection date to perform the inspection of the facility, the building corresponding to the facility, the facility to be inspected, the time the work was performed as a result of the inspection, the contents of the work, and the work process. It may include at least one of the values obtained by

사용자 단말은 작업 영상 등록과 관련된 사용자 선택을 수신할 수 있다. 이 경우, 사용자 단말은 사용자 선택에 응답하여, 스마트 글래스와 연결을 시도할 수 있다. 스마트 글래스와 연결된 경우,사용자 단말은 스마트 글래스로부터 스마트 글래스에 의해 촬영된 작업 영상을 수신할 수 있다. 실시예에 따라 사용자 단말이 작업 영상을 수신하는 장치는 스마트 글래스에 한정되지 않고, 헤드셋 기반의 영상 촬영 장비가 될 수도 있다. 이때, 장치는 음성 명령이나 무선 스위치 등을 통해 작동되어 작업자가 작업을 수행하는 데 있어서 방해가 되지 않고도 작업 영상을 촬영할 수 있다. 사용자 단말은 수신한 작업 영상을 등록할 수 있다.The user terminal may receive a user selection related to registration of the work image. In this case, the user terminal may attempt to connect to the smart glasses in response to the user selection. When connected to smart glasses, the user terminal may receive a work image captured by the smart glasses from the smart glasses. According to an embodiment, the device for receiving the work image by the user terminal is not limited to smart glasses, and may be a headset-based image capturing device. At this time, the device is operated through a voice command or a wireless switch, etc., so that the operator can take a work image without interfering in performing the work. The user terminal may register the received work image.

사용자 단말은 캘리퍼 수치 등록과 관련된 사용자 선택을 수신할 수 있다. 이 경우, 사용자 단말은 사용자 선택에 응답하여, 사용자 단말의 카메라를 통해 시설물의 캘리퍼 수치를 포함하는 이미지를 획득할 수 있다. 사용자 단말은 광학 문자 인식 기능을 이용하여 이미지에서 캘리퍼 수치를 인식할 수 있다. 실시예에 따라 사용자 단말은 광학 문자 인식 기능을 이용하여 캘리퍼 수치뿐만 아니라 시설물을 점검하는 것과 관련된 계측기로부터 측정된 수치도 인식할 수 있다.The user terminal may receive a user selection related to caliper numerical registration. In this case, the user terminal may acquire an image including the caliper value of the facility through the camera of the user terminal in response to the user selection. The user terminal may recognize the caliper value from the image using the optical character recognition function. According to an embodiment, the user terminal may recognize not only the caliper value but also the measured value from the measuring instrument related to inspecting the facility by using the optical character recognition function.

사용자 단말은 인식된 캘리퍼 수치를 화면에 디스플레이하고 사용자에게 인식된 캘리퍼 수치에 대한 확인을 요청하는 화면을 제공할 수 있다. 사용자는 사용자 입력을 통해 캘리퍼 수치를 확인할 수 있다. 사용자 단말은 사용자 입력을 통해 인식된 캘리퍼 수치가 확인된 경우, 사용자 단말은 확인된 캘리퍼 수치를 등록할 수 있다.The user terminal may display the recognized caliper value on the screen and provide a screen for requesting confirmation of the recognized caliper value to the user. The user can check the caliper value through the user input. When the user terminal confirms the caliper value recognized through the user input, the user terminal may register the confirmed caliper value.

위 실시예에서, 인식된 캘리퍼 수치가 실제 캘리퍼 수치와 상이하여 사용자가 인식된 캘리퍼 수치를 수정하기 위한 사용자 입력을 사용자 단말에 입력할 수 있다. 사용자 단말은 사용자 입력을 통해 캘리퍼 수치를 입력받은 경우, 기존에 인식된 캘리퍼 수치는 무시하고, 입력받은 캘리퍼 수치를 등록할 수 있다.In the above embodiment, since the recognized caliper value is different from the actual caliper value, the user may input a user input for correcting the recognized caliper value to the user terminal. When the user terminal receives the caliper value through the user input, the user terminal may ignore the previously recognized caliper value and register the input caliper value.

단계(540)에서 사용자 단말은 사용자 입력에 기초하여 보고 데이터를 생성하고, 생성된 보고 데이터를 서버에 전송할 수 있다.In step 540, the user terminal may generate report data based on the user input and transmit the generated report data to the server.

사용자 단말은 점검 모드에서 생성한 보고 데이터를 스케줄 모드를 통해 사용자에게 제공할 수 있다. 보고 데이터는 스케줄 관리 모드에서 사용자 선택에 의해 보고 데이터에 대응하는 날짜가 선택되었을 경우, 사용자 단말에 디스플레이될 수 있다. 즉, 사용자는 사용자 단말에 출력된 달력을 포함하는 화면에서 일 날짜를 선택한 경우, 해당 날짜에 대응하는 보고 데이터를 제공받을 수 있다. 사용자 단말은 스케줄 관리 모드에서 날짜 별로 기 등록된 보고 데이터에 기초한 점검 결과를 제공할 수 있다. 또한, 사용자 단말은 스케줄 관리 모드에서 사용자 입력에 기초하여 시설물 점검과 관련된 신규 스케줄을 등록할 수도 있다.The user terminal may provide the report data generated in the inspection mode to the user through the schedule mode. The report data may be displayed on the user terminal when a date corresponding to the report data is selected by the user selection in the schedule management mode. That is, when the user selects a date on the screen including the calendar output on the user terminal, the user may be provided with report data corresponding to the date. The user terminal may provide an inspection result based on previously registered report data for each date in the schedule management mode. Also, the user terminal may register a new schedule related to facility inspection based on a user input in the schedule management mode.

도 6a 내지 도 10b는 일 실시예에 따른 점검 모드와 관련된 애플리케이션 화면의 일례를 도시하는 도면들이다.6A to 10B are diagrams illustrating an example of an application screen related to an inspection mode according to an exemplary embodiment.

사용자 단말이 도 3의 참조번호(320)에 대한 사용자의 선택을 수신한 경우, 사용자 단말은 점검 모드에서 작동할 수 있다. 도 6a는 사용자 단말이 건물의 식별 마커를 인식하기 위한 화면의 일례이다. 사용자는 참조번호(610)에 맞춰 건물의 식별 마커를 촬영하여 사용자 단말이 건물 식별 마커에 기초하여 건물을 식별하도록 할 수 있다. 사용자 단말이 건물을 식별한 경우, 사용자 단말은 도 6b와 같은 건물의 입체 도면 데이터를 제공할 수 있다. 건물의 입체 도면 데이터는 건물의 캐드 도면에 기초하여 3D로 렌더링이 수행될 수 있다.When the user terminal receives the user's selection for reference number 320 of FIG. 3 , the user terminal may operate in the check mode. 6A is an example of a screen for a user terminal to recognize an identification marker of a building. The user may photograph the identification marker of the building according to the reference number 610 so that the user terminal identifies the building based on the building identification marker. When the user terminal identifies the building, the user terminal may provide three-dimensional drawing data of the building as shown in FIG. 6B . The three-dimensional drawing data of the building may be rendered in 3D based on the CAD drawing of the building.

사용자는 도 6b의 화면에서 터치 및 슬라이드를 통해 건물의 도면 데이터를 다양한 각도로 확인할 수 있다. 사용자 또는 작업자는 건물의 시설물에 대한 점검을 수행하기 위하여 시설물 점검 버튼(620)을 선택할 수 있다.The user can check the drawing data of the building from various angles through touch and slide on the screen of FIG. 6B . The user or the operator may select the facility inspection button 620 to inspect the facilities of the building.

도 6c는 일 실시예에 따른 사용자 단말이 시설물의 식별 마커를 인식하기 위한 화면의 일례이다. 사용자는 참조번호(630)에 맞춰 시설물의 식별 마커를 촬영하여 사용자 단말이 시설물 식별 마커에 기초하여 시설물을 식별하도록 할 수 있다. 사용자 단말이 시설물을 식별한 경우, 사용자 단말은 도 6d와 같은 시설물의 점검 방법을 안내하기 위한 가이드 영상을 제공할 수 있다. 사용자 선택에 의해 상세 점검 버튼(640)이 선택된 경우, 사용자 단말은 시설물의 점검을 진행하는 것과 관련된 화면을 제공할 수 있다.6C is an example of a screen for a user terminal to recognize an identification marker of a facility according to an embodiment. The user may photograph the identification marker of the facility according to the reference number 630 so that the user terminal identifies the facility based on the facility identification marker. When the user terminal identifies the facility, the user terminal may provide a guide image for guiding the inspection method of the facility as shown in FIG. 6D . When the detailed inspection button 640 is selected by the user's selection, the user terminal may provide a screen related to the inspection of the facility.

도 7a는 일 실시예에 따른 시설물의 점검을 진행하는 것과 관련된 화면이 될 수 있다. 작업자는 사용자 단말에 도 7a와 같은 화면이 디스플레이되면, 시설물에 대한 작업의 수행을 시작할 수 있다. 사용자 선택에 의해 보고 데이터 생성 버튼(710)이 선택된 경우, 사용자 단말은 도 7b와 같은 인터페이스 화면을 제공할 수 있다. 도 7b는 보고 데이터를 생성하기 위한 점검 데이터를 입력받기 위한 화면일 수 있다. 사용자는 보고 데이터에 포함될 점검일, 점검 건물, 점검 시설물, 작업 시간, 작업 내용, 작업 영상 및 작업 항목에 대한 정보를 사용자 단말에 입력할 수 있다.7A may be a screen related to performing an inspection of a facility according to an exemplary embodiment. When a screen as shown in FIG. 7A is displayed on the user terminal, the operator may start performing work on the facility. When the report data generation button 710 is selected by the user selection, the user terminal may provide an interface screen as shown in FIG. 7B . 7B may be a screen for receiving inspection data for generating report data. The user may input information on the inspection date, inspection building, inspection facility, work time, work content, work image, and work item to be included in the report data into the user terminal.

사용자 단말이 작업 내용 등록하기 버튼(720)에 대한 사용자 선택을 입력받은 경우, 사용자 단말은 도 8a와 같이 작업 내용에 대한 사용자 입력을 수신하기 위한 화면을 제공할 수 있다. 사용자는 도 8a와 같은 화면에서 작업에 대한 상세한 내용을 입력할 수 있다. 또한, 도 7b의 화면에서 사용자 단말이 점검 시설물의 상세보기에 대한 사용자 선택을 입력받은 경우, 사용자 단말은 도 8b와 같은 점검 시설물의 리스트를 나열하는 화면을 제공할 수 있다. 도 8b의 화면에서 사용자 단말은 작업자가 점검을 수행한 시설물에 대한 리스트를 제공할 수 있다.When the user terminal receives a user selection for the job content registration button 720 , the user terminal may provide a screen for receiving a user input for the job content as shown in FIG. 8A . The user may input detailed information about the job on the screen as shown in FIG. 8A . In addition, when the user terminal receives a user selection for a detailed view of inspection facilities on the screen of FIG. 7B , the user terminal may provide a screen listing a list of inspection facilities as shown in FIG. 8B . In the screen of FIG. 8B , the user terminal may provide a list of facilities that the operator has inspected.

사용자 단말이 도 7b의 작업 영상(스마트 글래스)의 등록하기 버튼(730)에 대한 사용자 선택을 입력받은 경우, 사용자 단말은 도 9a와 같은 화면을 제공할 수 있다. 사용자 단말은 도 9a의 화면을 제공하고, 스마트 글래스와 연결을 시도할 수 있다. 스마트 글래스와의 연결이 완료되고, 사용자 단말이 영상 촬영 버튼(910)에 대한 사용자 선택을 입력받은 경우, 사용자 단말은 도 9b와 같은 화면을 제공할 수 있다. 사용자 단말이 녹화 버튼(920)에 대한 사용자 선택을 입력받은 경우, 사용자 단말은 도 9c와 같은 화면을 제공할 수 있다. 사용자 단말에 도 9c와 같은 화면이 제공되면, 작업자는 스마트 글래스를 통해 시설물의 작업을 수행하는 과정이 포함된 작업 영상을 촬영할 수 있다. 작업이 완료되면, 스마트 글래스는 촬영한 작업 영상을 사용자 단말에 전송할 수 있고, 작업 영상을 수신한 사용자 단말은 도 9d와 같은 화면을 제공할 수 있다.When the user terminal receives a user selection for the registration button 730 of the work image (smart glasses) of FIG. 7B , the user terminal may provide a screen as shown in FIG. 9A . The user terminal may provide the screen of FIG. 9A and attempt to connect to the smart glasses. When the connection with the smart glasses is completed and the user terminal receives a user selection for the image capturing button 910 , the user terminal may provide a screen as shown in FIG. 9B . When the user terminal receives a user selection for the record button 920, the user terminal may provide a screen as shown in FIG. 9C. When a screen as shown in FIG. 9C is provided to the user terminal, the worker may photograph a work image including a process of performing a work of the facility through smart glasses. When the work is completed, the smart glasses may transmit the captured work image to the user terminal, and the user terminal receiving the work image may provide a screen as shown in FIG. 9D .

사용자 단말이 도 7b의 작업 항목(캘리퍼)의 등록하기 버튼(740)에 대한 사용자 선택을 입력받은 경우, 사용자 단말은 도 10a와 같은 화면을 제공할 수 있다. 도 10a는 일 실시예에 따른 사용자 단말이 캘리퍼 수치를 인식하기 위한 화면의 일례이다. 사용자는 참조번호(1010)에 맞춰 캘리퍼의 수치가 포함된 이미지를 촬영하여 사용자 단말이 이미지에 기초하여 광학 문자 인식을 수행하도록 할 수 있다. 사용자 단말은 광학 문자 인식을 통해 획득한 데이터를 도 10b의 참조번호(1020)과 같이 디스플레이할 수 있다. 예를 들어, 사용자 단말은 15.31로 측정된 캘리퍼 수치를 촬영하여 인식하고, 참조번호(1020)에 "확인된 데이터는 15.31입니다."라고 출력할 수 있다. 사용자는 참조번호(1020)에 포함된 캘리퍼 수치를 확인하여, 실제 캘리퍼 수치가 15.31일 경우 완료 버튼을 눌러, 15.31이라는 캘리퍼 수치를 점검 데이터로 등록시킬 수 있다. 반면에, 실제 캘리퍼 수치가 15.31이 아닐 경우, 사용자는 참조번호(1030)를 통해 실제 수치를 사용자 단말에 입력할 수 있다. 사용자 단말은 사용자 입력을 통해 캘리퍼 수치를 입력받은 경우, 입력받은 캘리퍼 수치를 점검 데이터로 등록할 수 있다.When the user terminal receives a user selection for the registration button 740 of the work item (caliper) of FIG. 7B , the user terminal may provide a screen as shown in FIG. 10A . 10A is an example of a screen for a user terminal to recognize a caliper value according to an embodiment. The user may photograph an image including the numerical value of the caliper according to reference number 1010 so that the user terminal may perform optical character recognition based on the image. The user terminal may display the data acquired through optical character recognition as indicated by reference numeral 1020 of FIG. 10B . For example, the user terminal may photograph and recognize the caliper value measured as 15.31, and output "confirmed data is 15.31" to the reference number 1020. The user may check the caliper value included in the reference number 1020 and, if the actual caliper value is 15.31, press the Done button to register the caliper value of 15.31 as inspection data. On the other hand, when the actual caliper value is not 15.31, the user may input the actual value to the user terminal through reference number 1030 . When the user terminal receives the caliper value through the user input, the user terminal may register the received caliper value as inspection data.

도 7b의 화면에서 사용자는 점검 데이터에 대한 사용자 입력을 완료한 경우, 보고 데이터 전송 버튼(750)을 선택할 수 있다. 사용자 선택에 의해 보고 데이터 전송 버튼(750)이 선택된 경우, 사용자 단말은 사용자 입력에 의해 입력받은 점검 데이터에 기초하여 보고 데이터를 생성할 수 있다. 사용자 단말은 생성한 보고 데이터를 서버에 전송할 수 있다. 서버는 보고 데이터를 수신하고, 저장하며, 보고 데이터에 기초하여 스마트 기반의 시설물 점검, 진단 및 관리 시스템을 운용할 수 있다.In the screen of FIG. 7B , the user may select the report data transmission button 750 when the user input for the inspection data is completed. When the report data transmission button 750 is selected by the user's selection, the user terminal may generate report data based on the inspection data received by the user input. The user terminal may transmit the generated report data to the server. The server may receive and store the report data, and operate a smart-based facility inspection, diagnosis and management system based on the report data.

도 11은 일 실시예에 따른 시설물의 점검 방법을 수행하기 위한 애플리케이션을 실행하는 사용자 단말(1100)의 구성을 도시하는 도면이다.11 is a diagram illustrating a configuration of a user terminal 1100 executing an application for performing a method of inspecting a facility according to an embodiment.

도 11을 참조하면, 사용자 단말(1100)은 프로세서(1110), 메모리(1120) 및 통신기(1130)를 포함한다. 실시예에 따라, 사용자 단말(1100)은 사용자 입력 인터페이스(1140) 및 디스플레이(1150)를 더 포함할 수 있다.Referring to FIG. 11 , the user terminal 1100 includes a processor 1110 , a memory 1120 , and a communicator 1130 . According to an embodiment, the user terminal 1100 may further include a user input interface 1140 and a display 1150 .

일 예에서 사용자 단말(1100)은 본 명세서에서 설명하는 사용자 단말에 대응할 수 있다. 또한, 사용자 단말(1100)은 증강 현실 기반의 점검 방법 및 점검에 대한 스케줄 관리와 관련된 애플리케이션이 실행된 장치일 수 있다.In one example, the user terminal 1100 may correspond to the user terminal described herein. Also, the user terminal 1100 may be a device in which an application related to an augmented reality-based inspection method and schedule management for inspection is executed.

메모리(1120)는 프로세서(1110)에 연결되고, 프로세서(1110)에 의해 실행가능한 인스트럭션들, 프로세서(1110)가 연산할 데이터 또는 프로세서(1110)에 의해 처리된 데이터를 저장할 수 있다. 메모리(1120)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다. 통신기(1130)는 외부 장치(예를 들어, 서버 및 스마트 글래스)와 통신하기 위한 인터페이스를 제공한다.The memory 1120 is connected to the processor 1110 and may store instructions executable by the processor 1110 , data to be calculated by the processor 1110 , or data processed by the processor 1110 . Memory 1120 may include non-transitory computer-readable media, such as high-speed random access memory and/or non-volatile computer-readable storage media (eg, one or more disk storage devices, flash memory devices, or other non-volatile solid state memory devices). may include The communicator 1130 provides an interface for communicating with an external device (eg, a server and smart glasses).

사용자 입력 인터페이스(1140)는 사용자에 의해 입력되는 사용자 입력을 수신할 수 있다. 사용자 입력 인터페이스(1140)는 예를 들어, 터치 스크린 또는 음성 인식 인터페이스 등이 될 수 있다. 디스플레이(1150)는 사용자 단말(1100)에서 실행되는 애플리케이션의 점검 모드 및 스케줄 관리 모드 중 적어도 하나와 관련된 화면을 출력할 수 있다. 일 예에서, 디스플레이(1150)는 사용자 단말(1100) 자체의 LED 스크린 등이 될 수 있다.The user input interface 1140 may receive a user input input by a user. The user input interface 1140 may be, for example, a touch screen or a voice recognition interface. The display 1150 may output a screen related to at least one of a maintenance mode and a schedule management mode of an application executed in the user terminal 1100 . In one example, the display 1150 may be an LED screen of the user terminal 1100 itself.

프로세서(1110)는 도 5를 통해 설명된 사용자 단말(1100)의 동작과 관련된 하나 이상의 동작을 수행할 수 있다. 예를 들어, 프로세서(1110)는 사용자 단말(1100)이 증강 현실을 이용한 점검 모드에서, 카메라를 통해 획득한 제1 이미지에서 건물 식별 마커가 인식되는 경우 건물 식별 마커에 대응하는 건물 정보를 화면에 제공하도록 사용자 단말(1100)을 제어할 수 있다. 프로세서(1110)는 사용자 단말(1100)이 인식된 건물 식별 마커에 기초하여 건물의 도면 데이터에 대한 렌더링을 수행하고, 렌더링이 수행된 건물의 도면 데이터를 화면에 제공하도록 사용자 단말(1100)을 제어할 수 있다. The processor 1110 may perform one or more operations related to the operation of the user terminal 1100 described with reference to FIG. 5 . For example, when the user terminal 1100 recognizes the building identification marker from the first image acquired through the camera in the inspection mode using the augmented reality, the processor 1110 displays building information corresponding to the building identification marker on the screen. It is possible to control the user terminal 1100 to provide. The processor 1110 controls the user terminal 1100 so that the user terminal 1100 renders the drawing data of the building based on the recognized building identification marker, and provides the drawing data of the rendered building to the screen. can do.

카메라를 통해 획득한 제2 이미지에서 시설물 식별 마커가 인식되는 경우, 프로세서(1110)는 사용자 단말(1100)이 시설물 식별 마커에 대응하는 시설물의 점검을 위한 인터페이스 화면을 제공하고, 시설물의 점검과 관련된 점검 데이터를 사용자 입력을 통해 수신하도록 사용자 단말(1100)을 제어할 수 있다. 프로세서(1110)는 사용자 단말(1100)이 작업 영상 등록과 관련된 사용자 선택을 수신하고, 사용자 선택에 응답하여, 스마트 글래스와 연결을 시도하도록 사용자 단말(1100)을 제어할 수 있다. 사용자 단말(1100)이 스마트 글래스와 연결된 경우, 프로세서(1110)는 사용자 단말(1100)이 스마트 글래스로부터 스마트 글래스에 의해 촬영된 작업 영상을 수신하고, 수신한 작업 영상을 등록하도록 사용자 단말(1100)을 제어할 수 있다. 프로세서(1110)는 사용자 단말(1100)이 캘리퍼 수치 등록과 관련된 사용자 선택을 수신하고, 사용자 단말(1100)의 카메라를 통해 시설물의 캘리퍼 수치를 포함하는 이미지를 획득하도록 사용자 단말(1100)을 제어할 수 있다. 프로세서(1110)는 사용자 단말(1100)이 광학 문자 인식 기능을 이용하여 이미지에서 캘리퍼 수치를 인식하고, 사용자 입력을 통해 인식된 캘리퍼 수치가 확인된 경우, 확인된 캘리퍼 수치를 등록하도록 사용자 단말(1100)을 제어할 수 있다. 다른 실시예에서 프로세서(1110)는 사용자 단말(1100)이 사용자 입력을 통해 캘리퍼 수치를 입력받은 경우, 입력받은 캘리퍼 수치를 등록하도록 사용자 단말(1100)을 제어할 수 있다.When the facility identification marker is recognized in the second image acquired through the camera, the processor 1110 provides an interface screen for the user terminal 1100 to inspect the facility corresponding to the facility identification marker, and relates to the inspection of the facility. The user terminal 1100 may be controlled to receive the inspection data through a user input. The processor 1110 may control the user terminal 1100 so that the user terminal 1100 receives a user selection related to registration of a work image, and in response to the user selection, attempts to connect with the smart glasses. When the user terminal 1100 is connected to the smart glasses, the processor 1110 allows the user terminal 1100 to receive the work image captured by the smart glasses from the smart glasses and register the received work image. can be controlled. The processor 1110 controls the user terminal 1100 so that the user terminal 1100 receives a user selection related to caliper numerical registration, and obtains an image including the caliper numerical value of the facility through the camera of the user terminal 1100. can The processor 1110 allows the user terminal 1100 to recognize the caliper value from the image using the optical character recognition function, and when the recognized caliper value is confirmed through the user input, the user terminal 1100 to register the confirmed caliper value. ) can be controlled. In another embodiment, when the user terminal 1100 receives a caliper value through a user input, the processor 1110 may control the user terminal 1100 to register the received caliper value.

프로세서(1110)는 사용자 단말(1100)이 사용자 입력에 기초하여 보고 데이터를 생성하고, 생성된 보고 데이터를 서버에 전송하도록 사용자 단말(1100)을 제어할 수 있다.The processor 1110 may control the user terminal 1100 so that the user terminal 1100 generates report data based on a user input and transmits the generated report data to the server.

일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, although the present invention has been described with reference to limited embodiments and drawings, the present invention is not limited to the above embodiments, and various modifications and variations from these descriptions are provided by those skilled in the art to which the present invention pertains. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the following claims as well as the claims and equivalents.

110: 서버 120: 네트워크
130, 1100: 사용자 단말
140: 스마트 글래스
1110: 프로세서 1120: 메모리
1130: 통신기
1140: 사용자 입력 인터페이스
1150: 디스플레이110: server 120: network
130, 1100: user terminal
140: smart glasses
1110: processor 1120: memory
1130: Communicator
1140: user input interface
1150: display

Claims (13)

시설물의 점검 방법에 있어서,
증강 현실을 이용한 점검 모드에서, 카메라를 통해 획득한 제1 이미지에서 건물 식별 마커가 인식되는 경우 상기 건물 식별 마커에 대응하는 건물 정보를 화면에 제공하는 단계;
상기 카메라를 통해 획득한 제2 이미지에서 시설물 식별 마커가 인식되는 경우, 상기 시설물 식별 마커에 대응하는 시설물의 점검을 위한 인터페이스 화면을 제공하는 단계;
상기 시설물의 점검과 관련된 점검 데이터를 사용자 입력을 통해 수신하는 단계; 및
상기 사용자 입력에 기초하여 보고 데이터를 생성하고, 상기 생성된 보고 데이터를 서버에 전송하는 단계
를 포함하는,
점검 방법.
In the inspection method of the facility,
In the inspection mode using augmented reality, when the building identification marker is recognized in the first image acquired through the camera, providing the building information corresponding to the building identification marker on a screen;
providing an interface screen for inspection of a facility corresponding to the facility identification marker when the facility identification marker is recognized in the second image acquired through the camera;
receiving inspection data related to inspection of the facility through a user input; and
generating report data based on the user input and transmitting the generated report data to a server;
containing,
How to check.
 제1항에 있어서,
상기 건물 정보를 화면에 제공하는 단계는,
상기 인식된 건물 식별 마커에 기초하여 상기 건물의 도면 데이터에 대한 렌더링을 수행하는 단계; 및
상기 렌더링이 수행된 건물의 도면 데이터를 화면에 제공하는 단계
를 포함하는,
점검 방법.
According to claim 1,
The step of providing the building information to the screen comprises:
performing rendering on the drawing data of the building based on the recognized building identification marker; and
providing the drawing data of the building on which the rendering has been performed to the screen
containing,
How to check.
 제1항에 있어서,
상기 시설물의 점검을 위한 인터페이스 화면은,
상기 시설물을 점검하는 방법과 관련된 영상을 포함하는 화면, 상기 점검의 진행과 관련된 화면 및 상기 사용자 입력을 통해 상기 점검 데이터를 수신하기 위한 화면 중 적어도 하나를 포함하는,
점검 방법.
According to claim 1,
The interface screen for the inspection of the facility,
At least one of a screen including an image related to the method of inspecting the facility, a screen related to the progress of the inspection, and a screen for receiving the inspection data through the user input,
How to check.
 제1항에 있어서,
상기 점검 데이터를 수신하는 단계는,
작업 영상 등록과 관련된 사용자 선택을 수신하는 단계;
상기 사용자 선택에 응답하여, 스마트 글래스와 연결을 시도하는 단계;
상기 스마트 글래스와 연결된 경우, 상기 스마트 글래스로부터 상기 스마트 글래스에 의해 촬영된 작업 영상을 수신하는 단계; 및
상기 수신한 작업 영상을 등록하는 단계
를 포함하는,
점검 방법.
According to claim 1,
Receiving the inspection data includes:
receiving a user selection related to registration of a working image;
in response to the user selection, attempting to connect with the smart glasses;
receiving a work image captured by the smart glasses from the smart glasses when connected to the smart glasses; and
Registering the received work image
containing,
How to check.
 제1항에 있어서,
상기 점검 데이터를 수신하는 단계는,
캘리퍼 수치 등록과 관련된 사용자 선택을 수신하는 단계;
상기 사용자 단말의 카메라를 통해 시설물의 캘리퍼 수치를 포함하는 이미지를 획득하는 단계;
광학 문자 인식(Optical character recognition; OCR) 기능을 이용하여 상기 이미지에서 상기 캘리퍼 수치를 인식하는 단계; 및
사용자 입력을 통해 상기 인식된 캘리퍼 수치가 확인된 경우, 상기 확인된 캘리퍼 수치를 등록하는 단계
를 포함하는,
점검 방법.
According to claim 1,
Receiving the inspection data includes:
receiving a user selection related to caliper numerical registration;
acquiring an image including caliper values of facilities through the camera of the user terminal;
recognizing the caliper value in the image using an optical character recognition (OCR) function; and
When the recognized caliper value is confirmed through a user input, registering the confirmed caliper value
containing,
How to check.
 제5항에 있어서,
사용자 입력을 통해 캘리퍼 수치를 입력받은 경우, 상기 입력받은 캘리퍼 수치를 등록하는 단계
를 더 포함하는,
점검 방법.
6. The method of claim 5,
When a caliper value is input through a user input, registering the input caliper value
further comprising,
How to check.
 제1항에 있어서,
상기 보고 데이터는,
스케줄 관리 모드에서 사용자 선택에 의해 상기 보고 데이터에 대응하는 날짜가 선택되었을 경우, 상기 사용자 단말에 디스플레이되는,
점검 방법.
According to claim 1,
The report data is
When the date corresponding to the report data is selected by the user selection in the schedule management mode, displayed on the user terminal,
How to check.
 제7항에 있어서,
상기 스케줄 관리 모드는,
날짜 별로 기 등록된 보고 데이터에 기초한 점검 결과를 제공하고, 사용자 입력에 기초하여 시설물 점검과 관련된 신규 스케줄을 등록하는 모드인,
점검 방법.
8. The method of claim 7,
The schedule management mode is,
A mode of providing inspection results based on previously registered report data by date and registering a new schedule related to facility inspection based on user input,
How to check.
 시설물의 점검 방법을 수행하는 사용자 단말에 있어서,
메모리 및 프로세서를 포함하고,
상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고,
상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 상기 사용자 단말이,
증강 현실을 이용한 점검 모드에서, 카메라를 통해 획득한 제1 이미지에서 건물 식별 마커가 인식되는 경우 상기 건물 식별 마커에 대응하는 건물 정보를 화면에 제공하고,
상기 카메라를 통해 획득한 제2 이미지에서 시설물 식별 마커가 인식되는 경우, 상기 시설물 식별 마커에 대응하는 시설물의 점검을 위한 인터페이스 화면을 제공하고,
상기 시설물의 점검과 관련된 점검 데이터를 사용자 입력을 통해 수신하고,
상기 사용자 입력에 기초하여 보고 데이터를 생성하고, 상기 생성된 보고 데이터를 서버에 전송하도록 상기 사용자 단말을 제어하는,
사용자 단말.
In the user terminal for performing the inspection method of the facility,
memory and processor;
the memory stores instructions executable by the processor;
When the instructions are executed by the processor, the processor causes the user terminal to
In the inspection mode using augmented reality, when the building identification marker is recognized in the first image acquired through the camera, building information corresponding to the building identification marker is provided on the screen,
When the facility identification marker is recognized in the second image acquired through the camera, providing an interface screen for inspection of a facility corresponding to the facility identification marker,
Receive inspection data related to the inspection of the facility through user input,
Generating report data based on the user input and controlling the user terminal to transmit the generated report data to a server,
user terminal.
 제9항에 있어서,
상기 프로세서는 상기 사용자 단말이,
작업 영상 등록과 관련된 사용자 선택을 수신하고,
상기 사용자 선택에 응답하여, 스마트 글래스와 연결을 시도하고,
상기 스마트 글래스와 연결된 경우, 상기 스마트 글래스로부터 상기 스마트 글래스에 의해 촬영된 작업 영상을 수신하고,
상기 수신한 작업 영상을 등록하도록 상기 사용자 단말을 제어하는,
사용자 단말.
10. The method of claim 9,
The processor is the user terminal,
receive user selections related to job image registration;
In response to the user selection, try to connect with the smart glasses,
When connected to the smart glasses, receiving a work image captured by the smart glasses from the smart glasses,
controlling the user terminal to register the received work image,
user terminal.
 제9항에 있어서,
상기 프로세서는 상기 사용자 단말이,
캘리퍼 수치 등록과 관련된 사용자 선택을 수신하고,
상기 사용자 단말의 카메라를 통해 시설물의 캘리퍼 수치를 포함하는 이미지를 획득하고,
광학 문자 인식(Optical character recognition; OCR) 기능을 이용하여 상기 이미지에서 상기 캘리퍼 수치를 인식하고,
사용자 입력을 통해 상기 인식된 캘리퍼 수치가 확인된 경우, 상기 확인된 캘리퍼 수치를 등록하도록 상기 사용자 단말을 제어하는,
사용자 단말.
10. The method of claim 9,
The processor is the user terminal,
receive user selections related to caliper numerical registration;
Obtaining an image including the caliper value of the facility through the camera of the user terminal,
Recognizing the caliper numerical value in the image using an optical character recognition (OCR) function,
When the recognized caliper value is confirmed through a user input, controlling the user terminal to register the confirmed caliper value,
user terminal.
 제9항에 있어서,
상기 보고 데이터는,
스케줄 관리 모드에서 사용자 선택에 의해 상기 보고 데이터에 대응하는 날짜가 선택되었을 경우, 상기 사용자 단말에 디스플레이되는,
사용자 단말.
10. The method of claim 9,
The report data is
When the date corresponding to the report data is selected by the user selection in the schedule management mode, displayed on the user terminal,
user terminal.
 제12항에 있어서,
상기 스케줄 관리 모드는,
날짜 별로 기 등록된 보고 데이터에 기초한 점검 결과를 제공하고, 사용자 입력에 기초하여 시설물 점검과 관련된 신규 스케줄을 등록하는 모드인,
사용자 단말.13. The method of claim 12,
The schedule management mode is,
A mode of providing inspection results based on previously registered report data by date and registering a new schedule related to facility inspection based on user input,
user terminal.
KR1020190166609A 2019-12-13 2019-12-13 Method for inspecting facility and user terminal performing the same KR102304781B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190166609A KR102304781B1 (en) 2019-12-13 2019-12-13 Method for inspecting facility and user terminal performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190166609A KR102304781B1 (en) 2019-12-13 2019-12-13 Method for inspecting facility and user terminal performing the same

Publications (2)

Publication Number Publication Date
KR20210075484A true KR20210075484A (en) 2021-06-23
KR102304781B1 KR102304781B1 (en) 2021-09-28

Family

ID=76599449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190166609A KR102304781B1 (en) 2019-12-13 2019-12-13 Method for inspecting facility and user terminal performing the same

Country Status (1)

Country Link
KR (1) KR102304781B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230055453A (en) * 2021-10-18 2023-04-26 서울과학기술대학교 산학협력단 Apparatus for inspecting construction site safety based on augmented reality
KR102588234B1 (en) * 2023-06-23 2023-10-12 세인기계설비관리 주식회사 Machine facility performance inspection system
KR102706982B1 (en) * 2024-01-17 2024-09-13 엔텍파워 주식회사 Automatic generation system of thermal image distribution measurement report and automatic generation method using the same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230053027A (en) * 2021-10-13 2023-04-21 가우스랩 주식회사 Method and system for providing extended reality service to operate industrial facilities
KR102469959B1 (en) * 2021-12-27 2022-11-29 주식회사 세인엔에스 Method, apparatus and program of remote control brokerage for maintenance of computerized equipment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016071582A (en) * 2014-09-30 2016-05-09 株式会社ウォーターエージェンシー Automatic operation device
KR101934315B1 (en) * 2018-05-23 2019-01-02 유씨아이테크 주식회사 One-stop system for construction maintenance using Information and Communication Technology-based Augmented Reality
KR20190076770A (en) * 2017-12-22 2019-07-02 주식회사 이엠아이티 A augmented reality based assembly guide system
KR20190077898A (en) * 2017-12-26 2019-07-04 주식회사 아프로스 Abnormal status monitoring system for equipment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016071582A (en) * 2014-09-30 2016-05-09 株式会社ウォーターエージェンシー Automatic operation device
KR20190076770A (en) * 2017-12-22 2019-07-02 주식회사 이엠아이티 A augmented reality based assembly guide system
KR20190077898A (en) * 2017-12-26 2019-07-04 주식회사 아프로스 Abnormal status monitoring system for equipment
KR101934315B1 (en) * 2018-05-23 2019-01-02 유씨아이테크 주식회사 One-stop system for construction maintenance using Information and Communication Technology-based Augmented Reality

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230055453A (en) * 2021-10-18 2023-04-26 서울과학기술대학교 산학협력단 Apparatus for inspecting construction site safety based on augmented reality
KR102588234B1 (en) * 2023-06-23 2023-10-12 세인기계설비관리 주식회사 Machine facility performance inspection system
KR102706982B1 (en) * 2024-01-17 2024-09-13 엔텍파워 주식회사 Automatic generation system of thermal image distribution measurement report and automatic generation method using the same

Also Published As

Publication number Publication date
KR102304781B1 (en) 2021-09-28

Similar Documents

Publication Publication Date Title
KR102304781B1 (en) Method for inspecting facility and user terminal performing the same
CN105191262B (en) System and method for the cooperation in non-destructive testing system
US20190123566A1 (en) Schedule Impact Map
US20140279443A1 (en) Remote Sharing of Measurement Data
KR101936487B1 (en) Information processing device, information processing method, program, and recording medium
JP2016212865A5 (en)
CN104937616A (en) Systems and methods for collaborating in non-destructive testing system using location information
CN104937554A (en) Systems and methods for analyzing data in a non-destructive testing system
JP5740634B2 (en) Automatic operation system and operation automation method
KR101683277B1 (en) System of virtual simulation guiding and performing management for industrial labor in water quality management facilities
JP6396561B1 (en) Form automation system
US20180181220A1 (en) Image processing device and image processing method
KR101584485B1 (en) Elevator safety system using mobile device
CN110678879A (en) Data generation device, data generation method, and program
KR102198775B1 (en) Mobile terminal, system for generating estimate and design method thereof
CN107219825B (en) Method for providing inspection instruction, job site management system, and storage medium
US10140583B2 (en) Schedule impact map
JP4889593B2 (en) Configuration management system
US20200311741A1 (en) Methods and systems for validating order request
CN109688181A (en) A kind of data prospecting processing method, server, terminal and system
US20220300889A1 (en) Work management apparatus, work management method, and recording medium
JP7100460B2 (en) Cable laying management device, cable laying management method, program
US20240153529A1 (en) Information processing apparatus, information input support system, and non-transitory recording medium
EP4057090A1 (en) Information processing system, information processing method, mobile device, and information processing program
US20240037468A1 (en) Method of monitoring project process and outcome

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant