KR102697177B1 - A Drone Flight Control and Diagnosing System and Method therefor - Google Patents

A Drone Flight Control and Diagnosing System and Method therefor Download PDF

Info

Publication number
KR102697177B1
KR102697177B1 KR1020220141977A KR20220141977A KR102697177B1 KR 102697177 B1 KR102697177 B1 KR 102697177B1 KR 1020220141977 A KR1020220141977 A KR 1020220141977A KR 20220141977 A KR20220141977 A KR 20220141977A KR 102697177 B1 KR102697177 B1 KR 102697177B1
Authority
KR
South Korea
Prior art keywords
log
logs
drone
major
status
Prior art date
Application number
KR1020220141977A
Other languages
Korean (ko)
Other versions
KR20240060910A (en
Inventor
유기진
이헌규
강현섭
Original Assignee
(주)가이온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)가이온 filed Critical (주)가이온
Priority to KR1020220141977A priority Critical patent/KR102697177B1/en
Publication of KR20240060910A publication Critical patent/KR20240060910A/en
Application granted granted Critical
Publication of KR102697177B1 publication Critical patent/KR102697177B1/en

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00Aircraft indicators or protectors not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00Aircraft indicators or protectors not otherwise provided for
    • B64D2045/0085Devices for aircraft health monitoring, e.g. monitoring flutter or vibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명은 드론의 고장을 진단하는 시스템 및 방법에 관한 것으로, 드론의 비행 과정에서 생성되는 복수의 로그 데이터로부터 학습 데이터를 생성하는 학습 데이터 생성부, 상기 생성된 학습 데이터를 이용하여 상기 복수의 로그 중 적어도 하나의 로그에 대한 예측 모델을 생성하는 로그 예측 모델 생성부, 상기 생성된 로그 예측 모델을 기초로 예측된 로그 값과 실제 로그 값의 차이에 대한 로그별 임계치를 저장하는 로그별 임계치 설정부, 비행중인 드론으로부터 복수의 로그 데이터를 수신하는 로그 데이터 수신부; 및 상기 예측 모델을 이용하여 상기 수신한 로그 데이터 중 적어도 하나의 로그에 대한 예측 값을 생성하고, 실제 로그 값과 예측 값의 차이가 상기 저장된 로그별 임계치를 초과하는지 확인하고, 그 결과에 따라 드론의 상태를 판단하는 드론 상태 판단부를 포함하는 드론 장애진단시스템과 그 동작 방법을 제시한다.The present invention relates to a system and method for diagnosing a failure of a drone, and proposes a drone failure diagnosis system and an operating method thereof, including: a learning data generation unit for generating learning data from a plurality of log data generated during a drone's flight process; a log prediction model generation unit for generating a prediction model for at least one of the plurality of logs using the generated learning data; a log-by-log threshold setting unit for storing a log-by-log threshold for the difference between a predicted log value and an actual log value based on the generated log prediction model; a log data reception unit for receiving a plurality of log data from a drone in flight; and a drone status determination unit for generating a prediction value for at least one of the received log data using the prediction model, determining whether the difference between the actual log value and the predicted value exceeds the stored log-by-log threshold, and determining the status of the drone based on the result.

Description

드론 비행 관제 및 장애진단 시스템과 방법 {A Drone Flight Control and Diagnosing System and Method therefor}{A Drone Flight Control and Diagnosing System and Method therefor}

본 발명은 드론(무인이동체) 비행 관제 및 장애진단 시스템과 그 방법에 관한 것으로 보다 상세하게는 드론의 비행에 관련된 다수의 로그정보를 활용하여 드론의 상태를 보다 정확하게 진단하고 이를 바탕으로 안전하게 제어할 수 있도록 하는 시스템 및 방법에 관한 것이다.The present invention relates to a drone (unmanned vehicle) flight control and fault diagnosis system and method thereof, and more specifically, to a system and method for more accurately diagnosing the status of a drone by utilizing a plurality of log information related to the flight of the drone and safely controlling the drone based on the same.

드론(무인이동체)은 조종사 없이 무선전파의 유도에 의해서 비행 및 조종이 가능한 비행기나 헬리콥터 모양의 무인항공기로써 최근에는 영상 촬영, 물품배송을 위한 수단으로 사용되기도 한다. 최근 드론의 이용이 활발해지면서, 드론의 고장 등 상태이상이 제 때 확인되지 못하여 드론이 추락하는 사고가 늘어나고 있다. 이에 따라 비행중인 드론 상태를 보다 정확히 판단할 수 있도록 하는 진단기술이 필요하다.Drones (unmanned vehicles) are unmanned aircraft shaped like airplanes or helicopters that can fly and be controlled by radio waves without a pilot. Recently, they have been used as a means of filming and delivering goods. Recently, as drones have been used more actively, drone crash accidents have been increasing due to failures in drone status or other abnormalities not being detected in time. Accordingly, diagnostic technology that can more accurately determine the status of drones in flight is needed.

종래기술인 한국등록특허 제10-2261899호, "드론의 이상 진단장치 및 그 방법"은 이와 같이 드론의 이상 상태를 진단할 수 있도록 하는 것으로, 진동센서로부터 수신되는 진동정보를 분석하여 드론의 상태를 분석할 수 있도록 한다.The prior art, Korean Patent No. 10-2261899, “Drone Abnormality Diagnosis Device and Method Therefor,” enables diagnosis of abnormal conditions of a drone, and analyzes the state of the drone by analyzing vibration information received from a vibration sensor.

그러나, 이와 같이 종래에는 진동과 같은 드론의 몇 가지 상태정보만으로 드론의 상태를 분석하여 진단의 정확도가 떨어지는 문제가 있었으며, 다수의 상태정보를 모두 분석할 경우에는 연산량이 급격히 늘어나고 빠른 진단이 이루어지지 못한다는 문제가 있었다.However, in the past, there was a problem that the accuracy of diagnosis was low because the drone's status was analyzed using only a few pieces of drone status information, such as vibration, and when all of the multiple pieces of status information were analyzed, the amount of computation increased rapidly and there was a problem that a quick diagnosis could not be made.

한국등록특허 제10-2261899호Korean Patent No. 10-2261899

본 발명은 드론의 상태를 정확히 진단할 수 있도록 하는 것을 목적으로 한다.The purpose of the present invention is to enable accurate diagnosis of the status of a drone.

본 발명은 최대한 다양한 로그를 사용하여 진단의 정확도를 높이면서도 최소한의 연산으로 빠른 진단이 가능하도록 하는 것을 목적으로 한다.The purpose of the present invention is to increase the accuracy of diagnosis by using as many logs as possible, while enabling rapid diagnosis with minimal computation.

본 발명은 드론 상태의 판단에 필수적인 주요 로그를 판단대상으로 하면서도, 관련성 높은 다른 로그들을 충분히 고려할 수 있도록 하여 진단의 정확도를 높이는 것을 목적으로 한다.The purpose of the present invention is to increase the accuracy of diagnosis by allowing major logs essential for determining the status of a drone to be judged while also allowing other highly relevant logs to be sufficiently considered.

본 발명은 드론의 상태를 세분화하고 각각의 상태에 따라 관제사가 다른 조치를 할 수 있도록 하는 것을 목적으로 한다.The purpose of the present invention is to segment the status of a drone and enable a controller to take different actions depending on each status.

이와 같은 목적을 달성하기 위하여 본 발명의 일실시예에 따른 드론 장애진단시스템은 드론의 비행 과정에서 생성되는 복수의 로그 데이터로부터 학습 데이터를 생성하는 학습 데이터 생성부,상기 생성된 학습 데이터를 이용하여 상기 복수의 로그 중 적어도 하나의 로그에 대한 예측 모델을 생성하는 로그 예측 모델 생성부, 상기 생성된 로그 예측 모델을 기초로 예측된 로그 값과 실제 로그 값의 차이에 대한 로그별 임계치를 저장하는 로그별 임계치 설정부, 비행중인 드론으로부터 복수의 로그 데이터를 수신하는 로그 데이터 수신부 및 상기 예측 모델을 이용하여 상기 수신한 로그 데이터 중 적어도 하나의 로그에 대한 예측 값을 생성하고, 실제 로그 값과 예측 값의 차이가 상기 저장된 로그별 임계치를 초과하는지 확인하고, 그 결과에 따라 드론의 상태를 판단하는 드론 상태 판단부를 포함하여 구성될 수 있다.In order to achieve the above purpose, a drone failure diagnosis system according to an embodiment of the present invention may be configured to include a learning data generation unit which generates learning data from a plurality of log data generated during a drone's flight process, a log prediction model generation unit which generates a prediction model for at least one of the plurality of logs using the generated learning data, a log-specific threshold setting unit which stores a log-specific threshold for the difference between a predicted log value and an actual log value based on the generated log prediction model, a log data reception unit which receives a plurality of log data from a drone in flight, and a drone status determination unit which generates a prediction value for at least one of the received log data using the prediction model, determines whether the difference between the actual log value and the predicted value exceeds the stored log-specific threshold, and determines the status of the drone based on the result.

이 때, 상기 복수의 로그 데이터에 포함된 로그는 주요 로그 및 일반 로그로 구분되고, 상기 학습 데이터 생성부는 상기 주요 로그 각각에 대해서 각 주요 로그를 예측할 수 있는 로그들을 선정하여 학습 데이터로 생성하고, 상기 로그 예측 모델 생성부는 상기 선정된 로그들을 입력 값으로 하여 각 주요 로그를 예측하는 예측 모델을 생성할 수 있다.At this time, the logs included in the plurality of log data are divided into main logs and general logs, and the learning data generation unit selects logs capable of predicting each main log for each main log and generates them as learning data, and the log prediction model generation unit can generate a prediction model that predicts each main log using the selected logs as input values.

또한, 상기 학습 데이터 생성부는 각 주요 로그와 소정의 기준치 이상의 상관계수를 가지는 로그들을 각 주요 로그를 예측할 수 있는 로그들로 선정할 수 있다.In addition, the learning data generation unit can select logs that have a correlation coefficient higher than a predetermined standard value with each main log as logs that can predict each main log.

또한, 상기 로그 예측 모델 생성부는 그래디언트 부스티드 트리(GBT) 회귀모델에서 잔차가 최소화되는 모델을 선정하여 상기 예측 모델로 생성할 수 있다.In addition, the log prediction model generation unit can select a model that minimizes residuals from a gradient boosted tree (GBT) regression model and generate the prediction model.

또한, 상기 드론 상태 판단부는 상기 주요 로그 각각에 대한 실제 로그 값 및 예측 값의 차이가 상기 저장된 로그별 임계치를 초과하는지 확인하고, 로그별 임계치를 초과하는 주요 로그가 전체 주요 로그에서 차지하는 비중을 기초로 드론의 상태를 판단할 수 있다.In addition, the drone status judgment unit can determine whether the difference between the actual log value and the predicted value for each of the major logs exceeds the threshold for each stored log, and can determine the status of the drone based on the proportion of the major logs exceeding the threshold for each log among the entire major logs.

또한, 상기 드론 상태 판단부는 상기 로그별 임계치를 초과하는 주요 로그가 전체 주요 로그에서 차지하는 비중에 따라서, 드론의 상태를 정상, 주의 및 비상 상태로 구분하고, 판단된 드론의 상태를 관제사에 제공할 수 있다.In addition, the drone status judgment unit can classify the drone status into normal, caution, and emergency status based on the proportion of major logs exceeding the log-specific threshold among the entire major logs, and provide the determined drone status to the controller.

본 발명은 드론의 상태를 정확히 진단할 수 있도록 하는 효과가 있다.The present invention has the effect of enabling accurate diagnosis of the status of a drone.

본 발명은 최대한 다양한 로그를 사용하여 진단의 정확도를 높이면서도 최소한의 연산으로 빠른 진단이 가능하도록 하는 효과가 있다.The present invention has the effect of enabling rapid diagnosis with minimal computation while increasing the accuracy of diagnosis by using as many logs as possible.

본 발명은 드론 상태의 판단에 필수적인 주요 로그를 판단대상으로 하면서도, 관련성 높은 다른 로그들을 충분히 고려할 수 있도록 하여 진단의 정확도를 높이는 효과가 있다.The present invention has the effect of increasing the accuracy of diagnosis by allowing the evaluation of key logs essential for determining the drone status while also allowing sufficient consideration of other highly relevant logs.

본 발명은 드론의 상태를 세분화하고 각각의 상태에 따라 관제사가 다른 조치를 할 수 있도록 하는 효과가 있다.The present invention has the effect of segmenting the status of a drone and allowing the controller to take different actions depending on each status.

도 1은 본 발명의 일실시예에 따른 드론 장애진단시스템의 내부 구성을 도시한 구성도이다.
도 2는 본 발명의 일실시예에 따른 드론 장애진단시스템에서 활용하는 주요 로그의 일례를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 드론 장애진단시스템에서 주요 로그 및 일반 로그를 활용하는 일례를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 드론 장애진단방법의 흐름을 도시한 도면이다.
FIG. 1 is a diagram illustrating the internal configuration of a drone failure diagnosis system according to one embodiment of the present invention.
FIG. 2 is a drawing showing an example of a main log utilized in a drone failure diagnosis system according to one embodiment of the present invention.
FIG. 3 is a drawing showing an example of utilizing main logs and general logs in a drone failure diagnosis system according to one embodiment of the present invention.
FIG. 4 is a diagram illustrating the flow of a drone failure diagnosis method according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 또한 본 발명의 실시예들을 설명함에 있어 구체적인 수치는 실시예에 불과하며 이에 의하여 발명의 범위가 제한되지 아니한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings. In describing the present invention, if it is judged that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description will be omitted. In addition, when describing embodiments of the present invention, specific figures are only examples and the scope of the invention is not limited thereby.

본 발명에 따른 드론 장애진단시스템은 중앙처리장치(CPU) 및 메모리(Memory, 기억장치)를 구비하고 인터넷 등의 통신망을 통하여 다른 단말기와 연결 가능한 서버의 형태로 구성될 수 있다. 그러나 본 발명이 중앙처리장치 및 메모리 등의 구성에 의해 한정되지는 아니한다. 또한, 본 발명에 따른 드론 장애진단시스템은 물리적으로 하나의 장치로 구성될 수도 있으며, 복수의 장치에 분산된 형태로 구현될 수도 있으며, 드론 내부에 존재하거나 드론과 통신 가능한 제어장치에 존재할 수도 있다.The drone failure diagnosis system according to the present invention may be configured in the form of a server equipped with a central processing unit (CPU) and a memory (memory) and capable of connecting to other terminals via a communication network such as the Internet. However, the present invention is not limited to the configuration of the central processing unit and the memory, etc. In addition, the drone failure diagnosis system according to the present invention may be physically configured as a single device, may be implemented in a distributed form in multiple devices, and may be present inside a drone or in a control device capable of communicating with a drone.

도 1은 본 발명의 일실시예에 따른 드론 장애진단시스템의 내부 구성을 도시한 구성도이다.FIG. 1 is a diagram illustrating the internal configuration of a drone failure diagnosis system according to one embodiment of the present invention.

도면에 도시한 바와 같이, 본 발명의 일실시예에 따른 드론 장애진단시스템(101)은 학습 데이터 생성부(110), 로그 예측 모델 생성부(120), 로그별 임계치 설정부(130), 로그 데이터 수신부(140) 및 드론 상태 판단부(150)를 포함하여 구성될 수 있다. 각각의 구성요소들은 물리적으로 동일한 컴퓨터 시스템 내에서 동작하는 소프트웨어 모듈일 수 있으며, 물리적으로 2개 이상으로 분리된 컴퓨터 시스템이 서로 연동하여 동작할 수 있도록 구성된 형태일 수 있는데, 동일한 기능을 포함하는 다양한 실시형태가 본 발명의 권리범위에 속한다.As illustrated in the drawing, a drone failure diagnosis system (101) according to an embodiment of the present invention may be configured to include a learning data generation unit (110), a log prediction model generation unit (120), a log-specific threshold setting unit (130), a log data receiving unit (140), and a drone status determination unit (150). Each of the components may be a software module that operates within a physically identical computer system, and may be configured such that two or more physically separated computer systems can operate in conjunction with each other; however, various embodiments including the same function fall within the scope of the present invention.

학습 데이터 생성부(110)는 드론의 비행 과정에서 생성되는 복수의 로그 데이터로부터 학습 데이터를 생성한다. 본 발명에서는 인공지능 기술을 이용하여 드론의 고장을 진단하는데, 인공지능 기술은 일반적으로 다양한 상황을 나타내는 학습 데이터를 이용하여 학습을 시키고 이를 통해 모델을 생성함으로써, 생성된 모델이 원하는 답을 찾아낼 수 있도록 한다. 일반적으로 인공지능을 이용하여 드론 등의 기기 상태를 모니터링하는 경우, 몇 가지 주요 상태정보를 입력으로 하고 고장 및 정상 상태를 결과값으로 하여 고장상태를 진단하였는데, 이 경우 주어진 몇 가지 상태만을 확인할 수 있어, 진단의 정확도가 높지 않다는 문제점이 있다. 또한, 드론이 정상상태인지 비정상상태인지를 나타내는 정답 정보가 존재해야 하기 때문에, 학습 데이터를 확보하는 데에 어려움이 있다.The learning data generation unit (110) generates learning data from a plurality of log data generated during the drone's flight process. In the present invention, a drone's failure is diagnosed using artificial intelligence technology. The artificial intelligence technology generally uses learning data representing various situations to perform learning and generates a model through this, thereby enabling the generated model to find a desired answer. In general, when monitoring the status of a device such as a drone using artificial intelligence, several key status information is input and a failure and normal status are used as result values to diagnose the failure status. In this case, there is a problem that only several given statuses can be confirmed, so the accuracy of the diagnosis is not high. In addition, since there must be correct answer information indicating whether the drone is in a normal or abnormal state, it is difficult to secure learning data.

그러나, 학습 데이터 생성부(110)에서 생성하는 학습 데이터는 드론과 관련된 다양한 로그들을 수집하고, 드론의 상태가 정상인지 비정상인지에 대한 정보가 없이도 학습 데이터를 생성할 수 있도록 하는 것을 특징으로 한다.However, the learning data generated by the learning data generation unit (110) is characterized by being able to collect various logs related to the drone and generate learning data without information on whether the drone's status is normal or abnormal.

학습 데이터 생성부(110)에서 학습 데이터를 생성하기 위해 활용하는 복수의 로그 데이터는 어떤 상태를 나타내는 로그인지에 따라서 주요 로그 및 일반 로그로 구분될 수 있다. 주요 로그는 드론의 상태 이상 여부를 확인하는 데에 중요한 로그로 드론의 상태를 보다 직접적으로 나타내는 로그를 의미한다. 본 발명에서 설명하는 실시예에서 드론의 로그는 총 108가지가 수집될 수 있으며, 이 중 15가지가 주요 로그로 선별될 수 있다. 주요 로그에 대해서는 도 2에 도시되어 있으며 도 2에서 보다 상세하게 설명하도록 한다.The plurality of log data used to generate learning data in the learning data generation unit (110) can be classified into main logs and general logs depending on the status of the log. The main log is an important log for checking whether the drone is in an abnormal state and refers to a log that more directly indicates the drone's status. In the embodiment described in the present invention, a total of 108 drone logs can be collected, and 15 of them can be selected as main logs. The main logs are illustrated in FIG. 2 and will be described in more detail in FIG. 2.

학습 데이터 생성부(110)에서는 상기 주요 로그 각각에 대해서 각 주요 로그를 예측할 수 있는 로그들을 선정하여 학습 데이터로 생성할 수 있다. 위의 예에서 총 15개의 주요 로그들중 어느 하나의 주요 로그에 대해 전체 로그 108개 중 해당 로그를 제외한 나머지 107개를 두고 이 중 해당 로그를 예측하는 데에 활용될 수 있는 로그를 선별한다. 이와 같은 과정을 15개 전체 주요 로그에 대해서 수행함으로써, 15가지 학습 데이터 세트가 생성될 수 있다.The learning data generation unit (110) can select logs that can predict each of the major logs for each of the major logs and generate them as learning data. In the example above, for one of the 15 major logs, out of the total 108 logs, excluding the corresponding log, the remaining 107 logs are selected and the log that can be used to predict the corresponding log is selected. By performing this process for all 15 major logs, 15 learning data sets can be generated.

이 때, 학습 데이터 생성부(110)는 각 주요 로그와 소정의 기준치 이상의 상관계수를 가지는 로그들을 각 주요 로그를 예측할 수 있는 로그들로 선정할 수 있다. 예를 들어 하나의 주요 로그에 대해서 나머지 107개의 로그들과의 상관계수를 구하고, 이 값이 0.3 이상으로 양의 상관관계를 가지는 로그들을 해당 로그를 예측할 수 있는 유의미한 관계의 로그로 선정할 수 있다. 이처럼 본 발명에서는 특정 로그가 정상 상태인지를 모델로 판단하는 것이 아니라, 비행과 관련되는 주요 로그를 관련있는 다른 로그로 예측해 보고 그 예측 값이 실제 값과 차이나는 정도를 바탕으로 고장여부를 판단하게 되므로, 드론의 이상 또는 정상 상태에 대한 정답정보가 없이도 드론의 상태를 판단할 수 있게 된다.At this time, the learning data generation unit (110) can select logs having a correlation coefficient higher than a predetermined standard value with each major log as logs that can predict each major log. For example, the correlation coefficient with the remaining 107 logs can be calculated for one major log, and logs having a positive correlation of 0.3 or higher can be selected as logs with a significant relationship that can predict the corresponding log. In this way, the present invention does not determine whether a specific log is normal using a model, but predicts a major log related to flight using another related log and determines whether there is a failure based on the degree of difference between the predicted value and the actual value. Therefore, it is possible to determine the status of the drone even without correct information on the abnormality or normal status of the drone.

또한, 학습 데이터 생성부(110)는 드론의 기체 종류(쿼드콥터, 헥사콥터, 옥타콥터)에 따라서 각각 학습 데이터 세트를 구성할 수 있고, 결국 주요 로그가 위 예시에서와 같이 15개라고 한다면, 총 45개의 모델을 생성하기 위한 학습 데이터 세트를 생성할 수 있다.In addition, the learning data generation unit (110) can configure each learning data set according to the drone's airframe type (quadcopter, hexacopter, octacopter), and ultimately, if the number of main logs is 15 as in the example above, a learning data set can be generated to create a total of 45 models.

로그 예측 모델 생성부(120)는 상기 생성된 학습 데이터를 이용하여 상기 복수의 로그 중 적어도 하나의 로그에 대한 예측 모델을 생성한다. 앞서 설명한 바와 같이, 로그는 주요 로그와 일반 로그로 결정되는데, 상기 생성된 학습 데이터를 이용하여 주요 로그들을 예측할 수 있도록 하는 예측 모델을 생성하게 된다. 이 때, 모델의 입력 값은 상기 생성된 학습 데이터에 포함된 각각의 주요 로그를 예측하기 위해 선정된 로그들이 될 수 있다.The log prediction model generation unit (120) generates a prediction model for at least one of the plurality of logs using the generated learning data. As described above, the logs are determined as major logs and general logs, and a prediction model that can predict major logs is generated using the generated learning data. At this time, the input values of the model can be logs selected to predict each major log included in the generated learning data.

이 때, 로그 예측 모델 생성부(120)는 그래디언트 부스티드 트리(GBT) 회귀모델에서 잔차가 최소화되는 모델을 선정하여 상기 예측 모델로 생성할 수 있다. 이를 통해 본 발명에서는 관련성 높은 여러 로그들을 입력값으로 하여 비행 상태에 관한 중요한 정보를 나타내는 주요 로그를 예측하고, 예측된 주요 로그 값이 실제 드론의 해당 주요 로그 값과 차이가 나는 경우 이상이 있을 가능성이 있다고 판단하도록 할 수 있다.At this time, the log prediction model generation unit (120) can select a model that minimizes the residual from the gradient boosted tree (GBT) regression model and generate the prediction model. Through this, the present invention can predict key logs that represent important information about the flight status by using several highly relevant logs as input values, and if the predicted key log value differs from the corresponding key log value of the actual drone, it can be determined that there is a possibility of an abnormality.

로그별 임계치 설정부(130)는 상기 생성된 로그 예측 모델을 기초로 예측된 로그 값과 실제 로그 값의 차이에 대한 로그별 임계치를 저장한다. 상술한 바와 같이, 예측 모델을 통해 주요 로그들을 예측한 뒤에 실제 로그 값과의 차이에 따라 고장 여부를 판단하기 위해서는 기준이 필요한데, 그 기준이 되는 것이 상기 로그별 임계치가 된다.The log-by-log threshold setting unit (130) stores the log-by-log threshold for the difference between the predicted log value and the actual log value based on the generated log prediction model. As described above, in order to determine whether there is a failure based on the difference from the actual log value after predicting the main logs through the prediction model, a standard is needed, and the log-by-log threshold becomes the standard.

로그별 임계치 설정부(130)에서 설정하는 로그별 임계치는 정상 비행데이터를 이용하여 예측하였을 경우의 차이(잔차)와 비정상 비행데이터를 이용하여 예측하였을 경우의 차이(잔차)의 분포를 분석하고 이를 통해 정상과 비정상을 구분할 수 있는 수치로 선정할 수 있다. 예측 모델이 주요 로그별로 생성되기 때문에, 임계치 또한 각각 생성된 모델별로 하나씩 설정되게 된다.The log-specific threshold set in the log-specific threshold setting unit (130) can be selected as a numerical value that can distinguish between normal and abnormal by analyzing the distribution of the difference (residual) when predicting using normal flight data and the difference (residual) when predicting using abnormal flight data. Since the prediction model is generated for each major log, the threshold is also set for each generated model.

로그 데이터 수신부(140)는 비행중인 드론으로부터 복수의 로그 데이터를 수신한다. 이 때에는 실제 드론으로부터 수신되는 실시간 정보들을 수신할 수 있는데, 드론의 센서로부터 직접 정보를 수신하거나 관제 시스템을 통하여 정보를 수신하는 것이 가능하다.The log data receiving unit (140) receives multiple log data from a drone in flight. At this time, real-time information received from an actual drone can be received, and it is possible to receive information directly from the drone's sensor or through a control system.

위 예시에서, 로그 데이터 수신부(140)는 108가지 드론 비행 관련 로그를 실시간으로 수신하고 이를 15가지 예측 모델에 적용함으로써, 드론의 상태를 분석할 수 있도록 한다.In the above example, the log data receiving unit (140) receives 108 drone flight-related logs in real time and applies them to 15 prediction models, thereby enabling analysis of the drone's status.

드론 상태 판단부(150)는 상기 예측 모델을 이용하여 상기 수신한 로그 데이터 중 적어도 하나의 로그에 대한 예측 값을 생성하고, 실제 로그 값과 예측 값의 차이가 상기 저장된 로그별 임계치를 초과하는지 확인하고, 그 결과에 따라 드론의 상태를 판단한다.The drone status judgment unit (150) uses the prediction model to generate a prediction value for at least one log among the received log data, checks whether the difference between the actual log value and the predicted value exceeds the threshold value for each stored log, and judges the status of the drone based on the result.

드론 상태 판단부(150)는 이를 위하여 상기 주요 로그 각각에 대한 실제 로그 값 및 예측 값의 차이가 상기 저장된 로그별 임계치를 초과하는지 확인하고, 로그별 임계치를 초과하는 주요 로그가 전체 주요 로그에서 차지하는 비중을 기초로 드론의 상태를 판단할 수 있다.To this end, the drone status judgment unit (150) can check whether the difference between the actual log value and the predicted value for each of the above major logs exceeds the threshold value for each stored log, and can judge the status of the drone based on the proportion of the major logs exceeding the threshold value for each log in the entire major logs.

예를 들어, 드론 상태 판단부(150)는 15가지 주요 로그들에 대해서 예측 값과 실제 값을 비교하고 임계치를 초과하는 주요 로그가 0개-4개일 경우 드론의 상태를 정상으로 판단하고, 5개-10개일 경우 주의상태로 판단하며, 11개-15개일 경우 비상상태로 판단하여 각각의 상황에 맞는 조치를 취할 수 있다. 이처럼 주요 로그 중 예측 값과 실제 값에 차이가 크게 나는 로그들이 얼마나 많은지에 따라 드론의 상태가 판단되게 되므로, 단순히 한 두 가지의 로그가 정상 범위를 벗어나는지 여부만으로 드론의 상태를 파악하는 것에 비해 보다 정교한 상태 분석이 가능하게 된다.For example, the drone status judgment unit (150) compares predicted values and actual values for 15 major logs, and if there are 0-4 major logs exceeding the threshold, the drone status is judged as normal, if there are 5-10 major logs, it is judged as a caution state, and if there are 11-15 major logs, it is judged as an emergency state, and measures can be taken for each situation. In this way, the drone status is judged based on how many logs among the major logs have a large difference between the predicted values and the actual values, so a more sophisticated status analysis is possible compared to simply determining the drone status by whether one or two logs are out of the normal range.

드론 상태 판단부(150)는 이처럼 상기 로그별 임계치를 초과하는 주요 로그가 전체 주요 로그에서 차지하는 비중에 따라서, 드론의 상태를 정상, 주의 및 비상 상태로 구분하고, 판단된 드론의 상태를 관제사에 제공할 수 있다. 또한, 주의 상태 또는 비상 상태일 경우, 후보 착륙지 목록을 제공하여 자동착륙을 유도할 수도 있고, 지도 상의 착륙지를 관제사가 선택하여 자동 착륙하도록 할 수 있다. 또한, 비상 상태인 경우에는 관제사가 직접 드론을 원격지에서 수동 제어할 수 있는 모드를 제공하는 것도 가능하다.The drone status judgment unit (150) can classify the drone status into normal, caution, and emergency status based on the proportion of major logs exceeding the threshold for each log in the entire major log, and provide the determined drone status to the controller. In addition, in the case of a caution or emergency status, a list of candidate landing sites can be provided to induce automatic landing, or the controller can select a landing site on the map to perform automatic landing. In addition, in the case of an emergency status, it is also possible to provide a mode in which the controller can directly control the drone remotely and manually.

드론 상태 판단부(150)는 로그의 종류나 주요 로그의 개수 등에 따라서 드론의 상태를 보다 더 세분화하여 상태별 맞춤 알림 및 보조 기능을 제공하도록 할 수 있다.The drone status judgment unit (150) can further segment the drone status based on the type of log, the number of major logs, etc., and provide customized notifications and auxiliary functions for each status.

도 2는 본 발명의 일실시예에 따른 드론 장애진단시스템에서 활용하는 주요 로그의 일례를 나타낸 도면이다.FIG. 2 is a drawing showing an example of a main log utilized in a drone failure diagnosis system according to one embodiment of the present invention.

도면에 도시한 바와 같이, 본 발명의 일실시예에서 총 108가지 드론의 로그 중에서, 드론의 고장 진단에 활용되는 예측 대상 주요 로그를 15가지 선정할 수 있다. 이는 실제 드론의 비행과 관련이 높은 로그로 사전에 전문가로부터 선별되어 저장된 정보일 수 있다.As shown in the drawing, in one embodiment of the present invention, among a total of 108 drone logs, 15 main logs that are predicted to be used for drone failure diagnosis can be selected. These may be information that has been selected and stored in advance by experts as logs highly related to actual drone flights.

본 실시예에서는 기체자세 Roll, 기체자세 Pitch, 기체자세 Yaw, X축 진동, Y축 진동, Z축 진동 등 비행제어 컴퓨터(FC)로부터 수집되는 로그 정보 6가지와, X축 가속도, Y축 가속도, Z축 가속도, X축 각속도, Y축 각속도, Z축 각속도, X축 자기장, Y축 자기장, Z축 자기장 등 총 9가지 관성측정장치(IMU)에서 수집되는 로그 정보를 주요 로그로 선별할 수 있다.In this embodiment, six types of log information collected from a flight control computer (FC), including aircraft attitude Roll, aircraft attitude Pitch, aircraft attitude Yaw, X-axis vibration, Y-axis vibration, and Z-axis vibration, and a total of nine types of log information collected from an inertial measurement unit (IMU), including X-axis acceleration, Y-axis acceleration, Z-axis acceleration, X-axis angular velocity, Y-axis angular velocity, Z-axis angular velocity, X-axis magnetic field, Y-axis magnetic field, and Z-axis magnetic field, can be selected as main logs.

이 15가지 주요 로그와 관련성 높은 로그를 나머지 로그들 중에서 선별하고 이를 학습시켜 선별된 로그들을 입력값으로 하여 각 주요 로그를 예측하도록 하며, 이 예측 값과 실제 주요 로그의 값을 비교함으로써, 이상 여부를 판단할 수 있게 된다.Logs highly related to these 15 major logs are selected from the remaining logs, and these are trained to predict each major log using the selected logs as input values. By comparing the predicted values with the actual values of the major logs, it is possible to determine whether there is an abnormality.

도 3은 본 발명의 일실시예에 따른 드론 장애진단시스템에서 주요 로그 및 일반 로그를 활용하는 일례를 나타낸 도면이다.FIG. 3 is a drawing showing an example of utilizing main logs and general logs in a drone failure diagnosis system according to one embodiment of the present invention.

도면에서 좌측 첫 번째 열에 검은 색으로 표시된 로그가 15가지 주요 로그이며, 흰 색으로 표시된 로그는 일반 로그에 해당한다. 여기에서 붉은 색으로 표시된 첫 번째 주요 로그와 나머지 107개(주요 로그 14개, 일반 로그 93개)의 상관계수를 구해보고, 이 중 0.3 이상의 양의 상관관계를 가지는 로그들을 선별하게 된다. 도면에서 파란 색으로 표시된 로그 4가지가 이와 같이 붉은색 주요 로그를 예측하는 데에 활용될 수 있는 로그로 선별된 로그들이다.In the diagram, the logs marked in black in the first column on the left are 15 major logs, and the logs marked in white are general logs. Here, the correlation coefficient between the first major log marked in red and the remaining 107 (14 major logs and 93 general logs) is calculated, and among these, logs with a positive correlation of 0.3 or more are selected. The four logs marked in blue in the diagram are the logs selected as logs that can be utilized to predict the red major log.

이후, 드론에서 실시간으로 로그 데이터가 입력되면, 파란 색으로 표시된 로그들을 입력 값으로 하여, 예측 모델을 통해 로그 값을 예측하고, 예측된 값을 붉은 로그의 실제 값과 비교하여 이상 여부를 판단하게 된다.Afterwards, when log data is input in real time from the drone, the logs marked in blue are used as input values to predict the log values through a prediction model, and the predicted values are compared with the actual values of the red logs to determine whether there is an abnormality.

이와 같은 과정이 좌측 1열의 15가지 로그에 대해서 모두 이루어지게 되면 15개 중 몇 개의 주요 로그에 대해서 임계치를 초과하는 예측 오류가 존재하는지를 확인할 수 있게 되고, 이 개수에 따라서 드론의 상태를 판별할 수 있게 된다.When this process is performed on all 15 logs in the left column, it becomes possible to check how many major logs among the 15 have prediction errors exceeding the threshold, and based on this number, the status of the drone can be determined.

도 4는 본 발명의 일실시예에 따른 드론 장애진단방법의 흐름을 도시한 도면이다.FIG. 4 is a diagram illustrating the flow of a drone failure diagnosis method according to an embodiment of the present invention.

본 발명에 따른 드론 장애진단방법은 중앙처리장치 및 메모리를 구비하는 드론 장애진단시스템(101)에서 동작하는 방법으로, 앞서 설명한 드론 장애진단시스템(101)에서 구동될 수 있다.The drone failure diagnosis method according to the present invention is a method that operates in a drone failure diagnosis system (101) equipped with a central processing unit and memory, and can be operated in the drone failure diagnosis system (101) described above.

따라서, 드론 장애진단방법은 상술한 드론 장애진단시스템(101)에 대하여 설명된 특징적인 구성을 모두 포함하고 있으며, 아래의 설명에서 설명되지 않은 내용도 상술한 드론 장애진단시스템(101)에 대한 설명을 참조하여 구현할 수 있다.Accordingly, the drone failure diagnosis method includes all of the characteristic configurations described for the drone failure diagnosis system (101) described above, and contents not described in the description below can also be implemented by referring to the description for the drone failure diagnosis system (101) described above.

학습 데이터 생성 단계(S401)는 드론의 비행 과정에서 생성되는 복수의 로그 데이터로부터 학습 데이터를 생성한다. 본 발명에서는 인공지능 기술을 이용하여 드론의 고장을 진단하는데, 인공지능 기술은 일반적으로 다양한 상황을 나타내는 학습 데이터를 이용하여 학습을 시키고 이를 통해 모델을 생성함으로써, 생성된 모델이 원하는 답을 찾아낼 수 있도록 한다. 일반적으로 인공지능을 이용하여 드론 등의 기기 상태를 모니터링하는 경우, 몇 가지 주요 상태정보를 입력으로 하고 고장 및 정상 상태를 결과값으로 하여 고장상태를 진단하였는데, 이 경우 주어진 몇 가지 상태만을 확인할 수 있어, 진단의 정확도가 높지 않다는 문제점이 있다. 또한, 드론이 정상상태인지 비정상상태인지를 나타내는 정답 정보가 존재해야 하기 때문에, 학습 데이터를 확보하는 데에 어려움이 있다.The learning data generation step (S401) generates learning data from a plurality of log data generated during the drone's flight process. In the present invention, a drone's failure is diagnosed using artificial intelligence technology. The artificial intelligence technology generally uses learning data representing various situations to perform learning and generates a model through this, thereby enabling the generated model to find a desired answer. In general, when monitoring the status of a device such as a drone using artificial intelligence, a few key status information is input and a failure and normal status are used as result values to diagnose the failure status. In this case, there is a problem that only a few given statuses can be confirmed, so the accuracy of the diagnosis is not high. In addition, since there must be correct answer information indicating whether the drone is in a normal or abnormal state, it is difficult to secure learning data.

그러나, 학습 데이터 생성 단계(S401)에서 생성하는 학습 데이터는 드론과 관련된 다양한 로그들을 수집하고, 드론의 상태가 정상인지 비정상인지에 대한 정보가 없이도 학습 데이터를 생성할 수 있도록 하는 것을 특징으로 한다.However, the learning data generated in the learning data generation step (S401) is characterized by being able to collect various logs related to the drone and generate learning data without information on whether the drone's status is normal or abnormal.

학습 데이터 생성 단계(S401)에서 학습 데이터를 생성하기 위해 활용하는 복수의 로그 데이터는 어떤 상태를 나타내는 로그인지에 따라서 주요 로그 및 일반 로그로 구분될 수 있다. 주요 로그는 드론의 상태 이상 여부를 확인하는 데에 중요한 로그로 드론의 상태를 보다 직접적으로 나타내는 로그를 의미한다. 본 발명에서 설명하는 실시예에서 드론의 로그는 총 108가지가 수집될 수 있으며, 이 중 15가지가 주요 로그로 선별될 수 있다. 주요 로그에 대해서는 도 2에 도시되어 있으며 도 2에서 보다 상세하게 설명하도록 한다.In the learning data generation step (S401), multiple log data used to generate learning data can be classified into main logs and general logs depending on the status of the logs. The main logs are important logs for checking whether the drone is in an abnormal state, and refer to logs that more directly indicate the drone's status. In the embodiment described in the present invention, a total of 108 drone logs can be collected, and 15 of them can be selected as main logs. The main logs are illustrated in FIG. 2 and will be described in more detail in FIG. 2.

학습 데이터 생성 단계(S401)에서는 상기 주요 로그 각각에 대해서 각 주요 로그를 예측할 수 있는 로그들을 선정하여 학습 데이터로 생성할 수 있다. 위의 예에서 총 15개의 주요 로그들중 어느 하나의 주요 로그에 대해 전체 로그 108개 중 해당 로그를 제외한 나머지 107개를 두고 이 중 해당 로그를 예측하는 데에 활용될 수 있는 로그를 선별한다. 이와 같은 과정을 15개 전체 주요 로그에 대해서 수행함으로써, 15가지 학습 데이터 세트가 생성될 수 있다.In the learning data generation step (S401), for each of the above major logs, logs that can predict each major log can be selected and generated as learning data. In the example above, for one of the 15 major logs, out of the total 108 logs, excluding the corresponding log, the remaining 107 logs are selected and the log that can be used to predict the corresponding log is selected. By performing this process for all 15 major logs, 15 learning data sets can be generated.

이 때, 학습 데이터 생성부(110)는 각 주요 로그와 소정의 기준치 이상의 상관계수를 가지는 로그들을 각 주요 로그를 예측할 수 있는 로그들로 선정할 수 있다. 예를 들어 하나의 주요 로그에 대해서 나머지 107개의 로그들과의 상관계수를 구하고, 이 값이 0.3 이상으로 양의 상관관계를 가지는 로그들을 해당 로그를 예측할 수 있는 유의미한 관계의 로그로 선정할 수 있다. 이처럼 본 발명에서는 특정 로그가 정상 상태인지를 모델로 판단하는 것이 아니라, 비행과 관련되는 주요 로그를 관련있는 다른 로그로 예측해 보고 그 예측 값이 실제 값과 차이나는 정도를 바탕으로 고장여부를 판단하게 되므로, 드론의 이상 또는 정상 상태에 대한 정답정보가 없이도 드론의 상태를 판단할 수 있게 된다.At this time, the learning data generation unit (110) can select logs having a correlation coefficient higher than a predetermined standard value with each major log as logs that can predict each major log. For example, the correlation coefficient with the remaining 107 logs can be calculated for one major log, and logs having a positive correlation of 0.3 or higher can be selected as logs with a significant relationship that can predict the corresponding log. In this way, the present invention does not determine whether a specific log is normal using a model, but predicts a major log related to flight using another related log and determines whether there is a failure based on the degree of difference between the predicted value and the actual value. Therefore, it is possible to determine the status of the drone even without correct information on the abnormality or normal status of the drone.

또한, 학습 데이터 생성 단계(S401)는 드론의 기체 종류(쿼드콥터, 헥사콥터, 옥타콥터)에 따라서 각각 학습 데이터 세트를 구성할 수 있고, 결국 주요 로그가 위 예시에서와 같이 15개라고 한다면, 총 45개의 모델을 생성하기 위한 학습 데이터 세트를 생성할 수 있다.In addition, the learning data generation step (S401) can configure a learning data set for each drone body type (quadcopter, hexacopter, octacopter), and ultimately, if the main logs are 15 as in the example above, a learning data set can be generated to create a total of 45 models.

로그 예측 모델 생성 단계(S402)는 상기 생성된 학습 데이터를 이용하여 상기 복수의 로그 중 적어도 하나의 로그에 대한 예측 모델을 생성한다. 앞서 설명한 바와 같이, 로그는 주요 로그와 일반 로그로 결정되는데, 상기 생성된 학습 데이터를 이용하여 주요 로그들을 예측할 수 있도록 하는 예측 모델을 생성하게 된다. 이 때, 모델의 입력 값은 상기 생성된 학습 데이터에 포함된 각각의 주요 로그를 예측하기 위해 선정된 로그들이 될 수 있다.The log prediction model generation step (S402) generates a prediction model for at least one of the plurality of logs using the generated learning data. As described above, the logs are determined as major logs and general logs, and a prediction model that can predict major logs is generated using the generated learning data. At this time, the input values of the model can be logs selected to predict each major log included in the generated learning data.

이 때, 로그 예측 모델 생성 단계(S402)는 그래디언트 부스티드 트리(GBT) 회귀모델에서 잔차가 최소화되는 모델을 선정하여 상기 예측 모델로 생성할 수 있다. 이를 통해 본 발명에서는 관련성 높은 여러 로그들을 입력값으로 하여 비행 상태에 관한 중요한 정보를 나타내는 주요 로그를 예측하고, 예측된 주요 로그 값이 실제 드론의 해당 주요 로그 값과 차이가 나는 경우 이상이 있을 가능성이 있다고 판단하도록 할 수 있다.At this time, the log prediction model generation step (S402) can select a model that minimizes the residual from the gradient boosted tree (GBT) regression model and generate the prediction model. Through this, the present invention can predict key logs that represent important information about the flight status by using several highly relevant logs as input values, and if the predicted key log value differs from the corresponding key log value of the actual drone, it can be determined that there is a possibility of an abnormality.

로그별 임계치 설정 단계(S403)는 상기 생성된 로그 예측 모델을 기초로 예측된 로그 값과 실제 로그 값의 차이에 대한 로그별 임계치를 저장한다. 상술한 바와 같이, 예측 모델을 통해 주요 로그들을 예측한 뒤에 실제 로그 값과의 차이에 따라 고장 여부를 판단하기 위해서는 기준이 필요한데, 그 기준이 되는 것이 상기 로그별 임계치가 된다.The log-by-log threshold setting step (S403) stores the log-by-log threshold for the difference between the predicted log value and the actual log value based on the generated log prediction model. As described above, in order to determine whether there is a failure based on the difference from the actual log value after predicting the main logs through the prediction model, a standard is needed, and the log-by-log threshold becomes that standard.

로그별 임계치 설정 단계(S403)에서 설정하는 로그별 임계치는 정상 비행데이터를 이용하여 예측하였을 경우의 차이(잔차)와 비정상 비행데이터를 이용하여 예측하였을 경우의 차이(잔차)의 분포를 분석하고 이를 통해 정상과 비정상을 구분할 수 있는 수치로 선정할 수 있다. 예측 모델이 주요 로그별로 생성되기 때문에, 임계치 또한 각각 생성된 모델별로 하나씩 설정되게 된다.The log-specific threshold set in the log-specific threshold setting step (S403) can be selected as a numerical value that can distinguish between normal and abnormal by analyzing the distribution of the difference (residual) when predicting using normal flight data and the difference (residual) when predicting using abnormal flight data. Since the prediction model is generated for each major log, the threshold is also set for each generated model.

로그 데이터 수신 단계(S404)는 비행중인 드론으로부터 복수의 로그 데이터를 수신한다. 이 때에는 실제 드론으로부터 수신되는 실시간 정보들을 수신할 수 있는데, 드론의 센서로부터 직접 정보를 수신하거나 관제 시스템을 통하여 정보를 수신하는 것이 가능하다.The log data receiving step (S404) receives multiple log data from a drone in flight. At this time, real-time information received from an actual drone can be received, and it is possible to receive information directly from the drone's sensor or through a control system.

위 예시에서, 로그 데이터 수신 단계(S404)는 108가지 드론 비행 관련 로그를 실시간으로 수신하고 이를 15가지 예측 모델에 적용함으로써, 드론의 상태를 분석할 수 있도록 한다.In the above example, the log data receiving step (S404) receives 108 drone flight-related logs in real time and applies them to 15 prediction models, thereby enabling analysis of the drone's status.

드론 상태 판단 단계(S405)는 상기 예측 모델을 이용하여 상기 수신한 로그 데이터 중 적어도 하나의 로그에 대한 예측 값을 생성하고, 실제 로그 값과 예측 값의 차이가 상기 저장된 로그별 임계치를 초과하는지 확인하고, 그 결과에 따라 드론의 상태를 판단한다.The drone status judgment step (S405) uses the prediction model to generate a prediction value for at least one log among the received log data, checks whether the difference between the actual log value and the predicted value exceeds the threshold for each stored log, and judges the drone status based on the result.

드론 상태 판단 단계(S405)는 이를 위하여 상기 주요 로그 각각에 대한 실제 로그 값 및 예측 값의 차이가 상기 저장된 로그별 임계치를 초과하는지 확인하고, 로그별 임계치를 초과하는 주요 로그가 전체 주요 로그에서 차지하는 비중을 기초로 드론의 상태를 판단할 수 있다.The drone status judgment step (S405) checks whether the difference between the actual log value and the predicted value for each of the above major logs exceeds the threshold for each stored log, and the drone status can be judged based on the proportion of the major logs exceeding the threshold for each log in the entire major logs.

예를 들어, 드론 상태 판단 단계(S405)는 15가지 주요 로그들에 대해서 예측 값과 실제 값을 비교하고 임계치를 초과하는 주요 로그가 0개-4개일 경우 드론의 상태를 정상으로 판단하고, 5개-10개일 경우 주의상태로 판단하며, 11개-15개일 경우 비상상태로 판단하여 각각의 상황에 맞는 조치를 취할 수 있다. 이처럼 주요 로그 중 예측 값과 실제 값에 차이가 크게 나는 로그들이 얼마나 많은지에 따라 드론의 상태가 판단되게 되므로, 단순히 한 두 가지의 로그가 정상 범위를 벗어나는지 여부만으로 드론의 상태를 파악하는 것에 비해 보다 정교한 상태 분석이 가능하게 된다.For example, the drone status judgment step (S405) compares the predicted values and the actual values for 15 major logs, and if there are 0-4 major logs exceeding the threshold, the drone status is judged as normal, if there are 5-10 major logs, it is judged as a caution state, and if there are 11-15 major logs, it is judged as an emergency state, and appropriate measures can be taken for each situation. In this way, the drone status is judged based on how many logs among the major logs have a large difference between the predicted values and the actual values, so a more sophisticated status analysis is possible compared to simply determining the drone status by whether one or two logs are out of the normal range.

드론 상태 판단 단계(S405)는 이처럼 상기 로그별 임계치를 초과하는 주요 로그가 전체 주요 로그에서 차지하는 비중에 따라서, 드론의 상태를 정상, 주의 및 비상 상태로 구분하고, 판단된 드론의 상태를 관제사에 제공할 수 있다. 또한, 주의 상태 또는 비상 상태일 경우, 후보 착륙지 목록을 제공하여 자동착륙을 유도할 수도 있고, 지도 상의 착륙지를 관제사가 선택하여 자동 착륙하도록 할 수 있다. 또한, 비상 상태인 경우에는 관제사가 직접 드론을 원격지에서 수동 제어할 수 있는 모드를 제공하는 것도 가능하다.The drone status judgment step (S405) can classify the drone status into normal, caution, and emergency status based on the proportion of major logs exceeding the above-mentioned log threshold in the entire major logs, and provide the determined drone status to the controller. In addition, in the case of a caution or emergency status, a list of candidate landing sites can be provided to induce automatic landing, or the controller can select a landing site on the map to perform automatic landing. In addition, in the case of an emergency status, it is also possible to provide a mode in which the controller can directly control the drone remotely and manually.

드론 상태 판단 단계(S405)는 로그의 종류나 주요 로그의 개수 등에 따라서 드론의 상태를 보다 더 세분화하여 상태별 맞춤 알림 및 보조 기능을 제공하도록 할 수 있다.The drone status judgment step (S405) can further segment the drone status based on the type of log, the number of major logs, etc., to provide customized notifications and auxiliary functions for each status.

본 발명에 따른 드론 장애진단방법은 컴퓨터가 실행하도록 기능시키기 위한 프로그램으로 제작되어 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.The drone failure diagnosis method according to the present invention can be produced as a program for causing a computer to execute the program and recorded on a computer-readable recording medium.

컴퓨터로 읽을 수 있는 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CDROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable storage media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical storage media such as CDROMs and DVDs, magneto-optical media such as floptical disks, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, and flash memory.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter, etc. The hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있다.Although the present invention has been described above with reference to embodiments, those skilled in the art can modify and change the present invention in various ways without departing from the spirit and scope of the present invention as set forth in the claims below.

101: 드론 장애진단시스템
110: 학습 데이터 생성부 120: 로그 예측 모델 생성부
130: 로그별 임계치 설정부 140: 로그 데이터 수신부
150: 드론 상태 판단부
101: Drone failure diagnosis system
110: Learning data generation section 120: Log prediction model generation section
130: Log-specific threshold setting section 140: Log data receiving section
150: Drone status judgment unit

Claims (13)

드론의 비행 과정에서 생성되는 복수의 로그 데이터로부터 학습 데이터를 생성하는 학습 데이터 생성부;
상기 생성된 학습 데이터를 이용하여 상기 복수의 로그 중 적어도 하나의 로그에 대한 예측 모델을 생성하는 로그 예측 모델 생성부;
상기 생성된 로그 예측 모델을 기초로 예측된 로그 값과 실제 로그 값의 차이에 대한 로그별 임계치를 저장하는 로그별 임계치 설정부;
비행중인 드론으로부터 복수의 로그 데이터를 수신하는 로그 데이터 수신부; 및
상기 예측 모델을 이용하여 상기 수신한 로그 데이터 중 적어도 하나의 로그에 대한 예측 값을 생성하고, 실제 로그 값과 예측 값의 차이가 상기 저장된 로그별 임계치를 초과하는지 확인하고, 그 결과에 따라 드론의 상태를 판단하는 드론 상태 판단부를 포함하고,
상기 복수의 로그 데이터에 포함된 로그는 주요 로그 및 일반 로그로 구분되고,
상기 학습 데이터 생성부는
상기 주요 로그 각각에 대해서 각 주요 로그를 예측할 수 있는 로그들을 선정하여 학습 데이터로 생성하고,
상기 로그 예측 모델 생성부는
상기 선정된 로그들을 입력 값으로 하여 각 주요 로그를 예측하는 예측 모델을 생성하는 것
을 특징으로 하는 드론 장애진단시스템.
A learning data generation unit that generates learning data from multiple log data generated during the drone's flight process;
A log prediction model generation unit that generates a prediction model for at least one log among the plurality of logs using the generated learning data;
A log-by-log threshold setting unit that stores a log-by-log threshold for the difference between the predicted log value and the actual log value based on the generated log prediction model;
A log data receiving unit for receiving multiple log data from a flying drone; and
A drone status determination unit is included that generates a prediction value for at least one log among the received log data using the prediction model, checks whether the difference between the actual log value and the predicted value exceeds a threshold for each stored log, and determines the status of the drone based on the result.
The logs included in the above multiple log data are divided into main logs and general logs.
The above learning data generation unit
For each of the above major logs, logs that can predict each major log are selected and created as learning data.
The above log prediction model generation unit
Creating a prediction model that predicts each major log using the above-mentioned selected logs as input values.
A drone failure diagnosis system featuring:
삭제delete 제1항에 있어서,
상기 학습 데이터 생성부는
각 주요 로그와 소정의 기준치 이상의 상관계수를 가지는 로그들을 각 주요 로그를 예측할 수 있는 로그들로 선정하는 것
을 특징으로 하는 드론 장애진단시스템.
In the first paragraph,
The above learning data generation unit
Selecting logs that have a correlation coefficient higher than a certain standard value with each major log as logs that can predict each major log.
A drone failure diagnosis system featuring:
제3항에 있어서,
상기 로그 예측 모델 생성부는
그래디언트 부스티드 트리(GBT) 회귀모델에서 잔차가 최소화되는 모델을 선정하여 상기 예측 모델로 생성하는 것
을 특징으로 하는 드론 장애진단시스템.
In the third paragraph,
The above log prediction model generation unit
Selecting a model that minimizes residuals from a gradient boosted tree (GBT) regression model and generating it as the above prediction model.
A drone failure diagnosis system featuring:
제1항에 있어서,
상기 드론 상태 판단부는
상기 주요 로그 각각에 대한 실제 로그 값 및 예측 값의 차이가 상기 저장된 로그별 임계치를 초과하는지 확인하고, 로그별 임계치를 초과하는 주요 로그가 전체 주요 로그에서 차지하는 비중을 기초로 드론의 상태를 판단하는 것
을 특징으로 하는 드론 장애진단시스템.
In the first paragraph,
The above drone status judgment unit
Check whether the difference between the actual log value and the predicted value for each of the above major logs exceeds the threshold for each of the above stored logs, and determine the status of the drone based on the proportion of the major logs exceeding the threshold for each log in the entire major logs.
A drone failure diagnosis system featuring:
제5항에 있어서,
상기 드론 상태 판단부는
상기 로그별 임계치를 초과하는 주요 로그가 전체 주요 로그에서 차지하는 비중에 따라서, 드론의 상태를 정상, 주의 및 비상 상태로 구분하고,
판단된 드론의 상태를 관제사에 제공하는 것
을 특징으로 하는 드론 장애진단시스템.
In paragraph 5,
The above drone status judgment unit
Depending on the proportion of major logs exceeding the above log threshold in the total major logs, the drone status is classified into normal, caution, and emergency status.
Providing the status of the determined drone to the controller
A drone failure diagnosis system featuring:
중앙처리장치 및 메모리를 구비하는 드론 장애진단시스템에서 동작하는 드론 장애진단방법에 있어서,
드론의 비행 과정에서 생성되는 복수의 로그 데이터로부터 학습 데이터를 생성하는 학습 데이터 생성 단계;
상기 생성된 학습 데이터를 이용하여 상기 복수의 로그 중 적어도 하나의 로그에 대한 예측 모델을 생성하는 로그 예측 모델 생성 단계;
상기 생성된 로그 예측 모델을 기초로 예측된 로그 값과 실제 로그 값의 차이에 대한 로그별 임계치를 저장하는 로그별 임계치 설정 단계;
비행중인 드론으로부터 복수의 로그 데이터를 수신하는 로그 데이터 수신 단계; 및
상기 예측 모델을 이용하여 상기 수신한 로그 데이터 중 적어도 하나의 로그에 대한 예측 값을 생성하고, 실제 로그 값과 예측 값의 차이가 상기 저장된 로그별 임계치를 초과하는지 확인하고, 그 결과에 따라 드론의 상태를 판단하는 드론 상태 판단 단계를 포함하고,
상기 복수의 로그 데이터에 포함된 로그는 주요 로그 및 일반 로그로 구분되고,
상기 학습 데이터 생성 단계는
상기 주요 로그 각각에 대해서 각 주요 로그를 예측할 수 있는 로그들을 선정하여 학습 데이터로 생성하고,
상기 로그 예측 모델 생성 단계는
상기 선정된 로그들을 입력 값으로 하여 각 주요 로그를 예측하는 예측 모델을 생성하는 것
을 특징으로 하는 드론 장애진단방법.
In a drone failure diagnosis method operating in a drone failure diagnosis system equipped with a central processing unit and memory,
A learning data generation step for generating learning data from multiple log data generated during the drone's flight process;
A log prediction model generation step for generating a prediction model for at least one log among the plurality of logs using the generated learning data;
A log-by-log threshold setting step for storing a log-by-log threshold for the difference between the predicted log value and the actual log value based on the generated log prediction model;
A log data receiving step for receiving multiple log data from a flying drone; and
A drone status judgment step is included, which generates a prediction value for at least one log among the received log data using the prediction model, checks whether the difference between the actual log value and the predicted value exceeds the threshold for each stored log, and determines the status of the drone based on the result.
The logs included in the above multiple log data are divided into main logs and general logs.
The above learning data generation step is
For each of the above major logs, logs that can predict each major log are selected and created as learning data.
The above log prediction model generation steps are
Creating a prediction model that predicts each major log using the above-mentioned selected logs as input values.
A drone failure diagnosis method characterized by:
삭제delete 제7항에 있어서,
상기 학습 데이터 생성 단계는
각 주요 로그와 소정의 기준치 이상의 상관계수를 가지는 로그들을 각 주요 로그를 예측할 수 있는 로그들로 선정하는 것
을 특징으로 하는 드론 장애진단방법.
In Article 7,
The above learning data generation step is
Selecting logs that have a correlation coefficient higher than a certain standard value with each major log as logs that can predict each major log.
A drone failure diagnosis method characterized by .
제9항에 있어서,
상기 로그 예측 모델 생성 단계는
그래디언트 부스티드 트리(GBT) 회귀모델에서 잔차가 최소화되는 모델을 선정하여 상기 예측 모델로 생성하는 것
을 특징으로 하는 드론 장애진단방법.
In Article 9,
The above log prediction model generation steps are
Selecting a model that minimizes residuals from a gradient boosted tree (GBT) regression model and generating it as the above prediction model.
A drone failure diagnosis method characterized by .
제7항에 있어서,
상기 드론 상태 판단 단계는
상기 주요 로그 각각에 대한 실제 로그 값 및 예측 값의 차이가 상기 저장된 로그별 임계치를 초과하는지 확인하고, 로그별 임계치를 초과하는 주요 로그가 전체 주요 로그에서 차지하는 비중을 기초로 드론의 상태를 판단하는 것
을 특징으로 하는 드론 장애진단방법.
In Article 7,
The above drone status judgment step is
Check whether the difference between the actual log value and the predicted value for each of the above major logs exceeds the threshold for each of the above stored logs, and determine the status of the drone based on the proportion of the major logs exceeding the threshold for each log in the entire major logs.
A drone failure diagnosis method characterized by .
제11항에 있어서,
상기 드론 상태 판단 단계는
상기 로그별 임계치를 초과하는 주요 로그가 전체 주요 로그에서 차지하는 비중에 따라서, 드론의 상태를 정상, 주의 및 비상 상태로 구분하고,
판단된 드론의 상태를 관제사에 제공하는 것
을 특징으로 하는 드론 장애진단방법.
In Article 11,
The above drone status judgment step is
Depending on the proportion of major logs exceeding the above log threshold in the total major logs, the drone status is classified into normal, caution, and emergency status.
Providing the status of the determined drone to the controller
A drone failure diagnosis method characterized by .
제7항, 제9항 내지 제12항 중 어느 한 항의 방법을 컴퓨터가 실행하도록 기능시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for causing a computer to execute the method of any one of claims 7, 9, to 12.
KR1020220141977A 2022-10-31 2022-10-31 A Drone Flight Control and Diagnosing System and Method therefor KR102697177B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220141977A KR102697177B1 (en) 2022-10-31 2022-10-31 A Drone Flight Control and Diagnosing System and Method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220141977A KR102697177B1 (en) 2022-10-31 2022-10-31 A Drone Flight Control and Diagnosing System and Method therefor

Publications (2)

Publication Number Publication Date
KR20240060910A KR20240060910A (en) 2024-05-08
KR102697177B1 true KR102697177B1 (en) 2024-08-21

Family

ID=91074163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220141977A KR102697177B1 (en) 2022-10-31 2022-10-31 A Drone Flight Control and Diagnosing System and Method therefor

Country Status (1)

Country Link
KR (1) KR102697177B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101860015B1 (en) * 2016-09-13 2018-05-21 주식회사 코이노 IoT device manager for providing before service based on error prediction
KR101993475B1 (en) * 2017-09-26 2019-09-27 주식회사 코이노 Apparatus and method for managing drone device based on error prediction
KR102261899B1 (en) 2019-11-15 2021-06-07 주식회사 스마티 Apparatus and method for diagnosing fault of drone

Also Published As

Publication number Publication date
KR20240060910A (en) 2024-05-08

Similar Documents

Publication Publication Date Title
US9725186B2 (en) Methods and systems for requesting and retrieving aircraft data during flight of an aircraft
US20130197739A1 (en) Methods and systems for aircraft health and trend monitoring
US20040176887A1 (en) Aircraft condition analysis and management system
US8521341B2 (en) Methods and systems for fault determination for aircraft
US11776330B2 (en) Closed-loop diagnostic model maturation for complex systems
US11760507B2 (en) Onboard diagnosis and correlation of failure data to maintenance actions
CN105404268A (en) Vehicle auditing and control of maintenance and diagnosis for vehicle systems
JP2019511061A (en) System and method for determining aircraft data recording frame configuration with a focus on maintenance
RU2128854C1 (en) System of crew support in risky situations
Cleland-Huang et al. Towards real-time safety analysis of small unmanned aerial systems in the national airspace
US10861259B2 (en) Method for testing the integrity of the avionics of an aircraft, associated device and computer program product
CN114104329A (en) Automated prediction of fixes based on sensor data
KR102697177B1 (en) A Drone Flight Control and Diagnosing System and Method therefor
Zibaei et al. Diagnosis of safety incidents for cyber-physical systems: A uav example
Garrido et al. Fault injection, detection and treatment in simulated autonomous vehicles
de Matos et al. Using design patterns for safety assessment of integrated modular avionics
Ortiz et al. Multi source data integration for aircraft health management
CN113906304A (en) Layered software architecture for aircraft systems for sensing and avoiding foreign objects
EP4082000A1 (en) Simulation architecture for safety testing of aircraft monitoring software
KR102671666B1 (en) Method and device for predicting failure of onboard equipments of military unmanned aerial vehicle
US20230245507A1 (en) Efficient Feature Reduction For Component Fault Prediction
Goseva-Popstojanova et al. The Anatomy of Software Changes and Bugs in Autonomous Operating System
Bompilwar et al. Safe-to-fly: An On-board Intelligent Fault Diagnosis System With AutoML for Unmanned Aerial Vehicles
Al Islam Real-Time Detection and Diagnosis of Flight Anomalies in Small Unmanned Aerial Systems
Quan et al. Health Evaluation and Failsafe

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right