KR101879735B1 - Method and apparatus for automatic generating training data and self-learning apparatus and method using the same - Google Patents
Method and apparatus for automatic generating training data and self-learning apparatus and method using the same Download PDFInfo
- Publication number
- KR101879735B1 KR101879735B1 KR1020170032271A KR20170032271A KR101879735B1 KR 101879735 B1 KR101879735 B1 KR 101879735B1 KR 1020170032271 A KR1020170032271 A KR 1020170032271A KR 20170032271 A KR20170032271 A KR 20170032271A KR 101879735 B1 KR101879735 B1 KR 101879735B1
- Authority
- KR
- South Korea
- Prior art keywords
- images
- learning data
- image
- learning
- recognition
- Prior art date
Links
Images
Classifications
-
- G06K9/6201—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G06K9/627—
-
- G06N99/005—
-
- G06K2017/0093—
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 머신 러닝 과정에서 필요한 레이블된 학습데이터를 자동적으로 생성할 수 있는 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법에 관한 것이다. The present invention relates to a learning data generation method and apparatus capable of automatically generating required labeled learning data in a machine learning process, and a self learning apparatus and method using the same.
머신 러닝(machine learning) 또는 기계 학습은 인공 지능의 한 분야로, 컴퓨터에 미리 준비된 학습데이터를 훈련시켜, 훈련된 지식을 기반으로 새로운 입력에 대하여 적절한 답을 찾고자 하는 일련의 과정이라 할 수 있다. 이때, 컴퓨터를 훈련시키는 학습데이터가 질문(training input)과 정답(training output)이 모두 주어진 경우, 레이블링(labeling) 되어 있다고 한다. Machine learning or machine learning is a field of artificial intelligence that is a series of processes in which a computer prepares training data in advance and seeks appropriate answers to new inputs based on trained knowledge. At this time, it is said that the training data to train the computer is labeled if both the training input and the training output are given.
한편, 객체 검출(object detection)은 이미지 또는 동영상에서 특정 객체의 위치와 종류를 구별해내는 문제인데, 객체 검출에 머신 러닝을 이용하기 위해서는, 수많은 레이블된 학습데이터가 필요하다.On the other hand, object detection is a problem of distinguishing the position and type of a specific object in an image or a moving picture. In order to use machine learning to detect an object, a lot of labeled learning data is required.
즉, 머신 러닝을 기반으로 객체 검출을 하는 경우, 특징 추출 및 학습 알고리즘과 함께 중요한 것이 레이블된 학습데이터의 수집에 있으며, 레이블된 학습데이터가 많이 제공되면 될수록, 학습은 더 효과적으로 진행될 수 있다.That is, in the case of object detection based on machine learning, in addition to the feature extraction and learning algorithm, the important thing is in the collection of labeled learning data, and the more the labeled learning data is provided, the more efficient the learning can proceed.
이를 위해서, 수천에서 수만 건의 레이블된 학습데이터가 필요하지만, 레이블된 학습데이터는 일반적으로 수동 작업으로 만들어지고 있는 실정이므로, 방대한 양의 레이블된 학습데이터를 구하는 것은 쉽지 않다. To this end, tens or even tens of thousands of labeled learning data are required, but labeled learning data is typically created as manual tasks, so it is difficult to obtain vast amounts of labeled learning data.
따라서, 객체 검출이나 기타 머신 러닝의 효과적인 학습을 위해서는, 자동적으로 레이블된 학습데이터를 생성하여 이용할 수 있도록 하는 방안이 필요하다.Therefore, in order to effectively learn object detection and other machine learning, it is necessary to automatically generate and use labeled learning data.
따라서, 본 발명의 목적은, 머신 러닝을 위한 레이블된 학습데이터를 자동적으로 생성할 수 있는 학습데이터 생성 방법 및 장치와 이를 통해 생성한 레이블된 학습데이터를 이용하여 자가 학습을 할 수 있는 자가 학습 장치 및 방법을 제공함에 있다.Accordingly, it is an object of the present invention to provide a learning data generating method and apparatus capable of automatically generating labeled learning data for machine learning, and a self learning apparatus capable of self learning using labeled learning data generated thereby And a method.
상기 목적을 달성하기 위한 본 발명에 따른 학습데이터 생성 방법은, 연속성을 갖는 다수의 이미지를 입력받는 단계, 상기 다수의 이미지에서 객체를 탐지 및 추적하는 단계, 상기 다수의 이미지와, 각 이미지에서 탐지 및 추적하여 인식된 객체와 인식률을 저장하는 단계, 및 상기 다수의 이미지에서 특정 객체의 인식률이 기설정된 임계값 이상인 이미지가 있으면, 상기 이미지에서 인식된 특정 객체를 최종 인식 객체로 상기 다수의 이미지를 레이블링하여 레이블된 데이터를 생성하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of generating learning data comprising: inputting a plurality of images having continuity; detecting and tracking an object in the plurality of images; And storing the recognized object and the recognition rate by tracing, and if there is an image whose recognition rate of a specific object is equal to or higher than a predetermined threshold value in the plurality of images, extracting the specific object recognized in the image as a final recognition object, And labeling and generating labeled data.
또한, 입력 영상에서 연속성 있는 이미지를 검출하여, 상기 다수의 이미지로 제공하는 단계와, 네트워크를 통해 다수의 장치로부터 수집한 영상을 상기 입력 영상으로 제공하는 단계를 더 포함할 수 있다. The method may further include detecting a continuous image in the input image and providing the continuous image as the plurality of images, and providing the collected image from the plurality of devices through the network.
상기 목적을 달성하기 위한 본 발명에 따른 자가 학습 방법은, 연속성을 갖는 다수의 이미지를 입력받는 단계, 상기 다수의 이미지에서 객체를 탐지 및 추적하는 단계, 상기 다수의 이미지와, 각 이미지에서 탐지 및 추적하여 인식된 객체와 인식률을 저장하는 단계, 상기 다수의 이미지에서 특정 객체의 인식률이 기설정된 임계값 이상인 이미지가 있으면, 상기 이미지에서 인식된 특정 객체를 최종 인식 객체로 상기 다수의 이미지를 레이블링하여 레이블된 데이터를 생성하여 저장하는 단계, 및 상기 레이블된 데이터를 훈련데이터로 이용하여 기계 학습하는 단계를 포함한다. According to an aspect of the present invention, there is provided a self-learning method comprising: inputting a plurality of images having continuity; detecting and tracking an object in the plurality of images; detecting the plurality of images; Storing the recognized object and the recognition rate when the recognition rate of the specific object in the plurality of images is equal to or greater than a preset threshold value; Generating and storing labeled data, and mechanically learning using the labeled data as training data.
또한, 상기 목적을 달성하기 위한 본 발명에 학습데이터 생성 장치는, 연속성을 갖는 다수의 이미지를 입력받는 영상 입력부, 상기 다수의 이미지에서 객체를 탐지 및 추적하여, 각 이미지에서 인식된 객체와 인식률에 대한 정보를 출력하는 객체 탐지부, 상기 다수의 이미지와, 상기 각 이미지에서 인식된 객체와 인식률에 대한 정보를 데이터베이스화하여 저장하는 단기경험 데이터베이스부, 및 상기 단기경험 데이터베이스부를 조회하여, 상기 다수의 이미지에서 특정 객체의 인식률이 기설정된 임계값 이상인 이미지가 있으면, 상기 이미지에서 인식된 특정 객체를 최종 인식 객체로 상기 다수의 이미지를 레이블링하여 레이블된 데이터를 생성하는 학습데이터 생성부를 포함한다.According to another aspect of the present invention, there is provided an apparatus for generating learning data, comprising: a video input unit receiving a plurality of images having continuity; an object detecting unit for detecting and tracking objects in the plurality of images, A short-term experience database unit for storing the plurality of images, the objects recognized in the respective images and the recognition rate information in a database, and a short-term experience database unit for inquiring the short-term experience database unit, And a learning data generator for generating the labeled data by labeling the plurality of images with a specific object recognized in the image as a final recognition object if the image has an image whose recognition rate of a specific object is equal to or higher than a preset threshold value.
또한, 상기 목적을 달성하기 위하여 본 발명에서는, 상기 학습데이터 생성 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체를 제공할 수 있다. In order to achieve the above object, according to the present invention, a processor-readable recording medium on which a program for causing the processor to execute the learning data generating method can be provided.
그리고, 본 발명에 따르면, 상기 학습데이터 생성 방법을 이용하여 생성한 레이블된 데이터를 훈련데이터로 이용하여 기계 학습할 수 있는 자가 학습 장치가 제공된다According to the present invention, there is provided a self-learning apparatus capable of performing machine learning using labeled data generated using the learning data generation method as training data
본 발명에 따르면, 머신 러닝을 위한 레이블된 학습데이터를 자동으로 생성할 수 있다. 이에 의해, 레이블된 학습데이터가 필요한 기계 학습을 효과적으로 진행할 수 있으며, 이를 통해 생성한 레이블된 학습데이터를 이용하여 자가 학습이 가능한 자가 학습 장치도 제공할 수 있다. 또한, 여러 곳에 분산 배치된 다양한 장치로부터 영상 데이터를 입력받아, 대규모로 레이블된 학습데이터를 생성할 수 있다. According to the present invention, labeled learning data for machine learning can be automatically generated. Thereby, it is possible to efficiently perform the machine learning requiring the labeled learning data, and it is possible to provide a self-learning apparatus capable of self-learning using the generated labeled learning data. In addition, it is possible to receive image data from various devices distributed in various places and generate large-scale labeled learning data.
도 1은 본 발명의 일실시예에 따른 학습데이터 생성 장치의 구성을 설명하기 위한 블럭도,
도 2는 본 발명의 일실시예에 따른 학습데이터 생성 방법에 대한 설명에 제공되는 흐름도,
도 3은 본 발명의 일실시예에 따른 학습데이터 생성 방법에 대한 설명에 참조되는 도면,
도 4는 본 발명의 다른 실시예에 따른 학습 데이터 생성 장치의 구성을 설명하기 위한 블럭도, 그리고
도 5는 본 발명에 따른 학습데이터 생성 방법을 이용하는 자가 학습 장치의 일 예를 나타낸 도면이다. 1 is a block diagram for explaining a configuration of a learning data generating apparatus according to an embodiment of the present invention;
FIG. 2 is a flowchart showing a method of generating learning data according to an embodiment of the present invention. FIG.
FIG. 3 is a flowchart illustrating a method of generating learning data according to an exemplary embodiment of the present invention. Referring to FIG. 3,
4 is a block diagram illustrating a configuration of a learning data generation apparatus according to another embodiment of the present invention, and FIG.
5 is a diagram showing an example of a self-learning apparatus using a learning data generating method according to the present invention.
본 명세서에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 어떤 구성요소에 다른 구성요소에 직접적으로 연결되어 있거나 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 또는 "~에 이웃하는" 등과, 어떤 구성요소가 다른 구성요소로 신호를 "전송한다" 와 같은 표현도 마찬가지로 해석되어야 한다.In this specification, when an element is referred to as being "connected" or "connected" to another element, it is to be understood that any element may be directly connected or connected to another element, It should be understood that the element may also be present. Other expressions that describe the relationship between components, such as "between" or " neighboring to ", should be interpreted as well, such that an element "transmits "
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, the present invention will be described in detail with reference to the drawings.
도 1은 본 발명의 일실시예에 따른 학습데이터 생성 장치의 구성을 설명하기 위한 블럭도이다.1 is a block diagram for explaining a configuration of a learning data generating apparatus according to an embodiment of the present invention.
도 1을 참조하면, 본 학습데이터 생성 장치(100)는 영상 입력부(110), 객체 탐지부(120), 단기경험 데이터베이스부(150), 및 학습데이터 생성부(160)를 포함할 수 있고, 객체 탐지부(120)는 객체 검출부(130)와 객체 추적부(140)를 포함할 수 있다.1, the learning
이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.When such components are implemented in practical applications, two or more components may be combined into one component, or one component may be divided into two or more components as necessary.
영상 입력부(110)는 영상 데이터를 입력받으며, 카메라나 기타 영상 데이터를 입력받을 수 있는 장치 등이 포함될 수 있다. 영상 입력부(110)는 이미지 센서 등에 의해 얻어지는 정지영상이나 동영상 등의 화상 프레임을 처리할 수 있으며, 동일한 객체를 포함하는 시간적으로 연속성 있는 이미지를 출력할 수 있다.The
객체 탐지부(120)는 객체 검출부(130)와 객체 추척부(140)를 포함할 수 있으며, 영상 입력부(110)에서 출력되는 이미지에서 특징점 등을 추출하여, 특정 객체가 존재하는지 여부, 객체의 존재시 그 위치와 종류, 연속되는 이미지에서 객체의 위치 추적 등을 할 수 있다. 이에 의해, 객체 탐지부(120)는 각 이미지에서 인식된 객체와 인식된 객체의 인식률에 대한 정보를 출력할 수 있다. 이미지에서 객체를 인식하는 방법과, 인식된 객체에 대한 인식률 정보를 산출하는 방법에는 기존에 알려진 다양한 방식과 알고리즘이 사용될 수 있다.The
단기경험 데이터베이스부(150)에는 영상 입력부(110)에서 출력되는 이미지와, 객체 탐지부(120)에서 출력되는 각 이미지에서 인식된 객체와 인식률에 대한 정보가 데이터베이스화하여 저장된다. The short-term
학습데이터 생성부(160)는 단기경험 데이터베이스부(150)를 조회하여, 최근 저장된 다수의 이미지에서 특정 객체의 인식률이 미리 설정되어 있는 임계값 이상인 이미지가 있으면, 그 이미지에서 인식된 특정 객체를 최종 인식 객체로 최근 저장된 다수의 이미지를 레이블링하여 레이블된 데이터를 생성한다. The learning
이와 같은 구성에 의해, 영상 입력부(110)를 통해 입력받은 이미지로부터 레이블된 학습데이터를 자동적으로 생성할 수 있다.With this configuration, it is possible to automatically generate learning data labeled from the image input through the
도 2는 본 발명의 일실시예에 따른 학습데이터 생성 방법에 대한 설명에 제공되는 흐름도이다.2 is a flowchart provided in explanation of a learning data generating method according to an embodiment of the present invention.
도 2를 참조하면, 영상 입력부(110)를 통해 다수의 이미지가 입력되면(S200), 객체 탐지부(120)에서 객체 검출 및 추적 과정을 실행한다(S210).Referring to FIG. 2, when a plurality of images are input through the image input unit 110 (S200), the
객체 탐지부(120)에서 검출 및 추적하여 각 이미지에서 인식된 객체와 인식된 객체에 대한 인식률은 단기경험 데이터베이스부(150)에 다수의 이미지와 함께 데이터베이스화되어 저장된다(S220).The
학습데이터 생성부(160)는 단기경험 데이터베이스부(150)를 조회하여, 다수의 이미지에서 특정 객체의 인식률이 미리 설정된 임계값 이상인 이미지가 있는 경우, 그 이미지에서 인식된 특정 객체를 최종 인식 객체로 최근 저장된 연속성 있는 이미지를 레이블링하여 레이블된 데이터를 생성한다(S240).The learning
이와 같은 과정에 의해, 다수의 이미지에 대하여 자동적으로 레이블된 학습데이터를 생성할 수 있다.By this process, it is possible to automatically generate labeled learning data for a plurality of images.
도 3은 본 발명에 따른 학습데이터 생성 방법에 대한 설명에 참조되는 도면이다. 3 is a diagram referred to in explanation of a learning data generating method according to the present invention.
도 3을 참조하면, 도면부호 300으로 표기한 부분이, 동일한 객체를 포함하여 시간적으로 연속적인 제1 이미지(301), 제2 이미지(303), 및 제3 이미지(305)에 대하여, 단기경험 데이터베이스부(150)에, 제1 이미지(301)와, 제1 이미지(301)에서 인식된 객체와 그 인식률(302), 제2 이미지(303)와, 제2 이미지(303)에서 인식된 객체와 그 인식률(304), 제3 이미지(305)와, 제3 이미지(305)에서 인식된 객체와 그 인식률(306)이 저장된 상태를 나타낸다. Referring to FIG. 3, a portion denoted by
이와 같은 검출 결과, 제1 이미지(301)와 제2 이미지(303)에서는 두 개의 인식 개체 중 어느 객체로 인식되어야 하는지 명확하게 알 수 없는 상태이다. 그러나, 제3 이미지(305)에서 어느 한 객체의 인식률이 99%인 경우로, 미리 설정된 임계값을 넘는다고 가정할 경우, 도면부호 320으로 표기한 부분은, 학습데이터 생성부(160)에서 제3 이미지(305)에서 인식률이 임계값을 넘는 객체를 최종 인식 객체로 제1 이미지(301), 제2 이미지(303), 및 제3 이미지(305)를 레이블링하여, 레이블된 학습데이터를 생성한 상태를 나타낸다. As a result of the detection, it is unclear to which one of the two recognition objects should be recognized in the
이와 같이 동일한 객체를 포함하며 시간적으로 연속적인 이미지 중에서 어느 한 이미지에서 객체가 임계값 이상으로 인식되면, 나머지 이미지에 대해서도 인식된 객체로 레이블링하여 학습데이터를 생성할 수 있다. 따라서, 이미지는 명확하지만 기존에 학습되지 않아서 인식되지 않았던 이미지에 대해서도 다른 각도에서 촬영한 이미지 등을 기반으로 학습데이터를 생성할 수 있다.When the object is recognized as a threshold value or higher in any one of the images including the same object and temporally continuous, the learning data can be generated by labeling the remaining images with the recognized object. Therefore, the learning data can be generated based on an image captured from another angle even for an image that is clear but has not been previously learned and is not recognized.
도 4는 다른 실시예에 따른 학습데이터 생성 장치에 대한 블럭도이다.4 is a block diagram of a learning data generating apparatus according to another embodiment.
도 4를 참조하면, 본 실시예에서, 영상 입력부(410), 객체 검출부(430)와 객체 추적부(440)를 포함하는 객체 탐지부(420), 단기경험 데이터베이스부(450), 및 학습데이터 생성부(460)의 구성 및 기능은 기본적으로 전술한 실시예에서 설명한 바와 동일하다.4, an
다만, 본 실시예에서는, 연속성 검출부(470)를 더 포함하여, 장면 전환 검출 등에 의해 입력되는 영상에서 동일 객체가 존재하는 시간적으로 연속성이 있는 부분을 검출할 수 있도록 한다. 이와 같은 구성에 의해, 입력 영상으로부터 동일 객체가 존재하는 시간적으로 연속하는 이미지를 제공할 수 있으므로, TV 동영상이나 기타 다양한 입력 소소로부터 이미지를 입력받아서 레이블된 학습데이터를 생성할 수 있다. However, in the present embodiment, the
또한, 네트워크를 통해 다수의 차량이나 CCTV 등 여러 곳에 분산되어 있는 다수의 장치로부터 영상 데이터를 전달할 수 있는 영상 제공 장치를 설치하여, 대규모로 레이블된 학습데이터를 생성할 수도 있다.In addition, a large-scale labeled learning data may be generated by providing an image providing apparatus capable of transmitting image data from a plurality of devices distributed over a plurality of places such as a plurality of vehicles or CCTV through a network.
도 5는 본 발명에 따른 학습데이터 생성 방법을 이용하는 자가 학습 장치의 일 예를 나타낸 것이다.FIG. 5 shows an example of a self-learning apparatus using the learning data generation method according to the present invention.
도 5를 참조하면, 본 실시예에 따른 자가 학습 장치(500)에서, 영상 입력부(510), 객체 검출부(530)와 객체 추적부(540)를 포함하는 객체 탐지부(520), 단기경험 데이터베이스부(550), 학습데이터 생성부(560), 및 연속성 검출부(570)의 구성 및 기능은 기본적으로 전술한 실시예에서 설명한 바와 동일하다.5, the
다만, 본 실시예에서는 물체 검출 장치(580)가 학습데이터 생성부(560)에서 생성한 레이블된 학습데이터를 훈련데이터로 이용하여 스스로 자가 학습할 수 있도록 구성된다.However, in the present embodiment, the
또한, 물체 검출 장치(580)에서 레이블된 학습데이터를 이용하여 기계 학습된 객체 인식 알고리즘 등에 따라, 객체 탐색부(520)에서 사용되는 객체 인식 알고리즘 등을 업데이트하여 성능을 지속적으로 향상시킬 수 있다. In addition, the object recognition algorithm and the like used in the
이와 같이 자동적으로 생성한 레이블된 학습데이터를 이용하여 다양한 기계 학습에 응용할 수 있다. Thus, it can be applied to various kinds of machine learning by using the automatically generated labeled learning data.
한편, 본 발명에 따른 학습데이터 생성 방법 및 장치와 이를 이용한 자가 학습 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성에 한정되게 적용될 수 있는 것이 아니라, 상기한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.Meanwhile, the learning data generating method and apparatus and the self learning apparatus and method using the learning data according to the present invention are not limited to the configurations of the embodiments described above, but various modifications may be made to the embodiments All or some of the embodiments may be selectively combined.
그리고, 본 발명의 내용은 하드웨어나 소프트웨어 사용에만 국한되지는 않으며, 다른 어떤 컴퓨팅 또는 처리 환경에 대해서도 적용 가능하다. 본 발명에서 설명하는 하드웨어, 소프트웨어 또는 하드웨어소프트웨어의 조합으로 구현될 수 있다. 본 발명은 회로를 사용하여 구현될 수 있다. 즉, 한 개 이상의 프로그램 가능한 논리회로, 즉 ASIC(application specific integrated circuit) 또는 논리회로(AND, OR NAND gates) 또는 프로세싱 장치(예를 들면 마이크로 프로세서, 컨트롤러)로 구현가능하다. And, the contents of the present invention are not limited to hardware or software use, but are applicable to any other computing or processing environment. But may be embodied in hardware, software, or a combination of hardware and software described in the present invention. The present invention may be implemented using circuitry. That is, it may be implemented with one or more programmable logic circuits, such as application specific integrated circuits (ASICs) or logic circuits (AND, OR NAND gates) or processing devices (e.g., microprocessors, controllers).
또한, 본 발명은 프로그램 가능한 컴퓨터상에서 컴퓨터 프로그램으로 구현 가능하다. 이러한 컴퓨터는 프로세서, 저장장치, 입력장치, 출력 장치를 포함할 수 있다. 본 발명에서 설명한 내용을 구현하기 위해 프로그램 코드는 마우스 또는 키보드 입력장치로 입력될 수 있다. 이러한 프로그램들은 고차원적인 언어나, 객체지향적인 언어로 구현될 수 있다. 또한 어셈블리나 기계어 코드로 구현된 컴퓨터 시스템으로도 구현될 수 있다. The present invention can also be embodied as a computer program on a programmable computer. Such a computer may include a processor, a storage device, an input device, and an output device. In order to implement the contents described in the present invention, the program code may be input to a mouse or a keyboard input device. These programs can be implemented in high-level languages or object-oriented languages. It can also be implemented as a computer system implemented in assembly or machine code.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It should be understood that various modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.
110 : 영상 입력부 120 : 객체 탐지부
130 : 객체 검출부 140 : 객체 추적부
150 : 단기경험 데이터베이스부 160 : 학습데이터 생성부110: image input unit 120: object detection unit
130: Object detection unit 140: Object tracking unit
150: short-term experience database 160: learning data generator
Claims (15)
상기 영상 데이터에서 동일 객체가 존재하는 시간적으로 연속성이 있는 다수의 이미지를 검출하는 단계;
상기 다수의 이미지에서 객체를 탐지 및 추적하는 단계;
상기 다수의 이미지의 각 이미지에서 탐지 및 추적하여 인식된 객체와 인식률에 대한 정보를 데이터베이스화하여 단기경험 데이터베이스부에 저장하는 단계; 및
상기 단기경험 데이터베이스부를 조회하여, 상기 다수의 이미지에서 특정 객체의 인식률이 기설정된 임계값 이상인 이미지가 있으면, 상기 인식률이 기설정된 임계값 이상인 이미지에서 인식된 특정 객체를 최종 인식 객체로 상기 다수의 이미지를 레이블링하여, 머신 러닝을 위한 레이블된 학습 데이터를 생성하는 단계를 포함하는 학습데이터 생성 방법.Receiving image data collected from a plurality of devices through a network;
Detecting a plurality of temporally continuous images in which the same object exists in the image data;
Detecting and tracking objects in the plurality of images;
Storing information on recognition objects and recognition rates in a database in the short term experience database unit by detecting and tracking in each image of the plurality of images; And
If there is an image whose recognition rate of a specific object is equal to or greater than a predetermined threshold value in the plurality of images, a specific object recognized in the image whose recognition rate is equal to or greater than a preset threshold value, Generating labeled learning data for machine learning by labeling the learning data.
상기 레이블된 학습 데이터를 이용하여 기계 학습된 장치로부터 피드백된 알고리즘에 따라, 상기 다수의 이미지에서 객체를 탐지 및 추적하는 알고리즘을 업데이트 하는 단계를 더 포함하는 학습데이터 생성 방법. The method according to claim 1,
Further comprising updating algorithms for detecting and tracking objects in the plurality of images according to an algorithm fed back from a machine-learned device using the labeled learning data.
상기 영상 데이터에서 동일 객체가 존재하는 시간적으로 연속성이 있는 다수의 이미지를 검출하는 연속성 검출부;
상기 다수의 이미지에서 객체를 탐지 및 추적하여, 각 이미지에서 인식된 객체와 인식률에 대한 정보를 출력하는 객체 탐지부;
상기 다수의 이미지의 상기 각 이미지에서 인식된 객체와 인식률에 대한 정보를 데이터베이스화하여 저장하는 단기경험 데이터베이스부; 및
상기 단기경험 데이터베이스부를 조회하여, 상기 다수의 이미지에서 특정 객체의 인식률이 기설정된 임계값 이상인 이미지가 있으면, 상기 인식률이 기설정된 임계값 이상인 이미지에서 인식된 특정 객체를 최종 인식 객체로 상기 다수의 이미지를 레이블링하여, 머신 러닝을 위한 레이블된 학습 데이터를 생성하는 학습데이터 생성부를 포함하는 학습데이터 생성 장치.A video input unit for receiving video data collected from a plurality of devices through a network;
A continuity detector for detecting a plurality of temporally continuous images in which the same object exists in the image data;
An object detection unit for detecting and tracking objects in the plurality of images, and outputting information on recognized objects and recognition rates in the respective images;
A short-term experience database unit for storing information on recognition objects and recognition rates in the respective images of the plurality of images in a database; And
If there is an image whose recognition rate of a specific object is equal to or greater than a predetermined threshold value in the plurality of images, a specific object recognized in the image whose recognition rate is equal to or greater than a preset threshold value, And a learning data generating unit for generating labeled learning data for machine learning by labeling the learning data.
상기 레이블된 학습 데이터를 이용하여 기계 학습되는 물체 검출 장치를 더 포함하는 학습데이터 생성 장치.9. The method of claim 8,
Further comprising an object detection device that is machine-learned using the labeled learning data.
상기 객체 탐지부는, 상기 물체 검출 장치에서 학습된 객체 인식 알고리즘에 따라, 인식 알고리즘을 업데이트 하는 것을 특징으로 하는 학습데이터 생성 장치.12. The method of claim 11,
Wherein the object detection unit updates the recognition algorithm according to the object recognition algorithm learned by the object detection apparatus.
A self-learning apparatus for performing machine learning using labeled learning data generated using the learning data generation method of any one of claims 1 to 5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170032271A KR101879735B1 (en) | 2017-03-15 | 2017-03-15 | Method and apparatus for automatic generating training data and self-learning apparatus and method using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170032271A KR101879735B1 (en) | 2017-03-15 | 2017-03-15 | Method and apparatus for automatic generating training data and self-learning apparatus and method using the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101879735B1 true KR101879735B1 (en) | 2018-07-18 |
Family
ID=63048927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170032271A KR101879735B1 (en) | 2017-03-15 | 2017-03-15 | Method and apparatus for automatic generating training data and self-learning apparatus and method using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101879735B1 (en) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102002024B1 (en) * | 2018-12-06 | 2019-07-22 | 주식회사 아임클라우드 | Method for processing labeling of object and object management server |
KR20190088094A (en) * | 2017-12-29 | 2019-07-26 | 주식회사 아임클라우드 | Model learning system and method by automatic learning and data generation |
KR20200039050A (en) * | 2018-10-02 | 2020-04-16 | 경북대학교 산학협력단 | Method for providing digital drawing and digital drawing providing device |
KR20200039035A (en) | 2018-09-27 | 2020-04-16 | 주식회사 스위트케이 | Learning dataset providing system based on artificial intelligence |
KR20200046704A (en) | 2018-10-25 | 2020-05-07 | 한국전자통신연구원 | Method for automatically generating deep learning data apparatus therefor |
KR102111667B1 (en) * | 2019-07-25 | 2020-05-15 | (주)위세아이텍 | Apparatus of generating 2d image data set for deep learning through 3d design drawing data processing and system for searching simillar design drawing data based on deep learning using the same |
KR102112858B1 (en) | 2020-03-03 | 2020-05-19 | 셀렉트스타 주식회사 | Method and device for generating training data using ui providing guide point |
KR20200062520A (en) * | 2018-11-27 | 2020-06-04 | (주)아이와즈 | Source analysis based news reliability evaluation system and method thereof |
KR20200077257A (en) * | 2018-12-20 | 2020-06-30 | 한동대학교 산학협력단 | Method and apparatus for automatically generating learning data for machine learning |
KR102133943B1 (en) * | 2020-01-16 | 2020-07-14 | 가천대학교 산학협력단 | Devices and methods for providing home health care for senior health |
WO2020251172A1 (en) * | 2019-06-10 | 2020-12-17 | 주식회사 수아랩 | Data generation method |
KR20210004162A (en) | 2019-07-03 | 2021-01-13 | 주식회사 현대아이티앤이 | Automatic Data Set Generation Device and SW and their Control Method for AI Machine Learning Learning |
WO2021125619A1 (en) * | 2019-12-20 | 2021-06-24 | 셀렉트스타 주식회사 | Method for inspecting labeling on bounding box by using deep learning model and apparatus using same |
KR102310596B1 (en) * | 2021-05-14 | 2021-10-13 | 주식회사 인피닉 | creation and inspection method of metadata to consecutive images, and computer program recorded on record-medium for executing method thereof |
KR102337070B1 (en) | 2021-07-12 | 2021-12-08 | (주)에이아이매틱스 | Method and system for building training database using automatic anomaly detection and automatic labeling technology |
KR102356914B1 (en) * | 2021-05-14 | 2022-02-08 | 주식회사 인피닉 | Method for automatically creation of metadata, and computer program recorded on record-medium for executing method therefor |
KR20220035780A (en) * | 2020-09-14 | 2022-03-22 | (주)휴톰 | Method and Apparatus for providing object labeling within Video |
KR102389369B1 (en) * | 2021-12-08 | 2022-04-21 | 전북대학교산학협력단 | Apparatus and method for acquiring semi-automatic precision region labels for artificial neural network learning |
KR20220079479A (en) | 2020-12-04 | 2022-06-13 | 주식회사 두원전자통신 | Intelligent image analysis system for accuracy enhancement of object analysis by auto learning, estimation and distribution of object based on Deep Neural Network Algorithm |
KR20220090203A (en) * | 2020-12-22 | 2022-06-29 | 주식회사 에스원 | Automatic Data Labeling Method based on Deep learning Object Detection amd Trace and System thereof |
KR102485359B1 (en) * | 2022-02-28 | 2023-01-06 | 아이브스 주식회사 | Method for enhancing in situ adaptive artfitial intelligent model |
KR20230080219A (en) | 2021-11-29 | 2023-06-07 | 주식회사 바딧 | Method, system and non-transitory computer-readable recording medium for supporting labeling to sensor data |
WO2023113294A1 (en) * | 2021-12-16 | 2023-06-22 | 주식회사 씨에스리 | Training data management device and method |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0651865B2 (en) * | 1983-02-09 | 1994-07-06 | ミネソタ マイニング アンド マニュファクチュアリング コンパニー | Polypropylene adhesive coated tape |
KR20070055653A (en) * | 2005-11-26 | 2007-05-31 | 한국전자통신연구원 | Method for recognizing face and apparatus thereof |
KR20070119105A (en) * | 2006-06-14 | 2007-12-20 | 주식회사 사람과사람들 | Apparatus and method for face recognition using machine learning |
JP2009282686A (en) * | 2008-05-21 | 2009-12-03 | Toshiba Corp | Apparatus and method for learning classification model |
JP2010211468A (en) * | 2009-03-10 | 2010-09-24 | Toyota Central R&D Labs Inc | Device for creating learning model, object detection system, and program |
KR20120003834A (en) * | 2011-11-24 | 2012-01-11 | 주식회사 버즈니 | Entity searching and opinion mining system of hybrid-based using internet and method thereof |
JP2014016826A (en) * | 2012-07-09 | 2014-01-30 | Canon Inc | Image processor, image processing method, and program |
KR20140103026A (en) * | 2013-02-15 | 2014-08-25 | 다이니폰 스크린 세이조우 가부시키가이샤 | Pattern inspection apparatus and pattern inspection method |
JP2015506516A (en) * | 2012-01-06 | 2015-03-02 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Object tracking and processing |
KR20160068281A (en) * | 2014-12-05 | 2016-06-15 | 삼성에스디에스 주식회사 | Method of object recognition |
KR20160086250A (en) * | 2015-01-09 | 2016-07-19 | 웬-추안 첸 | Gas flow adjusting device |
KR20160136689A (en) * | 2015-05-20 | 2016-11-30 | 한화테크윈 주식회사 | Method of tracking multiple objects and apparatus for the same |
JP6182242B1 (en) * | 2016-06-13 | 2017-08-16 | 三菱電機インフォメーションシステムズ株式会社 | Machine learning method, computer and program related to data labeling model |
-
2017
- 2017-03-15 KR KR1020170032271A patent/KR101879735B1/en active IP Right Grant
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0651865B2 (en) * | 1983-02-09 | 1994-07-06 | ミネソタ マイニング アンド マニュファクチュアリング コンパニー | Polypropylene adhesive coated tape |
KR20070055653A (en) * | 2005-11-26 | 2007-05-31 | 한국전자통신연구원 | Method for recognizing face and apparatus thereof |
KR20070119105A (en) * | 2006-06-14 | 2007-12-20 | 주식회사 사람과사람들 | Apparatus and method for face recognition using machine learning |
JP2009282686A (en) * | 2008-05-21 | 2009-12-03 | Toshiba Corp | Apparatus and method for learning classification model |
JP2010211468A (en) * | 2009-03-10 | 2010-09-24 | Toyota Central R&D Labs Inc | Device for creating learning model, object detection system, and program |
KR20120003834A (en) * | 2011-11-24 | 2012-01-11 | 주식회사 버즈니 | Entity searching and opinion mining system of hybrid-based using internet and method thereof |
JP2015506516A (en) * | 2012-01-06 | 2015-03-02 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Object tracking and processing |
JP2014016826A (en) * | 2012-07-09 | 2014-01-30 | Canon Inc | Image processor, image processing method, and program |
KR20140103026A (en) * | 2013-02-15 | 2014-08-25 | 다이니폰 스크린 세이조우 가부시키가이샤 | Pattern inspection apparatus and pattern inspection method |
KR20160068281A (en) * | 2014-12-05 | 2016-06-15 | 삼성에스디에스 주식회사 | Method of object recognition |
KR20160086250A (en) * | 2015-01-09 | 2016-07-19 | 웬-추안 첸 | Gas flow adjusting device |
KR20160136689A (en) * | 2015-05-20 | 2016-11-30 | 한화테크윈 주식회사 | Method of tracking multiple objects and apparatus for the same |
JP6182242B1 (en) * | 2016-06-13 | 2017-08-16 | 三菱電機インフォメーションシステムズ株式会社 | Machine learning method, computer and program related to data labeling model |
Non-Patent Citations (1)
Title |
---|
일본 공개특허공보 특개2014-016826호(2014.01.30.) 1부. * |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190088094A (en) * | 2017-12-29 | 2019-07-26 | 주식회사 아임클라우드 | Model learning system and method by automatic learning and data generation |
KR102227906B1 (en) | 2017-12-29 | 2021-03-16 | 주식회사 아임클라우드 | Model learning system and method by automatic learning and data generation |
KR20200039035A (en) | 2018-09-27 | 2020-04-16 | 주식회사 스위트케이 | Learning dataset providing system based on artificial intelligence |
KR102203320B1 (en) | 2018-09-27 | 2021-01-15 | 주식회사 스위트케이 | Learning dataset providing system based on artificial intelligence |
KR102129407B1 (en) * | 2018-10-02 | 2020-07-02 | 경북대학교 산학협력단 | Method for providing digital drawing and digital drawing providing device |
KR20200039050A (en) * | 2018-10-02 | 2020-04-16 | 경북대학교 산학협력단 | Method for providing digital drawing and digital drawing providing device |
KR20200046704A (en) | 2018-10-25 | 2020-05-07 | 한국전자통신연구원 | Method for automatically generating deep learning data apparatus therefor |
KR102124846B1 (en) | 2018-11-27 | 2020-06-19 | (주)아이와즈 | Source analysis based news reliability evaluation system and method thereof |
KR20200062520A (en) * | 2018-11-27 | 2020-06-04 | (주)아이와즈 | Source analysis based news reliability evaluation system and method thereof |
KR102002024B1 (en) * | 2018-12-06 | 2019-07-22 | 주식회사 아임클라우드 | Method for processing labeling of object and object management server |
KR20200077257A (en) * | 2018-12-20 | 2020-06-30 | 한동대학교 산학협력단 | Method and apparatus for automatically generating learning data for machine learning |
KR102219906B1 (en) * | 2018-12-20 | 2021-02-24 | 한동대학교 산학협력단 | Method and apparatus for automatically generating learning data for machine learning |
WO2020251172A1 (en) * | 2019-06-10 | 2020-12-17 | 주식회사 수아랩 | Data generation method |
KR20210004162A (en) | 2019-07-03 | 2021-01-13 | 주식회사 현대아이티앤이 | Automatic Data Set Generation Device and SW and their Control Method for AI Machine Learning Learning |
KR102111667B1 (en) * | 2019-07-25 | 2020-05-15 | (주)위세아이텍 | Apparatus of generating 2d image data set for deep learning through 3d design drawing data processing and system for searching simillar design drawing data based on deep learning using the same |
WO2021125619A1 (en) * | 2019-12-20 | 2021-06-24 | 셀렉트스타 주식회사 | Method for inspecting labeling on bounding box by using deep learning model and apparatus using same |
KR102133943B1 (en) * | 2020-01-16 | 2020-07-14 | 가천대학교 산학협력단 | Devices and methods for providing home health care for senior health |
KR102112858B1 (en) | 2020-03-03 | 2020-05-19 | 셀렉트스타 주식회사 | Method and device for generating training data using ui providing guide point |
KR20220035780A (en) * | 2020-09-14 | 2022-03-22 | (주)휴톰 | Method and Apparatus for providing object labeling within Video |
KR102427171B1 (en) * | 2020-09-14 | 2022-07-29 | (주)휴톰 | Method and Apparatus for providing object labeling within Video |
KR102448268B1 (en) | 2020-12-04 | 2022-09-28 | 주식회사 두원전자통신 | Intelligent image analysis system for accuracy enhancement of object analysis by auto learning, estimation and distribution of object based on Deep Neural Network Algorithm |
KR20220079479A (en) | 2020-12-04 | 2022-06-13 | 주식회사 두원전자통신 | Intelligent image analysis system for accuracy enhancement of object analysis by auto learning, estimation and distribution of object based on Deep Neural Network Algorithm |
KR20220090203A (en) * | 2020-12-22 | 2022-06-29 | 주식회사 에스원 | Automatic Data Labeling Method based on Deep learning Object Detection amd Trace and System thereof |
KR102537695B1 (en) | 2020-12-22 | 2023-05-26 | 주식회사 에스원 | Automatic Data Labeling Method based on Deep learning Object Detection amd Trace and System thereof |
KR102356914B1 (en) * | 2021-05-14 | 2022-02-08 | 주식회사 인피닉 | Method for automatically creation of metadata, and computer program recorded on record-medium for executing method therefor |
KR102310596B1 (en) * | 2021-05-14 | 2021-10-13 | 주식회사 인피닉 | creation and inspection method of metadata to consecutive images, and computer program recorded on record-medium for executing method thereof |
KR102337070B1 (en) | 2021-07-12 | 2021-12-08 | (주)에이아이매틱스 | Method and system for building training database using automatic anomaly detection and automatic labeling technology |
KR20230080219A (en) | 2021-11-29 | 2023-06-07 | 주식회사 바딧 | Method, system and non-transitory computer-readable recording medium for supporting labeling to sensor data |
KR102389369B1 (en) * | 2021-12-08 | 2022-04-21 | 전북대학교산학협력단 | Apparatus and method for acquiring semi-automatic precision region labels for artificial neural network learning |
WO2023106515A1 (en) * | 2021-12-08 | 2023-06-15 | 전북대학교산학협력단 | Device and method for semiautomatic acquisition of precision region labels for training artificial neural network |
WO2023113294A1 (en) * | 2021-12-16 | 2023-06-22 | 주식회사 씨에스리 | Training data management device and method |
KR102485359B1 (en) * | 2022-02-28 | 2023-01-06 | 아이브스 주식회사 | Method for enhancing in situ adaptive artfitial intelligent model |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101879735B1 (en) | Method and apparatus for automatic generating training data and self-learning apparatus and method using the same | |
CN108985259B (en) | Human body action recognition method and device | |
EP3673417B1 (en) | System and method for distributive training and weight distribution in a neural network | |
CN109086873B (en) | Training method, recognition method and device of recurrent neural network and processing equipment | |
CN108629284B (en) | Method, device and system for real-time face tracking and face pose selection based on embedded vision system | |
US20180114071A1 (en) | Method for analysing media content | |
US11741712B2 (en) | Multi-hop transformer for spatio-temporal reasoning and localization | |
CN112488073A (en) | Target detection method, system, device and storage medium | |
US9811735B2 (en) | Generic object detection on fixed surveillance video | |
WO2019040213A1 (en) | Adaptive real-time detection and examination network (arden) | |
Patil et al. | An unified recurrent video object segmentation framework for various surveillance environments | |
US10937150B2 (en) | Systems and methods of feature correspondence analysis | |
Harish et al. | Intruder detection by extracting semantic content from surveillance videos | |
JPWO2019111932A1 (en) | Model learning device, model learning method and computer program | |
KR102399974B1 (en) | Method of tracking multiple objects and apparatus for the same | |
Kumar et al. | SSE: A Smart Framework for Live Video Streaming based Alerting System | |
US20170147873A1 (en) | Motion recognition method and motion recognition device | |
Le et al. | Accurate continuous action and gesture recognition method based on skeleton and sliding windows techniques | |
Aziz et al. | Instance segmentation of fire safety equipment using mask R-CNN | |
WO2021049119A1 (en) | Learning device, learning method, and non-transitory computer-readable medium in which learning program has been stored | |
WO2022165132A1 (en) | Keypoint based action localization | |
CN109934302B (en) | New category identification method and robot system based on fuzzy theory and deep learning | |
Wang et al. | Fast loop closure detection via binary content | |
Jayavarthini et al. | An improved deep-layer architecture for real-time end-to-end person recognition system | |
CN111860070A (en) | Method and device for identifying changed object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |