KR20190063729A - Life protection system for social disaster using convergence technology like camera, sensor network, and directional speaker system - Google Patents

Life protection system for social disaster using convergence technology like camera, sensor network, and directional speaker system Download PDF

Info

Publication number
KR20190063729A
KR20190063729A KR1020170162726A KR20170162726A KR20190063729A KR 20190063729 A KR20190063729 A KR 20190063729A KR 1020170162726 A KR1020170162726 A KR 1020170162726A KR 20170162726 A KR20170162726 A KR 20170162726A KR 20190063729 A KR20190063729 A KR 20190063729A
Authority
KR
South Korea
Prior art keywords
sensor
disaster
ids
control system
server
Prior art date
Application number
KR1020170162726A
Other languages
Korean (ko)
Inventor
박승흠
박정우
Original Assignee
주식회사 넥토마이닝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥토마이닝 filed Critical 주식회사 넥토마이닝
Priority to KR1020170162726A priority Critical patent/KR20190063729A/en
Publication of KR20190063729A publication Critical patent/KR20190063729A/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14Central alarm receiver or annunciator arrangements
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/10Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/04Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier

Landscapes

  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Geology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

A human life protection system using a camera, a sensor network, and a directional speaker based on fusion technology for a social disaster response allows IoT sensor platform technology for a social disaster response, including a CCTV camera, a fusion sensor, an IoT sensor network (USN, WSN, 6LoWPAN, Wi-Fi, NB-IoT, LTE, and LoRa network), and an IoT gateway sensing a social disaster by using ICT technology, to be developed; provides a mobius server, an IDS integrated control system and an IDS local control system, sensor data monitoring, artificial intelligence-based disaster situation image analysis, situation awareness, or object tracking for an image of an image control system, sensor data monitoring, and a function of detecting an event by screaming sound in a dangerous area using a microphone sensor; provides big data analysis for each disaster type and a disaster response IDS-based human life protection system, evacuation guidance system, and disaster response system; provides disaster alert broadcasting and evacuation guidance technology using a directional speaker; and provides an evacuation guidance system using a sensor network and a directional speaker system capable of variable output, and a guidance application of a smartphone using the non-audible frequency.

Description

사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템{Life protection system for social disaster using convergence technology like camera, sensor network, and directional speaker system}[0001] The present invention relates to a camera, a sensor network, and a directional speaker system using directional loudspeakers,

본 발명은 사회재난 대응을 위한 인명지킴이 시스템에 관한 것으로, 보다 상세하게는 ICT 기술을 사용하여 재난을 감지하는 CCTV 카메라, 융복합 센서, IoT 센서 네트워크(USN, WSN, 6LoWPAN, MQTT, Wi-Fi, NB-IoT, LTE, LoRa 네트워크), IoT 게이트웨이를 포함하는 사회재난 대응 IoT 센서 플랫폼 기술을 개발하고, 모비우스 서버, IDS 통합 관제 시스템과 IDS 로컬 관제 시스템, 영상 관제 시스템의 인공 지능 기반의 재난 상황 영상분석/상황인지/영상의 객체 추적, 센서 데이터 모니터링, 위험 지역의 마이크 센서를 이용한 비명소리에 의한 이벤트 감지 기능을 제공하며, 사회 재난 발생 유형 빅데이터 분석, 재난 대응 IDS 기반 인명 지킴이 시스템을 제공하며, 지향성 스피커를 사용한 재난 경고 방송과 대피 유도 기술을 제공하며, 센서 네트워크와 가변 출력이 가능한 지향성 스피커 시스템을 사용한 피난유도 시스템, 스마트폰의 비가청 주파수를 활용한 유도 App을 제공하는, 사회재난 대응을 위한 융복합기술 기반의 카메라, 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템에 관한 것이다.More particularly, the present invention relates to a system and method for protecting human lives from a disaster by using a CCTV camera, a fusion compound sensor, an IoT sensor network (USN, WSN, 6LoWPAN, MQTT, IOT sensor platform technology including IOT gateway, NB-IoT, LTE, LoRa network), and IoT gateway, and developed the artificial intelligence-based disaster of mobi server, IDS integrated control system and IDS local control system, Provides event image analysis / situation tracking / object tracking of images, sensor data monitoring, event detection by screaming sound using microphone sensor in dangerous area, big data analysis of social disaster type, IDS-based IDS- Provides disaster alert broadcasting and evacuation induction technology using directional loudspeakers, and supports sensor network and directional The present invention relates to an evacuation guidance system using a speaker system, a camera based on a fusion technology for social disaster, which provides an induction app utilizing the non-audible frequency of a smart phone, a sensor network, and a life guarding system using directional speakers.

사회재난의 발생 횟수 및 규모의 증가에 따라 직접 피해뿐만 아니라, 간접 피해로 인한 경제적 피해 규모 급증하고 있으며, 이를 복구하기 위한 국가나 민간의 경제적 비용도 급증하고 있다. As the frequency and magnitude of social disasters increase, the economic damage caused by indirect damage has increased not only directly but also the economic cost of the state or private sector has been rapidly increasing.

재난의 발생유형이 매우 복잡해졌을 뿐만 아니라 기후변화 등 예측 불가능한 불확실성 요소들이 증가하고 있어 정보통신기술들을 사용해 종합적으로 대응하는 체계를 구축할 필요가 있으며, 예방중심의 재난대응 체계구축이 절실히 요구되고 있다.In addition to the complexity of the occurrence of disasters, uncertainty factors such as climate change are increasing, so it is necessary to establish a comprehensive response system using information and communication technologies, and it is urgently required to establish a preventive centered disaster response system .

사회재난 대응체계에 대하여, 안전 관련 정책의 결정은 "재난 및 안전관리 기본법" 제9조에 따라 국무총리가 위원장이 되는 "중앙안전관리위원회"를 설치하여 재난 및 안전관리 정책을 심의하도록 하고 있으며, 실무검토를 위하여 하위에 국민안전처 장관이 주관하는 안전정책조정위원회, 지역단위 재난안전정책 검토를 위한 지역위원회를 각각 두고 있다. Regarding the social disaster response system, the decision on safety related policy is based on Article 9 of the "Basic Law on Disaster and Safety Management" and the Prime Minister establishes a "Central Safety Management Committee" to deliberate disaster and safety management policy. For the practical review, a subcommittee of the Safety Policy Coordination Committee and a regional committee for the review of regional disaster safety policies are established.

자연재해를 비롯하여 대규모 사회재난에 대해서는 "재난 및 안전관리 기본법"제 14조에 따라 국민안전처 장관이 본부장이 되는 "중앙재난안전 대책본부"를 설치하여 재해대응 실무를 총괄하도록 하고 있으며, 사고수습을 위한 중앙 및 지역 사고수습본부를 설치하여 시도 및 시군구 단위의 재난안전 대책본부를 지휘할 수 있도록 하고 있다. For large-scale social disasters, including natural disasters, the "National Disaster Safety Headquarters" is established under the Article 14 of the "Basic Act on Disaster and Safety Management", which is the head of the National Security Agency, to oversee disaster countermeasures. The Central and Local Accident Prevention Headquarters have been set up to direct the disaster and safety headquarters of the provincial units and municipal units.

또한. 재난정보의 공유를 위하여 중앙 재난안전 상황실과 지역단위 시도 재난안전상황실과 시군구 재난안전상황실을 연결시켜 재난상황 정보를 공유하도록 체계를 구성하고 있다.Also. In order to share disaster information, the system is structured to share disaster situation information by linking the central disaster safety situation room with local disaster safety situation room and municipal disaster safety situation room.

이를 위해, 기술적 측면에서, 사회재난의 조기·사전 대비를 위한 통신, 영상, 센서 등의 ICT 요소 기술을 사용한 첨단 정보통신 기술을 재난안전 분야에 도입하여 적은 비용으로 효과적인 사회재난 예방체계를 구축할 필요가 있다. 지자체의 방재관련 예산 및 인력 부족으로 실질적인 현장중심의 재난관리가 이뤄지기 어려우므로 자동화 및 정보 기술을 활용하여 재난다발 지역을 효과적으로 관리하는 재난대응 체계 구축이 요구된다.To this end, by introducing advanced information and communication technology that uses ICT element technology such as communication, image, and sensor for the early and proactive preparation of social disaster to the disaster safety field in technical aspect, There is a need. Because disaster-related budgets and human resources of the local governments are not able to achieve actual site-based disaster management, it is necessary to construct a disaster response system that effectively manages disaster-hit areas using automation and information technology.

재난발생시 1차 재난에 대한 적절한 대응조치가 이뤄지지 못하는 경우 2차 재난으로 이어지는 경우가 많아 조기경보 및 초기대응이 가능한 재난 관리체계가 필요하다.In the event of a disaster, if an appropriate response to the first disaster is not achieved, it often leads to a second disaster, and a disaster management system capable of early warning and early response is needed.

다중이용 시설의 증가로 경우에 따라서는 사람들이 밀집한 장소로부터 많은 사람들을 일시에 대피시켜야 하는 문제가 발생하며, ICT 기술을 활용하여 효과적으로 피난을 유도하는 방법을 개발할 필요가 있다. With the increase in the number of multi-use facilities, it is necessary to evacuate a large number of people from a place where people are concentrated, and it is necessary to develop a method of effectively evacuating using ICT technology.

일본, 미국, 유럽 등의 선진국에서는 재난피해에 대응하여 CCTV, 지향성 스피커, IoT(Internet of Things) 기반의 재난 경보 및 대응 시스템, 국가 방재 시스템을 구축하여 대국민 서비스 적용하는 추세이다. In developed countries such as Japan, USA, and Europe, CCTV, directional speakers, Internet of Things (IOT) based disaster warning and response system, and national disaster prevention system have been constructed in response to disaster damage.

국가재난관리시스템(NDMS)은 국가재난관리 전담기관인 소방방재청에서 구축, 활용중인 국가 재난관리체계와 재난관리통신 시스템을 구축하며, 국가 재난에 체계적인 예방, 대비, 신속한 대응, 복구 지원 및 긴급 구조, 화재 등은 119 서비스 전과정을 정보화하여 대국민 재난안전 서비스를 제공한다. 자동우량 경보 시설 산불감지 통합경보망 시설, 재난 안전무선망, 소방 영상위성 통신망을 하위 시스템으로 두고 있으며, ku 대역 위성인 무궁화 위성 5호를 사용하여 국가 전역의 재난, 재해 지역 현장을 실시간으로 감시하는 목적으로 위성 전용망도 구축 운영하고 있다.The National Disaster Management System (NDMS) establishes the national disaster management system and the disaster management communication system that is being constructed and utilized by the National Emergency Management Agency (NEMA), which is a national disaster management organization. It also provides systematic prevention, preparation, quick response, Fire, etc., provides information on the whole service life of 119 services to provide disaster safety service for the people. Automatic rainfall alarm system It has sub-system of fire alarm video network, fire alarm video network, disaster security network, fire alarm detection system, and real-time monitoring of disaster and disaster area in the country using Mugunghwa satellite No. 5 The satellite dedicated network is also being built and operated for the purpose.

인명피해 가능성이 매우 높은 고층빌딩 화재, 지하철 화재, 쇼핑센터, 지하상가 등의 화재 및 가스폭발 사고가 발생하는 재난 지역의 공공 시설에 대하여 인명피해를 최소화하는 피난 유도 및 재난대응 방안 필요하다.Evacuation and disaster countermeasures are needed to minimize damage to public facilities in disaster areas where fire and gas explosions, such as high-rise building fires, subway fires, shopping centers, underground shopping malls, etc., are highly likely to cause human casualties.

또한, 사고발생대비 사망자 발생 빈도가 높은 홍수, 폭풍, 해일 등의 수난재해의 경우, 발생원인은 태풍과 태풍, 해일, 쓰나미, 강풍, 집중호우, 홍수, 강물 범람, 유속이 빠른 급류, 지반 붕괴/축대 붕괴, 산사태, 세월호 등의 대형 유람선의 전복, 실족, 낚시, 다슬기 채취 등이 주요원인으로 조사되었으며, 계절은 하절기에 많이 발생하였으며, 발생장소로는 강, 계곡, 다슬기 채취장, 캠핑장 등으로 조사되었다.In the case of floods, storms and tsunamis, where accidents occur more frequently than accidents, typhoons, typhoons, tsunamis, strong winds, floods, floods, floods, The major causes of overturning of large cruise ships such as collapsing, collapsing, landslides, and seahorse were mainly caused during the summer, and rivers, valleys, reefs, camping sites .

특히, 사회재난 가운데 수난 재해는 발생건수 대비 사망자 발생비율이 17.2%로써, 화재(0.6%), 추락(4.4%) 등과 비교하여 사망자 발생 비율이 월등히 높아 특별한 관리방안이 필요하다. Particularly, in the case of flood disasters, 17.2% of deaths occurred in the case of flood disasters, and the rate of deaths is much higher than that of fire (0.6%) and fall (4.4%).

사회재난 사고는 다양한 형태로 발생하며, 사망자가 지속 증가하고 있으나 대책 미비로 막대한 사회적 손실비용이 발생하고 있는 실정이다. Social disasters occur in various forms and deaths are continuously increasing, but there are huge social loss costs due to insufficient measures.

사고 위험지역은 안전요원이 상주하기도 하지만 사람을 일일이 감시하기 어려울 뿐만 아니라, 하절기에 홍수와 집중호우시에 강, 계곡, 다슬기 채취, 캠핑장 등에서 수시로 일어나는 입수 금지 지역 물놀이 사고, 익사, 수난 사고, 도로교통, 화재, 유해 가스 폭발, 해양 사고, 추락 등 주로 순찰에 의존하여 효과적인 대처가 어려운 상황이며, 특히 사람이 적은 계곡, 캠핑장 등은 사고가 나도 즉각적인 인지가 어려우며, 사고예방 전파가 적절히 이뤄지지 못하고 있다. In addition to safety personnel, it is difficult to observe people in accident areas. In addition, it is difficult to monitor people personally. In case of floods and heavy rains during the summer season, there are frequent occurrences of water sports such as rivers, valleys, It is difficult to cope effectively with patrols mainly due to road traffic, fire, explosion of harmful gas, marine accidents, and fall. Particularly in valleys and campgrounds where people are uncomfortable, it is difficult to recognize the accident immediately. I can not.

2012년 사회재난 발생건수는 30만 여건으로 천재지변으로 일어나는 자연 재해 보다는 월등히 많으며, 2012년에 발생된 사회재난은 총 303,707건으로 383,129명의 인명피해(사망:7,322명, 부상:375,807명)가 발생 지속적으로 증가 추세에 있다. The number of social disasters in 2012 is 300,000, which is much higher than natural disasters caused by natural disasters. The total number of social disasters in 2012 was 303,707, resulting in 383,129 deaths (7,322 deaths, 375,807 injuries) .

표1은 사회재난별 발생건수 추이[자료출처: 국민안전처, (구)소방방재청 방재연보 2012]를 나타낸다. Table 1 shows the number of incidents by social disaster [Source: National Security Agency, (formerly National Emergency Management Agency Emergency Disaster Prevention Year 2012)].

구분division 2010년2010 2011년2011 2012년2012 3년 평균3 year average 도로교통Road traffic 226,863226,863 221,711221,711 223,656223,656 224,076224,076 화재fire 41,86341,863 43,87543,875 43,24943,249 42,99542,995 수난suffering 2,2672,267 2,3932,393 3,9543,954 2,8712,871 해양Ocean 1,6271,627 1,7501,750 1,6321,632 1,6691,669 추락fall 1,3651,365 2,6992,699 10,11910,119 4,7274,727 총 발생건수Total number of occurrences 280,607280,607 286,851286,851 303,707303,707 290,388290,388

표2는 사회재난별 인명피해(사망) 추이[자료출처: 국민안전처, (구)소방방재청 소방방재통계연보 2013]를 나타낸다. Table 2 shows the trends in deaths due to social disasters (Source: National Security Agency, National Emergency Management and Emergency Management Statistical Yearbook, 2013).

구분division 2010년2010 2011년2011 2012년2012 3년 평균3 year average 도로교통Road traffic 5,5055,505 5,2295,229 5,3925,392 5,3755,375 화재fire 304304 263263 257257 274274 수난suffering 360360 489489 632632 493493 해양Ocean 8585 3838 6464 5252 추락fall 104104 189189 333333 208208 총 사망자수Total deaths 6,7586,758 6,7096,709 7,3227,322 6,9296,929

재난 사고는 신속한 초기 대응으로 사고 피해를 최소화할 수 있는 인명 보호 및 구조 시스템 개발을 통하여 사회재난대응 관리체계 구축이 필요하다.It is necessary to establish a social disaster response management system through the development of rescue system and rescue system that can minimize the accident damage by quick initial response.

사회재난사고 경감을 위하여 재난 사고의 유형을 조사 및 분석하여 사고예방 및 초기 대응이 가능한 시스템을 개발해야 한다. 영상 및 기타 센서를 융합하여 언제, 어디서나 발생할 수 있는 재난 상황을 네트워크를 활용하여 사고 감지, 상황 인식, 정보 제공, 대응까지 가능한 ICT 기반의 사회재난 예방 및 대응 시스템 개발이 필요하다. 재난, 재해 현장 상황을 본부 및 관련기관이 실시간으로 상황파악 및 대응을 위한 방안으로 지향성 스피커, 영상 및 물리센서 융복합 기술을 활용하여 사회재난사고 예방 및 감소를 위한 시스템이 필요하다.In order to reduce social accidents, it is necessary to investigate and analyze the types of disaster incidents to develop a system capable of preventing accidents and responding in the early stages. It is necessary to develop an ICT-based social disaster prevention and response system that can detect accidents, detect situations, provide information, and respond to disasters that can occur anywhere, anytime, by converging images and other sensors. A system for prevention and reduction of social accidents is needed by utilizing the combined technology of directional speaker, image and physical sensor as a way to grasp and respond to the situation of the disaster and the disaster site in real time.

[국내외 기술 동향][Technology trends at home and abroad]

○ 영상센서를 이용한 지능형 융복합 시스템○ Intelligent fusion system using image sensor

통합관제센터는 영상 분석 솔루션을 개발하여 영상 분석 및 빅데이터 기반의 지능형 영상 관제 센터 구축 솔루션을 사용한다. The Integrated Control Center develops image analysis solutions and uses image analysis and intelligent video control center building solutions based on Big Data.

영상정보를 사용해 범죄 징후를 조기에 포착하고, 선제적으로 조치할 수 있는 대응체계를 갖추고 있으며, 감시 장비를 통해 다양한 정보수집 및 분석을 통해 대민 서비스를 향상시킬 수 있는 인프라를 제공한다. It has a response system that can catch the signs of crime early by using image information and can take preemptive action. It also provides infrastructure to improve public service through various information collection and analysis through surveillance equipment.

지능형 통합관제 및 영상분석 솔루션을 개발하여 방범 영상 정보, 실시간 교통정보, 기상정보, 지리정보 및 건물 정보를 포함하는 빅데이터를 통해 공공안전 분야의 서비스 강화에 기여한다. Intelligent integrated control and image analysis solutions are developed to contribute to strengthening services in the public safety field through big data including security image information, real time traffic information, weather information, geographical information and building information.

지능형 영상관제 솔루션은 영상 데이터 분석을 기반으로 교통, 산업, 재난 방재 및 방범 등 다양한 분야에 활용한다. Intelligent video control solution is applied to various fields such as traffic, industry, disaster disaster prevention and crime prevention based on image data analysis.

교차로나 횡단보도, 도로 및 교각 등에 설치된 카메라에 전송되는 영상을 지능형 영상분석 기술을 통하여 불법 주정차 단속, 교통사고에 대응한다. Intelligent image analysis technology is applied to images transmitted to cameras installed at intersections, pedestrian crossings, roads and piers, etc., to deal with illegal parking regulations and traffic accidents.

산업 현장에서 발생되는 화학가스 누출이나 폭발사고 등의 산업재해 예방은 물론 첨단 제조공정의 모니터링을 한다. It monitors advanced manufacturing processes as well as prevention of industrial accidents such as chemical gas leaks or explosion accidents in industrial sites.

지능형 영상분석을 통해 영상 데이터만으로 정밀하게 이상 상황이나 사전 징후를 발견한다. Through intelligent image analysis, we can detect abnormal situation or pre-symptom precisely with only image data.

방범 분야는 방치된 사람이나 물품 감지, 미아 및 치매노인의 감지 등 매우 광범위한 공공 및 생활 안전 분야에 활용한다. The crime prevention field is used in a wide range of public and life safety fields such as detection of unauthorized persons or goods, detection of missing persons and demented elderly people.

○ 지향성 스피커○ Directional speaker

일부 선진국에서 고출력 음향 기술을 활용하여 조류 퇴치, 해적 방어에 사용되고 있다.국내에서는 경고 방송 등에 일부 활용되고 있다. In some advanced countries, it is being used to combat algae and to protect pirates by utilizing high-powered sound technology.

지능형 영상 수위 감지 시스템 Intelligent image level detection system

지능형 CCTV를 수위감지에 사용하여 강, 하천 등 수위를 실시간으로 분석하고 경보 단계를 구분하여 관리하는 시스템을 제공한다. Intelligent CCTV is used for water level detection to provide real-time analysis of water levels such as river and river, and a system for managing alarm levels separately.

○ 교량 투신 자살 감시 시스템 ○ Bridge projected suicide monitoring system

교량에서 발생하는 투신 상황을 실시간 모니터링 하고, 상황 발생시 경보체계를 가동하여 신속하게 구조대 투입하며, 서울시 한강 교량 2곳에서 운영되고 있다. It monitors real-time traffic situation of bridges, operates alert system in case of a situation, and quickly puts rescue teams into operation. It is operated in two places of Hangang Bridge in Seoul.

○ 유해화학물질 통합관리 시스템○ Integrated management system for hazardous chemicals

산단 지리정보를 입체화하고 유해화학물질 정보 등을 시스템화하여 실시간 기상정보 적용과 물질별 확산 시뮬레이션 분석 기법을 도입한다. Realization of real-time weather information and material diffusion simulation analysis are introduced by systematizing hazardous chemical information, etc.

사업장이 취급하는 화학물질 정보 및 사업장별 맞춤 정보와 사고 대응을 위한 방재정보를 제공한다. Provides information on chemical substances handled by the workplace, customized information for each workplace, and disaster prevention information for accident response.

이와 관련된 선행기술1로써, 특허 공개번호 10-2016-0097708에서는 "통합형 센서모듈을 이용한 상시 환경제어 및 재난대응 관제시스템"이 개시되어 있다. As a related art 1, Patent Publication No. 10-2016-0097708 discloses a " system for always-on environment control and disaster response control using an integrated sensor module ".

통합형 센서모듈을 이용한 상시 환경제어 및 재난대응 관제시스템은 단위 건축물에 설치되어 단위 건축물 내의 환경 정보를 센싱하는 센서노드, 인터노드, 싱크노드를 포함하는 센서모듈과, 단위 건축물 각각에 마련되어 센서모듈로부터 정보를 제공받아 관리하는 관제 시스템부와, 센서모듈 또는 관제 시스템부로부터 정보를 제공받아 관리하는 U-City 통합운영센터부를 포함한다. 이와 같이 구성되는 통합형 센서모듈을 이용한 상시 환경제어 및 재난대응 관제시스템은, 다중 센싱 노드에 의해 통합적인 센싱이 가능하고, 빠른 재난 정보 교환 및 분석이 용이하며 스마트 빌딩 구축을 통해 U-City 통합운영센터와 건물 중앙통제부나 유지관리, 재난관제업체 등의 다수의 관제시스템과의 연계에 의해 도시 전반의 지능적이고 안전한 통합플랫폼을 구축할 수 있다. The continuous environment control and disaster response control system using the integrated sensor module is composed of a sensor module including a sensor node, an inter node, and a sink node installed in a unit building and sensing environmental information in a unit building, A U-City integrated operation center unit for receiving and managing information from the sensor module or the control system unit. The continuous environment control and disaster response control system using the integrated sensor module configured in this way enables integrated sensing by multiple sensing nodes, facilitates quick disaster information exchange and analysis, and integrates U-City through smart building It is possible to build an intelligent and safe integrated platform for the whole city by linking with the central control and central control department, maintenance and disaster control system.

이와 관련된 선행기술2로써, 특허 등록번호 10-17431380000에서는 "사물지능통신을 기반으로 하는 재난대응시스템 및 방법"이 공개되어 있다. As related art 2, patent registration No. 10-17431380000 discloses "Disaster response system and method based on object intelligence communication".

사물지능통신을 기반으로 하는 재난대응시스템은 유해화학가스 확산, 원유유출, 플랜트폭발, 방사능누출사고 등의 다양한 인재사고의 확산으로 인한 피해범위의 광역화와 누적적 장기화로 인한 불특정 다수의 주민과 생물환경에 심대한 영향을 주는 인적재난에 대해, 빅데이터를 기반으로 사고상황 발생 전부터 지속적으로 체크함으로써, 고확산, 고위험이 수반되는 유해화학물질의 관리를 체계적으로 수립 및 해당 지역 주민들에게 안내하여 사고발생 전부터 해당 지역 주민들에게 신속하게 대응 및 대처할 수 있게 안내하여 야기될 수 있는 위험성을 극소화시킴과 더불어 실제로 재난사고가 발생한 상태에서 지역 소속자들이 그 재난사고가 발생된 지역을 인지하고, 그 재난사고가 전파되는 지역을 회피하면서 안전한 지역까지 최단경로로 이동하게 안내하여 줌으로써, 재난사고 발생후에도 인명피해를 최소화시켜줄 뿐만 아니라 사고발생지역에 위치하는 소속자들이 보유한 단말과 중앙관제시스템 간의 무선인터넷망이 재난사고로 인해 본연의 구실을 수행하지 못하더라도 사고발생지역에 위치하는 소속자들의 위치를 확인하고 이를 통해, 소속자들이 안전하게 탈출할 수 있는 경로를 소속자들에게 제공하여 주는 사물지능통신을 기반으로 하는 재난대응시스템 및 방법에 관한 것으로, 산업시설 주변지역의 상황을 감지하여 기설정된 주기마다 지역별 방재용 주변상황정보를 생성하고, 이를 TCP/IP 인터넷통신모듈(130)을 이용하여 TCP/IP 기반 인터넷망을 통해 전송하는 사물지능 방재센서 관리부재(100)들과; 상기 사물지능 방재센서 관리부재(100)들이 설치된 산업시설 주변지역에 속하는 소속자가 소유한 단말로서, 해당 소속자의 위치를 나타내는 산업시설 주변지역 소속자 위치좌표정보를 무선인터넷 통신모듈(220)을 이용하여 무선인터넷망을 통해 송신하는 산업시설 주변지역 소속자용 단말(200)과; 상기 산업시설 주변지역을 나타내는 지도 상에 상기 사물지능 방재센서 관리부재(100)들의 위치가 표시된 산업시설 주변지역 사물지능 방재센서 위치 안내용 지도정보가 저장된 산업시설 주변지역 사물지능 방재센서 위치 안내용 지도 목록정보 DB(316)를 포함하는 DB부(310); 재난분석엔진(320) 및 안전이동경로 생성엔진(330);을 갖는 것으로, 상기 재난분석엔진(320)을 운영하여, 상기 사물지능 방재센서 관리부재(100)로부터 TCP/IP 기반 인터넷망을 통해 기설정된 주기마다 방재용 주변상황정보들을 전송받고, 그 전송된 방재용 주변황상정보들을 분석하여 사고가 감지된 경우 그 사고가 감지된 방재용 주변상황정보를 전송한 해당 사물지능 방재센서 관리부재(100)를 인지하며, 상기 산업시설 주변지역 소속자용 단말(200)들로부터 무선인터넷망을 통해 산업시설 주변지역 소속자 위치좌표정보들을 전송받고, 상기 안전이동경로 생성엔진(330)을 운영하여, 상기 산업시설 주변지역 사물지능 방재센서 위치 안내용 지도 목록정보 DB(316)에서 산업시설 주변지역 사물지능 방재센서 위치 안내용 지도정보를 추출하여 그 추출된 산업시설 주변지역 사물지능 방재센서 위치 안내용 지도정보 상에 상기 사고가 감지된 방재용 주변상황정보를 전송한 해당 사물지능 방재센서 관리부재(100)를 중심으로 사고위험반경(r1)을 설정하며, 상기 추출된 산업시설 주변지역 사물지능 방재센서 위치 안내용 지도정보 상에 상기 사고가 감지된 방재용 주변상황정보를 전송한 해당 사물지능 방재센서 관리부재(100)로부터 안전한 지역을 나타내는 안전지역(SZ)을 선정한 후 상기 전송된 산업시설 주변지역 소속자 위치좌표정보들을 참조하여 상기 추출된 산업시설 주변지역 사물지능 방재센서 위치 안내용 지도정보 상의 사고위험반경(r1)의 외(外)에 위치하는 소속자들을 인지하며, 그 인지된 해당 소속자들의 위치에서 상기 안전지역(SZ)까지 최단으로 이동하는 경로인 위험전파 회피기반 최단경로(MR)를 검색하여 상기 추출된 산업시설 주변지역 사물지능 방재센서 위치 안내용 지도정보 상에 표시하고 이를, 상기 사고위험반경(r1)의 외(外)에 위치하는 소속자들의 산업시설 주변지역 소속자용 단말(200)로 통보하는 재난대응서버(300);에 있어서, BLE통신모듈(530b,530c)과 RSSI 측정모듈(520b,520c)을 갖는 한 쌍의 위치측정용 슬레이브측 설치지점별 근거리 위치안내단말(500b,500c) 및 BLE통신모듈(530a)과 RSSI 측정모듈(520a)을 갖는 위치측정용 마스터측 설치지점별 근거리 위치안내단말(500a)이 한 조로 이루어져 산업시설 주변지역마다 분포설치되는 설치지점별 근거리 위치안내단말군(500);을 포함하고, 상기 위치측정용 마스터측 설치지점별 근거리 위치안내단말(500a)에는 한 조로 이루어진 한 쌍의 위치측정용 슬레이브측 설치지점별 근거리 위치안내단말(500b,500c) 및 위치측정용 마스터측 설치지점별 근거리 위치안내단말(500a)을 삼점(三點)으로 연결하여 이루어지는 영역을 포함하는 설치지점지역을 나타내는 설치지점별 주변지도정보가 저장된 설치지점별 주변지도 목록정보 DB(511a)를 더 포함하며, 상기 재난대응서버(300)는 상기 방재용 주변상황정보들의 분석된 값이 사고발생 예측상황감지에 해당하는 경우 기설정주기마다 상기 산업시설 주변지역 소속자용 단말(200)로 무선인터넷망이 정상작동된다는 것을 안내하는 무선인터넷망 정상작동안내신호를 전송하며, 상기 산업시설 주변지역 소속자용 단말(200)은 상기 재난대응서버(300)로부터 무선인터넷망을 통해 기설정주기마다 전송되는 무선인터넷망 정상작동안내신호가 전송되지 않는 경우 사용자 식별정보 및 서버단절 안내정보를 포함하는 무선단절 안내신호를 블루투스 통신모듈(230)을 이용하여 근거리통신망을 통해 전송하고, 상기 설치지점별 근거리 위치안내단말군(500)을 이루는 것으로, 산업시설 주변지역마다 분포설치된 한 조를 이루는 한 쌍의 위치측정용 슬레이브측 설치지점별 근거리 위치안내단말(500b,500c) 및 위치측정용 마스터측 설치지점별 근거리 위치안내단말(500a) 중 상기 산업시설 주변지역 소속자용 단말(200)로부터 근거리통신망을 통해 전송되는 무선단절 안내신호가 수신가능한 근거리지역에 위치하는 한 조를 이루는 한 쌍의 위치측정용 슬레이브측 설치지점별 근거리 위치안내단말(500b,500c)의 BLE통신모듈(530b,530c)과 위치측정용 마스터측 설치지점별 근거리 위치안내단말(500a)의 BLE통신모듈(530a)에서 상기 무선단절 안내신호를 각각 수신하며, 상기 무선단절 안내신호를 수신한 상기 한 쌍의 위치측정용 슬레이브측 설치지점별 근거리 위치안내단말(500b,500c)은 RSSI 측정모듈(520b,520c)을 운영하여 그 수신된 무선단절 안내신호의 세기(RSSI)를 측정하고, 그 측정된 값인 한 쌍의 슬레이브측 세기측정정보를 BLE통신모듈(530b,530c)을 이용하여 근거리통신망을 통해 한 조를 이루는 상기 위치측정용 마스터측 설치지점별 근거리 위치안내단말(500a)로 전송하고, 상기 한 쌍의 위치측정용 슬레이브측 설치지점별 근거리 위치안내단말(500b,500c)과 한 조를 이루는 상기 위치측정용 마스터측 설치지점별 근거리 위치안내단말(500a)은 RSSI 측정모듈(520a)을 운영하여 그 수신된 무선단절 안내신호의 세기(RSSI)를 측정하고, 그 측정된 값인 마스터측 세기측정정보와 상기 BLE통신모듈(530a)을 통해 수신되는 한 쌍의 슬레이브측 세기측정정보를 토대로 상기 무선단절 안내신호를 수신한 해당 위치측정용 마스터측 설치지점별 근거리 위치안내단말(500a) 및 한 쌍의 위치측정용 슬레이브측 설치지점별 근거리 위치안내단말(500b,500c)의 삼점(三點)으로 연결되는 설치지점지역에서 상기 무선단절 안내신호를 송신한 상기 산업시설 주변지역 소속자용 단말(200)의 위치를 나타내는 설치지점별 소속자 위치좌표정보를 생성하며, 상기 설치지점별 주변지도 목록정보 DB(511a)에서 상기 설치지점별 소속자 위치좌표정보가 포함되는 설치지점별 주변지도정보를 추출하여 그 추출된 설치지점별 주변지도정보 상에 상기 설치지점별 소속자 위치좌표정보를 참조하여 지근거리용 탈출경로를 표시하여 탈출안내용 설치지점별 주변지도정보로 가공하며, 그 가공된 탈출안내용 설치지점별 주변지도정보에 상기 사용자 식별정보를 취합하고 이를, 블루투스 통신모듈(530a)을 이용하여 근거리통신망을 통해 전송하고, 상기 산업시설 주변지역 소속자용 단말(200)은 상기 위치측정용 마스터측 설치지점별 근거리 위치안내단말(500a)로부터 근거리통신망을 통해 전송되는 탈출안내용 설치지점별 주변지도정보를 블루투스 통신모듈(230)을 통해 수신하고, 그 수신된 탈출안내용 설치지점별 주변지도정보에 취합된 사용자 식별정보를 토대로 사용자 식별을 수행한 후 탈출안내용 설치지점별 주변지도정보를 출력 안내하는 시스템 및 이를 이용한 방법을 제공한다.Disaster response systems based on intelligent communication of objects have been developed to cope with unspecified number of residents and creatures due to widening of damage range and cumulative prolongation due to spread of various human resources accidents such as hazardous chemical gas diffusion, crude oil spill, plant explosion, Based on the Big Data, we continually check for human accidents, which have a profound impact on the environment, before the occurrence of accidents, to systematically establish the management of hazardous chemicals accompanied by high diffusion and high risk, It will minimize the risks that can be caused by promptly responding to and coping with the local residents for a long time. In addition, in the event of actual disaster, local people will recognize the area where the disaster occurred, Moving to the safe area by avoiding the propagating area In addition to minimizing personal injury after a disaster, even if the wireless Internet network between the terminal and the central control system of the persons located in the accident area can not carry out the pretext of the disaster, The present invention relates to a system and method for responding to a disaster based on intelligent communication, which provides a path through which a person can safely escape through the confirmation of the location of his / And transmits it through the TCP / IP-based Internet network using the TCP / IP Internet communication module 130. The object-oriented disaster prevention sensor management member 100 ); The wireless LAN communication module 220 is a terminal owned by a person belonging to the area surrounding the industrial facility equipped with the MOUs 100 and belongs to the area around the industrial facility indicating the position of the belonging party A terminal 200 belonging to an area surrounding an industrial facility to transmit through the wireless Internet network; The area around the industrial facility where the location of the OBT management member 100 is indicated on the map indicating the area surrounding the industrial facility The location of the intelligent disaster prevention sensor The area around the industrial facility where the map information is stored Object intelligence Disaster prevention sensor Location information A DB unit 310 including a map list information DB 316; The disaster analysis engine 320 and the safety movement path generation engine 330. The disaster analysis engine 320 is operated to transmit the disaster analysis sensor management member 100 through the TCP / And transmits the surrounding disaster prevention information to the object disaster prevention sensor management member which has transmitted the detected disaster prevention environment information when the accident is detected 100, receives the location coordinate information of the affiliated area around the industrial facility through the wireless Internet network from the terminal 200 belonging to the area surrounding the industrial facility, operates the safety movement path generation engine 330, The map information of the object intelligence disaster prevention sensor location around the industrial facility is extracted from the information map DB 316 of the object intelligence disaster prevention sensor in the vicinity of the industrial facility, The accident risk radius r1 is set around the object intelligent disaster control sensor management member 100 that has transmitted the disaster prevention surrounding situation information in which the accident has been detected on the surrounding intelligent disaster prevention sensor location information map information, (SZ) indicating a safe area from the object intelligent disaster control sensor managing member (100), which transmits the disaster awareness circumstance information detected on the map information to the extracted intelligence disaster prevention sensor management member (100) (R1) of the object intelligent disaster prevention sensor location map information about the extracted industrial environment surrounding the transferred industrial facility by referring to the position coordinate information of the area around the transferred industrial facility, (MR) based on the danger avoiding route, which is a route that moves from the position of the perceived corresponding persons to the safe zone (SZ) And displays the extracted information on the object intelligence disaster prevention sensor location information map information of the extracted industrial facility surroundings and transmits it to the affiliated terminal 200 of the affiliated area located in the outside of the accident risk radius r1 A pair of position-measuring slave-side positioning point-based positioning terminal 500b (500b) having a BLE communication module 530b, 530c and an RSSI measurement module 520b, 520c, And a short distance location guidance terminal 500a for location measurement master side installation point having a BLE communication module 530a and an RSSI measurement module 520a are installed in the vicinity of the industrial facility, And a pair of position-measuring slave-side positioning point-based positioning terminal 500b, 500b, 500c, 500d, 500d, 500c and position A perimeter map list information DB (for each installation point), which stores perimeter map information for each installation point, which indicates an installation point area including an area formed by connecting the short distance guidance terminal 500a for three measurement points on the master side for measurement The disaster response server 300 further includes a disaster response server 300 for detecting the occurrence of an accident occurrence prediction situation when the analyzed value of the disaster prevention circumstance information corresponds to the detection of an accident occurrence prediction situation, And transmits a wireless Internet network normal operation guidance signal for informing that the wireless Internet network is operating normally. The terminal 200 belonging to the area surrounding the industrial facility transmits a predetermined setting cycle through the wireless Internet network from the disaster response server 300, A wireless disconnection guidance signal including user identification information and server disconnection guidance information when the normal operation guidance signal is not transmitted And transmits the data through the local area network using the Lutus communication module 230 and forms the local location guidance terminal group 500 according to the installation point, The wireless local area information terminal 500b and 500c on the slave side installation point and the local positioning information terminal 500a on the master side installation point for location measurement, The BLE communication modules 530b and 530c of the short distance position guidance terminals 500b and 500c and the position measurement master side 500b and 530c of the pair of position measurement slave side installation points, The BLE communication module 530a of the local positioning information terminal 500a for each installation point receives the wireless disconnection guidance signal, The local positioning information terminals 500b and 500c for measuring measurement slave side installation points operate the RSSI measurement modules 520b and 520c to measure the strength RSSI of the received radio disconnection guidance signal, The slave side strength measurement information of the pair is transmitted to the short distance location guidance terminal 500a for each location-based master side installation point constituting a set via the local area network using the BLE communication modules 530b and 530c, The local positioning guide terminal 500a for each position-measuring master side installation point forming a pair with the slave side installation point-based slave side positioning terminal 500b, 500c for position measurement of the position measuring slave side terminal 500a operates the RSSI measuring module 520a, (RSSI) of the received radio disconnection guidance signal, and based on the measured value, master side strength measurement information and a pair of slave side strength measurement information received via the BLE communication module 530a, The local positioning guidance terminal 500a for the master side installation point and the local positioning guidance terminals 500b and 500c for the slave side installation point for position measurement, which receive the signal, are connected by three points By-installation-point location coordinate information indicating the location of the affiliate terminal 200 in the vicinity of the industrial facility, which has transmitted the radio-disconnection guidance signal in the installation point area, and generates perimeter map list information DB 511a ), Peripheral map information for each installation point including the positional coordinate information of the individual members by the installation point is extracted, and referring to the positional coordinate information of each member by the installation point on the extracted peripheral map information for each installation point, The route is displayed, and the route information is processed into peripheral map information for each installation point of the escape route, and the user identification information is collected in the surrounding map information for each of the processed escape route installation points And the terminal 200 belonging to the area surrounding the industrial facility transmits the local communication network from the local positioning guide terminal 500a for each installation point on the master for position measurement to the local communication terminal 500a And receives the surrounding map information for each escape route through the Bluetooth communication module 230 and performs user identification based on the user identification information collected in the surrounding map information for each escape route of the escape route Provides a system for outputting and displaying surrounding map information for each installation point and a method using the same.

이와 관련된 선행기술2로써, 특허 등록번호 10-08000230000에서는 "재난대응 자원 관리 시스템 및 방법"이 개시되어 있다. As related art 2, Patent Disclosure No. 10-08000230000 discloses "Disaster response resource management system and method ".

재난대응 자원 관리 시스템은 재난현장의 어느 한 개별 구역에 투입되는 자원을 관리하는 재난대응 자원 관리 시스템으로써, 투입되는 자원이 가지고 있는 보유 정보를 무선으로 체크하는 체크 포인트기; 투입되는 자원에 대하여 투입임무를 포함한 투입 정보를 입력하는 입력부; 및 체크 포인트기 및 입력부로부터의 정보에 근거하여 해당하는 개별 구역에 투입되는 자원에 대한 현황 정보를 만들어 출력하는 처리부를 포함한다. 이러한 본 발명에 의하면, 재난현장의 인적·물적 투입자원의 현황을 현장 및 원격지의 상황실의 수준별 지휘자가 전술적 및 전략적으로 판단할 수 있도록 데이터베이스화하고 단계적으로 연산 가공함으로써, 투입자원의 희생을 적극적으로 막게 된다.A disaster response resource management system is a disaster response resource management system that manages resources that are put into a discrete area of a disaster site. It is a checkpoint device that wirelessly checks the information held by the resource being input. An input unit for inputting input information including an input mission to an input resource; And a processor for generating and outputting current status information on resources input to the corresponding individual zone based on the information from the check point unit and the input unit. According to the present invention, the state of human and material input resources at the disaster site can be databaseed so as to be able to tactically and strategically judge the level conductor of the situation room in the field and remote places, .

그러나, 사회재난 사례 분석을 통한 재난 특성 분석 및 대응 시나리오 개발하며, 재난 대응 대책을 마련하기 위해, 태풍, 해일은 기상청의 조기 예경보 시스템에 의해 미리 재난을 막도록 조치를 취하지만, 홍수, 강물 범람, 풍수해, 계곡 급류 등의 수난 재해는 사회적 재난예방 기술과 ICT 기술이 적용된 재난 대응 시스템이 필요하지만 재산과 인명 피해를 방지하는 시스템이 아직 구비되고 않은 실정이다. However, in order to analyze the disaster characteristics through the case analysis of social disasters and to develop countermeasure scenarios, the typhoon and tsunami should be prepared to prevent the disaster by the early warning system of the Korea Meteorological Administration, Floods, floods, and valley rapids require a disaster response system using social disaster prevention technology and ICT technology, but there is no system to prevent property and casualties.

그러므로, 사회재난 대응전략 개발, ICT 기술을 사용하여 지능형 카메라와 재난정보 탐지 융복합 센서 노드와 IoT 기반 센서 네트워크 구축, 게이트웨이와 연동된 재난대응 시스템, IDS 통합 관제 시스템과 IDS 로컬 관제 시스템, 영상 관제 시스템의 인공 지능 기반의 재난 상황 영상분석/상황인지/영상 추적, 사회 재난 발생 유형 분석, 재난에 대응하여 신속하게 IDS 기반 인명 지킴이 시나리오, 지향성 스ㅍ피커를 사용한 재난 경고 방송과 재난 발생시 대피 피난 유도 기술이 필요하게 되었다. Therefore, the development of a social disaster response strategy, intelligent camera and disaster information detection, ICT-based complex sensor node and IoT-based sensor network construction, gateway-related disaster response system, IDS integrated control system and IDS local control system, System intelligence based image analysis / situation awareness / image tracking, analysis of the types of social disasters, rapid IDS-based life-saving scenarios in response to disasters, disaster alert broadcasting using directional hotspots, evacuation evacuation in the event of a disaster Technology became necessary.

특허 공개번호 10-2016-0097708 (공개일자 2016년 08월 18일), "통합형 센서모듈을 이용한 상시 환경제어 및 재난대응 관제시스템", 한국과학기술원, (주)도원엔지니어링건축사사무소Patent Publication No. 10-2016-0097708 (Aug. 18, 2016), "System for continuous control of environment and disaster response using integrated sensor module", Korea Advanced Institute of Science and Technology, 특허 등록번호 10-17431380000 (등록일자 2017년 05월 29일), "사물지능통신을 기반으로 하는 재난대응시스템 및 방법", (주)바인테크Patent Registration No. 10-17431380000 (registered on May 29, 2017), "Disaster response system and method based on intelligent communication of objects", Bain Tech Co., Ltd. 특허 등록번호 10-08000230000 (등록일자 2008년 01월 25일), "재난대응 자원 관리 시스템 및 방법", 소방방재청Patent Registration No. 10-08000230000 (Date of Registration January 25, 2008), "Disaster Response Resource Management System and Method", National Emergency Management Agency

종래 기술의 문제점을 해결하기 위한 본 발명의 목적은 ICT 기술을 사용하여 재난을 감지하는 CCTV 카메라, 융복합 센서, IoT 센서 네트워크(USN, WSN, 6LoWPAN, MQTT, Wi-Fi, NB-IoT, LTE, LoRa 네트워크), IoT 게이트웨이를 포함하는 사회재난 대응 IoT 센서 플랫폼 기술을 개발하고, 모비우스 서버, IDS 통합 관제 시스템과 IDS 로컬 관제 시스템, 영상 관제 시스템의 인공 지능 기반의 재난 상황 영상분석/상황인지/영상의 객체 추적, 센서 데이터 모니터링, 위험 지역의 마이크 센서를 이용한 비명소리에 의한 이벤트 감지 기능을 제공하며, 사회 재난 발생 유형 빅데이터 분석, 재난 대응 IDS 기반 인명 지킴이 시스템을 제공하며, 재난 경고 방송과 대피 유도 기술을 제공하며, 센서 네트워크와 가변 출력이 가능한 지향성 스피커 시스템을 사용한 피난유도 시스템, 스마트폰의 비가청 주파수를 활용한 유도 App을 제공하는, 사회재난 대응을 위한 융복합기술 기반의 카메라, 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템을 제공한다. It is an object of the present invention to solve the problems of the related art by providing a CCTV camera, a fusion compound sensor, an IoT sensor network (USN, WSN, 6LoWPAN, MQTT, Wi-Fi, NB-IoT, LTE , LoRa network), and IoT gateway, and developed mobius server, IDS integrated control system and IDS local control system, artificial intelligence based image management system for disaster situation analysis / situational awareness / Provides object tracking of video objects, sensor data monitoring, event detection by screaming sound using microphone sensor in dangerous area, provides big data analysis of social disaster type, disaster response IDS based protection system, And evacuation guidance system using a sensor network and a directional speaker system capable of variable output, We provide a camera, sensor network and directional loudspeaker system based on fusion technology for social disaster response that provides an inductive app using non-audible frequency.

본 발명의 목적을 달성하기 위해, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템은, 적어도 하나 이상의 카메라와 디지털 비디오 레코더(NVR) 및 영상 분석 소프트웨어를 구비하는 CCTV 카메라 시스템; 재난 상황을 감지한 센서 데이터를 전송하는 적어도 하나 이상의 IoT 기반 센서; 상기 IoT 기반 센서로부터 감지된 센서 패킷 데이터들을 무선 센서 네트워크(USN, WSN, 6LoWPAN, MQTT), Wi-Fi, NB-IoT를 이용한 센서 네트워크, 이동통신망(LTE), LoRa 네트워크, 이더넷(Ethernet) 중 어느 하나의 네트워크를 통해 수신받아 프로토콜을 변환하여 서버로 전송하는 IoT 게이트웨이; 및 상기 어느 하나의 네트워크를 통해 상기 IoT 기반 센서로부터 감지된 센서 데이터들을 수집하여 저장하며, 센서 데이터 모니터링 및 센서노드 정보 관리 및 제어 시스템을 구비하며, 센서 데이터 수집하여 빅 데이터를 분석하는 IoT 기반 센서 네트워크와 연결되는 모비우스 서버, 상기 CCTV 카메라 시스템과 연결되고 인공 지능의 딥러닝 기반의 영상의 객체를 검출하여 재난 상황 영상분석/상황인지/영상의 객체 추적하는 영상 분석 서버와, 사회 재난 발생 유형별 빅 데이터를 분석하여 재난 대응 조치를 취하는 IDS 관제 시스템을 포함하며, In order to achieve the object of the present invention, a camera, a sensor network based on fusion and fusion technology for social disaster, and a life guarding system using a directional speaker include at least one camera, a digital video recorder (NVR) CCTV camera system; At least one IoT-based sensor for transmitting sensor data that detects a disaster situation; The sensor packet data detected from the IoT-based sensor is transmitted to a wireless sensor network (USN, WSN, 6LoWPAN, MQTT), a Wi-Fi sensor network using NB-IoT, a mobile communication network LTE, a LoRa network, An IoT gateway which receives the packet through any one of the networks, converts the protocol, and transmits the converted protocol to the server; And an IoT-based sensor for collecting and storing sensor data sensed from the IoT-based sensor through any one of the networks and having sensor data monitoring and sensor node information management and control system, A Mobius server connected to the network, an image analysis server connected to the CCTV camera system and detecting an object of the deep learning based image of the artificial intelligence and tracking the object of the disaster situation image analysis / situation recognition / image, Includes an IDS control system that analyzes big data and takes disaster response measures,

IDS 관제 시스템은 다수의 IDS 로컬 관제 시스템과 IDS 통합 관제 시스템으로 구성되며, IDS 로컬 관제 시스템은 IDS 폴과 연동된다. The IDS control system consists of a number of IDS local control systems and an IDS integrated control system. The IDS local control system is interlocked with IDS polls.

본 발명에 따른 사회재난 대응을 위한 융복합기술 기반의 카메라, 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템은 ICT 기술을 사용하여 사회 재난을 감지하는 CCTV 카메라, 융복합 센서, IoT 센서 네트워크(USN, WSN, 6LoWPAN, Wi-Fi, NB-IoT, LTE, LoRa 네트워크), IoT 게이트웨이를 포함하는 사회재난 대응 IoT 센서 플랫폼 기술을 개발하고, 모비우스 서버, IDS 통합 관제 시스템과 IDS 로컬 관제 시스템, 영상 관제 시스템의 인공 지능 기반의 재난 상황 영상분석/상황인지/영상의 객체 추적, 센서 데이터 모니터링, 위험 지역의 마이크 센서를 이용한 비명소리에 의한 이벤트 감지 기능을 제공하며, 사회 재난 발생 유형 빅데이터 분석, 재난 대응 IDS 기반 인명 지킴이 시스템을 제공하며, 재난 경고 방송과 대피 유도 기술을 제공하며, 센서 네트워크와 가변 출력이 가능한 지향성 스피커 시스템을 사용한 피난유도 시스템, 스마트폰의 비가청 주파수를 활용한 유도 App을 제공한다. According to the present invention, a camera, a sensor network and a directional loudspeaker system using a fusion-type technology based on a fusion technology for preventing social disasters can be applied to a CCTV camera, a fusion compound sensor, an IoT sensor network (USN, IOT sensor platform technology including ITS gateway, WSN, 6LoWPAN, Wi-Fi, NB-IoT, LTE and LoRa network) and IoT gateway. We also developed Mobius server, IDS integrated control system and IDS local control system, System intelligence based image analysis / situation recognition / image object tracking, sensor data monitoring, event detection by screaming sound using dangerous area microphone sensor, social disaster type big data analysis, disaster Provides IDS-based human-life-protection system, provides emergency alert broadcasting and evacuation technology, It provides an evacuation guidance system using a directional speaker system that can generate power, and an induction app that utilizes the non-audible frequency of a smartphone.

본 시스템은 재난 유형별, 지역별 재난 발생 현황 분석에 따른 시범 지역 선정 및 테스트베드 시스템을 구축하고, 사회재난 종류별·특성별 기 구축된 방재시스템과의 연계사회재난 종류별·특성별 기 구축된 방재시스템과 연계하며, 향후, 사회재난 사고 발생 시 활용 가능한 이동형 관제 시스템을 개발할 예정이다. In this system, a pilot zone system is selected based on the analysis of disaster type and regional disaster occurrence status, and a test bed system is established. The disaster prevention system is divided into disaster prevention systems And will develop a mobile control system that can be used in the event of a social accident in the future.

사회 재난 관련 법·제도를 개선하고, U-City 통합 플랫폼과 IDS 시스템과의 연계를 통해 국가방재 시스템 구축을 위한 중앙부처 및 유관기관, 지자체 시스템 연계하여 재난 발생시에 신속하게 대응하여 많은 인명과 재산을 보호하는데 사용된다. We are improving the laws and systems related to social disasters, linking the U-City integration platform with the IDS system, linking central agencies, related agencies and municipal systems to build a national disaster prevention system, Lt; / RTI >

도 1은 종래의 사물지능통신을 기반으로 하는 재난대응시스템을 나타낸 전체구성도이다.
도 2는 본 발명에 따른 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템 구성도이다.
도 3a는 사회재난 및 자연재해 피ㅍ해발생 추이를 보인 그래프이다.
도 3b는 IDS 인명지킴이 시스템 화면이다.
도 4는 핵심 기술별 테스트베드 적용방안을 나타낸 화면이다.
도 5a는 IoT 기반 재난 정보 시스템 구성도이다.
도 5b는 폴대와 지향성 스피커를 사용한 이동차량 기반 재난 대응 시스템 구성도이다.
도 5c는 센서 노드의 구성 예를 보인 도면이다.
도 5d는 복합 센서 노드의 시스템 구성을 보인 도면이다.
도 5e는 복합 센서 노드-센서 노드 드라이버 테스트를 보인 도면이다.
도 5f는 센서 노드의 유형과 구성을 보인 도면이다.
도 5g는 복합 센서 노드 설치 구성도이다.
도 5h는 본 발명의 실시예에 따른 MQTT 프로토콜을 사용하는 IoT 센서, 센서 네트워크 게이트웨이, 모비우스 서버, IoT 모니터링 UI, IoT 관리 UI의 기능을 나타낸 도면이다.
도 6은 기상 센서의 외형을 보인 도면이다.
도 7은 광학 수위 센서를 보인 도면이다.
도 8은 강우 센서를 보인 도면이다.
도 9는 인체 감지 센서를 보인 도면이다.
도 10은 Wi-Fi 메쉬 네트워크 구성도이다.
도 11은 NB-IoT 네트워크 구조를 보인 도면이다.
도 12는 LoRa와 타 기술(Sigfox, LTE MTC, LTE NB IoT)을 비교한 도면이다.
도 13은 LoRa 통신 레이어를 나타낸 도면이다.
도 14a는 각종 센서 노들로부터 센서 데이터를 센서 네트워크를 통해 수신한 모비우스 서버의 센서 데이터 수신 로그, IoT 모니터링 시스템 화면 그래프(좌), 센서 데이터값(우) 화면이다.
도 14b는 센서 노드ID, 센서 장치 ID, 센서 데이터 값을 추출하여 모비우스 서버에 DB에 저장하는 센서 네트워크를 통해 IoT 게이트웨이 데이터 처리 모듈 상세 구현 화면이다.
도 14c는 센서 노드가 게이트웨이를 통해 모비우스 서버로 센서 데이터를 전송하는 IoT 센서 네트워크 통신 프로토콜(MQTT 프토토콜)의 예를 보인도면이다.
도 14d는 방사각도와 팬틸트 조절이 가능한 가변 출력 지향성 스피커 시스템 구성도이다.
도 14e 내지 도 14h는 지향성 스피커의 특징을 나타낸 도면이다.
도 14i는 지향성 스피커의 외형을 보인 도면이다.
도 14j는 센서와 카메라, 지향성 스피커의 전송 정보를 나타낸 통신 프로토콜 정의 파일이다.
도 14k는 분석 영상 에뮬레이터 화면이다.
도 15는 객체 검출의 예를 보인 도면이다.
도 16은 Faster RCNN을 보인 도면이다.
도 17은 SSD(Single Shot multi-box Detector) 구조를 보인 도면이다.
도 18은 SSD에서 특징지도 크기에 따른 객체 추출 예를 보인 도면이다.
도 19는 COCO 데이터베이스만 학습한 모델을 CCTV 영상에 적용한 예, 구축한 데이터베이스를 추가 학습시킨 모델을 CCTV 영상에 적용한 예를 보인 도면이다.
도 20은 객체 추적을 위한 딥러닝 구조를 보인 도면이다.
도 21은 객체 추적 결과를 보인 도면이다.
도 22는 Person re-identification을 위한 CNN(Convolutional Neural Network) 구조를 보인 도면이다.
도 23은 CUHK-03 데이터베이스(같은 행은 동일인물)를 보인 도면이다.
도 24는 객체 검출을 위한 빅데이터 데이터베이스 취득하는 화면이다.
도 25는 오 검출 영역 제거 화면이다.
도 26은 CCTV 카메라에서 바라본 하천 사진이다.
도 27은 입수 금지 위험 지역 CCTV 카메라 촬영 사진이다.
도 28은 해질녁 개인 입수, 위험 지역 이동 CCTV 카메라 촬영 사진이다.
도 29는 태양전지판을 구비한 기상 센서와 수위 관측계, 지향성 스피커와 카메라를 구비한 사진이다.
도 30은 재난 경고 방송 지향성 스피커와 인명구조함과 안전 요원이 상주하는 사진이다.
도 31은 사고 발생 지역과 사고 다발 위험 지역과 특정지역은 안전 표지판을 구비하고 접근 금지구역으로 설정하여 관리하는 사진이다.
도 32a, 32b 및 33은 관제 시스템에서 모니터링 UI 화면을 보인 도면이다.
FIG. 1 is an overall configuration diagram showing a disaster response system based on a conventional object intelligence communication.
FIG. 2 is a system diagram of a life guarding system using a camera, a sensor network, and a directional speaker based on a fusion technology for social disaster response according to the present invention.
FIG. 3A is a graph showing the trend of occurrence of social disaster and natural disaster.
FIG. 3B is a screen of the IDS name protection system.
FIG. 4 is a screen showing a method of applying a test bed for each core technology.
FIG. 5A is a diagram illustrating a disaster information system based on IoT.
5B is a block diagram of a mobile vehicle-based disaster response system using a pole and a directional speaker.
5C is a diagram showing a configuration example of a sensor node.
5D is a diagram showing the system configuration of the hybrid sensor node.
FIG. 5E shows a hybrid sensor node-sensor node driver test.
5F is a diagram showing the type and configuration of the sensor node.
5G is a configuration diagram of the hybrid sensor node installation.
5H is a diagram illustrating the functions of the IoT sensor, the sensor network gateway, the Mobi server, the IoT monitoring UI, and the IoT management UI using the MQTT protocol according to the embodiment of the present invention.
6 is a diagram showing the outline of the vapor sensor.
7 is a view showing an optical water level sensor.
8 is a view showing a rainfall sensor.
9 is a view showing a human body detection sensor.
10 is a configuration diagram of a Wi-Fi mesh network.
11 is a diagram showing an NB-IoT network structure.
12 is a diagram comparing LoRa with other technologies (Sigfox, LTE MTC, LTE NB IoT).
13 is a diagram showing a LoRa communication layer.
14A is a sensor data reception log, IoT monitoring system screen graph (left), and sensor data value (right) screen of a Mobi server receiving sensor data from various sensor nodes via a sensor network.
FIG. 14B is a detailed implementation screen of the IoT gateway data processing module through a sensor network that extracts the sensor node ID, the sensor device ID, and the sensor data value and stores the extracted data in the DB in the Mobi server.
14C is a diagram showing an example of an IoT sensor network communication protocol (MQTT protocol) in which a sensor node transmits sensor data to a Mobi server through a gateway.
14D is a diagram of a variable output directional speaker system capable of adjusting the radiation angle and the pan tilt.
14E to 14H are views showing the features of the directional speaker.
14I is a diagram showing the external shape of the directional speaker.
14J is a communication protocol definition file showing transmission information of the sensor, the camera, and the directional speaker.
14K is an analysis image emulator screen.
15 is a diagram showing an example of object detection.
16 is a view showing a Faster RCNN.
17 is a diagram showing a structure of a single shot multi-box detector (SSD).
18 is a diagram showing an example of object extraction according to the feature map size in the SSD.
FIG. 19 is a diagram showing an example in which a model learned only by the COCO database is applied to a CCTV image, and a model in which a built database is further learned is applied to a CCTV image.
20 is a diagram showing a deep learning structure for object tracking.
FIG. 21 is a diagram showing an object tracking result. FIG.
22 is a diagram showing a CNN (Convolutional Neural Network) structure for Person re-identification.
23 is a diagram showing the CUHK-03 database (the same person in the same row).
24 is a screen for acquiring a big data database for object detection.
Fig. 25 is a picture for erasing the erroneous detection area.
26 is a photograph of a river viewed from a CCTV camera.
FIG. 27 is a picture of a CCTV camera taken in a dangerous area for prohibiting entry.
FIG. 28 is a photograph of a CCTV camera taken at a private spot and moving in a danger zone at the sunset.
29 is a photograph including a gas sensor having a solar panel, a water level gauge, a directional speaker and a camera.
FIG. 30 is a photograph in which the emergency alert broadcast directional loudspeakers, rescue workers and security personnel reside.
FIG. 31 is a photograph in which an accident occurrence area, a dangerous accident dangerous area and a specific area are provided with a safety sign and set as a prohibited area.
32A, 32B and 33 are views showing a monitoring UI screen in the control system.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 사회재난 대응을 위한 융복합기술 기반의 카메라, 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템은 ICT 기술을 사용하여 사회 재난을 감지하는 CCTV 카메라, 융복합 센서, IoT 센서 네트워크(USN, WSN, 6LoWPAN, MQTT, Wi-Fi, NB-IoT, LTE, LoRa 네트워크), IoT 게이트웨이를 포함하는 사회재난 대응 IoT 센서 플랫폼 기술을 개발하고, 모비우스 서버, IDS 통합 관제 시스템과 IDS 로컬 관제 시스템, 영상 관제 시스템의 인공 지능 기반의 재난 상황 영상분석/상황인지/영상 추적, 센서 데이터 모니터링, 위험 지역의 마이크 센서를 이용한 비명소리에 의한 이벤트 감지 기능을 제공하며, 사회 재난 발생 유형 빅데이터 분석, 재난 대응 IDS 기반 인명 지킴이 시스템을 제공하며, 재난 경고 방송과 대피 유도 기술을 제공하며, 센서 네트워크와 가변 출력이 가능한 지향성 스피커 시스템을 사용한 피난유도 시스템, 스마트폰의 비가청 주파수를 활용한 유도 App을 제공한다.The camera, sensor network and directional loudspeaker system based on fusion compound technology for social disaster response of the present invention can be applied to a CCTV camera, a fusion compound sensor, an IoT sensor network (USN, WSN , IOT sensor platform technology including 6LoWPAN, MQTT, Wi-Fi, NB-IoT, LTE, LoRa network) and IoT gateway, and developed mobius server, IDS integrated control system, IDS local control system, Provides event detection by screaming sound using dangerous area microphone sensor, analysis of disaster situation based on artificial intelligence of control system / situation awareness / image tracking, analysis of big disaster data type, disaster response Provides IDS-based human-life-protection system, provides emergency alert broadcasting and evacuation technology, and sensor network and variable output A directional evacuation guidance system using the speaker system, and provides a guided smartphone ratio utilizing the blue frequency App.

본 발명은 각종 재난·재해 현장에서 발생하는 유효 데이터 수집을 통해 위험 요소 방지 및 재난 상황 전파 체계를 구축에 관한 것이다. The present invention relates to the construction of a hazard prevention system and a disaster situation propagation system by collecting valid data from various disasters and disasters.

- 사회재난사고 자료 수집 및 빅 데이터 분석을 통한 재난 유형, 사고원인과 특성분석- Analysis of disaster type, cause of accident and characteristics through social data collection and big data analysis

- 영상센서의 기술적 한계를 융복합 센서(영상, 물리, 음향)와 지향성 스피커를 연계하여 조기경보 및 재난 상황 전파기술 - Technical limitations of image sensors Combining sensors (image, physics, sound) with directional speakers to provide early warning and disaster situation propagation technology

- CCTV 및 방송 시스템을 사용한 지능형 방송·예방 기술- Intelligent broadcasting and prevention technology using CCTV and broadcasting system

- 지향성 스피커 및 센서 네트워크를 사용하여 각종 재난 상황에서 안전하고 신속한 피난 유도시스템 - Safe and quick evacuation guidance system in various disaster situations using directional speaker and sensor network

- CCTV, 카메라, 스피커, 마이크, 센서 등 재난 측정 각종 장비 사용- CCTV, camera, speaker, microphone, sensor, etc.

- 인명 지킴이 시스템, 피난 유도 시스템 - Protection system for people, Evacuation guidance system

- 사회재난 사고 발생 시 활용 가능한 이동형 관제 시스템 개발- Development of mobile control system that can be used in the event of a social accident

- U-City 통합 플랫폼과 IDS 시스템과의 연계 - Integration of U-City integration platform with IDS system

- 사회재난 종류별·특성별 기 구축된 방재시스템과의 연계- Connection with established disaster prevention systems by type and characteristics of social disasters

- 재난 유형별, 지역별 재난 발생 현황 분석에 따른 시범 지역 선정 및 테스트베드 시스템 구축- Selection of pilot area according to disaster type and regional disaster situation analysis and establishment of test bed system

- 국가방재 시스템 구축을 위한 중앙부처 및 유관기관, 지자체 시스템 연계- Linking central government agencies, related agencies and local government systems to establish national disaster prevention systems

- 법·제도 개선- Improvement of law and system

○ 1차년도 : ○ First year:

<융복합 센서 활용 시스템 설계 및 활용방안 수립><Design and Utilization Plan of Utilization System for Combined Hybrid Sensor>

·융복합 센서, 각종 시스템 및 장비 등을 활용한 스마트 시스템 구축방안 검토 사회재난 예방 가능범위 검토· Examination of smart system construction plan using fusion multi sensor, various systems and equipment

·Seamless Tracking 등 각종 알고리즘 개발 방안 연구· Development of various algorithms such as Seamless Tracking

<지향성 스피커 활용 시스템 설계 및 활용방안 수립><Design and Usage of Directional Speaker Utilization System>

·지향성 스피커를 활용한 사회재난 예방 가능범위 검토· Review of possible disaster prevention range using directional speakers

·재난 유형별, 지역별, 장소별 등 각종 유형에 따른 지향성 스피커 모듈화 및 경량화 검토· Modularization and weight reduction of directional speaker according to various types such as disaster type, area, place, etc.

<CCTV 카메라 활용방안><Use of CCTV camera>

·재난 유형별·지역별·장소별 등 유형에 따른 활용방안 검토·분석 · Review and analysis of utilization plans according to types such as disaster type, area, and place

지자체 시스템 적용을 위한 관련 법·제도 및 인증 검토 Examination of related laws, systems and certification for applying local government system

○ 2차년도: IoT 기반 융복합 센서네트워크 기술을 사용한 Seamless Tracking 기술 기반의 지향성 스피커 활용 시스템 개발○ 2nd year: Development of directional speaker using system based on Seamless Tracking technology using IoT-based fusion hybrid sensor network technology

- 사고 예방에서 사고 발생시 대응까지 통합관리 시나리오 개발- Development of integrated management scenario from accident prevention to incident response

·지향성 스피커를 활용한 순환사고발생시 예방에서 대응수습까지 통합표준운용절차(SOP) 개발    · Development of integrated standard operating procedure (SOP) from prevention to countermeasure in case of circulation accident using directional speaker

·시스템 독립 운영 및 통합운영 시나리오 개발· System independent operation and integrated operation scenario development

- IoT 기반 융복합 센서네트워크 기술을 사용한 Seamless Tracking 기술 개발- Development of Seamless Tracking Technology using IoT based Hybrid Hybrid Sensor Network Technology

<센싱기술 및 전송 모듈개발><Development of sensing technology and transmission module>

·압축 및 전송을 위한 IP Board 개발· Development of IP board for compression and transmission

·카메라 모듈 개발· Camera module development

·MANET 기반의 복합센서 개발· Development of MANET based complex sensor

·IoT 기반 센서 네트워크 기술 개발· Development of IoT-based sensor network technology

·Seamless Tracking 기술개발· Developed Seamless Tracking Technology

·센서 융복합을 통한 상황인지 기술개발· Development of context awareness technology through sensor fusion

<가변출력이 가능한 지향성 스피커 기술 개발><Development of directional speaker technology capable of variable output>

·음향센서 연동을 통한 구난용 가변 출력 변환 지향성 스피커 · Variable output conversion directional speaker for rescue through acoustic sensor interlock

·재난 상황을 고려한 가변출력/방사각도 조절이 가능한 지향성 스피커 · Variable output considering direction of disaster / Directional speaker with adjustable radiation angle

·구난용 지향성 스피커의 경량화, 소형화 · Lightweight and compact size of directional speaker for rescue

·지능형 무인 방송 기술을 통한 재난 예방 방안 개발 · Development of disaster prevention plan through intelligent unmanned broadcasting technology

·안전 사각 지역을 위한 이동형 관제 시스템 개발 · Development of mobile control system for safe square area

·피난 유도형(가청/비가청) 다중 지향성 스피커 개발 · Development of evacuation-induction (audible / non-audible) multi-directional speaker

- 재난 관리 시스템, 인명 지킴이 시스템, 피난 유도 시스템 설계 - Disaster management system, human life protection system, evacuation guidance system design

·센서네트워크 기술을 이용한 다중이용시설에 대한 위험요소 감지기술 개발 및 피난 유도 알고리즘 개발· Development of risk detection technology and evacuation guidance algorithm for multi-use facilities using sensor network technology

·시각 및 청각의 인지기능 기반 시스템 설계 및 개발· System design and development based on cognitive function of visual and auditory

○ 3차년도: 시스템 기능 개선 및 고도화, 타 관제센터 연계방안○ Third year: Improvement and enhancement of system functions, plan for linking with other control centers

- 융복합 센서(영상, 물리, 음향) 기반의 연계 시스템 고도화 - Advanced linkage system based on fusion compound sensor (image, physics, sound)

<지향성 스피커 기술 개발><Development of directional speaker technology>

·다중 비가청 주파수 대응 가능한 지향성 스피커 개발 및 고도화· Development and advancement of directional speaker capable of multi-audible frequency

·빔포밍(Beamforming) 기반의 지향성 스피커 개발 Development of directional speaker based on beamforming

<센싱 기술 개발><Development of sensing technology>

·융복합 센서를 통한 Seamless Tracking 기발 기술 고도화· Advanced technology of Seamless Tracking technology with fusion compound sensor

·IDS 통합 관제 시스템 서버, 시스템 개발· IDS integrated control system server, system development

·IoT 기반의 센서 네트워크 통합 시스템 개발 · IoT-based sensor network integrated system development

- 시각과 청각을 이용한 인지기능 기반의 센서 네트워크와 지향성 스피커를 사용한 피난 유도 시스템 개발- Development of evacuation guidance system using cognitive function based sensor network and directional loudspeaker using visual and auditory

- 스마트폰의 비가청 주파수를 활용한 유도 APP개발(가청/비가청 주파수를 활용한 피난 유도 상세 설계, 비가청 신호의 특성 분석)- Development of induction APP using non-audible frequency of smartphone (detailed design of evacuation guidance using audible / non-audible frequency, characteristic analysis of non-audible signal)

□ 센서 노드□ Sensor node

1. 센서노드 2종 제작 : 타입-1(기본형), 타입-2(근접형)1. Production of two sensor nodes: Type-1 (Basic type), Type-2 (Proximity type)

2. 방수 성능 : IP672. Waterproof performance: IP67

3. 센서성능3. Sensor performance

- 수위 : 0.3~1.5 m 범위 및 0.2 m 분해능- Water level: 0.3 to 1.5 m range and 0.2 m resolution

- 기상센서 : 기온, 풍향풍속- Weather sensor: Temperature, wind direction wind speed

- 통신 : Wifi mesh 네트워크 통신 탑재- Communication: Equipped with Wifi mesh network communication

- 지향성 마이크 : 비명 등 이벤트(주변 잡음 대비 변화 dB 기준 설정) 감지- Directional microphone: Detection of screaming event (setting of dB relative to ambient noise) detection

- 지향성 카메라 : 이벤트 연동 스틸영상 촬영 및 송신- Directional camera: Event-linked still image shooting and transmission

- 센서노드 안전센서 : 진동, 기울기 감지- Sensor node safety sensor: vibration, tilt detection

□ Wi-Fi 메쉬 네트워크와 IoT 기반의 센서 네트워크 기술 개발□ Development of Wi-Fi mesh network and IoT-based sensor network technology

- 센서노드 간 통신 유효 거리 : 50m 이상- Effective distance of communication between sensor nodes: 50m or more

- Wi-Fi mesh 네트워크 구성 노드 갯수 : 5개 이상- Wi-Fi mesh Network Configuration Number of nodes: 5 or more

□ 영상분석 기반의 재난 상황인지 및 Seamless Tracking 기술 개발□ Development of disaster awareness and seamless tracking technology based on image analysis

1. 융복합 센서를 통한 상황인지 기술 개발 1. Development of situational awareness technology through fusion sensor

- 영상 데이터 분석을 통한 객체 검출 및 행동인지 기술 활용 위험 지역 검출- Object detection and behavior recognition using video data analysis

- 객체 검출 및 추적 기술을 통한 이벤트 검출 - Event detection through object detection and tracking technology

- 객체 검출/추적 기술 및 행동인지 기술을 통한 수상 위험 상황인지 검출- Detection and detection of anomalous situations by object detection / tracking technology and behavior recognition technology

2. Seamless Tracking 기술 개발 2. Development of Seamless Tracking Technology

- 영상 기반 객체 검출 및 추적 기술 구현- Realization of image based object detection and tracking technology

도 2는 본 발명에 따른 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템 구성도이다. FIG. 2 is a system diagram of a life guarding system using a camera, a sensor network, and a directional speaker based on a fusion technology for social disaster response according to the present invention.

본 발명의 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템은, 적어도 하나 이상의 카메라와 디지털 비디오 레코더(NVR, Network Video Recoder) 및 영상 분석 소프트웨어를 구비하는 CCTV 카메라 시스템; 재난 상황을 감지한 센서 데이터를 전송하는 적어도 하나 이상의 IoT 기반 센서; 상기 센서로부터 감지된 센서 데이터들을 무선 센서 네트워크(USN, WSN, 6LoWPAN, MQTT), Wi-Fi, NB-IoT를 이용한 센서 네트워크, 이동통신망(LTE), LoRa 네트워크, 이더넷(Ethernet) 중 어느 하나의 네트워크를 통해 수신받아 프로토콜을 변환하여 서버로 전송하는 IoT 게이트웨이; 및 무선 센서 네트워크(USN, WSN, 6LoWPAN, MQTT), Wi-Fi, NB-IoT를 이용한 센서 네트워크, 이동통신망(LTE), LoRa 네트워크, 이더넷(Ethernet) 중 어느 하나의 네트워크를 통해 상기 센서로부터 감지된 센서 데이터들을 수집하여 저장하며, 센서 데이터 모니터링 및 센서노드 정보 관리 및 제어 시스템을 구비하며, 센서 데이터 수집하여 모니터링하고 빅 데이터를 분석하는 IoT 기반 센서 네트워크와 연결되는 모비우스 서버, 상기 CCTV 카메라 시스템과 연결되며 인공 지능의 딥러닝 기반의 영상의 객체를 검출하여 재난 상황 영상분석/상황인지/영상의 객체를 추적하는 CCTV카메라 시스템과 연결되는 영상 분석 서버와, 사회 재난 발생 유형별 빅 데이터를 분석하여 재난 대응 조치를 취하는 IDS 관제 시스템을 포함하며, A camera, a sensor network, and a life guarding system using directional loudspeakers, which are based on a fusion technology for coping with social disasters according to the present invention, include at least one camera, a network video recorder (NVR) Camera system; At least one IoT-based sensor for transmitting sensor data that detects a disaster situation; The sensor data sensed by the sensor may be transmitted to any one of a wireless sensor network (USN, WSN, 6LoWPAN, MQTT), a Wi-Fi sensor network using NB-IoT, a mobile communication network LTE, a LoRa network, An IoT gateway for receiving the protocol over the network and transmitting the converted protocol to the server; And sensor network through any one of a wireless sensor network (USN, WSN, 6LoWPAN, MQTT), Wi-Fi, sensor network using NB-IoT, mobile communication network (LTE), LoRa network, A Mobi server that is connected to an IoT-based sensor network that collects sensor data and analyzes sensor data and analyzes sensor data, analyzes the sensor data, analyzes the sensor data, An image analysis server connected to the CCTV camera system for detecting the object of the deep learning based on the artificial intelligence and analyzing the disaster situation image / situation awareness / image, and analyzing the big data according to the type of social disaster Includes an IDS control system that takes disaster response measures,

IDS 관제 시스템은 다수의 IDS 로컬 관제 시스템과 IDS 통합 관제 시스템으로 구성되며, IDS 로컬 관제 시스템은 IDS 폴과 연동되는 것을 특징으로 한다. The IDS control system consists of a number of IDS local control systems and an IDS integrated control system, and the IDS local control system is interlocked with IDS poles.

IDS 관제 시스템은 IoT 센서 네트워크 기반의 모비우스 서버, 인공 지능의 딥러닝 기반의 영상의 객체를 검출하여 재난 상황 영상분석/상황인지/영상의 객체를 추적하는 영상 분석 서버, 재난 대응 IDS 기반 인명 지킴이 시나리오를 제공하는 인명 지킴이 시스템, 위험 지역 인근 이동통신 단말기들로 재난 안내 문자 전송하는 피난 유도 시스템과 방사각도와 팬틸트 조절이 가능한 지향성 스피커를 통해 재난 경고 방송과 대피 유도 기술을 제공하는 재난 대응 시스템을 구비하는 IDS 관제 시스템을 더 포함한다. The IDS control system is based on the IoT sensor network. The Mobius server is an image analysis server that detects the objects of the deep learning based image of the artificial intelligence and analyzes the disaster situation image / situation recognition / image object, A disaster response system that provides a disaster alert broadcasting and evacuation induction technology through an evacuation guidance system that transmits a disaster announcement text to a mobile communication terminal near a dangerous area and a directional speaker capable of adjusting a radiation angle and a pan tilt And an IDS control system.

상기 모비우스 서버는 IDS 로컬관제 시스템의 일부분으로써 IDS 통합관제 시스템과 연동되어 센서 데이터, 영상, 음향 정보 등의 각종 모니터링 데이터를 전송한다. The Mobi server is a part of the IDS local control system and transmits various monitoring data such as sensor data, image, and sound information in cooperation with the IDS integrated control system.

IDS 로컬관제 시스템은 모비우스 서버와 시계열 데이터베이스(TSDB), 영상 분석 서버(Video Server)의 영상, 센서 데이터와 음원 데이터, 영상을 모니터링하는 모니터링부, 컨트롤 모듈을 구비하며, 통신 미들웨어를 통해 IDS 함체와 연동되고, 센서와 음원, 영상 데이터 수집과 분석 및 모니터링 기능, 영상 분석 서버에 의해 인공 지능의 딥러닝 기반의 객체를 검출하여 재난 상황 영상분석/상황인지/영상의 객체 추적 기능, 지향성 스피커 제어를 위한 컨트럴 기능, 카메라 및 적외선 IR 조작을 위한 컨트럴 기능, Pan/Tilt 조작을 위한 컨트럴 기능, 구난자 및 IDS 폴, 센서 위치 확인을 위한 모니터링 기능, 카메라로부터 획득되는 실시간 영상 확인 및 분석 기능, 모비우스 서버로부터 수신되는 실시간 센서 데이터확인 기능, 과거 센서 데이터 조회 기능, 재난 문자를 전송하여 피난을 유도하는 피난 유도 시스템과 지향성 스피커와 카메라를 구비한 이동 차량 재난 경고 방송을 제공하는 재난 대응 시스템에 연동하여 각각 피난 유도 기능(재난 문자 전송)과 재난 대응 기능(이동 차량 재난 경고 방송)을 제공하며, IDS 폴 연동 기능을 제공하며, The IDS local control system is equipped with a monitoring module and a control module for monitoring images, sensor data and sound source data of the Mobi server, a time series database (TSDB) and an image analysis server (Video Server), and a control module. , Sensor, sound source, image data collection, analysis and monitoring function, object detection based on deep learning of artificial intelligence by image analysis server, disaster situation image analysis / context tracking / image object tracking, directional speaker control Control functions for camera and infrared IR operation, control function for pan / tilt operation, spherical egg and IDS pole, monitoring function for sensor position confirmation, real-time image confirmation and analysis function obtained from camera, Real-time sensor data received from Bias server, past sensor data retrieval function, (Disaster text transmission) and a disaster response function (moving vehicle disaster warning broadcasting function) in conjunction with an emergency evacuation guidance system for guiding evacuation and a mobile vehicle having a directional speaker and a camera, ), Provides IDS pole interlock function,

상기 IDS 통합관제 시스템은 여러 지역에 분산된 설치된 다수의 IDS 로컬 관제 시스템과 연결되며, 각각의 IDS 로컬 관제 시스템으로부터 재난 상황 정보를 수신하여 IDS 로컬관제 시스템 모니터링 기능을 제공하며,The IDS integrated control system is connected to a plurality of installed IDS local control systems distributed in various regions, receives disaster situation information from each IDS local control system and provides an IDS local control system monitoring function,

IDS 폴은 실시간 영상 정보 획득을 위한 카메라, 야간 영상 촬영을 위한 IR LED, 구난자에게 경보방송 송출을 위한 지향성 스피커, 위험 지역 일상 주변 감시 및 구난자 타겟팅을 위한 Pan/Tilt 조절, 통신 미들웨어를 통해 IDS 로컬 관제 시스템의 일부분으로 사용되는 모비우스 서버와 연결된다. The IDS pole is equipped with a camera for acquiring real-time image information, an IR LED for night-time imaging, a directional speaker for transmitting alarm broadcast to the old egg, pan / tilt control for targeting the dangerous area around the daily life, and communication middleware It is associated with the Mobius server used as part of the IDS local control system.

1. 연구 목표 1. Research Goals

사회재난에 대한 발생현황 및 원인에 대한 종합적이고 면밀한 분석을 통하여 재난에 관한 사회적 요구 및 재난대응능력 향상에 필요한 사항을 검토Review comprehensive and detailed analysis of the current status and causes of social disasters to identify social needs and disaster response capabilities

ICT 기술을 활용한 실효적인 재난예방 및 인명사고 감축기술의 개발을 위하여 인명지킴이시스템 개발전략 마련 및 시스템 개발에 필요한 요소기술 개발Developing strategies for the development of human life protection systems and development of the necessary technologies for system development for the effective disaster prevention and human casualty reduction technology utilizing ICT technology

사고대비 사망자 발생비율이 높은 수난사고 및 인명피해 가능성이 높은 다중이용시설에서의 피난유도를 중심으로 인명지킴이 시스템 요소기술 및 시스템 개발Development of technology and system for the protection of human life, focusing on the evacuation inducement in multi-use facilities, which is highly likely to cause accidents and deaths

도 3은 IDS 인명지킴이 시스템 화면이다. 3 is a screenshot of the IDS lifeguard system.

도 4는 핵심 기술별 테스트베드 적용방안을 나타낸 화면이다. FIG. 4 is a screen showing a method of applying a test bed for each core technology.

재난 대응 인명 지킴이 시스템에 관한 시스템 적합성과 성능검증을 위하여 지자체 및 관련기관을 대상으로 실증시범사업 실시 또한, 연구를 통해 개발된 시스템이 지자체의 재난 및 안전관리체계와 연계 활용될 수 있도록 국가 재난관리 시스템 연계 및 확장 활용에 대한 검증을 실시하여 지자체 재난안전관리시스템 모델로 제시Implementation of demonstration pilot projects for local governments and related organizations for system suitability and performance verification of disaster response countermeasures system In order to ensure that the system developed through the research can be used in conjunction with disaster and safety management systems of local governments, System connection and extension utilization, and presented as a local government disaster safety management system model

나. 최종 연구목표I. Final Research Goals

○ 사회재난 대응전략 개발 및 시범사업 관리○ Development of social disaster response strategy and management of pilot project

- 사회재난 유형별 대응 기본전략 수립 - Establishment of basic strategy for social disaster type

- IDS 기반 인명지킴이 시나리오 및 매뉴얼 개발 - Development of IDS-based lifesaving scenario and manual

○ 사회재난 감시 및 대응을 위한 IDS 센서 네트워크 플랫폼 제공○ IDS sensor network platform for social disaster monitoring and response

-사회재난을 유발하는 요인들을 사전 예측하거나 실시간으로 탐지할 수 있는 센서 조합으로 구성된 지능형 센서 노드- An intelligent sensor node consisting of sensor combinations that can predict the factors causing social disaster in advance or detect in real time

- 센서 노드들로부터 취득된 정보를 서버로 전달하기 위한 Mesh 또는 Mobile Ad-hoc 통신 네트워크- Mesh or Mobile Ad-hoc communication network for transmitting the information obtained from the sensor nodes to the server

- 센서 노드들로부터 취득된 정보를 저장 관리하는 IoT 센서 네트워크와 연동된 인명 지킴이 및 재난 대응 시스템으로 사용되는 모비우스 서버(MOBIUS server) 구축 및 운영을 통해 재난 관련 빅 데이터 분석 활용, 국가 및 지자체 재난 관제 시스템과 연계 - IoT sensor network that stores and manages information acquired from sensor nodes. - Establishes and operates a MOBIUS server (MOBIUS server), which is used as a life guarding and disaster response system linked to a network. Connected with the control system

[핵심 연구개발 기술][Core R & D Technology]

○ 지능형 센서 노드 기술○ Intelligent sensor node technology

- 사회재난별 유형에 맞춰 재난 발생의 사전 예측과 탐지를 위해 음향, 수위, 유속, 강우, 화재 등과 같은 필요한 감지대상을 선정하고 이에 적합한 센서선정 및 융복합화 센서모듈 개발- In order to predict and detect the occurrence of disasters in accordance with the types of social disasters, the necessary sensors such as sound, water level, flow velocity, rainfall, fire etc. are selected and sensor modules

- 센서 노드의 시스템 강건성과 센서 계측의 정확성과 신뢰성을 높이기 위한 센서 노드의 자가 진단 및 시스템 에러 제어 기술- Sensor node self-diagnosis and system error control technology to enhance system robustness of sensor node and accuracy and reliability of sensor measurement

- 주변 환경과 재난 정보 수집 및 전달 기능을 포함하고 수집된 정보를 통해 이벤트 분류 및 긴급한 상황 인지 등의 센서 노드의 지능화 알고리즘 탑재- Sensor node intelligence algorithm including event classification and urgent situation recognition through collected information including environment and disaster information collection and transmission function

- Seamless tracking과 지향성 스피커의 경보 및 피난 유도와 연계를 위한 음향정보 수집 및 전달 - Acquisition and transmission of acoustic information for seamless tracking and guidance and evacuation guidance and directional loudspeakers

센서 노드는 강우 센서, 수위 센서, 유속 센서, 풍속 센서, 음향 센서, 마이크 센서, 가스 센서, 화재 감지 센서, 인체 감지 센서를 구비하는 IoT 기반 센서 네트워크와 연동된 인명 지킴이 시스템(재난 대응 시스템) 및 피난유도 시스템을 구축하여 사용한다. 센서는 방수처리 및 내환경성을 제공한다. The sensor node is a human life protection system (disaster response system) interlocked with an IoT-based sensor network including a rainfall sensor, a water level sensor, a flow velocity sensor, an air velocity sensor, an acoustic sensor, a microphone sensor, a gas sensor, Evacuation guidance system should be constructed and used. The sensor provides waterproofing and environmental protection.

또한, 센서노드는 CCTV 카메라의 또는 센서 노드 자체 카메라의 스틸영상 촬영과 전송 기능, 센서노드 마이크 센서 경우 마이크 신호 분석 및 이벤트 감지 기능, 센서노드 배터리 방전 경고 기능을 제공하며, IoT 기반의 센서 네트워크를 통해 모비우스 서버와 연동된다. In addition, the sensor node provides a still image capture and transmission function of a CCTV camera or a sensor node itself camera, a microphone signal analysis and event detection function in case of a sensor node microphone sensor, and a battery discharge warning function in a sensor node. It works with the Mobi server.

IoT 기반 재난 대응 및 인명 지킴이 시스템은 유선 전원, 배터리 또는 비상 전원 공급 체계 강우 센서, 수위 센서, 유속 센서, 풍속 센서, 음향 센서, 가스 센서, 화재 감지 센서, 인체 감지 센서를 사용하였다. The IoT-based disaster response and human life-protection systems used wired power, battery or emergency power supply system rainfall sensor, water level sensor, flow rate sensor, wind speed sensor, acoustic sensor, gas sensor, fire detection sensor and human body sensor.

강우 센서는 센서 노드 설치 지역의 강우량을 실시간으로 측정해 예측에 사용된다. The rainfall sensor is used to predict the rainfall of the sensor node installation area in real time.

수위 센서는 초음파 수위 센서 또는 레이더 수위 센서를 사용하며, 하천의 수위를 측정한다. The water level sensor uses an ultrasonic level sensor or a radar level sensor and measures the level of the river.

유속 센서는 전자파 표면유속계를 사용하며 하천의 유속을 측정해 수위, 강우량과의 같이 사용된다. 유속 센서는 전자파 표면유속계를 사용하며, 수면의 유속을 운동하는 물체에 의하여 산란된 전자파의 주파수가 변하게 되는 현상인 도플러 효과를 이용하여 측정하는 비접촉식 유속센서이다. 도플러 주파수는 fd=(2v/λ)cosθ으로 유속은 v=(λ/cosθ)fd 이 된다. 여기서, fd는 도플러 주파수이고, v는 물체의 속도, λ는 전파의 파장, 그리고 θ는 물체의 속도 방향과 전파의 진행방향이 이루는 각으로써 20°~ 50°범위의 값을 사용한다.The flow velocity sensor uses an electromagnetic wave surface velocity meter and measures the flow velocity of the river and is used together with the water level and the rainfall amount. The flow velocity sensor is a non-contact type flow velocity sensor that uses an electromagnetic wave surface velocity meter and measures the Doppler effect, which is a phenomenon in which the frequency of an electromagnetic wave scattered by an object moving in the water velocity is changed. The Doppler frequency fd = (2v / λ) at a flow rate of cosθ is the v = (λ / cosθ) f d. Here, f d is the Doppler frequency, v is the velocity of the object, λ is the wavelength of the radio wave, and θ is the angle between the speed direction of the object and the propagation direction of the radio wave.

풍속 센서는 바람의 속도 측정을 통해 재난 분석에 사용된다.The wind speed sensor is used for disaster analysis by measuring wind speed.

음향 센서는 사고 상황 인지, 지향성 스피커 구동을 위한 적어도 하나 이상의 고신뢰성 마이크로폰을 사용한다. The acoustic sensor uses at least one high-reliability microphone for driving the directional speaker in the event of an accident.

화재 감지 센서는 공공시설에서 화재를 감지하여 피난유도를 하기 위해 사용된다. A fire detection sensor is used to detect a fire in a public facility and induce evacuation.

○ 센서 노드 간의 통신 네트워크 기술○ Communication network technology between sensor nodes

- 기지국과 같은 중재자의 도움 없이 능동적인 연결설정이 가능하고 네트워크의 참여 또는 이탈이 자유롭고 통신망 구성이 가능하여 빈번하게 네트워크 토폴로지를 변화시키는 Mesh 또는 MANET(Mobile Ad-hoc Network) 센서 네트워크 구성- Mesh or MANET (Mobile Ad-hoc Network) sensor network configuration that enables active connection establishment without the help of a coordinator such as a base station, freely joining or leaving the network and configuring the communication network so as to change the network topology frequently

- 모비우스 서버(Mobius server) 기반 IoT 로컬 관제 시스템과, 이와 연결되는 IoT 통합 관제 시스템 구성 - IoT local control system based on Mobius server and IoT integrated control system configuration connected to it

- 재난 정보의 수집 및 저장, 활용을 위한 인터넷 모비우스 서버 및 통합 관제 시스템과의 연계- Connection with internet Mobius server and integrated control system for collection, storage and utilization of disaster information

사회재난 빅 데이터 분석 및 예측을 위한 정보의 축적 및 제공Accumulation and provision of information for social disaster big data analysis and forecasting

도 5a는 IoT 기반 재난 정보 시스템 구성도이다. FIG. 5A is a diagram illustrating a disaster information system based on IoT.

도 5b는 폴대와 지향성 스피커를 사용한 이동차량 기반 재난 대응 시스템 구성도이다. 5B is a block diagram of a mobile vehicle-based disaster response system using a pole and a directional speaker.

폴대와 지향성 스피커를 사용한 이동차량 기반 재난 대응 시스템은 해안가, 강변, 하천, 계곡에서 폴대에 장치 ID가 할당된 센서가 고정설치되고, 강우량, 하천 수위, 유속, 풍속을 측정하는 각 지역에 설치된 복수의 센서들(71,72,73); 상기 센서들(71,72,73)로부터 상기 장치 ID와 강우량, 하천수위, 유속, 풍속 정보를 취합하는 싱크 노드와, 상기 싱크 노드로부터 상기 장치 ID와 강우량, 하천수위, 유속, 풍속 정보를 무선 센서 네트워크(WSN)를 통해 수신받아 이를 전송하는 게이트웨이(80); 및 상기 게이트웨이(80)로부터 랜(LAN) 또는 무선 랜(Wi-Fi)을 통해 상기 장치 ID와 강우량, 하천수위, 유속, 풍속 정보를 수신받아 저장하며, 재난안전 상황실의 관제 센터의 컴퓨터의 모니터(230)에 표시되며 재난안전 상황실의 관제 센터의 컴퓨터의 모니터(230)에 재난 상황이 표시되며, 강우량, 하천수위, 유속, 풍속 데이터가 특정 기준치 이상이 되면 조기 경보 및 재난 상황 전파체계를 통해 긴급 대피하도록 해당 재난 예상 지역의 셀 커버리지에 있는 이동전화번호들로 재난 경보 문자를 전송하고, 원격 재난 대피 방송 신호를 통신망을 통해 고정형 가변 출력 지향성 스피커(190)로 출력하며, 재난 예상 지역으로 이동 차량을 출동시켜 이동 차량의 폴대에 고정된 지향성 스피커(190)로 재난 대피 방송 신호가 출력되도록 제어하며, 재난 관련 데이터를 수집 및 분석하여 사고 발생 원인과 통계 분석 데이터를 제공하고, 빅 데이터 분석을 통한 재난대응을 위한 재난 대응 시스템(210); 및 고정형 폴대에 부착되거나, 이동 차량(300)의 폴대(370)의 부착되며, 상기 재난 대응 시스템(210)과 비상 재난 통신망(LTE. Wi-Fi)을 통해 원격 재난 안내 방송을 출력하고, 방사 각도가 조절되는 가변 출력 지향성 스피커(190)를 포함한다.Vehicle-based disaster response systems using poles and directional loudspeakers are equipped with fixed sensors that are assigned device IDs to the poles in coastal areas, riverfronts, rivers, and valleys, and are installed in multiple locations to measure rainfall, river water level, Sensors 71,72 and 73; A sink node for collecting the device ID, the rainfall amount, the river water level, the flow velocity, and the wind speed information from the sensors 71, 72, and 73, and a device ID, rain water level, A gateway 80 for receiving and transmitting through the sensor network WSN; And the device ID, the rainfall amount, the river water level, the flow rate, and the wind speed information from the gateway 80 via a LAN or a wireless LAN (Wi-Fi) (230), the disaster situation is displayed on the computer monitor (230) of the control center of the disaster safety situation room, and when the rainfall amount, the river water level, the flow rate and the wind speed data are above a predetermined standard value, Transmits emergency alert letters to mobile phone numbers in the cell coverage of the disaster-prone area for emergency evacuation, outputs the remote emergency evacuation broadcast signal to the stationary variable-directional speaker 190 via the communication network, The vehicle is dispatched to control the output of a disaster evacuation broadcast signal to the directional speaker 190 fixed to the pole of the moving vehicle, A disaster response system 210 for providing a cause of accident occurrence and statistical analysis data by analysis, and for responding to a disaster through a big data analysis; And a pole 370 of the moving vehicle 300 and is connected to the disaster response system 210 and the emergency disaster communication network LTE (Wi-Fi) And a variable output directional speaker 190 whose angle is adjusted.

지향성 스피커는 지상의 폴대(330)에 고정된 고정형 가변출력 지향성 스피커(고정형 지향성 스피커)(190-1)와, 이동 차량(300)의 폴대(370)에 고정된 가변출력 지향성 스피커(이동형 지향성 스피커)(190-2)를 구비하며, The directional speaker includes a fixed variable directional speaker (fixed directional speaker) 190-1 fixed to the ground pole 330 and a variable output directional speaker fixed to the pole 370 of the moving vehicle 300 ) 190-2,

상기 지향성 스피커는 방사각도와 팬/틸트 조절이 가능하며, 모터제어신호 수신기와 상기 모터에 의해 지향성 스피커의 단계별 방사 각도를 조절하고 단계별 음압 레벨을 조절하여 가청 대역 음성 신호(가청 신호) 및 비가청 대역 신호(비가청 신호)를 출력하는 실내 각 지역에 설치된 방사각도와 팬/틸트 조절이 가능한 지향성 스피커 인 것을 특징으로 하며, 상기 지향성 스피커의 방사각도와 팬/틸트 조절을 위한 지향성 스피커 다중 제어 시스템을 더 구비하며, The directional loudspeaker is capable of adjusting the radiation angle and the pan / tilt angle. The motor control signal receiver and the motor adjust the stepwise radiation angle of the directional loudspeaker, And a directional speaker installed in each room for outputting a band signal (non-audible signal) and a pan / tilt controllable directional speaker. The directional speaker and the directional speaker multi-control system for controlling the pan / Respectively,

상기 지향성 스피커 다중 제어 시스템은 카메라와 IR LED가 설치된 PTZ 제어기의 방사 각도와 팬/틸트를 조절하며 스피커의 볼륨을 조정하는 지향성 스피커 제어기, 상기 지향성 스피커 제어기에 의해 설정된 볼륨에 따라 음향이 출력되는 지향성 스피커 앰프, 전원을 공급하는 전원 공급부를 구비한다. The directional speaker multi-control system includes a directional speaker controller for adjusting a radiation angle and a pan / tilt of a PTZ controller equipped with a camera and an IR LED and adjusting a volume of a speaker, a directional speaker controller for outputting sound according to the volume set by the directional speaker controller, A speaker amplifier, and a power supply unit for supplying power.

이동 차랑은 카메라와, 방사각도와 팬/틸트 조절이 가능한 지향성 스피커를 구비하며, Wi-Fi 통신부 또는 RF 무선 통신부를 구비하는 무선 CCTV 카메라를 구비할 수 있다. The moving vehicle may have a camera, a directional speaker capable of adjusting the radiation angle and pan / tilt, and a wireless CCTV camera having a Wi-Fi communication unit or an RF wireless communication unit.

상기 재난 대응 시스템(210)과 이동통신망을 통해 연결되며, 피난유도 앱(App)이 설치된 이동통신 단말기(예, 스마트폰)를 더 포함하며, (E.g., a smart phone) connected to the disaster response system 210 through a mobile communication network and equipped with an evacuation guidance app,

태풍, 해일, 강풍, 폭우 등의 수난 재해가 예상될 경우 재난 대비 조치로써, 재난 대응 시스템으로부터 재난 경보 문자를 수신받고, 이동 차량의 폴대에 고정된 지향성 스피커(190)로부터 20Hz ~ 20kHz 가청 대역의 재난 대피 음성 방송을 송출하고, 해당 지역에 설치된 폴대 고정형 지향성 스피커(190)로부터 비가청 신호 주파수를 해당 지역의 스마트 기기(스마트폰)로 전송하여 표시되도록 함으로써, 재난 위험 지역으로부터 안전 지역으로 대피를 유도한다. When a disaster warning such as a typhoon, a tsunami, a strong wind or heavy rains is expected, a disaster alert character is received from the disaster response system as a disaster preparedness measure, and the disaster alert message is received from the directional speaker 190 fixed to the pole of the moving vehicle, Disaster evacuation voice broadcast is transmitted and the non-audible signal frequency is transmitted to the smart device (smartphone) of the corresponding area from the pole-fixed directional speaker 190 installed in the corresponding area, thereby evacuating from the disaster danger area to the safety area .

센서들은 IoT 기반 센서 노드(IoT 인명 지킴이 센서 모듈)로써 강우 센서, 수위 센서, 유속 센서, 풍속 센서, 마이크 센서, 화재 감지 센서, 가스 감지 센서, 인체 감지 센서(PIR 센서)를 사용하며, 무선 센서 네트워크(WSN)과 게이트웨이를 통해 재난 대응 시스템(210)으로 감지된 강우량, 하천 수위, 유속, 풍속 정보, 마이크의 소리 정보, 화재 감지 정보, 가스 누출 감지 정보, 인체 감지 정보를 전송한다. Sensors are IoT based sensor nodes (IoT lifesaving sensor module) that use rain sensor, water level sensor, flow sensor, wind speed sensor, microphone sensor, fire sensor, gas sensor and human body sensor (PIR sensor) The river level, the flow rate, the wind speed information, the sound information of the microphone, the fire detection information, the gas leak detection information, and the human body detection information to the disaster response system 210 through the network (WSN) and the gateway.

또한, 재난정보 탐지 융복합 지능형 센서들은 무선 통신부(Wi-Fi 통신부, NB-IoT 통신부, LTE 통신부 또는 LoRa RF 통신부)가 탑재된 경우, 강우 센서, 수위 센서, 유속 센서, 풍속 센서, 마이크 센서, 화재 감지 센서, 가스 감지 센서, 인체 감지 센서(PIR 센서)에 의해 감지된 강우량, 하천 수위, 유속, 풍속 정보, 마이크 소리 정보, 화재 감지 정보, 가스 누출 감지 정보, 인체 감지 정보를 센서 네트워크(USN, WSN, 6LoWPAN, MQTT), 이동통신망(LTE) 또는 Wi-Fi 무선 랜, NB-IoT 기반 센서 네트워크, LoRa 네트워크 중 어느 하나의 네트워크를 통해 모비우스 서버의 재난 대응 시스템(인명 지킴이 시스템)(210)으로 전송한다. In addition, disaster information detection and fusion intelligent sensors can be applied to various types of sensors such as rain sensor, water level sensor, flow velocity sensor, wind speed sensor, microphone sensor, The sensor network (USN) detects rainfall, river water level, flow velocity, wind speed information, microphone sound information, fire detection information, gas leak detection information, and human body detection information detected by a fire detection sensor, a gas detection sensor and a human body detection sensor (Life guarding system) 210 of the Mobius server through a network of any one of the wireless LAN, the WSN, the 6LoWPAN, the MQTT, the mobile communication network LTE or the Wi-Fi wireless LAN, the NB- ).

또한, 센서는 위험 지역, 사고 다발 지역의 카메라의 스틸영상을 촬영하여 모비우스 서버로 후 전송 기술을 개발하여 마이크 센서를 이용한 비명소리 등 큰 소리에 의한 이벤트 감지 기능을 제공한다. In addition, the sensor captures the still image of the camera in the dangerous area and the accident lot area, develops the post transmission technology to the Mobi server, and provides the event detection function such as screaming sound by using the microphone sensor.

재난 대응 시스템(210)은 IDS 로컬 관제 시스템으로써 IDS 통합 관제 시스템과 연결되며, 국가 재난관리 시스템(100)에서 관리되는 기상 정보, 태풍 정보, 관측 정보, 적설 정보를 제공하는 기상 예경보 시스템(110), 강우량에 따라 해당 하천의 수위와 유속을 관리하는 홍수 모니터링 시스템(120) 및 수위 모니터링 시스템(130), 지진 관측 정보를 제공하고 지진 재해에 대응하는 재난 정보 및 피해 정보를 관리하는 지진 방재관리 시스템(140)과 연동되고, 국가 방재 시스템, 지자체에 운영하는 지역 방재 시스템과 연동되며, 각종 재난 탐지 정보와 재난 정보를 수신하며, IDS 로컬 관제 시스템의 관제 센터와 IDS 통합 관제 시스템의 관제 센터의 모니터에 표시된다. The disaster response system 210 is connected to the IDS integrated control system as an IDS local control system and includes a weather warning system 110 for providing weather information, typhoon information, observation information and snowfall information managed by the national disaster management system 100 ), A flood monitoring system (120) and a water level monitoring system (130) for managing the water level and flow rate of the river according to the rainfall, an earthquake disaster prevention management System 140 and is connected to the national disaster prevention system and the local disaster prevention system operated by the local government. The system receives various disaster detection information and disaster information, and the IDS local control system control center and the IDS integrated control system control center It is displayed on the monitor.

기상 예경보 시스템(110)은 기상 위성과 기상 레이더 및 기상 측정 장치로 측정된 태충의 이동 경로, 태풍, 해일, 강풍, 폭우(집중 호우), 눈/적설 기상 정보 및 관측 정보를 재난 대응 시스템(210)으로 제공한다. The weather forecasting alarm system 110 is a system for monitoring weather information such as route, typhoon, tidal wave, strong wind, heavy rainfall, snow / snow weather information and observation information measured by meteorological satellites, 210).

재난 대응 시스템(210)은 GIS 서버(220)와 연동되고, 태풍, 해일, 폭우에 따른 수해 또는 지진에 따른 재난 지역 지도가 표시되며, 홍수 지도가 표시된다. The disaster response system 210 is interlocked with the GIS server 220 and displays a map of the disaster area due to floods, floods due to heavy rains or earthquakes, and a flood map.

재난 대응 시스템(210)은 재난 관련 비정형 데이터의 분석, 키워드 및 기초 추론조건에 의한 재난관련데이터를 수집 및 분석하여 사고 발생 원인 분석 자료와 통계 분석 데이터를 제공하며, 구조적 History 데이터를 통해 재난/사고 유형별, 시간대별, 지역별, 규모별 등 각종 다차원 분석관점에서 사고의 발생에 대한 통계 분석을 실시하며, 기관에서 제공하는 각종원인 분석자료와 History 통계분석자료의 연관분석을 제공한다. The disaster response system 210 collects and analyzes disaster related data based on the analysis of disaster related unstructured data, keywords and basic reasoning conditions, and provides analysis data and statistical analysis data on the cause of the accident, It provides statistical analysis on the occurrence of accidents from various multidimensional analysis viewpoints by type, time, region, and scale, and provides analysis of various cause analysis data and history statistical analysis data provided by the institute.

관제 센터의 재난 안전 상황실에서는 PC에서는 웹 기반 서버상 수집된 센서 정보 모니터링 및 센서로부터의 재난이 예측되는 특정 조건에 따른 알람 통보와 관련 제어 솔루션을 제공하며, 해당 재난 예상 지역의 셀 커버리지에 있는 이동전화번호들로 긴급 재난 경보 문자를 전송하며, 지향성 스피커를 탑재된 이동 차량을 재난 경고 방송을 통해 안전 지역으로 피난 대피를 유도한다. In the disaster safety room of the control center, the PC provides sensor information monitoring on the web-based server and alarm notification and related control solution according to the specific condition that the disaster from the sensor is predicted, and the movement in the cell coverage Emergency disaster warning letters are transmitted to the telephone numbers, and escape evacuation is directed to the safe area through a disaster warning broadcast on a moving vehicle equipped with a directional speaker.

재난 대응 시스템은 관리자용 서비스 서버 구축 및 관리용 모니터링 웹(Web)과, 알람 및 제어용 Android 또는 iOS 기반 스마트폰 앱(App)을 개발하였다. The disaster response system developed a monitoring web for building and managing a service server for administrators and an Android or iOS based smartphone app for alarms and control.

IDS 폴(IDS 폴대)와 지향성 스피커를 사용한 이동차량 기반 재난 대응 방법은, 각 지역에 설치된 장치 ID가 할당된 복수의 센서들로부터 장치 ID와 강우량, 하천수위, 유속, 풍속 정보를 측정하는 단계; 상기 복수의 센서들로부터 측정된 상기 장치 ID와 강우량, 하천수위, 유속, 풍속 정보를 무선 센서 네트워크(WSN) 또는 이동통신망 또는 무선 랜(Wi-Fi)을 통해 수신받아 저장하며, 관제 센터의 컴퓨터의 모니터에 표시되고, 상기 재난 대응 시스템이 강우량, 하천수위, 유속, 풍속 데이터가 특정 기준치 이상이 되면 긴급 대피하도록 해당 재난 예상 지역의 셀 커버리지에 있는 이동전화번호들로 재난 경보 문자를 전송하고, 원격 재난 대피 방송 데이터를 통신망을 통해 고정형 가변 출력 지향성 스피커로 출력하도록 제어하며, 재난 예상 지역으로 출동한 이동차량의 지향성 스피커로 재난 대피 방송이 출력되도록 제어하며, 재난 관련 데이터를 수집 및 분석하여 사고 발생 원인과 통계 분석 데이터를 제공하는 단계; 및 상기 재난 대응 시스템과 비상 재난 통신망을 통해 원격 재난 안내 방송을 수신된 지상의 폴대에 부착된 고정형 지향성 스피커로 출력하거나, 또는 이동 차량의 폴대의 부착된 이동형 지향성 스피커를 통해 재난 안내 음성을 출력하는 단계를 포함하며, A vehicle-based disaster response method using an IDS pole (IDS pole) and a directional speaker includes the steps of: measuring device ID and rainfall amount, river water level, flow rate, and wind speed information from a plurality of sensors assigned device IDs installed in each area; And receives and stores the device ID, the rainfall amount, the river water level, the flow rate, and the wind velocity information measured from the plurality of sensors through the wireless sensor network WSN or the mobile communication network or the Wi-Fi, And the disaster response system transmits a disaster alarm character to mobile phone numbers in the cell coverage of the disaster-prone area so as to be evacuated when the rainfall amount, the river water level, the flow velocity, and the wind speed data become the predetermined reference value or more, Controls the remote emergency evacuation broadcast data to be output to the fixed variable output directional speaker through the communication network. It controls the disaster evacuation broadcasting to be outputted to the directional speaker of the moving vehicle which is dispatched to the disaster prediction area, collects and analyzes the disaster related data, Providing a cause of occurrence and statistical analysis data; And outputting a disaster announcement announcement broadcast via the disaster response system and the emergency disaster communication network to the fixed directional loudspeaker attached to the received ground poles or outputting the disaster announcement voice through the movable directional loudspeaker attached to the poles of the moving vehicle &Lt; / RTI &gt;

상기 고정형/이동형 지향성 스피커는 모터제어신호 수신기와 상기 모터에 의해 지향성 스피커의 단계별 방사 각도를 조절하고 단계별 음압 레벨을 조절하여 가청 대역 음성 신호(가청 신호) 및 비가청 대역 신호(비가청 신호)를 출력하는 실내 각 지역에 설치된 방사각도와 팬/틸트 조절이 가능한 지향성 스피커를 사용하는 것을 특징으로 한다. The fixed / mobile directional speaker adjusts the stepwise radiation angle of the directional speaker by the motor control signal receiver and the motor, and adjusts the sound pressure level in each step to adjust an audible band speech signal (audible signal) and a non-audible band signal (non-audible signal) And a directional speaker installed in each room for outputting and a pan / tilt adjustable directional speaker are used.

상기 방법은 상기 재난 대응 시스템이 기상 정보, 태풍 정보, 관측 정보, 적설 정보를 제공하는 기상 예경보 시스템과; 강우량에 따라 하천의 수위와 유속을 관리하는 홍수 모니터링 시스템 및 수위 모니터링 시스템과; 및/또는 지진 관측 정보를 제공하고 지진 재해에 대응하는 재난 정보 및 피해 정보를 관리하는 지진 방재관리 시스템과 연동되고, 각종 관측 정보와 재난 정보를 수신하여 상기 관제 센터의 컴퓨터의 모니터에 표시되며, 재난 정보 수신시에 재난 예상 지역으로 출동한 이동차량의 지향성 스피커로 재난 대피 방송이 출력되도록 하는 단계를 더 포함한다. The method may further comprise: a weather warning system that provides weather information, typhoon information, observation information, and snowfall information; A flood monitoring system and a water level monitoring system for managing the water level and flow rate of the river according to the rainfall amount; And / or an earthquake disaster management system that provides earthquake observation information and manages disaster information and damage information corresponding to an earthquake disaster, receives various observation information and disaster information, displays it on a monitor of the computer of the control center, And outputting a disaster evacuation broadcast to the directional speaker of the moving vehicle dispatched to the disaster prediction area at the time of receiving the disaster information.

상기 방법은 상기 재난 대응 시스템이 재난 지역을 지도 상에 표시하는 GIS 서버와 연동되며, 태풍, 해일, 강풍, 폭우에 따른 수해 또는 지진 경보에 따른 재난 지역 지도가 표시되며, 홍수 지도가 표시되는 단계를 더 포함한다. The method comprises interfacing with the GIS server displaying the disaster area on the map, displaying a disaster area map according to flood or seismic alert due to typhoon, tsunami, strong wind, heavy rainfall, .

상기 센서들은 강우 센서, 수위 센서, 유속 센서, 풍속 센서, 위험 지역에 설치된 마이크 센서, 화재 감지 센서, 가스 감지 센서, 인체 감지 센서를 사용하며, 무선 센서 네트워크(WSN)과 게이트웨이를 통해 또는 센서 네트워크(USN, WSN, 6LoWPAN, MQTT), Wi-Fi 무선 랜, 이동통신망(LTE-M), NB-IoT, LoRa 네트워크 중 어느 하나 이상의 네트워크를 통해 게이트웨이를 통해 모비우스 서버의 인명 지킴이(재난 대응 시스템)으로 강우량, 하천 수위, 유속, 풍속 정보, 마이크 센서 정보(비명 소리), 화재 감지 정보, 가스 감지 정보, 인체 감지 정보를 전송한다. The sensors use a rain sensor, a water level sensor, a flow velocity sensor, a wind speed sensor, a microphone sensor installed in a dangerous area, a fire detection sensor, a gas detection sensor and a human body detection sensor. (Disaster response system) of the Mobius server through the gateway through any one or more of the network (USN, WSN, 6LoWPAN, MQTT), Wi-Fi wireless LAN, LTE-M, NB-IoT, ) Sends rainfall, river water level, flow velocity, wind speed information, microphone sensor information (screaming sound), fire detection information, gas detection information, and human body detection information.

상기 센서들은 무선 통신부(6LoWPAN, MQTT, Wi-Fi, LTE, NB-IoT, LTE-M, LoRa)가 탑재된 경우, 강우 센서, 수위 센서, 유속 센서, 풍속 센서, 위험 지역에 설치된 마이크 센서, 화재 감지 센서, 가스 감지 센서, 인체 감지 센서에 의해 감지된 강우량, 하천 수위, 유속, 풍속 정보, 마이크 센서 데이터(비명 소리), 화재 감지 정보, 가스 감지 정보, 인체 감지 정보를 센서 네트워크(WSN, 6LoWPAN, MQTT), Wi-Fi 무선 랜, 이동통신망(LTE-M), NB-IoT, LoRa 네트워크 중 어느 하나 이상의 네트워크를 통해 게이트웨이를 통해 모비우스 서버, 영상 분석 서버, 인명 지킴이 시스템, 피난 유도 시스템 및 재난 대응 시스템을 구비하는 IDS 로컬 관제 시스템으로 전송한다. When the wireless communication unit (6LoWPAN, MQTT, Wi-Fi, LTE, NB-IoT, LTE-M, LoRa) is installed, the sensors include a rain sensor, a water level sensor, a flow velocity sensor, (WSN, WSN, etc.) to the sensor network (fire sensor, gas sensor, human body sensor, rain water level, flow velocity, wind speed information, microphone sensor data 6LoWPAN, MQTT), Wi-Fi wireless LAN, mobile communication network (LTE-M), NB-IoT and LoRa network through a gateway to the Mobi server, image analysis server, And an IDS local control system having a disaster response system.

상기 IDS 로컬관제 시스템은 IDS 통합관제 시스템과 연동되어 영상과 음성, 센서 데이터를 포함하는 각종 데이터를 전송하며, 상기 IDS 로컬관제 시스템은 모비우스 서버, 영상 분석 서버 및 인명 지킴이 시스템, 피난 유도 시스템 및 재난 대응 시스템을 구비하고, The IDS local control system transmits various data including image, voice and sensor data in cooperation with the IDS integrated control system. The IDS local control system includes a mobi server, an image analysis server and a name keeping system, an evacuation guidance system, Disaster response system,

IDS 로컬관제 시스템은 모비우스 서버와 시계열 데이터베이스(TSDB), 영상 분석 서버(Video Server), 센서와 음원, 영상을 포함하는 재난 모니터링부, 컨트롤 모듈을 구비하며, 통신 미들웨어를 통해 IDS 함체와 연동되고, 센서와 음원, 영상 데이터 수집과 분석 및 모니터링 기능, 영상 분석 서버에 의해 인공 지능의 딥러닝 기반의 객체를 검출하여 재난 상황 영상분석/상황인지/영상의 객체 추적 기능, 지향성 스피커 제어를 위한 컨트럴 기능, 카메라 및 적외선 IR 조작을 위한 컨트럴 기능, Pan/Tilt 조작을 위한 컨트럴 기능, 구난자 및 IDS 폴, 센서 위치 확인을 위한 모니터링 기능, 카메라로부터 획득되는 실시간 영상 확인 및 분석 기능, 모비우스 서버로부터 수신되는 실시간 센서 데이터확인 기능, 과거 센서 데이터 조회 기능, 재난 문자를 전송하여 피난을 유도하는 피난 유도 시스템과 이동 차량 재난 경고 방송을 제공하는 재난 대응 시스템에 연동하여 각각 피난 유도 기능(재난 문자 전송)과 재난 대응 기능(이동 차량 재난 경고 방송)을 제공하며, IDS 폴 연동 기능을 제공하며, The IDS local control system includes a Mobi server, a time series database (TSDB), an image analysis server (Video Server), a disaster monitoring unit including sensors and sound sources, and a control module. , Sensors and sound sources, image data acquisition and analysis and monitoring functions, object detection based on deep learning of artificial intelligence by image analysis server, disaster scene image analysis / context awareness / image object tracking, Function, control function for camera and infrared IR operation, control function for pan / tilt operation, spherical egg and IDS pole, monitoring function for sensor position confirmation, real time image confirmation and analysis function obtained from camera, Receive real-time sensor data confirmation function, past sensor data inquiry function, (Disaster text transmission) and disaster response function (moving vehicle disaster warning broadcasting) in cooperation with the disaster response system that provides the evacuation guidance system and the moving vehicle disaster warning broadcasting. ,

상기 IDS 통합관제 시스템은 여러 지역에 분산된 설치된 다수의 IDS 로컬 관제 시스템과 연결되며, 각각의 IDS 로컬 관제 시스템으로부터 재난 상황 정보를 수신하고 IDS 로컬관제 시스템 모니터링을 하며,The IDS integrated control system is connected to a plurality of installed IDS local control systems distributed in various regions, receives disaster situation information from each IDS local control system, performs IDS local control system monitoring,

IDS 폴은 실시간 영상 정보 획득을 위한 카메라, 야간 영상 촬영을 위한 IR LED, 구난자에게 경보방송 송출을 위한 지향성 스피커, 위험 지역 일상 주변 감시 및 구난자 타겟팅을 위한 Pan/Tilt 조절, 통신 미들웨어를 통해 IDS 로컬 관제 시스템의 일부분으로 사용되는 모비우스 서버와 연결된다. The IDS pole is equipped with a camera for acquiring real-time image information, an IR LED for night-time imaging, a directional speaker for transmitting alarm broadcast to the old egg, pan / tilt control for targeting the dangerous area around the daily life, and communication middleware It is associated with the Mobius server used as part of the IDS local control system.

상기 IDS 관제 시스템은 다수의 IDS 로컬 관제 시스템과 IDS 통합 관제 시스템으로 구성된다. The IDS control system is composed of a plurality of IDS local control systems and an IDS integrated control system.

상기 IDS 로컬 관제 시스템은 모비우스 서버, 영상 분석 서버, 인명 지킴이 시스템, 피난 유도 시스템, 재난 대응 시스템, 지향성 스피커 다중 제어 시스템을 구비한다. The IDS local control system includes a mobi server, an image analysis server, a life protection system, an evacuation guidance system, a disaster response system, and a directional speaker multiple control system.

상기 모비우스 서버는 인명 지킴이 시스템, 피난 유도 시스템, 재난 대응 시스템, 지향성 스피커 다중 제어 시스템과 연동되며, 상기 재난 대응 시스템과 이동통신망을 통해 SMS 서버가 연결되며, 상기 재난 대응 시스템과 연동된 지향성 스피커로부터 비가청 신호를 피난유도 앱(App)이 설치된 스마트 기기로 수신받아 출력하고, 상기 재난 대응 시스템으로부터 SMS 서버를 통해 상기 재난 예상 지역의 셀 커버리지에 있는 이동전화번호들로 재난 경보 문자를 전송하고, 무선 CCTV 카메라와 지향성 스피커와 이동 차량의 재난 발생 경고 방송을 출력한다. The mobius server is connected to a disaster response system and an SMS server through a mobile communication network. The mobius server is connected to the disaster response system, the evacuation guidance system, the disaster response system, and the directional speaker multiplex control system. And transmits a disaster alarm character to the mobile phone numbers in the cell coverage of the disaster prediction area through the SMS server from the disaster response system , A wireless CCTV camera, a directional speaker, and a disaster warning broadcast of a moving vehicle.

상기 피난 유도 시스템과 연동된 지향성 스피커로부터 가청 신호/비가청 신호를 스마트 기기의 스피커로 출력하며, 해당 재난 지역의 재난 위치와 재난 안내 문자를 통해 안전 지역으로 피난을 유도하는 피난유도 앱(App)이 설치된 스마트 기기로 전송한다. An evacuation guidance app for outputting an audible signal / non-audible signal to a speaker of a smart device from a directional speaker linked with the evacuation guidance system, and evacuating to a safe area through a disaster location and a disaster announcement character in the disaster area; To the installed smart device.

상기 피난 유도 운영 시스템과 이동통신망을 통해 연결되며, 상기 피난 유도 시스템과 연동된 지향성 스피커로부터 가청 신호/비가청 신호를 스마트폰의 스피커로 출력하며, 해당 재난 지역의 재난 위치와 재난 상황 정보와 피난 유도 경로를 제공받는 피난유도 앱(App)이 설치된 스마트 기기를 더 포함하며, The navigation system is connected to the evacuation guidance operating system through a mobile communication network and outputs an audible signal / non-audible signal from the directional speaker coupled with the evacuation guidance system to the speaker of the smartphone. Further comprising a smart device having an evacuation guidance app (App) provided with a guidance path,

스마트 기기는 스마트폰을 사용하며, 상기 모비우스 서버로부터 스마트폰의 피난유도 앱(지향성 스피커 기반 음원 방향 탐지용 안드로이드 기반 App)을 통해 비가청 대역의 안내 방송 수신 및 피난 유도를 제공받는다. The smart device uses a smartphone and receives the announcement of the non-audible broadcast through the smartphone's evacuation-inducing app (the Android-based app for detecting the direction of the sound source based on the directional speaker) from the Mobi server.

도 5c는 센서 노드의 구성 예를 보인 도면이다. 도 5d는 복합 센서 노드의 시스템 구성을 보인 도면이다. 5C is a diagram showing a configuration example of a sensor node. 5D is a diagram showing the system configuration of the hybrid sensor node.

상기 적어도 하나 이상의 IoT 기반 센서는 The at least one IoT-based sensor

센싱 정보를 감지하는 측정부; 센서 측정을 위해 각 기능을 제어하는 제어부; 상기 제어부와 연결되며 센서 데이터를 저장하는 저장부; 무선 센서 네트워크(WSN, 6LoWPAN, MQTT), Wi-Fi, NB-IoT를 이용한 센서 네트워크, 이동통신망(LTE), LoRa 네트워크, 이더넷(Etheenet) 중 어느 하나의 통신 프로토콜을 통해 센서 데이터를 전송하는 무선 통신부; IoT 프로토콜(예, MQTT 프로토콜)을 제공하는 프로토콜 스택부, ARM 기반의 리눅스 운영체제를 기반으로 디바이스를 구동하게 하는 디바이스 드라이버, 및 센서 노드에 전원을 공급하는 전원 공급부를 포함하며, IoT 기반 센서 네트워크 통신 프로토콜(MQTT, NB-IoT)을 연동하기 위한 센서 어댑터를 더 포함할 수 있으며, A sensing unit sensing sensing information; A controller for controlling each function for sensor measurement; A storage unit connected to the control unit and storing sensor data; Wireless sensor network that transmits sensor data through a communication protocol of any one of wireless sensor network (WSN, 6LoWPAN, MQTT), Wi-Fi, sensor network using NB-IoT, mobile communication network (LTE), LoRa network, A communication unit; A protocol stack section for providing an IoT protocol (e.g., MQTT protocol), a device driver for driving a device based on an ARM-based Linux operating system, and a power supply section for supplying power to the sensor node, And a sensor adapter for linking the protocol (MQTT, NB-IoT)

상기 센서 데이터는 센서 노드ID, 센서 장치 ID, 센서 데이터 값을 포함한다. The sensor data includes a sensor node ID, a sensor device ID, and a sensor data value.

상시 전원 공급부는 태양 전지 어레이와 충전 콘트롤러와 DC-DC 컨버터와 축전지를 구비하며, 태양열을 사용하여 소정의 정격 전원을 공급하는 태양전지부를 더 포함한다. The normal power supply unit further includes a solar cell unit having a solar cell array, a charge controller, a DC-DC converter, and a battery, and supplying a predetermined rated power using solar heat.

도 5e는 복합 센서 노드-센서 노드 드라이버 테스트를 보인 도면이다. FIG. 5E shows a hybrid sensor node-sensor node driver test.

도 5f는 센서 노드의 유형과 구성을 보인 도면이다. 5F is a diagram showing the type and configuration of the sensor node.

도 5g는 복합 센서 노드 설치 구성도이다. 5G is a configuration diagram of the hybrid sensor node installation.

도 5h는 본 발명의 실시예에 따른 MQTT 프로토콜을 사용하는 IoT 센서, 센서 네트워크 게이트웨이, 모비우스 서버, IoT 모니터링 UI, IoT 관리 UI의 기능을 나타낸 도면이다. 5H is a diagram illustrating the functions of the IoT sensor, the sensor network gateway, the Mobi server, the IoT monitoring UI, and the IoT management UI using the MQTT protocol according to the embodiment of the present invention.

(실시예)(Example)

* 센서 모듈 * Sensor module

- 마이크 센서 : KB500 마이크 앰프 모듈- Microphone sensor: KB500 microphone amplifier module

- 카메라 센서 : Sony IMX219 이미지 센서- Camera sensor: Sony IMX219 image sensor

* 센서 어댑터* Sensor adapter

- oneM2M 플랫폼과 통신 연결을 위해 MQTT 서비스 등록- Registration of MQTT service for communication connection with oneM2M platform

- 센서 모듈로부터 마이크, 카메라 센서 값을 읽어서 메모리에 저장- Reads the microphone and camera sensor values from the sensor module and stores them in memory.

- 마이크, 카메라 센서 값 읽는 주기 : 1 분 (스마트 알고리즘 적용)- Microphone, camera sensor reading cycle: 1 minute (smart algorithm applied)

* 모비우스 플랫폼 게이트웨이* Mobius Platform Gateway

- MQTT로 연결된 마이크, 카메라 센서를 모비우스 서버에 등록- Registering microphone and camera sensor connected to MQTT to Mobius server

- 마이크, 카메라 디바이스에서 데이터를 받아 모비우스 서버로 전송- Receive data from microphone, camera device and transmit to Mobius server

* 모비우스 플랫폼 서버* Mobius platform server

- 등록된 마이크, 카메라 디바이스의 센서 데이터 저장, 관리, 제어- Save, manage and control sensor data of registered microphone and camera device

- Open API를 통하여 외부 클라이언트가 센서 데이터 접근- External client access sensor data through Open API

* IoT 모니터링 / 분석 GUI* IoT monitoring / analysis GUI

- TSDB(시계열 데이터베이스)를 이용하여 마이크, 카메라센서 데이터 저장, 관리- Save and manage microphone and camera sensor data using TSDB (time series database)

- 센서 데이터를 시각적으로 모니터링하고, 분석하는 도구 제공Provides tools to visually monitor and analyze sensor data

* IoT 관리 GUI* IoT management GUI

- IoT 관리 정보 DB에 IoT 센서 디바이스에 관한 정보 저장, 관리- Store and manage information about IoT sensor device in IoT management information DB

- IoT 센서 디바이스 정보와 센서 데이터를 결합하여 모니터링- Combine IoT sensor device information with sensor data for monitoring

[기술 및 시스템의 역할][Role of technology and system]

○ 사회재난 유형별 분석 및 대응 전략수립○ Analysis of social disaster type and establishment of response strategy

- 사회재난 유형별 대응 기본전략을 수립하고 구체적 대응 시나리오 제공- Establish basic response strategies for social disaster types and provide specific response scenarios

- 재난 상황에 대한 IDS 기반 인명지킴이 시나리오 및 매뉴얼을 개발- Develop IDS-based life-saving scenarios and manuals for disaster situations

○ 재난 사고 현장에 설치되어 주변 환경 정보 수집 및 실시간 감시를 위한 융·복합 센서노드를 개발하고 메쉬 센서 네트워크 및 IoT 네트워크를 제공○ It is installed in the disaster accident site, and it develops fusion and compound sensor node for collection of environment information and real-time monitoring, and provides mesh sensor network and IoT network

- 수난사고 대비용 센서 노드는 강우, 유속, 수위, 음향 등 센서 탑재- Cost of accidents cost sensor node equipped with sensors such as rainfall, flow rate, water level, sound

○ 영상분석 및 seamless tracking을 위해 현장 정보(음향, 강우, 유속 등)을 실시간으로 정보 제공○ Real-time information on site information (sound, rainfall, flow rate, etc.) for image analysis and seamless tracking

○ 지향성 스피커의 경보 및 피난유도를 위해 현장 정보(음향, 가스, 화재 등)을 실시간으로 정보 제공○ Provide real-time information of field information (sound, gas, fire, etc.) for directional speaker alarm and evacuation guidance

○ 센서 노드로부터 수집된 재난 정보를 모비우스 서버(Mobius Server)에 저장 및 정보 제공, 재난 관제 센터와 연계○ Disaster information collected from the sensor node is stored in the Mobius Server and provided with information, linked with the Disaster Control Center

○ 메쉬 네트워크 기반의 복합센서 노드 개발○ Development of complex sensor node based on mesh network

- 메쉬 네트워크 기반의 센서 노드, IoT 기반의 센서 네트워크 기술 개발- Sensor network technology based on mesh network, development of IoT based sensor network technology

- 메쉬 네트워크 기반의 동적 센서노드 통신 기술 개발- Development of dynamic sensor node communication technology based on mesh network

- NB-IoT를 이용한 센서 네트워크와 인터넷 연결 구현- Implementation of sensor network and internet connection using NB-IoT

- 유속 및 수위센서 개발- Development of flow velocity and water level sensor

- 센서노드 기구 및 펨웨어 재설계 및 - Sensor node mechanism and firmware redesign and

- 센서노드 스마트 알고리즘 실장 테스트 및 신뢰성 검증- Sensor node smart algorithm implementation test and reliability verification

- 센서노드 마이크 신호 분석 및 이벤트 감지 기능 개발- Sensor node microphone signal analysis and event detection function development

- 센서노드 배터리 방전 경고 기능 개발- Sensor node battery discharge warning function development

- 모비우스 플랫폼 기반 센서 데이터 수집과 센서 제어 시스템 구현- Implementation of sensor data acquisition and sensor control system based on Mobius platform

- 센서 데이터 모니터링 시스템 개발- Sensor data monitoring system development

- 센서노드 정보 관리 및 제어 시스템 개발- Sensor node information management and control system development

○ 상황 인지 및 영상 추적○ Situation recognition and image tracking

- 센서 융복합을 통한 상황인지 기술 개발- Development of context awareness technology through sensor fusion

- Seamless Tracking 기술 개발- Development of Seamless Tracking Technology

○ 가변출력이 가능한 지향성 스피커 기술 개발○ Development of directional speaker technology capable of variable output

- 구난용 가변출력 지향성스피커 개발- Development of variable output directional speaker for rescue

- 지향성 스피커 다중제어 시스템 개발- Development of directional speaker multi control system

○ IDS 시스템 및 폴 제작 ○ IDS system and pole production

- IDS 통합관제 시스템 개발- Development of IDS Integrated Control System

- IDS 로컬관제 시스템 개발- Development of IDS Local Control System

- 테스트를 위한 IDS 폴 제작- IDS pole production for testing

1.2 센서 노드 1.2 Sensor node

센서 노드의 제어 모듈은 센서 장치를 제어하고 센서 데이터를 읽어서 IoT 센서 네트워크를 통해 모비우스 서버로 전달한다.The control module of the sensor node controls the sensor device, reads the sensor data, and transmits it to the Mobi server through the IoT sensor network.

제어 모듈은 전원 공급부, PA 전원 회로, SDRAM Memory 회로, PLL 회로, GPIO Interfaces, LED 상태 표시 회로를 구비한다. The control module includes a power supply unit, a PA power supply circuit, an SDRAM memory circuit, a PLL circuit, a GPIO interface, and an LED status display circuit.

* 제어 모듈 규격* Control module specification

- CPU : ARM Cortex A53 1.2 GHz (Broadcom BCM2837)- CPU: ARM Cortex A53 1.2 GHz (Broadcom BCM2837)

- Memory : 1 GB SDRAM- Memory: 1 GB SDRAM

- Storage : 16 GB SD- Storage: 16 GB SD

- Power Supply : 5 V, 300 mA (average)- Power Supply: 5 V, 300 mA (average)

- Dimension : 85.60 mm ×56.5 mm ×17 mm- Dimension: 85.60 mm x 56.5 mm x 17 mm

- Interfaces : GPIO, I2C, SPI- Interfaces: GPIO, I2C, SPI

나. 센서 모듈I. Sensor module

○ 기상 센서 : Airmar WeatherStation PB200○ Weather sensor: Airmar WeatherStation PB200

도 6은 기상 센서를 보인 도면이다. 기상 센서는 물놀이 지역의 다양한 기상 정보를 실시간으로 수집하기 위한 센서이다. 6 is a view showing a vapor sensor. The weather sensor is a sensor for collecting various weather information in the water area in real time.

- 진동 센서와 자세 센서는 시설물이 안정적인 자세로 설치되어 있는지 점검- Vibration sensor and attitude sensor check whether the facility is installed in a stable posture

○ 수위 센서 : FS-IR02 광학 수위 센서○ Level sensor: FS-IR02 Optical level sensor

도 7은 광학 수위 센서를 보인 도면이다. 수위 센서는 수위 관측계로써, 교량 중간에 설치된 수위 센서를 사용하며, 물놀이 장소 인근 상류 지역의 다리 구조물에 설치하여 수위 변화를 측정하기 위한 센서이다. 7 is a view showing an optical water level sensor. The water level sensor is a water level monitoring system, which uses a water level sensor installed in the middle of the bridge and installed on the bridge structure in the upstream area near the watering place to measure the water level change.

○ 강우 센서 : Hydreon Rain Gauge Model RG-11○ Rain Sensor: Hydreon Rain Gauge Model RG-11

도 8은 강우 센서를 보인 도면이다. 강우 센서는 홍수, 집중호우에 의해 입수 금지 지역, 급류가 발생하는 위험 지역에 비가 내릴 때 물놀이는 위험하므로 물놀이 장소의 현지 강우 상태를 인식하기 위한 센서이다. 8 is a view showing a rainfall sensor. The rain sensor is a sensor to recognize the local rainfall condition in the watering place because it is dangerous when the rain falls in the prohibited area or the dangerous area where the torrent occurs due to flood, heavy rainfall.

* Input Voltage : 9 ~ 30VDC, 50V surge* Input Voltage: 9 ~ 30VDC, 50V surge

- Reverse polarity protected to 50V  - Reverse polarity protected to 50V

* Current Drain : 15 mA nominal. (No outputs on, not raining, no heater)* Current Drain: 15mA nominal. (No outputs on, not raining, no heater)

- about 1.5 mA in micro-power sleep mode.  - about 1.5 mA in micro-power sleep mode.

- 50 mA with output on.  - 50 mA with output on.

- 55 mA - With heater on, 24V dc input.  - 55mA - With heater on, 24V dc input.

* Output : Relay closure, Normally Open and Normally Closed contacts.* Output: Relay closure, Normally Open and Normally Closed contacts.

- Max load 1A, 24 VDC.  - Max load 1A, 24 VDC.

* Operating Temperature range : -40 ℃ to +60 ℃* Operating Temperature range: -40 ℃ to +60 ℃

○ 인체 감지 센서 : SEEED PIR Motion Sensor○ Human body sensor: SEEED PIR Motion Sensor

도 9는 인체 감지 센서를 보인 도면이다. 9 is a view showing a human body detection sensor.

인체 감지 센서는 위험 지역에 사람이 출입하는 것을 인식하기 위한 적외선 PIR 센서이다. The human body detection sensor is an infrared PIR sensor for recognizing a person entering or leaving a dangerous area.

- Operating Voltage : 3V ~ 5V- Operating Voltage: 3V ~ 5V

- Operating Current(VCC = 3V) : 100uA- Operating Current (VCC = 3V): 100uA

- Operating Current(VCC = 5V) : 150uA- Operating Current (VCC = 5V): 150uA

- Measuring Range : 0.1 - 6m- Measuring Range: 0.1 - 6m

- Default detecting distance : 3m- Default detecting distance: 3m

- Holding Time : 1 25s- Holding Time: 1 25s

- Working Wave Length : 7 ~ 14um- Working Wave Length: 7 ~ 14um

- Detecting Angle : 120 degrees- Detecting Angle: 120 degrees

센서 노드는 MQTT 프로토콜을 사용하는 경우, 복합 센서 노드 oneM2M TAS 어댑터 모듈이 구현된다. When the sensor node uses the MQTT protocol, a complex sensor node oneM2M TAS adapter module is implemented.

- TAS 어댑터 MQTT 프로토콜을 기반으로 oneM2M Thyme 게이트웨이와 연동하기 위한 인터페이스 모듈- Interface module for interworking with oneM2M Thyme gateway based on TAS adapter MQTT protocol

- TAS 어댑터(예, 센서 어댑터)에서 데이터 수집 모듈에서 데이터 수집 주기 관리- Manage the data collection cycle in the data acquisition module from the TAS adapter (eg, sensor adapter)

- TAS 어댑터에서 장치 제어 모듈에서 장치 세팅 설정과 디바이스 드라이버 초기화 호출- On the TAS adapter, set the device settings in the device control module and initialize the device driver.

- TAS 어댑터에서 스마트 전송 알고리즘에 따라 IoT 네트워크로 보내는 센서 데이터 제어 및 관리- Sensor data control and management from the TAS adapter to the IoT network according to the smart transport algorithm

- oneM2M TAS 어댑터 설치 및 실행 방법- How to install and run the oneM2M TAS adapter

- oneM2M TAS 어댑터 프로그램은 node.js 기반으로 개발되었으므로, 실행하기 위해 node.js 프로그램 설치 필요- oneM2M TAS adapter program was developed based on node.js, so you need to install node.js program to run

1.3 IoT 기반 센서 네트워크1.3 IoT based sensor network

1.3.1 메쉬 네트워크 구현 1.3.1 Mesh Network Implementation

가. Wi-Fi Mesh network 성능 테스트end. Wi-Fi Mesh network performance test

라즈베리파이를 메쉬 라우터(mesh router)로 활용하는 형태로 구성Raspberry pie is used as a mesh router.

라즈베리파이 3개가 각각 AP(Access Point) 역할을 수행할 뿐만 아니라 서로 또 다른 무선 네트워크를 통해 연결됨으로써, 하나의 AP에 연결된 모바일 기기가 다른 AP에 연결된 모바일 기기에 직접 연결(direct communication), 즉, 인터넷 연결 없이 AP들끼리 패킷을 전달 The Raspberry pie not only serves as an access point (AP) but also connects to each other via another wireless network, whereby a mobile device connected to one AP directly communicates with a mobile device connected to another AP, Deliver packets between APs without Internet connection

이를 위해, 각 라즈베리파이는 최소 2개의 무선랜 인터페이스(무선랜카드) 필요. 하나는 모바일 기기들을 연결하며, 다른 하나는 메쉬 라우터들끼리 연결To do this, each Raspberry pie requires at least two wireless LAN interfaces (wireless LAN card). One connects mobile devices and the other connects mesh routers

도 10은 Wi-Fi 메쉬 네트워크 구성도이다. 10 is a configuration diagram of a Wi-Fi mesh network.

Wi-Fi 메쉬 네트워크 구성은 라즈베리파이 초기 설정 후, 안정적인 사용을 위해 Locale, time, keyboard layout, SD카드 전체 용량 활용을 위한 resize 설정The Wi-Fi mesh network configuration consists of Locale, time, keyboard layout, and resize settings to take full advantage of the full capacity of the SD card for stable use after initial setup of Raspberry Pie.

1.3.2 LoRa 네트워크 구현1.3.2 LoRa network implementation

가. NB IoT (Narrowband Internet of Things) end. NB IoT (Narrowband Internet of Things)

도 11은 NB-IoT 네트워크 구조를 보인 도면이다. 11 is a diagram showing an NB-IoT network structure.

- NB-IoT terminal (가령, 스마트 가스 미터, 스마트 물 미터) :- NB-IoT terminal (eg smart gas meter, smart water meter):

terminals와 NB-IoT module로 구성되고, NB-IoT modules를 사용해서 Uu 인터페이스를 이용하여 eNodeB(기지국)와 통신terminals and an NB-IoT module and communicates with an eNodeB (base station) using the Uu interface using NB-IoT modules

- NB-IoT module : terminals이 NB-IoT 무선 통신 프로토콜에 따라 NB-IoT 네트워크와 통신- NB-IoT module: The terminals communicate with the NB-IoT network according to the NB-IoT wireless communication protocol.

- Terminal (가령, 스마트 가스 미터, 스마트 물 미터) : NB-IoT modules과 UART 통신- Terminal (eg smart gas meter, smart water meter): UART communication with NB-IoT modules

- eNodeB : NB-IoT 단말은 Uu 인터페이스를 통해 네트워크 액세스 메시지를 처리하고, 셀(cell)을 관리하고, 처리를 위해 상위 계층 네트워크 요소(NE, Network Element)로 비 액세스 계층(NAS, Non-Access Stratum) 데이터를 전달하며, NaodeB는 S1-Lite 인터페이스를 통해 IoT EPC에 연결- eNodeB: The NB-IoT terminal processes the network access message through the Uu interface, manages the cell, and uses the non-access layer (NAS) as an upper layer network element (NE) Stratum data, and NaodeB connects to the IoT EPC via the S1-Lite interface

- IoT EPC : NAS 계층에서 NB-IoT terminals과 정보를 교환하고 프로세싱을 위해 NB-IoT 서비스와 관련된 데이터를 IoT Platform으로 전달- IoT EPC: exchanges information with NB-IoT terminals at NAS layer and transfers data related to NB-IoT service to IoT platform for processing

- IoT platform : 다변화 된 무선 액세스 네트워크로부터의 상이한 유형의 IoT 데이터를 수집하고 데이터 유형에 기초한 처리를 위해 필요한 데이터를 요구된 서비스 애플리케이션에 전송- IoT platform: collects different types of IoT data from a diversified radio access network and sends the required data to the requested service application for processing based on the data type

- Application server : IoT 데이터를 수집하고, 고객 요구 사항에 따라 데이터 처리- Application server: collect IoT data, process data according to customer requirements

LoRa 기술은 LoRa Alliance 단체에서 기술 규격을 제정하고, 대규모 저전력 장거리 무선통신으로, 이론적으로 LoRa는 전력 소모가 매우 적어 배터리 수명은 10년 이상이다. LoRa의 최대 전송율은 5.47kbps, 셀 커버리지는 10km이며, 통신 가능거리는 도심지역에서는 2~15km, Line of Sight가 확보된 지역에서 30km, 지하는 1~2km, 실내에서는 2~3km이다. LoRa technology is a technical standard established by the LoRa Alliance organization and is a large, low-power, long-distance wireless communication. Theoretically, LoRa has very low power consumption and has a battery life of more than 10 years. The maximum transmission rate of LoRa is 5.47kbps and the cell coverage is 10km. Communication range is 2 ~ 15km in urban area, 30km in area where line of sight is secured, 1 ~ 2km in underground and 2 ~ 3km in indoor.

대역폭은 125kHz, 최대송신전력은 14dBm이며 주파수 ISM 밴드에서 동작하고 전송속도는 낮으며 수신감도가 최대 -138dBm가 되도록 대역 확산 방식으로 설계된다. Bandwidth is 125kHz, maximum transmit power is 14dBm, operates in frequency ISM band, transmission speed is low, and the receive sensitivity is designed to be up to -138dBm.

도 12는 LoRa와 타 기술(Sigfox, LTE MTC, LTE NB IoT)을 비교한 도면이다. 12 is a diagram comparing LoRa with other technologies (Sigfox, LTE MTC, LTE NB IoT).

도 13은 LoRa 통신 레이어를 나타낸 도면이다. 13 is a diagram showing a LoRa communication layer.

Physical Layer 통신은 단말과 기지국간 모뎀 칩간에 수행이 되며 MAC Layer 통신은 단말과 네트워크 서버 간에 수행된다. LoRa는 Bandpass Modulation으로 Chip Spread Spectrum 기술을 사용하고 있다. Chip Spread Spectrum 기술은 Long Range, Low Power를 가능하게 하는 LoRa 기술의 핵심적인 부분이다. The physical layer communication is performed between the modem chip between the terminal and the base station, and the MAC layer communication is performed between the terminal and the network server. LoRa uses Chip Spread Spectrum technology as Bandpass Modulation. Chip Spread Spectrum technology is a key part of LoRa technology that enables long range, low power.

LoRa의 Long range star는 장거리 연결 시 배터리 수명을 유지하는데 가장 적합하다. LoRa 네트워크에서 노드는 특정 게이트웨이와 관련이 없으며, 각 노드가 전송하는 데이터는 일반적으로 여러 게이트웨이에서 수신한다. LoRa's long range star is best suited for long battery life. In a LoRa network, a node is not associated with a particular gateway, and data transmitted by each node is typically received by multiple gateways.

각 게이트웨이는 수신한 패킷을 셀룰러망, 이더넷(Ethernet), Wi-Fi를 통해 센서 노드에서 클라우드 기반 모비우스 서버로 전달한다. Each gateway forwards the received packet from the sensor node to the cloud-based Mobi server via the cellular network, Ethernet, and Wi-Fi.

또한, Intelligence과 complexity가 네트워크 서버(모비우스 서버)로 푸쉬되는데, 네트워크를 관리하고 중복된 패킷을 검사하며 보안성 검사를 수행하며 최적의 게이트웨이로의 스케줄링을 수행한다. In addition, intelligence and complexity are pushed to the network server (mobi server), which manages the network, inspects duplicate packets, performs security checks, and performs scheduling to the optimal gateway.

네트워크 수용량의 측면에서 분석해보면, Long Range Star network를 실행 가능하게 하려면 게이트웨이는 대용량 노드로부터의 메시지를 수신할 수 있는 기능이 있어야 한다. In terms of network capacity, a gateway needs to be capable of receiving messages from large nodes in order to make the Long Range Star network operational.

LoRa 네트워크의 높은 네트워크 수용량은 다중 채널의 동시 메시지를 수신할 수 있도록 게이트웨이에서 다중 채널 다중 모뎀 transceiver를 사용하여 이루어진다. The high network capacity of the LoRa network is achieved by using a multi-channel, multiple-modem transceiver at the gateway to receive multiple channels of simultaneous messages.

네트워크 수용량에 영향을 미치는 중요한 요소는 동시 채널 수, 데이터 속도 (대기 시간), 페이로드 길이 및 노드 전송 빈도이다. 이 중 데이터 속도의 측면에서, 게이트웨이는 동일한 채널에서 동시에 여러 개의 서로 다른 데이터 속도로 수신할 수 있다. 만약, 어떤 노드가 good link이며 게이트웨이에 가까우면, 항상 가장 낮은 데이터 전송 속도를 사용하고, 필요로 하는 정도보다 오랜 기간 가용 스펙트럼을 점유한다. 데이터 전송 속도를 높이면, 대기 시간이 단축되고 다른 노드가 전송가능한 잠재적인 공간이 넓어진다. Important factors affecting network capacity are the number of concurrent channels, data rate (latency), payload length, and node transmission frequency. Of these, in terms of data rate, the gateways can receive at several different data rates simultaneously on the same channel. If a node is a good link and is close to a gateway, it always uses the lowest data rate and occupies the available spectrum for longer than needed. By increasing the data rate, the latency is shortened and the potential space that other nodes can transmit is widened.

이러한 기능을 통해 LoRa 네트워크는 매우 큰 네트워크 수용량을 가지며 네트워크를 확장할 수 있어 최소한의 인프라로 네트워크를 구축할 수 있다.This capability allows the LoRa network to have a very large network capacity, expand the network, and build the network with minimal infrastructure.

LoRa 네트워크는 비동기식이며, event-driven 방식 또는 scheduled 방식의 여부에 관계없이 어디서나 데이터를 보낼 준비가 되면 통신이 가능하며, 최근 GSMA에서 LPWAN 공간을 다루는 다양한 기술을 비교한 결과, LoRa는 다른 모든 기술 옵션에 비해 3 ∼ 5 배의 우위를 보이고 있다. The LoRa network is asynchronous, capable of communicating when data is ready to be sent anywhere, whether it is event-driven or scheduled, and recently compared various technologies dealing with the LPWAN space in the GSMA. As a result, Which is 3 ~ 5 times higher than that of Korea.

1.3.3 센서 모니터링 시스템 구현1.3.3 Sensor Monitoring System Implementation

가. 센서노드 정보 모니터링end. Monitoring sensor node information

도 14a는 각종 센서 노들로부터 센서 데이터를 센서 네트워크를 통해 수신한 모비우스 서버의 센서 데이터 수신 로그, IoT 모니터링 시스템 화면 그래프(좌), 센서 데이터값(우) 화면이다. 14A is a sensor data reception log, IoT monitoring system screen graph (left), and sensor data value (right) screen of a Mobi server receiving sensor data from various sensor nodes via a sensor network.

마이크센서 데이터는 influx DB에 데이터를 저장하고, Grafana 기반의 IoT 모니터링 시스템을 통해 다양한 그래프로 확인한다. The microphone sensor data stores the data in the influx DB and verifies the various graphs through the Grafana-based IoT monitoring system.

도 14b는 센서 노드ID, 센서 장치 ID, 센서 데이터 값을 추출하여 모비우스 서버에 DB에 저장하는 센서 네트워크를 통해 IoT 게이트웨이 데이터 처리 모듈 상세 구현 화면이다. FIG. 14B is a detailed implementation screen of the IoT gateway data processing module through a sensor network that extracts the sensor node ID, the sensor device ID, and the sensor data value and stores the extracted data in the DB in the Mobi server.

도 14c는 센서 노드가 게이트웨이를 통해 모비우스 서버로 센서 데이터를 전송하는 IoT 센서 네트워크 통신 프로토콜(MQTT 프토토콜)의 예를 보인도면이다. 14C is a diagram showing an example of an IoT sensor network communication protocol (MQTT protocol) in which a sensor node transmits sensor data to a Mobi server through a gateway.

IoT 센서 네트워크 프로토콜로써 MQTT 프로토콜을 사용하는 경우, 복합 센서 노드는 게이트웨이를 통해 모비우스 서버로 MQTT 서비스(oneM2M 서비스 등록)를 등록하고, IoT 관리 GUI로 센서 등록을 알리며, IoT 관리 GUI 에서는 센서 정보가 입력되고, IoT 관리 정보DB에 센서 관련 정보를 저장한다. When the MQTT protocol is used as the IoT sensor network protocol, the complex sensor node registers the MQTT service (oneM2M service registration) to the Mobi server through the gateway, informs the sensor registration with the IoT management GUI, And stores the sensor-related information in the IoT management information DB.

복합 센서 노드->게이트웨이->모비우스 서버-> 시계열DB(TSDB) 센서 데이터를 전송하여 저장하며, IoT 모니터링 분석 소프트웨어 또는 IoT 관리 GUI는 TSDB의 센서 데이터를 획득하여 센서 데이터를 모니터링한다. Complex sensor node -> Gateway -> Mobi server -> Time series DB (TSDB) Sensor data is transmitted and stored. IoT monitoring analysis software or IoT management GUI acquires TSDB sensor data and monitors sensor data.

모비우스 서버는 센서 상태 정보를 IoT GUI로 제공한다. The Mobi server provides sensor state information to the IoT GUI.

IoT GUI는 모비우스 서버-> 게이트웨이-> 복합 센서 노드로 센서 제어 요청을 전송하며, 복합 센서 노드에서 센서 설정이 변경된다. The IoT GUI sends a sensor control request to the Mobi server -> gateway -> multiple sensor nodes, and the sensor settings are changed at the multiple sensor nodes.

도 14d는 방사각도와 팬틸트 조절이 가능한 가변 출력 지향성 스피커 시스템 구성도이다. 지향성 스피커를 IDS 시스템에서 구난용 가변출력 지향성 스피커로 활용하기 위하여 음향센서 연동과 지향성 스피커 다중제어 시스템을 개발하였다. 또한, IDS 폴을 제작하여 IDS 로컬 관제 시스템(모비우스 서버)에서 통합 제어가 가능한 카메라, 지향성 스피커, 적외선 IR LED, PTZ 제어기(팬틸트 제어기)를 하나의 시스템으로 구성하여 개발하였다. 14D is a diagram of a variable output directional speaker system capable of adjusting the radiation angle and the pan tilt. In order to utilize directional loudspeaker as a variable output directional loudspeaker in IDS system, we developed an acoustic sensor interlocking and directional loudspeaker multiplex control system. In addition, IDS poles were fabricated and a camera system, a directional speaker, an infrared IR LED, and a PTZ controller (Pan / Tilt controller) were integrated into one system in the IDS local control system (Mobius server).

예를들면, 강우 센서, 유속 센서, 풍속 센서, 수위 센서, 음향 센서 등의 IoT 기반 센서(100)로부터 감지된 센서 패킷 데이터들을 무선 센서 네트워크(USN, WSN, 6LoWPAN, MQTT), Wi-Fi, NB-IoT를 이용한 센서 네트워크, 이동통신망(LTE), LoRa 네트워크, 이더넷(Ethernet) 중 어느 하나의 네트워크를 통해 수신받아 프로토콜을 변환하여 서버로 전송하는 IoT 게이트웨이; 및 상기 어느 하나의 네트워크를 통해 상기 IoT 기반 센서로부터 감지된 센서 패킷 데이터들을 수집하여 저장하며, 센서 데이터 모니터링 및 센서노드 정보 관리 및 제어하는 IDS 로컬 관제 시스템(700)의 관제 시스템(710)을 구비하며, For example, the sensor packet data sensed from the IoT-based sensor 100 such as a rainfall sensor, a flow velocity sensor, an air velocity sensor, a water level sensor, and an acoustic sensor is transmitted to a wireless sensor network (USN, WSN, 6LoWPAN, MQTT) An IoT gateway for receiving a signal through a sensor network using NB-IoT, a mobile communication network (LTE), a LoRa network, or an Ethernet and converting the protocol to transmit to a server; And a control system 710 of an IDS local control system 700 for collecting and storing sensor packet data sensed by the IoT based sensor through any one of the networks and for managing sensor data and managing and controlling sensor node information In addition,

IDS 로컬관제 시스템(700)은 관제 시스템(710), IDS 폴 제어기 함체(720)와 IDS 폴 구난 함체(730)를 포함하는 IDS 폴을 구비하며, The IDS local control system 700 comprises an IDS pole including a control system 710, an IDS poll controller enclosure 720 and an IDS poll rescue box 730,

관제 시스템(710)은 IDS 로컬 관제 시스템 서버(모비우스 서버)(711), 스트리밍 서버(712), CCTV 카메라 시스템과 연동되는 영상 분석 서버(714)를 포함하며, The control system 710 includes an IDS local control system server 711, a streaming server 712, and an image analysis server 714 interlocked with the CCTV camera system,

IDS 폴 제어기 함체(720)는 지향성 스피커의 볼륨을 조정하는 지향성 스피커 제어기(723), 설정된 볼륨에 따라 음향이 출력되는 지향성 스피커 앰프(724), 전원을 공급하는 전원 공급부를 구비하며, The IDS pole controller housing 720 includes a directional speaker controller 723 for adjusting the volume of the directional speaker, a directional speaker amplifier 724 for outputting sound according to the set volume, and a power supply unit for supplying power,

IDS 폴 구난 함체(730)는 IDS 로컬 관제 시스템 서버(모비우스 서버)(711)와 연결되며, 지향성 스피커 제어기(723)와 연결되는 PTZ 제어기와, PTZ 제어기와 연결된 카메라(731)와 IR LED(732)를 구비하며, The IDS pole saving unit 730 is connected to the IDS local control system server 711 and includes a PTZ controller connected to the directional speaker controller 723 and a camera 731 connected to the PTZ controller and an IR LED 732,

IDS 폴 제어기 함체(720)의 지향성 스피커 앰프(724)와 연동되는 지향성 스피커 출력부(733)를 구비한다. And a directional speaker output portion 733 interlocked with the directional speaker amplifier 724 of the IDS pole controller housing 720.

지향성 스피커 다중 제어 시스템은 스피커의 볼륨을 조정하는 지향성 스피커 제어기, 설정된 볼륨에 따라 음향이 출력되는 지향성 스피커 앰프, 전원을 공급하는 전원 공급부를 구비한다. The directional speaker multi-control system includes a directional speaker controller for adjusting the volume of the speaker, a directional speaker amplifier for outputting sound according to the set volume, and a power supply unit for supplying power.

도 14e 내지 도 14h는 지향성 스피커의 특징을 나타낸 도면이다.14E to 14H are views showing the features of the directional speaker.

Figure pat00001
Figure pat00001

* 시스템의 주요기능* Main functions of the system

가. 지향성 스피커 시스템end. Directional speaker system

- 음향센서 정보 취득으로 주변 소음상황을 고려한 자동음압레벨 조절- automatic sound pressure level control considering the ambient noise situation by acquiring sound sensor information

- 영상정보 및 센서정보 취득으로 객체 수에 따른 자동 방사 지향각도 조절, 패ㅌ틸트 조절 - Automatic radiative directional angle control, packet tilt control according to the number of objects by acquiring image information and sensor information

나. 모비우스 서버 기반의 IDS 로컬관제 시스템I. Mobius server based IDS local control system

- 모비우스 서버와 시계열 데이터베이스(TSDB), 영상 분석 서버(Video Server), 센서와 음원, 영상을 포함하는 재난 모니터링부, 컨트롤 모듈을 구비하며, 통신 미들웨어를 통해 IDS 폴 함체와 연동된다.- Mobius server and time series database (TSDB), video analysis server (Video Server), disaster monitoring section including sensor and sound source, video, and control module. It is linked with IDS pole enclosure via communication middleware.

- 센서와 음원, 영상 데이터 수집 및 분석, 모니터링 기능 - Sensor, sound source, image data collection and analysis, monitoring function

- 지향성 스피커 제어를 위한 컨트럴 기능- Control function for directional speaker control

- 카메라 및 적외선 IR 조작을 위한 컨트럴 기능- Control function for camera and infrared IR operation

- Pan/Tilt 조작을 위한 컨트럴 기능- Control function for Pan / Tilt operation

- 구난자 및 IDS 폴, 센서 위치 확인을 위한 모니터링 기능- Monitoring function to check the position of the old egg and IDS pole and sensor

- 카메라로부터 획득되는 실시간 영상 확인 기능- Real-time image check function obtained from camera

- 모비우스 서버 플랫폼으로부터 들어오는 실시간 센서 데이터확인 기능- Ability to view real-time sensor data coming from the Mobius server platform

- 과거 센서 데이터 조회 기능- Past sensor data inquiry function

- 피난 유도 기능(재난 문자 전송)과 재난 대응 기능(이동 차량 재난 경고 방송)- Evacuation guidance function (Disaster text transmission) and disaster response function (Moving vehicle disaster alert broadcasting)

다. IDS 통합관제 시스템All. IDS Integrated Control System

- 여러 지역에 분산된 설치된 IDS 로컬 관제 시스템과 연결- Connected with installed IDS local control system distributed in various regions

- 통합운영요원에 의한 IDS 로컬관제 시스템 모니터링 기능- IDS local control system monitoring function by integrated operation personnel

라. IDS 폴la. IDS Paul

IDS 폴은 실시간 영상 정보 획득을 위한 카메라, 야간 영상 촬영을 위한 IR LED, 구난자에게 경보방송 송출을 위한 지향성 스피커, 위험 지역 일상 주변 감시 및 구난자 타겟팅을 위한 Pan/Tilt 조절, 통신 미들웨어를 통해 IDS 로컬 관제 시스템으로 사용되는 모비우스 서버와 연결된다. The IDS pole is equipped with a camera for acquiring real-time image information, an IR LED for night-time imaging, a directional speaker for transmitting alarm broadcast to the old egg, pan / tilt control for targeting the dangerous area around the daily life, and communication middleware It is connected to the Mobius server used as the IDS local control system.

도 14i는 지향성 스피커의 외형을 보인 도면이다. 14I is a diagram showing the external shape of the directional speaker.

도 14j는 센서와 카메라, 지향성 스피커의 전송 정보를 나타낸 통신 프로토콜 정의 파일이다. 14J is a communication protocol definition file showing transmission information of the sensor, the camera, and the directional speaker.

시스템별 사용자 시나리오System-Specific User Scenarios

1) IDS 통합관제 시스템1) IDS Integrated Control System

(1) 평시모드(1) Peak mode

[IDS 통합관제 시스템 운영요원][IDS Integrated Control System Operator]

[IDS 통합관제 시스템]을 통하여 [IDS 통합관제 시스템]의 각 사이트에 위치한 [IDS 로컬관제 시스템]의 고장 유무에 따라 [시스템 관리자]의 파견여부를 결정한다.[IDS Integrated Control System] determines whether or not [System Administrator] is dispatched according to whether [IDS Local Control System] located at each site of [IDS Integrated Control System] is faulty or not.

[IDS 통합관제 시스템]을 통하여 [IDS 로컬관제 시스템]의 운영상황을 모니터링한다.[IDS Integrated Control System] monitors the operation status of [IDS Local Control System].

[IDS 통합관제 시스템]이 관할하는 사이트의 지도상에 [IDS 로컬관제 시스템]의 위치가 POI로 표시되어 있다. 모니터링은 [IDS 로컬관제 시스템]에서 운용중인 [IDS 카메라]의 영상과 센서데이터 값 등을 통하여 수행한다. 정기/비정기적으로 구난기록에 대한 리포트를 작성한다. 정기/비정기적으로 과거 데이터(센서데이터, 영상데이터, 구난기록)를 바탕으로 리포트를 작성한다. 지향성 스피커 음원, 재난대응절차 매뉴얼에 대한 수정/삭제/추가에 대한 업무를 수행한다.The location of the [IDS Local Control System] is displayed as POI on the map of the site that the [IDS Integrated Control System] has jurisdiction. Monitoring is performed through the image and sensor data values of the [IDS camera] operating in [IDS Local Control System]. Make reports on regular and irregular salvage records. Reports are made based on past data (sensor data, image data, salvage records) regularly / irregularly. Directional loudspeaker sources, and disaster response procedures manuals.

(2) 상황발생모드(2) Situation generation mode

[IDS 통합관제 시스템 운영요원][IDS Integrated Control System Operator]

[IDS 로컬관제 시스템]이 설치된 사이트에서 재난 사고가 발생하게 되면 [IDS 통합관제 시스템 운영요원]에게 [IDS 통합관제 시스템]의 지도상에 표시되어 있는 [IDS 로컬관제 시스템]의 위치를 나타내는 POI의 색상이 변경되며 알람이 표출된다.If a disaster occurs on the site where the [IDS Local Control System] is installed, the [IDS Integrated Control System Operator] is informed of the location of the [IDS Local Control System] displayed on the map of the [IDS Integrated Control System] The color is changed and the alarm is displayed.

평시는 녹색, 상황발생 시는 적색의 깜빡임으로 표시된다.Normal is green, and when a situation occurs, it is indicated by a red blinking.

알람이 표출되는 POI를 클릭하여 [IDS 로컬관제 시스템]의 [IDS 카메라]영상을 통해 상황을 파악하고 유관기관에 재난상황발생에 대한 정보를 공유한다.Click on the POI where the alarm is displayed to identify the situation through the [IDS camera] image of [IDS Local Control System] and share information on the occurrence of the disaster situation to the relevant authorities.

[IDS 통합관제 시스템 운영요원]은 상황에 따라 유관기관의 협조요청 및 추가구조장비 현장출동 요청업무를 수행한다.[IDS Integrated Control System Operator] conducts requests for cooperation of relevant organizations and requesting the operation of additional rescue equipment according to the situation.

[IDS 로컬관제 시스템]의 시스템 등의 이상으로 제어가 필요한 상황이 발생하게 되면 [IDS 통합관제 시스템 운영요원]은 [IDS 로컬관제 시스템]에 원격접속을 실시하여 구난활동 업무를 수행한다.[IDS Local Control System] When there is a situation that needs to be controlled more than the system, the [IDS Integrated Control System Operator] conducts rescue activities by remote access to [IDS Local Control System].

[IDS 통합관제 시스템 운영요원]에 의한 [IDS 로컬관제 시스템]의 원격제어는 웹을 통한 직접 접속을 실시하여 시스템의 제어권을 가져와서 운영한다.The remote control of [IDS Local Control System] by [IDS Integrated Control System Operator] takes direct control over the web and takes control of the system and operates it.

긴급상황 발생에 따른 시스템 제어 운영의 매뉴얼은 상황에 맞는 재난대응 절차 매뉴얼을 따른다.The manual of the system control operation according to the emergency situation follows the disaster response procedure manual according to the situation.

(3) 시스템관리 모드(3) System management mode

[시스템 관리자][system administrator]

[IDS 통합관제 시스템]에서 [IDS 로컬관제 시스템]의 제어 로그, [IDS 로컬관제 시스템]의 로그/센서데이터/영상데이터를 관리한다. 정기/비정기 적으로 DB의 관리업무(백업 및 삭제)를 수행한다.[IDS Integrated Control System] manages the control log of [IDS Local Control System] and log / sensor data / image data of [IDS Local Control System]. Perform DB administration (backup and deletion) periodically / irregularly.

[IDS 통합관제 시스템]과 [IDS 로컬관제 시스템]간의 네트워크 문제 발생 시 점검과 보완 업무를 수행한다. [IDS 통합관제 시스템 운영요원]의 요청에의한 [IDS 로컬관제 시스템]의 점검 및 수리 업무를 수행한다.Checks and compensates for network problems between [IDS Integrated Control System] and [IDS Local Control System]. [IDS Integrated Control System Operator] performs the inspection and repair work of [IDS Local Control System] at the request of [IDS Integrated Control System Operator].

2) IDS 로컬관제 시스템 : 무인2) IDS Local Control System: Unattended

(1) 평시모드(1) Peak mode

[IDS 로컬관제 시스템][IDS Local Control System]

[IDS 폴]의 [IDS 카메라]를 통해 감시지역을 지속적으로 촬영한다.Continuously shoot the surveillance area through [IDS Camera] of [IDS Paul].

[IDS 카메라]는 [팬틸트]에의해 자동으로 일정한 시간으로 좌우회전을 하며, 감시지역을 촬영한다.[IDS Camera] automatically takes a certain time to turn left and right by [Pan / Tilt] and shoots the surveillance area.

[영상분석 서버]에서는 [모비우스 서버 플랫폼]을 통해 들어오는 센서 데이터를 이용하여 감시지역의 위험도 구분을 [안전구역], [주의구역], [위험구역]의 3단계로 구분하여 사이트 감시에 활용한다.[Image Analysis Server] uses the sensor data coming from the [Mobius Server Platform] to divide the risk classification of the monitoring area into three stages: [Safety Zone], [Attention Zone] and [Hazard Zone]. do.

위험도 구분에 따라 객체가 안전구역을 벗어나서 주의구역 또는 위험구역으로 진입하는지에 대한 인지를 하고, 진입하는 객체가 발생하면 이벤트 상황 발생에 대한 정보를 [관제 서버]에 전달한다.It recognizes whether the object moves out of the safe zone into the attention zone or the danger zone according to the risk classification, and when the entering object occurs, the information about the occurrence of the event situation is transmitted to the [control server].

이벤트 상황 발생에 대한 정보를 받은 [관제 서버]는 [재난대응절차 매뉴얼]에 따라서 상황 대처를 시작한다. [재난대응절차 매뉴얼]은 [IDS 통합관제 시스템 운영요원]에 의해 사전에 정의된 재난상황별 대처 방안을 제공한다.After receiving information on the occurrence of an event situation, the [control server] starts the situation response according to the [disaster response procedure manual]. The [Disaster Response Procedures Manual] provides pre-defined disaster-specific actions by [IDS Integrated Control System Operators].

(2) 상황발생모드(2) Situation generation mode

[IDS 로컬관제 시스템][IDS Local Control System]

사전에 [모비우스 서버 플랫폼]으로부터 들어오는 센서 데이터에 의해 [영상분석 서버]가 설정한 감시지역의 위험도 구분에 따라 객채가 [안전구역]에서 [주의구역]의로 진입함을 [IDS 카메라]를 통해 촬영된 정보가 [영상분석 서버]에서 인지를 하고 이벤트 발생에 대한 정보를 [로컬관제 서버]로 전송한다.이후 객체는 [구난자]로 분류가 되고 개별 ID가 분류된다.Through the IDS camera, it is confirmed that the object enters the [Attention Zone] from [Safety Zone] according to the risk classification of the monitoring region set by the [Image Analysis Server] according to the sensor data received from the [Mobius Server Platform] The captured information is recognized by [image analysis server] and information about event occurrence is transmitted to [local control server]. Then, the object is classified as [old egg] and individual ID is classified.

[구난자]는 [IDS 카메라]의 영상 중심에 위치하게 되고, 자동적으로 [지향성 스피커]와 일직선 상에 놓이게 된다. 급류, 물살 등에 의하여 [구난자]가 하류로 이동하게 되면 카메라는 자동으로 [구난자]를 따라서 회전하게 된다.[Old egg] is positioned at the center of the image of [IDS camera], and is automatically placed in line with [Directional speaker]. When the [oocyte] moves downstream due to torrents, water, etc., the camera automatically rotates along the [oocyte].

이벤트 발생 정보를 받은 [로컬관제 서버]에서는 사전에 정의된 [재난대응절차 매뉴얼]에 따라서 진행한다.In the [local control server] receiving the event occurrence information, proceed according to the [disaster response procedure manual] defined beforehand.

[로컬관제 서버]에서는 이벤트 발생 정보를 수신 이후 [IDS 통합관제 시스템]에 알람을 보내준다.[Local control server] sends an alarm to [IDS Integrated Control System] after receiving event occurrence information.

[로컬관제 서버]에서 HW를 제어하여 팬틸트를 조작 [IDS 카메라]와 [구난자]가 일직선 상에 오도록 정렬을 실시하고, [지향성 스피커]에서 경보방송을 송출한다.Control the HW in the [Local Control Server] to operate the pan tilt. [IDS camera] and [Old egg] are aligned so that the alarm broadcast is sent from [directional speaker].

[로컬관제 서버]에서 [재난대응절차 매뉴얼]에 따라서 구난활동을 실시하고서부터의 모든 활동에 대한 로그를 DB에 저장한다.In the [local control server], the rescue operation is carried out according to the [disaster response procedure manual], and a log of all activities from the beginning is stored in the DB.

[로컬관제 서버]에서는 상황이 종료된 이후 평시모드로 전환된다.In the [local control server], it switches to the normal mode after the situation ends.

상황 종료는 [구난자]가 감시지역의 위험도 구분에 따른 [안전구역]으로의 이동이 완료된 시점으로 한다.The end of the situation is the time when the [old egg] is moved to the [safe zone] according to the risk classification of the surveillance area.

[구난자][Old egg]

재난상황 발생 시 [지향성 스피커]를 통해 나오는 경보방송의 정보를 확인하고 [안전구역]까지 피난행동을 취한다.In case of a disaster situation, check the information of the alarm broadcasting through [Directional Speaker] and take evacuation action to [Safety Zone].

(3) 시스템관리 모드(3) System management mode

[시스템 관리자][system administrator]

[IDS 통합관제 시스템]에 포함 운영Included in [IDS Integrated Control System]

3) 영상분석서버3) Image analysis server

(1) 평시모드(1) Peak mode

[영상분석서버][Image analysis server]

[모비우스 플랫폼]을 통해서 들어오는 센서 정보를 바탕으로 감시지역의 위험도 구분을 [안전구역], [주의구역], [위험구역]으로 구분 설정한다. [IDS 카메라]를 통해 들어오는 영상을 통해 이벤트 발생 여부에 대하여 분석 한다.Based on the sensor information received from the [Mobius platform], the risk classification of the monitoring area is divided into [safety zone], [attention zone], and [hazard zone]. [IDS camera] to analyze the event occurrence through the incoming video.

(2) 상황발생모드(2) Situation generation mode

[영상분석서버][Image analysis server]

[IDS 카메라]를 통해 들어오는 영상을 통해 이벤트 발생여부를 감지하고, 그에 대한 정보를 [로컬관제 서버]로 전송한다.[IDS Camera] detects the occurrence of an event through the incoming video, and transmits the information to [local control server].

안전구역]에서 [주의구역]으로 진입하는 객체에 대하여 상황을 인지하고 그에 대한 정보를 [로컬관제 서버]로 전송한다.It recognizes the situation of the object entering the [attention zone] from the safe zone and transmits the information to the [local control server].

[주의구역]에서 [위험구역]으로 진입하는 객체에 대하여 상황을 인지하고 그에대한 정보를 [로컬관제 서버]로 전송한다. 감지된 영상의 객체의 아이디와 아이디별 위치정보도 함께 전송한다.It recognizes the situation of an object entering [danger zone] in [attention zone] and transmits the information to [local control server]. The object ID of the detected image and the location information of each ID are also transmitted.

객체의 아이디와 위치정보는 [로컬관제 서버]에서 받아 지도상에 [구난자]의 위치를 표시하기 위함이다.The object ID and location information is received from the [local control server] to display the location of [old egg] on the map.

(3) 시스템관리모드(3) System management mode

[시스템 관리자][system administrator]

[IDS 통합관제 시스템]에 포함 운영Included in [IDS Integrated Control System]

도 32a, 32b 및 33은 관제 시스템에서 모니터링 UI 화면을 보인 도면이다. 32A, 32B and 33 are views showing a monitoring UI screen in the control system.

4) IDS 폴4) IDS Paul

(1) 평시모드(1) Peak mode

[CCTV] - [IDS 로컬관제 시스템]에 포함[CCTV] - Included in [IDS Local Control System]

[지향성스피커] - [IDS 로컬관제 시스템]에 포함[Directional Speaker] - Included in [IDS Local Control System]

[팬틸트 조절] - [IDS 로컬관제 시스템]에 포함[Pan Tilt Control] - Included in [IDS Local Control System]

(2) 상황발생모드(2) Situation generation mode

[CCTV] [IDS 로컬관제 시스템]에 포함Included in [CCTV] [IDS Local Control System]

[지향성스피커] [IDS 로컬관제 시스템]에 포함[Directional Speaker] Included in [IDS Local Control System]

[팬틸트 조절] [IDS 로컬관제 시스템]에 포함[Pan / Tilt Control] Included in [IDS Local Control System]

(3) 시스템관리모드(3) System management mode

시스템 관리자는 IDS 통합관제 시스템에 포함하여 운영한다. The system administrator is included in the IDS integrated control system.

가. IDS 로컬관제 시스템end. IDS Local Control System

- IDS 로컬관제 시스템이 설치되어 있는 사이트의 지도를 2D로 가시화- Visualize 2D maps of sites with IDS local control system

- 로컬사이트 하드웨어 위치정보 가시화- Local site hardware location information visualization

- 2D 지도상에 하드웨어의 위치를 하드웨어 종류별 아이디별 위치를 나타냄- Indicate the position of hardware on 2D map by ID of hardware

- 로컬사이트 하드웨어 속성정보 가시화- Local site hardware property information visualization

- 지도상에서 가시화되어 있는 하드웨어 아이디를 선택하면 선택된 하드웨어의 속성정보가 출력- If you select hardware ID that is visualized on map, attribute information of selected hardware is output

- 하드웨어 연결상태 정보 가시화- Visualization of hardware connection status information

- 로컬사이트에 설치된 하드웨어의 네트워크 연결상태 정보를 제공- Provides information on the network connection status of the hardware installed in the local site.

- 구난자 및 구난활동 가시화- Visualization of old eggs and rescue activities

- 구난자 발생에 의해 카메라에 의한 구난자의 위치정보를 받아와서 로컬사이트 지도상에서 구난자의 위치를 POI 등으로 가시화- Obtain the location information of the rescuer by the camera due to the occurrence of the old egg and visualize the location of the rescuer on the local site map with POI etc.

- 스트리밍 영상 가시화- Streaming video visualization

- 카메라를 통해 들어오는 실시간 영상을 가시화- Real-time visualization through camera

- 센서데이터 가시화- Sensor data visualization

모비우스 서버 플랫폼을 통해 수신되고 있는 센서 데이터를 사용자의 선택에 따라 가시화, 기간별, 종류별, 센서별로 분류할 수 있으며, 테이블과 차트의 형태로 가시화, 가시화된 테이블 또는 차트는 출력(print) 또는 다운로드(엑셀 형식) 할 수 있다The sensor data received through the Mobius server platform can be visualized according to the user's choice, classified by period, type, and sensor, visualized in the form of tables and charts, tables or charts visualized, (In Excel format)

- 음원선택 정보 가시화- Sound source selection information visualization

- 현재 몇 번 지향성 스피커에서 몇번의 음원이 송출되고 있는지 가시화, 음원 DB에 저장되어 있는 음원들에 각각 번호를 부여하여 가시화- Visualize how many sound sources are being emitted from the directional speakers at present, and visualize them by assigning numbers to the sound sources stored in the sound source DB

- 방사지향각도 선택 가시화- Radiation-oriented angle selection visualization

- 현재 선택된 지향성 스피커가 몇단계 방사지향각도로 되어 있는지 가시화- Visualization of the currently selected directional loudspeakers at several levels of radial orientation

- 음압레벨 선택 가시화- Sound pressure level selection visualization

- 선택된 지향성 스피커의 음압레벨이 어느 정도 인지 가시화- Visualize the sound pressure level of the selected directional speaker

- 적합재난대응절차 매뉴얼 가시화- Appropriate disaster response procedure manual visualization

- 영상분석 모듈에서 넘어오는 상황인지 정보에 따라 DB에 저장되어 있는 재난대응 절차 매뉴얼 중 이벤트 상황과 자장 적합한 매뉴얼을 선별하여 가시화- According to the situation recognition information that comes from the image analysis module, the disaster response procedure manual stored in DB is selected and visualized according to the event situation and magnetic field suitable manual

2) 소프트웨어 컨트럴2) Software control

- Playback : 영상 DB에 저장되어 있는 과거 영상정보를 운영자의 선택에 따라 재생- Playback: Playback the past video information stored in the video DB according to the operator's choice

- 센서데이터 조회 : 모비우스 서버 플랫폼으로부터 들어오는 센서 데이터를 기간별, 종류별, 센서별로 분류하여 가시화하기 위하여 센서를 선택할 수 있음- Sensor data inquiry: sensor can be selected to visualize the sensor data coming from the Mobius server platform by classifying by period, type and sensor

- 재난대응절차 매뉴얼 설정- Disaster response procedure manual setting

- 상황에 따른 재난대응절차 매뉴얼을 수정하고, 새롭게 생성할 수 있음- Can modify the situation-related disaster response procedure manual and create new ones

3) 외부연동 서비스3) External link service

- IDS 로컬 관제 시스템과 IDS 통합관제 시스템 연동- Integration of IDS local control system and IDS integrated control system

- 여러 지역에 분산된 IDS 로컬 관제 시스템의 로컬사이트들이 IDS 통합관제 시스템에서 모니터링과 제어를 할 수 있게 시스템이 연동된다. - The system is interlocked so that the local sites of the IDS local control system distributed in various regions can be monitored and controlled by the IDS integrated control system.

4) 하드웨어 컨트럴4) Hardware control

- 팬틸트 컨트럴: 카메라와 지향성 스피커가 부착된 함체의 팬틸트를 조작하여 팬틸트를 상하/좌우 구동을하여 카메라를 통해 주변을 확인할 수 있음- Pan / Tilt Control: You can control pan / tilt of camera / directional speaker by using camera / pan / tilt control.

- 지향성스피커 다중제어: 로컬 사이트에 설치된 지향성 스피커 각각에서 별도의 음원이 송출될 수 있도록 제어- Directional loudspeaker multi-control: control so that separate sound sources can be output from each of the directional speakers installed at the local site.

- 음압레벨 컨트럴: 지향성스피커의 음압레벨을 조절하기 위하여 시스템에서 엠프로 음압조절 신호를 전송할 수 있다- Sound pressure level control: The system can send a sound pressure regulation signal to the amplifier to adjust the sound pressure level of the directional speaker

- 방사지향각도 컨트럴: 로컬사이트 시스템에서 지향성 스피커의 방사지향각도를 조절하기 위한 신호를 전송할 수 있음- Radiation-oriented angle control: can transmit signals to adjust the radiated angle of the directional loudspeaker in the local site system

- 음원 컨트럴: 적합재난대응절차 매뉴얼에 따라서 송출할 음원의 종류가 결정되고 나면, 해당 지향성 스피커에서 음원을 송출- Sound source control: After the type of sound source to be transmitted is determined in accordance with the manual disaster response procedure manual, the sound source is transmitted from the directional speaker

- IDS 카메라 컨트럴- IDS Camera Control

IDS 카메라의 줌인/줌아웃을 IDS 로컬관제 시스템에서 컨트럴 할 수 있음IDS camera zoom in / out can be controlled from the IDS local control system

나. IDS 통합관제 시스템I. IDS Integrated Control System

1) 모니터링1) Monitoring

- IDS 로컬관제 시스템 통합 모니터링- Integrated monitoring of IDS local control system

- IDS 통합관제 시스템이 관리하는 지역의 지도위에 로컬관제 시스템이 설치된 위치가 POI로 표시됨- POI is displayed where the local control system is installed on the map of the area managed by the IDS Integrated Control System

- IDS 로컬관제 시스템 영상 모니터링- IDS local control system video monitoring

- 지도상에 표시된 로컬관제 시스템을(POI로 표시되어 있음) 선택하면 해당 사이트의 IDS 카메라 영상이 나타남- If you select the local control system displayed on the map (marked as POI), the image of the IDS camera of the site appears

- 로컬 하드웨어 연결상태 모니터링- Monitoring local hardware connection status

- 선택된 로컬사이트에 설치되어 있는 하드웨어들의 네트워크 연결상태를 모니터링- Monitor the network connection status of the hardware installed in the selected local site

- 로컬사이트 센서 데이터 모니터링- Local site sensor data monitoring

- 선택된 로컬사이트에서 모비우스 플랫폼을 이용해 수집되고 있는 센서데이터들을 모니터링- Monitoring the sensor data collected using the Mobius platform at the selected local site

- IDS 로컬 관제 시스템의 로컬사이트 Playback 모니터링- Local site playback monitoring of IDS local control system

- 선택된 로컬사이트의 영상 DB에 저장되어 있는 과거 영상정보를 필요에 따라 확인할 수 있음- Past video information stored in video database of selected local site can be checked as needed

- 로컬사이트 재난대응절차매뉴얼 모니터링- Local site disaster response manual monitoring

- 선택된 로컬사이트에서 운용되고 있는 재난대응절차 매뉴얼을 모니터링- Monitor disaster response procedures manuals currently operated at selected local sites

도 14k는 분석 영상 에뮬레이터 화면이다. 14K is an analysis image emulator screen.

모비우스 서버는 인명 지킴이 시스템과 피난 유도 시스템, 재난 대응 시스템은 재난 지역을 지도 상에 표시하는 GIS 서버와 연동되며, 태풍, 해일, 강풍, 폭우에 따른 수해 또는 지진 경보에 따른 재난 지역 지도가 표시된다. The Mobius server is linked to a GIS server that displays a map of the disaster area on the map and displays a map of the disaster area due to flood or seismic alert due to typhoons, do.

상기 재난 대응 시스템과 이동통신망을 통해 연결되며, 피난유도 앱(App)이 설치된 스마트 기기(이동통신 단말기, 스마트폰)를 더 포함하며, And a smart device (mobile communication terminal, smart phone) connected to the disaster response system through a mobile communication network and equipped with an evacuation guidance app,

태풍, 해일, 폭우, 홍수의 수난 재해가 예상될 경우 재난 대비 조치로써, 재난 대응 시스템으로부터 해당 재난 예상 지역의 이동 전화번호들로 재난 경보 문자를 전송하고, 이동 차량의 폴대에 고정된 지향성 스피커로부터 20Hz ~ 20kHz 가청 대역의 재난 대피 음성 방송을 송출하며, 해당 지역의 고정형 지향성 스피커로부터 비가청 신호 주파수를 해당 지역의 스마트 기기로 전송하여, 비가청 신호 주파수를 통해 안전 지역으로 피난을 유도한다. If a catastrophic event such as typhoon, tsunami, heavy rains or floods is expected, a disaster warning letter is sent from the disaster response system to the mobile phone numbers of the expected disaster area, It emits a disaster evacuation broadcast of 20Hz ~ 20kHz audio band, transmits the non-audible signal frequency from the fixed directional speaker of the area to the smart device in the area, and evacuates to the safe area through the non-audible signal frequency.

모비우스 서버는 인명 지킴이 시스템, 피난 유도 시스템, 재난 대응 시스템을 구비하며, 재난 대응 시스템과 이동통신망의 SMS 서버와 연결되며, 상기 재난 대응 시스템과 연동된 지향성 스피커로부터 비가청 신호를 피난유도 앱(App)이 설치된 스마트 기기(스마트폰, 이동통신 단말기)로 수신받아 출력하고, 상기 재난 대응 시스템으로부터 SMS 서버를 통해 상기 재난 예상 지역의 셀 커버리지에 있는 스마트기기의 이동전화번호들로 재난 경보 문자를 전송한다. The Mobius server is equipped with a life guard system, an evacuation guidance system, and a disaster response system. The Mobius server is connected to the disaster response system and the SMS server of the mobile communication network. (Smart phone, mobile communication terminal) installed in the disaster-prone area, and outputs a disaster alarm character from the disaster response system to the mobile phone numbers of the smart device in the cell coverage of the disaster- send.

예를 들면, 상기 지향성 스피커는 스피커 앰프 일체형 AMP 재설계로 음압 레벨 출력 향상하여 30dB 이하 음압레벨, 750m 최대 도달거리 향상, 50m 음성 도달거리 향상, 최대 ±90° 방사각도, 방사 각도 자동 조절 시스템, 단계별 방사 각도 수동 조절, 영상 정보 및 센서 연계 시스템, 방수, 방진, 진동 저감 기술이 적용된다. For example, the directional speaker is a speaker amplifier built-in AMP redesigned to improve the sound pressure level output, sound pressure level below 30dB, 750m maximum reach improvement, 50m voice reach improvement, maximum ± 90 ° radiation angle, Manual adjustment of emission angle, image information and sensor connection system, waterproof, dustproof and vibration reduction technology are applied.

1.4 상황인지 및 영상추적1.4 Situational awareness and image tracking

1.4.1 센서 융·복합을 통한 상황인지 기술 개발1.4.1 Development of context awareness technology through sensor fusion and hybridization

○ 객체 검출 및 추적Object detection and tracking

- 컴퓨터 비전에서 객체 검출은 영상 내 어떤 종류의 객체가 어느 위치에 있는지 찾아내는 기술이다. 따라서, 분류(classification)와 지역화(localization)의 두 가지 문제를 해결해야 한다.- Object detection in computer vision is a technique to find out what kind of object is in an image. Therefore, we have to solve two problems of classification and localization.

도 15는 객체 검출의 예를 보인 도면이다. 15 is a diagram showing an example of object detection.

영상 분석 서버는 상기 CCTV 카메라 시스템과 연동되며, 행동 인지 기반 영상 내 객체 추적을 위한 딥러닝 기술 중 합성곱 신경망(CNN) 구조의 특징맵 정보를 객체의 특징 정보를 사용하여 이전 영상, 현재 영상, 이전 영상의 객체의 영역정보를 입력으로 받고 현재의 객체의 위치 정보를 결과로 출력하여 영상 내의 객체를 추적한다. The image analysis server is interfaced with the CCTV camera system, and uses feature map information of the CNN structure among the deep learning techniques for tracking objects in the action-based image, And receives the area information of the object of the previous image as an input, outputs the position information of the current object as a result, and tracks the object in the image.

영상 분석 서버는 영상의 객체를 추출하고 행동 인지 모델의 객체를 추적하기 위해 CNN 구조의 중간 몇 개의 convolutional layer에서 객체 위치영역과 종류 정보를 포함하는 특징지도를 추출하고, Pooling layer를 통과함에 따라 특징지도의 크기가 작아지는데 각기 다른 크기의 특징지도에서 객체 위치영역 정보를 추출하기 때문에 크기(scale)에 강인한 객체를 검출하며, 영상 객체의 행동 인지 모델이 저장된 CNN 학습데이터와 연계되고, 재난 감지 및 대응은 실시간성과 빠른 처리속도가 중요하므로 영상 내의 객체 검출의 처리속도가 빠른 SSD(Single Shot multi-box Detector) 또는 Faster RCNN 알고리즘을 사용한다. In order to extract the objects of the image and track the objects of the behavioral cognitive model, the image analysis server extracts the feature maps including the object location area and the category information in the middle several convolutional layers of the CNN structure, Since the size of the map is small, object location area information is extracted from feature maps of different sizes. Therefore, it is possible to detect objects that are robust against scale, and to be associated with CNN learning data stored in the behavior awareness model of the video object. Since the real-time and fast processing speed are important, the SSD (Single Shot Multi-box Detector) or the Faster RCNN algorithm is used.

영상 분석 서버는 상기 CCTV 카메라 시스템과 연동되며, 행동 인지 기반 영상 내 객체 추적을 위한 딥러닝 기술 중 합성곱 신경망(CNN) 구조의 특징맵 정보를 객체의 특징 정보를 사용하여 이전 영상, 현재 영상, 이전 영상의 객체의 영역정보를 입력으로 받고 현재의 객체의 위치 정보를 결과로 출력하여 영상 내의 객체를 추적한다. The image analysis server is interfaced with the CCTV camera system, and uses feature map information of the CNN structure among the deep learning techniques for tracking objects in the action-based image, And receives the area information of the object of the previous image as an input, outputs the position information of the current object as a result, and tracks the object in the image.

영상 분석 서버는 영상의 객체를 추출하고 행동 인지 모델의 객체를 추적하기 위해 CNN 구조의 중간 몇 개의 convolutional layer에서 객체 위치영역과 종류 정보를 포함하는 특징지도를 추출하고, Pooling layer를 통과함에 따라 특징지도의 크기가 작아지는데 각기 다른 크기의 특징지도에서 객체 위치영역 정보를 추출하기 때문에 크기(scale)에 강인한 객체를 검출하며, 영상 객체의 행동 인지 모델이 저장된 CNN 학습데이터와 연계되고, 재난 감지 및 대응은 실시간성과 빠른 처리속도가 중요하므로 영상 내의 객체 검출의 처리속도가 빠른 SSD(Single Shot multi-box Detector) 또는 Faster RCNN 알고리즘을 사용한다. In order to extract the objects of the image and track the objects of the behavioral cognitive model, the image analysis server extracts the feature maps including the object location area and the category information in the middle several convolutional layers of the CNN structure, Since the size of the map is small, object location area information is extracted from feature maps of different sizes. Therefore, it is possible to detect objects that are robust against scale, and to be associated with CNN learning data stored in the behavior awareness model of the video object. Since the real-time and fast processing speed are important, the SSD (Single Shot Multi-box Detector) or the Faster RCNN algorithm is used.

상기 영상 분석 서버는 영상 내의 객체 검출의 처리속도가 빠른 SSD(Single Shot multi-box Detector) 또는 Faster RCNN 알고리즘을 사용한다. The image analysis server uses a SSD (Single Shot Multi-box Detector) or a Faster RCNN algorithm with a high processing speed of object detection in an image.

상기 영상 분석 서버는 영상의 객체를 추출하고 행동 인지 모델의 객체를 추적하기 위해 CNN 구조의 중간 몇 개의 convolutional layer에서 객체 위치영역과 종류 정보를 포함하는 특징지도를 추출하고, Pooling layer를 통과함에 따라 특징지도의 크기가 작아지는데 각기 다른 크기의 특징지도에서 객체 위치영역 정보를 추출하기 때문에 크기(scale)에 강인한 객체를 검출하며, 영상 객체의 행동 인지 모델이 저장된 CNN 학습데이터와 연계되어 위험 지역 이동하는 객체 및 특정 시간 동안 이상 행위 객체를 추출하여 알람을 발생한다. The image analysis server extracts an object of the image and extracts a feature map including the object location area and the category information in the middle several convolutional layers of the CNN structure in order to track the object of the behavior aware model, In this paper, we propose a method to extract the object location area information from feature maps of different size and to detect the objects that are robust against the scale. And generates an alarm by extracting an abnormal behavior object for a predetermined time.

IDS 관제 시스템은 다수의 IDS 로컬 관제 시스템과 IDS 통합 관제 시스템으로 구성되며, The IDS control system consists of a number of IDS local control systems and an IDS integrated control system,

상기 IDS 로컬 관제 시스템은 모비우스 서버, 영상 분석 서버에 의해 인공 지능의 딥러닝 기술을 적용하여 객체를 추출하고 그 객체를 추적하며, 그 객체의 수난 사고/익사 사고 이상 징후, 사고 다발 지역, 위험 지역 이상상황 이벤트에 따른 상황에서의 행동인지를 학습 데이터베이스에서 정의하고, 영상 내 객체가 사고 다발 지역 또는 위험 지역으로 이동하거나 위험 지역 내에서 사라짐, 달리기, 걷기, 넘어짐, 특정 시간 이상 동안 잠김, 구조 요청 상황 등의 영상의 객체의 행동인지를 통해 위험 지역의 영상 내 객체의 사고 발생 징후를 발견하고, The IDS local control system extracts and tracks the object by applying deep learning technology of artificial intelligence by a mobi server and an image analysis server. The IDS local control system traces the object and displays the dangerous accident / drowning accident, It is defined in the learning database that the behavior in the context of the local abnormal situation event is defined in the learning database and the object in the image moves to the accident area or the dangerous area or disappears within the dangerous area and runs, The presence or absence of an object in the image of a dangerous area,

재난 대응 IDS 기반 인명 지킴이 시스템에 의해 안전요원에 긴급 문자 메시지를 전송하여 안전 조치를 취하게 한다. Disaster response The IDS-based human life-protection system sends emergency text messages to security personnel to take safeguards.

○ 객체 검출(object detection)을 위한 딥러닝 모델(deep learning model)Deep learning model for object detection (deep learning model)

- 2012년 AlexNet 이후로 딥러닝 기반 객체 분류 기술은 계속 발전하여 인간의 분류능력보다 뛰어날 정도로 발전하였다. 따라서 객체 검출에서 객체의 위치 지역화가 중요하다. 초기 객체 검출에서는 selective search, sliding window 등의 방법으로 영상 내 모든 후보 영역들을 추출하고 이 영역을 각각 딥러닝 구조에 통과시켜 분류하는 방식이었다. 하지만, 이런 처리방식은 현저하게 느렸기 때문에 객체검출에서 처리속도를 향상시키기 위한 방법론이 계속 연구되었다. 객체검출에서 성능이 좋은 딥러닝 모델로 Faster RCNN과 Single Shot multi-box Detector(SSD)가 있다.- Since AlexNet in 2012, Deep Learning-based object classification technology has continued to evolve and develop to a level far superior to human classification ability. Therefore, it is important to localize the object in object detection. In the initial object detection, all candidate regions in the image were extracted by selective search and sliding window, and the region was classified by passing through the deep learning structure. However, since this approach is significantly slower, a methodology for improving the throughput in object detection has been studied. There are Faster RCNN and Single Shot Multi-box Detector (SSD) as a good deep-running model for object detection.

두 가지 모델 모두 지역화 과정이 영상의 특징(feature)을 추출하는 과정에 연장선이거나 통합되는 구조를 갖는다. 이러한 구조를 통해 딥러닝을 이용한 실시간 객체검출이 가능해졌다. 일반적으로 검출성능은 Faster RCNN이 조금 더 뛰어나고 처리속도는 SSD가 더 빠르다.Both models have a structure in which the localization process is extended or integrated in the process of extracting image features. This structure enables real-time object detection using deep running. In general, the detection performance is slightly better with Faster RCNN and the processing speed is faster with SSD.

- Faster RCNN(Region based Convolutional Neural Network)- Faster RCNN (Region based Convolutional Neural Network)

도 16은 Faster RCNN을 보인 도면이다. 16 is a view showing a Faster RCNN.

영상의 특징(feature)을 추출하는 합성곱 신경망(CNN)의 마지막 convolutional layer에 후보영역을 추출하는 region proposal network가 이어진다. 하나의 sliding window에서 객체의 스케일(scale)과 비율(aspect ratio)을 고려한 k개의 anchor box를 고려한다. A region proposal network that extracts candidate regions from the last convolutional layer of the composite neural network (CNN) that extracts features of the image follows. We consider k anchor boxes considering the scale and aspect ratio of an object in one sliding window.

Faster RCNN은 RPN(Region Proposal Network)을 구성하여 기존의 Fast RCNN과 컨볼루션 특징을 공유하여 병합한 것이다. Fast RCNN은 이미지 하나에 CNN 계산 한번을 통해 물체 추정 영역을 모두 추론한다.The Faster RCNN is composed of RPN (Region Proposal Network) and merged with the existing Fast RCNN by sharing the convolution feature. Fast RCNN deduces all of the object estimation area through one CNN computation on one image.

Fast RCNN은 전체 영상과 객체들을 입력받고, 전체 영상에 대한 CNN의 특징 지도(feature map)를 획득한다. ROI(Region of Interest) 풀링층은 각각의 개체에 대하여 특징지도(feature map)로부터 고정된 길이의 특징벡터를 추출한다. 각각의 특징벡터는 FC(Fully Connected)층을 통해 하나의 시퀀스가 되어, 소프트맥스(Softmax)를 통한 확률 추정과 경계 박스의 위치를 출력한다. Fast RCNN receives all images and objects and acquires CNN feature map for the whole image. ROI (Region of Interest) The pooling layer extracts a fixed length feature vector from the feature map for each entity. Each feature vector becomes a sequence through a FC (Fully Connected) layer and outputs the probability estimate via softmax and the position of the bounding box.

풀링(Pooling)은 다양한 위치에서 특징의 통계를 집계하여 이미지의 해상도를 줄일 수 있는 하위 샘플링 프로세스이며, 풀링은 회전, 노이즈 및 왜곡과 같은 이미지 변형에 견고성을 향상시켜, 풀링에는 최대값 풀링과 평균값 풀링 두 가지 방법이 사용된다. Pooling is a subsampling process that can reduce image resolution by aggregating feature statistics at various locations. Pooling improves robustness to image variations such as rotation, noise, and distortion, while pooling includes maximum- Pooling Two methods are used.

하나의 CNN 분류기는 컨볼류션층과 풀링층이 반복되며 구조에 따라 아향한 기능의 층들이 추가될 수 있다. 입력 이미지에 대하여 컨볼류션과 풀링 과정을 거쳐 추출된 특징은 다양한 분류기들(예, SVM 분류기)을 적용시켜 분류될 수 있다. One CNN classifier repeats the convolution layer and the pooling layer, and depending on the structure, additional functional layers can be added. The feature extracted through convolution and pooling for the input image can be classified by applying various classifiers (eg SVM classifier).

○ Single Shot multi-box Detector(SSD)Single Shot Multi-box Detector (SSD)

CNN 구조의 중간 몇 개의 convolutional layer에서 객체 위치영역과 종류 정보를 포함하는 특징지도(feature map)를 추출한다. Pooling layer를 통과함에 따라 특징지도의 크기가 작아지는데 각기 다른 크기의 특징지도에서 객체 위치영역 정보를 추출하기 때문에 크기(scale)에 강인한 객체 검출이 가능하다(큰 특징지도에서는 작은 객체, 작은 특징지도에서는 큰 객체를 추출).In the middle of the CNN structure, a feature map including object location area and class information is extracted from several convolutional layers. As the size of the feature map becomes smaller as it passes through the pooling layer, the object location information is extracted from feature maps of different sizes, which makes it possible to detect robust objects on a scale (small objects, small feature maps Extracting large objects).

도 17은 SSD(Single Shot multi-box Detector) 구조, 도 18은 SSD에서 특징지도 크기에 따른 객체 추출 예를 보인 도면이다. (a)의 ROI 후보 영역의 이미지에서, (b) 8 x 8 특징 지도, (b) 4 x 4 특징 지도를 나타낸다. FIG. 17 shows a structure of a single shot multi-box detector (SSD), and FIG. 18 shows an example of object extraction according to feature map sizes in an SSD. (b) an 8 x 8 feature map, and (b) a 4 x 4 feature map in the image of the ROI candidate region of (a).

○ 객체 검출 결과 - 사람 객체 검출○ Object detection result - Human object detection

COCO, Pascal VOC 데이터베이스는 정지영상이고 비교적 영상 내 큰 객체들이 포함되어 있다. CCTV 영상에서는 사람 객체의 크기가 작고 사람 객체의 움직임으로 인한 블러 현상이 발생하므로 이를 보완하기 위해 추가적인 학습데이터가 필요하다. 따라서, 자체 데이터베이스를 구축하고 학습시켜서 단점을 보완하였다.COCO, Pascal The VOC database is a static image and contains relatively large objects in the image. In the CCTV image, the size of the human object is small and the blur due to the movement of the human object occurs. Therefore, additional learning data is needed to compensate. Therefore, we have built up our own database and learned it to make up for its drawbacks.

재난 감지 및 대응은 실시간성이 매우 중요하므로 영상 내의 객체 검출의 처리속도를 우선시하여 SSD(Single Shot multi-box Detector) 구조를 사용한다.Since the real-time nature of disaster detection and response is very important, SSD (Single Shot Multi-box Detector) structure is used in order to speed up object detection.

도 19는 COCO 데이터베이스만 학습한 모델을 CCTV 영상에 적용한 예, 구축한 데이터베이스를 추가 학습시킨 모델을 CCTV 영상에 적용한 예를 보인 도면이다.FIG. 19 is a diagram showing an example in which a model learned only by the COCO database is applied to a CCTV image, and a model in which a built database is further learned is applied to a CCTV image.

○ 객체 추적 Object tracking

객체 추적기술은 객체 검출기술을 통해 검출된 객체를 여러 시간에 걸쳐 따라가며 변경되는 위치를 감지하는 기술이다. Object tracking technology is a technology that detects the changed position by following the object detected through object detection technology over several hours.

기존의 연구에서는 이전 프레임의 객체의 영역정보를 이용하여 특징을 추출하고 다음 프레임에서 그 특징과 가장 유사한 영역을 찾는 기법들이 가장 많이 사용되었다. In the previous research, most of the techniques were used to extract the feature using the region information of the previous frame and to find the region most similar to the feature in the next frame.

○ 객체 추적을 위한 딥러닝 모델Deep Learning Model for Object Tracking

최근, 딥러닝 기술 중 입력층(input layer), 은닉층(hidden layer), 출력층(output layer)의 다층 구조로 구성된 합성곱 신경망(CNN) 구조의 특징맵 정보를 객체의 특징 정보로 이용하는 방법들이 연구되고 있다. 전체적인 딥러닝 구조는 이전 영상, 현재 영상, 이전 영상의 객체의 영역정보를 입력으로 받고 현재의 객체의 위치 정보를 결과로 출력한다. Recently, a method of using feature map information of a CNN structure composed of a multi-layer structure of an input layer, a hidden layer and an output layer as feature information of an object of deep learning technology has been studied . The overall deep-running structure receives area information of an object of a previous image, a current image, and a previous image, and outputs the position information of the current object as a result.

현재는 5층의 convolution layer와 3층의 fully_connected layer로 이루어져 있다. 객체 추적을 학습하기 위해 객체 추적용 데이터베이스를 사용하여, 다음 프레임에서의 정답 위치와 네트워크의 출력 위치의 오차를 계산하여 학습한다. It currently consists of a 5-layer convolution layer and a 3-layer fully_connected layer. In order to learn object tracking, we use a database for object tracking and calculate and calculate the error between the correct position and the output position of the network in the next frame.

학습이 완료된 네트워크는 객체 검출 네트워크와 연동하여 이전 프레임의 객체의 정보를 전달받아 현재 프레임에서의 객체의 위치를 출력할 수 있다. The network that has completed the learning can receive the information of the object of the previous frame in cooperation with the object detection network and output the position of the object in the current frame.

도 20은 객체 추적을 위한 딥러닝 구조를 보인 도면이다. 20 is a diagram showing a deep learning structure for object tracking.

○ 객체 추적 결과Object tracking results

도 21은 객체 추적 결과를 보인 도면이다. FIG. 21 is a diagram showing an object tracking result. FIG.

1.4.2 Seamless Tracking 기술 개발1.4.2 Development of Seamless Tracking Technology

가. Re-identification 기술 결과end. Re-identification technology result

재난 감지 및 대응을 위해 검출한 객체들을 계속 추적하여 신분을 확인하는 기술이 필요하다. There is a need for a technique for identifying the identity of the detected objects in order to detect and respond to the disasters.

○ Person re-identification을 위한 CNN 구조○ CNN structure for person re-identification

- 두 가지 영상의 쌍을 입력으로 하여 같은 인물인지 또는 다른 인물인지 판별하도록 학습을 진행한다. - Students learn to identify whether they are the same person or another person by inputting two pairs of images.

- 공통된 학습 파라미터를 갖는 tied convolutional layer 사용한다.- Use a tied convolutional layer with common learning parameters.

- Tied convolutional layer를 각각 통과하여 나온 특징지도 간의 차이를 이용하는 cross-Input Neighborhood Differences 과정을 거쳐 두 영상이 같은 신분인지 아닌지를 나타내는 특징을 추출한다. - Through the cross-input neigh- borhood differences process using the differences between the feature maps that pass through each tied convolutional layer, features that indicate whether two images are the same or not are extracted.

도 22는 Person re-identification을 위한 CNN(Convolutional Neural Network, 합성곱 신경망) 구조를 보인 도면이다. 22 is a diagram showing a CNN (Convolutional Neural Network) structure for Person re-identification.

참고로, 기존 Multi-Layer Neural Network의 문제점은 변수의 개수, 네트워크 크기, 학습시간 세가지 문제가 발생할 수 있다. 예를 들면, MLNN을 이용하여 16 * 16 크기의 필기체를 인식하는 네트워크를 만든다고 하면, hidden layer가 한 층이고 100개의 뉴런을 가지고 있는 경우, 이 네트워크에 필요한 가중치(weight)와 편향(bias)는 총 28326개가 필요하게 된다. 만약, hidden layer를 한층 더 사용할 경우 파라미터 개수는 매우 많아지게 된다. 또한, 글자를 전체적으로 2픽셀씩 이동하게 되면 새로운 학습데이터로 처리해야 하는 문제점이 있을 뿐만아니라, 글자의 크기, 회전, 변형이 있게 되면, 이에 대한 새로운 학습데이터를 입력해야 하는 문제가 있다. 글자의 형상은 고려하지 않고, raw data를 직접 처리하기 때문에 많은 양의 학습데이터가 필요하고, 따라서 학습시간이 길어지게 된다.For reference, the problem of existing Multi-Layer Neural Network can cause three problems such as number of variables, network size, and learning time. For example, if we make a network that recognizes a 16 * 16 size handwriting using MLNN, if the hidden layer is one layer and has 100 neurons, the weight and bias needed for this network A total of 28,326 pieces are required. If you use more hidden layers, the number of parameters becomes very large. In addition, if the character is moved by 2 pixels as a whole, there is a problem that the learning data should be processed as new learning data. In addition, if the size, rotation, and deformation of characters occur, new learning data must be input. Since the raw data is directly processed without considering the shape of characters, a large amount of learning data is required, which leads to a long learning time.

이와 달리, CNN(Convolutional Neural Network, 합성곱 신경망)의 구조는 완전연결계층(Fully-Connected Layer)과는 다른점이 있다. Fully-Connected Layer에서는 Affine계층으로 구현했지만, CNN에서는 합성곱 계층(Convolutional Layer)과 풀링 계층(Pooling Layer)가 추가된다.On the contrary, the structure of CNN (Convolutional Neural Network) differs from that of Fully-Connected Layer. In the Fully-Connected Layer, it is implemented as an Affine layer. In CNN, a convolutional layer and a pooling layer are added.

* 합성곱 계층(Convolutional Layer, Conv Layer)* Convolutional Layer (Conv Layer)

이러한 MLNN의 문제를 해결하기 위해 만든 것이 합성곱 계층이다. 필기체나 MNIST 데이터 같은 이미지 데이터는 채널, 세로, 가로 이렇게 3차원으로 구성된 데이터이다. Affine 계층에서는 3차원 데이터를 1차원 데이터(784=28*28)로 바꿔 입력했지만, 합성곱에서는 3차원 데이터(1, 28, 28)를 입력하고 3차원의 데이터로 출력하므로 형상을 유지할 수 있다. CNN에서는 이러한 입출력 데이터를 특징맵(Feautre Map)이라고 한다.To solve this problem of MLNN, it is a layer of the product multiplication. Image data such as handwritten data and MNIST data are three-dimensional data such as channel, portrait, and landscape. In the Affine layer, the three-dimensional data is input by replacing the one-dimensional data with the one-dimensional data (784 = 28 * 28), but the composite product can maintain the shape by inputting the three-dimensional data (1, 28, 28) . In CNN, such input / output data is called a feature map (Feautre Map).

* 합성곱 계층 - 연산* Composite Product Layer - Operation

합성곱 계층에서 연산이 이루어진다. 데이터와 필터의 모양을 (높이, 너비)로 나타내고, 윈도우(Window)라고 부른다. 예를들면, 입력데이터는 (4, 4), 필터는 (3, 3)이고, 필터가 바로 Conv Layer의 가중치에 해당한다. Operations are performed in the product multiply layer. The shape of the data and the filter (height, width) is called window. For example, the input data is (4, 4), the filter is (3, 3), and the filter is the Conv layer weight.

합성곱 연산은 필터의 윈도우(Window, 윈도우 사이즈 예 (3,3))를 일정한 간격으로 이동해가며 계산한다. 합성곱 연산은 입력데이터와 필터 간에 서로 대응하는 원소끼리 곱한 후 총합을 구하게 되며, 이것을 Fused Multiply-Add(FMA)라고 한다. 편향은 필터를 적용한 후에 더해주게 된다.The composite product operation is performed by moving the window of the filter (window, window size example (3, 3)) at regular intervals. The resultant product is multiplied by the corresponding elements between the input data and the filter, and the sum is obtained. This is called Fused Multiply-Add (FMA). The deflection is added after the filter is applied.

* 합성곱 계층 - 패딩(Padding)* Composite Product Layer - Padding

패딩(Padding)은 합성곱 연산을 수행하기 전, 입력데이터 주변을 특정값으로 채워 늘리는 것을 말한다. 패딩(Padding)은 주로 출력데이터의 공간적(Spatial)크기를 조절하기 위해 사용한다. 패딩을 할 때, 채울 값은 hyperparameter로 어떤 값을 채울지 결정할 수 있다. 주로 zero-padding을 사용한다.Padding refers to filling the input data with a specific value before performing the composite product operation. Padding is mainly used to adjust the spatial size of the output data. When padding, the value to be filled can be determined by the hyperparameter. It mainly uses zero-padding.

패딩을 사용하는 이유는 패딩을 사용하지 않을 경우, 데이터의 Spatial 크기는 Conv Layer를 지날 때 마다 작아지게 되므로, 가장자리의 정보들이 사라지는 문제가 발생하기 때문에 패딩을 사용한다.The reason for using padding is that if the padding is not used, the spatial size of the data becomes smaller every time passing through the Conv layer, so the padding is used because the edge information is lost.

* 합성곱 계층 - 스트라이드(Stride)* Composite Product Layer - Stride

스트라이드는 입력데이터에 필터를 적용할 때 이동할 간격을 조절하는 것, 즉 필터가 이동할 간격을 말한다. 스트라이드 또한 출력 데이터의 크기를 조절하기 위해 사용한다. 스트라이드(Stride)는 보통 1과 같이 작은 값이 더 잘 작동하며, Stride가 1일 경우 입력 데이터의 spatial 크기는 pooling 계층에서만 조절하게 할 수 있다.Stride is the interval at which the filter moves, when it applies the filter to the input data. The stride is also used to adjust the size of the output data. Stride usually works better with smaller values such as 1, and when Stride is 1, the spatial size of the input data can be adjusted only in the pooling layer.

* 합성곱 계층 - 출력크기 계산* Composite Product Layer - Output Size Calculation

패딩과 스트라이드를 적용하고, 입력데이터와 필터의 크기가 주어졌을 때 출력 데이터의 크기를 구하는 식은 아래 식과 같다. Apply the padding and stride, and obtain the size of the output data when the size of the input data and the filter is given.

Figure pat00002
Figure pat00002

* 풀링 계층(Pooling Layer)* Pooling Layer

상기 합성곱 계층에 대해 알아보았다. CNN의 또 다른 계층인 풀링계층(Pooling Layer)을 설명한다. The composite product layer was studied. Another layer of CNN, the Pooling Layer, is described.

풀링 계층은 합성곱 계층의 패딩과 스트라이드처럼 데이터의 공간적 크기를 축소하는데 사용한다. 주로 합성곱 계층(Conv Layer)에서 출력데이터의 크기를 입력데이터의 크기 그대로 유지하고, 풀링계층(Pool 에서만 크기를 조절한다. 풀링에는 Max-Pooling과 Average pooling이 있는데 Max-Pooling은 해당영역에서 최대값을 찾는 방법이고, Average-Pooling은 해당영역의 평균값을 계산하는 방법이다. 이미지 인식 분야에서는 주로 Max-Pooling을 사용한다. 또한, 풀링계층에서는 풀링의 윈도우 크기와 스트라이드 값은 같은 값으로 설정한다.The pooling layer is used to reduce the spatial size of data such as padding and stride of the composite product layer. Mainly, in the Conv layer, the size of the output data is kept as the input data size, and the size is adjusted only in the pooling layer (Pool: Max-Pooling and Average pooling. In the pooling layer, the window size and the stride value of the pooling are set to the same value, and the average value of the window size and the stride value of the pooling are set to the same value .

○ CUHK-03 데이터베이스 실험결과○ CUHK-03 database experiment result

무작위로 추출한 validation에 대하여 84.6%의 정확도를 갖는다. It has an accuracy of 84.6% for randomly extracted validations.

도 23은 CUHK-03 데이터베이스(같은 행은 동일인물)를 보인 도면이다.23 is a diagram showing the CUHK-03 database (the same person in the same row).

1.4.3 빅데이터 획득 및 테스트1.4.3 Big Data Acquisition and Testing

도 24는 객체 검출을 위한 빅데이터 데이터베이스 취득하는 화면이다. 24 is a screen for acquiring a big data database for object detection.

- 객체 검출을 위한 공개 데이터베이스 사용 : - Use of public databases for object detection:

Common Objects in Context Dataset(COCO), Pascal Visual Object Classes(VOC)Common Objects in Context Dataset (COCO), Pascal Visual Object Classes (VOC)

- 블랙박스나 CCTV 영상을 이용한 데이터베이스 취득: 영상 내 객체의 종류와 위치영역 정보를 직접 주석- Acquisition of database using black box or CCTV video:

- 사전에 훈련된 딥러닝(deep learning) 모델을 이용하여 객체 검출 진행 후 보정: 오 검출 영역 제거 및 검출되지 않은 영역 지정- Correction after object detection using a pre-trained deep learning model: elimination of erroneous detection area and designation of undetected area

도 25는 오 검출 영역 제거 화면이다. Fig. 25 is a picture for erasing the erroneous detection area.

* 영상 획득시, 수난 사고/익사 사고 이상 징후 카메라 촬영 행동별 움직임* When acquiring the image, it is a movement accident

a. 사라짐 행동 시연(좌면, 우면, 후면, 전면) 5명 이상 a. Disappearance Action demonstration (seating, right side, rear side, front side) 5 or more

- 수영을 하다가 사라짐(잠수해서 보이지 않음)- disappeared when swimming

- 허벅지 수위 천천히 걷다가 갑자기 사라짐(잠수해서 보이지 않음)- Thigh level suddenly disappeared after walking slowly (not seen by diving)

- 가슴 수위 천천히 걷다가 사라짐(잠수해서 보이지 않음)- Breast water level slowly disappeared (not seen by diving)

b. 익수 부유 상황b. Flooding

- 얼굴이 물에 잠긴 상태로 부유하는 상황- Situations in which the face floats while being submerged

- 얼굴이 물에 잠김 상태로 부유 후 허부적거리는 상황- A situation where the face is immersed in water while immersed in water

- 얼굴이 하늘을 보고 부유하는 상황- Situations where the face is floating in the sky

c. 튜브 익수 상황c. Tube submersion situation

- 튜브를 몸에 끼우고 전면 익수 부유 상황- Suspension of the surface with the tube inserted into the body

- 튜브를 몸에 끼우고 전면 익수 허부적 팔이 움직이는 상황- Situation in which the tube is attached to the body and the frontal submerged arm is moved

- 튜브를 몸에 끼우고 상체가 잠겨 하체만 움직이는 상황- Situation in which the tube is put on the body and the upper body is locked and only the lower body moves

d. 2명의 물장난 후 1명이 익수 부유상황) d. One person suffers flooding after two waters)

e. 2명의 물장난 후 튜브 익수 상황e. Tube submergence situation after two waters

f. 1명의 위험구역 배회(각 인원 각 방향별로) f. One danger zone wandering (by each person in each direction)

- 발목 수위 배회 - ankle wandering

- 허리 수위 배회- waist circumference

- 가슴 수위 배회 - Chest Wandering

g. 4인 이상 각각 위험구역 배회(겹침, 1명 잠수 사라짐 )g. More than four people each wandering in danger zone (overlapping, one dive disappears)

- 발목 수위 배회 1명 갑자기 사라짐 - 1 wandering ankle suddenly disappeared

- 허리 수위 배회 1명 갑자기 사라짐- 1 waist wandering suddenly disappeared

- 가슴 수위 배회 1명 갑자기 사라짐- One person suddenly disappeared.

도 26은 CCTV 카메라에서 바라본 하천 사진이다. 26 is a photograph of a river viewed from a CCTV camera.

도 27은 입수 금지 위험 지역 CCTV 카메라 촬영 사진이다.FIG. 27 is a picture of a CCTV camera taken in a dangerous area for prohibiting entry.

도 28은 해질녁 개인 입수, 위험 지역 이동 CCTV 카메라 촬영 사진이다.FIG. 28 is a photograph of a CCTV camera taken at a private spot and moving in a danger zone at the sunset.

* 이상상황 이벤트에 따른 다양한 상황에서의 행동인지 정의, 위험 지역으로 이동* Define behavior in various situations according to abnormal situation event, move to dangerous area

* 위험 지역 내에서 사라짐, 달리기, 걷기, 넘어짐 등의 행동인지를 위한 딥러닝 모델 선정* Selection of a deep running model to recognize actions such as disappearing, running, walking, and falling within a hazardous area

- CNN + LSTM 기반 모델- CNN + LSTM based model

- 3D CNN 기반 모델- 3D CNN based model

- 행동인지 모델의 성능 테스트 - Performance test of behavior awareness model

* Re-identification 개발을 위한 세부적 기술 내용 추가* Added detailed description for re-identification development

- CCTV 카메라 영상의 객체 검출기를 통해 추출된 사람 영역을 합성곱신경망(CNN)의 입력으로 통과시켜 특징을 추출한다. 추출된 특징을 사용하여 학습을 통해 동일인물 유무를 추정한다. - Feature extraction is performed by passing the human region extracted through the object detector of the CCTV camera image to the input of the CNN. Using the extracted features, the presence of the same person is estimated through learning.

* Seamless Tracking 기술을 위한 기반 기술 개발* Development of base technology for Seamless Tracking technology

- 객체 검출을 위한 딥러닝 모델 선정- Deep learning model for object detection

- 정확도 우선 모델 : InceptionResnetV2 기반 FasterRCNN- Accuracy priority model: InceptionResnetV2 based FasterRCNN

- 속도 우선 모델 1 : MobileNet 기반 SSD- Speed Priority Model 1: MobileNet-based SSD

- 속도 우선 모델 2 : YOLO_V2- Speed Priority Model 2: YOLO_V2

- 딥러닝 모델 개발 및 테스트- Deep learning model development and testing

- 기존 데이터를 이용 객체 검출기 학습- Learning object detector using existing data

- 카메라 연동 및 검출 속도 측정- Camera interlock and detection speed measurement

InceptionResnetV2 기반 FasterRCNN : 약 800ms   InceptionResnetV2 based FasterRCNN: about 800ms

MobileNet 기반 SSD : 약 35ms   MobileNet-based SSD: about 35ms

YOLO_V2 : 약 40ms   YOLO_V2: about 40ms

1.5 IDS 시스템의 사회재난 활용 전략 : 물놀이 안전사고1.5 Social disaster utilization strategy of IDS system: Water safety accident

태풍, 해일, 쓰나미, 홍수, 수난 사고, 익사 사고, 재난 현장 위험 지역과 사고 다발 발생 지역에서 사고 예방을 위해 CCTV, 센서, 지향성 스피커를 사용한 시스템을 사용한다. CCTV 카메라를 사용한 재난 사고발생 현장의 환경 및 상황감시, IoT 기반 센서/센서 네트워크를 통해 다양한 센서를 활용한 모비우스 서버의 정보수집 및 분석, 태중, 집중호우, 급류발생 위험 지역을 감시하여 경보해주는 지향성 스피커를 설치 운영하여 안전 지역으로 피난을 유도하는 피난 유도 기술, 모비우스 서버는 수집된 데이터를 기초로 빅 데이터를 분석하여 재난 유형을 분류하고 기존 사고 사례를 분석하며 카메라 영상 정보와 센서 데이터를 수집하여 빅 데이터 분석을 통해 재난 상황에 신속하게 대응하며 재난 현장의 특성을 파악하여 재난 대응 시스템 및 인명 지킴이 시스템으로써 사용될 예정이다. We use CCTV, sensors, and directional loudspeaker systems to prevent accidents in typhoons, tsunamis, tsunamis, floods, water accidents, drowning accidents, hazardous area and accidents. It monitors and monitors the environment and the situation of the accident occurrence site using CCTV camera, and collects and analyzes information of Mobius server using various sensors through IoT-based sensor / sensor network. It monitors and warns the danger zone of torrential rain, Mobius server analyzes the big data based on the collected data to classify the type of disaster, analyzes existing cases of accidents, and analyzes camera image information and sensor data. It will be used as a disaster response system and a human life protection system by quickly responding to disaster situations by analyzing big data and identifying the characteristics of the disaster site.

1.5.1 물놀이 안전사고 관리 현황 분석 1.5.1 Analysis of water safety accident management status

가. 물놀이 안전사고의 특징end. Characteristics of water safety accident

행정안전부의 발표에 따르면 우리나라에서는 과거 7년간(2009~2015)에 물놀이 사고는 285건, 익사 등은 29,382건이 발생하였다. 특히 물놀이 안전사고는 6~8월에 집중적으로 발생하고 있으며, 그 밖의 익사사고도 7, 8월에 많이 발생하는 특성을 갖고 있다. 즉, 여름철에 집중적으로 관리하는 것이 무엇보다 중요하다. 효과적인 수난사고 관리방안에 대한 검토를 위해 실제 사고자들과 관련성이 높은 지역119센터 담당자, 의료기관 종사자 및 수상구조 전문가 등에 대한 의견조사를 실시하였다. 그 결과, 수난사고의 경우 익수자가 2~3분내에 응급조치를 받지 못하면 사망에 이를 확률이 매우 높다. 또한, 신고를 받고 119응급대원이 현장에 출동하게 되는 경우 아무리 빨라도 도착에 10분 이상의 시간이 소요되는 경우가 대부분이 이어서 수난사고의 경우 실질적인 구조 및 응급처치가 불가능하다. 그리고, 익사사고가 발생하는 수심은 의외로 깊지 않은 곳에서 많이 발생하며 익수자와 일반인의 물놀이를 구분하기 어려운 문제 등이 지적되었다. 세부적인 면담 조사내용은 표4와 같이 조사하였다. According to the Ministry of Public Administration and Security, there have been 285 water-related accidents and 29,382 drowning cases in Korea during the past seven years (2009 ~ 2015). Especially, water safety accidents are concentrated in June ~ August, and other drowning accidents occur in July and August. In other words, it is more important to focus on summer management. In order to evaluate the effective management of water hazard accidents, we conducted an opinion survey on the local 119 center personnel, medical staff, and aquaculture specialists who are highly relevant to the actual accident victims. As a result, in the case of a succumbing accident, if a drowning person does not receive first aid within two to three minutes, the risk of death is very high. In addition, if the 119 emergency crews arrive at the scene after receiving the notification, the time required for the arrival of the emergency crew is at least 10 minutes at the earliest. In addition, the water depth at which drowning accidents occurs is unexpectedly high, and it is pointed out that it is difficult to distinguish between the submersion and the water of the general public. The details of the interviews were examined as shown in Table 4.

최근 지자체 및 지역재난본부에서는 여름철에 빈번히 발생하는 수난사고에 대하여 사고 다발지역을 중심으로 인력과 장비를 집중적으로 배치하여 수난 사고관리를 실시하고 있다. 또한, 지역 자원봉사단체 등과 연계하여 부족한 인력을 지원 받는 경우도 있으며, 사고 다발지역을 중심으로 인력을 우선 배치한 결과 최근 물놀이 사고 등으로 인한 사망자 수가 과거에 비해 많이 감소하여 최근에는 년간 물놀이 사망자수가 30~40명 수준으로 낮아 졌다.Recently, municipalities and regional disaster headquarters have been concentrating on manpower and equipment centering on accidents involving frequent accidents in the summer. In addition, there are cases where people who are in short supply are being supported in connection with local volunteer organizations. As a result of placing workers first in the area with frequent accidents, the number of deaths due to recent water-related accidents has decreased significantly compared with the past. Recently, 30 to 40 people.

우리나라에서 여름철 물놀이 사고가 가장 많이 발생하는 곳은 경기도 가평군이며, 다음으로는 경기도 남양주시였다. 두 지역은 서울에서 지리적으로 가깝고 수려한 경치를 가진 산과 강, 계곡 등이 많은 특성으로 행락객이 많이 찾는 곳이다. 가평군은 물놀이사고 감축을 위해 다양한 노력을 기울인 경과 사망자가 대폭 감소하여년에 8명의 사망자만 발생하였다. 지자체의 수난사고 관리체계와 재난 대응이 필요하다. 매년 사망자가 발생하여 가평군에서는 아에 접근금지구역으로 지정하여 사고발생을 방지하고 있었다.The most frequent occurrence of water-related accidents in summer is Gapyeong-gun, Gyeonggi-do, followed by Namyangju-si, Gyeonggi-do. The two areas are geographically close to Seoul, and many resorts, including mountains, rivers, and valleys, have beautiful scenery. The Gapyeong - gun decreased drastically the number of deaths and deaths due to various efforts to reduce the number of waterfalls and accidents, resulting in only eight deaths per year. It is necessary to manage the accident management system of the local governments and disaster response. Every year, there were deaths, and in Gapyeong-gun, it was designated as a no-access zone, preventing accidents.

조사한 사고다발지역은 큰 바위 뒤에서 와류가 발생하며 수심이 갑자기 깊어지는 곳으로써 구조전문가의 의견에 따르면 수영실력이 좋아도 아래로 잡아당기는 물의 흐름 때문에 빠져나오기 매우 어려운 지역이라는 의견을 제시하였다. 따라서, 하상이 매년 조금씩 바뀌는 어려움이 있지만 사전에 이런 위험지역을 조사해 표지판을 설치하고 지도화한다면 사고예방과 관리에 큰 도움이 될 수 있을 것이다. As a result, the rescue experts point out that it is very difficult to escape because of the water flow that pulls down even if the swimming ability is good. Therefore, although there is a difficulty in changing the river bed every year, investigating such dangerous areas in advance and setting up signs and mapping them will greatly help prevent and manage accidents.

도 29는 태양전지판을 구비한 기상 센서와 수위 관측계, 지향성 스피커와 카메라를 구비한 사진이다. 도 30은 재난 경고 방송 지향성 스피커와 인명구조함과 안전 요원이 상주하는 사진이다. 29 is a photograph including a gas sensor having a solar panel, a water level gauge, a directional speaker and a camera. FIG. 30 is a photograph in which the emergency alert broadcast directional loudspeakers, rescue workers and security personnel reside.

도 31은 사고 발생 지역과 사고 다발 위험 지역과 특정지역은 안전 표지판을 구비하고 접근 금지구역으로 설정하여 관리하는 사진이다. FIG. 31 is a photograph in which an accident occurrence area, a dangerous accident dangerous area and a specific area are provided with a safety sign and set as a prohibited area.

수난 구조 장비는 인명구조함, 물놀이위험지역 표지판, 물놀이금지(지역) 표지판, 물놀이경고 표지판, 사망사고발생지역 표지판, 익사사고위험지역 표지판, 위험구역지정안내 표지판, 도강 위험 경고판, 안전수칙 표지판를 구비하며, 지자체에서는 사고가 발생한 지역과 위험지역 등을 세분화하여 표지판을 설치하여 사람들에게 물놀이 위험성을 알리고 있다.Water rescue equipments are equipped with life saving rescue, watering hazard area sign, water prohibition (area) sign, water warning sign, death area sign, drowning hazard area sign, danger zone designation sign, The local governments are subdividing the areas where the accidents have occurred and the dangerous areas, and signs are installed to inform the people of the risk of watering.

물놀이 사고 이외에 다슬기 체취나 어로활동 중에 발생하는 사고 그리고 산과 계곡이 많아 급류가 발생하는 경우 강을 건너다 사고가 많이 발생하고 있다. 이런 곳에는 급류발생의 위험을 경보하는 경보계 만으로는 관리에 어려움이 많아 CCTV 카메라를 설치하여 모니터링 하고 있다. In addition to water-related accidents, there are many accidents occurring during activities such as body-wrecking and fishing, and when there are many rapids due to mountains and valleys, many accidents occur across rivers. In such places, CCTV cameras are installed and monitored because there are many difficulties in management by alarm system that warns of danger of occurrence of rapids.

* IDS 시스템 개발 및 활용 방향* IDS system development and utilization direction

○ 실시예에서 조사한 국립공원관리공단과 가평군에서는 수난사고 예방을 위하여 다양한 표지판의 설치, 경고방송용 스피커 시스템의 설치운영을 하고 있다. 또한, 사고 다발 지역 및 위험 지역에 일부 모니터링이 필요한 장소에는 CCTV 카메라 시스템을 활용하고는 있으나 전체적으로 수난사고 대비용으로 CCTV를 활용하는 경우는 드문 것으로 조사되었다. 또한, 현재까지 현장에 적용된 시스템은 IDS 시스템과 같이 영상 및 센서 그리고 지향성 스피커를 사용하여 양방향 통신과 관제가 가능하거나 유사한 시스템은 활용되고 있지 않았다. ○ In the National Park Management Corporation and Gapyeong-gun which investigated in the examples, various signboards were installed to prevent water-related accidents and speaker systems for alarm broadcasting were installed and operated. In addition, although CCTV camera system is used in places where some monitoring is needed in accidents and dangerous areas, it is rare that CCTV is used as a total cost of accidents. In addition, up to now, the system applied to the field has not been able to use bidirectional communication and control or similar system using video, sensor and directional speaker like IDS system.

전문가 자문을 통해 영상정보만을 활용해 물에 빠진 사람을 명확히 식별한다는 것은 매우 어려운 것으로 의견조사 되었으나 몇 가지 익수자를 식별할 수 있는 패턴들은 조사되었다. 예를 들면, 10초 이상 수면아래에 사람이 위치하는 경우는 사고발생 가능성이 높은 것으로 판단할 수 있다. 따라서, 사고 다발 지역과 위험지역 접근에 대한 경고, 인지행위 기반의 영상의 객체 추적을 통한 사고발생 판단 등의 기능을 고도화하면 효과적이다.   Through expert advice, it was found that it was very difficult to clearly identify the person who was in the water by using only the image information, but patterns that could identify some submerged persons were investigated. For example, if a person is located below the water surface for more than 10 seconds, it can be judged that the possibility of an accident is high. Therefore, it is effective to enhance functions such as warning about access to accident area and dangerous area, and judgment of accident occurrence through object tracking based on cognitive behavior.

사고자를 발견하더라도 구조 및 신속히 응급조치를 해야 하며, 물놀이 사고의 경우 익수자가 사고발생부터 사망에 이르는 시간이 매우 짧아 신고를 통해 구조대가 출동하여 대응하기 어려운 사고이다. 따라서, IDS 관제 시스템이 현장에서 사람이 사고가 나는 것을 감시하고 위험성을 알려주는데 그치지 않고 적극적인 경고방송 및 초기 재난 대응 조치를 강구할 필요가 있다. Even if an accidenter is found, rescue and emergency measures must be taken promptly. In the case of a watering accident, the time from accident to death is very short. Therefore, it is necessary for the IDS control system to monitor the accident in the field and notify the danger, and to take active warning broadcast and early disaster response measures.

IDS 관제 시스템이 현장에 적용되기 위해서는 기존 CCTV나 센서들이 개인정보보호에 따른 설치운용이 큰 제약이 따르는 문제를 먼저 해결할 필요가 있다. 또한, 특정지역에 설치하는 경우에도 자연공원법과 같이 재난안전과 필요성에 따라 지자체 및 관련기관에서 자체적으로 적용할 수 있도록 관련 법령과 법제도 개선 등의 규제개혁이 필요하다. In order for the IDS control system to be applied to the field, it is necessary to solve the problem that existing CCTV and sensors are subject to a great restriction on the installation and operation according to the protection of personal information. Also, in case of installing in a specific area, regulatory reforms such as improvement of related laws and regulations and legal system are necessary for local governments and related organizations to apply themselves according to disaster safety and necessity such as Natural Park Law.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것, 기계어 코드뿐만 아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.Embodiments according to the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The computer-readable recording medium may be any type of storage medium such as magnetic media such as storage, hard disk, floppy disk and magnetic tape, optical media such as CD-ROM, DVD, magnetic recording media such as floppy disks, Any type of hardware device configured to store and perform program instructions, such as magneto-optical media, and ROM, ROM, flash memory, and the like, may be included. Examples of program instructions may include what is produced by the compiler, machine code, as well as high-level language code that may be executed by a computer using an interpreter. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention.

이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있음을 이해할 수 있을 것이다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood that various modifications and changes may be made without departing from the scope of the present invention.

100: 센서 300: 모비우스 서버
700: IDS 로컬 관제 시스템 711: IDS 로컬관제 서버
712: 스트리밍 서버 714: 영상 분석 서버
720: IDS 폴 제어기 함체 723: 지향성 스피커 제어기
724: 지향성 스피커 앰프 730: IDS폴 구난 함체
731: 카메라 732: IR LED
733: 지향성 스피커 출력부
100: Sensor 300: Mobius server
700: IDS Local Control System 711: IDS Local Control Server
712: Streaming server 714: Image analysis server
720: IDS pole controller enclosure 723: directional speaker controller
724: Directional speaker amplifier 730: IDS pole housing
731: Camera 732: IR LED
733: Directional speaker output section

Claims (15)

적어도 하나 이상의 카메라와 디지털 비디오 레코더(NVR) 및 영상 분석 소프트웨어를 구비하는 CCTV 카메라 시스템;
재난 상황을 감지한 센서 데이터를 전송하는 적어도 하나 이상의 IoT 기반 센서; 상기 IoT 기반 센서로부터 감지된 센서 패킷 데이터들을 무선 센서 네트워크(USN, WSN, 6LoWPAN, MQTT), Wi-Fi, NB-IoT를 이용한 센서 네트워크, 이동통신망(LTE), LoRa 네트워크, 이더넷 중 어느 하나의 네트워크를 통해 수신받아 프로토콜을 변환하여 서버로 전송하는 IoT 게이트웨이; 및
상기 어느 하나의 네트워크를 통해 상기 IoT 기반 센서로부터 감지된 센서 데이터들을 수집하여 저장하며, 센서 데이터 모니터링 및 센서노드 정보 관리 및 제어 시스템을 구비하며, 센서 데이터를 수집하여 빅 데이터를 분석하는 IoT 기반 센서 네트워크와 연결되는 모비우스 서버, 상기 CCTV 카메라 시스템과 연결되고 인공 지능의 딥러닝 기반의 영상의 객체를 검출하여 재난 상황 영상분석/상황인지/영상의 객체를 추적하는 영상 분석 서버와, 사회 재난 발생 유형별 빅 데이터 분석하여 재난 대응 조치를 취하는 IDS 관제 시스템을 포함하며,
IDS 관제 시스템은 다수의 IDS 로컬 관제 시스템과 IDS 통합 관제 시스템으로 구성되며, IDS 로컬 관제 시스템은 IDS 폴과 연동되는, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
A CCTV camera system having at least one camera and a digital video recorder (NVR) and image analysis software;
At least one IoT-based sensor for transmitting sensor data that detects a disaster situation; The sensor packet data sensed by the IoT-based sensor is transmitted to a sensor network using any one of a wireless sensor network (USN, WSN, 6LoWPAN, MQTT), a Wi-Fi sensor network using NB-IoT, a mobile communication network (LTE) An IoT gateway for receiving the protocol over the network and transmitting the converted protocol to the server; And
An IoT-based sensor for collecting and storing sensor data sensed from the IoT-based sensor through sensor network and collecting sensor data and analyzing big data, An image analysis server connected to the network and connected to the CCTV camera system and detecting an object of a deep learning based image of artificial intelligence to track a disaster situation image analysis / situation recognition / image object, And an IDS control system that analyzes the type-by-type big data to take disaster response measures,
The IDS control system consists of a number of IDS local control systems and an IDS integrated control system. The IDS local control system is composed of a camera, sensor network and directional speakers The guard system.
제1항에 있어서,
상기 센서들은 강우 센서, 수위 센서, 유속 센서, 풍속 센서, 위험 지역에 설치된 마이크 센서, 화재 감지 센서, 가스 감지 센서, 인체 감지 센서를 사용하며, 센서 네트워크(USN, WSN, 6LoWPAN, MQTT), Wi-Fi 무선 랜, 이동통신망(LTE-M), NB-IoT, LoRa 네트워크 중 어느 하나 이상의 네트워크를 통해 게이트웨이를 통해 상기 모비우스 서버의 인명 지킴이 시스템과 재난 대응 시스템으로 센서 데이터 인 강우량, 하천 수위, 유속, 풍속 정보, 마이크 센서 정보(비명 소리), 화재 감지 정보, 가스 감지 정보, 인체 감지 정보를 전송하며,
상기 모비우스 서버는 마이크 센서를 이용한 비명소리에 의한 이벤트 감지 기능을 제공하는, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
The method according to claim 1,
The sensors use a sensor network (USN, WSN, 6LoWPAN, MQTT), a Wi-Fi sensor, a water level sensor, a flow velocity sensor, a wind speed sensor, a microphone sensor installed in a dangerous area, A water level, a river level, and a level of a sensor data to a name-keeping system and a disaster response system of the Mobius server through a gateway through at least one of a Wi-Fi wireless LAN, a mobile communication network (LTE-M), an NB- Speed, velocity information, microphone sensor information (screaming sound), fire detection information, gas detection information, and human body detection information,
The Mobius server is a camera and sensor network based on fusion technology for social disaster response, which provides an event detection function based on a screaming sound using a microphone sensor, and a human life protection system using a directional speaker.
제1항에 있어서,
상기 적어도 하나 이상의 IoT 기반 센서는
센싱 정보를 감지하는 측정부;
센서 측정을 위해 각 기능을 제어하는 제어부;
상기 제어부와 연결되며 센서 데이터를 저장하는 저장부;
무선 센서 네트워크(USN, WSN, 6LoWPAN, MQTT), Wi-Fi, NB-IoT를 이용한 센서 네트워크, 이동통신망(LTE), LoRa 네트워크, 이더넷(Ethernet) 중 어느 하나의 통신 프로토콜을 통해 센서 데이터를 전송하는 무선 통신부;
IoT 프로토콜을 제공하는 프로토콜 스택부; 및
디바이스 드라이버; 및 센서 노드에 전원을 공급하는 전원 공급부를 포함하며,
IoT 기반 센서 네트워크 통신 프로토콜을 연동하기 위한 센서 어댑터를 더 포함할 수 있으며,
상기 센서 데이터는 센서 노드ID, 센서 장치 ID, 센서 데이터 값을 포함하는 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
The method according to claim 1,
The at least one IoT-based sensor
A sensing unit sensing sensing information;
A controller for controlling each function for sensor measurement;
A storage unit connected to the control unit and storing sensor data;
Sensor data is transmitted through a communication protocol of any one of wireless sensor networks (USN, WSN, 6LoWPAN, MQTT), Wi-Fi, sensor network using NB-IoT, mobile communication network (LTE), LoRa network and Ethernet A wireless communication unit;
A protocol stack section for providing an IoT protocol; And
Device driver; And a power supply unit for supplying power to the sensor node,
And may further include a sensor adapter for linking the IoT-based sensor network communication protocol,
The sensor data includes a camera based on fusion compound technology for social disaster response including a sensor node ID, a sensor device ID, and a sensor data value, a sensor network, and a life guarding system using a directional speaker.
제3항에 있어서,
상시 전원 공급부는 태양 전지 어레이와 충전 콘트롤러와 DC-DC 컨버터와 축전지를 구비하며, 태양열을 사용하여 소정의 정격 전원을 공급하는 태양전지부를 더 포함하는 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
The method of claim 3,
The continuous power supply unit includes a solar-battery-based camera for coping with social disasters, which includes a solar cell array, a charge controller, a DC-DC converter, and a battery, and further includes a solar cell unit that supplies a predetermined rated power using solar heat. Human - security system using sensor network and directional speaker.
제1항에 있어서,
상기 지향성 스피커는 지상의 폴대에 고정된 고정형 가변출력 지향성 스피커(고정형 지향성 스피커)와, 및/또는 이동 차량의 폴대에 고정된 가변출력 지향성 스피커(이동형 지향성 스피커)를 구비하며,
상기 지향성 스피커는 방사각도와 팬/틸트 조절이 가능하며, 모터제어신호 수신기와 상기 모터에 의해 지향성 스피커의 단계별 방사 각도를 조절하고 단계별 음압 레벨을 조절하여 가청 대역 음성 신호(가청 신호) 및 비가청 대역 신호(비가청 신호)를 출력하는 실내 각 지역에 설치된 방사각도와 팬/틸트 조절이 가능한 지향성 스피커 인 것을 특징으로 하며,
상기 지향성 스피커의 방사각도와 팬/틸트 조절을 위한 지향성 스피커 다중 제어 시스템을 더 구비하는, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
The method according to claim 1,
The directional loudspeaker comprises a fixed variable directional loudspeaker (fixed directional loudspeaker) fixed to a ground pole and / or a variable directional loudspeaker (mobile directional loudspeaker) fixed to a pole of a moving vehicle,
The directional loudspeaker is capable of adjusting the radiation angle and the pan / tilt angle. The motor control signal receiver and the motor adjust the stepwise radiation angle of the directional loudspeaker, And is a directional speaker capable of adjusting a radiation angle and a pan / tilt angle provided in each room for outputting a band signal (non-audible signal)
And a directional loudspeaker multiplex control system for controlling the angle of the directional loudspeaker and the pan / tilt control system.
제5항에 있어서,
상기 지향성 스피커 다중 제어 시스템은 카메라와 IR LED가 설치된 PTZ 제어기의 방사 각도와 팬/틸트를 조절하며 스피커의 볼륨을 조정하는 지향성 스피커 제어기, 상기 지향성 스피커 제어기에 의해 설정된 볼륨에 따라 음향이 출력되는 지향성 스피커 앰프, 전원을 공급하는 전원 공급부를 구비하는, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
6. The method of claim 5,
The directional speaker multi-control system includes a directional speaker controller for adjusting a radiation angle and a pan / tilt of a PTZ controller equipped with a camera and an IR LED and adjusting a volume of a speaker, a directional speaker controller for outputting sound according to the volume set by the directional speaker controller, A speaker amplifier, and a power supply unit for supplying power, a camera and a sensor network based on a fusion technology for social disaster response, and a life guarding system using a directional speaker.
제1항에 있어서,
상기 지향성 스피커는 스피커 앰프 일체형 AMP로 설계하여 음압 레벨 출력 향상하여 90dB 이하 음압레벨, 750m 최대 도달거리, 80m 음성 도달거리 향상, 최대 ±90° 방사각도, 방사 각도 자동 조절 시스템, 단계별 방사 각도 수동 조절, 영상 정보 및 센서 정보와 연계되는 음성 정보 제공, 투명 방수 커버가 사용되는, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
The method according to claim 1,
The directional speaker is designed as a speaker amplifier built-in type AMP. It improves the sound pressure level output, so it has a sound pressure level of 90dB or less, 750m maximum reachable distance, 80m improvement in voice reach distance, maximum ± 90 ° radiation angle, automatic radiation angle adjustment system, , A camera system based on a fusion technology for social disaster response, and a human life protection system using a sensor network and a directional speaker, in which voice information linked with image information and sensor information is provided and a transparent waterproof cover is used.
제1항에 있어서,
상기 영상 분석 서버는 상기 CCTV 카메라 시스템과 연동되며, 행동인지 기반 영상 내 객체 추적을 위한 딥러닝 기술 중 합성곱 신경망(CNN) 구조의 특징맵 정보를 객체의 특징 정보를 사용하여 이전 영상, 현재 영상, 이전 영상의 객체의 영역정보를 입력으로 받고 현재의 객체의 위치 정보를 결과로 출력하여 영상 내의 객체를 추적하는, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
The method according to claim 1,
The image analysis server is interfaced with the CCTV camera system and uses feature map information of a CNN structure among deep learning techniques for tracking an object in a motion recognition based image, , Camera and sensor network based on fusion technology for social disaster response, which receives area information of object of previous image as an input and outputs the position information of current object as a result to track an object in image, The guard system.
제8항에 있어서,
상기 영상 분석 서버는 영상의 객체를 추출하고 행동 인지 모델의 객체를 추적하기 위해 CNN 구조의 중간 몇 개의 convolutional layer에서 객체 위치영역과 종류 정보를 포함하는 특징지도를 추출하고, Pooling layer를 통과함에 따라 특징지도의 크기가 작아지는데 각기 다른 크기의 특징지도에서 객체 위치영역 정보를 추출하기 때문에 크기(scale)에 강인한 객체를 검출하며, 영상 객체의 행동 인지 모델이 저장된 CNN 학습데이터와 연계되며, 재난 감지 및 대응은 실시간성과 빠른 처리속도가 중요하므로 영상 내의 객체 검출의 처리속도가 빠른 SSD(Single Shot multi-box Detector) 또는 Faster RCNN 알고리즘을 사용하는, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
9. The method of claim 8,
The image analysis server extracts an object of the image and extracts a feature map including the object location area and the category information in the middle several convolutional layers of the CNN structure in order to track the object of the behavior aware model, Feature The size of the map is small, but because it extracts the object location area information from feature maps of different sizes, it detects a strong object on the scale. It is linked with the CNN learning data stored in the behavior awareness model of the image object, And correspondence is important because it is real time and fast processing speed. Therefore, we use SSD (Single Shot Multi-box Detector) or Faster RCNN algorithm, Life-saving system using network and directional speakers.
제1항에 있어서,
상기 IDS 관제 시스템은 다수의 IDS 로컬 관제 시스템과 IDS 통합 관제 시스템으로 구성되며,
상기 IDS 로컬 관제 시스템은 모비우스 서버, 영상 분석 서버, 재난 대응 IDS 기반 인명 지킴이 시스템, 위험 지역 인근 이동통신 단말기들로 재난 안내 문자 전송하는 피난 유도 시스템과 지향성 스피커를 통해 재난 경고 방송과 대피 유도 기술을 제공하는 재난 대응 시스템, 지향성 스피커 다중 제어 시스템을 구비하며,
상기 재난 대응 시스템과 이동통신망의 SMS 서버와 연결되며, 상기 재난 대응 시스템과 연동된 지향성 스피커로부터 비가청 신호를 피난유도 앱(App)이 설치된 스마트 기기로 수신받아 출력하고, 상기 재난 대응 시스템으로부터 SMS 서버를 통해 상기 재난 예상 지역의 셀 커버리지에 있는 이동전화번호들로 재난 경보 문자를 전송하는, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
The method according to claim 1,
The IDS control system comprises a plurality of IDS local control systems and an IDS integrated control system,
The IDS local control system includes a mobius server, an image analysis server, a IDS-based IDS-based life support system, an evacuation guidance system for transmitting disaster announcement texts to nearby mobile communication terminals and a directional speaker , A directional loudspeaker multiplex control system,
Receiving an un-audible signal from a directional speaker connected to the disaster response system and an SMS server of a mobile communication network, and receiving and outputting the non-audible signal to a smart device equipped with an evacuation guidance app, A camera and sensor network based on fusion technology for social disaster response, and a human life protection system using directional loudspeakers, in which a disaster alert character is transmitted to mobile phone numbers in cell coverage of the disaster prediction area through a server.
제10항에 있어서,
상기 피난 유도 시스템과 연동된 지향성 스피커로부터 가청 신호/비가청 신호를 스마트 기기의 스피커로 출력하며, 재난 지역의 위치와 재난 안내 문자를 통해 안전 지역으로 피난을 유도하는 피난유도 앱(App)이 설치된 스마트 기기로 전송하는, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
11. The method of claim 10,
An evacuation guidance app for outputting an audible signal / non-audible signal from the directional speaker linked with the evacuation guidance system to the speaker of the smart device and guiding the evacuation to the safe area through the location of the disaster area and the disaster announcement character A camera and sensor network based on fusion technology for social disaster response, transmitted to a smart device, and a life guarding system using directional speakers.
제10항에 있어서,
상기 피난 유도 운영 시스템과 이동통신망을 통해 연결되며, 상기 피난 유도 시스템과 연동된 지향성 스피커로부터 가청 신호/비가청 신호를 스마트폰의 스피커로 출력하며, 해당 재난 지역의 재난 위치와 재난 상황 정보와 피난 유도 경로를 제공받는 피난유도 앱(App)이 설치된 스마트 기기를 더 포함하며,
상기 스마트 기기는 스마트폰을 사용하며, 상기 모비우스 서버로부터 스마트폰의 피난유도 앱(지향성 스피커 기반 음원 방향 탐지용 안드로이드 기반 App)을 통해 비가청 대역의 안내 방송 수신 및 피난 유도를 제공받는, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
11. The method of claim 10,
The navigation system is connected to the evacuation guidance operating system through a mobile communication network and outputs an audible signal / non-audible signal from the directional speaker coupled with the evacuation guidance system to the speaker of the smartphone. Further comprising a smart device having an evacuation guidance app (App) provided with a guidance path,
The smart device uses a smartphone and receives a notification of evasion from the mobius server through an evacuation-inducing app for a smartphone (an Android-based app for detecting a directional speaker-based sound source direction detection) A camera and sensor network based on fusion technology for disaster response and a human life protection system using directional loudspeakers.
제10항에 있어서,
상기 모비우스 서버는 상기 IDS 로컬관제 시스템의 일부분으로써 IDS 통합관제 시스템과 연동되어 영상과 음성, 센서 데이터를 포함하는 각종 데이터를 전송하며,
상기 IDS 로컬 관제 시스템은 상기 모비우스 서버와 시계열 데이터베이스(TSDB), 영상 분석 서버(Video Server)의 영상, 센서 데이터와 음원 데이터를 모니터링하는 모니터링부, 컨트롤 모듈을 구비하며, 통신 미들웨어를 통해 IDS 함체와 연동되고, 센서와 음원, 영상 데이터 수집과 분석 및 모니터링 기능, 상기 영상 분석 서버에 의해 인공 지능의 딥러닝 기반의 영상의 객체를 검출하여 재난 상황 영상분석/상황인지/영상의 객체 추적 기능, 지향성 스피커 제어를 위한 컨트럴 기능, 카메라 및 적외선 IR 조작을 위한 컨트럴 기능, Pan/Tilt 조작을 위한 컨트럴 기능, 구난자 및 IDS 폴, 센서 위치 확인을 위한 모니터링 기능, 카메라로부터 획득되는 실시간 영상 확인 및 분석 기능, 모비우스 서버로부터 수신되는 실시간 센서 데이터확인 기능, 과거 센서 데이터 조회 기능, 재난 문자를 전송하여 피난을 유도하는 피난 유도 시스템과 지향성 스피커를 통해 이동 차량 재난 경고 방송을 제공하는 재난 대응 시스템에 연동하여 각각 피난 유도 기능(재난 문자 전송)과 재난 대응 기능(이동 차량 재난 경고 방송)을 제공하며, IDS 폴 연동 기능을 제공하며,
상기 IDS 통합관제 시스템은 여러 지역에 분산된 설치된 다수의 IDS 로컬 관제 시스템과 연결되며, 각각의 IDS 로컬 관제 시스템으로부터 재난 상황 정보를 수신하여 IDS 로컬관제 시스템 모니터링 기능을 제공하는, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
11. The method of claim 10,
The Mobi server is a part of the IDS local control system and transmits various data including video, voice and sensor data in cooperation with the IDS integrated control system,
The IDS local control system includes a monitoring module and a control module for monitoring video, sensor data and sound source data of the Mobi server, a time series database (TSDB), and an image analysis server (Video Server) , A sensor, a sound source, an image data collection and analysis and monitoring function, an object of a deep learning based image of the artificial intelligence by the image analysis server, a disaster situation image analysis / Control function for directional speaker control, control function for camera and infrared IR operation, control function for pan / tilt operation, spherical egg and IDS pole, monitoring function for sensor position confirmation, real-time image confirmation and analysis obtained from camera Function to check real-time sensor data received from Mobius server, display past sensor data Function and disaster prevention function (disaster text transmission) and disaster response function (moving vehicle disaster) in conjunction with the emergency evacuation guidance system which induces the evacuation by transmitting the disaster letter and the disaster response system which provides the moving vehicle emergency alert broadcasting through the directional speaker Alarm broadcast), provides IDS pole interlock function,
The IDS integrated control system is connected to a plurality of installed IDS local control systems distributed in various regions, receives disaster situation information from each IDS local control system, and provides an IDS local control system monitoring function. A camera and sensor network based on fusion technology, and a human - life - protection system using directional speakers.
제13항에 있어서,
상기 IDS 폴은 실시간 영상 정보 획득을 위한 카메라, 야간 영상 촬영을 위한 IR LED, 구난자에게 경보방송 송출을 위한 지향성 스피커, 위험 지역 일상 주변 감시 및 구난자 타겟팅을 위한 Pan/Tilt 조절, 통신 미들웨어를 통해 상기 IDS 로컬 관제 시스템의 일부분으로 사용되는 상기 모비우스 서버와 연결되는, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
14. The method of claim 13,
The IDS pole includes a camera for acquiring real-time image information, an IR LED for night image capturing, a directional speaker for transmitting an alarm broadcast to the old egg, pan / tilt control for targeting a dangerous area around the daily life, A camera and sensor network based on a fusion technology for social disaster response, and a life guarding system using directional loudspeaker, connected to the Mobi server which is used as a part of the IDS local control system.
제14항에 있어서,
상기 IDS 로컬관제 시스템은 관제 시스템, IDS 폴 제어기 함체와 IDS 폴 구난 함체를 포함하는 상기 IDS 폴을 구비하며,
상기 관제 시스템은 IDS 로컬관제 시스템 서버(모비우스 서버), 스트리밍 서버, 상기 CCTV 카메라 시스템과 연동되는 상기 영상 분석 서버를 포함하며,
상기 IDS 폴 제어기 함체는 방사각도와 팬틸트를 제어하는 카메라와 IR LED가 탑재된 PTZ 제어기를 제어하며 지향성 스피커의 볼륨을 조정하는 지향성 스피커 제어기, 설정된 볼륨에 따라 음향이 출력되는 지향성 스피커 앰프, 전원을 공급하는 전원 공급부를 구비하며,
상기 IDS 폴 구난 함체는 상기 IDS 로컬 관제 시스템 서버(모비우스 서버)와 연결되며, 상기 지향성 스피커 제어기와 연결되는 상기 PTZ 제어기와, 상기 PTZ 제어기와 연결된 카메라와 IR LED를 구비하며,
상기 IDS 폴 제어기 함체의 상기 지향성 스피커 앰프와 연동되는 지향성 스피커 출력부를 구비하는, 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템.
15. The method of claim 14,
The IDS local control system includes the IDS pole including the control system, the IDS pole controller housing and the IDS pole housing,
The control system includes an IDS local control system server (Mobius server), a streaming server, and the image analysis server interlocked with the CCTV camera system,
The IDS pole controller includes a directional speaker controller for controlling a PTZ controller mounted with a camera and IR LED and controlling a radiation angle and a pan tilt, a directional speaker controller for adjusting a volume of the directional speaker, a directional speaker amplifier for outputting sound according to the set volume, And a power supply unit for supplying the power supply unit,
The IDS pole saving unit is connected to the IDS local control system server (Mobius server), the PTZ controller connected to the directional speaker controller, the camera connected to the PTZ controller and the IR LED,
And a directional speaker output unit interlocked with the directional speaker amplifier of the IDS pole controller enclosure.
KR1020170162726A 2017-11-30 2017-11-30 Life protection system for social disaster using convergence technology like camera, sensor network, and directional speaker system KR20190063729A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170162726A KR20190063729A (en) 2017-11-30 2017-11-30 Life protection system for social disaster using convergence technology like camera, sensor network, and directional speaker system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170162726A KR20190063729A (en) 2017-11-30 2017-11-30 Life protection system for social disaster using convergence technology like camera, sensor network, and directional speaker system

Publications (1)

Publication Number Publication Date
KR20190063729A true KR20190063729A (en) 2019-06-10

Family

ID=66848165

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170162726A KR20190063729A (en) 2017-11-30 2017-11-30 Life protection system for social disaster using convergence technology like camera, sensor network, and directional speaker system

Country Status (1)

Country Link
KR (1) KR20190063729A (en)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223341A (en) * 2019-06-14 2019-09-10 北京国信华源科技有限公司 A kind of Intelligent water level monitoring method based on image recognition
CN110868690A (en) * 2019-09-25 2020-03-06 安徽理工大学 Market environment safety detection positioning system based on Lora technology
KR102088194B1 (en) * 2019-09-10 2020-03-12 (주)진명아이앤씨 SYSTEM AND METHOD FOR BROADCASTING REMOTE SITE DISASTER NOTIFICATION THROUGH AUDIO STREAMING BASED ON IoT
KR102091465B1 (en) * 2019-12-27 2020-03-20 이광열 System for creating the disaster prevention information based on the CCTV image and big data
KR102077468B1 (en) * 2019-10-15 2020-04-07 주식회사 세일시스템 wireless local broadcasting system using CCTV
CN111031364A (en) * 2019-12-30 2020-04-17 南宁一站网网络技术有限公司 Big data fusion method for network product sales
KR102111162B1 (en) * 2019-10-28 2020-05-14 주식회사 경림이앤지 Multichannel camera home monitoring system and method to be cmmunicated with blackbox for a car
KR102140932B1 (en) * 2019-07-12 2020-08-07 강석봉 A broadcasting system for implementing broadcast control and optimal evacuation path using artificial intelligence
KR102174606B1 (en) * 2020-04-23 2020-11-05 주식회사 태영이엔지 Sense integrated IP network camera, and monitoring system for the same
KR102204463B1 (en) * 2020-09-03 2021-01-15 김덕원 Image photographing system
KR102206662B1 (en) * 2020-08-14 2021-01-22 아이티플래닛 주식회사 Vision camera system to manage an entrance and exit management of vehicles and to recognize objects of camera video data in a port container terminal and method thereof
KR102206658B1 (en) * 2020-08-14 2021-01-22 아이티플래닛 주식회사 Vision camera system to be communicated with Terminal Operating System through middleware in a port container terminal and method thereof
KR20210036507A (en) * 2019-09-26 2021-04-05 한찬희 Citizen participating type public order monitoring and warning system and service system using thereof
WO2021095962A1 (en) * 2019-11-15 2021-05-20 전자부품연구원 Hybrid-based recognition system for abnormal behavior and method therefor
KR20210067861A (en) * 2019-11-29 2021-06-08 울산과학기술원 Apparatus and method for evaluating walking safety risk, and recording media recorded program realizing the same
KR20210101882A (en) * 2020-02-11 2021-08-19 에녹스마트 주식회사 A system and method for IoT sensor data control
WO2021183339A1 (en) * 2020-03-09 2021-09-16 Commscope Technologies Llc Smart pole based incident detection and alerting system
KR102320142B1 (en) * 2020-05-22 2021-11-02 주식회사 리안 Method and system for monitoring marine safety accidents based on artificial intelligence
KR20210133503A (en) * 2020-04-29 2021-11-08 주식회사 디케이아이테크놀로지 AI Type Total Security And Monitoring Service System
CN113625261A (en) * 2021-08-10 2021-11-09 厦门市弘威崇安科技有限公司 Unattended microwave radar-microphone array sound wave detector node
KR102333547B1 (en) * 2021-02-15 2021-12-01 주식회사 두리번테크 Emergency broadcasting system using optical fiber sensor and frequency division multiplexing device
CN113759760A (en) * 2020-06-02 2021-12-07 山东征途信息科技股份有限公司 Internet gateway data remote monitoring system based on intelligent sensor device
KR102342352B1 (en) * 2020-08-26 2021-12-22 (주) 시티캅 CCTV-based artificial intelligent detection system using dual analysis mode
KR102372906B1 (en) * 2021-10-07 2022-03-11 주식회사 엔지아커넥트 Image monitorimg device for notifying disaster situation using tvws band and operation method thereof
KR102377929B1 (en) * 2020-11-09 2022-03-24 (주)스페이스빌더스 System and method for measuring water level based on neural network module
KR20220065112A (en) * 2020-11-12 2022-05-20 주식회사 랩피스 Forecast or alarm system and method for dangerous condition
WO2022120872A1 (en) * 2020-12-11 2022-06-16 南京大衍数字科技有限公司 Edge computing-based smart community security monitoring system
KR102413249B1 (en) * 2021-11-11 2022-06-27 채강석 System for rescuing emergency employing biometric techniques of solid space and hololens
CN114945018A (en) * 2022-04-29 2022-08-26 中国电信股份有限公司 Streaming media data distribution method and system
US11477230B2 (en) 2020-03-16 2022-10-18 International Business Machines Corporation Home automation risk assessment and mitigation via machine learning
CN115471980A (en) * 2022-08-16 2022-12-13 智洋创新科技股份有限公司 Debris flow disaster early warning method
KR20230027812A (en) * 2021-08-20 2023-02-28 (주)메티스 Monitoring system for accident worker using camera
KR20230032126A (en) * 2021-08-30 2023-03-07 주식회사 코리아넷 Independent Power Supply Type Video Surveillance System Including Usage Time Prediction And Battery Efficient Management Function
KR20230045483A (en) * 2021-09-28 2023-04-04 채현철 The technology for anti-crime and disaster prevention by PIR sensor to control and monitor various devices
KR20230059187A (en) * 2021-10-25 2023-05-03 한국건설기술연구원 River safety management system and method using artificial intelligence
CN116311796A (en) * 2022-12-16 2023-06-23 华南农业大学 River course flood control early warning system based on computer vision discernment
KR20230149123A (en) 2022-04-19 2023-10-26 박영민 Voice Guidance System Using Intelligent Image Analysis
CN117027923A (en) * 2023-10-08 2023-11-10 西南科技大学 Tunnel intelligent evacuation system based on cyclic neural network and application method
US20230377349A1 (en) * 2022-05-18 2023-11-23 Chengdu Qinchuan Iot Technology Co., Ltd. Methods and systems for post-disaster contact in smart city based on the internet of things
US11943692B2 (en) 2022-05-12 2024-03-26 Teltrust Corporation Emergency response using non-cellular long-range radio channel and emergency use wi-fi hotspot
KR20240100656A (en) * 2022-12-23 2024-07-02 박태영 Audio device using speaker selector and artificial intelligence audio system using that device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100800023B1 (en) 2007-05-18 2008-02-01 대한민국 System and method of managing resources for calamity confrontation
KR20160097708A (en) 2015-02-09 2016-08-18 (주)도원엔지니어링건축사사무소 Environmental control at ordinary time and disaster response system using combined sensor module
KR101743138B1 (en) 2017-01-20 2017-06-16 (주)바인테크 Disaster response system that is based on the machine to machine and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100800023B1 (en) 2007-05-18 2008-02-01 대한민국 System and method of managing resources for calamity confrontation
KR20160097708A (en) 2015-02-09 2016-08-18 (주)도원엔지니어링건축사사무소 Environmental control at ordinary time and disaster response system using combined sensor module
KR101743138B1 (en) 2017-01-20 2017-06-16 (주)바인테크 Disaster response system that is based on the machine to machine and method thereof

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223341B (en) * 2019-06-14 2024-05-28 北京国信华源科技有限公司 Intelligent water level monitoring method based on image recognition
CN110223341A (en) * 2019-06-14 2019-09-10 北京国信华源科技有限公司 A kind of Intelligent water level monitoring method based on image recognition
KR102140932B1 (en) * 2019-07-12 2020-08-07 강석봉 A broadcasting system for implementing broadcast control and optimal evacuation path using artificial intelligence
KR102088194B1 (en) * 2019-09-10 2020-03-12 (주)진명아이앤씨 SYSTEM AND METHOD FOR BROADCASTING REMOTE SITE DISASTER NOTIFICATION THROUGH AUDIO STREAMING BASED ON IoT
CN110868690A (en) * 2019-09-25 2020-03-06 安徽理工大学 Market environment safety detection positioning system based on Lora technology
KR20210036507A (en) * 2019-09-26 2021-04-05 한찬희 Citizen participating type public order monitoring and warning system and service system using thereof
KR102077468B1 (en) * 2019-10-15 2020-04-07 주식회사 세일시스템 wireless local broadcasting system using CCTV
KR102111162B1 (en) * 2019-10-28 2020-05-14 주식회사 경림이앤지 Multichannel camera home monitoring system and method to be cmmunicated with blackbox for a car
WO2021095962A1 (en) * 2019-11-15 2021-05-20 전자부품연구원 Hybrid-based recognition system for abnormal behavior and method therefor
KR20210067861A (en) * 2019-11-29 2021-06-08 울산과학기술원 Apparatus and method for evaluating walking safety risk, and recording media recorded program realizing the same
KR102091465B1 (en) * 2019-12-27 2020-03-20 이광열 System for creating the disaster prevention information based on the CCTV image and big data
CN111031364B (en) * 2019-12-30 2020-11-06 黑龙江锋速网络科技有限公司 Big data fusion method for network product sales
CN111031364A (en) * 2019-12-30 2020-04-17 南宁一站网网络技术有限公司 Big data fusion method for network product sales
KR20210101882A (en) * 2020-02-11 2021-08-19 에녹스마트 주식회사 A system and method for IoT sensor data control
WO2021183339A1 (en) * 2020-03-09 2021-09-16 Commscope Technologies Llc Smart pole based incident detection and alerting system
US11477230B2 (en) 2020-03-16 2022-10-18 International Business Machines Corporation Home automation risk assessment and mitigation via machine learning
KR102174606B1 (en) * 2020-04-23 2020-11-05 주식회사 태영이엔지 Sense integrated IP network camera, and monitoring system for the same
KR20210133503A (en) * 2020-04-29 2021-11-08 주식회사 디케이아이테크놀로지 AI Type Total Security And Monitoring Service System
KR102320142B1 (en) * 2020-05-22 2021-11-02 주식회사 리안 Method and system for monitoring marine safety accidents based on artificial intelligence
CN113759760A (en) * 2020-06-02 2021-12-07 山东征途信息科技股份有限公司 Internet gateway data remote monitoring system based on intelligent sensor device
WO2022035008A1 (en) * 2020-08-14 2022-02-17 아이티플래닛 주식회사 Vision camera system and method for managing vehicle access and recognizing object in port container terminal
KR102206662B1 (en) * 2020-08-14 2021-01-22 아이티플래닛 주식회사 Vision camera system to manage an entrance and exit management of vehicles and to recognize objects of camera video data in a port container terminal and method thereof
KR102206658B1 (en) * 2020-08-14 2021-01-22 아이티플래닛 주식회사 Vision camera system to be communicated with Terminal Operating System through middleware in a port container terminal and method thereof
KR102342352B1 (en) * 2020-08-26 2021-12-22 (주) 시티캅 CCTV-based artificial intelligent detection system using dual analysis mode
KR102204463B1 (en) * 2020-09-03 2021-01-15 김덕원 Image photographing system
KR102377929B1 (en) * 2020-11-09 2022-03-24 (주)스페이스빌더스 System and method for measuring water level based on neural network module
KR20220065112A (en) * 2020-11-12 2022-05-20 주식회사 랩피스 Forecast or alarm system and method for dangerous condition
WO2022120872A1 (en) * 2020-12-11 2022-06-16 南京大衍数字科技有限公司 Edge computing-based smart community security monitoring system
KR102333547B1 (en) * 2021-02-15 2021-12-01 주식회사 두리번테크 Emergency broadcasting system using optical fiber sensor and frequency division multiplexing device
CN113625261A (en) * 2021-08-10 2021-11-09 厦门市弘威崇安科技有限公司 Unattended microwave radar-microphone array sound wave detector node
CN113625261B (en) * 2021-08-10 2024-04-12 厦门市弘威崇安科技有限公司 Unattended node of microwave radar-microphone array acoustic wave detector
KR20230027812A (en) * 2021-08-20 2023-02-28 (주)메티스 Monitoring system for accident worker using camera
KR20230032126A (en) * 2021-08-30 2023-03-07 주식회사 코리아넷 Independent Power Supply Type Video Surveillance System Including Usage Time Prediction And Battery Efficient Management Function
KR20230045483A (en) * 2021-09-28 2023-04-04 채현철 The technology for anti-crime and disaster prevention by PIR sensor to control and monitor various devices
KR102372906B1 (en) * 2021-10-07 2022-03-11 주식회사 엔지아커넥트 Image monitorimg device for notifying disaster situation using tvws band and operation method thereof
KR20230059187A (en) * 2021-10-25 2023-05-03 한국건설기술연구원 River safety management system and method using artificial intelligence
KR102413249B1 (en) * 2021-11-11 2022-06-27 채강석 System for rescuing emergency employing biometric techniques of solid space and hololens
KR20230149123A (en) 2022-04-19 2023-10-26 박영민 Voice Guidance System Using Intelligent Image Analysis
CN114945018A (en) * 2022-04-29 2022-08-26 中国电信股份有限公司 Streaming media data distribution method and system
US11943692B2 (en) 2022-05-12 2024-03-26 Teltrust Corporation Emergency response using non-cellular long-range radio channel and emergency use wi-fi hotspot
US20230377349A1 (en) * 2022-05-18 2023-11-23 Chengdu Qinchuan Iot Technology Co., Ltd. Methods and systems for post-disaster contact in smart city based on the internet of things
CN115471980B (en) * 2022-08-16 2024-03-22 智洋创新科技股份有限公司 Mud-rock flow disaster early warning method
CN115471980A (en) * 2022-08-16 2022-12-13 智洋创新科技股份有限公司 Debris flow disaster early warning method
CN116311796B (en) * 2022-12-16 2023-08-25 华南农业大学 River course flood control early warning system based on computer vision discernment
CN116311796A (en) * 2022-12-16 2023-06-23 华南农业大学 River course flood control early warning system based on computer vision discernment
KR20240100656A (en) * 2022-12-23 2024-07-02 박태영 Audio device using speaker selector and artificial intelligence audio system using that device
CN117027923A (en) * 2023-10-08 2023-11-10 西南科技大学 Tunnel intelligent evacuation system based on cyclic neural network and application method
CN117027923B (en) * 2023-10-08 2023-12-12 西南科技大学 Tunnel intelligent evacuation system based on cyclic neural network and application method

Similar Documents

Publication Publication Date Title
KR20190063729A (en) Life protection system for social disaster using convergence technology like camera, sensor network, and directional speaker system
US10863317B2 (en) Interactive emergency visualization methods
US8805613B2 (en) Method for environmental sensing
Rashid et al. Applications of wireless sensor networks for urban areas: A survey
KR101944616B1 (en) Method of warning disaster/calamity for using satellite image and server of warning disaster/calamity performing the method
Aziz et al. Managing disaster with wireless sensor networks
KR102208152B1 (en) System and method for response disaster situations in mountain area using UAS
US10163315B2 (en) Localized hazard alert system and method of use
KR20140093568A (en) Smart disaster-prevention platform and smart sharing disaster-prevention method on web 2. 0
US20220139199A1 (en) Accurate digital security system, method, and program
CN105719011A (en) Escape path planning method and system based on mobile terminal
KR20180108220A (en) System and method corresponding to disaster based on moving vehicle using pole shaft and directional speaker
US20200387716A1 (en) Automated surveillance system and method therefor
US9576467B2 (en) Emergency detection device, emergency detection system, recording medium, and method therefor
Erdelj et al. Drones, smartphones and sensors to face natural disasters
Onodera et al. Drone positioning for visible light communication with drone-mounted LED and camera
Lemayian et al. First responder drones for critical situation management
CN111277957A (en) Mobile phone area management and control method
CN112561151B (en) Power grid GIS-based electric power emergency disposal safety pre-control intelligent identification method
CN113068004A (en) Disaster scene three-dimensional construction and buried pressure personnel distribution sensing system
Xuan et al. Early warning monitoring and management of disasters
Ko et al. Intelligent wireless sensor network for wildfire detection
KR20220065112A (en) Forecast or alarm system and method for dangerous condition
Yang et al. Optimized deployment of unmanned aerial vehicles for wildfire detection and monitoring
Danh et al. An Early Drowning Detection System Capable of Locating Swimmers in Real Time

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right