KR20120060548A - System for 3D based marker - Google Patents

System for 3D based marker Download PDF

Info

Publication number
KR20120060548A
KR20120060548A KR1020100122096A KR20100122096A KR20120060548A KR 20120060548 A KR20120060548 A KR 20120060548A KR 1020100122096 A KR1020100122096 A KR 1020100122096A KR 20100122096 A KR20100122096 A KR 20100122096A KR 20120060548 A KR20120060548 A KR 20120060548A
Authority
KR
South Korea
Prior art keywords
marker
module
image
display
interactive computing
Prior art date
Application number
KR1020100122096A
Other languages
Korean (ko)
Other versions
KR101177058B1 (en
Inventor
정광모
홍성희
박병하
박영충
최광순
안양근
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020100122096A priority Critical patent/KR101177058B1/en
Publication of KR20120060548A publication Critical patent/KR20120060548A/en
Application granted granted Critical
Publication of KR101177058B1 publication Critical patent/KR101177058B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32352Controlling detectability or arrangements to facilitate detection or retrieval of the embedded information, e.g. using markers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PURPOSE: A marker based three-dimensional system is provided to enable a user to efficiently see exhibits through a marker based image recognition technique and a table type three-dimensional hologram display technique. CONSTITUTION: An operation recognition module(202) monitors a location of fingers of a user. An interactive computing module(208) controls a three-dimensional display module in order to display a three-dimensional image. The interactive computing module controls the three-dimensional image according to a location of fingers. A marker recognition module(200) supplies marker information to the interactive computing module.

Description

마커 기반 3차원 입체 시스템{System for 3D based marker}Marker-based 3D stereo system {System for 3D based marker}

본 발명은 마커 기반 3차원 입체 시스템에 관한 것으로, 더욱 상세하게는 마커 기반 영상 인식 기술과 테이블형 3D 홀로그램 디스플레이 기술을 이용한 3차원 입체 시스템에 관한 것이다.The present invention relates to a marker-based three-dimensional stereoscopic system, and more particularly to a three-dimensional stereoscopic system using a marker-based image recognition technology and a table-type 3D hologram display technology.

3D 입체 영상은 인간이 두 눈으로 봄으로써 입체를 지각한다는 사실에 기초를 두고 있다. 3D 입체 영상은 2대의 카메라 또는 쌍둥이 렌즈가 부착된 카메라로 촬영하는데, 하나는 왼쪽 눈을, 다른 하나는 오른쪽 눈을 나타낸다. 이 두 렌즈는 사람의 두 눈의 간격 만큼인 약 6.3㎝가 떨어져 있다. 여기서 얻어지는 영상은 2대의 동시투사기에 의해 스크린에 투사된다. 유저는 반드시 다른 색조를 띠었거나 편광된 안경을 끼어야만 왼쪽 눈과 오른쪽 눈의 영상들을 그 영상들이 나타내는 대로 볼 수 있다. 유저는 영상들을 현실적으로는 따로따로 보지만 실제로는 이 2개의 약간 다른 영상들이 관객의 정신에 의해 융합되기 때문에 입체 형태로 지각하게 된다.3D stereoscopic imaging is based on the fact that humans perceive stereoscopic vision with their two eyes. 3D stereoscopic images are taken with two cameras or a camera with twin lenses, one representing the left eye and the other the right eye. The two lenses are about 6.3 cm apart from each other's eyes. The image obtained here is projected onto the screen by two simultaneous projectors. The user must wear glasses with different shades or polarized light so that the images of the left and right eyes can be seen as they appear. The user sees the images separately in reality, but in reality the two slightly different images are perceived in three-dimensional form because they are fused by the mind of the audience.

이와 같이 3D 영상은 복수 개의 카메라와 편광 안경을 이용하여 생성하거나, 편광 안경을 이용하지 않고 생성할 수 있다.As such, the 3D image may be generated using a plurality of cameras and polarized glasses, or may be generated without using polarized glasses.

도 1은 종래 박물관의 전시물을 관람하는 일예를 도시하고 있다. 도 1에 의하면, 박물관의 전시물들은 회전, 근접 등이 불가능하여 관람을 하기 위해서는 관람객이 직접 움직여야 하고, 360도 전체 모습을 관람할 수 없는 전시물이 대부분이다. 기존의 전시물 안내 시스템은 전시물과 함께 단순한 설명 또는 간략한 영상을 함께 제공한다. 또는 기존의 전시물 안내 시스템은 대인용 단말기를 박물관 측에서 대여한 후, 이를 가지고 다니며 관람을 해야 한다. 하지만 이러한 방법은 전시물의 단편적인 모습밖에 볼 수 없다.1 illustrates an example of viewing an exhibition of a conventional museum. According to Figure 1, the exhibits of the museum is impossible to rotate, close, etc. in order to view the visitor has to move directly, most of the exhibits can not see the full 360 degrees. Existing exhibition guide systems provide a simple description or a brief video with the exhibit. Or the existing exhibition information system should rent a personal terminal in the museum, and then carry it with you to see. However, these methods can only be seen as fragments of exhibits.

종래와 같은 이러한 방식의 전시 안내 시스템은 관람객들에 큰 흥미를 유발시키지 못하고, 전시물에 대한 충분한 정보를 제공하지 못한다. 따라서 어느 정도 사전 지식을 갖지 못한 관람객의 경우 전시물을 그냥 한번 훑어보고 지나가게 되고, 박물관 관람 후에도 몇 개의 전시물 외에는 기억하지 못하게 된다.This type of exhibition guide system as in the prior art does not cause great interest to visitors and does not provide sufficient information about the exhibits. Therefore, visitors who do not have some prior knowledge will just go through the exhibits and will not be able to remember anything except a few exhibits.

일반적으로 박물관은 가족단위로, 특히 아이들에게 교육적인 목적으로 방문하는 경우가 있다. 하지만 박물관에 전시된 전시물들을 하나하나 유심히 관람하며 다니는 사람들은 드물고, 박물관을 나온 후에도 몇 가지 전시물밖에는 기억해 내지 못한다. 이것은 전시물에 대한 설명 및 흥미유발 요소가 부족하기 때문이다. In general, museums are visited by families, especially for educational purposes to children. However, few people attend to the exhibits in the museum carefully and remember only a few exhibits after leaving the museum. This is due to the lack of explanations and interesting elements of the exhibits.

본 발명이 해결하려는 과제는 관람객이 참여하고 체험하면서 전시물을 관람할 수 있는 보다 효과적인 시스템을 제안한다.The problem to be solved by the present invention proposes a more effective system that allows visitors to view the exhibits while participating and experiencing.

본 발명이 해결하려는 다른 과제는 교육산업에 있어, 아동용, 청소년용 입체 콘텐츠를 제작함으로서 기존 교육의 틀에서 벗어나 간접체험의 콘텐츠를 적극 활용하여 고급화된 교육 서비스를 제공할 수 있다.Another problem to be solved by the present invention is to create a three-dimensional content for children, adolescents in the education industry, it is possible to provide an advanced educational service by actively utilizing the content of indirect experience from the existing educational framework.

이를 위해 본 발명의 마커 기반 3D 입체 시스템은 테이블 타입의 3차원 영상을 디스플레이하는 3차원 디스플레이 모듈, 디스플레이된 상기 3차원 영상으로 진입하는 사용자의 손가락의 위치를 감시하는 동작 인식 모듈, 제공받은 마커 정보에 대응되는 3차원 영상을 디스플레이하도록 상기 3차원 디스플레이 모듈을 제어하며, 상기 동작 인식 모듈로부터 제공받은 손가락의 위치에 따라 표시된 상기 3차원 영상을 조절하도록 제어하는 인터렉티브 컴퓨팅 모듈, 촬영된 마커를 분석한 마커 정보를 상기 인터렉티브 컴퓨팅 모듈로 제공하는 마커 인식 모듈을 포함한다.To this end, the marker-based 3D stereoscopic system of the present invention includes a three-dimensional display module for displaying a table-type three-dimensional image, a motion recognition module for monitoring the position of a user's finger entering the displayed three-dimensional image, and provided marker information. An interactive computing module configured to control the 3D display module to display a 3D image corresponding to a 3D image, and to control the 3D image displayed according to a position of a finger provided from the gesture recognition module, and to analyze a photographed marker And a marker recognition module for providing marker information to the interactive computing module.

이를 위해 본 발명의 마커 기반 3D 입체 시스템은 테이블 타입의 3차원 영상을 디스플레이하는 3차원 디스플레이 모듈, 디스플레이된 상기 3차원 영상으로 진입하는 사용자의 손가락의 위치를 감시하는 동작 인식 모듈, 제공받은 마커 정보에 대응되는 3차원 영상을 디스플레이하도록 상기 3차원 디스플레이 모듈을 제어하며, 상기 동작 인식 모듈로부터 제공받은 손가락의 위치에 따라 표시된 상기 3차원 영상을 조절하도록 제어하는 인터렉티브 컴퓨팅 모듈, 촬영된 마커를 분석한 마커 정보를 상기 인터렉티브 컴퓨팅 모듈로 제공하는 마커 인식 모듈, 상기 인터렉티브 컴퓨팅 모듈에서 작성한 영상목록을 평면 표시부에 표시하도록 제어하며, 상기 평면 표시부에 표시된 영상목록 중 선택된 특정 목록에 대한 정보를 상기 인터렉티브 컴퓨팅 모듈로 제공하는 영상처리 모듈을 포함한다.To this end, the marker-based 3D stereoscopic system of the present invention includes a three-dimensional display module for displaying a table-type three-dimensional image, a motion recognition module for monitoring the position of a user's finger entering the displayed three-dimensional image, and provided marker information. An interactive computing module configured to control the 3D display module to display a 3D image corresponding to a 3D image, and to control the 3D image displayed according to a position of a finger provided from the gesture recognition module, and to analyze a photographed marker A marker recognition module that provides marker information to the interactive computing module, and controls to display the image list created by the interactive computing module on a flat display unit, and displays information on a specific list selected from the image list displayed on the flat display unit. Rosé It includes an image processing module.

본 발명에 따른 마커 기반 3D 입체 시스템은 박물관 관람객의 흥미를 유발시키고, 전시물에 대한 이해를 높일 수 있으며, 교육산업에 있어, 아동용, 청소년용 입체 콘텐츠를 제작함으로서 기존 교육의 틀에서 벗어나 간접체험의 콘텐츠를 적극 활용하여 고급화된 교육 서비스를 제공할 수 있다.The marker-based 3D stereoscopic system according to the present invention induces the interest of museum visitors, enhances the understanding of the exhibits, and in the education industry, produces three-dimensional contents for children and adolescents, thereby creating an indirect experience. Actively utilize content to provide advanced education services.

즉, 본 발명에 따른 마커 기반 3D 입체 시스템은 관람객이 참여하고 체험하면서 전시물을 관람할 수 있도록 함으로써 보다 효과적으로 전시물을 관람할 수 있게 된다.In other words, the marker-based 3D stereoscopic system according to the present invention enables the viewers to view the exhibits while participating and experiencing the exhibits more effectively.

도 1은 종래 박물관의 전시물을 관람하는 일예를 도시하고 있으며,
도 2는 본 발명의 일실시 예에 따른 마커 기반 3D 입체 시스템을 도시하고 있으며,
도 3은 본 발명의 일실시 예에 따른 마커 기반 3D 입체 시스템을 구현하기 위한 구성을 도시하고 있다.
1 illustrates an example of viewing an exhibition of a conventional museum,
2 illustrates a marker-based 3D stereoscopic system according to an embodiment of the present invention.
3 illustrates a configuration for implementing a marker-based 3D stereoscopic system according to an embodiment of the present invention.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.The foregoing and further aspects of the present invention will become more apparent through the preferred embodiments described with reference to the accompanying drawings. Hereinafter will be described in detail to enable those skilled in the art to easily understand and reproduce through this embodiment of the present invention.

최근 각국에서 동작인식 기능을 이용한 기술을 개발하고 있으나, 인터렉티브(Interactive) 3D 관련 핵심원천기술은 아직 개발 초기 단계이다. 인터렉티브 3D 관련 핵심원천기술은 자유 시각 3D, TOF(Time of Flight) 3D 센서기술, 비접촉식 공간촉감기술, 상황적(Contextual) 3D 오브젝트 프로세싱 기술 등이 포함된다.Recently, each country is developing technology using motion recognition function, but the core source technology related to Interactive 3D is still in the early stage of development. Core technologies related to interactive 3D include free vision 3D, time of flight (TOF) 3D sensor technology, contactless space tactile technology, and contextual 3D object processing technology.

즉, IT 기술의 발달과 더불어 대중의 3D 기술에 대한 관심과 시장성이 갈수록 증가하는 추세이며, 새로운 신산업으로 3D 융합산업이 떠오르고 있다. 또한 3D 관련 시장이 전시관이나 체험관 또는 영화관 등에서 대중을 상대로 하는 특수 분야의 시장에서 제한적으로 적용되어 왔으나, 3D 인터랙션 기능이 융합되면서 일반 개인이 사용할 수 있는 정보가전기기 시장으로 기능이 확대되어 대형 산업을 일으킬 것으로 예측된다.In other words, with the development of IT technology, public interest in 3D technology and marketability are increasing gradually, and 3D convergence industry is emerging as a new new industry. In addition, the 3D-related market has been limitedly applied in the special field market to the public in exhibition halls, experience halls, or movie theaters, but as the 3D interaction function is fused, the information market that can be used by the general public is expanded to the electronics market. It is expected to cause.

인터렉티브 3D 기술은 홈 네트워크 정보가전 산업의 새로운 비즈모델을 창출하는 역할을 할 것으로 기대된다. 또한 3D 영상에 인터렉티브 UI 기술을 접목할 경우 직관적이고 조작이 쉬워 조작 자체에서 현실감과 흥미를 느끼고, 이로 인해 디지털 기기에서 아날로그 감성을 느낄 수 있게 된다.Interactive 3D technology is expected to create a new business model for the home network information and electronics industry. In addition, when interactive UI technology is combined with 3D video, it is intuitive and easy to operate, so that the user can feel realism and interest in the operation itself.

이에 본 발명은 마커(marker) 기반 3D 입체 시스템을 제안한다. 마커는 전시물의 그림이 그려진 작은 오브젝트(object)이다. 마커를 정해진 위치에 올려놓으면, 마커 인식 모듈이 마커를 분석하여 해당 영상을 출력한다. 작은 LCD 디스플레이 화면은 상술한 해당 영상 이외에 다른 관련 영상들의 목록을 출력해 준다. 사용자는 3D 입체영상을 만지듯이 회전, 확대, 축소들을 할 수 있고, 특정 부분에 대해서는 상세 설명을 볼 수 있다. Accordingly, the present invention proposes a marker-based 3D stereoscopic system. Markers are small objects with drawings of exhibits. When the marker is placed at the predetermined position, the marker recognition module analyzes the marker and outputs the corresponding image. The small LCD display screen displays a list of other related images in addition to the corresponding image described above. The user can rotate, enlarge and reduce the 3D stereoscopic image, and can view detailed descriptions of specific parts.

도 2는 본 발명의 일실시 예에 따른 마커 기반 3D 입체 시스템을 도시하고 있다. 이하 도 2를 이용하여 본 발명의 일실시 예에 따른 마커 기반 3D 입체 시스템에 대해 상세하게 알아보기로 한다.2 illustrates a marker-based 3D stereoscopic system according to an embodiment of the present invention. Hereinafter, a marker-based 3D stereoscopic system according to an embodiment of the present invention will be described in detail with reference to FIG. 2.

도 2에 의하면, 마커 기반 3D 입체 시스템은 마커인식모듈(200), 동작인식모듈(202), 3D 디스플레이 모듈(204), 영상 처리 모듈(206), 인터렉티브 컴퓨팅 모듈(208)을 포함한다. 물론 상술한 구성 이외에 다른 구성이 마커 기반 3D 큐레이터 시스템에 포함될 수 있음은 자명하다. 즉, 마커 기반 3D 입체 시스템은 마커에 대한 정보를 저장하고 있는 저장부를 부가할 수 있다.Referring to FIG. 2, the marker-based 3D stereoscopic system includes a marker recognition module 200, a motion recognition module 202, a 3D display module 204, an image processing module 206, and an interactive computing module 208. Of course, it is obvious that other configurations may be included in the marker-based 3D curator system in addition to the above-described configurations. That is, the marker-based 3D stereoscopic system may add a storage that stores information about the marker.

마커인식모듈(200)은 전시물의 그림이 그려진 마커를 정해진 위치에 올려놓으면 마커의 내용을 파악하여 인터렉티브 컴퓨팅 모듈(208)에 전달한다. 마커인식모듈(200)은 영상인식기술을 이용하여 카메라로 촬영한 마커의 캡쳐 이미지를 분석한다. 마커인식모듈(200)은 분석한 캡쳐 이미지에서 노이즈를 제거하고 의미를 가지는 부분만을 인터렉티브 컴퓨팅 모듈(208)에 전달한다.The marker recognition module 200 grasps the contents of the marker when the marker on which the picture of the exhibition is drawn is placed at a predetermined position and delivers the contents to the interactive computing module 208. The marker recognition module 200 analyzes a captured image of a marker photographed by a camera using image recognition technology. The marker recognition module 200 removes noise from the analyzed captured image and transfers only the meaningful portions to the interactive computing module 208.

동작인식 모듈(202)은 사용자가 3D 디스플레이에 의해 디스플레이된 영상의 터치 여부를 인식한다. 즉, 동작인식 모듈(202)은 사용자의 행동이나 손동작을 인식하여 3D 오브젝트와 연동하기 위한 고정밀 3D 공간 감지 기능을 구현한다. 동작인식모듈은 고해상도의 TOF( 방식 3D Depth 센서 모듈을 사용하여 조명의 간섭에 강하고 실시간으로 3D 공간을 해석하여 인터렉션 할 수 있다. 사용자가 입체영상을 축소, 확대, 회전 시킬 수 있는 제스처를 인식하여 인터렉티브 컴퓨팅 모듈(208)에 전달한다.The gesture recognition module 202 recognizes whether the user touches the image displayed by the 3D display. That is, the motion recognition module 202 implements a high-precision 3D space sensing function for interworking with a 3D object by recognizing a user's action or hand gesture. The motion recognition module uses the high-resolution TOF (Type 3D Depth Sensor Module), which is resistant to light interference and can interact with 3D space in real time. To the interactive computing module 208.

사용자는 3D 디스플레이 모듈(204)에 의해 디스플레이된 3D 영상을 인지한다. 3D 디스플레이 모듈(204)은 테이블 타입의 3D 디스플레이 기능과 플래쉬 홀로그램 디스플레이 기능을 구현한다. 테이블 타입 자유 시각 3D 디스플레이는 벽에 걸려있는 일반적인 디스플레이가 아니라 테이블 형태의 자유 시각 3D 디스플레이다. 즉, 테이블에 수평으로 존재하는 가상의 3D 오브젝트를 테이블 위에 실제로 존재하는 것처럼 디스플레이함으로써 사용자들에게 사물을 조작하는 느낌을 전달할 수 있다.The user perceives the 3D image displayed by the 3D display module 204. The 3D display module 204 implements a table type 3D display function and a flash hologram display function. The table type free visual 3D display is not a typical display hanging on the wall, but a table type free visual 3D display. In other words, by displaying virtual 3D objects horizontally present on the table as if they are actually present on the table, the user can be conveyed the feeling of manipulating things.

본 발명은 3D 디스플레이 모듈(204)에 부가하여 플래쉬 홀로그램(Flash Hologram) 디스플레이 기능을 구현하는 플래쉬 홀로그램 디스플레이 모듈을 포함할 수 있다. 플래쉬 홀로그램 디스플레이 모듈은 테이블 타입 인터렉티브 3D 시스템에서 메인이 되는 3D 디스플레이 모듈(204)과 동시에 사용될 수 있으며, 부분적으로 완벽한 다시점 3D 오브젝트를 표현하는 기능을 수행한다.The present invention may include a flash hologram display module that implements a flash hologram display function in addition to the 3D display module 204. The flash hologram display module can be used simultaneously with the main 3D display module 204 in a table type interactive 3D system, and performs a function of partially expressing a perfect multiview 3D object.

일반적으로 홀로그램은 홀로그래피에 의해 생성된 3차원 사진을 의미하며, 필름이나 감광 건판 등 기록 매체에 레이저 광 등 빛의 간섭 패턴을 기록한 것이다. 홀로그래피 방식은 피사체로부터의 빛과 간섭성이 있는 참조광을 겹쳐서 얻어지는 간섭신호를 기록하고 이를 재생하는 원리를 이용하는 것으로, 입체감 있는 영상을 구현하는 이상적인 디스플레이 방식이다. 홀로그램은 어떤 대상 물체의 3차원 입체상을 재생한다. 3D 디스플레이 모듈은 전시물의 3D 영상을 회전, 확대, 축소하여 일반적으로는 볼 수 없었던 물체의 바닥, 내부를 볼 수 있도록 한다.In general, a hologram means a three-dimensional photograph generated by holography, and records an interference pattern of light such as laser light on a recording medium such as a film or a photosensitive dry plate. The holography method uses the principle of recording and reproducing an interference signal obtained by superposing coherent reference light with light from a subject, and is an ideal display method for implementing a three-dimensional image. The hologram reproduces the three-dimensional image of an object. The 3D display module rotates, enlarges and reduces the 3D image of the exhibit so that the user can see the bottom and the inside of an object that was not normally seen.

영상 처리 모듈(206)은 인식한 마커가 가리키는 전시물과 관련된 다른 영상들을 인터렉티브 컴퓨팅 모듈(208)로부터 전달받아 작은 LCD 화면(표시부)에 출력한다. 영상 처리 모듈(206)은 사용자로부터 터치스크린으로 영상을 선택받아 인터렉티브 컴퓨팅 모듈(208)에 전달하여 3D 디스플레이 모듈(204)에서 입체 영상을 출력하도록 한다.The image processing module 206 receives other images related to the exhibits indicated by the recognized markers from the interactive computing module 208 and outputs them to a small LCD screen (display). The image processing module 206 receives an image from a user with a touch screen and transmits the image to the interactive computing module 208 to output a stereoscopic image from the 3D display module 204.

인터렉티브 컴퓨팅 모듈(208)은 마커인식모듈(200)로부터 전달받은 정보를 이용하여 출력할 영상정보를 3D 디스플레이 모듈(204)에 전달한다. 인터렉티브 컴퓨팅 모듈(204)은 동작 인식 모듈(202)로부터 전달받은 신호에 따라 3D 디스플레이에 출력중인 입체영상을 조절한다. 인터렉티브 컴퓨팅 모듈(208)은 관련영상들을 검색하여 목록을 작성한 후 영상 처리 모듈(206)에 전달한다. 인터렉티브 컴퓨팅 모듈(208)은 시스템에 연결된 고성능 스토리지의 3D 미디어 데이터베이스의 인터렉션 데이터를 엑세스하여 처리된다.The interactive computing module 208 transfers the image information to be output to the 3D display module 204 by using the information received from the marker recognition module 200. The interactive computing module 204 adjusts the stereoscopic image output to the 3D display according to the signal received from the motion recognition module 202. The interactive computing module 208 searches for related images, creates a list, and delivers the list to the image processing module 206. The interactive computing module 208 is processed by accessing interaction data in a 3D media database of high performance storage coupled to the system.

도 3은 본 발명의 일실시 예에 따른 마커 기반 3D 입체 시스템을 구현하기 위한 구성을 도시하고 있다. 이하 도 3을 이용하여 본 발명의 일실시 예에 따른 마커 기반 3D 입체 시스템에 대해 상세하게 알아보기로 한다.3 illustrates a configuration for implementing a marker-based 3D stereoscopic system according to an embodiment of the present invention. Hereinafter, a marker-based 3D stereoscopic system according to an embodiment of the present invention will be described in detail with reference to FIG. 3.

도 3에 의하면, 마커 기반 3D 입체 시스템은 3D 입체 디스플레이, 사용자 동작 인식 3D 깊이 카메라, 마커 인식 카메라, 입체 영상 선택용 터치스크린 패널을 포함한다. According to FIG. 3, the marker-based 3D stereoscopic system includes a 3D stereoscopic display, a user gesture recognition 3D depth camera, a marker recognition camera, and a touch screen panel for stereoscopic image selection.

3D 입체 디스플레이(300)는 3D 디스플레이 모듈(204)에 의해 출력된 3D 영상을 출력한다. 상술한 바와 같이 3D 디스플레이 모듈(204)은 테이블 타입의 3D 디스플레이 기능과 플래쉬 홀로그램 디스플레이 기능을 구현한다. 테이블 타입 자유 시각 3D 디스플레이는 벽에 걸려있는 일반적인 디스플레이가 아니라 테이블 형태의 자유 시각 3D 디스플레이다. 즉, 테이블에 수평으로 존재하는 가상의 3D 오브젝트를 테이블 위에 실제로 존재하는 것처럼 디스플레이함으로써 사용자들에게 사물을 조작하는 느낌을 전달할 수 있다.The 3D stereoscopic display 300 outputs a 3D image output by the 3D display module 204. As described above, the 3D display module 204 implements a table type 3D display function and a flash hologram display function. The table type free visual 3D display is not a typical display hanging on the wall, but a table type free visual 3D display. In other words, by displaying virtual 3D objects horizontally present on the table as if they are actually present on the table, the user can be conveyed the feeling of manipulating things.

사용자 동작 인식 3D 깊이 카메라(302)는 전면부를 구성하고 적외선 펄스 출력부와 적외선 펄스 수신부를 포함한다. 적외선 펄스 출력부는 사용자 동작 인식 3D 깊이 카메라(302)의 전면부로부터 적외선 펄스를 출력하며, 적외선 펄스 입력부는 적외선 펄스 출력부에서 출력된 적외선 펄스 중 사물에 반사되어 되돌아오는 적외선 펄스를 수신한다. 사용자 동작 인식 3D 깊이 카메라(302)는 적외선 펄스 출력된 적외선 펄스가 사물에 의해 반사되어 되돌아오는 시간을 측정한다. 측정된 시간을 이용하여 사용자 동작 인식 3D 깊이 카메라는 사물까지의 거리를 산출한다.The user motion recognition 3D depth camera 302 configures a front part and includes an infrared pulse output unit and an infrared pulse receiver. The infrared pulse output unit outputs an infrared pulse from the front portion of the user motion recognition 3D depth camera 302, and the infrared pulse input unit receives an infrared pulse reflected by the object among the infrared pulses output from the infrared pulse output unit. The user motion recognition 3D depth camera 302 measures the time when the infrared pulse output infrared pulse is reflected by the object and returned. Using the measured time, the user's motion recognition 3D depth camera calculates a distance to the object.

이에 대해 부가하여 설명하면 3차원 영상을 생성하기 위해서는 다시점 영상과 함께 장면에 대한 깊이 정보가 필요하다. 깊이 정보를 획득하는 방법은 수동형 방식과 능동형 방식의 두 가지로 나눌 수 있다. 수동형 방식은 촬영된 영상을 이용하여 장면의 깊이 정보를 예측하는 것으로써 스테레오 매칭이나 2차원 영상의 3차원 변환과 같은 방법이 이에 해당된다. 능동형 방식은 거리 센서를 이용하는 하드웨어 기반의 방식으로써 TOF(Time of Flight) 센서를 사용하는 깊이 카메라와 3차원 스캐너 등의 장비를 이용한다. TOF 센서를 이용하는 깊이 카메라는 실시간으로 장면의 실제 깊이 정보를 얻을 수 있다는 장점을 있다. In further detail, in order to generate a 3D image, depth information of a scene is required together with a multiview image. There are two methods for obtaining depth information, a passive method and an active method. In the passive method, depth information of a scene is predicted by using a captured image, and a method such as stereo matching or three-dimensional conversion of a two-dimensional image corresponds to this. The active method is a hardware-based method using a distance sensor and uses equipment such as a depth camera and a 3D scanner using a time of flight (TOF) sensor. Depth cameras using TOF sensors have the advantage of obtaining real depth information of the scene in real time.

이하 3차원 카메라의 동작에 대해 알아보기로 한다. 3차원 카메라는 카메라로부터 가까운 곳에 위치하고 있는 사물은 백색으로 표시하며, 카메라로부터 먼 곳에 위치하고 있는 사물은 흑색으로 표시한다. 따라서 3차원 영상에서 백색으로 표시된 영상은 카메라로부터 가까운 곳에 위치하고 있는 영상이며, 흑색으로 표시된 영상은 카메라로부터 먼 곳에 위치하고 있는 영상임을 인지할 수 있게 된다.Hereinafter, the operation of the 3D camera will be described. In the 3D camera, an object located near the camera is displayed in white, and an object located far from the camera is displayed in black. Accordingly, the image displayed in white in the 3D image is an image located near to the camera, and the image displayed in black may be recognized as an image located far from the camera.

3차원 카메라는 카메라의 전면부를 구성하고 적외선 펄스 출력부와 적외선 펄스 수신부를 포함한다. 적외선 펄스 출력부는 적외선 펄스를 카메라 전면부로 출력하며, 적외선 펄스 입력부는 적외선 펄스 출력부에서 출력된 적외선 펄스 중 사물에 반사되어 되돌아오는 적외선 펄스를 수신한다. 3차원 카메라는 적외선 펄스 출력된 적외선 펄스가 사물에 의해 반사되어 되돌아오는 시간을 측정한다. 측정된 시간을 이용하여 3차원 카메라는 사물까지의 거리를 산출한다.The 3D camera constitutes a front side of the camera and includes an infrared pulse output unit and an infrared pulse receiver. The infrared pulse output unit outputs an infrared pulse to the front of the camera, and the infrared pulse input unit receives an infrared pulse that is reflected back to the object among the infrared pulses output from the infrared pulse output unit. The three-dimensional camera measures the time when the infrared pulse output infrared pulse is reflected by the object and returned. Using the measured time, the 3D camera calculates the distance to the object.

마커 인식 카메라(304)는 특정 위치에 놓인 마커를 촬영한다. 마커 인식 카메라(304)에서 촬영한 마커는 마커 인식 모듈(200)에 의해 인터렉티브 컴퓨팅 모듈(208)로 제공한다. 이를 위해 마커 기반 3D 입체 시스템은 마커를 올려놓는 공간을 가지고 있으며, 입체 영상 선택용 터치스크린 패널(306)을 포함한다.The marker recognition camera 304 photographs a marker placed at a specific position. The marker photographed by the marker recognition camera 304 is provided to the interactive computing module 208 by the marker recognition module 200. To this end, the marker-based 3D stereoscopic system has a space for placing a marker, and includes a touch screen panel 306 for stereoscopic image selection.

도 3에 의하면, 3D 입체 디스플레이를 이용하여 거북선을 출력한 예를 도시하고 있다. 출력된 거북선 이미지를 이용하여 본 발명의 마커 기반 3D 입체 시스템을 설명한다.According to FIG. 3, the turtle line was output using the 3D stereoscopic display. The marker-based 3D stereoscopic system of the present invention will be described using the output turtle image.

마커 인식 카메라(304)는 특정 위치에 놓인 거북선 마커를 촬영하여 마커 인식 모듈(200)의 제어 하에 인터렉티브 컴퓨팅 모듈(208)로 제공한다. 인터렉티브 컴퓨팅 모듈(208)은 제공받은 마커를 이용하여 3D 디스플레이에 3D 형태의 거북선을 출력하도록 3D 디스플레이 모듈(204)을 제어한다. The marker recognition camera 304 photographs the turtle marker placed at a specific position and provides it to the interactive computing module 208 under the control of the marker recognition module 200. The interactive computing module 208 controls the 3D display module 204 to output a 3D-shaped turtle ship to the 3D display using the provided marker.

3D 디스플레이 모듈(204)은 인터렉티브 컴퓨팅 모듈(208)의 제어 명령에 따라 3D 형태의 거북선을 3D 디스플레이에 표시한다. 3D 디스플레이 모듈(204)은 표시된 거북선의 특정 구성에 대한 설명을 함께 표시한다. 일예로 3D 디스플레이 모듈(204)은 거북선의 노 또는 돛에 대한 설명을 함께 표시한다.The 3D display module 204 displays a turtle ship in 3D form on the 3D display according to a control command of the interactive computing module 208. The 3D display module 204 also displays a description of the specific configuration of the displayed turtle ship. For example, the 3D display module 204 also displays a description of the ship's oars or sails.

입체 영상 선택용 터치스크린 패널(306)은 표시된 거북선과 관련된 목록들 중 하나를 선택한다. 일예로 입체 영상 선택용 터치스크린 패널(306)에 표시되는 목록은 거북선 전경, 거북선 내부 1층, 거북선 내부 2층, 이순신 등을 포함하며, 사용자는 입체 영상 선택용 터치스크린 패널(306)을 조작하여 표시된 목록 중 특정 하나를 선택한다. 사용자가 선택한 목록에 대한 정보는 인터렉티브 컴퓨팅 모듈(208)로 제공되며, 인터렉티브 컴퓨팅 모듈(208)은 제공된 목록에 대응되는 3D 이미지를 3D 입체 디스플레이(300)에 출력하도록 3D 디스플레이 모듈(204)을 제어한다.The touch screen panel 306 for selecting a stereoscopic image selects one of the lists related to the displayed turtle line. For example, the list displayed on the 3D image selection touch screen panel 306 includes a turtle view, a 1st floor inside a turtle line, a 2nd floor inside a turtle line, Yi Sun Shin, and the user manipulates the 3D image selection touch screen panel 306. Select one of the displayed lists. Information about the list selected by the user is provided to the interactive computing module 208, which controls the 3D display module 204 to output the 3D image corresponding to the provided list to the 3D stereoscopic display 300. do.

본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the scope of the present invention .

200: 마커 인식 모듈 202: 동작 인식 모듈
204: 3D 디스플레이 모듈 206: 영상 처리 모듈
208: 인터렉티브 컴퓨팅 모듈 300:3D 입체 디스플레이
302: 사용자 동작 인식 3D 깊이 카메라
304: 마커 인식 카메라 306: 입체 영상 선택 터치스크린 패널
200: marker recognition module 202: motion recognition module
204: 3D display module 206: image processing module
208: Interactive computing module 300: 3D stereoscopic display
302: user motion recognition 3D depth camera
304: Marker recognition camera 306: Stereoscopic image selection touch screen panel

Claims (7)

테이블 타입의 3차원 영상을 디스플레이하는 3차원 디스플레이 모듈;
디스플레이된 상기 3차원 영상으로 진입하는 사용자의 손가락의 위치를 감시하는 동작 인식 모듈;
제공받은 마커 정보에 대응되는 3차원 영상을 디스플레이하도록 상기 3차원 디스플레이 모듈을 제어하며, 상기 동작 인식 모듈로부터 제공받은 손가락의 위치에 따라 표시된 상기 3차원 영상을 조절하도록 제어하는 인터렉티브 컴퓨팅 모듈;
촬영된 마커를 분석한 마커 정보를 상기 인터렉티브 컴퓨팅 모듈로 제공하는 마커 인식 모듈을 포함함을 특징으로 하는 마커 기반 3D 입체 시스템.
A 3D display module for displaying a table type 3D image;
A motion recognition module for monitoring a position of a finger of a user entering the displayed 3D image;
An interactive computing module configured to control the 3D display module to display a 3D image corresponding to the provided marker information, and to adjust the displayed 3D image according to a position of a finger provided from the gesture recognition module;
And a marker recognition module for providing marker information from the photographed marker to the interactive computing module.
제 1항에 있어서, 상기 동작 인식 모듈은,
출력한 적외선 펄스가 사물에 의해 반사되어 돌아오는 시간을 이용하여 사용자의 손가락 위치를 촬영하는 3차원 카메라를 포함함을 특징으로 하는 마커 기반 3D 입체 시스템.
The method of claim 1, wherein the gesture recognition module,
Marker-based 3D stereoscopic system characterized in that it comprises a three-dimensional camera for photographing the position of the user's finger using the time that the output infrared pulse is reflected back by the object.
제 2항에 있어서, 마커를 촬영하는 마커 인식 카메라를 포함하며, 촬영된 상기 마커는 상기 마커 인식 모듈로 제공됨을 특징으로 하는 마커 기반 3D 입체 시스템.
3. The marker-based 3D stereoscopic system according to claim 2, further comprising a marker recognition camera for photographing a marker, wherein the photographed marker is provided to the marker recognition module.
제 3항에 있어서, 상기 인터렉티브 컴퓨팅 모듈은,
상기 3차원 디스플레이 모듈에 의해 디스플레이된 3차원 영상과 관련된 영상목록을 작성함을 특징으로 하는 마커 기반 3D 입체 시스템.
The method of claim 3, wherein the interactive computing module,
Marker-based 3D stereoscopic system, characterized in that for creating a video list associated with the three-dimensional image displayed by the three-dimensional display module.
제 4항에 있어서,
상기 인터렉티브 컴퓨팅 모듈에서 작성한 영상목록을 표시부에 표시하도록 제어하며, 상기 표시부에 표시된 영상목록 중 선택된 특정 목록에 대한 정보를 상기 인터렉티브 컴퓨팅 모듈로 제공하는 영상처리 모듈을 포함함을 특징으로 하는 마커 기반 3D 입체 시스템.
The method of claim 4, wherein
A marker-based 3D controlling the display of an image list created by the interactive computing module on the display unit and providing the interactive computing module with information on a specific list selected from the image list displayed on the display unit. Three-dimensional system.
테이블 타입의 3차원 영상을 디스플레이하는 3차원 디스플레이 모듈;
디스플레이된 상기 3차원 영상으로 진입하는 사용자의 손가락의 위치를 감시하는 동작 인식 모듈;
제공받은 마커 정보에 대응되는 3차원 영상을 디스플레이하도록 상기 3차원 디스플레이 모듈을 제어하며, 상기 동작 인식 모듈로부터 제공받은 손가락의 위치에 따라 표시된 상기 3차원 영상을 조절하도록 제어하는 인터렉티브 컴퓨팅 모듈;
촬영된 마커를 분석한 마커 정보를 상기 인터렉티브 컴퓨팅 모듈로 제공하는 마커 인식 모듈;
상기 인터렉티브 컴퓨팅 모듈에서 작성한 영상목록을 평면 표시부에 표시하도록 제어하며, 상기 평면 표시부에 표시된 영상목록 중 선택된 특정 목록에 대한 정보를 상기 인터렉티브 컴퓨팅 모듈로 제공하는 영상처리 모듈을 포함함을 특징으로 하는 마커 기반 3D 입체 시스템.
A 3D display module for displaying a table type 3D image;
A motion recognition module for monitoring a position of a finger of a user entering the displayed 3D image;
An interactive computing module configured to control the 3D display module to display a 3D image corresponding to the provided marker information, and to adjust the displayed 3D image according to a position of a finger provided from the gesture recognition module;
A marker recognition module configured to provide marker information from the photographed marker to the interactive computing module;
And a video processing module which controls to display the video list created by the interactive computing module on the flat display unit, and provides the interactive computing module with information on a specific list selected from the video list displayed on the flat display unit. Based 3D stereoscopic system.
제 6항에 있어서, 마커를 촬영하는 마커 인식 카메라를 포함하며, 촬영된 상기 마커는 상기 마커 인식 모듈로 제공됨을 특징으로 하는 마커 기반 3D 입체 시스템.The marker-based 3D stereoscopic system according to claim 6, further comprising a marker recognition camera for photographing a marker, wherein the photographed marker is provided to the marker recognition module.
KR1020100122096A 2010-12-02 2010-12-02 System for 3D based marker KR101177058B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100122096A KR101177058B1 (en) 2010-12-02 2010-12-02 System for 3D based marker

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100122096A KR101177058B1 (en) 2010-12-02 2010-12-02 System for 3D based marker

Publications (2)

Publication Number Publication Date
KR20120060548A true KR20120060548A (en) 2012-06-12
KR101177058B1 KR101177058B1 (en) 2012-08-24

Family

ID=46611442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100122096A KR101177058B1 (en) 2010-12-02 2010-12-02 System for 3D based marker

Country Status (1)

Country Link
KR (1) KR101177058B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101329529B1 (en) * 2012-06-27 2013-11-14 주식회사 나무가 Gesture recognition module and gesture recognition using the module
KR101643569B1 (en) * 2015-10-08 2016-07-29 주식회사 인솔엠앤티 Method of displaying video file and experience learning using this
WO2018194227A1 (en) * 2017-04-20 2018-10-25 한국생산기술연구원 Three-dimensional touch recognition device using deep learning and three-dimensional touch recognition method using same
CN112862979A (en) * 2019-11-18 2021-05-28 张小娥 Visual exhibit display method based on VR technology
KR20220057945A (en) * 2020-10-30 2022-05-09 플링커 주식회사 Realistic artifact discovery game system
KR20220065959A (en) * 2020-11-13 2022-05-23 건국대학교 글로컬산학협력단 Apparatus for guiding tactility and method for pressing button without contact using it

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100672288B1 (en) 2005-11-07 2007-01-24 신믿음 Method and apparatus of implementing an augmented reality by merging markers
KR100929162B1 (en) 2009-04-20 2009-12-01 (주)디스트릭트홀딩스 Interactive hologram information service apparatus and method using gesture

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101329529B1 (en) * 2012-06-27 2013-11-14 주식회사 나무가 Gesture recognition module and gesture recognition using the module
KR101643569B1 (en) * 2015-10-08 2016-07-29 주식회사 인솔엠앤티 Method of displaying video file and experience learning using this
WO2018194227A1 (en) * 2017-04-20 2018-10-25 한국생산기술연구원 Three-dimensional touch recognition device using deep learning and three-dimensional touch recognition method using same
CN112862979A (en) * 2019-11-18 2021-05-28 张小娥 Visual exhibit display method based on VR technology
CN112862979B (en) * 2019-11-18 2024-01-26 深圳市新方舟文化科技有限公司 Visual exhibit display method based on VR technology
KR20220057945A (en) * 2020-10-30 2022-05-09 플링커 주식회사 Realistic artifact discovery game system
KR20220065959A (en) * 2020-11-13 2022-05-23 건국대학교 글로컬산학협력단 Apparatus for guiding tactility and method for pressing button without contact using it

Also Published As

Publication number Publication date
KR101177058B1 (en) 2012-08-24

Similar Documents

Publication Publication Date Title
Kulik et al. C1x6: a stereoscopic six-user display for co-located collaboration in shared virtual environments
US7796134B2 (en) Multi-plane horizontal perspective display
KR101156734B1 (en) Interactive 3d system of table type
Balram et al. Light‐field imaging and display systems
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
KR101177058B1 (en) System for 3D based marker
KR20140014160A (en) Immersive display experience
US20050219695A1 (en) Horizontal perspective display
US10652528B1 (en) Frustum change in projection stereo rendering
KR20140082610A (en) Method and apaaratus for augmented exhibition contents in portable terminal
RU2598989C2 (en) Three-dimensional image display apparatus and display method thereof
US20060221071A1 (en) Horizontal perspective display
WO2013108285A1 (en) Image recording device, three-dimensional image reproduction device, image recording method, and three-dimensional image reproduction method
US11057612B1 (en) Generating composite stereoscopic images usually visually-demarked regions of surfaces
US20060250390A1 (en) Horizontal perspective display
Sandnes et al. Head-mounted augmented reality displays on the cheap: a DIY approach to sketching and prototyping low-vision assistive technologies
JP2019512177A (en) Device and related method
CN110554556B (en) Method and system for spatial holographic interactive control of multiple screens
Ogi et al. Usage of video avatar technology for immersive communication
Jones et al. Time-offset conversations on a life-sized automultiscopic projector array
Shumaker et al. Virtual, Augmented and Mixed Reality
Richardt et al. Video for virtual reality
Hopf et al. Novel autostereoscopic single-user displays with user interaction
Shumaker Virtual, Augmented and Mixed Reality: Designing and Developing Augmented and Virtual Environments: 5th International Conference, VAMR 2013, Held as Part of HCI International 2013, Las Vegas, NV, USA, July 21-26, 2013, Proceedings, Part I
Regalbuto Remote Visual Observation of Real Places through Virtual Reality Headsets

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee