KR102218091B1

KR102218091B1 - Virtual Reality Control System

Info

Publication number: KR102218091B1
Application number: KR1020190008306A
Authority: KR
Inventors: 송채훈; 이우성; 이후정; 김재영
Original assignee: (주)스코넥엔터테인먼트
Priority date: 2019-01-22
Filing date: 2019-01-22
Publication date: 2021-02-19
Also published as: KR20200091257A

Abstract

본 발명의 일 양상에 따르면, 제1 광 신호를 검출하는 제1 센싱부, 제1 사용자에게 영상을 출력하는 제1 디스플레이, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제1 리얼 오브젝트, 상기 제1 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는 상기 제1 광 신호에 기초한 제1 가상 위치 정보를 산출하며, 상기 제1 디스플레이에 상기 제1 가상 위치 정보에 기초한 제1 시야 범위 내의 가상 구조를 포함한 영상을 출력하고, 상기 제1 리얼 오브젝트로부터 연장된 제1 가상 오브젝트의 적어도 일부가 상기 제1 시야 범위 내에 위치하는 경우 상기 제1 디스플레이에 상기 제1 가상 오브젝트의 적어도 일부를 표시하며, 상기 가상 구조와 상기 제1 가상 오브젝트가 미리 설정된 범위 내에 위치하는 경우에 상기 제1 디스플레이에 표시되는 제1 영상은 상기 가상 구조와 상기 제1 가상 오브젝트가 미리 설정된 범위 외에 위치하는 경우에 상기 제1 디스플레이에 표시되는 제2 영상과 다른 영상인 가상 현실 제어 시스템이 제공될 수 있다.According to an aspect of the present invention, a first sensing unit for detecting a first optical signal, a first display for outputting an image to a first user, a first real object whose position is changed by manipulation of the first user, the And at least one control unit for controlling a first display, wherein the at least one control unit calculates first virtual location information based on the first optical signal, and provides a first display based on the first virtual location information on the first display. When an image including a virtual structure within a viewing range is output, and at least a part of the first virtual object extending from the first real object is located within the first viewing range, at least the first virtual object is displayed on the first display. Partial display, and when the virtual structure and the first virtual object are located within a preset range, the first image displayed on the first display is in which the virtual structure and the first virtual object are located outside a preset range. In some cases, a virtual reality control system that is an image different from the second image displayed on the first display may be provided.

Description

Virtual Reality Control System {Virtual Reality Control System}

아래의 실시예들은 가상 현실 제어 시스템에 관한 것이다.The following embodiments relate to a virtual reality control system.

가상 환경은 현실을 기반으로 현실에 가상의 정보를 부가하여 사용자에게 제공하거나 현실에서의 대상체의 상태를 프로그램에 의해 생성된 가상 현실 이미지로써 제공하는 기술일 수 있다.The virtual environment may be a technology that adds virtual information to reality and provides it to a user based on reality or provides a state of an object in reality as a virtual reality image generated by a program.

이러한 가상 환경 제공 기술에는 현실에 제공되는 사용자나 오브젝트 등의 대상체의 상태에 대한 정보를 기반으로 프로그램에 의해 가상 공간, 가상 캐릭터 및 가상 오브젝트 등을 생성하는 기술이 포함될 수 있고, 이 때 다양한 센서를 이용하여 대상체의 상태에 대한 정보를 획득하게 된다.Such a virtual environment providing technology may include a technology for creating a virtual space, a virtual character, and a virtual object by a program based on information on the state of an object such as a user or object provided in reality. In this case, various sensors are used. By using it, information on the state of the object is obtained.

한편, 가상 공간에서 복수의 가상 오브젝트가 서로 충돌하는 경우 각각의 가상 오브젝트의 성질이나 형상에 따라 충돌 전후 및 충돌 과정을 표시하는 방법이 요구된다.Meanwhile, when a plurality of virtual objects collide with each other in a virtual space, there is a need for a method of displaying before and after collision and a collision process according to a property or shape of each virtual object.

따라서 사용자의 조작에 따른 가상 오브젝트의 가상 위치에 따라 다른 가상 오브젝트와의 충돌 발생 여부를 판단하고 충돌 발생 시 이미지 처리하는 방법이 요구된다.Accordingly, there is a need for a method of determining whether a collision with another virtual object occurs according to a virtual position of a virtual object according to a user's manipulation and processing an image when a collision occurs.

일 과제는 가상 공간에서 한 명의 사용자에 의해 복수의 가상 오브젝트가 사용됨에 있어서 사용자의 조작에 따라 복수의 가상 오브젝트가 충돌하는 경우 사용자에게 그 충돌 상황을 인지시켜주는 방법을 제공함에 있다.One task is to provide a method of recognizing a collision situation to a user when a plurality of virtual objects collide according to a user's manipulation because a plurality of virtual objects are used by one user in a virtual space.

또 다른 과제로 가상 공간에서 복수의 사용자에 의해 복수의 가상 오브젝트가 사용됨에 있어서 사용자의 조작에 따라 복수의 가상 오브젝트가 충돌하는 경우 사용자에게 그 충돌 상황을 인지시켜주는 방법을 제공함에 있다.Another task is to provide a method of recognizing a collision situation to a user when a plurality of virtual objects collide according to a user's manipulation because a plurality of virtual objects are used by a plurality of users in a virtual space.

또 다른 과제로, 가상 공간에서 가상 오브젝트 사이, 가상 오브젝트와 가상 구조 사이에 충돌이 발생하는 경우 충돌 효과를 표시하는 방법을 제공함에 있다.Another task is to provide a method of displaying a collision effect when a collision occurs between virtual objects and between virtual objects and virtual structures in a virtual space.

본 발명의 또 다른 양상에 따르면, 제1 광 신호를 검출하는 제1 센싱부, 제1 사용자에게 영상을 출력하는 제1 디스플레이, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제1 리얼 오브젝트, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제2 리얼 오브젝트 및 상기 제1 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는 상기 제1 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 제1 디스플레이에는 상기 제1 가상 위치 정보에 기초한 제1 시야 범위 내의 영상이 출력되고, 상기 제1 리얼 오브젝트로부터 연장된 제1 가상 오브젝트의 적어도 일부가 상기 제1 시야 범위 내에 위치하는 경우 상기 제1 디스플레이에는 상기 제1 가상 오브젝트의 적어도 일부가 표시되고, 상기 제2 리얼 오브젝트로부터 연장된 제2 가상 오브젝트의 적어도 일부가 상기 제1 시야 범위 내에 위치하는 경우 상기 제1 디스플레이에는 상기 제2 가상 오브젝트의 적어도 일부가 표시되되, 상기 제1 가상 오브젝트와 제2 가상 오브젝트가 미리 설정된 범위 내에 위치하는 경우에 상기 제1 디스플레이에 표시되는 영상은 상기 제1 가상 오브젝트와 제2 가상 오브젝트가 미리 설정된 범위 외에 위치하는 경우에 상기 제1 디스플레이에 표시되는 영상과 다른 영상인 가상 현실 제어 시스템이 제공될 수 있다.According to another aspect of the present invention, a first sensing unit that detects a first optical signal, a first display that outputs an image to a first user, a first real object whose position is changed by manipulation of the first user, A second real object whose location is changed by the manipulation of the first user and at least one control unit for controlling the first display, wherein the at least one control unit includes first virtual location information based on the first optical signal Is calculated, and an image within a first viewing range based on the first virtual position information is output on the first display, and at least a part of the first virtual object extending from the first real object is located within the first viewing range. When at least a part of the first virtual object is displayed on the first display, and when at least a part of the second virtual object extending from the second real object is located within the first viewing range, the first display When at least a part of the second virtual object is displayed, and when the first virtual object and the second virtual object are located within a preset range, the image displayed on the first display includes the first virtual object and the second virtual object. When located outside a preset range, a virtual reality control system that is an image different from the image displayed on the first display may be provided.

본 발명의 또 다른 양상에 따르면, 제1 광 신호를 검출하는 제1 센싱부, 제2 광 신호를 검출하는 제2 센싱부, 제1 사용자에게 영상을 출력하는 제1 디스플레이, 제2 사용자에게 영상을 출력하는 제2 디스플레이, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제1 리얼 오브젝트, 상기 제2 사용자의 조작에 의해 위치가 변경되는 제2 리얼 오브젝트 및 상기 제1 디스플레이 및 상기 제2 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는 상기 제1 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 제2 광 신호에 기초한 제2 가상 위치 정보를 산출하며, 상기 제1 디스플레이에는 상기 제1 가상 위치 정보에 기초한 제1 시야 범위 내의 영상이 출력되고, 상기 제1 리얼 오브젝트로부터 연장된 제1 가상 오브젝트의 적어도 일부가 상기 제1 시야 범위 내에 위치하는 경우 상기 제1 디스플레이에는 상기 제1 가상 오브젝트의 적어도 일부가 표시되고, 상기 제2 리얼 오브젝트로부터 연장된 제2 가상 오브젝트의 적어도 일부가 상기 제1 시야 범위 내에 위치하는 경우 상기 제1 디스플레이에는 상기 제2 가상 오브젝트의 적어도 일부가 표시되며, 상기 제1 가상 오브젝트와 제2 가상 오브젝트가 미리 설정된 범위 내에 위치하는 경우에 상기 제1 디스플레이에 표시되는 영상은 상기 제1 가상 오브젝트와 제2 가상 오브젝트가 미리 설정된 범위 외에 위치하는 경우에 상기 제1 디스플레이에 표시되는 영상과 다른 영상인 가상 현실 제어 시스템이 제공될 수 있다.According to another aspect of the present invention, a first sensing unit for detecting a first optical signal, a second sensing unit for detecting a second optical signal, a first display for outputting an image to a first user, and an image to a second user A second display outputting, a first real object whose location is changed by manipulation of the first user, a second real object whose location is changed by manipulation of the second user, and the first display and the second display And at least one control unit for controlling, wherein the at least one control unit calculates first virtual position information based on the first optical signal, calculates second virtual position information based on the second optical signal, and the When an image within a first viewing range based on the first virtual position information is output on the first display, and at least a part of the first virtual object extending from the first real object is located within the first viewing range, the first When at least a part of the first virtual object is displayed on the display, and at least a part of the second virtual object extending from the second real object is located within the first viewing range, the first display displays the second virtual object. At least a portion is displayed, and when the first virtual object and the second virtual object are located within a preset range, the image displayed on the first display is located outside the preset range of the first virtual object and the second virtual object. In this case, a virtual reality control system that is an image different from the image displayed on the first display may be provided.

가상 체험을 제공 받는 사용자로 하여금 가상 공간에서 복수의 가상 오브젝트 사이의 충돌을 인식시켜 가상 체험에 대한 사용자의 몰입도를 증대시킬 수 있다.A user who is provided with a virtual experience may recognize a collision between a plurality of virtual objects in a virtual space, thereby increasing the user's immersion in the virtual experience.

가상 공간에서 복수의 가상 오브젝트 사이에 충돌이 발생하더라도 겹쳐지지 않게 표시함으로써 사용자가 느낄 수 있는 현실 공간과의 이질감을 감소시킬 수 있고 그에 따른 VR 멀미를 해소시킬 수 있다.Even if a collision occurs between a plurality of virtual objects in a virtual space, the display prevents overlapping, thereby reducing a sense of disparity with the real space that a user can feel, and thus eliminating VR motion sickness.

가상 공간에서 복수의 가상 오브젝트 사이에 충돌하는 경우에도 사용자가 느끼는 몰입도가 저하되지 않을 수 있다.Even when a plurality of virtual objects collide in a virtual space, the degree of immersion felt by the user may not be reduced.

도 1은 일 실시예에 따른 가상 현실 제어 시스템을 나타내는 환경도이다.
도 2는 일 실시예에 따른 디텍팅 장치를 나타내는 블록도이다.
도 3은 일 실시예에 따른 서버를 나타내는 블록도이다.
도 4는 일 실시예에 따른 보조 컴퓨팅 장치를 나타내는 블록도이다.
도 5는 일 실시예에 따른 착용형 디스플레이 장치를 나타내는 블록도이다.
도 6은 일 실시예에 따른 가상 현실 제어 시스템의 구현을 나타내는 예시도이다.
도 7은 일 실시예에 따른 대상체 추적 방법을 나타내는 개략도이다.
도 8은 일 실시예에 따른 가상 현실 이미지가 착용형 디스플레이 장치를 통해 출력되는 것을 나타내는 도면이다.
도 9는 일 실시예에 따른 협업이 이루어지기 전 현실 공간을 나타내는 예시도이다.
도 10은 일 실시예에 따른 협업이 이루어지기 전 제1 사용자에게 제공되는 가상 현실 이미지를 나타내는 예시도이다.
도 11은 현실 공간에서 복수의 사용자에 의해 협업이 이루어진 경우를 나타내는 예시도이다.
도 12는 가상 공간에서 복수의 사용자에 의해 협업이 이루어진 경우를 나타내는 예시도이다.
도 13은 입력 장치를 이용하는 복수의 사용자에 의해 협업이 이루어지기 전 현실 공간을 나타내는 예시도이다.
도 14는 입력 장치를 이용하는 복수의 사용자에 의해 협업이 이루어진 후 현실 공간을 나타내는 예시도이다.
도 15는 입력 장치를 이용하는 복수의 사용자에 의해 협업이 이루어지기 전 가상 공간을 나타내는 예시도이다.
도 16은 입력 장치를 이용하는 복수의 사용자에 의해 협업이 이루어진 후 가상 공간을 나타내는 예시도이다.
도 17은 일 실시예에 따른 리얼 오브젝트를 포함하는 현실 공간을 나타내는 예시도이다.
도 18은 일 실시예에 따른 가상 공간에서 적어도 하나 이상의 리얼 오브젝트를 이용한 협업이 이루어지는 것을 나타내는 예시도이다.
도 19는 일 실시예에 따른 착용형 디스플레이 장치를 착용한 사용자와 착용하지 않은 사용자에게 가상 체험이 제공될 때 현실 공간을 나타내는 예시도이다.
도 20은 일 실시예에 따른 착용형 디스플레이 장치를 착용한 사용자와 착용하지 않은 사용자에게 가상 체험이 제공될 때 가상 공간을 나타내는 예시도이다.
도 21은 일 실시예에 따른 복수 사용자에 의한 협업을 평가 결과에 반영하는 협업 평가 방법을 나타내는 순서도이다.
도 22는 일 실시예로, 현실에서 상대적으로 먼 거리에서 사용자간 접촉 시 가상 공간에서 렌더링 이미지가 표시되는 것을 나타내는 예시도이다.
도 23은 일 실시예로, 현실에서 상대적으로 가까운 거리에서 사용자간 접촉 시 가상 공간에서 렌더링 이미지가 표시되는 것을 나타내는 예시도이다.
도 24는 일 실시예에 따른 입력 장치를 나타내는 예시도이다.
도 25는 일 실시예에 따른 입력 장치가 가상 공간에서 서로 다른 가변 오브젝트로 변경되는 것을 나타내는 예시도이다.
도 26은 일 실시예에 따라 제2 가변 오브젝트가 제1 가변 오브젝트로 변경되는 경우를 나타내는 예시도이다.
도 27은 일 실시예에 따라, 가변 오브젝트의 형상이 캐릭터의 위치에 따라 변경되는 방법을 나타내는 예시도이다.
도 28은 일 실시예에 따라, 입력 장치에 대응하는 가변 오브젝트가 가상 현실 이미지에 표시되는 방법을 나타내는 예시도이다.
도 29는 일 실시예에 따른, 가상 공간에서 가상 오브젝트 사이에 충돌이 발생하기 전 상황을 나타내는 예시도이다.
도 30은 일 실시예에 따른, 충돌 오브젝트및 조작 오브젝트 사이에 충돌이 발생한 경우를 나타내는 예시도이다.
도 31은 일 실시예에 따른, 충돌 오브젝트 및 조작 오브젝트 사이에 충돌이 발생할 경우 가상 현실 이미지를 출력하는 방법을 나타내는 예시도이다.
도 32는 일 실시예에 따른, 가상 공간 내 복수의 조작 오브젝트가 표시되는 방법을 나타내는 예시도이다.
도 33은 일 실시예에 따른, 가상 장소가 변경되는 방법을 나타내는 예시도이다.1 is an environment diagram illustrating a virtual reality control system according to an exemplary embodiment.
2 is a block diagram illustrating a detecting device according to an exemplary embodiment.
3 is a block diagram showing a server according to an embodiment.
4 is a block diagram illustrating an auxiliary computing device according to an embodiment.
5 is a block diagram illustrating a wearable display device according to an exemplary embodiment.
6 is an exemplary diagram illustrating an implementation of a virtual reality control system according to an embodiment.
7 is a schematic diagram illustrating an object tracking method according to an exemplary embodiment.
8 is a diagram illustrating that a virtual reality image is output through a wearable display device according to an exemplary embodiment.
9 is an exemplary diagram showing a real space before collaboration according to an embodiment.
10 is an exemplary diagram illustrating a virtual reality image provided to a first user before collaboration according to an exemplary embodiment.
11 is an exemplary diagram illustrating a case in which collaboration is performed by a plurality of users in a real space.
12 is an exemplary diagram illustrating a case in which collaboration is performed by a plurality of users in a virtual space.
13 is an exemplary diagram illustrating a real space before collaboration is performed by a plurality of users using an input device.
14 is an exemplary diagram showing a real space after collaboration is made by a plurality of users using an input device.
15 is an exemplary diagram illustrating a virtual space before collaboration is performed by a plurality of users using an input device.
16 is an exemplary diagram illustrating a virtual space after collaboration is made by a plurality of users using an input device.
17 is an exemplary diagram illustrating a real space including a real object according to an exemplary embodiment.
18 is an exemplary diagram illustrating collaboration using at least one or more real objects in a virtual space according to an exemplary embodiment.
19 is an exemplary diagram illustrating a real space when a virtual experience is provided to a user who wears a wearable display device and a user who does not wear the wearable display device according to an exemplary embodiment.
20 is an exemplary diagram illustrating a virtual space when a virtual experience is provided to a user who wears a wearable display device and a user who does not wear the wearable display device according to an exemplary embodiment.
21 is a flowchart illustrating a method of evaluating a collaboration in which collaboration by multiple users is reflected in an evaluation result, according to an exemplary embodiment.
22 is an exemplary diagram illustrating that a rendered image is displayed in a virtual space when users contact each other at a relatively long distance from reality.
23 is an exemplary diagram illustrating that a rendered image is displayed in a virtual space when users contact each other at a relatively close distance in reality, as an embodiment.
24 is an exemplary diagram illustrating an input device according to an exemplary embodiment.
25 is an exemplary diagram illustrating that an input device is changed to different variable objects in a virtual space according to an exemplary embodiment.
26 is an exemplary diagram illustrating a case in which a second variable object is changed to a first variable object according to an exemplary embodiment.
27 is an exemplary diagram illustrating a method in which a shape of a variable object is changed according to a position of a character, according to an embodiment.
28 is an exemplary diagram illustrating a method of displaying a variable object corresponding to an input device in a virtual reality image, according to an exemplary embodiment.
29 is an exemplary diagram illustrating a situation before a collision occurs between virtual objects in a virtual space, according to an embodiment.
30 is an exemplary diagram illustrating a case in which a collision occurs between a collision object and a manipulation object according to an embodiment.
31 is an exemplary diagram illustrating a method of outputting a virtual reality image when a collision occurs between a collision object and a manipulation object, according to an exemplary embodiment.
32 is an exemplary diagram illustrating a method of displaying a plurality of manipulation objects in a virtual space, according to an exemplary embodiment.
33 is an exemplary diagram illustrating a method of changing a virtual place according to an embodiment.

본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. The above objects, features and advantages of the present invention will become more apparent through the following detailed description in conjunction with the accompanying drawings. However, in the present invention, various changes may be made and various embodiments may be provided. Hereinafter, specific embodiments will be illustrated in the drawings and described in detail.

도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.In the drawings, the thicknesses of layers and regions are exaggerated for clarity, and in addition, an element or layer is "on" or "on" of another component or layer. What is referred to includes not only directly above another component or layer, but also a case where another layer or other component is interposed in the middle. Throughout the specification, the same reference numerals represent the same elements in principle. In addition, components having the same function within the scope of the same idea shown in the drawings of each embodiment will be described with the same reference numerals.

본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.If it is determined that a detailed description of known functions or configurations related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description of the present specification are merely identification symbols for distinguishing one component from another component.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. In addition, the suffixes "module" and "unit" for constituent elements used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not themselves have distinct meanings or roles.

가상 현실은 현실 세계와 달리 프로그램에 의해 생성된 인공적인 환경일 수 있다.Unlike the real world, virtual reality may be an artificial environment created by a program.

이러한 가상 현실은 통상적으로 프로그램에 의해 현실과 분리된 가상 공간을 생성하여 이에 대한 이미지를 제공하는 VR, 현실 세계를 기반으로 가상의 이미지를 겹쳐 하나의 이미지로 제공하는 AR 및 현실 세계와 가상 현실을 융합하여 가상 공간을 제공하고 이에 대한 이미지를 제공하는 MR로 구분될 수 있다.Such virtual reality is a VR that creates a virtual space separated from reality by a program and provides an image for it, AR that overlaps a virtual image based on the real world and provides a single image, and the real world and virtual reality. It can be classified as MR, which provides a virtual space by fusion and provides an image for it.

이하에서 설명되는 가상 현실을 설명함에 있어서 가상 현실은 앞서 설명된 VR, AR 및 MR 뿐만 아니라 다양한 형태의 가상 공간을 제공하는 가상 환경을 의미할 수 있다.In describing the virtual reality described below, the virtual reality may mean a virtual environment that provides various types of virtual spaces as well as the VR, AR, and MR described above.

앞서 언급된 문제점을 해결하기 위해 본 발명의 일 실시예에 따르면, 제1 광 신호를 검출하는 제1 센싱부, 제1 사용자에게 영상을 출력하는 제1 디스플레이, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제1 리얼 오브젝트, 상기 제1 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는, 상기 제1 광 신호에 기초한 제1 가상 위치 정보를 산출하며, 상기 제1 디스플레이에 상기 제1 가상 위치 정보에 기초한 제1 시야 범위 내의 가상 구조를 포함한 영상을 출력하고, 상기 제1 리얼 오브젝트로부터 연장된 제1 가상 오브젝트의 적어도 일부가 상기 제1 시야 범위 내에 위치하는 경우 상기 제1 디스플레이에 상기 제1 가상 오브젝트의 적어도 일부를 표시하며, 상기 가상 구조와 상기 제1 가상 오브젝트가 미리 설정된 범위 내에 위치하는 경우에 상기 제1 디스플레이에 표시되는 제1 영상은 상기 가상 구조와 상기 제1 가상 오브젝트가 미리 설정된 범위 외에 위치하는 경우에 상기 제1 디스플레이에 표시되는 제2 영상과 다른 영상인 가상 현실 제어 시스템이 제공될 수 있다.In order to solve the aforementioned problem, according to an embodiment of the present invention, a first sensing unit that detects a first optical signal, a first display that outputs an image to a first user, and a location by manipulation of the first user A first real object of which is changed, and at least one control unit for controlling the first display, and the at least one control unit calculates first virtual position information based on the first optical signal, and the first display When an image including a virtual structure within a first viewing range based on the first virtual location information is output, and at least a part of the first virtual object extending from the first real object is located within the first viewing range, the first When at least a part of the first virtual object is displayed on a first display, and when the virtual structure and the first virtual object are located within a preset range, the first image displayed on the first display is the virtual structure and the first virtual object. When one virtual object is located outside a preset range, a virtual reality control system that is an image different from the second image displayed on the first display may be provided.

본 발명의 일 실시예에 따르면, 상기 가상 구조와 상기 제1 가상 오브젝트가 상기 미리 설정된 범위 내에 위치하는 경우, 상기 제1 가상 오브젝트의 적어도 일부가 상기 가상 구조와 겹쳐지는 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, when the virtual structure and the first virtual object are located within the preset range, a virtual reality control system in which at least a part of the first virtual object overlaps the virtual structure is provided. I can.

본 발명의 일 실시예에 따르면, 상기 가상 구조는 제2 리얼 오브젝트에 대응하고, 상기 가상 구조로부터 미리 설정된 범위 내에 상기 제1 가상 오브젝트의 적어도 일부가 위치하는 경우 상기 제1 디스플레이에 상기 제1 리얼 오브젝트에 대응하는 제3 가상 오브젝트를 표시하되, 상기 제3 가상 오브젝트는 상기 제1 가상 오브젝트와 서로 다른 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, when the virtual structure corresponds to a second real object and at least a part of the first virtual object is located within a preset range from the virtual structure, the first real object is displayed on the first display. A third virtual object corresponding to an object may be displayed, and a virtual reality control system different from the first virtual object may be provided as the third virtual object.

본 발명의 일 실시예에 따르면, 상기 제1 리얼 오브젝트는 상기 제1 사용자의 조작에 의한 제1 입력 신호를 상기 적어도 하나 이상의 제어부에 전달하는 입력부를 포함하며, 상기 적어도 하나 이상의 제어부는, 상기 가상 구조와 상기 제1 가상 오브젝트가 미리 설정된 범위 내에 위치하는 상태에서 상기 제1 입력 신호가 상기 적어도 하나 이상의 제어부에 전달되는 경우 상기 제1 디스플레이에 제3 영상을 출력하되, 상기 제3 영상은 상기 제1 영상 및 상기 제2 영상과 배경이 다른 영상인 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, the first real object includes an input unit that transmits a first input signal according to the manipulation of the first user to the at least one control unit, and the at least one control unit comprises: When the first input signal is transmitted to the at least one control unit while the structure and the first virtual object are located within a preset range, a third image is output to the first display, and the third image A virtual reality control system in which the first image and the second image and the background are different from each other may be provided.

본 발명의 일 실시예에 따르면, 제1 광 신호를 검출하는 제1 센싱부, 제1 사용자에게 영상을 출력하는 제1 디스플레이, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제1 리얼 오브젝트 및 상기 제1 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는, 상기 제1 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 제1 디스플레이에 상기 제1 가상 위치 정보에 기초한 제1 시야 범위 내의 가상 구조를 포함한 영상을 출력하며, 상기 제1 리얼 오브젝트로부터 연장되는 제1 가상 오브젝트의 적어도 일부가 상기 가상 구조로부터 미리 설정된 범위 내에 위치하는 경우 상기 가상 구조 및 상기 제1 가상 오브젝트 중 적어도 하나에 충돌 효과를 표시하는 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, a first sensing unit for detecting a first optical signal, a first display for outputting an image to a first user, a first real object whose location is changed by manipulation of the first user, and And at least one control unit for controlling the first display, wherein the at least one control unit calculates first virtual position information based on the first optical signal, and calculates the first virtual position information on the first display. Outputs an image including a virtual structure within a first viewing range based, and when at least a part of a first virtual object extending from the first real object is located within a preset range from the virtual structure, the virtual structure and the first virtual A virtual reality control system that displays a collision effect on at least one of the objects may be provided.

본 발명의 일 실시예에 따르면, 상기 가상 구조는 제1 가상 점유 영역을 가지고, 상기 제1 가상 오브젝트는 제2 가상 점유 영역을 가지며, 상기 충돌 효과는 상기 제1 가상 점유 영역과 겹쳐지지 않도록 제2 가상 점유 영역을 변경시키는 효과인 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, the virtual structure has a first virtual occupied area, the first virtual object has a second virtual occupied area, and the collision effect is prevented from overlapping with the first virtual occupied area. 2 A virtual reality control system that is an effect of changing a virtual occupied area may be provided.

본 발명의 일 실시예에 따르면, 상기 제1 리얼 오브젝트는 액추에이터를 포함하고, 상기 제1 가상 오브젝트의 적어도 일부가 상기 가상 구조로부터 미리 설정된 범위 내에 위치하는 경우 상기 제1 리얼 오브젝트에 상기 액추에이터에 의해 진동이 발생하는 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, the first real object includes an actuator, and when at least a part of the first virtual object is located within a preset range from the virtual structure, the first real object is applied to the first real object by the actuator. A virtual reality control system in which vibration is generated may be provided.

본 발명의 일 실시예에 따르면, 상기 제1 가상 오브젝트는 상기 제1 리얼 오브젝트의 움직임에 따른 가상 속도를 가지며, 상기 액추에이터에 의해 발생하는 진동은 상기 가상 속도에 기초하는 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, the first virtual object has a virtual speed according to the movement of the first real object, and the vibration generated by the actuator is provided with a virtual reality control system based on the virtual speed. I can.

본 발명의 일 실시예에 따르면, 제1 광 신호를 검출하는 제1 센싱부, 제1 사용자에게 영상을 출력하는 제1 디스플레이, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제1 리얼 오브젝트, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제2 리얼 오브젝트 및 상기 제1 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는 상기 제1 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 제1 디스플레이에는, 상기 제1 가상 위치 정보에 기초한 제1 시야 범위 내의 영상이 출력되고, 상기 제1 리얼 오브젝트로부터 연장된 제1 가상 오브젝트의 적어도 일부가 상기 제1 시야 범위 내에 위치하는 경우 상기 제1 디스플레이에는 상기 제1 가상 오브젝트의 적어도 일부가 표시되고, 상기 제2 리얼 오브젝트로부터 연장된 제2 가상 오브젝트의 적어도 일부가 상기 제1 시야 범위 내에 위치하는 경우 상기 제1 디스플레이에는 상기 제2 가상 오브젝트의 적어도 일부가 표시되되, 상기 제1 가상 오브젝트와 제2 가상 오브젝트가 미리 설정된 범위 내에 위치하는 경우에 상기 제1 디스플레이에 표시되는 영상은 상기 제1 가상 오브젝트와 제2 가상 오브젝트가 미리 설정된 범위 외에 위치하는 경우에 상기 제1 디스플레이에 표시되는 영상과 다른 영상인 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, a first sensing unit that detects a first optical signal, a first display that outputs an image to a first user, a first real object whose location is changed by manipulation of the first user, A second real object whose location is changed by the manipulation of the first user and at least one control unit for controlling the first display, wherein the at least one control unit includes first virtual location information based on the first optical signal And, on the first display, an image within a first viewing range based on the first virtual position information is output, and at least a part of the first virtual object extending from the first real object is within the first viewing range. When positioned, at least a part of the first virtual object is displayed on the first display, and when at least a part of the second virtual object extending from the second real object is located within the first viewing range, the first display When at least a part of the second virtual object is displayed, and the first virtual object and the second virtual object are located within a preset range, the image displayed on the first display is the first virtual object and the second virtual object. When is located outside a preset range, a virtual reality control system that is an image different from the image displayed on the first display may be provided.

본 발명의 일 실시예에 따르면, 상기 제1 가상 오브젝트는 제1 가상 점유 영역을 가지고, 상기 제2 가상 오브젝트는 제2 가상 점유 영역을 가지며, 상기 제1 가상 점유 영역과 상기 제2 가상 점유 영역이 만나는 경우 상기 제1 디스플레이에는 상기 제1 가상 오브젝트와 상기 제2 가상 오브젝트 중 적어도 어느 하나의 가상 오브젝트에 효과가 표시되는 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, the first virtual object has a first virtual occupied area, the second virtual object has a second virtual occupied area, and the first virtual occupied area and the second virtual occupied area When this occurs, a virtual reality control system in which an effect is displayed on at least one of the first virtual object and the second virtual object may be provided on the first display.

본 발명의 일 실시예에 따르면, 제1 광 신호를 검출하는 제1 센싱부, 제2 광 신호를 검출하는 제2 센싱부, 제1 사용자에게 영상을 출력하는 제1 디스플레이, 제2 사용자에게 영상을 출력하는 제2 디스플레이, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제1 리얼 오브젝트, 상기 제2 사용자의 조작에 의해 위치가 변경되는 제2 리얼 오브젝트 및 상기 제1 디스플레이 및 상기 제2 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는, 상기 제1 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 제2 광 신호에 기초한 제2 가상 위치 정보를 산출하며, 상기 제1 디스플레이에는 상기 제1 가상 위치 정보에 기초한 제1 시야 범위 내의 영상이 출력되고, 상기 제1 리얼 오브젝트로부터 연장된 제1 가상 오브젝트의 적어도 일부가 상기 제1 시야 범위 내에 위치하는 경우 상기 제1 디스플레이에는 상기 제1 가상 오브젝트의 적어도 일부가 표시되고, 상기 제2 리얼 오브젝트로부터 연장된 제2 가상 오브젝트의 적어도 일부가 상기 제1 시야 범위 내에 위치하는 경우 상기 제1 디스플레이에는 상기 제2 가상 오브젝트의 적어도 일부가 표시되며, 상기 제1 가상 오브젝트와 제2 가상 오브젝트가 미리 설정된 범위 내에 위치하는 경우에 상기 제1 디스플레이에 표시되는 영상은 상기 제1 가상 오브젝트와 제2 가상 오브젝트가 미리 설정된 범위 외에 위치하는 경우에 상기 제1 디스플레이에 표시되는 영상과 다른 영상인 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, a first sensing unit for detecting a first optical signal, a second sensing unit for detecting a second optical signal, a first display for outputting an image to a first user, an image to a second user A second display outputting, a first real object whose location is changed by manipulation of the first user, a second real object whose location is changed by manipulation of the second user, and the first display and the second display And at least one control unit for controlling, wherein the at least one control unit calculates first virtual location information based on the first optical signal, and calculates second virtual location information based on the second optical signal, When an image within a first viewing range based on the first virtual position information is output on the first display, and at least a part of a first virtual object extending from the first real object is located within the first viewing range, the first When at least a part of the first virtual object is displayed on the first display, and at least a part of the second virtual object extending from the second real object is located within the first viewing range, the second virtual object is displayed on the first display. Is displayed, and when the first virtual object and the second virtual object are located within a preset range, the image displayed on the first display is outside the preset range of the first virtual object and the second virtual object. When located, a virtual reality control system that is an image different from the image displayed on the first display may be provided.

이하에서는 도 1을 참조하여 일 실시예에 따른 가상 현실을 제공하기 위한 가상 현실 제어 시스템(10)에 대해서 설명하도록 한다.Hereinafter, a virtual reality control system 10 for providing virtual reality according to an exemplary embodiment will be described with reference to FIG. 1.

도 1은 일 실시예에 따른 가상 현실 제어 시스템(10)을 나타내는 환경도이다.1 is an environment diagram illustrating a virtual reality control system 10 according to an exemplary embodiment.

도 1을 참조하면, 가상 현실 제어 시스템(10)은 디텍팅 장치(100), 서버(200), 보조 컴퓨팅 장치(300), 착용형 디스플레이 장치(400) 및 입력 장치(500)를 포함할 수 있다.Referring to FIG. 1, the virtual reality control system 10 may include a detecting device 100, a server 200, an auxiliary computing device 300, a wearable display device 400, and an input device 500. have.

일 실시예에 따르면 디텍팅 장치(100)는 서버(200)와 연결될 수 있다.According to an embodiment, the detecting device 100 may be connected to the server 200.

디텍팅 장치(100)는 대상체를 추적하여 디텍팅 정보를 획득할 수 있다.The detecting apparatus 100 may acquire detecting information by tracking an object.

일 실시예에 따른 대상체는 착용형 디스플레이 장치(400)를 통해 출력되는 이미지에 영향을 주는 물체일 수 있다.An object according to an embodiment may be an object that affects an image output through the wearable display device 400.

예를 들어 대상체는 착용형 디스플레이 장치(400), 사용자, 입력 장치(500), 상기 사용자 주변에 위치한 물체 및 기준점 또는 특징점을 갖는 물체 중 적어도 하나가 포함될 수 있다.For example, the object may include at least one of the wearable display device 400, the user, the input device 500, an object located around the user, and an object having a reference point or a feature point.

또한 일 실시예에 따른 대상체의 추적은 현실 환경에서의 대상체의 위치에 대한 정보를 획득하는 것을 의미할 수 있다.In addition, tracking of an object according to an embodiment may mean obtaining information on a location of the object in a real environment.

예를 들어 대상체의 추적은 현실 환경에서 대상체의 이동에 따라 변경되는 위치에 대한 정보를 획득할 수 있다. 이러한 대상체에 대한 위치 정보는 획득한 미리 정해진 주기로위치 정보 획득될 수 있으나, 이에 한정되는 것은 아니다.For example, tracking of an object may obtain information on a location that changes according to movement of the object in a real environment. The location information of the object may be obtained at a predetermined period of time, but is not limited thereto.

일 실시예에 따르면 디텍팅 장치(100)는 디텍팅 정보를 서버(200)에 제공할 수 있다.According to an embodiment, the detecting device 100 may provide detecting information to the server 200.

일 실시예에 따르면 서버(200)는 디텍팅 장치(100) 및 보조 컴퓨팅 장치(300)와 연결될 수 있다.According to an embodiment, the server 200 may be connected to the detecting device 100 and the auxiliary computing device 300.

서버(200)는 연결된 구성으로부터 정보를 획득할 수 있다.The server 200 may obtain information from the connected configuration.

일 실시예에 따르면 서버(200)는 디텍팅 장치(100)로부터 디텍팅 정보, 디텍팅 장치(100)가 획득한 이미지 정보 및 디텍팅 장치(100)의 상태 정보 중 적어도 하나를 획득할 수 있다. According to an embodiment, the server 200 may obtain at least one of detecting information from the detecting device 100, image information obtained by the detecting device 100, and status information of the detecting device 100. .

그 밖에도 서버(200)는 후술할 몇몇 실시예에 따라 다양한 정보를 획득할 수 있다.In addition, the server 200 may acquire various information according to some embodiments to be described later.

일 실시예에 따르면 서버(200)는 연결된 구성을 제어할 수 있다.According to an embodiment, the server 200 may control a connected configuration.

일 실시예에 따르면 서버(200)는 보조 컴퓨팅 장치(300) 또는 착용형 디스플레이 장치(400)를 제어할 수 있다.According to an embodiment, the server 200 may control the auxiliary computing device 300 or the wearable display device 400.

일 예로 서버(200)는 보조 컴퓨팅 장치(300)에 설치된 프로그램 또는 어플리케이션의 구동을 제어할 수 있다. 보다 구체적인 예를 들어 서버(200)는 보조 컴퓨팅 장치(300)에 설치된 프로그램 또는 어플리케이션의 시작 및/또는 종료를 제어할 수 있다.For example, the server 200 may control driving of a program or application installed in the auxiliary computing device 300. For a more specific example, the server 200 may control starting and/or ending of a program or application installed in the auxiliary computing device 300.

다른 예로 서버(200)는 디텍팅 장치(100)의 동작에 필요한 다양한 설정을 제공할 수 있다.As another example, the server 200 may provide various settings required for the operation of the detecting device 100.

또한 서버(200)는 디텍팅 정보에 기초하여 대상체의 위치 정보를 생성하거나 대상체의 위치에 대응하는 가상 환경에서의 가상 위치 정보를 생성할 수 있다.In addition, the server 200 may generate location information of an object based on the detecting information or generate virtual location information in a virtual environment corresponding to the location of the object.

또한 서버(200)는 보조 컴퓨팅 장치(300)에서 구동되는 프로그램 또는 어플리케이션의 인증을 수행할 수 있다. In addition, the server 200 may perform authentication of a program or application driven by the auxiliary computing device 300.

일 실시예에 따른 서버(200)의 기능이 상술한 기능으로 한정되는 것은 아니며, 실시예에 따라 다양한 기능을 수행하는 서버(200)가 제공될 수 있다.The functions of the server 200 according to an embodiment are not limited to the above-described functions, and a server 200 performing various functions may be provided according to the embodiment.

또한 일 실시예예 따른 서버(200)가 반드시 하나의 물리적인 구성으로 제공되어야 하는 것은 아니며, 상술한 기능을 세분화 하여 각각의 기능을 수행하는 복수의 장치로 제공될 수 있다. In addition, the server 200 according to an embodiment is not necessarily provided in one physical configuration, and may be provided as a plurality of devices that perform each function by subdividing the above-described functions.

예를 들어 서버(200)는 디텍팅 장치(100)와 연결되어 디텍팅 정보에 기초하여 위치 정보를 획득하는 디텍팅 서버, 가상 현실 제어 시스템(10)에 제공되는 구성 중 적어도 일부에 대한 제어를 수행하는 운영 서버 및 가상 현실 제어 시스템(10)의 각 구성 중 적어도 하나의 구성에서 실행되는 프로그램 또는 어플리케이션에 대한 인증을 수행하는 라이선스 서버 등으로 세분화되어 각 서버에서 수행될 수 있다.For example, the server 200 controls at least some of the configurations provided to the detection server and the virtual reality control system 10 connected to the detection device 100 to obtain location information based on the detection information. It is subdivided into a license server that authenticates a program or application that is executed in at least one of the configurations of the operating server and the virtual reality control system 10 to perform, and can be performed in each server.

한편, 서버(200)는 보조 컴퓨팅 장치(300)가 입력 장치(500)로부터 획득한 입력신호 또는 입력신호에 기초한 입력 정보를 제공 받을 수 있다.Meanwhile, the server 200 may receive an input signal obtained from the input device 500 by the auxiliary computing device 300 or input information based on the input signal.

입력 정보는 가상 현실 내 오브젝트 등에 대한 사용자의 선택 정보, 입력 장치(500)를 통하여 입력된 동작에 대한 정보, 입력 장치(500)의 지향 방향에 대한 지향 정보 등을 포함할 수 있다.The input information may include user selection information about an object in the virtual reality, information about an operation input through the input device 500, orientation information about an orientation direction of the input device 500, and the like.

보조 컴퓨팅 장치는(300)는 디텍팅 장치(100), 서버(200), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결될 수 있다.The auxiliary computing device 300 may be connected to at least one of the detecting device 100, the server 200, the wearable display device 400, and the input device 500.

보조 컴퓨팅 장치(300)는 서버(200)로부터 획득한 위치 정보에 기초하여 가상 위치 정보를 산출할 수 있다.The auxiliary computing device 300 may calculate virtual location information based on the location information obtained from the server 200.

또는 보조 컴퓨팅 장치(300)는 디텍팅 장치(100)로부터 획득한 디텍팅 정보를 가공하여 대상체의 위치 정보를 산출하거나 가상 위치 정보를 산출할 수 있다.Alternatively, the auxiliary computing device 300 may process the detecting information obtained from the detecting device 100 to calculate location information of the object or calculate virtual location information.

보조 컴퓨팅 장치(300)는 미리 저장된 프로그램 또는 어플리케이션을 통하여 착용형 디스플레이 장치(400)를 통하여 사용자에게 이미지를 제공할 수 있다.The auxiliary computing device 300 may provide an image to a user through the wearable display device 400 through a program or application stored in advance.

또한 보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)를 통해 사용자에게 제공할 음향 정보를 제공할 수 있다. In addition, the auxiliary computing device 300 may provide acoustic information to be provided to a user through the wearable display device 400.

일 실시예에 따르면, 보조 컴퓨팅 장치(300)는 미리 설치된 어플리케이션 또는 프로그램을 통해 위치 정보에 기초하여 사용자에게 제공될 이미지를 획득할 수 있다.According to an embodiment, the auxiliary computing device 300 may acquire an image to be provided to a user based on location information through a preinstalled application or program.

또한 보조 컴퓨팅 장치(300)는 입력 장치(500)로부터 획득한 입력신호에 기초하여 입력 정보를 획득할 수 있다.Also, the auxiliary computing device 300 may obtain input information based on an input signal obtained from the input device 500.

또한 보조 컴퓨팅 장치(300)는 획득한 입력 정보를 고려하여 사용자에게 제공할 이미지를 획득할 수 있다.In addition, the auxiliary computing device 300 may acquire an image to be provided to the user in consideration of the acquired input information.

착용형 디스플레이 장치(400)는 보조 컴퓨팅 장치(300)와 연결될 수 있다.The wearable display device 400 may be connected to the auxiliary computing device 300.

착용형 디스플레이 장치(400)는 사용자에게 가상 환경에 대한 이미지를 제공할 수 있다.The wearable display device 400 may provide a user with an image of a virtual environment.

착용형 디스플레이 장치(400)는 보조 컴퓨팅 장치(300)로부터 획득한 가상 현실 이미지를 사용자에게 시각적으로 출력할 수 있다.The wearable display device 400 may visually output a virtual reality image acquired from the auxiliary computing device 300 to a user.

또한 착용형 디스플레이 장치(400)는 보조 컴퓨팅 장치(300)로부터 획득한 음향 정보를 출력할 수 있다.In addition, the wearable display device 400 may output sound information acquired from the auxiliary computing device 300.

입력 장치(500)는 가상 환경에 반영할 사용자의 입력에 대한 신호를 획득할 수 있다.The input device 500 may obtain a signal for a user's input to be reflected in the virtual environment.

입력 장치(500)는 보조 컴퓨팅 장치(300)와 연결될 수 있다.The input device 500 may be connected to the auxiliary computing device 300.

입력 장치(500)는 보조 컴퓨팅 장치(300)로 사용자의 입력에 대응하는 입력신호를 제공할 수 있다.The input device 500 may provide an input signal corresponding to a user's input to the auxiliary computing device 300.

입력 장치(500)는 사용자의 동작에 대응하는 신호를 획득하기 위한 가속도 센서, 자이로스코프, 자이로 센서, MEMS, 지자기 센서, 관성 센서(IMU), 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 및 전자파 센서 등을 포함할 수 있다.The input device 500 includes an acceleration sensor, a gyroscope, a gyro sensor, MEMS, a geomagnetic sensor, an inertial sensor (IMU), an optical sensor, an illuminance sensor, a photo sensor, an infrared sensor, and a color for acquiring a signal corresponding to a user's motion It may include a sensor, a depth sensor, and an electromagnetic wave sensor.

또한 입력 장치(500)는 사용자의 선택에 대한 신호를 획득하기 위한 버튼, 스위치, 조그셔틀 및 휠 등을 포함할 수 있다.In addition, the input device 500 may include a button, a switch, a jog shuttle, and a wheel for obtaining a signal for a user's selection.

또한 입력 장치(500)는 보조 컴퓨팅 장치(300)와 유선 통신 및 무선 통신 중 적어도 하나의 통신 방식으로 연결될 수 있다.In addition, the input device 500 may be connected to the auxiliary computing device 300 through at least one of wired communication and wireless communication.

또한 입력 장치(500)는 보조 컴퓨팅 장치(300)와의 통신을 위한 통신 모듈을 포할 수 있다.In addition, the input device 500 may include a communication module for communication with the auxiliary computing device 300.

도 1에는 입력 장치(500)가 보조 컴퓨팅 장치(300)와 연결되는 것으로 도시하였으나 이에 한정되는 것은 아니며 입력 장치(500)는 선택에 따라 다양한 연결 형태로 제공될 수 있다. Although the input device 500 is shown to be connected to the auxiliary computing device 300 in FIG. 1, the present invention is not limited thereto, and the input device 500 may be provided in various connection types according to selection.

예를 들어 입력 장치(500)는 서버(200) 및 착용형 디스플레이(400)등의 구성과 연결되어 입력 신호를 제공할 수 있다.For example, the input device 500 may be connected to components such as the server 200 and the wearable display 400 to provide an input signal.

한편, 입력 장치(500)는 햅틱 피드백을 제공할 수 있다.Meanwhile, the input device 500 may provide haptic feedback.

서버(200) 또는 보조 컴퓨팅 장치(300)는 입력 장치(500)를 통해 사용자에게 햅틱 피드백을 제공할 수 있다.The server 200 or the auxiliary computing device 300 may provide haptic feedback to a user through the input device 500.

햅틱 피드백은 사용자가 입력 장치(500)를 조작함에 따라 사용자에게 제공되는 진동, 힘, 동작, 열 또는 냉기 등을 포함할 수 있다.The haptic feedback may include vibration, force, motion, heat or cold air provided to the user as the user manipulates the input device 500.

햅틱 피드백은 사용자에게 직접적으로 접촉하여 제공되는 접촉 햅틱 피드백 및 사용자로부터 일정 거리 이격되어 제공되는 비접촉 햅틱 피드백 중 적어도 하나를 포함할 수 있다.The haptic feedback may include at least one of a contact haptic feedback provided by direct contact with the user and a non-contact haptic feedback provided separated by a predetermined distance from the user.

입력 장치(500)는 햅틱 피드백을 제공하기 위해 촉각 센서, 진동 모터, 액츄에이터, 초음파 모듈, 열전 소자 등을 포함할 수 있다.The input device 500 may include a tactile sensor, a vibration motor, an actuator, an ultrasonic module, and a thermoelectric element to provide haptic feedback.

이상에서 설명된 가상 현실 제어 시스템(10)은 설명의 편의를 위한 예시일 뿐 일 실시예에 따른 가상 현실 제어 시스템(10)이 도 1에 도시된 구성 및 연결 관계로 한정되는 것은 아니며 선택에 따라 다양한 형태로 제공될 수 있다.The virtual reality control system 10 described above is only an example for convenience of description, and the virtual reality control system 10 according to an embodiment is not limited to the configuration and connection relationship shown in FIG. It can be provided in various forms.

일 예로 보조 컴퓨팅 장치(300) 및 착용형 디스플레이 장치(400)는 하나의 구성으로 제공될 수 있으며, 이 경우 보조 컴퓨팅 장치(300)에서 수행하는 동작이 착용형 디스플레이 장치(400)에서 구현될 수 있다.For example, the auxiliary computing device 300 and the wearable display device 400 may be provided in one configuration, and in this case, an operation performed by the auxiliary computing device 300 may be implemented in the wearable display device 400. have.

다만, 이하에서 다양한 실시예들을 설명함에 있어서 설명의 편의를 위하여 상술한 가상 현실 제어 시스템(10)을 예시로 하여 설명하도록 한다.However, in the following description of various embodiments, for convenience of description, the above-described virtual reality control system 10 will be described as an example.

이하에서는 도 2를 참조하여 일 실시예에 따른 디텍팅 장치(100)에 대하여 설명하도록 한다.Hereinafter, the detecting device 100 according to an embodiment will be described with reference to FIG. 2.

도 2는 일 실시예에 따른 디텍팅 장치(100)를 나타내는 블록도이다.2 is a block diagram illustrating a detecting apparatus 100 according to an exemplary embodiment.

도 2를 참조하면, 디텍팅 장치(100)는 발광부(110) 및 센싱부(120)를 포함할 수 있다.Referring to FIG. 2, the detecting device 100 may include a light emitting unit 110 and a sensing unit 120.

발광부(110)는 대상체 추적을 위해 상기 대상체 또는 그 주변에 신호를 송출할 수 있다.The light emitting unit 110 may transmit a signal to or around the object to track the object.

일 예로, 발광부(110)는 가시광 및 적외선 등의 광 신호를 외부로 발신하는 발광 소자로 제공될 수 있다.For example, the light-emitting unit 110 may be provided as a light-emitting device that transmits optical signals such as visible light and infrared light to the outside.

보다 구체적인 예를 들어 발광부는 가시광 LED 및 적외선 LED 등으로 제공될 수 있다.For a more specific example, the light emitting unit may be provided as a visible light LED and an infrared LED.

센싱부(120)는 외부로부터 신호를 획득할 수 있다.The sensing unit 120 may obtain a signal from the outside.

일 예로, 센싱부(120)는 발광부(110)가 송출한 신호에 대응하는 신호를 획득할 수 있다.For example, the sensing unit 120 may acquire a signal corresponding to the signal transmitted by the light emitting unit 110.

다른 예로, 센싱부(120)는 대상체에 제공되는 마커가 반사한 광에 대한 신호를 획득할 수 있다.As another example, the sensing unit 120 may acquire a signal for light reflected by a marker provided to an object.

예를 들어 센싱부(120)는 이미지 센서, 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 및 전자파 센서 등으로 제공될 수 있다.For example, the sensing unit 120 may be provided as an image sensor, an optical sensor, an illuminance sensor, a photo sensor, an infrared sensor, a color sensor, a depth sensor, an electromagnetic wave sensor, and the like.

도 3은 일 실시예에 따른 서버(200)를 나타내는 블록도이다.3 is a block diagram showing the server 200 according to an embodiment.

도 3을 참조하면, 서버(200)는 서버 통신부(210), 서버 저장부(220), 서버 입력부(230), 서버 제어부(240) 및 서버 디스플레이부(250)를 포함할 수 있다.Referring to FIG. 3, the server 200 may include a server communication unit 210, a server storage unit 220, a server input unit 230, a server control unit 240, and a server display unit 250.

서버 통신부(210)는 디텍팅 장치(100), 보조 컴퓨팅 장치(300), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결되어 데이터를 획득하거나 제공할 수 있다.The server communication unit 210 may be connected to at least one of the detecting device 100, the auxiliary computing device 300, the wearable display device 400, and the input device 500 to obtain or provide data.

서버 통신부(210)는 유선통신 및 무선통신 중 적어도 하나의 통신 방식으로 디텍팅 장치(100), 보조 컴퓨팅 장치(300), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결될 수 있다.The server communication unit 210 may be connected to at least one of the detecting device 100, the auxiliary computing device 300, the wearable display device 400, and the input device 500 through at least one communication method of wired communication and wireless communication. I can.

예를 들어 무선통신은 와이파이(Wi-Fi)망, 3G, LTE망, 5G, 로라(LoRa) 등의 이동통신망, wave(Wireless Access in Vehicular Environment), 비콘, 지그비(zigbee), 블루투스(Bluetooth), BLE(Bluetooth Low Energy) 등을 포함할 수 있다. For example, wireless communication is a Wi-Fi network, 3G, LTE network, 5G, mobile communication network such as LoRa, wave (Wireless Access in Vehicular Environment), beacon, zigbee, Bluetooth , Bluetooth Low Energy (BLE), etc. may be included.

또한 유선통신은 트위스트 페어 케이블, 동축케이블 또는 광케이블 등을 포함할 수 있다.In addition, wired communication may include a twisted pair cable, a coaxial cable, or an optical cable.

서버 통신부(210)는 유선 통신 및 무선 통신 중 적어도 하나의 통신 방식을 제공하기 위한 통신 모듈로 제공될 수 있다.The server communication unit 210 may be provided as a communication module for providing at least one communication method of wired communication and wireless communication.

서버 저장부(220)는 데이터를 저장할 수 있다.The server storage unit 220 may store data.

서버 저장부(220)는 외부로부터 획득한 정보를 저장할 수 있다.The server storage unit 220 may store information obtained from the outside.

또한 서버 저장부(220)는 서버(200)의 동작에 필요한 정보를 저장할 수 있다. In addition, the server storage unit 220 may store information necessary for the operation of the server 200.

예를 들어 서버 저장부(220)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, SSD, CD-ROM, DVD-ROM 또는 USB 등으로 제공될 수 있다.For example, the server storage unit 220 includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and floptical disks. The same magneto-optical media, and ROM, RAM, flash memory, SSD, CD-ROM, DVD-ROM, or USB may be provided.

서버 입력부(230)는 사용자의 입력에 대응하는 신호를 획득할 수 있다.The server input unit 230 may acquire a signal corresponding to a user's input.

사용자의 입력은 예를 들어 버튼의 누름, 클릭, 터치 및 드래그 등일 수 있다.The user's input may be, for example, pressing, clicking, touching, or dragging a button.

서버 입력부(230)는 예를 들어 키보드, 키 패드, 버튼, 조그셔틀 및 휠 등으로 구현될 수 있다.The server input unit 230 may be implemented as, for example, a keyboard, a keypad, a button, a jog shuttle, and a wheel.

서버 제어부(240)는 서버(200)의 동작을 총괄할 수 있다.The server control unit 240 may oversee the operation of the server 200.

일 예로 서버 제어부(240)는 서버(200)에 포함된 구성의 동작을 제어할 수 있다.For example, the server controller 240 may control an operation of a component included in the server 200.

서버 디스플레이부(250)는 시각적인 정보를 출력할 수 있다. The server display unit 250 may output visual information.

서버 디스플레이부(250)는 시각적인 정보를 출력하는 모니터, TV, 디스플레이 패널 등으로 제공될 수 있다.The server display unit 250 may be provided as a monitor, TV, or display panel that outputs visual information.

또한 서버 디스플레이부(250)가 터치 스크린으로 제공되는 경우, 서버 디스플레이부(250)는 서버 입력부(230)의 기능을 수행할 수 있다.In addition, when the server display unit 250 is provided as a touch screen, the server display unit 250 may perform the function of the server input unit 230.

도 4는 일 실시예에 따른 보조 컴퓨팅 장치(300)를 나타내는 블록도이다.4 is a block diagram illustrating an auxiliary computing device 300 according to an exemplary embodiment.

도 4를 참조하면, 보조 컴퓨팅 장치(300)는 보조 컴퓨팅 통신부(310), 보조 컴퓨팅 저장부(320), 보조 컴퓨팅 입력부(330) 및 보조 컴퓨팅 제어부(340)를 포함할 수 있다.Referring to FIG. 4, the auxiliary computing device 300 may include an auxiliary computing communication unit 310, an auxiliary computing storage unit 320, an auxiliary computing input unit 330, and an auxiliary computing control unit 340.

보조 컴퓨팅 통신부(310)는 서버(200), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결될 수 있다.The auxiliary computing communication unit 310 may be connected to at least one of the server 200, the wearable display device 400, and the input device 500.

보조 컴퓨팅 통신부(310)는 유선통신 및 무선통신 중 적어도 하나의 통신 방식으로 서버(200), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결될 수 있다.The auxiliary computing communication unit 310 may be connected to at least one of the server 200, the wearable display device 400, and the input device 500 in at least one of wired communication and wireless communication.

보조 컴퓨팅 통신부(310)는 연결된 서버(200), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 정보를 교환할 수 있다. The auxiliary computing communication unit 310 may exchange information with at least one of the connected server 200, the wearable display device 400, and the input device 500.

보조 컴퓨팅 통신부(310)는 무선 통신 및 유선 통신 중 적어도 하나의 통신 방식을 제공하기 위한 통신 모듈로 제공될 수 있다.The auxiliary computing communication unit 310 may be provided as a communication module for providing at least one communication method of wireless communication and wired communication.

보조 컴퓨팅 저장부(320)는 외부로부터 획득한 정보를 저장할 수 있다.The auxiliary computing storage unit 320 may store information obtained from the outside.

또한 보조 컴퓨팅 저장부(320)는 보조 컴퓨팅 장치(300)의 동작에 필요한 데이터 등을 저장할 수 있다.In addition, the auxiliary computing storage unit 320 may store data necessary for the operation of the auxiliary computing device 300.

또한, 보조 컴퓨팅 저장부(320)는 사용자에게 가상 체험을 제공하기 위한 어플리케이션 또는 프로그램 등을 저장할 수 있다.In addition, the auxiliary computing storage unit 320 may store an application or a program for providing a virtual experience to a user.

보조 컴퓨팅 입력부(330)는 사용자의 입력에 대응하는 신호를 획득할 수 있다.The auxiliary computing input unit 330 may acquire a signal corresponding to a user's input.

예를 들어 보조 컴퓨팅 입력부(330)는 키보드, 키 패드, 버튼, 조그셔틀 및 휠 등으로 구현될 수 있다.For example, the auxiliary computing input unit 330 may be implemented as a keyboard, a keypad, a button, a jog shuttle, and a wheel.

보조 컴퓨팅 제어부(340)는 보조 컴퓨팅 장치(300)의 동작을 총괄할 수 있다.The auxiliary computing control unit 340 may oversee the operation of the auxiliary computing device 300.

도 5는 일 실시예에 따른 착용형 디스플레이 장치(400)를 나타내는 블록도이다.5 is a block diagram illustrating a wearable display device 400 according to an exemplary embodiment.

도 5를 참조하면, 착용형 디스플레이 장치(400)는 착용형 디스플레이 통신부(410), 착용형 디스플레이 저장부(420), 착용형 디스플레이 센서부(430), 착용형 디스플레이 제어부(440) 및 착용형 디스플레이 출력부(450)를 포함할 수 있다.5, the wearable display device 400 includes a wearable display communication unit 410, a wearable display storage unit 420, a wearable display sensor unit 430, a wearable display control unit 440, and a wearable display device. A display output unit 450 may be included.

착용형 디스플레이 통신부(410)는 보조 컴퓨팅 장치(300)와 연결될 수 있다.The wearable display communication unit 410 may be connected to the auxiliary computing device 300.

착용형 디스플레이 통신부(410)는 유선통신 및 무선통신 중 적어도 하나의 통신 방식으로 보조 컴퓨팅 장치(300)와 연결될 수 있다. The wearable display communication unit 410 may be connected to the auxiliary computing device 300 through at least one of wired communication and wireless communication.

착용형 디스플레이 저장부(420)는 데이터를 저장할 수 있다.The wearable display storage unit 420 may store data.

착용형 디스플레이 저장부(420)는 착용형 디스플레이 장치(400)의 동작에 필요한 어플리케이션 또는 프로그램을 저장할 수 있다.The wearable display storage unit 420 may store an application or program required for the operation of the wearable display device 400.

또한 착용형 디스플레이 저장부(420)는 외부로부터 획득한 정보를 저장할 수 있다.In addition, the wearable display storage unit 420 may store information obtained from the outside.

착용형 디스플레이 센서부(430)는 착용형 디스플레이 장치(400)의 상태 및 사용자의 입력에 대응하는 신호를 획득할 수 있다.The wearable display sensor unit 430 may acquire a state of the wearable display device 400 and a signal corresponding to a user's input.

일 실시예에 따른 착용형 디스플레이 센서부(430)는 착용형 디스플레이 동작 센서모듈(431) 및 착용형 디스플레이 음향 센서모듈(432)을 포함할 수 있다.The wearable display sensor unit 430 according to an embodiment may include a wearable display motion sensor module 431 and a wearable display acoustic sensor module 432.

착용형 디스플레이 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 상태에 대한 신호를 획득할 수 있다.The wearable display motion sensor module 431 may acquire a signal regarding the state of the wearable display device 400.

일 예로 착용형 디스플레이 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 회전에 대한 회전 정보를 획득할 수 있다.For example, the wearable display motion sensor module 431 may acquire rotation information about rotation of the wearable display device 400.

다른 예로 착용형 디스플레이 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 위치 이동에 대한 이동 정보를 획득할 수 있다.As another example, the wearable display motion sensor module 431 may acquire movement information on the movement of the wearable display device 400.

착용형 디스플레이 동작 센서모듈(431)은 가속도 센서, 자이로스코프, 자이로 센서, MEMS, 지자기 센서, 관성 센서(IMIU), 이미지 센서, 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 또는 전자파 센서 등을 포함할 수 있다.Wearable display motion sensor module 431 is an acceleration sensor, gyroscope, gyro sensor, MEMS, geomagnetic sensor, inertial sensor (IMIU), image sensor, light sensor, illumination sensor, photo sensor, infrared sensor, color sensor, depth sensor Alternatively, it may include an electromagnetic wave sensor or the like.

착용형 디스플레이 음향 센서모듈(432)는 외부로부터 유입되는 소리에 대응하는 신호를 획득할 수 있다.The wearable display acoustic sensor module 432 may acquire a signal corresponding to a sound introduced from the outside.

일 예로 착용형 디스플레이 음향 센서모듈(432) 마이크일 수 있다.As an example, the wearable display acoustic sensor module 432 may be a microphone.

착용형 디스플레이 제어부(440)는 착용형 디스플레이 장치(400)의 동작을 총괄할 수 있다.The wearable display control unit 440 may oversee the operation of the wearable display device 400.

착용형 디스플레이 화면 출력부(450)는 사용자에게 시각적인 정보를 출력할 수 있다.The wearable display screen output unit 450 may output visual information to a user.

일 예로 착용형 디스플레이 화면 출력부(450)는 가상 현실에 대한 이미지를 출력할 수 있다. 또한 다른 예로 착용형 디스플레이 화면 출력부(450)는 3차원 가상 현실에 대한 이미지를 출력할 수 있다.For example, the wearable display screen output unit 450 may output an image for virtual reality. In addition, as another example, the wearable display screen output unit 450 may output an image of 3D virtual reality.

착용형 디스플레이 화면 출력부(450)는 액정 디스플레이(LCD), 전자 종이, LED 디스플레이, OLED 디스플레이, 곡면 디스플레이, 스테레오스코피(양안 시차를 이용한 3차원 디스플레이) 등의 이미지 출력 장치로 제공될 수 있다.The wearable display screen output unit 450 may be provided as an image output device such as a liquid crystal display (LCD), an electronic paper, an LED display, an OLED display, a curved display, and a stereoscope (a three-dimensional display using binocular parallax).

착용형 디스플레이 음향 출력부(460)는 청각적인 정보를 출력할 수 있다.The wearable display sound output unit 460 may output auditory information.

착용형 디스플레이 음향 출력부(460)는 튜너, 재생장치, 앰프, 스피커 등의 음향장치로 제공될 수 있다.The wearable display sound output unit 460 may be provided as a sound device such as a tuner, a playback device, an amplifier, and a speaker.

도 6은 일 실시예에 따른 가상 현실 제어 시스템(10)의 구현을 나타내는 예시도이다.6 is an exemplary diagram showing an implementation of the virtual reality control system 10 according to an embodiment.

도 6을 참조하면 가상 현실 제어 시스템(10)은 적어도 하나의 사용자(800)에게 가상 체험을 위한 추적 영역(600)이 제공될 수 있다.Referring to FIG. 6, the virtual reality control system 10 may provide at least one user 800 with a tracking area 600 for a virtual experience.

또한 추적 영역(600)에서 사용자(800)에게 보조 컴퓨팅 장치(300), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나가 제공될 수 있다.In addition, at least one of the auxiliary computing device 300, the wearable display device 400, and the input device 500 may be provided to the user 800 in the tracking area 600.

또한 사용자(800)에게 제공되는 대상체에는 마커가 제공될 수 있다.In addition, a marker may be provided to an object provided to the user 800.

일 예로 대상체가 착용형 디스플레이 장치(400) 및 입력 장치(500)인 경우 착용형 디스플레이 장치(400) 및 입력 장치(500)에는 서로 상이한 패턴의 마커가 제공될 수 있다.For example, when the object is the wearable display device 400 and the input device 500, markers having different patterns may be provided to the wearable display device 400 and the input device 500.

마커가 제공되는 패턴에 대해서는 후술하도록 한다.A pattern in which a marker is provided will be described later.

또한 추적 영역(600)에는 적어도 하나의 디텍팅 장치(100)가 제공될 수 있다.In addition, at least one detecting device 100 may be provided in the tracking area 600.

일 예로 도 6에 도시된 바와 같이 추적 영역(600)에는 복수의 디텍팅 장치(100)가 제공될 수 있다.For example, as illustrated in FIG. 6, a plurality of detecting devices 100 may be provided in the tracking area 600.

이러한 디텍팅 장치(100)는 추적 영역(600)의 주변을 둘러 미리 정해진 간격으로 이격 되어 제공될 수 있다.The detecting device 100 may surround the tracking area 600 and be spaced apart at predetermined intervals.

또한 디텍팅 장치(100)는 지면으로부터 미리 정해진 높이만큼 이격되어 제공될 수 있다.In addition, the detecting device 100 may be provided spaced apart from the ground by a predetermined height.

또한 디텍팅 장치(100)는 추적 영역(600)을 지향하도록 제공될 수 있다.In addition, the detecting device 100 may be provided to direct the tracking area 600.

디텍팅 장치(100)는 미리 설치된 프레임(F)에 고정되어 설치 될 수 있다.The detecting device 100 may be installed by being fixed to the pre-installed frame F.

프레임(F)은 사용자(800)가 가상 체험할 수 있는 공간을 제공할 수 있다.The frame F may provide a space in which the user 800 can virtually experience.

프레임(F)은 다수의 기둥을 포함할 수 있다.Frame (F) may include a plurality of pillars.

프레임(F)은 복수 개의 트러스로 구성될 수 있다.The frame F may be composed of a plurality of trusses.

일 실시예로, 프레임(F)은 밑면이 다각형 또는 원인 기둥 형상의 공간을 제공할 수 있다.In one embodiment, the frame F may provide a space having a polygonal bottom surface or a columnar shape.

프레임(F)은 디텍팅 장치(100)를 지지할 수 있다.The frame F may support the detecting device 100.

일 예로 도 6에 도시된 바와 같이 추적 영역(600) 주변에는 디텍팅 장치(100)를 설치하기 위한 프레임(F)이 제공될 수 있다. 또한 디텍팅 장치(100)는 프레임(F)에 고정되어 설치될 수 있다.For example, as illustrated in FIG. 6, a frame F for installing the detecting device 100 may be provided around the tracking area 600. In addition, the detecting device 100 may be installed while being fixed to the frame (F).

디텍팅 장치(100)는 추적 영역(600)에 대한 디텍팅 정보를 획득할 수 있다.The detecting device 100 may acquire detecting information on the tracking area 600.

일 예로 디텍팅 장치(100)에 포함된 센싱부(120)는 추적 영역(600) 중 적어도 일부에 대한 디텍팅 정보를 획득할 수 있다.For example, the sensing unit 120 included in the detecting device 100 may acquire detecting information on at least a part of the tracking area 600.

디텍팅 장치(100)는 디텍팅 정보를 서버(200) 또는 보조 컴퓨팅 장치(300)에 제공할 수 있다.The detecting device 100 may provide detecting information to the server 200 or the auxiliary computing device 300.

일 예로 디텍팅 장치(100)는 센싱부(120)가 획득한 디텍팅 정보를 서버(200)에 제공할 수 있다.For example, the detecting device 100 may provide the detecting information acquired by the sensing unit 120 to the server 200.

서버(200)는 디텍팅 정보에 기초하여 대상체의 실시간 위치 정보를 획득할 수 있다.The server 200 may acquire real-time location information of the object based on the detecting information.

도 6에 도시된 바와 같이 추적 영역(600)에 복수의 디텍팅 장치(100)가 제공되는 경우 서버(200) 또는 보조 컴퓨팅 장치(300)는 복수의 디텍팅 장치(100)로부터 디텍팅 정보를 획득할 수 있으며, 획득한 디텍팅 정보들에 기초하여 대상체의 현재 위치 정보를 획득할 수 있다.As shown in FIG. 6, when a plurality of detecting devices 100 are provided in the tracking area 600, the server 200 or the auxiliary computing device 300 receives the detection information from the plurality of detecting devices 100. It may be acquired, and current location information of the object may be acquired based on the acquired detecting information.

또한 서버(200) 또는 보조 컴퓨팅 장치(300)는 대상체들의 위치 정보에 기초하여 적어도 하나의 대상체에 대한 가상 위치 정보를 획득할 수 있다.Also, the server 200 or the auxiliary computing device 300 may obtain virtual location information of at least one object based on location information of the objects.

일 예로 보조 컴퓨팅 장치(300)는 사용자(800)의 현실에서의 위치 정보에 포함된 좌표에 대응하는 가상 현실에서의 좌표를 가상 현실에서 사용자(800)에 대응하는 캐릭터의 가상 위치 정보로 획득할 수 있다.For example, the auxiliary computing device 300 may acquire coordinates in virtual reality corresponding to coordinates included in the location information of the user 800 in reality as virtual location information of a character corresponding to the user 800 in virtual reality. I can.

서버(200)는 대상체의 위치 정보 및 가상 위치 정보 중 적어도 하나를 보조 컴퓨팅 장치(300)로 제공할 수 있다.The server 200 may provide at least one of location information of an object and virtual location information to the auxiliary computing device 300.

보조 컴퓨팅 장치(300)는 획득한 위치 정보에 기초하여 가상 위치 정보를 산출할 수 있다.The auxiliary computing device 300 may calculate virtual location information based on the acquired location information.

또한 보조 컴퓨팅 장치(300)는 가상 위치 정보에 기초하여 가상 현실 이미지를 획득할 수 있다.Also, the auxiliary computing device 300 may acquire a virtual reality image based on the virtual location information.

일 예로, 보조 컴퓨팅 장치(300)는 보조 컴퓨팅 저장부(320)에 저장된 프로그램 또는 어플리케이션에 의해 가상 체험에 필요한 가상 환경이 구축되고 획득한 가상 위치 정보에 기초하여 가상 환경에서 가상 현실 이미지 영역을 획득할 수 있다. 보조 컴퓨팅 장치(300)는 가상 현실 이미지 영역에 대한 가상 현실 이미지를 획득할 수 있다.For example, the auxiliary computing device 300 builds a virtual environment required for a virtual experience by a program or application stored in the auxiliary computing storage unit 320, and acquires a virtual reality image area in the virtual environment based on the acquired virtual location information. can do. The auxiliary computing device 300 may acquire a virtual reality image for the virtual reality image area.

보조 컴퓨팅 장치(300)는 가상 현실 이미지를 착용형 디스플레이 장치(400)로 제공할 수 있다.The auxiliary computing device 300 may provide a virtual reality image to the wearable display device 400.

착용형 디스플레이 장치(400)는 가상 현실 이미지를 사용자(800)에게 출력할 수 있다.The wearable display device 400 may output a virtual reality image to the user 800.

또한 서버(300)는 모니터링 디스플레이(700)로 가상 현실 이미지를 제공할 수 있다.In addition, the server 300 may provide a virtual reality image to the monitoring display 700.

서버(300)는 보조 컴퓨팅 장치(300)로부터 획득한 가상 현실 이미지를 연결된 모니터링 디스플레이(700)로 제공할 수 있다.The server 300 may provide the virtual reality image acquired from the auxiliary computing device 300 to the connected monitoring display 700.

또한 서버(300)가 복수의 보조 컴퓨팅 장치(300)와 연결된 경우 서버(300)는 복수의 보조 컴퓨팅 장치(300) 중 적어도 하나의 보조 컴퓨팅 장치(300)로부터 가상 현실 이미지를 획득할 수 있으며, 획득한 가상 현실 이미지를 연결된 모니터링 디스플레이(700)로 제공할 수 있다.In addition, when the server 300 is connected to the plurality of auxiliary computing devices 300, the server 300 may acquire a virtual reality image from at least one auxiliary computing device 300 among the plurality of auxiliary computing devices 300, The acquired virtual reality image may be provided to the connected monitoring display 700.

일 예로 서버(300)는 서버 입력부(230)를 통하여 서버(300)와 연결된 보조 컴퓨팅 장치(300) 중 가상 현실 이미지를 획득할 보조 컴퓨팅 장치(300)에 대한 선택을 획득할 수 있으며, 선택된 보조 컴퓨팅 장치(300)로부터 획득한 가상 현실 이미지를 모니터링 디스플레이(700)로 제공할 수 있다.For example, the server 300 may obtain a selection of the auxiliary computing device 300 to acquire a virtual reality image from among the auxiliary computing devices 300 connected to the server 300 through the server input unit 230, and the selected auxiliary computing device 300 The virtual reality image acquired from the computing device 300 may be provided to the monitoring display 700.

또한 서버(300)는 보조 컴퓨팅 장치(300)로부터 가상 위치 정보를 획득할 수 있으며, 획득한 가상 위치 정보 및 미리 설정된 가상 환경 내 가상 카메라 위치에 기초하여 가상 현실 이미지를 획득할 수 있다.In addition, the server 300 may obtain virtual location information from the auxiliary computing device 300 and obtain a virtual reality image based on the obtained virtual location information and a virtual camera location in a preset virtual environment.

또한 서버(300)는 획득한 가상 현실 이미지를 연결된 모니터링 디스플레이(700)로 제공할 수 있다.In addition, the server 300 may provide the acquired virtual reality image to the connected monitoring display 700.

모니터링 디스플레이(700)는 서버(300)로부터 획득한 가상 현실 이미지를 출력할 수 있다.The monitoring display 700 may output a virtual reality image acquired from the server 300.

또한 입력 장치(500)는 서버(200), 보조 컴퓨팅 장치(300) 및 착용형 디스플레이 장치(400) 중 적어도 하나와 연결되어 제공될 수 있다.In addition, the input device 500 may be provided in connection with at least one of the server 200, the auxiliary computing device 300, and the wearable display device 400.

또한 입력 장치(500)는 적어도 하나의 마커가 제공될 수 있다.Also, the input device 500 may be provided with at least one marker.

입력 장치(500)는 각각의 사용자(800)가 소지하도록 제공될 수 있다.The input device 500 may be provided to be carried by each user 800.

일 예로 사용자(800)는 입력 장치(400)를 손에 휴대할 수 있다.For example, the user 800 may carry the input device 400 in his or her hand.

일 실시예에 따르면 서버(200)는 디텍팅 장치(100)로부터 획득한 디텍팅 정보에 기초하여 입력 장치(500)의 위치 정보를 획득할 수 있다. 또한 입력 장치(500)의 위치 정보는 추적 영역(600)에서의 입력 장치(500)의 위치 정보 및 입력 장치(500)의 지향 방향 정보 중 적어도 하나를 포함할 수 있다.According to an embodiment, the server 200 may obtain location information of the input device 500 based on the detecting information obtained from the detecting device 100. Also, the location information of the input device 500 may include at least one of location information of the input device 500 in the tracking area 600 and direction information of the input device 500.

보조 컴퓨팅 장치(300)는 입력 장치(500)의 위치 정보에 기초하여 가상 환경에서 입력 장치(500)에 대응하는 가상 오브젝트의 지향 방향을 판단할 수 있다.The auxiliary computing device 300 may determine an orientation direction of a virtual object corresponding to the input device 500 in a virtual environment based on location information of the input device 500.

또한 보조 컴퓨팅 장치(300)는 가상 환경에서 입력 장치(500)에 대응하는 가상 오브젝트의 지향 방향이 고려된 가상 이미지를 획득할 수 있다.In addition, the auxiliary computing device 300 may acquire a virtual image in which the orientation direction of the virtual object corresponding to the input device 500 is considered in the virtual environment.

일 예로 보조 컴퓨팅 장치(300)는 가상 환경에서 입력 장치(500)에 대응하는 총이 입력 장치(500)의 지향 방향에 대응하는 방향으로 지향하는 가상 이미지를 획득할 수 있다.For example, the auxiliary computing device 300 may acquire a virtual image in which a gun corresponding to the input device 500 is directed in a direction corresponding to a direction of the input device 500 in a virtual environment.

또한 보조 컴퓨팅 장치(300)는 가상 환경에서 입력 장치(500)를 통한 사용자(800)의 이벤트 발생 명령에 따른 이벤트 발생이 고려된 가상 이미지를 획득할 수 있다.In addition, the auxiliary computing device 300 may acquire a virtual image in which an event occurrence is considered according to an event generation command of the user 800 through the input device 500 in a virtual environment.

일 예로 보조 컴퓨팅 장치(300)는 입력 장치(500)에 제공되는 스위치가 사용자(800)에 의해 눌린 경우 가상 환경에서 사용자(800)에 대응하는 캐릭터가 소지한 총을 발사하는 가상 이미지를 획득할 수 있다.As an example, when a switch provided to the input device 500 is pressed by the user 800, the auxiliary computing device 300 may acquire a virtual image that fires a gun held by a character corresponding to the user 800 in a virtual environment. I can.

도 7은 일 실시예에 따른 대상체 추적 방법을 나타내는 개략도이다.7 is a schematic diagram illustrating an object tracking method according to an exemplary embodiment.

도 7을 참조하면 대상체 추적 방법은 외부에 제공되는 센서를 이용하여 대상체에 대한 정보를 획득하고, 획득한 대상체에 대한 정보에 기초하여 대상체의 위치를 판단할 수 있다.Referring to FIG. 7, in the object tracking method, information on an object may be obtained using a sensor provided externally, and a location of the object may be determined based on the acquired information on the object.

이하에서는 도 7을 참조하여 대상체가 착용형 디스플레이 장치(400)인 경우를 예시적으로 설명하도록 한다.Hereinafter, a case where the object is the wearable display device 400 will be described by way of example with reference to FIG. 7.

도 7을 참조하면 대상체에는 대상체를 식별하기 위한 마커(M)가 제공될 수 있다.Referring to FIG. 7, a marker M for identifying the object may be provided to the object.

마커(M)는 대상체에 제공되어 대상체를 식별하여 추적하는 기준을 제공할 수 있다.The marker M may be provided to an object to provide a criterion for identifying and tracking the object.

대상체를 추적하기 위해서는 대상체와 대상체가 아닌 구성을 식별해야 할 필요가 있으며, 대상체에 마커(M)가 제공됨으로써 대상체임을 식별 가능할 수 있다.In order to track an object, it is necessary to identify an object and a composition other than the object, and it may be possible to identify the object by providing a marker M to the object.

또한 복수의 대상체가 제공되는 경우 각각의 대상체를 식별할 필요가 있으며, 이를 위하여 하나의 대상체에 제공되는 마커(M)는 다른 대상체에 제공되는 마커(M)와 구별 가능하게 제공될 수 있다.In addition, when a plurality of objects are provided, it is necessary to identify each object, and for this purpose, a marker M provided to one object may be provided to be distinguishable from a marker M provided to another object.

예를 들어 하나의 대상체에 제공되는 마커(M)는 다른 대상체에 제공되는 마커(M)와 상이한 패턴으로 제공될 수 있다.For example, the marker M provided to one object may be provided in a different pattern from the marker M provided to another object.

또한 패턴은 복수의 마커(M)가 상이한 위치에 제공되어 형성되는 패턴 및 하나의 디스플레이 패널 등에 제공되는 광 패턴 등 다양한 의미의 패턴을 포함할 수 있다.In addition, the pattern may include patterns in various meanings, such as a pattern formed by providing a plurality of markers M at different positions and a light pattern provided on one display panel.

패턴은 마커(M)의 마커 좌표에 의해 형성될 수 있다.The pattern may be formed by the marker coordinates of the marker M.

일 예로, 세 개의 마커(M)가 디텍팅 장치(100)에 의해 추적되어 디텍팅 정보로 제1 마커 좌표(MP1-1), 제2 마커 좌표(MP1-2) 및 제3 마커 좌표(MP1-3)가 획득될 수 있고 제1 마커 좌표(MP1-1) 내지 제3 마커 좌표(MP1-3)는 삼각형의 패턴을 형성할 수 있다.As an example, three markers (M) are tracked by the detecting device 100, and the first marker coordinates MP1-1, the second marker coordinates MP1-2, and the third marker coordinates MP1 are used as detecting information. -3) can be obtained, and the first marker coordinates MP1-1 to the third marker coordinates MP1-3 may form a triangular pattern.

또한 마커(M) 는 발광부(110)로부터 송출된 광 신호를 반사하거나 흡수하는 패시브 마커 및 자체적으로 광 신호를 송출할 수 있는 액티브 마커 등으로 제공될 수 있다.In addition, the marker M may be provided as a passive marker that reflects or absorbs an optical signal transmitted from the light emitting unit 110 and an active marker capable of transmitting an optical signal by itself.

일 예로, 패시브 마커는 광 반사 물질이 부착된 입체 모형, 인식 가능한 코드가 인쇄되어 있는 종이, 반사테이프 등을 포함할 수 있다.For example, the passive marker may include a three-dimensional model to which a light reflective material is attached, a paper on which a recognizable code is printed, a reflective tape, or the like.

또한 액티브 마커는 LED 모듈, 전파 발생기 등이 포함할 수 있다.In addition, the active marker may include an LED module, a radio wave generator, and the like.

일 실시예에 따르면 대상체에는 적어도 하나의 마커(M)가 제공될 수 있다.According to an embodiment, at least one marker M may be provided to the object.

일 예로, 가상 현실 제어 시스템(10)이 하나의 대상체에 대해서만 위치를 추적하는 경우에는 대상체에는 하나의 마커(M)만 제공될 수 있다. For example, when the virtual reality control system 10 tracks the location of only one object, only one marker M may be provided to the object.

또한 가상 현실 제어 시스템(10)이 하나의 대상체에 대해서만 위치를 추적하는 경우라 하더라도 대상체에는 복수의 마커(M)가 제공될 수 있다.In addition, even when the virtual reality control system 10 tracks the location of only one object, a plurality of markers M may be provided to the object.

또한 가상 현실 제어 시스템(10)이 복수의 대상체에 대해서 위치를 추적하는 경우, 복수의 대상체 각각을 식별하기 위해서 하나의 대상체에는 복수의 마커(M)가 패턴을 형성하여 제공될 수 있다.In addition, when the virtual reality control system 10 tracks the positions of a plurality of objects, a plurality of markers M may be provided to form a pattern on one object to identify each of the plurality of objects.

일 예로 가상 현실 제어 시스템(10)에서 위치를 추적하는 대상체가 착용형 디스플레이 장치(400) 및 입력 장치(500)의 두 가지로 제공되는 경우 착용형 디스플레이 장치(400)에는 제1 패턴으로 마커(M)가 제공될 수 있고 입력 장치(500)에는 제2 패턴으로 마커가(M) 제공될 수 있다.For example, when an object for tracking a location in the virtual reality control system 10 is provided as two types of the wearable display device 400 and the input device 500, the wearable display device 400 includes a marker ( M) may be provided and a marker (M) may be provided to the input device 500 in a second pattern.

제1 패턴 및 제2 패턴은 서로 상이한 패턴으로, 위치 추적 시 제1 패턴이 검출된 경우 착용형 디스플레이 장치(400)로 식별할 수 있으며, 제2 패턴이 검출된 경우 입력 장치(500)로 식별할 수 있다.The first pattern and the second pattern are different patterns, and when the first pattern is detected during location tracking, it can be identified by the wearable display device 400, and when the second pattern is detected, it is identified by the input device 500. can do.

이상에서는 복수의 대상체가 제공되는 경우 복수의 각각을 식별하기 위하여 복수의 대상체 각각에 제공되는 마커(M)들이 패턴을 형성하여 제공되는 것으로 설명하였으나, 이에 한정되는 것은 아니며, 하나의 대상체가 제공되는 경우에도 대상체에 제공되는 마커(M)들이 패턴을 형성하여 제공될 수 있다.In the above, when a plurality of objects are provided, it has been described that the markers M provided to each of the plurality of objects are provided by forming a pattern to identify each of the plurality of objects, but the present invention is not limited thereto. Even in the case, the markers M provided to the object may be provided by forming a pattern.

또한 대상체에 제공되는 마커(M)의 패턴은 사용자(800)의 식별에도 사용될 수 있다.In addition, the pattern of the marker M provided to the object may be used for identification of the user 800.

일 예로 제1 패턴은 제1 사용자가 착용한 착용형 디스플레이 장치로 식별될 수 있으며, 제2 패턴은 제1 사용자가 소지한 입력 장치로 식별될 수 있다. 또한 제3 패턴은 제2 사용자가 착용한 착용형 디스플레이 장치로 식별될 수 있으며, 제4 패턴은 제2 사용자가 소지한 입력 장치로 식별될 수 있다.For example, the first pattern may be identified as a wearable display device worn by the first user, and the second pattern may be identified as an input device possessed by the first user. In addition, the third pattern may be identified as a wearable display device worn by the second user, and the fourth pattern may be identified as an input device possessed by the second user.

대상체의 추적에 대해서 설명하면 서버(200)는 디텍팅 장치(100)로부터 대상체에 대한 정보를 획득할 수 있으며, 획득한 정보에 기초하여 대상체의 위치에 대한 디텍팅 정보를 획득할 수 있다. 또한 서버(200)는 디텍팅 정보에 기초하여 대상체의 위치 정보를 산출할 수 있다. Regarding tracking of an object, the server 200 may obtain information on the object from the detecting device 100 and may obtain detection information on the location of the object based on the obtained information. In addition, the server 200 may calculate location information of an object based on the detecting information.

디텍팅 장치(100)가 서버(200)로 대상체에 대한 정보를 제공하는 기술에 대해서 설명하면 디텍팅 장치(100)의 발광부(110)는 추적 영역(600)의 적어도 일부 영역에 신호를 발신할 수 있다.When describing a technology in which the detecting device 100 provides information on an object to the server 200, the light emitting unit 110 of the detecting device 100 transmits a signal to at least a partial area of the tracking area 600. can do.

일 예로 발광부(110)가 적외선 LED인 경우 발광부(100)는 추적 영역(600)의 적어도 일부 영역에 적외선 신호를 발신할 수 있다.For example, when the light-emitting unit 110 is an infrared LED, the light-emitting unit 100 may transmit an infrared signal to at least a partial area of the tracking area 600.

또한 센싱부(120)는 외부로부터 획득한 정보를 서버(200)로 제공할 수 있다.In addition, the sensing unit 120 may provide information obtained from the outside to the server 200.

일 예로 센싱부(120)가 카메라인 경우 센싱부(120)는 외부로부터 획득한 이미지 신호를 서버(200)로 제공할 수 있다.For example, when the sensing unit 120 is a camera, the sensing unit 120 may provide an image signal obtained from the outside to the server 200.

도 7에는 하나의 센싱부(120)만 도시되어 있으나, 이에 한정되는 것은 아니며, 앞서 도 6에서 설명된 바와 같이 센싱부(120)는 복수로 제공될 수 있으며, 복수의 센싱부(120) 각각은 획득한 정보를 서버(200)로 제공할 수 있다.Although only one sensing unit 120 is shown in FIG. 7, it is not limited thereto, and as described in FIG. 6, a plurality of sensing units 120 may be provided, and each of the plurality of sensing units 120 May provide the obtained information to the server 200.

서버(200)는 센싱부(120)로부터 획득한 정보에 기초하여 대상체의 위치를 판단할 수 있다.The server 200 may determine the location of the object based on the information acquired from the sensing unit 120.

서버(200)는 센싱부(120)로부터 획득한 정보에 마커(M)에 대한 정보가 포함되어 있는지 여부를 판단할 수 있다. 또한 서버(200)는 센싱부(120)로부터 획득한 정보에 마커(M)에 대한 정보가 포함된 경우 마커(M)의 패턴에 기초하여 대상체를 식별할 수 있다.The server 200 may determine whether information about the marker M is included in the information acquired from the sensing unit 120. In addition, when information about the marker M is included in the information acquired from the sensing unit 120, the server 200 may identify an object based on the pattern of the marker M.

일 예로 서버(200)는 센싱부(120)로부터 획득한 정보에 제1 패턴이 포함된 경우 착용형 디스플레이 장치(400)임을 식별할 수 있다.For example, when the first pattern is included in the information acquired from the sensing unit 120, the server 200 may identify the wearable display device 400.

하나의 센싱부(120)로부터 획득한 정보에는 복수의 패턴이 존재할 수 있으며, 서버(200)는 복수의 패턴을 식별할 수 있다. A plurality of patterns may exist in the information acquired from one sensing unit 120, and the server 200 may identify a plurality of patterns.

이러한 패턴은 서버(200)에 미리 저장될 수 있으며, 서버(200)는 획득한 정보에 미리 저장된 패턴이 존재하는 경우 해당 패턴이 존재하는 것으로 판단할 수 있으며, 해당 패턴에 대응하는 대상체를 식별할 수 있다.Such a pattern may be stored in advance in the server 200, and the server 200 may determine that the pattern exists when a previously stored pattern exists in the acquired information, and to identify an object corresponding to the pattern. I can.

한편, 서버(200)에 미리 저장된 패턴 각각에 대해 대표점(RP)이 설정될 수 있다.Meanwhile, a representative point RP may be set for each pattern previously stored in the server 200.

대표점(RP)은 패턴을 대표하는 점(point)일 수 있다.The representative point RP may be a point representing a pattern.

대표점(RP)은 패턴 밖에 존재할 수 있다.The representative point RP may exist outside the pattern.

일 예로, 대표점(RP)은 제1 마커 좌표(MK1-1), 제2 마커 좌표(MK1-2) 및 제3 마커 좌표(MK1-3)가 이루는 평면으로부터 일정 거리 떨어진 점으로 설정될 수 있다.For example, the representative point RP may be set as a point separated by a predetermined distance from a plane formed by the first marker coordinates MK1-1, the second marker coordinates MK1-2, and the third marker coordinates MK1-3. have.

복수의 마커(M)를 통한 패턴이 제공되는 경우 패턴에 포함된 복수의 마커(M)에 대한 좌표 정보가 획득되며, 서버(200)는 패턴을 대표하는 대표점(RP)을 패턴이 제공된 대상체의 위치 정보로 획득할 수 있다.When a pattern through a plurality of markers (M) is provided, coordinate information for a plurality of markers (M) included in the pattern is obtained, and the server 200 refers to a representative point (RP) representing the pattern as an object provided with the pattern. It can be obtained with the location information of.

따라서, 서버(200)는 대상체의 위치 정보를 획득함으로써 대상체를 추적할 수 있다.Accordingly, the server 200 may track the object by obtaining location information of the object.

일 실시예에 따른 대상체의 위치 추적이 상술한 방법으로 한정되는 것은 아니며, 선택에 따라 다양한 방식의 위치 추적 방법이 사용될 수 있다.The location tracking of an object according to an embodiment is not limited to the above-described method, and various types of location tracking methods may be used according to selection.

일 실시예에 따르면 센싱부(120)가 이미지 센서로 제공되는 경우 센싱부(120)는 외부에 대한 이미지를 획득할 수 있으며, 획득한 이미지에 기초하여 대상체에 대한 위치 정보를 획득할 수 있다..According to an embodiment, when the sensing unit 120 is provided as an image sensor, the sensing unit 120 may acquire an image of the outside, and may acquire location information of an object based on the acquired image. .

일 예로 도 7에 도시된 센싱부(120)가 착용형 디스플레이 장치(400)에 제공되는 경우 센싱부(120)는 착용형 디스플레이 장치(400)의 일측에 제공되어 착용형 디스플레이 장치(400)의 내부에서 외부 방향으로 지향하여 착용형 디스플레이 장치(400)의 외부에 대한 이미지 정보를 획득할 수 있다.For example, when the sensing unit 120 shown in FIG. 7 is provided to the wearable display device 400, the sensing unit 120 is provided on one side of the wearable display device 400 to Image information about the outside of the wearable display device 400 may be obtained by oriented from the inside to the outside.

또한 착용형 디스플레이 장치(400)는 보조 컴퓨팅 장치(300)로 획득한 이미지 정보를 제공할 수 있다.In addition, the wearable display device 400 may provide image information acquired by the auxiliary computing device 300.

일 실시예에 따르면 착용형 디스플레이 장치(400)는 미리 정해진 주기로 보조 컴퓨팅 장치(300)로 이미지 정보를 제공할 수 있다.According to an embodiment, the wearable display device 400 may provide image information to the auxiliary computing device 300 at a predetermined period.

일 예로 착용형 디스플레이 장치(400)는 센싱부(120)를 통하여 이미지 정보를 획득하는 주기와 동일한 주기로 보조 컴퓨팅 장치(300)로 이미지 정보를 제공할 수 있다.For example, the wearable display device 400 may provide image information to the auxiliary computing device 300 at the same period as the period in which image information is acquired through the sensing unit 120.

보조 컴퓨팅 장치(300)는 획득한 이미지 정보로부터 적어도 하나의 특징점을 획득할 수 있다.The auxiliary computing device 300 may acquire at least one feature point from the acquired image information.

일 실시예예 따르면 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물을 특징점으로 획득할 수 있다.According to an embodiment, the auxiliary computing device 300 may acquire an object included in image information as a feature point.

일 실시예에 따르면 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물 중 미리 정해진 크기 이상의 사물을 특징점으로 획득할 수 있다.According to an embodiment, the auxiliary computing device 300 may acquire, as a feature point, an object having a predetermined size or more among objects included in the image information.

보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물을 식별할 수 있으며, 식별된 사물 중 미리 정해진 크기 이상의 사물을 특징점으로 획득할 수 있다. 또한 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물이 차지하는 픽셀 수에 기초하여 사물의 크기를 판단할 수 있다.The auxiliary computing device 300 may identify an object included in the image information, and acquire an object having a predetermined size or more among the identified objects as a feature point. In addition, the auxiliary computing device 300 may determine the size of the object based on the number of pixels occupied by the object included in the image information.

일 실시예에 따르면 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물 중 미리 설정된 유형의 사물을 특징점으로 획득할 수 있다.According to an embodiment, the auxiliary computing device 300 may acquire a preset type of object among objects included in image information as a feature point.

일 예로 공 유형의 사물이 미리 설정된 경우 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 야구공, 축구공 및 농구공 등과 같은 공 유형의 사물을 특징점으로 획득할 수 있다.For example, when a ball-type object is preset, the auxiliary computing device 300 may acquire a ball-type object, such as a baseball, soccer ball, and basketball, included in the image information as a feature point.

일 실시예에 따르면 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 마커를 특징점으로 획득할 수 있다.According to an embodiment, the auxiliary computing device 300 may acquire a marker included in image information as a feature point.

보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 바코드, QR 코드와 같은 마커를 식별하여 특징점으로 획득할 수 있다.The auxiliary computing device 300 may identify a marker such as a barcode or a QR code included in the image information and obtain it as a feature point.

또한 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 특징점의 위치를 판단할 수 있다.Also, the auxiliary computing device 300 may determine the location of the feature point included in the image information.

보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)로부터 획득한 이미지 정보 들에 기초하여 특징점의 위치 변화 및 크기 변화 중 적어도 하나를 판단할 수 있다.The auxiliary computing device 300 may determine at least one of a change in position and a change in size of the feature point based on image information acquired from the wearable display device 400.

보조 컴퓨팅 장치(300)는 특징점의 위치 변화 방향, 위치 변화량 및 크기 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.The auxiliary computing device 300 may determine the moving direction and the moving distance of the wearable display device 400 based on the position change direction, the position change amount, and the size change amount of the feature point.

일 예로 보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)로부터 획득한 이미지 정보 들에 기초하여 특징점의 위치 변화를 판단할 수 있다.For example, the auxiliary computing device 300 may determine a change in the location of the feature point based on image information acquired from the wearable display device 400.

보조 컴퓨팅 장치(300)는 특징점의 위치 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.The auxiliary computing device 300 may determine a moving direction and a moving distance of the wearable display device 400 based on the amount of change in the position of the feature point.

일 예로 보조 컴퓨팅 장치(300)는 제1 시점에서 획득한 제1 이미지 정보에 포함된 특징점의 위치와 제1 시점보다 이후 시점인 제2 시점에서 획득한 제2 이미지 정보에 포함된 특징점의 위치를 비교한 결과 제1 이미지 정보의 특징점의 위치가 제2 이미지 정보에서는 우측으로 이동한 경우 착용형 디스플레이 장치(400)가 좌측으로 이동한 것으로 판단할 수 있다.For example, the auxiliary computing device 300 may determine the location of the feature point included in the first image information acquired at the first point of view and the location of the feature point included in the second image information acquired at a second point of view later than the first point of view. As a result of the comparison, when the position of the feature point of the first image information moves to the right in the second image information, it may be determined that the wearable display device 400 has moved to the left.

또한 보조 컴퓨팅 장치(300)는 특징점의 위치가 변경된 경우 특징점의 이동 거리를 판단할 수 있다.In addition, the auxiliary computing device 300 may determine the moving distance of the feature point when the location of the feature point is changed.

보조 컴퓨팅 장치(300)는 제1 이미지 정보에서의 특징점의 위치와 제2 이미지 정보에서의 특징점의 위치 사이의 픽셀 수에 기초하여 특징점의 이동 거리를 판단할 수 있다.The auxiliary computing device 300 may determine the moving distance of the feature point based on the number of pixels between the location of the feature point in the first image information and the location of the feature point in the second image information.

또는 보조 컴퓨팅 장치(300)는 제1 이미지 정보에서의 특징점의 좌표와 제2 이미지에서의 특징점의 좌표에 기초하여 특징점의 이동 거리를 판단할 수 있다.Alternatively, the auxiliary computing device 300 may determine the moving distance of the feature point based on the coordinates of the feature point in the first image information and the coordinates of the feature point in the second image.

또한 일 예로 보조 컴퓨팅 장치(300)는 크기 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.In addition, as an example, the auxiliary computing device 300 may determine a moving direction and a moving distance of the wearable display device 400 based on the amount of change in size.

보조 컴퓨팅 장치(300)는 제1 시점에서 획득한 제1 이미지 정보에 포함된 특징점의 크기와 제1 시점보다 이후 시점인 제2 시점에서 획득한 제2 이미지 정보에 포함된 특징점의 크기를 비교한 결과 제1 이미지 정보의 특징점의 위치가 제2 이미지 정보에서는 우측으로 이동한 경우 착용형 디스플레이 장치(400)가 좌측으로 이동한 것으로 판단할 수 있다.The auxiliary computing device 300 compares the size of the feature point included in the first image information acquired at the first view point and the size of the feature point included in the second image information acquired at a second view point later than the first view point. As a result, when the position of the feature point of the first image information moves to the right in the second image information, it may be determined that the wearable display device 400 has moved to the left.

따라서 보조 컴퓨팅 장치(300)는 미리 설정된 초기 위치로부터 대상체의 상대적인 위치 변화에 기초하여 대상체의 위치를 추적할 수 있다.Accordingly, the auxiliary computing device 300 may track the position of the object based on a change in the relative position of the object from the preset initial position.

도 8은 일 실시예에 따른 가상 현실 이미지(452)가 착용형 디스플레이 장치(400)를 통해 출력되는 것을 나타내는 도면이다.8 is a diagram illustrating that a virtual reality image 452 is output through the wearable display device 400 according to an exemplary embodiment.

도 8을 참조하면, 가상 현실 제공 시스템(10)은 착용형 디스플레이 장치(400)를 통하여 사용자(800)에게 가상 환경의 적어도 일부에 대한 가상 현실 이미지(452)를 제공할 수 있다.Referring to FIG. 8, the virtual reality providing system 10 may provide a virtual reality image 452 for at least a portion of a virtual environment to a user 800 through the wearable display device 400.

가상 환경은 배경, 가상 구조, 가상 오브젝트 및 캐릭터 등을 포함할 수 있다.The virtual environment may include a background, a virtual structure, a virtual object, and a character.

가상 환경은 보조 컴퓨팅 장치(300)에 의해 도 6에서 도시된 같이 현실에서 추적된 대상체의 위치 정보를 이용하여 구축될 수 있다.The virtual environment may be established by the auxiliary computing device 300 using location information of an object tracked in reality as illustrated in FIG. 6.

일 예로 가상 환경에는 사용자(800)에 대응하는 캐릭터가 제공되되, 상기 캐릭터는 사용자(800)가 착용한 착용형 디스플레이 장치(400) 및 입력 장치(500)를 추적하여 획득된 위치 정보에 기반하여 스켈레톤, 폴리곤 메쉬 등을 이용하는 컴퓨터 그래픽 기술을 통해 생성될 수 있다.For example, a character corresponding to the user 800 is provided in a virtual environment, and the character is based on location information obtained by tracking the wearable display device 400 and the input device 500 worn by the user 800 It can be generated through computer graphics technology using skeletons, polygon meshes, and the like.

더 구체적으로, 보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(300) 및 입력 장치(500)의 가상 위치 정보를 이용하여 캐릭터의 머리, 손에 관한 렌더링 이미지 등을 생성하고 생성된 렌더링 이미지를 기준으로 다른 신체 부위에 관한 렌더링 이미지를 생성함으로써 가상 환경에 캐릭터를 구현할 수 있다. 결과적으로, 사용자(800)의 신체부위 중 디텍팅 장치(100)에 의해 추적되지 않거나 위치 정보가 획득되지 않는 부분도 가상 환경에서 렌더링 이미지로 표시될 수 있다.More specifically, the auxiliary computing device 300 generates a rendered image of a character's head and hands by using virtual location information of the wearable display device 300 and the input device 500, and the generated rendered image is referenced. As a result, a character can be implemented in a virtual environment by creating a rendered image for other body parts. As a result, a portion of the body part of the user 800 that is not tracked by the detecting device 100 or where location information is not obtained may also be displayed as a rendered image in a virtual environment.

다른 예로 가상 환경에는 사용자(800)가 소지한 입력 장치(500)에 대응하는 손, 가상 환경 내에서 캐릭터에게 필요한 도구 등의 가상 오브젝트가 제공될 수 있다.As another example, a virtual object such as a hand corresponding to the input device 500 held by the user 800 and a tool necessary for a character within the virtual environment may be provided in the virtual environment.

또 다른 예로, 가상 오브젝트는 가상 환경 내에 구현되어 가상 체험 중에 사용자(800)가 이용할 수 있는 오브젝트를 포함할 수 있다.As another example, the virtual object may include an object that is implemented in a virtual environment and can be used by the user 800 during a virtual experience.

가상 구조는 가상 환경의 미리 정해진 위치에 제공될 수 있다.The virtual structure may be provided at a predetermined location in the virtual environment.

또한 가상 구조는 캐릭터가 이용함으로써 미리 설정된 기능이 실행되거나 미리 설정된 효과가 발생할 수 있다.In addition, the virtual structure may be used by a character to execute a preset function or generate a preset effect.

가상 구조에 대해서는 추후에 보다 구체적으로 설명하도록 한다.The virtual structure will be described in more detail later.

캐릭터는 보조 컴퓨팅 장치(300)에 미리 저장된 어플리케이션 또는 프로그램에 의해 제공되는 NPC 캐릭터 및 사용자 캐릭터를 포함할 수 있다.The character may include an NPC character and a user character provided by an application or program stored in advance in the auxiliary computing device 300.

가상 환경에 있어서 캐릭터 또는 오브젝트의 위치 정보는 가상 위치 정보로 나타낼 수 있다.Position information of a character or object in a virtual environment may be represented as virtual position information.

한편, 현실에서 위치 정보는 대상체의 위치 좌표 및 지향 방향 중 적어도 하나를 포함할 수 있다.Meanwhile, in reality, the location information may include at least one of a location coordinate and a direction of an object.

일 예로 위치 정보는 추적 영역(600) 상에 위치한 대상체의 위치 좌표일 수 있다.For example, the location information may be a location coordinate of an object located on the tracking area 600.

서버(200)는 추적 영역(600)에 대한 좌표값을 미리 저장할 수 있다.The server 200 may store coordinate values for the tracking area 600 in advance.

서버(200)는 추적 영역(600)에 대한 좌표계(coordinates system)를 미리 저장할 수 있다. 좌표계는 평면 좌표계, 직교 좌표계, 극좌표계, 공간 좌표계, 원기둥 좌표계, 구면좌표계 중 적어도 하나일 수 있다.The server 200 may pre-store a coordinates system for the tracking area 600. The coordinate system may be at least one of a planar coordinate system, a rectangular coordinate system, a polar coordinate system, a spatial coordinate system, a cylindrical coordinate system, and a spherical coordinate system.

서버(200)는 디텍팅 정보 및 추적 영역(600)에 대한 좌표계에 기초하여 대상체의 추적 영역(600)에서의 좌표값을 획득할 수 있다. 또한 서버(200)는 획득한 대상체의 추적 영역(600)에서의 좌표값을 위치 정보로 획득할 수 있다.The server 200 may obtain a coordinate value in the tracking area 600 of the object based on the detecting information and a coordinate system for the tracking area 600. In addition, the server 200 may acquire a coordinate value of the acquired object in the tracking area 600 as location information.

일 예로 서버(200)는 디텍팅 정보가 적외선 이미지인 경우 적외선 이미지에서의 대상체에 대응하는 마커의 위치 및 적외선 이미지를 제공한 디텍팅 장치(100)의 설치 위치에 기초하여 마커의 추적 영역(600)에서의 좌표값을 획득할 수 있다. 또한 서버(200)는 마커의 추적 영역(600)에서의 좌표값에 기초하여 마커가 형성하는 패턴을 판단할 수 있으며, 마커가 형성하는 패턴에 대응하는 대상체를 식별할 수 있다. 또한 서버(200)는 마커가 형성하는 패턴 및 마커의 추적 영역(600)에서의 좌표값에 기초하여 대상체의 대표점(RP)을 획득할 수 있으며, 대상체의 대표점(RP)의 좌표값을 대상체의 위치 정보로 획득할 수 있다.For example, when the detecting information is an infrared image, the server 200 may determine the tracking area 600 of the marker based on the location of the marker corresponding to the object in the infrared image and the installation location of the detecting device 100 providing the infrared image. ) Can be obtained. In addition, the server 200 may determine a pattern formed by the marker based on a coordinate value in the tracking area 600 of the marker, and may identify an object corresponding to the pattern formed by the marker. In addition, the server 200 may obtain the representative point RP of the object based on the pattern formed by the marker and the coordinate value in the tracking area 600 of the marker, and calculate the coordinate value of the representative point RP of the object. It can be obtained as the location information of the object.

서버(200)는 위치 정보를 보조 컴퓨팅 장치(300)로 제공할 수 있다.The server 200 may provide location information to the auxiliary computing device 300.

보조 컴퓨팅 장치(300)는 가상 환경에 대한 좌표값을 미리 저장할 수 있다.The auxiliary computing device 300 may store coordinate values for the virtual environment in advance.

보조 컴퓨팅 장치(300)는 가상 환경에 대한 좌표계(coordinates system)를 미리 저장할 수 있다. 좌표계는 평면 좌표계, 직교 좌표계, 극좌표계, 공간 좌표계, 원기둥 좌표계, 구면좌표계 중 적어도 하나일 수 있다.The auxiliary computing device 300 may pre-store a coordinates system for the virtual environment. The coordinate system may be at least one of a planar coordinate system, a rectangular coordinate system, a polar coordinate system, a spatial coordinate system, a cylindrical coordinate system, and a spherical coordinate system.

보조 컴퓨팅 장치(300)는 위치 정보 및 가상 환경에 대한 좌표계에 기초하여 대상체의 가상 환경에서의 좌표값을 획득할 수 있다. 또한 보조 컴퓨팅 장치(300)는 획득한 대상체의 가상 환경에서의 좌표값을 가상 위치 정보로 획득할 수 있다.The auxiliary computing device 300 may acquire a coordinate value in the virtual environment of the object based on location information and a coordinate system for the virtual environment. In addition, the auxiliary computing device 300 may acquire a coordinate value of the acquired object in a virtual environment as virtual location information.

일 예로 보조 컴퓨팅 장치(300)는 위치 정보에 포함된 좌표값에 대응하는 가상 환경에서의 좌표값을 획득할 수 있으며, 획득한 가상 환경에서의 좌표값을 가상 위치 정보로 획득할 수 있다.For example, the auxiliary computing device 300 may acquire a coordinate value in a virtual environment corresponding to the coordinate value included in the location information, and may acquire the obtained coordinate value in the virtual environment as the virtual location information.

보조 컴퓨팅 장치(300)는 가상 위치 정보에 기초하여 사용자(800)에게 출력할 가상 현실 이미지(452)를 획득할 수 있다.The auxiliary computing device 300 may acquire a virtual reality image 452 to be output to the user 800 based on the virtual location information.

가상 현실 이미지(452)는 착용형 디스플레이 장치(400)를 통해 사용자(800)에게 제공되는 가상 현실에 대한 영상의 적어도 일부를 구성할 수 있다.The virtual reality image 452 may constitute at least a part of an image of virtual reality provided to the user 800 through the wearable display device 400.

일 실시예에 따르면 보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)의 가상 위치 정보를 가상 카메라의 가상 위치 정보로 획득할 수 있으며, 가상 카메라의 가상 위치 정보 및 가상 카메라의 지향 방향에 기초하여 가상 카메라의 시야 범위(451)를 획득할 수 있다.According to an embodiment, the auxiliary computing device 300 may obtain virtual location information of the wearable display device 400 as virtual location information of a virtual camera, based on the virtual location information of the virtual camera and the orientation direction of the virtual camera. Thus, the field of view 451 of the virtual camera may be obtained.

보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)의 위치 정보에 포함된 지향 방향에 기초하여 가상 카메라의 지향 방향을 획득할 수 있다.The auxiliary computing device 300 may obtain the orientation direction of the virtual camera based on the orientation direction included in the location information of the wearable display device 400.

또한 보조 컴퓨팅 장치(300)는 가상 카메라의 지향 방향으로 미리 정해진 영역을 가상 카메라의 시야 범위(451)로 획득할 수 있다.Also, the auxiliary computing device 300 may acquire a predetermined area in the direction of the virtual camera as the viewing range 451 of the virtual camera.

한편, 가상 카메라의 시야 범위(451)는 착용형 디스플레이 장치(400)의 가상 위치 정보 이외에도 가상 환경 내 특정 가상 위치 정보에 의해서도 획득될 수 있다.Meanwhile, the field of view 451 of the virtual camera may be obtained not only by the virtual location information of the wearable display device 400 but also by specific virtual location information in the virtual environment.

또한 보조 컴퓨팅 장치(300)는 가상 환경에서 가상 카메라의 시야 범위(451)에 대응하는 가상 현실 이미지(452)를 획득할 수 있다.Also, the auxiliary computing device 300 may acquire a virtual reality image 452 corresponding to the viewing range 451 of the virtual camera in a virtual environment.

보조 컴퓨팅 장치(300)는 가상 현실 이미지(452)를 착용형 디스플레이 장치(400)로 제공할 수 있다.The auxiliary computing device 300 may provide the virtual reality image 452 to the wearable display device 400.

착용형 디스플레이 장치(400)는 획득한 가상 현실 이미지(452)를 착용형 디스플레이 화면 출력부(450)를 통하여 사용자(800)에게 출력할 수 있다. 가상 현실 이미지(452)가 연속적으로 출력됨으로써 사용자(800)는 가상 현실 또는 가상 체험을 제공 받을 수 있다.The wearable display device 400 may output the acquired virtual reality image 452 to the user 800 through the wearable display screen output unit 450. As the virtual reality image 452 is continuously output, the user 800 may be provided with virtual reality or virtual experience.

이하에서는 도 9 내지 도 23을 참조하여 가상 현실 제어 시스템(10)에 의해 적어도 둘 이상의 사용자(800)에게 가상 현실 또는 가상 체험이 제공 될 때, 복수의 사용자(800) 각각의 행위가 미리 설정된 규칙을 만족하는 경우 미리 설정된 효과나 기능이 발생하거나 수행되는 협업 시스템에 대해 설명한다.Hereinafter, when virtual reality or a virtual experience is provided to at least two users 800 by the virtual reality control system 10 with reference to FIGS. 9 to 23, the actions of each of the plurality of users 800 are preset rules. If satisfied, a description will be given of a collaboration system in which a preset effect or function occurs or is performed.

이하에서 서술될 가상 공간, 가상 현실, 가상 체험은 동일한 의미로 혼용될 수 있고, 마찬가지로 가상 위치 정보와 가상 위치가 동일한 의미로 혼용될 수 있다.Virtual space, virtual reality, and virtual experience to be described below may be used interchangeably with the same meaning, and similarly, virtual location information and virtual location may be mixed with the same meaning.

협업 시스템은 가상 현실을 제공 받는 적어도 둘 이상의 사용자(800)의 위치 또는 행위 및 절대적 또는 상대적 시간 중 적어도 하나를 고려하여 상기 가상 현실에 협업 효과를 발생시키거나 협업 기능이 수행되는 방법을 포함할 수 있다. 이 때, 사용자(800)의 위치 변화 또는 행위는 가상 공간 내에서 사용자(800)에 대응하는 캐릭터(900)의 가상 위치 변화 또는 행위로 구현될 수 있다.The collaboration system may include a method of generating a collaboration effect in the virtual reality or performing a collaboration function in consideration of at least one of the locations or actions of at least two users 800 receiving virtual reality and at least one of absolute or relative time. have. In this case, the change in the location or action of the user 800 may be implemented as a change in the virtual location or action of the character 900 corresponding to the user 800 in the virtual space.

협업 시스템은 보조 컴퓨팅 장치(300) 및 서버(200) 중 적어도 어느 하나에 의해 착용형 디스플레이 장치(400)를 통해 사용자(800)에게 제공되는 가상 현실 이미지(452)를 변경시킴으로써 구현될 수 있다.The collaboration system may be implemented by changing the virtual reality image 452 provided to the user 800 through the wearable display device 400 by at least one of the auxiliary computing device 300 and the server 200.

일 예로, 둘 이상의 사용자(800)가 일정 시간이 경과하기 전에 각각 특정 위치로 이동하는 경우 착용형 디스플레이 장치(400)에 가상 현실 내 가상 오브젝트가 파괴되는 효과를 출력되거나 각 사용자(800)가 일정 시간 간격을 두고 입력 장치(500)를 위에서 아래로 움직이는 동작을 수행하는 경우 착용형 디스플레이 장치(400)에 출력되는 가상 현실 내 가상 구조가 움직이는 기능이 수행될 수 있다.For example, when two or more users 800 move to a specific location before a certain time elapses, an effect of destroying a virtual object in the virtual reality is output on the wearable display device 400 or each user 800 is When an operation of moving the input device 500 from top to bottom at intervals of time is performed, a function of moving a virtual structure in a virtual reality output to the wearable display device 400 may be performed.

도 9 내지 도 12는 일 실시예에 따른 복수의 사용자(800)가 도 6에서 서술된 추적 영역(600) 내 미리 설정된 위치로 이동하는 경우 가상 현실 내 대상 오브젝트(V1)에 효과가 발생하는 것을 나타내는 도면이다.9 to 12 show that an effect occurs on a target object V1 in a virtual reality when a plurality of users 800 according to an embodiment move to a preset position in the tracking area 600 described in FIG. 6. It is a drawing showing.

이하에서 사용자(800)는 제1 사용자(801) 및 제2 사용자(802)를 포함할 수 있고, 캐릭터(900)는 제1 캐릭터(901) 및 제2 캐릭터(902)를 포함할 수 있고, 보조 컴퓨팅 장치(300)는 제1 보조 컴퓨팅 장치(301) 및 제2 보조 컴퓨팅 장치(302)를 포함할 수 있으며, 착용형 디스플레이 장치(400)는 제1 착용형 디스플레이 장치(401) 및 제2 착용형 디스플레이 장치(402)를 포함할 수 있고, 입력 장치(500)는 제1 입력 장치(501) 및 제2 입력 장치(502)를 포함할 수 있다. 또한, 보다 상세한 설명을 위해 앞서 서술한 내용과 중복되는 부분은 생략될 수 있다.In the following, the user 800 may include a first user 801 and a second user 802, and the character 900 may include a first character 901 and a second character 902, The auxiliary computing device 300 may include a first auxiliary computing device 301 and a second auxiliary computing device 302, and the wearable display device 400 includes a first wearable display device 401 and a second auxiliary computing device 302. A wearable display device 402 may be included, and the input device 500 may include a first input device 501 and a second input device 502. In addition, for a more detailed description, portions overlapping with the above-described contents may be omitted.

도 9는 일 실시예에 따른 협업이 이루어지기 전 현실 공간을 나타내는 예시도이다.9 is an exemplary diagram showing a real space before collaboration according to an embodiment.

도 9를 참조하면, 추적 영역(600)에서 제1 사용자(801) 및 제2 사용자(802)에게 가상 현실 제어 시스템(10)에 의해 가상 현실이 제공될 수 있다.Referring to FIG. 9, virtual reality may be provided to the first user 801 and the second user 802 in the tracking area 600 by the virtual reality control system 10.

제1 사용자(801) 및 제2 사용자(802)는 하나의 추적 영역(600)을 공유하면서 동일한 가상 공간을 공유하거나 각각 다른 추적 영역(600)에서 동일한 가상 공간을 제공받을 수 있다.The first user 801 and the second user 802 may share the same virtual space while sharing one tracking area 600, or may be provided with the same virtual space in different tracking areas 600.

일 예로, 제1 사용자(801) 및 제2 사용자(802)는 같은 현실 공간에서 추적 영역(600)을 공유하거나 분리된 현실 공간에서 각각 다른 추적 영역(600)을 제공받은 상태에서 서버(200), 보조 컴퓨팅 장치(300) 및 착용형 디스플레이 장치(400) 등을 통해 동일한 가상 공간을 공유할 수 있다.For example, the first user 801 and the second user 802 share the tracking area 600 in the same real space, or the server 200 in a state in which different tracking areas 600 are provided in separate real spaces. , The same virtual space may be shared through the auxiliary computing device 300 and the wearable display device 400.

도 6에서의 사용자(800)와 같이 제1 사용자(801)에게 제1 보조 컴퓨팅 장치(301), 제1 착용형 디스플레이 장치(401) 및 제1 입력 장치(501) 중 적어도 하나가 제공될 수 있다. 마찬가지로 제2 사용자(802)에게 제2 보조 컴퓨팅 장치(302), 제2 착용형 디스플레이 장치(402) 및 제2 입력 장치(502) 중 적어도 하나가 제공될 수 있다.Like the user 800 in FIG. 6, at least one of a first auxiliary computing device 301, a first wearable display device 401, and a first input device 501 may be provided to the first user 801. have. Similarly, at least one of the second auxiliary computing device 302, the second wearable display device 402, and the second input device 502 may be provided to the second user 802.

추적 영역(600)은 협업 영역(610)을 포함할 수 있다.The tracking area 600 may include a collaboration area 610.

협업 영역(610)은 협업 시스템에 따라 사용자(800)가 현실에서 이동해야할 영역을 포함할 수 있다.The collaboration area 610 may include an area in which the user 800 should move in reality according to the collaboration system.

협업 영역(610)은 추적 영역(600) 내에 위치할 수 있다. 한편 협업 영역(610)은 추적 영역(600) 경계부분이나 추적 영역(600) 밖에도 위치할 수 있다.The collaboration area 610 may be located within the tracking area 600. Meanwhile, the collaboration area 610 may be located at the boundary of the tracking area 600 or outside the tracking area 600.

협업 영역(610)은 추적 영역(600) 내 좌표로 인식되거나 일정 넓이를 갖는 다각형 또는 원으로 인식될 수 있다.The collaboration area 610 may be recognized as a coordinate within the tracking area 600 or may be recognized as a polygon or circle having a predetermined area.

보조 컴퓨팅 장치(300) 및 서버(200) 중 적어도 하나는 사용자(800)가 협업 영역(610) 내에 위치하는 것을 인식할 수 있다.At least one of the auxiliary computing device 300 and the server 200 may recognize that the user 800 is located in the collaboration area 610.

일 예로, 보조 컴퓨팅 장치(300)는 서버(200) 또는 디텍팅 장치(100)로부터 획득한 위치 정보 또는 디텍팅 정보와, 협업 영역(610)의 위치 정보를 이용하여 사용자(800)가 협업 영역(610) 내에 위치하는지 여부를 판단할 수 있다.As an example, the auxiliary computing device 300 uses location information or detecting information obtained from the server 200 or the detecting device 100 and the location information of the collaboration area 610 to allow the user 800 to Whether or not it is located within 610 may be determined.

협업 영역(610)은 제1 협업 영역(611) 및 제2 협업 영역(612)을 포함할 수 있다.The collaboration area 610 may include a first collaboration area 611 and a second collaboration area 612.

제1 사용자(801) 및 제2 사용자(802)에게 협업 시스템이 제공되는 경우, 제1 사용자(801)가 제1 협업 영역(611) 내에 위치하고 제2 사용자(802)가 제2 협업 영역(612) 내에 위치할 때 협업 효과나 협업 기능이 발생되거나 수행될 수 있다.When a collaboration system is provided to the first user 801 and the second user 802, the first user 801 is located in the first collaboration area 611 and the second user 802 is located in the second collaboration area 612 ), collaboration effects or collaboration functions can occur or be performed.

제1 협업 영역(611) 및 제2 협업 영역(612)은 추적 영역(600) 내 다른 위치에 구현될 수 있다. 다만 제1 협업 영역(611) 및 제2 협업 영역(612)은 동일하거나 서로 겹치는 영역을 포함할 수도 있다.The first collaboration area 611 and the second collaboration area 612 may be implemented at different locations within the tracking area 600. However, the first collaboration area 611 and the second collaboration area 612 may include the same or overlapping areas.

도 10은 일 실시예에 따른 협업이 이루어지기 전 제1 사용자(801)에게 제공되는 가상 현실 이미지(452)를 나타내는 예시도이다.10 is an exemplary diagram illustrating a virtual reality image 452 provided to a first user 801 before collaboration is performed according to an exemplary embodiment.

가상 현실 이미지(452)는 보조 컴퓨팅 장치(300)에 의해 생성된 가상 공간에 존재하는 가상 카메라의 시야 범위에 해당하는 이미지를 포함할 수 있다.The virtual reality image 452 may include an image corresponding to a field of view of a virtual camera existing in a virtual space generated by the auxiliary computing device 300.

도 10을 참조하면 제1 사용자(801)에게 제공되는 가상 현실 이미지(452)는 제1 캐릭터(901), 제2 캐릭터(902), 제1 캐릭터 가상 위치(911), 제2 캐릭터 가상 위치(912), 대상 오브젝트(V1), 가상 좌표계를 표현한 선(C), 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)을 포함할 수 있다.Referring to FIG. 10, a virtual reality image 452 provided to a first user 801 includes a first character 901, a second character 902, a first character virtual position 911, and a second character virtual position ( 912, a target object V1, a line C representing a virtual coordinate system, a first virtual collaboration area 621, and a second virtual collaboration area 622.

제1 보조 컴퓨팅 장치(301)는 가상 공간 내 가상 좌표계(C)를 설정하고 가상 좌표계(C)를 기준으로 제1 캐릭터(901), 제2 캐릭터(902), 제1 캐릭터 가상 위치(911), 제2 캐릭터 가상 위치(912), 대상 오브젝트(V1), 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)을 설정 또는 배치할 수 있다.The first auxiliary computing device 301 sets a virtual coordinate system C in a virtual space, and based on the virtual coordinate system C, a first character 901, a second character 902, and a first character virtual position 911 , The second character virtual location 912, the target object V1, the first virtual collaboration area 621, and the second virtual collaboration area 622 may be set or arranged.

가상 좌표계를 표현한 선(C)은 직교 좌표계(카데시안 좌표계), 극 좌표계 및 구면 좌표계 등 통상의 기술자에 의해 고려될 수 있는 좌표계 중 적어도 하나인 가상 좌표계를 표현한 선일 수 있다.The line C representing the virtual coordinate system may be a line representing a virtual coordinate system, which is at least one of coordinate systems that can be considered by a person skilled in the art, such as a Cartesian coordinate system (Cadesian coordinate system), a polar coordinate system, and a spherical coordinate system.

가상 좌표계를 표현한 선(C)은 가상 현실 이미지(452) 내에 표현되거나 표현되지 않을 수 있다.The line C representing the virtual coordinate system may or may not be expressed in the virtual reality image 452.

제1 캐릭터(901) 및 제2 캐릭터(902)는 각각 가상 공간 내에서 제1 사용자(801) 및 제2 사용자(802)에 대응될 수 있다.The first character 901 and the second character 902 may correspond to the first user 801 and the second user 802 in the virtual space, respectively.

제1 캐릭터(901) 및 제2 캐릭터(902)는 제1 사용자(801) 및 제2 사용자(802)의 위치 정보에 기초하여 산출된 가상 위치 정보를 이용하여 서버(200) 및 보조 컴퓨팅 장치(300) 중 적어도 하나에 의해 생성될 수 있다.The first character 901 and the second character 902 use the virtual location information calculated based on the location information of the first user 801 and the second user 802 to the server 200 and the auxiliary computing device ( 300) may be generated by at least one of.

일 예로, 제1 보조 컴퓨팅 장치(301)는 제1 착용형 디스플레이 장치(401) 및 제1 입력 장치(501)의 가상 위치 정보에 기초하여 가상 공간에서 제1 사용자(801)에 대응하는 제1 캐릭터(901)를 생성할 수 있다. 이 때, 제1 캐릭터(901)의 머리, 몸체 부분은 제1 착용형 디스플레이 장치(401)의 가상 위치 정보에 기초하고 제1 캐릭터(901)의 손, 팔 부분은 제1 입력 장치(501)의 가상 위치 정보에 기초하여 생성될 수 있다.As an example, the first auxiliary computing device 301 is a first wearable display device 401 and a first user corresponding to the first user 801 in a virtual space based on the virtual location information of the first input device 501. A character 901 can be created. In this case, the head and body portions of the first character 901 are based on virtual location information of the first wearable display device 401, and the hands and arms portions of the first character 901 are the first input device 501 It may be generated based on the virtual location information of.

제1 사용자(801)에게 제공되는 가상 현실 이미지(452)는 가상 공간 내 가상 카메라의 위치에 따라 제1 캐릭터(901)의 전부를 포함하거나 제1 캐릭터(901)의 일부만을 포함할 수 있다. 또는 가상 현실 이미지(452)는 제1 캐릭터(901)를 포함하지 않을 수 있다.The virtual reality image 452 provided to the first user 801 may include all of the first character 901 or only part of the first character 901 according to the position of the virtual camera in the virtual space. Alternatively, the virtual reality image 452 may not include the first character 901.

일 실시예로, 가상 현실 이미지(452)에는 제1 캐릭터(901)의 상반신 또는 손과 같은 신체 일부만이 표시될 수 있다.In an embodiment, only a part of a body such as an upper body or a hand of the first character 901 may be displayed on the virtual reality image 452.

제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)는 현실에서 제1 사용자(801) 및 제2 사용자(802)의 위치에 대응하여 가상 공간에서 제1 캐릭터(901) 및 제2 캐릭터(902)의 위치를 나타낼 수 있다.The first character virtual position 911 and the second character virtual position 912 correspond to the positions of the first user 801 and the second user 802 in reality, and the first character 901 and the second character 901 and the second The position of the character 902 may be indicated.

한편, 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)는 디텍팅 장치(100)에 의해 추적된 제1 사용자(801) 및 제2 사용자(802)의 디텍팅 정보에 기초하여 보조 컴퓨팅 장치(300) 또는 서버(200)에 의해 산출된 것으로써 상술한 제1 캐릭터 가상 위치 정보 및 제2 캐릭터 가상 위치 정보와 동일한 의미로 사용될 수 있다.Meanwhile, the first character virtual position 911 and the second character virtual position 912 are based on the detecting information of the first user 801 and the second user 802 tracked by the detecting device 100. As calculated by the auxiliary computing device 300 or the server 200, the first character virtual location information and the second character virtual location information may have the same meaning.

제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)는 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The first character virtual location 911 and the second character virtual location 912 may or may not be displayed on the virtual reality image 452.

제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)은 도 9의 제1 협업 영역(611) 및 제2 협업 영역(612)에 대응되는 영역을 포함할 수 있다.The first virtual collaboration area 621 and the second virtual collaboration area 622 may include areas corresponding to the first collaboration area 611 and the second collaboration area 612 of FIG. 9.

제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)은 가상 공간 내에서 가상 좌표로 구현되거나 미리 설정된 형상으로 구현될 수 있다.The first virtual collaboration area 621 and the second virtual collaboration area 622 may be implemented with virtual coordinates or a preset shape in a virtual space.

일 실시예로, 제1 가상 협업 영역(621)은 가상 구조물로 구현되고 제2 가상 협업 영역(622)은 가상 공간을 구성하는 배경의 일부로 구현될 수 있다.In one embodiment, the first virtual collaboration area 621 may be implemented as a virtual structure and the second virtual collaboration area 622 may be implemented as a part of a background constituting a virtual space.

제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)은 가상 공간 내에 표시되거나 표시되지 않을 수 있다.The first virtual collaboration area 621 and the second virtual collaboration area 622 may or may not be displayed in the virtual space.

한편, 제1 사용자(801) 및 제2 사용자(802)에게 협업 시스템이 제공됨에 있어서, 보조 컴퓨팅 장치(300)는 제1 사용자(801) 및 제2 사용자(802)간의 협업을 유도하기 위해 착용형 디스플레이 장치(400)를 통해 가이드 표식을 출력할 수 있다.Meanwhile, since a collaboration system is provided to the first user 801 and the second user 802, the auxiliary computing device 300 is worn to induce collaboration between the first user 801 and the second user 802. A guide mark may be output through the type display device 400.

일 예로, 제1 착용형 디스플레이 장치(401)에 출력되는 가상 현실 이미지(452)에는 제1 캐릭터(901)로부터 제1 가상 협업 영역(621)까지 이동하는 방법이 화살표 등으로 표시되거나 제1 가상 협업 영역(621)에 주위의 다른 영역과 다르게 반짝이는 효과 등이 표시될 수 있다. 이 때, 제2 가상 협업 영역(622) 역시 같은 방법으로 상술한 효과 등이 표시될 수 있다.For example, in the virtual reality image 452 output on the first wearable display device 401, a method of moving from the first character 901 to the first virtual collaboration area 621 is indicated by an arrow or the like, or The collaboration area 621 may display a sparkling effect differently from other surrounding areas. In this case, the second virtual collaboration area 622 may also display the above-described effects in the same manner.

대상 오브젝트(V1)는 제1 사용자(801) 및 제2 사용자(802)의 협업에 따라 효과가 표시되는 대상이 되는 가상 오브젝트를 포함할 수 있다.The target object V1 may include a virtual object to which an effect is displayed according to collaboration between the first user 801 and the second user 802.

대상 오브젝트(V1)는 미리 설정된 형상을 가지되 협업에 따라 그 형상이 변경될 수 있다. 또는, 대상 오브젝트(V1)는 협업이 이루어지기 전에는 존재하지 않고 협업이 이루어진 후 생성되어 착용형 디스플레이 장치(400)에 표시될 수 있다.The target object V1 has a preset shape, but the shape may be changed according to cooperation. Alternatively, the target object V1 may not exist before the collaboration is performed, but may be created after the collaboration is made and displayed on the wearable display device 400.

대상 오브젝트(V1)는 가상 공간을 구성하는 배경의 일부로 구현될 수 있다.The target object V1 may be implemented as a part of a background constituting a virtual space.

도 11 및 도 12는 현실과 가상 공간에서 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어진 경우를 나타내는 예시도이다.11 and 12 are exemplary diagrams illustrating a case in which collaboration is performed by a first user 801 and a second user 802 in a real and virtual space.

도 11을 참조하면 제1 사용자(801)는 제1 협업 영역(611)에, 제2 사용자(802)는 제2 협업 영역(612)에 위치함으로써 협업이 이루어질 수 있다.Referring to FIG. 11, the first user 801 is located in the first collaboration area 611 and the second user 802 is located in the second collaboration area 612, thereby enabling collaboration.

일 실시예로, 제1 시점에는 도 9에서와 같이 제1 사용자(801) 및 제2 사용자(802)가 협업 영역(610) 밖에 위치하고 제2 시점에는 도 11에서와 같이 제1 사용자(801)는 제1 협업 영역(611)에 위치하고 제2 사용자(802)는 제2 협업 영역(612)에 위치하는 경우 보조 컴퓨팅 장치(300)는 제2 시점에서 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단할 수 있다.In an embodiment, as shown in FIG. 9, the first user 801 and the second user 802 are located outside the collaboration area 610 at a first time point, and at a second time point, as shown in FIG. 11, the first user 801 When is located in the first collaboration area 611 and the second user 802 is located in the second collaboration area 612, the auxiliary computing device 300 is configured to the first user 801 and the second user ( 802), it can be determined that collaboration has been made.

또 다른 실시예로, 제1 시점에는 도 11에서와 같이 제1 사용자(801) 및 제2 사용자(802)가 협업 영역(610) 안에 위치하고 제2 시점에는 도 9에서와 같이 제1 사용자(801)는 제1 협업 영역(611)에 위치하고 제2 사용자(802)는 제2 협업 영역(612) 밖에 위치하는 경우 보조 컴퓨팅 장치(300)는 제2 시점에서 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단할 수 있다.In another embodiment, as shown in FIG. 11, the first user 801 and the second user 802 are located in the collaboration area 610 at a first time point, and at a second time point, as shown in FIG. 9, the first user 801 ) Is located in the first collaboration area 611 and the second user 802 is located outside the second collaboration area 612, the auxiliary computing device 300 is the first user 801 and the second user at the second time point. It can be determined that the collaboration was made by 802.

사용자(800)의 위치가 협업 영역(610) 밖에서 안으로 또는 안에서 밖으로 변경되는 경우 적어도 하나의 이동 방법이 이용될 수 있다.When the location of the user 800 is changed in or out of the collaboration area 610, at least one movement method may be used.

일 예로, 사용자(800)는 다양한 이동 경로를 이용하여 협업 영역(610) 밖에서 안으로 또는 안에서 밖으로 이동할 수 있다. As an example, the user 800 may move in or out of the collaboration area 610 using various movement paths.

한편, 제1 사용자(801) 및 제2 사용자(802)는 미리 설정된 조건을 만족하면서 각각 제1 협업 영역(611) 및 제2 협업 영역(612)에 위치함으로써 협업이 이루어질 수 있다.Meanwhile, the first user 801 and the second user 802 may collaborate by being located in the first collaboration area 611 and the second collaboration area 612, respectively, while meeting a preset condition.

미리 설정된 조건은 위치 순서, 방법 및 시간 중 적어도 하나에 대한 조건을 포함할 수 있다.The preset condition may include a condition for at least one of a location order, a method, and a time.

일 예로, 미리 설정된 조건은 제1 사용자(801)가 먼저 제1 협업 영역(611)에 위치하고 일정 시간 경과 하기 전 제2 사용자(802)가 제2 협업 영역(612)에 위치하는 조건을 포함할 수 있다.As an example, the preset condition may include a condition in which the first user 801 is first located in the first collaboration area 611 and the second user 802 is located in the second collaboration area 612 before a predetermined time elapses. I can.

다른 예로, 미리 설정된 조건은 제1 사용자(801)가 먼저 제1 협업 영역(611)에 위치하고 일정 시간 경과 후 제2 사용자(802)가 제2 협업 영역(612)에 위치하는 조건을 포함할 수 있다.As another example, the preset condition may include a condition in which the first user 801 is first located in the first collaboration area 611 and the second user 802 is located in the second collaboration area 612 after a certain period of time. have.

또 다른 예로, 미리 설정된 조건은 제1 사용자(801) 또는 제2 사용자(802) 중 어느 한 사용자가 먼저 제1 협업 영역(611) 또는 제2 협업 영역(612) 중 어느 한 협업 영역(610)에 위치한 상태에서 다른 사용자가 나머지 협업 영역(610)에 위치하는 조건을 포함할 수 있다.As another example, the preset condition is that any one of the first user 801 or the second user 802 is first selected from the first collaboration area 611 or the second collaboration area 612. It may include a condition in which another user is located in the remaining collaboration area 610 while being located at.

또 다른 예로, 미리 설정된 조건은 제1 사용자(801)가 제1 협업 영역(611)에 위치한 상태에서 제1 입력 장치(501)를 조작한 후 제2 사용자(802)가 제2 협업 영역(612)에 위치하고 제2 입력 장치(502)를 조작하는 조건을 포함할 수 있다.As another example, after the first user 801 operates the first input device 501 while the first user 801 is located in the first collaboration area 611, the preset condition is ) And may include a condition for operating the second input device 502.

도 12를 참조하면 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어진 경우 가상 공간에서 대상 오브젝트(V1)에 미리 설정된 효과가 발생할 수 있다.Referring to FIG. 12, when collaboration is performed by a first user 801 and a second user 802, a preset effect may occur in the target object V1 in a virtual space.

제1 사용자(801) 및 제2 사용자(802)가 각각 제1 협업 영역(611) 및 제2 협업 영역(612) 밖에서 안으로 이동함에 따라 제1 캐릭터(901) 및 제2 캐릭터(902)는 각각 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)으로 이동할 수 있다.As the first user 801 and the second user 802 move inward from the outside of the first collaboration area 611 and the second collaboration area 612, respectively, the first character 901 and the second character 902 It is possible to move to the first virtual collaboration area 621 and the second virtual collaboration area 622.

제1 캐릭터(901) 및 제2 캐릭터(902)가 각각 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)에 위치하는 경우 대상 오브젝트(V1)는 그 형상이 변경될 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)를 이용하여 협업이 이루어졌는지 여부를 판단할 수 있다.When the first character 901 and the second character 902 are positioned in the first virtual collaboration area 621 and the second virtual collaboration area 622, respectively, the shape of the target object V1 may be changed. In this case, the auxiliary computing device 300 may determine whether or not collaboration has occurred using the first character virtual location 911 and the second character virtual location 912.

일 예로, 보조 컴퓨팅 장치(300)는 제1 캐릭터 가상 위치(911)가 제1 가상 협업 영역(621) 내 또는 일정 범위 이내에 있는 상태에서 제2 캐릭터 가상 위치(912)가 제2 가상 협업 영역(622) 내 또는 일정 범위 이내에 있는 경우 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단하고 대상 오브젝트(V1)의 형상을 변경시키거나 대상 오브젝트(V1)에 특수 효과를 발생시킬 수 있다.As an example, in the auxiliary computing device 300, the second character virtual location 912 is in a state in which the first character virtual location 911 is within or within a predetermined range of the first virtual collaboration area 621 622) or within a certain range, it is determined that collaboration has been made by the first user 801 and the second user 802, and the shape of the target object V1 is changed or a special effect is applied to the target object V1. Can occur.

도 11에 관해 서술한 바와 같은 맥락으로 제1 캐릭터(901) 및 제2 캐릭터(902)가 각각 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)에 위치하기 전, 후에 미리 설정된 조건을 충족하는 경우 협업이 이루어질 수 있다.In the same context as described with respect to FIG. 11, the first character 901 and the second character 902 are preset before and after being located in the first virtual collaboration area 621 and the second virtual collaboration area 622, respectively. Collaboration can occur if the conditions are met.

일 예로, 보조 컴퓨팅 장치(300)는 제1 캐릭터 가상 위치(911)가 제1 가상 협업 영역(621) 내에 있는 상태에서 제1 입력 장치(501)에 의한 제1 입력 신호를 전달 받고, 일정 시간 경과 후 제2 캐릭터 가상 위치(912)가 제2 가상 협업 영역(622) 내에 있는 상태에서 제2 입력 장치(502)에 의한 제2 입력 신호를 전달 받는 경우 협업이 이루어진 것으로 판단하고 대상 오브젝트(V1)를 조작할 수 있다.As an example, the auxiliary computing device 300 receives the first input signal from the first input device 501 while the first character virtual location 911 is in the first virtual collaboration area 621, and receives a predetermined time. When the second character virtual location 912 is in the second virtual collaboration area 622 after elapsed, and the second input signal is received by the second input device 502, it is determined that collaboration has been made and the target object V1 ) Can be operated.

이상에서는 협업이 이루어지는 경우 대상 오브젝트(V1)가 변경될 수 있음을 서술하였으나 이에 한정되지 않고 가상 공간을 구성하는 배경, 가상 구조 등이 변경, 생성, 제거될 수 있다.In the above, it has been described that the target object V1 may be changed when collaboration is performed, but the present invention is not limited thereto, and the background and virtual structure constituting the virtual space may be changed, created, or removed.

이하에서는 도 13 내지 도 16을 참조하여 복수의 사용자(800)의 동작을 통해 협업이 이루어지는 과정에 대해 설명한다.Hereinafter, with reference to FIGS. 13 to 16, a process in which collaboration is performed through the operation of a plurality of users 800 will be described.

도 13은 입력 장치(500)를 이용하는 복수의 사용자(800)에 의해 협업이 이루어지기 전 현실 공간을 나타내는 예시도이다.13 is an exemplary view showing a real space before collaboration is performed by a plurality of users 800 using the input device 500.

도 14는 입력 장치(500)를 이용하는 복수의 사용자(800)에 의해 협업이 이루어진 후 현실 공간을 나타내는 예시도이다.14 is an exemplary diagram illustrating a real space after collaboration is made by a plurality of users 800 using the input device 500.

도 15는 입력 장치(500)를 이용하는 복수의 사용자(800)에 의해 협업이 이루어지기 전 가상 공간을 나타내는 예시도이다.15 is an exemplary diagram showing a virtual space before collaboration is performed by a plurality of users 800 using the input device 500.

도 16은 입력 장치(500)를 이용하는 복수의 사용자(800)에 의해 협업이 이루어진 후 가상 공간을 나타내는 예시도이다.16 is an exemplary diagram illustrating a virtual space after collaboration is made by a plurality of users 800 using the input device 500.

도 13 및 도 14를 참조하면, 협업이 이루어지기 위한 사용자(800)의 동작은 입력 장치(500)의 위치 변화에 따라 인식될 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 입력 장치(500)의 위치 정보를 이용하여 사용자(800)의 동작을 추적하고 사용자(800)의 동작이 특정 조건을 만족하면 협업이 이루어진 것으로 판단할 수 있다.13 and 14, an operation of the user 800 for collaboration may be recognized according to a change in the location of the input device 500. In this case, the auxiliary computing device 300 may track the motion of the user 800 using the location information of the input device 500 and determine that collaboration has been made when the motion of the user 800 satisfies a specific condition. .

제1 사용자(801) 및 제2 사용자(802)는 각각 제1 입력 장치(501) 및 제2 입력 장치(502)를 소지할 수 있고, 협업을 위한 동작의 일 예로 도 13 및 도 14에 도시된 바와 같이 제1 사용자(801) 및 제2 사용자(802)는 각각 제1 입력 장치(501) 및 제2 입력 장치(502)를 머리 위에서 아래로 내리는 동작을 수행할 수 있다.The first user 801 and the second user 802 may each have a first input device 501 and a second input device 502, and an example of an operation for collaboration is shown in FIGS. 13 and 14 As described above, the first user 801 and the second user 802 may perform an operation of lowering the first input device 501 and the second input device 502 from the top to the bottom, respectively.

또 다른 예로, 제1 사용자(801) 및 제2 사용자(802)는 입력 장치(500)를 가상 도형 형태로 움직이는 동작을 수행할 수 있다.As another example, the first user 801 and the second user 802 may perform an operation of moving the input device 500 in the form of a virtual figure.

제1 사용자(801) 및 제2 사용자(802)의 동작은 동시에 또는 일정 시간 차를 두고 수행될 수 있다.The operations of the first user 801 and the second user 802 may be performed simultaneously or at a predetermined time difference.

제1 사용자(801) 및 제2 사용자(802)의 동작은 미리 정해진 순서에 따라 단발적으로 또는 반복적으로 수행될 수 있다.The operations of the first user 801 and the second user 802 may be performed singularly or repeatedly according to a predetermined order.

한편, 협업을 위한 제1 사용자(801)의 동작 및 제2 사용자(802)의 동작은 서로 다른 동작이거나 서로 다른 부분 동작을 포함할 수 있다.Meanwhile, the operation of the first user 801 and the operation of the second user 802 for collaboration may be different operations or may include different partial operations.

일 예로, 제1 사용자(801)에 의해 제1 입력 장치(501)가 상/하로 움직이는 동작이 수행되고 일정 시간 경과 후 제2 사용자(802)에 의해 제2 입력 장치(502)가 좌/우로 움직이는 동작이 수행되면 보조 컴퓨팅 장치(300)는 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단할 수 있다.As an example, an operation of moving the first input device 501 up/down is performed by the first user 801 and the second input device 502 moves to the left/right by the second user 802 after a certain period of time has elapsed. When the moving operation is performed, the auxiliary computing device 300 may determine that collaboration has been made by the first user 801 and the second user 802.

복수의 사용자(800)에 의한 협업은 입력 장치(500)가 움직이는 동작에 더해서 추가적인 조건을 만족함으로써 이루어질 수도 있다.Collaboration by the plurality of users 800 may be achieved by satisfying additional conditions in addition to the motion of the input device 500.

보조 컴퓨팅 장치(300)는 제1 사용자(801) 및 제2 사용자(802)가 특정 동작을 시작하기 전 시점, 동작이 수행되는 중간 시점 및 동작이 종료된 시점 중 적어도 어느 한 시점에 제1 입력 신호 및 제2 입력 신호 중 적어도 하나의 입력 신호를 전달 받을 수 있다. 상기 입력 신호는 입력 장치(500)가 사용자(800)에 의해 조작되면 보조 컴퓨팅 장치(300)로 전달될 수 있다.The auxiliary computing device 300 first inputs a first input at at least one of a time before the first user 801 and the second user 802 starts a specific operation, an intermediate time point at which the operation is performed, and a time point at which the operation ends. At least one of a signal and a second input signal may be received. The input signal may be transmitted to the auxiliary computing device 300 when the input device 500 is manipulated by the user 800.

일 예로, 제1 입력 장치(501)에 구비된 버튼이 제1 사용자(801)에 의해 눌림과 동시에 제1 입력 장치(501)의 위치가 변경되고 일정 시간 경과 후 제2 입력 장치(502)에 구비된 버튼이 제2 사용자(802)에 의해 눌림과 동시에 제2 입력 장치(502)의 위치가 변경될 수 있고, 이 때, 보조 컴퓨팅 장치(300)는 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단할 수 있다.For example, when a button provided in the first input device 501 is pressed by the first user 801, the position of the first input device 501 is changed, and the second input device 502 is When the provided button is pressed by the second user 802, the location of the second input device 502 may be changed, and in this case, the auxiliary computing device 300 may be configured to be a first user 801 and a second user. It can be determined that the collaboration was made by 802.

도 15 및 도 16을 참조하면 제1 착용형 디스플레이 장치(401)를 통해 제1 사용자(801)에게 출력되는 가상 현실 이미지(452)는 제1 캐릭터(901), 제2 캐릭터(902), 제1 캐릭터 가상 위치(921), 제2 캐릭터 가상 위치(922), 및 제1 협업 오브젝트(V2_1) 내지 제3 협업 오브젝트(V2_3)가 포함될 수 있다.15 and 16, the virtual reality image 452 output to the first user 801 through the first wearable display device 401 is a first character 901, a second character 902, and a second character. A 1 character virtual location 921, a second character virtual location 922, and a first collaboration object V2_1 to a third collaboration object V2_3 may be included.

가상 현실 이미지(452)에는 가상 공간 내 가상 카메라의 시점을 나타낼 수 있다.The virtual reality image 452 may indicate a viewpoint of a virtual camera in a virtual space.

일 예로, 도 15에서 도시된 바와 같이 가상 현실 이미지(452)는 제1 캐릭터(901)의 1인칭 시점에서의 이미지를 포함할 수 있다. 이 때, 가상 현실 이미지(452)에 제1 사용자(801)가 소지하는 제1 입력 장치(501)에 대응되는 가상 오브젝트가 표시되되, 상기 가상 오브젝트는 제1 캐릭터(901)의 신체 일부로 손 형상을 포함할 수 있다.As an example, as illustrated in FIG. 15, the virtual reality image 452 may include an image of the first character 901 in the first person view. In this case, a virtual object corresponding to the first input device 501 held by the first user 801 is displayed on the virtual reality image 452, and the virtual object is a hand shape as a body part of the first character 901 It may include.

제1 캐릭터 가상 위치(921) 및 제2 캐릭터 가상 위치(922)는 현실에서 제1 사용자(801) 및 제2 사용자(802)의 위치 정보에 기초하여 보조 컴퓨팅 장치(300) 또는 서버(200)에 의해 산출될 수 있다. The first character virtual location 921 and the second character virtual location 922 are based on the location information of the first user 801 and the second user 802 in reality, and the auxiliary computing device 300 or the server 200 Can be calculated by

일 예로, 제1 캐릭터 가상 위치(921) 및 제2 캐릭터 가상 위치(922)는 착용형 디스플레이 장치(400) 및 입력 장치(500)중 적어도 하나를 추적하여 얻은 위치 정보에 기초하여 산출될 수 있다.For example, the first character virtual location 921 and the second character virtual location 922 may be calculated based on location information obtained by tracking at least one of the wearable display device 400 and the input device 500. .

이하에서는 사용자(800)의 동작에 의해 협업이 이루어지는 과정을 보다 상세히 설명하기 위해 제1 캐릭터 가상 위치(921) 및 제2 캐릭터 가상 위치(922)는 제1 입력 장치(501) 및 제2 입력 장치(502)의 위치 정보에 기초하여 산출된 것으로 본다.Hereinafter, in order to describe in more detail the process of collaboration by the operation of the user 800, the first character virtual location 921 and the second character virtual location 922 are the first input device 501 and the second input device. It is considered to be calculated based on the location information of 502.

제1 캐릭터 가상 위치(921) 및 제2 캐릭터 가상 위치(922)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The first character virtual location 921 and the second character virtual location 922 may or may not be displayed on the virtual reality image 452 in a dot shape, a hexahedron shape, or the like.

제1 협업 오브젝트(V2_1) 내지 제3 협업 오브젝트(V2_3)는 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어지는 데에 필요한 가상 오브젝트 및 협업에 의해 변경되거나 효과가 표시되는 가상 오브젝트 중 적어도 하나를 포함할 수 있다.The first collaboration object (V2_1) to the third collaboration object (V2_3) are virtual objects required for collaboration by the first user 801 and the second user 802, and virtual objects that are changed or effected by collaboration. It may include at least one of the objects.

일 예로, 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)는 제1 캐릭터(901) 및 제2 캐릭터(902)가 조작할 수 있는 레버 형상 또는 스위치 형상의 가상 오브젝트를 포함할 수 있다.For example, the first collaboration object V2_1 and the second collaboration object V2_2 may include a lever shape or a switch shape virtual object that the first character 901 and the second character 902 can manipulate. .

한편, 제1 협업 오브젝트(V2_1) 내지 제3 협업 오브젝트(V2_3) 중 적어도 하나는 추후 설명하듯 리얼 오브젝트에 대응되는 가상 오브젝트를 포함할 수 있다.Meanwhile, at least one of the first to third collaboration objects V2_1 to V2_3 may include a virtual object corresponding to a real object, as will be described later.

제1 협업 오브젝트(V2_1) 내지 제3 협업 오브젝트(V2_3)는 적어도 하나 이상의 상태를 가지고 특정 조건이 만족되면 보조 컴퓨팅 장치(300)에 의해 일 상태에서 다른 상태로 상태가 변경될 수 있다.When the first to third collaboration objects V2_1 to V2_3 have at least one state and a specific condition is satisfied, their state may be changed from one state to another state by the auxiliary computing device 300.

일 예로, 제1 협업 오브젝트(V2_1)는 레버 형상이되 도 15 및 도 16에서 도시된 바와 같이 비활성 상태 및 활성 상태를 가지며, 제1 협업 오브젝트(V2_1)가 비활성 상태 또는 활성 상태에 있을 때 작동 조건을 만족하는 경우 활성 상태 또는 비활성 상태로 변경되고 그에 대응하여 형상이 변경될 수 있다. 상기 작동 조건은 제1 캐릭터 가상 위치(921)가 제1 협업 오브젝트(V2_1)로부터 일정 범위 내에 위치하는 상태에서 제1 입력 장치(501)의 움직임에 따라 제1 캐릭터 가상 위치(921)가 위에서 아래 방향으로 이동하는 조건을 포함할 수 있다.As an example, the first collaboration object V2_1 has a lever shape, but has an inactive state and an active state as shown in FIGS. 15 and 16, and operates when the first collaboration object V2_1 is in an inactive state or an active state. If the condition is satisfied, the state may be changed to an active state or an inactive state, and the shape may be changed accordingly. The operating condition is that in a state in which the first character virtual position 921 is located within a certain range from the first collaboration object V2_1, the first character virtual position 921 is from top to bottom according to the movement of the first input device 501. It may include conditions for moving in a direction.

제3 협업 오브젝트(V2_3)는 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)에 의해 상태가 변경될 수 있다.The state of the third collaboration object V2_3 may be changed by the first collaboration object V2_1 and the second collaboration object V2_2.

일 예로, 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)는 각각 스위치 형상이고 활성 상태 및 비활성 상태를 가지며 제3 협업 오브젝트(V2_3)는 문 형상이고 열림 상태 및 닫힘 상태를 가질 수 있다. 이 때, 도 15 및 도 16에 도시된 바와 같이 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)가 제1 캐릭터(901) 및 제2 캐릭터(902)에 의해 비활성 상태에서 동시에 또는 일정 시간 간격을 두고 각각 활성 상태로 변경되는 경우 제3 협업 오브젝트(V2_3)는 닫힘 상태에서 열림 상태로 변경되고 이에 대응하여 형상이 변경될 수 있다.As an example, the first collaboration object V2_1 and the second collaboration object V2_2 may each have a switch shape and have an active state and an inactive state, and the third collaboration object V2_3 may have a door shape and have an open state and a closed state. . At this time, as shown in FIGS. 15 and 16, the first collaboration object V2_1 and the second collaboration object V2_2 are simultaneously or constant in an inactive state by the first character 901 and the second character 902. When each of the third collaboration objects V2_3 is changed to an active state at intervals of time, the third collaboration object V2_3 may be changed from a closed state to an open state, and a shape may be changed accordingly.

이상에서는 협업이 이루어지기 위한 사용자(800)의 동작이 입력 장치(500)의 위치 변화에 의존하는 경우를 서술하였으나 이에 한정되는 것은 아니며 디텍팅 장치(100)에 의해 인식될 수 있는 대상체의 위치 변화로 사용자(800)의 동작이 인식될 수도 있다. 이 때, 사용자(800)에게 가상 체험이 제공되는 동안 대상체는 사용자(800)에게 계속하여 제공될 수도 있고 가상 체험 도중에 사용자(800)로부터 분리될 수도 있다.In the above, a case in which the operation of the user 800 for collaboration is dependent on the position change of the input device 500 is described, but the present invention is not limited thereto, and the position change of the object that can be recognized by the detecting device 100 As a result, the operation of the user 800 may be recognized. In this case, while the virtual experience is provided to the user 800, the object may be continuously provided to the user 800 or may be separated from the user 800 during the virtual experience.

이하에서는 도 17 및 도 18을 참조하여 리얼 오브젝트(RO)를 이용한 협업 시스템에 대해서 설명한다.Hereinafter, a collaboration system using a real object RO will be described with reference to FIGS. 17 and 18.

도 17은 일 실시예에 따른 리얼 오브젝트(RO)를 포함하는 현실 공간을 나타내는 예시도이다.17 is an exemplary diagram illustrating a real space including a real object RO according to an exemplary embodiment.

도 18은 일 실시예에 따른 가상 공간에서 적어도 하나 이상의 리얼 오브젝트(RO)를 이용한 협업이 이루어지는 것을 나타내는 예시도이다.18 is an exemplary diagram illustrating collaboration using at least one or more real objects (RO) in a virtual space according to an embodiment.

리얼 오브젝트(RO)는 현실 공간에서 존재하는 물체를 포함할 수 있다.The real object RO may include an object existing in real space.

리얼 오브젝트(RO)는 디텍팅 장치(100)에 의해 추적되기 위해 추적 영역(600) 내에 배치될 수 있다. 한편, 리얼 오브젝트(RO)는 사용자(800)에게 가상 현실이 제공되는 동안 추적 영역(600) 내 미리 설정된 영역에 고정적으로 배치되거나 사용자(800) 또는 스스로 이동되거나 이동할 수 있다. 또한, 리얼 오브젝트(RO)는 사용자(800)에게 가상 현실이 제공되는 동안 추적 영역(600)안에서 밖으로 또는 밖에서 안으로 이동되거나 이동할 수 있다.The real object RO may be disposed in the tracking area 600 to be tracked by the detecting device 100. Meanwhile, the real object RO may be fixedly disposed in a preset area within the tracking area 600 or may be moved or moved by the user 800 or by itself while the virtual reality is provided to the user 800. In addition, the real object RO may be moved or moved in or out of the tracking area 600 while the virtual reality is provided to the user 800.

리얼 오브젝트(RO)에는 대상체와 같이 디텍팅 장치(100)에 의해 추적되기 위해 마커(M)가 부착될 수 있다. 또는 리얼 오브젝트(RO)는 마커(M) 없이 상기 서술한 특징점을 이용하여 디텍팅 장치(100)에 의해 추적될 수 있다.A marker M may be attached to the real object RO to be tracked by the detecting device 100 like an object. Alternatively, the real object RO may be tracked by the detecting device 100 using the above-described feature point without the marker M.

디텍팅 장치(100)에 의해 추적된 리얼 오브젝트(RO)의 디텍팅 정보를 이용하여 서버(200) 또는 보조 컴퓨팅 장치(300)는 가상 공간에서 리얼 오브젝트(RO)에 대응되는 가상 오브젝트를 구현할 수 있다.Using the detecting information of the real object RO tracked by the detecting device 100, the server 200 or the auxiliary computing device 300 can implement a virtual object corresponding to the real object RO in a virtual space. have.

일 예로, 보조 컴퓨팅 장치(300)는 리얼 오브젝트(RO)에 부착된 마커(M)의 위치 정보를 이용하여 가상 공간 내 가상 위치 정보를 산출하고 이에 기초하여 가상 오브젝트를 구현할 수 있다. For example, the auxiliary computing device 300 may calculate virtual location information in a virtual space by using the location information of the marker M attached to the real object RO, and implement a virtual object based thereon.

또 다른 예로, 상기 리얼 오브젝트(RO)는 상기 현실 공간에 배치되고, 상기 보조 컴퓨팅 장치(300)는 상기 리얼 오브젝트(RO)와 대응되는 위치에 대응되는 형상으로 가상 오브젝트를 구현할 수 있다.As another example, the real object RO is disposed in the real space, and the auxiliary computing device 300 may implement a virtual object in a shape corresponding to a position corresponding to the real object RO.

리얼 오브젝트(RO)는 장치, 기계적 구조, 모형, 산업 설비 등 사람이 접촉하는 사물 또는 물체를 포함할 수 있다.The real object RO may include a device, a mechanical structure, a model, an industrial facility, or the like.

일 예로, 도 17에 도시된 바와 같이 리얼 오브젝트(RO)는 배관 설비를 포함할 수 있다. 더 구체적으로, 리얼 오브젝트(RO)는 밸브 모형이고 유체의 흐름을 조절하기 위한 나사식 핸들을 포함할 수 있다. 이 때, 사용자(800)는 가상 체험이 제공되는 도중에 리얼 오브젝트(RO)에 포함된 나사식 핸들을 조작할 수 있다.For example, as shown in FIG. 17, the real object RO may include piping equipment. More specifically, the real object RO is a valve model and may include a threaded handle for adjusting the flow of fluid. In this case, the user 800 may manipulate the screw-type handle included in the real object RO while the virtual experience is being provided.

가상 현실 제어 시스템(10)은 사용자(800)에게 현실 공간에 배치된 적어도 하나 이상의 리얼 오브젝트(RO)의 형상 및 종류에 대응하는 가상 체험을 제공할 수 있다.The virtual reality control system 10 may provide the user 800 with a virtual experience corresponding to the shape and type of at least one or more real objects RO arranged in a real space.

일 예로, 도 17에 도시된 바와 같이 현실 공간에서 제1 사용자(801) 및 제2 사용자(802)에게 공장 설비가 배치된 추적 영역(600)이 제공될 수 있고 이와 같은 현실 공간에 대응하여 제1 사용자(801) 및 제2 사용자(802)에게 공장에서 발생할 수 있는 가스 유출 사고 대응 훈련에 대한 가상 체험이 제공될 수 있다.As an example, as shown in FIG. 17, a tracking area 600 in which factory facilities are arranged may be provided to the first user 801 and the second user 802 in a real space. The first user 801 and the second user 802 may be provided with a virtual experience of training to respond to a gas leak accident that may occur in a factory.

제1 사용자(801) 및 제2 사용자(802)에게 가상 체험이 제공되는 도중에 리얼 오브젝트(RO)를 이용한 협업이 이루어질 수 있다.While a virtual experience is provided to the first user 801 and the second user 802, collaboration using the real object RO may be performed.

제1 사용자(801) 및 제2 사용자(802)에 의한 협업은 도 9 내지 도 16에서 서술한 바와 같이 각각의 사용자의 시간에 따른 위치 또는 동작에 따라 이루어지되 그 과정에서 리얼 오브젝트(RO)가 이용될 수 있다.Collaboration by the first user 801 and the second user 802 is performed according to the location or motion of each user according to time as described in FIGS. 9 to 16, but in the process, the real object (RO) is Can be used.

일 예로, 도 18에서 도시된 바와 같이 제1 사용자(801)에 대응되는 제1 캐릭터(901) 및 제2 사용자(802)에 대응되는 제2 캐릭터(902)에게 배관 이상에 따른 가스 유출 상황이 발생한 가상 환경이 제공될 수 있다. 상기 가상 환경에서 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)는 밸브 형상의 리얼 오브젝트(RO)에 대응되고 제3 협업 오브젝트(V2_3)는 배관 형상의 리얼 오브젝트(RO)에 대응될 수 있다. 이 때, 제3 협업 오브젝트(V2_3)에서 가스가 유출될 수 있고, 제1 캐릭터(901)에 의해 제1 협업 오브젝트(V2_1)가 조작되고 제2 캐릭터(902)에 의해 제2 협업 오브젝트(V2_2)가 조작되는 경우 제3 협업 오브젝트(V2_3)에서 더 이상 가스가 유출되지 않는 형태로 협업이 이루어질 수 있다.As an example, as shown in FIG. 18, a gas leakage situation due to a pipe abnormality is reported to the first character 901 corresponding to the first user 801 and the second character 902 corresponding to the second user 802. The generated virtual environment can be provided. In the virtual environment, the first collaboration object (V2_1) and the second collaboration object (V2_2) correspond to the valve-shaped real object (RO), and the third collaboration object (V2_3) corresponds to the pipe-shaped real object (RO). I can. At this time, gas may be leaked from the third collaboration object V2_3, the first collaboration object V2_1 is manipulated by the first character 901, and the second collaboration object V2_2 is operated by the second character 902. ) Is manipulated, the third collaboration object V2_3 may collaborate in a form in which gas no longer leaks.

한편, 보조 컴퓨팅 장치(300)는 사용자(800)의 위치나 동작을 인식하는 것 외에 디텍팅 장치(100) 또는 기계적 장치를 이용하여 리얼 오브젝트(RO) 자체의 움직임을 인식하고 이를 기초로 협업이 이루어졌는지 여부를 판단할 수도 있다.On the other hand, the auxiliary computing device 300 recognizes the movement of the real object RO itself using the detecting device 100 or a mechanical device in addition to recognizing the location or motion of the user 800, and collaboration is possible based on this. You can also judge whether it has been done or not.

리얼 오브젝트(RO) 및 이에 대응하는 가상 오브젝트는 서로 동일한 형상을 갖지 않을 수 있다. 일 예로, 리얼 오브젝트(RO)는 사용자(800)가 접촉하고 조작할 수 있도록 회전 가능한 핸들 형상이되 이에 대응하는 가상 오브젝트는 핸들을 포함하되 배관에 결착되도록 이음부분을 포함하는 밸브 형상일 수 있다.The real object RO and the virtual object corresponding thereto may not have the same shape. For example, the real object RO has a shape of a handle that can be rotated so that the user 800 can contact and manipulate it, but the virtual object corresponding thereto may be a valve shape including a handle but including a joint to be connected to a pipe. .

리얼 오브젝트(RO)가 가상 공간에서 가상 오브젝트와 대응될 때, 가상 오브젝트에서 발생하는 효과가 리얼 오브젝트(RO)에서 동일 또는 유사하게 발생할 수 있다.When the real object RO corresponds to a virtual object in a virtual space, an effect occurring in the virtual object may occur in the same or similarly to the real object RO.

일 예로, 도 18에서 도시된 바와 같이 제3 협업 오브젝트(V2_3)에서 가스가 발생하는 경우 현실 공간에서 대응되는 배관 형상의 리얼 오브젝트(RO)에서 마찬가지로 가스가 발생할 수 있다. 이 때, 현실 공간에서 발생하는 가스는 가상 공간에서 발생하는 가스와 달리 인체에 무해하되 사용자(800)에게 접촉하여 촉각이나 후각을 자극하여 가상 체험에 대한 몰입도를 증대시킬 수 있다.For example, as illustrated in FIG. 18, when gas is generated in the third collaboration object V2_3, gas may be generated in a real object RO having a corresponding pipe shape in a real space. In this case, the gas generated in the real space is harmless to the human body unlike the gas generated in the virtual space, but can increase immersion in the virtual experience by contacting the user 800 and stimulating the sense of touch or smell.

이하에서는 도 19 및 도 20을 참조하여 복수의 사용자(800) 중 일부는 착용형 디스플레이 장치(400)를 착용하고 다른 일부는 착용형 디스플레이 장치(400)를 착용하지 않는 경우에 복수의 사용자(800)에게 가상 현실 제어 시스템(10)에 의해 가상 체험이 제공되는 방법에 대해 서술한다.Hereinafter, referring to FIGS. 19 and 20, when some of the plurality of users 800 wear the wearable display device 400 and others do not wear the wearable display device 400, a plurality of users 800 ), a method of providing a virtual experience by the virtual reality control system 10 will be described.

도 19는 일 실시예에 따른 착용형 디스플레이 장치(400)를 착용한 사용자와 착용하지 않은 사용자에게 가상 체험이 제공될 때 현실 공간을 나타내는 예시도이다.19 is an exemplary diagram illustrating a real space when a virtual experience is provided to a user who wears the wearable display device 400 and a user who does not wear the wearable display device 400 according to an exemplary embodiment.

도 19를 참조하면, 제1 사용자(801)는 제1 보조 컴퓨팅 장치(301), 제1 착용형 디스플레이 장치(401) 및 제1 입력 장치(501)를 소지한 상태로 추적 영역(600)에 위치하고 제2 사용자(802)는 조작 장치(520)를 소지한 상태로 조작 영역(630)에 위치할 수 있다.Referring to FIG. 19, a first user 801 is in a tracking area 600 while holding a first auxiliary computing device 301, a first wearable display device 401, and a first input device 501. The location and the second user 802 may be positioned in the manipulation area 630 while holding the manipulation device 520.

제1 사용자(801) 및 제2 사용자(802)는 가상 현실 제어 시스템(10)에 의해 동일한 가상 체험을 제공 받을 수 있다. 이 때, 제1 사용자(801)는 제1 착용형 디스플레이 장치(401)를 통해, 제2 사용자(802)는 조작 장치(520) 또는 별도의 디스플레이 장치를 통해 가상 체험에 대한 가상 현실 이미지(452)를 제공 받을 수 있다.The first user 801 and the second user 802 may be provided with the same virtual experience by the virtual reality control system 10. At this time, the first user 801 through the first wearable display device 401, the second user 802 through the manipulation device 520 or a separate display device, the virtual reality image 452 for the virtual experience. ) Can be provided.

제1 사용자(801) 및 제2 사용자(802)는 동일한 가상 체험을 제공받더라도 서로 다른 가상 현실 이미지(452)를 제공받을 수 있다.Even though the first user 801 and the second user 802 are provided with the same virtual experience, different virtual reality images 452 may be provided.

일 예로, 제1 사용자(801)에게는 제1 사용자(801)에 대응하는 제1 캐릭터(901)의 1인칭 시점으로 가상 공간을 바라본 이미지가 제공되되 제2 사용자(802)에게는 상기 제1 캐릭터(901)의 3인칭 시점 또는 전지적 시점에서 가상 공간을 바라본 이미지가 제공될 수 있다.For example, a first user 801 is provided with an image of a virtual space viewed from a first-person perspective of a first character 901 corresponding to the first user 801, but the second user 802 is provided with the first character ( An image of a virtual space viewed from a third-person view of 901 or an omniscient view may be provided.

제1 사용자(801)는 도 6에서 언급된 방법으로 디텍팅 장치(100)에 의해 위치 또는 움직임 등이 추적될 수 있고 제1 보조 컴퓨팅 장치(301)는 제1 사용자(801)의 위치 정보에 기초하여 제1 착용형 디스플레이 장치(401)를 통해 제1 사용자(801)에게 가상 현실 이미지(452)를 제공할 수 있다.The first user 801 may be tracked by the detecting device 100 by the method mentioned in FIG. 6, and the first auxiliary computing device 301 is configured to provide the location information of the first user 801. Based on the first wearable display device 401, the virtual reality image 452 may be provided to the first user 801.

제2 사용자(802)는 조작 장치(520)를 이용하여 제1 사용자(801)에게 제공되는 가상 체험을 제어할 수 있다.The second user 802 may control a virtual experience provided to the first user 801 by using the manipulation device 520.

조작 장치(520)는 사용자(800)의 조작에 따라 조작 신호를 송수신할 수 있는 전자기기 또는 전자장치를 포함할 수 있다.The manipulation device 520 may include an electronic device or an electronic device capable of transmitting and receiving a manipulation signal according to manipulation of the user 800.

일 예로, 조작 장치(520)는 키보드, 마우스, 조이스틱 또는 터치패드 등의 입력 장치 및 태블릿 PC 또는 핸드폰 등의 단말기 중 적어도 하나를 포함할 수 있다.For example, the manipulation device 520 may include at least one of an input device such as a keyboard, a mouse, a joystick or a touch pad, and a terminal such as a tablet PC or a mobile phone.

조작 장치(520)는 서버(200) 및 제1 보조 컴퓨팅 장치(301) 중 적어도 하나에 조작 신호를 전달할 수 있다.The manipulation device 520 may transmit a manipulation signal to at least one of the server 200 and the first auxiliary computing device 301.

조작 장치(520)는 서버(200) 및 제1 보조 컴퓨팅 장치(301) 중 적어도 하나와 유선 또는 무선으로 통신할 수 있다.The manipulation device 520 may communicate with at least one of the server 200 and the first auxiliary computing device 301 by wire or wirelessly.

조작 장치(520)는 제2 사용자(802)의 조작에 따라 조작 신호를 서버(200) 및 제1 보조 컴퓨팅 장치(301) 중 적어도 하나에 전달할 수 있다.The manipulation device 520 may transmit an manipulation signal to at least one of the server 200 and the first auxiliary computing device 301 according to the manipulation of the second user 802.

제1 보조 컴퓨팅 장치(301)는 조작 장치(520)로부터 조작 신호를 전달받는 경우 이를 제1 사용자(801) 또는 제2 사용자(802)에게 제공되는 가상 체험에 반영할 수 있다.When the first auxiliary computing device 301 receives a manipulation signal from the manipulation device 520, the first auxiliary computing device 301 may reflect this in a virtual experience provided to the first user 801 or the second user 802.

조작 영역(630)은 제2 사용자(802)가 위치한 영역으로 별도로 제1 보조 컴퓨팅 장치(301) 및 서버(200) 중 적어도 어느 하나와 조작 장치(520)가 통신하기 위한 범위 이내에 위치할 수 있다.The manipulation area 630 is an area in which the second user 802 is located, and may be separately located within a range in which the manipulation device 520 communicates with at least one of the first auxiliary computing device 301 and the server 200. .

한편, 조작 영역(630)은 추적 영역(600) 내에 포함될 수 있다. 이 때, 제2 사용자(802)에게 마커(M)가 제공되어 제2 사용자(802)의 위치나 움직임 등이 추적될 수 있고 제1 보조 컴퓨팅 장치(301)는 제2 사용자(802)의 위치 이동 또는 움직임 등을 제1 사용자(801) 또는 제2 사용자(802)에게 제공되는 가상 체험에 반영할 수 있다.Meanwhile, the manipulation area 630 may be included in the tracking area 600. At this time, a marker (M) is provided to the second user 802 so that the location or movement of the second user 802 can be tracked, and the first auxiliary computing device 301 is the location of the second user 802. Movement or movement may be reflected in a virtual experience provided to the first user 801 or the second user 802.

도 20은 일 실시예에 따른 착용형 디스플레이 장치(400)를 착용한 사용자와 착용하지 않은 사용자에게 가상 체험이 제공될 때 가상 공간을 나타내는 예시도이다.20 is an exemplary diagram illustrating a virtual space when a virtual experience is provided to a user who wears the wearable display device 400 and a user who does not wear the wearable display device 400 according to an exemplary embodiment.

도 20을 참조하면, 제1 사용자(801)에게 제1 착용형 디스플레이 장치(401)를 통해 제1 캐릭터(901) 및 대상 오브젝트(V1)을 포함하는 가상 현실 이미지(452)가 제공될 수 있다. 이 때, 제2 사용자(802)의 조작에 의해 조작 장치(520)로부터 제1 보조 컴퓨팅 장치(301)로 조작 신호가 전달되면 대상 오브젝트(V1)에 조작 효과(E)가 표시될 수 있다.Referring to FIG. 20, a virtual reality image 452 including a first character 901 and a target object V1 may be provided to a first user 801 through a first wearable display device 401. . In this case, when a manipulation signal is transmitted from the manipulation device 520 to the first auxiliary computing device 301 by manipulation of the second user 802, the manipulation effect E may be displayed on the target object V1.

제2 사용자(802)는 조작 장치(520)를 통해 제1 사용자(801)에게 제공되는 가상 체험에 관한 이미지를 제공받을 수 있으며, 실시간으로 조작 장치(520)를 조작할 수 있다.The second user 802 may be provided with an image related to a virtual experience provided to the first user 801 through the manipulation device 520 and may operate the manipulation device 520 in real time.

대상 오브젝트(V1)는 제1 캐릭터(901) 주변에 존재하는 가상 물체, 사물 구조 또는 가상 공간을 구성하는 배경을 포함할 수 있다.The target object V1 may include a virtual object existing around the first character 901, an object structure, or a background constituting a virtual space.

조작 효과(E)는 조작 장치(520)가 조작됨으로써 대상 오브젝트(V1)에 표시될 수 있다.The manipulation effect E may be displayed on the target object V1 by manipulating the manipulation device 520.

일 예로, 제2 사용자(802)가 조작 장치(520)에 표시되는 이미지에서 대상 오브젝트(V1)가 표시되는 부분을 터치하는 경우 대상 오브젝트(V1)가 빛나는 효과가 발생할 수 있고 제1 캐릭터(901)는 빛나는 대상 오브젝트(V1)를 인지할 수 있다.As an example, when the second user 802 touches a portion where the target object V1 is displayed in the image displayed on the manipulation device 520, the target object V1 may glow, and the first character 901 ) Can recognize the shining target object V1.

조작 효과(E)는 대상 오브젝트(V1) 외에도 제1 캐릭터(901)에도 표시될 수 있고 동시에 복수의 대상 오브젝트(V1)에 표시될 수 있다.The manipulation effect E may be displayed on the first character 901 in addition to the target object V1 and may be simultaneously displayed on a plurality of target objects V1.

조작 효과(E)는 제1 사용자(801) 또는 제2 사용자(802)에게 제공되는 가상 현실 이미지(452)에 표시되는 시각적 효과 및 제1 착용형 디스플레이 장치(301)를 통해 제공될 수 있는 청각적 효과 중 적어도 하나를 포함할 수 있다.The manipulation effect (E) is a visual effect displayed on the virtual reality image 452 provided to the first user 801 or the second user 802 and hearing that may be provided through the first wearable display device 301. It may include at least one of the enemy effects.

조작 효과(E)가 표시되거나 발생되는 시간은 제2 사용자(802)가 조작 장치(520)를 조작한 직후 또는 조작한 후 일정 시간 경과한 때일 수 있다.The time at which the manipulation effect E is displayed or generated may be immediately after the second user 802 operates the manipulation device 520 or when a predetermined time has elapsed after the manipulation.

제1 사용자(801)가 가상 체험을 제공 받는 과정에서 제2 사용자(802)는 조작 장치(520)를 이용하여 대상 오브젝트(V1)에 조작 효과(E)를 발생시킴으로써 제1 사용자(801)의 가상 체험에 대한 몰입도를 증대시키거나 제1 사용자(801)가 원활하게 가상 현실을 체험하도록 보조할 수 있다.While the first user 801 is provided with a virtual experience, the second user 802 generates a manipulation effect E on the target object V1 using the manipulation device 520, The degree of immersion in the virtual experience may be increased, or the first user 801 may be assisted to smoothly experience the virtual reality.

제1 사용자(801)가 가상 체험을 제공 받는 과정에서 제2 사용자(802)에 의해 조작 장치(520)가 조작됨으로써 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어질 수 있다.Collaboration may be achieved by the first user 801 and the second user 802 by manipulating the manipulation device 520 by the second user 802 while the first user 801 is provided with a virtual experience. .

제1 사용자(801) 및 제2 사용자(802)에 의한 협업은 도 9 내지 도 16에서 서술한 바와 유사하게 제1 사용자(801)의 시간에 따른 위치 변화 또는 동작 및 제2 사용자(802)의 조작 장치(520) 조작을 통해 이루어질 수 있다.Collaboration by the first user 801 and the second user 802 is similar to that described in FIGS. 9 to 16, and the position change or motion of the first user 801 over time and the second user 802 It may be achieved through manipulation of the manipulation device 520.

이상에서 제2 사용자(802)는 조작 장치(520)를 조작하여 제1 사용자(801)에게 제공되는 가상 현실에 영향을 주는 경우에 대해 서술하였으나 이에 한정되는 것은 아니고 조작 장치(520) 대신으로 또는 함께 마이크, 기계 장치 등이 이용될 수도 있다.In the above, the case where the second user 802 manipulates the manipulation device 520 to affect the virtual reality provided to the first user 801 has been described, but is not limited thereto and instead of the manipulation device 520 or Together, a microphone, a mechanical device, or the like may be used.

이하에서는 평가 시스템이 적용되는 가상 체험이 복수의 사용자(800)에게 제공됨에 있어서, 앞서 서술한 복수의 사용자(800)에 의해 이루어지는 협업이 상기 평가 시스템에 반영되는 방법에 대해 설명한다.Hereinafter, since a virtual experience to which the evaluation system is applied is provided to a plurality of users 800, a method in which the collaboration made by the plurality of users 800 described above is reflected in the evaluation system will be described.

가상 현실 제어 시스템(10)에 의해 사용자(800)에게 제공되는 가상 체험은 제공 목적이나 방법에 따라 다양한 컨셉, 종류, 장르 또는 테마를 가질 수 있다.The virtual experience provided to the user 800 by the virtual reality control system 10 may have various concepts, types, genres, or themes according to the purpose or method of providing.

일 예로, 가상 체험은 서바이벌, 재난/사고 대응 훈련, 슈팅, 스포츠, FPS(First-person shooter), RPG(Role-playing game), 의료 시뮬레이션 또는 쇼핑 컨텐츠 등을 포함할 수 있다.For example, the virtual experience may include survival, disaster/accident response training, shooting, sports, first-person shooter (FPS), role-playing game (RPG), medical simulation, or shopping content.

특정 가상 체험에는 평가 시스템이 적용되어 가상 체험이 종료된 후 사용자(800)는 사용자(800)의 체험 과정을 기초로 산정된 평가 결과를 제공 받을 수 있다.After the evaluation system is applied to a specific virtual experience and the virtual experience is ended, the user 800 may receive an evaluation result calculated based on the experience process of the user 800.

평가 결과는 점수, 그림과 같은 시각적 정보 또는 소리와 같은 청각적 정보 등으로 사용자(800)에게 제공될 수 있다.The evaluation result may be provided to the user 800 as a score, visual information such as a picture, or audible information such as sound.

일 예로, 사용자(800)에게 화재 대응 훈련 가상 체험이 제공되는 경우, 가상 공간에서 사용자(800)에 대응하는 캐릭터가 주어진 화재 상황에 정해진 순서대로 대응하였는지 여부에 기초하여 평가 결과가 산정될 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 평가 시스템에 따라 산정한 평가 결과를 수치화 하여 착용형 디스플레이 장치(400)에 출력함으로써 사용자(800)에게 평가 결과를 제공할 수 있다. 더 구체적으로, 보조 컴퓨팅 장치(300)는 사용자(800)의 위치 변화 및 동작 등을 추적하여 가상 공간 내 미리 정해진 영역에서 사용자(800)에 대응하는 캐릭터가 미리 정해진 동작을 하는지 여부를 기초로 평가 결과를 산정할 수 있다.For example, when a fire response training virtual experience is provided to the user 800, the evaluation result may be calculated based on whether a character corresponding to the user 800 in the virtual space responded to a given fire situation in a predetermined order. . In this case, the auxiliary computing device 300 may provide the evaluation result to the user 800 by quantifying the evaluation result calculated according to the evaluation system and outputting it to the wearable display device 400. More specifically, the auxiliary computing device 300 tracks the position change and motion of the user 800 and evaluates based on whether a character corresponding to the user 800 performs a predetermined motion in a predetermined area in the virtual space. Results can be estimated.

복수의 사용자(800)가 가상 현실 제어 시스템(10)에 의해 같은 가상 체험을 제공 받는 경우, 평가 결과에는 복수 사용자(800)에 의한 협업이 이루어졌는지 여부가 반영될 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 이하 서술하는 협업 평가 방법에 따라 복수 사용자(800)에 의한 협업을 평가 결과에 반영할 수 있다.When a plurality of users 800 are provided with the same virtual experience by the virtual reality control system 10, the evaluation result may reflect whether or not collaboration by the plurality of users 800 has been performed. In this case, the auxiliary computing device 300 may reflect collaboration by the multiple users 800 to the evaluation result according to the collaboration evaluation method described below.

도 21은 일 실시예에 따른 복수 사용자(800)에 의한 협업을 평가 결과에 반영하는 협업 평가 방법을 나타내는 순서도이다.21 is a flowchart illustrating a method for evaluating a collaboration in which collaboration by multiple users 800 is reflected in an evaluation result, according to an exemplary embodiment.

도 21을 참조하면, 협업 평가 방법은 협업 인식 단계(S100), 협업 성공 횟수 측정 단계(S200) 및 협업 횟수에 따른 협업 평가 결과 산정 단계(S300)를 포함할 수 있다.Referring to FIG. 21, the collaboration evaluation method may include a collaboration recognition step (S100 ), a collaboration success count step (S200 ), and a collaboration evaluation result calculation step (S300) according to the number of collaborations.

인식 단계(S100)에서 보조 컴퓨팅 장치(300)는 앞서 도 9 내지 도 20에서 서술한 바와 같이 복수의 사용자(800)에 의해 협업이 이루어졌는지 여부를 판단할 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 협업이 이루어진 경우 미리 설정된 판단 기준에 따라 협업의 성공 여부 및 정확도를 판단할 수 있다. 이 경우 정확도는 보조 컴퓨팅 장치(300)에 의해 산출되는 대상체의 위치 정보, 가상 위치 정보 및 사용자(800)에게 제공된 가상 체험의 시작 시점으로부터 경과된 시간 중 적어도 하나에 기초하여 판단될 수 있다.In the recognition step S100, the auxiliary computing device 300 may determine whether or not collaboration has been made by the plurality of users 800 as described above with reference to FIGS. 9 to 20. In this case, the auxiliary computing device 300 may determine the success or accuracy of the collaboration according to a predetermined determination criterion when collaboration is made. In this case, the accuracy may be determined based on at least one of the location information of the object calculated by the auxiliary computing device 300, the virtual location information, and a time elapsed from the start point of the virtual experience provided to the user 800.

측정 단계(S200)에서 보조 컴퓨팅 장치(300)는 앞서 인식 단계(S100)에서 판단된 협업의 성공 여부 및 정확도에 기초하여 협업 평가 결과에 반영할 협업 횟수를 측정 또는 기록할 수 있다.In the measurement step S200, the auxiliary computing device 300 may measure or record the number of collaborations to be reflected in the collaboration evaluation result based on the success and accuracy of the collaboration determined in the recognition step S100.

산정 단계(S300)에서 보조 컴퓨팅 장치(300)는 앞서 인식 단계(S100) 및 측정 단계(S200)를 통해 얻어진 협업 성공 횟수에 기초하여 협업 평가 결과를 산정하고 이를 기존의 평가 시스템에 반영할 수 있다.In the calculation step (S300), the auxiliary computing device 300 may calculate the collaboration evaluation result based on the number of successful collaborations obtained through the recognition step (S100) and the measurement step (S200) and reflect the result in the existing evaluation system. .

협업 평가 결과는 평가 결과와 마찬가지로 점수, 그림 또는 해당 분야의 통상의 기술자가 용이하게 이용할 수 있는 방법으로 사용자(800)에게 제공될 수 있되 평가 결과와 별도로 제공되거나 평가 결과에 포함되어 제공될 수 있다.As with the evaluation result, the collaborative evaluation result may be provided to the user 800 in a manner that can be easily used by a score, a picture, or a person skilled in the relevant field, but may be provided separately from the evaluation result or included in the evaluation result. .

일 예로, 협업 성공 횟수가 많을수록 복수의 사용자(800)가 가상 체험 종료 후 획득하는 점수는 높아질 수 있다. 이와 같이 가상 현실 제어 시스템(10)은 복수의 사용자(800)의 협업에 따라 평가 결과를 달리 제공함으로써 복수의 사용자(800)가 더 좋은 평가 결과를 위해 협업을 하도록 유도할 수 있다. 더불어 사용자(800)는 협업을 통해 더 나은 평가 결과를 제공받음으로써 흥미가 증대될 수 있다.For example, as the number of successful collaborations increases, the scores obtained by the plurality of users 800 after the virtual experience ends may increase. As described above, the virtual reality control system 10 may induce the plurality of users 800 to cooperate for better evaluation results by providing different evaluation results according to the cooperation of the plurality of users 800. In addition, the user 800 may increase interest by receiving better evaluation results through collaboration.

이하에서는 도 22 및 도 23을 참조하여 적어도 하나의 사용자(800)가 같은 추적 영역(600)에서 가상 현실 제공 시스템(10)에 의해 가상 체험을 제공 받는 때에 현실 공간에서 사용자(800)의 신체 중 디텍팅 장치(100)에 의해 추적되지 않는 부분이 가상 공간에서 표현되는 방법에 대해 설명한다.Hereinafter, referring to FIGS. 22 and 23, when at least one user 800 is provided with a virtual experience by the virtual reality providing system 10 in the same tracking area 600, the body of the user 800 is A method in which a portion not tracked by the detecting device 100 is expressed in a virtual space will be described.

도 22는 일 실시예로, 현실에서 상대적으로 먼 거리에서 사용자(800)간 접촉 시 가상 공간에서 렌더링 이미지(930)가 표시되는 것을 나타내는 예시도이다.FIG. 22 is an exemplary diagram illustrating that a rendered image 930 is displayed in a virtual space when users 800 contact each other at a relatively far distance from reality.

도 23은 일 실시예로, 현실에서 상대적으로 가까운 거리에서 사용자(800)간 접촉 시 가상 공간에서 렌더링 이미지(930)가 표시되는 것을 나타내는 예시도이다.23 is an exemplary diagram illustrating that a rendered image 930 is displayed in a virtual space when users 800 contact each other at a relatively close distance in reality.

이하에서는 설명의 편의를 위해 도 22 및 도 23에 도시된 바와 같이 사용자(800)에게 제공되는 가상 현실 이미지(452)는 사용자(800)에 대응하는 캐릭터(900)의 1인칭 시점을 표시하는 것으로 한다. 이 때, 가상 현실 이미지(452)에는 캐릭터(900)의 적어도 일부가 표시될 수 있다.Hereinafter, for convenience of description, as shown in FIGS. 22 and 23, the virtual reality image 452 provided to the user 800 indicates a first-person view of the character 900 corresponding to the user 800. do. In this case, at least a part of the character 900 may be displayed on the virtual reality image 452.

도 22를 참조하면, 제2 캐릭터(902)에 접촉하는 제1 캐릭터(901)의 일부는 렌더링 이미지(930)로 표시될 수 있다.Referring to FIG. 22, a part of the first character 901 contacting the second character 902 may be displayed as a rendered image 930.

렌더링 이미지(930)는 현실 공간의 사용자(800)에 대응되는 가상 공간의 캐릭터(900)를 표현하기 위한 가상 이미지를 포함할 수 있다. 또는 렌더링 이미지(930)는 현실 공간에서 디텍팅 장치(100)에 의해 추적되는 대상체에 대응되는 가상 공간의 가상 오브젝트를 표현하기 위한 가상 이미지를 포함할 수 있다.The rendered image 930 may include a virtual image for expressing a character 900 in a virtual space corresponding to the user 800 in the real space. Alternatively, the rendered image 930 may include a virtual image for representing a virtual object in a virtual space corresponding to an object tracked by the detecting apparatus 100 in a real space.

보조 컴퓨팅 장치(300)는 디텍팅 장치(100)에 의해 추적되는 대상체의 디텍팅 정보 또는 위치 정보를 기초로 가상 공간에 렌더링 이미지(930)를 생성, 구현 또는 변경할 수 있다.The auxiliary computing device 300 may generate, implement, or change the rendered image 930 in a virtual space based on detecting information or location information of an object tracked by the detecting device 100.

보조 컴퓨팅 장치(300)는 대상체의 디텍틱 정보에 기초하여 위치 정보가 검출되지 않는 영역을 포함하는 렌더링 이미지(930)를 생성할 수 있다.The auxiliary computing device 300 may generate a rendered image 930 including an area in which location information is not detected based on the detective information of the object.

렌더링 이미지(930)는 위치 정보가 검출되는 영역에 대응되는 이미지와 위치정보가 검출되지 않는 영역에 대응되는 이미지를 포함할 수 있다. 즉, 렌더링 이미지(930)는 검출된 위치 정보에 기초하여 생성된 스켈레톤을 기초로 렌더링한 이미지일 수 있다.The rendered image 930 may include an image corresponding to an area where location information is detected and an image corresponding to an area where location information is not detected. That is, the rendered image 930 may be an image rendered based on a skeleton generated based on the detected location information.

디텍팅 장치(100)에 의해 추적되는 하나의 대상체는 적어도 하나 이상의 렌더링 이미지(930)로 표시될 수 있다.One object tracked by the detecting device 100 may be displayed as at least one rendered image 930.

일 예로, 도 22를 참조하면, 현실 공간에서 제1 사용자(801)가 제2 사용자(802)의 어깨에 손을 올리는 경우 가상 공간에서 제1 캐릭터(901)가 제2 캐릭터(902) 어깨에 손을 올리는 가상 현실 이미지(452)가 제1 착용형 디스플레이 장치(401)를 통해 제1 사용자(801)에게 제공될 수 있다. 이 때, 착용형 디스플레이 장치(400)에는 제1 사용자(801) 및 제2 사용자(802)의 위치 정보를 기초로 제1 사용자(801)의 팔에 대응되는 렌더링 이미지(930)가 표시될 수 있다.As an example, referring to FIG. 22, when a first user 801 places a hand on the shoulder of a second user 802 in a real space, a first character 901 is placed on the shoulder of the second character 902 in a virtual space. The virtual reality image 452 raising a hand may be provided to the first user 801 through the first wearable display device 401. At this time, the wearable display device 400 may display a rendered image 930 corresponding to the arm of the first user 801 based on the location information of the first user 801 and the second user 802. have.

렌더링 이미지(930)는 대상체 사이의 위치 관계에 따라 다르게 표시될 수 있다.The rendered image 930 may be displayed differently according to a positional relationship between objects.

도 22 및 도 23을 참조하면, 렌더링 이미지(930)는 제1 캐릭터 가상 위치(911), 제2 캐릭터 가상 위치(912) 및 기준 가상 위치(921) 중 적어도 하나에 기초하여 표시될 수 있다.22 and 23, the rendered image 930 may be displayed based on at least one of a first character virtual location 911, a second character virtual location 912, and a reference virtual location 921.

기준 가상 위치(921)는 보조 컴퓨팅 장치(300)가 디텍팅 장치(100)에 의해 추적되지 않는 물체에 대한 렌더링 이미지(930)를 생성할 때 기초로 할 수 있는 가상 위치 정보를 포함할 수 있다.The reference virtual location 921 may include virtual location information that can be used as a basis when the auxiliary computing device 300 generates a rendered image 930 for an object not tracked by the detecting device 100. .

기준 가상 위치(921)는 현실 공간에서 디텍팅 장치(100)에 의해 추적된 대상체의 위치 정보에 기초하여 산출되는 가상 위치 정보를 포함할 수 있다.The reference virtual location 921 may include virtual location information calculated based on location information of an object tracked by the detecting apparatus 100 in a real space.

일 예로, 기준 가상 위치(921)는 제1 사용자(801)에 의해 조작되는 제1 입력 장치(501)를 추적하여 얻은 위치 정보를 기초로 산출된 가상 위치 정보를 포함할 수 있다.As an example, the reference virtual location 921 may include virtual location information calculated based on location information obtained by tracking the first input device 501 operated by the first user 801.

또 다른 예로, 기준 가상 위치(921)는 사용자(800)의 신체에 부착된 마커(M)를 추적하여 얻은 위치 정보를 기초로 산출된 가상 위치 정보를 포함할 수 있다.As another example, the reference virtual location 921 may include virtual location information calculated based on location information obtained by tracking the marker M attached to the body of the user 800.

렌더링 이미지(930)는 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911)에 기초하여 구현될 수 있다.The rendered image 930 may be implemented based on the reference virtual position 921 and the first character virtual position 911.

일 예로, 도 22에 도시된 바와 같이 기준 가상 위치(921)가 제1 입력 장치(501)의 위치 정보에 기초하여 산출된 가상 위치 정보인 경우, 제1 사용자(801)에 대응하는 제1 캐릭터(901)의 신체 부위 중 팔 부분을 구현하기 위한 렌더링 이미지(930)는 기준 가상 위치(921)와 제1 캐릭터 가상 위치(911)에 기초하여 구현될 수 있다. 이 때, 렌더링 이미지(930)는 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911) 사이의 거리를 고려하여 뻗은 팔 형상을 포함할 수 있다.For example, as illustrated in FIG. 22, when the reference virtual location 921 is virtual location information calculated based on location information of the first input device 501, a first character corresponding to the first user 801 The rendered image 930 for implementing the arm part of the body part 901 may be implemented based on the reference virtual position 921 and the first character virtual position 911. In this case, the rendered image 930 may include an extended arm shape in consideration of a distance between the reference virtual position 921 and the first character virtual position 911.

렌더링 이미지(930)의 형상은 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911)의 변화에 따라 변경될 수 있다.The shape of the rendered image 930 may be changed according to changes in the reference virtual position 921 and the first character virtual position 911.

일 예로, 도 23에 도시된 바와 같이 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911) 사이의 거리가 도 22에 도시된 것보다 가까워진 경우 렌더링 이미지(930)는 굽은 팔 형상을 포함할 수 있다. 이 때, 제1 사용자(801)가 팔을 구부리는 경우 기준 가상 위치(921)와 제1 캐릭터 가상 위치(911) 사이의 거리가 짧아지고 이에 따라 제1 보조 컴퓨팅 장치(301)는 제1 착용형 디스플레이 장치(401)에 제1 캐릭터(901)가 팔을 구부리는 이미지를 출력할 수 있다. 이와 같이 가상 공간에서 제1 캐릭터(901)를 표시함에 있어 관절을 표현함으로써 현실 공간과 가상 공간 사이에서 제1 사용자(801)가 느끼는 괴리감이 줄어들고 제1 사용자(801)의 가상 체험에 대한 몰입도가 증대될 수 있다.As an example, as shown in FIG. 23, when the distance between the reference virtual position 921 and the first character virtual position 911 is closer than that illustrated in FIG. 22, the rendered image 930 may include a curved arm shape. I can. At this time, when the first user 801 bends his arm, the distance between the reference virtual position 921 and the first character virtual position 911 is shortened, and accordingly, the first auxiliary computing device 301 is worn first. An image of the first character 901 bending his arm may be output to the type display device 401. In this way, when displaying the first character 901 in the virtual space, by expressing the joint, the sense of disparity felt by the first user 801 between the real space and the virtual space is reduced, and the first user 801's immersion in the virtual experience Can be increased.

한편, 보조 컴퓨팅 장치(300)는 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911)에 기초하여 렌더링 이미지(930)의 크기를 달리하여 구현할 수 있다.Meanwhile, the auxiliary computing device 300 may be implemented by varying the size of the rendered image 930 based on the reference virtual position 921 and the first character virtual position 911.

일 예로, 기준 가상 위치(921)가 제1 입력 장치(501)의 위치 정보에 기초하여 산출된 가상 위치 정보인 경우, 제1 입력 장치(501)에 대응되는 제1 캐릭터(901)의 손 부분을 구현하기 위한 렌더링 이미지(930)는 기준 가상 위치(921)와 제1 캐릭터 가상 위치(911) 사이의 거리가 멀어질수록 작게 표시되고 가까워질수록 크게 표시될 수 있다.For example, when the reference virtual location 921 is virtual location information calculated based on location information of the first input device 501, the hand portion of the first character 901 corresponding to the first input device 501 The rendered image 930 for implementing a may be displayed smaller as the distance between the reference virtual location 921 and the first character virtual location 911 increases, and may be displayed larger as the distance between the reference virtual location 921 and the first character virtual location 911 increases.

렌더링 이미지(930)는 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)에 기초하여 구현될 수도 있다. 이 때, 제2 캐릭터 가상 위치(912)는 제1 사용자(801)가 제2 사용자(802)와 접촉하는 경우 해당 접촉부위의 가상 위치 정보를 포함할 수 있다.The rendered image 930 may be implemented based on the first character virtual position 911 and the second character virtual position 912. In this case, when the first user 801 contacts the second user 802, the second character virtual location 912 may include virtual location information of the corresponding contact area.

일 예로, 제2 캐릭터 가상 위치(912)는 디텍팅 장치(100)에 의해 추적되면서 제2 사용자(802)에게 부착된 대상체의 위치 정보를 기초로 산출된 가상 위치 정보를 포함할 수 있다.제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)에 기초하여 렌더링 이미지(930)를 구현하는 방법은 상술한 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911)를 이용하여 렌더링 이미지(930)를 구현하는 방법을 포함할 수 있다. 이 때, 제2 캐릭터 가상 위치(912)는 기준 가상 위치(921)에 대응할 수 있다.As an example, the second character virtual location 912 may include virtual location information calculated based on location information of an object attached to the second user 802 while being tracked by the detecting device 100. A method of implementing the rendered image 930 based on the 1 character virtual location 911 and the second character virtual location 912 is rendered using the reference virtual location 921 and the first character virtual location 911 described above. A method of implementing the image 930 may be included. In this case, the second character virtual position 912 may correspond to the reference virtual position 921.

한편, 보조 컴퓨팅 장치(300)는 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)에 기초하여 렌더링 이미지(930)의 크기를 다르게 구현할 수 있다.Meanwhile, the auxiliary computing device 300 may implement different sizes of the rendered image 930 based on the first character virtual position 911 and the second character virtual position 912.

일 예로, 보조 컴퓨팅 장치(300)는 제2 착용형 디스플레이 장치(402)의 위치 정보에 기초하여 제2 캐릭터(902)의 신체 일부 또는 전부에 해당하는 렌더링 이미지(930)를 생성할 수 있다. 이 때, 렌더링 이미지(930)는 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912) 사이의 거리가 멀어질수록 작게 표시되고 가까워질수록 크게 표시될 수 있다.For example, the auxiliary computing device 300 may generate a rendered image 930 corresponding to a part or all of the body of the second character 902 based on the location information of the second wearable display device 402. In this case, the rendered image 930 may be displayed smaller as the distance between the first character virtual location 911 and the second character virtual location 912 increases, and may be displayed larger as it approaches.

이상에서는 복수의 사용자(800)가 같은 추적 영역(600)에 있는 경우를 중점으로 설명하였으나 본 발명이 이에 한정되는 것은 아니며 복수의 사용자(800)가 서로 분리된 추적 영역(600)에서 가상 현실 제어 시스템(10)에 의해 동일한 가상 체험을 제공 받는 경우에도 상술한 렌더링 이미지(930) 구현 방법이 이용될 수 있다. In the above, the case where a plurality of users 800 are in the same tracking area 600 has been mainly described, but the present invention is not limited thereto, and the plurality of users 800 control virtual reality in the separate tracking area 600 Even when the same virtual experience is provided by the system 10, the above-described method of implementing the rendered image 930 may be used.

또한, 이상에서는 가상 공간에서 캐릭터, 가상 오브젝트 또는 가상 구조나 배경 등을 표시하는 방법으로 렌더링 이미지(930)를 이용하는 방법을 중점으로 서술하였으나 본 발명이 이에 한정되는 것은 아니며 스켈레톤, 폴리곤, 또는 메쉬 등 해당 분야 통상의 기술자가 용이하게 이용할 수 있는 컴퓨터 그래픽 기술이 이용될 수도 있다.In addition, in the above, a method of using the rendered image 930 as a method of displaying a character, a virtual object, a virtual structure or background in a virtual space, etc., has been described, but the present invention is not limited thereto, Computer graphics technology readily available to those skilled in the art may be used.

이하에서는 도 24 내지 도 28을 참조하여 하나의 입력 장치(500)가 가상 공간에서 적어도 하나 이상의 가변 오브젝트(1000)로 표시되는 방법에 대해 설명한다.Hereinafter, a method in which one input device 500 is displayed as at least one variable object 1000 in a virtual space will be described with reference to FIGS. 24 to 28.

도 24는 일 실시예에 따른 입력 장치(500)를 나타내는 예시도이다.24 is an exemplary diagram illustrating an input device 500 according to an exemplary embodiment.

도 24를 참조하면, 입력 장치(500)는 마커(M) 및 버튼(B)을 포함할 수 있다.Referring to FIG. 24, the input device 500 may include a marker M and a button B.

입력 장치(500)의 형상은 사용자(800)에 의해 파지될 수 있는 형상을 포함할 수 있다. 파지되는 방법으로 사용자(800)는 입력 장치(500)를 손으로 감싸 쥐는 방법, 필기도구를 잡듯이 파지하는 방법 또는 양손으로 파지하는 방법 등이 포함될 수 있다.The shape of the input device 500 may include a shape that can be gripped by the user 800. As a gripping method, the user 800 may include a method of wrapping the input device 500 with a hand, a method of gripping the input device 500 as if holding a writing instrument, or a method of gripping with both hands.

일 예로, 입력 장치(500)는 일정 길이를 갖는 막대 형상을 포함할 수 있다.For example, the input device 500 may include a rod shape having a predetermined length.

입력 장치(500)에는 마커(M)가 부착됨으로써 입력 장치(500)가 디텍팅 장치(100)에 의해 추적될 수 있다.Since the marker M is attached to the input device 500, the input device 500 may be tracked by the detecting device 100.

입력 장치(500)에는 적어도 하나 이상의 마커(M)가 부착될 수 있고, 복수의 마커(M)는 특정 패턴을 형성하여 착용형 디스플레이 장치(400) 등의 다른 대상체와 구별될 수 있다.At least one marker M may be attached to the input device 500, and the plurality of markers M may form a specific pattern to be distinguished from other objects such as the wearable display device 400.

한편, 마커(M)는 생략될 수 있으며 이 경우 디텍팅 장치(100)가 입력 장치(500)의 특징점을 추적하거나 입력 장치(500)와 서버(200) 사이의 무선 통신을 통해 입력 장치(500)가 다른 대상체와 구별될 수 있다. 이 때, 입력 장치(500)는 무선 통신 모듈을 포함할 수 있다.Meanwhile, the marker M may be omitted. In this case, the detecting device 100 tracks the feature points of the input device 500 or the input device 500 through wireless communication between the input device 500 and the server 200. ) Can be distinguished from other subjects. In this case, the input device 500 may include a wireless communication module.

입력 장치(500)에 구비된 버튼(B)을 통해 사용자(800)는 서버(200) 또는 보조 컴퓨팅 장치(300)에 입력 신호를 전달할 수 있다.The user 800 may transmit an input signal to the server 200 or the auxiliary computing device 300 through the button B provided on the input device 500.

버튼(B)은 서로 다른 입력 신호를 전달하는 제1 버튼(B1) 및 제2 버튼(B2)을 포함할 수 있다.The button B may include a first button B1 and a second button B2 for transmitting different input signals.

제1 버튼(B1) 및 제2 버튼(B2)는 입력 장치(500)에 이격되어 배치될 수 있다.The first button B1 and the second button B2 may be disposed to be spaced apart from the input device 500.

일 예로, 입력 장치(500)가 일정 길이를 갖는 막대 형상인 경우 제1 버튼(B1) 및 제2 버튼(B2)는 입력 장치(500) 양 끝단에 배치될 수 있다.For example, when the input device 500 has a bar shape having a predetermined length, the first button B1 and the second button B2 may be disposed at both ends of the input device 500.

제1 버튼(B1) 및 제2 버튼(B2) 중 적어도 하나는 생략 될 수 있다.At least one of the first button B1 and the second button B2 may be omitted.

버튼(B)은 입력 장치(500)로부터 서버(200) 또는 보조 컴퓨팅 장치(300)로 입력 신호를 전달하기 위한 수단으로 물리적 압력을 이용한 기계식 버튼, 감압식, 정전식, 적외선, 초음파 방식 등을 이용한 터치 버튼 또는 스위치 버튼 등을 포함할 수 있다.The button (B) is a means for transmitting an input signal from the input device 500 to the server 200 or the auxiliary computing device 300, and a mechanical button using a physical pressure, a pressure-sensitive, capacitive, infrared, ultrasonic method, etc. It may include a touch button or a switch button.

보조 컴퓨팅 장치(300)는 입력 장치(500)의 마커(M)의 위치 정보를 이용하여 가상 공간에 입력 장치(500)에 대응하는 가상 오브젝트를 표시할 수 있다.The auxiliary computing device 300 may display a virtual object corresponding to the input device 500 in a virtual space by using the location information of the marker M of the input device 500.

입력 장치(500)는 가상 공간에서 사용자(800)에 대응하는 캐릭터가 사용할 수 있는 도구로 표시될 수 있다.The input device 500 may be displayed as a tool that can be used by a character corresponding to the user 800 in a virtual space.

입력 장치(500)는 가상 공간에서 사용자(800)에게 제공되는 가상 체험에 따라 다른 형상으로 표시될 수 있다.The input device 500 may be displayed in a different shape according to a virtual experience provided to the user 800 in a virtual space.

일 예로, 사용자(800)에게 가상 의료 수술 체험이 제공되는 경우 입력 장치(500)는 의료 도구 형상을 갖는 가상 오브젝트로 표시되고 가상 서바이벌 체험이 제공되는 경우 입력 장치(500)는 총이나 칼 등의 무기로 표시되며 가상 요리 체험이 제공되는 경우 입력 장치(500)는 손이나 요리 도구 등으로 표시될 수 있다.For example, when a virtual medical surgery experience is provided to the user 800, the input device 500 is displayed as a virtual object having a shape of a medical tool, and when a virtual survival experience is provided, the input device 500 is When displayed as a weapon and a virtual cooking experience is provided, the input device 500 may be displayed as a hand or a cooking tool.

도 25는 일 실시예에 따른 입력 장치(500)가 가상 공간에서 서로 다른 가변 오브젝트(1000)로 변경되는 것을 나타내는 예시도이다.25 is an exemplary diagram illustrating that the input device 500 is changed to different variable objects 1000 in a virtual space according to an exemplary embodiment.

가변 오브젝트(1000)는 입력 장치(500)의 위치 정보에 기초하여 산출된 가상 위치 정보에 기반하여 보조 컴퓨팅 장치(300)가 가상 공간 상에 구현한 가상 오브젝트를 포함할 수 있다.The variable object 1000 may include a virtual object implemented by the auxiliary computing device 300 on a virtual space based on virtual location information calculated based on location information of the input device 500.

가변 오브젝트(1000)는 형상, 특성 또는 모양 등에 따라 제1 가변 오브젝트(1001) 및 제2 가변 오브젝트(1002)를 포함할 수 있다.The variable object 1000 may include a first variable object 1001 and a second variable object 1002 according to a shape, characteristic, or shape.

제1 가변 오브젝트(1001) 및 제2 가변 오브젝트(1002)의 형상이 다른 경우 그 특성이나 기능도 다를 수 있다.When the shapes of the first variable object 1001 and the second variable object 1002 are different, their characteristics or functions may be different.

가변 오브젝트(1000)는 가상 공간에서 각각 미리 정해진 특성 또는 기능을 가질 수 있다.Each of the variable objects 1000 may have predetermined characteristics or functions in a virtual space.

일 예로, 도 25에 도시된 바와 같이 가상 현실 제어 시스템(10)에 의해 사용자(800)에게 의료 수술에 관한 가상 체험이 제공될 때, 제1 가변 오브젝트(1001)는 메스 형상을 가지고 날카로운 부분을 포함하며 가상 공간에서 신체를 해부하거나 절개할 때 사용될 수 있다. 또한, 제2 가변 오브젝트(1002)는 주사기 형상을 가지고 뾰족한 부분을 포함하며 가상 공간에서 신체에 약물을 투입할 때 사용될 수 있다.For example, as illustrated in FIG. 25, when a virtual experience related to medical surgery is provided to the user 800 by the virtual reality control system 10, the first variable object 1001 has a scalpel shape and It contains and can be used when dissecting or dissecting the body in a virtual space. In addition, the second variable object 1002 has a shape of a syringe, includes a pointed portion, and can be used when a drug is injected into the body in a virtual space.

가변 오브젝트(1000)는 미리 정해진 특성 또는 기능에 기초하여 또는 캐릭터(900)에 의해 이용됨에 따라 형상이 변경될 수 있다.The shape of the variable object 1000 may be changed based on a predetermined characteristic or function or as it is used by the character 900.

가변 오브젝트(1000)는 가상 현실 제어 시스템(10)에 의해 사용자(800)에게 제공되는 가상 체험의 종류나 성질에 따라 다른 형상을 가질 수 있다. The variable object 1000 may have a different shape according to the type or nature of the virtual experience provided to the user 800 by the virtual reality control system 10.

가변 오브젝트(1000)는 동일한 가상 체험 중이라 하더라도 두 가지 이상의 형상을 가질 수 있고, 가변 오브젝트(1000)의 형상이 변경되는 경우 그에 대응하여 가상 오브젝트(1000)의 성질이나 특성 또는 기능 등이 변경될 수 있다.The variable object 1000 may have two or more shapes even during the same virtual experience, and when the shape of the variable object 1000 is changed, the properties, characteristics, or functions of the virtual object 1000 may change correspondingly. I can.

이하에서는 도 26 및 도 27을 참조하여 가상 공간 내 가변 오브젝트(1000)의 형상이 변경되는 경우에 대해 서술한다.Hereinafter, a case in which the shape of the variable object 1000 in the virtual space is changed will be described with reference to FIGS. 26 and 27.

도 26은 일 실시예에 따라 제2 가변 오브젝트(1002)가 제1 가변 오브젝트(1001)로 변경되는 경우를 나타내는 예시도이다.26 is an exemplary diagram illustrating a case in which the second variable object 1002 is changed to the first variable object 1001 according to an exemplary embodiment.

도 26을 참조하면, 사용자(800)에게 제공되는 가상 현실 이미지(452)는 캐릭터(900), 제1 가변 오브젝트(1001) 또는 제2 가변 오브젝트(1002), 가변 오브젝트 가상 위치(1010) 및 가상 연장선(1100)이 포함될 수 있다.Referring to FIG. 26, a virtual reality image 452 provided to a user 800 includes a character 900, a first variable object 1001 or a second variable object 1002, a variable object virtual position 1010, and a virtual reality image 452. An extension line 1100 may be included.

캐릭터(900)는 가상 공간에서 사용자(100)의 위치 정보에 기초하여 출력될 수 있다. 가상 현실 이미지(452)는 가상 공간 내 위치한 가상 카메라의 시야 범위가 표시될 수 있다.The character 900 may be output based on the location information of the user 100 in a virtual space. The virtual reality image 452 may display a field of view of a virtual camera located in a virtual space.

일 예로 가상 현실 이미지(452)에 캐릭터(900)의 1인칭 시점이 표시될 수 있고, 이 때 캐릭터(900)의 신체 부위 중 손만이 표시될 수 있다.For example, a first-person view of the character 900 may be displayed on the virtual reality image 452, and at this time, only the hand of the body parts of the character 900 may be displayed.

가상 현실 이미지(452)에는 입력 장치(500)에 대응하여 가변 오브젝트(1000)가 표시될 수 있다.A variable object 1000 may be displayed on the virtual reality image 452 in correspondence with the input device 500.

일 예로, 사용자(800)가 입력 장치(500)를 소지하고 있는 경우 가상 현실 이미지(452)에는 입력 장치(500)에 대응하는 가변 오브젝트(1000)가 캐릭터(900)에 의해 소지된 상태로 표시될 수 있다.For example, when the user 800 has the input device 500, the variable object 1000 corresponding to the input device 500 is displayed on the virtual reality image 452 in a state held by the character 900 Can be.

가변 오브젝트 가상 위치(1010)는 디텍팅 장치(100)가 입력 장치(500)를 추적하여 획득한 디텍팅 정보에 기초하여 보조 컴퓨팅 장치(300)가 산출한 가상 위치 정보를 포함할 수 있다.The variable object virtual location 1010 may include virtual location information calculated by the auxiliary computing device 300 based on the detecting information obtained by tracking the input device 500 by the detecting device 100.

일 예로, 가변 오브젝트 가상 위치(1010)는 입력 장치(500)에 부착된 마커(M)의 가상 위치 정보를 포함할 수 있다.For example, the variable object virtual location 1010 may include virtual location information of the marker M attached to the input device 500.

또는, 가변 오브젝트 가상 위치(1010)는 입력 장치(500)에 대응하는 가변 오브젝트(1000)를 구성하는 가상 좌표 또는 가변 오브젝트(1000)로부터 일정 거리 떨어져 있는 가상 좌표를 포함할 수 있다.Alternatively, the variable object virtual position 1010 may include a virtual coordinate constituting the variable object 1000 corresponding to the input device 500 or a virtual coordinate spaced a predetermined distance from the variable object 1000.

일 예로, 가변 오브젝트(1000)가 주사기 형상일 때, 가변 오브젝트 가상 위치(1010)는 주사 바늘 끝 부분의 가상 위치 정보 또는 가상 좌표를 포함할 수 있다.As an example, when the variable object 1000 has a syringe shape, the variable object virtual position 1010 may include virtual position information or virtual coordinates of the tip of the injection needle.

가변 오브젝트 가상 위치(1010)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The variable object virtual position 1010 may or may not be displayed on the virtual reality image 452 in a dot shape, a hexahedral shape, or the like.

가변 오브젝트 가상 위치(1010)는 동작 시작 위치(1011) 및 동작 종료 위치(1012)를 포함할 수 있다.The variable object virtual position 1010 may include an operation start position 1011 and an operation end position 1012.

동작 시작 위치(1011)는 제1 시점에서 가변 오브젝트(1000)의 가상 위치 정보를 포함하고, 동작 종료 위치(1012)는 제2 시점에서 가변 오브젝트(1000)의 가상 위치 정보를 포함할 수 있다. 이 때, 제1 시점 및 제2 시점은 동일하거나 서로 다른 시점일 수 있다.The operation start position 1011 may include virtual position information of the variable object 1000 at a first time point, and the operation end position 1012 may include virtual position information of the variable object 1000 at a second time point. In this case, the first viewpoint and the second viewpoint may be the same or different viewpoints.

입력 장치(500)가 사용자(800)에 의해 이동되면 가상 현실 이미지(452)에 표시되는 가상 공간에서 가변 오브젝트(1000)가 캐릭터(900)에 의해 이동될 수 있다.When the input device 500 is moved by the user 800, the variable object 1000 may be moved by the character 900 in a virtual space displayed on the virtual reality image 452.

가상 연장선(1100)은 가변 오브젝트(1000)가 캐릭터(900)에 의해 움직임으로써 형성되는 가상의 선을 포함할 수 있다.The virtual extension line 1100 may include a virtual line formed by the movement of the variable object 1000 by the character 900.

가상 연장선(1100)은 동작 시작 위치(1011) 및 동작 종료 위치(1012)를 포함할 수 있다.The virtual extension line 1100 may include an operation start position 1011 and an operation end position 1012.

가상 연장선(1100)은 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The virtual extension line 1100 may or may not be displayed on the virtual reality image 452.

가변 오브젝트(1100)는 캐릭터(900)에 의해 미리 설정된 이동 경로로 이동함으로써 그 형상이 변경될 수 있다.The shape of the variable object 1100 may be changed by moving to a movement path set in advance by the character 900.

이동 경로는 직선, 곡선 및 직선과 곡선의 조합 중 적어도 하나로 구성될 수 있다. 또한 이동 경로는 가변 오브젝트(1100)가 이동 후 변경될 형상의 특성 또는 기능에 기초하여 보조 컴퓨팅 장치(300)에 의해 설정될 수 있다.The movement path may be composed of at least one of a straight line, a curved line, and a combination of a straight line and a curve. Further, the movement path may be set by the auxiliary computing device 300 based on a characteristic or function of a shape to be changed after the variable object 1100 moves.

일 예로, 도 26에 도시된 바와 같이 사용자(800)에게 의료 수술과 관련된 가상 체험이 제공되는 경우 제1 가변 오브젝트(1001)는 메스 형상일 수 있고, 제2 가변 오브젝트(1002)는 주사기 형상일 수 있다. 가상 공간에서 캐릭터(900)가 제2 가변 오브젝트(1002)를 소지하고 있는 상태에서 입력 장치(500)가 사용자(800)에 의해 메스를 사용하는 것과 유사하게 직선 경로로 이동하면 가상 공간에서 제2 가변 오브젝트(1002)가 이에 대응하여 직선 경로로 이동할 수 있다. 제2 가변 오브젝트(1002)의 이동이 끝난 시점에서 제2 가변 오브젝트(1002)는 제1 가변 오브젝트(1001)로 바꾸어 표시될 수 있다. 이 때, 제2 가변 오브젝트(1002)의 가변 오브젝트 가상 위치(1010)가 동작 시작 위치(1011)에서 동작 종료 위치(1012)로 이동할 수 있고, 보조 컴퓨팅 장치(300)는 동작 시작 위치(1011)와 동작 종료 위치(1012)를 기초로 제2 가변 오브젝트(1002)를 제1 가변 오브젝트(1001)로 바꾸어 표시할지 여부를 판단할 수 있다.For example, as shown in FIG. 26, when a virtual experience related to medical surgery is provided to the user 800, the first variable object 1001 may be in the shape of a scalpel, and the second variable object 1002 is in the shape of a syringe. I can. When the character 900 in the virtual space carries the second variable object 1002 and the input device 500 moves in a linear path similar to the use of a scalpel by the user 800, the second variable object 1002 The variable object 1002 may move in a linear path corresponding thereto. When the movement of the second variable object 1002 is finished, the second variable object 1002 may be replaced with the first variable object 1001 and displayed. In this case, the variable object virtual position 1010 of the second variable object 1002 may be moved from the operation start position 1011 to the operation end position 1012, and the auxiliary computing device 300 is the operation start position 1011. It may be determined whether to display the second variable object 1002 by replacing the second variable object 1002 with the first variable object 1001 based on the and operation end position 1012.

한편, 보조 컴퓨팅 장치(300)는 가변 오브젝트(1100)가 캐릭터(900)에 의해 미리 설정된 이동 경로로 이동함에 있어서 이동되는 속도 또는 이동 시간 등을 고려하여 그 형상을 변경될 수도 있다.On the other hand, the auxiliary computing device 300 may change the shape of the variable object 1100 in consideration of a moving speed or a moving time when moving in a preset moving path by the character 900.

또는, 가변 오브젝트(1100)는 사용자(800)가 입력 장치(500)에 구비된 버튼(B)을 조작함으로써 그 형상이 변경될 수 있다.Alternatively, the shape of the variable object 1100 may be changed by the user 800 manipulating the button B provided on the input device 500.

일 예로, 사용자(800)에 의해 입력 장치(500)가 조작되어 보조 컴퓨팅 장치(300) 또는 서버(200)가 입력 신호를 획득하는 경우 보조 컴퓨팅 장치(300)는 가변 오브젝트(1100)의 형상을 변경하여 표시할 수 있다. For example, when the input device 500 is manipulated by the user 800 and the auxiliary computing device 300 or the server 200 obtains an input signal, the auxiliary computing device 300 may change the shape of the variable object 1100. Can be changed and displayed.

또는, 가변 오브젝트(1100)는 사용자(800)에게 가상 현실 제어 시스템(10)에 의해 가상 체험이 제공된 후 경과 시간에 따라 그 형상이 변경될 수 있다.Alternatively, the shape of the variable object 1100 may be changed according to the elapsed time after the virtual experience is provided to the user 800 by the virtual reality control system 10.

일 예로, 사용자(800)에게 의료 수술을 하는 가상 체험이 제공되는 경우 가상 현실에서 수술이 시작된 후 일정 시간이 지나 다른 수술이 시작되는 시점에서 가변 오브젝트(1100)의 형상이 변경될 수 있다.As an example, when a virtual experience of performing a medical operation is provided to the user 800, a shape of the variable object 1100 may be changed at a point in time when another operation is started after a certain period of time after the operation is started in virtual reality.

도 27은 일 실시예에 따라, 가변 오브젝트(1000)의 형상이 캐릭터(900)의 위치에 따라 변경되는 방법을 나타내는 예시도이다.27 is an exemplary diagram illustrating a method in which a shape of a variable object 1000 is changed according to a position of a character 900, according to an exemplary embodiment.

도 27을 참조하면, 가변 오브젝트(1000)는 주위에 배치된 기준 오브젝트(V3)에 따라 그 형상이 변경될 수 있다.Referring to FIG. 27, the shape of the variable object 1000 may be changed according to the reference object V3 disposed around it.

기준 오브젝트(V3)는 가상 공간 내 존재하는 가상 오브젝트일 수 있다.The reference object V3 may be a virtual object existing in a virtual space.

기준 오브젝트(V3)는 현실 공간에서 리얼 오브젝트(RO)에 대응하는 가상 오브젝트일 수 있다.The reference object V3 may be a virtual object corresponding to the real object RO in a real space.

기준 오브젝트(V3)는 사용자(800)에게 제공되는 가상 체험의 종류에 따라 다른 형상을 가질 수 있다.The reference object V3 may have a different shape according to the type of virtual experience provided to the user 800.

기준 오브젝트(V3)는 가상 공간에서 캐릭터(900)에 의해 이용될 수 있다.The reference object V3 may be used by the character 900 in a virtual space.

기준 오브젝트(V3)는 제1 기준 오브젝트(V3_1) 및 제2 기준 오브젝트(V3_2)를 포함할 수 있다.The reference object V3 may include a first reference object V3_1 and a second reference object V3_2.

제1 기준 오브젝트(V3_1) 및 제2 기준 오브젝트(V3_2)는 같은 형상을 하거나 서로 다른 형상을 할 수 있다.The first reference object V3_1 and the second reference object V3_2 may have the same shape or different shapes.

일 예로, 사용자(800)에게 요리 체험에 관한 가상 체험이 제공되는 경우, 제1 기준 오브젝트(V3_1)는 도마 형상을, 제2 기준 오브젝트(V3_2)는 프라이팬 형상을 포함할 수 있다.For example, when a virtual experience related to a cooking experience is provided to the user 800, the first reference object V3_1 may include a cutting board shape, and the second reference object V3_2 may include a frying pan shape.

캐릭터(900)가 기준 오브젝트(V3)로부터 일정 범위 내에 위치하는 경우 캐릭터(900)가 소지하는 가변 오브젝트(1000)는 해당 기준 오브젝트(V3)에 대응하여 형상이 변경될 수 있다.When the character 900 is located within a certain range from the reference object V3, the variable object 1000 possessed by the character 900 may change in shape corresponding to the corresponding reference object V3.

일 예로, 도 27을 참조하면, 사용자(800)에게 요리 실습에 관한 가상 체험이 제공되는 경우, 착용형 디스플레이 장치(400)를 통해 표시되는 가상 현실 이미지(452)에는 캐릭터(900), 도마 형상을 갖는 제1 기준 오브젝트(V3_1), 프라이팬 형상을 갖는 제2 기준 오브젝트(V3_2) 및 가변 오브젝트(1000)가 표시될 수 있다. 캐릭터(900)가 제1 기준 오브젝트(V3_1)로부터 미리 설정된 범위 내에 위치하는 경우 보조 컴퓨팅 장치(300)는 입력 장치(500)에 대응하는 가상 오브젝트로 식칼 형상을 갖는 제1 가변 오브젝트(1001)를 표시할 수 있다. 그 후 캐릭터(900)가 제2 기준 오브젝트(V3_2)로부터 미리 설정된 범위 내로 이동하는 경우 보조 컴퓨팅 장치(300)는 제1 가변 오브젝트(1001)를 뒤집개 형상을 갖는 제2 가변 오브젝트(1002)로 변경하여 표시할 수 있다.As an example, referring to FIG. 27, when a virtual experience related to cooking practice is provided to the user 800, the virtual reality image 452 displayed through the wearable display device 400 includes a character 900 and a cutting board shape. A first reference object V3_1 having a, a second reference object V3_2 having a frying pan shape, and a variable object 1000 may be displayed. When the character 900 is located within a preset range from the first reference object V3_1, the auxiliary computing device 300 creates a first variable object 1001 having a cleaver shape as a virtual object corresponding to the input device 500. Can be displayed. Thereafter, when the character 900 moves within a preset range from the second reference object V3_2, the auxiliary computing device 300 changes the first variable object 1001 to a second variable object 1002 having a flip shape. Can be displayed.

한편, 보조 컴퓨팅 장치(300)는 기준 오브젝트(V3)의 배치나 유무와 무관하게 캐릭터(900)의 가상 공간 내 가상 위치 정보에 기초하여 입력 장치(500)에 대응하는 가변 오브젝트(1000)의 형상을 변경시킬 수 있다.Meanwhile, the auxiliary computing device 300 includes the shape of the variable object 1000 corresponding to the input device 500 based on the virtual location information in the virtual space of the character 900 regardless of the arrangement or presence of the reference object V3. Can be changed.

가상 공간에서 사용자(800)에 대응하는 캐릭터(900)가 가변 오브젝트(1000)를 사용하는 경우 보조 컴퓨팅 장치(300)에 의해 입력 장치(500)를 통해 사용자(800)에게 햅틱 피드백이 제공될 수 있다. 이 때, 가변 오브젝트(1000)의 형상에 따라 세기나 종류가 다른 햅틱 피드백이 제공될 수 있다.When the character 900 corresponding to the user 800 uses the variable object 1000 in a virtual space, haptic feedback may be provided to the user 800 through the input device 500 by the auxiliary computing device 300. have. In this case, haptic feedback having different strengths or types may be provided according to the shape of the variable object 1000.

일 예로, 캐릭터(900)가 메스 형상의 제1 가변 오브젝트(1001)를 사용하는 경우보다 주사기 형상의 제2 가변 오브젝트(1002)를 사용하는 경우에 사용자(800)에게 더 큰 크기의 진동 또는 저항력이 제공될 수 있다.For example, when the character 900 uses the second variable object 1002 in the shape of a syringe than the case when the character 900 uses the first variable object 1001 in the shape of a scalpel, the user 800 has a greater magnitude of vibration or resistance. Can be provided.

도 28은 일 실시예에 따라, 입력 장치(500)에 대응하는 가변 오브젝트(1000)가 가상 현실 이미지(452)에 표시되는 방법을 나타내는 예시도이다.28 is an exemplary diagram illustrating a method in which a variable object 1000 corresponding to the input device 500 is displayed on a virtual reality image 452 according to an embodiment.

도 28을 참조하면, 현실 공간에서 입력 장치(500)는 사용자(800)가 파지하는 방법에 따라 가상 카메라의 시야 범위(451) 밖에 위치할 수 있다.Referring to FIG. 28, in a real space, the input device 500 may be located outside the field of view 451 of the virtual camera according to a method held by the user 800.

가상 카메라의 시야 범위(451)는 보조 컴퓨팅 장치(300)에 의해 구축된 가상 공간에서 착용형 디스플레이 장치(400)를 통해 출력될 부분을 포함할 수 있다.The viewing range 451 of the virtual camera may include a portion to be output through the wearable display device 400 in a virtual space built by the auxiliary computing device 300.

가상 카메라의 시야 범위(451)는 현실 공간에서 사용자(800)의 시야 범위와 대응될 수 있다.The viewing range 451 of the virtual camera may correspond to the viewing range of the user 800 in a real space.

한편, 도 28에 도시된 바와 같이 사용자(800)에 의해 입력 장치(500)가 가상 카메라의 시야 범위(451) 밖에 위치하는 경우에도 가상 현실 이미지(452)에는 입력 장치(500)에 대응하는 가변 오브젝트(1000)가 표시될 수 있다.On the other hand, as shown in FIG. 28, even when the input device 500 is located outside the field of view 451 of the virtual camera by the user 800, the virtual reality image 452 has a variable corresponding to the input device 500. The object 1000 may be displayed.

가변 오브젝트(1000)는 입력 장치(500)보다 상대적으로 부피가 크거나 길이가 긴 가상 오브젝트로 구현될 수 있다.The variable object 1000 may be implemented as a virtual object having a larger volume or a longer length than the input device 500.

또는, 가변 오브젝트(1000)는 입력 장치(500)로부터 연장된 가상 오브젝트를 포함할 수 있다.Alternatively, the variable object 1000 may include a virtual object extending from the input device 500.

가상 현실 이미지(452)에 표시되는 가변 오브젝트(1000)는 가시 부분(1000a) 및 비가시 부분(1000b)을 포함할 수 있다.The variable object 1000 displayed in the virtual reality image 452 may include a visible portion 1000a and a non-visible portion 1000b.

가시 부분(1000a)은 가변 오브젝트(1000) 중 가상 카메라의 시야 범위(451) 내에 포함되어 가상 현실 이미지(452)에 표시되는 부분이고, 비가시 부분(1000b)은 가상 카메라의 시야 범위(451) 내에 포함되지 않아 가상 현실 이미지(452)에 표시되지 않는 부분일 수 있다.The visible portion 1000a is a portion of the variable object 1000 included within the field of view 451 of the virtual camera and displayed on the virtual reality image 452, and the invisible portion 1000b is the field of view 451 of the virtual camera. It may be a part not included in the virtual reality image 452 and not displayed.

가시 부분(1000a) 및 비가시 부분(1000b)은 가변 오브젝트(1000)를 구성할 수 있다.The visible portion 1000a and the invisible portion 1000b may constitute the variable object 1000.

가시 부분(1000a) 및 비가시 부분(1000b)은 고정되어 있지 않고 사용자(800)에 의해 입력 장치(500)의 일부 또는 전부가 이동함에 따라 변경될 수 있다.The visible portion 1000a and the invisible portion 1000b are not fixed and may be changed as a part or all of the input device 500 is moved by the user 800.

일 예로, 도 28에 도시된 바와 같이 가변 오브젝트(1000)가 길이가 수술 도구 형상을 가질 때, 사용자(800)에 의해 입력 장치(500)가 들어올려져 가상 카메라의 시야 범위(451)에 들어올려지기 전보다 더 노출되는 경우 가시 부분(1000a)이 증가하고 비가시 부분(1000b)이 감소할 수 있다.As an example, as shown in FIG. 28, when the variable object 1000 has a shape of a surgical tool, the input device 500 is lifted by the user 800 and lifted into the field of view 451 of the virtual camera. When more exposed than before settling, the visible portion 1000a may increase and the invisible portion 1000b may decrease.

사용자(800) 및 입력 장치(500)는 각각 복수일 수 있고 그 경우에도 상술한 가변 오브젝트(1000) 형상 변경 방법 또는 가변 오브젝트(1000) 표시 방법이 이용될 수 있다.Each of the user 800 and the input device 500 may be plural, and even in that case, the above-described method of changing the shape of the variable object 1000 or the method of displaying the variable object 1000 may be used.

이상에서는 설명의 편의를 위해 입력 장치(500)가 가상 공간에서 적어도 하나 이상의 가변 오브젝트(V3)로 표시될 수 있다고 서술하였으나 본 발명이 이에 한정되는 것은 아니며 입력 장치(500) 대신 리얼 오브젝트(RO)가 이용될 수도 있다.In the above, for convenience of explanation, it has been described that the input device 500 can be displayed as at least one variable object V3 in a virtual space, but the present invention is not limited thereto, and a real object RO instead of the input device 500 May be used.

이하에서는 도 29 내지 도 33을 참조하여 가상 공간에서 가상 오브젝트 사이의 충돌을 가상 현실 이미지(452)에 표시하는 방법을 설명한다.Hereinafter, a method of displaying a collision between virtual objects in a virtual space on the virtual reality image 452 will be described with reference to FIGS. 29 to 33.

도 29는 일 실시예에 따른, 가상 공간에서 가상 오브젝트 사이에 충돌이 발생하기 전 상황을 나타내는 예시도이다.29 is an exemplary diagram illustrating a situation before a collision occurs between virtual objects in a virtual space, according to an embodiment.

도 29를 참조하면 가상 현실 이미지(452)에는 가상 구조(1200), 충돌 오브젝트(1300), 충돌 오브젝트 가상 위치(1310), 조작 오브젝트(1400) 및 조작 오브젝트 가상 위치(1410)가 표시될 수 있다.Referring to FIG. 29, a virtual structure 1200, a collision object 1300, a collision object virtual position 1310, a manipulation object 1400, and a manipulation object virtual position 1410 may be displayed on a virtual reality image 452. .

가상 구조(1200)는 가상 공간을 구성하는 구조, 구조물 또는 배경을 포함할 수 있다.The virtual structure 1200 may include a structure, structure, or background constituting a virtual space.

가상 구조(1200)는 사용자(800)에게 제공되는 가상 체험의 종류에 따라 달라질 수 있다.The virtual structure 1200 may vary according to the type of virtual experience provided to the user 800.

일 예로, 사용자(800)에게 수술 실습에 관한 가상 체험이 제공되는 경우 가상 구조(1200)는 수술대, 약 보관함 등을 포함하는 수술실 또는 종양 등을 포함하는 대장을 포함할 수 있다.For example, when a virtual experience related to a surgical practice is provided to the user 800, the virtual structure 1200 may include an operating room including an operating table, a medicine storage box, or the like, or a large intestine including a tumor.

또 다른 예로, 사용자(800)에게 요리 실습에 관한 가상 체험이 제공되는 경우 가상 구조(1200)는 요리 도구가 갖추어진 조리실, 주방 등을 포함할 수 있다.As another example, when a virtual experience related to cooking practice is provided to the user 800, the virtual structure 1200 may include a cooking room, a kitchen, etc. equipped with cooking tools.

가상 구조(1200)는 보조 컴퓨팅 장치(300)에 의해 구현될 수 있다.The virtual structure 1200 may be implemented by the auxiliary computing device 300.

가상 구조(1200)는 현실 공간에서 리얼 오브젝트(RO)에 대응하여 구현될 수도 있다.The virtual structure 1200 may be implemented corresponding to the real object RO in a real space.

가상 구조(1200)는 충돌 오브젝트(1300)를 포함하거나 충돌 오브젝트(1300)와 연결될 수 있다.The virtual structure 1200 may include the collision object 1300 or may be connected to the collision object 1300.

충돌 오브젝트(1300)는 사용자(800)에게 가상 체험이 제공되는 도중에 가상 공간에서 충돌이 발생할 수 있는 가상 오브젝트를 포함할 수 있다.The collision object 1300 may include a virtual object in which collision may occur in a virtual space while a virtual experience is provided to the user 800.

충돌 오브젝트(1300)는 리얼 오브젝트(RO)의 위치 정보를 기초로 산출된 가상 위치 정보를 기반으로 구현되거나 리얼 오브젝트(RO)와 무관하게 구현될 수 있다.The collision object 1300 may be implemented based on virtual location information calculated based on the location information of the real object RO, or may be implemented independently of the real object RO.

충돌 오브젝트(1300)는 보조 컴퓨팅 장치(300)에 의해 구현될 수 있다.The collision object 1300 may be implemented by the auxiliary computing device 300.

충돌 오브젝트 가상 위치(1310)는 충돌 오브젝트(1300)의 가상 위치 정보를 포함할 수 있다. 보조 컴퓨팅 장치(300)는 충돌 오브젝트 가상 위치(1310)에 기초하여 충돌 발생 여부를 판단할 수 있다.The collision object virtual position 1310 may include virtual position information of the collision object 1300. The auxiliary computing device 300 may determine whether a collision occurs based on the collision object virtual position 1310.

충돌 오브젝트 가상 위치(1310)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The collision object virtual location 1310 may or may not be displayed on the virtual reality image 452 in a dot shape, a hexahedron shape, or the like.

조작 오브젝트(1400)는 가상 공간에서 캐릭터(900)에 의해 조작되는 가상 오브젝트를 포함할 수 있다.The manipulation object 1400 may include a virtual object manipulated by the character 900 in a virtual space.

조작 오브젝트(1400)는 사용자(800)가 소지하는 입력 장치(500)의 위치 정보에 기초하여 보조 컴퓨팅 장치(300)에 의해 구현될 수 있다. 또는 조작 오브젝트(1400)는 사용자(800)가 소지하는 리얼 오브젝트(RO)의 위치 정보에 기초하여 보조 컴퓨팅 장치(300)에 의해 구현될 수 있다. 조작 오브젝트(1400)는 사용자(800)가 소지하는 리얼 오브젝트(RO)의 위치 정보로부터 산출된 가상 위치 정보에 기초하여 구현될 수 있다. 또는 조작 오브젝트(1400)는 가상 위치 정보로부터 연장된 영역을 점유하는 형태로 구현될 수 있다. 조작 오브젝트(1400)는 가상 위치 정보로부터 일 방향으로 연장된 영역을 점유하는 형태로 구현될 수 있다. 조작 오브젝트(1400)는 리얼 오브젝트(RO)의 배치 방향으로부터 연장된 방향을 점유하는 형태로 구현될 수 있다.The manipulation object 1400 may be implemented by the auxiliary computing device 300 based on location information of the input device 500 held by the user 800. Alternatively, the manipulation object 1400 may be implemented by the auxiliary computing device 300 based on location information of the real object RO possessed by the user 800. The manipulation object 1400 may be implemented based on virtual location information calculated from location information of the real object RO possessed by the user 800. Alternatively, the manipulation object 1400 may be implemented in a form that occupies an area extended from the virtual location information. The manipulation object 1400 may be implemented in a form that occupies an area extending in one direction from the virtual location information. The manipulation object 1400 may be implemented in a form that occupies a direction extending from the arrangement direction of the real object RO.

조작 오브젝트(1400)는 사용자(800)에게 제공되는 가상 체험의 종류에 따라 적어도 하나 이상의 형상을 포함할 수 있다.The manipulation object 1400 may include at least one shape according to the type of virtual experience provided to the user 800.

일 예로, 도 29에 도시된 바와 같이 조작 오브젝트(1400)는 사용자(800)에게 수술 실습에 관한 가상 체험이 제공되는 경우 내시경 형상으로 구현될 수 있다.For example, as illustrated in FIG. 29, the manipulation object 1400 may be implemented in an endoscope shape when a virtual experience related to a surgical practice is provided to the user 800.

조작 오브젝트 가상 위치(1410)는 조작 오브젝트(1400)의 가상 위치 정보를 포함할 수 있다. 보조 컴퓨팅 장치(300)는 조작 오브젝트 가상 위치(1410)에 기초하여 충돌 발생 여부를 판단할 수 있다.The manipulation object virtual location 1410 may include virtual location information of the manipulation object 1400. The auxiliary computing device 300 may determine whether a collision occurs based on the virtual location 1410 of the manipulation object.

조작 오브젝트 가상 위치(1410)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The manipulation object virtual location 1410 may or may not be displayed on the virtual reality image 452 in a dot shape, a hexahedron shape, or the like.

사용자(800)에게 가상 체험이 제공되는 도중에 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 수 있다. 가상 공간 내 충돌은 보조 컴퓨팅 장치(300) 또는 서버(200)에 의해 구현된 가상 공간 내 적어도 둘 이상의 가상 오브젝트가 만나거나 접촉하는 경우를 말하며 이 때, 충돌하는 각 가상 오브젝트를 구성하는 가상 위치 정보가 서로 겹쳐질 수 있다. 또는, 충돌 오브젝트(1300) 및 조작 오브젝트(1400)는 각각 가상 공간 내 가상 점유 영역을 가질 수 있고, 충돌 오브젝트(1300)의 가상 점유 영역과 조작 오브젝트(1400)의 가상 점유 영역이 겹쳐지는 경우 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 수 있다.While the virtual experience is provided to the user 800, a collision may occur between the collision object 1300 and the manipulation object 1400. The collision in the virtual space refers to a case where at least two virtual objects in the virtual space implemented by the auxiliary computing device 300 or the server 200 meet or come into contact. In this case, virtual location information constituting each colliding virtual object Can overlap each other. Alternatively, the collision object 1300 and the manipulation object 1400 may each have a virtual occupied area in a virtual space, and collide when the virtual occupied area of the collision object 1300 and the virtual occupied area of the manipulation object 1400 overlap. A collision may occur between the object 1300 and the manipulation object 1400.

한편, 접촉 또는 충돌하는 충돌 오브젝트(1300)는 리얼 오브젝트(RO)에 대응될 수도 있다. 이 때, 가상 공간에서 충돌이 발생하는 경우 현실 공간에서 리얼 오브젝트(RO) 사이의 충돌이 발생할 수 있다.Meanwhile, the collision object 1300 that contacts or collides may correspond to the real object RO. In this case, when a collision occurs in a virtual space, a collision between real objects RO may occur in a real space.

보조 컴퓨팅 장치(300)는 충돌 오브젝트 가상 위치(1310) 및 조작 오브젝트 가상 위치(1410)에 기초하여 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌 또는 접촉이 발생하였는지 여부를 판단할 수 있다. 더 구체적으로, 보조 컴퓨팅 장치(300)는 충돌 오브젝트 가상 위치(1310)로부터 미리 설정된 범위 내에 조작 오브젝트(1410)가 위치하는 경우 충돌 또는 접촉이 발생하였다고 판단할 수 있다. The auxiliary computing device 300 may determine whether a collision or contact has occurred between the collision object 1300 and the manipulation object 1400 based on the collision object virtual position 1310 and the manipulation object virtual position 1410. . More specifically, the auxiliary computing device 300 may determine that a collision or contact has occurred when the manipulation object 1410 is located within a preset range from the collision object virtual position 1310.

도 30은 일 실시예에 따른, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생한 경우를 나타내는 예시도이다.30 is an exemplary diagram illustrating a case in which a collision occurs between a collision object 1300 and a manipulation object 1400 according to an exemplary embodiment.

도 30을 참조하면 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생하는 경우 가상 현실 이미지(452)에 충돌 오브젝트(1300)와 조작 오브젝트(1400) 일부가 겹쳐진 형상이 표시될 수 있다. 이 때, 보조 컴퓨팅 장치(300) 또는 서버(200)는 사용자(800)에게 충돌 알림(1500)을 제공할 수 있다.Referring to FIG. 30, when a collision occurs between the collision object 1300 and the manipulation object 1400, a shape in which a collision object 1300 and a part of the manipulation object 1400 overlap may be displayed on the virtual reality image 452. . In this case, the auxiliary computing device 300 or the server 200 may provide a collision notification 1500 to the user 800.

일 예로, 사용자(800)에게 내시경수술에 관한 가상 체험이 제공되어 가상 현실 이미지(452)에 신체 내부 형상의 가상 구조(1200), 종양 형상의 충돌 오브젝트(1300) 및 내시경 형상의 조작 오브젝트(1400)가 표시될 수 있다. 이 때, 입력 장치(500)가 사용자(800)에 의해 조작되어 입력 장치(500)의 위치 정보에 대응하여 조작 오브젝트 가상 위치(1410)가 충돌 오브젝트 가상 위치(1310)로부터 미리 설정된 범위 내에 존재하는 경우 도 30에서 도시된 바와 같이 조작 오브젝트(1400)가 충돌 오브젝트(1300)를 관통할 수 있다. For example, a virtual experience related to endoscopic surgery is provided to the user 800, and the virtual structure 1200 of the internal body shape, the collision object 1300 in the shape of a tumor, and the manipulation object 1400 in the shape of an endoscope are provided in the virtual reality image 452 ) May be displayed. At this time, the input device 500 is manipulated by the user 800 so that the manipulation object virtual location 1410 is within a preset range from the collision object virtual location 1310 in response to the location information of the input device 500. In this case, as illustrated in FIG. 30, the manipulation object 1400 may penetrate the collision object 1300.

충돌 알림(1500)은 사용자(800)에게 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 일어났음을 알려줄 수 있다.The collision notification 1500 may inform the user 800 that a collision has occurred between the collision object 1300 and the manipulation object 1400.

충돌 알림(1500)은 글, 그림 특수 효과 등의 시각적 효과, 소리, 음향 등의 청각적 효과 및 액추에이터에 의한 진동 등의 촉각적 효과 중 적어도 하나로 구현될 수 있다.The collision notification 1500 may be implemented as at least one of a visual effect such as text and picture special effects, an auditory effect such as sound and sound, and a tactile effect such as vibration by an actuator.

일 예로, 충돌 알림(1500)은 가상 현실 이미지(452) 내 미리 설정된 영역에 'Warning' 또는 '경고' 라고 기재된 메시지 박스 이미지로 표시될 수 있다.For example, the collision notification 1500 may be displayed as a message box image described as'Warning' or'Warning' in a preset area in the virtual reality image 452.

또 다른 예로, 충돌 알림(1500)은 착용형 디스플레이 장치(400)를 통해 경고 음성 및 경고음 중 적어도 하나로 출력될 수 있다.As another example, the collision notification 1500 may be output as at least one of a warning sound and a warning sound through the wearable display device 400.

또 다른 예로, 충돌 알림(1500)은 가상 현실 이미지(452)에 주기적으로 붉은색 조명을 표시하는 특수 효과를 포함할 수 있다.As another example, the collision notification 1500 may include a special effect of periodically displaying red illumination on the virtual reality image 452.

또 다른 예로, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생하는 경우 보조 컴퓨팅 장치(300)는 입력 장치(500), 리얼 오브젝트(RO) 등에 구비된 액추에이터를 이용해 사용자(800)에게 진동, 저항력 등의 햅틱 피드백을 제공할 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 충돌 전 조작 오브젝트(1400)의 이동 속도에 따라 사용자(800)에게 제공되는 햅틱 피드백의 세기나 방향을 설정될 수 있다.As another example, when a collision occurs between the collision object 1300 and the manipulation object 1400, the auxiliary computing device 300 uses an actuator provided in the input device 500, the real object RO, etc. to the user 800 It is possible to provide haptic feedback such as vibration and resistance to the patient. In this case, the auxiliary computing device 300 may set the intensity or direction of the haptic feedback provided to the user 800 according to the moving speed of the manipulation object 1400 before collision.

한편, 가상 현실 제어 시스템(10)이 사용자(800)에게 제공하는 가상 체험이 평가 시스템을 포함하는 경우, 상술한 충돌 발생 횟수, 충돌 과정, 충돌하기 전 가상 오브젝트의 속도 등이 평가 결과에 반영될 수 있다.Meanwhile, if the virtual experience provided by the virtual reality control system 10 to the user 800 includes an evaluation system, the number of collisions, collision process, and speed of the virtual object before collision are reflected in the evaluation result. I can.

도 31은 일 실시예에 따른, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 경우 가상 현실 이미지(452)를 출력하는 방법을 나타내는 예시도이다.31 is an exemplary diagram illustrating a method of outputting a virtual reality image 452 when a collision occurs between a collision object 1300 and a manipulation object 1400 according to an exemplary embodiment.

도 31을 참조하면, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 경우 보조 컴퓨팅 장치(300) 또는 서버(200)는 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 중 적어도 하나의 형상을 변경시켜 표시할 수 있다.Referring to FIG. 31, when a collision occurs between the collision object 1300 and the manipulation object 1400, the auxiliary computing device 300 or the server 200 may use at least one of the collision object 1300 and the manipulation object 1400. It can be displayed by changing its shape.

또는, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 경우 보조 컴퓨팅 장치(300) 또는 서버(200)는 충돌 오브젝트(1300)의 가상 점유 영역 및 조작 오브젝트(1400)의 가상 점유 영역 중 적어도 하나를 변경시킬 수 있다. Alternatively, when a collision occurs between the collision object 1300 and the manipulation object 1400, the auxiliary computing device 300 or the server 200 is a virtual occupied area of the collision object 1300 and a virtual occupied area of the manipulation object 1400. At least one of them can be changed.

가상 점유 영역은 가상 오브젝트를 포함하는 영역일 수 있다. 또는, 가상 점유 영역은 가상 오브젝트가 점유하고 있는 영역일 수 있다.The virtual occupied area may be an area including a virtual object. Alternatively, the virtual occupied area may be an area occupied by the virtual object.

충돌 오브젝트(1300) 및 조작 오브젝트(1400) 중 적어도 하나의 형상이 변경됨으로써 가상 현실 이미지(452)에는 충돌하지 않는 충돌 오브젝트(1300) 및 조작 오브젝트(1400)가 표시될 수 있다.A collision object 1300 and a manipulation object 1400 that do not collide may be displayed on the virtual reality image 452 by changing the shape of at least one of the collision object 1300 and the manipulation object 1400.

일 예로, 도 30에서 서술한 바와 같이 사용자(800)에게 내시경수술에 관한 가상 체험이 제공되고 종양 형상의 충돌 오브젝트(1300) 및 내시경 형상의 조작 오브젝트(1400) 사이에 충돌이 발생할 경우 도 31에 도시된 바와 같이 조작 오브젝트(1400) 중 충돌하는 부분이 휘어져 표시될 수 있다.For example, as described in FIG. 30, when a virtual experience related to endoscopic surgery is provided to the user 800, and a collision occurs between the tumor-shaped collision object 1300 and the endoscope-shaped manipulation object 1400, FIG. As illustrated, a portion of the manipulation object 1400 that collides may be curved and displayed.

가상 공간 내 충돌을 피하기 위해 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 중 적어도 하나의 형상을 변경시키는 과정에 있어서 서버(200) 또는 보조 컴퓨팅 장치(300)는 충돌 오브젝트 가상 위치(1310) 및 조작 오브젝트 가상 위치(1410) 중 적어도 하나를 변경시키고 이미지를 표시하거나 각 가상 위치 정보는 변경시키지 않은 상태에서 충돌 전과 다른 이미지를 표시할 수 있다. 그 결과, 충돌 오브젝트 가상 위치(1310) 및 조작 오브젝트 가상 위치(1410)는 서로 미리 설정된 범위 내에 존재하되 가상 현실 이미지(452)에 표시되는 충돌 오브젝트(1300) 및 조작 오브젝트(1400)는 서로 미리 설정된 범위 내에 존재하지 않을 수 있다.In the process of changing the shape of at least one of the collision object 1300 and the manipulation object 1400 in order to avoid a collision in the virtual space, the server 200 or the auxiliary computing device 300 performs the collision object virtual position 1310 and manipulation. At least one of the virtual object positions 1410 may be changed and an image may be displayed, or an image different from that before collision may be displayed without changing each virtual position information. As a result, the collision object virtual position 1310 and the manipulation object virtual position 1410 exist within a preset range of each other, but the collision object 1300 and the manipulation object 1400 displayed in the virtual reality image 452 are preset with each other. May not exist within range.

도 32는 일 실시예에 따른, 가상 공간 내 복수의 조작 오브젝트(1400)가 표시되는 방법을 나타내는 예시도이다.32 is an exemplary diagram illustrating a method of displaying a plurality of manipulation objects 1400 in a virtual space, according to an exemplary embodiment.

도 32를 참조하면, 가상 현실 이미지(452)에는 가상 구조(1200), 충돌 오브젝트(1300) 제1 조작 오브젝트(1401), 제2 조작 오브젝트(1402), 제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)가 표시될 수 있다.Referring to FIG. 32, in the virtual reality image 452, a virtual structure 1200, a collision object 1300, a first manipulation object 1401, a second manipulation object 1402, a first manipulation object virtual position 1411, and A second manipulation object virtual location 1412 may be displayed.

가상 현실 제어 시스템(10)은 사용자(800)에게 제공하는 가상 체험의 종류에 따라 제1 입력 장치(501) 및 제2 입력 장치(502)를 제공할 수 있다.The virtual reality control system 10 may provide the first input device 501 and the second input device 502 according to the type of virtual experience provided to the user 800.

보조 컴퓨팅 장치(300)는 제1 입력 장치(501) 및 제2 입력 장치(502)의 위치 정보를 기초로 가상 공간에 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402)를 구현할 수 있다.The auxiliary computing device 300 may implement the first manipulation object 1401 and the second manipulation object 1402 in a virtual space based on location information of the first input device 501 and the second input device 502. .

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402)는 동일한 형상으로 구현되거나 서로 다른 형상으로 구현될 수 있다.The first manipulation object 1401 and the second manipulation object 1402 may be implemented in the same shape or in different shapes.

일 예로, 사용자(800)에게 내시경수술에 관한 가상 체험이 제공되는 경우 사용자(800)에게 제1 입력 장치(501) 및 제2 입력 장치(502)가 제공될 수 있고, 착용형 디스플레이 장치(400)를 통해 출력되는 가상 현실 이미지(452)에는 제1 입력 장치(501)에 대응하는 종양 제거 도구 형상의 제1 조작 오브젝트(1401) 및 제2 입력 장치(502)에 대응하는 내시경 형상의 제2 조작 오브젝트(1402)가 표시될 수 있다. 이 때, 사용자(800)가 제1 입력 장치(501) 및 제2 입력 장치(502)를 조작함으로써 가상 공간 내에서 종양 제거 수술이 이루어질 수 있다.For example, when a virtual experience related to endoscopic surgery is provided to the user 800, the first input device 501 and the second input device 502 may be provided to the user 800, and the wearable display device 400 In the virtual reality image 452 output through ), a first manipulation object 1401 in the shape of a tumor removal tool corresponding to the first input device 501 and a second endoscope shape corresponding to the second input device 502 The manipulation object 1402 may be displayed. In this case, the user 800 manipulates the first input device 501 and the second input device 502 to perform a tumor removal operation in the virtual space.

입력 장치(500) 및 이에 대응하는 조작 오브젝트(1400)는 서로 같은 부피 또는 서로 같은 길이를 가지거나 서로 다른 부피 또는 서로 다른 길이를 가질 수 있다.The input device 500 and the corresponding manipulation object 1400 may have the same volume, the same length, different volumes, or different lengths.

일 예로, 조작 오브젝트(1400)가 내시경 형상을 가질 때, 입력 장치(500)에서 연장되도록 구현되고, 착용형 디스플레이 장치(400)를 통해 출력되는 가상 현실 이미지(452)에는 연장된 부분만 표시될 수 있다.For example, when the manipulation object 1400 has an endoscope shape, it is implemented to be extended from the input device 500, and only the extended portion is displayed on the virtual reality image 452 output through the wearable display device 400. I can.

제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)는 각각 제1 입력 장치(501)의 위치 정보 및 제2 입력 장치(502)의 위치 정보에 기초하여 보조 컴퓨팅 장치(300)에 의해 산출된 가상 위치 정보를 포함할 수 있다.The first manipulation object virtual location 1411 and the second manipulation object virtual location 1412 are respectively based on the location information of the first input device 501 and the location information of the second input device 502. It may include virtual location information calculated by ).

제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The first manipulation object virtual location 1411 and the second manipulation object virtual location 1412 may or may not be displayed on the virtual reality image 452 in a dot shape, a hexahedron shape, or the like.

가상 체험이 제공되는 도중에 제1 입력 장치(501) 및 제2 입력 장치(502)의 움직임에 따라 가상 공간 내 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생할 수 있다.While the virtual experience is being provided, a collision may occur between the first manipulation object 1401 and the second manipulation object 1402 in the virtual space according to the movement of the first input device 501 and the second input device 502. .

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이의 충돌은 도 31 및 도 32에서 서술한 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 발생하는 충돌과 유사하게 발생할 수 있다.A collision between the first manipulation object 1401 and the second manipulation object 1402 may occur similarly to the collision occurring between the collision object 1300 and the manipulation object 1400 described in FIGS. 31 and 32.

일 예로, 보조 컴퓨팅 장치(300)는 제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)가 서로 미리 설정된 범위 내에 존재하는 경우 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생한 것으로 판단할 수 있다.As an example, when the first manipulation object virtual location 1411 and the second manipulation object virtual location 1412 are within a preset range, the auxiliary computing device 300 includes a first manipulation object 1401 and a second manipulation object. It can be determined that a conflict has occurred between (1402).

또 다른 예로, 보조 컴퓨팅 장치(300)에 의해 설정된 가상 공간 내 제1 조작 오브젝트(1401)가 점유하는 가상 점유 영역과 제2 조작 오브젝트(1402)가 점유하는 가상 점유 영역이 겹치는 경우 보조 컴퓨팅 장치(300)는 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생한 것으로 판단할 수 있다.As another example, when the virtual occupied area occupied by the first manipulation object 1401 in the virtual space set by the auxiliary computing device 300 and the virtual occupied area occupied by the second manipulation object 1402 overlap, the auxiliary computing device ( 300) may determine that a collision has occurred between the first manipulation object 1401 and the second manipulation object 1402.

한편, 충돌은 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이뿐만 아니라 제1 조작 오브젝트(1401), 제2 조작 오브젝트(1402), 충돌 오브젝트(1300) 및 가상 구조(1200) 중 적어도 둘 이상 사이에서도 발생할 수 있다.On the other hand, the collision is not only between the first manipulation object 1401 and the second manipulation object 1402, but also among the first manipulation object 1401, the second manipulation object 1402, the collision object 1300, and the virtual structure 1200. It can also occur between at least two.

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생하는 경우, 도 30에서 서술한 바와 유사하게 사용자(800)에게 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나를 통해 충돌 알림(1500)이 제공될 수 있다.When a collision occurs between the first manipulation object 1401 and the second manipulation object 1402, similarly to the one described in FIG. 30, the user 800 receives the wearable display device 400 and the input device 500. The collision notification 1500 may be provided through at least one.

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생하는 경우, 도 31에서 서술한 바와 유사하게 보조 컴퓨팅 장치(300)는 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 중 적어도 하나의 형상을 변경시킬 수 있다.When a collision occurs between the first manipulation object 1401 and the second manipulation object 1402, the auxiliary computing device 300 includes the first manipulation object 1401 and the second manipulation object, similar to those described in FIG. At least one shape of 1402 may be changed.

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 중 적어도 하나의 형상이 변경됨으로써 가상 현실 이미지(452)에는 충돌하지 않는 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402)가 표시될 수 있다.A first manipulation object 1401 and a second manipulation object 1402 that do not collide with the virtual reality image 452 are displayed by changing the shape of at least one of the first manipulation object 1401 and the second manipulation object 1402 Can be.

가상 공간 내 충돌을 피하기 위해 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 중 적어도 하나의 형상을 변경시키는 과정에 있어서 서버(200) 또는 보조 컴퓨팅 장치(300)는 제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412) 중 적어도 하나를 변경시키고 이미지를 표시하거나 각 가상 위치 정보는 변경시키지 않은 상태에서 충돌 전과 다른 이미지를 표시할 수 있다. 그 결과, 제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)는 서로 미리 설정된 범위 내에 존재하되 가상 현실 이미지(452)에 표시되는 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402)는 서로 미리 설정된 범위 내에 존재하지 않을 수 있다.In the process of changing the shape of at least one of the first manipulation object 1401 and the second manipulation object 1402 to avoid collisions in the virtual space, the server 200 or the auxiliary computing device 300 At least one of the location 1411 and the second manipulation object virtual location 1412 may be changed and an image may be displayed, or an image different from that before the collision may be displayed without changing each virtual location information. As a result, the first manipulation object virtual location 1411 and the second manipulation object virtual location 1412 exist within a preset range of each other, but the first manipulation object 1401 and the second manipulation displayed on the virtual reality image 452 The objects 1402 may not exist within a preset range of each other.

한편, 도 29 내지 도 32에 서술된 가상 공간 내 적어도 둘 이상의 가상 오브젝트 사이의 충돌 및 충돌 처리 방법은 적어도 하나의 입력 장치(500)를 조작하는 복수의 사용자(800)에게 가상 체험이 제공되는 경우에도 적용될 수 있다.On the other hand, the collision and collision processing method between at least two virtual objects in the virtual space described in FIGS. 29 to 32 is when a virtual experience is provided to a plurality of users 800 operating at least one input device 500 It can also be applied to

일 예로, 도 32에서 제1 조작 오브젝트(1401)는 제1 사용자(801)에 의해 조작되는 제1 입력 장치(501)에 대응하는 가상 오브젝트를 포함하고 제2 조작 오브젝트(1402)는 제2 사용자(802)에 의해 조작되는 제2 입력 장치(502)에 대응하는 가상 오브젝트를 포함할 수 있다.For example, in FIG. 32, the first manipulation object 1401 includes a virtual object corresponding to the first input device 501 manipulated by the first user 801, and the second manipulation object 1402 is a second user. A virtual object corresponding to the second input device 502 operated by 802 may be included.

이하에서는 도 33을 참조하여 리얼 오브젝트(RO)를 이용해 가상 공간에 구현되는 가상 장소(1700)를 변경시키는 방법에 대해 서술한다.Hereinafter, a method of changing a virtual place 1700 implemented in a virtual space using a real object RO will be described with reference to FIG. 33.

도 33은 일 실시예에 따른, 가상 장소(1700)가 변경되는 방법을 나타내는 예시도이다.33 is an exemplary diagram illustrating a method of changing a virtual place 1700 according to an embodiment.

도 33을 참조하면, 가상 현실 이미지(452)에는 가상 장소(1700), 캐릭터(900) 및 전환 오브젝트(1600)가 표시될 수 있다. Referring to FIG. 33, a virtual place 1700, a character 900, and a transition object 1600 may be displayed on a virtual reality image 452.

가상 장소(1700)는 보조 컴퓨팅 장치(300)에 의해 가상 공간에서 캐릭터(900)가 존재하는 장소 또는 배경으로 특정 장소를 표시하는 가상 이미지를 포함할 수 있다.The virtual place 1700 may include a virtual image displaying a specific place as a background or a place where the character 900 exists in the virtual space by the auxiliary computing device 300.

가상 장소(1700)는 제1 가상 장소(1701) 및 제2 가상 장소(1702)를 포함할 수 있다.The virtual place 1700 may include a first virtual place 1701 and a second virtual place 1702.

전환 오브젝트(1600)는 보조 컴퓨팅 장치(300)에 의해 가상 공간 내 배치된 가상 오브젝트를 포함할 수 있다.The conversion object 1600 may include a virtual object arranged in a virtual space by the auxiliary computing device 300.

전환 오브젝트(1600)는 현실 공간에서 리얼 오브젝트(RO)에 대응되는 가상 오브젝트를 포함할 수 있다.The transition object 1600 may include a virtual object corresponding to the real object RO in a real space.

일 예로, 현실 공간에서 추적 영역(600)에 문이 배치되어 있을 때, 보조 컴퓨팅 장치(300)는 디텍팅 장치(100)가 문을 추적하여 획득한 디텍팅 정보에 기초하여 가상 공간에 문 형상의 전환 오브젝트(1600)를 구현할 수 있다.For example, when a door is disposed in the tracking area 600 in a real space, the auxiliary computing device 300 may determine the shape of the door in the virtual space based on the detecting information obtained by tracking the door. The conversion object 1600 of the can be implemented.

캐릭터(900)는 전환 오브젝트(1600)를 이용하여 가상 장소(1700)를 변경시킬 수 있다.The character 900 may change the virtual place 1700 by using the change object 1600.

일 예로, 사용자(800)에게 제공되는 가상 현실 이미지(452)는 호숫가를 표시하는 제1 가상 배경(1701) 및 전환 오브젝트(1600)를 포함할 수 있다. 전환 오브젝트(1600)가 문 형상의 리얼 오브젝트(RO)에 대응되는 가상 오브젝트일 때, 사용자(800)가 현실 공간에서 문 형상의 리얼 오브젝트(RO)를 열고 문을 통과하는 경우, 이에 대응하여 가상 공간에서 캐릭터(900)는 문 형상의 전환 오브젝트(1600)를 열고 통과하면 제1 가상 배경(1701)이 제2 가상 배경(1702)으로 변경될 수 있다.For example, the virtual reality image 452 provided to the user 800 may include a first virtual background 1701 displaying a lake shore and a transition object 1600. When the transition object 1600 is a virtual object corresponding to the door-shaped real object RO, when the user 800 opens the door-shaped real object RO in real space and passes through the door, In space, when the character 900 opens and passes through the door-shaped conversion object 1600, the first virtual background 1701 may be changed to the second virtual background 1702.

이로 인해 사용자(800)는 리얼 오브젝트(RO)를 이용해 가상 체험이 제공되는 도중 가상 공간 내에서 다양한 장소로 이동할 수 있다. 이 경우, 현실 공간에 배치된 리얼 오브젝트(RO)도 가상 공간이 변경됨으로써 다른 가상 이미지로 렌더링될 수 있다. 예를 들어, 현실 공간에서의 하나의 리얼 오브젝트(RO)가 제1 가상 배경(1701)에서는 제1 가상 이미지로 렌더링되고, 제2 가상 배경(1702)에서는 제2 가상 이미지로 렌더링 될 수 있다.Accordingly, the user 800 may move to various places in the virtual space while the virtual experience is provided using the real object RO. In this case, the real object RO disposed in the real space may also be rendered as a different virtual image by changing the virtual space. For example, one real object RO in a real space may be rendered as a first virtual image in the first virtual background 1701 and as a second virtual image in the second virtual background 1702.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described by the limited embodiments and drawings as described above, various modifications and variations can be made from the above description to those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and claims and equivalents fall within the scope of the claims to be described later.

가상 현실 제어 시스템 10 디텍팅 장치 100
서버 200 보조 컴퓨팅 장치 300
착용형 디스플레이 장치 400 입력 장치 500Virtual Reality Control System 10 Detecting Device 100
Server 200 Secondary Computing Device 300
Wearable Display Device 400 Input Device 500

Claims

A first sensing unit detecting a first optical signal;
A second sensing unit detecting a second optical signal;
A first display outputting an image to a first user;
A second display outputting an image to a second user;
A first real object whose position is changed by the manipulation of the first user;
A second real object whose position is changed by the manipulation of the second user;
At least one control unit for controlling the first display and the second display,
The at least one or more control units,
Calculate first virtual location information based on the first optical signal,
Calculate second virtual location information based on the second optical signal,
Outputting a first image including a virtual structure within a first viewing range based on the first virtual location information on the first display,
Outputting an image including a virtual structure within a second viewing range based on the second virtual location information on the second display,
When at least a portion of the first virtual object extending from the first real object is located within the first viewing range, displaying at least a portion of the first virtual object on the first display,
When the virtual structure and the first virtual object are located within a preset range, the first image displayed on the first display is the first image when the virtual structure and the first virtual object are located outside a preset range. It is an image different from the second image displayed on the display
When at least a part of the first virtual object extending from the first real object, the virtual structure, and at least a part of the second virtual object corresponding to the second real object are located within a preset range, the first The first display and the second display both output the same third image
Virtual reality control system.

The method of claim 1,
When the virtual structure and the first virtual object are located within the preset range, at least a part of the first virtual object overlaps the virtual structure,
Virtual reality control system.

The method of claim 1,
The virtual structure corresponds to a third real object,
When at least a part of the first virtual object is located within a preset range from the virtual structure, a fourth virtual object corresponding to the first real object is displayed on the first display,
The fourth virtual object is different from the first virtual object,
Virtual reality control system.

The method of claim 1,
The first real object includes an input unit that transmits a first input signal by manipulation of the first user to the at least one control unit,
The at least one or more control units,
When the first input signal is transmitted to the at least one control unit while the virtual structure and the first virtual object are located within a preset range, a fourth image is output to the first display,
The fourth image is an image having a different background from the first image and the second image,
Virtual reality control system.

A first sensing unit detecting a first optical signal;
A second sensing unit detecting a second optical signal;
A first display outputting an image to a first user;
A second display outputting an image to a second user;
A first real object whose position is changed by the manipulation of the first user;
A second real object whose position is changed for manipulation by the second user; And
At least one control unit for controlling the first display and the second display,
The at least one or more control units,
Calculate first virtual position information based on the first optical signal, calculate second virtual position information based on the second optical signal,
Outputting an image including a virtual structure within a first viewing range based on the first virtual location information on the first display,
Outputting an image including a virtual structure within a second viewing range based on the second virtual location information on the second display,
When at least a part of the first virtual object extending from the first real object is located within the first viewing range on the first display, at least a part of the first virtual object is displayed,
When at least a part of the second virtual object extending from the second real object is located within the second viewing range on the second display, at least a part of the second virtual object is displayed on the second display.
When at least two or more of the first virtual object extending from the first real object are located in the virtual structure and at least a portion of the second virtual object within a preset range,
The first display and the second display display a collision effect at a position in the preset range and output to both the first user and the second user.
Virtual reality control system.

The method of claim 5,
The virtual structure has a first virtual occupied area,
The first virtual object has a second virtual occupied area,
The collision effect is an effect of changing a second virtual occupied area so as not to overlap with the first virtual occupied area,
Virtual reality control system.

The method of claim 5,
The first real object includes an actuator,
Vibration is generated by the actuator in the first real object when at least a part of the first virtual object is located within a preset range from the virtual structure,
Virtual reality control system.

The method of claim 7,
The first virtual object has a virtual speed according to the movement of the first real object,
The vibration generated by the actuator is based on the virtual speed,
Virtual reality control system.

delete

The method of claim 1,
The first virtual object has a first virtual occupied area,
The second virtual object has a second virtual occupied area,
When the first virtual occupied area and the second virtual occupied area meet, an effect is displayed on at least one of the first virtual object and the second virtual object on the first display,
Virtual reality control system.

delete