KR101815020B1

KR101815020B1 - Apparatus and Method for Controlling Interface

Info

Publication number: KR101815020B1
Application number: KR1020110046174A
Authority: KR
Inventors: 유병인; 최창규; 한재준; 박두식; 류희섭
Original assignee: 삼성전자주식회사
Priority date: 2010-08-26
Filing date: 2011-05-17
Publication date: 2018-01-31
Also published as: KR20120020045A

Abstract

인터페이스 제어 장치 및 방법이 개시된다. 본 발명의 실시예들에 따르면, 마우스, 키보드 등의 별도의 장치를 이용하지 않고, 사용자의 손의 동작 및 시선에 대한 정보를 이용하여 UI 객체를 제어함으로써, 직관적이고 몰입감과 일체감이 높은 UI 제어 방법을 제공할 수 있다. 또한, 사용자의 손의 동작을 센싱하는 관심 영역을 연산하고, 관심 영역 안에서의 사용자의 손의 동작에 기반하여 UI 객체를 제어함으로써, 사용자와 센서 사이의 거리에 상관 없이 사용자는 동일한 방법 및 감각으로 UI 객체를 제어할 수 있다. 또한, 사용자의 시선의 위치 및 방향에 기반하여 뷰포인트의 위치 및 방향을 조정함으로써, 운동 시차에 기반한 양안 입체 영상을 제공할 수 있다.An interface control apparatus and method are disclosed. According to embodiments of the present invention, UI objects can be controlled using information on the operation and sight line of a user's hand without using a separate device such as a mouse or a keyboard, thereby providing an intuitive and immersive UI control Method can be provided. In addition, by calculating the region of interest that senses the motion of the user's hand and controlling the UI object based on the motion of the user's hand in the region of interest, the user can be controlled in the same manner and in the same sense regardless of the distance between the user and the sensor UI objects can be controlled. Further, by adjusting the position and direction of the view point based on the position and direction of the user's line of sight, a binocular stereoscopic image based on the motion parallax can be provided.

Description

[0001] Apparatus and Method for Controlling Interface [

본 발명의 실시예들은 인터페이스 제어 장치 및 방법에 관한 것으로서, 보다 구체적으로는 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어하는 장치 및 방법에 관한 것이다.Embodiments of the present invention relate to an interface control apparatus and method, and more particularly, to an apparatus and method for controlling a two-dimensional or three-dimensional graphical user interface.

최근 인간과 컴퓨터 사이에 자연스러우면서도 상호작용이 강화된 직관적인 인터페이스 기술(Natural Interface)들이 부상하고 있다. 인간과 컴퓨터의 상호작용을 위한 사용자의 의도 및 행위 인식에 관한 연구가 활발히 진행되고 있으며, 대표적인 유저 인터페이스 기술인 키보드나 마우스를 대체해 보다 자연스러운 컴퓨팅 환경을 제공할 수 있는 상호적인 디스플레이(Interactive Display) 등의 분야가 급성장하고 있다.Recently, intuitive interface technologies (Natural Interfaces) have emerged that are natural and interactive between humans and computers. Research on user's intention and behavior recognition for human-computer interaction has been actively carried out. Interactive display capable of providing a more natural computing environment by replacing a typical user interface technology such as a keyboard or a mouse Is growing rapidly.

종래의 상호적인 디스플레이(Interactive Display)는 일반적으로 디스플레이 표면에서 멀티 터치 및 근접 터치(Hovering)를 통한 UI를 조작하는 방법을 제공한다. 마우스나 키보드가 시선과 조작 공간이 불일치 하는 간접적인 상호작용(Indirect Interaction)인데 반해, 멀티터치 및 근접 터치(Hovering)는 조작 대상을 바라보는 시선과 조작 공간이 일치하는 직접적인 상호작용(Direct interaction)을 제공함으로써, 더 자연스러운 조작을 가능하게 한다. 하지만 멀티터치의 경우 디스플레이 표면에서만 조작이 가능한 2차원 상호작용 방법이고, 따라서 UI 등의 조작 대상이 3차원인 경우에도 실제 물체를 조작하는 듯한 직관적인 조작이 불가능하다. 근접 터치의 경우 손의 정보만을 이용해 몰입감 및 일체감 있는 객체의 조작을 제공하지 못한다.Conventional interactive displays generally provide a way to manipulate the UI through multi-touch and proximity hovering on the display surface. While the mouse or keyboard is an indirect interaction in which the gaze and the manipulation space are mismatched, the multi-touch and the proximity touch are the direct interaction in which the gaze and the manipulation space coincide with each other, Thereby enabling a more natural operation. However, in the case of multi-touch, it is a two-dimensional interaction method that can be operated only on the display surface. Therefore, even if the operation target such as UI is three-dimensional, intuitive operation as if manipulating an actual object is impossible. In the case of the proximity touch, only the information of the hand is used to provide the immersion feeling and the operation of the unified object.

한편, 최근 3D 영상을 제공 하는 디스플레이 장치가 범용화 되고 있다. 인간이 입체를 느끼는 방식은 크게 좌/우 양안에 각각 영상을 입력을 제공해주는 입체(Stereoscopic) 방식과, 인간의 시점에 따라 물체의 원근 및 좌/우 상 이동양이 달라지는 운동 시차(Motion Parallax) 방식이 있다. 이러한 3D 영상의 제공에 대한 수요는 계속하여 증가하고 있는 추세이다.On the other hand, display devices that provide 3D images have recently been widely used. The way in which the human being feels three-dimensional is largely classified into a stereoscopic method that provides input of images in both left and right directions and a motion parallax method in which the amount of movement of the object in the perspective and left / . The demand for the provision of such 3D images is continuously increasing.

본 명세서에서는 더욱 몰입감 및 일체감을 제공할 수 있는 3D UI 및 3D UI를 제어하는 새로운 장치 및 방법에 대해서 제안한다.In this specification, a new apparatus and method for controlling a 3D UI and a 3D UI capable of providing a more immersive feeling and a sense of unity are proposed.

본 발명의 일실시예에 따른 인터페이스 제어 장치는 센서로부터 사용자와 연관된 깊이 영상(Depth Image)을 포함하는 영상 정보를 수신하는 수신부, 상기 영상 정보에 기반하여, 상기 사용자의 손의 동작에 대한 모션(Motion) 정보 및 상기 사용자의 시선에 대한 시선 정보 중 적어도 하나의 정보를 생성하는 처리부 및 상기 적어도 하나의 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(2-Dimension or 3-Dimension Graphical User Interface, 2D/3D GUI)를 제어하는 제어부를 포함한다.According to an aspect of the present invention, there is provided an interface control apparatus including a receiver for receiving image information including a depth image associated with a user from a sensor, a motion unit for detecting motion of the user's hand based on the image information, A motion information generating unit for generating at least one of motion information of the user and sight line information of the user's gaze based on the at least one information and at least one of a 2-dimensional or 3-dimensional graphical user interface , 2D / 3D GUI).

본 발명의 일실시예에 따른 인터페이스 제어 방법은 센서로부터 사용자와 연관된 깊이 영상(Depth Image)을 포함하는 영상 정보를 수신하는 단계, 상기 영상 정보에 기반하여 상기 사용자의 손의 동작에 대한 모션(Motion) 정보 및 상기 사용자의 시선에 대한 시선 정보 중 적어도 하나의 정보를 생성하는 단계 및 상기 적어도 하나의 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(2-Dimension or 3-Dimension Graphical User Interface, 2D/3D GUI)를 제어하는 단계를 포함한다.According to an embodiment of the present invention, there is provided an interface control method including receiving image information including a depth image associated with a user from a sensor, detecting a motion of the user's hand based on the image information, Dimensional information or a three-dimensional graphical user interface (GUI) based on the at least one information, the method comprising the steps of: 2D / 3D GUI).

마우스, 키보드 등의 별도의 장치를 이용하지 않고, 사용자의 손의 동작 및 시선에 대한 정보를 이용하여 운동시차 및 양안입체 영상에 기반한 2D/3D UI 객체를 제어함으로써, 직관적이고 몰입감과 일체감이 높은 UI 제어 방법을 제공할 수 있다.By controlling 2D / 3D UI objects based on motion parallax and binocular stereoscopic images by using information on the motion and gaze of a user's hand without using a separate device such as a mouse and a keyboard, the intuitive, A UI control method can be provided.

도 1은 본 발명의 일실시예에 따른 인터페이스 제어 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 인터페이스 제어 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 관심 영역을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 깊이 영상을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 제어 시작 인터액션 및 제어 종료 인터액션을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 인터액션을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 고정 인터액션을 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 사용자의 시선을 이용하는 인터액션에 대한 도면이다.
도 9는 본 발명의 일실시예에 따른 사용자의 시선을 이용하는 고정 인터액션을 나타내는 도면이다.
도 10은 본 발명의 일실시예에 따른 조작 영역을 나타내는 도면이다.
도 11은 본 발명의 일실시예에 따른 인터페이스 제어 장치의 생성부의 구성을 나타내는 도면이다.
도 12는 본 발명의 일실시예에 따른 2차원 또는 3차원 그래픽 사용자 인터페이스를 나타내는 도면이다.
도 13은 본 발명의 일실시예에 따른 인터페이스 제어 장치가 사용자의 위치에 대응하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어하는 동작을 나타내는 도면이다.
도 14는 본 발명의 일실시예에 따른 인터페이스 제어 방법을 나타내는 흐름도이다.1 is a diagram illustrating an interface control system according to an embodiment of the present invention.
2 is a block diagram showing the configuration of an interface control apparatus according to an embodiment of the present invention.
3 is a diagram illustrating a region of interest according to an embodiment of the present invention.
4 is a view illustrating a depth image according to an embodiment of the present invention.
5 is a diagram illustrating a control start interaction and a control end interaction according to an embodiment of the present invention.
6 is a diagram illustrating an interaction according to an embodiment of the present invention.
7 is a diagram illustrating a fixed interaction according to an embodiment of the present invention.
8 is a diagram illustrating an interaction using a user's gaze according to an embodiment of the present invention.
9 is a diagram illustrating a fixed interaction using a user's line of sight according to an embodiment of the present invention.
10 is a diagram showing an operation area according to an embodiment of the present invention.
11 is a diagram showing a configuration of a generation unit of an interface control apparatus according to an embodiment of the present invention.
12 is a diagram illustrating a two-dimensional or three-dimensional graphical user interface according to an embodiment of the present invention.
13 is a diagram illustrating an operation in which an interface control apparatus according to an exemplary embodiment of the present invention controls a two-dimensional or three-dimensional graphical user interface corresponding to a position of a user.
14 is a flowchart illustrating an interface control method according to an embodiment of the present invention.

이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. Like reference symbols in the drawings denote like elements.

도 1은 본 발명의 일실시예에 따른 인터페이스 제어 시스템을 나타내는 도면이다.1 is a diagram illustrating an interface control system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 시스템은 인터페이스 제어 장치(100), 센서(110) 및 디스플레이 장치(140)를 포함한다.Referring to FIG. 1, an interface control system according to an embodiment of the present invention includes an interface control device 100, a sensor 110, and a display device 140.

센서(Sensor)(110)는 사용자(120)와 연관된 영상(Image)을 센싱(Sensing)한다. 일실시예에 따른 센서(110)는 카메라(Camera)로 구현될 수 있다. 센서(110)는 센서(110)로부터 사용자(120)까지의 거리에 대한 깊이 영상(Depth Image)을 촬영하고, 촬영된 깊이 영상을 포함하는 영상 정보를 인터페이스 제어 장치(100)로 전송할 수 있다. A sensor 110 senses an image associated with the user 120. The sensor 110 according to one embodiment may be implemented as a camera. The sensor 110 may capture a depth image of a distance from the sensor 110 to the user 120 and may transmit image information including the captured depth image to the interface controller 100.

실시예에 따라서는, 센서(110)는 사용자(10)와 연관된 색상 영상(Color Image) 및 IR 영상을 더 촬영하고, 촬영된 색상 영상 및 IR 영상을 더 포함하는 영상 정보를 인터페이스 제어 장치(100)로 전송할 수 있다.The sensor 110 further photographs the color image and the IR image associated with the user 10 and transmits the image information further including the captured color image and the IR image to the interface controller 100 ).

인터페이스 제어 장치(100)는 센서(110)로부터 사용자(120)와 연관된 영상 정보를 수신한다. 또한, 인터페이스 제어 장치(100)는 수신한 영상 정보에 기반하여, 사용자(120)의 손(122)의 동작에 대한 모션(Motion) 정보를 생성할 수 있다. The interface control device 100 receives image information associated with the user 120 from the sensor 110. The interface control apparatus 100 may generate motion information on the motion of the hand 122 of the user 120 based on the received image information.

일실시예에 따른 모션 정보는 사용자(120)의 손(122)의 이동 경로(예를 들어, 위로 이동하는지, 아래로 이동하는지 등), 손(122)의 자세(Posture)(예를 들어, 손바닥을 펼친 상태인지, 주먹을 쥔 상태인지 등) 및 손(122)의 개수(즉, 한손을 이용하는지, 양손을 모두 이용하는지에 대한 정보) 중 적어도 하나에 대한 정보를 포함할 수 있다.The motion information according to one embodiment may include a motion path (e.g., moving up or down) of the hand 122 of the user 120, a posture of the hand 122 (e.g., (E.g., whether the palm is in an open state, a fisted state, etc.), and the number of hands 122 (i.e., information on whether one hand is used or both hands are used).

실시예에 따라서는, 인터페이스 제어 장치(100)는 수신한 영상 정보에 기반하여, 사용자(120)의 시선(121)에 대한 시선 정보를 생성할 수 있다. In some embodiments, the interface control apparatus 100 may generate gaze information for the user's eye 120 based on the received image information.

일실시예에 따른 시선 정보는 사용자(120)의 시선(121)의 방향, 시선(121)이 닿는 곳의 위치 및 사용자(120)의 머리의 위치 중 적어도 하나에 대한 정보를 포함할 수 있다.The gaze information according to an exemplary embodiment may include information on at least one of a direction of a line 121 of a user 120, a position of a line 121 and a position of a head of a user 120.

인터페이스 제어 장치(100)는 모션 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(2-Dimension or 3-Dimension Graphical User Interface, 2D/3D GUI)(130)를 제어한다. 2차원 또는 3차원 그래픽 사용자 인터페이스(130)은 적어도 하나의 UI 객체(UI Object)(131, 132, 133)를 표시할 수 있다.The interface control apparatus 100 controls a two-dimensional or three-dimensional graphical user interface (2D / 3D GUI) 130 based on motion information. The two-dimensional or three-dimensional graphical user interface 130 may display at least one UI object 131, 132, 133.

실시예에 따라서는, 모션 정보에 따른 사용자(120)의 손(122)의 위치가 2차원 또는 3차원 그래픽 사용자 인터페이스(130) 중 웹브라우저 UI 객체(131)의 위치에 대응하고, 손(122)의 동작이 웹브라우저 UI 객체(131)를 드래그(Drag)하는 동작(즉, 드래그 인터액션(Drag Interaction))에 대응하는 경우, 인터페이스 제어 장치(100)는 웹브라우저 UI 객체(131)가 손(122)의 이동 방향으로 드래그되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(130)를 제어할 수 있다.
The position of the hand 122 of the user 120 according to the motion information corresponds to the position of the web browser UI object 131 of the two-dimensional or three-dimensional graphical user interface 130, and the hand 122 The interface control device 100 determines that the web browser UI object 131 is in a state in which the web browser UI object 131 is moved to the hand (i.e., Dimensional graphic user interface 130 to be dragged in the direction of movement of the two-dimensional or three-dimensional graphical user interface 130. FIG.

일실시예에 따른 인터페이스 제어 장치(100)는 영상 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스(130)를 생성할 수 있다. 또한, 인터페이스 제어 장치(100)는 생성된 2차원 또는 3차원 그래픽 사용자 인터페이스(130)를 디스플레이 장치(140)로 출력할 수 있다. The interface control apparatus 100 according to an exemplary embodiment may generate a two-dimensional or three-dimensional graphical user interface 130 based on image information. In addition, the interface control apparatus 100 may output the generated two-dimensional or three-dimensional graphical user interface 130 to the display apparatus 140.

일실시예에 따른 디스플레이 장치(140)는 3차원 프로젝터(3D Projector), 3차원 TV(3D TV) 등을 포함할 수 있다. 일실시예에 따른 디스플레이 장치(140)는 Dual FHD, Side by Side, Up and Down, Horizontal Interlace, Vertical Interlace 등의 3D 영상 전달 포맷을 입력으로 하여 입체 영상을 출력할 수 있다.
The display device 140 according to an exemplary embodiment may include a 3D projector, a 3D TV, and the like. The display device 140 according to an exemplary embodiment can output a stereoscopic image by inputting a 3D image delivery format such as Dual FHD, Side by Side, Up and Down, Horizontal Interlace, and Vertical Interlace.

도 2는 본 발명의 일실시예에 따른 인터페이스 제어 장치의 구성을 나타내는 도면이다.2 is a block diagram showing the configuration of an interface control apparatus according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 장치(200)는 수신부(201), 처리부(202) 및 제어부(203)를 포함한다.Referring to FIG. 2, an interface control apparatus 200 according to an embodiment of the present invention includes a receiving unit 201, a processing unit 202, and a control unit 203.

수신부(201)는 센서(210)로부터 사용자(220)와 연관된 깊이 영상(Depth Image)을 포함하는 영상 정보를 수신한다.The receiving unit 201 receives image information including a depth image associated with the user 220 from the sensor 210. [

처리부(202)는 영상 정보에 기반하여 사용자(220)의 손(222)의 동작에 대한 모션 정보 및 사용자(220)의 시선(221)에 대한 시선 정보 중 적어도 하나의 정보를 생성한다. The processing unit 202 generates at least one of motion information on the motion of the hand 222 of the user 220 and visual information on the line of sight 221 of the user 220 based on the image information.

일실시예에 따른 처리부(202)는 수신된 영상 정보를 분석하여, 사용자(220)의 손(222)의 동작을 인지하고, 손(222)의 동작에 대한 모션 정보를 생성할 수 있다.The processing unit 202 according to an embodiment may analyze the received image information to recognize the motion of the hand 222 of the user 220 and generate motion information about the motion of the hand 222. [

실시예에 따라서는, 처리부(202)는 민 쉬프트(The Mean Shift)를 이용하여, 영상 정보로부터 사용자(220)의 손(222)의 위치에 대한 정보를 추출할 수 있다. 또한, 처리부(202)는 레벨 세트(Level Set) 별로 색 모메트(Hue Moment)를 특징(Feature)으로 사용한 아다부스트(Adaboost) 기반의 형태 매칭(Shape Matching)을 이용하여, 영상 정보로부터 사용자(220)의 손(222)의 자세에 대한 정보를 추출할 수 있다. 또한, 처리부(202)는 MSE(Mean Square Error)를 이용하여, 영상 정보로부터 사용자(220)의 손(222)의 이동 경로에 대한 정보를 추출할 수 있다.
In some embodiments, the processing unit 202 may extract information about the position of the hand 222 of the user 220 from the image information using the Mean Shift. In addition, the processing unit 202 may use the shape matching based on Adaboost, which uses a hue moment as a feature for each level set, The information on the posture of the hand 222 of the hand 220 can be extracted. The processing unit 202 can extract information on the movement path of the hand 222 of the user 220 from the image information using MSE (Mean Square Error).

본 발명의 일측에 따르면, 처리부(202)는 수신된 영상 정보에 기반하여 관심 영역(Region of Interest, ROI)(250)을 연산할 수 있다. 또한, 처리부(202)는 연산된 관심 영역(250) 안에서의 사용자(220)의 손(222)의 동작에 대한 모션 정보를 생성할 수 있다.According to one aspect of the present invention, the processing unit 202 may calculate a region of interest (ROI) 250 based on the received image information. The processing unit 202 may also generate motion information for the motion of the user's hand 222 within the computed region of interest 250. [

일실시예에 따른 처리부(202)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)에 대한 제어가 시작되면, 사용자(220)의 손(222)의 위치에 관심 영역(250)을 생성할 수 있다.The processing unit 202 according to one embodiment may create the region of interest 250 at the location of the hand 222 of the user 220 when control over the two- or three-dimensional graphical user interface 230 begins .

관심 영역(250)은, 사용자(220)의 위치에 상관 없이 동일한 관심 영역의 제공이 필요한 경우, 사용자(220)의 손(222)의 동작에 대한 모션 정보를 생성하기 위한 센서(210)로부터 수신된 영상의 일부 영역을 나타낸다. 실시예에 따라서는, 처리부(202)는 관심 영역(250) 밖에서 이루어지는 손(222)의 동작에 대해서는 모션 정보를 생성하지 않을 수 있다. 이하 도 3을 참조하여, 관심 영역에 대해서 상세히 설명한다.
The region of interest 250 may be received from the sensor 210 for generating motion information for the motion of the hand 222 of the user 220 when it is necessary to provide the same region of interest irrespective of the location of the user 220 Of the image. Depending on the embodiment, the processing unit 202 may not generate motion information for the motion of the hand 222 that occurs outside the region of interest 250. [ Referring to FIG. 3, the region of interest will now be described in detail.

도 3은 본 발명의 일실시예에 따른 관심 영역을 나타내는 도면이다.3 is a diagram illustrating a region of interest according to an embodiment of the present invention.

도 3을 참조하면, 제1 케이스(310)는 사용자의 손(312)이 관심 영역(311) 안에서 이동하는 경우를 나타내고, 제2 케이스(320)는 사용자의 손(322)이 관심 영역(321) 밖에서 이동하는 경우를 나타낸다.3, a first case 310 represents a case where a user's hand 312 moves within a region of interest 311 and a second case 320 represents a case where a user's hand 322 is located within a region of interest 321 ). &Lt; / RTI >

제1 케이스(310)의 경우, 본 발명의 일실시예에 따른 인터페이스 제어 장치는 손(312)의 동작에 대한 모션 정보를 생성할 수 있다. 예를 들어, 인터페이스 제어 장치는 영상 정보를 분석하여 사용자의 손(312)이 좌에서 우로 이동하는 동작임을 인지하고, 손(312)이 좌에서 우로 이동하는 동작에 대한 모션 정보를 생성할 수 있다.In the case of the first case 310, the interface control device according to an embodiment of the present invention may generate motion information for the motion of the hand 312. For example, the interface controller may analyze the image information to recognize that the user's hand 312 is a left-to-right motion, and may generate motion information for the motion of the hand 312 from left to right .

제2 케이스(320)의 경우, 본 발명의 일실시예에 따른 인터페이스 제어 장치는 손(322)의 동작에 대한 모션 정보를 생성하지 않을 수 있다. 즉, 일실시예에 따른 인터페이스 제어 장치는 영상 정보를 분석하여 사용자의 손(322)이 관심 영역(321) 밖에서 이동하는 것으로 인지되는 경우, 손(322)의 동작에 대한 모션 정보를 생성하지 않을 수 있다. 이 경우, 모션 정보가 생성되지 않기 때문에, 2차원 또는 3차원 그래픽 사용자 인터페이스에 대한 제어가 발생하지 않는다.
In the case of the second case 320, the interface control device according to an embodiment of the present invention may not generate motion information for the motion of the hand 322. [ That is, the interface control apparatus according to an embodiment analyzes the image information to generate motion information for the motion of the hand 322 when the user's hand 322 is recognized as moving outside the area of interest 321 . In this case, since no motion information is generated, control for a two-dimensional or three-dimensional graphical user interface does not occur.

다시 도 2를 참조하면, 일실시예에 따른 처리부(202)는 관심 영역(250)의 너비(ROI_width)(251) 및 높이(ROI_height)(252)를 연산함으로써, 관심 영역(250)을 연산할 수 있다.Referring again to FIG. 2, the processing unit 202 according to one embodiment calculates the ROI _width 251 and the ROI _height 252 of the ROI 250 to determine the region of interest 250 .

처리부(202)는 하기 수식 1을 이용하여, 관심 영역(250)의 너비(251)를 연산할 수 있다. 또한, 처리부(202)는 하기 수식 2를 이용하여, 관심 영역(250)의 높이(252)를 연산할 수 있다.The processing unit 202 can calculate the width 251 of the region of interest 250 using Equation 1 below. The processing unit 202 can also calculate the height 252 of the region of interest 250 using Equation 2 below.

[수식 1][Equation 1]

[수식 2][Equation 2]

단, ROI_width(pixel): 관심 영역(250)의 너비(251)ROI _{width (pixel)} : the width 251 of the ROI 250,

D_cur: 센서(110) 및 사용자(120) 사이의 거리에 대한 센티미터(centimeter) 값(D_curis the distance in centimeter between camera and the user)D _cur is the centimeter value for the distance between the sensor 110 and the user 120, D _cur is the distance in centimeter between the camera and the user,

Image_width 및 Image_height : 깊이 영상의 높이 및 너비(Image_widthand Image_heightare the width and the height of the depth image in pixel)Image _width and Image _height : Image _height and width (Image _width and _height )

FoV_width및 FoV_width: 깊이 카메라의 렌즈로 인한 시야의 높이 및 너비(FoV_widthand FoV_heightare the width and the height of the field of view due to the lens of the depth camera)FoV _width and FoV _width : Depth The height and width of the field of view due to the lens of the camera (FoV _width and FoV _height are the width and height of the field of view due to the lens of the depth camera)

K_width: 공기 중의 관심 영역(250) 창의 평균 너비(K_widthis the average width of ROI window in the air)K _width: average width of the window of interest in air zone _{(250) (K width is the} average width of ROI window in the air)

K_height: 공기 중의 관심 영역(250) 창의 평균 높이(K_heightis the average height of ROI window in the air)
K _height: The average height of the window of interest in air zone _{(250) (K height is the} average height of ROI window in the air)

본 발명의 일측에 따르면, 처리부(202)는 깊이 영상의 현재 프래임(Frame) 및 적어도 하나의 이전 프래임 간의 깊이 차이값을 연산하고, 연산된 깊이 차이값에 기반하여 모션 정보를 생성할 수 있다. 이하 도 4를 참조하여 깊이 영상을 이용하여 모션 정보를 생성하는 동작에 대해서 상세히 설명한다.
According to one aspect of the present invention, the processing unit 202 may calculate the depth difference value between the current frame of the depth image and at least one previous frame, and may generate motion information based on the calculated depth difference value. Hereinafter, the operation of generating motion information using a depth image will be described in detail with reference to FIG.

도 4는 본 발명의 일실시예에 따른 깊이 영상을 나타내는 도면이다.4 is a view illustrating a depth image according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일실시예에 따른 깊이 영상은 복수 개의 프래임(411, 412, 413, 414)를 포함할 수 있다. 현재 프래임(411)은 현재 시간 t에서의 깊이 영상을 나타내고, 적어도 하나의 이전 프래임(412, 413, 414)는 현재 시간 t 이전 시간에서의 깊이 영상을 나타낸다.Referring to FIG. 4, a depth image according to an embodiment of the present invention may include a plurality of frames 411, 412, 413, and 414. The current frame 411 represents the depth image at the current time t, and the at least one previous frame 412, 413, 414 represents the depth image at the time before the current time t.

일실시예에 따른 인터페이스 제어 장치는 현재 프래임(411) 및 적어도 하나의 이전 프래임(412, 413, 414) 간의 깊이 차이값을 연산할 수 있다. 예를 들어, 인터페이스 제어 장치는 현재 프래임(411) 및 이전 프래임(412) 간의 제1 깊이 차이값을 연산하고, 현재 프래임(411) 및 이전 프래임(413) 간의 제2 깊이 차이값을 연산하며, 현재 프래임(411) 및 이전 프래임(414) 간의 제3 깊이 차이값을 연산할 수 있다. The interface control apparatus according to one embodiment may calculate the depth difference value between the current frame 411 and the at least one previous frame 412, 413, 414. For example, the interface controller may calculate a first depth difference value between the current frame 411 and the previous frame 412, calculate a second depth difference value between the current frame 411 and the previous frame 413, The third depth difference value between the current frame 411 and the previous frame 414 can be computed.

인터페이스 제어 장치는 연산된 깊이 차이값에서 깊이값의 차이가 기준값을 초과하는 픽셀(Pixel)들의 영역을 추출할 수 있다. 예를 들어, 제1 깊이 차이값에서 깊이 차이값이 기준값을 초과하는 픽셀들에 대한 제1 영역을 추출하고, 제2 깊이 차이값에서 깊이 차이값이 기준값을 초과하는 픽셀들에 대한 제2 영역을 추출하며, 제3 깊이 차이값에서 깊이 차이값이 기준값을 초과하는 픽셀들에 대한 제3 영역을 추출할 수 있다.The interface controller can extract the area of the pixels whose difference in depth value exceeds the reference value at the calculated depth difference value. For example, a first region for pixels whose depth difference value exceeds a reference value at a first depth difference value is extracted, and a second region for pixels whose depth difference value exceeds a reference value at a second depth difference value, And extract a third region for pixels whose depth difference value exceeds a reference value at the third depth difference value.

인터페이스 제어 장치는 기준값을 초과하는 픽셀들에 대한 영역들이 복수 개인 경우, 복수 개의 영역들 중 교집합을 이루는 픽셀들(431)을 추출할 수 있다. 예를 들어, 인터페이스 제어 장치는 제1 영역, 제2 영역 및 제3 영역 모두에 포함되는 픽셀들을 추출할 수 있다.The interface controller can extract the intersection pixels 431 of the plurality of areas when there are a plurality of areas for the pixels exceeding the reference value. For example, the interface controller may extract pixels included in both the first area, the second area, and the third area.

인터페이스 제어 장치는 교집합을 이루는 픽셀들을 분석하여, 모션 정보를 생성할 수 있다. 실시예에 따라서는, 인터페이스 제어 장치는 영상의 영상비(Aspect Ratio), 영상의 사이즈(Size) 및 모멘트 벡터(Moment Vector)의 방향 중 적어도 하나를 더 고려하여, 모션 정보를 생성할 수 있다. 예를 들어, 추출된 제1 영역, 제2 영역 및 제3 영역 모두에 포함되는 픽셀들을 분석한 결과, 깊이값이 감소하고 있는 경우, 깊이값이 감소하는 것은 센서와 사용자 사이의 거리가 작아지는 것을 의미하므로, 인터페이스 제어 장치는 사용자가 손을 앞으로 내미는 동작을 인식하고, 손을 앞으로 내미는 동작에 대한 모션 정보를 생성할 수 있다.
The interface controller can analyze the pixels forming the intersection to generate motion information. According to an embodiment, the interface controller may generate motion information by further considering at least one of an aspect ratio of an image, a size of an image, and a direction of a moment vector. For example, if the pixels included in the extracted first, second, and third regions are analyzed, if the depth value is decreased, the decrease in the depth value means that the distance between the sensor and the user decreases , The interface control device can recognize the motion in which the user hands forward and generate motion information on the motion in which the user hands forward.

다시 도 2를 참조하면, 제어부(203)는 생성된 적어도 하나의 정보(모션 정보 또는 시선 정보)에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어한다.Referring again to FIG. 2, the control unit 203 controls the two-dimensional or three-dimensional graphic user interface 230 based on at least one piece of generated information (motion information or sight line information).

2차원 또는 3차원 그래픽 사용자 인터페이스(230)은 적어도 하나의 UI 객체(UI Object)(231, 232, 233)를 표시할 수 있다.The two-dimensional or three-dimensional graphical user interface 230 may display at least one UI object 231, 232, 233.

실시예에 따라서는, 모션 정보에 따른 사용자(220)의 손(222)의 위치가 2차원 또는 3차원 그래픽 사용자 인터페이스(230) 중 동영상 재생 UI 객체(232)의 위치에 대응하고, 손(222)의 동작이 동영상 재생 UI 객체(232)를 실행(Play)하는 동작(즉, 실행 인터액션(Play Interaction))에 대응하는 경우, 제어부(203)는 동영상 재생 UI 객체(232)가 재생되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.
The position of the hand 222 of the user 220 in accordance with the motion information corresponds to the position of the moving image playback UI object 232 in the two-dimensional or three-dimensional graphical user interface 230, (I.e., an execution interaction (Play Interaction)) in which the motion picture playback UI object 232 is played back, the control unit 203 controls the motion picture playback UI object 232 to be two- Or a three-dimensional graphical user interface 230.

본 발명의 일측에 따르면, 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 제어 시작을 신호하는 제어 시작 인터액션 및 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 제어 종료를 신호하는 제어 종료 인터액션에 대응하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 제어를 시작 또는 종료할 수 있다.According to one aspect of the present invention, the control unit 203 signals a control start-up signal that signals the start of control of the two-dimensional or three-dimensional graphical user interface 230 and an end of control of the two- or three- In response to the control termination interaction, control of the two-dimensional or three-dimensional graphical user interface 230 may be initiated or terminated.

즉, 제어부(203)는 모션 정보가 제어 시작 인터액션에 대응하는 경우, 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 제어를 시작할 수 있다. 또한, 제어부(203)는 모션 정보가 제어 종료 인터액션에 대응하는 경우, 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 제어를 종료할 수 있다.That is, the control unit 203 may start the control of the two-dimensional or three-dimensional graphical user interface 230 when the motion information corresponds to the control start interaction. Also, the control unit 203 may terminate the control of the two-dimensional or three-dimensional graphical user interface 230 when the motion information corresponds to the control ending interaction.

이하 도 5를 참조하여, 제어 시작 인터액션 및 제어 종료 인터액션에 대해서 상세히 설명한다.
Referring now to FIG. 5, control start and end control interactions will be described in detail.

도 5는 본 발명의 일실시예에 따른 제어 시작 인터액션 및 제어 종료 인터액션을 나타내는 도면이다. 5 is a diagram illustrating a control start interaction and a control end interaction according to an embodiment of the present invention.

도 5를 참조하면, 표(500)는 제어 시작 인터액션(510) 및 제어 종료 인터액션(520)을 나타낸다.Referring to FIG. 5, a table 500 represents a control start interaction 510 and a control end interaction 520.

일실시예에 따른 제어 시작 인터액션(510)은 사용자가 손을 들어올리는 동작(511) 및 사용자가 손을 미는 동작(512) 중 적어도 하나를 포함할 수 있다. The control start interaction 510 according to one embodiment may include at least one of a user raising a hand 511 and a user pushing a hand 512.

예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 들어올리는 동작(511)이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 들어올리는 동작(511)에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 제어 시작 인터액션(510)에 대응하므로, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 시작할 수 있다. 실시예에 따라서는, 모션 정보가 제어 시작 인터액션(510)에 대응하는 경우, 인터페이스 제어 장치는 관심 영역을 사용자의 손의 위치에 생성하고, 관심 영역 안에서의 사용자의 손의 동작에 대한 모션 정보에 대응하여 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 시작할 수 있다.
For example, as a result of analyzing the image information, when the user raises the hand 511, the interface controller can generate the motion information for the user raising the hand 511. At this time, since the motion information corresponds to the control start interaction 510, the interface control device can start the control of the two-dimensional or three-dimensional graphical user interface. In some embodiments, if the motion information corresponds to the control start interaction 510, the interface control device may generate the region of interest at the location of the user's hand and may include motion information about the motion of the user's hand in the region of interest The control of the two-dimensional or three-dimensional graphical user interface can be started correspondingly.

일실시예에 따른 제어 종료 인터페이스(520)은 사용자가 손을 내리는 동작(521)을 포함할 수 있다.The control termination interface 520 according to one embodiment may include an operation 521 in which the user hands down.

예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 내리는 동작(521)이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 내리는 동작(521)에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 제어 종료 인터액션(520)에 대응하므로, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 종료할 수 있다.
For example, as a result of analysis of the image information, if the user's hands-down motion 521 is recognized, the interface controller can generate motion information for the user's hands-down motion 521. [ At this time, since the motion information corresponds to the control ending interaction 520, the interface control device can terminate the control of the two-dimensional or three-dimensional graphical user interface.

다시 도 2를 참조하면, 일실시예에 따른 인터페이스 제어 장치(200)는 데이터베이스(미도시)를 더 포함할 수 있다.Referring again to FIG. 2, the interface control apparatus 200 according to an embodiment may further include a database (not shown).

데이터베이스는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어하는 복수 개의 인터액션을 저장할 수 있다.The database may store a plurality of interactions that control the two-dimensional or three-dimensional graphical user interface (230).

본 발명의 일측에 따르면, 제어부(203)는 복수 개의 인터액션 중 모션 정보에 대응하는 인터액션이 있는 경우, 모션 정보에 대응하는 인터액션에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다. According to one aspect of the present invention, when there is an interaction corresponding to motion information among a plurality of interactions, the control unit 203 can control the two-dimensional or three-dimensional graphical user interface 230 based on the interaction corresponding to the motion information have.

또한, 제어부(203)는 복수 개의 인터액션 중 모션 정보에 대응하는 인터액션이 없는 경우, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 컨트롤 포인트(Control Point)의 이동을 제어할 수 있다.If there is no interaction corresponding to the motion information among the plurality of interactions, the control unit 203 may control the movement of the control point of the two-dimensional or three-dimensional graphical user interface 230 based on the motion information have.

이하 도 6을 참조하여, 본 발명의 일실시예에 따른 인터액션에 대해서 상세히 설명한다.
Hereinafter, an interaction according to an embodiment of the present invention will be described in detail with reference to FIG.

도 6은 본 발명의 일실시예에 따른 인터액션을 나타내는 도면이다.6 is a diagram illustrating an interaction according to an embodiment of the present invention.

도 6을 참조하면, 표(600)는 복수 개의 인터액션(610, 620, 630, 640, 650, 660)을 나타낸다.Referring to FIG. 6, a table 600 represents a plurality of interactions 610, 620, 630, 640, 650, and 660.

본 발명의 일측에 따르면, 복수 개의 인터액션은 실행 인터액션(610), 취소 인터액션(620), 드래그&드롭(Drag&Drop) 인터액션(630), 스크롤링(Scrolling) 인터액션(640), 회전(Rotation) 인터액션(650) 및 스케일링(Scaling) 인터액션(660) 중 적어도 하나를 포함할 수 있다.According to one aspect of the present invention, a plurality of interactions may include an execution interaction 610, a cancellation interaction 620, a drag and drop interaction 630, a scrolling interaction 640, a rotation interaction 650 ) And a scaling interaction 660. [0064]

일실시예에 따른 실행 인터액션(610)은 사용자의 손이 소정의 시간(t second) 동안 정지해 있는 동작(611) 및 사용자가 손을 썸스-업(Thumbs-Up) 자세로 하는 동작(612) 중 적어도 하나를 포함할 수 있다.The execution interaction 610 according to one embodiment includes an operation 611 in which a user's hand is stopped for a predetermined time t second and an operation 612 in which a user places a hand in a thumb- Or the like.

예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 소정의 시간 동안 정지해 있는 동작(611)이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 소정의 시간 동안 정지해 있는 동작(611)에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 실행 인터액션(610)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체가 실행되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.For example, if an operation 611 indicating that the user has stopped the hand for a predetermined time is recognized as a result of analyzing the image information, the interface control device may perform an operation 611 in which the user stops the hand for a predetermined time, As shown in FIG. At this time, since the motion information corresponds to the execution interaction 610, the interface control device can control the two-dimensional or three-dimensional graphical user interface based on the motion information. That is, the interface control device can control the two-dimensional or three-dimensional graphical user interface so that UI objects corresponding to the positions of the user's hands are executed among at least one UI object on the two-dimensional or three-dimensional graphical user interface.

또 다른 예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 썸즈-업 자세로 하는 동작(612)이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 썸즈-업 자세로 하는 동작(612)에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 실행 인터액션(610)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체가 실행되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
As another example, if the user confirms the operation 612 of placing the hand in the thumb-up position as a result of the analysis of the image information, the interface control device performs an operation 612 of placing the hand in the thumb- As shown in FIG. At this time, since the motion information corresponds to the execution interaction 610, the interface control device can control the two-dimensional or three-dimensional graphical user interface based on the motion information. That is, the interface control device can control the two-dimensional or three-dimensional graphical user interface so that UI objects corresponding to the positions of the user's hands are executed among at least one UI object on the two-dimensional or three-dimensional graphical user interface.

일실시예에 따른 취소 인터액션(620)은 사용자가 손을 썸즈-다운(Thumbs-Down) 자세로 하는 동작(621)을 포함할 수 있다.The cancellation interaction 620 according to one embodiment may include an operation 621 by which the user places the hand in a Thumbs-Down position.

예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 썸즈-다운 자세로 하는 동작(621)이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 썸즈-다운 자세로 하는 동작(621)에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 취소 인터액션(620)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체에 대한 작업이 취소되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
For example, as a result of analyzing the image information, when the user recognizes the operation 621 to put the hand in the thumb-down posture, the interface control device determines whether the user moves the hand to the thumb- Motion information can be generated. At this time, since the motion information corresponds to the cancellation interaction 620, the interface control device can control the two-dimensional or three-dimensional graphical user interface based on the motion information. That is, the interface control device can control the two-dimensional or three-dimensional graphical user interface so that the operation on the corresponding UI object is canceled where at least one of the UI objects on the two-dimensional or three-dimensional graphical user interface is located have.

일실시예에 따른 드래그&드롭 인터액션(630)은 사용자가 손으로 주먹을 쥐고(632), 주먹을 쥔 채로 이동하며, 주먹을 펴는(633) 일련의 동작을 포함할 수 있다.The drag and drop interaction 630 according to one embodiment may include a series of actions by the user holding the fist by hand 632, moving with the fist, and stretching the fist 633.

예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 손으로 주먹을 쥐고(632), 주먹을 쥔 채로 이동하며, 주먹을 펴는(633) 일련의 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 손으로 주먹을 쥐고(632), 주먹을 쥔 채로 이동하며, 주먹을 펴는(633) 일련의 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 드래그&드롭 인터액션(630)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체(631)가 주먹이 펴지는 곳으로 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
For example, when analyzing the image information, if a user grasps a hand with his / her fist 632, moves with his / her fist clenching, and stretches a fist 633, Can generate motion information for a series of actions (632), moving with a fist, and stretching a fist (633). At this time, since the motion information corresponds to the drag and drop interaction 630, the interface control device can control the two-dimensional or three-dimensional graphical user interface based on the motion information. That is, the interface control device controls the UI object 631 corresponding to the position of the user's hand among the at least one UI object on the two-dimensional or three-dimensional graphical user interface to move to the fist- The user interface can be controlled.

일실시예에 따른 스크롤링 인터액션(640)은 사용자가 손을 기준값을 초과하는 속도로 이동하는 동작(641)을 포함할 수 있다.The scrolling interaction 640 according to one embodiment may include an operation 641 in which a user moves a hand at a speed that exceeds a reference value.

예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 기준값을 초과하는 속도로 이동하는 동작(641)이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 기준값을 초과하는 속도로 이동하는 동작(641)에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 스크롤링 인터액션(640)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체가 손이 이동하는 방향으로 스크롤링 되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
For example, when an operation 641 in which a user moves a hand at a speed exceeding a reference value is recognized as a result of analyzing the image information, the interface control device may perform an operation in which the user moves the hand at a speed exceeding the reference value 641). &Lt; / RTI > At this time, since the motion information corresponds to the scrolling interaction 640, the interface control device can control the two-dimensional or three-dimensional graphical user interface based on the motion information. That is, the interface control device may be configured to display a two-dimensional or three-dimensional graphical user interface so that the UI object corresponding to the position of the user's hand among the at least one UI object on the two-dimensional or three-dimensional graphical user interface is scrolled in a direction in which the hand moves Can be controlled.

일실시예에 따른 회전 인터액션(650)은 사용자가 양손을 주먹을 쥐고(652) 회전하는(653) 일련의 동작을 포함할 수 있다.The rotation interaction 650 according to one embodiment may include a series of operations in which a user grasps both hands (652) and rotates (653).

예를 들어, 영상 정보를 분석한 결과, 사용자가 양손을 주먹을 쥐고(652) 회전하는(653) 일련의 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자가 양손을 주먹을 쥐고(652) 회전하는(653) 일련의 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 회전 인터액션(650)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체(651)가 주먹을 쥐고(652) 회전하는(653) 각도만큼 회전되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
For example, as a result of analyzing the image information, when a series of operations in which the user grasps (652) and rotates (652) both hands is perceived, the interface control device determines whether the user grasps (652) (653) motion information for a series of operations. At this time, since the motion information corresponds to the rotation interaction 650, the interface control device can control the two-dimensional or three-dimensional graphical user interface based on the motion information. In other words, the interface control device controls the rotation of the UI object 651 corresponding to the position of the user's hand among at least one UI object on the two-dimensional or three-dimensional graphical user interface by an angle (653) It is possible to control the 2D or 3D graphical user interface as much as possible.

일실시예에 따른 스케일링 인터액션(660)은 사용자가 양손을 주먹을 쥐고(662) 서로 반대쪽으로 벌리는(663) 일련의 동작을 포함할 수 있다. 또한, 일실시예에 따른 스케일링 인터액션(660)은 사용자가 양손을 주먹을 쥐고(662) 서로 같은쪽으로 좁히는 일련의 동작을 포함할 수 있다.A scaling interaction 660 according to one embodiment may include a series of actions in which a user grasps both hands (662) and spreads them apart (663). In addition, the scaling interaction 660 according to one embodiment may include a series of actions in which a user grasps both hands (662) and narrows them to the same side.

예를 들어, 영상 정보를 분석한 결과, 사용자가 양손을 주먹을 쥐고(662) 서로 반대쪽으로 벌리는(663) 일련의 동작 또는 양손을 주먹을 쥐고(662) 서로 같은 쪽으로 좁히는 일련의 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자가 양손을 주먹을 쥐고(662) 서로 반대쪽으로 벌리는(663) 일련의 동작 또는 양손을 주먹을 쥐고(662) 서로 같은 쪽으로 좁히는 일련의 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 스케일링 인터액션(660)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체(661)가 주먹을 쥐고(662) 벌어지는(663) 거리 또는 좁혀지는 거리만큼 크기 변환(확대 또는 축소)되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
For example, the analysis of the image information shows that the user has a series of actions (662) holding both hands (662) and opposite sides (663) or a series of actions holding both hands (662) The interface control device can generate motion information for a series of actions by which a user grasps both hands (662) and spreads them apart (663) or holds a fist (662) and closes each other to the same side have. At this time, since the motion information corresponds to the scaling interaction 660, the interface control device can control the two-dimensional or three-dimensional graphical user interface based on the motion information. In other words, the interface control device may determine that the UI object 661 corresponding to where the user's hand is located in at least one of the UI objects on the two-dimensional or three-dimensional graphical user interface (662) You can control a two- or three-dimensional graphical user interface to scale (magnify or shrink) by a distance.

상술한 복수 개의 인터액션(실행 인터액션(610), 취소 인터액션(620), 드래그&드롭(Drag&Drop) 인터액션(630), 스크롤링(Scrolling) 인터액션(640), 회전(Rotation) 인터액션(650) 및 스케일링(Scaling) 인터액션(660))은 본 발명의 일실시예에 해당하며, 본 발명이 이에 제한되지 않는다.
The above-described plurality of interactions (execution interaction 610, cancellation interaction 620, drag and drop interaction 630, scrolling interaction 640, rotation interaction 650, and scaling ) Interaction 660) corresponds to one embodiment of the present invention, and the present invention is not limited thereto.

다시 도 2를 참조하면, 일실시예에 따른 제어부(203)는 모션 정보가 정밀(High Precision) 인터액션에 대응하는 경우, 모션 정보에 대응하는 조작 영역을 표시할 수 있다. 또한, 제어부(203)는 조작 영역 안의 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.Referring again to FIG. 2, when the motion information corresponds to a high precision interaction, the controller 203 may display an operation area corresponding to the motion information. Also, the control unit 203 can control the two-dimensional or three-dimensional graphic user interface 230 in the operation area.

일실시예에 따른 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 제어 범위를 2차원 또는 3차원 그래픽 사용자 인터페이스(230) 전체가 아닌 소정의 영역으로 한정할 수 있는데, 이 때, 조작 영역은 제어 범위가 한정되는 소정의 영역을 나타낸다.The control unit 203 according to an exemplary embodiment may limit the control range of the two-dimensional or three-dimensional graphical user interface 230 to a predetermined area other than the entire two-dimensional or three-dimensional graphical user interface 230, , And the operation area indicates a predetermined area in which the control range is limited.

실시예에 따라서는, 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230) 중 조작 영역을 제외한 나머지 부분을 어둡게 표시하는 형태로 조작 영역을 표시할 수 있다. 또한, 제어부(203)는 조작 영역을 소정의 크기로 확대하여 표시할 수 있다. According to an embodiment, the control unit 203 may display the operation area in a form that darkens the remaining part of the two-dimensional or three-dimensional graphical user interface 230 except for the operation area. Further, the control section 203 can enlarge and display the operation area to a predetermined size.

본 발명의 일측에 따르면, 정밀 인터액션은 사용자(220)가 양손을 사용자(220)의 앞으로 이동시키고, 양손 중 어느 하나를 기준값을 초과하는 시간 동안 정지시키는 동작을 포함할 수 있다.According to one aspect of the present invention, the precise interaction may include an operation in which the user 220 moves both hands in front of the user 220 and stops any of the hands for a time exceeding the reference value.

예를 들어, 영상 정보를 분석한 결과, 사용자(220)가 양손을 사용자(220)의 앞으로 이동시키고, 양손 중 어느 하나를 기준값을 초과하는 시간 동안 정지시키는 동작이 인지되는 경우, 처리부(202)는 사용자(220)가 양손을 사용자(220)의 앞으로 이동시키고, 양손 중 어느 하나를 기준값을 초과하는 시간 동안 정지시키는 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 정밀 인터액션에 대응하므로, 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다. 즉, 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스 중 양손 중 기준값을 초과하는 시간 동안 정지하여 있는 손의 위치에 대응하는 영역이 조정 영역으로 표시되고, 양손 중 나머지 손의 위치에 대응하여 조정 영역 안의 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.For example, if it is recognized that the user 220 moves both hands forward to the user 220 as a result of analyzing the image information, and the operation of stopping any one of both hands for a time exceeding the reference value is recognized, May generate motion information for an operation in which the user 220 moves both hands forward to the user 220 and stops any of the hands for a time exceeding the reference value. At this time, since the motion information corresponds to the precise interaction, the control unit 203 can control the two-dimensional or three-dimensional graphical user interface 230. That is, the control unit 203 displays an area corresponding to the position of the hand, which is stopped for a time exceeding the reference value in both hands, of the two-dimensional or three-dimensional graphical user interface as an adjustment area, The two-dimensional or three-dimensional graphical user interface 230 can be controlled so that the control points within the adjustment area are moved.

이하 도 7을 참조하여, 정밀 인터액션에 대해서 상세히 설명한다.
Hereinafter, with reference to FIG. 7, the precise interaction will be described in detail.

도 7은 본 발명의 일실시예에 따른 고정 인터액션을 나타내는 도면이다.7 is a diagram illustrating a fixed interaction according to an embodiment of the present invention.

도 7을 참조하면, 정밀 인터액션에 대응하는 모션 정보가 인지되기 전의 상태(700)에서 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(710)에 포함되는 적어도 하나의 UI 객체(711, 712, 713)를 디스플레이 화면에 표시할 수 있다.7, in the state 700 before the motion information corresponding to the precise interaction is recognized, the interface control device includes at least one UI object 711, 712, 712 included in the 2D or 3D graphical user interface 710, 713) can be displayed on the display screen.

일실시예에 따른 인터페이스 제어 장치는 영상 정보를 분석한 결과, 사용자가 사용자의 앞으로 양손을 이동시키고, 양손(731, 732) 중 어느 하나의 손(731)을 기준값을 초과하는 시간 동안 정지시키는 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자가 사용자의 앞으로 양손을 이동시키고, 양손(731, 732) 중 어느 하나의 손(731)을 기준값을 초과하는 시간 동안 정지시키는 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 정밀 인터액션에 대응하므로, 인터페이스 제어 장치는 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스(710)를 제어할 수 있다.As a result of analyzing the image information, the interface control apparatus according to an embodiment is configured to move the hands of the user in the future and to stop any one of the hands 731 and 732 for a time exceeding the reference value The interface control device generates motion information on an operation for moving the user's both hands in the future and stopping the hand 731 of either of the hands 731 and 732 for a time exceeding the reference value . At this time, since the motion information corresponds to the precise interaction, the interface control device can control the two-dimensional or three-dimensional graphical user interface 710 based on the motion information.

실시예에 따라서는, 인터페이스 제어 장치는 사용자의 손의 위치에 관심 영역(720)을 연산하여 생성할 수 있다. 이 때, 정밀 인터액션은 사용자가 관심 영역(720) 안으로 양손을 이동시키고, 양손(731, 732) 중 어느 하나의 손(731)을 기준값을 초과하는 시간 동안 정지시키는 동작일 수 있다.
Depending on the embodiment, the interface control device may generate and generate the region of interest 720 at the location of the user's hand. In this case, the precise interaction may be an operation in which the user moves both hands into the region of interest 720 and stops the hand 731 of either of the hands 731 and 732 for a time exceeding the reference value.

정밀 인터액션에 대응하는 모션 정보가 인지된 후의 상태(750)를 참조하면, 인터페이스 제어 장치는 양손(781, 782) 중 정지되어 있는 손(781)의 위치에 대응하여 조작 영역(761)을 표시할 수 있다. Referring to the state 750 after the motion information corresponding to the precise interaction is recognized, the interface control device displays the operation area 761 corresponding to the position of the hand 781 that is stopped in the two hands 781 and 782 .

실시예에 따라서는, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(760) 중 조작 영역(761) 외의 영역을 어둡게 표시할 수 있다. 예를 들어, 조작 영역(761) 외의 영역에 있는 UI 객체(762, 763)는 어둡게 표시될 수 있다.Depending on the embodiment, the interface control device may darken an area other than the operation area 761 out of the two-dimensional or three-dimensional graphical user interface 760. For example, the UI objects 762 and 763 in an area other than the operation area 761 may be displayed dark.

또한, 인터페이스 제어 장치는 조작 영역(761)이 표시되면, 양손 중 나머지 손(782)의 이동에 대응하여 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(760)를 제어할 수 있다.In addition, the interface controller can control the two-dimensional or three-dimensional graphical user interface 760 such that when the operation area 761 is displayed, the control point is moved corresponding to the movement of the remaining hands 782 of both hands.

실시예에 따라서는, 인터페이스 제어 장치는 관심 영역(770) 안의 양손(781, 782) 중 정지되어 있는 손(781)의 위치에 대응하여 조작 영역(761)을 표시할 수 있다.
The interface control device can display the operation area 761 corresponding to the position of the stopped hand 781 of the two hands 781 and 782 in the area of interest 770. [

다시 도 2를 참조하면, 본 발명의 일측에 따른 처리부(202)는 영상 정보에 기반하여 사용자(220)의 시선(221)에 대한 시선 정보를 생성할 수 있다.Referring again to FIG. 2, the processing unit 202 according to one aspect of the present invention may generate gaze information on the line of sight 221 of the user 220 based on the image information.

실시예에 따라서는, 처리부(202)는 영상 정보로부터 사용자(220)의 머리의 위치에 대한 정보 및 사용자(220)의 머리의 회전에 대한 정보를 추출할 수 있다. 또한, 처리부(202)는 머리의 위치에 대한 정보 및 머리의 회전에 대한 정보에 기반하여 시선 정보를 생성할 수 있다.In some embodiments, the processing unit 202 may extract information about the location of the head of the user 220 and information about the rotation of the head of the user 220 from the image information. In addition, the processing unit 202 can generate gaze information based on information on the position of the head and information on the rotation of the head.

실시예에 따라서는, 처리부(202)는 MCT(Modified Census Transform) 기반의 아다부스트 방법(Adaboost Method)을 이용하여, 영상 정보로부터 사용자(220)의 머리의 위치에 대한 정보를 추출할 수 있다. 또한, 처리부(202)는 ASM(Active Shape Model)을 이용하여, 영상 정보로부터 사용자(220)의 머리의 회전에 대한 정보를 추출할 수 있다.
According to an embodiment, the processing unit 202 may extract information on the head position of the user 220 from the image information using an Adaboost method based on a MCT (Modified Census Transform). In addition, the processing unit 202 can extract information on the rotation of the head of the user 220 from the image information using an ASM (Active Shape Model).

이 때, 일실시예에 따른 제어부(203)는 사용자(220)의 손(222)에 대한 모션 정보 및 사용자(220)의 시선(221)에 대한 시선 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.In this case, the control unit 203 according to an exemplary embodiment may generate a 2D or 3D graphic based on the motion information on the hand 222 of the user 220 and the gaze information on the line 221 of the user 220 The user interface 230 can be controlled.

실시예에 따라서는, 시선 정보에 따른 사용자(220)의 시선(221)의 위치가 2차원 또는 3차원 그래픽 사용자 인터페이스(230) 중 동영상 재생 UI 객체(232)의 위치에 대응하고, 손(222)의 동작이 동영상 재생 UI 객체(232)를 실행(Play)하는 동작(즉, 실행 인터액션(Play Interaction))에 대응하는 경우, 제어부(203)는 동영상 재생 UI 객체(232)가 재생되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.The position of the line of sight 221 of the user 220 according to the line of sight information corresponds to the position of the moving picture playback UI object 232 of the two-dimensional or three-dimensional graphical user interface 230, (I.e., an execution interaction (Play Interaction)) in which the motion picture playback UI object 232 is played back, the control unit 203 controls the motion picture playback UI object 232 to be two- Or a three-dimensional graphical user interface 230.

일실시예에 따른 데이터베이스는 모션 정보 및 시선 정보에 기반하는 복수 개의 인터액션을 저장할 수 있다. 이 때, 제어부(203)는 복수 개의 인터액션 중 시선 정보 및 모션 정보에 대응하는 인터액션이 있는 경우, 시선 정보 및 모션 정보에 대응하는 인터액션에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.A database according to an exemplary embodiment may store a plurality of interactions based on motion information and visual information. At this time, when there is an interaction corresponding to the visual information and the motion information among the plurality of interactions, the control unit 203 controls the two-dimensional or three-dimensional graphic user interface 230 based on the interaction corresponding to the visual information and the motion information can do.

이하 도 8을 참조하여, 본 발명의 일실시예에 따른 사용자(220)의 시선(221)을 이용한 인터액션에 대해서 상세히 설명한다.
Referring to FIG. 8, an interaction using a line 221 of a user 220 according to an embodiment of the present invention will be described in detail.

도 8은 본 발명의 일실시예에 따른 사용자의 시선을 이용하는 인터액션에 대한 도면이다.8 is a diagram illustrating an interaction using a user's gaze according to an embodiment of the present invention.

도 8을 참조하면, 표(800)는 사용자의 시선을 이용하는 복수 개의 인터액션(810, 830)을 나타낸다.Referring to FIG. 8, a table 800 represents a plurality of interactions 810 and 830 using a user's gaze.

본 발명의 일측에 따르면, 사용자의 시선을 이용하는 복수 개의 인터액션은 회전 인터액션(810) 및 스케일링 인터액션(830) 중 적어도 하나를 포함할 수 있다.
According to one aspect of the present invention, a plurality of interactions using the user's gaze may include at least one of a rotation interaction 810 and a scaling interaction 830.

일실시예에 따른 회전 인터액션(810)은 사용자가 소정의 시간 동안 시선(821)을 정지한 채, 양손을 주먹 쥐고(823) 회전하는(824)하는 일련의 동작을 포함할 수 있다.The rotation interaction 810 according to one embodiment may include a series of actions by the user to hold (823) and rotate (824) both hands while holding the line of sight (821) for a predetermined period of time.

예를 들어, 영상 정보를 분석한 결과, 사용자가 소정의 시간 동안 시선(821)을 정지한 채, 양손을 주먹 쥐고(823) 회전하는(824)하는 일련의 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자가 소정의 시간 동안 시선(821)을 정지한 채, 양손을 주먹 쥐고(823) 회전하는(824)하는 일련의 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 회전 인터액션(810)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 시선(821)에 대응하는 UI 객체(822)가, 사용자가 주먹을 쥐고(823) 회전하는(824) 각도만큼 회전되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
For example, as a result of the analysis of the image information, when a series of operations in which the user grasps both hands (823) and rotates (824) while perceiving the line 821 for a predetermined time is recognized, May generate motion information for a series of actions in which the user grasps (823) and rotates (824) both hands while holding the line of sight 821 for a predetermined period of time. At this time, since the motion information corresponds to the rotation interaction 810, the interface control device can control the two-dimensional or three-dimensional graphical user interface based on the motion information. That is, the UI controller 822 determines whether the UI object 822 corresponding to the user's gaze 821 of at least one UI object on the two-dimensional or three-dimensional graphical user interface is displayed (824) A two-dimensional or three-dimensional graphical user interface can be controlled to be rotated by an angle.

일실시예에 따른 스케일링 인터액션(830)은 사용자가 소정의 시간 동안 시선(841)을 정지한 채, 양손을 주먹 쥐고(843) 서로 반대쪽으로 벌리는(844) 일련의 동작을 포함할 수 있다. 또한, 일실시예에 따른 스케일링 인터액션(830)은 사용자가 양손을 주먹 쥐고(843) 서로 같은쪽으로 좁히는 일련의 동작을 포함할 수 있다.The scaling interaction 830 according to one embodiment may include a series of actions where the user grasps (843) and wakes (844) opposite each other while holding the gaze (841) for a predetermined amount of time. In addition, the scaling interaction 830 according to an embodiment may include a series of actions in which the user grasps both hands (843) and narrows them to the same side.

예를 들어, 영상 정보를 분석한 결과, 사용자가 소정의 시간 동안 시선(841)을 정지한 채, 양손을 주먹 쥐고(843) 서로 반대쪽으로 벌리는(844) 일련의 동작 또는 양손을 주먹을 쥐고(843) 서로 같은 쪽으로 좁히는 일련의 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자가 소정의 시간 동안 시선(841)을 정지한 채, 양손을 주먹 쥐고(843) 서로 반대쪽으로 벌리는(844) 일련의 동작 또는 양손을 주먹을 쥐고(843) 서로 같은 쪽으로 좁히는 일련의 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 스케일링 인터액션(830)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 시선(841)에 대응하는 UI 객체(842)가 주먹을 쥐고(843) 벌어지는(844) 거리 또는 좁혀지는 거리만큼 크기 변환(확대 또는 축소)되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
For example, as a result of the analysis of the image information, it is determined that the user holds a fist by holding a fist (843) and widening it to the opposite side (844) while holding the gaze (841) 843) are recognized, the interface control device may cause a series of actions (844) in which the user grasps both hands (843) and opens them to opposite sides (844) while keeping the eye (841) Or to generate motion information for a series of actions that hold fists (843) and close each other to the same side. At this time, since the motion information corresponds to the scaling interaction 830, the interface control device can control the two-dimensional or three-dimensional graphical user interface based on the motion information. In other words, the interface control device may determine that the UI object 842 corresponding to the user's gaze 841 of at least one of the UI objects on the two-dimensional or three-dimensional graphical user interface is distracted 844 by fist 844, You can control a two- or three-dimensional graphical user interface to scale (magnify or shrink) by a distance.

상술한 사용자의 시선을 이용하는 복수 개의 인터액션(회전 인터액션(810) 및 스케일링 인터액션(830))은 본 발명의 일실시예에 해당하며, 본 발명이 이에 제한되지 않는다.
The plurality of interactions (the rotation interaction 810 and the scaling interaction 830) using the above-described user's gaze correspond to one embodiment of the present invention, and the present invention is not limited thereto.

다시 도 2를 참조하면, 일실시예에 따른 제어부(203)는 시선 정보 및 모션 정보가 사용자(220)의 시선(221)을 이용하는 정밀(High Precision) 인터액션에 대응하는 경우, 시선 정보 및 모션 정보에 대응하는 조작 영역을 표시할 수 있다. 또한, 제어부(203)는 조작 영역 안의 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.2, when the gaze information and the motion information correspond to the high precision interaction using the gaze 221 of the user 220, the controller 203 controls the gaze information and the motion information Can be displayed. Also, the control unit 203 can control the two-dimensional or three-dimensional graphic user interface 230 in the operation area.

본 발명의 일측에 따르면, 사용자(220)의 시선(221)을 이용하는 정밀 인터액션은 사용자(220)가 시선을 기준값을 초과하는 시간 동안 정지시키는 동작을 포함할 수 있다.According to one aspect of the present invention, the precise interaction using the line of sight 221 of the user 220 may include an operation of stopping the user 220 for a period of time exceeding the reference value.

예를 들어, 영상 정보를 분석한 결과, 사용자(220)가 시선(221)을 기준값을 초과하는 시간 동안 한 곳에 정지시키고 움직이지 않는 동작이 인지되는 경우, 처리부(202)는 사용자(220)가 시선(221)을 기준값을 초과하는 시간 동안 한 곳에 정지시키고 움직이지 않는 동작에 대한 시선 정보를 생성할 수 있다. 이 때, 시선 정보가 사용자(220)의 시선(221)을 이용하는 정밀 인터액션에 대응하므로, 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다. 즉, 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230) 중 사용자(220)의 시선(221)에 대응하는 영역이 조정 영역으로 표시되고, 사용자(220)의 손(222)의 위치에 대응하여 조정 영역 안의 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.For example, as a result of analyzing the image information, when the user 220 stops the eye 221 for a time exceeding the reference value and recognizes the motion that is not moving, the processing unit 202 determines that the user 220 The line of sight 221 can be stopped in one place for a time exceeding the reference value and eye line information for the motionless motion can be generated. At this time, since the line of sight information corresponds to the precise interaction using the line of sight 221 of the user 220, the control unit 203 can control the two-dimensional or three-dimensional graphic user interface 230. That is, the control unit 203 displays an area corresponding to the sight line 221 of the user 220 in the two-dimensional or three-dimensional graphical user interface 230 as an adjustment area and displays the position of the hand 222 of the user 220 Dimensional or three-dimensional graphical user interface 230 so that the control points in the adjustment area are moved corresponding to the control points.

이하 도 9 및 도 10을 참조하여, 사용자(220)의 시선(221)을 이용하는 정밀 인터액션에 대해서 상세히 설명한다.
Referring to FIGS. 9 and 10, the precise interaction using the line of sight 221 of the user 220 will be described in detail. FIG.

도 9는 본 발명의 일실시예에 따른 사용자의 시선을 이용하는 고정 인터액션을 나타내는 도면이다.9 is a diagram illustrating a fixed interaction using a user's line of sight according to an embodiment of the present invention.

도 9를 참조하면, 정밀 인터액션에 대응하는 시선 정보 및 모션 정보가 인지되기 전의 상태(900)에서 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(910)에 포함되는 적어도 하나의 UI 객체(911, 912, 913)를 디스플레이 화면에 표시할 수 있다.9, in the state 900 before the gaze information and motion information corresponding to the precise interaction are recognized, the interface control apparatus includes at least one UI object 911 (see FIG. 9) included in the two- or three- , 912, and 913 can be displayed on the display screen.

일실시예에 따른 인터페이스 제어 장치는 영상 정보를 분석한 결과, 사용자(920)가 시선(921)을 기준값을 초과하는 시간 동안 한 곳에 정지시키고 움직이지 않는 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자(220)가 시선(221)을 기준값을 초과하는 시간 동안 한 곳에 정지시키고 움직이지 않는 동작에 대한 시선 정보를 생성할 수 있다. 이 때, 시선 정보가 정밀 인터액션에 대응하므로, 인터페이스 제어 장치는 시선 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스(910)를 제어할 수 있다.
The interface control apparatus according to an exemplary embodiment of the present invention analyzes the image information and when the user 920 stops the image line 921 in a place for a time exceeding a reference value and recognizes an unmoving operation, The controller 220 can stop the eye 221 for a time exceeding the reference value and generate gaze information for the motionless motion. At this time, since the line of sight information corresponds to the precise interaction, the interface control device can control the two-dimensional or three-dimensional graphical user interface 910 based on the sight line information.

정밀 인터액션에 대응하는 시선 정보 및 모션 정보가 인지된 후의 상태(950)를 참조하면, 인터페이스 제어 장치는 사용자(970)의 시선(971)에 대응하여 조작 영역(961)을 표시할 수 있다. 실시예에 따라서는, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(960) 중 조작 영역(961) 외의 영역을 어둡게 표시할 수 있다. 예를 들어, 조작 영역(961) 외의 영역에 있는 UI 객체(962, 963)는 어둡게 표시될 수 있다.The interface control device can display the operation area 961 in correspondence with the sight line 971 of the user 970 by referring to the state 950 after the sight line information and the motion information corresponding to the precise interaction are recognized. Depending on the embodiment, the interface control device may darken an area outside the operation area 961 of the two-dimensional or three-dimensional graphical user interface 960. For example, the UI objects 962 and 963 in an area other than the operation area 961 may be displayed in dark.

또한, 인터페이스 제어 장치는 조작 영역(961)이 표시되면, 사용자(970)의 손(972)의 이동에 대응하여 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(960)를 제어할 수 있다.The interface control device can also control the two-dimensional or three-dimensional graphical user interface 960 so that the control point is moved corresponding to the movement of the hand 972 of the user 970 when the operation area 961 is displayed .

실시예에 따라서는, 인터페이스 제어 장치는 사용자(970)의 손(972)의 위치에 관심 영역(980)을 연산하여 생성할 수 있다. 또한, 인터페이스 제어 장치는 관심 영역(980) 안에서의 사용자(970)의 손(972)의 이동에 대응하여 관심 영역(980) 안의 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(960)를 제어할 수 있다.
Depending on the embodiment, the interface control device may calculate and generate the region of interest 980 at the location of the hand 972 of the user 970. The interface control device also includes a two-dimensional or three-dimensional graphical user interface 960 for moving the control point within the region of interest 980 corresponding to the movement of the user's hand 972 within the region of interest 980 Can be controlled.

도 10은 본 발명의 일실시예에 따른 조작 영역을 나타내는 도면이다.10 is a diagram showing an operation area according to an embodiment of the present invention.

도 10을 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 장치는 영상 정보로부터 사용자의 머리(1010)의 회전 각도를 추출하고, 사용자의 머리(1010)의 회전 각도를 이용하여 조작 영역(1024)의 중심점 (x₁, y₁, z₁)(1023)을 연산할 수 있다. 10, an interface control apparatus according to an embodiment of the present invention extracts a rotation angle of a user's head 1010 from image information, and calculates a rotation angle of the operation region 1024 (X ₁ , y ₁ , z ₁ ) 1023 of the center point (x ₁ , y ₁ , z ₁ )

이 때, 일실시예에 따른 인터페이스 제어 장치는 하기 수식 3 내지 수식 6을 이용하여 조작 영역(1024)의 중심점 (x₁, y₁, z₁)(1023)을 연산할 수 있다.At this time, the interface controller according to the embodiment can calculate the center point (x ₁ , y ₁ , z ₁ ) 1023 of the operation area 1024 using the following equations (3) to ( ₆ ).

[수식 3][Equation 3]

이 때, d(1031)는 디스플레이 장치로부터 사용자의 머리(1010)의 위치까지의 거리를 나타낸다. 또한, 사용자의 머리(1010)의 위치는 좌표축(1040)에 대한 좌표 (x_o, y_o, z_o)값(1014)으로 표시될 수 있다. At this time, d 1031 represents the distance from the display device to the position of the user's head 1010. In addition, the position of the user's head 1010 may be represented by a coordinate (x _o , y _o , z _o ) value 1014 with respect to the coordinate axis 1040.

[수식 4][Equation 4]

[수식 5][Equation 5]

[수식 6][Equation 6]

이 때, rx(1011)는 머리(1010)의 피치(Pitch)값을, ry(1013)는 머리(1010)의 요(Yaw)값을, rz(1012)는 머리(1010)의 롤(Roll)값을 각각 나타낸다.In this case, rx 1011 is a pitch value of the head 1010, ry 1013 is a yaw value of the head 1010, and rz 1012 is a roll of the head 1010 Respectively.

인터페이스 제어 장치는 연산된 조작 영역(1024)의 중심점 (x₁, y₁, z₁)(1023)에 소정의 dx, dy, dz값을 더함으로써, 조작 영역을 표시할 수 있다.
The interface control device can display the operation area by adding predetermined dx, dy, and dz values to the center point (x ₁ , y ₁ , z ₁ ) 1023 of the calculated operation area 1024.

다시 도 2를 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 장치(200)는 생성부(204) 및 출력부(205)를 더 포함할 수 있다.Referring again to FIG. 2, the interface control apparatus 200 according to an embodiment of the present invention may further include a generation unit 204 and an output unit 205.

생성부(204)는 영상 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 생성할 수 있다.The generating unit 204 may generate a two-dimensional or three-dimensional graphical user interface 230 based on the image information.

출력부(205)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 디스플레이 장치(240)로 출력할 수 있다.
The output unit 205 may output the two-dimensional or three-dimensional graphical user interface 230 to the display device 240.

도 11은 본 발명의 일실시예에 따른 인터페이스 제어 장치의 생성부의 구성을 나타내는 도면이다.11 is a diagram showing a configuration of a generation unit of an interface control apparatus according to an embodiment of the present invention.

도 11을 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 장치의 생성부(1110)는 뷰포인트 조정부(View Point Adjustment Unit)(1120), 3차원 신 렌더링부(3D Scene Rendering Unit)(1130) 및 3D GUI 생성부(1140)를 포함할 수 있다.11, a generation unit 1110 of an interface control apparatus according to an embodiment of the present invention includes a view point adjustment unit 1120, a 3D scene rendering unit 1130 And a 3D GUI generation unit 1140. The 3D GUI generation unit 1140 may include a 3D GUI generation unit 1140. [

뷰포인트 조정부(1120)는 센서로부터 수신된 영상 정보로부터 사용자의 왼쪽 눈 및 오른쪽 눈의 위치에 대한 정보를 추출할 수 있다. 또한, 뷰포인트 조정부(1120)는 왼쪽 눈의 위치에 대응하여 왼쪽 뷰포인트의 위치를 조정하고, 오른쪽 눈의 위치에 대응하여 오른쪽 뷰포인트의 위치를 조정할 수 있다.
The view point adjustment unit 1120 can extract information on the positions of the left and right eyes of the user from the image information received from the sensor. In addition, the view point adjustment unit 1120 may adjust the position of the left view point corresponding to the position of the left eye, and adjust the position of the right view point corresponding to the position of the right eye.

본 발명의 일측에 따르면, 뷰포인트 조정부(1120)는 센서의 센싱 범위 안에 복수 명의 사용자가 있는 경우, 복수 명의 사용자 중 제어 시작 인터액션을 입력한 주사용자가 있는지 여부를 판단할 수 있다.According to one aspect of the present invention, when there are a plurality of users within the sensing range of the sensor, the viewpoint adjuster 1120 can determine whether there is a main user who inputs the control start interaction among a plurality of users.

또한, 뷰포인트 조정부(1120)는 복수 명의 사용자 중 주사용자가 있는 경우, 주사용자의 왼쪽 눈 및 오른쪽 눈의 위치에 대한 정보를 추출하고, 주사용자의 왼쪽 눈의 위치에 대응하여 왼쪽 뷰포인트의 위치를 조정하며, 주사용자의 오른쪽 눈의 위치에 대응하여 오른쪽 뷰포인트의 위치를 조정할 수 있다.If there is a main user among a plurality of users, the view point adjustment unit 1120 extracts information on the positions of the left eye and the right eye of the main user, Adjust the position, and adjust the position of the right viewpoint corresponding to the position of the right eye of the main user.

또한, 뷰포인트 조정부(1120)는 주사용자가 없는 경우, 복수 명의 사용자 각각의 왼쪽 눈 및 오른쪽 눈의 평균 위치에 대한 정보를 추출하고, 복수 명의 사용자 각각의 왼쪽 눈의 평균 위치에 대응하여 왼쪽 뷰포인트의 위치를 조정하며, 복수 명의 사용자 각각의 오른쪽 눈의 평균 위치에 대응하여 오른쪽 뷰포인트의 위치를 조정할 수 있다.
If there is no main user, the view point adjustment unit 1120 extracts information on the average position of the left eye and the right eye of each of the plurality of users, The position of the right view point can be adjusted corresponding to the average position of the right eye of each of a plurality of users.

3차원 신 렌더링부(1130)는 왼쪽 뷰포인트의 위치에 기반하여 왼쪽 3차원 신을 렌더링할 수 있다. 또한, 3차원 신 렌더링부(1130)는 오른쪽 뷰포인트의 위치에 기반하여 오른쪽 3차원 신을 렌더링할 수 있다.The three-dimensional new rendering unit 1130 can render the left three-dimensional scene based on the position of the left view point. Also, the three-dimensional new rendering unit 1130 can render the right three-dimensional scene based on the position of the right viewpoint.

3D GUI 생성부(1140)는 렌더링된 왼쪽 3차원 신 및 렌더링된 오른쪽 3차원 신을 결합하여, 2차원 또는 3차원 그래픽 사용자 인터페이스를 생성할 수 있다.The 3D GUI generation unit 1140 may combine the rendered left three-dimensional scene and the rendered right three-dimensional scene to generate a two-dimensional or three-dimensional graphical user interface.

이하 도 12 및 도 13을 참조하여, 본 발명의 일실시예에 따른 2차원 또는 3차원 그래픽 사용자 인터페이스에 대해서 상세히 설명한다.
Hereinafter, a two-dimensional or three-dimensional graphical user interface according to an embodiment of the present invention will be described in detail with reference to FIGS. 12 and 13. FIG.

도 12는 본 발명의 일실시예에 따른 2차원 또는 3차원 그래픽 사용자 인터페이스를 나타내는 도면이다.12 is a diagram illustrating a two-dimensional or three-dimensional graphical user interface according to an embodiment of the present invention.

도 12를 참조하면, 본 발명의 일실시예에 따른 2차원 또는 3차원 그래픽 사용자 인터페이스는 3차원 큐브 뷰(3D Cube View)(1210), 3차원 썸네일 뷰(3D Thumbnail View)(1220) 및 3차원 슬라이드 뷰(3D Slide View)(1230) 중 적어도 하나의 형식으로 적어도 하나의 UI 객체를 표시할 수 있다.12, a two-dimensional or three-dimensional graphical user interface according to an embodiment of the present invention includes a three-dimensional (3D) cube view 1210, a three-dimensional thumbnail view 1220, And at least one UI object in at least one of a 3D slide view 1230 and a 3D slide view 1230. [

3차원 큐브 뷰(1210)는 적어도 하나의 UI 객체(UI Object)(1211, 1212, 1213)를 큐브 형식으로 표시할 수 있다. 또한, 3차원 썸네일 뷰(1220)는 적어도 하나의 UI 객체(1221)를 썸네일 이미지 형식으로 표시할 수 있다. 또한, 3차원 슬라이드 뷰(1230)는 적어도 하나의 UI 객체(1231)를 슬라이드 형식으로 표시할 수 있다.The three-dimensional perspective view 1210 may display at least one UI object (UI Object) 1211, 1212, and 1213 in a cube format. In addition, the 3D thumbnail view 1220 may display at least one UI object 1221 in a thumbnail image format. In addition, the 3D slide view 1230 may display at least one UI object 1231 in a slide format.

일실시예에 따른 인터페이스 제어 장치는 뷰 전환 인터액션에 대응하는 모션 정보가 인지되는 경우, 3차원 큐브 뷰(1210), 3차원 썸네일 뷰(1220) 및 3차원 슬라이드 뷰(1230) 중 어느 하나로 뷰를 전환할 수 있다. 일실시예에 따른 뷰 전환 인터액션은 스케일링 인터액션일 수 있다.When the motion information corresponding to the view switching interaction is recognized, the interface control apparatus according to an exemplary embodiment displays the view in any one of the three-dimensional perspective view 1210, the three-dimensional thumbnail view 1220, and the three-dimensional slide view 1230 You can switch. The view switching interaction according to one embodiment may be a scaling interaction.

도 13은 본 발명의 일실시예에 따른 인터페이스 제어 장치가 사용자의 위치에 대응하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어하는 동작을 나타내는 도면이다.13 is a diagram illustrating an operation in which an interface control apparatus according to an exemplary embodiment of the present invention controls a two-dimensional or three-dimensional graphical user interface corresponding to a position of a user.

도 13을 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 장치는 영상 정보로부터 사용자(1314, 1324, 1334)의 위치 및 사용자(1314, 1324, 1334)의 시선(1311, 1321, 1331)의 방향에 대한 정보를 추출할 수 있다. 13, an interface control apparatus according to an exemplary embodiment of the present invention includes an interface control unit for controlling the positions of users 1314, 1324 and 1334 from image information and the positions of eyes 1311, 1321 and 1331 of users 1314, 1324 and 1334 Information on the direction can be extracted.

이 때, 일실시예에 따른 인터페이스 제어 장치는 사용자(1314, 1324, 1334)의 위치에 대한 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(1310, 1320, 1330)와 연관된 뷰 포인트의 위치를 조정할 수 있다.At this point, the interface control device according to one embodiment may determine the location of the viewpoint associated with the two-dimensional or three-dimensional graphical user interface 1310, 1320, 1330 based on information about the location of the user 1314, 1324, 1334 Can be adjusted.

또한, 인터페이스 제어 장치는 사용자(1314, 1324, 1334)의 시선(1311, 1321, 1331)의 방향에 대한 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(1310, 1320, 1330)와 연관된 뷰 포인트의 방향을 조정할 수 있다.In addition, the interface control device may provide a view associated with the two-dimensional or three-dimensional graphical user interface 1310, 1320, 1330, based on information about the orientation of the eyes 1311, 1321, 1331 of the users 1314, 1324, The direction of the point can be adjusted.

예를 들어, 사용자(1314)의 위치가 디스플레이 장치(1312)의 왼쪽 측면이고, 사용자(1314)의 시선(1311)의 방향이 디스플레이 장치(1312)의 오른쪽 측면을 향하는 경우, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(1310)의 UI 객체(1313)를 2차원 또는 3차원 그래픽 사용자 인터페이스(1310)의 오른쪽 측면에 표시할 수 있다.For example, if the location of the user 1314 is the left side of the display device 1312 and the direction of the sight line 1311 of the user 1314 is toward the right side of the display device 1312, Dimensional or three-dimensional graphical user interface 1310 on the right side of the two-dimensional or three-dimensional graphical user interface 1310.

또한, 사용자(1324)의 위치가 디스플레이 장치(1322)의 정면이고, 사용자(1324)의 시선(1321)의 방향이 디스플레이 장치(1322)의 정면인 경우, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(1320)의 UI 객체(1323)를 2차원 또는 3차원 그래픽 사용자 인터페이스(1320)의 중앙 부분에 표시할 수 있다.In addition, when the position of the user 1324 is the front side of the display device 1322 and the direction of the sight line 1321 of the user 1324 is the front side of the display device 1322, The UI object 1323 of the user interface 1320 may be displayed in the center portion of the two-dimensional or three-dimensional graphical user interface 1320. [

또한, 사용자(1334)의 위치가 디스플레이 장치(1332)의 오른쪽 측면이고, 사용자(1334)의 시선(1331)의 방향이 디스플레이 장치(1332)의 왼쪽 측면을 향하는 경우, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(1330)의 UI 객체(1333)를 2차원 또는 3차원 그래픽 사용자 인터페이스(1330)의 왼쪽 측면에 표시할 수 있다.
Further, when the position of the user 1334 is the right side of the display device 1332 and the direction of the eyes 1331 of the user 1334 is toward the left side of the display device 1332, The UI object 1333 of the three-dimensional graphical user interface 1330 may be displayed on the left side of the two-dimensional or three-dimensional graphical user interface 1330.

도 14는 본 발명의 일실시예에 따른 인터페이스 제어 방법을 나타내는 흐름도이다.14 is a flowchart illustrating an interface control method according to an embodiment of the present invention.

도 14를 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 방법은 센서로부터 사용자와 연관된 깊이 영상(Depth Image)을 포함하는 영상 정보를 수신한다(S1410).Referring to FIG. 14, an interface control method according to an embodiment of the present invention receives image information including a depth image associated with a user from a sensor (S1410).

인터페이스 제어 방법은 영상 정보에 기반하여 사용자의 손의 동작에 대한 모션 정보 및 사용자의 시선에 대한 시선 정보 중 적어도 하나의 정보를 생성한다(S1420).The interface control method generates at least one of motion information on motion of the user's hand and sight line information on the user's gaze based on the image information (S1420).

일실시예에 따른 인터페이스 제어 방법은 수신된 영상 정보를 분석하여, 사용자의 손의 동작을 인지하고, 손의 동작에 대한 모션 정보를 생성할 수 있다.The interface control method according to an exemplary embodiment analyzes the received image information, recognizes the motion of the user's hand, and generates motion information on the motion of the hand.

실시예에 따라서는, 인터페이스 제어 방법은 민 쉬프트(The Mean Shift)를 이용하여, 영상 정보로부터 사용자의 손의 위치에 대한 정보를 추출할 수 있다. 또한, 인터페이스 제어 방법은 레벨 세트(Level Set) 별로 색 모메트(Hue Moment)를 특징(Feature)으로 사용한 아다부스트(Adaboost) 기반의 형태 매칭(Shape Matching)을 이용하여, 영상 정보로부터 사용자의 손의 자세에 대한 정보를 추출할 수 있다. 또한, 인터페이스 제어 방법은 MSE(Mean Square Error)를 이용하여, 영상 정보로부터 사용자의 손의 이동 경로에 대한 정보를 추출할 수 있다.
According to an embodiment, the interface control method can extract information on the position of the user's hand from the image information using the Mean Shift. In addition, the interface control method uses adaboost-based shape matching using a hue moment as a feature for each level set, Can be extracted. In addition, the interface control method can extract information on the movement path of the user's hand from the image information using Mean Square Error (MSE).

본 발명의 일측에 따르면, 인터페이스 제어 방법은 수신된 영상 정보에 기반하여 관심 영역을 연산할 수 있다. 또한, 인터페이스 제어 방법은 연산된 관심 영역 안에서의 사용자의 손의 동작에 대한 정보를 생성할 수 있다.According to one aspect of the present invention, an interface control method may calculate an area of interest based on received image information. In addition, the interface control method can generate information on the motion of the user's hand in the computed region of interest.

관심 영역은 사용자의 위치에 상관 없이 동일한 관심 영역의 제공이 필요한 경우, 사용자의 손의 동작에 대한 모션 정보를 생성하기 위한 센서로부터 수신된 영상의 일부 영역을 나타낸다. 실시예에 따라서는, 인터페이스 제어 방법은 관심 영역 밖에서 이루어지는 손의 동작에 대해서는 모션 정보를 생성하지 않을 수 있다.
The region of interest represents a portion of the image received from the sensor for generating motion information about the motion of the user's hand, if the same region of interest is required, regardless of the user's location. In some embodiments, the interface control method may not generate motion information for hand motion outside the area of interest.

일실시예에 따른 인터페이스 제어 방법은 관심 영역의 너비(ROI_width) 및 높이(ROI_height)를 연산함으로써, 관심 영역을 연산할 수 있다.The interface control method according to an exemplary embodiment may calculate the region of interest by calculating the ROI _width and the ROI _height of the ROI.

본 발명의 일측에 따르면, 인터페이스 제어 방법은 깊이 영상의 현재 프래임(Frame) 및 적어도 하나의 이전 프래임 간의 깊이 차이값을 연산하고, 연산된 깊이 차이값에 기반하여 모션 정보를 생성할 수 있다.
According to one aspect of the present invention, an interface control method may calculate a depth difference value between a current frame of a depth image and at least one previous frame, and generate motion information based on the calculated depth difference value.

인터페이스 제어 방법은 모션 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어한다(S1430).The interface control method controls the two-dimensional or three-dimensional graphical user interface based on the motion information (S1430).

2차원 또는 3차원 그래픽 사용자 인터페이스는 적어도 하나의 UI 객체(UI Object)를 표시할 수 있다.The two-dimensional or three-dimensional graphical user interface may display at least one UI object (UI Object).

실시예에 따라서는, 모션 정보에 따른 사용자의 손의 위치가 2차원 또는 3차원 그래픽 사용자 인터페이스 중 동영상 재생 UI 객체의 위치에 대응하고, 손의 동작이 동영상 재생 UI 객체를 실행(Play)하는 동작(즉, 실행 인터액션(Play Interaction))에 대응하는 경우, 인터페이스 제어 방법은 동영상 재생 UI 객체가 재생되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
According to the embodiment, the position of the user's hand according to the motion information corresponds to the position of the moving image playback UI object in the two-dimensional or three-dimensional graphical user interface, and the motion of the hand plays the moving image playback UI object (I. E., Play Interaction), the interface control method may control a two-dimensional or three-dimensional graphical user interface so that the moving image playback UI object is reproduced.

본 발명의 일측에 따르면, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어 시작을 신호하는 제어 시작 인터액션 및 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어 종료를 신호하는 제어 종료 인터액션에 대응하여, 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 시작 또는 종료할 수 있다.According to one aspect of the present invention, an interface control method includes a control start interface signaling a start of control of a two-dimensional or three-dimensional graphical user interface, and a control ending interface signaling a control end of a two- or three- The control of the two-dimensional or three-dimensional graphical user interface can be started or terminated.

즉, 인터페이스 제어 방법은 모션 정보가 제어 시작 인터액션에 대응하는 경우, 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 시작할 수 있다. 또한, 인터페이스 제어 방법은 모션 정보가 제어 종료 인터액션에 대응하는 경우, 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 종료할 수 있다.
That is, the interface control method may initiate control of a two-dimensional or three-dimensional graphical user interface if the motion information corresponds to a control start interaction. Also, the interface control method may terminate the control of the two-dimensional or three-dimensional graphical user interface when the motion information corresponds to the control ending interaction.

본 발명의 일측에 따르면, 인터페이스 제어 방법은 복수 개의 인터액션 중 모션 정보에 대응하는 인터액션이 있는 경우, 모션 정보에 대응하는 인터액션에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. According to one aspect of the present invention, when there is an interaction corresponding to motion information among a plurality of interactions, the interface control method can control a two-dimensional or three-dimensional graphical user interface based on an interaction corresponding to motion information.

또한, 인터페이스 제어 방법은 복수 개의 인터액션 중 모션 정보에 대응하는 인터액션이 없는 경우, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스의 컨트롤 포인트(Control Point)의 이동을 제어할 수 있다.
In addition, if there is no interaction corresponding to the motion information among the plurality of interactions, the interface control method can control the movement of the control point of the two-dimensional or three-dimensional graphical user interface based on the motion information.

일실시예에 따른 인터페이스 제어 방법은 모션 정보가 정밀(High Precision) 인터액션에 대응하는 경우, 모션 정보에 대응하는 조작 영역을 표시할 수 있다. 또한, 인터페이스 제어 방법은 조작 영역 안의 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.The interface control method according to an exemplary embodiment may display an operation area corresponding to motion information when the motion information corresponds to a high precision interaction. In addition, the interface control method can control a two-dimensional or three-dimensional graphical user interface in the operation area.

일실시예에 따른 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어 범위를 2차원 또는 3차원 그래픽 사용자 인터페이스 전체가 아닌 소정의 영역으로 한정할 수 있는데, 이 때, 조작 영역은 제어 범위가 한정되는 소정의 영역을 나타낸다.The interface control method according to an exemplary embodiment may limit the control range of the two-dimensional or three-dimensional graphical user interface to a predetermined range rather than the entire two-dimensional or three-dimensional graphical user interface. In this case, Indicates a predetermined region to be defined.

실시예에 따라서는, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스 중 조작 영역을 제외한 나머지 부분을 어둡게 표시하는 형태로 조작 영역을 표시할 수 있다. 또한, 인터페이스 제어 방법은 조작 영역을 소정의 크기로 확대하여 표시할 수 있다. According to an embodiment, the interface control method may display an operation area in a form that darkens the remaining part of the two-dimensional or three-dimensional graphical user interface except for the operation area. Further, the interface control method can enlarge and display the operation area to a predetermined size.

본 발명의 일측에 따르면, 정밀 인터액션은 사용자가 양손을 사용자의 앞으로 이동시키고, 양손 중 어느 하나를 기준값을 초과하는 시간 동안 정지시키는 동작을 포함할 수 있다.According to one aspect of the present invention, the precise interaction may include an operation in which the user moves both hands forward to the user and stops either of the hands for a time exceeding the reference value.

예를 들어, 영상 정보를 분석한 결과, 사용자가 양손을 사용자의 앞으로 이동시키고, 양손 중 어느 하나를 기준값을 초과하는 시간 동안 정지시키는 동작이 인지되는 경우, 인터페이스 제어 방법은 사용자가 양손을 사용자의 앞으로 이동시키고, 양손 중 어느 하나를 기준값을 초과하는 시간 동안 정지시키는 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 정밀 인터액션에 대응하므로, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스 중 양손 중 기준값을 초과하는 시간 동안 정지하여 있는 손의 위치에 대응하는 영역이 조정 영역으로 표시되고, 양손 중 나머지 손의 위치에 대응하여 조정 영역 안의 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
For example, if it is recognized that the user moves both hands to the front of the user as a result of analysis of the image information, and the operation of stopping any one of both hands for a time exceeding the reference value is recognized, Motion information for an operation of moving forward and stopping any one of both hands for a time exceeding the reference value. At this time, since the motion information corresponds to the precise interaction, the interface control method can control the two-dimensional or three-dimensional graphical user interface. That is, in the interface control method, an area corresponding to a position of a hand stopping for a time exceeding a reference value of two hands among the two-dimensional or three-dimensional graphical user interface is displayed as an adjustment area, A 2D or 3D graphical user interface can be controlled so that the control points within the area are moved.

본 발명의 일측에 따른 인터페이스 제어 방법은 영상 정보에 기반하여 사용자의 시선에 대한 시선 정보를 생성할 수 있다.An interface control method according to an aspect of the present invention can generate gaze information on a user's gaze based on image information.

실시예에 따라서는, 인터페이스 제어 방법은 영상 정보로부터 사용자의 머리의 위치에 대한 정보 및 사용자의 머리의 회전에 대한 정보를 추출할 수 있다. 또한, 인터페이스 제어 방법은 머리의 위치에 대한 정보 및 머리의 회전에 대한 정보에 기반하여 시선 정보를 생성할 수 있다.According to an embodiment, the interface control method may extract information on the position of the user's head and information on the rotation of the user's head from the image information. In addition, the interface control method can generate gaze information based on information on the position of the head and information on the rotation of the head.

실시예에 따라서는, 인터페이스 제어 방법은 MCT(Modified Census Transform) 기반의 아다부스트 방법(Adaboost Method)을 이용하여, 영상 정보로부터 사용자의 머리의 위치에 대한 정보를 추출할 수 있다. 또한, 인터페이스 제어 방법은 ASM(Active Shape Model)을 이용하여, 영상 정보로부터 사용자의 머리의 회전에 대한 정보를 추출할 수 있다.
According to an embodiment, the interface control method can extract information on the position of the user's head from the image information using the Adaboost method based on the MCT (Modified Census Transform). In addition, the interface control method can extract information on the rotation of the user's head from the image information using an ASM (Active Shape Model).

이 때, 일실시예에 따른 인터페이스 제어 방법은 사용자의 손에 대한 모션 정보 및 사용자의 시선에 대한 시선 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.In this case, the interface control method according to an exemplary embodiment may control a two-dimensional or three-dimensional graphical user interface based on motion information on the user's hand and sight line information on the user's gaze.

실시예에 따라서는, 시선 정보에 따른 사용자의 시선의 위치가 2차원 또는 3차원 그래픽 사용자 인터페이스 중 동영상 재생 UI 객체의 위치에 대응하고, 손의 동작이 동영상 재생 UI 객체를 실행(Play)하는 동작(즉, 실행 인터액션(Play Interaction))에 대응하는 경우, 인터페이스 제어 방법은 동영상 재생 UI 객체가 재생되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.According to the embodiment, the position of the user's line of sight according to the line of sight information corresponds to the position of the moving image playback UI object in the two-dimensional or three-dimensional graphical user interface, and the motion of the hand plays the moving image playback UI object (I. E., Play Interaction), the interface control method may control a two-dimensional or three-dimensional graphical user interface so that the moving image playback UI object is reproduced.

일실시예에 따른 데이터베이스는 모션 정보 및 시선 정보에 기반하는 복수 개의 인터액션을 저장할 수 있다. 이 때, 인터페이스 제어 방법은 복수 개의 인터액션 중 시선 정보 및 모션 정보에 대응하는 인터액션이 있는 경우, 시선 정보 및 모션 정보에 대응하는 인터액션에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
A database according to an exemplary embodiment may store a plurality of interactions based on motion information and visual information. In this case, when there is an interaction corresponding to the visual information and the motion information among the plurality of interactions, the interface control method can control the two-dimensional or three-dimensional graphic user interface based on the interaction corresponding to the visual information and the motion information.

일실시예에 따른 인터페이스 제어 방법은 시선 정보 및 모션 정보가 사용자의 시선을 이용하는 정밀(High Precision) 인터액션에 대응하는 경우, 시선 정보 및 모션 정보에 대응하는 조작 영역을 표시할 수 있다. 또한, 인터페이스 제어 방법은 조작 영역 안의 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.The interface control method according to an exemplary embodiment may display an operation area corresponding to the visual information and the motion information when the visual information and the motion information correspond to a high precision interaction using the user's eyes. In addition, the interface control method can control a two-dimensional or three-dimensional graphical user interface in the operation area.

본 발명의 일측에 따르면, 사용자의 시선을 이용하는 정밀 인터액션은 사용자가 시선을 기준값을 초과하는 시간 동안 정지시키는 동작을 포함할 수 있다.According to one aspect of the present invention, the precise interaction using the user's gaze may include an operation of stopping the user for a time exceeding the reference value.

예를 들어, 영상 정보를 분석한 결과, 사용자가 시선을 기준값을 초과하는 시간 동안 한 곳에 정지시키고 움직이지 않는 동작이 인지되는 경우, 인터페이스 제어 방법은 사용자가 시선을 기준값을 초과하는 시간 동안 한 곳에 정지시키고 움직이지 않는 동작에 대한 시선 정보를 생성할 수 있다. 이 때, 시선 정보가 사용자의 시선을 이용하는 정밀 인터액션에 대응하므로, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스 중 사용자의 시선에 대응하는 영역이 조정 영역으로 표시되고, 사용자의 손의 위치에 대응하여 조정 영역 안의 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
For example, as a result of analyzing the image information, when the user stops the sight line in one place for a time exceeding the reference value and recognizes an unmoving operation, Stop and generate gaze information for motionless motion. At this time, since the gaze information corresponds to the precise interaction using the user's gaze, the interface control method can control the two-dimensional or three-dimensional graphical user interface. That is, in the interface control method, an area corresponding to a user's gaze is displayed as an adjustment area in a two-dimensional or three-dimensional graphical user interface, and a control point in the adjustment area is moved corresponding to a position of a user's hand. You can control the graphical user interface.

본 발명의 일측에 따르면, 인터페이스 제어 방법은 영상 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스를 생성할 수 있다. 또한, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스를 디스플레이 장치로 출력할 수 있다.
According to one aspect of the present invention, an interface control method may generate a two-dimensional or three-dimensional graphical user interface based on image information. In addition, the interface control method can output a two-dimensional or three-dimensional graphical user interface to a display device.

인터페이스 제어 방법은 센서로부터 수신된 영상 정보로부터 사용자의 왼쪽 눈 및 오른쪽 눈의 위치에 대한 정보를 추출할 수 있다. 또한, 인터페이스 제어 방법은 왼쪽 눈의 위치에 대응하여 왼쪽 뷰포인트의 위치를 조정하고, 오른쪽 눈의 위치에 대응하여 오른쪽 뷰포인트의 위치를 조정할 수 있다.
The interface control method can extract information on the positions of the left and right eyes of the user from the image information received from the sensor. In addition, the interface control method can adjust the position of the left view point corresponding to the position of the left eye, and adjust the position of the right view point corresponding to the position of the right eye.

본 발명의 일측에 따르면, 인터페이스 제어 방법은 센서의 센싱 범위 안에 복수 명의 사용자가 있는 경우, 복수 명의 사용자 중 제어 시작 인터액션을 입력한 주사용자가 있는지 여부를 판단할 수 있다.According to an aspect of the present invention, when there are a plurality of users within a sensing range of a sensor, the interface control method can determine whether there is a main user who inputs a control start interaction among a plurality of users.

또한, 인터페이스 제어 방법은 복수 명의 사용자 중 주사용자가 있는 경우, 주사용자의 왼쪽 눈 및 오른쪽 눈의 위치에 대한 정보를 추출하고, 주사용자의 왼쪽 눈의 위치에 대응하여 왼쪽 뷰포인트의 위치를 조정하며, 주사용자의 오른쪽 눈의 위치에 대응하여 오른쪽 뷰포인트의 위치를 조정할 수 있다.When there is a main user among a plurality of users, the interface control method extracts information on the positions of the left eye and the right eye of the main user and adjusts the position of the left view point corresponding to the position of the left eye of the main user And the position of the right view point can be adjusted corresponding to the position of the right eye of the main user.

또한, 인터페이스 제어 방법은 주사용자가 없는 경우, 복수 명의 사용자 각각의 왼쪽 눈 및 오른쪽 눈의 평균 위치에 대한 정보를 추출하고, 복수 명의 사용자 각각의 왼쪽 눈의 평균 위치에 대응하여 왼쪽 뷰포인트의 위치를 조정하며, 복수 명의 사용자 각각의 오른쪽 눈의 평균 위치에 대응하여 오른쪽 뷰포인트의 위치를 조정할 수 있다.
In the interface control method, when there is no main user, information on the average position of the left eye and the right eye of each of the plurality of users is extracted, and the position of the left view point corresponding to the average position of the left eye of each of the plurality of users And the position of the right view point can be adjusted corresponding to the average position of the right eye of each of a plurality of users.

인터페이스 제어 방법은 왼쪽 뷰포인트의 위치에 기반하여 왼쪽 3차원 신을 렌더링할 수 있다. 또한, 인터페이스 제어 방법은 오른쪽 뷰포인트의 위치에 기반하여 오른쪽 3차원 신을 렌더링할 수 있다.The interface control method can render the left three-dimensional scene based on the position of the left viewpoint. In addition, the interface control method can render the right three-dimensional scene based on the position of the right viewpoint.

인터페이스 제어 방법은 렌더링된 왼쪽 3차원 신 및 렌더링된 오른쪽 3차원 신을 결합하여, 2차원 또는 3차원 그래픽 사용자 인터페이스를 생성할 수 있다.
The interface control method can combine the rendered left three-dimensional scene and the rendered right three-dimensional scene to create a two-dimensional or three-dimensional graphical user interface.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as a hard disk, a floppy disk, and a magnetic tape; optical media such as CD-ROM and DVD; magnetic recording media such as a floppy disk; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

100: 인터페이스 제어 장치
110: 센서
120: 사용자
130: 2차원 또는 3차원 그래픽 사용자 인터페이스 100: Interface control device
110: sensor
120: User
130: Two-dimensional or three-dimensional graphical user interface

Claims

A sensor for acquiring an image associated with a user; And
Determining a size of a region of interest based on a distance between the user and the sensor, a size of the image, and a size of a window of interest in the air, and a processor for controlling the interface based on the information,
Lt; / RTI >

delete

The method according to claim 1,
The processing unit
Calculating a width of the region of interest (ROI) using Equation (1) below, and calculating a height of the ROI using Equation (2) below.
[Equation 1]

[Equation 2]

However, ROI _{width (pixel)} : the width of the region of interest
D _cur : centimeter value for distance between sensor and user
Image _width and Image _height : height and width of the depth image
FoV _width and FoV _width : depth The height and width of the field of view due to the lens of the camera
K _width : Average width of interest area window in air
K _height : average height of interest area window in air

The method according to claim 1,
The processing unit
Calculating a depth difference value between a current frame of the image and at least one previous frame, and generating the information based on the depth difference value.

The method according to claim 1,
The processing unit
An interface controller for extracting information on a position of the user's head and information on the rotation of the head from the image and generating gaze information based on information about the position of the head and information about the rotation of the head, .

The method according to claim 1,
The information
Information on movement of the user's hand, and information on the posture of the hand.

The method according to claim 1,
The processing unit
If the information corresponds to a control start-up interaction, start control of a two-dimensional or three-dimensional graphical user interface,
And terminates the control of the two-dimensional or three-dimensional graphical user interface when the information corresponds to the control ending interaction.

8. The method of claim 7,
The control start interaction
An operation of raising the hand of the user, and an operation of pushing the hand of the user by the user.

8. The method of claim 7,
The control termination interaction
And the user's hand lowering operation.

The method according to claim 1,
The processing unit
And displays an operation area corresponding to the information when the information corresponds to a precision interaction, and controls a two-dimensional or three-dimensional graphic user interface in the operation area.

11. The method of claim 10,
The precise interaction
Wherein the user moves both hands forward of the user and stops any one of the hands for a time exceeding a reference value.

The method according to claim 1,
The processing unit
Dimensional or 3-dimensional graphical user interface based on an interaction corresponding to the information when there is an interaction corresponding to the information among a plurality of interactions controlling the two-dimensional or three-dimensional graphical user interface,
And controlling movement of the control point of the two-dimensional or three-dimensional graphical user interface based on the information when there is no corresponding interaction among the plurality of interactions.

13. The method of claim 12,
The plurality of interactions
Wherein the interface control comprises at least one of an execution interaction, a canceling interaction, a drag & drop interaction, a scrolling interaction, a rotation interaction, and a scaling interaction.

14. The method of claim 13,
The execution interaction
Wherein the user moves the hand to a Thumbs-Up posture.

14. The method of claim 13,
The canceling interaction
Wherein the user moves the hand to a thumb-down position.

The method according to claim 1,
The image
And a color image and an IR image associated with the user.

The method according to claim 1,
A generating unit for generating a two-dimensional or three-dimensional graphic user interface based on the image; And
An output unit for outputting the two-dimensional or three-dimensional graphical user interface to a display device,
Further comprising:

18. The method of claim 17,
The generating unit
Extracting information on the position of the left eye and right eye of the user from the image, adjusting the position of the left view point in correspondence with the position of the left eye, adjusting the position of the right view point A viewpoint adjustment unit for adjusting the viewpoint;
A 3D rendering unit rendering a left 3D scene based on the position of the left view point and rendering a right 3D scene based on the position of the right view point; And
A 3D GUI generation unit for generating the two-dimensional or three-dimensional graphic user interface by combining the rendered left three-dimensional scene and the rendered right three-
Lt; / RTI >

19. The method of claim 18,
The viewpoint adjustment unit
If there are a plurality of users in the sensing range of the sensor and there is a main user inputting the control start interaction among the plurality of users, information on the positions of the left eye and the right eye of the main user is extracted, Adjusts the position of the left view point in correspondence with the position of the left eye of the main user and adjusts the position of the right view point corresponding to the position of the right eye of the main user.

20. The method of claim 19,
The viewpoint adjustment unit
Extracting information on the average position of the left eye and the right eye of each of the plurality of users when the main user is not present and adjusting the position of the left view point corresponding to the average position of the left eye of each of the plurality of users And adjusts the position of the right view point corresponding to an average position of the right eye of each of the plurality of users.

The method according to claim 1,
The interface
A 3D perspective view displaying at least one UI object in a cube format, a 3D thumbnail view displaying the at least one UI object in a thumbnail image format, and a 3D slide view displaying the at least one UI object in a slide format And displaying the at least one UI object using at least one of the UI objects.

Obtaining an image associated with a user from a sensor;
Determining a size of a region of interest based on a distance between the user and the sensor, a size of the image, and a size of a window of interest in the air;
Generating information associated with a user input based on the size of the region of interest; And
Controlling the interface based on the information
Lt; / RTI >

23. The method of claim 22,
Wherein the controlling comprises:
If the information corresponds to a control start-up interaction, start control of a two-dimensional or three-dimensional graphical user interface,
And terminating the control of the two-dimensional or three-dimensional graphical user interface when the information corresponds to a control ending interaction.

23. The method of claim 22,
Wherein the controlling comprises:
Dimensional or 3-dimensional graphical user interface based on an interaction corresponding to the information when there is an interaction corresponding to the information among a plurality of interactions controlling the two-dimensional or three-dimensional graphical user interface,
And controlling movement of a control point of the two-dimensional or three-dimensional graphical user interface based on the information when there is no corresponding interaction among the plurality of interactions.

23. The method of claim 22,
Generating a two-dimensional or three-dimensional graphical user interface based on the image; And
Outputting the two-dimensional or three-dimensional graphical user interface to a display device
Lt; / RTI >

A computer-readable recording medium recording a program for executing the method of any one of claims 22 to 25.