KR20180004068A - Personalized shopping mall system using virtual camera - Google Patents
Personalized shopping mall system using virtual camera Download PDFInfo
- Publication number
- KR20180004068A KR20180004068A KR1020170181139A KR20170181139A KR20180004068A KR 20180004068 A KR20180004068 A KR 20180004068A KR 1020170181139 A KR1020170181139 A KR 1020170181139A KR 20170181139 A KR20170181139 A KR 20170181139A KR 20180004068 A KR20180004068 A KR 20180004068A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual camera
- shopping mall
- image
- user
- camera
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 68
- 238000000034 method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000009933 burial Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G06Q50/30—
-
- G06Q50/32—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23103—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H04N5/225—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Development Economics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Operations Research (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
본 발명은 온라인 쇼핑몰에 관련한 기술로, 특히 가상 카메라를 이용한 개인화된 쇼핑몰 시스템에 관한 것이다.The present invention relates to an online shopping mall, and more particularly to a personalized shopping mall system using a virtual camera.
대한민국 공개특허 제10-2011-0072846호(2011. 06. 29)에서 카메라에서 출력된 영상 중 움직임이 발생한 부분 혹은 사람의 얼굴이나 차량 번호판과 같은 주목 영상 부분만을 크로핑(cropping)하여 출력하는 기술을 제안하고 있다.Korean Patent Laid-Open No. 10-2011-0072846 (June 29, 2011), a technique of cropping only a part of a video image output from a camera, a part of a target image such as a human face or a license plate, .
대한민국 공개특허 제10-2013-0039652호(2013. 04. 22)에서 콘텐츠를 저장하고 있는 둘 이상의 서브넷을 검색하고, 검색 결과 검색된 서브넷이 둘 이상인 경우 검색된 둘 이상의 서브넷 중에서 네트워크 상태에 따라 요청된 콘텐츠를 제공하는 서브넷 및 서브넷에 포함된 노드를 선정하여 사용자에게 콘텐츠를 전달함으로써 콘텐츠 서버에서 사용자에게 콘텐츠를 전달하는 과정에서 네트워크 내에서 최적의 서버 노드가 선정되어 트래픽 효율을 높일 수 있으며, 양질의 실시간 스트리밍 서비스를 제공할 수 있는 부하 분산 기술을 제안하고 있다.Korean Patent Laid-Open No. 10-2013-0039652 (Feb. 04, 2013) searches for two or more subnets storing contents, and if the retrieved subnets are two or more, In the process of delivering contents to a user from a content server by selecting a node included in a subnet and a subnet that provide a service and delivering the content to a user, an optimal server node is selected in the network to increase traffic efficiency, And a load balancing technique capable of providing streaming services.
본 발명자는 상기한 영상 크로핑(cropping) 기술을 이용해 하나의 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍 하는 기술에 대한 연구를 하였다.The present inventor created a virtual camera for each user having different ROIs from an image of an offline store photographed by one physical camera using the image cropping technique described above and included the shopping mall page for streaming Technology.
또한, 본 발명자는 상기한 영상 크로핑(cropping) 기술을 이용해 다수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 순차적으로 연결하여 구성한 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍 하는 기술에 대한 연구를 하였다.Further, the present inventor has developed an image processing apparatus and an image processing method in which, from an offline store screen constituted by sequentially connecting images of an offline store photographed by a plurality of physical cameras using the image cropping technique described above, We created a camera and included it in a shopping mall page to study streaming technology.
또한, 본 발명자는 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들을 포함하는 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍 하는 기술에 대한 연구를 하였다.In addition, the present inventors have found that 3D objects from an offline store screen including 3D objects detected using stereoscopic differences of 2D images of offline stores photographed by a plurality of physical cameras, (ROI) in which the user is located in the shopping mall page, and then a streaming technique is carried out.
또한, 본 발명자는 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 제공하되, 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송하는 기술에 대한 연구를 하였다.In addition, the inventor of the present invention created a virtual camera for each user having different ROIs from an image of an offline store photographed by a physical camera, and included the virtual camera in a shopping mall page, We have studied the technique of distributing and transmitting the streaming loads of the ROI images played by the user-specific virtual cameras.
본 발명은 상기한 취지하에 발명된 것으로, 하나의 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템을 제공함을 그 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances and provides a virtual camera for generating a virtual camera for each user having a different ROI from an image of an offline store photographed by a single physical camera, And a personalized shopping mall system using the same.
또한, 본 발명은 다수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 순차적으로 연결하여 구성한 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍 하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템을 제공함을 그 목적으로 한다.In addition, the present invention creates a virtual camera for each user having different ROIs from an offline store screen formed by sequentially connecting images of an offline store photographed by a plurality of physical cameras, The present invention provides a personalized shopping mall system using a virtual camera.
또한, 본 발명은 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들을 포함하는 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍 하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템을 제공함을 그 목적으로 한다.The present invention also relates to a method and apparatus for displaying 3D objects from an offline store screen including 3D objects detected using stereoscopic differences of 2D images of offline stores photographed by a plurality of physical cameras, The present invention provides a personalized shopping mall system using a virtual camera that creates a plurality of different virtual cameras for each user having a region of interest (ROI) located therein and streams the virtual cameras in a shopping mall page.
또한, 본 발명은 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 제공하되, 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송하는 가상 카메라를 이용한 개인화된 쇼핑몰 페이지의 부하 분산 시스템을 제공함을 그 목적으로 한다.According to another aspect of the present invention, a virtual camera for each user having different ROIs from an image of an offline store, which is photographed by a physical camera, is generated and included in a shopping mall page, The present invention provides a personalized shopping mall load balancing system using a virtual camera that distributes and transmits a streaming load of ROIs reproduced by user-specific virtual cameras.
상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 가상 카메라를 이용한 개인화된 쇼핑몰 시스템이 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라와; 상기 인접 배치된 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 수신하는 영상 수신부와, 상기 영상 수신부에 의해 수신된 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 3D 객체들을 검출하고, 검출된 3D 객체들을 포함하는 오프라인 매장 화면을 구성하고, 구성된 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하는 가상 카메라 관리부를 포함하는 영상 처리 장치와; 오프라인 매장 화면에서 특정 3D 객체가 위치한 영역을 관심 영역으로 선택하는 관심 영역 선택부와, 상기 관심 영역 선택부에 의해 선택된 관심 영역의 3D 객체를 랜더링하여 표시하는 관심 영역 재생부와, 사용자 단말의 조작에 따라, 상기 관심 영역 재생부에 의해 랜더링되어 표시되는 3D 객체를 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 처리하는 영상 처리부를 포함하는 가상 카메라를; 포함하는 것을 특징으로 한다.According to one aspect of the present invention, there is provided a shopping mall system comprising: a plurality of physical cameras that are arranged adjacent to each other and each store an image of a store in real time; An image receiving unit for receiving images of off-line stores photographed by the plurality of physical cameras disposed adjacent to each other, and a controller for detecting 3D objects by using stereo differences of 2D images of the offline stores received by the image receiver, An image processing apparatus including a virtual camera management unit for constructing a plurality of different virtual cameras for each user constituting an offline store screen including 3D objects and using an area where 3D objects are located from a configured offline store screen as ROIs ; An interest area reproducing unit for rendering and displaying a 3D object of a region of interest selected by the ROI selecting unit, (Zoom In) / Zoom Out (Pan) / Tilt (Tilt) processing of the 3D object rendered and displayed by the ROI reproducing unit, A virtual camera; .
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라 관리부가 사용자 단말 접속 및 접속 해제를 처리하는 접속 관리부와; 상기 접속 관리부에 의해 접속 처리된 사용자 단말로 제공될 가상 카메라를 생성하는 가상 카메라 생성부와; 상기 가상 카메라 생성부에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성하는 쇼핑몰 페이지 생성부와; 상기 쇼핑몰 페이지 생성부에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공하는 쇼핑몰 페이지 제공부와; 상기 쇼핑몰 페이지 제공부에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여하는 제어권 부여부를; 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, there is provided a video camera system comprising: a connection management unit for processing connection and disconnection of a user terminal by the virtual camera management unit; A virtual camera generation unit for generating a virtual camera to be provided to the user terminal connected by the connection management unit; A shopping mall page generator configured to configure a shopping mall page included in the virtual camera area by the virtual camera generated by the virtual camera generating unit; A shopping mall page providing unit for providing the shopping mall page included in the virtual camera area to the user terminal by the virtual camera generated by the shopping mall page generating unit; A control granting unit for granting a control right to the virtual camera included in the shopping mall page provided by the shopping mall page providing unit to the corresponding user terminal; .
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라에 대한 제어권이 랜더링되어 표시되는 3D 객체의 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 권한인 것을 특징으로 한다.According to a further aspect of the present invention, the control right of the virtual camera is displayed in the form of a Rotation or Zoom In / Zoom Out or Pan / Tilt .
본 발명의 부가적인 양상에 따르면, 상기 쇼핑몰 페이지 생성부에 의해 생성되는 쇼핑몰 페이지가 관리자 단말에 의해 업로드 되는 관심 상품 영상이 등록되는 관심 상품 영역을 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, a shopping mall page generated by the shopping mall page generating unit includes an interested goods area in which an interested merchandise image uploaded by the manager terminal is registered.
본 발명의 부가적인 양상에 따르면, 상기 쇼핑몰 페이지 생성부에 의해 생성되는 쇼핑몰 페이지가 관리자 단말과 사용자 단말간 화상 채팅을 처리하는 화상 채팅 영역을 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the shopping mall page generated by the shopping mall page generating unit includes a video chat area for processing a video chat between the manager terminal and the user terminal.
본 발명의 부가적인 양상에 따르면, 상기 쇼핑몰 페이지 생성부에 의해 생성되는 쇼핑몰 페이지가 오프라인 매장 정보를 제공하는 매장 정보 영역을 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the shopping mall page generated by the shopping mall page generating unit includes a store information area for providing offline store information.
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라가 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 조작신호에 따라, 관심 영역 재생부에 의해 재생되는 관심 영역의 영상을 가상 카메라 영역 범위내에서 소프트웨어적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 가상 카메라 제어 명령을 상기 영상 처리부로 출력하는 모의 팬틸트줌 처리부를; 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the virtual camera may further include a region of interest (ROI) reproduced by the region of interest reproducer according to a Pan / Tilt or Zoom In / Zoom Out operation signal A simulation pan tilt zoom processor for outputting to the image processor a virtual camera control command instructing to pan / tilt or zoom in / out in software within a range of a virtual camera area; And further comprising:
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라가 관심 영역 재생부에 의해 재생되는 관심 영역의 영상이 가상 카메라 영역 범위를 벗어날 경우, 물리적인 카메라를 물리적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 물리적인 카메라 구동 명령을 물리적인 카메라로 출력하는 광학 팬틸트줌 처리부를; 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, when the virtual camera moves out of the virtual camera range of the image of the region of interest reproduced by the region of interest reproducer, the virtual camera instructs to physically pan / tilt or zoom in / out An optical pan tilt zoom processor for outputting a physical camera driving command to a physical camera; And further comprising:
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라가 가상 카메라 설정정보를 저장하는 설정정보 저장부와; 사용자로부터 가상 카메라 설정 정보를 입력받아 상기 설정정보 저장부에 저장하는 가상 카메라 설정부를; 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, there is provided a virtual camera, comprising: a setting information storage unit for storing virtual camera setting information; A virtual camera setting unit for receiving virtual camera setting information from a user and storing the virtual camera setting information in the setting information storage unit; And further comprising:
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라 설정부가 초기 관심 영역 위치, 관심 영역 크기, 해상도, 품질, 압축 포맷, 가상 카메라 영역 패턴 중 적어도 하나를 가상 카메라 설정 정보로 설정하는 것을 특징으로 한다.According to a further aspect of the present invention, the virtual camera setting unit sets at least one of an initial ROI, an ROI, a resolution, a quality, a compression format, and a virtual camera area pattern as virtual camera setting information.
본 발명의 부가적인 양상에 따르면, 상기 영상 처리부가 물리적인 카메라에 의해 촬영되는 매장 영상을 저장하는 메모리와; 상기 메모리에 저장되는 매장 영상으로부터 상기 관심 영역 선택부에 의해 선택된 관심 영역의 영상을 카메라 설정 정보에 설정된 관심 영역 크기로 추출하는 관심 영역 추출부와; 상기 관심 영역 추출부에 의해 추출된 관심 영역 영상을 카메라 설정 정보에 설정된 해상도로 변환하는 영상 스케일러와; 상기 영상 스케일러에 의해 변환된 관심 영역 영상을 카메라 설정 정보에 설정된 압측 포맷으로 압축하는 코덱을; 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the image processing unit comprises: a memory for storing a store image taken by a physical camera; An interest region extracting unit for extracting, from a burial image stored in the memory, an image of a region of interest selected by the region of interest selecting unit, the region of interest set in the camera setting information; An image scaler for converting the ROI extracted by the ROI extractor into a resolution set in the camera setting information; A codec for compressing the region of interest image converted by the image scaler into a compressed format set in the camera setting information; .
본 발명의 부가적인 양상에 따르면, 상기 영상 처리부가 카메라 설정 정보에 설정된 품질에 맞게 관심 영역 영상의 프레임율을 변환하는 프레임율 변환부를; 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, there is provided a method for controlling an image processing apparatus, comprising: a frame rate conversion unit for converting a frame rate of an ROI according to a quality set in camera setting information; And further comprising:
본 발명의 부가적인 양상에 따르면, 상기 관심 영역 재생부가 관심 영역내에 겹치는 복수의 3D 객체가 존재할 경우, 이들 중 선택된 특정의 3D 객체만 표시하는 것을 특징으로 한다.According to a further aspect of the present invention, when there are a plurality of 3D objects overlapping within the region of interest, the region of interest reproducer displays only the selected specific 3D object.
본 발명의 부가적인 양상에 따르면, 상기 관심 영역 재생부가 관심 영역내에 존재하는 복수의 3D 객체 중 사람을 인식하고, 인식된 사람의 얼굴을 마스킹(Masking) 처리하는 것을 특징으로 한다.According to a further aspect of the present invention, the attention area reproducer recognizes a person among a plurality of 3D objects existing in a region of interest, and performs masking processing of the recognized face.
본 발명의 부가적인 양상에 따르면, 상기 관심 영역 선택부에 의해 선택되는 각 사용자별 관심 영역(ROI)들이 서로 중첩될 수 있는 것을 특징으로 한다.According to a further aspect of the present invention, ROIs selected by the ROI selection unit may be overlapped with each other.
본 발명의 부가적인 양상에 따르면, 상기 영상 처리 장치가 복수의 사용자별 가상 카메라에 의해 재생되는 관심 영역 영상들을 각각 동일한 네트워크 주소이면서 서로 상이한 포트에서 출발한(originated) 패킷 영상신호로 변환하고 이들을 다중화하여 단일의 패킷 영상 스트림으로 변환하는 다중화부와; 상기 다중화부에 의해 다중화된 단일의 패킷 영상 스트림을 단일의 물리계층을 통해 사용자 단말들로 전송하는 영상 전송부를; 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the image processing apparatus converts the ROI images reproduced by the plurality of user-specific virtual cameras into packet image signals originated from different ports having the same network address, A multiplexer for converting the stream into a single packet video stream; An image transmission unit for transmitting a single packet image stream multiplexed by the multiplexing unit to user terminals through a single physical layer; And further comprising:
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라 관리부가 상기 접속 관리부에 의해 접속 해제 처리된 사용자 단말에게 부여된 가상 카메라에 대한 제어권을 회수하는 제어권 회수부를; 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the virtual camera management unit includes a control right collection unit for collecting control rights to the virtual camera assigned to the user terminal that has been disconnected by the connection management unit; And further comprising:
본 발명은 하나의 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있는 효과가 있다.The present invention creates a virtual camera for each user having different ROIs from an image of an offline store photographed by a single physical camera, and stores the generated virtual camera in a shopping mall page for streaming, The effect can be given.
또한, 본 발명은 다수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 순차적으로 연결하여 구성한 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있는 효과가 있다.In addition, the present invention creates a virtual camera for each user having different ROIs from an offline store screen formed by sequentially connecting images of an offline store photographed by a plurality of physical cameras, So that it is possible to give the user the same feeling as shopping in the actual offline store.
또한, 본 발명은 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들을 포함하는 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있는 효과가 있다.The present invention also relates to a method and apparatus for displaying 3D objects from an offline store screen including 3D objects detected using stereoscopic differences of 2D images of offline stores photographed by a plurality of physical cameras, A plurality of different virtual cameras for each user having ROIs are generated and included in a shopping mall page, thereby providing a user with a feeling of shopping in an actual offline store.
또한, 본 발명은 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 제공하되, 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있는 쇼핑몰 페이지를 빠른 속도로 제공할 수 있는 효과가 있다.According to another aspect of the present invention, a virtual camera for each user having different ROIs from an image of an offline store, which is photographed by a physical camera, is generated and included in a shopping mall page, The streaming load of the region-of-interest images reproduced by the user-specific virtual cameras is dispersed and transmitted, thereby providing a shopping mall page that can give the user the feeling of shopping in the actual offline store at a high speed.
도 1 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제1실시예의 구성을 도시한 블럭도이다.
도 2 는 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제2실시예의 구성을 도시한 블럭도이다.
도 3 은 도 2 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 물리적인 카메라들의 설치 형태 및 매장 화면의 일 예를 도시한 도면이다.
도 4 는 도 2 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 물리적인 카메라들의 설치 형태 및 매장 화면의 또 다른 예를 도시한 도면이다.
도 5 는 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제3실시예의 구성을 도시한 블럭도이다.
도 6 은 도 5 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 물리적인 카메라들의 설치 형태의 일 예를 도시한 도면이다.
도 7 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제4실시예의 구성을 도시한 블럭도이다.
도 8 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 영상 처리 장치의 가상 카메라 관리부의 일 실시예의 구성을 도시한 블럭도이다.
도 9 는 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 영상 처리 장치에 의해 생성되는 쇼핑몰 페이지의 일 예를 도시한 도면이다.
도 10 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 가상 카메라의 일 실시예의 구성을 도시한 블럭도이다.
도 11 은 도 1 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.
도 12 는 도 2 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.
도 13 은 도 5 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.
도 14 는 도 7 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.
도 15 는 도 10 에 도시한 가상 카메라에 의한 관심 영역 추출 절차의 일 예를 도시한 흐름도이다.1 is a block diagram showing the configuration of a personalized shopping mall system using a virtual camera according to a first embodiment of the present invention.
2 is a block diagram showing the configuration of a personalized shopping mall system using a virtual camera according to a second embodiment of the present invention.
3 is a view showing an example of a physical camera installation mode and a store screen of a personalized shopping mall system using the virtual camera shown in FIG.
4 is a view showing another example of the physical camera installation mode and the store screen of the personalized shopping mall system using the virtual camera shown in FIG.
5 is a block diagram showing the configuration of a personalized shopping mall system using a virtual camera according to a third embodiment of the present invention.
6 is a view showing an example of a physical camera installation mode of the personalized shopping mall system using the virtual camera shown in FIG.
7 is a block diagram showing the configuration of a personalized shopping mall system using a virtual camera according to a fourth embodiment of the present invention.
8 is a block diagram showing the configuration of an embodiment of a virtual camera management unit of an image processing apparatus of a personalized shopping mall system using a virtual camera according to the present invention.
9 is a view showing an example of a shopping mall page generated by the image processing apparatus of the personalized shopping mall system using the virtual camera according to the present invention.
10 is a block diagram showing the configuration of an embodiment of a virtual camera of a personalized shopping mall system using a virtual camera according to the present invention.
11 is a flowchart illustrating an example of a shopping mall page providing operation of the personalized shopping mall system using the virtual camera shown in Fig.
12 is a flowchart illustrating an example of a shopping mall page providing operation of the personalized shopping mall system using the virtual camera shown in Fig.
13 is a flowchart illustrating an example of a shopping mall page providing operation of the personalized shopping mall system using the virtual camera shown in Fig.
FIG. 14 is a flowchart illustrating an example of a shopping mall page providing operation of the personalized shopping mall system using the virtual camera shown in FIG. 7;
FIG. 15 is a flowchart illustrating an example of a ROI extraction process by the virtual camera shown in FIG.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
본 발명 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The terms used throughout the specification of the present invention have been defined in consideration of the functions of the embodiments of the present invention and can be sufficiently modified according to the intentions and customs of the user or operator. It should be based on the contents of.
도 1 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 개요도이다. 도 1 에 도시한 바와 같이, 이 실시예에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템은 하나의 물리적인 카메라(100)와, 영상 처리 장치(200)를 포함하여 이루어진다.1 is a schematic diagram of a personalized shopping mall system using a virtual camera according to the present invention. As shown in FIG. 1, a personalized shopping mall system using a virtual camera according to this embodiment includes a single
도 2 는 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제2실시예의 구성을 도시한 블럭도이다. 도 2 에 도시한 바와 같이, 이 실시예에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템은 다수의 물리적인 카메라(100)와, 영상 처리 장치(200)를 포함하여 이루어진다.2 is a block diagram showing the configuration of a personalized shopping mall system using a virtual camera according to a second embodiment of the present invention. As shown in FIG. 2, the personalized shopping mall system using the virtual camera according to this embodiment includes a plurality of
도 3 은 도 2 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 물리적인 카메라들의 설치 형태 및 매장 화면의 일 예를 도시한 도면이다. 도 3 에 도시한 바와 같이 상기 다수의 물리적인 카메라(100)가 일렬로 설치될 수도 있다.3 is a view showing an example of a physical camera installation mode and a store screen of a personalized shopping mall system using the virtual camera shown in FIG. As shown in FIG. 3, the plurality of
도 4 는 도 2 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 물리적인 카메라들의 설치 형태 및 매장 화면의 또 다른 예를 도시한 도면이다. 도 4 에 도시한 바와 같이 방사형으로 설치될 수도 있다.4 is a view showing another example of the physical camera installation mode and the store screen of the personalized shopping mall system using the virtual camera shown in FIG. But may be radially arranged as shown in Fig.
도 5 는 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제3실시예의 구성을 도시한 블럭도이다. 도 5 에 도시한 바와 같이, 이 실시예에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템은 인접 배치된 복수의 물리적인 카메라(100)와, 영상 처리 장치(200)를 포함하여 이루어진다.5 is a block diagram showing the configuration of a personalized shopping mall system using a virtual camera according to a third embodiment of the present invention. As shown in FIG. 5, the personalized shopping mall system using the virtual camera according to this embodiment includes a plurality of
도 6 은 도 5 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 물리적인 카메라들의 설치 형태의 일 예를 도시한 도면이다. 도 6 에 도시한 바와 같이, 인접 배치되는 복수의 물리적인 카메라(100)가 사방에 설치될 수 있다. 6 is a view showing an example of a physical camera installation mode of the personalized shopping mall system using the virtual camera shown in FIG. As shown in Fig. 6, a plurality of adjacent
도 7 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제4실시예의 구성을 도시한 블럭도이다. 도 7 에 도시한 바와 같이, 이 실시예에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템은 물리적인 카메라(100)와, 영상 처리 장치(200)와, 로컬 서버(300)와, 스트리밍 전용 서버(400)를 포함하여 이루어진다.7 is a block diagram showing the configuration of a personalized shopping mall system using a virtual camera according to a fourth embodiment of the present invention. 7, the personalized shopping mall system using the virtual camera according to this embodiment includes a
상기 카메라(100)는 오프라인 매장에 설치되어, 오프라인 매장의 영상을 실시간 촬영한다. 예컨대, 상기 카메라(100)가 일반적인 고해상도 카메라, 파노라마 카메라, 어안 렌즈 카메라 등일 수 있다.The
상기 영상 처리 장치(200)는 상기 물리적인 카메라(100)에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성하고, 사용자별 가상 카메라가 가상 카메라 영역에 포함되는 다수의 사용자별 쇼핑몰 페이지들을 구성하여 각 사용자 단말로 제공한다.The
이 때, 관심 영역(ROI)이 상이한 사용자별 가상 카메라는 오프라인 매장의 영상으로부터 사용자별로 상이한 개인화된 관심 영역(ROI)의 영상을 크롭(Crop)하여 재생하는 소프트웨어 모듈을 의미한다.In this case, a virtual camera for each user having different ROIs refers to a software module that crops and reproduces an image of a personalized ROI that is different for each user from an image of an offline store.
상기 로컬 서버(300)는 상기 영상 처리 장치(200)에 의해 사용자 단말로 제공되는 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들을 각 사용자 단말들로 스트리밍 한다.The
상기 스트리밍 전용 서버(400)는 상기 로컬 서버(300)의 스트리밍 부하가 임계치를 초과할 경우, 로컬 서버를 대신하여 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송한다.If the streaming load of the
도 8 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 영상 처리 장치의 가상 카메라 관리부의 일 실시예의 구성을 도시한 블럭도이다. 영상 처리 장치(200)는 영상 수신부(210)와, 가상 카메라 관리부(220)를 포함한다.8 is a block diagram showing the configuration of an embodiment of a virtual camera management unit of an image processing apparatus of a personalized shopping mall system using a virtual camera according to the present invention. The
(제1실시예)(Embodiment 1)
상기 영상 수신부(210)는 상기 물리적인 카메라(100)에 의해 촬영되는 오프라인 매장의 영상을 수신한다.The
상기 가상 카메라 관리부(220)는 상기 영상 수신부(210)에 의해 수신된 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성한다.The virtual
한편, 상기 가상 카메라 관리부(220)는 접속 관리부(221)와, 가상 카메라 생성부(222)와, 쇼핑몰 페이지 생성부(223)와, 쇼핑몰 페이지 제공부(224)와, 제어권 부여부(225)를 포함한다.The virtual
상기 접속 관리부(221)는 사용자 단말 접속 및 접속 해제를 처리한다. 예컨대, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속 요청하는 사용자 단말로부터 입력되는 사용자 ID와 패스워드를 회원 등록 DB(도면 도시 생략)로부터 검색하여 사용자 단말 접속을 처리하도록 구현될 수 있다. The
한편, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속된 사용자 단말로부터의 접속 해제 요청에 따라, 사용자 단말의 접속 해제를 처리하도록 구현될 수 있다. 이 때, 사용자 단말은 PC 또는 스마트폰 등의 휴대용 단말일 수 있다.On the other hand, the
상기 가상 카메라 생성부(222)는 상기 접속 관리부(221)에 의해 접속 처리된 사용자 단말로 제공될 가상 카메라를 생성한다. 예컨대, 가상 카메라 생성부(222)가 수신된 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성하도록 구현될 수 있다.The virtual
이 때, 가상 카메라는 오프라인 매장의 영상으로부터 사용자가 관심을 가지는 특정의 관심 영역(ROI)의 영상을 크롭(Crop)하여 재생하는 소프트웨어 모듈로, 추후 자세히 설명한다.In this case, the virtual camera is a software module for cropping and reproducing an image of a specific ROI that the user is interested in from the image of the offline store, and will be described in detail later.
상기 쇼핑몰 페이지 생성부(223)는 상기 가상 카메라 생성부(222)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다. 이 때, 쇼핑몰 페이지가 관리자 단말(도면 도시 생략)에 의해 업로드 되는 관심 상품 영상이 등록되는 관심 상품 영역과, 관리자 단말과 사용자 단말간 화상 채팅을 처리하는 화상 채팅 영역과, 오프라인 매장 정보를 제공하는 매장 정보 영역 등을 더 포함할 수 있다.The shopping
상기 쇼핑몰 페이지 제공부(224)는 상기 쇼핑몰 페이지 생성부(223)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.The shopping mall
사용자 단말로 쇼핑몰 페이지가 제공되면, 쇼핑몰 페이지의 가상 카메라 영역에 포함된 가상 카메라가 실제 오프라인 매장의 관심 영역 영상을 실시간 스트리밍한다.When the shopping mall page is provided to the user terminal, the virtual camera included in the virtual camera area of the shopping mall page real-time streams the ROI image of the actual offline store.
사용자는 가상 카메라에 의해 실시간 스트리밍되는 오프라인 매장의 관심 영역 영상을 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌을 받는다.The user feels the same as visiting the actual offline store and shopping while viewing the ROI image of the offline store which is streamed live by the virtual camera on-line.
상기 제어권 부여부(225)는 상기 쇼핑몰 페이지 제공부(224)에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다. The control
이 때, 상기 가상 카메라에 대한 제어권이 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out) 권한일 수 있다. 한편, 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out)은 물리적인 동작 제어가 아니라 소프트웨어적인 화면 상/하/좌/우 이동 및 화면 확대/축소 처리이다. At this time, the control right for the virtual camera may be a virtual camera screen pan / tilt and a zoom in / zoom out right. On the other hand, the virtual camera screen pan / tilt and zoom in / zoom out are not performed by the physical operation control, but by the software, such as the up / down / left / right movement on the screen, to be.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 상/하/좌/우 방향으로 손가락 터치시 가상 카메라 화면 팬(Pan)/틸트(Tilt) 이벤트가 발생하여 관심 영역이 이동되면서 오프라인 매장의 다른 영역의 영상이 가상 카메라에 의해 스트리밍 되어 재생되도록 구현될 수 있다.For example, a virtual camera screen pan / tilt event is generated when a finger is touched in the up / down / left / right direction on the touch screen of the user terminal to which control is given, Area can be streamed and reproduced by the virtual camera.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 두 손가락을 벌리거나 오므릴 경우 가상 카메라 화면 줌인(Zoom In)/줌아웃(Zoom Out) 이벤트가 발생하여 관심 영역 영상이 확대되거나 축소되도록 구현될 수 있다.For example, when two fingers are opened or closed through a touch screen of a user terminal to which control is given, a virtual camera screen zoom in / zoom out event may be generated to enlarge or reduce a region of interest image have.
각 사용자는 자신의 사용자 단말에 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어를 독립적으로 수행하여 자신이 관심을 가지는 영역의 영상을 수신하게 되므로, 사용자별로 상이한 개인화된 관심 영역 영상이 각 사용자 단말별로 재생된다.Since each user independently controls the virtual camera included in the shopping mall page provided to his / her user terminal and receives an image of an area of interest, the personalized interest area image for each user is transmitted to each user terminal .
이와 같이 구현함에 의해 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.By implementing such a configuration, a virtual camera for each user having different ROIs from an image of an offline store that is photographed by a physical camera is generated and is included in a shopping mall page and streamed, thereby providing a user with the feeling of shopping in a real- .
(제2실시예)(Second Embodiment)
상기 영상 수신부(210)는 상기 다수의 물리적인 카메라(100)에 의해 각각 촬영되는 오프라인 매장의 영상들을 수신한다.The
상기 가상 카메라 관리부(220)는 상기 영상 수신부(210)에 의해 수신된 오프라인 매장의 영상들을 순차적으로 연결하여 통합된 오프라인 매장 화면을 구성하고, 구성된 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성한다.The virtual
이 때, 가상 카메라 관리부(220)가 오프라인 매장의 영상들의 일부가 중첩되도록 연결하여 오프라인 매장 화면을 구성하도록 구현될 수 있다. 오프라인 매장의 영상들의 일부가 중첩되도록 연결할 경우 누락되는 영역을 방지할 수 있다.At this time, the virtual
한편, 상기 가상 카메라 관리부(220)는 접속 관리부(221)와, 가상 카메라 생성부(222)와, 쇼핑몰 페이지 생성부(223)와, 쇼핑몰 페이지 제공부(224)와, 제어권 부여부(225)를 포함한다.The virtual
상기 접속 관리부(221)는 사용자 단말 접속 및 접속 해제를 처리한다. 예컨대, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속 요청하는 사용자 단말로부터 입력되는 사용자 ID와 패스워드를 회원 등록 DB(도면 도시 생략)로부터 검색하여 사용자 단말 접속을 처리하도록 구현될 수 있다. The
한편, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속된 사용자 단말로부터의 접속 해제 요청에 따라, 사용자 단말의 접속 해제를 처리하도록 구현될 수 있다. 이 때, 사용자 단말은 PC 또는 스마트폰 등의 휴대용 단말일 수 있다.On the other hand, the
상기 가상 카메라 생성부(222)는 상기 접속 관리부(221)에 의해 접속 처리된 사용자 단말로 제공될 가상 카메라를 생성한다. 예컨대, 상기 가상 카메라 생성부(222)가 수신된 오프라인 매장의 영상들을 순차적으로 연결하여 통합된 오프라인 매장 화면을 구성하고, 구성된 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성하도록 구현될 수 있다.The virtual
이 때, 가상 카메라는 오프라인 매장의 영상으로부터 사용자가 관심을 가지는 특정의 관심 영역(ROI)의 영상을 크롭(Crop)하여 재생하는 소프트웨어 모듈로, 추후 자세히 설명한다.In this case, the virtual camera is a software module for cropping and reproducing an image of a specific ROI that the user is interested in from the image of the offline store, and will be described in detail later.
상기 쇼핑몰 페이지 생성부(223)는 상기 가상 카메라 생성부(222)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다. 이 때, 쇼핑몰 페이지가 관리자 단말(도면 도시 생략)에 의해 업로드 되는 관심 상품 영상이 등록되는 관심 상품 영역과, 관리자 단말과 사용자 단말간 화상 채팅을 처리하는 화상 채팅 영역과, 오프라인 매장 정보를 제공하는 매장 정보 영역 등을 더 포함할 수 있다.The shopping
상기 쇼핑몰 페이지 제공부(224)는 상기 쇼핑몰 페이지 생성부(223)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.The shopping mall
사용자 단말로 쇼핑몰 페이지가 제공되면, 쇼핑몰 페이지의 가상 카메라 영역에 포함된 가상 카메라가 실제 오프라인 매장의 관심 영역 영상을 실시간 스트리밍한다.When the shopping mall page is provided to the user terminal, the virtual camera included in the virtual camera area of the shopping mall page real-time streams the ROI image of the actual offline store.
사용자는 가상 카메라에 의해 실시간 스트리밍되는 오프라인 매장의 관심 영역 영상을 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌을 받는다.The user feels the same as visiting the actual offline store and shopping while viewing the ROI image of the offline store which is streamed live by the virtual camera on-line.
상기 제어권 부여부(225)는 상기 쇼핑몰 페이지 제공부(224)에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다. The control
이 때, 상기 가상 카메라에 대한 제어권이 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out) 권한일 수 있다. 한편, 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out)은 물리적인 동작 제어가 아니라 소프트웨어적인 화면 상/하/좌/우 이동 및 화면 확대/축소 처리이다. At this time, the control right for the virtual camera may be a virtual camera screen pan / tilt and a zoom in / zoom out right. On the other hand, the virtual camera screen pan / tilt and zoom in / zoom out are not performed by the physical operation control, but by the software, such as the up / down / left / right movement on the screen, to be.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 상/하/좌/우 방향으로 손가락 터치시 가상 카메라 화면 팬(Pan)/틸트(Tilt) 이벤트가 발생하여 관심 영역이 이동되면서 오프라인 매장의 다른 영역의 영상이 가상 카메라에 의해 스트리밍 되어 재생되도록 구현될 수 있다.For example, a virtual camera screen pan / tilt event is generated when a finger is touched in the up / down / left / right direction on the touch screen of the user terminal to which control is given, Area can be streamed and reproduced by the virtual camera.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 두 손가락을 벌리거나 오므릴 경우 가상 카메라 화면 줌인(Zoom In)/줌아웃(Zoom Out) 이벤트가 발생하여 관심 영역 영상이 확대되거나 축소되도록 구현될 수 있다.For example, when two fingers are opened or closed through a touch screen of a user terminal to which control is given, a virtual camera screen zoom in / zoom out event may be generated to enlarge or reduce a region of interest image have.
각 사용자는 자신의 사용자 단말에 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어를 독립적으로 수행하여 자신이 관심을 가지는 영역의 영상을 수신하게 되므로, 사용자별로 상이한 개인화된 관심 영역 영상이 각 사용자 단말별로 재생된다.Since each user independently controls the virtual camera included in the shopping mall page provided to his / her user terminal and receives an image of an area of interest, the personalized interest area image for each user is transmitted to each user terminal .
이와 같이 구현함에 의해 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.By implementing such a configuration, a virtual camera for each user having different ROIs from an image of an offline store that is photographed by a physical camera is generated and is included in a shopping mall page and streamed, thereby providing a user with the feeling of shopping in a real- .
(실시예3)(Example 3)
상기 영상 수신부(210)는 인접 배치된 복수의 물리적인 카메라(100)에 의해 각각 촬영되는 오프라인 매장의 2D 영상들을 수신한다.The
상기 가상 카메라 관리부(220)는 상기 영상 수신부(210)에 의해 수신된 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 3D 객체들을 검출하고, 검출된 3D 객체들을 포함하는 오프라인 매장 화면을 구성하고 구성된 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성한다.The virtual
이 때, 가상 카메라 관리부(220)에 의해 구성되는 오프라인 매장 화면은 사방에 설치되는 복수의 물리적인 카메라(100)들 중 어느 한쪽에 설치되는 복수의 물리적인 카메라(100)에 의해 실시간 촬영되어 합성되는 오프라인 매장의 화면일 수 있다. At this time, the offline store screen constituted by the virtual
한편, 스테레오 시각차를 이용해 3D 객체를 검출하는 스테레오 시각(Stereo Vision) 기법은 인간의 시각 시스템이 좌/우 눈의 위치 차이에 의해 서로 다른 영상을 받아들이고 뇌는 이것을 입체로 받아들여 거리감을 갖게 되는 과정에서 입체감을 생성하는 원리를 이용한 3D 영상 처리 기법으로, 이 출원전에 이미 공지되어 시행되는 통상의 기술이므로, 이에 대한 구체적인 설명은 생략한다.Stereo Vision (Stereo Vision), which detects 3D objects using stereoscopic visual difference, is a process in which the human visual system receives different images due to the difference in position of the left and right eyes, and the brain receives the stereoscopic images A 3D image processing technique using the principle of generating a three-dimensional sensation in the conventional technique, which is already known and practiced before this application, so that a detailed description thereof will be omitted.
한편, 상기 가상 카메라 관리부(220)는 접속 관리부(221)와, 가상 카메라 생성부(222)와, 쇼핑몰 페이지 생성부(223)와, 쇼핑몰 페이지 제공부(224)와, 제어권 부여부(225)를 포함한다.The virtual
상기 접속 관리부(221)는 사용자 단말 접속 및 접속 해제를 처리한다. 예컨대, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속 요청하는 사용자 단말로부터 입력되는 사용자 ID와 패스워드를 회원 등록 DB(도면 도시 생략)로부터 검색하여 사용자 단말 접속을 처리하도록 구현될 수 있다.The
한편, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속된 사용자 단말로부터의 접속 해제 요청에 따라, 사용자 단말의 접속 해제를 처리하도록 구현될 수 있다. 이 때, 사용자 단말은 PC 또는 스마트폰 등의 휴대용 단말일 수 있다.On the other hand, the
상기 가상 카메라 생성부(222)는 상기 접속 관리부(221)에 의해 접속 처리된 사용자 단말로 제공될 가상 카메라를 생성한다. 예컨대, 가상 카메라 생성부(222)가 수신된 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 3D 객체들을 검출하고, 검출된 3D 객체들을 포함하는 오프라인 매장 화면을 구성하고 구성된 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하도록 구현될 수 있다.The virtual
이 때, 가상 카메라는 오프라인 매장 화면으로부터 사용자별로 상이한 관심 3D 객체들이 위치한 개인화된 관심 영역(ROI)의 영상을 크롭(Crop)하여 재생하는 소프트웨어 모듈로, 추후 자세히 설명한다.In this case, the virtual camera is a software module for cropping and reproducing an image of a personalized ROI in which interested 3D objects are located for each user from an offline store screen, and will be described later in detail.
상기 쇼핑몰 페이지 생성부(223)는 상기 가상 카메라 생성부(222)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다. 이 때, 쇼핑몰 페이지가 관리자 단말(도면 도시 생략)에 의해 업로드 되는 관심 상품 영상이 등록되는 관심 상품 영역과, 관리자 단말과 사용자 단말간 화상 채팅을 처리하는 화상 채팅 영역과, 오프라인 매장 정보를 제공하는 매장 정보 영역 등을 포함할 수 있다.The shopping
상기 쇼핑몰 페이지 제공부(224)는 상기 쇼핑몰 페이지 생성부(223)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.The shopping mall
사용자 단말로 쇼핑몰 페이지가 제공되면, 쇼핑몰 페이지의 가상 카메라 영역에 포함된 가상 카메라가 실제 오프라인 매장의 관심 영역 영상을 실시간 스트리밍한다. 이 때, 스테레오 시각차에 의해 검출되는 3D 객체가 가상 카메라 영역에 랜더링(rendering)되어 표시된다.When the shopping mall page is provided to the user terminal, the virtual camera included in the virtual camera area of the shopping mall page real-time streams the ROI image of the actual offline store. At this time, the 3D object detected by the stereo visual difference is rendered and displayed in the virtual camera area.
사용자는 가상 카메라에 의해 실시간 스트리밍되는 오프라인 매장의 관심 영역 영상에 위치하는 3D 객체를 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌을 받는다.The user feels the same as visiting the actual offline store while shopping for the 3D object located on the interest area image of the offline store which is streamed live by the virtual camera on-line.
상기 제어권 부여부(225)는 상기 쇼핑몰 페이지 제공부(224)에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다.The control
이 때, 상기 가상 카메라에 대한 제어권이 랜더링되어 표시되는 3D 객체의 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 권한일 수 있다. 한편, 가상 카메라 화면에 랜더링되어 표시되는 3D 객체의 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt)는 물리적인 동작 제어가 아니라 소프트웨어적인 화면 회전, 화면 확대/축소 및 화면 이동 처리이다.In this case, the control right for the virtual camera may be a rotation or Zoom In / Zoom Out or a Pan / Tilt right of a 3D object rendered and displayed. Rotation or Zoom In / Zoom Out or Pan / Tilt of a 3D object rendered on a virtual camera screen is not a physical operation control but a software-based screen rotation , Screen enlargement / reduction, and screen movement processing.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 상/하/좌/우 방향으로 손가락 터치시 3D 객체 회전 이벤트가 발생하여 가상 카메라 화면에 랜더링되어 표시되는 3D 객체가 해당 방향으로 회전되도록 구현될 수 있다.For example, a 3D object rotation event is generated when a finger is touched in the up / down / left / right direction on the touch screen of the user terminal to which control is given, and the 3D object rendered and displayed on the virtual camera screen is rotated in the corresponding direction .
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 두 손가락을 벌리거나 오므릴 경우 3D 객체 줌인(Zoom In)/줌아웃(Zoom Out) 이벤트가 발생하여 가상 카메라 화면에 랜더링되어 표시되는 3D 객체가 확대되거나 축소되도록 구현될 수 있다.For example, when two fingers are opened or closed through the touch screen of the user terminal having the control right, a Zoom In / Zoom Out event of the 3D object is generated and the 3D object rendered and displayed on the virtual camera screen is enlarged Or reduced.
각 사용자는 자신의 사용자 단말에 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어를 독립적으로 수행하여 자신이 관심을 가지는 3D 객체를 포함하는 영역의 영상을 수신하게 되므로, 사용자별로 상이한 개인화된 관심 영역 영상이 각 사용자 단말별로 재생된다.Each user independently controls the virtual camera included in the shopping mall page provided to his / her user terminal, and receives the image of the area including the 3D object of interest. Therefore, Video is reproduced for each user terminal.
이와 같이 구현함에 의해 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들을 포함하는 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.The 3D objects from the offline store screen including the 3D objects detected by using the stereoscopic difference of the 2D images of the off-line stores, which are respectively disposed by the plurality of physical cameras, A plurality of different virtual cameras for each user having ROIs are generated and included in a shopping mall page to stream the content to the user so that they feel like shopping in a real offline store.
이 때, 각 사용자마다 가상 카메라를 통해 랜더링되어 표시되는 3D 객체들에 대한 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 제어가 가능하므로, 단일 카메라를 이용한 영상 스트리밍시의 영상 제어를 한 사람밖에 할 수 없는 한계를 극복할 수 있다.At this time, rotation of each of the 3D objects displayed through the virtual camera and zoom in / zoom out (Zoom Out) or pan / tilt control can be performed for each user, It is possible to overcome the limitation that only one person can control the image at the time of video streaming using a single camera.
(실시예4)(Example 4)
상기 영상 수신부(210)는 상기 물리적인 카메라(100)에 의해 촬영되는 오프라인 매장의 영상을 수신한다.The
상기 가상 카메라 관리부(220)는 상기 영상 수신부(210)에 의해 수신된 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성한다.The virtual
한편, 상기 가상 카메라 관리부(220)는 접속 관리부(221)와, 가상 카메라 생성부(222)와, 쇼핑몰 페이지 생성부(223)와, 쇼핑몰 페이지 제공부(224)와, 제어권 부여부(225)를 포함한다.The virtual
상기 접속 관리부(221)는 사용자 단말 접속 및 접속 해제를 처리한다. 예컨대, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속 요청하는 사용자 단말로부터 입력되는 사용자 ID와 패스워드를 회원 등록 DB(도면 도시 생략)로부터 검색하여 사용자 단말 접속을 처리하도록 구현될 수 있다. The
한편, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속된 사용자 단말로부터의 접속 해제 요청에 따라, 사용자 단말의 접속 해제를 처리하도록 구현될 수 있다. 이 때, 사용자 단말은 PC 또는 스마트폰 등의 휴대용 단말일 수 있다.On the other hand, the
상기 가상 카메라 생성부(222)는 상기 접속 관리부(221)에 의해 접속 처리된 사용자 단말로 제공될 가상 카메라를 생성한다. 예컨대, 가상 카메라 생성부(222)가 수신된 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성하도록 구현될 수 있다.The virtual
이 때, 가상 카메라는 오프라인 매장의 영상으로부터 사용자가 관심을 가지는 특정의 관심 영역(ROI)의 영상을 크롭(Crop)하여 재생하는 소프트웨어 모듈로, 추후 자세히 설명한다.In this case, the virtual camera is a software module for cropping and reproducing an image of a specific ROI that the user is interested in from the image of the offline store, and will be described in detail later.
상기 쇼핑몰 페이지 생성부(223)는 상기 가상 카메라 생성부(222)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다. 이 때, 쇼핑몰 페이지가 관리자 단말(도면 도시 생략)에 의해 업로드 되는 관심 상품 영상이 등록되는 관심 상품 영역과, 관리자 단말과 사용자 단말간 화상 채팅을 처리하는 화상 채팅 영역과, 오프라인 매장 정보를 제공하는 매장 정보 영역 등을 더 포함할 수 있다.The shopping
상기 쇼핑몰 페이지 제공부(224)는 상기 쇼핑몰 페이지 생성부(223)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.The shopping mall
사용자 단말로 쇼핑몰 페이지가 제공되면, 쇼핑몰 페이지의 가상 카메라 영역에 포함된 가상 카메라가 실제 오프라인 매장의 관심 영역 영상을 실시간 스트리밍한다.When the shopping mall page is provided to the user terminal, the virtual camera included in the virtual camera area of the shopping mall page real-time streams the ROI image of the actual offline store.
사용자는 가상 카메라에 의해 실시간 스트리밍되는 오프라인 매장의 관심 영역 영상을 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌을 받는다.The user feels the same as visiting the actual offline store and shopping while viewing the ROI image of the offline store which is streamed live by the virtual camera on-line.
상기 제어권 부여부(225)는 상기 쇼핑몰 페이지 제공부(224)에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다. The control
이 때, 상기 가상 카메라에 대한 제어권이 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out) 권한일 수 있다. 한편, 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out)은 물리적인 동작 제어가 아니라 소프트웨어적인 화면 상/하/좌/우 이동 및 화면 확대/축소 처리이다.At this time, the control right for the virtual camera may be a virtual camera screen pan / tilt and a zoom in / zoom out right. On the other hand, the virtual camera screen pan / tilt and zoom in / zoom out are not performed by the physical operation control, but by the software, such as the up / down / left / right movement on the screen, to be.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 상/하/좌/우 방향으로 손가락 터치시 가상 카메라 화면 팬(Pan)/틸트(Tilt) 이벤트가 발생하여 관심 영역이 이동되면서 오프라인 매장의 다른 영역의 영상이 가상 카메라에 의해 스트리밍 되어 재생되도록 구현될 수 있다.For example, a virtual camera screen pan / tilt event is generated when a finger is touched in the up / down / left / right direction on the touch screen of the user terminal to which control is given, Area can be streamed and reproduced by the virtual camera.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 두 손가락을 벌리거나 오므릴 경우 가상 카메라 화면 줌인(Zoom In)/줌아웃(Zoom Out) 이벤트가 발생하여 관심 영역 영상이 확대되거나 축소되도록 구현될 수 있다.For example, when two fingers are opened or closed through a touch screen of a user terminal to which control is given, a virtual camera screen zoom in / zoom out event may be generated to enlarge or reduce a region of interest image have.
각 사용자는 자신의 사용자 단말에 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어를 독립적으로 수행하여 자신이 관심을 가지는 영역의 영상을 수신하게 되므로, 사용자별로 상이한 개인화된 관심 영역 영상이 각 사용자 단말별로 재생된다.Since each user independently controls the virtual camera included in the shopping mall page provided to his / her user terminal and receives an image of an area of interest, the personalized interest area image for each user is transmitted to each user terminal .
로컬 서버(300)는 상기 영상 처리 장치(200)에 의해 사용자 단말로 제공되는 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들을 각 사용자 단말들로 스트리밍 한다.The
한편, 스트리밍 전용 서버(400)는 상기 로컬 서버(300)의 스트리밍 부하가 임계치를 초과할 경우, 로컬 서버를 대신하여 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송한다.On the other hand, when the streaming load of the
즉, 영상 처리 장치(200)에 의해 사용자 단말로 쇼핑몰 페이지가 제공되면, 쇼핑몰 페이지의 가상 카메라 영역에 포함된 가상 카메라에 의해 실제 오프라인 매장의 관심 영역 영상이 로컬 서버(300) 또는 스트리밍 전용 서버(400)에 의해 실시간 스트리밍된다.That is, when the shopping mall page is provided to the user terminal by the
이 때, 상기 로컬 서버(300)의 스트리밍 부하에 따라, 로컬 서버(300)가 직접 가상 카메라들에 의해 재생되는 관심 영역 영상들을 스트리밍하거나 또는 스트리밍 전용 서버(400)를 통해 간접적으로 가상 카메라들에 의해 재생되는 관심 영역 영상들을 스트리밍한다.At this time, depending on the streaming load of the
한편, 이 실시예에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 페이지의 부하 분산 시스템은 쇼핑몰 관리서버(500)를 더 포함할 수 있다. 상기 쇼핑몰 관리서버(500)는 로컬 서버(300)의 스트리밍 부하를 감시하여, 로컬 서버의 스트리밍 부하가 임계치를 초과하는지 판단하고, 로컬 서버의 스트리밍 부하가 임계치를 초과한다 판단된 경우, 스트리밍 제어권을 로컬 서버(300)로부터 회수하여 스트리밍 전용 서버(400)에 이양한다.Meanwhile, the personalized shopping mall load balancing system using the virtual camera according to this embodiment may further include a shopping
예컨대, 로컬 서버의 스트리밍 부하가 임계치를 초과하는지 여부를 판단하는 것은 처리할 수 있는 초당 세션 수(SPS : Session Per Second), 처리할 수 있는 초당 패킷 수(PPS : Packet Per Second), 처리할 수 있는 초당 트랜젝션 수(TPS : Transaction Per Second) 등을 검출함에 의해 가능하다.For example, determining whether the streaming load of the local server exceeds the threshold can include determining the number of sessions per second (SPS) that can be handled, the number of packets per second (PPS) that can be handled, The transaction per second (TPS), and the like.
한편, 상기 쇼핑몰 관리서버(500)는 스트리밍 제어권이 스트리밍 전용 서버(400)로 이양된 상태에서, 로컬 서버(300)의 스트리밍 부하가 임계치 이하로 떨어진 경우, 스트리밍 제어권을 스트리밍 전용 서버(400)로부터 회수하여 로컬 서버(300)에 반환한다.Meanwhile, when the streaming control right of the shopping
이와 같이 구현함에 의해 사용자는 가상 카메라에 의해 실시간 스트리밍되는 오프라인 매장의 관심 영역 영상을 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌을 받는다.As a result, the user feels like visiting the actual offline store and shopping while viewing the ROI image of the offline store which is streamed in real time by the virtual camera, online.
또한, 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송함으로써 쇼핑몰 페이지를 빠른 속도로 제공할 수 있다. In addition, a shopping mall page can be provided at a high speed by distributing and transmitting a streaming load of ROIs reproduced by user-specific virtual cameras included in a virtual camera area of shopping mall pages for each user.
상기한 실시예1 내지 실시예4에 의해 생성되는 쇼핑몰 페이지를 도 9 를 참조하여 알아본다. 도 9 는 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 영상 처리 장치에 의해 생성되는 쇼핑몰 페이지의 일 예를 도시한 도면이다. 쇼핑몰 페이지(600)에 가상 카메라 영역(610), 관심 상품 영역(620), 화상 채팅 영역(630), 매장 정보 영역(640)이 포함되어 있음을 볼 수 있다.A shopping mall page generated by the above-described first to fourth embodiments will be described with reference to FIG. 9 is a view showing an example of a shopping mall page generated by the image processing apparatus of the personalized shopping mall system using the virtual camera according to the present invention. The
한편, 발명의 부가적인 양상에 따르면, 상기 영상 처리 장치(200)가 다중화부(230)와, 영상 전송부(240)를 더 포함할 수 있다.According to a further aspect of the present invention, the
상기 다중화부(230)는 복수의 사용자별 가상 카메라에 의해 재생되는 관심 영역 영상들을 각각 동일한 네트워크 주소이면서 서로 상이한 포트에서 출발한(originated) 패킷 영상신호로 변환하고 이들을 다중화하여 단일의 패킷 영상 스트림으로 변환한다.The
상기 영상 전송부(240)는 상기 다중화부(230)에 의해 다중화된 단일의 패킷 영상 스트림을 단일의 물리계층을 통해 사용자 단말들로 전송한다.The
예컨대, 복수의 사용자별 가상 카메라에 의해 출력되는 관심 영역 영상신호들은 각각의 네트워크 주소를 가진 패킷 신호일 수 있다. 이 경우, 다중화부(230)는 네트워크 주소 변환(Network Address Translation : NAT) 기능을 이용해 복수의 사용자별 가상 카메라에 의해 출력되는 관심 영역 영상신호들 각각의 네트워크 주소를 동일한 네트워크 주소로 변환하면서 상이한 포트 번호를 할당하여 다중화할 수 있다.For example, the interest area image signals output by the plurality of user-specific virtual cameras may be packet signals having respective network addresses. In this case, the
예컨대, 복수의 사용자별 가상 카메라에 의해 출력되는 관심 영역 영상신호들이 영상 스트림 데이터일 수 있다. 이 경우, 다중화부(230)는 복수의 사용자별 가상 카메라에 의해 출력되는 관심 영역 영상신호들 각각의 영상신호들을 동일한 네트워크 주소이면서 상이한 포트 번호를 가진 패킷으로 변환하여 다중화할 수 있다.For example, interest area image signals output by a plurality of user-specific virtual cameras may be video stream data. In this case, the
예를 들면, 하나의 가상 카메라에 의해 출력되는 관심 영역 영상신호의 주소는 '160,245,200,1:8091'로 할당하고, 다른 가상 카메라에 의해 출력되는 관심 영역 영상신호의 주소는 '160,245,200,1:8092'로 할당할 수 있다. 동일한 IP 주소를 가지는 이들 다중화된 영상 패킷들은 단일의 물리 계층(PHY)인 영상 전송부(240)를 통해 출력될 수 있다.For example, an address of a region of interest image signal outputted by one virtual camera is allocated to '160, 245, 200, 1: 8091', and an address of a region of interest image signal outputted by another virtual camera is allocated to 160,245,200,1: 8092 '. These multiplexed video packets having the same IP address can be output through the
한편, 발명의 부가적인 양상에 따르면, 상기 가상 카메라 관리부(220)가 제어권 회수부(226)를 더 포함할 수 있다. 상기 제어권 회수부(226)는 상기 접속 관리부(221)에 의해 접속 해제 처리된 사용자 단말에게 부여된 가상 카메라에 대한 제어권을 회수한다.According to a further aspect of the present invention, the virtual
즉, 이 실시예는 상기 제어권 부여부(225)에 의해 가상 카메라에 대한 제어권을 부여받은 사용자 단말이 접속 해제되면, 상기 제어권 회수부(226)를 통해 사용자 단말에게 부여된 가상 카메라에 대한 제어권을 회수하도록 한 실시예이다.That is, in this embodiment, when the user terminal that is given the control right to the virtual camera is disconnected by the control
위와 같이 구현함에 의해 본 발명은 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.According to the above-described embodiment, the present invention creates a virtual camera for each user having different ROIs from an image of an offline store photographed by a physical camera, and stores the generated virtual camera in a shopping mall page for streaming, I can feel the same.
이 때, 각 사용자마다 가상 카메라에 대한 팬(Pan)/틸트(Tilt) 제어가 가능하므로, 사용자 마다의 개별 관심 영역(ROI)들이 서로 중첩될 수 있어, 단일 카메라를 이용한 영상 스트리밍시의 팬(Pan)/틸트(Tilt) 제어를 한 사람밖에 할 수 없는 한계를 극복할 수 있다.At this time, since the pan / tilt control for the virtual camera can be performed for each user, individual ROIs for each user can be overlapped with each other, and the fan (s) at the time of video streaming using a single camera Pan / Tilt control can be overcome.
도 10 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 가상 카메라의 일 실시예의 구성을 도시한 블럭도이다. 도 10 에 도시한 바와 같이, 쇼핑몰 페이지의 가상 카메라 영역에 포함되는 가상 카메라(700)는 관심 영역 선택부(710)와, 관심 영역 재생부(720)와, 영상 처리부(730)를 포함한다.10 is a block diagram showing the configuration of an embodiment of a virtual camera of a personalized shopping mall system using a virtual camera according to the present invention. 10, the
상기 실시예1, 실시예2 및 실시예4의 경우, 상기 관심 영역 선택부(710)는 상기 물리적인 카메라(100)에 의해 촬영되는 오프라인 매장의 영상 중 관심 영역을 선택한다. 예컨대, 오프라인 매장의 인기 상품을 진열한 영역을 초기 관심 영역 위치로 저장하고, 이 초기 관심 영역 위치에 대응하는 영역을 상기 관심 영역 선택부(710)가 관심 영역으로 선택하도록 구현될 수 있다. In the case of
상기 실시예3의 경우, 상기 관심 영역 선택부(710)는 오프라인 매장 화면에서 특정 3D 객체가 위치한 영역을 관심 영역으로 선택한다. 예컨대, 관심 영역 선택부(710)가 인접 배치된 복수의 물리적인 카메라(100)에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들에 대한 사용자 선택을 통해 특정 3D 객체가 위치한 영역을 관심 영역으로 선택하도록 구현될 수 있다.In the case of the third embodiment, the
상기 실시예1, 실시예2 및 실시예4의 경우, 상기 관심 영역 재생부(720)는 상기 관심 영역 선택부(710)에 의해 선택된 관심 영역의 영상을 재생한다. 이에 따라, 사용자는 가상 카메라에 의해 실시간 스트리밍되는 오프라인 매장의 관심 영역 영상을 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌으로 온라인 쇼핑을 즐기게 된다.In the case of
상기 실시예3의 경우, 상기 관심 영역 재생부(720)는 상기 관심 영역 선택부(710)에 의해 선택된 관심 영역의 3D 객체를 랜더링하여 표시한다. 이에 따라, 사용자는 가상 카메라에 의해 실시간 랜더링 되어 표시되는 관심 영역의 3D 객체를 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌으로 온라인 쇼핑을 즐기게 된다.In the case of the third embodiment, the
상기 실시예1, 실시예2 및 실시예4의 경우, 상기 영상 처리부(730)는 사용자 단말의 조작에 따라, 상기 관심 영역 재생부(720)에 의해 재생되는 관심 영역의 영상을 화면 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 처리한다.In the case of
상기 실시예 3의 경우, 상기 영상 처리부(730)는 사용자 단말의 조작에 따라, 상기 관심 영역 재생부(720)에 의해 랜더링되어 표시되는 3D 객체를 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 처리한다.In the case of the third embodiment, the
한편, 상기 관심 영역 재생부(720)가 관심 영역내에 겹치는 복수의 3D 객체가 존재할 경우, 이들 중 선택된 특정의 3D 객체만 표시하도록 구현될 수 있다. 즉, 랜더링 표시되기를 원하는 관심 3D 객체와 겹치는 다른 3D 객체가 전경 또는 배경 객체로 존재할 경우, 상기 관심 영역 재생부(720)가 랜더링 표시되기를 원하는 관심 3D 객체만 선택하여 표시하도록 하는 것으로, 랜더링 표시되기를 원하는 관심 3D 객체는 관심 영역 선택부(710)에 의해 선택될 수 있다.Meanwhile, when there are a plurality of 3D objects overlapping within the area of interest of the
상기 실시예1, 실시예2 및 실시예4의 경우, 관심 영역 선택부(710)에 의해 선택되어 관심 영역 재생부(720)에 의해 재생되는 관심 영역 영상은 가상 카메라에 대한 제어권을 부여받은 사용자 단말의 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out) 조작에 의해 변경된다.In the case of the first, second, and fourth embodiments, the region of interest image selected by the region of
사용자 단말의 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out) 조작에 따라 상기 영상 처리부(730)는 관심 영역의 영상을 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 처리한다.The
상기 실시예3의 경우, 관심 영역 선택부(710)에 의해 선택되어 관심 영역 재생부(720)에 의해 재생되는 관심 영역 영상은 가상 카메라에 대한 제어권을 부여받은 사용자 단말의 3D 객체 회전(Rotation) 또는 카메라 화면 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 조작에 의해 변경된다.In the case of the third embodiment, the ROI selected by the
사용자 단말의 3D 객체 회전(Rotation) 또는 카메라 화면 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 조작에 따라 상기 영상 처리부(730)는 관심 영역의 영상에 포함되는 3D 객체를 회전(Rotation) 또는 관심 영역의 영상을 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 처리한다.The
한편, 발명의 부가적인 양상에 따르면, 상기 가상 카메라(700)가 모의 팬틸트줌 처리부(740)를 더 포함할 수 있다. 상기 모의 팬틸트줌 처리부(740)는 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 조작신호에 따라, 관심 영역 재생부(720)에 의해 재생되는 관심 영역의 영상을 가상 카메라 영역 범위내에서 소프트웨어적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 가상 카메라 제어 명령을 상기 영상 처리부(730)로 출력한다.According to an additional aspect of the present invention, the
사용자가 사용자 단말을 통해 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 조작을 하면, 모의 팬틸트줌 처리부(740)는 사용자 조작에 대응하여 관심 영역 재생부(720)에 의해 재생되는 관심 영역의 영상을 팬/틸트하거나 줌인/줌아웃하도록 지시하는 가상 카메라 제어 명령을 상기 영상 처리부(730)로 출력하고, 영상 처리부(730)는 가상 카메라 영역 범위내에서 관심 영역의 영상을 소프트웨어적으로 팬/틸트하거나 줌인/줌아웃시킴으로써 관심 영역이 변경된다.When the user performs a Pan / Tilt or Zoom In / Zoom Out operation through the user terminal, the simulated pan /
한편, 발명의 부가적인 양상에 따르면, 상기 가상 카메라(700)가 광학 팬틸트줌 처리부(750)를 더 포함할 수 있다. 상기 광학 팬틸트줌 처리부(750)는 관심 영역 재생부(720)에 의해 재생되는 관심 영역의 영상이 가상 카메라 영역 범위를 벗어날 경우, 물리적인 카메라(100)를 물리적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 물리적인 카메라 구동 명령을 물리적인 카메라(100)로 출력한다.According to an additional aspect of the present invention, the
모의 팬틸트줌 처리부(740)에 의한 가상 카메라에 대한 소프트웨어적인 팬/틸트 또는 줌인/줌아웃 제어에는 한계가 있다. 관심 영역의 영상이 가상 카메라 영역 범위를 벗어날 경우, 가상 카메라에 대한 소프트웨어적인 팬/틸트 또는 줌인/줌아웃 제어는 불가능하고, 대신 광학 팬틸트줌 처리부(750)를 통해 물리적인 카메라(100)를 직접 팬/틸트 또는 줌인/줌아웃 제어해야 한다.There is a limit in software-based pan / tilt or zoom in / out control of the virtual camera by the simulated pan /
사용자 단말을 통한 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 조작에 의해 관심 영역의 영상이 가상 카메라 영역 범위를 벗어나면, 광학 팬틸트줌 처리부(750)가 물리적인 카메라(100)를 물리적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 물리적인 카메라 구동 명령을 물리적인 카메라(100)로 출력하고, 물리적인 카메라(100)는 가상 카메라 영역 범위를 벗어난 위치로 물리적으로 팬/틸트하거나 줌인/줌아웃시킴으로써 관심 영역이 변경된다.When the image of the region of interest is out of the virtual camera range by a pan / tilt operation or a zoom in / zoom out operation through the user terminal, the optical panning /
한편, 발명의 부가적인 양상에 따르면, 상기 가상 카메라(700)가 설정정보 저장부(760)와, 가상 카메라 설정부(770)를 더 포함할 수 있다. According to a further aspect of the present invention, the
상기 설정정보 저장부(760)는 가상 카메라 설정정보를 저장한다. 예컨대, 상기 가상 카메라 설정정보가 초기 관심 영역 위치, 관심 영역 크기, 해상도, 품질, 압축 포맷, 가상 카메라 영역 패턴 중 적어도 하나를 포함할 수 있다.The setting
상기 가상 카메라 설정부(770)는 사용자로부터 가상 카메라 설정 정보를 입력받아 상기 설정정보 저장부(760)에 저장한다. 예컨대, 상기 가상 카메라 설정부(770)가 초기 관심 영역 위치, 관심 영역 크기, 해상도, 품질, 압축 포맷, 가상 카메라 영역 패턴 중 적어도 하나를 가상 카메라 설정 정보로 설정하도록 구현될 수 있다.The virtual
한편, 발명의 부가적인 양상에 따르면, 상기 영상 처리부(730)가 메모리(731)와, 관심 영역 추출부(732)와, 영상 스케일러(733)와, 코덱(734)을 포함할 수 있다.According to a further aspect of the present invention, the
상기 메모리(731)는 물리적인 카메라에 의해 촬영되는 매장 영상을 저장한다. 예컨대, 상기 메모리(731)가 물리적인 카메라에 의해 촬영되는 매장 영상 신호를 버퍼링하여 프레임별로 저장하는 반도체 메모리일 수 있다. 이 때, 상기 메모리(731)에 저장되는 매장 영상의 크기는 물리적인 카메라에 의해 촬영되는 매장 영상의 크기와 동일하거나 이보다 작을 수 있다. The
상기 관심 영역 추출부(732)는 상기 메모리(731)에 저장되는 매장 영상으로부터 상기 관심 영역 선택부(710)에 의해 선택된 관심 영역의 영상을 카메라 설정 정보에 설정된 관심 영역 크기로 추출한다.The
예컨대, 상기 관심 영역 추출부(732)가 메모리(731)에 버퍼링되어 저장되는 매장 영상 프레임들로부터 관심 영역 크기의 관심 영역 영상을 실시간 추출하도록 구현될 수 있다. 이 때, 관심 영역 크기는 메모리(731)에 버퍼링되어 저장되는 매장 영상 크기보다 작아야 한다.For example, the
상기 영상 스케일러(733)는 상기 관심 영역 추출부(732)에 의해 추출된 관심 영역 영상을 카메라 설정 정보에 설정된 해상도로 변환한다. 예컨대, 카메라 설정 정보에 설정된 해상도가 '640*480'이라면, 상기 영상 스케일러(733)가 관심 영역 영상을 '640*480' 해상도로 변환할 수 있다.The
상기 코덱(734)은 상기 영상 스케일러(733)에 의해 변환된 관심 영역 영상을 카메라 설정 정보에 설정된 압측 포맷으로 압축한다. 예컨대, 상기 코덱(734)이 MPEG-2와 같은 특정한 포맷으로 관심 영역 영상을 압축하여 출력할 수 있다.The
한편, 발명의 부가적인 양상에 따르면, 상기 영상 처리부(730)가 프레임율 변환부(735)를 더 포함할 수 있다. 상기 프레임율 변환부(735)는 카메라 설정 정보에 설정된 품질에 맞게 관심 영역 영상의 프레임율을 변환한다. 이 때, 카메라 설정 정보에 설정되는 품질이 고품질/중품질/저품질 등과 같이 단계적으로 설정될 수 있고, 상기 프레임율 변환부(735)가 관심 영역 영상의 품질이 고품질로 설정될 수록 프레임율을 상대적으로 높게 변환한다. According to an additional aspect of the present invention, the
한편, 발명의 부가적인 양상에 따르면, 상기 영상 처리부(730)가 영상 분석(Video Analytic) 기술을 이용해 관심 영역의 영상으로부터 배경(Background) 객체와 전경(Foreground) 객체를 추출하고, 전경 객체가 제거된 배경 객체만 포함하는 관심 영역의 영상이 상기 관심 영역 재생부(720)를 통해 재생되도록 구현될 수 있다.According to a further aspect of the present invention, the
예컨대, '배경 영상만 재생'하는 메뉴를 제공하여, 사용자로부터 '배경 영상만 재생'하는 메뉴 선택이 있을 경우, 상기 영상 처리부(730)가 전경 객체가 제거된 배경 객체만 포함하는 관심 영역의 영상을 재생하도록 구현될 수 있다. For example, when there is a menu for 'playing back only background image', a menu for 'playing only background image' is provided, and if the user selects a menu for 'playing back background image only', the
이 실시예는 매장의 진열된 '상품'과 카메라 사이를 사람이 지나다니거나 머무를 경우 상품이 가려져 안보이므로, 배경 객체인 상품만 보이도록 전경 객체인 사람을 제거하여 재생하도록 한 실시예이다.This embodiment is an embodiment in which a person who is a foreground object is removed and reproduced so that only a product as a background object is displayed because a product is hidden because a product is hidden when a person passes or remains between the displayed 'merchandise' of the store and the camera.
한편, 발명의 부가적인 양상에 따르면, 상기 영상 처리부(730)가 관심 영역의 영상으로부터 사람을 인식하고, 인식된 사람의 얼굴을 마스킹(Masking) 처리하도록 구현될 수 있다.According to an additional aspect of the present invention, the
예컨대, 상기 영상 처리부(730)가 관심 영역내에 존재하는 복수의 객체 중 사람을 인식하고, 인식된 사람의 얼굴을 마스킹(Masking) 처리하도록 구현될 수 있다.For example, the
이 실시예는 오프라인 매장에서 쇼핑하는 손님들의 얼굴이 매스킹된 매장 영상을 온라인 사용자들에게 제공함으로써 오프라인 매장에서 쇼핑하는 손님들을 식별 불가능하도록 하여 개인정보를 보호할 수 있도록 한 실시예이다.This embodiment provides a store image in which customers' shopping faces in an offline store are mass-mapped to online users, thereby making it impossible to identify customers who shop in the offline store, thereby protecting personal information.
이상에서 설명한 바와 같은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작을 도 11 내지 도 14 를 통해 알아본다. The shopping mall page providing operation of the personalized shopping mall system using the virtual camera according to the present invention as described above will be described with reference to FIGS. 11 to 14. FIG.
도 11 은 도 1 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다. 11 is a flowchart illustrating an example of a shopping mall page providing operation of the personalized shopping mall system using the virtual camera shown in Fig.
먼저, 단계 810에서 사용자 단말이 접속되면 영상 처리 장치가 사용자 단말로 제공될 가상 카메라를 생성한다.First, in
그리고, 단계 820에서 영상 처리 장치가 상기 단계 810에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다.In
그리고, 단계 830에서 영상 처리 장치가 상기 단계 820에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.In
그리고, 단계 840에서 영상 처리 장치가 상기 단계 830에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다.In
그러면, 단계 850에서 오프라인 매장에 설치된 물리적인 카메라에 의해 실시간 촬영되는 오프라인 매장의 영상 중 관심 영역 영상이 사용자 단말로 제공되는 쇼핑몰 페이지의 가상 카메라 영역에 포함되는 가상 카메라에 의해 재생된다.Then, in
그리고, 단계 860에서 가상 카메라에 대한 제어권을 부여받은 사용자 단말의 가상 카메라 영역에 포함되는 가상 카메라에 의해 재생되는 관심 영역 영상에 대한 사용자의 조작에 따라 관심 영역 영상의 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 동작이 수행된다.Then, in
이와 같이 구현함에 의해 본 발명은 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.According to the present invention, a virtual camera for each user having different ROIs is generated from an image of an offline store photographed by a physical camera, and the virtual camera is streamed by including the virtual camera in a shopping mall page, I can feel the same.
도 12 는 도 2 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.12 is a flowchart illustrating an example of a shopping mall page providing operation of the personalized shopping mall system using the virtual camera shown in Fig.
먼저, 단계 910에서 사용자 단말이 접속되면 영상 처리 장치가 사용자 단말로 제공될 가상 카메라를 생성한다.First, when a user terminal is connected in
그리고, 단계 920에서 영상 처리 장치가 상기 단계 910에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다.In
그리고, 단계 930에서 영상 처리 장치가 상기 단계 920에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.In
그리고, 단계 940에서 영상 처리 장치가 상기 단계 930에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다.In
그러면, 단계 950에서 오프라인 매장에 설치된 다수의 물리적인 카메라에 의해 각각 실시간 촬영되는 오프라인 매장의 영상들이 순차적으로 연결되어 구성되는 오프라인 매장 화면 중에서 관심 영역 영상이 사용자 단말로 제공되는 쇼핑몰 페이지의 가상 카메라 영역에 포함되는 가상 카메라에 의해 재생된다.Then, in
그리고, 단계 960에서 가상 카메라에 대한 제어권을 부여받은 사용자 단말의 가상 카메라 영역에 포함되는 가상 카메라에 의해 재생되는 관심 영역 영상에 대한 사용자의 조작에 따라 관심 영역 영상의 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 동작이 수행된다.Then, in
이와 같이 구현함에 의해 본 발명은 다수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 순차적으로 연결하여 구성한 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.According to the present invention, a virtual camera for each user having different ROIs is generated from an offline store screen formed by sequentially connecting images of an offline store photographed by a plurality of physical cameras, Streaming to the user can give the user the same feeling of shopping in a real offline store.
도 13 은 도 5 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.13 is a flowchart illustrating an example of a shopping mall page providing operation of the personalized shopping mall system using the virtual camera shown in Fig.
먼저, 단계 1010에서 사용자 단말이 접속되면 영상 처리 장치가 사용자 단말로 제공될 가상 카메라를 생성한다.First, in
그리고, 단계 1020에서 영상 처리 장치가 상기 단계 1010에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다.In
이 때, 쇼핑몰 페이지의 가상 카메라 영역에는 인접 배치된 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들 중 선택된 특정의 3D 객체가 포함될 수 있다.At this time, the virtual camera area of the shopping mall page may include a selected specific 3D object among the 3D objects detected using the stereo visual difference of the 2D images of the off-line stores, which are respectively shot by the plurality of physical cameras disposed adjacent to each other.
그리고, 단계 1030에서 영상 처리 장치가 상기 단계 1020에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다. 이 때, 쇼핑몰 페이지에 포함되는 가상 카메라를 통해 3D 객체가 랜더링되어 표시된다. In
그리고, 단계 1040에서 영상 처리 장치가 상기 단계 1030에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라를 통해 랜더링되어 표시되는 3D 객체에 대한 제어권을 해당 사용자 단말에 부여한다.In
그러면, 단계 1050에서 영상 처리 장치가 3D 객체에 대한 제어권을 부여받은 사용자 단말로부터의 사용자 조작에 따라, 가상 카메라를 통해 랜더링되어 표시되는 3D 객체에 대한 제어를 수행된다.Then, in
이 때, 3D 객체에 대한 제어가 가상 카메라에 의해 랜더링되어 표시되는 3D 객체에 대한 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 제어일 수 있다.In this case, the control for the 3D object may be a rotation or zoom in / zoom out (Zoom Out) or a pan / tilt (Tilt) control for the 3D object rendered by the virtual camera. have.
이와 같이 구현함에 의해 본 발명은 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들을 포함하는 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.According to the present invention, there is provided an offline store screen including 3D objects detected using a stereo visual difference of 2D images of offline stores photographed by a plurality of physical cameras, A plurality of different virtual cameras for each user having the region in which the 3D objects are located as ROIs are created and streamed by including them in the shopping mall page to give the user the feeling of shopping in a real offline store.
도 14 는 도 7 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다. FIG. 14 is a flowchart illustrating an example of a shopping mall page providing operation of the personalized shopping mall system using the virtual camera shown in FIG. 7;
먼저, 단계 1110에서 사용자 단말이 접속되면 영상 처리 장치가 사용자 단말로 제공될 가상 카메라를 생성한다.First, when a user terminal is connected in
그리고, 단계 1120에서 영상 처리 장치가 상기 단계 1110에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다.In
그리고, 단계 1130에서 영상 처리 장치가 상기 단계 1120에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.Then, in
그리고, 단계 1140에서 영상 처리 장치가 상기 단계 1130에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다.In
그러면, 오프라인 매장에 설치된 물리적인 카메라에 의해 실시간 촬영되는 오프라인 매장의 영상 중 관심 영역 영상이 사용자 단말로 제공되는 쇼핑몰 페이지의 가상 카메라 영역에 포함되는 가상 카메라에 의해 재생된다.Then, the ROI image of the offline store image photographed in real time by the physical camera installed in the offline store is reproduced by the virtual camera included in the virtual camera area of the shopping mall page provided to the user terminal.
이 때, 단계 1150에서 로컬 서버의 스트리밍 부하에 따라, 로컬 서버가 직접 가상 카메라들에 의해 재생되는 관심 영역 영상들을 스트리밍하거나 또는 스트리밍 전용 서버를 통해 간접적으로 가상 카메라들에 의해 재생되는 관심 영역 영상들을 스트리밍한다.At this time, according to the streaming load of the local server in
그리고, 단계 1160에서 가상 카메라에 대한 제어권을 부여받은 사용자 단말의 가상 카메라 영역에 포함되는 가상 카메라에 의해 재생되는 관심 영역 영상에 대한 사용자의 조작에 따라 관심 영역 영상의 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 동작이 수행된다.Then, in
이와 같이 구현함에 의해 본 발명은 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 제공하되, 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있는 쇼핑몰 페이지를 빠른 속도로 제공할 수 있다.According to the present invention, the present invention provides a virtual camera for each user having different ROIs from an image of an offline store photographed by a physical camera, and provides the generated virtual camera to a shopping mall page, It is possible to provide a shopping mall page at a high speed that can give the user the feeling of shopping in the actual offline store by distributing and transmitting the streaming load of the interest area images reproduced by the user-specific virtual cameras included in the area.
도 15 를 참조하여 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 가상 카메라에 관심 영역 추출 동작을 알아본다. 도 15 는 도 10 에 도시한 가상 카메라에 의한 관심 영역 추출 절차의 일 예를 도시한 흐름도이다.Referring to FIG. 15, the operation of extracting a region of interest in a virtual camera of a personalized shopping mall system using a virtual camera according to the present invention will be described. FIG. 15 is a flowchart illustrating an example of a ROI extraction process by the virtual camera shown in FIG.
먼저, 단계 1210에서 가상 카메라가 사용자로부터 가상 카메라 설정 정보를 입력받아 저장한다. 예컨대, 상기 가상 카메라 설정 정보에는 초기 관심 영역 위치, 관심 영역 크기, 해상도, 품질, 압축 포맷, 가상 카메라 영역 패턴 중 적어도 하나가 포함될 수 있다.First, in
그 다음, 단계 1220에서 가상 카메라가 가상 카메라 설정 정보에 설정된 초기 관심 영역 위치를 관심 영역으로 결정하고, 물리적인 카메라로부터 수신되는 매장 영상에서 관심 영역에 대응하는 부분을 관심 영역 크기로 추출하여 재생한다.Next, in
그 다음, 단계 1230에서 사용자로부터 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 조작이 있으면, 가상 카메라가 재생되는 관심 영역의 영상을 가상 카메라 영역 범위내에서 소프트웨어적으로 팬/틸트하거나 줌인/줌아웃시킨다.Then, if there is a pan / tilt operation or a zoom in / zoom out operation from the user in
만약, 사용자로부터의 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 조작에 의해 재생되는 관심 영역의 영상이 가상 카메라 영역 범위(물리적인 카메라 촬영 범위)를 벗어날 경우, 단계 1240에서 가상 카메라가 물리적인 카메라를 물리적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 물리적인 카메라 구동 명령을 물리적인 카메라로 출력한다.If the image of the region of interest reproduced by the user from Pan / Tilt or Zoom In / Zoom Out operation is out of the virtual camera region range (physical camera photographing range) In
이상에서 설명한 바와 같이, 본 발명은 하나의 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.As described above, according to the present invention, a virtual camera for each user having different ROIs from an image of an offline store photographed by a single physical camera is generated and is included in a shopping mall page to be streamed, You can feel like shopping in.
또한, 본 발명은 다수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 순차적으로 연결하여 구성한 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.In addition, the present invention creates a virtual camera for each user having different ROIs from an offline store screen formed by sequentially connecting images of an offline store photographed by a plurality of physical cameras, So that the user can feel like shopping in a real offline store.
또한, 본 발명은 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들을 포함하는 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.The present invention also relates to a method and apparatus for displaying 3D objects from an offline store screen including 3D objects detected using stereoscopic differences of 2D images of offline stores photographed by a plurality of physical cameras, A plurality of different virtual cameras for each user having ROIs are generated and included in the shopping mall page to stream the content to the user so that they feel like shopping in a real offline store.
또한, 본 발명은 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 제공하되, 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있는 쇼핑몰 페이지를 빠른 속도로 제공할 수 있다.According to another aspect of the present invention, a virtual camera for each user having different ROIs from an image of an offline store, which is photographed by a physical camera, is generated and included in a shopping mall page, The streaming load of the region of interest images reproduced by the user-specific virtual cameras is dispersed and transmitted so that a shopping mall page that gives the user the feeling of shopping in the actual offline store can be provided at a high speed.
본 발명은 첨부된 도면에 의해 참조되는 바람직한 실시예를 중심으로 기술되었지만, 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 범위내에서 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. .
본 발명은 온라인 쇼핑몰 관련 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.INDUSTRIAL APPLICABILITY The present invention can be industrially used in the technical field related to on-line shopping mall and its application technology field.
100 : 카메라
200 : 영상 처리 장치
210 : 영상 수신부
220 : 가상 카메라 관리부
221 : 접속 관리부
222 : 가상 카메라 생성부
223 : 쇼핑몰 페이지 생성부
224 : 쇼핑몰 페이지 제공부
225 : 제어권 부여부
226 : 제어권 회수부
230 : 다중화부
240 : 영상 전송부
300 : 로컬 서버
400 : 스트리밍 전용 서버
500 : 쇼핑몰 관리서버
600 : 쇼핑몰 페이지
610 : 가상 카메라 영역
620 : 관심 상품 영역
630 : 화상 채팅 영역
640 : 매장 정보 영역
700 : 가상 카메라
710 : 관심 영역 선택부
720 : 관심 영역 재생부
730 : 영상 처리부
731 : 메모리
732 : 관심 영역 추출부
733 : 영상 스케일러
734 : 코덱
735 : 프레임율 변환부
740 : 모의 팬틸트줌 처리부
750 : 광학 팬틸트줌 처리부
760 : 설정정보 저장부
770 : 가상 카메라 설정부100: camera
200: image processing device
210:
220: Virtual camera management unit
221:
222: Virtual camera creation section
223: Shopping Mall Page Generation Unit
224: shopping mall page offerings
225: Whether or not control is granted
226:
230: multiplexer
240:
300: Local server
400: Streaming dedicated server
500: shopping mall management server
600: Shopping Mall Page
610: Virtual camera area
620: Interested goods area
630: Video chat area
640: store information area
700: Virtual camera
710:
720:
730:
731: Memory
732: ROI extracting unit
733: Image Scaler
734: Codec
735: frame rate conversion unit
740: a simulated pan tilt zoom processor
750: Optical pan tilt zoom processor
760: Setting information storage unit
770: Virtual camera setting unit
Claims (1)
상기 인접 배치된 복수의 물리적인 고정 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 수신하는 영상 수신부와, 상기 영상 수신부에 의해 수신된 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 3D 객체들을 검출하고, 검출된 3D 객체들을 포함하는 오프라인 매장 화면을 구성하고, 구성된 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하는 가상 카메라 관리부를 포함하는 영상 처리 장치와;
오프라인 매장 화면에서 특정 3D 객체가 위치한 영역을 관심 영역으로 선택하는 관심 영역 선택부와, 상기 관심 영역 선택부에 의해 선택된 관심 영역의 3D 객체를 랜더링하여 표시하는 관심 영역 재생부와, 사용자 단말의 조작에 따라, 상기 관심 영역 재생부에 의해 랜더링되어 표시되는 3D 객체를 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 처리하되, 관심 영역의 영상에서 전경(Foreground) 3D 객체를 제거하여 배경(Background) 3D 객체만 포함되도록 함으로써 전경 3D 객체에 의해 배경 3D 객체가 가려지는 것을 방지하는 영상 처리부를 포함하는 가상 카메라를;
포함하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.A plurality of physical fixed cameras disposed adjacent to each other and photographing images of the stores in real time;
An image receiving unit for receiving images of off-line stores photographed by the plurality of physical fixed cameras disposed adjacent to each other, and a controller for detecting 3D objects by using a stereo visual difference of the 2D images of the offline store received by the image receiver, And a virtual camera management unit configured to construct a plurality of different virtual cameras for each user in which an area where the 3D objects are located is an ROI from the configured offline store screen, Wow;
An interest area reproducing unit for rendering and displaying a 3D object of a region of interest selected by the ROI selecting unit, (Zoom In) / Zoom Out (Zoom Out) or Pan / Tilt (Tilt) of the 3D object rendered and displayed by the ROI reproducing unit, A foreground 3D object is removed from the foreground 3D object to include only the background 3D object, thereby preventing the background 3D object from being covered by the foreground 3D object;
Personalized shopping mall system using embedded virtual camera.
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20150127917 | 2015-09-09 | ||
KR1020150127917 | 2015-09-09 | ||
KR20150134902 | 2015-09-23 | ||
KR1020150134902 | 2015-09-23 | ||
KR1020150162825 | 2015-11-19 | ||
KR20150162825 | 2015-11-19 | ||
KR1020160006535 | 2016-01-19 | ||
KR20160006535 | 2016-01-19 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160071102A Division KR20170030421A (en) | 2015-09-09 | 2016-06-08 | Personalized shopping mall system using virtual camera |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20180004068A true KR20180004068A (en) | 2018-01-10 |
Family
ID=58502032
Family Applications (8)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160071099A KR102191047B1 (en) | 2015-09-09 | 2016-06-08 | Personalized shopping mall system using virtual camera |
KR1020160071103A KR102191067B1 (en) | 2015-09-09 | 2016-06-08 | Personalized shopping mall system using virtual camera |
KR1020160071101A KR102191050B1 (en) | 2015-09-09 | 2016-06-08 | Personalized shopping mall system using virtual camera |
KR1020160071102A KR20170030421A (en) | 2015-09-09 | 2016-06-08 | Personalized shopping mall system using virtual camera |
KR1020170181137A KR20180004067A (en) | 2015-09-09 | 2017-12-27 | Personalized shopping mall system using virtual camera |
KR1020170181139A KR20180004068A (en) | 2015-09-09 | 2017-12-27 | Personalized shopping mall system using virtual camera |
KR1020170181138A KR20180001550A (en) | 2015-09-09 | 2017-12-27 | Personalized shopping mall system using virtual camera |
KR1020170181140A KR20180001551A (en) | 2015-09-09 | 2017-12-27 | Personalized shopping mall system using virtual camera |
Family Applications Before (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160071099A KR102191047B1 (en) | 2015-09-09 | 2016-06-08 | Personalized shopping mall system using virtual camera |
KR1020160071103A KR102191067B1 (en) | 2015-09-09 | 2016-06-08 | Personalized shopping mall system using virtual camera |
KR1020160071101A KR102191050B1 (en) | 2015-09-09 | 2016-06-08 | Personalized shopping mall system using virtual camera |
KR1020160071102A KR20170030421A (en) | 2015-09-09 | 2016-06-08 | Personalized shopping mall system using virtual camera |
KR1020170181137A KR20180004067A (en) | 2015-09-09 | 2017-12-27 | Personalized shopping mall system using virtual camera |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170181138A KR20180001550A (en) | 2015-09-09 | 2017-12-27 | Personalized shopping mall system using virtual camera |
KR1020170181140A KR20180001551A (en) | 2015-09-09 | 2017-12-27 | Personalized shopping mall system using virtual camera |
Country Status (1)
Country | Link |
---|---|
KR (8) | KR102191047B1 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108876878B (en) * | 2017-05-08 | 2021-11-09 | 腾讯科技(深圳)有限公司 | Head portrait generation method and device |
KR101972331B1 (en) | 2017-08-29 | 2019-04-25 | 키튼플래닛 주식회사 | Image alignment method and apparatus thereof |
KR102582745B1 (en) | 2018-02-08 | 2023-09-25 | 라인플러스 주식회사 | Method and system for providing a chat room in three-dimensional form and non-transitory computer-readable recording medium |
US12104741B2 (en) | 2018-09-25 | 2024-10-01 | Legged Thing Limited | Reversible L-bracket |
GB2577496B (en) | 2018-09-25 | 2022-06-08 | 3 Legged Thing Ltd | Reversible L-Bracket |
KR102239015B1 (en) * | 2019-04-19 | 2021-04-13 | 키튼플래닛 주식회사 | Image alignment method and apparatus thereof |
GB2584304B (en) | 2019-05-29 | 2021-12-29 | 3 Legged Thing Ltd | L-bracket |
EP3983873A1 (en) * | 2019-09-09 | 2022-04-20 | Apple Inc. | Positional synchronization of virtual and physical cameras |
US20240236281A9 (en) * | 2021-02-26 | 2024-07-11 | Ad Connected, Inc. | Method and apparatus for generating 3d image by recording digital content |
CN116596611A (en) * | 2023-04-15 | 2023-08-15 | 阿里巴巴(中国)有限公司 | Commodity object information display method and electronic equipment |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6141145A (en) * | 1998-08-28 | 2000-10-31 | Lucent Technologies | Stereo panoramic viewing system |
JP2001051890A (en) * | 1999-08-10 | 2001-02-23 | Toshiba Corp | Virtual decentralized file server system |
KR100388419B1 (en) * | 2000-05-10 | 2003-06-25 | 김석배 | Electronic commerce system using real images in internet |
KR20010025404A (en) * | 2000-12-22 | 2001-04-06 | 유명현 | System and Method for Virtual Advertisement Insertion Using Camera Motion Analysis |
US7823058B2 (en) * | 2002-12-30 | 2010-10-26 | The Board Of Trustees Of The Leland Stanford Junior University | Methods and apparatus for interactive point-of-view authoring of digital video content |
KR20090041192A (en) * | 2007-10-23 | 2009-04-28 | 에스케이 텔레콤주식회사 | Method, system and server for providing virtual shopping space |
KR101116789B1 (en) | 2009-12-23 | 2012-03-13 | 클레어픽셀 주식회사 | Supervisory camera apparatus and video data processing method |
KR20130039652A (en) | 2011-10-12 | 2013-04-22 | 한국전자통신연구원 | Method and apparatus for load balancing of content centric network |
US20130182184A1 (en) * | 2012-01-13 | 2013-07-18 | Turgay Senlet | Video background inpainting |
KR101215948B1 (en) * | 2012-04-02 | 2012-12-27 | 주식회사 뉴인테크 | Image information masking method of monitoring system based on face recognition and body information |
KR20140092211A (en) * | 2013-01-15 | 2014-07-23 | 삼성전자주식회사 | Method and Apparatus of Performing Virtual Camera Functions During Playback of Media Content |
KR101513180B1 (en) * | 2013-09-10 | 2015-04-17 | 주식회사 제론헬스케어 | System for a real-time cashing event summarization in surveillance images and the method thereof |
KR101484736B1 (en) * | 2013-12-05 | 2015-01-22 | 최명진 | Shopping-mall System for Product of Interactive Online Store based Mirror World. |
-
2016
- 2016-06-08 KR KR1020160071099A patent/KR102191047B1/en active IP Right Grant
- 2016-06-08 KR KR1020160071103A patent/KR102191067B1/en active IP Right Grant
- 2016-06-08 KR KR1020160071101A patent/KR102191050B1/en active IP Right Grant
- 2016-06-08 KR KR1020160071102A patent/KR20170030421A/en not_active IP Right Cessation
-
2017
- 2017-12-27 KR KR1020170181137A patent/KR20180004067A/en not_active Application Discontinuation
- 2017-12-27 KR KR1020170181139A patent/KR20180004068A/en not_active Application Discontinuation
- 2017-12-27 KR KR1020170181138A patent/KR20180001550A/en not_active Application Discontinuation
- 2017-12-27 KR KR1020170181140A patent/KR20180001551A/en not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
KR20170030422A (en) | 2017-03-17 |
KR102191050B1 (en) | 2020-12-14 |
KR102191067B1 (en) | 2020-12-14 |
KR20170030420A (en) | 2017-03-17 |
KR20170030421A (en) | 2017-03-17 |
KR20180001551A (en) | 2018-01-04 |
KR20180004067A (en) | 2018-01-10 |
KR102191047B1 (en) | 2020-12-14 |
KR20170030419A (en) | 2017-03-17 |
KR20180001550A (en) | 2018-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9967446B2 (en) | Personalized shopping mall system using virtual camera | |
KR20180004068A (en) | Personalized shopping mall system using virtual camera | |
US10650244B2 (en) | Video conferencing system and related methods | |
JP7135141B2 (en) | Information processing system, information processing method, and information processing program | |
EP2406951B1 (en) | System and method for providing three dimensional imaging in a network environment | |
US9965026B2 (en) | Interactive video display method, device, and system | |
KR102069930B1 (en) | Immersion communication client and server, and method for obtaining content view | |
EP3451674A1 (en) | Information processing device and information processing method, and three-dimensional image data transmission method | |
KR102551691B1 (en) | Information processing system, information processing method, and storage medium | |
JP2018117312A (en) | Video distribution system, user terminal and video distribution method | |
CN111882669A (en) | Virtual reality equipment, control method thereof and mobile device control method | |
US20180338093A1 (en) | Eye-tracking-based image transmission method, device and system | |
CN114651448B (en) | Information processing system, information processing method, and program | |
CN115225915B (en) | Live recording device, live recording system and live recording method | |
CN114143460A (en) | Video display method and device and electronic equipment | |
Seo et al. | Immersive panorama TV service system | |
CN115039410B (en) | Information processing system, information processing method, and program | |
JP2002262138A (en) | Image pickup system, video conference system, monitoring system, and information terminal with image pickup function | |
KR102337699B1 (en) | Method and apparatus for image processing | |
Hanák et al. | Building a panoramic recording and presentation system for telepresence | |
JP2002354471A (en) | On-demand viewing system and its program, and recording medium and its method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |