JP7443314B2 - 3dテレプレゼンスシステム - Google Patents
3dテレプレゼンスシステム Download PDFInfo
- Publication number
- JP7443314B2 JP7443314B2 JP2021170889A JP2021170889A JP7443314B2 JP 7443314 B2 JP7443314 B2 JP 7443314B2 JP 2021170889 A JP2021170889 A JP 2021170889A JP 2021170889 A JP2021170889 A JP 2021170889A JP 7443314 B2 JP7443314 B2 JP 7443314B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- user
- infrared
- image
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000463 material Substances 0.000 claims description 47
- 230000015654 memory Effects 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 32
- 230000005855 radiation Effects 0.000 claims description 27
- 230000000694 effects Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 13
- 239000011521 glass Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004090 dissolution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003472 neutralizing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
- G02F1/291—Two-dimensional analogue deflection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4113—PC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Acoustics & Sound (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Marketing (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本願は、2016年9月9日に出願され、「3Dテレプレゼンスシステム」と題された米国特許仮出願第62/385685号の優先権を主張し、当該出願の全ての内容は、参照により本明細書に組み込まれる。
テレビ会議システムなどの会議システムは、様々な環境に使用され、参加者が同一の場所にいる必要がなく、仮想会議を行う可能性を与える。テレビ会議システムは、例えば、ディスプレイ、通信リンク、スピーカおよびマイクロホンを備えるため、参加者は、リモート参加者を見ることができ、リモート参加者と通信することができる。参加者が話す相手を見ることができるため、テレビ会議システムは、書面または口頭による通信よりも、議論されている話題をより良く理解することができる。また、テレビ会議システムの場合、全ての参加者が同一の場所にいる必要がないため、会議の予定をより簡単に行うことができる。さらに、テレビ会議システムの場合、移動する必要がないため、資源(例えば、時間および金銭)の浪費を減らすことができる。従来のテレビ会議システムは、通常、通信システム(例えば、電話、VoIPシステムなど)、標準のビデオモニタ(例えば、CRTディスプレイ、プラズマディスプレイ、HDディスプレイ、LEDディスプレイ、またはLCDディスプレイ)、カメラ、マイクロホン、およびスピーカを含む。
以下の本開示の実施形態は、テレビ会議システムおよびテレプレゼンスシステムに関する。少なくともいくつかの実装形態は、ヘッドマウントディスプレイ、ヘッドフォン、および/または他の任意種類の物理的な部材を使用しない3Dテレプレゼンスを提供する。
び第2表示画像は、視差をシミュレートする差異を有するように、決定されたユーザの位置に基づいて生成されてもよい。
第1赤外線および第2赤外線に基づいて、取得された深度データを決定すること、および画像センサによって捕捉された可視光に基づいて、取得された画像データを決定することを含むことができる。また、方法は、取得された深度データおよび取得された画像データをリモート端末に伝達することを含むことができる。方法は、画素グリッドの第1サブセットを用いて、リモート端末から受信された画像データに基づいて、第1位置からマイクロレンズアレイを通って見える第1表示画像を生成することと、画素グリッドの第2サブセットを用いて、リモート端末から受信された画像データおよび深度データに基づいて、第2位置からマイクロレンズアレイを通って見える第2表示画像を生成することとをさらに含むことができる。
レンズ上に生成されてもよい。いくつかの実施形態において、第1方向は、第1画像の一部を表示するように、複数の画素から第1画素を選択することによって決定されてもよく、第2方向は、第2画像の一部を表示するように、複数の画素から第2画素を選択することによって決定されてもよい。
従来のテレビ会議システムは、(例えば、ビデオを有しない)リモート会議よりも対面会議に近い体験を提供するが、「実在の」会議体験を損なう制限を有する。例えば、伝統的なテレビ会議のディスプレイは、2D画像を提示し、実在の深度を表現する能力が限られている。その結果、テレビ会議の参加者は、他の参加者との共存感を有しない。さらに、従来のテレビ会議システムのカメラの配置によって、参加者は、直接なアイコンタクトを取ることができない。すなわち、各参加者が各々のディスプレイを直視しているが、カメラは、ディスプレイを通って参加者の画像を取得していない。一部のテレビ会議システムは、仮想現実に近いテレビ会議体験を提供するが、この場合、3D画像の表現を体験するために、参加者は、ヘッドマウントディスプレイ、ゴーグルまたは3Dメガネを着用する必要がある。
画像を生成することができる。
実施形態において、ディスプレイ125は、メガネを使用する必要のない3Dレンチキュラディスプレイを含むことができる。ディスプレイ125は、複数のマイクロレンズからなるマイクロレンズアレイを含むことができる。いくつかの実施形態において、マイクロレンズアレイのマイクロレンズを用いて、第1位置から見える第1表示画像および第2位置から見える第2表示画像を生成することができる。ディスプレイ125は、視差をシミュレートするように、ユーザの第1眼の位置に対応する第1位置からマイクロレンズアレイを通って見られるように画素グリッドの一部に第1表示画像を形成し、ユーザの第2眼の位置に対応する第2位置からマイクロレンズアレイを通って見られるように画素グリッドの一部に第1表示画像から深度シフトされるものを表す第2表示画像を形成することによって、3D立体画像を生成することができる。例えば、画素グリッドは、マイクロレンズアレイを通って参加者の左眼によって見られるように意図した第1表示画像を表示することができ、マイクロレンズアレイを通って参加者の右眼によって見られるように意図した第2表示画像を表示することができる。第1位置および第2位置は、ディスプレイに対する視聴者の位置(例えば、横方向/垂直方向の場所、位置、深度、左眼または右眼の位置)に基づくことができる。いくつかの実施形態において、第1表示画像を生成するための第1方向および第2表示画像を生成するための第2方向は、マイクロレンズアレイに関連する画素のアレイから、特定の画素を選択することによって決定されてもよい。
て、テレビ会議中にアイコンタクトをシミュレートするために、カメラアセンブリ180をディスプレイ125の後方に配置することができる。いくつかの実施形態において、ディスプレイ125は、人間の目またはカメラレンズに容易に検知できない程十分に小さい有機発光ダイオード(OLED)を含むことができる。これによって、ディスプレイ125は、事実上透明である。また、これらのOLEDは、十分な明るさを有することができる。そのため、これらのOLEDが点灯されたときに、発光面積が各OLEDの面積よりも著しく大きい。その結果、OLEDは、人間の目またはカメラレンズには容易に見えなくても、十分な明るさでディスプレイ125を照らすことができ、隙間なく表示画像を形成することができる。切替可能な透明の3Dレンチキュラディスプレイにおいて、OLEDは、ガラスを連続するOLED列の間に配置するように、ガラス基板に埋め込まれてもよい。このように配置することによって、ディスプレイ125は、OLEDが点灯されていないときに透明になるが、OLEDが点灯されているときに(ディスプレイ125に表示されている画像によって)不透明になる。
イ125に電流を印加することによって、第2材料からなるマイクロレンズに影響を与えることができる。電流を印加すると、第2材料からなるマイクロレンズの屈折率が変化するため、ディスプレイ125は、レンチキュラアレイとして機能しなくなる(例えば、ディスプレイ125は、透明になるまたはレンチキュラ効果のない透明ガラス板として機能する)。
を付けるまたはテレビ会議に参加している他の端末120に送信されるコメントを付けるために使用され得るキーボードインターフェイスを含むことができる。
上部に配置された第1カメラユニット、ディスプレイ125の左側に配置された第2カメラユニット、およびディスプレイ125の右側に配置された第3カメラユニットを含む。図3Aの実装例において、ディスプレイ125は、メガネを使用する必要のない3Dレンチキュラディスプレイであってもよい。いくつかの実施形態によれば、カメラアセンブリ180の各カメラユニット182は、レンズ310と、赤外線エミッタ320とを含むことができる。カメラユニット182は、レンズ310を用いて、端末120のユーザに対応する可視光および赤外線を捕捉する。いくつかの実施形態において、赤外線エミッタ320は、赤外線を出射することができ、出射された赤外線は、端末120のユーザおよびユーザの周囲から反射され、レンズ310によって捕捉される(以下、図4を参照してより詳細に説明する)。
0において、ローカル端末のカメラユニットは、反射された赤外線を受光する。ステップ530において、カメラユニットの赤外線深度センサは、受光された第2赤外線を取得し、原始データをローカル端末の処理ユニットに提供し、処理ユニットは、第1赤外線と第2赤外線との間の差に基づいて、深度データを決定する。いくつかの実施形態において、ステップ530は、端末120の赤外線深度センサまたは他の構成要素によって実行されてもよい。いくつかの実施形態において、深度データは、第1赤外線と第2赤外線との間の位相オフセットを測定するタイムオブフライト法に基づいて決定される。いくつかの他の実施形態において、アクティブステレオまたは符号化ライトステレオなどの異なる技法を使用することができる。
限定されず、いくつかの実施形態において、プロセス500の少なくともいくつかのステップを異なる順序で実行してもよい。また、いくつかの実施形態において、プロセス500の様々なステップを同時に実行してもよい。
低速拡張ポート614に連結される。様々な通信ポート(例えば、USB、ブルートゥース(登録商標)、イーサネット(登録商標)、無線イーサネット)を含み得る低速拡張ポートは、例えば、キーボード、ポインティング装置、スキャナなどの1つ以上の入出力装置に連結されてもよく、またはネットワークアダプタを介して、スイッチまたはルータなどのネットワーキング装置に連結されてもよい。
することができる。水平深度サンプル間隔は、ディスプレイ725上に3D画像を生成するために使用されるリモート側の深度値間の水平距離に対応する。例えば、システム700の様々な実施形態は、水平深度サンプル間隔に影響を与えることができる。いくつかの実施形態は、0.8mmの水平深度サンプル間隔を有する。しかしながら、他の実施形態は、他の水平深度サンプル間隔を有する。いくつかの実施形態において、水平深度サンプル間隔は、以下の式を用いて計算することができる。
えば、システムのいくつかの実施形態は、少なくとも約2270画素の水平有効解像度を有するディスプレイ725を含む。
メラユニットは、視線追跡を実行してもよい。
Claims (15)
- テレプレゼンス端末であって、
画素グリッドの前方に配置されたマイクロレンズアレイを含むレンチキュラディスプレイと、
画像センサと、
赤外線エミッタと、
赤外線深度センサと、
処理装置と、
命令を格納するメモリとを備え、これらの命令は、実行されると、前記処理装置に、
前記画像センサによって捕捉された可視光に基づいて、画像データを決定することと、
前記赤外線エミッタによって出射され、前記赤外線深度センサによって捕捉された赤外線に基づいて、深度データを決定することと、
前記テレプレゼンス端末のユーザの位置を決定することと、
前記深度データおよび前記画像データをリモート端末に伝達することと、
リモート端末から送信されたリモート画像データおよびリモート深度データを受信することと、
前記リモート画像データに基づいて、前記画素グリッドの第1画素サブセットを用いて、前記決定された位置にいる前記ユーザの第1視点から前記マイクロレンズアレイを通って見える第1表示画像を生成することと、
前記リモート画像データおよび前記リモート深度データに基づいて、前記画素グリッドの第2画素サブセットを用いて、前記決定された位置にいる前記ユーザの第2視点から前記マイクロレンズアレイを通って見える第2表示画像を生成することとを含む動作を実行させ、
前記第1表示画像および前記第2表示画像は、視差をシミュレートするように、前記ユーザの前記決定された位置に基づいて生成され、
シミュレートされた前記視差は、前記リモート端末のリモートユーザの肖像を前記ユーザと対面するように前記ユーザから前記マイクロレンズアレイの反対側のオフセット距離(O)に表示させ、
前記深度データは、前記レンチキュラディスプレイから前記ユーザまでの所定距離(L)、前記オフセット距離(O)、前記レンチキュラディスプレイの幅(W)および前記レンチキュラディスプレイの水平有効解像度(R)に基づいて計算された水平深度サンプル間隔(d)で収集され、
前記水平深度サンプル間隔dは、d=(L+O)/L×W/Rとして計算される、テレプレゼンス端末。 - 前記テレプレゼンス端末の前記ユーザの前記位置は、前記深度データに基づいて決定される、請求項1に記載のテレプレゼンス端末。
- 前記テレプレゼンス端末の前記ユーザの前記位置は、前記画像データに基づいて決定される、請求項1に記載のテレプレゼンス端末。
- 前記テレプレゼンス端末は、
前記レンチキュラディスプレイの第1側に配置された第1マイクロホンおよび前記レンチキュラディスプレイの第2側に配置された第2マイクロホンを含むマイクロホンアセンブリと、
前記レンチキュラディスプレイの前記第1側に配置された第1スピーカおよび前記レンチキュラディスプレイの前記第2側に配置された第2スピーカを含むスピーカアセンブリとをさらに備え、
前記命令は、前記処理装置に、
前記マイクロホンアセンブリを用いて、指向性音声データを捕捉することと、
前記指向性音声データを前記リモート端末に送信することと、
前記リモート端末からリモート指向性音声データを受信することと、
前記リモート指向性音声データに基づいて、前記スピーカアセンブリを用いて音声を出力することとを含む動作をさらに実行させる、請求項1に記載のテレプレゼンス端末。 - 前記マイクロホンアセンブリは、3つ以上のマイクロホンを含む、請求項4に記載のテレプレゼンス端末。
- 前記テレプレゼンス端末は、少なくとも1つのカメラユニットを含むカメラアセンブリを備え、
前記カメラユニットは、前記画像センサと前記赤外線エミッタと前記赤外線深度センサとを含み、
前記赤外線エミッタは、前記レンチキュラディスプレイに対向するユーザに前記レンチキュラディスプレイを介して赤外線を出射する、請求項1に記載のテレプレゼンス端末。 - テレプレゼンス端末であって、
画素グリッドの前方に配置されたマイクロレンズアレイを含むディスプレイと、
画像センサと、
赤外線エミッタと、
赤外線深度センサと、
処理装置と、
命令を格納するメモリとを備え、これらの命令は、実行されると、前記処理装置に、
前記画像センサによって捕捉された可視光に基づいて、画像データを決定することと、
前記赤外線エミッタによって出射され、前記赤外線深度センサによって捕捉された赤外線に基づいて、深度データを決定することと、
前記テレプレゼンス端末のユーザの位置を決定することと、
前記深度データおよび前記画像データをリモート端末に伝達することと、
リモート端末から送信されたリモート画像データおよびリモート深度データを受信することと、
前記リモート画像データに基づいて、前記画素グリッドの第1画素サブセットを用いて、前記決定された位置にいる前記ユーザの第1視点から前記マイクロレンズアレイを通って見える第1表示画像を生成することと、
前記リモート画像データおよび前記リモート深度データに基づいて、前記画素グリッドの第2画素サブセットを用いて、前記決定された位置にいる前記ユーザの第2視点から前記マイクロレンズアレイを通って見える第2表示画像を生成することとを含む動作を実行させ、
前記第1表示画像および前記第2表示画像は、視差をシミュレートするように、前記ユーザの前記決定された位置に基づいて生成され、
シミュレートされた前記視差は、前記リモート端末のリモートユーザの肖像を前記ユーザから前記マイクロレンズアレイの反対側のオフセット距離に表示させ、
前記テレプレゼンス端末は、少なくとも1つのカメラユニットを含むカメラアセンブリを備え、
前記カメラユニットは、前記画像センサと前記赤外線エミッタと前記赤外線深度センサとを含み、
前記赤外線エミッタは、前記ディスプレイに対向するユーザに前記ディスプレイを介して赤外線を出射し、
前記ディスプレイは、透明であり、かつオフ状態と点灯状態との間で切替可能であり、
前記命令は、可視光および赤外線の捕捉を前記ディスプレイの前記オフ状態と同期させることを含む動作をさらに前記処理装置に実行させる、テレプレゼンス端末。 - 前記マイクロレンズアレイのマイクロレンズの少なくとも一部は、第1材料から作られ、前記マイクロレンズアレイの前記マイクロレンズの少なくとも一部は、第2材料から作られ、
前記第1材料は、実質的に電流に影響されない材料であり、前記第2材料は、実質的に電流に影響される材料であり、
前記第1材料および前記第2材料に電流を印加していないときに、前記第1材料と前記第2材料とは、異なる屈折率を有し、
前記第2材料に電流を印加する場合、前記電流によって前記第2材料の屈折率は前記第1材料の屈折率と同様になるように変化し、
前記命令は、前記処理装置に、可視光および赤外線の捕捉を前記ディスプレイの前記オフ状態と同期させる場合、前記処理装置に、前記第2材料に前記電流を印加させる、請求項7に記載のテレプレゼンス端末。 - 入射光を分割し、前記分割された入射光を前記画像センサおよび前記赤外線深度センサに伝送するビームスプリッタをさらに備える、請求項1に記載のテレプレゼンス端末。
- 方法であって、
テレプレゼンス端末の赤外線エミッタを用いて、第1赤外線を生成することと、
前記テレプレゼンス端末の赤外線深度センサを用いて、第2赤外線を受光することと、
前記第1赤外線および前記第2赤外線に基づいて、捕捉された深度データを決定することと、
画像センサによって捕捉された可視光に基づいて、捕捉された画像データを決定することと、
前記テレプレゼンス端末のユーザの位置を決定することと、
前記捕捉された深度データおよび前記捕捉された画像データをリモート端末に送信することと、
画素グリッドの第1サブセットを用いて、前記リモート端末から受信された画像データに基づいて、前記決定された位置にいる前記ユーザの第1視点からマイクロレンズアレイを通って見える第1表示画像を生成することと、
画素グリッドの第2サブセットを用いて、前記リモート端末から受信された前記画像データおよび深度データに基づいて、前記決定された位置にいる前記ユーザの第2視点から前記マイクロレンズアレイを通って見える第2表示画像を生成することとを含み、
前記第2表示画像は、視差効果を形成するように、前記ユーザの前記決定された位置および前記受信された深度データの組み合わせに基づいて、前記第1表示画像とは異なるように生成され、
前記視差効果は、前記リモート端末のリモートユーザの肖像を前記ユーザと対面するように前記ユーザから前記マイクロレンズアレイの反対側のオフセット距離(O)に表示させ、
前記方法はさらに、前記テレプレゼンス端末のレンチキュラディスプレイから前記ユーザまでの所定距離(L)、前記オフセット距離(O)、前記レンチキュラディスプレイの幅(W)および前記レンチキュラディスプレイの水平有効解像度(R)に基づいて計算された水平深度サンプル間隔(d)で前記深度データを収集することを含み、
前記水平深度サンプル間隔dは、d=(L+O)/L×W/Rとして計算される、方法。 - マイクロホンアセンブリを用いて、指向性音声データを捕捉することと、
前記指向性音声データを前記リモート端末に送信することと、
前記リモート端末からリモート指向性音声データを受信することと、
前記リモート指向性音声データに基づいて、スピーカアセンブリを用いて音声を出力することとをさらに含む、請求項10に記載の方法。 - テレプレゼンス端末の赤外線エミッタを用いて、第1赤外線を生成することと、
前記テレプレゼンス端末の赤外線深度センサを用いて、第2赤外線を受光することと、
前記第1赤外線および前記第2赤外線に基づいて、捕捉された深度データを決定することと、
画像センサによって捕捉された可視光に基づいて、捕捉された画像データを決定することと、
前記テレプレゼンス端末のユーザの位置を決定することと、
前記捕捉された深度データおよび前記捕捉された画像データをリモート端末に送信することと、
画素グリッドの第1サブセットを用いて、前記リモート端末から受信された画像データに基づいて、前記決定された位置にいる前記ユーザの第1視点からマイクロレンズアレイを通って見える第1表示画像を生成することと、
画素グリッドの第2サブセットを用いて、前記リモート端末から受信された前記画像データおよび深度データに基づいて、前記決定された位置にいる前記ユーザの第2視点から前記マイクロレンズアレイを通って見える第2表示画像を生成することとを含み、
前記第2表示画像は、視差効果を形成するように、前記ユーザの前記決定された位置および前記受信された深度データの組み合わせに基づいて、前記第1表示画像とは異なるように生成され、
前記視差効果は、前記リモート端末のリモートユーザの肖像を前記ユーザから前記マイクロレンズアレイの反対側のオフセット距離に表示させ、
前記テレプレゼンス端末は、前記画素グリッドの前方に配置された前記マイクロレンズアレイを含むディスプレイを備え、
前記ディスプレイは、透明であり、
前記赤外線エミッタは、前記ディスプレイに対向するユーザに前記ディスプレイを介して赤外線を出射し、
前記赤外線エミッタから出射された赤外線は、前記ディスプレイを通過した後に前記ユーザに反射され、
前記画像センサおよび前記赤外線深度センサは、前記ユーザに反射された後に前記ディスプレイを通過した光を受光し、
前記赤外線深度センサを用いて、前記第2赤外線を受光することは、
前記第2赤外線の捕捉と同期させて前記ディスプレイをオフ状態にすることと、
前記オフ状態の前記ディスプレイおよび前記画素グリッドを通った前記第2赤外線を捕捉することと、
前記ディスプレイを点灯状態にすることとを含む、方法。 - プログラムであって、前記プログラムは、少なくとも1つのプロセッサによって実行されると、コンピューティングシステムに、少なくとも以下のこと、すなわち、
テレプレゼンス端末の赤外線エミッタを用いて、第1赤外線を生成することと、
前記テレプレゼンス端末の赤外線深度センサを用いて、第2赤外線を受光することと、
前記第1赤外線および前記第2赤外線に基づいて、深度データを決定することと、
画像センサによって捕捉された可視光に基づいて、画像データを決定することと、
前記テレプレゼンス端末のユーザの位置を決定することと、
前記深度データおよび前記画像データをリモート端末に送信することと、
前記テレプレゼンス端末のレンチキュラディスプレイを用いて、前記リモート端末から受信された画像データに基づいて、前記決定された位置にいる前記ユーザの第1視点から見える第1表示画像を生成することと、
前記レンチキュラディスプレイを用いて、前記リモート端末から受信された前記画像データおよび深度データに基づいて、前記決定された位置にいる前記ユーザの第2視点から見える第2表示画像を生成することとを実行させるように構成され、
前記第2表示画像は、視差効果を形成するように、前記ユーザの前記決定された位置および前記受信された深度データの組み合わせに基づいて、前記第1表示画像とは異なるように生成され、
前記視差効果は、前記リモート端末のリモートユーザの肖像を前記ユーザと対面するように前記ユーザから前記レンチキュラディスプレイの反対側のオフセット距離(O)に表示させ、
前記深度データは、前記レンチキュラディスプレイから前記ユーザまでの所定距離(L)、前記オフセット距離(O)、前記レンチキュラディスプレイの幅(W)および前記レンチキュラディスプレイの水平有効解像度(R)に基づいて計算された水平深度サンプル間隔(d)で収集され、
前記水平深度サンプル間隔dは、d=(L+O)/L×W/Rとして計算される、プログラム。 - 前記オフセット距離は、所定の深度サンプル間隔に基づいて決定される、請求項13に記載のプログラム。
- プログラムであって、前記プログラムは、少なくとも1つのプロセッサによって実行されると、コンピューティングシステムに、少なくとも以下のこと、すなわち、
テレプレゼンス端末の赤外線エミッタを用いて、第1赤外線を生成することと、
前記テレプレゼンス端末の赤外線深度センサを用いて、第2赤外線を受光することと、
前記第1赤外線および前記第2赤外線に基づいて、深度データを決定することと、
画像センサによって捕捉された可視光に基づいて、画像データを決定することと、
前記テレプレゼンス端末のユーザの位置を決定することと、
前記深度データおよび前記画像データをリモート端末に送信することと、
前記テレプレゼンス端末のレンチキュラディスプレイを用いて、前記リモート端末から受信された画像データに基づいて、前記決定された位置にいる前記ユーザの第1視点から見える第1表示画像を生成することと、
前記レンチキュラディスプレイを用いて、前記リモート端末から受信された前記画像データおよび深度データに基づいて、前記決定された位置にいる前記ユーザの第2視点から見える第2表示画像を生成することとを実行させるように構成され、
前記第2表示画像は、視差効果を形成するように、前記ユーザの前記決定された位置および前記受信された深度データの組み合わせに基づいて、前記第1表示画像とは異なるように生成され、
前記視差効果は、前記リモート端末のリモートユーザの肖像を前記ユーザから前記レンチキュラディスプレイの反対側のオフセット距離に表示させ、
前記オフセット距離は、所定の深度サンプル間隔に基づいて決定され、
前記深度データは、前記レンチキュラディスプレイから前記ユーザまでの所定距離(L)、前記オフセット距離(O)、前記レンチキュラディスプレイの幅(W)および前記レンチキュラディスプレイの水平有効解像度(R)に基づいて計算された水平深度サンプル間隔(d)で収集され、
前記水平深度サンプル間隔dは、d=(L+O)/L×W/Rとして計算される、プログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662385685P | 2016-09-09 | 2016-09-09 | |
US62/385,685 | 2016-09-09 | ||
PCT/US2017/050739 WO2018049201A1 (en) | 2016-09-09 | 2017-09-08 | Three-dimensional telepresence system |
JP2019505022A JP7001675B2 (ja) | 2016-09-09 | 2017-09-08 | 3dテレプレゼンスシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019505022A Division JP7001675B2 (ja) | 2016-09-09 | 2017-09-08 | 3dテレプレゼンスシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022009242A JP2022009242A (ja) | 2022-01-14 |
JP7443314B2 true JP7443314B2 (ja) | 2024-03-05 |
Family
ID=59930787
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019505022A Active JP7001675B2 (ja) | 2016-09-09 | 2017-09-08 | 3dテレプレゼンスシステム |
JP2021170889A Active JP7443314B2 (ja) | 2016-09-09 | 2021-10-19 | 3dテレプレゼンスシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019505022A Active JP7001675B2 (ja) | 2016-09-09 | 2017-09-08 | 3dテレプレゼンスシステム |
Country Status (7)
Country | Link |
---|---|
US (5) | US20180077430A1 (ja) |
EP (1) | EP3510768B1 (ja) |
JP (2) | JP7001675B2 (ja) |
KR (3) | KR102256707B1 (ja) |
CN (2) | CN109565567B (ja) |
DE (1) | DE202017105484U1 (ja) |
WO (1) | WO2018049201A1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD778941S1 (en) | 2016-01-08 | 2017-02-14 | Apple Inc. | Display screen or portion thereof with graphical user interface |
US20180077430A1 (en) | 2016-09-09 | 2018-03-15 | Barrie Hansen | Cloned Video Streaming |
GB201621879D0 (en) * | 2016-12-21 | 2017-02-01 | Branston Ltd | A crop monitoring system and method |
WO2018162972A1 (en) * | 2017-03-10 | 2018-09-13 | Sling Media Pvt. Ltd. | Media session management |
US11064226B2 (en) * | 2017-03-16 | 2021-07-13 | Echo-Sense, Inc. | System and method for concurrent data streams from a singular sensor with remotely selectable parameters |
US11140455B1 (en) * | 2017-06-09 | 2021-10-05 | Amazon Technologies, Inc. | Video encoder network sandboxing |
TWI665649B (zh) * | 2018-02-27 | 2019-07-11 | 鴻海精密工業股份有限公司 | 微型led陣列、顯示幕及電子裝置 |
US10785422B2 (en) * | 2018-05-29 | 2020-09-22 | Microsoft Technology Licensing, Llc | Face recognition using depth and multi-spectral camera |
WO2020030989A1 (en) * | 2018-08-09 | 2020-02-13 | Corephotonics Ltd. | Multi-cameras with shared camera apertures |
US10764533B2 (en) | 2018-11-09 | 2020-09-01 | Google Llc | Computerworkstation with curved lenticular display |
CN210093396U (zh) * | 2019-01-17 | 2020-02-18 | 深圳市光鉴科技有限公司 | 用于屏下的3d摄像头模组及电子设备 |
US12069408B2 (en) | 2019-04-15 | 2024-08-20 | Nyu Shanghai | Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display |
US11516374B2 (en) * | 2019-06-05 | 2022-11-29 | Synaptics Incorporated | Under-display image sensor |
US11057549B2 (en) * | 2019-08-16 | 2021-07-06 | Lenovo (Singapore) Pte. Ltd. | Techniques for presenting video stream next to camera |
US11153513B2 (en) | 2019-08-19 | 2021-10-19 | Synaptics Incorporated | Light source for camera |
CN112394524A (zh) * | 2019-08-19 | 2021-02-23 | 上海鲲游光电科技有限公司 | 匀光元件及其制造方法和系统以及电子设备 |
CN116506715A (zh) * | 2019-09-27 | 2023-07-28 | 苹果公司 | 用于操作透镜显示器的方法和设备 |
US11076080B2 (en) | 2019-12-05 | 2021-07-27 | Synaptics Incorporated | Under-display image sensor for eye tracking |
US20210409893A1 (en) * | 2020-06-25 | 2021-12-30 | Microsoft Technology Licensing, Llc | Audio configuration for displayed features |
CN116235491A (zh) * | 2020-09-18 | 2023-06-06 | 文明日 | 三维图像获取装置 |
EP4007992A1 (en) * | 2020-10-08 | 2022-06-08 | Google LLC | Few-shot synthesis of talking heads |
US20230316810A1 (en) * | 2020-11-30 | 2023-10-05 | Google Llc | Three-dimensional (3d) facial feature tracking for autostereoscopic telepresence systems |
US11818637B2 (en) * | 2021-06-10 | 2023-11-14 | Getac Technology Corporation | Providing alternate communication proxies for media collection devices |
SE545897C2 (en) * | 2022-02-04 | 2024-03-05 | Livearena Tech Ab | System and method for producing a shared video stream |
CN114567767B (zh) * | 2022-02-23 | 2024-06-18 | 京东方科技集团股份有限公司 | 显示装置、光场采集方法、图像数据传输方法及相关设备 |
CN114827465B (zh) * | 2022-04-19 | 2024-09-27 | 京东方科技集团股份有限公司 | 图像采集方法、装置及电子设备 |
US12039140B2 (en) | 2022-04-25 | 2024-07-16 | Zoom Video Communications, Inc. | Configuring a graphical user interface for display at an output interface during a video conference |
IL296044B2 (en) * | 2022-08-29 | 2024-08-01 | Abu Freh Ismael | A system and method for streaming video in real time through virtual reality glasses using a network of cameras |
KR20240148617A (ko) * | 2023-04-04 | 2024-10-11 | 엘지이노텍 주식회사 | 정보 장치 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005303683A (ja) | 2004-04-12 | 2005-10-27 | Sony Corp | 画像送受信装置 |
JP2010171573A (ja) | 2009-01-21 | 2010-08-05 | Epson Imaging Devices Corp | 3次元画像表示・撮像装置、通信システム、および表示装置 |
CN101866056A (zh) | 2010-05-28 | 2010-10-20 | 中国科学院合肥物质科学研究院 | 基于led阵列共透镜tof深度测量的三维成像方法和系统 |
JP2012010084A (ja) | 2010-06-24 | 2012-01-12 | Sony Corp | 立体表示装置及び立体表示装置の制御方法 |
JP2012169822A (ja) | 2011-02-14 | 2012-09-06 | Nec Personal Computers Ltd | 画像処理方法及び画像処理装置 |
JP2013511075A (ja) | 2009-11-17 | 2013-03-28 | エーテーハー チューリヒ | 透明裸眼立体画像表示装置及び方法 |
JP2013125985A (ja) | 2011-12-13 | 2013-06-24 | Sharp Corp | 表示システム |
JP2013128181A (ja) | 2011-12-16 | 2013-06-27 | Fujitsu Ltd | 表示装置、表示方法および表示プログラム |
US20150097925A1 (en) | 2013-10-04 | 2015-04-09 | Electronics And Telecommunications Research Institute | Apparatus and method for displaying hologram based on pupil tracking using hybrid camera |
Family Cites Families (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5335011A (en) * | 1993-01-12 | 1994-08-02 | Bell Communications Research, Inc. | Sound localization system for teleconferencing using self-steering microphone arrays |
CN1172267A (zh) * | 1996-07-29 | 1998-02-04 | 冯有纲 | 新型立体视觉图象技术及装置 |
US6208373B1 (en) * | 1999-08-02 | 2001-03-27 | Timothy Lo Fong | Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users |
EP1203489B1 (en) * | 1999-08-10 | 2008-07-09 | Teleportec Inc | Communications system |
WO2001041437A2 (en) * | 1999-12-03 | 2001-06-07 | Ourworld Live, Inc. | Consumer access systems and methods for providing same |
GB2411735A (en) * | 2004-03-06 | 2005-09-07 | Sharp Kk | Control of liquid crystal alignment in an optical device |
US7535468B2 (en) * | 2004-06-21 | 2009-05-19 | Apple Inc. | Integrated sensing display |
EP1869899A4 (en) * | 2005-04-08 | 2009-12-23 | Real D | AUTOSTEREOSCOPIC DISPLAY WITH PLANAR PASSAGE |
WO2008132724A1 (en) * | 2007-04-26 | 2008-11-06 | Mantisvision Ltd. | A method and apparatus for three dimensional interaction with autosteroscopic displays |
US20090146915A1 (en) * | 2007-12-05 | 2009-06-11 | Marathe Madhav V | Multiple view display device |
CN101472133B (zh) * | 2007-12-28 | 2010-12-08 | 鸿富锦精密工业(深圳)有限公司 | 影像校正装置及影像校正方法 |
US9684380B2 (en) * | 2009-04-02 | 2017-06-20 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US8570423B2 (en) * | 2009-01-28 | 2013-10-29 | Hewlett-Packard Development Company, L.P. | Systems for performing visual collaboration between remotely situated participants |
WO2011034924A1 (en) * | 2009-09-15 | 2011-03-24 | Envysion, Inc. | Video streaming method and system |
US8823782B2 (en) * | 2009-12-31 | 2014-09-02 | Broadcom Corporation | Remote control with integrated position, viewer identification and optical and audio test |
KR101725044B1 (ko) * | 2010-05-27 | 2017-04-11 | 삼성전자주식회사 | 촬영이 가능한 디스플레이 장치 |
US8576271B2 (en) * | 2010-06-25 | 2013-11-05 | Microsoft Corporation | Combining direct and routed communication in a video conference |
KR101280636B1 (ko) * | 2010-07-29 | 2013-07-01 | 주식회사 팬택 | 능동형 입체영상 디스플레이 장치 및 그의 구동 방법 |
US8624960B2 (en) * | 2010-07-30 | 2014-01-07 | Silicon Image, Inc. | Multi-view display system |
KR101732135B1 (ko) * | 2010-11-05 | 2017-05-11 | 삼성전자주식회사 | 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법 |
US20120139906A1 (en) * | 2010-12-03 | 2012-06-07 | Qualcomm Incorporated | Hybrid reality for 3d human-machine interface |
US8823769B2 (en) * | 2011-01-05 | 2014-09-02 | Ricoh Company, Ltd. | Three-dimensional video conferencing system with eye contact |
CN103339658A (zh) * | 2011-01-30 | 2013-10-02 | 诺基亚公司 | 用于三维立体显示器的方法、设备和计算机程序产品 |
US20120223885A1 (en) * | 2011-03-02 | 2012-09-06 | Microsoft Corporation | Immersive display experience |
US20120254933A1 (en) * | 2011-03-31 | 2012-10-04 | Hunt Electronic Co., Ltd. | Network video server and video control method thereof |
US20120257004A1 (en) * | 2011-04-05 | 2012-10-11 | Polycom, Inc. | Direct Eye-Contact Enhancing Videoconferencing Unit |
JP5834533B2 (ja) * | 2011-06-23 | 2015-12-24 | 沖電気工業株式会社 | コミュニケーションシステム及びコミュニケーション装置 |
US9024844B2 (en) * | 2012-01-25 | 2015-05-05 | Microsoft Technology Licensing, Llc | Recognition of image on external display |
CN104081780A (zh) * | 2012-01-31 | 2014-10-01 | 索尼公司 | 图像处理装置和图像处理方法 |
US9591418B2 (en) * | 2012-04-13 | 2017-03-07 | Nokia Technologies Oy | Method, apparatus and computer program for generating an spatial audio output based on an spatial audio input |
EP2839436B1 (en) * | 2012-04-20 | 2019-08-07 | Affirmation,LLC | Systems and methods for real-time conversion of video into three-dimensions |
US20130321564A1 (en) * | 2012-05-31 | 2013-12-05 | Microsoft Corporation | Perspective-correct communication window with motion parallax |
KR101350996B1 (ko) * | 2012-06-11 | 2014-01-13 | 재단법인 실감교류인체감응솔루션연구단 | 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법 |
US20140063198A1 (en) * | 2012-08-30 | 2014-03-06 | Microsoft Corporation | Changing perspectives of a microscopic-image device based on a viewer' s perspective |
US8976224B2 (en) | 2012-10-10 | 2015-03-10 | Microsoft Technology Licensing, Llc | Controlled three-dimensional communication endpoint |
KR101977711B1 (ko) * | 2012-10-12 | 2019-05-13 | 삼성전자주식회사 | 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템 |
US20140146394A1 (en) * | 2012-11-28 | 2014-05-29 | Nigel David Tout | Peripheral display for a near-eye display device |
EP3404619A1 (en) * | 2012-12-18 | 2018-11-21 | Eyesmatch Ltd. | Devices, systems and methods of capturing and displaying appearances |
US20140176684A1 (en) * | 2012-12-24 | 2014-06-26 | Alejandro Varela | Techniques for multiple viewer three-dimensional display |
US9307217B1 (en) * | 2013-06-12 | 2016-04-05 | Ambarella, Inc. | Portable video camera/recorder having video security feature |
JP6199619B2 (ja) * | 2013-06-13 | 2017-09-20 | 株式会社ニューフレアテクノロジー | 気相成長装置 |
KR20140147376A (ko) * | 2013-06-19 | 2014-12-30 | 삼성전자주식회사 | 적층형 컬러-깊이 센서 및 이를 채용한 3차원 영상 획득 장치 |
US20140375541A1 (en) * | 2013-06-25 | 2014-12-25 | David Nister | Eye tracking via depth camera |
US9325936B2 (en) * | 2013-08-09 | 2016-04-26 | Samsung Electronics Co., Ltd. | Hybrid visual communication |
CN104427049A (zh) * | 2013-08-30 | 2015-03-18 | 深圳富泰宏精密工业有限公司 | 便携式电子装置 |
US20150128174A1 (en) * | 2013-11-04 | 2015-05-07 | Broadcom Corporation | Selecting audio-video (av) streams associated with an event |
US20150235408A1 (en) * | 2014-02-14 | 2015-08-20 | Apple Inc. | Parallax Depth Rendering |
CN104866261B (zh) * | 2014-02-24 | 2018-08-10 | 联想(北京)有限公司 | 一种信息处理方法和装置 |
US9344748B2 (en) * | 2014-03-31 | 2016-05-17 | Arris Enterprises, Inc. | Adaptive streaming transcoder synchronization |
US20150324646A1 (en) * | 2014-05-08 | 2015-11-12 | Brown University | Navigation methods and apparatus for the visually impaired |
WO2016025962A1 (en) * | 2014-08-15 | 2016-02-18 | The University Of Akron | Device and method for three-dimensional video communication |
KR102269318B1 (ko) * | 2014-09-15 | 2021-06-28 | 삼성디스플레이 주식회사 | 디스플레이 장치 및 이를 포함하는 디스플레이 시스템 |
US10248192B2 (en) * | 2014-12-03 | 2019-04-02 | Microsoft Technology Licensing, Llc | Gaze target application launcher |
KR102396289B1 (ko) * | 2015-04-28 | 2022-05-10 | 삼성디스플레이 주식회사 | 입체 영상 표시 장치 및 그 구동 방법 |
JP6509027B2 (ja) * | 2015-05-12 | 2019-05-08 | キヤノン株式会社 | 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム |
US9609275B2 (en) * | 2015-07-08 | 2017-03-28 | Google Inc. | Single-stream transmission method for multi-user video conferencing |
US20170070804A1 (en) * | 2015-09-03 | 2017-03-09 | Monster, Llc | Multifunction Wireless Adapter |
KR20170035608A (ko) * | 2015-09-23 | 2017-03-31 | 삼성전자주식회사 | 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체 |
US10203566B2 (en) * | 2015-12-21 | 2019-02-12 | Facebook Technologies, Llc | Enhanced spatial resolution using a segmented electrode array |
US20180077430A1 (en) | 2016-09-09 | 2018-03-15 | Barrie Hansen | Cloned Video Streaming |
-
2017
- 2017-02-15 US US15/433,984 patent/US20180077430A1/en not_active Abandoned
- 2017-02-15 US US15/434,003 patent/US20180077437A1/en not_active Abandoned
- 2017-09-08 KR KR1020207022334A patent/KR102256707B1/ko active IP Right Grant
- 2017-09-08 JP JP2019505022A patent/JP7001675B2/ja active Active
- 2017-09-08 KR KR1020207018261A patent/KR102142643B1/ko active IP Right Grant
- 2017-09-08 EP EP17771946.5A patent/EP3510768B1/en active Active
- 2017-09-08 CN CN201780047564.2A patent/CN109565567B/zh active Active
- 2017-09-08 KR KR1020197002996A patent/KR20190026804A/ko active Application Filing
- 2017-09-08 CN CN202011392706.9A patent/CN112584080B/zh active Active
- 2017-09-08 US US15/699,651 patent/US10327014B2/en active Active
- 2017-09-08 WO PCT/US2017/050739 patent/WO2018049201A1/en unknown
- 2017-09-11 DE DE202017105484.5U patent/DE202017105484U1/de active Active
-
2019
- 2019-06-17 US US16/443,481 patent/US10750210B2/en active Active
-
2020
- 2020-07-08 US US16/946,826 patent/US10880582B2/en active Active
-
2021
- 2021-10-19 JP JP2021170889A patent/JP7443314B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005303683A (ja) | 2004-04-12 | 2005-10-27 | Sony Corp | 画像送受信装置 |
JP2010171573A (ja) | 2009-01-21 | 2010-08-05 | Epson Imaging Devices Corp | 3次元画像表示・撮像装置、通信システム、および表示装置 |
JP2013511075A (ja) | 2009-11-17 | 2013-03-28 | エーテーハー チューリヒ | 透明裸眼立体画像表示装置及び方法 |
CN101866056A (zh) | 2010-05-28 | 2010-10-20 | 中国科学院合肥物质科学研究院 | 基于led阵列共透镜tof深度测量的三维成像方法和系统 |
JP2012010084A (ja) | 2010-06-24 | 2012-01-12 | Sony Corp | 立体表示装置及び立体表示装置の制御方法 |
JP2012169822A (ja) | 2011-02-14 | 2012-09-06 | Nec Personal Computers Ltd | 画像処理方法及び画像処理装置 |
JP2013125985A (ja) | 2011-12-13 | 2013-06-24 | Sharp Corp | 表示システム |
JP2013128181A (ja) | 2011-12-16 | 2013-06-27 | Fujitsu Ltd | 表示装置、表示方法および表示プログラム |
US20150097925A1 (en) | 2013-10-04 | 2015-04-09 | Electronics And Telecommunications Research Institute | Apparatus and method for displaying hologram based on pupil tracking using hybrid camera |
Also Published As
Publication number | Publication date |
---|---|
US20180077430A1 (en) | 2018-03-15 |
DE202017105484U1 (de) | 2018-01-09 |
JP2019533324A (ja) | 2019-11-14 |
US20190306541A1 (en) | 2019-10-03 |
JP2022009242A (ja) | 2022-01-14 |
EP3510768A1 (en) | 2019-07-17 |
JP7001675B2 (ja) | 2022-01-19 |
US20180077437A1 (en) | 2018-03-15 |
CN109565567A (zh) | 2019-04-02 |
KR20200096322A (ko) | 2020-08-11 |
US20180077384A1 (en) | 2018-03-15 |
EP3510768B1 (en) | 2023-05-24 |
US10750210B2 (en) | 2020-08-18 |
CN112584080A (zh) | 2021-03-30 |
US10327014B2 (en) | 2019-06-18 |
US20200344500A1 (en) | 2020-10-29 |
CN109565567B (zh) | 2020-12-08 |
US10880582B2 (en) | 2020-12-29 |
CN112584080B (zh) | 2023-10-24 |
WO2018049201A1 (en) | 2018-03-15 |
KR102256707B1 (ko) | 2021-05-26 |
KR102142643B1 (ko) | 2020-08-07 |
KR20200078703A (ko) | 2020-07-01 |
KR20190026804A (ko) | 2019-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7443314B2 (ja) | 3dテレプレゼンスシステム | |
EP2383995B1 (en) | Display system, method and computer program for capturing images using multiple integrated image sensors | |
KR102023587B1 (ko) | 카메라 리그 및 입체 이미지 캡쳐 | |
US9143724B2 (en) | Telepresence portal system | |
Gotsch et al. | TeleHuman2: A Cylindrical Light Field Teleconferencing System for Life-size 3D Human Telepresence. | |
US20160269685A1 (en) | Video interaction between physical locations | |
US9641800B2 (en) | Method and apparatus to present three-dimensional video on a two-dimensional display driven by user interaction | |
US11006072B2 (en) | Window system based on video communication | |
US10623698B2 (en) | Video communication device and method for video communication | |
Plüss et al. | An immersive bidirectional system for life-size 3d communication | |
US10645340B2 (en) | Video communication device and method for video communication | |
US10972699B2 (en) | Video communication device and method for video communication | |
Baker et al. | Camera and projector arrays for immersive 3D video | |
US10701313B2 (en) | Video communication device and method for video communication | |
US20200252585A1 (en) | Systems, Algorithms, and Designs for See-through Experiences With Wide-Angle Cameras | |
JP2019513310A (ja) | ホログラフィックビデオキャプチャー及びテレプレゼンスシステム | |
Nashel | Rendering and display for multi-viewer tele-immersion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211022 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230724 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230922 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7443314 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |