JP7057197B2 - Image processing equipment, image processing methods, and programs - Google Patents

Image processing equipment, image processing methods, and programs Download PDF

Info

Publication number
JP7057197B2
JP7057197B2 JP2018077057A JP2018077057A JP7057197B2 JP 7057197 B2 JP7057197 B2 JP 7057197B2 JP 2018077057 A JP2018077057 A JP 2018077057A JP 2018077057 A JP2018077057 A JP 2018077057A JP 7057197 B2 JP7057197 B2 JP 7057197B2
Authority
JP
Japan
Prior art keywords
display
image
image processing
posture change
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018077057A
Other languages
Japanese (ja)
Other versions
JP2019184883A (en
Inventor
拓也 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018077057A priority Critical patent/JP7057197B2/en
Publication of JP2019184883A publication Critical patent/JP2019184883A/en
Priority to JP2022060649A priority patent/JP7419424B2/en
Application granted granted Critical
Publication of JP7057197B2 publication Critical patent/JP7057197B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、画像データを複数の装着型ディスプレイ装置に表示する場合に各ディスプレイ装置を装着するユーザの位置姿勢変化に基づき該ディスプレイ装置に表示する表示画像を生成する画像処理装置、画像処理方法、およびプログラムに関する。 The present invention is an image processing device, an image processing method, and an image processing device that generates a display image to be displayed on the display device based on a change in the position and orientation of a user who wears each display device when displaying image data on a plurality of wearable display devices. And about the program.

ヘッドマウントディスプレイは、ユーザの頭部に装着するディスプレイ装置のことであり、ウェアラブルコンピュータの一つとして位置付けられる。また、ヘッドマウントディスプレイは、外の世界を完全に見えなくし、かつユーザの顔の向きに連動させて画像を変化させて３６０度の視界を表現することで、より完全に近いバーチャルリアリティを実現できることから、近年注目される技術の一つとなっている。 A head-mounted display is a display device worn on the user's head, and is positioned as one of wearable computers. In addition, the head-mounted display can realize a more complete virtual reality by completely obscuring the outside world and changing the image in conjunction with the direction of the user's face to express a 360-degree field of view. Therefore, it has become one of the technologies that have been attracting attention in recent years.

ところで、ヘッドマウントディスプレイの利用法として、複数のユーザの各々が１つのディスプレイを装着し、これら複数のディスプレイに１つの画像を表示することで、複数のユーザが１つの画像を共有し得る技術が知られている。この場合、複数のユーザは、その１つの画像を介して１つの世界（仮想空間）にいることを実感できる。このようなヘッドマウントディスプレイを用いた画像共有に関する技術は、従来、例えば、特許文献１に開示されるようなものがある。 By the way, as a usage of a head-mounted display, there is a technique in which a plurality of users can share one image by wearing one display on each of the plurality of users and displaying one image on the plurality of displays. Are known. In this case, a plurality of users can realize that they are in one world (virtual space) through the one image. Techniques related to image sharing using such a head-mounted display are conventionally disclosed in, for example, Patent Document 1.

特許文献１は、１つの画像を複数のヘッドマウントディスプレイに表示する場合に、主となるユーザが装着するディスプレイからの視野情報に基づき、従となるユーザが装着するディスプレイの画像を制御する技術を開示する。これにより、従となるユーザも、主となるユーザと同じ画像を見ることが可能となる。また、引用文献２は、主となるユーザが装着するヘッドマウントディスプレイから得られた頭部の重力方向に対する傾きに基づき、従となるユーザが視聴するモニタ装置に表示する画像の傾きを制御する技術を開示する。 Patent Document 1 provides a technique for controlling an image on a display worn by a subordinate user based on visual field information from a display worn by a main user when one image is displayed on a plurality of head-mounted displays. Disclose. As a result, the subordinate user can see the same image as the main user. Further, the cited document 2 is a technique for controlling the inclination of an image displayed on a monitor device to be viewed by a subordinate user based on the inclination of the head with respect to the gravity direction obtained from a head-mounted display worn by the main user. To disclose.

特開２０１２－２１２９９１号公報Japanese Unexamined Patent Publication No. 2012-21291 特開２０１２－１６０８９８号公報Japanese Unexamined Patent Publication No. 2012-160898

特許文献１および２の技術は、主となるユーザと従となるユーザとで１つの画像を共有する場合に、主となるユーザが装着するディスプレイの表示領域をそのまま利用して、従となるユーザのディスプレイまたはモニタ装置に表示する。従って、特許文献１および２の場合、主となるユーザが急な動きを行うと、その急な動きに基づく画像の変化が従となるユーザのディスプレイまたはモニタ装置にそのまま反映されてしまう。この場合、従となるユーザは、この急な動きによる画像の変化により、視覚的な不快感または映像酔いを引き起こす可能性がある。なお、急な動きは、ユーザの頭部の動きに起因するものとし、その動きが小さくても小刻みに長時間続く場合、および短時間でも大きい場合は、それぞれ急な動きに該当するものとする。 The techniques of Patent Documents 1 and 2 utilize the display area of the display worn by the main user as it is when sharing one image between the main user and the subordinate user, and the subordinate user. Display on the display or monitor device of. Therefore, in the case of Patent Documents 1 and 2, when the main user makes a sudden movement, the change in the image based on the sudden movement is directly reflected on the display or the monitor device of the subordinate user. In this case, the subordinate user may cause visual discomfort or video sickness due to the change in the image due to this sudden movement. It should be noted that the sudden movement is caused by the movement of the user's head, and if the movement is small but continues in small steps for a long time, or if the movement is large even for a short time, it corresponds to a sudden movement. ..

本発明は、１つの画像を複数の装着型ディスプレイ装置に表示する場合に、主となるユーザの急な動きが従となるユーザのディスプレイ装置に反映されなくすることで、従となるユーザの視覚的な不快感または映像酔いを低減させることを目的とする。 In the present invention, when one image is displayed on a plurality of wearable display devices, the sudden movement of the main user is not reflected on the display device of the subordinate user, so that the visual sense of the subordinate user is not reflected. The purpose is to reduce discomfort or image sickness.

本発明の例によれば、画像処理装置は、画像データを複数の装着型ディスプレイ装置に表示する場合に各ディスプレイ装置を装着するユーザの位置姿勢変化に基づき該ディスプレイ装置に表示する表示画像を生成する画像処理装置であって、前記複数のディスプレイ装置のうち第１のディスプレイ装置を装着する主となるユーザの第１の位置姿勢変化を取得し、かつ前記複数のディスプレイ装置のうち第２のディスプレイ装置を装着する従となるユーザの第２の位置姿勢変化を取得する取得手段と、前記第１の位置姿勢変化から前記主となるユーザの急な動きに起因する位置姿勢変化を除外する補正処理を行う位置姿勢変化補正手段と、前記補正処理が行われていない前記第１の位置姿勢変化に基づき第１の表示領域を算出し、前記補正処理が行われている前記第１の位置姿勢変化に基づき補正表示領域を算出し、かつ前記補正表示領域の中心座標を基準にして前記第２の位置姿勢変化に基づき第２の表示領域を算出する表示領域算出手段と、前記画像データおよび前記第１の表示領域に基づき前記第１のディスプレイ装置に表示すべき第１の表示画像を生成し、かつ前記画像データおよび前記第２の表示領域に基づき前記第２のディスプレイ装置に表示すべき第２の表示画像を生成する表示画像生成手段と、を備える。 According to the example of the present invention, when displaying image data on a plurality of wearable display devices, the image processing device generates a display image to be displayed on the display device based on a change in the position and orientation of a user who wears each display device. This is an image processing device for acquiring a first position / attitude change of a main user who wears the first display device among the plurality of display devices, and a second display among the plurality of display devices. An acquisition means for acquiring a second position / orientation change of a slave user who wears the device, and a correction process for excluding the position / orientation change caused by the sudden movement of the main user from the first position / attitude change. The first display area is calculated based on the position / orientation change correction means for performing the correction process and the first position / attitude change for which the correction process is not performed, and the first position / attitude change for which the correction process is performed. A display area calculation means for calculating a correction display area based on the above and calculating a second display area based on the second position / orientation change with reference to the center coordinates of the correction display area, the image data, and the first. A second display image to be displayed on the first display device is generated based on the display area 1, and is displayed on the second display device based on the image data and the second display area. It is provided with a display image generation means for generating a display image of the above.

本発明の例によれば、１つの画像を複数の装着型ディスプレイ装置に表示する場合に、主となるユーザの急な動きが従となるユーザのディスプレイ装置に反映されなくすることで、従となるユーザの視覚的な不快感または映像酔いを低減させることが可能となる。 According to the example of the present invention, when one image is displayed on a plurality of wearable display devices, the sudden movement of the main user is not reflected on the display device of the subordinate user. It is possible to reduce the visual discomfort or image sickness of the user.

ＨＭＤシステムの例を示す図である。It is a figure which shows the example of the HMD system. 図１のシステムの動作を示すフローチャートである。It is a flowchart which shows the operation of the system of FIG. 第１および第２の位置姿勢変化のパラメータを示す図である。It is a figure which shows the parameter of the 1st and 2nd position attitude change. 表示領域制御部の詳細を示す図である。It is a figure which shows the detail of the display area control part. 第１の表示領域を算出する例を示す図である。It is a figure which shows the example which calculates the 1st display area. 補正処理の例を示す図である。It is a figure which shows the example of the correction process. ＬＰＦによる補正処理の例を示す図である。It is a figure which shows the example of the correction processing by LPF. 閾値処理部による補正処理の例を示す図である。It is a figure which shows the example of the correction processing by a threshold value processing unit. 加速度に基づき主となるユーザの急な動きを検出する例を示す図である。It is a figure which shows the example which detects the sudden movement of the main user based on the acceleration. 第１の表示領域と第２の表示領域との関係を示す図である。It is a figure which shows the relationship between the 1st display area and the 2nd display area. 第２の表示領域を算出する例を示す図である。It is a figure which shows the example which calculates the 2nd display area. ＨＭＤシステムの例を示す図である。It is a figure which shows the example of the HMD system. 図１２のシステムの動作を示すフローチャートである。It is a flowchart which shows the operation of the system of FIG.

以下、本発明の実施形態を図面を参照して詳細に説明する。
（第１の実施形態）
図１は、ＨＭＤシステムの例を示す。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(First Embodiment)
FIG. 1 shows an example of an HMD system.

このＨＭＤシステムは、画像処理装置１００と、第１のディスプレイ１１０と、第２のディスプレイ１２０と、を備える。第１のディスプレイ１１０は、主となるユーザが装着するヘッドマウントディスプレイ（ディスプレイ装置）であり、第２のディスプレイ１２０は、従となるユーザが装着するヘッドマウントディスプレイ（ディスプレイ装置）である。主となるユーザとは、複数のユーザが１つの映像または画像（以下、両者をまとめて単に画像と称する）を共有する場合に、その１つの画像の提供元となるユーザのことである。また、従となるユーザとは、複数のユーザが１つの画像を共有する場合に、その１つの画像の提供先となるユーザのことである。すなわち、主となるユーザが視聴している１つの画像が従となるユーザに提供されることで、複数のユーザが１つの画像を共有することができる。 This HMD system includes an image processing device 100, a first display 110, and a second display 120. The first display 110 is a head-mounted display (display device) worn by a main user, and the second display 120 is a head-mounted display (display device) worn by a subordinate user. The main user is a user who is a provider of one image when a plurality of users share one video or image (hereinafter, both are collectively referred to as an image). Further, the subordinate user is a user who is a destination of providing one image when a plurality of users share one image. That is, by providing one image viewed by the main user to the subordinate user, a plurality of users can share one image.

このシステムは、複数のヘッドマウントディスプレイを備える。本例では、第１および第２のディスプレイ１１０，１２０としての２つのヘッドマウントディスプレイを備える。但し、これは本実施形態の説明を簡単にするためのものであり、その数は、３つ以上であっても構わない。また、このシステムにおいては、複数のヘッドマウントディスプレイのうちの１つは、主となるユーザが装着するディスプレイとして機能し、残りは、従となるユーザが装着するディスプレイとして機能する。 The system includes multiple head-mounted displays. In this example, two head-mounted displays are provided as the first and second displays 110, 120. However, this is for the purpose of simplifying the explanation of the present embodiment, and the number may be three or more. Further, in this system, one of the plurality of head-mounted displays functions as a display worn by a main user, and the rest functions as a display worn by a subordinate user.

また、画像処理装置１００の位置は、特に限定されない。例えば、画像処理装置１００は、第１および第２のディスプレイ１１０，１２０を含む複数のヘッドマウントディスプレイとは独立に設けられる。この場合、画像処理装置１００は、専用機器であってもよいし、パソコンなどの汎用機器であってもよいし、またはクラウドサービスにおける管理サーバであってもよい。なお、画像処理装置１００が管理サーバ内に搭載される場合の例については、第２の実施形態で詳述する。 Further, the position of the image processing device 100 is not particularly limited. For example, the image processing device 100 is provided independently of a plurality of head-mounted displays including the first and second displays 110 and 120. In this case, the image processing device 100 may be a dedicated device, a general-purpose device such as a personal computer, or a management server in a cloud service. An example of the case where the image processing device 100 is mounted in the management server will be described in detail in the second embodiment.

また、画像処理装置１００は、複数のヘッドマウントディスプレイのうちの１つに搭載されていてもよい。例えば、画像処理装置１００が搭載されるヘッドマウントディスプレイが第１のディスプレイ１１０でない場合、画像処理装置１００は、第１のディスプレイ１１０に表示すべき第１の表示画像を第１のディスプレイ１１０に送信する送信部を備える。また、画像処理装置１００が搭載されるヘッドマウントディスプレイが第２のディスプレイ１２０でない場合、画像処理装置１００は、第２のディスプレイ１２０に表示すべき第２の表示画像を第２のディスプレイ１２０に送信する送信部を備える。 Further, the image processing device 100 may be mounted on one of a plurality of head-mounted displays. For example, when the head-mounted display on which the image processing device 100 is mounted is not the first display 110, the image processing device 100 transmits the first display image to be displayed on the first display 110 to the first display 110. A transmitter is provided. When the head-mounted display on which the image processing device 100 is mounted is not the second display 120, the image processing device 100 transmits a second display image to be displayed on the second display 120 to the second display 120. A transmitter is provided.

さらに、画像処理装置１００は、複数のヘッドマウントディスプレイの各々に搭載されていてもよい。 Further, the image processing device 100 may be mounted on each of the plurality of head-mounted displays.

画像処理装置１００は、画像データ入力部１０１と、画像メモリ１０２と、表示領域制御部１０３と、を備える。第１のディスプレイ１１０は、位置姿勢変化検出部１１１と、画像表示部１１２と、を備える。第２のディスプレイ１２０は、位置姿勢変化検出部１２１と、画像表示部１２２と、を備える。 The image processing device 100 includes an image data input unit 101, an image memory 102, and a display area control unit 103. The first display 110 includes a position / posture change detection unit 111 and an image display unit 112. The second display 120 includes a position / posture change detection unit 121 and an image display unit 122.

画像データ入力部１０１は、画像処理装置１００に画像データが入力された場合に画像データを画像メモリ１０２へ供給する。画像メモリ１０２は、画像データ入力部１０１からの画像データを記憶する。画像データは、画像メモリ１０２から表示領域制御部１０３へ供給される。 The image data input unit 101 supplies the image data to the image memory 102 when the image data is input to the image processing device 100. The image memory 102 stores the image data from the image data input unit 101. The image data is supplied from the image memory 102 to the display area control unit 103.

位置姿勢変化検出部１１１は、第１のディスプレイ１１０を装着する主となるユーザの第１の位置姿勢変化を検出する。同様に、位置姿勢変化検出部１２１は、第２のディスプレイ１２０を装着する従となるユーザの第２の位置姿勢変化を検出する。位置姿勢変化検出部１１１，１２１の各々は、加速度センサ、ジャイロセンサなどの検出センサを含む。 The position / posture change detection unit 111 detects the first position / posture change of the main user who wears the first display 110. Similarly, the position / posture change detection unit 121 detects the second position / posture change of the slave user who wears the second display 120. Each of the position / attitude change detection units 111 and 121 includes detection sensors such as an acceleration sensor and a gyro sensor.

表示領域制御部１０３は、位置姿勢変化検出部１１１から主となるユーザの第１の位置姿勢変化を取得し、かつ位置姿勢変化検出部１２１から従となるユーザの第２の位置姿勢変化を取得する取得部を備える。 The display area control unit 103 acquires the first position / attitude change of the main user from the position / attitude change detection unit 111, and acquires the second position / attitude change of the subordinate user from the position / attitude change detection unit 121. It is equipped with an acquisition unit.

そして、表示領域制御部１０３は、画像メモリ１０２から供給される画像データと、第１の位置姿勢変化と、に基づいて、第１のディスプレイ１１０に供給すべき第１の表示画像を生成する。また、表示領域制御部１０３は、画像メモリ１０２から供給される画像データと、第１の位置姿勢変化と、第２の位置姿勢変化とに基づいて、第２のディスプレイ１２０に供給すべき第２の表示画像を生成する。これら第１及び第２の表示画像の生成については、後述する。 Then, the display area control unit 103 generates a first display image to be supplied to the first display 110 based on the image data supplied from the image memory 102 and the first position / posture change. Further, the display area control unit 103 should supply the second display 120 based on the image data supplied from the image memory 102, the first position / orientation change, and the second position / orientation change. Generate a display image of. The generation of these first and second display images will be described later.

画像表示部１１２は、表示領域制御部１０３により生成された第１の表示画像を表示する。また、画像表示部１２２は、表示領域制御部１０３により生成された第２の表示画像を表示する。 The image display unit 112 displays the first display image generated by the display area control unit 103. Further, the image display unit 122 displays a second display image generated by the display area control unit 103.

このようなシステムによれば、後述するように、表示領域制御部１０３により、第１の位置姿勢変化から主となるユーザの急な動きに起因する位置姿勢変化を除外する補正処理を行うことで、従となるユーザの映像酔いを防止できる。すなわち、表示領域制御部１０３は、補正処理が行われている第１の位置姿勢変化に基づき補正表示領域を算出し、かつ補正表示領域の中心座標を算出する。また、表示領域制御部１０３は、この中心座標を基準にして第２の位置姿勢変化に基づき第２の表示領域を算出する。この第２の表示領域は、主となるユーザの急な動きに起因する要素を含まない。 According to such a system, as will be described later, the display area control unit 103 performs correction processing for excluding the position / posture change caused by the sudden movement of the main user from the first position / posture change. , It is possible to prevent the image sickness of the subordinate user. That is, the display area control unit 103 calculates the correction display area based on the first position / posture change in which the correction processing is performed, and calculates the center coordinates of the correction display area. Further, the display area control unit 103 calculates the second display area based on the second position / posture change with reference to the center coordinates. This second display area does not include elements due to the sudden movement of the main user.

従って、従となるユーザは、第２の表示領域に基づき生成された第２の表示画像を視聴することになるため、視覚的な不快感または映像酔いを引き起こすことがない。一方、第１の表示画像は、補正処理が行われていない第１の位置姿勢変化に基づき生成されるため、主となるユーザは、自らの動きをそのまま第１の表示画像として視聴可能となる。 Therefore, the subordinate user will view the second display image generated based on the second display area, and thus does not cause visual discomfort or image sickness. On the other hand, since the first display image is generated based on the first position / posture change that has not been corrected, the main user can view his / her movement as it is as the first display image. ..

次に、図１のＨＭＤシステムの動作を説明する。
以下の説明では、図２のフローチャートをベースにＨＭＤシステムの動作を説明する。 Next, the operation of the HMD system of FIG. 1 will be described.
In the following description, the operation of the HMD system will be described based on the flowchart of FIG.

まず、ステップＳ２０１において、画像データを準備する。すなわち、画像データは、画像データ入力部１０１に入力され、かつ画像データ入力部１０１を経由して画像メモリ１０２に記憶される。次に、ステップＳ２０２において、表示領域制御部１０３は、上述の取得部を用いて、位置姿勢変化検出部１１１から第１の位置姿勢変化を取得する。 First, in step S201, image data is prepared. That is, the image data is input to the image data input unit 101 and stored in the image memory 102 via the image data input unit 101. Next, in step S202, the display area control unit 103 acquires the first position / attitude change from the position / attitude change detection unit 111 by using the above-mentioned acquisition unit.

ここで、図３を参酌して、第１および第２の位置姿勢変化のパラメータを説明する。各パラメータは、加速度センサ、ジャイロセンサなどの検出センサによって検出される。 Here, with reference to FIG. 3, the parameters of the first and second position-posture changes will be described. Each parameter is detected by a detection sensor such as an acceleration sensor or a gyro sensor.

例えば、第１および第２の位置姿勢変化は、三次元空間４００内で、水平方向への加速度４０１をＸａｄ、垂直方向への加速度４０２をＹａｄ、および奥行き方向への加速度４０３をＺａｄとして、加速度センサによって検出される。また、第１および第２の位置姿勢変化は、三次元空間４００内で、水平方向を軸とする回転角速度４１１をＸｖｒ、垂直方向を軸とする回転角速度４１２をＹｖｒ、奥行き方向を軸とする回転角速度４１３をＺｖｒとして、ジャイロセンサによって検出される。 For example, the first and second position-orientation changes are accelerated in the three-dimensional space 400, where the horizontal acceleration 401 is Xad, the vertical acceleration 402 is Yad, and the depth acceleration 403 is Zad. Detected by a sensor. Further, the first and second position-orientation changes are performed in the three-dimensional space 400 with the rotation angular velocity 411 about the horizontal direction as Xvr, the rotation angular velocity 412 about the vertical direction as Yvr, and the depth direction as the axis. It is detected by the gyro sensor with the rotation angular velocity 413 as Zvr.

すなわち、第１および第２の位置姿勢変化は、これら検出された各加速度を時間で積分することで、主となるユーザの速度および位置の変化、並びに従となるユーザの速度および位置の変化として、それぞれ算出可能となる。 That is, the first and second position-posture changes are the changes in the speed and position of the main user and the changes in the speed and position of the subordinate user by integrating each of these detected accelerations over time. , Each can be calculated.

具体的には、
Ｘｖｄ＝∫Ｘａｄ ｄｔ ・・・式（１）
Ｙｖｄ＝∫Ｙａｄ ｄｔ ・・・式（２）
Ｚｖｄ＝∫Ｚａｄ ｄｔ ・・・式（３）
とすることで、水平方向への速度Ｘｖｄ、垂直方向への速度Ｙｖｄ、および奥行き方向への速度Ｚｖｄをそれぞれ算出できる。 specifically,
Xvd = ∫Xad dt ・ ・ ・ Equation (1)
Yvd = ∫Yad dt ・ ・ ・ Equation (2)
Zvd = ∫Zad dt ・ ・ ・ Equation (3)
Therefore, the horizontal velocity Xvd, the vertical velocity Yvd, and the depth velocity Zvd can be calculated, respectively.

また、
Ｘｐｄ＝∫Ｘｖｄ ｄｔ ・・・式（４）
Ｙｐｄ＝∫Ｙｖｄ ｄｔ ・・・式（５）
Ｚｐｄ＝∫Ｚｖｄ ｄｔ ・・・式（６）
とすることで、水平方向への位置Ｘｐｄ、垂直方向への位置Ｙｐｄ、および奥行き方向への位置Ｚｐｄをそれぞれ算出できる。 also,
Xpd = ∫Xvd dt ・ ・ ・ Equation (4)
Ypd = ∫Yvd dt ・ ・ ・ Equation (5)
Zpd = ∫Zvd dt ・ ・ ・ Equation (6)
Therefore, the position Xpd in the horizontal direction, the position Ypd in the vertical direction, and the position Zpd in the depth direction can be calculated, respectively.

さらに、検出された各回転角速度をそれぞれ時間で微分および積分することで、回転方向の角加速度および回転角を算出できる。すなわち、
Ｘａｒ＝ｄＸｖｒ／ｄｔ ・・・式（７）
Ｙａｒ＝ｄＹｖｒ／ｄｔ ・・・式（８）
Ｚａｒ＝ｄＺｖｒ／ｄｔ ・・・式（９）
とすることで、水平方向を軸とする回転角加速度Ｘａｒ、垂直方向を軸とする回転角加速度Ｙａｒ、および奥行き方向を軸とする回転角加速度Ｚａｒをそれぞれ算出できる。 Further, the angular acceleration and the angle of rotation in the rotation direction can be calculated by differentiating and integrating each of the detected angular velocities with respect to time. That is,
Xar = dXvr / dt ... Equation (7)
Yar = dYvr / dt ・ ・ ・ Equation (8)
Zar = dZvr / dt ... Equation (9)
Therefore, the rotational angular acceleration Xar about the horizontal direction, the rotational angular acceleration Yar about the vertical direction, and the rotational angular acceleration Zar about the depth direction can be calculated.

また、
Ｘｐｒ＝∫Ｘｖｒ ｄｔ ・・・式（１０）
Ｙｐｒ＝∫Ｙｖｒ ｄｔ ・・・式（１１）
Ｚｐｒ＝∫Ｚｖｒ ｄｔ ・・・式（１２）
とすることで、水平方向を軸とする回転角Ｘｐｒ、垂直方向を軸とする回転角Ｙｐｒ、および奥行き方向を軸とする回転角Ｚｐｒをそれぞれ算出できる。 also,
Xpr = ∫Xvr dt ・ ・ ・ Equation (10)
Ypr = ∫Yvr dt ・ ・ ・ Equation (11)
Zpr = ∫Zvr dt ・ ・ ・ Equation (12)
Therefore, the rotation angle Xpr about the horizontal direction, the rotation angle Ypr about the vertical direction, and the rotation angle Zpr about the depth direction can be calculated, respectively.

上記の式（１）～式（１２）で算出される各パラメータについては、実際には加速度センサおよびジャイロセンサ内のドリフトに起因し、積分誤差が発生する。この積分誤差は、第１および第２の位置姿勢変化を正確に求めるための障害となる。そこで、この積分誤差を除去するために、ハイパスフィルタ、カルマンフィルタ、相補フィルタなどのフィルタ処理、さらには、地磁気、ＧＰＳなどの情報による補正処理を行うこと、すなわち、センサーフュージョン構成とすることは、有効である。 For each parameter calculated by the above equations (1) to (12), an integration error actually occurs due to the drift in the acceleration sensor and the gyro sensor. This integration error becomes an obstacle for accurately obtaining the first and second position-posture changes. Therefore, in order to eliminate this integration error, it is effective to perform filter processing such as a high-pass filter, Kalman filter, and complementary filter, and further, correction processing using information such as geomagnetism and GPS, that is, a sensor fusion configuration. Is.

なお、上記の式（１）～式（１２）による算出工程は、第１および第２のディスプレイ１１０，１２０内の位置姿勢変化検出部１１１，１２１で行うことが可能である。この場合、表示領域制御部１０３は、第１および第２の位置姿勢変化を、上記の式（１）～式（１２）による算出工程の結果として取得する。 The calculation steps according to the above equations (1) to (12) can be performed by the position / posture change detection units 111 and 121 in the first and second displays 110 and 120. In this case, the display area control unit 103 acquires the first and second position / posture changes as a result of the calculation steps according to the above equations (1) to (12).

また、上記の式（１）～式（１２）による算出工程は、表示領域制御部１０３で行うことも可能である。この場合、表示領域制御部１０３は、第１および第２の位置姿勢変化を、上記の式（１）～式（１２）の計算の元になる各パラメータとして取得する。 Further, the calculation steps according to the above equations (1) to (12) can also be performed by the display area control unit 103. In this case, the display area control unit 103 acquires the first and second position / posture changes as the parameters that are the basis of the calculation of the above equations (1) to (12).

図２のフローチャートの説明に戻る。
次に、ステップＳ２０３において、表示領域制御部１０３は、第１のディスプレイ１１０に表示すべき第１の表示画像を生成するか、または第２のディスプレイ１２０に表示すべき第２の表示画像を生成するか、を決定する。 Returning to the explanation of the flowchart of FIG.
Next, in step S203, the display area control unit 103 generates a first display image to be displayed on the first display 110, or generates a second display image to be displayed on the second display 120. Decide whether to do it.

第１のディスプレイ１１０に表示すべき第１の表示画像を生成する場合、第１のディスプレイ１１０は、主となるユーザに装着されるものであるため、ステップＳ２０４へ進む。また、第２のディスプレイ１２０に表示すべき第２の表示画像を生成する場合、第２のディスプレイ１２０は、従となるユーザに装着されるものであるため、ステップＳ２０７へ進む。 When generating the first display image to be displayed on the first display 110, since the first display 110 is attached to the main user, the process proceeds to step S204. Further, when generating the second display image to be displayed on the second display 120, since the second display 120 is attached to the subordinate user, the process proceeds to step S207.

第１の表示画像は、以下のステップＳ２０４～Ｓ２０６により生成され、かつ第１のディスプレイ１１０に表示される。 The first display image is generated by the following steps S204 to S206 and is displayed on the first display 110.

まず、ステップＳ２０４において、画像領域制御部１０３は、ステップＳ２０２で取得した第１の位置姿勢変化に基づき、第１のディスプレイ１１０の画像表示部１１２に表示すべき第１の表示領域を生成する。 First, in step S204, the image area control unit 103 generates a first display area to be displayed on the image display unit 112 of the first display 110 based on the first position / posture change acquired in step S202.

次に、ステップＳ２０５において、画像領域制御部１０３は、画像データ、およびステップＳ２０４で生成した第１の表示領域に基づき、第１のディスプレイ１１０の画像表示部１１２に表示すべき第１の表示画像を生成する。そして、ステップＳ２０６において、画像領域制御部１０３は、この第１の表示画像を第１のディスプレイ１１０の画像表示部１１２に供給する。 Next, in step S205, the image area control unit 103 should display the first display image to be displayed on the image display unit 112 of the first display 110 based on the image data and the first display area generated in step S204. To generate. Then, in step S206, the image area control unit 103 supplies the first display image to the image display unit 112 of the first display 110.

一方、第２の表示画像は、以下のステップＳ２０７～Ｓ２１０により生成され、かつ第２のディスプレイ１２０に表示される。 On the other hand, the second display image is generated by the following steps S207 to S210 and is displayed on the second display 120.

まず、ステップＳ２０７において、表示領域制御部１０３は、上述の取得部を用いて、位置姿勢変化検出部１２１から第２の位置姿勢変化を取得する。そして、ステップＳ２０８において、画像領域制御部１０３は、ステップＳ２０２で取得した第１の位置姿勢変化、およびＳ２０７で取得した第２の位置姿勢変化に基づき、第２のディスプレイ１２０の画像表示部１２２に表示すべき第２の表示領域を生成する。 First, in step S207, the display area control unit 103 acquires the second position / posture change from the position / attitude change detection unit 121 by using the above-mentioned acquisition unit. Then, in step S208, the image area control unit 103 displays the image display unit 122 of the second display 120 based on the first position / posture change acquired in step S202 and the second position / posture change acquired in S207. Generate a second display area to be displayed.

次に、ステップＳ２０９において、画像領域制御部１０３は、画像データ、およびステップＳ２０８で生成した第２の表示領域に基づき、第２のディスプレイ１２０の画像表示部１２２に表示すべき第２の表示画像を生成する。そして、ステップＳ２１０において、画像領域制御部１０３は、この第２の表示画像を第２のディスプレイ１２０の画像表示部１２２に供給する。 Next, in step S209, the image area control unit 103 should display the second display image to be displayed on the image display unit 122 of the second display 120 based on the image data and the second display area generated in step S208. To generate. Then, in step S210, the image area control unit 103 supplies the second display image to the image display unit 122 of the second display 120.

ここで、第１の表示画像および第２の表示画像を生成する具体例を説明する。 Here, a specific example for generating the first display image and the second display image will be described.

例えば、図４に示すように、表示領域制御部１０３は、位置姿勢変化補正パラメータ算出部３０１と、位置姿勢変化補正部３０２と、表示領域算出部３０３と、表示画像生成部３０４と、を備える。位置姿勢変化補正パラメータ算出部３０１は、画像メモリ１０２内に記憶された画像データに基づき、位置姿勢変化補正パラメータを算出し、かつそれを位置姿勢変化補正部３０２へ供給する。 For example, as shown in FIG. 4, the display area control unit 103 includes a position / attitude change correction parameter calculation unit 301, a position / attitude change correction unit 302, a display area calculation unit 303, and a display image generation unit 304. .. The position / posture change correction parameter calculation unit 301 calculates the position / posture change correction parameter based on the image data stored in the image memory 102, and supplies it to the position / posture change correction unit 302.

位置姿勢変化補正部３０２は、第１のディスプレイ１１０内の位置姿勢検出部１１１で検出された第１の位置姿勢変化を位置姿勢変化補正パラメータに基づき補正する補正処理を行う。この補正処理は、第１の位置姿勢変化から主となるユーザの急な動きに起因する位置姿勢変化を除外する処理である。この補正処理が行われた第１の位置姿勢変化は、表示領域算出部３０３に供給される。 The position / posture change correction unit 302 performs correction processing for correcting the first position / posture change detected by the position / posture detection unit 111 in the first display 110 based on the position / posture change correction parameter. This correction process is a process of excluding the position / posture change caused by the sudden movement of the main user from the first position / posture change. The first position / posture change obtained by this correction process is supplied to the display area calculation unit 303.

表示領域算出部３０３は、位置姿勢変化補正部３０２で補正処理が行われていない第１の位置姿勢変化に基づき第１の表示領域を算出する。また、表示領域算出部３０３は、位置姿勢変化補正部３０２で補正処理が行われている第１の位置姿勢変化に基づき補正表示領域を算出する。さらに、表示領域算出部３０３は、補正表示領域の中心座標を基準にして、位置姿勢変化検出部１２１から取得した第２の位置姿勢変化に基づき第２の表示領域を算出する。 The display area calculation unit 303 calculates the first display area based on the first position / posture change that has not been corrected by the position / posture change correction unit 302. Further, the display area calculation unit 303 calculates the correction display area based on the first position / posture change that is being corrected by the position / posture change correction unit 302. Further, the display area calculation unit 303 calculates the second display area based on the second position / posture change acquired from the position / posture change detection unit 121 with reference to the center coordinates of the correction display area.

表示画像生成部３０４は、画像データ、および表示領域算出部３０３で算出された第１の表示領域に基づき、第１のディスプレイ１１０に供給すべき第１の表示画像を生成する。第１の表示画像は、画像表示部１１２に表示される。また、表示画像生成部３０４は、画像データ、および表示領域算出部３０３で算出された第２の表示領域に基づき、第２のディスプレイ１２０に供給すべき第２の表示画像を生成する。第２の表示画像は、画像表示部１２２に表示される。 The display image generation unit 304 generates a first display image to be supplied to the first display 110 based on the image data and the first display area calculated by the display area calculation unit 303. The first display image is displayed on the image display unit 112. Further, the display image generation unit 304 generates a second display image to be supplied to the second display 120 based on the image data and the second display area calculated by the display area calculation unit 303. The second display image is displayed on the image display unit 122.

このように、第１の表示画像は、補正処理が行われていない第１の位置姿勢変化に基づき生成されるため、主となるユーザは、自らの動きをそのまま第１の表示画像として視聴可能となる。また、第２の表示画像は、補正処理が行われている第１の位置姿勢変化と、第２の位置姿勢変化とに基づき生成されるため、従となるユーザは、主となるユーザの急な動きの要素が排除された第２の表示画像を視聴可能となる。 In this way, since the first display image is generated based on the first position / posture change that has not been corrected, the main user can view his / her movement as it is as the first display image. It becomes. Further, since the second display image is generated based on the first position / posture change in which the correction process is performed and the second position / posture change, the subordinate user is suddenly the main user. The second display image from which the element of movement is excluded can be viewed.

図５は、第１の表示領域を算出する例を示す。
図５（Ａ）は、画像データの垂直方向５０１と水平方向５０２に対して、第１の位置姿勢変化が検出されていない場合の第１の表示領域５０３の例である。図５（Ｂ）は、図５（Ａ）の状態において第１の位置姿勢変化が検出された場合に、第１の位置姿勢変化に基づき第１の表示領域５０８を算出する例である。 FIG. 5 shows an example of calculating the first display area.
FIG. 5A is an example of the first display area 503 when the first position / posture change is not detected with respect to the vertical direction 501 and the horizontal direction 502 of the image data. FIG. 5B is an example of calculating the first display area 508 based on the first position / posture change when the first position / posture change is detected in the state of FIG. 5A.

本例では、第１の位置姿勢変化は、垂直方向５０１と水平方向５０２に対して、中心座標（ｘ,ｙ）５０７を中心にして回転角５０６だけ回転した場合を例とする。この場合、第１の位置姿勢変化後の第１の表示領域５０８は、垂直方向５０４と水平方向５０５とを有する。 In this example, the first position / posture change is taken as an example in which the rotation angle 506 is rotated about the center coordinate (x, y) 507 with respect to the vertical direction 501 and the horizontal direction 502. In this case, the first display area 508 after the first position / attitude change has a vertical direction 504 and a horizontal direction 505.

中心座標（ｘ,ｙ）５０７は、式（４）および式（５）より、
（ｘ,ｙ）=（Ｘｐｄ，Ｙｐｄ） ・・・式(１３)
となる。また、回転角５０６は、式（１２）より算出できる。第１の表示領域５０８は、式（１３）と、回転角５０６と、主となるユーザが装着する第１のディスプレイ１１０の画像表示部１１２に表示可能な画像サイズとに基づき、決定する。 The center coordinates (x, y) 507 are obtained from the equations (4) and (5).
(X, y) = (Xpd, Ypd) ... Equation (13)
Will be. Further, the rotation angle 506 can be calculated from the equation (12). The first display area 508 is determined based on the equation (13), the rotation angle 506, and the image size that can be displayed on the image display unit 112 of the first display 110 worn by the main user.

以上より、第１の表示領域５０８は、主となるユーザの第１の位置姿勢変化から算出される。また、画像データのうち、第１の表示領域５０８内に含まれる画像データは、主となるユーザが装着する第１のディスプレイ１１０に供給すべき第１の表示画像となる。第１の表示画像は、第１のディスプレイ１１０の画像表示部１１２に表示される。 From the above, the first display area 508 is calculated from the first position / posture change of the main user. Further, among the image data, the image data included in the first display area 508 is the first display image to be supplied to the first display 110 worn by the main user. The first display image is displayed on the image display unit 112 of the first display 110.

次に、第２の表示領域を算出する例を示す。
まず、上記のように、位置姿勢変化補正部３０２を用いて、第１の位置姿勢変化から主となるユーザの急な動きに起因する位置姿勢変化を除外する補正処理を行う。 Next, an example of calculating the second display area is shown.
First, as described above, the position / posture change correction unit 302 is used to perform correction processing for excluding the position / posture change caused by the sudden movement of the main user from the first position / posture change.

図６は、補正処理の例を示す。
図６（Ａ）は、ローパスフィルタ（ＬＰＦ）６０１を用いた補正処理の例である。ローパスフィルタ６０１は、所定の閾値を有し、第１の位置姿勢変化と位置姿勢変化補正パラメータとに基づき、補正処理された第１の位置姿勢変化を出力する。すなわち、ローパスフィルタ６０１は、第１の位置姿勢変化の周波数が所定の閾値よりも大きい場合に、該周波数に係る位置変化を主となるユーザの急な動きとして除外する。 FIG. 6 shows an example of correction processing.
FIG. 6A is an example of correction processing using the low-pass filter (LPF) 601. The low-pass filter 601 has a predetermined threshold value, and outputs the corrected first position / posture change based on the first position / posture change and the position / posture change correction parameter. That is, when the frequency of the first position / posture change is larger than a predetermined threshold value, the low-pass filter 601 excludes the position change related to the frequency as a sudden movement of the main user.

図６（Ｂ）は、閾値処理部６０２による補正処理の例である。閾値処理部６０２は、第１の位置姿勢変化と位置姿勢変化補正パラメータとに基づき、所定の閾値を基準に第１の位置姿勢変化が有るか、または無いかを決める処理を行う。すなわち、閾値処理部６０２は、第１の位置姿勢変化が所定の閾値よりも大きい場合に、該位置姿勢変化が無いものとして処理し、主となるユーザの急な動きを除外する。 FIG. 6B is an example of correction processing by the threshold value processing unit 602. The threshold value processing unit 602 performs processing for determining whether or not there is a first position / posture change based on a predetermined threshold value based on the first position / posture change and the position / posture change correction parameter. That is, when the first position / posture change is larger than a predetermined threshold value, the threshold value processing unit 602 processes it as if there is no position / posture change, and excludes the sudden movement of the main user.

また、画像データが画素毎に色情報と奥行き情報を有する場合、位置姿勢変化補正部３０２は、第１の表示領域５０８内の画素の奥行き情報に基づき、ローパスフィルタ６０１または閾値処理部６０２の所定の閾値を設定してもよい。この場合、近い距離情報を持つ画像が表示画角の多くを占めるときに、ローパスフィルタ６０１または閾値処理部６０２の効果を高め（所定の閾値を下げ）、第１の位置姿勢変化をなだらかにし、追従性を下げることができる。これにより、従となるユーザの視覚的な不快感または映像酔いが防止される。 When the image data has color information and depth information for each pixel, the position / orientation change correction unit 302 determines the low pass filter 601 or the threshold value processing unit 602 based on the depth information of the pixels in the first display area 508. You may set the threshold value of. In this case, when an image having short distance information occupies most of the display angle of view, the effect of the low-pass filter 601 or the threshold value processing unit 602 is enhanced (predetermined threshold value is lowered), and the first position / orientation change is smoothed. The followability can be lowered. This prevents the visual discomfort or video sickness of the subordinate user.

図７は、図６（Ａ）によるローパスフィルタ６０１によって第１の位置姿勢変化がどのように補正されるのかを説明した図である。 FIG. 7 is a diagram illustrating how the first position-posture change is corrected by the low-pass filter 601 according to FIG. 6 (A).

横軸７０１は、時間軸を示し、縦軸７０２は、位置姿勢変化として水平方向の位置７０３を示す。水平方向の位置７０３は、第１のディスプレイ１１０の位置姿勢変化検出部１１１で検出された第１の位置姿勢変化である。なだらかな曲線７０４は、ローパスフィルタ６０１による補正処理が行われた第１の位置姿勢変化を示す。但し、縦軸７０２は、水平方向の位置に限らず、垂直方向の位置、奥行き方向の位置を示していてもよい。 The horizontal axis 701 indicates a time axis, and the vertical axis 702 indicates a horizontal position 703 as a position / attitude change. The position 703 in the horizontal direction is the first position / attitude change detected by the position / attitude change detection unit 111 of the first display 110. The gentle curve 704 indicates the first position / orientation change that has been corrected by the low-pass filter 601. However, the vertical axis 702 is not limited to the position in the horizontal direction, and may indicate the position in the vertical direction and the position in the depth direction.

ローパスフィルタ６０１は、伝達関数として、
Ｇ（ｓ）＝ａ／（ｓ＋ａ） ・・・式（１４）
と表現される。但し、ｓは、角周波数であり、かつｗと虚数ｊを用いて
ｓ＝ｊｗ ・・・式（１５）
と表現される。 The low-pass filter 601 is used as a transfer function.
G (s) = a / (s + a) ... Equation (14)
It is expressed as. However, s is an angular frequency, and w and the imaginary number j are used to s = jw ... Equation (15).
It is expressed as.

さらに、角周波数ｗは、周波数ｆを用いて
ｗ＝２πｆ ・・・式（１６）
と表現される。但し、ａは、任意の正の定数で、かつ第１の位置姿勢変化の補正パラメータ設定値である。この時、ローパスフィルタ６０１の遮断周波数ｆｃは、
ｆｃ＝ａ／２π ・・・式（１７）
の関係を有する。 Further, the angular frequency w uses the frequency f, and w = 2πf ... Equation (16).
It is expressed as. However, a is an arbitrary positive constant and is a correction parameter setting value of the first position / posture change. At this time, the cutoff frequency fc of the low-pass filter 601 is set to
fc = a / 2π ・ ・ ・ Equation (17)
Have a relationship of.

すなわち、ローパスフィルタ６０１の特性は、aの値、および遮断周波数ｆｃを調整することにより制御可能となる。 That is, the characteristics of the low-pass filter 601 can be controlled by adjusting the value of a and the cutoff frequency fc.

第１の位置姿勢変化の高周波成分（主となるユーザの急な動きに相当）は、ローパスフィルタ６０１により除去されるため、補正処理された第１の位置姿勢変化は、主となるユーザの急な動きに起因する位置姿勢変化を含まない。また、第１の位置姿勢変化の補正パラメータは、第１のディスプレイ１１０の表示範囲に含まれる画素の奥行き情報に基づき変更可能であり、これに基づき、式（１４）の任意の正の定数ａも変更可能である。 Since the high frequency component of the first position / posture change (corresponding to the sudden movement of the main user) is removed by the low-pass filter 601, the corrected first position / posture change is the sudden movement of the main user. It does not include changes in position and posture caused by various movements. Further, the correction parameter for the first position / orientation change can be changed based on the depth information of the pixels included in the display range of the first display 110, and based on this, an arbitrary positive constant a in the equation (14) can be changed. Can also be changed.

すなわち、位置姿勢変化補正パラメータ算出部３０１は、補正処理を行う第１の位置姿勢変化の（Ｘｐｄ，Ｙｐｄ）と対をなす奥行き情報に基づいて定数aを変更した後、定数aを位置姿勢変化補正部３０２へ供給する。第１の位置姿勢変化の（Ｘｐｄ，Ｙｐｄ）と対をなす奥行き情報をＺｄとする。このとき、Ｚｄをある定数からある定数の間で表現でき、Ｚｄが小さいほど奥行き情報として奥行きがないと定義した場合、定数aは、
ａ＝ｂ×Ｚｄ ・・・式（１８）
と表現される。但し、ｂは、任意の定数である。 That is, the position / attitude change correction parameter calculation unit 301 changes the constant a based on the depth information paired with (Xpd, Ypd) of the first position / attitude change to be corrected, and then changes the constant a to the position / attitude. It is supplied to the correction unit 302. Let Zd be the depth information paired with (Xpd, Ypd) of the first position-posture change. At this time, if Zd can be expressed between a certain constant and a certain constant, and it is defined that the smaller Zd is, the less depth is provided as depth information, the constant a is
a = b × Zd ・ ・ ・ Equation (18)
It is expressed as. However, b is an arbitrary constant.

式（１８）で定数ａを決めることにより、例えば、風景のように奥行きがあるシーンの場合、Ｚｄが大きい値となるため、それに比例して定数ａも大きな値となる。従って、式（１７）より、遮断周波数ｆｃも大きな値となるため、ローパスフィルタ６０１の効果を弱めることができる。逆に、近くにものがあるシーンの場合、Ｚｄが小さい値となるため、それに比例して定数ａも小さな値となる。従って、式（１７）より、遮断周波数ｆｃも小さな値となるため、ローパスフィルタ６０１の効果を強めることができる。 By determining the constant a in the equation (18), for example, in the case of a scene having a depth such as a landscape, Zd becomes a large value, so that the constant a also becomes a large value in proportion to it. Therefore, according to the equation (17), the cutoff frequency fc also has a large value, so that the effect of the low-pass filter 601 can be weakened. On the contrary, in the case of a scene where there is something nearby, Zd becomes a small value, so that the constant a also becomes a small value in proportion to it. Therefore, since the cutoff frequency fc is also a small value from the equation (17), the effect of the low-pass filter 601 can be enhanced.

以上のように、画像データの奥行き情報に応じてローパスフィルタ６０１の設定値を変えることにより、第１の位置姿勢変化の補正度合を変更可能となる。 As described above, by changing the set value of the low-pass filter 601 according to the depth information of the image data, it is possible to change the degree of correction of the first position / posture change.

図８は、図６（Ｂ）による閾値処理部６０２によって第１の位置姿勢変化がどのように補正されるのかを説明した図である。同図は、第１の位置姿勢変化の位置、速度、および加速度の関係を示す。 FIG. 8 is a diagram illustrating how the first position / posture change is corrected by the threshold value processing unit 602 according to FIG. 6B. The figure shows the relationship between the position, velocity, and acceleration of the first position-posture change.

図８（Ａ）の横軸８０１は、時間軸を示し、縦軸８０４は、位置を示す。図８（Ｂ）の横軸８０２は、時間軸を示し、縦軸８０５は、速度を示す。図８（Ｃ）の横軸８０３は、時間軸を示し、縦軸８０６は、加速度を示す。第１の位置姿勢変化に関し、位置の時間的な変化８０７、および速度の時間的な変化８０８は、図３で説明したように、加速度の時間的な変化８０９から算出できる。以下の説明では、便宜上、位置、速度、および加速度の時間的な変化は、水平方向の変化を例とするが、それ以外の垂直方向、奥行き方向、および回転方向に対しても同様の処理が可能である。 The horizontal axis 801 of FIG. 8A indicates a time axis, and the vertical axis 804 indicates a position. The horizontal axis 802 of FIG. 8B shows the time axis, and the vertical axis 805 shows the speed. The horizontal axis 803 of FIG. 8C shows the time axis, and the vertical axis 806 shows the acceleration. With respect to the first position-posture change, the temporal change 807 of the position and the temporal change 808 of the velocity can be calculated from the temporal change 809 of the acceleration as described with reference to FIG. In the following description, for convenience, the temporal changes in position, velocity, and acceleration are taken as examples of horizontal changes, but similar processing is applied to other vertical, depth, and rotation directions. It is possible.

図９は、図８（Ｃ）の加速度の時間的な変化に関し、所定の閾値を基準に、第１の位置姿勢変化を有りとするか、または無しとするか（主となるユーザの急な動きとして除去するか）を決める例を示す。 FIG. 9 shows whether or not the first position-posture change is present or absent based on a predetermined threshold value with respect to the temporal change of the acceleration of FIG. 8 (C) (a sudden change of the main user). An example of deciding whether to remove as a movement) is shown.

図９（Ａ）の横軸８１０は、時間軸を示し、縦軸８１３は、加速度を示す。図９（Ｂ）の横軸８１１は、時間軸を示し、縦軸８１４は、位置を示す。図９（Ｃ）の横軸８１２は、時間軸を示し、縦軸８１５は、位置を示す。加速度の時間的な変化８１６は、図８（Ｃ）の加速度の時間的な変化と同じである。 The horizontal axis 810 of FIG. 9A shows the time axis, and the vertical axis 813 shows the acceleration. The horizontal axis 811 in FIG. 9B indicates a time axis, and the vertical axis 814 indicates a position. The horizontal axis 812 of FIG. 9C indicates a time axis, and the vertical axis 815 indicates a position. The temporal change in acceleration 816 is the same as the temporal change in acceleration in FIG. 8 (C).

図６の閾値処理部６０２は、図９（Ａ）の加速度の時間的な変化８１６に基づき、検出された第１の位置姿勢変化を、主となるユーザの急な動きとして排除するか否かを決定する。例えば、閾値処理部６０２は、所定の閾値８１７，８１８を有する。ここでは、所定の閾値８１７の値をＴＨ＿Ｈとし、所定の閾値８１８の値をＴＨ＿Ｌとする。 Whether or not the threshold value processing unit 602 of FIG. 6 excludes the detected first position / posture change as a sudden movement of the main user based on the temporal change 816 of the acceleration of FIG. 9A. To determine. For example, the threshold value processing unit 602 has a predetermined threshold value 817,818. Here, the value of the predetermined threshold value 817 is set to TH_H, and the value of the predetermined threshold value 818 is set to TH_L.

点線８１９，８２０は、加速度が所定の閾値８１７，８１８を超えた時点を示す。この時、閾値処理部６０２による補正処理が行われないと、位置の変化は、破線８２１，８２４に示すようになり、図８（Ａ）の位置の変化と同じとなる。一方、閾値処理部６０２による補正処理が行われると、位置の変化は、実線８２２，８２５に示すようになる。すなわち、加速度が所定の閾値８１７，８１８を超えた時点８１９，８２０から一定期間８２３は、第１の位置姿勢変化が無いものとして扱う。これにより、この一定期間８２３は、位置の更新が行われないため、主となるユーザの急な動きを排除することができる。 The dotted lines 819 and 820 indicate the time points when the acceleration exceeds a predetermined threshold value 817 and 818. At this time, if the correction processing by the threshold value processing unit 602 is not performed, the change in position is as shown by the broken lines 821 and 824, which is the same as the change in position in FIG. 8A. On the other hand, when the correction process is performed by the threshold value processing unit 602, the change in position is shown by the solid line 822,825. That is, from the time point 819, 820 when the acceleration exceeds the predetermined threshold value 817, 818 to the fixed period 823, it is treated as if there is no first position-posture change. As a result, since the position of the 823 is not updated for a certain period of time, it is possible to eliminate the sudden movement of the main user.

なお、一定期間８２３が経過した後に取得した第１の位置姿勢変化の加速度が所定の閾値を超えていない場合、現在位置を該第１の位置姿勢変化に基づく目標位置に変更することで、現在位置を主となるユーザの動きに追従させる。この場合、現在位置から目標位置までの加速度が所定の閾値を超えないように制御する必要がある。 If the acceleration of the first position / posture change acquired after a certain period of time has elapsed does not exceed a predetermined threshold value, the current position is changed to the target position based on the first position / posture change to present the current position. Make the position follow the movement of the main user. In this case, it is necessary to control the acceleration from the current position to the target position so as not to exceed a predetermined threshold value.

例えば、図９（Ｂ）の実線８２２に示すように、位置を急激に変化させると、図８（Ａ）の場合と同様に、時点ＸＰにおいて加速度が所定の閾値を超えてしまう可能性がある。そこで、現在位置を目標位置に変更する場合、図９（Ｃ）の実線８２５に示すように、位置姿勢変化補正部３０２は、位置を緩やかに変化させるような制御を行うのが望ましい。 For example, as shown by the solid line 822 of FIG. 9B, if the position is suddenly changed, the acceleration may exceed a predetermined threshold value at the time point XP as in the case of FIG. 8A. .. Therefore, when changing the current position to the target position, it is desirable that the position / posture change correction unit 302 performs control so as to gradually change the position, as shown by the solid line 825 of FIG. 9 (C).

また、第１の位置姿勢変化の補正パラメータは、第１のディスプレイ１１０に表示すべき第１の表示範囲内の画素の奥行き情報に基づき閾値８１７，８１８の値ＴＨ＿Ｈ，ＴＨ＿Ｌを制御することで、変更することが可能である。例えば、位置姿勢変化補正パラメータ算出部３０１は、補正処理の対象となる第１の位置姿勢変化の（Ｘｐｄ，Ｙｐｄ）と対をなす奥行き情報に基づき、閾値８１７，８１８の値ＴＨ＿Ｈ，ＴＨ＿Ｌを制御する。 Further, the correction parameter of the first position / orientation change controls the values TH_H and TH_L of the threshold values 817 and 818 based on the depth information of the pixels in the first display range to be displayed on the first display 110. It is possible to change. For example, the position / attitude change correction parameter calculation unit 301 controls the values TH_H and TH_L of the threshold values 817 and 818 based on the depth information paired with the first position / attitude change (Xpd, Ypd) to be corrected. do.

第１の位置姿勢変化の（Ｘｐｄ，Ｙｐｄ）と対をなす奥行き情報をＺｄとすると、Ｚｄは２つの定数の間の値として表現できる。また、Ｚｄが小さいほど奥行き情報としての奥行きが小さいと定義した場合、ＴＨ＿ＨおよびＴＨ＿Ｌは、
ＴＨ＿Ｈ＝ｃ×Ｚｄ ・・・式（１９）
ＴＨ＿Ｌ＝ＴＨ＿Ｈ ・・・式（２０）
と表現される。但し、ｃは任意の定数である。 Assuming that the depth information paired with (Xpd, Ypd) of the first position-posture change is Zd, Zd can be expressed as a value between two constants. Further, when it is defined that the smaller the Zd is, the smaller the depth as the depth information is, TH_H and TH_L are
TH_H = c × Zd ・ ・ ・ Equation (19)
TH_L = TH_H ... Equation (20)
It is expressed as. However, c is an arbitrary constant.

式（１９）および式（２０）によれば、例えば、風景のように奥行きがあるシーンの場合、Ｚｄが大きな値となるため、それに比例してＴＨ＿ＨおよびＴＨ＿Ｌも大きな値となり、結果として、閾値処理部６０２の効果を弱めることができる。反対に、近くにものがあるシーンの場合、Ｚｄが小さな値となるため、それに比例してＴＨ＿Ｈ，ＴＨ＿Ｌも小さな値となり、結果として、閾値処理部６０２の効果を強めることができる。 According to the equations (19) and (20), for example, in the case of a scene having a depth such as a landscape, Zd becomes a large value, so TH_H and TH_L also become a large value in proportion to the value, and as a result, the threshold value becomes large. The effect of the processing unit 602 can be weakened. On the contrary, in the case of a scene where there is something nearby, Zd becomes a small value, so TH_H and TH_L also become small values in proportion to it, and as a result, the effect of the threshold processing unit 602 can be strengthened.

以上のように、画像データの奥行き情報に基づき、ＴＨ＿ＨおよびＴＨ＿Ｌを変えることで、補正処理における補正度合、すなわち第１の位置姿勢変化から主となるユーザの急な動きとして排除される位置姿勢変化の度合い、を変更可能となる。 As described above, by changing TH_H and TH_L based on the depth information of the image data, the degree of correction in the correction process, that is, the position / posture change excluded as a sudden movement of the main user from the first position / posture change. The degree of can be changed.

図１０は、第１の表示領域と第２の表示領域との関係を示す。
図１０（Ａ）は、主となるユーザが装着する第１のディスプレイ１１０に表示すべき第１の表示画像の第１の表示領域の例である。図１０（Ｂ）は、従となるユーザが装着する第２のディスプレイ１２０に表示すべき第２の表示画像の第２の表示領域の例である。 FIG. 10 shows the relationship between the first display area and the second display area.
FIG. 10A is an example of a first display area of a first display image to be displayed on a first display 110 worn by a main user. FIG. 10B is an example of a second display area of a second display image to be displayed on the second display 120 worn by a slave user.

本例は、画像データの垂直方向９０１と水平方向９０２に対して、主となるユーザの第１の位置姿勢変化が中心座標（ｘ,ｙ）９０６を中心にして回転角９０５だけ回転した場合を例とする。第１の位置姿勢変化に基づく第１の表示領域９０７は、垂直方向９０３と水平方向９０４とを有する。 This example is a case where the first position / posture change of the main user is rotated by the rotation angle 905 about the center coordinate (x, y) 906 with respect to the vertical direction 901 and the horizontal direction 902 of the image data. Take as an example. The first display area 907 based on the first position-orientation change has a vertical direction 903 and a horizontal direction 904.

この時、第１の表示領域９０７における中心座標（ｘ，ｙ）９０６は、例えば、第１のディスプレイ１１０で検出された座標となり、式（１３）より、
（ｘ,ｙ）＝（Ｘｐｄ，Ｙｐｄ） ・・・式(２１)
と表現される。
また、回転角９０５は、式（１２）から算出できる。 At this time, the center coordinates (x, y) 906 in the first display area 907 are, for example, the coordinates detected by the first display 110, and from the equation (13),
(X, y) = (Xpd, Ypd) ... Equation (21)
It is expressed as.
Further, the rotation angle 905 can be calculated from the equation (12).

従って、第１の表示領域９０７は、式（２１）と、回転角９０５と、第１のディスプレイ１１０の画像表示部１１２に表示可能な画像サイズと、に基づき決定できる。 Therefore, the first display area 907 can be determined based on the equation (21), the rotation angle 905, and the image size that can be displayed on the image display unit 112 of the first display 110.

また、第２の表示領域９１２は、第１の表示領域９０７と、従となるユーザの第２の位置姿勢変化と、に基づき決定できる。本例は、画像データの垂直方向９０１と水平方向９０２に対して、従となるユーザの第２の位置姿勢変化が中心座標（ｘ，ｙ）９１１を中心にして回転角９１０だけ回転した場合を例とする。第２の位置姿勢変化に基づく第２の表示領域９１２は、垂直方向９０８と水平方向９０９とを有する。 Further, the second display area 912 can be determined based on the first display area 907 and the second position / posture change of the subordinate user. This example is a case where the second position / posture change of the subordinate user is rotated by the rotation angle 910 about the center coordinate (x, y) 911 with respect to the vertical direction 901 and the horizontal direction 902 of the image data. Take as an example. The second display area 912 based on the second position-orientation change has a vertical direction 908 and a horizontal direction 909.

この時、第２の表示領域９１２における中心座標（ｘ，ｙ）９１１は、上述の補正処理が行われた第１の位置姿勢変化に基づき算出された第１の表示領域（補正表示領域）９０７の中心座標（ｘ，ｙ）９０６とする。また、回転角９１０は、式（１２）から算出できる。従って、第２の表示領域９１２は、式（２１）と、回転角９１０と、第２のディスプレイ１２０の画像表示部１２２に表示可能な画像サイズと、に基づき決定できる。 At this time, the center coordinates (x, y) 911 in the second display area 912 are the first display area (correction display area) 907 calculated based on the first position / orientation change in which the above-mentioned correction process is performed. Center coordinates (x, y) 906 of. Further, the rotation angle 910 can be calculated from the equation (12). Therefore, the second display area 912 can be determined based on the equation (21), the rotation angle 910, and the image size that can be displayed on the image display unit 122 of the second display 120.

図１１は、第２の表示領域を算出する例を示す。
本例は、補正表示領域に基づき画像データの切り出し領域を決定し、画像データの切り出し領域から第２の表示領域を算出する例である。なお、補正表示領域、第２の表示領域、および切り出し領域を算出する動作は、表示領域算出部３０３により実行される。 FIG. 11 shows an example of calculating the second display area.
This example is an example in which the cutout area of the image data is determined based on the corrected display area, and the second display area is calculated from the cutout area of the image data. The operation of calculating the correction display area, the second display area, and the cutout area is executed by the display area calculation unit 303.

図１１（Ａ）では、表示領域算出部３０３は、補正表示領域１００１内において、第２の位置姿勢変化に基づき、画像データの切り出し領域１００２を決定する。また、表示領域算出部３０３は、第２のディスプレイ１２０の画像表示部１２２に表示可能な画像サイズに基づき、切り出し領域１００２を拡大することにより、第２の表示領域を算出する。 In FIG. 11A, the display area calculation unit 303 determines the image data cutout area 1002 in the correction display area 1001 based on the second position / posture change. Further, the display area calculation unit 303 calculates the second display area by enlarging the cutout area 1002 based on the image size that can be displayed on the image display unit 122 of the second display 120.

図１１（Ｂ）では、表示領域算出部３０３は、第２の位置姿勢変化に基づき、補正表示領域１００１を含む切り出し領域１００３を決定する。また、表示領域算出部３０３は、第２のディスプレイ１２０の画像表示部１２２に表示可能な画像サイズに基づき、切り出し領域１００３を縮小することにより、第２の表示領域を算出する。 In FIG. 11B, the display area calculation unit 303 determines the cutout area 1003 including the correction display area 1001 based on the second position / posture change. Further, the display area calculation unit 303 calculates the second display area by reducing the cutout area 1003 based on the image size that can be displayed on the image display unit 122 of the second display 120.

そして、表示画像生成部３０４は、第１の表示領域に基づき第１の表示画像を生成し、かつ第１の表示画像を第１のディスプレイ１１０の画像表示部１１２に供給する。また、表示画像生成部３０４は、第２の表示領域に基づき第２の表示画像を生成し、かつ第２の表示画像を第２のディスプレイ１２０の画像表示部１２２に供給する。 Then, the display image generation unit 304 generates a first display image based on the first display area, and supplies the first display image to the image display unit 112 of the first display 110. Further, the display image generation unit 304 generates a second display image based on the second display area, and supplies the second display image to the image display unit 122 of the second display 120.

なお、第１の実施形態では、ロール（面内回転）の位置姿勢変化制御について説明したが、ヨーピッチ（あおり）成分、または前後／左右／上下の位置成分の制御について第１の実施形態を適用することも可能である。 In the first embodiment, the position / posture change control of the roll (in-plane rotation) has been described, but the first embodiment is applied to the control of the yaw pitch (tilt) component or the front / rear / left / right / up / down position component. It is also possible to do.

以上、説明したように、第１の実施形態によれば、補正処理が行われている第１の位置姿勢変化に基づき補正表示領域が算出され、かつ補正表示領域の中心座標が算出される。また、この中心座標を基準にして第２の位置姿勢変化に基づき第２の表示領域が算出される。すなわち、第２の表示領域は、主となるユーザの急な動きに起因する要素を含まない。 As described above, according to the first embodiment, the correction display area is calculated based on the first position / posture change in which the correction processing is performed, and the center coordinates of the correction display area are calculated. Further, the second display area is calculated based on the second position / posture change with reference to the center coordinates. That is, the second display area does not include elements caused by the sudden movement of the main user.

従って、従となるユーザは、第２の表示領域に基づき生成された第２の表示画像を視聴することにより、視覚的な不快感または映像酔いが低減される。一方、第１の表示領域は、補正処理が行われていない第１の位置姿勢変化に基づき生成されるため、主となるユーザは、自らの動きをそのまま第１の表示画像として視聴可能となる。 Therefore, the subordinate user can reduce the visual discomfort or the image sickness by viewing the second display image generated based on the second display area. On the other hand, since the first display area is generated based on the first position / posture change that has not been corrected, the main user can view his / her movement as it is as the first display image. ..

（第２の実施形態）
図１２は、ＨＭＤシステムの例を示す。
第２の実施形態は、画像処理装置１００が管理サーバ１１００内に搭載される場合の例である。 (Second embodiment)
FIG. 12 shows an example of an HMD system.
The second embodiment is an example in which the image processing apparatus 100 is mounted in the management server 1100.

このＨＭＤシステムは、管理サーバ１１００と、第１のディスプレイ（ディスプレイ装置）１１１０と、第２のディスプレイ（ディスプレイ装置）１１２０と、を備える。第１および第２のディスプレイ１１１０，１１２０の定義については、第１の実施形態と同じである。また、複数のヘッドマウントディスプレイの数についても、第１の実施形態と同様に、２つに限られず、３つ以上であっても構わない。但し、複数のヘッドマウントディスプレイのうちの１つは、主となるユーザが装着するディスプレイとして機能し、残りは、従となるユーザが装着するディスプレイとして機能する。 This HMD system includes a management server 1100, a first display (display device) 1110, and a second display (display device) 1120. The definitions of the first and second displays 1110 and 1120 are the same as those of the first embodiment. Further, the number of the plurality of head-mounted displays is not limited to two as in the first embodiment, and may be three or more. However, one of the plurality of head-mounted displays functions as a display worn by the main user, and the rest functions as a display worn by the subordinate user.

管理サーバ１１００は、画像処理装置１００と、外部通信インタフェース１１０１と、ＣＰＵ１１０２と、メモリ１１０３と、を備える。画像処理装置１００は、画像データ入力部１０１と、画像メモリ１０２と、画像領域制御部１０３と、を備える。これら画像データ入力部１０１、画像メモリ１０２、および画像領域制御部１０３は、第１の実施形態で既に説明したので、ここでの説明を省略する。 The management server 1100 includes an image processing device 100, an external communication interface 1101, a CPU 1102, and a memory 1103. The image processing device 100 includes an image data input unit 101, an image memory 102, and an image area control unit 103. Since the image data input unit 101, the image memory 102, and the image area control unit 103 have already been described in the first embodiment, the description thereof will be omitted here.

外部通信インタフェース１１０１は、ＣＰＵ１１０２からの指示に基づき、第１および第２のディスプレイ１１１０，１１２０の外部通信インタフェース１１１４，１１２４と通信を行う。ＣＰＵ１１０２は、画像処理装置１００、外部インタフェース１１０１、およびメモリ１１０３を制御する。メモリ１１０３は、ＣＰＵ１１０２からの指示に基づき、所定の情報を記憶する。所定の情報は、第１および第２の位置姿勢変化、第１および第２の表示画像、後述する第１および第２の主従信号など、の情報を含む。 The external communication interface 1101 communicates with the external communication interfaces 1114 and 1124 of the first and second displays 1110 and 1120 based on the instruction from the CPU 1102. The CPU 1102 controls the image processing device 100, the external interface 1101, and the memory 1103. The memory 1103 stores predetermined information based on the instruction from the CPU 1102. The predetermined information includes information such as first and second position / attitude changes, first and second display images, and first and second master-slave signals described later.

第１のディスプレイ１１１０は、位置姿勢変化検出部１１１１と、画像表示部１１１２と、主従選択部１１１３と、外部通信インタフェース１１１４と、を備える。同様に、第２のディスプレイ１１２０は、位置姿勢変化検出部１１２１と、画像表示部１１２２と、主従選択部１１２３と、外部通信インタフェース１１２４と、を備える。 The first display 1110 includes a position / attitude change detection unit 1111, an image display unit 1112, a master-slave selection unit 1113, and an external communication interface 1114. Similarly, the second display 1120 includes a position / attitude change detection unit 1121, an image display unit 1122, a master-slave selection unit 1123, and an external communication interface 1124.

第１および第２のディスプレイ１１１０，１１２０において、位置姿勢変化検出部１１１１，１１２１および画像表示部１１１２，１１２２は、第１の実施形態における位置姿勢変化検出部１１１，１２１および画像表示部１１２，１２２と同じである。第２の実施形態では、第１および第２のディスプレイ１１１０，１１２０は、さらに、主従選択部１１１３，１１２３および外部通信インタフェース１１１４，１１２４を備える。 In the first and second displays 1110 and 1120, the position / orientation change detection unit 1111,1121 and the image display units 1112, 1122 are the position / attitude change detection units 111, 121 and the image display units 112, 122 in the first embodiment. Is the same as. In the second embodiment, the first and second displays 1110, 1120 further include master-slave selection units 1113, 1123 and external communication interfaces 1114, 1124.

主従選択部１１１３，１１２３は、自らが主となるユーザに装着される第１のディスプレイ１１１０となるか、または従となるユーザに装着される第２のディスプレイ１１２０となるかを選択する。この選択は、例えば、ユーザが各ディスプレイに装着されたスイッチ等の選択手段により実行する。 The master-slave selection unit 1113, 1123 selects whether it will be the first display 1110 worn by the main user or the second display 1120 worn by the slave user. This selection is performed, for example, by a selection means such as a switch mounted on each display by the user.

本例では、第１のディスプレイ１１１０は、主となるユーザに装着される。このため、主従選択部１１１３は、第１のディスプレイ１１１０が主となるユーザに装着されていることを示す第１の主従信号を、外部通信インタフェース１１１４から管理サーバ１１００の外部通信インタフェース１１０１に送信する。また、第２のディスプレイ１１２０は、従となるユーザに装着される。このため、主従選択部１１２３は、第２のディスプレイ１１２０が従となるユーザに装着されていることを示す第２の主従信号を、外部通信インタフェース１１２４から管理サーバ１１００の外部通信インタフェース１１０１に送信する。 In this example, the first display 1110 is worn by a main user. Therefore, the master-slave selection unit 1113 transmits a first master-slave signal indicating that the first display 1110 is attached to the main user from the external communication interface 1114 to the external communication interface 1101 of the management server 1100. .. Further, the second display 1120 is attached to a subordinate user. Therefore, the master-slave selection unit 1123 transmits a second master-slave signal indicating that the second display 1120 is attached to the slave user from the external communication interface 1124 to the external communication interface 1101 of the management server 1100. ..

従って、画像処理装置１００は、ＣＰＵ１１０２を介して、第１の主従信号を受信することにより、第１のディスプレイ１１１０が主となるユーザに装着されていることを確認できる。また、画像処理装置１００は、ＣＰＵ１１０２を介して、第２の主従信号を受信することにより、第２のディスプレイ１１２０が従となるユーザに装着されていることを確認できる。 Therefore, the image processing apparatus 100 can confirm that the first display 1110 is attached to the main user by receiving the first master-slave signal via the CPU 1102. Further, the image processing device 100 can confirm that the second display 1120 is attached to the slave user by receiving the second master-slave signal via the CPU 1102.

このようなシステムによれば、画像処理装置１００が第１及び第２のディスプレイ１１１０，１１２０とは異なる管理サーバ１１００内に搭載されても、主となるユーザの急な動きが従となるユーザのディスプレイに反映されなくすることができる。従って、第２の実施形態においても、従となるユーザに視覚的な不快感または映像酔いを引き起こさせない、という効果が実現できる。 According to such a system, even if the image processing device 100 is mounted in a management server 1100 different from the first and second displays 1110 and 1120, the sudden movement of the main user is a subordinate user. It can be prevented from being reflected on the display. Therefore, also in the second embodiment, the effect of not causing the subordinate user to cause visual discomfort or video sickness can be realized.

次に、図１２のＨＭＤシステムの動作を説明する。
以下の説明では、図１３のフローチャートをベースにＨＭＤシステムの動作を説明する。 Next, the operation of the HMD system of FIG. 12 will be described.
In the following description, the operation of the HMD system will be described based on the flowchart of FIG.

まず、ステップＳ１２０１において、画像データを準備する。すなわち、画像データは、画像データ入力部１０１に入力され、かつ画像データ入力部１０１を経由して画像メモリ１０２に記憶される。次に、ステップＳ１２０２において、位置姿勢変化検出部１１１１は、第１の位置姿勢変化を検出し、かつ主従選択部１１１３は、第１の主従信号を検出する。 First, in step S1201, image data is prepared. That is, the image data is input to the image data input unit 101 and stored in the image memory 102 via the image data input unit 101. Next, in step S1202, the position / attitude change detection unit 1111 detects the first position / attitude change, and the master-slave selection unit 1113 detects the first master-slave signal.

次に、ステップＳ１２０３において、外部通信インタフェース１１１４は、第１の位置姿勢変化および第１の主従信号を管理サーバ１１００に送信する。ＣＰＵ１１０２は、これら第１の位置姿勢変化および第１の主従信号をメモリ１１０３内に記憶させる。 Next, in step S1203, the external communication interface 1114 transmits the first position / attitude change and the first master-slave signal to the management server 1100. The CPU 1102 stores these first position / attitude changes and the first master-slave signal in the memory 1103.

次に、ステップＳ１２０４において、表示領域制御部１０３は、第１のディスプレイ１１１０に表示すべき第１の表示画像を生成するか、または第２のディスプレイ１１２０に表示すべき第２の表示画像を生成するか、を決定する。 Next, in step S1204, the display area control unit 103 generates a first display image to be displayed on the first display 1110 or a second display image to be displayed on the second display 1120. Decide whether to do it.

第１のディスプレイ１１１０に表示すべき第１の表示画像を生成する場合、表示領域制御部１０３は、第１の主従信号から、第１のディスプレイ１１１０が主となるユーザに装着されるものであることを確認できるため、ステップＳ１２０５へ進む。 When generating the first display image to be displayed on the first display 1110, the display area control unit 103 is attached to the user whose main display is the first display 1110 from the first master-slave signal. Since it can be confirmed, the process proceeds to step S1205.

第１の表示画像は、以下のステップＳ１２０５～Ｓ１２０８により生成され、かつ第１のディスプレイ１１１０に表示される。 The first display image is generated by the following steps S1205 to S1208 and is displayed on the first display 1110.

まず、ステップＳ１２０５において、画像領域制御部１０３は、第１の位置姿勢変化に基づき、第１のディスプレイ１１１０の画像表示部１１１２に表示すべき第１の表示領域を生成する。 First, in step S1205, the image area control unit 103 generates a first display area to be displayed on the image display unit 1112 of the first display 1110 based on the first position / orientation change.

次に、ステップＳ１２０６において、画像領域制御部１０３は、画像データ、およびステップＳ１２０５で生成した第１の表示領域に基づき、第１のディスプレイ１１１０の画像表示部１１１２に表示すべき第１の表示画像を生成する。 Next, in step S1206, the image area control unit 103 should display the first display image to be displayed on the image display unit 1112 of the first display 1110 based on the image data and the first display area generated in step S1205. To generate.

そして、ステップＳ１２０７において、画像領域制御部１０３は、第１の表示画像をＣＰＵ１１０２に供給する。また、ＣＰＵ１１０２は、外部通信インタフェース１１０１を用いて、第１の表示画像を第１のディスプレイ１１１０に送信する。最後に、ステップＳＴ１２０８において、第１の表示画像は、第１のディスプレイ１１１０の画像表示部１１１２に表示される。 Then, in step S1207, the image area control unit 103 supplies the first display image to the CPU 1102. Further, the CPU 1102 uses the external communication interface 1101 to transmit the first display image to the first display 1110. Finally, in step ST1208, the first display image is displayed on the image display unit 1112 of the first display 1110.

一方、第２の表示画像は、以下のステップＳ１２０９～Ｓ１２１４により生成され、かつ第２のディスプレイ１１２０に表示される。 On the other hand, the second display image is generated by the following steps S1209 to S1214 and is displayed on the second display 1120.

まず、ステップＳ１２０９において、位置姿勢変化検出部１１２１は、第２の位置姿勢変化を検出し、かつ主従選択部１１２３は、第２の主従信号を検出する。 First, in step S1209, the position / attitude change detection unit 1121 detects the second position / attitude change, and the master-slave selection unit 1123 detects the second master-slave signal.

次に、ステップＳ１２１０において、外部通信インタフェース１１２４は、第２の位置姿勢変化および第２の主従信号を管理サーバ１１００に送信する。ＣＰＵ１１０２は、これら第２の位置姿勢変化および第２の主従信号をメモリ１１０３内に記憶させる。 Next, in step S1210, the external communication interface 1124 transmits the second position / attitude change and the second master-slave signal to the management server 1100. The CPU 1102 stores these second position / attitude changes and the second master-slave signal in the memory 1103.

また、ステップＳ１２１１において、画像領域制御部１０３は、第１の位置姿勢変化および第２の位置姿勢変化に基づき、第２のディスプレイ１１２０の画像表示部１１２２に表示すべき第２の表示領域を生成する。ここで、第２のディスプレイ１１２０に表示すべき第２の表示画像を生成する場合、表示領域制御部１０３は、第２の主従信号から、第２のディスプレイ１１２０が従となるユーザに装着されるものであることを確認できる。 Further, in step S1211, the image area control unit 103 generates a second display area to be displayed on the image display unit 1122 of the second display 1120 based on the first position / attitude change and the second position / attitude change. do. Here, when generating the second display image to be displayed on the second display 1120, the display area control unit 103 is attached to the user to which the second display 1120 is the slave from the second master-slave signal. It can be confirmed that it is a thing.

次に、ステップＳ１２１２において、画像領域制御部１０３は、画像データ、およびステップＳ１２１１で生成した第２の表示領域に基づき、第２のディスプレイ１１２０の画像表示部１１２２に表示すべき第２の表示画像を生成する。 Next, in step S1212, the image area control unit 103 should display the second display image to be displayed on the image display unit 1122 of the second display 1120 based on the image data and the second display area generated in step S1211. To generate.

そして、ステップＳ１２１３において、画像領域制御部１０３は、第２の表示画像をＣＰＵ１１０２に供給する。また、ＣＰＵ１１０２は、外部通信インタフェース１１０１を用いて、第２の表示画像を第２のディスプレイ１１２０に送信する。最後に、ステップＳＴ１２１４において、第２の表示画像は、第２のディスプレイ１１２０の画像表示部１１２２に表示される。 Then, in step S1213, the image area control unit 103 supplies the second display image to the CPU 1102. Further, the CPU 1102 uses the external communication interface 1101 to transmit the second display image to the second display 1120. Finally, in step ST1214, the second display image is displayed on the image display unit 1122 of the second display 1120.

なお、上述のステップＳ１２０５において第１の表示領域を生成する方法は、第１の実施形態と同じであるため、ここでの説明を省略する。同様に、上述のステップＳ１２１１において第２の表示領域を生成する方法も、第１の実施形態と同じであるため、ここでの説明を省略する。 Since the method of generating the first display area in step S1205 is the same as that of the first embodiment, the description thereof will be omitted here. Similarly, the method of generating the second display area in step S1211 described above is the same as that of the first embodiment, and thus the description thereof is omitted here.

このように、第２の実施形態によれば、管理サーバ１１００は、第１のディスプレイ１１１０で検出した第１の位置姿勢変化および第１の主従信号に基づき第１の表示画像を生成し、かつ第１の表示画像を第１のディスプレイ１１１０に送信する。従って、第１のディスプレイ１１１０は、主となるユーザの動き（第１の位置姿勢変化）がそのまま反映された第１の表示画像を画像表示部１１１２に表示できる。また、第２のディスプレイ１１２０は、主となるユーザの急な動きが排除された補正表示領域、および従となるユーザの動き（第２の位置姿勢変化）に基づき生成された第２の表示画像を画像表示部１１２２に表示できる。 As described above, according to the second embodiment, the management server 1100 generates the first display image based on the first position / orientation change and the first master-slave signal detected by the first display 1110, and also The first display image is transmitted to the first display 1110. Therefore, the first display 1110 can display the first display image on which the movement of the main user (first position / posture change) is reflected as it is on the image display unit 1112. Further, the second display 1120 has a corrected display area in which a sudden movement of the main user is excluded, and a second display image generated based on the movement of the subordinate user (second position / posture change). Can be displayed on the image display unit 1122.

（その他の実施形態）
本発明は、上述の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステム／装置に供給し、そのシステム／装置のコンピュータにおける１つ以上のプロセッサが該プログラムを実行する場合にも適用可能である。また、本発明は、上述の１つ以上の機能を所定の回路（例えば、ＡＳＩＣ）によって実現することも可能である。 (Other embodiments)
The present invention supplies a program that realizes one or more of the above functions to a system / device via a network or storage medium, and one or more processors in the computer of the system / device execute the program. It is also applicable to. The present invention can also realize one or more of the above-mentioned functions by a predetermined circuit (for example, ASIC).

（むすび）
以上、説明したように、本発明の例によれば、１つの画像を複数のヘッドマウントディスプレイに表示する場合に、主となるユーザの急な動きが従となるユーザのディスプレイに反映されなくすることができる。これにより、従となるユーザは、視覚的な不快感または映像酔いが低減される。 (Conclusion)
As described above, according to the example of the present invention, when one image is displayed on a plurality of head-mounted displays, the sudden movement of the main user is not reflected on the display of the subordinate user. be able to. This reduces visual discomfort or video sickness for the subordinate user.

本発明は、上述の実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and modifications can be made within the scope of the gist thereof.

１００ 画像処理装置
１０１ 画像データ入力部
１０２ 画像メモリ
１０３ 表示領域制御部
１１０ 第１のディスプレイ
１１１ 位置姿勢変化検出部
１１２ 画像表示部
１２０ 第２のディスプレイ
１２１ 位置姿勢変化検出部
１２２ 画像表示部
３０１ 位置姿勢変化補正パラメータ算出部
３０２ 位置姿勢変化補正部
３０３ 表示領域算出部
３０４ 表示画像生成部
１１００ サーバ
１１０１ 外部通信インタフェース
１１０２ ＣＰＵ
１１０３ メモリ
１１１０ 第１のディスプレイ
１１１１ 位置姿勢変化検出部
１１１２ 画像表示部
１１１３ 主従選択部
１１１４ 外部通信インタフェース
１１２０ 第２のディスプレイ
１１２１ 位置姿勢変化検出部
１１２２ 画像表示部
１１２３ 主従選択部
１１２４ 外部通信インタフェース 100 Image processing device 101 Image data input unit 102 Image memory 103 Display area control unit 110 First display 111 Position / posture change detection unit 112 Image display unit 120 Second display 121 Position / attitude change detection unit 122 Image display unit 301 Position / posture Change correction parameter calculation unit 302 Position / posture change correction unit 303 Display area calculation unit 304 Display image generation unit 1100 Server 1101 External communication interface 1102 CPU
1103 Memory 1110 1st display 1111 Position / orientation change detection unit 1112 Image display unit 1113 Master-slave selection unit 1114 External communication interface 1120 Second display 1121 Position / attitude change detection unit 1122 Image display unit 1123 Master-slave selection unit 1124 External communication interface

Claims (16)

画像データを複数の装着型ディスプレイ装置に表示する場合に各ディスプレイ装置を装着するユーザの位置姿勢変化に基づき該ディスプレイ装置に表示する表示画像を生成する画像処理装置であって、
前記複数のディスプレイ装置のうち第１のディスプレイ装置を装着する主となるユーザの第１の位置姿勢変化を取得し、かつ前記複数のディスプレイ装置のうち第２のディスプレイ装置を装着する従となるユーザの第２の位置姿勢変化を取得する取得手段と、
前記第１の位置姿勢変化から前記主となるユーザの急な動きに起因する位置姿勢変化を除外する補正処理を行う位置姿勢変化補正手段と、
前記補正処理が行われていない前記第１の位置姿勢変化に基づき第１の表示領域を算出し、前記補正処理が行われている前記第１の位置姿勢変化に基づき補正表示領域を算出し、かつ前記補正表示領域の中心座標を基準にして前記第２の位置姿勢変化に基づき第２の表示領域を算出する表示領域算出手段と、
前記画像データおよび前記第１の表示領域に基づき前記第１のディスプレイ装置に表示すべき第１の表示画像を生成し、かつ前記画像データおよび前記第２の表示領域に基づき前記第２のディスプレイ装置に表示すべき第２の表示画像を生成する表示画像生成手段と、を備える
ことを特徴とする画像処理装置。 An image processing device that generates a display image to be displayed on a display device based on a change in the position and posture of a user who wears each display device when displaying image data on a plurality of wearable display devices.
A subordinate user who acquires the first position / posture change of the main user who wears the first display device among the plurality of display devices and wears the second display device among the plurality of display devices. The acquisition means for acquiring the second position / attitude change of
A position / posture change correction means that performs correction processing for excluding the position / posture change caused by the sudden movement of the main user from the first position / posture change.
The first display area is calculated based on the first position / posture change in which the correction process is not performed, and the correction display area is calculated based on the first position / posture change in which the correction process is performed. In addition, a display area calculation means for calculating a second display area based on the second position / posture change with reference to the center coordinates of the correction display area, and
A first display image to be displayed on the first display device is generated based on the image data and the first display area, and the second display device is based on the image data and the second display area. An image processing apparatus comprising: a display image generation means for generating a second display image to be displayed on the screen. 前記第１および第２のディスプレイ装置の各々は、加速度センサおよびジャイロセンサを含む、
ことを特徴とする請求項１に記載の画像処理装置。 Each of the first and second display devices includes an accelerometer and a gyro sensor.
The image processing apparatus according to claim 1. 前記位置姿勢変化補正手段は、前記第１の位置姿勢変化の周波数が所定の閾値よりも大きい場合に、該周波数に係る位置姿勢変化をローパスフィルタにより除外することで、前記補正処理を行う、
ことを特徴とする請求項１または２に記載の画像処理装置。 When the frequency of the first position / posture change is larger than a predetermined threshold value, the position / posture change correction means performs the correction process by excluding the position / posture change related to the frequency by a low-pass filter.
The image processing apparatus according to claim 1 or 2. 前記画像データは、画素毎に色情報と奥行き情報を有し、
前記位置姿勢変化補正手段は、前記第１の表示領域の画素の奥行き情報に基づき前記所定の閾値を設定する、
請求項３に記載の画像処理装置。 The image data has color information and depth information for each pixel.
The position / posture change correction means sets the predetermined threshold value based on the depth information of the pixels in the first display area.
The image processing apparatus according to claim 3. 前記位置姿勢変化補正手段は、前記第１の位置姿勢変化の加速度が所定の閾値よりも大きい場合に、前記第１の位置姿勢変化が無いとする前記補正処理を行う、
ことを特徴とする請求項１または２に記載の画像処理装置。 The position / posture change correction means performs the correction process so that there is no first position / posture change when the acceleration of the first position / posture change is larger than a predetermined threshold value.
The image processing apparatus according to claim 1 or 2. 前記画像データは、画素毎に色情報と奥行き情報を有し、
前記位置姿勢変化補正手段は、前記第１の表示領域の画素の奥行き情報に基づき前記所定の閾値を設定する、
請求項５に記載の画像処理装置。 The image data has color information and depth information for each pixel.
The position / posture change correction means sets the predetermined threshold value based on the depth information of the pixels in the first display area.
The image processing apparatus according to claim 5. 前記表示領域算出手段は、前記補正表示領域において前記第２の位置姿勢変化に基づき切り出し領域を決定し、かつ前記切り出し領域を拡大することで前記第２の表示領域を算出する、
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 The display area calculation means determines a cutout area based on the second position / posture change in the correction display area, and calculates the second display area by enlarging the cutout area.
The image processing apparatus according to any one of claims 1 to 6. 前記表示領域算出手段は、前記第２の位置姿勢変化に基づき前記補正表示領域を含む切り出し領域を決定し、かつ前記切り出し領域を縮小することで前記第２の表示領域を決定する、
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 The display area calculation means determines a cutout area including the correction display area based on the second position / posture change, and determines the second display area by reducing the cutout area.
The image processing apparatus according to any one of claims 1 to 6. 前記第１のディスプレイ装置は、前記第１の表示画像を表示する画像表示手段を備え、かつ前記第２のディスプレイ装置は、前記第２の表示画像を表示する画像表示手段を備える、
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。 The first display device includes an image display means for displaying the first display image, and the second display device includes an image display means for displaying the second display image.
The image processing apparatus according to any one of claims 1 to 8. 前記画像処理装置は、前記複数のディスプレイ装置とは独立に設けられる、
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。 The image processing device is provided independently of the plurality of display devices.
The image processing apparatus according to any one of claims 1 to 9. 前記画像処理装置が前記複数のディスプレイ装置を管理する管理サーバ内に搭載される場合に、前記画像処理装置は、
前記第１の位置姿勢変化を前記第１のディスプレイ装置から受信し、かつ前記第２の位置姿勢変化を前記第２のディスプレイ装置から受信する受信手段と、
前記第１の表示画像を前記第１のディスプレイ装置に送信し、かつ前記第２の表示画像を前記第２のディスプレイ装置に送信する送信手段と、を備える、
ことを特徴とする請求項１０に記載の画像処理装置。 When the image processing device is installed in a management server that manages the plurality of display devices, the image processing device may be installed.
A receiving means for receiving the first position / orientation change from the first display device and receiving the second position / attitude change from the second display device.
A transmission means for transmitting the first display image to the first display device and transmitting the second display image to the second display device is provided.
The image processing apparatus according to claim 10. 前記画像処理装置は、前記複数のディスプレイ装置のうちの１つに搭載され、
前記画像処理装置が搭載されるディスプレイ装置が前記第１のディスプレイ装置でない場合に、前記画像処理装置は、前記第１の表示画像を前記第１のディスプレイ装置に送信する送信手段をさらに備える、
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。 The image processing device is mounted on one of the plurality of display devices.
When the display device on which the image processing device is mounted is not the first display device, the image processing device further includes a transmission means for transmitting the first display image to the first display device.
The image processing apparatus according to any one of claims 1 to 9. 前記画像処理装置は、前記複数のディスプレイ装置のうちの１つに搭載され、
前記画像処理装置が搭載されるディスプレイ装置が前記第２のディスプレイ装置でない場合に、前記画像処理装置は、前記第２の表示画像を前記第２のディスプレイ装置に送信する送信手段をさらに備える、
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。 The image processing device is mounted on one of the plurality of display devices.
When the display device on which the image processing device is mounted is not the second display device, the image processing device further includes a transmission means for transmitting the second display image to the second display device.
The image processing apparatus according to any one of claims 1 to 9. 前記複数のディスプレイ装置の各々は、自らが前記主となるユーザに装着されるディスプレイ装置となるか、または前記従となるユーザに装着されるディスプレイ装置となるかを選択する主従選択手段を備える、
ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。 Each of the plurality of display devices includes a master-slave selection means for selecting whether the display device itself is a display device worn by the main user or a display device worn by the slave user.
The image processing apparatus according to any one of claims 1 to 13. 画像データを複数の装着型ディスプレイ装置に表示する場合に各ディスプレイ装置を装着するユーザの位置姿勢変化に基づき該ディスプレイ装置に表示する表示画像を生成する画像処理方法であって、
前記複数のディスプレイ装置のうち第１のディスプレイ装置を装着する主となるユーザの第１の位置姿勢変化を取得し、かつ前記複数のディスプレイ装置のうち第２のディスプレイ装置を装着する従となるユーザの第２の位置姿勢変化を取得する取得工程と、
前記第１の位置姿勢変化から前記主となるユーザの急な動きに起因する位置姿勢変化を除外する補正処理を行う位置姿勢変化補正工程と、
前記補正処理が行われていない前記第１の位置姿勢変化に基づき第１の表示領域を算出し、前記補正処理が行われている前記第１の位置姿勢変化に基づき補正表示領域を算出し、かつ前記補正表示領域の中心座標を基準にして前記第２の位置姿勢変化に基づき第２の表示領域を算出する表示領域算出工程と、
前記画像データおよび前記第１の表示領域に基づき前記第１のディスプレイ装置に表示すべき第１の表示画像を生成し、かつ前記画像データおよび前記第２の表示領域に基づき前記第２のディスプレイ装置に表示すべき第２の表示画像を生成する表示画像生成工程と、を備える
ことを特徴とする画像処理方法。 An image processing method for generating a display image to be displayed on a display device based on a change in the position and posture of a user who wears each display device when displaying image data on a plurality of wearable display devices.
A subordinate user who acquires the first position / posture change of the main user who wears the first display device among the plurality of display devices and wears the second display device among the plurality of display devices. The acquisition process to acquire the second position / attitude change of
A position / posture change correction step of performing a correction process for excluding the position / posture change caused by the sudden movement of the main user from the first position / posture change.
The first display area is calculated based on the first position / posture change in which the correction process is not performed, and the correction display area is calculated based on the first position / posture change in which the correction process is performed. In addition, a display area calculation step of calculating a second display area based on the second position / posture change with reference to the center coordinates of the correction display area, and
A first display image to be displayed on the first display device is generated based on the image data and the first display area, and the second display device is based on the image data and the second display area. An image processing method comprising: a display image generation step of generating a second display image to be displayed in. 請求項１乃至１４のいずれか１項に記載の各手段としてコンピュータを機能させるためのプログラム。 A program for operating a computer as each means according to any one of claims 1 to 14.
JP2018077057A 2018-04-12 2018-04-12 Image processing equipment, image processing methods, and programs Active JP7057197B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018077057A JP7057197B2 (en) 2018-04-12 2018-04-12 Image processing equipment, image processing methods, and programs
JP2022060649A JP7419424B2 (en) 2018-04-12 2022-03-31 Image processing device, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018077057A JP7057197B2 (en) 2018-04-12 2018-04-12 Image processing equipment, image processing methods, and programs

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022060649A Division JP7419424B2 (en) 2018-04-12 2022-03-31 Image processing device, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2019184883A JP2019184883A (en) 2019-10-24
JP7057197B2 true JP7057197B2 (en) 2022-04-19

Family

ID=68340980

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018077057A Active JP7057197B2 (en) 2018-04-12 2018-04-12 Image processing equipment, image processing methods, and programs
JP2022060649A Active JP7419424B2 (en) 2018-04-12 2022-03-31 Image processing device, image processing method, and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022060649A Active JP7419424B2 (en) 2018-04-12 2022-03-31 Image processing device, image processing method, and program

Country Status (1)

Country Link
JP (2) JP7057197B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12044845B2 (en) * 2021-03-29 2024-07-23 Tencent America LLC Towards subsiding motion sickness for viewport sharing for teleconferencing and telepresence for remote terminals

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299326A (en) 2006-05-02 2007-11-15 Canon Inc Information processor, its control method, image processor, program and storage medium
WO2012063542A1 (en) 2010-11-09 2012-05-18 富士フイルム株式会社 Device for providing augmented reality
US20160364198A1 (en) 2015-06-11 2016-12-15 Samsung Electronics Co., Ltd. Method for sharing images and electronic device performing thereof

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010217719A (en) 2009-03-18 2010-09-30 Ricoh Co Ltd Wearable display device, and control method and program therefor
JP6428268B2 (en) 2013-01-24 2018-11-28 ソニー株式会社 Image display device, image display method, and image display system
JP2015019679A (en) 2013-07-16 2015-02-02 セイコーエプソン株式会社 Information processing device, information processing method, and information processing system
JP6308842B2 (en) 2014-03-31 2018-04-11 株式会社日本総合研究所 Display system and program
JP6585929B2 (en) 2015-06-02 2019-10-02 キヤノン株式会社 System, control method of system
EP3496044A4 (en) 2016-07-15 2019-10-09 Nurve, Inc. Image display device and image display system
KR20180017736A (en) * 2016-08-10 2018-02-21 (주) 씽크브릿지 Head mounted display and method for controlling the same
US10613703B2 (en) 2017-08-18 2020-04-07 Adobe Inc. Collaborative interaction with virtual reality video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299326A (en) 2006-05-02 2007-11-15 Canon Inc Information processor, its control method, image processor, program and storage medium
WO2012063542A1 (en) 2010-11-09 2012-05-18 富士フイルム株式会社 Device for providing augmented reality
US20160364198A1 (en) 2015-06-11 2016-12-15 Samsung Electronics Co., Ltd. Method for sharing images and electronic device performing thereof

Also Published As

Publication number Publication date
JP7419424B2 (en) 2024-01-22
JP2019184883A (en) 2019-10-24
JP2022104972A (en) 2022-07-12

Similar Documents

Publication Publication Date Title
JP6092437B1 (en) Virtual space image providing method and program thereof
JP5996814B1 (en) Method and program for providing image of virtual space to head mounted display
JP6002286B1 (en) Head mounted display control method and head mounted display control program
JP6540691B2 (en) Head position detection device and head position detection method, image processing device and image processing method, display device, and computer program
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
US10871822B2 (en) Image generation apparatus, image generation system, and image generation method
EP3588447B1 (en) Image processing device, image processing method, and image system
JP6899875B2 (en) Information processing device, video display system, information processing device control method, and program
JPWO2016017245A1 (en) Information processing apparatus, information processing method, and image display system
JP5869712B1 (en) Head-mounted display system and computer program for presenting a user's surrounding environment in an immersive virtual space
JP2017021824A (en) Head-mounted display control method and head-mounted display control program
EP3510437B1 (en) Hmd delivery system and method
JP7419424B2 (en) Image processing device, image processing method, and program
JP2018147086A (en) Information processing method, program, virtual space distribution system, and device
JP2002312117A (en) Cylindrical image spherical image control device
US20200241633A1 (en) Display device and display device control method
KR101951406B1 (en) Head mounted display and operating method for reducing virtual reality sickness
JP6289703B1 (en) Information processing method, information processing program, information processing system, and information processing apparatus
JP6738308B2 (en) Information processing method, program, virtual space distribution system and device
JP2021022075A (en) Video display control apparatus, method, and program
JP2017142769A (en) Method and program for providing head-mounted display with virtual space image
CN114556187B (en) Head mounted display device and display content control method
JP2023096844A (en) Program, information processing method, and information processing apparatus
CN114253389A (en) Augmented reality system and augmented reality display method integrating motion sensor
JP2020134615A (en) Image adjustment system, image adjustment device, and image adjustment method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220407

R151 Written notification of patent or utility model registration

Ref document number: 7057197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151