JP2019181074A - Ｖｒゲーム表示装置、ｖｒゲーム表示方法及びプログラム - Google Patents

Abstract

【課題】ＨＭＤ装置を装着したユーザーがＶＲゲームを立体視して楽しめると同時に、観客には外部ディスプレイに映される第三者的観点から見たＶＲゲームの進行を見て楽しめるようにする。【解決手段】本発明のＶＲゲーム表示技術は、ＨＭＤ装置１の立体視ディスプレイにユーザーの視点に仮想的に置かれたＨＭＤ用カメラで撮ったＶＲゲーム進行の映像を表示させ、同時に同じＶＲゲーム空間の別の場所に仮想的に設置された観客用カメラから撮ったＶＲゲーム進行の映像を外部ディスプレイ３に表示させることを特徴とする。【選択図】 図２

Description

本発明は、ＶＲゲーム表示装置、ＶＲゲーム表示方法及びプログラムに関する。

従来、ＶＲゲームの表示技術としては、ＶＲゲームを実行するコンピューターに接続されたヘッドマウントディスプレイ（ＨＭＤ）装置内の立体視ディスプレイにユーザー視点から見える動画を表示させ、また共通する動画を当該コンピューターに接続された外部の固定ディスプレイに表示させる技術は知られている（特許文献１、特許文献２）。

しかしながら、従来のＶＲゲーム表示技術の場合、ＨＭＤ装置を装着しているユーザーが見ている視線方向、視野角で立体視ディスプレイにＶＲ動画を表示させ、この立体視ディスプレイに表示されている動画と同じものを外部のディスプレイでも表示させることができるが、特にゲームセンターなどに設置されているＶＲゲーム機の場合には、ＨＭＤ装置を装着しているユーザーが見ているユーザー視点の動画ではなく、そのＶＲゲームがどのような展開をしているのか外部のディスプレイに観客目線の動画としてリアルタイムに表示させる技術は知られていない。

特開２０１８−０１５５４７号公報 特開２０１８−０２６１５３号公報

本発明はこのような従来の技術的課題に鑑みてなされたもので、プレーヤーの頭の位置に仮想的に置かれたＨＭＤ用カメラで撮った画像をＨＭＤ装置内の立体視ディスプレイに立体視できる態様で表示させ、同時に同じVＲゲーム空間内の別の場所に仮想的に設置された観客用カメラで撮った画像を外部ディスプレイに表示させ、ユーザー本人がプレーヤーとしてＶＲゲームを楽しめると同時にユーザー以外の第三者が観客として外部ディスプレイに映る画像を見てＶＲゲームの展開をリアルタイムに見ることができるようにするＶＲゲーム表示装置、ＶＲゲーム表示方法及びプログラムを提供することを目的とする。

本発明の１つの特徴は、立体視ディスプレイを内蔵するヘッドマウントディスプレイ（ＨＭＤ）装置と、ユーザーの手の動き又はボタン操作を検知して該当する操作信号を出力するゲームコントローラーと、前記ＨＭＤ装置、ゲームコントローラー及び外部ディスプレイとのそれぞれに接続する接続ポートを備え、前記接続ポートから前記ゲームコントローラーの操作信号を入力し、内部に保持しているＶＲゲームを進行させ、前記接続ポートから前記ＨＭＤ装置に画像信号を出力し、かつ前記接続ポートから前記外部ディスプレイにも画像信号を出力するコンピューターとを備えたＶＲゲーム表示装置であって、前記コンピューターは、演算処理機能として、前記ＶＲゲームの進行中のＶＲゲーム空間を作成するＶＲゲーム空間作成部と、前記ＶＲゲームの進行中に前記ＶＲゲーム空間内での前記プレーヤーの存在位置、向き、姿勢を演算するプレーヤー位置姿勢トラッキング部と、前記ＶＲゲーム空間を前記ＶＲゲーム内のプレーヤーの視野にて撮影するように仮想的に設置されたＨＭＤ用カメラと、前記ＶＲゲーム空間内の特定の複数の視野それぞれを撮影するように仮想的に設置された複数の観客用カメラと、前記プレーヤー位置姿勢トラッキング部の演算結果に基づき前記ＨＭＤ用カメラの前記ＶＲゲーム空間内の存在位置、向き、姿勢を演算するＨＭＤ用カメラ位置計算部と、前記ＨＭＤ用カメラ位置計算部が算出した前記ＶＲゲーム空間の該当する存在位置、向き、姿勢で前記ＨＭＤ用カメラが仮想的に捕らえる当該ＶＲゲーム空間の様子を演算するＨＭＤ用カメラ画像作成処理部と、前記ＨＭＤ用カメラ画像作成処理部の演算した前記ＨＭＤ用カメラの捕らえた画像を前記ＨＭＤ装置に出力し前記立体視ディスプレイに表示させるＨＭＤ用カメラ画像表示処理部と、前記ＶＲゲーム空間内での前記複数の観客用カメラそれぞれの空間位置、向き、視野角を記憶し、前記ＶＲゲームの展開に応じて所定のロジックにて最適な位置、視野角の観客用カメラを選択する観客用カメラ選択部と、前記ＶＲゲーム空間において前記ＶＲゲームの進行中に前記観客用カメラ選択部の選択した観客用カメラの捕らえる前記ＶＲゲーム空間の様子を演算する観客用カメラ画像作成部と、前記観客用カメラ画像作成部の作成した画像を前記接続ポートからそれに接続される外部ディスプレイに出力して表示させる外部ディスプレイ用画像作成処理部とを備えたＶＲゲーム表示装置にある。

上記のＶＲゲーム表示装置では、前記観客用カメラ画像作成処理部は、前記ＶＲゲーム空間内の前記プレーヤー位置姿勢トラッキング部の算出した位置に、算出した向き、算出した姿勢、算出したサイズにて前記プレーヤーに対応するＣＧキャラクターを重畳した画像を生成して出力するものとすることができる。

また上記のＶＲゲーム表示装置では、前記ＨＭＤ装置は、モーショントラッキングセンサーを内蔵し、当該ＨＭＤ装置を装着しているユーザーの頭の位置、姿勢、向きをセンシングして前記コンピューターに対して出力するものとすることができる。

さらに上記のＶＲゲーム表示装置では、前記プレーヤー位置姿勢トラッキング部は、前記ＶＲゲームの進行中の前記ＶＲゲーム空間における前記ＨＭＤ用カメラの現在位置、姿勢、向きを推測演算して求めるものとすることができる。

また本発明の別の特徴は、立体視ディスプレイを内蔵するヘッドマウントディスプレイ（ＨＭＤ）装置と、ユーザーの手の動き又はボタン操作を検知して該当する操作信号を出力するゲームコントローラーと、前記ＨＭＤ装置、ゲームコントローラー及び外部ディスプレイとのそれぞれに接続する接続ポートを備え、前記接続ポートから前記ゲームコントローラーの操作信号を入力し、内部に保持しているＶＲゲームを進行させ、前記接続ポートから前記ＨＭＤ装置に画像信号を出力し、かつ前記接続ポートから前記外部ディスプレイにも画像信号を出力するコンピューターとを備えたＶＲゲーム表示装置において、前記コンピューターが実行するＶＲゲーム表示方法であって、前記ＶＲゲームの進行中のＶＲゲーム空間を作成するＶＲゲーム空間作成処理ステップと、前記ＶＲゲームの進行中に前記ＶＲゲーム空間内での前記プレーヤーの存在位置、向き、姿勢を演算するプレーヤー位置姿勢トラッキング処理ステップと、前記プレーヤー位置姿勢トラッキング処理ステップでの演算結果に基づき前記ＨＭＤ用カメラの前記ＶＲゲーム空間内の存在位置、向き、姿勢を演算するＨＭＤ用カメラ位置計算ステップと、前記ＨＭＤ用カメラ位置計算ステップで算出した前記ＶＲゲーム空間の該当する存在位置、向き、姿勢で前記ＨＭＤ用カメラが仮想的に捕らえる当該ＶＲゲーム空間の様子を演算するＨＭＤ用カメラ画像作成処理ステップと、前記ＨＭＤ用カメラ画像作成処理ステップで算出した前記ＨＭＤ用カメラの捕らえた画像を前記ＨＭＤ装置に出力し前記立体視ディスプレイに表示させるＨＭＤ用カメラ画像表示処理ステップと、前記ＶＲゲーム空間内での前記複数の観客用カメラそれぞれの空間位置、向き、視野角を記憶し、前記ＶＲゲームの展開に応じて所定のロジックにて最適な位置、視野角の観客用カメラを選択する観客用カメラ選択ステップと、前記ＶＲゲーム空間において前記ＶＲゲームの進行中に前記観客用カメラ選択ステップで選択した観客用カメラの捕らえる前記ＶＲゲーム空間の様子を演算する観客用カメラ画像作成処理ステップと、前記観客用カメラ画像作成処理ステップで作成した画像を前記外部ディスプレイに出力して表示させる外部ディスプレイ用画像作成処理ステップとを実行するＶＲゲーム表示方法にある。

上記のＶＲゲーム表示方法では、前記観客用カメラ画像作成処理ステップにおいて、前記ＶＲゲーム空間内の前記プレーヤー位置姿勢トラッキング処理ステップにて算出した位置に、算出した向き、算出した姿勢、算出したサイズにて前記プレーヤーに対応するＣＧキャラクターを重畳した画像を生成して出力するものとすることができる。

さらに本発明の別の特徴は、上記ＶＲゲーム表示方法をコンピューターにて実行させるＶＲ画像表示プログラムにある。

本発明のＶＲゲーム表示装置、ＶＲゲーム表示方法及びプログラムによれば、ＨＭＤ装置を装着したユーザー本人にＶＲゲーム内のプレーヤーとしてＶＲゲームの進行を立体的に見せ、同時に、外部ディスプレイに同じＶＲゲームの進行をユーザー目線とは異なる第三者目線で見た動画として表示させてユーザーの傍にいる友達や観客にも同じＶＲゲームの進行を見せることができる。

本発明の第１の実施の形態のＶＲゲーム表示装置のブロック図。 上記実施の形態のＶＲゲーム表示装置におけるコンピューターのＶＲゲーム表示機能のブロック図。 上記実施の形態のＶＲゲーム表示装置によるＶＲゲーム表示方法のフローチャートその１。 上記実施の形態のＶＲゲーム表示装置によるＶＲゲーム表示方法のフローチャートその２。 上記実施の形態のＶＲゲーム表示装置によりＨＭＤ装置の立体視ディスプレイと外部ディスプレイとのそれぞれに表示されている画像を同時に示す説明図。 本発明の第２の実施の形態のＶＲゲーム表示装置のブロック図。 上記実施の形態のＶＲゲーム表示装置におけるコンピューターのＶＲゲーム表示機能のブロック図。 本発明の第３の実施の形態のＶＲゲーム表示装置のブロック図。

以下、本発明の実施の形態を図に基づいて詳説する。

［第１の実施の形態］
図１〜図５を参照して、本発明の第１の実施の形態のＶＲゲーム表示装置、ＶＲゲーム表示方法及びＶＲゲーム表示プログラム(本明細書では、これらを「ＶＲゲーム表示技術」と総称する。)を説明する。第１の実施の形態のＶＲゲーム表示装置のハードウェアは、基本的には、ＨＭＤ装置１、ゲーム処理、動画表示処理を行うコンピューター２、このコンピューター２のＨＤＭＩ（ＨＤＭＩは登録商標です。登録第２６６４０３２号他）ポートのような画像出力ポートに接続される観客用の外部ディスプレイ３、ユーザーによって操作されるコントローラー４ａ，４ｂ、これらのコントローラー４ａ，４ｂの操作信号を受信するコントローラー信号受信器５ａ，５ｂにて構成される。

ＨＭＤ装置１は、市販されているモーショントラッキング機能を備えたものを採用する。このＨＭＤ装置１は、ユーザーの頭部に装着され、動作中に仮想空間（ＶＲ）内の様子をユーザーに見せるために、右目用の画像および左目用の画像をＨＭＤ装置１内の立体視ディスプレイ１０１に表示し、ユーザーには両目の視差に基づき当該画像を立体（３Ｄ）画像として認識させる。

またＨＭＤ装置１はこれを装着しているユーザーの視線の方向を検出したりユーザーの頭部の高さ、向き、傾きを検出したりする内蔵のモーショントラッキングセンサー１０２を備え、６ＤＯＦ（前後、左右、上下、ピッチ、ヨー、ロール）の動きを検知してコンピューター２に出力する。

後述するように、ゲーム仲間やその他の第三者のような観客にゲーム展開を見せるための外部ディスプレイ３は、コンピューター２からの画像信号を入力して表示する。この外部ディスプレイ３が表示する動画は、ユーザーがＨＭＤ装置１を装着して３ＤＣＧのＶＲゲームを楽しんでいるときにその３ＤＣＧのＶＲゲーム空間で起きている様子を当該ＶＲゲーム空間内に配置されている仮想カメラで別の角度から撮った映像であり、ＶＲゲーム展開の様子を観客目線でリアルタイムに見せるものである。

コントローラー４ａ，４ｂはユーザーがそれぞれ左右の手で握り操作する。このコントローラー４ａ，４ｂはコントローラー信号受信器５ａ，５ｂと通信して自コントローラーの位置、傾き、向き信号を送信し、また例えば前後進やシューティング、ハンドル操作などの操作信号を送信する。

コントローラー信号受信器５ａ，５ｂはコントローラー４ａ，４ｂからの信号を受信するために当該システムの設置されている実空間の適切な場所に設置され、コントローラー４ａ，４ｂからの信号を受信してコンピューター２に受信信号を送信する。

コンピューター２は３ＤＣＧのＶＲゲームを実行する。このコンピューター２は通常のパーソナルコンピューター、ゲーム専用のコンピューター等、特に仕様は限定されない。このコンピューター２の演算処理機能を主立った処理ごとに分けて説明する。ゲーム実行部２０１はゲームカードやメモリカード、またコンピューター２内の記憶装置などの記憶手段に登録されている３ＤＣＧのＶＲゲームプログラムを読み出して実行する。ＶＲゲームの進行のためには、コントローラー信号受信処理部２１０にてコントローラー信号受信器５ａ，５ｂからコントローラー信号を入力し、またＨＭＤセンサー信号受信処理部２１１にてＨＭＤモーショントラッキングセンサー１０２からＨＭＤモーショントラッキング信号を入力する。

ＶＲゲーム空間作成部２０２はＶＲゲーム空間に関連する前回出力までの情報を保持しており、ゲーム実行部２０１の処理結果に基づいてＶＲゲーム空間内のキャラクターやオブジェクトの位置や姿勢、向きを変化させて再配置し、また操作結果を作画して現在のＶＲゲーム空間の該当する位置に重畳する。

ＨＭＤ用カメラ位置計算部２０３はＨＭＤセンサー１０２からの位置、姿勢、向きの変化に対応してユーザーの現在の視野を計算し、その視野内に見えるキャラクターやオブジェクトをＨＭＤ用カメラが捕らえた映像として出力する。ＨＭＤ用画像作成処理部２０４はこのＨＭＤ用カメラ位置計算部２０３からの現在のＨＭＤ用カメラの視野を受信し、ＶＲゲーム空間におけるＨＭＤ用カメラの現在位置、向き、姿勢、視野角で見たＶＲゲーム空間の見え方をＨＭＤ用画像として作成し、ＨＭＤ装置１内の立体視ディスプレイ１０１に出力して表示させる。このＨＭＤ装置１の立体視ディスプレイ１０１は受信したＶＲゲーム空間の現在時点のＨＭＤ用カメラ位置から見た画像を３ＤＣＧにして表示し、当該ＨＭＤ装置１を装着しているユーザーに立体視させる。

同時並行的に、キャラクター重畳処理部２０５はあらかじめ３ＤＣＧのキャラクターを登録しているキャラクター記憶部２０６からプレーヤーやレーシングカー等のキャラクターを読み出し、ＶＲゲーム空間作成部２０２の作成した現在のＶＲゲーム空間内の所定の位置に所定のサイズ、向き、姿勢にて重畳させる。

観客用カメラ選択部２０７はＶＲゲーム展開に応じて複数の仮想カメラＣＡＭ１，ＣＡＭ２，…，ＣＡＭｎのうちの最適な位置、視野角、向きにある仮想カメラを選択する。そして観客用カメラ画像作成部２０８は、キャラクター重畳処理部２０５が作成したキャラクター重畳ＶＲゲームに対して、観客用カメラ選択部２０７で選択された仮想カメラ（ＣＡＭｉとする。）の位置、向き、視野角で捕えられる画像を作成する。そして外部ディスプレイ用画像作成処理部２０９は、選択された仮想カメラＣＡＭｉの撮影する画像を外部ディスプレイ用に変換して外部ディスプレイ３に表示させる。

なお、センサー類とコンピューター２との間の通信には有線、無線いずれを採用することもできる。

次に、上記のハードウェア構成、機能構成のＶＲゲーム表示装置による動作について説明する。図３はゲーム開始前の初期設定の処理、図４はゲーム開始後に所定の周期で繰り返すゲーム進行処理のフローチャートを示している。なお、この動作説明は、同時にＶＲゲーム表示装置のコンピューター２に搭載されているＶＲゲーム表示プログラムが実行する各処理ステップの説明でもある。

［初期設定］
ＶＲゲームが展開されるＶＲゲーム空間のレイアウトデータを入力する（ステップＳＴ１）。

続いて、例えばゲームが展開される町並みやフィールドの地面、建物、道路などの不動物体（オブジェクト）のゲーム空間内での空間座標、形状、向き、サイズ等の属性データを入力する（ステップＳＴ２）。

ゲーム空間のレイアウトと不動物体に関連する属性データの入力の後、ゲーム中に動き得る可動物体の形状、初期位置、向き、姿勢等の属性データを入力する（ステップＳＴ３）。

続いて、ＨＭＤ装置１のモーショントラッキングセンサー１０２からの信号に基づき、プレーヤーの位置、姿勢、向きを計算する（ステップＳＴ４）。なお、ここでプレーヤーとはＨＭＤ装置１を装着しているユーザーに変わってＶＲゲーム内で主役となるキャラクターであり、例えばシューティングゲームであればシューティングするキャラクター、レーシングゲームであればドライバーである。そしてそのキャラクターの視点に仮想的に置かれたカメラから捕らえるＶＲゲーム空間の映像をＨＭＤ装置１の立体視ディスプレイ１０１に表示させることになる。

これらのデータ入力処理の後、入力したデータを用いてＶＲゲーム空間の該当箇所に不動物体、可動物体を配置する（ステップＳＴ５）。

続いて、ＨＭＤ装置１のディスプレイ１０１にＶＲゲーム空間とその空間内に存在する不動物体、可動物体をＶＲ表示させるために、ＨＭＤ装置１のＨＭＤ用カメラの位置、光軸の向き、視野角を入力し、当該ＨＭＤ用カメラから捕らえられるＶＲゲーム空間の様子を立体視画像にしてＨＭＤ装置１内の立体視ディスプレイ１０１に出力し表示させる（ステップＳＴ６，ＳＴ７）。

本実施の形態のＶＲゲーム表示技術の特徴として、このＨＭＤ装置１内の立体視ディスプレイ１０１に対する表示と並行して、当該ＶＲゲームのゲーム展開の様子を傍にいるゲーム友達や第三者のような観客に見せるために外部ディスプレイ３には観客目線で見た動画を表示させる。そのために、ＨＭＤ用カメラとは異なる視野で同じゲームを撮影する観客用カメラからの画像を作成する必要があり、上記ステップＳＴ５で作成した不動物体、可動物体の配置されたＶＲゲーム空間の様子を複数の観客用カメラＣＡＭ１，ＣＡＭ２，…，ＣＡＭｎそれぞれで捕らえた画像を作成し、同時にプレーヤーのキャラクターをそのカメラ画像に重畳処理する必要がある。

そこで、あらかじめ作成してあるキャラクター群からゲーム内のプレーヤーに対応するキャラクターの属性（３Ｄフィギュアのデータ）を入力し（ステップＳＴ８）、初期ゲーム空間内においてＨＭＤ装置１の初期位置に対応するプレーヤーの初期位置に、初期姿勢、サイズ、向きにて配置する（ステップＳＴ９）。

続いて、ＶＲゲーム空間における観客用カメラＣＡＭ１，ＣＡＭ２，…，ＣＡＭｎそれぞれの位置、向き、視野角を入力し、ＶＲゲーム空間において各観客用カメラＣＡＭ１，ＣＡＭ２，…，ＣＡＭｎの空間位置、向き、視野角では当該ＶＲゲーム空間のどの部分がどのように写るかを演算する（ステップＳＴ１０）。そして初期状態において、位置、向き、視野角が最適な観客用カメラＣＡＭｉを選択してその観客用カメラＣＡＭｉの捕らえる２Ｄ画像を外部ディスプレイ３に出力して表示させる（ステップＳＴ１１）。

以上の初期処理の後、ゲーム開始となる。ＶＲゲーム開始後は、図４のフローチャートのステップＳＴ１０１〜ＳＴ１０９の描画処理をコンピューター２の動画処理能力に応じて高速で繰り返し実行する。すなわち、コントローラー信号受信器５ａ，５ｂからの信号、ＨＭＤモーショントラッキングセンサー１０２からのモーショントラッキング信号を受信して、ＶＲゲーム空間内での可動物体の位置、向き、姿勢を繰り返し演算し、またプレーヤーの位置、向き、姿勢を繰り返し演算し、それら各々をＶＲゲーム空間内の該当する位置に算出された向き、姿勢、サイズで配置する（ステップＳＴ１０１〜ＳＴ１０３）。

続いてプレーヤーの移動や姿勢の変化によって、またＶＲゲーム空間内の可動物体の移動や姿勢の変化によって変化するプレーヤーから見た情景を表示するためにＨＭＤ用カメラの位置、向き、視野角の変化をＨＭＤモーショントラッキング信号に基づいて演算し（ステップＳＴ１０４）、カメラ視野に写る画像を立体視画像に変換し、ＨＭＤ装置内の立体視ディスプレイ１０１に出力して表示させる（ステップＳＴ１０５）。

これと並行して、観客にゲーム展開を見せるために外部ディスプレイ３用の画像を作成する。すなわち、ステップＳＴ１０３においてＶＲゲーム空間内での可動物体の位置、向き、姿勢、サイズを演算し、またプレーヤーの位置、向き、姿勢を演算し、ＶＲゲーム空間内の該当する位置に算出された向き、姿勢、サイズで再配置した後、ＶＲゲーム空間内のプレーヤーの位置に該当姿勢、向き、サイズでプレーヤーのキャラクターを配置する（ステップＳＴ１０６）。そして観客用カメラＣＡＭ１，ＣＡＭ２，…，ＣＡＭｎ各々の位置、向き、視野角の情報に基づいて現在のタイミングにて最適な位置、視野角の観客用カメラを選択し（ステップＳＴ１０７，ＳＴ１０８）、選択した観客用カメラ(ここではＣＡＭｉとする。）に写るＶＲゲーム空間の画像を計算してその撮影画像を外部ディスプレイ３に表示させる（ステップＳＴ１０９）。

そしてこのステップＳＴ１０１〜ＳＴ１０９の処理をコンピューター２の処理速度またグラフィックボードの処理能力に応じ高速に繰り返す。

なお、ステップＳＴ１０８で、観客用カメラ選択部２０7においてＶＲゲームの展開中に最適な位置や視野角の観客用カメラＣＡＭｉを選択するロジックについては、ＶＲゲーム空間内のプレーヤーの位置の移動に応じてあらかじめその位置に対応して選択するように定めた観客用カメラを選択するロジック、そのプレーヤーを最もよく見える位置の観客用カメラを選択するロジック、複数のプレーヤーすべてを捕らえている観客用カメラの画像を選択するロジック等、ＶＲゲーム展開やＶＲゲームの種類に応じて適切な選択ロジックを採用する。

例示すると次のようなロジックを基本にして最適な観客用カメラＣＡＭｉを選択し、選択した観客用カメラＣＡＭｉの撮影する画像を作成して外部ディスプレイ3に表示させるのである。

（１）ゲーム内のプレイしている人が目の前にいる場合、その人をフォーカスしている観客用カメラを選択する。この場合、基本的にＨＭＤ用カメラも観客用カメラもゲーム内の任意の人にカメラを合わせる（この場合、目の前のプレーヤー）。

（２）場所を判定するロジックに基づく選択。

ユーザーに対応するゲーム内のプレーヤーがどこにいるか判定し、そのプレーヤーの存在する場所に対応する観客用カメラを選択する。この場合、ＶＲゲーム空間を大きくて透明な箱のような小空間に区分けし、プレーヤーがどの箱の中にいるか判定し、該当する小空間を撮影する観客用カメラを最適なカメラに選定する。なお、複数の観客用カメラの中にはパン機能の付いたカメラも含めてあり、そのパン機能の付いたカメラの受け持っている担当エリアにプレーヤーが入った時にはそのパン機能の付いたカメラを選択して撮影画像を作成して出力する。

（３）行動を判定するロジック。

プレーヤーが立っているだけだったらそのプレーヤーを撮影できる視野の観客用カメラを選択し、そのカメラの撮影画像を出力する。他方、ＶＲゲーム空間内でプレーヤーが相手に攻撃したら、攻撃している相手が視野内に収まる位置、視野の観客用カメラを選択し、その撮影画像を出力する。

（４）任意のプレーヤーにカメラを合わせる。

複数のプレーヤーが同時にゲームに参加している場合、どこのボックスがゲーム内で盛り上がっているかを検索する。例えば、ＨＰ（Ｈｉｔ Ｐｏｉｎｔ）の減り方、連続したキルを重ねているプレーヤーの有無を計算して決定する。そして選択した観客用カメラの撮影画像を出力する。

他方、どのボックスの盛り上がりも同程度である場合、各プレーヤーの存在するボックスを順番に移動してそれぞれのカメラの撮影画像を順次出力する。

また別例として、例えば赤チームと青チームで同時にゲーム進行している場合、それぞれのチームを撮影する観客用カメラを交互に選択してそれぞれの撮影画像を交互に表示させる。この場合、それぞれを表示する時間はプレーヤーがどれだけキルを重ねているかで増減させる。

これにより、本実施の形態のＶＲゲーム表示技術によれば、ＶＲゲーム空間内でユーザーがコントローラーを用いてシューティングのような操作を行い、また体を移動させたり回転させたりしてＨＭＤ装置１の位置や傾き、向きを変化させることにより、ＶＲゲーム空間内のプレーヤーの位置、傾き、向きを変化させたり、シューティングにより敵のキャラクターを倒したり障害物を移動させたりすることができ、かつ、その様子をＨＭＤ装置1内の立体視ディスプレイ１０１によってユーザーに見せると同時に、同じＶＲゲームの変化の様子をＨＭＤ装置１を装着していない第三者に観客目線で見せることができ、ＶＲゲーム展開の様子をユーザーと共に第三者にも迫力のある動画にして楽しませることができる。図５は外部ディスプレイ３の画面上に観客用画像２１とＨＤＭ画像２２を同時に表示させた説明図である。ＨＭＤ画像２２についてはＨＭＤ装置内の立体視ディスプレイ１０１に立体視画像として表示されるものであるが、説明のために外部ディスプレイ３の画面上のスモールウィンドウに同時に表示させている。この図５のように、ＨＭＤ画像２２はユーザーから見たＨＭＤ用カメラのカメラ視野に写る画像であり、ユーザー自身がＶＲゲームの主役のプレーヤーであるためにプレーヤーのキャラクターは表示されない。ユーザーの手に持つコントローラー５ａ，５ｂに対応する武器２３，２４が表示されるだけである。一方、観客用画像２１にはプレーヤーのキャラクター２５がＶＲゲーム空間２６内のモーショントラッキングセンサーにて検出された位置に検出された姿勢、向き、サイズで表示されている。そして武器も持って表示されている。こうしてユーザーと共に観客が同じＶＲゲームの進行をプレーヤー視野の動画と観客視野の動画にして個別に見せて楽しませることができるのである。

同じようにドライブゲームであれば、ユーザーがドライバーとして運転している自動車から見えるレースの様子をＨＭＤ装置１内の立体視ディスプレイ１０１にてＨＭＤ装置１を装着しているユーザーに見せ、同時に外部ディスプレイ３には多数台の自動車のデッドヒートの様子を観客用カメラで捕らえて表示し、観客に見せて楽しませることができる。

また本実施の形態によれば、ＶＲゲーム空間が広く、ある仮想位置に固定した仮想の観客用カメラ（例えば、カメラＣＡＭ１）からでは移動するプレーヤーが小さく見えすぎるような状況でも、別の最適な仮想位置に設置した仮想の観客用カメラ（例えば、カメラＣＡＭｉ）に切り替えてその観客用カメラで捕らえた画像を表示することができ、観客に臨場感あふれるゲーム展開を見せることができる。特にシューティングゲームであれば激しく動きながら移動するプレーヤーを常に大きなサイズで捕らえながら観客用ディスプレイ３に表示できる。

一方、レーシングゲームである場合にはＶＲゲーム空間内の直線コース、コーナー、ピット等々に観客用カメラを仮想的に設置しておき、プレーヤーの自動車の走行位置に対応して観客用カメラを切り替えてそれぞれの観客用カメラで捕らえた画像を表示するといった表示方法を採用することができる。

さらに、上記実施の形態において、ＨＭＤ装置１にゲームスコアなど、ゲームの進展を示すパーツ２６，２７，２８を表示させ、同時に外部ディスプレイ3にも表示させるようにすることができる。またキャラクター２５は複数種用意しておいて、ユーザーに選択させることもできる。複数のユーザーそれぞれが個別にＨＭＤ装置１を装着し、ゲームコントローラー４ａ，４ｂを持って同時に参加することが可能なＶＲゲームの場合、複数のプレーヤーの動きを外部ディスプレイ３では１つのＶＲゲーム空間内のプレーヤーそれぞれの位置に配置して同時に表示させ、ゲーム展開を観客に見せることもできる。

［第２の実施の形態］
第２の実施の形態のＶＲゲーム表示装置、ＶＲゲーム表示方法及びプログラムは、ＨＭＤ装置１のモーショントラッキングを当該装置の置かれている部屋に設置されている実カメラ側で行う構成を特徴とする。ハードウェア構成は図６に示し、コンピューター２内の演算処理機能構成は図７に示す。すなわち、ＨＭＤ装置１には実カメラで認識できるマーカー（ランプ）３１を取り付けておき、このＨＭＤ装置１を撮影する実カメラ３２ａ，３２ｂを適切な位置に設置し、その実カメラ３２ａ，３２ｂの撮影する画像をコンピューター２に入力するようにし、コンピューター２側にてＨＭＤ装置１の位置、傾き、向きを割り出すようにしている。またこの実施の形態ではコントローラー４は右手左手の操作ボタンを一つの筐体の左右に配置した一体型のものを採用している。

図７に示す機能ブロック図のように、本実施の形態のＶＲゲーム表示装置においては、実カメラ３２ａ，３２ｂの撮影像をＨＭＤ位置姿勢演算部２２１に入力し、ここでＨＭＤ装置１の位置、傾き、向きを割り出し、ゲーム実行部２０１に入力する以外は第１の実施の形態と同様である。またＶＲゲーム表示処理も図３、図４のフローチャートに示した第１の実施の形態のものと共通する。

［第３の実施の形態］
図８に示す第３の実施の形態のＶＲゲーム表示装置、ＶＲゲーム表示方法及びプログラムは、ＨＭＤ装置１の位置、姿勢、傾きを第１、第２の実施の形態のようにセンサー群にて検出するのではなく、コントローラー４の操作信号をコンピューター２に入力し、コンピューター２でのソフトウェア処理によってＶＲゲーム内のプレーヤーを移動させたり、シューティングさせたり、運転させたりする操作を行い、そのプレーヤーのＶＲゲーム空間での位置、姿勢、向き、サイズ等をコンピューター２側で割り出して表示させることを特徴とする。

このような場合にもＨＭＤ装置１の立体視ディスプレイ１０１にてプレーヤー視点でＶＲゲームの進行を立体視させ、また外部ディスプレイ３にてＶＲゲームの進行状況を観客目線の画像として表示させて観客に見せることができる。

１ ヘッドマウントディスプレイ（ＨＭＤ）装置
２ コンピューター
３ 外部ディスプレイ
４，４ａ，４ｂ コントローラー
５ａ，５ｂ コントローラー信号受信器
２１ 観客用表示画像
２２ ＨＭＤ立体視画像
２３，２４ 武器
２５ プレーヤーのキャラクター
３１ マーカー
３２ａ，３２ｂ ＨＭＤトラッキング用実カメラ
１０１ 立体視ディスプレイ
１０２ ＨＭＤモーショントラッキングセンサー
２０１ ゲーム実行部
２０２ ＶＲゲーム空間作成部
２０３ ＨＭＤ用カメラ位置計算部
２０４ ＨＭＤ用画像作成処理部
２０５ キャラクター重畳処理部
２０６ キャラクター記憶部
２０７ 観客用カメラ選択部
２０８ 観客用カメラ画像作成部
２０９ 外部ディスプレイ用画像作成処理部
２１０ コントローラー信号受信処理部
２１１ ＨＭＤセンサー信号受信処理部
２２１ ＨＭＤ位置姿勢演算部

Claims (7)

1. 立体視ディスプレイを内蔵するヘッドマウントディスプレイ（ＨＭＤ）装置と、
   ユーザーの手の動き又はボタン操作を検知して該当する操作信号を出力するゲームコントローラーと、
   前記ＨＭＤ装置、ゲームコントローラー及び外部ディスプレイとのそれぞれに接続する接続ポートを備え、前記接続ポートから前記ゲームコントローラーの操作信号を入力し、内部に保持しているＶＲゲームを進行させ、前記接続ポートから前記ＨＭＤ装置に画像信号を出力し、かつ前記接続ポートから前記外部ディスプレイにも画像信号を出力するコンピューターとを備えたＶＲゲーム表示装置であって、
   前記コンピューターは、演算処理機能として、
   前記ＶＲゲームの進行中のＶＲゲーム空間を作成するＶＲゲーム空間作成部と、
   前記ＶＲゲームの進行中に前記ＶＲゲーム空間内での前記プレーヤーの存在位置、向き、姿勢を演算するプレーヤー位置姿勢トラッキング部と、
   前記ＶＲゲーム空間を前記ＶＲゲーム内のプレーヤーの視野にて撮影するように仮想的に設置されたＨＭＤ用カメラと、
   前記ＶＲゲーム空間内の特定の複数の視野それぞれを撮影するように仮想的に設置された複数の観客用カメラと、
   前記プレーヤー位置姿勢トラッキング部の演算結果に基づき前記ＨＭＤ用カメラの前記ＶＲゲーム空間内の存在位置、向き、姿勢を演算するＨＭＤ用カメラ位置計算部と、
   前記ＨＭＤ用カメラ位置計算部が算出した前記ＶＲゲーム空間の該当する存在位置、向き、姿勢で前記ＨＭＤ用カメラが仮想的に捕らえる当該ＶＲゲーム空間の様子を演算するＨＭＤ用カメラ画像作成処理部と、
   前記ＨＭＤ用カメラ画像作成処理部の演算した前記ＨＭＤ用カメラの捕らえた画像を前記ＨＭＤ装置に出力し前記立体視ディスプレイに表示させるＨＭＤ用カメラ画像表示処理部と、
   前記ＶＲゲーム空間内での前記複数の観客用カメラそれぞれの空間位置、向き、視野角を記憶し、前記ＶＲゲームの展開に応じて所定のロジックにて最適な位置、視野角の観客用カメラを選択する観客用カメラ選択部と、
   前記ＶＲゲーム空間において前記ＶＲゲームの進行中に前記観客用カメラ選択部の選択した観客用カメラの捕らえる前記ＶＲゲーム空間の様子を演算する観客用カメラ画像作成部と、
   前記観客用カメラ画像作成部の作成した画像を前記接続ポートからそれに接続される外部ディスプレイに出力して表示させる外部ディスプレイ用画像作成処理部とを備えていることを特徴とするＶＲゲーム表示装置。
2. 前記観客用カメラ画像作成処理部は、前記ＶＲゲーム空間内の前記プレーヤー位置姿勢トラッキング部の算出した位置に、算出した向き、算出した姿勢、算出したサイズにて前記プレーヤーに対応するＣＧキャラクターを重畳した画像を生成して出力することを特徴とする請求項１に記載のＶＲゲーム表示装置。
3. 前記ＨＭＤ装置は、モーショントラッキングセンサーを内蔵し、当該ＨＭＤ装置を装着しているユーザーの頭の位置、姿勢、向きをセンシングして前記コンピューターに対して出力することを特徴とする請求項１又は請求項２に記載のＶＲゲーム表示装置。
4. 前記プレーヤー位置姿勢トラッキング部は、前記ＶＲゲームの進行中の前記ＶＲゲーム空間における前記ＨＭＤ用カメラの現在位置、姿勢、向きを推測演算して求めることを特徴とする請求項１又は２に記載のＶＲゲーム表示装置。
5. 立体視ディスプレイを内蔵するヘッドマウントディスプレイ（ＨＭＤ）装置と、ユーザーの手の動き又はボタン操作を検知して該当する操作信号を出力するゲームコントローラーと、前記ＨＭＤ装置、ゲームコントローラー及び外部ディスプレイとのそれぞれに接続する接続ポートを備え、前記接続ポートから前記ゲームコントローラーの操作信号を入力し、内部に保持しているＶＲゲームを進行させ、前記接続ポートから前記ＨＭＤ装置に画像信号を出力し、かつ前記接続ポートから前記外部ディスプレイにも画像信号を出力するコンピューターとを備えたＶＲゲーム表示装置において、前記コンピューターが実行するＶＲゲーム表示方法であって、
   前記ＶＲゲームの進行中のＶＲゲーム空間を作成するＶＲゲーム空間作成処理ステップと、
   前記ＶＲゲームの進行中に前記ＶＲゲーム空間内での前記プレーヤーの存在位置、向き、姿勢を演算するプレーヤー位置姿勢トラッキング処理ステップと、
   前記プレーヤー位置姿勢トラッキング処理ステップでの演算結果に基づき前記ＨＭＤ用カメラの前記ＶＲゲーム空間内の存在位置、向き、姿勢を演算するＨＭＤ用カメラ位置計算ステップと、
   前記ＨＭＤ用カメラ位置計算ステップで算出した前記ＶＲゲーム空間の該当する存在位置、向き、姿勢で前記ＨＭＤ用カメラが仮想的に捕らえる当該ＶＲゲーム空間の様子を演算するＨＭＤ用カメラ画像作成処理ステップと、
   前記ＨＭＤ用カメラ画像作成処理ステップで算出した前記ＨＭＤ用カメラの捕らえた画像を前記ＨＭＤ装置に出力し前記立体視ディスプレイに表示させるＨＭＤ用カメラ画像表示処理ステップと、
   前記ＶＲゲーム空間内での前記複数の観客用カメラそれぞれの空間位置、向き、視野角を記憶し、前記ＶＲゲームの展開に応じて所定のロジックにて最適な位置、視野角の観客用カメラを選択する観客用カメラ選択ステップと、
   前記ＶＲゲーム空間において前記ＶＲゲームの進行中に前記観客用カメラ選択ステップで選択した観客用カメラの捕らえる前記ＶＲゲーム空間の様子を演算する観客用カメラ画像作成処理ステップと、
   前記観客用カメラ画像作成処理ステップで作成した画像を前記外部ディスプレイに出力して表示させる外部ディスプレイ用画像作成処理ステップとを実行することを特徴とするＶＲゲーム表示方法。
6. 前記観客用カメラ画像作成処理ステップでは、前記ＶＲゲーム空間内の前記プレーヤー位置姿勢トラッキング処理ステップにて算出した位置に、算出した向き、算出した姿勢、算出したサイズにて前記プレーヤーに対応するＣＧキャラクターを重畳した画像を生成して出力することを特徴とする請求項５に記載のＶＲゲーム表示装置。
7. 請求項５又は６のＶＲゲーム表示方法をコンピューターにて実行させることを特徴とするＶＲ画像表示プログラム。