JP6031016B2 - Video display device and video display program - Google Patents
Video display device and video display program Download PDFInfo
- Publication number
- JP6031016B2 JP6031016B2 JP2013192290A JP2013192290A JP6031016B2 JP 6031016 B2 JP6031016 B2 JP 6031016B2 JP 2013192290 A JP2013192290 A JP 2013192290A JP 2013192290 A JP2013192290 A JP 2013192290A JP 6031016 B2 JP6031016 B2 JP 6031016B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- active
- passive
- positional relationship
- presenting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 239000003550 marker Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Description
本発明は、映像表示装置及び映像表示プログラムに関する。 The present invention relates to a video display device and a video display program.
映像の視聴形態において、従来の予め定められた視点からの映像を視聴する受動型映像視聴に対し、視聴者側が視点を指定し、その視点に応じた映像を視聴する能動型映像視聴に関する研究が盛んに行われている。非特許文献１では視聴者がパノラマ映像の一部を切り出して視聴するという視聴形態を提案している。このような能動型映像視聴は視聴者の趣向に応じた映像が視聴できるという利点がある一方、常に操作をしなければならないため、長時間の映像視聴においては受動型映像視聴が好まれるケースがある。
In the video viewing mode, research on active video viewing in which the viewer side designates a viewpoint and views the video according to the viewpoint is compared to the conventional passive video viewing in which the video is viewed from a predetermined viewpoint. It is actively done. Non-Patent
この能動型映像視聴の利点を活かしつつ、長時間の映像視聴において視聴者の負担を軽減させる方法として、図１０に示すような２スクリーン式能動受動型映像視聴が考えられる。図１０は、２スクリーン式能動受動型映像視聴を行う際の装置構成を示す図である。これは同一コンテンツを使用して、一方のスクリーンに映像提供者の意図等に基づき視点が自動的に移動するような受動型映像を提示（受動型映像提示スクリーン）し、他方のスクリーンに視聴者が視点操作端末を操作して視点を指定することにより、任意の能動型映像を提示（能動型映像提示スクリーン）するものである。これにより、視聴者は、自分が見たい場面を操作によって選択して視聴することが可能となるとともに、映像提供者が意図する映像も同時に視聴することが可能になる。 As a method for reducing the burden on the viewer during long-time video viewing while taking advantage of this active video viewing, a two-screen active passive video viewing as shown in FIG. 10 can be considered. FIG. 10 is a diagram showing a device configuration when performing two-screen active passive video viewing. This uses the same content and presents a passive video whose viewpoint automatically moves based on the intention of the video provider on one screen (passive video presentation screen), and a viewer on the other screen Displays an arbitrary active image (active image display screen) by operating the viewpoint operation terminal and specifying the viewpoint. Thus, the viewer can select and view the scene he / she wants to watch by operating, and can simultaneously view the video intended by the video provider.
しかしながら、前述した２スクリーン式能動受動型映像視聴においては、視聴者が視線を移動させて視聴する対象の画像を能動型映像と受動型映像との間で変える際、互いのスクリーンが提示している映像の視点が独立している。このため、視聴者は視聴する対象映像を能動型映像から受動型映像にした際、あるいは受動型映像から能動型映像にした際に２つの映像に映し出されている位置の関係が分かりづらいという問題がある。 However, in the above-described two-screen active passive video viewing, when the viewer changes the target image to be viewed by moving his / her line of sight between the active video and the passive video, each screen presents The viewpoint of the image is independent. For this reason, it is difficult for the viewer to understand the relationship between the positions displayed on the two images when the target video is changed from active video to passive video or from passive video to active video. There is.
本発明は、このような事情に鑑みてなされたもので、同一の映像から生成された能動型映像と受動型映像の２つの映像を視聴する際に、視聴者が視線を移動して２つの映像間で視聴する対象を換えた場合に、２つの映像の視点の位置関係を直感的に把握することができる映像表示装置及び映像表示プログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and when viewing two images of an active image and a passive image generated from the same image, the viewer moves the line of sight to An object of the present invention is to provide a video display device and a video display program capable of intuitively grasping the positional relationship between the viewpoints of two videos when the object to be viewed between videos is changed.
本発明は、映像データが記憶された映像データ記憶手段と、視聴者が指定した視点の映像データに基づき映像の提示を行う能動型映像提示手段と、予め定められた視点の映像データに基づき映像の提示を行う受動型映像提示手段と、前記能動型映像提示手段と、前記受動型映像提示手段との相対的な配置位置関係を推定する位置関係推定手段と、前記受動型映像提示手段に配信すべき前記映像の視点と前記相対的な配置位置関係から前記能動型映像提示手段に配信すべき映像の視点を算出し、前記映像データから前記受動型映像提示手段に配信すべき映像を生成するとともに、算出した前記視点に基づいて前記映像データから前記能動型映像提示手段に配信すべき映像を生成して、それぞれ前記受動型映像提示手段及び能動型映像提示手段に提示する配信手段とを備えることを特徴とする。 The present invention relates to a video data storage means for storing video data, an active video presentation means for presenting video based on video data at a viewpoint designated by a viewer, and video based on video data at a predetermined viewpoint. Distributed to the passive video presenting means, the active video presenting means, the positional relationship estimating means for estimating the relative positional relationship between the passive video presenting means, and the passive video presenting means The viewpoint of the video to be delivered to the active video presentation means is calculated from the viewpoint of the video to be delivered and the relative arrangement positional relationship, and the video to be delivered to the passive video presentation means is generated from the video data And generating video to be distributed to the active video presenting means from the video data based on the calculated viewpoint, and respectively generating the passive video presenting means and the active video presenting means. Characterized in that it comprises a Shimesuru distribution means.
本発明は、前記能動型映像提示手段は、前記配置位置関係を求めるために、前記受動型映像提示手段を含む映像を撮影する撮影手段を備え、前記位置関係推定手段は、前記撮影手段によって撮影された前記受動型映像提示手段を含む映像から前記能動型映像提示手段と、前記受動型映像提示手段との相対的な配置位置関係を推定することを特徴とする。 In the present invention, the active video presenting means includes photographing means for photographing an image including the passive video presenting means for obtaining the arrangement positional relationship, and the positional relationship estimating means is photographed by the photographing means. The relative arrangement positional relationship between the active video presentation means and the passive video presentation means is estimated from the video including the passive video presentation means.
本発明は、前記能動型映像提示手段は、ジャイロセンサをさらに備え、前記位置関係推定手段は、前記撮影手段によって前記受動型映像提示手段を含む映像を撮影することができなかった場合に、固定された前記受動型映像提示手段の位置情報と前時刻における前記能動型映像提示手段と前記受動型映像提示手段の相対的な位置関係と前記ジャイロセンサの検出値から前記相対的な配置位置関係を推定することを特徴とする。 In the present invention, the active video presentation unit further includes a gyro sensor, and the positional relationship estimation unit is fixed when the video including the passive video presentation unit cannot be shot by the shooting unit. The relative arrangement positional relationship is determined from the positional information of the passive type video presentation unit, the relative positional relationship between the active type video presentation unit and the passive type video presentation unit at the previous time, and the detection value of the gyro sensor. It is characterized by estimating.
本発明は、映像データが記憶された映像データ記憶手段と、視聴者が指定した視点の映像データに基づき映像の提示を行う能動型映像提示手段と、予め定められた視点の映像データに基づき映像の提示を行う受動型映像提示手段と、前記能動型映像提示手段との相対的な位置関係を推定する能動型映像提示装置位置姿勢推定手段と、前記能動型映像提示装置位置姿勢推定手段と前記能動型映像提示手段との相対的な位置関係と、前記能動型映像提示装置位置姿勢推定手段と前記受動型映像提示手段との相対的な位置関係とを用いて、前記能動型映像提示手段と前記受動型映像提示手段との相対的な配置位置関係を推定する位置関係推定手段と、前記能動型映像提示手段と、前記受動型映像提示手段との相対的な配置位置関係を推定する位置関係推定手段と、前記受動型映像提示手段に配信すべき前記映像の視点と前記相対的な配置位置関係から前記能動型映像提示手段に配信すべき映像の視点を算出し、前記映像データから前記受動型映像提示手段に配信すべき映像を生成するとともに、算出した前記視点に基づいて前記映像データから前記能動型映像提示手段に配信すべき映像を生成して、それぞれ前記受動型映像提示手段及び能動型映像提示手段に提示する配信手段とを備えることを特徴とする。 The present invention relates to a video data storage means for storing video data, an active video presentation means for presenting video based on video data at a viewpoint designated by a viewer, and video based on video data at a predetermined viewpoint. A passive video presenting means for presenting, an active video presenting apparatus position and orientation estimating means for estimating a relative positional relationship between the active video presenting means, the active video presenting apparatus position and orientation estimating means, and the Using the relative positional relationship between the active video presentation means and the relative positional relationship between the active video presentation device position and orientation estimation means and the passive video presentation means, the active video presentation means Position relation estimating means for estimating a relative arrangement positional relationship with the passive video presentation means, Position relation for estimating a relative arrangement positional relation between the active video presentation means and the passive video presentation means The viewpoint of the video to be distributed to the active video presentation means is calculated from the viewpoint of the estimation means and the viewpoint of the video to be delivered to the passive video presentation means and the relative arrangement positional relation, and the passive viewpoint is calculated from the video data. A video to be distributed to the type video presentation unit is generated, and a video to be distributed to the active type video presentation unit is generated from the video data based on the calculated viewpoint. Distribution means for presenting to the type video presentation means.
本発明は、コンピュータを、前記映像表示装置として機能させるための映像表示プログラムである。 The present invention is a video display program for causing a computer to function as the video display device.
本発明によれば、同一の映像から生成された能動型映像と受動型映像の２つの映像を視聴する際に、２つの映像の視点の位置関係を直感的に把握することができるという効果が得られる。 According to the present invention, when viewing two images of an active image and a passive image generated from the same image, it is possible to intuitively grasp the positional relationship between the viewpoints of the two images. can get.
＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像表示装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、配信すべき映像データを含むコンテンツを配信するコンテンツ配信部である。符号１１は、コンテンツが予め記憶されたコンテンツ保存部である。符号１２は、コンテンツ保存部１１に記憶されているコンテンツに含まれる映像データを配信する配信部である。符号２は、受動型映像を提示する受動型映像提示部である。符号２１は、受動型映像提示部２内に備えられ、映像を提示（表示）するディスプレイ装置で構成する映像提示部である。符号３は、能動型映像を提示する能動型映像提示部である。符号３１は、能動型映像提示部３内に備えられ、映像を提示（表示）するディスプレイ装置で構成する映像提示部である。符号３２は、受動型映像提示部２の映像提示部２１の位置関係が分かるように映像を撮影するカメラである。符号４は、カメラ３２によって撮影された映像から受動型映像提示部２と能動型映像提示部３との位置関係を推定する位置関係推定部である。
<First Embodiment>
Hereinafter, an image display apparatus according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the embodiment. In this figure,
図２は、視点と提示される映像の関係を示す説明図である。本発明において提示される映像は、図２に示すようにあるシーンに対して視点Ｏと画像平面Ｉを仮定し、画像平面Ｉに投影されたものを指すこととする。能動型映像視聴においてはこの視点Ｏの位置や姿勢を操作することに相当する。ただし、本発明でいう視点の移動とは視点Ｏのみの移動ではなく、画像平面Ｉと視点Ｏの位置関係を保存しながらの移動を指すこととする。 FIG. 2 is an explanatory diagram showing the relationship between the viewpoint and the presented video. The video presented in the present invention assumes a viewpoint O and an image plane I with respect to a certain scene as shown in FIG. In active video viewing, this corresponds to operating the position and orientation of the viewpoint O. However, the movement of the viewpoint referred to in the present invention is not the movement of only the viewpoint O but the movement while preserving the positional relationship between the image plane I and the viewpoint O.
次に、図１を参照して、図１に示す映像表示装置の構成の詳細を説明する。コンテンツ保存部１１は、パノラマ映像またはＣＧ等で製作された３次元データなど、配信する映像の元データを保存する。配信部１２は、位置関係推定部４から送信された、能動型映像提示部３と受動型映像提示部２の位置関係の情報を入力し、位置関係に応じた映像を出力する。前提として、受動型映像提示部２に配信する映像の視点は既知であるものとする。配信部１２は、まず、受動型映像提示部２と能動型映像提示部３の相対位置関係に応じて、それぞれの視点を決定する。そして、コンテンツ保存部１１から取り出したコンテンツをそれぞれの視点に応じて変換し、映像提示部２１、３１に対して映像を配信する。
Next, details of the configuration of the video display device shown in FIG. 1 will be described with reference to FIG. The
受動型映像提示部２は、コンテンツ配信部１から送信された映像を入力し、入力した映像を映像提示部２１から出力する。
The passive
能動型映像提示部３の映像提示部３１は、コンテンツ配信部１から送信された映像を入力し、入力した映像を出力する。映像提示部３１は液晶ディスプレイ等に映像を表示する映像表示型とプロジェクタで投影するような映像投影型のものがある。カメラ３２は、撮影した受動型映像提示部２を含む映像を位置関係推定部４に出力する。
The
位置関係推定部４は、能動型映像提示部３のカメラ３から送信された映像と、予め保持している受動型映像提示部２の位置姿勢から、能動型映像提示部３と受動型映像提示部２の配置位置関係を推定し、コンテンツ配信部に送信する。ここで、一般に受動型映像提示部２を含むある物体Ａの位置姿勢とは、適当に設定された世界座標系と物体Ａが持つ座標系の変換を表す情報、つまりカメラキャリブレーションにおける外部パラメータ（回転行列Ｒ、並進ベクトルＴ）のことをいう。前提として、受動型映像提示部２にはグリッドの数と一辺の長さが既知のチェスパターンを持つ物体が付属され、かつその物体が能動型映像提示部３に備えるカメラ３２から撮影できるものとする。
The positional relationship estimation unit 4 determines whether the active
位置関係推定部４は、撮影された映像からチェスパターンを検出し、その結果を基に撮影に用いられた能動型映像提示部３に備えられるカメラ３２と受動型映像提示部２のチェスパターンの位置関係を推定する。この推定には、カメラ３２の外部キャリブレーションを用いることができる。ここで、ある物体Ａと物体Ｂの位置関係とは、各物体が持つ座標系の変換を表す情報、つまりカメラにおける外部パラメータ（回転行列Ｒ、並進ベクトルＴ）である。なお、本実施形態において位置姿勢と位置関係は座標系の変換を行うパラメータ（回転行列Ｒ、並進ベクトルＴ）であり、基本的には同じ意味を有するが、「位置姿勢」は端末の持つ座標系−世界座標系を表し、「位置関係」は端末の持つ座標系−端末の持つ座標系を表す。位置関係推定部４は、推定された位置関係をコンテンツ配信部１に送信する。なお、ここでは、チェスパターンを用いたが、それ以外の既知のテクスチャ、例えば、ＡＲマーカを用いることも可能である。
The positional relationship estimation unit 4 detects a chess pattern from the shot video, and based on the result, the chess pattern of the
次に、図３を参照して、図１に示す映像表示装置全体の処理動作を説明する。図３は、図１に示す映像表示装置全体の処理動作を示すフローチャートである。まず、カメラ３２は、受動型映像提示部２を含む映像を撮影する（ステップＳ１）。そして、カメラ３２は、撮影した映像を位置関係推定部４に送信する（ステップＳ２）。これを受けて、位置関係推定部４は、送信された映像に基づいて能動型映像提示部３と受動型映像提示部２の位置関係を推定する（ステップＳ３）。位置関係推定部４は、推定された位置関係を示す情報をコンテンツ配信部１に送信する（ステップＳ４）。
Next, the processing operation of the entire video display device shown in FIG. 1 will be described with reference to FIG. FIG. 3 is a flowchart showing the processing operation of the entire video display apparatus shown in FIG. First, the
次に、配信部１２は、送信された位置関係を示す情報に応じて能動型映像提示部３に配信すべき映像を決定する（ステップＳ５）。そして、配信部１２は、能動型映像提示部３に映像を配信する（ステップＳ６）。これを受けて、能動型映像提示部３の映像提示部３１は、配信された映像を提示する（ステップＳ７）。
Next, the
一方、ステップＳ１〜Ｓ７の処理動作と並行して、配信部１２は、予め定められた視点の映像を読み出して（ステップＳ８）、受動型映像提示部２に読み出した映像を配信する（ステップＳ９）。これを受けて、受動型映像提示部２の映像提示部２１は、配信された映像を提示する（ステップＳ１０）。
On the other hand, in parallel with the processing operations in steps S1 to S7, the
このように、能動型映像提示部３を視聴者が手に持って、受動型映像提示部２との位置関係を変えると、位置関係推定部４は、カメラ３２によって撮影した映像から受動型映像提示部２と能動型映像提示部３の配置位置関係がどのようになっているかを推定する。例えば、図１に示す例では、能動型映像提示部３は、受動型映像提示部２の右側に配置されているため、映像提示部３１には、映像提示部２１に映し出されている映像の右側方向の映像が映し出されることになる。
As described above, when the viewer holds the active
また、視聴者が能動型映像提示部３を受動型映像提示部２の左側に持ってくると、その位置関係を位置関係推定部４が推定し、その位置関係に基づいて、映像提示部３１には、映像提示部２１に映し出されている映像の左側方向の映像が映し出されることになる。同様に、能動型映像提示部３を受動型映像提示部２の上方向または下方向に持ってくることにより、映像提示部２１に映し出されている映像の上側または下側の映像が映し出されることになる。このようにすることによって、受動型映像提示部２に映し出されている映像と、能動型映像提示部３に映し出されている映像の位置関係を直感的に把握することができるようになる。
When the viewer brings the active
＜第２実施形態＞
次に、本発明の第２実施形態による映像表示装置を説明する。図４は同実施形態の構成を示すブロック図である。図４において、図１示す装置と同一の部分には同一の符号を付し、その説明を省略する。図４に示す装置が図１に示す装置と異なる点は、能動型映像提示部３にジャイロセンサ３３が新たに備えられている点である。ジャイロセンサ３３を備えることにより、カメラ３２で受動型映像提示部を含む映像を撮影することができなかった場合においても補完的に位置関係を取得することが可能となる。
Second Embodiment
Next, a video display apparatus according to a second embodiment of the present invention will be described. FIG. 4 is a block diagram showing the configuration of the embodiment. 4, parts that are the same as the parts shown in FIG. 1 are given the same reference numerals, and explanation thereof is omitted. The apparatus shown in FIG. 4 is different from the apparatus shown in FIG. 1 in that the active
ジャイロセンサ３３は、検出した値を位置関係推定部４に送信する。位置関係推定部４は、能動型映像提示部３より送信された情報（カメラの映像、またはジャイロセンサの検出値）と、予め保持している受動型映像提示部２の位置姿勢から、能動型映像提示部３と受動型映像提示部３の位置関係を推定し、推定結果をコンテンツ配信部に送信する。前提として、前時刻の能動型映像提示部３と受動型映像提示部２の位置関係が既知であり、かつ受動型映像提示部２は固定されているものとする。位置関係推定部４は、入力であるジャイロセンサの値を基に、前時刻に対する現時刻の能動型映像提示部の位置関係を推定する。そして、位置関係推定部４は、前時刻と現時刻の能動型映像提示部３の位置関係、前時刻の能動型映像提示部３と受動型映像提示部２の位置関係から、現時刻の能動型映像提示部３と受動型映像提示部２の位置関係を推定する。位置関係推定部４は、推定された位置関係をコンテンツ配信部１に送信する。
The
なお、カメラ３２とジャイロセンサ３３の組み合わせの他、ＣＭＯＳセンサ（赤外線）、３軸加速度センサ、赤外線ＬＥＤを利用することで同等の効果を得ることが可能である。この場合、ＣＭＯＳセンサ（赤外線）および３軸加速度センサが能動型映像提示部３に付与するカメラ３２およびジャイロセンサ３３に相当し、赤外線ＬＥＤが受動型映像提示部２に付与するチェスパターンに相当する。
In addition to the combination of the
次に、図５を参照して、図４に示す映像表示装置全体の処理動作を説明する。図５は、図４に示す映像表示装置全体の処理動作を示すフローチャートである。まず、ジャイロセンサ３３は、検出値を獲得する（ステップＳ１１）。そして、ジャイロセンサ３３は、獲得した検出値を位置関係推定部４に送信する（ステップＳ１２）。これを受けて、位置関係推定部４は、送信された検出値に基づいて能動型映像提示部３と受動型映像提示部２の位置関係を推定する（ステップＳ３）。位置関係推定部４は、推定された位置関係を示す情報をコンテンツ配信部１に送信する（ステップＳ４）。
Next, the processing operation of the entire video display apparatus shown in FIG. 4 will be described with reference to FIG. FIG. 5 is a flowchart showing the processing operation of the entire video display apparatus shown in FIG. First, the
次に、配信部１２は、送信された位置関係を示す情報に応じて能動型映像提示部３に配信すべき映像を決定する（ステップＳ５）。そして、配信部１２は、能動型映像提示部３に映像を配信する（ステップＳ６）。これを受けて、能動型映像提示部３の映像提示部３１は、配信された映像を提示する（ステップＳ７）。
Next, the
一方、ステップＳ１１、Ｓ１２、Ｓ３〜Ｓ７の処理動作と並行して、配信部１２は、予め定められた視点の映像を読み出して（ステップＳ８）、受動型映像提示部２に読み出した映像を配信する（ステップＳ９）。これを受けて、受動型映像提示部２の映像提示部２１は、配信された映像を提示する（ステップＳ１０）。
On the other hand, in parallel with the processing operations of steps S11, S12, and S3 to S7, the
このように、ジャイロセンサ３３を備えることにより、カメラ３２で受動型映像提示部を含む映像を撮影することができなかった場合においても補完的に位置関係を取得することが可能となる。
As described above, by including the
＜第３実施形態＞
次に、本発明の第３実施形態による映像表示装置を説明する。図６は同実施形態の構成を示すブロック図である。図６において、図１示す装置と同一の部分には同一の符号を付し、その説明を省略する。図６に示す装置が図１に示す装置と異なる点は、カメラ３２に代えて、能動型映像提示装置位置姿勢推定部５を能動型映像提示部３の外部に設けた点である。
<Third Embodiment>
Next, an image display apparatus according to a third embodiment of the present invention will be described. FIG. 6 is a block diagram showing the configuration of the embodiment. In FIG. 6, the same parts as those in the apparatus shown in FIG. The apparatus shown in FIG. 6 differs from the apparatus shown in FIG. 1 in that an active video presentation device position / orientation estimation unit 5 is provided outside the active
能動型映像提示装置位置姿勢推定部５は、付属のカメラを用いて能動型映像提示装置位置姿勢推定部５と能動型映像提示装置３の位置関係を求め、位置関係推定部４に送信する。前提として、能動型映像提示装置３にはグリッドの数と一辺の長さが既知のチェスパターンを持つ物体が付属され、かつその物体が能動型映像提示装置位置姿勢推定部５が備えるカメラから観測できるものとする。なお、能動型映像提示装置位置姿勢推定部５の位置姿勢は既知であるとする。
The active video presentation device position / posture estimation unit 5 obtains the positional relationship between the active video presentation device position / posture estimation unit 5 and the active
能動型映像提示装置位置姿勢推定部５は、撮影された映像からチェスパターンを検出し、その結果を基に撮影に用いられた、能動型映像提示装置位置姿勢推定部５のカメラと能動型映像提示部３のチェスパターンの位置関係を推定する（外部キャリブレーション）。そして、能動型映像提示装置位置姿勢推定部５は、推定された位置関係を位置関係推定部４に送信する。ここではチェスパターンを用いたが、それ以外の既知のテクスチャ、例えば、ＡＲマーカを用いることも可能である。
The active video presentation device position / orientation estimation unit 5 detects a chess pattern from the captured video, and the active video presentation device position / orientation estimation unit 5 and the active video used for imaging based on the detection result. The positional relationship of the chess pattern of the
位置関係推定部４は、能動型映像提示装置位置姿勢推定部５より送信された情報と、予め保持している受動型映像提示部３の位置姿勢から、能動型映像提示部３と受動型映像提示部２の配置位置関係を推定し、コンテンツ配信部１に送信する。前提として、能動型映像提示装置位置姿勢推定部５の有するカメラと受動型映像提示部２の位置関係は既知であるとし、受動型映像提示装置２は固定されているものとする。
The positional relationship estimation unit 4 determines whether the active
位置関係推定部４は、入力として与えられた能動型映像提示部３と能動型映像提示装置位置姿勢推定部５の位置関係、既知である能動型映像提示装置位置姿勢推定部５と受動型映像提示部２の位置関係を用い、能動型映像提示部３と受動型映像提示部２の位置関係を推定する。そして、位置関係推定部４は、推定された位置関係を毎時間コンテンツ配信部１に送信する。
The positional relationship estimation unit 4 is a positional relationship between the active
なお、ここでは能動型映像提示装置位置姿勢推定部５と受動型映像提示部２の位置関係は既知であるとしたが、受動型映像提示部２に既知のチェスパターンを添付し、それを能動型映像提示装置位置姿勢推定部５の有するカメラで撮影することができれば推定することも可能である。
Here, the positional relationship between the active image presentation device position / orientation estimation unit 5 and the passive
次に、図７を参照して、図６に示す映像表示装置全体の処理動作を説明する。図７は、図６に示す映像表示装置全体の処理動作を示すフローチャートである。まず、能動型映像提示装置位置姿勢推定部５は、カメラで能動型映像提示部３を含む映像を撮影する（ステップＳ２１）。そして、能動型映像提示装置位置姿勢推定部５は、能動型映像提示部３と能動型映像提示装置位置姿勢推定部５の位置関係を推定し、この推定結果を位置関係推定部４に送信する（ステップＳ２２）。これを受けて、位置関係推定部４は、送信された推定結果に基づいて能動型映像提示部３と受動型映像提示部２の位置関係を推定する（ステップＳ３）。位置関係推定部４は、推定された位置関係を示す情報をコンテンツ配信部１に送信する（ステップＳ４）。
Next, the processing operation of the entire video display device shown in FIG. 6 will be described with reference to FIG. FIG. 7 is a flowchart showing the processing operation of the entire video display apparatus shown in FIG. First, the active image presentation device position / orientation estimation unit 5 captures an image including the active
次に、配信部１２は、送信された位置関係を示す情報に応じて能動型映像提示部３に配信すべき映像を決定する（ステップＳ５）。そして、配信部１２は、能動型映像提示部３に映像を配信する（ステップＳ６）。これを受けて、能動型映像提示部３の映像提示部３１は、配信された映像を提示する（ステップＳ７）。
Next, the
一方、ステップＳ２１、Ｓ２２、Ｓ３〜Ｓ７の処理動作と並行して、配信部１２は、予め定められた視点の映像を読み出して（ステップＳ８）、受動型映像提示部２に読み出した映像を配信する（ステップＳ９）。これを受けて、受動型映像提示部２の映像提示部２１は、配信された映像を提示する（ステップＳ１０）。
On the other hand, in parallel with the processing operations of steps S21, S22, and S3 to S7, the
このように、能動型映像提示部３の外部から能動型映像提示部３を撮影することにより、能動型映像提示部３の配置位置と姿勢を推定することが可能となる。
As described above, by photographing the active
＜第４実施形態＞
次に、本発明の第４実施形態による映像表示装置を説明する。第４実施形態による装置が第１〜第３実施形態による装置と異なる点は、能動型映像提示部３がユーザ入力を行うためにタッチパネル等のユーザインタフェースを備えている点である。第１〜第３実施形態においては提示される映像が、能動型映像提示部３の位置関係に従う例を説明したが、拡大など一部の操作は視聴する上で不便に感ずることもある。そこで、ユーザの入力によって一部の視点操作を可能にするために、ユーザインタフェースをさらに備えている。映像の視点を決定するための情報の１つとして利用されることから、位置関係推定部４への入力、つまりカメラやジャイロセンサを補完するという位置づけとなるものである。ユーザインタフェースは、ユーザの操作内容（画面の拡大率及び縮小率など）を入力し、この入力内容を位置関係推定部４に送信する。これにより、ユーザが所望する映像になるように操作することができるようになり、ユーザが所望する映像を提示することが可能となる。
<Fourth embodiment>
Next, an image display apparatus according to a fourth embodiment of the present invention will be described. The device according to the fourth embodiment is different from the devices according to the first to third embodiments in that the active
＜第５実施形態＞
次に、本発明の第５実施形態による映像表示装置を説明する。図８は、第５実施形態による映像表示装置の構成を示す図である。図８に示す例では、能動型映像提示部３としてタブレット端末を、受動型映像提示部２として液晶ディスプレイ端末を用いている。ただし、液晶ディスプレイ端末にはＡＲマーカが添付され、タブレット端末はカメラとジャイロセンサを備えている。さらに、両端末が有する画面が図２に示す画像平面Ｉとし、視点Ｏは端末ごとに適当な位置に固定するとする。また、位置関係推定部４及びコンテンツ配信部１はサーバによって実現する。なお、本実施形態は非特許文献１と同様のパノラマ映像、３ＤＣＧを始め、大画面映像あるいは自由視点映像のように視点が選択できるコンテンツに対して適用が可能であるが、ここでは主にパノラマ映像視聴時について説明する。
<Fifth Embodiment>
Next, an image display apparatus according to a fifth embodiment of the present invention will be described. FIG. 8 is a diagram showing the configuration of the video display apparatus according to the fifth embodiment. In the example shown in FIG. 8, a tablet terminal is used as the active
視聴において、タブレット端末が有するカメラで液晶ディスプレイ端末に添付されたＡＲマーカを撮影し、その映像を基にタブレット端末と液晶ディスプレイの相対位置関係を推定する。カメラの視野からＡＲマーカが外れた時も、カメラに付属のジャイロセンサの値を用いて相対位置関係を推定することが可能である。この時、ＡＲマーカがカメラの視野から外れる直前の値を初期値として利用する。 In viewing, the AR marker attached to the liquid crystal display terminal is photographed by the camera of the tablet terminal, and the relative positional relationship between the tablet terminal and the liquid crystal display is estimated based on the video. Even when the AR marker is out of the field of view of the camera, it is possible to estimate the relative positional relationship using the value of the gyro sensor attached to the camera. At this time, a value immediately before the AR marker deviates from the field of view of the camera is used as an initial value.
本実施形態では能動型映像提示部３であるタブレット端末および受動型映像提示部２である液晶ディスプレイ端末が存在する空間に仮想的にパノラマ映像Ｐが存在すると見做し、各端末の画面に投影された映像を提示する。受動型映像提示部２における視点０１は予め配信側が定めた視点、あるいは非特許文献１に記載のようにユーザの操作履歴の自動再生を想定する。なお、受動型映像提示部２が固定されている場合には上記の視点移動に伴いパノラマ映像Ｐの方が動くものとする。また、基本的に提示される映像はタブレット端末と液晶ディスプレイ端末の相対位置関係によるものだが、両端末を所望の相対位置関係に設置することが困難な場合（例えば映像を大きく拡大縮小するために両者の距離を大きく変化させる場合）に備え、ユーザ操作に伴う視点０２の移動を許容する。
In this embodiment, it is assumed that the panoramic video P is virtually present in the space where the tablet terminal as the active
＜第６実施形態＞
次に、本発明の第６実施形態による映像表示装置を説明する。図９は、第６実施形態による映像表示装置の構成を示す図である。図９に示す例では、能動型映像提示部３としてモバイルプロジェクタを用いてパノラマ映像を視聴するものとして説明する。なお、このモバイルプロジェクタはカメラとジャイロセンサ、及び深度センサを具備していることとする。その他、受動型映像提示部２、能動型映像提示部３、コンテンツ配信部１及び能動型映像提示部３と受動型映像提示部３の位置関係の推定方法に関しては前述したものと同様であるので、詳細な説明は省略する。
<Sixth Embodiment>
Next, an image display apparatus according to a sixth embodiment of the present invention will be described. FIG. 9 is a diagram showing the configuration of the video display apparatus according to the sixth embodiment. In the example shown in FIG. 9, description will be made assuming that a panoramic video is viewed using a mobile projector as the active
受動型映像提示部２である液晶ディスプレイ端末には第５実施形態と同様の映像を提示する。能動型映像提示部３であるモバイルプロジェクタは、図９に示すようにモバイルプロジェクタが向けられている先にある壁などのスクリーン１０にパノラマ映像Ｐの映像を投影する。
The liquid crystal display terminal which is the passive
なお、モバイルプロジェクタが投影する対象は必ずしも白い壁のようにテクスチャの無い平面では無いため、投影した映像が視聴者からは異なる色や形状で観測される場合がある。この時、映像の品質向上のためにカメラや深度センサを用いて投影対象のテクスチャや形状を獲得し、それに応じて投影する映像を変換させるようにしてもよい。 Note that since the target projected by the mobile projector is not necessarily a flat surface without a texture such as a white wall, the projected image may be observed by a viewer in a different color or shape. At this time, in order to improve the quality of the video, a texture or shape to be projected may be acquired using a camera or a depth sensor, and the video to be projected may be converted accordingly.
以上説明したように、２スクリーン式能動受動型映像視聴において、受動型映像提示部２と能動型映像提示部３が提示する映像の視点を、両提示部の相対位置関係を用いて関連付けるようにした。すなわち、両提示部は同一の大画面映像の一部を映し出しており、その映し出している映像の視点の位置関係が、両提示部の相対位置関係によって決定するようにした。これにより、能動型映像提示部３に提示される映像は両提示部の相対位置関係に基づいて決定されるため、視聴者は視線移動後の映像がどの視点から映している映像であるかを容易に理解できるようになる。
As described above, in the two-screen active passive video viewing, the viewpoints of the video presented by the passive
前述した実施形態におけるコンテンツ配信部１、受動型映像提示部２、能動型映像提示部３、位置関係推定部４、能動型映像提示装置位置姿勢推定部５をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
The
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。 As mentioned above, although embodiment of this invention has been described with reference to drawings, the said embodiment is only the illustration of this invention, and it is clear that this invention is not limited to the said embodiment. is there. Therefore, additions, omissions, substitutions, and other modifications of the components may be made without departing from the technical idea and scope of the present invention.
同一の映像から生成された能動型映像と受動型映像の２つの映像を視聴する際に、２つの映像の視点の位置関係を直感的に把握することが不可欠な用途に適用できる。 When viewing two images of an active image and a passive image generated from the same image, it can be applied to an application in which it is essential to intuitively grasp the positional relationship between the viewpoints of the two images.
１・・・コンテンツ配信部、１１・・・コンテンツ保存部、１２・・・配信部、２・・・受動型映像提示部、２１・・・映像提示部、３・・・能動型映像提示部、３１・・・映像提示部、３２・・・カメラ、３３・・・ジャイロセンサ、４・・・位置関係推定部、５・・・能動型映像提示装置位置姿勢推定部
DESCRIPTION OF
Claims (4)
視聴者が指定した視点の映像データに基づき映像の提示を行う能動型映像提示手段と、
予め定められた視点の映像データに基づき映像の提示を行う受動型映像提示手段と、
前記能動型映像提示手段と、前記受動型映像提示手段との相対的な配置位置関係を推定する位置関係推定手段と、
前記受動型映像提示手段に配信すべき前記映像の視点と前記相対的な配置位置関係から前記能動型映像提示手段に配信すべき映像の視点を算出し、前記映像データから前記受動型映像提示手段に配信すべき映像を生成するとともに、算出した前記視点に基づいて前記映像データから前記能動型映像提示手段に配信すべき映像を生成して、それぞれ前記受動型映像提示手段及び能動型映像提示手段に提示する配信手段と、
を備え、
前記能動型映像提示手段は、前記配置位置関係を求めるために、前記受動型映像提示手段を含む映像を撮影する撮影手段を備え、
前記位置関係推定手段は、前記撮影手段によって撮影された前記受動型映像提示手段を含む映像から前記能動型映像提示手段と、前記受動型映像提示手段との相対的な配置位置関係を推定し、
前記配信手段は、前記能動型映像提示手段と前記受動型映像提示手段とへの映像配信を並行して行い、推定した前記受動型映像提示手段と前記能動型映像提示手段との相対的な配置位置に応じて、受動型映像提示手段に映し出される映像の前記能動型映像提示手段が置かれた位置の方向の映像を前記能動型映像提示手段に対して提示すべき映像として配信することを特徴とする映像表示装置。 Video data storage means for storing video data;
Active video presentation means for presenting video based on video data of a viewpoint specified by a viewer;
Passive video presentation means for presenting video based on video data of a predetermined viewpoint;
A positional relationship estimating means for estimating a relative positional relationship between the active video presenting means and the passive video presenting means;
The viewpoint of the video to be delivered to the active video presentation means is calculated from the viewpoint of the video to be delivered to the passive video presentation means and the relative arrangement positional relationship, and the passive video presentation means is obtained from the video data. A video to be distributed to the active video presenting means from the video data based on the calculated viewpoint, and the passive video presenting means and the active video presenting means, respectively. Delivery means to present to,
Equipped with a,
The active image presenting means includes a photographing means for photographing an image including the passive image presenting means in order to obtain the arrangement positional relationship.
The positional relationship estimating means estimates a relative arrangement positional relationship between the active video presenting means and the passive video presenting means from a video including the passive video presenting means photographed by the photographing means,
The distribution means performs video distribution to the active video presentation means and the passive video presentation means in parallel, and the estimated relative arrangement of the passive video presentation means and the active video presentation means According to a position, a video in a direction of a position where the active video presenting unit of the video projected on the passive video presenting unit is distributed as a video to be presented to the active video presenting unit. A video display device.
前記位置関係推定手段は、前記撮影手段によって前記受動型映像提示手段を含む映像を撮影することができなかった場合に、固定された前記受動型映像提示手段の位置情報と前時刻における前記能動型映像提示手段と前記受動型映像提示手段の相対的な位置関係と前記ジャイロセンサの検出値から前記相対的な配置位置関係を推定することを特徴とする請求項１に記載の映像表示装置。 The active image presentation means further includes a gyro sensor,
The positional relationship estimation means, when the video including the passive video presentation means cannot be taken by the photographing means, the position information of the fixed passive video presentation means and the active type at the previous time 2. The video display apparatus according to claim 1 , wherein the relative arrangement positional relation is estimated from a relative positional relation between the video presentation means and the passive video presentation means and a detection value of the gyro sensor.
視聴者が指定した視点の映像データに基づき映像の提示を行う能動型映像提示手段と、
予め定められた視点の映像データに基づき映像の提示を行う受動型映像提示手段と、
前記能動型映像提示手段との相対的な位置関係を推定する能動型映像提示装置位置姿勢推定手段と、
前記能動型映像提示装置位置姿勢推定手段と前記能動型映像提示手段との相対的な位置関係と、前記能動型映像提示装置位置姿勢推定手段と前記受動型映像提示手段との相対的な位置関係とを用いて、前記能動型映像提示手段と前記受動型映像提示手段との相対的な配置位置関係を推定する位置関係推定手段と、
前記受動型映像提示手段に配信すべき前記映像の視点と前記相対的な配置位置関係から前記能動型映像提示手段に配信すべき映像の視点を算出し、前記映像データから前記受動型映像提示手段に配信すべき映像を生成するとともに、算出した前記視点に基づいて前記映像データから前記能動型映像提示手段に配信すべき映像を生成して、それぞれ前記受動型映像提示手段及び能動型映像提示手段に提示する配信手段と
を備え、
前記配信手段は、前記能動型映像提示手段と前記受動型映像提示手段とへの映像配信を並行して行い、推定した前記受動型映像提示手段と前記能動型映像提示手段との相対的な配置位置に応じて、受動型映像提示手段に映し出される映像の前記能動型映像提示手段が置かれた位置の方向の映像を前記能動型映像提示手段に対して提示すべき映像として配信することを特徴とする映像表示装置。 Video data storage means for storing video data;
Active video presentation means for presenting video based on video data of a viewpoint specified by a viewer;
Passive video presentation means for presenting video based on video data of a predetermined viewpoint;
Active video presentation device position and orientation estimation means for estimating a relative positional relationship with the active video presentation means;
Relative positional relationship between the active video presentation device position and orientation estimation unit and the active video presentation unit, and relative positional relationship between the active video presentation device position and orientation estimation unit and the passive video presentation unit DOO positional relationship estimation means for estimates the relative position relationship between the passive image presentation means and the active video presentation means using,
Calculating a viewpoint of the video to be distributed to the active video presenting means from the relative position relationship between the viewpoint of the image to be distributed to the passive image presentation means, said from the video data passive image presentation means A video to be distributed to the active video presenting means from the video data based on the calculated viewpoint, and the passive video presenting means and the active video presenting means, respectively. Distribution means to present to the
The distribution means performs video distribution to the active video presentation means and the passive video presentation means in parallel, and the estimated relative arrangement of the passive video presentation means and the active video presentation means According to a position, a video in a direction of a position where the active video presenting unit of the video projected on the passive video presenting unit is distributed as a video to be presented to the active video presenting unit. A video display device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013192290A JP6031016B2 (en) | 2013-09-17 | 2013-09-17 | Video display device and video display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013192290A JP6031016B2 (en) | 2013-09-17 | 2013-09-17 | Video display device and video display program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015059999A JP2015059999A (en) | 2015-03-30 |
| JP6031016B2 true JP6031016B2 (en) | 2016-11-24 |
Family
ID=52817604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013192290A Expired - Fee Related JP6031016B2 (en) | 2013-09-17 | 2013-09-17 | Video display device and video display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6031016B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7052225B2 (en) * | 2017-06-06 | 2022-04-12 | 富士通株式会社 | Information processing equipment, information processing system and information processing method |
| WO2019171557A1 (en) | 2018-03-08 | 2019-09-12 | 塁 佐藤 | Image display system |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003280783A (en) * | 2002-03-20 | 2003-10-02 | Fuji Xerox Co Ltd | Display system and display method |
| JP2009205556A (en) * | 2008-02-28 | 2009-09-10 | Panasonic Corp | User interface device |
| JP5279038B2 (en) * | 2010-05-28 | 2013-09-04 | Ｎｅｃアクセステクニカ株式会社 | Image display system and image display method |
| EP2485119A3 (en) * | 2011-02-02 | 2012-12-12 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
| JP2012233963A (en) * | 2011-04-28 | 2012-11-29 | Konica Minolta Holdings Inc | Projection system, projection device, projection method, and control program |
| JP2013179553A (en) * | 2012-01-30 | 2013-09-09 | Sharp Corp | Divided screen display system and divided screen display method |
| JP5745497B2 (en) * | 2012-12-04 | 2015-07-08 | 任天堂株式会社 | Display system, display control apparatus, information processing program, and display method |
-
2013
- 2013-09-17 JP JP2013192290A patent/JP6031016B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015059999A (en) | 2015-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11189055B2 (en) | Information processing apparatus and method and program | |
| WO2018171429A1 (en) | Image stitching method, device, terminal, and storage medium | |
| US9781356B1 (en) | Panoramic video viewer | |
| US20120293613A1 (en) | System and method for capturing and editing panoramic images | |
| TW200540458A (en) | Motion sensor using dual camera inputs | |
| TWI547901B (en) | Simulating stereoscopic image display method and display device | |
| CN112039937B (en) | Display method, position determination method and device | |
| EP3899870B1 (en) | Cloud-based camera calibration | |
| US20140270693A1 (en) | Information processing device, storage medium having moving image data stored thereon, information processing system, storage medium having moving image reproduction program stored thereon, and moving image reproduction method | |
| US10764493B2 (en) | Display method and electronic device | |
| WO2020042494A1 (en) | Method for screenshot of vr scene, device and storage medium | |
| TWI572203B (en) | Media streaming system, control method and non-transitory computer readable storage medium | |
| US10694115B2 (en) | Method, apparatus, and terminal for presenting panoramic visual content | |
| CN107295393B (en) | method and device for displaying additional media in media playing, computing equipment and computer-readable storage medium | |
| US20240087157A1 (en) | Image processing method, recording medium, image processing apparatus, and image processing system | |
| JP2014053794A (en) | Information processing program, information processing apparatus, information processing system, and information processing method | |
| WO2019015249A1 (en) | Virtual-reality-based image display method and apparatus, and virtual reality helmet device | |
| JPWO2017022291A1 (en) | Information processing device | |
| US20150326847A1 (en) | Method and system for capturing a 3d image using single camera | |
| JP5547356B2 (en) | Imaging apparatus, method, storage medium, and program | |
| JP6031016B2 (en) | Video display device and video display program | |
| JP2018033107A (en) | Video distribution device and distribution method | |
| JP6515512B2 (en) | Display device, display device calibration method, and calibration program | |
| CN107426522B (en) | Video method and system based on virtual reality equipment | |
| US20150022559A1 (en) | Method and apparatus for displaying images in portable terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150827 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160805 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161021 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6031016 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |