JP2003304444A - 画像合成装置及び画像合成方法 - Google Patents

Abstract

(57)【要約】 【課題】奥行方向への動作を伴う被写体の動きを効果的
に表現することができる画像合成装置及び画像合成方法
を提供すること。 【解決手段】本発明にかかる画像合成装置１００は、奥
行方向への動きを伴う被写体の画像合成を行なうもので
ある。この画像合成装置１００であって、画像データを
記憶する画像メモリ２と、画像メモリ２より画像データ
を読み出し、被写体の画像を抽出する画像抽出部３と、
画像メモリ２に記憶された画像データ及び／又記画像抽
出手段により抽出された抽出画像に基づき画像合成を行
なう画像合成部４を備えている。画像合成部４は、別途
決定された基準画像の前の画像に対しては順次上方に抽
出画像が重ねられる上重ね処理を行い、基準画像の後の
画像に対しては順次下方に抽出画像が重ねられる下重ね
処理を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像合成を行なう
画像合成装置及び画像合成方法に関するものであり、例
えば、テレビジョン番組制作、映画制作等において用い
られる画像合成に関するものである。

【０００２】

【従来の技術】従来より、スポーツ中継放送等では、被
写体である選手の動きを視聴者に分かりやすく表現する
ため、スローモーション再生が多用されている。また、
選手の動きをストロボ写真のように表現し、その静止画
像を背景画像上で順次上書きすることにより合成してい
くマルチモーションと呼ばれる技術も利用されている。

【０００３】

【発明が解決しようとする課題】スポーツ中継におい
て、速い選手の動きをゆっくりと表現するスローモーシ
ョン再生は、視聴者にとって分かりやすく効果的であ
る。その一方で、動きが遅くなることで、選手が動いた
軌跡やフォームの移行が捉えにくいという欠点があっ
た。

【０００４】マルチモーションは、静止した選手の画像
を次々に重ね合わせて合成していくため、残像効果で動
きの経緯が分かりやすいという利点がある。しかしなが
ら、時間経緯に従って順次画像を重ね合わせているた
め、野球やゴルフのスイング等を表示する場合、被写体
の位置に大きな移動がないため、ヒッティングポイント
等の注目シーンがあっても上書きされてしまい、この注
目シーンが見えなくなってしまうという欠点があった。
また、マルチモーションによる表示は、平面的で立体感
を視聴者に与えることができないといった視覚表現上の
欠点もあった。

【０００５】本発明は、このような問題点を解決するた
めになされたもので、奥行方向への動作を伴う被写体の
動きを効果的に表現することができる画像合成装置及び
画像合成方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明にかかる画像合成
装置は、奥行方向への動きを伴う被写体の画像合成を行
なう画像合成装置であって、画像データを記憶する画像
メモリと、前記画像メモリより画像データを読み出し、
被写体の画像を抽出する画像抽出手段と、前記画像メモ
リに記憶された画像データ及び／又は前記画像抽出手段
により抽出された抽出画像に基づき画像合成を行なう画
像合成手段と、基準画像を決定する基準画像決定手段と
を備え、前記画像合成手段は、基準画像決定手段によっ
て決定された基準画像の前の画像に対しては順次上方に
抽出画像が重ねられる上重ね処理を行い、前記基準画像
の後の画像に対しては順次下方に抽出画像が重ねられる
下重ね処理を行なうものである。このような構成によ
り、基準画像が一番上に表示されるため、注目シーンを
基準画像に選択すれば、注目シーンが上書きされずに最
後まで残るとともに、その経過を効果的に確認すること
ができる。

【０００７】好ましい実施の形態では、前記下重ね処理
は、上重ね処理によって生成された第１の合成画像と前
記基準画像の後の画像を合成するとともに、この合成画
像に対して、第１の合成画像の被写体を抽出した合成画
像を上書きにすることにより実現するものである。

【０００８】また、前記下重ね処理は、前記基準画像の
後の画像の被写体を抽出した画像から上重ね処理によっ
て生成された第１の合成画像の被写体を抽出した画像の
部分を取り除くことにより生成した第２の合成画像を前
記第１の合成画像に合成することにより実現するように
してもよい。

【０００９】さらに、また、前記下重ね処理は、上重ね
処理によって生成された第１の合成画像の被写体の抽出
範囲を抽出しないように、前記画像抽出手段によって基
準画像の後の画像の被写体を抽出した抽出画像を前記第
１の合成画像に合成することにより実現するようにして
もよい。

【００１０】また、前記基準画像決定手段は、入力手段
によって入力された基準画像を特定するための情報に基
づいて基準画像を決定するようにしてもよい。

【００１１】前記基準画像決定手段は、音声検出手段に
よって検出された音声情報に基づいて基準画像を決定す
るようにしてもよい。このような構成により基準画像を
自動的に決定することができ、合成処理が容易に行なう
ことができる。

【００１２】また、前記基準画像決定手段は、位置検出
手段によって検出された被写体の全部又は一部の位置情
報に基づいて基準画像を決定するようにしてもよい。こ
のような構成により基準画像を自動的に決定することが
でき、合成処理が容易に行なうことができる。また、こ
のような手段によれば、被写体の全部又は一部が最も撮
影位置に近い状態を特定する画像を基準画像として選択
することも自動的にできる。

【００１３】さらに、基準画像決定手段は、奥行検出手
段によって検出された被写体の全部又は一部の位置情報
に基づいて基準画像を決定するようにしてもよい。この
ような構成により基準画像を自動的に決定することがで
き、合成処理が容易に行なうことができる。また、この
ような手段によれば、被写体の全部又は一部が最も撮影
位置に近い状態を特定する画像を基準画像として選択す
ることも自動的にできる。

【００１４】特に、前記基準画像決定手段は、被写体の
全部又は一部が最も撮影位置に近い状態を特定する画像
を基準画像として選択することが望ましい。このような
構成によって、表示される画像が視覚的に立体になるた
め、迫力のある表現効果が得られる。

【００１５】本発明にかかる他の画像合成装置は、奥行
方向への動きを伴う被写体の画像合成を行なう画像合成
装置であって、画像データを記憶する画像メモリと、前
記画像メモリより画像データを読み出し、被写体の画像
を抽出する画像抽出手段と、前記画像メモリに記憶され
た画像データ及び／又は前記画像抽出手段により抽出さ
れた抽出画像に基づき画像合成を行なう画像合成手段
と、基準画像を決定する基準画像決定手段とを備え、前
記画像合成手段は、基準画像決定手段によって決定され
た基準画像の前の画像に対しては順次下方に抽出画像が
重ねられる下重ね処理を行い、前記基準画像の後の画像
に対しては、順次上方に抽出画像が重ねられる上重ね処
理を行なうものである。このような構成により、基準画
像が一番上に表示されるため、注目シーンを基準画像に
選択すれば、注目シーンが上書きされずに最後まで残る
とともに、その経過を効果的に確認することができる。
特に、注目シーンが奥にある場合には、有効な処理であ
る。

【００１６】他方、本発明にかかる画像合成方法は、奥
行方向への動きを伴う被写体の画像合成を行なう画像合
成方法であって、基準画像を決定するステップと、決定
された基準画像の前の画像に対して、順次上方に抽出画
像が重ねられる上重ね処理を行なうステップと、前記基
準画像の後の画像に対して、順次下方に抽出画像が重ね
られる下重ね処理を行なうステップを有するものであ
る。このような方法により、基準画像が一番上に表示さ
れるため、注目シーンを基準画像に選択すれば、注目シ
ーンが上書きされずに最後まで残るとともに、その経過
を効果的に確認することができる。

【００１７】本発明にかかる他の画像合成方法は、奥行
方向への動きを伴う被写体の画像合成を行なう画像合成
方法であって、基準画像を決定するステップと、前記基
準画像の前の画像に対して、順次下方に抽出画像が重ね
られる下重ね処理を行なうステップと、決定された基準
画像の後の画像に対して、順次上方に抽出画像が重ねら
れる上重ね処理を行なうステップとを有するものであ
る。このような方法により、基準画像が一番上に表示さ
れるため、注目シーンを基準画像に選択すれば、注目シ
ーンが上書きされずに最後まで残るとともに、その経過
を効果的に確認することができる。特に、注目シーンが
奥にある場合には、有効な処理である。

【００１８】本発明にかかる画像合成プログラムは、奥
行方向への動きを伴う被写体の画像合成を行なう画像合
成プログラムであって、コンピュータに対して、基準画
像を決定するステップと、決定された基準画像の前の画
像に対して、順次上方に抽出画像が重ねられる上重ね処
理を行なうステップと、前記基準画像の後の画像に対し
て、順次下方に抽出画像が重ねられる下重ね処理を行な
うステップを実行させるものである。このようなプログ
ラムをコンピュータにより実行することにより、基準画
像が一番上に表示されるため、注目シーンを基準画像に
選択すれば、注目シーンが上書きされずに最後まで残る
とともに、その経過を効果的に確認することができる。

【００１９】本発明にかかる他の画像合成プログラム
は、奥行方向への動きを伴う被写体の画像合成を行なう
画像合成プログラムであって、コンピュータに対して、
基準画像を決定するステップと、前記基準画像の前の画
像に対して、順次下方に抽出画像が重ねられる下重ね処
理を行なうステップと、決定された基準画像の後の画像
に対して、順次上方に抽出画像が重ねられる上重ね処理
を行なうステップを実行させるものである。このような
プログラムをコンピュータにより実行することにより、
基準画像が一番上に表示されるため、注目シーンを基準
画像に選択すれば、注目シーンが上書きされずに最後ま
で残るとともに、その経過を効果的に確認することがで
きる。特に、注目シーンが奥にある場合には、有効な処
理である。

【００２０】

【発明の実施の形態】発明の実施の形態１．図１に、本
発明の実施の形態１にかかる画像合成装置の構成を示
す。この画像合成装置１００は、撮影用カメラ１とケー
ブルや無線回線によって接続されている。

【００２１】撮影用カメラ１は、動きのある被写体を撮
影し、画像データ信号を生成する。この例では、主とし
て奥行方向、即ち撮影用カメラ１から被写体を結ぶ線上
であって両者が離れる方向への動きがある被写体の撮影
に用いられる。例えば、野球の打者のスイング動作、投
手の投球動作、ゴルフのスイング動作、サッカーのシュ
ート動作、フィギュアスケートの回転動作、柔道の投げ
技の動作、カーレースでの車のコーナリング動作であ
る。撮影用カメラ１は、生成した画像データ信号をケー
ブルを介して画像合成装置１００に入力する。尚、撮影
用カメラ１から画像データ信号を一旦磁気テープ等の記
憶媒体に格納し、画像合成装置１００においてこの記憶
媒体より画像データ信号を読み出すようにしてもよい。

【００２２】画像合成装置１００は、例えば、ＣＰＵ、
ＲＯＭ、ＲＡＭ、ハードディスク、ディスプレイ、キー
ボード等を有する専用コンピュータによってハードウエ
ア上構成される。また、いわゆる汎用コンピュータに応
用プログラムをインストールすることによってこの画像
合成装置１００を構成することも可能である。さらに、
画像合成装置１００は、バッファメモリを備え、適宜、
背景あり合成画像５、背景なし合成画像６、抽出画像７
を格納する。

【００２３】画像合成装置１００は、図１に示されるよ
うに、画像メモリ２、画像抽出部３、画像合成部４を備
えている。

【００２４】画像メモリ２は、撮影用カメラ１より入力
された画像データ信号を蓄積する記憶手段である。この
画像メモリ２には、本発明にかかる画像合成処理の対象
となる画像データがフレーム毎に時刻情報と関連付けら
れて蓄積される。この画像データのフレーム数は、画像
合成処理を行なう被写体の動作の速さ、動作時間に応じ
て適宜選択される。

【００２５】画像抽出部３は、画像メモリ２より画像デ
ータを入力し、被写体の画像を抽出し、背景画像と分離
する処理を行なう。例えば、野球の打者のスイング動作
に関する画像であれば、被写体となる打者の部分のみが
抽出される。画像抽出部３による画像情報の抽出は、画
面上でオペレータが抽出画像を指定することによって実
現でき、また、次の方法によって自動的に生成すること
も可能である。

【００２６】（１）背景との差分をとり、画像処理を施
す。

【００２７】（２）検出器を用いて抽出対象の位置を検
出して映像内の特定部分を抽出する。

【００２８】（３）色情報を用いて、特定の色以外の部
分を抽出する。

【００２９】画像抽出部３によって抽出された画像は、
抽出画像７としてバッファメモリに格納される。

【００３０】画像合成部４は、画像メモリ２に格納され
た画像データや、画像抽出部３によって生成された抽出
画像データを入力し、画像合成処理を行なう。例えば、
画像合成部４は、画像メモリ２より入力された画像に対
して、画像抽出部３より入力された抽出画像７を重ね合
わせる処理を行い、背景のある合成画像５を生成する。
また、画像合成部４は、画像抽出部３より入力された複
数の抽出画像を重ね合わせる処理を行い、背景のない合
成画像６を生成することも可能である。

【００３１】ここで、合成された画像Ａよりも後ろにあ
る画像Ｂを合成する方法の一例について説明する。ま
ず、背景がある合成画像Ａに画像Ｂの抽出画像を重ね合
わせる。その後、重ね合わせた合成画像に対して、さら
に背景のない合成画像Ａを重ね合わせる。このような合
成処理によって、画像Ｂが画像Ａの下に位置するように
表示させることができる。

【００３２】図２に本発明の実施の形態１にかかる画像
合成装置の画像合成処理を説明するために、合成前の画
像と合成後の画像を示す。画像２ａ〜２ｆが合成前の画
像であり、画像２０が合成後の画像である。

【００３３】画像２ａ〜２ｆは、野球の打者のスイング
動作を一定時間おきに撮影した画像を簡略的に表示した
ものである。画像２ａを最初として時系列的に並べてあ
り、最後が画像２ｆである。各画像の背景は斜線で示
す。本発明においては、基準となる画像を決定し、その
基準画像よりも時間的に前の画像及び基準画像に対する
合成処理と、基準画像よりも時間的に後の画像に対する
合成処理を変えている点に特徴を有する。この発明の実
施の形態１では、基準画像よりも時間的に前の画像及び
基準画像に関しては、被写体について上重ね処理を行
い、基準画像よりも時間的に後の画像に関しては、被写
体について下重ね処理を行なう。基準画像の決定につい
ては、さまざまな方法があり、発明の実施の形態４以降
において詳述する。

【００３４】図２に示す例では、ヒッティングポイント
を示す注目シーンである画像２ｃを基準画像としてい
る。尚、基準画像を選択するにあたっては、このように
他の画像により上書きされることを防止したい画像を優
先的に選択する場合、最も撮影カメラ１に近い、手前に
被写体或いは被写体に一部（バット等）が位置する画像
を選択する場合等、種々の場合がある。

【００３５】この発明の実施の形態１では、基準画像２
ｃよりも前の画像２ａ、画像２ｂ及び基準画像２ｃの被
写体については上重ね処理を行なう。さらに具体的に
は、画像２ａの打者（バットを含む、以下同じ）の画像
に対して、画像２ｂの打者の画像が上になるように重ね
られる。さらに、この合成画像に対して画像２ｃの打者
の画像が上になるように重ねられる。その後、基準画像
２ｃよりも後の画像２ｄ、画像２ｅ、画像２ｆの被写体
については下重ね処理を行なう。さらに具体的には、画
像２ａ〜２ｃが上重ねされた合成画像に対して、画像２
ｄの打者の画像が下になるように重ねられる。さらに、
その合成画像に対して、画像２ｅの打者の画像が下にな
るように重ねられる。最後に、その合成画像に対して、
画像２ｆの打者の画像が下になるように重ねられる。こ
のようにして生成された合成画像が画像２０である。

【００３６】画像２０は、注目シーンがある基準画像が
一番上に表示されるため、注目シーンが上書きされずに
最後まで残るとともに、その経過を確認することができ
る。この注目シーンが、撮影用カメラ側である場合に
は、表示される画像が視覚的に立体になるため、迫力の
ある表現効果が得られる。

【００３７】続いて、図３を用いて、画像の合成処理に
ついて具体的に説明する。画像例は、図２に示すものと
同じである。

【００３８】まず、画像メモリ２より画像２ａ、２ｂ、
２ｃを読み出し、画像合成部４によって、画像２ａ、２
ｂ、２ｃが順に上重ねされるように合成し、画像２１を
生成する。この合成方法については、従来のマルチモー
ションにおいて行っていた周知の手法であるため説明を
省略する。次に、画像抽出部３によって画像メモリ２か
ら画像２ｄを読み出し、被写体の画像のみ抽出し、抽出
画像２２を生成する。この抽出画像２２は、背景のない
画像となる。

【００３９】次に、合成画像２１と画像２２とを合成処
理２３を行い、画像２４を得る。また、画像抽出部３
は、合成画像２１より被写体の画像のみを抽出し抽出画
像２５を生成する。この抽出画像２５は、背景のない画
像となる。そして、合成画像２４と抽出画像２５とを合
成処理することによって、合成画像２７を生成する。同
様にして、この合成画像２７に対して画像２ｅ、画像２
ｆを合成処理することによって、図２に示す合成画像２
０を得ることができる。

【００４０】発明の実施の形態２．図４に、本発明の実
施の形態２にかかる画像合成装置の構成を示す。撮影用
カメラ３１は、図１に示す撮影用カメラ１と、画像メモ
リ３２は、図１に示す画像メモリ２と、画像抽出部３３
は、図１に示す画像抽出部３と、画像合成部３４は、図
１に示す画像合成部４とそれぞれ同等の機能を有するも
のである。

【００４１】この発明の実施の形態２にかかる画像合成
装置１００は、図４に示されるように、抽出領域メモリ
３６を備えている。

【００４２】この発明の実施の形態２にかかる画像合成
部３４は、特に画像抽出部３３によって抽出された抽出
画像３７を、画像メモリ３２に格納された画像データに
重ね合わせて、背景のある合成画像３５を生成する。ま
た、画像合成部３４は、抽出領域メモリ３６に、画像抽
出部３３によって抽出された画像の範囲を示す情報を適
宜取り込んで保存する。

【００４３】ここで、合成された画像Ａよりも後ろにあ
る画像Ｂを合成する方法の一例について説明する。ま
ず、画像Ｂの抽出画像３７より、抽出領域メモリ３６に
格納された合成画像Ａの抽出画像の範囲部分を取り除
く。そして、この画像に対して、合成画像Ａを重ね合わ
せる。このような合成処理によって、画像Ｂが画像Ａの
下に位置するように表示させることができる。

【００４４】続いて、図５を用いて、本発明の実施の形
態２にかかる画像の合成処理について具体的に説明す
る。画像例は、図２に示すものと同じである。

【００４５】まず、画像メモリ３２より画像２ａ、２
ｂ、２ｃを読み出し、画像合成部３４によって、画像２
ａ、２ｂ、２ｃが順に上重ねされるように合成し、画像
４１を生成する。次に、画像抽出部３３によってこの画
像４１より、被写体の画像のみ抽出し、抽出画像４４を
生成し、抽出領域メモリ３６に格納する。この抽出画像
４４は、背景のない画像となる。

【００４６】また、画像メモリ３２より画像２ｄを読み
出し、画像抽出部３３によって被写体の画像のみ抽出
し、抽出画像４３を生成し、抽出領域メモリ３６に格納
する。この抽出画像４３は、背景のない画像となる。

【００４７】次に、抽出領域メモリ３６から、抽出画像
４３及び抽出画像４４を読み出し、画像合成部３４によ
って、抽出画像４３から抽出画像４４を取り除く処理を
行なう。この処理によって、画像４６を得る。続いて、
この画像４６と、画像４１を合成することによって、合
成画像４２を得る。同様にして、この合成画像４２に対
して画像２ｅ、画像２ｆを合成処理することによって、
図２に示す合成画像２０を得ることができる。

【００４８】発明の実施の形態３．図６に、本発明の実
施の形態３にかかる画像合成装置の構成を示す。撮影用
カメラ５１は、図１に示す撮影用カメラ１と、画像メモ
リ５２は、図１に示す画像メモリ２と、画像抽出部５３
は、図１に示す画像抽出部３と、画像合成部５４は、図
１に示す画像合成部４と同等の機能を有するものであ
る。

【００４９】この発明の実施の形態３にかかる画像合成
装置１００は、図６に示されるように、抽出領域メモリ
５６を備えている。

【００５０】この発明の実施の形態３にかかる画像合成
部５４は、特に画像抽出部５３によって抽出された抽出
画像５７を、画像メモリ５２に格納された画像データに
重ね合わせて、背景のある合成画像５５を生成する。ま
た、画像合成部５４は、抽出領域メモリ５６に、画像抽
出部５３によって抽出された画像の範囲を示す情報を適
宜取り込んで保存する。

【００５１】ここで、合成された画像Ａよりも後ろにあ
る画像Ｂを合成する方法の一例について説明する。ま
ず、画像抽出部５３により画像Ｂの抽出画像を生成する
に際して、抽出領域メモリ５６に格納された合成画像Ａ
の抽出範囲は、抽出しないように処理する。そして、こ
の画像に対して、合成画像Ａを重ね合わせる。このよう
な合成処理によって、画像Ｂが画像Ａの下に位置するよ
うに表示させることができる。

【００５２】続いて、図７を用いて、本発明の実施の形
態３にかかる画像の合成処理について具体的に説明す
る。画像例は、図２に示すものと同じである。

【００５３】まず、画像メモリ５２より画像２ａ、２
ｂ、２ｃを読み出し、画像合成部５４によって、画像２
ａ、２ｂ、２ｃが順に上重ねされるように合成し、画像
６１を生成する。次に、画像抽出部５３によってこの画
像６１より、被写体の画像のみ抽出し、抽出画像６２を
生成し、その抽出範囲の情報を抽出領域メモリ５６に格
納する。

【００５４】また、画像メモリ５２より画像２ｄを読み
出し、画像抽出部５３によって被写体の画像のみ抽出す
るが、このとき抽出領域メモリ５６に格納された抽出画
像６２の抽出範囲の情報に基づき、この範囲の画像は抽
出しないように処理する。このようにして、抽出画像６
５を生成する。この抽出画像６５は、背景のない画像と
なる。

【００５５】次に、画像合成部５４によって、抽出画像
６５と合成画像６１を合成６６することによって、合成
画像６７を得る。同様にして、この合成画像６７に対し
て画像２ｅ、画像２ｆを合成処理することによって、図
２に示す合成画像２０を得ることができる。

【００５６】発明の実施の形態４．発明の実施の形態４
は、基準画像の決定の処理に関するものである。図８に
示されるように、発明の実施の形態４では、画像合成装
置７２に基準画像決定装置７３が接続されている。この
基準画像決定装置７３は、画像合成装置７２内に組み込
まれる構成であってもよい。即ち、基準画像決定装置７
３は、画像合成装置７２の一機能として実現することが
できる。

【００５７】ここで、撮影用カメラ７１は、図１に示す
撮影用カメラ１に相当するものであり、画像合成装置７
２は、図１に示す画像合成装置１００に相当する。

【００５８】基準画像決定装置７３には、キーボード７
４、マイク７５及びカメラ７６を接続することができ
る。この発明の実施の形態４における基準画像決定装置
７３は、さまざまな態様により基準画像を決定すること
ができるものとして説明するが、これに限らず、態様の
うちの一つ又は任意の組み合わせにより基準画像を決定
することができるものとしてもよい。

【００５９】基準画像決定装置７３は、画像合成装置７
２と別体で構成される場合にあっては、ＣＰＵ、ＲＯ
Ｍ、ＲＡＭ等の制御回路、メモリ、ディスプレイ等によ
って構成される。そのメモリには、基準画像を決定する
ためのアルゴリズム、処理を行なうためのソフトウェア
プログラムがインストールされる。

【００６０】キーボード７４は、基準画像の決定をオペ
レータが直接画面上の画像を確認しながら入力するため
の入力手段として用いられる。この入力手段としては、
キーボード７４以外にも、例えば、マウスやタッチパッ
ド等のポインティングデバイスが含まれる。このとき、
基準画像決定装置７３は、キーボード７４等の入力手段
からの入力信号に基づき、基準画像を特定する情報を抽
出し、画像合成装置７２に対して出力する。

【００６１】マイク７５は、被写体の動作に伴って発生
する音声を検出する音声検出手段として用いられる。例
えば、野球の打者のスイングの動作であれば、ボールが
バットに衝突する際に生じる打球音を検出する。このと
き、基準画像決定装置７３は、マイク７５により検出さ
れた音声情報を入力し、まず、音声情報より特定すべき
音、例えば打球音を抽出する。この音の抽出にあたって
は、例えば、予め特定すべき音の強度や周波数のデータ
を設定しておき、そのデータと入力した音声情報を比較
することによって実現可能である。音声情報より特定す
べき音が抽出された場合には、この音が検出された時刻
情報を生成する。この時刻情報に基づき、画像合成装置
７２の画像メモリから音が検出された時刻又はそれより
も一定時間前又は後に撮影された画像を基準画像として
決定する。時刻情報に基づいて基準画像を特定するため
のアルゴリズムは、オペレータによって予め設定するこ
とができるよう構成されている。

【００６２】カメラ７６は、撮影用カメラ８１とは別の
位置に設けられたカメラであって、被写体の動作を撮影
することによって、基準画像の時刻情報を導出するため
のカメラである。例えば、野球の打者のスイング動作の
場合、ドーム球場の天井に取り付けられたカメラが該当
する。このカメラは、上方から打者を撮影することがで
きるため、バットの位置を明確に撮影することができ
る。そして、バットがヒッティングポイントの領域を通
過する時刻情報を検出する。この時刻情報に基づき、基
準画像を決定する。時刻情報に基づいて基準画像を特定
するためのアルゴリズムは、オペレータによって予め設
定することができるよう構成されている。

【００６３】発明の実施の形態５．本発明の実施の形態
５では、図９に示されるように、画像合成装置８２に位
置検出センサ８３が接続されている。ここで、撮影用カ
メラ８１は、図１に示す撮影用カメラ１に相当するもの
であり、画像合成装置８２は、図１に示す画像合成装置
１００に相当する。

【００６４】この位置検出センサ８３は、動作する被写
体の位置情報を取得する。画像合成装置８２は、当該位
置検出センサ８３より被写体の位置情報を取得し、被写
体の位置と合成画像が矛盾しないように抽出画像を重ね
合わせる順序を決定する。位置検出センサ８３は、例え
ば光センサであり、予め定められた位置に設置される。
例えば、ゴルフのスイング動作を撮影する場合には、ゴ
ルフクラブがボールに当たる位置に設置される。位置検
出センサ８３の検出信号に基づき、ゴルフクラブがボー
ルに当たる位置を通過する時刻情報を得ることができ
る。この時刻情報に基づき、基準画像を決定する。時刻
情報に基づいて基準画像を特定するためのアルゴリズム
は、オペレータによって予め設定することができるよう
構成されている。

【００６５】発明の実施の形態６．本発明の実施の形態
６では、図１０に示されるように、画像合成装置９２に
奥行検出装置９３が接続されている。この奥行検出装置
９３は、画像合成装置９２内に設けてもよい。ここで、
撮影用カメラ９１は、図１に示す撮影用カメラ１に相当
するものであり、画像合成装置９２は、図１に示す画像
合成装置１００に相当する。

【００６６】この奥行検出装置９３は、動作する被写体
の特定箇所の奥行方向、即ち撮影用カメラ９１と当該被
写体を結ぶ線方向の位置情報を取得する。例えば、野球
の打者のスイング動作の場合には、バットの先端部分の
位置情報である。この位置情報の検出は、例えば、Colo
r Digiclops（ポイントグレイ社製）の３次元画像撮影
装置を利用することができる。

【００６７】画像合成装置９２は、奥行検出装置９３に
より検出された奥行方向の位置情報に基づいて、特定箇
所と撮影用カメラ９１が最も近くに位置する時刻情報を
検出し、この位置に特定箇所が位置した状態を撮影した
画像を基準画像とする。そして、この基準画像が一番上
に表示されるように上記各発明の実施の形態で述べたよ
うな手法により画像合成する。

【００６８】尚、被写体の一部が奥行方向に動作するの
ではなく、被写体の全部が奥行方向に動作する場合に
は、その被写体の全部の奥行方向の位置情報を検出し、
この位置情報に基づき、基準画像を決定してもよい。具
体的には、被写体の全部が撮影用カメラ９１に最も近い
状態を撮影した画像を基準画像とする。そして、この基
準画像が一番上に表示されるように上記各発明の実施の
形態で述べたような手法により画像合成する。

【００６９】このようにして、被写体の特定箇所又は全
体が最も撮影用カメラに近い場所に位置した状態を撮影
した画像を基準画像とし、この基準画像が一番上に表示
されるように画像合成することによって、被写体を立体
的に表示することが可能となる。

【００７０】尚、撮影用カメラ９１と奥行検出装置９３
を単一のカメラによって実現してもよい。

【００７１】発明の実施の形態７．本発明の実施の形態
７にかかる画像合成装置には、発明の実施の形態６と同
様に、図１０で示されるような奥行検出装置９３が画像
合成装置９２に接続されている。この奥行検出装置９３
は、画像合成装置９２内に設けてもよい。本発明の実施
の形態７では、特に、奥行検出装置９３によって検出さ
れた被写体の動作をさらに分析し、動作開始時及び動作
終了時の特定箇所の位置と基準時の特定箇所の位置を比
較することによって、合成処理を変更するようにしてい
る。

【００７２】図１１に本発明の実施の形態７にかかる画
像合成装置の処理フローを示す。まず、被写体を撮影用
カメラ９１によって撮影する（Ｓ１０１）。次に、画像
合成装置は、撮影用カメラ９１から画像データを入力
し、画像メモリに格納する（Ｓ１０２）。この画像メモ
リに格納された画像データに基づき、基準画像を決定す
る（Ｓ１０３）。基準画像の決定は、発明の実施の形態
６において説明したような奥行検出装置９３を用いて自
動決定してもよく、発明の実施の形態４、５において説
明したような手法によって決定してもよい。

【００７３】次に動作開始時及び動作終了時における特
定箇所の位置は、基準画像を撮像した基準時における特
定箇所の位置よりも奥かどうか、即ち撮影用カメラ９１
よりも離れた位置にあるかどうかを、奥行検出装置９３
の出力信号に基づき判定する（Ｓ１０４）。

【００７４】判定の結果、動作開始時及び動作終了時に
おける特定箇所の位置は、基準画像を撮像した基準時に
おける特定箇所の位置よりも奥にあると判断された場合
には、基準画像までは、上重ね処理をし、基準画像の後
は下重ね処理を行なう（Ｓ１０５）。

【００７５】判定の結果、動作開始時及び動作終了時に
おける特定箇所の位置は、基準画像を撮像した基準時に
おける特定箇所の位置よりも奥でないと判断された場合
には、基準画像までは、下重ね処理をし、基準画像の後
は上重ね処理を行なう（Ｓ１０６）。

【００７６】例えば、野球の打者のスイング動作の場
合、図２に示した場合のように正面から撮影した場合に
は、特定箇所をバットとすると、ステップＳ１０５を行
なうことになる。他方、打者の背後から撮影した場合に
は、ステップＳ１０６を行なうことになる。

【００７７】尚、この例では、奥行検出装置９３によっ
て、自動的に判別する場合を説明したが、ステップＳ１
０５の処理かステップＳ１０６の処理のいずれかをキー
ボード等に用いてオペレータが設定することができるよ
うにしてもよい。

【００７８】その他の実施の形態．尚、上述の画像合成
装置は、必ずしも単一のコンピュータによって構成され
る必要はなく、複数のコンピュータによって構成されて
もよい。また、画像合成装置と撮影用カメラ、さらには
基準画像決定装置を単一の機器により構成してもよい。
例えば、動画を撮影する、家庭用又は業務用のカメラ中
に画像合成装置や基準画像決定装置を組み込んでもよ
い。また、家庭用のデジタルビデオ再生装置やゲーム機
器に画像合成装置を組み込んでもよい。いわゆるバッテ
ィングセンタ、ゴルフ練習場、ゲームセンタ等に、この
画像合成装置を撮影用カメラとともに設置するとよい。

【００７９】また、画像合成装置をインタネットサーバ
上に備え、インターネットを介してクライアントコンピ
ュータから画像データを送信し、この画像合成装置によ
って、本発明にかかる画像合成処理を行い、合成画像を
クライアントコンピュータに送信するようにしてもよ
い。このとき、基準画像はクライアントコンピュータに
よって指定するとよい。

【００８０】基準画像を決定する例をいくつか説明した
が、必ずしも基準画像自体でなくとも、基準画像と関連
性のある情報を決定してもよい。例えば、基準時刻を決
定することによって間接的に基準画像を決定することも
できる。

【００８１】上述の例では、最終的に得られる画像上で
は、背景画像が組み込まれていたが、組み込む必要は必
ずしもない。また、撮影時の背景画像でなくとも他の画
像を組み込んでもよい。

【００８２】一旦、本発明にかかる画像合成装置によっ
て作成した合成画像を表示させ、その画面上の被写体の
うち基準画像としたい被写体をポインタなどによって指
定することによって基準画像を容易に変更するものであ
ってもよい。

【００８３】上述の例において、画像合成装置を汎用の
コンピュータで構成した場合には、汎用コンピュータを
画像合成装置として機能させるための応用プログラムが
インストールされる。この応用プログラムは、様々な種
類の記憶媒体に格納することが可能であり、また、通信
媒体を介して伝達されることが可能である。ここで、記
憶媒体には、例えば、フレキシブルディスク、ハードデ
ィスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯ
Ｍ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアッ
プ付きＲＡＭメモリカートリッジ、フラッシュメモリカ
ートリッジ、不揮発性ＲＡＭカートリッジ等を含む。ま
た、通信媒体には、電話回線等の有線通信媒体、マイク
ロ波回線等の無線通信媒体等を含み、インターネットも
含まれる。

【００８４】

【発明の効果】本発明によれば、奥行方向への動作を伴
う被写体の動きを効果的に表現することができる画像合
成装置及び画像合成方法を提供することができる。

【図面の簡単な説明】

【図１】本発明にかかる画像合成装置の構成を示すブロ
ック図である。

【図２】合成前の画像と合成後の画像を示す図である。

【図３】本発明にかかる画像合成装置による合成処理を
示す図である。

【図４】本発明にかかる画像合成装置の構成を示すブロ
ック図である。

【図５】本発明にかかる画像合成装置による合成処理を
示す図である。

【図６】本発明にかかる画像合成装置の構成を示すブロ
ック図である。

【図７】本発明にかかる画像合成装置による合成処理を
示す図である。

【図８】本発明にかかる画像合成装置の構成を示すブロ
ック図である。

【図９】本発明にかかる画像合成装置の構成を示すブロ
ック図である。

【図１０】本発明にかかる画像合成装置の構成を示すブ
ロック図である。

【図１１】本発明にかかる画像合成装置による合成処理
を示すフローチャートである。

【符号の説明】

１ 撮影用カメラ １００ 画像合成装置 ２ 画像メモリ ３ 画像抽出部 ４ 画像合成部 ７３ 基準画像決定装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡本 浩幸 山梨県甲府市下飯田１−４−６ワンズコア ２階 株式会社インク内 (72)発明者 加藤 大一郎 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 (72)発明者 増田 裕康 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 (72)発明者 池田 真 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 (72)発明者 岩井 豊 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 (72)発明者 橋本 賢一 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 (72)発明者 玉木 宏幸 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 Ｆターム(参考） 5B057 AA20 BA02 BA11 CA12 CA16 CB12 CB16 CC01 CE08 5C023 AA06 AA10 AA16 BA01 BA11 CA01 DA04 EA03

Claims (14)

【特許請求の範囲】
1. 【請求項１】奥行方向への動きを伴う被写体の画像合成
   を行なう画像合成装置であって、 画像データを記憶する画像メモリと、 前記画像メモリより画像データを読み出し、被写体の画
   像を抽出する画像抽出手段と、 前記画像メモリに記憶された画像データ及び／又は前記
   画像抽出手段により抽出された抽出画像に基づき画像合
   成を行なう画像合成手段と、 基準画像を決定する基準画像決定手段とを備え、 前記画像合成手段は、基準画像決定手段によって決定さ
   れた基準画像の前の画像に対しては順次上方に抽出画像
   が重ねられる上重ね処理を行い、前記基準画像の後の画
   像に対しては順次下方に抽出画像が重ねられる下重ね処
   理を行なう画像合成装置。
2. 【請求項２】前記下重ね処理は、上重ね処理によって生
   成された第１の合成画像と前記基準画像の後の画像を合
   成するとともに、この合成画像に対して、第１の合成画
   像の被写体を抽出した合成画像を上書きにすることによ
   り実現することを特徴とする請求項１記載の画像合成装
   置。
3. 【請求項３】前記下重ね処理は、前記基準画像の後の画
   像の被写体を抽出した画像から上重ね処理によって生成
   された第１の合成画像の被写体を抽出した画像の部分を
   取り除くことにより生成した第２の合成画像を前記第１
   の合成画像に合成することにより実現することを特徴と
   する請求項１記載の画像合成装置。
4. 【請求項４】前記下重ね処理は、上重ね処理によって生
   成された第１の合成画像の被写体の抽出範囲を抽出しな
   いように、前記画像抽出手段によって基準画像の後の画
   像の被写体を抽出した抽出画像を前記第１の合成画像に
   合成することにより実現することを特徴とする請求項１
   記載の画像合成装置。
5. 【請求項５】前記基準画像決定手段は、入力手段によっ
   て入力された基準画像を特定するための情報に基づいて
   基準画像を決定することを特徴とする請求項１、２、３
   又は４記載の画像合成装置。
6. 【請求項６】前記基準画像決定手段は、音声検出手段に
   よって検出された音声情報に基づいて基準画像を決定す
   ることを特徴とする請求項１、２、３又は４記載の画像
   合成装置。
7. 【請求項７】前記基準画像決定手段は、位置検出手段に
   よって検出された被写体の全部又は一部の位置情報に基
   づいて基準画像を決定することを特徴とする請求項１、
   ２、３又は４記載の画像合成装置。
8. 【請求項８】前記基準画像決定手段は、奥行検出手段に
   よって検出された被写体の全部又は一部の位置情報に基
   づいて基準画像を決定することを特徴とする請求項１、
   ２、３又は４記載の画像合成装置。
9. 【請求項９】前記基準画像決定手段は、被写体の全部又
   は一部が最も撮影位置に近い状態を特定する画像を基準
   画像として選択することを特徴とする請求項１、２、３
   又は４記載の画像合成装置。
10. 【請求項１０】奥行方向への動きを伴う被写体の画像合
    成を行なう画像合成装置であって、 画像データを記憶する画像メモリと、 前記画像メモリより画像データを読み出し、被写体の画
    像を抽出する画像抽出手段と、 前記画像メモリに記憶された画像データ及び／又は前記
    画像抽出手段により抽出された抽出画像に基づき画像合
    成を行なう画像合成手段と、 基準画像を決定する基準画像決定手段とを備え、 前記画像合成手段は、基準画像決定手段によって決定さ
    れた基準画像の前の画像に対しては順次下方に抽出画像
    が重ねられる下重ね処理を行い、前記基準画像の後の画
    像に対しては、順次上方に抽出画像が重ねられる上重ね
    処理を行なう画像合成装置。
11. 【請求項１１】奥行方向への動きを伴う被写体の画像合
    成を行なう画像合成方法であって、 基準画像を決定するステップと、 決定された基準画像の前の画像に対して、順次上方に抽
    出画像が重ねられる上重ね処理を行なうステップと、 前記基準画像の後の画像に対して、順次下方に抽出画像
    が重ねられる下重ね処理を行なうステップを有する画像
    合成方法。
12. 【請求項１２】奥行方向への動きを伴う被写体の画像合
    成を行なう画像合成方法であって、 基準画像を決定するステップと、 前記基準画像の前の画像に対して、順次下方に抽出画像
    が重ねられる下重ね処理を行なうステップと、 決定された基準画像の後の画像に対して、順次上方に抽
    出画像が重ねられる上重ね処理を行なうステップとを有
    する画像合成方法。
13. 【請求項１３】奥行方向への動きを伴う被写体の画像合
    成を行なう画像合成プログラムであって、この画像合成
    プログラムは、コンピュータに対して、 基準画像を決定するステップと、 決定された基準画像の前の画像に対して、順次上方に抽
    出画像が重ねられる上重ね処理を行なうステップと、 前記基準画像の後の画像に対して、順次下方に抽出画像
    が重ねられる下重ね処理を行なうステップを実行させる
    画像合成プログラム。
14. 【請求項１４】奥行方向への動きを伴う被写体の画像合
    成を行なう画像合成プログラムであって、この画像合成
    プログラムは、コンピュータに対して、 基準画像を決定するステップと、 前記基準画像の前の画像に対して、順次下方に抽出画像
    が重ねられる下重ね処理を行なうステップと、 決定された基準画像の後の画像に対して、順次上方に抽
    出画像が重ねられる上重ね処理を行なうステップを実行
    させる画像合成プログラム。