JP2010081252A - 背景置換装置および撮影システム - Google Patents

Abstract

【課題】 小型で簡易の撮影システム、および、この撮影システムに好適な背景置換装置を提供する。
【解決手段】 撮像装置で被写体が撮影されて得られた撮影画像を、画素値の集合で画像を表現した形式で取得する撮影画像取得部と、被写体に対する背景は撮影画像中で所定の一様さを有しているとの前提で背景の画素値を、被写体に隠れた背後も含めて推定する背景推定部と、撮影画像の各画素値から、背景推定部で推定された画素値を差し引く背景差し引き部と、背景差し引き部による差し引き結果に基づいて、撮影画像中の領域を、被写体が写っている被写体領域と、被写体領域を除いた背景領域とに区別する領域区別部と、領域区別部による領域の区別に基づいて、撮影装置で被写体と同じ被写体が撮影されて得られた撮影画像中の背景を別の背景に置換する背景置換部とを備えた。
【選択図】 図３

Description

本発明は、被写体を撮影して撮影画像を取得し、その撮影画像中の背景を別の背景に置換して背景置換画像を作成する背景置換装置、および、この背景置換画像の作成に好適な撮影システムに関する。

従来、写真館等では、背景幕を使った撮影が行なわれていることが多い。しかし、このような撮影は、背景を確実に作り出すために大きな背景幕が使われ、広い撮影スペースを必要とする。また、背景幕の交換等には手間がかかり、結果的に撮影コストが高くなる。

そこで、もっと手軽に撮影を楽しむことができるように、従来のような大きな背景幕や広い撮影スペースが不要な、小型で簡易の撮影システムの開発が望まれている。

このような小型の撮影システムでは、前記のような背景幕の代わりに、何らかの仮の背景の前で撮影が行なわれ、撮影で得られた撮影画像に対して、撮影画像中の背景を顧客が所望する背景に差替えるという背景置換処理が行われる。

このような背景置換処理に関する技術の一例として、例えば、青色等に塗られた背景パネル等を被写体の背後に配置して撮影を行ない、その撮影で得られた撮影画像において、背景パネルの色と同色の部分と、異なる色の部分とを、それぞれ撮影画像中の背景と被写体として区別し、撮影画像中の背景に区別された部分を所望の背景に置換するクロマキー処理と呼ばれる処理が知られている。

このクロマキー処理では、撮影画像中の背景パネル上に被写体の影が写っていると、この影が、被写体と背景との区別を妨げてしまうことがある。そこで、クロマキー処理の対象となる撮影画像を撮影する際には、背景として、面発光する背景パネルを用いることで、背景パネル上の被写体の影を、この背景パネルが発する光で打ち消すという技術が提案されている（例えば、特許文献１参照。）
上記クロマキー処理を含めて、従来の背景置換処理では、被写体がきれいに写ることに主眼が置かれた撮影光条件の下で撮影された撮影画像が用いられて、その撮影画像中の被写体と背景との区別を行うことが多いが、そのような撮影光条件下で得られた撮影画像自体は、そもそも、被写体と背景との区別に適さない画像であることが多い。
特開２０００−２２４４１０号公報（第３−１０頁、図３）

そのため、撮影画像中の被写体と背景とを良好に区別するために、被写体がきれいに写っている撮影画像を得たときの撮影光条件とは相違する撮影光条件下で同一の被写体が撮影された撮影画像を用いることが考えられ、それらの撮影光条件の相違は極端な方が望ましい。

例えば、被写体の背面側から光を照らして被写体のシルエットを作ると被写体と背景との区別が容易である。しかしながら、種々の被写体でそのようなシルエットを確実に作るためには、被写体に光が写り込まないように回りを暗幕で囲むなどの配慮が必要となり、小型で簡易という流れに逆行することとなる。

そこで、撮影システムの小型化、簡易化に貢献できるように、より簡便な撮影条件下の撮影画像で、より確実に被写体と背景とを区別することができる技術が望まれている。

本発明は、前記事情に鑑み、簡便な撮影条件下の撮影画像であっても確実に被写体と背景とを区別することができる背景置換装置、および、小型化、簡易化が容易な撮影システムを提供することを目的とする。

上記目的を達成する本発明の背景置換装置は、
撮像装置で被写体が撮影されて得られた撮影画像を、画素値の集合で画像を表現した形式で取得する撮影画像取得部と、
上記被写体に対する背景は上記撮影画像中で所定の一様さを有しているとの前提でこの背景の画素値を、この被写体に隠れた背後も含めて推定する背景推定部と、
上記撮影画像の各画素値から、上記背景推定部で推定された画素値を差し引く背景差し引き部と、
上記背景差し引き部による差し引き結果に基づいて、上記撮影装置で上記被写体と同じ被写体が撮影されて得られた撮影画像中の領域を、上記被写体が写っている被写体領域と、この被写体領域を除いた背景領域とに区別する領域区別部と、
上記領域区別部による領域の区別に基づいて、上記撮影画像中の背景を別の背景に置換する背景置換部とを備えたことを特徴とする。

従来の技術では、背景と被写体とが極端に異なる色や明るさを有していることが前提となっている。そのため、被写体の一部に背景と紛らわしい色や明るさが存在すると区別の精度は低下する。しかし、本発明の背景置換装置では、被写体に隠れた背後も含めて推定し、推定画素値と被写体の画素値との差で被写体と背景とを区別しているので撮影画像上の被写体の画素値とその被写体に隠れた背後の推定画素値とに僅かでも差があれば、被写体の一部や背景の一部にやや紛らわしい部分が生じてしまうような簡便な撮影条件が用いられても被写体領域と背景領域とを区別できる。したがって、本発明の背景置換装置によれば、高精度に背景置換が行なえて、小型で簡易の撮影システムの実現に寄与することができる。尚、ここにいう「所定の一様」とは、一様な変化の他にも均一をも含む概念である。また、ここにいう「画素値」とは、画素毎に数値として付与された情報であれば、明るさでも色でも、その他のいわゆる特徴量でもよい。

ここで、上記領域区別部が、上記背景差し引き部によって上記撮影画像の各画素値から上記背景の画素値が差し引かれて得られる差し引き画素値と所定の閾値との比較によって上記被写体領域と上記背景領域とを区別することが好ましい。

この様にすると、領域の区別を簡易に行うことができる。

また、本発明の背景置換装置が、上記撮影画像取得部で取得された撮影画像中で所定方向に延びる各ラインについて解析し、このライン上に被写体が存在するか否かを確認する被写体確認部を備え、
上記背景推定部が、上記被写体確認部で被写体の存在が確認されたラインについて、上記背景の画素値を、この被写体確認部で被写体の不存在が確認されたラインの画素値を用いて推定するものであることも好ましい態様である。

この様にすると、一層高精度に背景を推定することができる。

また、上記背景推定部が、被写体を挟む両側の上記背景ラインに基づいてこの被写体の背景の画素値を推定するものであることが好ましい。

この様にすると、より一層高精度に背景を推定することができる。

ここで、上記背景推定部が、上記背景の明るさが上記撮影画像中で所定の一様さを有しているとの前提でこの背景の明るさを表す画素値を推定するものであることが好ましい。

色より明るさの方が一様性が作り易いことから、この様にすると、被写体と背景との差も作りやすい。

上記目的を達成する本発明の撮影システムは、
被写体を撮影し、画素値の集合で画像を表現した形式で撮影画像を得る撮影装置；
上記被写体を、この被写体を挟んで上記撮影装置とは反対側に位置する面からの、この面に沿って所定の一様さを有する光で照らす照明装置；および
上記撮影装置で得られた撮影画像を取得する撮影画像取得部と、
上記被写体に対する背景は上記撮影画像中で上記一様さを有しているとの前提でこの背景の画素値を、この被写体に隠れた背後も含めて推定する背景推定部と、
上記撮影画像の各画素値から、上記背景推定部で推定された画素値を差し引く背景差し引き部と、
上記背景差し引き部による差し引き結果に基づいて、上記撮影画像中の領域を、上記被写体が写っている被写体領域と、この被写体領域を除いた背景領域とに区別する領域区別部と、
上記領域区別部による領域の区別に基づいて、上記撮影装置で上記被写体と同じ被写体が撮影されて得られた撮影画像中の背景を別の背景に置換する背景置換部とを備えた背景置換装置；
を備えたことを特徴とする。

本発明の撮影システムによれば、小型化、簡易化が容易な撮影システムを提供することができる。

ここで、上記照明装置が、上記面に沿った所定の第１方向について一様に変化し、この面に沿った、この第１方向に交わる所定の第２方向については均一の光で上記被写体を照らすものであり、
上記背景置換装置が、上記撮影画像取得部で取得された撮影画像中で上記第１方向に延びる各ラインについて解析し、このライン上に被写体が存在するか否かを確認する被写体確認部を備えたものであり、
上記背景置換装置の背景推定部が、上記被写体確認部で被写体の存在が確認されたラインについて、上記背景の画素値を、この被写体確認部で被写体の不存在が確認されたラインの画素値を用いて推定するものであることが好ましい。

この様にすると、より一層高精度な背景置換が行われる、小型化、簡易化が進んだ撮影システムを提供することができる。

また、上記照明装置が、上記面に沿って明るさが所定の一様さを有する光で上記被写体を照らすものであり、
上記背景推定部が、上記背景の明るさが上記撮影画像中で上記一様さを有しているとの前提でこの背景の明るさを表す画素値を推定するものであってもよい。

本発明によれば、簡便な撮影条件下の撮影画像であっても確実に被写体と背景とを区別することができる背景置換装置、および、小型化、簡易化が容易な撮影システムを提供することができる。

以下、本発明の実施形態を説明する。

図１は、撮影システムを示す図である。

この図１に示す撮影システム１は、被写体を撮影して撮影画像を取得する撮影セット１０と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を所望の背景に置換して背景置換画像を作成するパーソナルコンピュータ２０と、パーソナルコンピュータ２０で作成された背景置換画像を出力するプリンタ３０と、置換用の背景画像がストックされているサーバ４０とを備えている。この撮影システム１が、本発明の撮影システムの一実施形態であり、パーソナルコンピュータ２０が、本発明の背景置換装置の第１実施形態である。

撮影セット１０は、デジタルカメラ１１と、第１閃光発光装置１２と、撮影台１３とを備えており、撮影台１３の内部には、第２閃光発光装置１３０が備えられている。

デジタルカメラ１１は、連写機能を有しており、撮影者がシャッタボタンを１回押すと、短時間に自動で被写体Ｐを２回撮影する。１回毎の撮影によって得られた撮影画像は、デジタルカメラ１１内のメモリに一時的に保管されるが、撮影システム１では、デジタルカメラ１１がパーソナルコンピュータ２０に接続されており、２回の撮影が終了した時点で、この２回の撮影で得られた撮影画像は、このパーソナルコンピュータ２０に直ちに送られる。また、デジタルカメラ１１は、撮影の際、第１閃光発光装置１２および第２閃光発光装置に対して、閃光発光を指示する指示信号を個別に発信できるようになっており、上記２回の撮影のうち最初の撮影の際には第１閃光発光装置１２に対してのみ上記指示信号が発信され、２回目撮影の際には第２閃光発光装置１３０に対してのみ上記指示信号が発信される。

撮影台１３は、被写体Ｐが載せられる、厚みの薄い乳白色のプラスティック板１３１と、このプラスティック板１３１を保持する筐体１３２、および、その筐体１３２内に内蔵された第２閃光発光装置１３０を備えている。尚、プラスティック板１３１上には被写体Ｐであるお椀が奥側にもう１つ並べられている。

ここで、この撮影システム１の撮影セット１０では、上述したように、１回目の撮影は第１閃光発光装置１２のみが閃光を発した状態で行なわれ、２回目の撮影は第２閃光発光装置１３０のみが閃光を発した状態で行なわれる。その結果、１回目の撮影では、デジタルカメラ１１側から被写体Ｐを照らすという順光状態での撮影により、被写体Ｐがきれいに写った撮影画像が得られる。また、この１回目の撮影に連続して行なわれる２回目の撮影では、第２閃光発光装置１３０からの閃光が、図１に示すように湾曲した乳白色のプラスティック板１３１の背面側から発光されることで、このプラスティック板１３１からは図１における奥行き方向および上下方向に均一な明るさの光が出射されるが、湾曲したプラスティック板１３１上の各箇所の向きとデジタルカメラ１１の向きとの関係により、撮影画像上では、被写体はシャドウ側に偏るのに対し、背景は左右方向には均一で上下方向には下方に向かって一様に暗くなる。

パーソナルコンピュータ２０では、デジタルカメラ１１から送信されてきた上述の２つの撮影画像を基に背景置換画像が作成される。この背景置換画像の作成については後述する。

図２は、図１に示すパーソナルコンピュータの外観斜視図である。

図２に示すパーソナルコンピュータ２０は、外観構成上、フレキシブルディスク（以降、ＦＤと呼ぶ）やＣＤ−ＲＯＭの装填口を有し、その装填口に装填されたＦＤやＣＤ−ＲＯＭへのアクセス機能を有する本体装置２１０、その本体装置２１０からの指示に応じて表示画面２２０ａ上に画像を表示する画像表示装置２２０、本体装置２１０にキー操作に応じた各種の情報を入力するキーボード２３０、表示画面２２０ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス２４０、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メディアが装填され、その小型記憶メディアをアクセスするメディアドライブ２５０を備えている。

プリンタ３０は、パーソナルコンピュータ２０から送られてくる画像をプリントするものであり、撮影システム１では、パーソナルコンピュータ２０によって作成された背景置換画像をプリントする役割を担っている。

図１に示すサーバ４０には、パーソナルコンピュータ２０で実行される背景置換における、置換背景となる複数の背景候補が格納されている。この背景候補は、表示画面２２０ａ上に表示されることによって提示される。また、この撮影システム１では、サーバ４０内に格納されている背景以外にも、前記のＣＤ−ＲＯＭや前記の小型記憶メディア等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面２２０ａを通じて提示される。

次に、この図１に示す撮影システム１で実行される作業の流れについて説明する。尚、以下の説明では、図１に示す要素については特に図番を断らずに図１中の符号を使って参照する。

図３は、図１の撮影システムで実行される作業の流れを示す図である。

まず、撮影者が、プラスティック板１３１上に載せられた被写体Ｐに対するピントや露光の調節等を行なった後にデジタルカメラ１１のシャッタボタンを押すと、被写体Ｐに対する撮影が２回連続して行なわれる。まず１回目の撮影では、デジタルカメラ１１から発信される指示信号に応じて第１閃光発光装置１２のみ閃光発光させて、被写体Ｐが撮影される（ステップＳ１）。続いて、２回目の撮影が、第２閃光発光装置１３０のみ閃光発光させて行なわれる（ステップＳ２）。

これら２回の撮影それぞれで得られた２つの撮影画像は、デジタルカメラ１１内のメモリに一時的に保管された後、パーソナルコンピュータ２０に送信される。また、パーソナルコンピュータ２０に対する操作により、顧客が所望する背景がサーバ４０あるいは何らかの入力用記憶媒体から読み出される（ステップＳ３）。続いて、これら２つの撮影画像を基に背景置換画像を作成するという、詳しくは後述する背景置換処理が実行される（ステップＳ４）。そして、この背景置換処理で作成された背景置換画像を表わす画像データが、まず画像表示装置２２０に転送され、さらに、プリンタ３０と、顧客が希望する出力用記憶媒体とのうちの少なくとも１つに転送される（ステップＳ５）。続いて、背景置換画像が表示画面２２０ａ上に表示される（ステップＳ６）。

さらに、画像データがプリンタ３０に転送された場合には、プリンタ３０において、その画像データに基づいて背景置換画像がプリントされる（ステップＳ７）。

以下では、これらの処理を実行するパーソナルコンピュータ２０と、パーソナルコンピュータ２０における背景置換処理の詳細について説明する。

まず、このパーソナルコンピュータ２０の内部構成について説明する。

図４は、図１に示すパーソナルコンピュータのハードウェア構成図である。

この図４に示すように、本体装置２１０の内部には、各種プログラムを実行するＣＰＵ２１１、各種プログラムやデータ等が保存されたハードディスク装置２１３、ハードディスク装置２１３に格納されたプログラムが読み出されＣＰＵ２１１での実行のために展開される主メモリ２１２、ＦＤ５２０が装填され、その装填されたＦＤ５２０をアクセスするＦＤドライブ２１４、ＣＤ−ＲＯＭ５１０をアクセスするＣＤ−ＲＯＭドライブ２１５、図１のサーバ４０やデジタルカメラ１１と接続され、これらの機器から置換用の背景や撮影画像等を受け取る入力インタフェース２１６、および、図１のプリンタ３０と接続され、背景置換画像等を出力する出力インタフェース２１７が内蔵されている。これらの各種要素と、さらに図１にも示す画像表示装置２２０、キーボード２３０、マウス２４０、および、小型記憶メディア５３０をアクセスするメディアドライブ２５０は、バス２６０を介して相互に接続されている。

ここで、ＣＤ−ＲＯＭ５１０には、パーソナルコンピュータ２０を、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶されている。そして、その背景置換プログラムが記憶されたＣＤ−ＲＯＭ５１０がＣＤ−ＲＯＭドライブ２１５に装填されると、そのＣＤ−ＲＯＭ５１０に記憶された背景置換プログラムがこのパーソナルコンピュータ２０にアップロードされてハードディスク装置２１３に書き込まれる。これにより、パーソナルコンピュータ２０は背景置換装置として動作する。

次に、この背景置換プログラムについて説明する。

図５は、ＣＤ−ＲＯＭの概念図である。

図５に示すＣＤ−ＲＯＭ５１０には、図１等に示すパーソナルコンピュータ２０を、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶されている。

図５に示すＣＤ−ＲＯＭ５１０には背景置換プログラム６００が記憶されており、この背景置換プログラム６００は、画像取得部６１０、置換処理部６２０、画像データ転送部６３０、および画像表示部６４０で構成されている。

この背景置換プログラム６００の各部の詳細については、本発明にいう背景置換装置の一例の各部の作用と併せて説明する。尚、以下の説明では、図１、図４、および図５に示す要素については特に図番を断らずに各図中の符号を使って参照する。

図６は、パーソナルコンピュータが本発明にいう背景置換装置の一例として動作するときの機能を表わす機能ブロック図である。尚、図５に示す背景置換プログラムが図１等に示すパーソナルコンピュータにインストールされることで、パーソナルコンピュータは、本発明にいう背景置換装置の一例として動作する。

図６には、図１にも示す、デジタルカメラ１１、第１閃光発光装置１２、および第２閃光発光装置１３０を備えた撮影セット１０や、プリンタ３０、サーバ４０も示されている。

この図６に示す背景置換装置７００では、上述したように、撮影セット１０のデジタルカメラ１１によって撮影された２つの撮影画像を取得し、これらの２つの撮影画像のうち、第２閃光発光装置１３０のみを閃光発光させて得られた撮影画像（以下、この撮影画像を逆光画像と称す。）に基づいて、第１閃光発光装置１２のみを閃光発光させて得られた撮影画像（以下、この撮影画像を通常画像と称す。）を被写体領域と背景領域とに区別して、その背景領域を所望の背景に置換するという背景置換処理が実行され、この背景置換装置７００には、画像取得部７１０、背景置換処理部７２０、画像データ転送部７３０、および画像表示部７４０が備えられている。

画像取得部７１０では、まず、デジタルカメラ１１で撮影され、そのデジタルカメラ１１から送信される、２つの撮影画像を表すＲＧＢ値をそれぞれ受け取る。また、この画像取得部７１０では、顧客が所望する背景を、サーバ４０から、あるいは、ＣＤ−ＲＯＭや小型記憶メディア等といった入力用記憶媒体５４０から読み出す。この画像取得部７１０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像取得部６１０に従って、入力インタフェース２１６、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。

背景置換処理部７２０では、画像取得部７１０により取得された２つの撮影画像（逆光画像および通常画像）に基づいて背景置換画像が作成される。背景置換処理部７２０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の置換処理部６３０に従って動作することによって構成される。

画像データ転送部７３０では、背景置換処理部７２０で作成された背景置換画像を表わす画像データを、プリンタ３０および顧客が希望する出力用記憶媒体５５０のうちの少なくとも一方と、この背景置換装置７００の画像表示部７４０とに転送する。この画像データ転送部７３０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像データ転送部６３０に従って、出力インタフェース２１７、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。

画像表示部７４０では、画像データ転送部７３０から転送されてくる画像データが表す背景置換画像を表示画面２２０ａに表示し、画像表示部７４０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像表示部６４０に従って画像表示装置２２０を制御することによって構成される。

また、前記の画像データ転送部７３０からプリンタ３０に背景置換画像を表わす画像データが出力された場合には、プリンタ３０では、この画像データに基づく背景置換画像がプリントされ、前記の画像データ転送部７３０から、何らかの出力用記憶媒体５５０に背景置換画像を表わす画像データが出力された場合には、この画像データがその出力用記憶媒体５５０に書き込まれる。そして、背景置換画像がプリントされたプリント紙と、背景置換画像を表わす画像データが書き込まれた出力用記憶媒体５５０との両方、あるいは一方が、顧客の希望に応じて提供される。

次に、背景置換処理部７２０の詳細について説明する。

図７は、図６に１つのブロックで示される背景置換処理部の詳細を示す図である。

図７に示される背景置換処理部７２０は、背景推定部７２１、差し引き部７２２、調整部７２５、２値化部７２３、および背景置換作成部７２４を備えている。尚、以下では、画像取得部７１０が取得した、２つの撮影画像のＲＧＢ値群のうち、第１閃光発光装置１２のみを利用して撮影された撮影画像（通常画像）を表すＲＧＢ値群を第１ＲＧＢ値群と称し、第２閃光発光装置１３０のみを利用して撮影された撮影画像（逆光画像）を表すＲＧＢ値群を第２ＲＧＢ値群と称す。また、顧客が所望した背景のＲＧＢ値を背景ＲＧＢ値群と称す。尚、図７中に示される第３ＲＧＢ値群については後述する。

ここで、図８は、図７に示される各部で生成される画像を観念的に示す図である。

図８（ａ）には、第２ＲＧＢ値群によって表される画像（逆光画像）が示されており、ここには、上から下にかけて一様なグラデーションを有する背景と、この背景の上部よりもシャドウ側に寄った被写体とが示されている。図８（ｂ）には、図７中に示される背景推定部７２１において、第２ＲＧＢ値群に基づいて被写体の背後については背景推定がされて作成された第３ＲＧＢ値群が表す背景画像が示されている。図８（ｃ）には、差し引き部７２２において、第２ＲＧＢ値群から第３ＲＧＢ値群の各値が差し引かれた結果のＲＧＢ値群で表された画像が示されており、ここには、ベタ黒の背景に被写体Ｐがうっすら浮かび上がっている様子が示されている。図８（ｄ）には、差し引かれた結果のＲＧＢ値群が調整部７２５での調整を終え、その後、２値化部７２３において２値化処理された、その処理済みのＲＧＢ値群が表す画像が示されている。

以下では、図７に示される各部の動作について、図８〜図１０を参照しながらさらに詳細に説明する。

まず、図７に示される背景推定部７２１には、図８（ａ）に示される撮影画像を表す第２ＲＧＢ値群が入力され、この第２ＲＧＢ値群に基づいて、図８（ａ）に示される逆光の撮影画像から、被写体Ｐに隠れた背後の領域のＲＧＢ値の推定が行われる。

図９は、被写体に隠れた背後の領域のＲＧＢ値の推定の手法を概念的に示す図である。尚、図９に示されている画像は、明暗の図示が省略されているが、図８（ａ）と同じ図であるとして話を進める。

背景推定部７２１では、入力されてきた第２ＲＧＢ値群から、まず、図９に示される画像の左側の１列目の上端に位置する画素から下端に位置する画素までの各画素における輝度を順に読み出しつつ、これ以降に輝度を読み出す画素の輝度推定を外挿法により行い、推定した輝度（以下、この推定した輝度を推定輝度と称す。）と、実際に読み出した輝度（以下、この読み出した輝度を読出輝度と称す。）との間に所定値以上のズレがあるか否かを判定し、これら輝度の読み出し、輝度の推定、および判定を、図９に示す撮影画像の左端から右端に架けて行う。その結果、読出輝度と推定輝度との差が全て所定値未満の画素からなる列は、背景領域のみを通過する列として認識される。一方、列の中に、読出輝度と推定輝度との差が所定値以上である画素が存在する列は被写体領域を通過する列として認識され、その列上の、被写体領域に属する画素の輝度は、被写体領域を通過する列の直前の、背景領域に通過する列の対応する画素の読出輝度に置き換えられる。この様にして被写体Ｐの背後の領域の輝度が推定により決定される。尚、被写体Ｐの背後の領域の輝度の推定において、輝度の読み出しを撮影画像の上端から開始するのは、この撮影セット１０において撮影される撮影画像の背景は前述したように上方が明るく下方に行くほど暗くなっており、背景領域に、例えば、背景の周縁が黒枠として写っている場合でも、所定の閾値を下回る暗い部分は除外しつつ所定の閾値以上の明るさが読み取れた画素を背景領域の始まりの画素とすることができるからである。また、この背景推定部７２１は、本発明にいう背景推定部の一例と、被写体確認部の一例とを併せたものに相当する。

図１０は、撮影画像上の上下方向の位置と読出輝度との関係を示す図である。

図１０（ａ）には、横軸に図９に示す逆光撮影の画像上の上下方向の位置、縦軸に輝度（０〜２５５）をとった場合の、この画像の背景領域に属する列の上下位置と読出輝度との関係が示されており、ここには、列の上端では、２５５に近い‘明’側の読出輝度が、列の下端に近づくにつれて０に近い‘暗’側へなだらかに変化していく様子が示されている。また、図９に示される、背景領域を通過する列のうち代表的な列Ａ、Ｂ、Ｃ、Ｅ、Ｆ、およびＧにおける上下位置と読出輝度との関係がほぼ同じであることで、図１０（ａ）には、プロットがほぼ同じ位置に重ねて行われている様子が示されている。このことは、つまり、図９に示される撮影画像の背景が左右方向に均一であることを表している。

図１０（ｂ）には、被写体領域を通過する列の中から代表的に抽出した列Ｄについて得られた、列Ｄにおける上下位置と読出輝度との関係が示されている。この列Ｄについては、位置ａ手前までの画素は背景領域に属しているものの、位置ａから位置ｂまでの間の画素が被写体領域に属していることで外挿法による推定輝度と読出輝度とのズレが所定値以上となる。このため、この範囲内の読出輝度が、背景領域のみを通過する列のうち最も近い列である列Ｃの対応する範囲の読出輝度に置き換えられる。図１０（ｂ）には、読出輝度の置き換えが行われた範囲が点線で示されている。以上説明したようにして、背景推定部７２１では、被写体Ｐに隠れた背後の画素の輝度推定を行った上で、背景全体のＲＧＢ値群である第３ＲＧＢ値群を作成する。図７に示す差し引き部７２２では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれる。

従来の背景置換技術では、背景と被写体とが極端に異なる色や明るさを有していることが背景置換処理を高精度に行うための要件となっている。そのため、被写体と背景との境目の色や明るさに明らかな差がないと、背景と被写体との区別の精度は低下する。しかし、この背景置換処理部７２０では、被写体を逆光で撮影して得られた第２ＲＧＢ値群から、被写体Ｐに隠れた背後については推定を用いた背景画像を表す第３ＲＧＢ値群を差し引くことで得られた差分により被写体領域と背景領域とを区別する。つまり、背景置換処理部７２０によれば、被写体と背景との境目の色や明るさに明らかな差がなくても、被写体領域のＲＧＢ値群と、その被写体領域に隠れた背後の領域について推定されたＲＧＢ値群とに僅かでも差があれば被写体領域と背景領域とを区別することができる。

図７に示す調整部７２５では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれた後のＲＧＢ値群に対する、オペレータによる調整が可能となっている。

ここで、図１１は、コンピュータの画像表示装置の画面表示を示す図である。

本発明の背景置換装置の第１実施形態であるコンピュータ２０では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれた後のＲＧＢ値群に対し、光の写り込み等によるノイズ成分の除去をオペレータが調整部７２５を介して手動で行えるようになっており、図１１（ａ）には、この手動による調整が行われる際の画面表示が示されている。

図１１（ａ）には、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれた後のＲＧＢ値群が表す画像が表示された画面２２０ａが示されており、この画面２２０ａには、入力欄２２１ａ、‘実行’ボタン２２２ａ、および‘ＯＫ’ボタン２２３ａも表示されている。

図１１（ａ）に示される入力欄２２１ａには、ノイズ成分除去のための閾値が入力される。例えば、この入力欄２２１ａに値‘１０’が入力され、‘実行’ボタン２２２ａが操作されると、まず、周囲とＲＧＢ値が異なる孤立した画素群の検出が行われ、検出した画素群の中で群を構成する画素数が、入力欄２２１ａで指定されている値（ここに示す例では‘１０’）以下の画素群については、ノイズ成分によるものとし、その画素群のＲＧＢ値はその周囲の画素のＲＧＢ値と同じＲＧＢ値に置き換えられる。このように、このコンピュータ２０では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれた後のＲＧＢ値群に対するノイズ成分の除去の判断基準となる画素数のオペレータによる変更が可能となっている。図１１（ａ）に示される‘ＯＫ’ボタン２２３ａは、ノイズ成分が除去されたＲＧＢ値群を２値化部７２３（図７参照）に送る際に操作されるボタンである。

その後、画面２２０ａには、図１１（ｂ）に示すように、調整部７２５でノイズ成分が除去されたＲＧＢ値群に対して、２値化部７２３における２値化処理が施されたＲＧＢ値群により表される画像が表示される。

２値化部７２３では、調整部７２５から送られてきた、ノイズ成分が除去されたＲＧＢ値群から輝度を読み出し、閾値Ａ未満の輝度については輝度を‘０’とし、閾値Ａ以上の輝度については輝度を‘２５５’としている。この閾値としては、デフォルトで、ノイズ成分が除去されたＲＧＢ値群から読み出された輝度の出現頻度の分布における最大輝度と最小輝度の中間値が設定されるようになっている。

ここで、このコンピュータ２０では、調整部７２５でのノイズ成分の除去処理がなされた後のＲＧＢ値群に対する２値化処理についての調整を、オペレータが調整部７２５を介して手動で行えるようになっており、図１１（ｂ）には、この手動による調整が行われる際の画面表示が示されている。

図１１（ｂ）に示される‘ヒストグラム’ボタン２２４ａは、調整部７２５から送られてきたＲＧＢ値群の輝度を出現頻度の分布で表す際に操作されるボタンである。

図１１（ｃ）には、‘ヒストグラム’ボタン２２４ａが操作されたことによる画面表示が示されている。ここには、調整部７２５から送られてきたＲＧＢ値群から読み出された輝度の出現頻度の分布が示されており、ノイズ成分が除去されたＲＧＢ値群の輝度の分布における最大輝度である‘２Ａ’と最小輝度である値‘０’の中間値である‘Ａ’が現在の閾値となっている様子が図中の直線Ｓで示されている。オペレータは、マウス２４０を使用してこの直線Ｓをつまみながら左右に移動することで閾値を変更できるようになっている。図１１（ｂ）に示される‘実行’ボタン２２２ａは、オペレータが新たに設定した閾値を基準として２値化処理を行う際に操作される。また、図１１（ｂ）に示される‘ＯＫ’ボタン２２３ａは、２値化処理がなされたＲＧＢ値群を背景置換画像作製部７２４に送る際に操作されるボタンである。図１１（ｃ）に示される‘決定’ボタン２２５ａは、マウス２４０を使用して直線Ｓを移動させた後、それを閾値として設定するために操作されるボタンである。‘戻る’ボタン２２６ａは、図１１（ｃ）に示される画面表示から図１１（ｂ）に示される画面表示に戻る際に操作されるボタンである。

２値化部７２３により２値化処理されたＲＧＢ値群の輝度については、設定された閾値に基づいて、閾値未満の輝度は‘０’とされ、閾値以上の輝度は‘２５５’とされて、画像上ではそれぞれ‘ベタ黒’と‘白’とで表される。

図７に示す背景置換画像作成部７２４では、２値化部７２３により輝度が‘２５５’とされた被写体領域のＲＧＢ値については、第１ＲＧＢ値群の対応するＲＧＢ値に置き換えられ、２値化部７２３により輝度が‘０’とされた背景領域のＲＧＢ値については、顧客が所望した背景ＲＧＢ値群の対応するＲＧＢ値に置き換えられる。これにより、順光できれいに撮影された被写体と、顧客が所望する背景とが組み合わさった背景置換画像が作成される。

このようにして作成された背景置換画像を表わすＲＧＢ値群が、図６に示される画像データ転送部７３０に送信され、各出力デバイスや出力用記憶媒体５５０（図６参照）に転送される。

以上説明したように、本実施形態のコンピュータ２０では、被写体Ｐを挟んでデジタルカメラ１１とは反対側に位置するプラスティック板１３１からの、このプラスティック板１３１に沿って所定の一様さを有する光で照らされたこの被写体Ｐを撮影した逆光画像に基づいて、被写体Ｐに隠れた背後については推定して背景全体のＲＧＢ値群を得、逆光画像を表すＲＧＢ値群から背景全体のＲＧＢ値群を差し引くことで被写体領域が高精度に検出されて背景置換が行われる。したがって、本実施形態のコンピュータ２０によれば、小型で簡易の撮影システム１の実現に寄与することができる。

次に、この撮影システム１に備えられている、本発明の背景置換装置の第１実施形態であるパーソナルコンピュータ２０との置換が可能な、本発明の背景置換装置の第２実施形態であるパーソナルコンピュータ２１について説明する。

第２実施形態のパーソナルコンピュータ２１と、第１実施形態のパーソナルコンピュータ２０との相違点は、被写体の背後の背景推定の方法にあるので、以下では、第２実施形態のパーソナルコンピュータ２１における背景推定の方法についてのみ説明する。

図１２は、本発明の背景置換装置の第２実施形態であるパーソナルコンピュータにおける背景推定の対象である逆光画像を示す図である。

図１２には、画角の中央に１つの被写体が配置された逆光画像が示されている。

第２実施形態のパーソナルコンピュータ２１では、入力されてきた、図１２に示される逆光画像を表す第２ＲＧＢ値群から、まず、図１２に示される画像の左側の１列目の上端に位置する画素から下端に位置する画素までの各画素における輝度を順に読み出し、読み出した１列分の読出輝度に基づいて曲線を近似し、この近似曲線と読出輝度との差分の平均値が所定値未満であるか否かを判定し、これら輝度の読み出し、曲線近似、および判定を、図１２に示す撮影画像の左端の列から右端の列にかけて行う。この判定の結果、平均値が所定値未満であればその列は背景領域のみを通過する列と認識され、平均値が所定値以上であればその列は被写体領域を通過する列と認識される。被写体領域を通過する列上の、被写体領域に属する画素の輝度は、被写体領域を通過する列の直前の、背景領域のみを通過する列の対応する画素の読出輝度に置き換えられる。第２実施形態のパーソナルコンピュータ２１では、この様に、被写体Ｐの背後の領域の輝度が、近似曲線を利用して推定される。

次に、この撮影システム１に備えられている、本発明の背景置換装置の第１実施形態であるパーソナルコンピュータ２０との置換が可能な、本発明の背景置換装置の第３実施形態であるパーソナルコンピュータ２２について説明する。

第３実施形態のパーソナルコンピュータ２２と、第１実施形態のパーソナルコンピュータ２０との相違点も、被写体の背後の背景推定の方法にあるので、以下では、第３実施形態のパーソナルコンピュータ２２における、被写体の背後の背景推定の方法についてのみ説明する。

第３実施形態であるパーソナルコンピュータ２２では、まず、第２実施形態であるパーソナルコンピュータ２１で行われている、輝度の読み出し、曲線近似、および判定が、左端から右端にかけてと右端から左端にかけてとの双方で、上記差分の平均値が所定値以上となる列が検出されるまで行なわれる。

左端から右端にかけて行った上述の判定で上記差分の平均値が所定値以上となる列（以下では、その検出した列を列Ｌ１と称す。）が検出され、また、右端から左端にかけて行った上述の判定で上記差分の平均値が所定値以上となる列（以下では、その検出した列を列Ｒ１と称す。）が検出されると、これら列Ｌ１と列Ｒ１とを含め、列１と列Ｒ１との間に位置する各列も、被写体領域を通過する列として認識される。被写体領域を通過する各列上の画素の輝度は、背景領域のみを通過する列であって被写体領域に最も近い列である、列Ｌ１の左隣の列（以下では、その列をＬ０と称す。）および列Ｒ１の右隣の列（以下では、その列をＲ０と称す。）から距離の比に応じて重み付け平均がされた新たな輝度（以下では、この新たな輝度を推定輝度と称す。）に置き換えられる。例えば、被写体領域に属する、列Ｌ０からの距離と列Ｒ０からの距離との比がｍ：ｎの位置にある列Ｘ上の所定画素ｘの推定輝度は、列Ｌ０上の、所定画素ｘに対応する画素の輝度Ｌｘと、列Ｒ０上の、所定画素ｘに対応する画素の輝度Ｒｘとに基づいて、式（ｍ＊Ｒｘ＋ｎ＊Ｌｘ）／（ｍ＋ｎ）で算出される。この様な距離の比に応じた重み付け平均がされているのは、左右方向における背景領域の輝度のムラを、輝度を推定する領域にも反映させるためである。第３実施形態のパーソナルコンピュータ２２によれば、図１２に示されるような被写体が１つの場合の背景置換を高精度に行うことができる。尚、上記では、被写体領域を通過する列か否かの判定を、近似曲線からの差分の平均値に基づいて行っている場合を例に挙げたが、被写体領域を通過する列か否かの判定としては、近似曲線からの差分の最大値に基づいて行ってもよい。尚、第３実施形態では、上述のＲ１およびＬ１を、第２実施形で説明した近似曲線により検出した場合を例に挙げたが、Ｒ１およびＬ１の検出としては第１実施形態で説明した外挿法による検出を採用してもよい。

次に、本発明の背景置換装置の第４実施形態であるパーソナルコンピュータ２３について説明する。このパーソナルコンピュータ２３も、この撮影システム１に備えられている、本発明の背景置換装置の第１実施形態であるパーソナルコンピュータ２０との置換が可能なものである。

第４実施形態のパーソナルコンピュータ２３と、第１実施形態のパーソナルコンピュータ２０との相違点も、被写体の背後の背景推定の方法にあるので、以下では、第４実施形態のパーソナルコンピュータ２３における、被写体の背後の背景推定の方法についてのみ説明する。

第４実施形態のパーソナルコンピュータ２３では、第２実施形態であるパーソナルコンピュータ２１で行われている、輝度の読み出し、曲線近似、および判定が、左端から右端にかけてと右端から左端にかけてとに加え、上端から下端にかけてと下端から上端にかけてとの双方についても、上記差分の平均値が所定値以上となる列が検出されるまで行なわれる。

第４実施形態のパーソナルコンピュータ２３では、上述の判定を上端から下端にかけて行った場合に上記差分の平均値が所定値以上となる列の一列上の列（以下では、この列を列Ｕ０と称す。）、および、上述の判定を下端から上端にかけて行った場合に上記差分の平均値が所定値以上となる列の一列下の列（以下では、この列を列Ｄ０と称す。）からの距離に基づいて重み付け平均した、被写体領域に属する各画素の輝度と、前述のＬ０およびＲ０からの距離に基づいて重み付け平均した、被写体領域に属する各画素の輝度との平均を上述の推定輝度とする。第４実施形態であるパーソナルコンピュータ２３におけるこの背景推定は、左右方向と上下方向とのいずれの方向に背景の明るさが均一であるのかが不明である場合に有効となる。尚、第３実施形態では、上述の列Ｒ１、Ｌ１、Ｕ１、およびＤ１を、第２実施形で説明した近似曲線により検出した場合を例に挙げたが、これを第１実施形態で説明した外挿法による検出を採用してもよい。

尚、以上の実施形態では、本発明にいう背景の所定の一様さの一例として、明るさが左右方向に均一、かつ上下方向に一様に変化する例を挙げているが、本発明にいう背景の所定の一様さは、背景の推定が可能であれば、明るさが上下方向に均一、かつ左右方向に一様に変化するものであってもよく、さらには、上下左右に均一であってもよい。

また、以上の実施形態では、本発明にいう背景推定の一例として、画素の輝度を検出する例を挙げているが、本発明にいう背景推定は、画素の輝度ではなく、画素の色を検出してもよい。さらには、ライン毎ではなく２次元的に推定しても良い。

撮影システムを示す図である。 図１に示すパーソナルコンピュータの外観斜視図である。 図１の撮影システムで実行される作業の流れを示す図である。 図１に示すパーソナルコンピュータのハードウェア構成図である。 ＣＤ−ＲＯＭの概念図である。 パーソナルコンピュータが本発明にいう背景置換装置の一例として動作するときの機能を表わす機能ブロック図である。 図６に１つのブロックで示す置換処理部の詳細を示す図である。 図７に示される各部で生成される画像を観念的に示す図である。 被写体に隠れた背後の領域のＲＧＢ値の推定の手法を概念的に示す図である。 撮影画像上の上下位置と輝度との関係を示す図である。 コンピュータの画像表示装置の画面表示を示す図である。 本発明の背景置換装置の第３実施形態であるパーソナルコンピュータにおける背景推定の対象である逆光画像を示す図である。

符号の説明

１ 撮影システム
１０ 撮影セット
１１ デジタルカメラ
１２ 第１閃光発光装置
１３ 撮影台
１３０ 第２閃光発光装置
１３１ プラスティック板
１３２ 筐体
２０ パーソナルコンピュータ
６００ 背景置換プログラム
６１０ 画像取得部
６２０ 置換処理部
６３０ 画像データ転送部
６４０ 画像表示部
７００ 背景置換装置
７１０ 画像取得部
７２０ 背景置換処理部
７２１ 背景推定部
７２２ 差し引き部
７２３ ２値化部
７２４ 背景置換画像作成部
７２５ 調整部
７３０ 画像データ転送部
７４０ 画像表示部

Claims (8)

1. 撮像装置で被写体が撮影されて得られた撮影画像を、画素値の集合で画像を表現した形式で取得する撮影画像取得部と、
   前記被写体に対する背景は前記撮影画像中で所定の一様さを有しているとの前提で該背景の画素値を、該被写体に隠れた背後も含めて推定する背景推定部と、
   前記撮影画像の各画素値から、前記背景推定部で推定された画素値を差し引く背景差し引き部と、
   前記背景差し引き部による差し引き結果に基づいて、前記撮影装置で前記被写体と同じ被写体が撮影されて得られた撮影画像中の領域を、前記被写体が写っている被写体領域と、該被写体領域を除いた背景領域とに区別する領域区別部と、
   前記領域区別部による領域の区別に基づいて、前記撮影画像中の背景を別の背景に置換する背景置換部とを備えたことを特徴とする背景置換装置。
2. 前記領域区別部が、前記背景差し引き部によって前記撮影画像の各画素値から前記背景の画素値が差し引かれて得られる差し引き画素値と所定の閾値との比較によって前記被写体領域と前記背景領域とを区別するものであることを特徴とする請求項１記載の背景置換装置。
3. 前記撮影画像取得部で取得された撮影画像中で所定方向に延びる各ラインについて解析し、該ライン上に被写体が存在するか否かを確認する被写体確認部を備え、
   前記背景推定部が、前記被写体確認部で被写体の存在が確認された被写体ラインについて、前記背景の画素値を、該被写体確認部で被写体の不存在が確認された背景ラインの画素値を用いて推定するものであることを特徴とする請求項１又は２記載の背景置換装置。
4. 前記背景推定部が、被写体を挟む両側の前記背景ラインに基づいて該被写体の背景の画素値を推定するものであることを特徴とする請求項３記載の背景置換装置。
5. 前記背景推定部が、前記背景の明るさが前記撮影画像中で所定の一様さを有しているとの前提でこの背景の明るさを表す画素値を推定するものであることを特徴とする請求項１から４のうちのいずれか１項記載の背景置換装置。
6. 被写体を撮影し、画素値の集合で画像を表現した形式で撮影画像を得る撮影装置；
   前記被写体を、該被写体を挟んで前記撮影装置とは反対側に位置する面からの、該面に沿って所定の一様さを有する光で照らす照明装置；および
   前記撮影装置で得られた撮影画像を取得する撮影画像取得部と、
   前記被写体に対する背景は前記撮影画像中で前記一様さを有しているとの前提で該背景の画素値を、該被写体に隠れた背後も含めて推定する背景推定部と、
   前記撮影画像の各画素値から、前記背景推定部で推定された画素値を差し引く背景差し引き部と、
   前記背景差し引き部による差し引き結果に基づいて、前記撮影画像中の領域を、前記被写体が写っている被写体領域と、該被写体領域を除いた背景領域とに区別する領域区別部と、
   前記領域区別部による領域の区別に基づいて、前記撮影装置で前記被写体と同じ被写体が撮影されて得られた撮影画像中の背景を別の背景に置換する背景置換部とを備えた背景置換装置；
   を備えたことを特徴とする撮影システム。
7. 前記照明装置が、前記面に沿った所定の第１方向について一様に変化し、該面に沿った、該第１方向に交わる所定の第２方向については均一の光で前記被写体を照らすものであり、
   前記背景置換装置が、前記撮影画像取得部で取得された撮影画像中で前記第１方向に延びる各ラインについて解析し、該ライン上に被写体が存在するか否かを確認する被写体確認部を備えたものであり、
   前記背景置換装置の背景推定部が、前記被写体確認部で被写体の存在が確認されたラインについて、前記背景の画素値を、該被写体確認部で被写体の不存在が確認されたラインの画素値を用いて推定するものであることを特徴とする請求項６記載の撮影システム。
8. 前記照明装置が、前記面に沿って明るさが所定の一様さを有する光で前記被写体を照らすものであり、
   前記背景推定部が、前記背景の明るさが前記撮影画像中で前記一様さを有しているとの前提でこの背景の明るさを表す画素値を推定するものであることを特徴とする請求項６又は７記載の撮影システム。

Images