JP4910975B2

JP4910975B2 - 情報処理装置、指示システム及び制御プログラム

Info

Publication number: JP4910975B2
Application number: JP2007267724A
Authority: JP
Inventors: 弘之三宅
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2007-10-15
Filing date: 2007-10-15
Publication date: 2012-04-04
Anticipated expiration: 2027-10-15
Also published as: CN101415111A; JP2009100084A; US8306353B2; US20090097697A1; CN101415111B

Description

本発明は、情報処理装置、指示システム及び制御プログラムに関する。

従来より、ビデオカメラ及びプロジェクタが接続されているサーバ（例えばコンピュータ）と、ネットワークを介して当該サーバに接続されるクライアント（例えばコンピュータ）とを備える指示システムが知られている（例えば、特許文献１、２参照）。

この指示システムでは、サーバに接続されているビデオカメラが対象物を撮影し、ネットワークを介して撮影画像をクライアントに送信する。クライアントは、表示装置の表示画面に撮影画像を表示し、当該表示画面上にアノテーション画像などが書き込まれると、当該アノテーション画像をネットワークを介してサーバに送信する。サーバは受信したアノテーション画像をプロジェクタに送信し、プロジェクタは受信したアノテーション画像を対象物を含む投影領域の適切な位置（これは、クライアントが、撮影画像の範囲内でアノテーション画像を書き込んだ位置に対応する）に投影する。
米国特許公開２００４／００７０６７４号公報特開２００５−３３７５６号公報

本発明の目的は、投影装置から対象物を含む領域に画像が投影され、その領域を撮影装置で撮影したときに、対象物とそれ以外との明度の差によって生ずる視認性の低下を改善した情報処理装置、指示システム及び制御プログラムを提供することにある。

上記目的を達成するため、請求項１の情報処理装置は、外部端末から入力された注釈画像を投影領域に投影する投影装置、及び当該投影領域を撮影する撮影装置に接続される情報処理装置であって、前記撮影装置で撮影された複数の撮影画像から対象物を認識する認識手段と、前記認識手段により認識された対象物の輪郭を決定する輪郭決定手段と、前記輪郭決定手段で決定された当該対象物の輪郭内部における平均明度を表す値と当該対象物の輪郭外部における平均明度を表す値とを算出する算出手段と、前記算出手段により算出された輪郭内部における平均明度を表す値と輪郭外部における平均明度を表す値との差が所定値以上であることを判断する判断手段と、前記判断手段により輪郭内部における平均明度を表す値と輪郭外部における平均明度を表す値との差が所定値以上であると判断された場合に、前記対象物の輪郭内部及び輪郭外部のうち、前記平均明度が小さい方に対応する部分の明度が増加するように階調を増加させた調整画像を生成する投影画像調整手段と、前記投影画像調整手段により調整された調整画像を前記投影装置に入力して前記対象物に投影させる投影画像入力手段と、前記投影装置により前記対象物に前記調整画像が投影された状態で、前記撮影装置に前記対象物を撮影させる撮影制御手段とを備えることを特徴とする。

請求項２の情報処理装置は、請求項１に記載の情報処理装置において、前記算出手段は、前記対象物の輪郭内部及び輪郭外部の１方向についての明度分布を算出するとともに前記明度分布に基づいて当該対象物の輪郭内部における平均明度を表す値と当該対象物の輪郭外部における平均明度を表す値とを算出し、前記投影画像調整手段は、前記明度分布の算出結果に応じて、前記投影装置で投影する投影画像内の前記対象物の輪郭内部及び輪郭外部のうち、前記平均明度が小さい方に対応する部分の階調を増加することを特徴とする。

請求項３の情報処理装置は、請求項１又は２に記載の情報処理装置において、前記算出手段は、前記対象物の輪郭内部と輪郭外部を通過する１つの線を決定し、当該線上の輪郭内部に対応する部分の平均明度と当該線上の輪郭外部に対応する部分の平均明度とを算出すること特徴とする。

請求項４の遠隔指示システムは、外部端末から入力された注釈画像を投影領域に投影する投影装置、及び当該投影領域を撮影する撮影装置に接続される情報処理装置であって、前記撮影装置で撮影された複数の撮影画像から対象物を認識する認識手段、前記認識手段により認識された対象物の輪郭を決定する輪郭決定手段、前記輪郭決定手段で決定された当該対象物の輪郭内部における平均明度を表す値と当該対象物の輪郭外部における平均明度を表す値とを算出する算出手段、前記算出手段により算出された輪郭内部における平均明度を表す値と輪郭外部における平均明度を表す値との差が所定値以上であることを判断する判断手段、前記判断手段により輪郭内部における平均明度を表す値と輪郭外部における平均明度を表す値との差が所定値以上であると判断された場合に、前記対象物の輪郭内部及び輪郭外部のうち、前記平均明度が小さい方に対応する部分の明度が増加するように階調を増加させた調整画像を生成する投影画像調整手段、前記投影画像調整手段により調整された調整画像を前記投影装置に入力して前記対象物に投影させる投影画像入力手段、前記投影装置により前記対象物に前記調整画像が投影された状態で、前記撮影装置に前記対象物を撮影させる撮影制御手段、及び当該撮影装置で撮影された撮影画像を前記外部端末に送信する送信手段を有する情報処理装置と、前記情報処理装置から前記撮影装置で撮影された撮影画像を受信する受信手段、及び前記受信された撮影画像を表示する表示手段を有する外部端末とを備えることを特徴とする。

請求項５の制御プログラムは、外部端末から入力された注釈画像を投影領域に投影する投影装置、及び当該投影領域を撮影する撮影装置に接続されるコンピュータを、前記撮影装置で撮影された複数の撮影画像から対象物を認識する認識手段、前記認識手段により認識された対象物の輪郭を決定する輪郭決定手段、前記輪郭決定手段で決定された当該対象物の輪郭内部における平均明度を表す値と当該対象物の輪郭外部における平均明度を表す値とを算出する算出手段、前記算出手段により算出された輪郭内部における平均明度を表す値と輪郭外部における平均明度を表す値との差が所定値以上であることを判断する判断手段、前記判断手段により輪郭内部における平均明度を表す値と輪郭外部における平均明度を表す値との差が所定値以上であると判断された場合に、前記対象物の輪郭内部及び輪郭外部のうち、前記平均明度が小さい方に対応する部分の明度が増加するように階調を増加させた調整画像を生成する投影画像調整手段、前記投影画像調整手段により調整された調整画像を前記投影装置に入力して前記対象物に投影させる投影画像入力手段、及び前記投影装置により前記対象物に前記調整画像が投影された状態で、前記撮影装置に前記対象物を撮影させる撮影制御手段として機能させることを特徴とする。

請求項１の発明によれば、対象物の輪郭内部の平均明度と輪郭外部の平均明度との差が所定値以上である場合に、投影画像内の対象物の輪郭内部及び輪郭外部のうち、前記平均明度が小さい方に対応する部分を明るくした画像を生成し、投影装置から対象物を含む領域に調整画像を投影して、その領域を撮影装置で撮影させるので、対象物とそれ以外との明度の差が減少し、視認性の改善された撮影画像を取得可能である。

請求項２の発明によれば、対象物の輪郭内部及び輪郭外部の１方向についての明度分布に応じて、投影画像内の対象物の輪郭内部及び輪郭外部のうち、前記平均明度が小さい方に対応する部分が明るくなるので、本発明を用いない場合に比べて、少ない演算量で、視認性の改善された撮影画像を取得可能である。

請求項３の発明によれば、本発明を用いない場合に比べて、対象物の輪郭内部の平均明度及び輪郭外部の平均明度を算出するための計算量が少なくなるため、処理速度が速くなる。

請求項４の発明によれば、対象物の輪郭内部の平均明度と輪郭外部の平均明度との差分が所定値以上である場合に、投影画像内の対象物の輪郭内部及び輪郭外部のうち、前記平均明度が小さい方に対応する部分が明るくなるので、投影装置から対象物を含む領域に画像を投影し、その領域を撮影装置で撮影する形態において、対象物とそれ以外との明度の関係が所定の範囲内に収められている撮影画像を取得可能である。また、当該撮影画像を外部端末で表示することができる。

請求項５の発明によれば、対象物の輪郭内部の平均明度と輪郭外部の平均明度との差が所定値以上である場合に、投影画像内の対象物の輪郭内部及び輪郭外部のうち、前記平均明度が小さい方に対応する部分を明るくした画像を生成し、投影装置から対象物を含む領域に調整画像を投影して、その領域を撮影装置で撮影させるので、対象物とそれ以外との明度の差が減少し、視認性の改善された撮影画像を取得可能である。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る指示システムの構成を示すブロック図である。

図１の指示システムは、サーバとして機能するパーソナルコンピュータ（ＰＣ）１（情報処理装置）、クライアントとして機能するＰＣ２（外部端末）を備えており、これらは、ネットワーク３を介して互いに接続されている。ＰＣ１には、プロジェクタ４（投影装置）、ビデオカメラ５（撮像装置）、スピーカ７及びマイク８が接続されている。プロジェクタ４は、ＰＣ１からの制御コマンドに基づいて、対象物９及び明度の高い色（ここでは白色系）のスクリーン１１に対して、ハーフミラー６を介して全面黒色の画像を照射する又はアノテーション画像（注釈画像）等を投影する。尚、アノテーション画像は、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。

ビデオカメラ５は、対象物９を含むスクリーン１１の反射画像をハーフミラー６を介して撮影し、撮影画像をＰＣ１に出力する。即ち図1において、ビデオカメラ５は、対象物９の全体像を撮影する。プロジェクタ４とビデオカメラ５は、ハーフミラー６を介して画角と光軸を一致させている。

スピーカ７は、ＰＣ２に接続されているマイク１６から入力されたＰＣ２のユーザの指示などの音声を出力し、マイク８は、ＰＣ１のユーザの指示などの音声を入力し、ＰＣ２に接続されているスピーカ１５へ出力する。

ＰＣ１は、ビデオカメラ５により撮影された撮影画像をネットワーク３を介してＰＣ２に出力する。ＰＣ２は、表示部２０５（表示手段）、スピーカ１５及びマイク１６に接続されており、表示部２０５は、撮影画像の表示領域１２及びユーザインターフェース（ＵＩ）１４を表示する。尚、ＰＣ２は、表示部２０５を備える一体型のパーソナルコンピュータで構成してもよい。スピーカ１５は、ＰＣ１に接続されているマイク８から入力されたＰＣ１のユーザの指示などの音声を出力し、マイク１６は、ＰＣ２のユーザの指示などの音声を入力し、ＰＣ１に接続されているスピーカ７へ出力する。ＰＣ１側のユーザとＰＣ２側のユーザは、それぞれスピーカ７及びマイク８、並びにスピーカ１５及びマイク１６を使って、互いに音声でコミュニケーションをする。

ＵＩ１４は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンとを含む。表示領域１２には、ビデオカメラ５で撮影された撮影画像が表示される。同図においては、対象物９を含むスクリーン１１をビデオカメラ５により撮影した撮影画像が表示領域１２に表示されている。例えば、後述するＰＣ２の操作部２０４によってＵＩ１４のペンボタンが押下されて、表示領域１２内のある位置（例えば対象物９上）に図形等が記載されると、当該図形の情報はＰＣ２からＰＣ１を介してプロジェクタ４に出力される。プロジェクタ４は当該図形の情報に基づいて、その図形が描かれた位置に対応する位置（この場合では対象物９上）に図形を描く。

また、ＰＣ２は、ＰＣ１に対して制御コマンドを出力し、プロジェクタ４、及びビデオカメラ５の動作（例えば、ビデオカメラ５の撮影角度及び撮影画像の明るさ、並びにプロジェクタ４の投影画像の明るさなど）を制御することができる。

尚、同図においては、クライアントは、ＰＣ２の１台が記載されているが、指示システムは、複数のクライアント（ＰＣ）を備えていてもよく、もちろんそれらクライアントの一部あるいはすべてが遠隔地にあってもかまわない。

図２は、ＰＣ１〜２の機能構成を示すブロック図である。

ＰＣ１は、装置全体を制御すると共にプロジェクタ４、ビデオカメラ５、スピーカ７及びマイク８の動作を制御する制御部１０１（認識手段、抽出手段、算出手段、判断手段、投影画像調整手段、投影画像入力手段、撮影制御手段）と、ネットワーク３を介してＰＣ２と情報やデータの送受信を行う送受信部１０２（送信手段）と、制御プログラム、データ及び情報等を記憶する記憶部１０３と、プロジェクタ４、ビデオカメラ５、スピーカ７及びマイク８と接続するためのインターフェイス（ＩＦ）部１０４とを備えている。さらに、ＰＣ１は、ビデオカメラ５で撮影された撮影画像を表示するための表示部１０５を備えていてもよい。制御部１０１は、送受信部１０２、記憶部１０３、ＩＦ部１０４及び表示部１０５に接続されており、さらにＩＦ部１０４を介してプロジェクタ４、ビデオカメラ５、スピーカ７及びマイク８に接続されている。

ＰＣ２は、装置全体を制御する制御部２０１と、ネットワーク３を介してＰＣ１と情報やデータの送受信を行う送受信部２０２（受信手段）と、制御プログラム、データ及び情報等を記憶する記憶部２０３と、マウスやキーボードなどで構成される操作部２０４と、撮影画像を表示すると共に入力されたアノテーション画像を表示する表示部２０５（表示手段）と、スピーカ１５及びマイク１６と接続するためのインターフェイス（ＩＦ）部２０６とを備えている。制御部２０１は、送受信部２０２、記憶部２０３、操作部２０４、表示部２０５及びＩＦ部２０６に接続されている。

図３（Ａ）は、ＰＣ１のハードウエア構成を示すブロック図であり、図３（Ｂ）は、ＰＣ２のハードウエア構成を示すブロック図である。

ＰＣ１は、装置全体を制御するＣＰＵ２１、制御プログラムを備えるＲＯＭ２２、ワーキングエリアとして機能するＲＡＭ２３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）２４、他のコンピュータと接続するためのネットワークインターフェース２６、及び不図示のＵＳＢ機器と接続するためのＵＳＢ（universal serial bus）インターフェース２８を備えている。ＣＰＵ２１はシステムバス２９を介してＲＯＭ２２、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、ネットワークインターフェース２６及びＵＳＢインターフェース２８に接続されている。ＰＣ１はＵＳＢインターフェースを２８介してプロジェクタ４、ビデオカメラ５、スピーカ７及びマイク８に接続されている。尚、ＰＣ１は、マウス及びキーボード２５、並びにディスプレイ２７を備えていてもよい。

制御部１０１は、制御プログラムに従って各種の処理を実行するＣＰＵ２１に相当する。送受信部１０２は、ネットワークインタフェース２６に相当し、記憶部１０３は、ハードディスクドライブ（ＨＤＤ）２４に相当する。表示部１０５は、ディスプレイ２７に相当する。

ＰＣ２は、装置全体を制御するＣＰＵ３１、制御プログラムを備えるＲＯＭ３２、ワーキングエリアとして機能するＲＡＭ３３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）３４、マウス及びキーボード３５、他のコンピュータと接続するためのネットワークインターフェース３６、液晶モニタ又はＣＲＴで構成されるディスプレイ３７、及び不図示のＵＳＢ機器と接続するためのＵＳＢ（universal serial bus）インターフェース３８を備えている。ＣＰＵ３１はシステムバス３９を介してＲＯＭ３２、ＲＡＭ３３、ハードディスクドライブ（ＨＤＤ）３４、マウス及びキーボード３５、ネットワークインターフェース３６、ディスプレイ３７及びＵＳＢインターフェース３８に接続されている。ＰＣ２はＵＳＢインターフェースを８８介してスピーカ１５及びマイク１６に接続されている。

制御部２０１は、制御プログラムに従って各種の処理を実行するＣＰＵ３１に相当する。送受信部２０２は、ネットワークインターフェース３６に相当し、記憶部２０３は、ハードディスクドライブ（ＨＤＤ）３４に相当する。操作部２０４は、マウス及びキーボード３５に相当し、表示部２０５は、ディスプレイ３７に相当する。

図４（Ａ）〜（Ｄ）は、ビデオカメラ５の撮影画像の例を示し、図４（Ｅ）〜（Ｇ）は、プロジェクタ４の投影画像の例を示す。

ビデオカメラ５は、対象物９がない状態では、図４（Ａ）に示すように、スクリーン１１を撮影している。対象物９がビデオカメラ５の撮影範囲内に置かれると、図４（Ｂ）に示すように、対象物９及びスクリーン１１を撮影する。ＰＣ１で後述する照明処理が実行されると、対象物９に照明があたり、図４（Ｃ）に示すように、明るい対象物９が撮影される。図４（Ｃ）の対象物９は、図４（Ｂ）の対象物９よりも明るい。照明処理が実行され、アノテーション画像が投影された後に、ビデオカメラ５が撮影した撮影画像は、図４（Ｄ）のようになる。図４（Ｄ）の符号５０は、アノテーション画像を示す。

一方、プロジェクタ４は、初期状態において、図４（Ｅ）に示すように、例えば全体が黒色の画像を投影する。ＰＣ１で後述する照明処理が実行されると、プロジェクタ４は、図４（Ｆ）に示すように、対象物９の輪郭６０の外部が黒色であり、対象物９の輪郭６０の内部がグレー色である画像を投影する。このように、ＰＣ１で照明処理が実行されると、プロジェクタ４は、対象物９の輪郭内部の明度を上げた画像を投影する。これにより、図４（Ｃ）に示すように、ビデオカメラ５で撮影される対象物９は明るくなる。照明処理が実行された後に、アノテーション画像を付加した投影画像は、図４（Ｇ）のようになる。図４（Ｇ）の符号５０は、アノテーション画像を示す。

図５は、ＰＣ１及びＰＣ２で実行される処理を示すフローチャートである。

まず、ＰＣ１で実行される処理を説明する。ＰＣ１の制御部１０１は、初期投影画像をプロジェクタ４を介して出力する（ステップＳ１）。初期投影画像とは、図４（Ｅ）に示した全体が黒色の画像である。

次いで、制御部１０１は、ビデオカメラ５で撮影された撮影画像を送受信部１０２及びネットワーク３を介してＰＣ１に出力し（ステップＳ２）、照明処理を実行する（ステップＳ３）。この照明処理の詳細については、後述する。

その後、制御部１０１は、ＰＣ２からのコマンドを受信するまで待つ（ステップＳ４）。ＰＣ２からのコマンドは、具体的には、アノテーション画像のデータ及び当該データの描画指示を含む。アノテーション画像のデータとは、アノテーション画像を描くために必要なベクトル情報又は座標情報等であり、例えば、アノテーション画像が円の場合、円の中心と半径の長さをテキスト化した情報である。

次に、送受信部１０２がＰＣ２からコマンドを受信すると（ステップＳ５）、制御部１０１は、当該コマンドに従って画像の投影処理を実行する（ステップＳ６）。具体的には、ＰＣ２からアノテーション画像のデータを受信すると、制御部１０１は、当該アノテーション画像のデータをプロジェクタ４に出力する。プロジェクタ４はこのデータに基づいてアノテーション画像を投影する。

制御部１０１は、予め設定された撮影画像の保存タイミングに達したか否かを判断する（ステップＳ７）。予め設定された撮影画像の保存タイミングとは、例えば、０．２秒毎に撮影画像を保存すると設定されている場合には、その０．２秒が経過するタイミングである。ステップＳ７でＹＥＳの場合には、制御部１０１は、ビデオカメラ５で撮影された撮影画像を記憶部１０３に保存する（ステップＳ８）。ステップＳ７でＮＯの場合には、ステップＳ４の処理に戻る。

次に、制御部１０１は、ＰＣ２からのコマンドに従って実行する処理が全て終了したか否かを判断し（ステップＳ９）、ステップＳ９でＮＯの場合には、ステップＳ４に戻る。一方ステップＳ９でＹＥＳの場合には、ＰＣ１の処理を終了する。

次に、ＰＣ２で実行される処理を説明する。

制御部２０１は、操作部２０４からコマンドの入力を受け付けると（ステップＳ１１）、当該コマンドがアノテーション画像を描画する画面処理コマンドであるか否かを判断する（ステップＳ１２）。

ステップＳ１２でＮＯの場合には、後述するステップＳ１５に進む。ステップＳ１２でＹＥＳの場合には、制御部２０１は、当該画面処理コマンドに従って、アノテーション画像を表示領域１２に描画する（ステップＳ１３）。

次いで、制御部２０１は、コマンドとしてのアノテーション画像のデータを送受信部２０２を介してＰＣ１に送信する（ステップＳ１４）。尚、ＰＣ１に送信されたコマンドは、上記ステップＳ５の処理で、送受信部１０２により受信される。

最後に、制御部２０１は、ＰＣ２で実行すべき処理が全て終了したか否かを判断し（ステップＳ１５）、ステップＳ１５でＮＯの場合には、ステップＳ１１に戻る。一方ステップＳ１５でＹＥＳの場合には、ＰＣ２の処理を終了する。

図６は、図５のステップＳ３で実行される照明処理を示すフローチャートである。

まず、ＰＣ１の制御部１０１は、ビデオカメラ５で撮影された撮影画像の変化から対象物９を自動認識する（ステップＳ２１）。つまり、制御部１０１は、ビデオカメラ５で撮影された、連続する複数のフレーム画像に変化が生じた場合に、変化が収まった後のフレーム画像と変化前のフレーム画像とを比較することにより対象物９を認識する。より具体的には、制御部１０１は、図４（Ｂ）のようにビデオカメラ５の撮影範囲内に対象物９が置かれた撮影画像と、図４（Ａ）のようにビデオカメラ５の撮影範囲内に対象物９が置かれていない撮影画像とを比較することにより、対象物９を認識する。

次に、制御部１０１は、対象物９の輪郭を抽出する（ステップＳ２２）。この処理は、テンプレートマッチング法や輝度近似平面法など、公知の輪郭抽出処理を使用する。尚、本実施形態ではハーフミラー６を介して、プロジェクタ４とビデオカメラ５の光軸だけではなく画角も一致するように配置してある。このようにすることで、制御部１０１は、対象物９の輪郭を正確に捉えることが可能である。プロジェクタ４とビデオカメラ５の画角については必ずしもそろえる必要はないが、そろっていない場合には、対象物９に対して正確にプロジェクタ４からの光を投影するためには立体物の形状計測等が必要となってしまうため、そろえておいた方が好ましい。

次いで、制御部１０１は、撮影画像に含まれる対象物９の輪郭内部の平均明度と輪郭外部の平均明度とを算出する（ステップＳ２３）。ここで、平均明度としては、単純平均、自乗平均、重み付けして平均などを含む。また平均明度だけでなく、平均明度と同等に扱える値（正規化していない値など）を算出してもよい。平均明度の算出方法としては、従来知られている方法を適宜利用することができる。例えば、特開２００３−２６４８４９の００１７段落以降に記載があるように、ＲＧＢ情報をＨＩＳ空間の画像情報に変換して求めることができる。

また、ここでは、制御部１０１は、対象物９の輪郭内部全体の平均明度と輪郭外部全体の平均明度とを算出してもよいし、又は対象物９の輪郭内部と輪郭外部とを通過する１つの線を決定し、当該線上の輪郭内部に対応する部分の平均明度と当該線上の輪郭外部に対応する部分の平均明度とを算出してもよい。後者の平均明度算出方法は、前者のそれよりも計算量が削減されるため、処理速度が速くなる。

制御部１０１は、算出された対象物９の輪郭内部の平均明度と輪郭外部の平均明度との差分が、あらかじめ設定された所定の閾値以上であるか否かを判断する（ステップＳ２４）。

ステップＳ２４で、輪郭内部の平均明度と輪郭外部の平均明度との差分が所定の閾値以上である場合（ＹＥＳ）には、制御部１０１は、輪郭内部の平均明度と輪郭外部の平均明度とを比較して平均明度が小さい方（本実施形態の場合は輪郭内部）を選び、投影画像内の輪郭内部に対応する部分の色をグレーに変更する、即ち、投影画像内の輪郭内部に対応する部分の階調を一定量増加し（ステップＳ２５）、ステップＳ２３に戻る。ここでグレーではなく白色にしてしまうと、対象物９にアノテーション画像を投影した場合にそのアノテーション画像が見難くなってしまうため、適切ではない。尚、変更可能な階調のレベルは、１段階でもよいが、複数段階あってもよい。変更可能な階調のレベルが複数段階ある場合には、ステップＳ２３〜ステップＳ２５のループ処理において、制御部１０１は、輪郭内部の平均明度と輪郭外部の平均明度との差分が所定の閾値未満になるまで、投影画像内の輪郭内部に対応する部分の階調のレベルの増加を繰り返す。

ステップＳ２４で、輪郭内部の平均明度と輪郭外部の平均明度との差分が所定の閾値未満である場合（ＮＯ）には、照明処理を終了し、上記ステップＳ４の処理に進む。

以上の照明処理により、投影画像内の輪郭内部に対応する部分及び輪郭外部に対応する部分のコントラストが調整され、投影画像内の対象物９の輪郭内部に対応する部分が明るくなる。撮影装置が対象物を撮影する際に、対象物が暗い色で構成され背景が白色系であると、撮影画像上の背景がいわゆる白とびを起こし、対象物が暗すぎる症状が生じるが、このように対象物とそれ以外との明度の差が所定の範囲内に収められていれば、明度の差が減少し、これによって撮影画像の視認性が改善される。また本実施形態の場合、対象物９に合わせて他の領域をも明るくすることはないため、スクリーン１１上の対象物９の周辺部分にアノテーション画像を投影する場合にも当該周辺部分のコントラストが確保される。

上記照明処理の変形例として、制御部１０１は、対象物９の輪郭内部及び輪郭外部の１方向（水平（横）方向又は垂直（縦）方向など）についての明度分布を算出し、当該算出結果に応じて投影画像内の輪郭内部に対応する部分の階調を増加してもよい。

例えば、対象物９の輪郭内部及び輪郭外部の水平（横）方向の明度分布の算出結果の一例を図７（Ａ）に示す。この場合、対象物９の輪郭内部の明度は左側から右側へ減少している。従って、制御部１０１は、対象物９全体の明度にムラが生じないように、投影画像内の輪郭内部に対応する部分の階調を、当該部分の左側から右側に向けて徐々に増加する（図７（Ｂ）参照）。

（第２の実施の形態）
上記第１の実施の形態では、対象物９が暗い色で構成され、対象物９の背景として白色系のスクリーン１１を利用する場合を説明した。本実施の形態では、背景が黒板であり、対象物９が白色系の明るい色で構成されている場合を説明する。

本実施の形態に係る指示システム、ＰＣ１及びＰＣ２の構成は、上記第１の実施の形態に係るそれらと同一であるので、その説明は省略する。

図８（Ａ）〜（Ｄ）は、ビデオカメラ５の撮影画像の例を示し、図８（Ｅ）〜（Ｄ）は、プロジェクタ４の投影画像の例を示す。

ビデオカメラ５は、対象物９がない状態では、図８（Ａ）に示すように、黒板１７を撮影している。このため、撮影画像は暗い。対象物９がビデオカメラ５の撮影範囲内に置かれると、図８（Ｂ）に示すように、対象物９及び黒板１７を撮影する。このとき対象物９は、明るい部分の階調が失われてしまういわゆる白とびするような画像となる。ＰＣ１で後述する照明処理が実行されると、対象物９の輪郭外部に照明があたり、図８（Ｃ）に示すように、対象物９の輪郭外部が明るくなるため、対象物９は実際の明るさ（即ち、対象物９を直接見ているときの明るさ）に近づく。図８（Ｃ）の対象物９は白とびが補正され、図８（Ｂ）の対象物９よりも若干暗くなる。照明処理が実行され、アノテーション画像が投影された後に、ビデオカメラ５が撮影した撮影画像は、図８（Ｄ）のようになる。図８（Ｄ）の符号５０は、アノテーション画像を示す。

一方、プロジェクタ４は、初期状態において、図８（Ｅ）に示すように、例えば全体が黒色の画像を投影する。ＰＣ１で後述する照明処理が実行されると、プロジェクタ４は、図８（Ｆ）に示すように、対象物９の輪郭６０の外部がグレーであり、対象物９の輪郭６０の内部が黒色である画像を投影する。このように、ＰＣ１で照明処理が実行されると、プロジェクタ４は、対象物９の輪郭外部の明度を上げた画像を投影する。これにより、図８（Ｃ）に示すように、ビデオカメラ５で撮影される対象物９は実際の明るさ（即ち、対象物９を直接見ているときの明るさ）に近づく。照明処理が実行された後に、アノテーション画像を付加した投影画像は、図８（Ｇ）のようになる。図８（Ｇ）の符号５０は、アノテーション画像を示す。

図９は、図５のステップＳ３で実行される照明処理を示すフローチャートである。尚、本実施の形態でも、ＰＣ１及びＰＣ２は図５と同一の処理を実行する。

図９のステップＳ２１〜ステップＳ２４までの処理は、図６のステップＳ２１〜ステップＳ２４までの処理と同一である。

ステップＳ２４で、輪郭内部の平均明度と輪郭外部の平均明度との差分が、あらかじめ設定された所定の閾値以上である場合（ＹＥＳ）には、制御部１０１は、輪郭内部の平均明度と輪郭外部の平均明度とを比較して平均明度が小さい方（本実施形態の場合は輪郭外部）を選び、投影画像内の輪郭外部に対応する部分の色をグレーに変更する、即ち、投影画像内の輪郭外部に対応する部分の階調を一定量増加し（ステップＳ３５）、ステップＳ２３に戻る。尚、変更可能な階調のレベルは、１段階でもよいが、複数段階あってもよい。変更可能な階調のレベルが複数段階ある場合には、ステップＳ２３〜ステップＳ３５のループ処理において、制御部１０１は、輪郭内部の平均明度と輪郭外部の平均明度との差分が所定の閾値未満になるまで、投影画像内の輪郭外部に対応する部分の階調のレベルの増加を繰り返す。

以上の照明処理により、投影画像内の輪郭内部に対応する部分及び輪郭外部に対応する部分のコントラストが調整され、投影画像内の対象物９の輪郭外部に対応する部分が明るくなる。また本実施形態の場合、対象物９に合わせて輪郭外部をも明るくすることはないため、対象物９上にアノテーション画像を投影する場合にも当該周辺部分のコントラストが確保される。

上記照明処理の変形例として、制御部１０１は、対象物９の輪郭内部及び輪郭外部の１方向（水平（横）方向又は垂直（縦）方向）についての明度分布を算出し、当該算出結果に応じて投影画像内の輪郭外部に対応する部分の階調を増加してもよい。

ＰＣ１〜ＰＣ２の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、各ＰＣに供給し、各ＰＣのＣＰＵが記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、又はＳＤカードなどがある。

また、各ＰＣのＣＰＵが、各ＰＣの機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。

なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。

本発明の第１の実施の形態に係る指示システムの構成を示すブロック図である。ＰＣ１〜２の機能構成を示すブロック図である。（Ａ）は、ＰＣ１のハードウエア構成を示すブロック図であり、（Ｂ）は、ＰＣ２のハードウエア構成を示すブロック図である。（Ａ）〜（Ｄ）は、ビデオカメラ５の撮影画像の例を示す図であり、（Ｅ）〜（Ｇ）は、プロジェクタ４の投影画像の例を示す図である。ＰＣ１及びＰＣ２で実行される処理を示すフローチャートである。図５のステップＳ３で実行される照明処理を示すフローチャートである。（Ａ）は、対象物の輪郭内部及び輪郭外部の水平（横）方向の明度分布の算出結果の一例を示す図であり、（Ｂ）は、投影画像内の輪郭内部に対応する部分の階調の調整例を示す図である。（Ａ）〜（Ｄ）は、第２の実施の形態に係るビデオカメラ５の撮影画像の例を示す図であり、（Ｅ）〜（Ｇ）は、プロジェクタ４の投影画像の例を示す図である。図５のステップＳ３で実行される照明処理を示すフローチャートである。

符号の説明

１ＰＣ
２ＰＣ
３ネットワーク
４プロジェクタ
５ビデオカメラ
６ハーフミラー
７，１５スピーカ
８，１６マイク
１０１，２０１制御部
１０２，２０２送受信部
１０３，２０３記憶部
１０４，２０６ＩＦ部
１０５，２０５表示部
２０４操作部

Claims

外部端末から入力された注釈画像を投影領域に投影する投影装置、及び当該投影領域を撮影する撮影装置に接続される情報処理装置であって、
前記撮影装置で撮影された複数の撮影画像から対象物を認識する認識手段と、
前記認識手段により認識された対象物の輪郭を決定する輪郭決定手段と、
前記輪郭決定手段で決定された当該対象物の輪郭内部における平均明度を表す値と当該対象物の輪郭外部における平均明度を表す値とを算出する算出手段と、
前記算出手段により算出された輪郭内部における平均明度を表す値と輪郭外部における平均明度を表す値との差が所定値以上であることを判断する判断手段と、
前記判断手段により輪郭内部における平均明度を表す値と輪郭外部における平均明度を表す値との差が所定値以上であると判断された場合に、前記対象物の輪郭内部及び輪郭外部のうち、前記平均明度が小さい方に対応する部分の明度が増加するように階調を増加させた調整画像を生成する投影画像調整手段と、
前記投影画像調整手段により調整された調整画像を前記投影装置に入力して前記対象物に投影させる投影画像入力手段と、
前記投影装置により前記対象物に前記調整画像が投影された状態で、前記撮影装置に前記対象物を撮影させる撮影制御手段と、
を備えることを特徴とする情報処理装置。
前記算出手段は、前記対象物の輪郭内部及び輪郭外部の１方向についての明度分布を算出するとともに前記明度分布に基づいて当該対象物の輪郭内部における平均明度を表す値と当該対象物の輪郭外部における平均明度を表す値とを算出し、前記投影画像調整手段は、前記明度分布の算出結果に応じて、前記投影装置で投影する投影画像内の前記対象物の輪郭内部及び輪郭外部のうち、前記平均明度が小さい方に対応する部分の階調を増加することを特徴とする請求項１に記載の情報処理装置。
前記算出手段は、前記対象物の輪郭内部と輪郭外部を通過する１つの線を決定し、当該線上の輪郭内部に対応する部分の平均明度と当該線上の輪郭外部に対応する部分の平均明度とを算出すること特徴とする請求項１又は２に記載の情報処理装置。
外部端末から入力された注釈画像を投影領域に投影する投影装置、及び当該投影領域を撮影する撮影装置に接続される情報処理装置であって、
前記撮影装置で撮影された複数の撮影画像から対象物を認識する認識手段、
前記認識手段により認識された対象物の輪郭を決定する輪郭決定手段、
前記輪郭決定手段で決定された当該対象物の輪郭内部における平均明度を表す値と当該対象物の輪郭外部における平均明度を表す値とを算出する算出手段、
前記算出手段により算出された輪郭内部における平均明度を表す値と輪郭外部における平均明度を表す値との差が所定値以上であることを判断する判断手段、
前記判断手段により輪郭内部における平均明度を表す値と輪郭外部における平均明度を表す値との差が所定値以上であると判断された場合に、前記対象物の輪郭内部及び輪郭外部のうち、前記平均明度が小さい方に対応する部分の明度が増加するように階調を増加させた調整画像を生成する投影画像調整手段、
前記投影画像調整手段により調整された調整画像を前記投影装置に入力して前記対象物に投影させる投影画像入力手段、
前記投影装置により前記対象物に前記調整画像が投影された状態で、前記撮影装置に前記対象物を撮影させる撮影制御手段、及び
当該撮影装置で撮影された撮影画像を前記外部端末に送信する送信手段を有する情報処理装置と、
前記情報処理装置から前記撮影装置で撮影された撮影画像を受信する受信手段、及び
前記受信された撮影画像を表示する表示手段を有する外部端末と
を備えることを特徴とする遠隔指示システム。
外部端末から入力された注釈画像を投影領域に投影する投影装置、及び当該投影領域を撮影する撮影装置に接続されるコンピュータを、
前記撮影装置で撮影された複数の撮影画像から対象物を認識する認識手段、
前記認識手段により認識された対象物の輪郭を決定する輪郭決定手段、
前記輪郭決定手段で決定された当該対象物の輪郭内部における平均明度を表す値と当該対象物の輪郭外部における平均明度を表す値とを算出する算出手段、
前記算出手段により算出された輪郭内部における平均明度を表す値と輪郭外部における平均明度を表す値との差が所定値以上であることを判断する判断手段、
前記判断手段により輪郭内部における平均明度を表す値と輪郭外部における平均明度を表す値との差が所定値以上であると判断された場合に、前記対象物の輪郭内部及び輪郭外部のうち、前記平均明度が小さい方に対応する部分の明度が増加するように階調を増加させた調整画像を生成する投影画像調整手段、
前記投影画像調整手段により調整された調整画像を前記投影装置に入力して前記対象物に投影させる投影画像入力手段、及び
前記投影装置により前記対象物に前記調整画像が投影された状態で、前記撮影装置に前記対象物を撮影させる撮影制御手段
として機能させることを特徴とする制御プログラム。