JP6409312B2 - 表示システム、表示装置、及び、表示制御方法 - Google Patents

Description

本発明は、表示システム、表示装置、及び、表示制御方法に関する。

近年、教育分野やプレゼンテーション等において使用される、いわゆるインタラクティブホワイトボードが普及している。インタラクティブホワイトボードは、文書等のコンテンツを表示しながら、そのコンテンツへの使用者による書き込みが可能であることを特徴とする。例えば、特許文献１には、電子黒板のボード部において移動させたペンの軌跡を画像として形成し、ボード部に表示させている。また、特許文献１には、入力デバイスであるペンと、ペンからの信号を受信する本体ユニットとを備えるディジタルペンが開示されている。ユーザーがペンを用いて文字や図形を描くと、本体ユニットが、ペンから発信される信号に基づいてペンの軌跡を検出して、描かれた文字や図形と同様な画像のディジタルデータを生成する。また、本体ユニットには無線ＬＡＮ端末が搭載されており、本体ユニットが、生成したディジタルデータを電子黒板のボード部に送信して、ディジタルペンにおいて描かれた文字や図形を、ボード部に表示させている。

特開２０１０−２８４７９７号公報

しかしながら、電子黒板のボード部において移動させたペンの軌跡を画像として形成し、ボード部に表示させる構成の場合、画像が表示されるボード部から離れた位置で文字や図形等を入力することができない。また、無線通信機能を有するディジタルペンを用いて、電子黒板のボード部に文字や図形を表示させる構成の場合、ディジタルペンにおいてペンの軌跡を検出して画像のディジタルデータを生成しなければならず、ディジタルペンにおける処理負荷が高くなる。また、ディジタルペンにおいてペン入力を検出可能な領域と、電子黒板のボード部の表示領域との対応関係が分かりづらい。
本発明は上記事情に鑑みてなされたものであり、入力装置と、表示装置とが分離した構成において、入力装置の処理負荷を軽減した表示システム、表示装置、表示制御方法を提供することを目的とする。

上記目的を達成するために、本発明の表示システムは、入力装置と、表示装置とを有する表示システムであって、前記入力装置は、操作面に対する操作を検出して、前記操作面における操作位置を示す座標情報を生成する生成部と、前記生成部が生成した座標情報を送信する送信部と、を備え、前記表示装置は、前記座標情報を受信する受信部と、前記受信部で受信した前記座標情報に基づく画像を生成して、第１表示面に表示させる表示制御部と、を備えることを特徴とする。
本構成によれば、入力装置と、表示装置とが分離した構成において、入力装置の処理負荷を軽減することができる。

上記表示システムにおいて、前記表示装置は、前記入力装置の備える第２表示面の表示領域と、前記第１表示面の表示領域との対応を定める対応情報を記憶した記憶部を有し、前記表示制御部は、前記対応情報に従って前記座標情報に基づく画像を生成し、前記第１表示面に表示させることを特徴とする。
本構成によれば、表示装置において、入力装置から送信された座標情報に基づく画像を、対応情報に従って生成し、第１表示面に表示させることができる。

上記表示システムにおいて、前記表示装置は、前記入力装置に、画像データを送信する送信部を備え、前記入力装置は、前記画像データを受信する受信部と、前記受信部で受信した前記画像データに基づく画像を、前記操作面に重ねて配置された第２表示面に表示する表示部と、を有することを特徴とする。
本構成によれば、画像が表示された第２表示面に対して操作を行うことで、操作面に対する操作を行うことができ、携帯端末において直感的な操作が可能となる。

上記表示システムにおいて、前記表示装置は、前記画像データとして、前記第１表示面に表示された画像の少なくとも一部分の画像データを前記入力装置に送信することを特徴とする。
本構成によれば、第１表示面に表示された画像の一部の画像データを入力装置において表示することができる。

上記表示システムにおいて、前記表示装置は、前記第１表示面に表示された画像から選択された一部の画像に対応する画像データを前記入力装置に送信することを特徴とする。
本構成によれば、第１表示面に表示された画像から選択された一部の画像を入力装置において表示することができる。

上記表示システムにおいて、前記表示装置は、前記座標情報に基づく画像を表示させる、前記第１表示面の表示領域を表す画像データを、前記画像データとして前記入力装置に送信することを特徴とする。
本構成によれば、画像が表示される第１表示面の表示領域を表す画像データを入力装置において表示させることができる。

上記表示システムにおいて、前記表示制御部は、前記座標情報が、画像を拡大又は縮小させる操作情報である場合に、前記第１表示面に表示させる画像を前記操作情報に応じて拡大又は縮小させることを特徴とする。
本構成によれば、入力装置からの操作により、第１表示面に表示された画像を拡大又は縮小させることができる。

本発明の表示装置は、画像データに基づく画像を第１表示面に表示させる表示装置であって、外部の装置から送信される、前記外部の装置の備える第２表示面における座標情報を受信する受信部と、前記第２表示面の表示領域と、前記第１表示面の表示領域との対応を定める対応情報を記憶した記憶部と、前記対応情報に従って、前記座標情報に基づく画像を生成して、前記第１表示面に表示させる表示制御部とを備えることを特徴とする。
本構成によれば、外部の装置で入力された操作情報に基づく画像を表示装置において表示させる場合に、外部の装置の処理負荷を軽減させることができる。

本発明の表示制御方法は、入力装置と、表示装置とを有する表示システムにおける表示制御方法であって、前記入力装置において、操作面に対する操作を検出して、前記操作面における操作位置の座標情報を生成する生成ステップと、前記生成ステップにおいて生成した座標情報を送信する送信ステップと、を有し、前記表示装置において、前記座標情報を受信する受信ステップと、前記受信ステップにおいて受信した前記座標情報に基づく画像を生成して、第１表示面に表示させる表示ステップと、を有することを特徴とする。
本構成によれば、入力装置と、表示装置とが分離した構成において、入力装置の処理負荷を軽減することができる。

本発明によれば、入力装置と、表示装置とが分離した構成において、入力装置の処理負荷を軽減する効果を奏する。

表示システムの構成の一例を示す構成図である。 第１実施形態の携帯端末の構成の一例を示すブロック図である。 プロジェクターの構成の一例を示すブロック図である。 スクリーンＳＣに表示される画像の一例を示す図である。 携帯端末より入力された画像を、プロジェクターによりスクリーンに投射した状態を示す図である。 プロジェクター及び携帯端末の処理手順を示すフローチャートである。 座標変換テーブルの一例を示す図である。

［第１実施形態］
以下、添付図面を参照して本発明の実施形態について説明する。
図１に、本実施形態の表示システム１の概略構成を示す。本実施形態の表示システム１は、入力装置としての複数の携帯端末１０Ａ、１０Ｂ、１０Ｃ、・・・と、表示装置としてのプロジェクター１００とを備えている。なお、図１には、３台の携帯端末１０Ａ、１０Ｂ、１０Ｃを示すが、携帯端末１０Ａ、１０Ｂ、１０Ｃの数は３台に限られず、１台であってもよいし、４台以上であってもよい。また、携帯端末１０Ａ、１０Ｂ、１０Ｃを区別する必要がない場合には、携帯端末１０と表記する。

携帯端末１０とプロジェクター１００とは、無線通信方式によって各種データを送受信可能に接続されている。この無線通信方式には、例えば無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ultra Wide Band）、赤外線通信等の近距離無線通信方式や、携帯電話回線を利用した無線通信方式を採用することができる。プロジェクター１００は、複数の携帯端末１０に接続して、これらの携帯端末１０と通信することができる。
携帯端末１０は、ユーザーが手に持って操作する小型の装置であり、例えば、スマートフォン等の携帯電話、タブレット端末、ＰＤＡ（Personal Digital Assistants）等の装置である。携帯端末１０は、スイッチ等の操作子に対する操作のほか、表示パネル（第２表示面）５２の表面にユーザーが手指を接触させ、この接触位置をタッチスクリーン（操作面）５３に検出させることで、操作できる。
プロジェクター１００は、スクリーンＳＣ（第１表示面）に対して画像を投射する装置である。プロジェクター１００が画像を投射するスクリーンＳＣはほぼ直立しており、スクリーン面は、例えば、矩形形状である。プロジェクター１００は、動画像をスクリーンＳＣに投射することも、静止画像をスクリーンＳＣに投射し続けることもできる。

携帯端末１０の構成について説明する。図２に、携帯端末１０の機能的構成の一例を示す。
携帯端末１０は、携帯端末１０の各部を制御する制御部２０を備える。制御部２０は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備え、ＲＯＭに記憶した基本制御プログラムをＣＰＵにより実行して、携帯端末１０を制御する。また、制御部２０は、記憶部３０に記憶されたアプリケーションプログラム３１を実行することにより、後述する表示制御部２１、通信制御部２２として機能する（以下、これらを機能ブロックと呼ぶ）。

携帯端末１０は、記憶部３０を備えている。記憶部３０は、フラッシュメモリー、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）等の不揮発性の記憶装置であり、制御部２０に接続している。記憶部３０には、アプリケーションプログラム３１を含む各種プログラムや、プロジェクター１００から受信した画像データ３２等が記憶されている。また、記憶部３０は、端末識別情報３３を記憶している。端末識別情報３３は、プロジェクター１００との間で携帯端末１０を識別するためのデータであり、具体的には、個々の携帯端末１０を識別するために各携帯端末１０に固有のシリアル番号や、プロジェクター１００との間で共有する認証コード等である。

携帯端末１０は、無線通信部４０を備えている。無線通信部４０は、アンテナやＲＦ（Radio Frequency）回路（不図示）等を備え、制御部２０に接続されている。無線通信部４０は、制御部２０によって制御され、プロジェクター１００との間で上述した無線通信方式に準じて各種データを送受信する。

携帯端末１０は、表示部５１を備える。表示部５１は、表示パネル５２を備え、制御部２０に接続している。表示部５１は、制御部２０から入力した画像データに基づいて、不図示の描画メモリーに表示パネル５２の表示解像度に合わせたフレームを描画し、描画したフレームに基づき表示パネル５２に画像を表示させる。

また、携帯端末１０は、タッチスクリーン５３と、スイッチ部５４と、操作検出部（検出部）５５とを備えている。タッチスクリーン５３は、表示パネル５２への接触操作を検出して、検出した操作位置を示す位置信号を操作検出部５５に出力する。操作検出部５５は、タッチスクリーン５３から入力した位置信号に基づいて、タッチスクリーン５３上の座標を示す座標情報を生成し、制御部２０に出力する。また、スイッチ部５４は、スイッチ等の各操作子を備え、スイッチが操作された場合に操作信号を操作検出部５５に出力する。操作検出部５５は、スイッチ部５４から入力された操作信号に基づいて、操作された操作子に対応する操作情報を生成して制御部２０に出力する。
制御部２０は、操作検出部５５から入力した座標情報又は操作情報に基づいて、表示パネル５２に対する接触操作、スイッチを含む各操作子の操作、及び携帯端末１０の本体を動かす操作を検出することができる。

次に、制御部２０の備える機能ブロックについて説明する。
表示制御部２１は、表示部５１を制御して、表示パネル５２に各種画面を表示させる。表示制御部２１は、記憶部３０から画像データ３２を読み出して、又は無線通信部４０を介して受信した画像データを表示部５１に出力する。表示部５１は、入力した画像データに基づいて、不図示の描画メモリーに表示パネル５２の表示解像度に合わせたフレームを描画し、描画したフレームに基づき表示パネル５２を駆動する。
また、表示制御部２１は、操作検出部５５から座標情報を入力する。表示制御部２１は、操作検出部５５から入力した座標情報に基づいて、タッチパネルの操作に特有の操作を検出する。例えば、表示パネル５２に対するピンチイン、ピンチアウト等の操作を検出する。ピンチイン操作とは、表示パネル５２上で、２本の指を摘むように近づける操作であり、ピンチアウト操作とは、表示パネル５２上で、２本の指を遠ざけていく操作である。表示制御部２１は、ピンチイン、ピンチアウト等の操作を検出した場合には、検出した操作を示すタッチ操作情報を生成し、生成したタッチ操作情報と操作検出部５５から入力した座標情報とを含む制御データを生成して、通信制御部２２に渡す。

通信制御部２２は、無線通信部４０を制御してプロジェクター１００と無線通信を行う。通信制御部２２は、プロジェクター１００に接続した後に、記憶部１５１から読み出した端末識別情報や、制御部２０から渡された情報を、無線通信部４０を介してプロジェクター１００に送信する。また、通信制御部２２は、プロジェクター１００から受信した画像データ等のデータを記憶部３０に記憶させる。

次に、プロジェクター１００の構成について説明する。図３に、プロジェクター１００の機能的構成の一例を示す。
プロジェクター１００は、インターフェイス部（以下、Ｉ／Ｆと略記する）１２４を備えている。プロジェクター１００は、Ｉ／Ｆ部１２４を介して画像供給装置に接続している。Ｉ／Ｆ部１２４には、例えば、デジタル映像信号が入力されるＤＶＩインターフェイス、ＵＳＢインターフェイス、ＬＡＮインターフェイス等を用いることができる。また、Ｉ／Ｆ部１２４には、例えば、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子等を用いることができる。さらに、Ｉ／Ｆ部１２４には、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等の汎用インターフェイスを用いることができる。また、Ｉ／Ｆ部１２４は、アナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、ＶＧＡ端子等のアナログ映像端子により画像供給装置に接続される構成としてもよい。なお、Ｉ／Ｆ部１２４は、有線通信によって画像信号の送受信を行ってもよく、無線通信によって画像信号の送受信を行ってもよい。

プロジェクター１００は、大きく分けて光学的な画像の形成を行う投射部１１０と、この投射部１１０に入力される画像信号を電気的に処理する画像処理系とを備えている。投射部１１０は、光源部１１１、液晶パネル１１２Ａを備えた光変調装置１１２及び投射光学系１１３を備えている。

光源部１１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）レーザー等からなる光源を備えている。また、光源部１１１は、光源が発した光を光変調装置１１２に導くリフレクター及び補助リフレクターを備えていてもよい。また、光源部１１１は、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、又は光源が発した光の光量を光変調装置１１２に至る経路上で低減させる調光素子等を備えたものであってもよい。

光変調装置１１２は、例えば、透過型の液晶パネル１１２Ａを備え、この液晶パネル１１２Ａに後述する画像処理系からの信号を受けて画像を形成する。この場合、光変調装置１１２は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶パネル１１２Ａを備え、光源部１１１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネル１１２Ａに入射する。各液晶パネル１１２Ａを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系１１３に射出される。
なお、光変調装置１１２は、透過型の液晶パネル１１２Ａを３枚用いた構成に限らず、例えば３枚の反射型の液晶パネルを用いることも可能である。また、光変調装置１１２は、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のＤＭＤ（Digital Mirror Device）を用いた方式、１枚のＤＭＤとカラーホイールを組み合わせた方式等により構成してもよい。ここで、光変調装置１１２として１枚のみの液晶パネル１１２Ａ又はＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル１１２Ａ及びＤＭＤ以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。

投射光学系１１３は、光変調装置１１２で変調された入射光を、具備する投射レンズを用いてスクリーンＳＣ上に投射し、結像させる。

投射部１１０には、制御部１３０の制御に従って投射光学系１１３が備える各モーターを駆動する投射光学系駆動部１２１、及び制御部１３０の制御に従って光源部１１１が備える光源を駆動する光源駆動部１２２が接続されている。投射光学系駆動部１２１及び光源駆動部１２２は、バス１０５に接続している。

プロジェクター１００は、無線通信部１５６を備えている。無線通信部１５６は、バス１０５に接続している。無線通信部１５６は、図示しないアンテナやＲＦ（Radio Frequency）回路等を備え、制御部１３０の制御の下、携帯端末１０との間で無線通信規格に準拠して通信する。プロジェクター１００と携帯端末１０とは、無線通信方式によって各種データを送受信可能に接続されている。

プロジェクター１００の備える画像処理系は、プロジェクター１００全体を統合的に制御する制御部１３０を中心に構成され、その他に、記憶部１５１、画像処理部１２５、光変調装置駆動部１２３、入力処理部１５３を備えている。制御部１３０、記憶部１５１、入力処理部１５３、画像処理部１２５及び光変調装置駆動部１２３は、それぞれバス１０５に接続している。

制御部１３０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＲＯＭに記憶した基本制御プログラムをＣＰＵにより実行して、プロジェクター１００を制御する。また、制御部１３０は、記憶部１５１に記憶されたアプリケーションプログラム３１を実行することにより、後述する投射制御部１３１、通信制御部１３２、表示制御部１３３として機能する（以下、これらを機能ブロックと呼ぶ）。

記憶部１５１は、フラッシュメモリー、ＥＥＰＲＯＭ等の不揮発性のメモリーである。記憶部１５１は、プロジェクター１００の制御に使用される制御プログラムや、画像データ等を記憶する。また、記憶部１５１は、携帯端末１０から送信される、携帯端末１０の端末識別情報１５１１を記憶する。また、記憶部１５１は、携帯端末１０から送信される、携帯端末１０の備える表示パネル５２の解像度の情報である解像度情報１５１２を記憶する。解像度情報１５１２には、表示パネル５２の画面の縦横の画素数、アスペクト比等の情報等が含まれる。解像度情報１５１２は、携帯端末１０の備える表示パネル５２の表示領域と、液晶パネル１１２Ａのパネル面の領域との対応を定める対応情報に含まれる情報である。

画像処理部１２５は、外部の画像供給装置や、表示制御部１３３から入力した画像データを、光変調装置１１２の液晶パネル１１２Ａの仕様に適合した解像度のデータに変換する解像度変換処理等を実行する。また、画像処理部１２５は、光変調装置１１２により表示する表示用画像をフレームメモリー１２６に描画して、描画した表示用画像を光変調装置駆動部１２３に出力する。光変調装置駆動部１２３は、画像処理部１２５から入力した表示用画像に基づいて、光変調装置１１２を駆動する。これにより、光変調装置１１２の液晶パネル１１２Ａに画像が描画され、描画された画像が、投射光学系１１３を介してスクリーンＳＣ上に投射画像として投射される。

プロジェクター１００の本体には、ユーザーが操作を行うための各種スイッチ及びインジケーターランプを備えた操作パネル１５５が配置されている。操作パネル１５５は、入力処理部１５３に接続されている。入力処理部１５３は、制御部１３０の制御に従い、プロジェクター１００の動作状態や設定状態に応じて操作パネル１５５のインジケーターランプを適宜点灯或いは点滅させる。操作パネル１５５のスイッチが操作されると、操作されたスイッチに対応する操作信号が入力処理部１５３から制御部１３０に出力される。
また、プロジェクター１００は、ユーザーが使用するリモコン（不図示）を有する。リモコンは各種のボタンを備えており、これらのボタンの操作に対応して赤外線信号を送信する。プロジェクター１００の本体には、リモコンが発する赤外線信号を受光するリモコン受光部１５４が配置されている。リモコン受光部１５４は、リモコンから受光した赤外線信号をデコードして、リモコンにおける操作内容を示す操作信号を生成し、制御部１３０に出力する。

次に、制御部１３０の備える機能ブロックについて説明する。
投射制御部１３１は、画像処理部１２５を制御して、Ｉ／Ｆ部１２４を介して画像供給装置から供給された画像データや、表示制御部１３３で生成された画像データに基づいてフレームメモリー１２６に画像を描画させる。また、投射制御部１３１は、光変調装置駆動部１２３を制御して、フレームメモリー１２６に描画された画像を光変調装置１１２の液晶パネル１１２Ａに描画させる。光変調装置１１２の液晶パネル１１２Ａに描画された画像が、投射光学系１１３を介してスクリーンＳＣ上に投射画像として投射される。

通信制御部１３２は、無線通信部１５６を制御して携帯端末１０と無線通信を行う。通信制御部１３２は、携帯端末１０に接続されると、携帯端末１０に、携帯端末１０の端末識別情報の送信を要求する。携帯端末１０は、プロジェクター１００からの要求に従って、携帯端末１０の端末識別情報３３をプロジェクター１００に送信する。通信制御部１３２は、受信した情報を端末識別情報１５１１として記憶部１５１に記憶させる。また、通信制御部１３２は、携帯端末１０の端末識別情報１５１１を取得すると、携帯端末１０の備える表示パネル５２の解像度情報の取得要求を携帯端末１０に送信する。携帯端末１０は、プロジェクター１００からの要求に従って、表示パネル５２の解像度情報をプロジェクター１００に送信する。通信制御部１３２は、取得した情報を解像度情報１５１２として記憶部１５１に記憶させる。

表示制御部１３３は、スクリーンＳＣに投射中の画像（以下、投射画像という）のうち、ユーザーによって選択された領域の画像を、選択された携帯端末１０に送信する。
まず、表示制御部１３３は、投射画像の画像データ（以下、投射画像データという）を画像処理部１２５から取得する。また、表示制御部１３３は、携帯端末１０に送信する投射画像の領域の選択を受け付ける。例えば、表示制御部１３３は、図４に示す操作枠２００を生成し、投射画像に重畳させてスクリーンＳＣに投射させる。この操作枠２００は、操作パネル１５５又はリモコンの操作によって、スクリーンＳＣ上を自由に移動させることができ、また、操作枠２００のサイズを自由に変更することができる。表示制御部１３３は、操作パネル１５５又はリモコンで受け付けた操作入力に従って、スクリーンＳＣに投射させる操作枠２００の表示位置やサイズを変更する。ユーザーは、操作パネル１５５又はリモコンの操作によって、操作枠２００を、投射画像上の選択する領域に移動させて、操作パネル１５５又はリモコンの確定ボタンを押下する。表示制御部１３３は、確定ボタンの操作入力を受け付けた際に、操作枠２００内に表示されている投射画像の領域を選択された領域（以下、選択領域という）と判定する。

また、表示制御部１３３は、操作枠２００の操作により選択された画像を送信する携帯端末１０の選択入力を受け付ける。例えば、表示制御部１３３は、操作パネル１５５やスクリーンＳＣに、通信可能な携帯端末１０の識別情報を表示した表示領域２５０を表示させて、ユーザーからの操作パネル１５５やリモコンの操作入力を受け付ける。

表示制御部１３３は、携帯端末１０に送信する選択領域の選択と、選択領域の画像を送信する携帯端末１０との選択入力を受け付けると、投射画像の画像データから選択領域の画像データ（以下、部分画像データと呼ぶ）を切り出す。部分画像データは、投射画像データの少なくとも一部分の画像データであり、投射画像データの全部であってもよい。また、表示制御部１３３は、部分画像データを切り出した投射画像データ中の位置を示す位置情報を記憶部１５１に記憶させる。位置情報は、携帯端末１０の備える表示パネル５２の表示領域と、液晶パネル１１２Ａのパネル面の領域との対応を定める対応情報に含まれる情報である。また、プロジェクター１００に複数の携帯端末１０Ａ，１０Ｂ，１０Ｃが接続されている場合、位置情報は、携帯端末１０Ａ，１０Ｂ，１０Ｃごとに設定されてもよい。また、例えば、携帯端末１０Ａと携帯端末１０Ｂといった複数の携帯端末１０に同一の位置情報を設定してもよい。この場合、携帯端末１０Ａと携帯端末１０Ｂとの表示パネル５２には、同一の部分画像データが表示されることとなる。
次に、表示制御部１３３は、切り出した部分画像データのサイズを変換する。表示制御部１３３は、第１部分画像データの送信相手となる携帯端末１０の具備する表示パネル５２の解像度情報を記憶部１５１から取得する。表示制御部１３３は、取得した解像度情報１５１２に従って、部分画像データを、携帯端末１０の備える表示パネル５２の解像度に適したサイズにサイズ変換を行う。表示制御部１３３は、サイズ変換した部分画像データを携帯端末１０に送信する。
なお、本実施形態では、表示制御部１３３は、投射画像データの一部分を切り出した部分画像データを生成して、生成した部分画像データのサイズを携帯端末１０の備える表示パネル５２の解像度に適したサイズにサイズ変換し、携帯端末１０に送信している。これ以外に、部分画像データの枠を表す枠画像データを生成して、携帯端末１０に送信してもよい。すなわち、枠画像データは、投射画像を含まない、画像の枠が示されたデータである。

携帯端末１０の表示制御部２１は、プロジェクター１００から部分画像データを受信すると、受信した部分画像データを表示部５１に出力して表示パネル５２に表示させる。
表示パネル５２に部分画像データが表示された状態で、表示パネル５２の接触操作がユーザーによって行われると、操作検出部５５は、操作位置を示す座標情報を制御部２０に出力する。表示制御部２１は、操作検出部５５から座標情報を入力すると、入力した座標情報に基づいて、タッチパネル特有の操作を検出する。例えば、表示パネル５２に対するピンチイン、ピンチアウト等の操作を検出する。表示制御部２１は、ピンチイン、ピンチアウト等、タッチパネル特有の操作を検出した場合には、検出した操作を示すタッチ操作情報と、操作検出部５５から入力した座標情報とを含む制御データを生成して通信制御部２２に渡す。また、表示制御部２１は、タッチパネル特有の操作を検出することができなかった場合には、操作検出部５５から入力した座標情報を含む制御データを通信制御部２２に渡す。通信制御部２２は、表示制御部２１から渡された制御データを、無線通信部４０を介してプロジェクター１００に送信する。

プロジェクター１００は、携帯端末１０から送信される制御データを無線通信部１５６で受信する。受信した制御データは、通信制御部１３２の制御により表示制御部１３３に渡される。表示制御部１３３は、取得した制御データから座標情報を取り出すと共に、記憶部１５１から解像度情報１５１２を読み出す。表示制御部１３３は、座標情報と、解像度情報１５１２とに基づいて、画像データ（以下、操作画像データと呼ぶ）を生成する。座標情報は、表示パネル５２（タッチスクリーン５３）の座標情報であるため、表示制御部１３３は、解像度情報１５１２を参照して、表示パネル５２の解像度で操作画像データを生成する。操作画像データは、表示パネル５２の表示面を接触操作したユーザーの指や電子ペン等の軌跡を表す画像データであり、例えば、文字や図形等が含まれる。表示制御部１３３は、操作画像データを生成すると、記憶部１５１から位置情報を読み出す。位置情報は、部分画像データを切り出した投射画像データ中の位置を示す情報である。表示制御部１３３は、操作画像データを位置情報と共に画像処理部１２５に渡す。
また、表示制御部１３３は、制御データにタッチ操作情報が含まれている場合には、タッチ操作情報に従って、投射画像データを拡大又は縮小させる指示を画像処理部１２５に出力する。

画像処理部１２５は、表示制御部１３３から取得した操作画像データを、液晶パネル１１２Ａの解像度に適したサイズにサイズ変換する。また、画像処理部１２５は、表示制御部１３３から取得した位置情報に従って、サイズ変換された操作画像データを投射画像データ上に重畳させる。画像処理部１２５は、投射画像データ中の部分画像データの切り出し位置に、操作画像データが重畳されるようにフレームメモリー１２６への描画を行う。また、画像処理部１２５は、表示制御部１３３から投射画像データを拡大又は縮小させる指示を入力した場合には、フレームメモリー１２６に描画された投射画像データの画像サイズを、指示に従って拡大又は縮小させる処理を行う。その後、投射制御部１３１の制御により、フレームメモリー１２６に描画された画像データが光変調装置１１２の液晶パネル１１２Ａに描画され、描画された画像が投射光学系１１３を介して、スクリーンＳＣ上に投射画像として投射される。これにより、例えば、図５に示すように携帯端末１０Ｂから送信された第２部分画像データが、投射画像データの回答欄Ｈに表示される。

次に、図６に示すフローチャートを参照しながら本実施形態の処理手順を説明する。
ユーザーは、まず、携帯端末１０を操作して記憶部３０に記憶された画像投射のためのアプリケーションプログラム３１を起動させる。ユーザーの操作を受け付けると、制御部２０は、記憶部３０からアプリケーションプログラム３１を読み出して実行する。アプリケーションプログラム３１が起動されると、携帯端末１０とプロジェクター１００とは互いの通信を確立すべく無線通信を実行する。携帯端末１０とプロジェクター１００との接続は、例えば、アプリケーションプログラム３１の起動時にユーザーが指定するプロジェクター１００を特定して接続する構成であってもよい。また、携帯端末１０とプロジェクター１００との接続は、無線信号の送受信が可能なプロジェクター１００を自動で検出して接続する構成であってもよい。このように、ユーザーの携帯端末１０での操作に基づいて、まず、携帯端末１０とプロジェクター１００との接続が確立される（ステップＳ１、Ｓ１１）。このとき、携帯端末１０の通信制御部２２は、無線通信部４０を制御して、携帯端末１０の個体を特定する端末識別情報をプロジェクター１００に送信する（ステップＳ１２）。プロジェクター１００の制御部１３０は、携帯端末１０から送信される情報を受信し、受信した情報を端末識別情報１５１１として記憶部１５１に記憶させる（ステップＳ２）。

携帯端末１０との接続が確立され、携帯端末１０から端末識別情報１５１１を受信すると、プロジェクター１００は、携帯端末１０に、携帯端末１０の解像度情報の取得要求を送信する（ステップＳ３）。解像度情報には、表示パネル５２の画面の縦横の画素数、アスペクト比等の情報が含まれる。携帯端末１０の通信制御部２２は、プロジェクター１００から取得要求を受信すると（ステップＳ１３）、受信した取得要求に従って、解像度情報をプロジェクター１００に送信する（ステップＳ１４）。プロジェクター１００の通信制御部１３２は、無線通信部１５６で受信した情報を解像度情報１５１２として記憶部１５１に記憶させる（ステップＳ４）。

次に、プロジェクター１００の表示制御部１３３は、携帯端末１０に送信する部分画像データを生成する（ステップＳ５）。例えば、表示制御部１３３は、図４に示す操作枠２００を表す画像を生成して、投射画像に重畳させてスクリーンＳＣに投射させる。ユーザーによる操作パネル１５５又はリモコンの操作によって、携帯端末１０に送信する投射画像の領域が選択されると、表示制御部１３３は、投射画像の画像データから、選択された領域を切り出して、部分画像データを生成する。また、表示制御部１３３は、携帯端末１０から取得した解像度情報に従って、部分画像データを、携帯端末１０の備える表示パネル５２の解像度に適したサイズにサイズ変換を行う。表示制御部１３３は、サイズ変換した部分画像データを携帯端末１０に送信する（ステップＳ６）。携帯端末１０は、プロジェクター１００から送信された部分画像データを無線通信部４０により受信する（ステップＳ１５）。携帯端末１０は、受信した部分画像データを表示制御部２１の制御により表示パネル５２に表示させる（ステップＳ１６）。

部分画像データを表示パネル５２に表示させると、携帯端末１０は、表示パネル５２に対するユーザーの接触操作を操作検出部５５で検出する。操作検出部５５は、操作位置を示す位置信号をタッチスクリーン５３から入力することで、表示パネル５２への接触操作を検出する（ステップＳ１７）。操作検出部５５は、位置信号を入力すると（ステップＳ１７／ＹＥＳ）、位置信号に応じた座標情報を生成して、制御部２０に出力する。表示制御部２１は、操作検出部５５から座標情報を入力すると、入力した座標情報に基づいて、タッチパネルの操作に特有の操作を検出する。表示制御部２１は、ピンチイン、ピンチアウト等の操作を検出した場合には、検出した操作を示すタッチ操作情報を生成し、生成したタッチ操作情報と操作検出部５５から入力した座標情報とを含む制御データを生成して（ステップＳ１８）、通信制御部２２に渡す。また、表示制御部２１は、ピンチイン、ピンチアウト等の操作を検出しなかった場合には、操作検出部５５から入力した座標情報を含む制御データを生成して（ステップＳ１８）、通信制御部２２に渡す。通信制御部２２は、表示制御部２１から渡された制御データを、無線通信部４０を介してプロジェクター１００に送信する（ステップＳ１９）。制御データの送信が終了すると、制御部２０は、アプリケーションプログラム３１を終了させる終了操作を入力したか否かを判定する（ステップＳ２０）。終了操作を入力した場合(ステップＳ２０／ＹＥＳ)、制御部２０は、この処理フローを終了させる。また、終了操作を入力していない場合（ステップＳ２０／ＮＯ）、制御部２０は、ステップＳ１７に戻り、接触操作の検出を再度行う（ステップＳ１７）。

プロジェクター１００は、携帯端末１０から送信される制御データを無線通信部１５６で受信する（ステップＳ７）。無線通信部１５６で受信した制御データは、表示制御部１３３に渡される。表示制御部１３３は、取得した制御データから座標情報を取り出し、取り出した座標情報に基づいて操作画像データを生成する（ステップＳ８）。表示制御部１３３は、操作画像データを生成すると、記憶部１５１から位置情報を読み出す。表示制御部１３３は、操作画像データを位置情報と共に画像処理部１２５に渡す。また、表示制御部１３３は、制御データにタッチ操作情報が含まれている場合には、タッチ操作情報に従って、投射画像データを拡大又は縮小させる指示を画像処理部１２５に出力する。
画像処理部１２５は、表示制御部１３３から取得した操作画像データを、液晶パネル１１２Ａの解像度に適したサイズにサイズ変換する。また、画像処理部１２５は、表示制御部１３３から取得した位置情報に従って、サイズ変換された操作画像データを投射画像データ上に重畳させる。画像処理部１２５は、投射画像データ中の部分画像データの切り出し位置に、操作画像データが重畳されるようにフレームメモリー１２６への描画を行う。また、画像処理部１２５は、表示制御部１３３から投射画像データを拡大又は縮小させる指示を入力した場合には、フレームメモリー１２６に描画された投射画像データの画像サイズを、指示に従って拡大又は縮小させる処理を行う。その後、投射制御部１３１の制御により、フレームメモリー１２６に描画された画像データが光変調装置１１２の液晶パネル１１２Ａに描画され、描画された画像が投射光学系１１３を介して、スクリーンＳＣ上に投射画像として投射される（ステップＳ９）。
次に、プロジェクター１００の制御部１３０は、携帯端末１０との接続が解消されたか否かを判定する（ステップＳ１０）。携帯端末１０との接続が解消されたと判定すると（ステップＳ１０／ＹＥＳ）、制御部１３０は、この処理フローを終了する。また、携帯端末１０との接続が解消されていないと判定すると（ステップＳ１０／ＮＯ）、制御部１３０は、ステップＳ７に戻り、携帯端末１０からのデータ受信を待機する（ステップＳ７）。

以上説明したように本実施形態は、携帯端末１０の表示パネル５２が接触操作されると、携帯端末１０が、この接触操作の操作位置を示す座標情報を生成して、プロジェクター１００に送信する。プロジェクター１００は、携帯端末１０から送信された座標情報に基づく画像を生成して、スクリーンＳＣに投射させる。携帯端末１０は、接触操作の操作位置を示す座標情報を生成してプロジェクター１００に送信すればよいので、携帯端末１０の処理負荷を軽減することができる。

［第２実施形態］
上述した第１実施形態では、携帯端末１０は、タッチスクリーン５３の座標を示す座標情報をそのままプロジェクター１００に送信していた。そして、プロジェクター１００で、この座標情報に基づく操作画像を生成して、液晶パネル１１２Ａの仕様に適合した解像度のデータに変換していた。本実施形態は、携帯端末１０がプロジェクター１００の液晶パネル１１２Ａの解像度に応じた座標情報を生成してプロジェクター１００に送信する。本実施形態の詳細について以下に説明する。

プロジェクター１００の表示制御部１３３は、部分画像データを生成すると、生成した部分画像データを、表示パネル５２の解像度に適したサイズにサイズ変換することなく、そのまま携帯端末１０に送信する。具体的には、表示制御部１３３は、部分画像データに、部分画像データの原点位置を示す情報を付加して携帯端末１０に送信する。
なお、表示制御部１３３は、部分画像データに代えて、部分画像データの枠を表す枠画像データを生成して、携帯端末１０に送信してもよい。すなわち、枠画像データは、投射画像を含まず、部分画像データのサイズ（画像の縦横の画素数やアスペクト比）を携帯端末１０が認識できるデータであればよい。

携帯端末１０の表示制御部２１は、プロジェクター１００から部分画像データを受信すると、受信した部分画像データを記憶部３０に記憶させる。また、表示制御部２１は、記憶部３０に記憶させた部分画像データに基づいて、タッチスクリーン５３上の座標を、部分画像データ上の座標に変換する座標変換テーブルを生成する。まず、表示制御部２１は、受信した部分画像データから、当該部分画像データの縦、横それぞれの画素数を求める。次に、表示制御部２１は、求めた部分画像データの縦、横の画素数及び原点位置と、表示パネル５２の表示画面の縦、横の画素数とに基づいて、タッチスクリーン５３上の座標を、部分画像データ上の座標に変換する座標変換テーブルを生成する。図７に、座標変換テーブルの一例を示す。図７に示す座標変換テーブルは、表示パネル５２の縦方向座標（Ｙ１，Ｙ２，Ｙ３，・・・）及び横方向座標（Ｘ１，Ｘ２，Ｘ３，・・・）を、対応する部分画像データの縦方向座標及び横方向座標に対応付けて登録している。

また、携帯端末１０の表示制御部２１は、操作検出部５５からタッチスクリーン５３上の座標を示す座標情報が入力されると、座標変換テーブルを参照して、入力した座標情報が示すタッチスクリーン５３上の座標を、部分画像データ上の座標に変換する。表示制御部２１は、変換した座標情報を含む制御データを生成して通信制御部２２に渡す。通信制御部２２は、無線通信部４０を制御して、表示制御部２１から渡された制御データをプロジェクター１００に送信する。

プロジェクター１００の表示制御部１３３は、携帯端末１０から座標情報を取得すると、取得した座標情報に基づいて操作画像データを生成する。なお、ここで生成される操作画像データは、プロジェクター１００から携帯端末１０に送信した部分画像データ上の座標に基づく画像データである。表示制御部１３３は、操作画像データを生成すると、生成した操作画像データを位置情報と共に画像処理部１２５に渡す。
画像処理部１２５は、表示制御部１３３から取得した位置情報に従って、操作画像データを投射画像データ上に重畳させる。画像処理部１２５は、投射画像データ中の部分画像データの切り出し位置に、操作画像データが重畳されるようにフレームメモリー１２６への描画を行う。その後、投射制御部１３１の制御により、フレームメモリー１２６に描画された画像データが光変調装置１１２の液晶パネル１１２Ａに描画され、描画された画像が投射光学系１１３を介して、スクリーンＳＣ上に投射画像として投射される。

本実施形態においても、携帯端末１０の表示パネル５２が接触操作されると、携帯端末１０が、この接触操作の操作位置を示す座標情報を生成して、プロジェクター１００に送信する。携帯端末１０は、接触操作の操作位置を示す座標情報を生成してプロジェクター１００に送信すればよいので、入力装置の処理負荷を軽減することができる。

以上説明したように表示システム１は、携帯端末１０とプロジェクター１００とを備えている。携帯端末１０は、タッチスクリーン５３に対する操作を検出する操作検出部５５と、タッチスクリーン５３における操作位置を示す座標情報を生成する表示制御部１３３と、座標情報をプロジェクター１００に送信する無線通信部４０とを備えている。プロジェクター１００は、座標情報を受信する無線通信部１５６と、受信した座標情報に基づく画像を生成して、スクリーンＳＣに表示させる表示制御部１３３とを備えている。従って、携帯端末１０の処理負荷を軽減することができる。

表示システム１において、プロジェクター１００は、携帯端末１０の備える表示パネル５２の表示領域と、液晶パネル１１２Ａのパネル面の領域との対応を定める対応情報を記憶した記憶部３０を有している。表示制御部１３３は、対応情報に従って座標情報に基づく画像を生成して液晶パネル１１２Ａのパネル面に表示させ、スクリーンＳＣに画像を投射している。従って、プロジェクター１００において、携帯端末１０から送信された座標情報に基づく画像を、対応情報に従って生成し、スクリーンＳＣに表示させることができる。

表示システム１において、プロジェクター１００は、携帯端末１０に、画像データを送信する無線通信部１５６を備えている。また、携帯端末１０は、画像データを受信する無線通信部４０と、受信した画像データに基づく画像を、タッチスクリーン５３に重ねて配置された表示パネル５２に表示させる表示部５１とを有している。従って、画像が表示された表示パネル５２に対して操作を行うことで、タッチスクリーン５３に対する操作を行うことができ、携帯端末１０において直感的な操作が可能となる。

表示システム１において、プロジェクター１００は、画像データとして、スクリーンＳＣに表示された画像の少なくとも一部分の画像データを携帯端末１０に送信する。従って、スクリーンＳＣに表示された画像の一部の画像データを携帯端末１０において表示することができる。

表示システム１において、プロジェクター１００は、スクリーンＳＣに表示された画像から選択された一部の画像に対応する画像データを携帯端末１０に送信する。従って、スクリーンＳＣに表示された画像から選択された一部の画像を携帯端末１０において表示することができる。

表示システム１において、プロジェクター１００は、座標情報に基づく画像を表示させる、液晶パネル１１２Ａのパネル面の領域を表す画像データを、携帯端末１０に送信する。従って、画像を表示させる液晶パネル１１２Ａのパネル面の領域を表す画像データを携帯端末１０において表示させることができる。

表示システム１において、表示制御部１３３は、座標情報が、画像を拡大又は縮小させる操作情報である場合に、スクリーンＳＣに表示させる画像を操作情報に応じて拡大又は縮小させる。従って、携帯端末１０からの操作により、スクリーンＳＣに表示された画像を拡大又は縮小させることができる。

上述した実施形態は、本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。例えば、上記各実施形態では、スクリーンＳＣの前方から投射するフロントプロジェクション型のプロジェクター１００を表示装置の一例として示したが、本発明はこれに限定されない。例えば、スクリーンＳＣの背面側から投射するリアプロジェクション（背面投射）型のプロジェクターを表示装置として採用できる。また、液晶表示パネルに画像を表示する液晶モニターまたは液晶テレビを表示装置として採用してもよい。ＰＤＰ（プラズマディスプレイパネル）、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を表示装置として用いてもよい。また、ＯＬＥＤ（Organic light-emitting diode）、ＯＥＬ（Organic Electro Luminescence）ディスプレイ等と呼ばれる有機ＥＬ表示パネルに画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置を採用してもよい。これらの表示装置を備えた構成において本発明を適用した場合も、上記実施形態と同様に、有用な効果が得られる。
また、本発明の入力装置は、上記各実施形態では、入力装置として、ユーザーが手に持って操作する小型の装置である携帯端末１０を例に挙げて説明したが、本発明はこれに限定されない。すなわち、上記実施形態の携帯端末１０は、ユーザーが手指を接触させて操作が可能なタッチスクリーン５３と表示パネル５２とを備えることで、直感的な操作が可能であり、高い操作性を有するという利点がある。その一方で、第２表示面と操作面とを備える装置であれば本発明を適用可能であり、例えば携帯型ゲーム機、音楽や映像を再生する携帯型再生装置、表示画面を有するリモコン装置等を入力装置とすることができる。

また、図２及び図３に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、表示システム１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

１…表示システム、１０…携帯端末（入力装置、外部の装置）、２０…制御部、２１…表示制御部、２２…通信制御部、３０…記憶部、４０…無線通信部（送信部、受信部）、５１…表示部、５２…表示パネル（第２表示面）、５３…タッチスクリーン（操作面）、５５…操作検出部（検出部）、１００…プロジェクター（表示装置）、１１０…投射部、１１２Ａ…液晶パネル、１２５…画像処理部、１２６…フレームメモリー、１３０…制御部、１３１…投射制御部、１３２…通信制御部、１３３…表示制御部、１５１…記憶部、１５３…入力処理部、１５６…無線通信部（送信部、受信部）、１５１１…端末識別情報、１５１２…解像度情報。

Claims (9)

1. 入力装置と、表示装置とを有する表示システムであって、
   前記入力装置は、
   操作面に対する操作を検出して、前記操作面における操作位置を示す座標情報を生成する生成部と、
   前記生成部が生成した座標情報を送信する送信部と、を備え、
   前記表示装置は、
   前記座標情報を受信する受信部と、
   光変調装置と、
   前記受信部で受信した前記座標情報に基づいて第１表示面に表示する画像を前記光変調装置に生成させ、前記第１表示面に表示させる表示制御部と、
   前記入力装置の備える第２表示面の表示領域と、前記光変調装置との対応を定める対応情報を記憶した記憶部と、を備え、
   前記表示制御部は、前記対応情報に従って前記座標情報に基づく画像を前記光変調装置に生成させ、前記第１表示面に表示させることを特徴とする表示システム。
2. 前記対応情報は、前記第２表示面の表示領域の解像度と、前記光変調装置の解像度との対応を定める解像度情報を含むことを特徴とする請求項１記載の表示システム。
3. 前記表示装置は、前記入力装置に、画像データを送信する送信部を備え、
   前記入力装置は、前記画像データを受信する受信部と、
   前記受信部で受信した前記画像データに基づく画像を、前記操作面に重ねて配置された前記第２表示面に表示する表示部と、を有することを特徴とする請求項１または２記載の表示システム。
4. 前記表示装置は、前記画像データとして、前記第１表示面に表示された画像の少なくとも一部分の画像データを前記入力装置に送信することを特徴とする請求項３記載の表示システム。
5. 前記表示装置は、前記第１表示面に表示された画像から選択された一部の画像に対応する画像データを前記入力装置に送信することを特徴とする請求項４記載の表示システム。
6. 前記表示装置は、前記座標情報に基づく画像を表示させる、前記第１表示面の表示領域を表す画像データを、前記画像データとして前記入力装置に送信することを特徴とする請求項３記載の表示システム。
7. 前記表示制御部は、前記座標情報が、画像を拡大又は縮小させる操作情報である場合に、前記第１表示面に表示させた画像を前記操作情報に応じて拡大又は縮小させることを特徴とする請求項１から６のいずれか一項記載の表示システム。
8. 画像データに基づく画像を第１表示面に表示させる表示装置であって、
   外部の装置から送信される、前記外部の装置の備える第２表示面における座標情報を受信する受信部と、
   光変調装置と、
   前記第２表示面の表示領域と、前記光変調装置との対応を定める対応情報を記憶した記憶部と、
   前記対応情報に従って、前記座標情報に基づく画像を前記光変調装置に生成させて、前記第１表示面に表示させる表示制御部と、
   を備えることを特徴とする表示装置。
9. 入力装置と、表示装置とを有する表示システムにおける表示制御方法であって、
   前記入力装置において、操作面に対する操作を検出して、前記操作面における操作位置の座標情報を生成する生成ステップと、
   前記生成ステップにおいて生成した座標情報を送信する送信ステップと、を有し、
   前記表示装置において、前記座標情報を受信する受信ステップと、
   前記操作面と、前記表示装置の光変調装置との対応を定める対応情報を記憶する記憶ステップと、
   前記受信ステップにおいて受信した前記座標情報と、前記記憶ステップにおいて記憶した前記対応情報に基づく画像を生成して、第１表示面に表示させる表示ステップと、を有することを特徴とする表示制御方法。

Images