JP2013137472A - Projector - Google Patents
Projector Download PDFInfo
- Publication number
- JP2013137472A JP2013137472A JP2011289291A JP2011289291A JP2013137472A JP 2013137472 A JP2013137472 A JP 2013137472A JP 2011289291 A JP2011289291 A JP 2011289291A JP 2011289291 A JP2011289291 A JP 2011289291A JP 2013137472 A JP2013137472 A JP 2013137472A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- projection
- user
- image
- operation menu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Details Of Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Selective Calling Equipment (AREA)
- Projection Apparatus (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、投影装置に関する。 The present invention relates to a projection apparatus.
従来より、照明器具などの機器を操作するために、使用者の手足が届く位置に仮想リモコンを投影し、この投影された仮想リモコンの仮想キーに対するユーザの操作(指差し等)に応じて照明器具を制御することが提案されていた(例えば、特許文献1)。 Conventionally, in order to operate a device such as a lighting fixture, a virtual remote controller is projected at a position where the user's limbs can reach, and illumination is performed according to a user operation (pointing or the like) on the virtual key of the projected virtual remote controller. It has been proposed to control the instrument (for example, Patent Document 1).
しかしながら、従来の提案は、使用者の手足が届く位置に仮想リモコンを投影するというものに留まっており、必ずしも使い勝手の良いものではなかった。 However, the conventional proposals are limited to projecting the virtual remote controller at a position where the user's limbs can reach, and are not always easy to use.
本発明は上記の課題に鑑みてなされたものであり、使い勝手の良い投影装置を提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object thereof is to provide an easy-to-use projection apparatus.
本発明の投影装置は、第1機器(90)を使用しているユーザを撮像可能な撮像部(94)と、前記撮像部の撮像結果に基づいて、前記第1機器とは異なる2機器(80)に関する情報を投影する投影部(10)と、を備えている。 The projection apparatus of the present invention includes an imaging unit (94) capable of imaging a user who is using the first device (90), and two devices different from the first device based on the imaging result of the imaging unit ( 80) for projecting information on 80).
この場合において、前記第1機器を使用している前記ユーザの音声に関する情報を検出する音声検出部(71)を備え、前記投影部は、前記音声検出部の検出結果に基づいて、前記第2機器に関する情報を投影することとしてもよい。また、前記音声検出部は、音声の言葉遣いに関する情報を検出することとしてもよい。また、前記撮像部は、前記投影部により投影された前記第2機器に関する情報に対するユーザの手または足を撮像することとしてもよい。この場合、前記撮像部の撮像結果に基づいて前記第2機器と通信する通信部(60)を備えていてもよい。また、前記投影部は、前記第2機器に関する情報を投影した後、前記通信部が前記第2機器と所定時間通信を行わなかった場合に、前記第2機器に関する情報の投影を終了することとしてもよい。 In this case, a voice detection unit (71) that detects information related to the voice of the user who is using the first device is provided, and the projection unit is configured to detect the second based on a detection result of the voice detection unit. Information on the device may be projected. In addition, the voice detection unit may detect information related to voice wording. The imaging unit may capture a user's hand or foot with respect to information related to the second device projected by the projection unit. In this case, you may provide the communication part (60) which communicates with a said 2nd apparatus based on the imaging result of the said imaging part. In addition, after projecting information about the second device, the projection unit ends projection of information about the second device when the communication unit does not communicate with the second device for a predetermined time. Also good.
また、本発明の投影装置では、前記撮像部は、前記ユーザの顔を撮像し、前記投影部は、前記顔の撮像結果に基づいて、前記第2機器に関する情報を投影することとしてもよい。前記ユーザが前記第1機器を使用している時間を計測する計測部(70)を備え、前記投影部は、前記計測部の計測結果に基づいて、前記第2機器に関する情報を投影することとしてもよい。また、前記投影部は、前記第2機器に関する情報に加えて、前記第1機器に関する情報を投影することとしてもよい。また、前記第1機器が使用されている際に駆動している機器を検出する検出部(60)を備えていてもよい。更に、前記音声検出部は、前記第1機器を使用しているユーザの会話内容に関する情報を検出し、前記投影部は、前記会話内容に関する情報に応じた情報を投影することとしてもよい。 In the projection device of the present invention, the imaging unit may image the user's face, and the projection unit may project information on the second device based on the imaging result of the face. It is provided with a measurement unit (70) that measures the time that the user is using the first device, and the projection unit projects information on the second device based on the measurement result of the measurement unit. Also good. The projection unit may project information related to the first device in addition to information related to the second device. Moreover, you may provide the detection part (60) which detects the apparatus which is driving when the said 1st apparatus is used. Further, the voice detection unit may detect information related to a conversation content of a user using the first device, and the projection unit may project information corresponding to the information related to the conversation content.
本発明の投影装置は、第1機器(90)を使用しているユーザの状態を検出する検出部(70)と、前記検出部の検出結果に応じて、少なくとも前記第1機器とは異なる第2機器(80)に関する情報を投影する投影部(10)と、を備える。 The projection apparatus according to the present invention includes a detection unit (70) that detects a state of a user who is using the first device (90), and at least a first device different from the first device according to a detection result of the detection unit. A projection unit (10) that projects information on two devices (80).
なお、本発明をわかりやすく説明するために、上記においては各実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。 In addition, in order to explain the present invention in an easy-to-understand manner, the above description has been made in association with the reference numerals of the drawings representing the embodiments. However, the present invention is not limited to this, and the configuration of the embodiments described later is provided. May be modified as appropriate, or at least a part thereof may be replaced with another component. Further, the configuration requirements that are not particularly limited with respect to the arrangement are not limited to the arrangement disclosed in the embodiment, and can be arranged at a position where the function can be achieved.
本発明は、使い勝手のよい投影装置を提供することができるという効果を奏する。 The present invention has an effect that it is possible to provide an easy-to-use projection apparatus.
《第1の実施形態》
以下、第1の実施形態について、図1〜図6に基づいて詳細に説明する。図1は、本第1の実施形態の投影・機器制御システム100の概略構成を示す図である。
<< First Embodiment >>
Hereinafter, the first embodiment will be described in detail with reference to FIGS. FIG. 1 is a diagram showing a schematic configuration of a projection /
図1に示すように、投影・機器制御システム100は、リビングの天井に設けられ、テーブル200の上面や床の上に、テレビ210、エアコン220、照明機器230などの電子機器80を操作するための操作メニュー画像を投影する。また、投影・機器制御システム100は、操作メニュー画像に対するユーザの操作(ジェスチャー)があった場合に、当該操作に応じた電子機器80の制御を実行する。
As shown in FIG. 1, the projection /
図2は、投影・機器制御システム100のブロック図である。投影・機器制御システム100は、図2に示すように、投影部10と、画像システム部20と、センサ部30と、ジェスチャー認識部40と、フラッシュメモリ50と、通信部60と、CPU70と、を備える。以下、各部について詳細に説明する。
FIG. 2 is a block diagram of the projection /
(投影部10)
投影部10は、光源11と、照明光学系12と、光変調素子13と、投射光学系14と、投影画像調整部15と、メニュー表示部16と、を有する。なお、投影部10の設置数は、リビングの広さやレイアウトに応じて決定することができる。
(Projector 10)
The
光源11は、例えば光を出射するランプである。照明光学系12は、光源11から出射された光束を光変調素子13に照明する。光変調素子13は、例えば液晶パネルであり、テーブル200の上面などに投影する画像(メニュー表示部16から入力される画像データに基づく画像(後述))を生成する。投射光学系14は、光変調素子13からの光束をテーブル200上面や床に向けて投射する光学系であり、投影する像の大きさを調整するズームレンズと、フォーカス位置を調整するフォーカスレンズとを有する。なお、ズームレンズやフォーカスレンズに含まれるレンズの位置は、不図示のアクチュエータにより調整される。
The light source 11 is, for example, a lamp that emits light. The illumination
投影画像調整部15は、画像システム部20の撮像結果やセンサ部30の検出結果に基づいて、テーブル200や床に向けて投影する画像の領域(大きさ)や、距離を決定するものである。投影画像調整部15は、決定した画像の領域(大きさ)や距離に応じて、不図示のアクチュエータを制御し、投射光学系14のズームレンズやフォーカスレンズに含まれるレンズの位置を調整する。また、投影画像調整部15は、テーブル200上面や床の色や明るさに応じてコントラスト処理、投影するメニューの色の調整(変更)、及び光源11の輝度を調整する。また、投影画像調整部15は、表示する画像の内容(アイコンの配置など)に関する設定も行う。
The projection
メニュー表示部16は、画像システム部20の撮像結果やセンサ部30の検出結果に基づいて、テーブル200上面や床などに向けて電子機器80を操作するための操作メニュー画像を投射光学系14を介して表示する。
The
図3(a)〜図3(d)には、メニュー表示部16が投射光学系14を介して表示する操作メニュー画像17の一例が示されている。メニュー表示部16が表示する操作メニュー画像17は、階層構造(図3(a)〜図3(d)の画像が操作に応じて表示される構造)となっている。
FIGS. 3A to 3D show an example of the
図3(a)は、初期メニュー画像(最初に投影する操作メニュー画像)である。この図3(a)の初期メニュー画像には、操作する電子機器80を選択するためのアイコン171、画像の拡大・縮小を行うためのアイコン172、及び投影の終了(“戻る”を意味する)アイコン173が含まれている。図3(a)では、電子機器80を選択するためのアイコン171として、図1のリビングに配置された機器に対応した照明機器、エアコン、テレビのアイコンが表示されている。なお、図3(a)では、ユーザが直感的に電子機器80を選択できるように、部屋のレイアウト(上下関係)に応じてアイコンが表示される。具体的には、一番上に照明機器230、次にエアコン220、一番下にテレビ210のアイコンが表示されている。この場合、一般的なレイアウト(照明は最も上であることが多く、照明よりも下にエアコンがあり、床に近いところにテレビがある、などのレイアウト)から電子機器80の位置が特定できる場合と、特定できない場合とがある。電子機器80の位置が特定できない場合には、フラッシュメモリ50に各電子機器80の位置を予め登録しておいてもよい。また、後述するように電子機器80との通信結果からその位置を特定するようにしてもよい。なお、アイコンの配置等については、CPU70が設定するものとする。
FIG. 3A shows an initial menu image (an operation menu image to be projected first). The initial menu image in FIG. 3A includes an
図3(b)は、図3(a)の初期メニュー画像において照明機器のアイコンを選択した場合に表示される操作メニュー画像である。この図3(b)の操作メニュー画像には、照明機器の表示とともに、拡大・縮小のアイコン181、ON、OFFスイッチのアイコン182、アップダウンスイッチのアイコン183、戻ることを示すアイコン184が含まれている。なお、アップダウンスイッチのアイコン183は、照明機器230の照度を調整するためのアイコンである。
FIG. 3B is an operation menu image displayed when the icon of the lighting device is selected in the initial menu image of FIG. The operation menu image of FIG. 3B includes a display of lighting equipment, an enlargement /
図3(c)は、エアコンを選択した場合に表示される操作メニュー画像である。この図3(c)の操作メニュー画像には、エアコンの表示、拡大・縮小のアイコン191、ON、OFFスイッチのアイコン192、アップダウンスイッチのアイコン193、戻ることを示すアイコン194、モード切換え(冷房、暖房、除湿など)を示すアイコン195が含まれている。アップダウンスイッチのアイコン193は、設定されたモードに応じた調整(設定温度、設定湿度の変更など)を行うためのアイコンである。
FIG. 3C is an operation menu image displayed when an air conditioner is selected. The operation menu image in FIG. 3C includes an air conditioner display, an enlargement /
図3(d)は、テレビを選択した場合に表示される操作メニュー画像である。この図3(d)に示す操作メニュー画像には、テレビの表示、拡大・縮小のアイコン161、ON、OFFスイッチのアイコン162、アップダウンスイッチのアイコン163、戻ることを示すアイコン164、モード切換え(チャンネル、音量など)を示すアイコン165が含まれている。アップダウンスイッチのアイコン163は、設定されたモードに応じた調整(チャンネル変更、音量設定など)を行うためのアイコンである。
FIG. 3D is an operation menu image displayed when the television is selected. The operation menu image shown in FIG. 3D includes a television display, an enlargement /
図3(b)〜図3(d)に示すように、メニュー表示部16が表示する各電子機器80の操作メニュー画像は、その一部(例えば、拡大・縮小のアイコン、ON、OFFスイッチのアイコン、アップダウンスイッチのアイコン、戻ることを示すアイコン)が共通となっている。これにより、ユーザは、選択された電子機器80の種類が異なる場合にも違和感なく操作することが可能である。
As shown in FIGS. 3B to 3D, the operation menu image of each
(画像システム部20)
図2に戻り、画像システム部20は、リビング内のユーザが操作メニュー画像の投影を要求しているかどうかを認識したり、投影部10による操作メニュー画像17の投影に先立ち、リビング内を撮像して操作メニュー画像17を投影すべき場所を決定したりするものである。画像システム部20は、図2に示すように、撮像部21と、画像比較部22と、を有する。
(Image system unit 20)
Returning to FIG. 2, the
撮像部21は、撮影レンズと撮像素子とを含み、リビングの天井からリビング内の構造物およびユーザを撮像する。撮影レンズとしてはリビングの大きさに応じた広角レンズ(例えば、リビング全体を撮像可能な広角レンズ)を用いればよい。なお、撮像部21の数は1つに限らず、リビングの大きさに応じた数(複数)としてもよい。また、撮像部21を不図示のアクチュエータにより2次元に駆動することによりリビング内を撮像してもよい。撮像素子としては、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)を採用することができる。撮像素子は、RGB3原色がベイヤー配列されたカラーフィルタを有しており、各色それぞれに対応した色信号を得ることができる。なお、画像システム部20による撮像は静止画でも動画でもその組み合わせでもよい。
The
なお、撮像部21は、投影部10と一体的に設けてもよいし、独立して設けてもよい。いずれの場合であっても、撮像部21と投影部10との機械的な位置関係がわかっていればよく、当該位置関係は、フラッシュメモリ50等にシステム定数として記憶しておけばよい。
The
画像比較部22は、リビングのリファレンス画像(図4(a)参照)と、撮像部21が撮像した画像(図4(b)参照)とを比較するものである。リビングのリファレンス画像は、フラッシュメモリ50に記憶されている画像であり、例えばリビング内全体が撮像された画像である。なお、レイアウトの変更や、季節の模様替えに応じてリファレンス画像を変更することとしてもよい。この場合、ユーザの指示の下、リファレンス画像を変更してもよいし、例えば、エアコンの設定変更(暖房と冷房の切り替え)に基づいて季節の変わり目が検出された場合に、リファレンス画像を自動で更新するようにしてもよい。なお、フラッシュメモリ50には、危険物(カッターや包丁、ポットややかんなど)の各種画像も記憶されているものとする。
The image comparison unit 22 compares the living reference image (see FIG. 4A) with the image captured by the imaging unit 21 (see FIG. 4B). The living reference image is an image stored in the
画像比較部22は、撮像部21が撮像した画像と、リファレンス画像とを比較し、撮像部21が撮像した画像がリファレンス画像と同じかどうかを判定する。また、画像比較部22は、撮像部21が撮像した画像と、危険物の各種画像とを比較し、撮像した画像に危険物の画像が含まれているか否か、及びどこに危険物があるかを判定する。
The image comparison unit 22 compares the image captured by the
なお、撮像部21が撮像したユーザの位置に基づいて、投影部10が操作メニュー画像17を投影する場合、ユーザが立っているか座っているかにより、投影する場所を床にすべきかテーブルにすべきかが異なる。このような場合に対応するため、CPU70は、特開2011−141730号に記載されているように、撮像画像中の頭の大きさ(撮像部21とユーザの頭との距離に応じて変化)に基づいて、ユーザが立っているか座っているかを判断することとしてもよい。具体的には、ユーザが立っている場合には、撮像部21とユーザの頭との距離は近づくのでユーザの頭は大きく撮像される。一方、ユーザが座っている場合には立っている場合に比べて、撮像部21とユーザの頭との距離は離れるのでユーザの頭は小さく撮像される。したがって、CPU70は、撮像部21が撮像した頭の大きさに応じてユーザの姿勢を判断し、投影部10は、当該判断結果に基づいて、床とテーブルのいずれかに操作メニュー画像17を投影するようにすればよい。なお、ユーザの身長や頭の大きさなどの情報をフラッシュメモリ50に記憶しておき、これらの情報を用いて、ユーザが立っているか座っているかをCPU70が判断することとしてもよい。なお、CPU70は、頭の大きさに代えて、撮像画像中のユーザの肩幅の広さに基づいて、ユーザが立っているか座っているかを判断することとしてもよい。
When the
(センサ部30)
センサ部30は、図2に示すように、温度(熱量)検出部31及び距離センサ32を有している。
(Sensor part 30)
As shown in FIG. 2, the
温度検出部31は、赤外線センサと、リビングの所定領域の温度(熱量)を赤外線センサにより検出するために赤外線センサを例えば2次元に駆動するアクチュエータと、赤外線センサが検出した温度のうち所定以上の温度(たとえば40度以上)を検出する設定温度検出部とを備えている。本第1の実施形態において、温度検出部31によりリビング内の所定以上の温度を検出するのは、例えばテーブルに高温の鍋が置かれている場合に、投影部10が、その高温部分およびその近傍に操作メニュー画像17を投影してしまうのを防止するためである。
The
なお、温度検出部31により人間の表面温度を検出してユーザがいる場所を検出するようにしてもよい。この場合、リビングにユーザがいることを検出した時点から投影・機器制御システム100を起動するようにしてもよい。ただし、このような起動制御を行う場合には、リビングの扉の開閉動作に応じて赤外線センサオンにするか、赤外線センサを常時駆動しておく必要がある。
Note that the
距離センサ32は、例えば超音波センサを含んでおり、床やテーブルの上に小型の携帯機器や玩具などといった段差を生じるものが置かれているかどうかを検出するものである。本第1の実施形態において段差検出を行うこととしているのは、投影部10が、段差がある部分に操作メニュー画像を投影してしまうのを防止するためである。
The
なお、前述した画像比較部22が、リファレンス画像(段差のない画像)と、撮像部21が撮像した画像とを比較して段差検出を行ってもよい。ただし、テーブル200の上のテーブルクロスを交換した場合などにおいては、段差がほとんどない部分であっても段差として検出してしまう可能性がある。このため、本第1の実施形態では、撮像部21が撮像した画像とリファレンス画像との差異がある部分を検出し、当該差異の部分に段差があるか否かを距離センサ32により検出することとする。なお、検出する段差の高さとしては、5mm以上あるいは10mm以上など、種々の高さを採用することができる。
Note that the above-described image comparison unit 22 may detect the level difference by comparing the reference image (an image without a level difference) with the image captured by the
(ジェスチャー認識部40)
ジェスチャー認識部40は、撮像部21と協働して、ユーザのジェスチャーを認識するものである。ジェスチャー認識部40は、ユーザが操作メニュー画像の投影を要求しているか否かを認識するとともに、操作メニュー画像17上でのユーザの操作状況を認識する。
(Gesture recognition unit 40)
The
ジェスチャー認識部40は、例えば、撮像部21によって撮像された画像を取得し、当該画像中においてユーザの顔を検出した場合に、操作メニュー画像の投影を要求していると判断する。このような判断が可能であるのは、前述のように撮像部21は天井に設けられているため、撮像部21は、通常、ユーザの頭を撮像することができる一方、顔を撮像することができないからである。なお、ジェスチャー認識部40は、ユーザが撮像部21を指差しする動作を行った場合に、ユーザが操作メニューの投影を要求していると認識してもよい。また、ジェスチャー認識部40は、上記顔検出と指差し動作との組み合わせによりユーザが操作メニューの投影を要求していると認識してもよい。
For example, when the
一方、ジェスチャー認識部40は、撮像部21の撮像した画像を取得し、当該画像中の色認識(肌色認識等)により、操作メニュー画像上にユーザの手や指が所定時間(例えば1秒から5秒)位置している場合に、操作メニュー画像17上でのユーザの操作を認識する。また、操作メニュー画像にユーザの手や指が位置してから動画を撮像したり静止画の連続撮像を行い、手や指の位置の変化(軌跡)からユーザのジェスチャーを認識するようにしてもよい。なお、ユーザの手や指は操作メニュー画像に直接触れていてもよいが、操作メニュー画像の投影領域にユーザの体の一部があれば操作していると認識されるため、操作メニューに直接接触していなくてもよい。
On the other hand, the
なお、フラッシュメモリ50にユーザの手の画像を記憶しておくこととしてもよい。ジェスチャー認識部40は、当該ユーザの手の画像を用いて、ユーザの手の位置を認識してもよい。
An image of the user's hand may be stored in the
なお、ジェスチャー認識部40では、図3(b)〜図3(d)に示すアップダウンスイッチのアイコン183,193,163の操作量を、アイコン上のユーザの指の数に応じて決定することとしてもよい。例えば、図3(d)に示すテレビの操作において、モードが音量設定になっているとする。この場合、アップスイッチのアイコン上に3本の指が乗っていた場合には、ジェスチャー認識部40は、音量を3段階上げる操作であると認識すればよい。
The
(フラッシュメモリ50)
フラッシュメモリ50は、不揮発性メモリであり、CPU70が実行するプログラムや、リビングのレイアウトに関する情報、撮像部21と投影部10との機械的な位置関係などのシステム定数、リファレンス画像や危険物などの各種画像のデータ、ユーザ情報、通信部60と通信を行う電子機器80(照明機器、テレビ、エアコンなど)の情報等が記憶されている。
(Flash memory 50)
The
(通信部60)
通信部60は、電子機器80(テレビ210、エアコン220、照明機器230など)と通信するための無線の通信ユニットを備え、ジェスチャー認識部40が認識したユーザのジェスチャーに応じて、電子機器80に対して各種制御指令を送信する。通信ユニットは、無線モジュールと、アンテナとを有している。なお、アンテナは、不図示のアクチュエータにより、回転・チルト動作が可能であるものとする。アンテナを回転・チルト可能としたことにより、回転・チルトさせたアンテナで受信される各電子機器80からの電波強度に基づいて、各電子機器80のおおよその位置を認識することができるようになっている。例えば、新しい電子機器80がリビングに設置された場合には、当該新しい電子機器80の位置を認識することができる。なお、アンテナを回転する代わりに複数のアンテナを設けておき、当該複数のアンテナの電波強度に基づいて各電子機器80のおおよその位置を認識するようにしてもよい。
(Communication unit 60)
The
(CPU70)
CPU70は、投影・機器制御システム100に加えて、電子機器80を統括的に制御するものであり、本第1の実施形態においては、操作メニュー画像の投影や、操作メニュー画像に対するユーザのジェスチャー認識、ジェスチャーに対応する電子機器80の制御を行う。
(CPU 70)
The
電子機器80は、図1に示すように、テレビ210、エアコン220、照明機器230などであり、各電子機器80の構成は様々であるが、図2に示すように、各機器は、通信部60と通信するための通信部81と、通信部81の通信結果に応じて電子機器80を制御するCPU82と、CPU82により制御される被制御部83と、を有している。なお、通信部81、CPU82、被制御部83は、各電子機器80(テレビ210、エアコン220、照明機器230)に応じて適宜好適な構成が採用されている。
As shown in FIG. 1, the
以下、上記のように構成される投影・機器制御システム100のCPU70による制御について、図5のフローチャートに沿って詳細に説明する。図5は、CPU70の制御による投影・機器制御システム100の各部の動作が示されている。
Hereinafter, control by the
図5のステップS10では、CPU70が、温度検出部31の出力に基づいてリビングにユーザがいるか否かを判断する。ここでの判断が肯定されると、ステップS12に移行する。
In step S <b> 10 of FIG. 5, the
ステップS12に移行すると、CPU70は、撮像部21を制御して、ユーザの撮像を開始する。なお、撮像部21による撮像が静止画による撮像である場合、リビングにユーザが存在し続けている間はほぼ連続して撮像を行ってもよいし、所定間隔(2−3秒)毎に撮像を行ってもよい。一方、投影部10により操作メニュー画像が投影されている場合には、ほぼ連続して撮像するか、あるいは所定間隔を短くして撮像することが望ましい。同様に、動画による撮像の場合は、操作メニューが投影されているときのフレームレートを上げることが望ましい。
If transfering it to step S12, CPU70 will control the
次いで、ステップS14では、CPU70が、ユーザによる操作メニュー画像の投影リクエストがあったかどうかを判断する。CPU70は、ジェスチャー認識部40に指示を出し、撮像部21が撮像した画像から、ユーザが特定の動作を行ったかどうかを認識させる。そして、CPU70は、ジェスチャー認識部40が特定の動作を認識した場合に投影リクエストがあったものと判断する。なお、特定の動作としては、前述のように、天井を見る動作、指差しする動作、あるいはこれら動作の組み合わせなどが挙げられる。
Next, in step S14, the
なお、ステップS14の判断を行うと同時に、CPU70は、撮像部21が撮像した画像に基づいてユーザの位置や姿勢を確認することができる。なお、CPU70は、ユーザの姿勢を前述したように画像内の頭の大きさから確認することができる。本第1の実施形態では、ユーザが椅子に座っており、テーブル付近に存在していたものとする。
At the same time as the determination in step S14, the
ステップS14の判断が否定された場合、すなわち、ユーザからのリクエストが無かった場合には、ステップS14を繰返し実行するが、ユーザからのリクエストがあり、ステップS14の判断が肯定された場合には、ステップS16に移行する。 If the determination in step S14 is negative, that is, if there is no request from the user, step S14 is repeated, but if there is a request from the user and the determination in step S14 is positive, Control goes to step S16.
ステップS16に移行すると、CPU70は、センサ部30からユーザが位置する付近の情報を取得する。この場合、CPU70は、温度検出部31の検出結果を取得し、テーブル200付近に温度が40℃を超える領域があるかどうかを検出する。また、CPU70は、撮像部21が撮像した画像と、フラッシュメモリ50に格納されているリファレンス画像とを比較して差異がある場合に、当該差異がある部分に段差があるかどうか、すなわち、テーブル200上に皿などがあるか無いかを、距離センサ32の検出結果から判断する。更に、CPU70は、撮像部21が撮像した画像と、フラッシュメモリ50に格納されている危険物の各種画像とを比較して、テーブル200上にフォークやナイフ、カッターナイフ、はさみ、包丁などの危険物があるか無いかを判断する。
If transfering it to step S16, CPU70 will acquire the information of the vicinity where a user is located from the
次いで、ステップS18では、CPU70が、投影部10による操作メニュー画像の投影条件を決定する。この場合、CPU70は、ステップS16で検出した情報から操作メニューを投影する領域の候補を抽出する。ここでは、テーブル付近に危険物や段差がなく、テーブルのどこでも操作メニューが表示できると判断されたものとして、説明する。
Next, in step S <b> 18, the
ここで、操作メニューを表示することができる領域が複数ある場合には、CPU70は、ユーザの正面や右側の領域を優先して操作メニュー画像を表示するようにする。これは、多くのユーザが右利きであるため、ユーザの正面や右側に操作メニューを表示することで、操作がしやすくなるためである。なお、ジェスチャー認識部40が、ユーザが左手での操作を頻繁に行う(左利きである)ことを認識した場合には、CPU70は、操作メニュー画像をユーザの左側に投影するようにしてもよい。なお、ユーザが左利きであることが認識された場合には、ユーザ毎に、頭の大きさや肩幅、左利きであることを示す情報、を対応させてフラッシュメモリ50に記憶させておいてもよい。この場合、CPU70は、撮像部21が撮像した画像から検出される頭の大きさや肩幅と、フラッシュメモリ50に記憶されている情報とから、画像中のユーザが左利きであるか否かを判別してもよい。
Here, when there are a plurality of areas where the operation menu can be displayed, the
ここで、ユーザの向きは、撮像部21により撮像した画像から判断してもよく、椅子に座っている場合は、椅子の背もたれとは反対側の方向をユーザの正面と判断することとしてもよい。また、ユーザがテレビ付近にいる場合には、通常、テレビに正対することから、ユーザから見てテレビの存在する方向をユーザの向きと判断してもよい。なお、ユーザが移動している場合には、その移動方向をユーザの向きと判断することもできる。
Here, the orientation of the user may be determined from an image captured by the
なお、投影画像調整部15は、操作メニュー画像17が、デフォルトで150mm×150mmもしくは100mm×200mm程度の大きさでテーブル200に投影されるように、投射光学系14のズームレンズを調節する。この場合、投射光学系14から投影面までの距離は、距離センサ32により検出するようにすればよい。
The projection
また、投影画像調整部15は、撮像部21の撮像素子からの色信号に応じて、操作メニュー画像の色を調整する。この場合、操作メニュー画像の外縁部を暗い色にすることで、操作メニュー画像の視認性を向上させても良い。なお、これに代えて、CPU70は、操作メニュー画像を投影する領域の候補が複数ある場合には、撮像素子からの色信号に応じて白色系(例えば白いテーブルクロス)や無彩色系(例えば無彩色のカーペット)の領域を投影領域と決定してもよい。これによっても、操作メニューの視認性を向上することができる。
In addition, the projection
また、投影画像調整部15は、時刻や、照明機器の照度に応じて光源11の輝度を調整して操作メニューの視認性を向上させてもよい。また、これに代えて、リビング内に照度計を設け、照度計の検出結果に応じて光源11の輝度を調整したり、照明機器230の照度を調整するようにしてもよい。また、これとは逆に、投影部10により操作メニュー画像17を投影する場合には、操作メニュー画像を投影する部分の照明を暗くして操作メニューの視認性を向上させてもよい。
The projected
また、操作メニュー画像を投影する領域に危険物や段差がある場合には、投影画像調整部15は、危険物の位置や段差に基づき操作メニュー画像の大きさを調節するとともに、操作メニュー画像の拡大を受け付けないようにする。例えば図4(b)の場合には、危険物である鍋132や、段差を形成する箱136を避けるように操作メニュー画像を調整し、テーブルクロス134(危険物でなく、段差も形成しない)については操作メニュー画像の調整において考慮しないこととする。
When there is a dangerous object or a step in the region where the operation menu image is projected, the projection
図5のステップS18の処理が上記のように行われた後は、ステップS20に移行し、CPU70が、ステップS18で決定した投影条件に基づいて、投影部10に指示を出す。そして、投影部10は、当該指示に応じて操作メニュー画像をテーブル200上に投影する。ここでは、初期の操作メニュー画像として図3(a)の操作メニュー画像(初期メニュー画像)がテーブル200上に投影されたものとする。なお、CPU70は、ユーザに操作メニュー画像を投影したことを報知するために、不図示のスピーカにより“操作メニュー画面を投影しました”などの音声を発生するようにしてもよい。
After the process of step S18 of FIG. 5 is performed as described above, the process proceeds to step S20, and the
次いで、ステップS22では、CPU70が、投影部10により操作メニュー画像を投影している時間を計測するために計時を開始する。
Next, in step S <b> 22, the
次いで、ステップS24では、CPU70が、ユーザによるジェスチャー(操作メニュー画像による操作)があったかどうかを判断する。ここでの判断が肯定された場合には、ステップS30に移行するが、否定された場合には、ステップS26に移行する。
Next, in step S24, the
ステップS26に移行した場合、操作メニュー画像を投影してから(計時を開始してから)所定時間(ジェスチャーの受付待ち時間(例えば10秒))が経過したか否かを判断する。ここでの判断が否定された場合には、ステップS24に戻る。一方、ステップS26の判断が肯定された場合、すなわち、ユーザのジェスチャーが10秒以上無い場合には、ステップS28に移行し、ユーザがメニュー操作を行う意思がないとして操作メニュー画像の投影を終了して図5の全処理を終了する。なお、ステップS26のジェスチャーの受付待ち時間は10秒に限らず、適宜設定することができる。 When the process proceeds to step S26, it is determined whether or not a predetermined time (gesture reception waiting time (for example, 10 seconds)) has elapsed since the operation menu image was projected (after the start of timing). When judgment here is denied, it returns to step S24. On the other hand, if the determination in step S26 is affirmative, that is, if there is no user gesture for 10 seconds or more, the process proceeds to step S28, and the projection of the operation menu image is terminated because the user does not intend to perform the menu operation. Then, the entire process of FIG. The waiting time for accepting the gesture in step S26 is not limited to 10 seconds, and can be set as appropriate.
一方、ユーザによるジェスチャー(操作メニュー画像による操作)が行われ、ステップS24の判断が肯定された場合には、ステップS30において、CPU70が、ジェスチャー認識部40に指示を出し、ジェスチャー認識部40にユーザが行ったジェスチャーを認識させる。ここでは、前述したように図3(a)の操作メニュー画像が投影部10により投影されているので、ジェスチャー認識部40は、図3(a)の操作メニュー画像のどのアイコンにユーザの指(又は体の一部)が置かれているかを認識する。例えば、撮像部21によって図3(a)のテレビのアイコンにユーザの手が置かれた状態が撮像された場合には、ジェスチャー認識部40は、ユーザがテレビの操作を選択したと認識する。なお、ジェスチャー認識部40は、撮像部21が所定枚数(2〜5枚)または所定時間(1〜3秒)同一のアイコン上の指を撮像した段階で、ユーザがジェスチャーを行ったと認識すればよい。
On the other hand, when a gesture by the user (operation by the operation menu image) is performed and the determination in step S24 is affirmed, in step S30, the
次いで、ステップS32では、CPU70は、ステップS22で開始した計時を終了する。次いで、ステップS34では、CPU70は、次の操作メニュー画像の表示が必要かどうかを判断する。ここでは、初期メニュー画像からテレビが選択された段階であるので、CPU70は、次の操作メニュー画像の表示が必要と判断して、ステップS20に戻る。以下、CPU70は、テレビに対する操作が決定するまでステップS20からステップS34を繰り返し、テレビに対する操作が決定した段階(ステップS34の判断が否定された段階)でステップS36に移行する。
Next, in step S32, the
そして、ステップS36では、CPU70が、操作メニュー画像により選択されたテレビの操作(例えば、チャンネルを変更する)に基づき、その操作の指令を通信部60により、テレビ210の通信部81に通信する。テレビ210のCPU82は、通信部81が受信した操作の指令に基づいてテレビ210の制御を行う。
In step S 36, the
その後は、CPU70は、ステップS24に戻り、引続きユーザのジェスチャーがある場合には、当該ジェスチャーに応じた処理を実行し、ジェスチャーによる処理が終了した場合(ステップS26の判断が肯定された場合)には、ステップS28を経て、図5の全処理を終了する。
After that, the
なお、上記ステップS18においては、投影した操作メニュー画像を撮像部21が撮像できるか否かの観点から、操作メニュー画像の投影位置を決定することとしてもよい。図6には、テーブル200上に物体(ボトル)110が置かれている状態を示す図である。この場合、リファレンス画像(図4(a)参照)には物体(ボトル)110がないため、距離センサ32により物体までの距離を検出することになる。
ここで、図6の場合、物体(ボトル)110の左右に操作メニュー画像を投影可能な領域があるとする。しかるに、投影・機器制御システム100に含まれる撮像部21と物体(ボトル)110との位置関係や物体(ボトル)110の高さによっては、物体(ボトル)110の右側に操作メニュー画像を投影すると撮像部21により操作メニュー画像を撮像できない場合がある。
In step S18, the projection position of the operation menu image may be determined from the viewpoint of whether the
Here, in the case of FIG. 6, it is assumed that there are regions where an operation menu image can be projected on the left and right of the object (bottle) 110. However, depending on the positional relationship between the
このような場合、CPU70は、撮像部21と物体(ボトル)110の位置関係に基づいて、物体(ボトル)110の左側の領域に操作メニュー画像を投影することとする。なお、物体の高さが低く、撮像部21による操作メニュー画像の撮像が可能な場合には、物体の右側に操作メニューを投影してもよい。この場合、CPU70は、距離センサ32が検出した物体のテーブル面からの高さと、撮像部21の取り付け位置と画角とから、撮像部21による操作メニュー画像の撮像が可能かどうか判断してもよく、実際に投影部10により物体の右側に操作メニュー画像を投影して、撮像部21による操作メニュー画像の撮像ができるかどうかを試してみてもよい。また、撮像部21により操作メニュー画像が撮像できない場合には、画像システム部20に撮像部21を駆動するアクチュエータを予め設けておき、当該アクチュエータにより撮像部21の位置や姿勢を調整して、操作メニュー画像を撮像できるかどうか試してもよい。
In such a case, the
なお、CPU70は、次のステップS20において、投影した操作メニュー画像を撮像部21により撮像できるかどうか確認するようにしてもよい。CPU70は、撮像部21により操作メニューを撮像できる場合には次のステップS22に進み、一部(10%〜25%程度)が撮像できない場合は、投影部10による投影位置を調整し、例えば操作メニューの半分以上が撮像できない場合はステップS18に戻るようにしてもよい。
The
なお、図5のフローチャートでは説明を省略したが、ユーザが操作メニュー画像17の拡大・縮小のアイコンを操作した場合には、投影画像調整部15は、ステップS30において、ユーザの操作に応じて、操作メニュー画像17の大きさを変更するものとする。
Although not described in the flowchart of FIG. 5, when the user operates the enlargement / reduction icon of the
以上、詳細に説明したように、本第1の実施形態によると、投影部10が、ユーザの位置に応じた領域に操作メニュー画像17を投影するものであり、CPU70は、ユーザの位置に応じた領域に操作メニュー画像17の投影が可能かどうかを判断するので、ユーザの位置に応じた投影に適した位置に操作メニュー画像を投影することができる。これにより、操作メニュー画像の使い勝手が良好となる。
As described above in detail, according to the first embodiment, the
また、本第1の実施形態では、CPU70は、リビングの所定領域の温度(熱量)を検出するための温度検出部31の検出結果に基づいて、操作メニュー画像17を投影できるかどうかを判断するので、温度の高い物体に操作メニュー画像が投影されるのを防止することができる。これにより、操作メニュー画像を安全な位置に投影することができる。
In the first embodiment, the
また、本第1の実施形態では、CPU70は、領域の段差を検出する距離センサ32の検出結果に基づいて、操作メニュー画像17を投影できるかどうかを判断するので、段差のある領域に操作メニュー画像17を投影するのを防止することができる。これにより、使い勝手の良い位置に操作メニュー画像17を投影することができる。
In the first embodiment, the
また、本第1の実施形態では、画像比較部22が、撮像部21の撮像結果に基づいて、危険物の有無を検出し、CPU70は、当該検出結果に基づいて、操作メニュー画像17を投影できるかどうかを判断するので、危険物に対して操作メニュー画像を投影するのを防止することができる。これにより、操作メニュー画像を安全な位置に投影することが可能となる。
In the first embodiment, the image comparison unit 22 detects the presence / absence of a dangerous substance based on the imaging result of the
また、本第1の実施形態では、投影画像調整部15が、撮像部21の撮像結果に基づいて投射光学系14の調整を行うので、適切な位置、大きさ、輝度で操作メニュー画像を投影することができる。
In the first embodiment, since the projection
また、本第1の実施形態では、投影部10は、複数の電子機器80の操作メニュー画像を投影するので、当該操作メニュー画像を用いた複数の電子機器80の操作を行うことが可能である。
In the first embodiment, since the
また、本第1の実施形態では、複数の電子機器80と通信可能な通信部60を有しており、メニュー表示部16は、複数の電子機器80との通信状態に応じて電子機器の配置を検出し、当該配置を反映させた操作メニュー画像を投影部に投影させる。これにより、複数の電子機器80の配置を通信状態に応じて自動で検出することができるとともに、当該配置を反映させた操作メニュー画像を投影することで、ユーザの使い勝手を良好にすることが可能となる。
In the first embodiment, the
また、本第1の実施形態では、CPU70は、投影部10が投影した操作メニュー画像を撮像部21により撮像可能かどうかを判断するので、操作メニュー画像を適切な位置(ユーザの操作(ジェスチャー)を認識できる位置)に投影することが可能となる。
In the first embodiment, the
また、本第1の実施形態では、CPU70が、距離センサ32と画像システム部20(画像比較部22)とを用いて、撮像部21による操作メニュー画像の撮像を遮る物体があるかどうかを検出する。これにより、操作メニュー画像の投影前に、撮像部21により操作メニュー画像が撮影できる領域を定め、当該領域に操作メニュー画像を投影することが可能となる。
In the first embodiment, the
また、本第1の実施形態では、撮像部21は、ユーザと、テーブル200やテレビ210などの構造物とを撮像し、CPU70は、テーブル200やテレビ210の撮像結果に基づいて、ユーザの向きを判断することとしている。これにより、ユーザの体の形状などを確認せずに、ユーザの向きを判断することが可能である。
In the first embodiment, the
また、本第1の実施形態では、撮像部21は、ユーザの上方からユーザを撮像するので、ユーザのプライバシーを保護しつつ、撮像部21の撮像結果を用いた各種制御を行うことが可能である。
In the first embodiment, since the
また、本第1の実施形態では、CPU70は、ユーザを上方から撮像する撮像部21の撮像結果からユーザの姿勢を検出し、投影部10は、ユーザの姿勢に応じて、ユーザの近傍に操作メニュー画像17を投影するので、ユーザにとって使い勝手の良い位置に操作メニュー画像17を投影することができる。また、本第1の実施形態では、投影部10が、ユーザの位置に応じて、複数の電子機器80の操作メニュー画像17を投影するので、ユーザにとって使い勝手の良い位置に複数の電子機器80の操作メニュー画像17を投影することができる。
In the first embodiment, the
なお、上記第1の実施形態では、CPU70が、ステップS14においてユーザが操作メニュー画像の投影リクエストをしていることを、顔や手の動きに基づいて判断する場合について説明した。しかしながら、これに限られるものではなく、CPU70は、マイクに対してユーザから特定の音声が入力された場合に、投影リクエストがあったものと判断してもよい。
In the first embodiment, a case has been described in which the
なお、上記第1の実施形態では、リビングに複数の人が存在している場合に、当該複数の人が操作メニュー画像を操作できるように、操作メニュー画像を大きく表示するようにしてもよい。この場合、投影リクエストを行った人の正面又は右側に操作メニュー画像を表示するようにすればよい。なお、操作メニュー画像の操作は、全員が行えるようにしてもよいし、特定の人(例えば投影リクエストをした人)のみが行えるようにしてもよい。投影リクエストをした人のみが操作できるようにする場合には、CPU70は、手の向きや指をさす方向から、投影リクエストをした人の手か否かを判別すればよい。なお、上記第1の実施形態では、子供が操作メニュー画像による操作を行うのを制限することとしてもよい。この場合、CPU70は、手の大きさや形状などから、子供の手か否かを判別することとすればよい。
In the first embodiment, when there are a plurality of people in the living room, the operation menu image may be displayed in a large size so that the plurality of people can operate the operation menu image. In this case, the operation menu image may be displayed on the front or right side of the person who made the projection request. It should be noted that the operation menu image may be operated by all or only a specific person (for example, the person who requested the projection). When only the person who has made the projection request can perform the operation, the
なお、上記第1の実施形態では、電子機器80がリビング内の機器(テレビ210、エアコン220、照明機器230など)である場合について説明したが、これに限らず、通信部60との通信が可能であれば、電子機器80は、リビングとは異なる部屋に配置されているものであっても構わない。このようにすることで、リビングに居ながら隣の部屋の照明機器をオフにするなどの操作を行うことも可能となる。
In the first embodiment, the case where the
なお、上記実施形態では、リビングにおいて投影・機器制御システム100を適用した場合について説明したが、これに限られるものではない。例えば、商業施設において、投影・機器制御システム100を適用することもできる。例えば、レストランに投影・機器制御システム100を設けた場合には、客が着席したタイミングや、ジェスチャーによるリクエストのあったときにメニューをテーブルに投影するようにしてもよい。また、客が選択した商品を、POSシステムなどに登録するようにしてもよい。
In the above-described embodiment, the case where the projection /
《第2の実施形態》
次に、第2の実施形態に係る投影・機器制御システム100’について、図7〜図10に基づいて説明する。本第2の実施形態の投影・機器制御システム100’は、電話機を使用するユーザに対して、ユーザをサポートするためのメニュー画像を投影し、ユーザによるメニュー画像に対する動作(ジェスチャー)に基づいて電子機器を制御するものである。
<< Second Embodiment >>
Next, a projection /
図7は、本第2の実施形態に係る投影・機器制御システム100’の概略構成を示す図である。図7には、投影・機器制御システム100’のほか、顔撮像部94が設けられた電話機90が図示されている。
FIG. 7 is a diagram showing a schematic configuration of a projection /
図8は、投影・機器制御システム100’と電話機90のブロック図である。なお、以下においては、第1の実施形態にかかる投影・機器制御システム100(図2)と異なる部分を中心に説明する。なお、図2のブロック図と同一又は同等の構成には同一の符号を付し、その説明を省略するものとする。
FIG. 8 is a block diagram of the projection /
図8に示すように、本第2の実施形態では、投影・機器制御システム100’に対して電話機90が通信可能とされているとともに、投影・機器制御システム100’が、音声解析部71と、表情検出部72と、を有している。また、投影・機器制御システム100’が制御する対象である電子機器80が、ドアホン85、ガスコンロ86、レコーダ87となっている。
As shown in FIG. 8, in the second embodiment, the
(電話機90)
電話機90は、電話機能部91と、留守番機能部92と、インタフェース部93と、顔撮像部94と、通信部95と、を有する。
(Telephone 90)
The
電話機能部91は、発信・着信機能や、マイク、スピーカ機能など、一般的な電話機が有すべき機能を実現するものである。本第2の実施形態では、マイクに入力されたユーザの音声が通信部95を介して投影・機器制御システム100’に送信される。
The
留守番機能部92は、留守番機能の起動と停止とを制御するとともに、伝言機能を有する。また、留守番機能部92は、後述するように投影・機器制御システム100’により投影された留守番機能のアイコンをユーザが選択することにより、通話中であっても留守番機能に移行したり、お断りの伝言を送信したりする。
The answering
インタフェース部93は、電話機90の各種スイッチ、ボタンと連携して、音声入出力、LED点灯、各種表示を行うためのインタフェースである。
The
顔撮像部94は、ユーザの表情を撮像するための撮像部である。図1では、顔撮像部94はユーザの表情を撮像しやすいように電話機90に搭載されているが、これに限らずユーザの表情を撮像できる位置であれば電話機以外の場所に配置してもよい。また、顔撮像部94を複数配置してもよい。
The
通信部95は、有線、無線など各種の通信方式を採用することができ、投影・機器制御システム100’の通信部60と双方向の通信を行うものである。通信部95は、電話機能部91のマイクに入力されたユーザの音声と、顔撮像部94が撮像したユーザの表情を投影・機器制御システム100’に対して送信する。
The
(音声解析部71)
音声解析部71は、電話機能部91のマイクに入力されるユーザの音声を解析するものである。音声解析部71は、音声認識辞書を有しており、入力した音声が、敬語、丁寧語、謙譲語であるか、日常語(平語)であるか、それ以外の砕けた言葉遣いであるかを分類する。なお、本実施形態では、音声解析部71を投影・機器制御システム100’側に設けたが、電話機90側に設けるようにしてもよい。
(Speech analysis unit 71)
The
(表情検出部72)
表情検出部72は、顔撮像部94が撮像したユーザの表情を検出するものであり、眉間に皺がある表情や、笑顔ではなく目を細めている表情を検出し、ユーザが困惑しているかどうかを判別する。
(Facial expression detection unit 72)
The facial
ここで、表情検出部72は、眉間に皺のある画像をリファレンス画像としてフラッシュメモリ50に記憶させておき、当該リファレンス画像と撮像画像とのパターンマッチングを行うことで、眉間の皺を検出することができる。また、表情検出部72は、左目と右目との間の部分の陰影分布から、眉間の皺を検出することとしてもよい。なお、眉間の皺の検出については、米国特許出願公開第2008−292148号にも開示されている。
Here, the facial
また、表情検出部72は、顔撮像部94により撮像される平均的な目の大きさをフラッシュメモリ50に記憶させておき、この記憶された目の大きさに対して顔撮像部94により撮像された目の大きさを比較することにより、目を細めている表情を検出することができる。
The facial
なお、特開2002−258682号公報に記載されているように、ユーザの動画像中における顔構成要素の特徴点座標変化から顔面筋の収縮量を検出して、ユーザが困惑しているかどうかを判別してもよい。 Note that, as described in Japanese Patent Laid-Open No. 2002-258682, whether or not the user is confused by detecting the amount of facial muscle contraction from the feature point coordinate change of the facial component in the user's moving image. It may be determined.
(電子機器80)
ドアホン85は、不図示の通信部により投影・機器制御システム100’との通信が可能されている。ドアホン85は、投影・機器制御システム100’のCPU70の指示に応じて、擬似的なチャイムの音を発生させる機能を有している。
(Electronic device 80)
The
ガスコンロ86は、不図示の通信部により投影・機器制御システム100’との通信が可能とされている。ガスコンロ86は、投影・機器制御システム100’のCPU70の指示に応じて、不図示のスイッチをオフにしたり、火力を弱めたりする機能を有している。
The
レコーダ87は、不図示の通信部により投影・機器制御システム100’との通信が可能とされている。レコーダ87は、投影・機器制御システム100’のCPU70の指示に応じて、テレビ画面に映っている番組の録画を行う機能を有している。
The
図9(a)、図9(b)は、第2の実施形態においてメニュー表示部16が表示する操作メニュー画像17a,17bを示している。図9(a)の操作メニュー画像17aでは、ドアホン、ガスコンロ、レコーダのアイコンが表示されており、図9(b)の操作メニュー画像17bでは、ドアホン、ガスコンロ、レコーダのアイコンに加えて留守番電話のアイコンが表示されている。本第2の実施形態では、メニュー表示部16は、ユーザの言葉遣いに応じて、図9(a)、図9(b)の操作メニュー画像のいずれかを、投射光学系14を介して投影する。
FIGS. 9A and 9B show
以下、図10のフローチャートに沿って、CPU70の制御による図2の各部の動作について、詳細に説明する。図10のフローチャートは、ユーザが電話を受けた段階から開始される。
Hereinafter, the operation of each unit in FIG. 2 under the control of the
図10では、ステップS50において、CPU70が、通話時間を計測するための計時を開始する。次いで、ステップS52では、CPU70は、撮像部21及び顔撮像部94による撮像を開始する。撮像部21は、電話機90を使用しているユーザの上半身を含む領域を撮像する。顔撮像部94は、前述したようにユーザの表情を撮像する。なお、顔撮像部94が撮像した画像は、表情検出部72に送られる。そして、表情検出部72では、当該画像に基づきユーザの表情を検出し、ユーザが困惑しているかどうかを判別する。
In FIG. 10, in step S <b> 50, the
次いで、ステップS54では、CPU70が、ステップS52の撮像結果に基づいて、ユーザからジェスチャー入力があったかどうかを判断する。ここでは、ジェスチャー認識部40が、撮像部21により撮像されたユーザが意識的に所定のジェスチャーを行っていると認識した場合、あるいは、表情検出部72がユーザが困惑していると判別した場合に、ユーザからジェスチャー入力があったと判断する。なお、ジェスチャー認識部40は、受けた電話が迷惑電話であったときにユーザが行うジェスチャーのリファレンス画像(フラッシュメモリ50に予め記憶されているものとする)に基づいて、ユーザのジェスチャーを認識する。なお、迷惑電話であったときにユーザが行うジェスチャーには、親指を下げる、手のひらを撮像部21に向ける、両方の人差し指でバッテンマークを作るなどのジェスチャーが含まれる。
Next, in step S54, the
ステップS54の判断が否定された場合には、ステップS56に移行し、CPU70は、ステップS50で開始した計時が所定時間(例えば10分以上)経過したかどうかを判断し、所定時間が経過していればステップS58に移行し、所定時間が経過していなければステップS52に戻る。なお、所定時間が経過した場合にステップS58に移行するのは、ユーザによっては迷惑電話に困惑しながらも表情に出ない場合があるからである。なお、表情検出部72がユーザの笑顔を検出した場合には、ステップS58に移行せずにステップS52に戻るようにしてもよい。笑顔検出については、例えば、特許第4,453,721号などに開示されている。
If the determination in step S54 is negative, the process proceeds to step S56, and the
一方、ステップS54又はステップS56の判断が肯定され(ジェスチャー入力があった場合又は所定時間が経過した場合)、ステップS58に移行すると、CPU70は、ユーザの話し方に応じた投影メニューの選択を行う。
On the other hand, when the determination in step S54 or step S56 is affirmed (when a gesture is input or when a predetermined time elapses) and the process proceeds to step S58, the
例えば、音声解析部71が、ユーザが“です”、“ます”などの丁寧な口調で話している、あるいは“おっしゃる”、“お持ちですか”などの敬語を用いていると解析したとする。この場合、CPU70は、目上の人からの長電話(迷惑電話)であると判断し、投影するメニューとして、図9(a)の操作メニュー画像17aを選択する。一方、音声解析部71が、ユーザが丁寧な言葉で話していない(日常語(平語)で話している)と解析したとする。この場合、CPU70は、売り込みなどの迷惑電話であると判断し、投影するメニューとして、図9(b)の操作メニュー画像17bを選択する。なお、ユーザが砕けた言葉で話している場合には、CPU70は、図9(a)の操作メニュー画像17aを選択してもよいし、友達との長電話であると判断して、図10の全処理を終了することとしてもよい。
For example, it is assumed that the
次いで、ステップS60では、CPU70が、ステップS58の選択結果に基づいて、電話機90の近傍に操作メニュー画像17a又は17bを投影する。この場合、CPU70は、第1の実施形態と同様、センサ部30の検出結果や撮像部21の撮像結果に基づいて投影領域を決定すればよい。
Next, in step S60, the
次いで、ステップS62では、CPU70が、操作メニュー画像17a又は17bを投影している時間を計測するための計時を開始する。
Next, in step S62, the
次いで、ステップS64では、CPU70は、ステップS60において投影された操作メニュー画像に対して、ユーザのジェスチャー入力があったかどうかを判断する。ここでの判断が肯定された場合には、ステップS66に移行し、否定された場合には、ステップS70に移行する。
Next, in step S64, the
ステップS70に移行した場合には、CPU70は、所定時間(例えば10秒)経過したかどうかを判断し、判断が肯定された場合には、ステップS72に移行し、判断が否定された場合には、ステップS64に戻る。なお、ステップS72に移行した場合には、CPU70は、操作メニュー画像の投影を終了し、図10の全処理を終了する。
When the process proceeds to step S70, the
一方、ステップS64の判断が肯定されてステップS66に移行した場合には、CPU70は、ユーザのジェスチャー入力に基づき、ドアホン85、ガスコンロ86、レコーダ87、或いは留守番機能部92の制御を行う。
On the other hand, when the determination in step S64 is affirmed and the process proceeds to step S66, the
例えば、ユーザが電話を切る口実が思い浮かばない場合に、ユーザが、操作メニュー画像17a又は17bのドアホンのアイコンに触れたとする。この場合、CPU70は、ドアホン85に指示を出し、ドアホン85に擬似的なチャイムを鳴らさせる。これにより、ユーザは、ドアホン85に対する対応を行わなければならないことを口実に電話を切ることができる。
For example, suppose that the user touches the doorphone icon in the
また、売り込みなどの電話の場合があった場合に、ユーザが留守番電話のアイコンに触れたとする。この場合、CPU70は、強制的に留守録機能をオンにして通話を終了させたり、お断りの伝言を再生したりする。これにより、ユーザは、売り込みなどの電話を強制的に切ることができる。
Further, it is assumed that the user touches the icon of the answering machine when there is a case such as sales. In this case, the
また、ユーザが通話を続けたいもののガスコンロ86が点火していたり、見たいテレビなどがある場合に、ユーザが、ガスコンロやレコーダのアイコンに触れたとする。この場合、CPU70は、ガスコンロ86の火を止めたり、テレビに映されている番組のレコーダ87による録画を開始したりする。これにより、ユーザは、ガスコンロ86の安全を確保したり、視聴していた番組を録画することができるようになる。なお、ユーザがガスコンロ86やレコーダ87のアイコンに触れた場合には、第1の実施形態のように、階層的なメニューを表示することで、ガスコンロ86やレコーダ87の細かい操作を実現するようにしても良い。
Further, it is assumed that the user touches the icon of the gas stove or the recorder when the user wants to continue the call but the
以上のようにして、ステップS66の処理が終了すると、ステップS72に移行する。ステップS72では、CPU70は、操作メニュー画像の投影を終了する。そして、その後は、図10の全処理を終了する。
As described above, when the process of step S66 ends, the process proceeds to step S72. In step S72, the
以上、詳細に説明したように、本第2の実施形態によると、電話機90を使用しているユーザを撮像可能な顔撮像部94と、顔撮像部94の撮像結果に基づいて、電話機90とは異なる電子機器80の操作メニュー画像17a,17bを投影する投影部10とを備えている。これにより、電話機90を使用しているユーザの顔の表情に基づいて適切なタイミングで電子機器80の操作メニュー画像を投影することができ、ユーザの使い勝手を良好にすることができる。また、顔の表情に基づいた投影を行うことで、ユーザが所定のジェスチャーを行わなくても、適切なタイミングで操作メニュー画像を投影することができる。すなわち、ユーザはジェスチャーを覚えたりしなくてもよいので、この点からも、ユーザの使い勝手を向上することができる。
As described above in detail, according to the second embodiment, the
また、本第2の実施形態によると、音声解析部71が、電話機90を使用しているユーザの音声に関する情報を検出し、投影部10は、音声解析部71の解析結果に基づいて、操作メニュー画像を投影するので、電話機90を使用しているユーザの音声に基づいて適切な操作メニュー画像を投影することができる。
According to the second embodiment, the
また、本第2の実施形態によると、前記音声解析部71は、ユーザの音声の言葉遣いを解析するので、電話におけるユーザの言葉遣いに応じた適切な操作メニューを投影することができる。
In addition, according to the second embodiment, the
また、本第2の実施形態では、撮像部21が、投影部10により投影された操作メニューに対するユーザの手の状態を撮像し、CPU70が、当該撮像結果に基づいて電子機器80を制御するので、電話中のユーザは、操作メニュー画像に対して手を動作させることで、電子機器80を操作することが可能となる。
In the second embodiment, the
また、本第2の実施形態では、投影部10は、操作メニュー画像を投影した後、所定時間の間、通信部60が電子機器80と通信を行わなかった(電子機器80をCPU70が制御しなかった)場合に、操作メニュー画像の投影を終了する(ステップS70:否定)ので、操作メニュー画像をユーザが使用しないにもかかわらず、長時間操作メニュー画像が投影され続けられるという事態の発生を抑制することができる。
Further, in the second embodiment, after projecting the operation menu image, the projecting
また、本第2の実施形態では、CPU70が、ユーザが電話機90を使用している時間を計測し、投影部10は、計測時間に基づいて操作メニュー画像を投影する(S56)。したがって、長電話の場合に、適切なタイミングで操作メニュー画像を投影することが可能である。
In the second embodiment, the
また、本第2の実施形態では、操作メニュー画像に電話機90の操作に関するアイコンも含まれている(図9(b))ので、ユーザは、操作メニュー画像内で、電話機90と電話機以外の電子機器80の操作を行うことが可能となる。
In the second embodiment, since the operation menu image also includes an icon related to the operation of the telephone 90 (FIG. 9B), the user can select an electronic device other than the
また、本第2の実施形態では、電話機90を使用しているユーザの状態に応じて、投影部10が、電話機90や電子機器80に関する情報を投影するので、ユーザの状態(困惑しているなど)に応じた情報の提供が可能である。
In the second embodiment, the
なお、上記第2の実施形態では、電子機器80として、赤ちゃんの声や笛吹きやかんの音を録音した録音・再生装置を採用してもよい。この場合にも、迷惑電話の際に、ユーザが操作メニュー画像を介して録音・再生装置を操作することで、電話を切る口実を作ることが可能となる。
In the second embodiment, a recording / reproducing apparatus that records a baby voice or a whistling kettle sound may be employed as the
なお、上記第2の実施形態では、操作メニュー画像に含まれるアイコンが、図9(a)や図9(b)に示すように予め定められている場合について説明したが、これに限られるものではない。例えば、ユーザが電話に出る前から使用されている機器のみを表示することとしてもよい。この場合、電話機90が使用されている際に通信部60と通信可能な電子機器80のみを表示することとすればよい。例えば、電話機90を私用している際にガスコンロが使用されていない場合には、図9(a)や図9(b)のメニューからガスコンロのアイコンを除いてもよい。
In the second embodiment, the case where the icons included in the operation menu image are predetermined as shown in FIGS. 9A and 9B has been described. However, the present invention is not limited to this. is not. For example, only devices that have been used before the user answers the phone may be displayed. In this case, only the
なお、上記第2の実施形態では、CPU70は、音声解析部71の解析結果として会話の内容を取得できる場合には、当該会話の内容に基づいた情報を投影部10を介して投影してもよい。例えば、CPU70は、会話の内容を要約して投影したり、あるいは、会話において日付に関する内容が出た場合にカレンダの画像を投影するなどしてもよい。
In the second embodiment, when the content of the conversation can be acquired as the analysis result of the
なお、上記第2の実施形態では、言葉遣いに基づいて、投影する操作メニュー画像を選択する場合について説明したが、言葉遣いとともに着信番号に基づいて、投影する操作メニュー画像を選択することとしてもよい。 In the second embodiment, the operation menu image to be projected is selected based on the wording. However, the operation menu image to be projected may be selected based on the incoming call number together with the wording. Good.
なお、上記第2の実施形態では、状況に応じて、図9(a)、図9(b)の操作メニュー画像を選択し、投影する場合について説明したが、これに限られるものではない。例えば、常に、図9(a)又は図9(b)の操作メニュー画像を投影するようにしてもよい。 In the second embodiment, the operation menu images in FIGS. 9A and 9B are selected and projected according to the situation. However, the present invention is not limited to this. For example, the operation menu image shown in FIG. 9A or 9B may be always projected.
なお、上記第2の実施形態においては、ユーザが使用する機器が電話機90である場合を例に採り説明したが、これに限られるものではない。例えば、ユーザが使用する機器がドアホンであってもよい。この場合、ドアホン85による売り込みがあった場合に操作メニュー画像を投影するようにする。これにより、例えば、操作メニュー画像を用いた操作により擬似的な電話のコールを発生させるなどすることで、売り込みを断る口実を作ることが可能となる。
In the second embodiment, the case where the device used by the user is the
なお、上記各実施形態では、CPU70は、操作メニュー画像17,17a,17bに対する手の状態に基づいて、電子機器80を制御する場合について説明したが、これに限られるものではない。すなわち、CPU70は、操作メニュー画像17,17a,17bに対する体の一部(足など、身に着けている服等を含む)の状態に基づいて、電子機器80を制御することとしてもよい。
In each of the above embodiments, the
上述した各実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。 Each embodiment mentioned above is an example of suitable implementation of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.
10 投影部
15 投影画像調整部
16 メニュー表示部
20 画像システム部
21 撮像部
22 画像比較部
31 温度検出部
32 距離センサ
60 通信部
70 CPU
71 音声解析部
80 電子機器
90 電話機
94 顔撮像部
100、100’ 投影・機器制御システム
DESCRIPTION OF
71
Claims (12)
前記撮像部の撮像結果に基づいて、前記第1機器とは異なる第2機器に関する情報を投影する投影部と、を備えたことを特徴とする投影装置。 An imaging unit capable of imaging a user using the first device;
A projection apparatus comprising: a projection unit that projects information related to a second device different from the first device based on an imaging result of the imaging unit.
前記投影部は、前記音声検出部の検出結果に基づいて、前記第2機器に関する情報を投影することを特徴とする請求項1記載の投影装置。 A voice detection unit that detects information related to the voice of the user using the first device;
The projection device according to claim 1, wherein the projection unit projects information on the second device based on a detection result of the voice detection unit.
前記投影部は、前記顔の撮像結果に基づいて、前記第2機器に関する情報を投影することを特徴とする請求項1〜6のいずれか一項に記載の投影装置。 The imaging unit images the user's face,
The projection device according to claim 1, wherein the projection unit projects information on the second device based on the imaging result of the face.
前記投影部は、前記計測部の計測結果に基づいて、前記第2機器に関する情報を投影することを特徴とする請求項1〜7のいずれか一項に記載の投影装置。 A measuring unit that measures the time that the user is using the first device;
The projection device according to claim 1, wherein the projection unit projects information on the second device based on a measurement result of the measurement unit.
前記投影部は、前記会話内容に関する情報に応じた情報を投影することを特徴とする請求項1〜10のいずれか一項に記載の投影装置。 The voice detection unit detects information related to a conversation content of a user using the first device,
The projection device according to claim 1, wherein the projection unit projects information according to information regarding the conversation content.
前記検出部の検出結果に応じて、少なくとも前記第1機器とは異なる第2機器に関する情報を投影する投影部と、を備えたことを特徴とする投影装置。 A detection unit for detecting a state of a user using the first device;
A projection apparatus comprising: a projection unit that projects at least information related to a second device different from the first device according to a detection result of the detection unit.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011289291A JP2013137472A (en) | 2011-12-28 | 2011-12-28 | Projector |
PCT/JP2012/076468 WO2013099407A1 (en) | 2011-12-28 | 2012-10-12 | Display device and projection device |
US14/367,163 US9927878B2 (en) | 2011-12-28 | 2012-10-12 | Display device and projection device |
CN201710930574.2A CN107610627A (en) | 2011-12-28 | 2012-10-12 | Display device and projection arrangement |
CN201280070259.2A CN104137173B (en) | 2011-12-28 | 2012-10-12 | Display device and projection arrangement |
US15/890,862 US10409386B2 (en) | 2011-12-28 | 2018-02-07 | Display device and projection device |
US16/523,089 US11086405B2 (en) | 2011-12-28 | 2019-07-26 | Display device and projection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011289291A JP2013137472A (en) | 2011-12-28 | 2011-12-28 | Projector |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013137472A true JP2013137472A (en) | 2013-07-11 |
Family
ID=48913240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011289291A Pending JP2013137472A (en) | 2011-12-28 | 2011-12-28 | Projector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013137472A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6257825B1 (en) * | 2017-05-26 | 2018-01-10 | 株式会社コロプラ | Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1069366A (en) * | 1996-08-29 | 1998-03-10 | Kobe Nippon Denki Software Kk | Automatic unnecessary window end system |
JP2000330684A (en) * | 1999-05-18 | 2000-11-30 | Nec Corp | Multi-window display system and window displaying and deleting method |
WO2004107071A1 (en) * | 2003-05-29 | 2004-12-09 | Matsushita Electric Industrial Co., Ltd. | Abnormality processing system |
JP2005215726A (en) * | 2004-01-27 | 2005-08-11 | Advanced Media Inc | Information presenting system for speaker, and program |
JP2007235470A (en) * | 2006-02-28 | 2007-09-13 | Brother Ind Ltd | Graphic display device |
WO2010035477A1 (en) * | 2008-09-29 | 2010-04-01 | パナソニック株式会社 | User interface device, user interface method, and recording medium |
JP2011209579A (en) * | 2010-03-30 | 2011-10-20 | Canon Inc | Image display system and control method thereof |
JP2011242699A (en) * | 2010-05-20 | 2011-12-01 | Canon Inc | Information presentation system and its control method, and program |
-
2011
- 2011-12-28 JP JP2011289291A patent/JP2013137472A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1069366A (en) * | 1996-08-29 | 1998-03-10 | Kobe Nippon Denki Software Kk | Automatic unnecessary window end system |
JP2000330684A (en) * | 1999-05-18 | 2000-11-30 | Nec Corp | Multi-window display system and window displaying and deleting method |
WO2004107071A1 (en) * | 2003-05-29 | 2004-12-09 | Matsushita Electric Industrial Co., Ltd. | Abnormality processing system |
JP2005215726A (en) * | 2004-01-27 | 2005-08-11 | Advanced Media Inc | Information presenting system for speaker, and program |
JP2007235470A (en) * | 2006-02-28 | 2007-09-13 | Brother Ind Ltd | Graphic display device |
WO2010035477A1 (en) * | 2008-09-29 | 2010-04-01 | パナソニック株式会社 | User interface device, user interface method, and recording medium |
JP2011209579A (en) * | 2010-03-30 | 2011-10-20 | Canon Inc | Image display system and control method thereof |
JP2011242699A (en) * | 2010-05-20 | 2011-12-01 | Canon Inc | Information presentation system and its control method, and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6257825B1 (en) * | 2017-05-26 | 2018-01-10 | 株式会社コロプラ | Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program |
JP2018200568A (en) * | 2017-05-26 | 2018-12-20 | 株式会社コロプラ | Method for communicating via virtual space, program for implementing that method in computer, and information processing apparatus for executing that program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6617755B2 (en) | Display device and electronic device | |
WO2013099407A1 (en) | Display device and projection device | |
JP7018099B2 (en) | Lighting equipment | |
US11946650B2 (en) | Range hood and method for controlling the range hood | |
US20210003977A1 (en) | Systems and methods of gestural interaction in a pervasive computing environment | |
WO2014045683A1 (en) | Control device and recording medium | |
US20160070410A1 (en) | Display apparatus, electronic apparatus, hand-wearing apparatus and control system | |
JP2006146803A (en) | Operation device, and remote operation system | |
JP2015228097A (en) | Electronic device, electronic device system and program | |
WO2019220729A1 (en) | Information processing device, information processing method, and storage medium | |
JP2017073255A (en) | Illumination control device and illumination system | |
JP6350175B2 (en) | POSITION DETECTION DEVICE, PROJECTOR, AND POSITION DETECTION METHOD | |
KR102333931B1 (en) | Video projector and operating method thereof | |
JP2013137472A (en) | Projector | |
CN114390167A (en) | Electronic device, control method thereof, and recording medium | |
US10310676B2 (en) | Image projection apparatus and operation method thereof | |
JP6439398B2 (en) | Projector and projector control method | |
KR20070115510A (en) | Device capable of non-contact function selection and method thereof | |
JP2021071894A (en) | Operation device, operation method, and program | |
JP2019152815A (en) | Projection system and control method therefor, and program | |
CN111492339A (en) | Information processing apparatus, information processing method, and recording medium | |
JP2016186525A (en) | Display device and display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150512 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151006 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151207 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160614 |