JP2013137472A - Projector - Google Patents

Projector Download PDF

Info

Publication number
JP2013137472A
JP2013137472A JP2011289291A JP2011289291A JP2013137472A JP 2013137472 A JP2013137472 A JP 2013137472A JP 2011289291 A JP2011289291 A JP 2011289291A JP 2011289291 A JP2011289291 A JP 2011289291A JP 2013137472 A JP2013137472 A JP 2013137472A
Authority
JP
Japan
Prior art keywords
unit
projection
user
image
operation menu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011289291A
Other languages
Japanese (ja)
Inventor
Junji Tanaka
淳史 田中
Kumiko Ishida
久美子 石田
Toru Miyakoshi
徹 宮越
Chiori Saito
チオリ 齋藤
Michiyo Ogawa
倫代 小川
Masaichi Sekiguchi
政一 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011289291A priority Critical patent/JP2013137472A/en
Priority to PCT/JP2012/076468 priority patent/WO2013099407A1/en
Priority to US14/367,163 priority patent/US9927878B2/en
Priority to CN201710930574.2A priority patent/CN107610627A/en
Priority to CN201280070259.2A priority patent/CN104137173B/en
Publication of JP2013137472A publication Critical patent/JP2013137472A/en
Priority to US15/890,862 priority patent/US10409386B2/en
Priority to US16/523,089 priority patent/US11086405B2/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Details Of Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Selective Calling Equipment (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a projector excellent in usability.SOLUTION: The projector includes an imaging section capable of imaging a user using a first device and a projection section projecting information on a second device different from the first device, based on the imaging result of the imaging section. The projector includes a voice detection section detecting information on the voice of the user using the first device. The projection section projects the information on the second device, based on the detection result of the voice detection section.

Description

本発明は、投影装置に関する。   The present invention relates to a projection apparatus.

従来より、照明器具などの機器を操作するために、使用者の手足が届く位置に仮想リモコンを投影し、この投影された仮想リモコンの仮想キーに対するユーザの操作(指差し等)に応じて照明器具を制御することが提案されていた(例えば、特許文献1)。   Conventionally, in order to operate a device such as a lighting fixture, a virtual remote controller is projected at a position where the user's limbs can reach, and illumination is performed according to a user operation (pointing or the like) on the virtual key of the projected virtual remote controller. It has been proposed to control the instrument (for example, Patent Document 1).

特開2011-9066号公報JP 2011-9066 A

しかしながら、従来の提案は、使用者の手足が届く位置に仮想リモコンを投影するというものに留まっており、必ずしも使い勝手の良いものではなかった。   However, the conventional proposals are limited to projecting the virtual remote controller at a position where the user's limbs can reach, and are not always easy to use.

本発明は上記の課題に鑑みてなされたものであり、使い勝手の良い投影装置を提供することを目的とする。   The present invention has been made in view of the above-described problems, and an object thereof is to provide an easy-to-use projection apparatus.

本発明の投影装置は、第1機器(90)を使用しているユーザを撮像可能な撮像部(94)と、前記撮像部の撮像結果に基づいて、前記第1機器とは異なる2機器(80)に関する情報を投影する投影部(10)と、を備えている。   The projection apparatus of the present invention includes an imaging unit (94) capable of imaging a user who is using the first device (90), and two devices different from the first device based on the imaging result of the imaging unit ( 80) for projecting information on 80).

この場合において、前記第1機器を使用している前記ユーザの音声に関する情報を検出する音声検出部(71)を備え、前記投影部は、前記音声検出部の検出結果に基づいて、前記第2機器に関する情報を投影することとしてもよい。また、前記音声検出部は、音声の言葉遣いに関する情報を検出することとしてもよい。また、前記撮像部は、前記投影部により投影された前記第2機器に関する情報に対するユーザの手または足を撮像することとしてもよい。この場合、前記撮像部の撮像結果に基づいて前記第2機器と通信する通信部(60)を備えていてもよい。また、前記投影部は、前記第2機器に関する情報を投影した後、前記通信部が前記第2機器と所定時間通信を行わなかった場合に、前記第2機器に関する情報の投影を終了することとしてもよい。   In this case, a voice detection unit (71) that detects information related to the voice of the user who is using the first device is provided, and the projection unit is configured to detect the second based on a detection result of the voice detection unit. Information on the device may be projected. In addition, the voice detection unit may detect information related to voice wording. The imaging unit may capture a user's hand or foot with respect to information related to the second device projected by the projection unit. In this case, you may provide the communication part (60) which communicates with a said 2nd apparatus based on the imaging result of the said imaging part. In addition, after projecting information about the second device, the projection unit ends projection of information about the second device when the communication unit does not communicate with the second device for a predetermined time. Also good.

また、本発明の投影装置では、前記撮像部は、前記ユーザの顔を撮像し、前記投影部は、前記顔の撮像結果に基づいて、前記第2機器に関する情報を投影することとしてもよい。前記ユーザが前記第1機器を使用している時間を計測する計測部(70)を備え、前記投影部は、前記計測部の計測結果に基づいて、前記第2機器に関する情報を投影することとしてもよい。また、前記投影部は、前記第2機器に関する情報に加えて、前記第1機器に関する情報を投影することとしてもよい。また、前記第1機器が使用されている際に駆動している機器を検出する検出部(60)を備えていてもよい。更に、前記音声検出部は、前記第1機器を使用しているユーザの会話内容に関する情報を検出し、前記投影部は、前記会話内容に関する情報に応じた情報を投影することとしてもよい。   In the projection device of the present invention, the imaging unit may image the user's face, and the projection unit may project information on the second device based on the imaging result of the face. It is provided with a measurement unit (70) that measures the time that the user is using the first device, and the projection unit projects information on the second device based on the measurement result of the measurement unit. Also good. The projection unit may project information related to the first device in addition to information related to the second device. Moreover, you may provide the detection part (60) which detects the apparatus which is driving when the said 1st apparatus is used. Further, the voice detection unit may detect information related to a conversation content of a user using the first device, and the projection unit may project information corresponding to the information related to the conversation content.

本発明の投影装置は、第1機器(90)を使用しているユーザの状態を検出する検出部(70)と、前記検出部の検出結果に応じて、少なくとも前記第1機器とは異なる第2機器(80)に関する情報を投影する投影部(10)と、を備える。   The projection apparatus according to the present invention includes a detection unit (70) that detects a state of a user who is using the first device (90), and at least a first device different from the first device according to a detection result of the detection unit. A projection unit (10) that projects information on two devices (80).

なお、本発明をわかりやすく説明するために、上記においては各実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。   In addition, in order to explain the present invention in an easy-to-understand manner, the above description has been made in association with the reference numerals of the drawings representing the embodiments. However, the present invention is not limited to this, and the configuration of the embodiments described later is provided. May be modified as appropriate, or at least a part thereof may be replaced with another component. Further, the configuration requirements that are not particularly limited with respect to the arrangement are not limited to the arrangement disclosed in the embodiment, and can be arranged at a position where the function can be achieved.

本発明は、使い勝手のよい投影装置を提供することができるという効果を奏する。   The present invention has an effect that it is possible to provide an easy-to-use projection apparatus.

第1の実施形態に係る投影・機器制御システムが設置されるリビングの状態を模式的に示す図である。It is a figure which shows typically the state of the living room where the projection and apparatus control system which concerns on 1st Embodiment is installed. 第1の実施形態に係る投影・機器制御システム及び電子機器のブロック図である。1 is a block diagram of a projection / device control system and an electronic device according to a first embodiment. 図3(a)〜図3(d)は、第1の実施形態に係る操作メニュー画像の一例を示す図である。FIGS. 3A to 3D are diagrams illustrating an example of an operation menu image according to the first embodiment. 図4(a)はリファレンス画像の一例を示す図であり、図4(b)は、撮像部により撮像された画像の一例を示す図である。FIG. 4A is a diagram illustrating an example of a reference image, and FIG. 4B is a diagram illustrating an example of an image captured by the imaging unit. 第1の実施形態に係る投影・機器制御システムのCPUの制御を示すフローチャートである。It is a flowchart which shows control of CPU of the projection and apparatus control system which concerns on 1st Embodiment. 撮像部により操作メニュー画像を撮像できない場合の投影領域の決定方法について説明するための図である。It is a figure for demonstrating the determination method of the projection area | region when an operation menu image cannot be imaged by an imaging part. 第2の実施形態に係る投影・機器制御システムが設置される場所の状態を模式的に示す図である。It is a figure which shows typically the state of the place where the projection and apparatus control system which concerns on 2nd Embodiment is installed. 第2の実施形態に係る投影・機器制御システム、電話機、及び電子機器のブロック図である。It is a block diagram of a projection / device control system, a telephone set, and an electronic device according to a second embodiment. 図9(a)、図9(b)は、第2の実施形態に係る操作メニュー画像の一例を示す図である。FIG. 9A and FIG. 9B are diagrams illustrating an example of an operation menu image according to the second embodiment. 第2の実施形態に係る投影・機器制御システムのCPUの制御を示すフローチャートである。It is a flowchart which shows control of CPU of the projection and apparatus control system which concerns on 2nd Embodiment.

《第1の実施形態》
以下、第1の実施形態について、図1〜図6に基づいて詳細に説明する。図1は、本第1の実施形態の投影・機器制御システム100の概略構成を示す図である。
<< First Embodiment >>
Hereinafter, the first embodiment will be described in detail with reference to FIGS. FIG. 1 is a diagram showing a schematic configuration of a projection / device control system 100 according to the first embodiment.

図1に示すように、投影・機器制御システム100は、リビングの天井に設けられ、テーブル200の上面や床の上に、テレビ210、エアコン220、照明機器230などの電子機器80を操作するための操作メニュー画像を投影する。また、投影・機器制御システム100は、操作メニュー画像に対するユーザの操作(ジェスチャー)があった場合に、当該操作に応じた電子機器80の制御を実行する。   As shown in FIG. 1, the projection / device control system 100 is provided on the ceiling of a living room, and operates an electronic device 80 such as a television 210, an air conditioner 220, and a lighting device 230 on the upper surface or floor of a table 200. Project an operation menu image. In addition, when there is a user operation (gesture) on the operation menu image, the projection / device control system 100 executes control of the electronic device 80 according to the operation.

図2は、投影・機器制御システム100のブロック図である。投影・機器制御システム100は、図2に示すように、投影部10と、画像システム部20と、センサ部30と、ジェスチャー認識部40と、フラッシュメモリ50と、通信部60と、CPU70と、を備える。以下、各部について詳細に説明する。   FIG. 2 is a block diagram of the projection / device control system 100. As shown in FIG. 2, the projection / device control system 100 includes a projection unit 10, an image system unit 20, a sensor unit 30, a gesture recognition unit 40, a flash memory 50, a communication unit 60, a CPU 70, Is provided. Hereinafter, each part will be described in detail.

(投影部10)
投影部10は、光源11と、照明光学系12と、光変調素子13と、投射光学系14と、投影画像調整部15と、メニュー表示部16と、を有する。なお、投影部10の設置数は、リビングの広さやレイアウトに応じて決定することができる。
(Projector 10)
The projection unit 10 includes a light source 11, an illumination optical system 12, a light modulation element 13, a projection optical system 14, a projection image adjustment unit 15, and a menu display unit 16. The number of projection units 10 can be determined according to the size and layout of the living room.

光源11は、例えば光を出射するランプである。照明光学系12は、光源11から出射された光束を光変調素子13に照明する。光変調素子13は、例えば液晶パネルであり、テーブル200の上面などに投影する画像(メニュー表示部16から入力される画像データに基づく画像(後述))を生成する。投射光学系14は、光変調素子13からの光束をテーブル200上面や床に向けて投射する光学系であり、投影する像の大きさを調整するズームレンズと、フォーカス位置を調整するフォーカスレンズとを有する。なお、ズームレンズやフォーカスレンズに含まれるレンズの位置は、不図示のアクチュエータにより調整される。   The light source 11 is, for example, a lamp that emits light. The illumination optical system 12 illuminates the light modulation element 13 with the light beam emitted from the light source 11. The light modulation element 13 is a liquid crystal panel, for example, and generates an image (an image (described later) based on image data input from the menu display unit 16) to be projected onto the upper surface of the table 200 or the like. The projection optical system 14 is an optical system that projects the light beam from the light modulation element 13 toward the upper surface or floor of the table 200, and includes a zoom lens that adjusts the size of an image to be projected, and a focus lens that adjusts the focus position. Have Note that the position of the lens included in the zoom lens or the focus lens is adjusted by an actuator (not shown).

投影画像調整部15は、画像システム部20の撮像結果やセンサ部30の検出結果に基づいて、テーブル200や床に向けて投影する画像の領域(大きさ)や、距離を決定するものである。投影画像調整部15は、決定した画像の領域(大きさ)や距離に応じて、不図示のアクチュエータを制御し、投射光学系14のズームレンズやフォーカスレンズに含まれるレンズの位置を調整する。また、投影画像調整部15は、テーブル200上面や床の色や明るさに応じてコントラスト処理、投影するメニューの色の調整(変更)、及び光源11の輝度を調整する。また、投影画像調整部15は、表示する画像の内容(アイコンの配置など)に関する設定も行う。   The projection image adjustment unit 15 determines an area (size) and a distance of an image to be projected toward the table 200 and the floor based on the imaging result of the image system unit 20 and the detection result of the sensor unit 30. . The projection image adjusting unit 15 controls an actuator (not shown) according to the determined image area (size) and distance, and adjusts the position of the lens included in the zoom lens and the focus lens of the projection optical system 14. Further, the projection image adjustment unit 15 adjusts the contrast processing, the adjustment (change) of the color of the menu to be projected, and the luminance of the light source 11 according to the color and brightness of the upper surface of the table 200 and the floor. The projection image adjustment unit 15 also performs settings related to the contents of an image to be displayed (icon arrangement, etc.).

メニュー表示部16は、画像システム部20の撮像結果やセンサ部30の検出結果に基づいて、テーブル200上面や床などに向けて電子機器80を操作するための操作メニュー画像を投射光学系14を介して表示する。   The menu display unit 16 projects the operation menu image for operating the electronic device 80 toward the upper surface of the table 200 or the floor on the projection optical system 14 based on the imaging result of the image system unit 20 or the detection result of the sensor unit 30. Display through.

図3(a)〜図3(d)には、メニュー表示部16が投射光学系14を介して表示する操作メニュー画像17の一例が示されている。メニュー表示部16が表示する操作メニュー画像17は、階層構造(図3(a)〜図3(d)の画像が操作に応じて表示される構造)となっている。   FIGS. 3A to 3D show an example of the operation menu image 17 that the menu display unit 16 displays via the projection optical system 14. The operation menu image 17 displayed by the menu display unit 16 has a hierarchical structure (a structure in which the images of FIGS. 3A to 3D are displayed according to the operation).

図3(a)は、初期メニュー画像(最初に投影する操作メニュー画像)である。この図3(a)の初期メニュー画像には、操作する電子機器80を選択するためのアイコン171、画像の拡大・縮小を行うためのアイコン172、及び投影の終了(“戻る”を意味する)アイコン173が含まれている。図3(a)では、電子機器80を選択するためのアイコン171として、図1のリビングに配置された機器に対応した照明機器、エアコン、テレビのアイコンが表示されている。なお、図3(a)では、ユーザが直感的に電子機器80を選択できるように、部屋のレイアウト(上下関係)に応じてアイコンが表示される。具体的には、一番上に照明機器230、次にエアコン220、一番下にテレビ210のアイコンが表示されている。この場合、一般的なレイアウト(照明は最も上であることが多く、照明よりも下にエアコンがあり、床に近いところにテレビがある、などのレイアウト)から電子機器80の位置が特定できる場合と、特定できない場合とがある。電子機器80の位置が特定できない場合には、フラッシュメモリ50に各電子機器80の位置を予め登録しておいてもよい。また、後述するように電子機器80との通信結果からその位置を特定するようにしてもよい。なお、アイコンの配置等については、CPU70が設定するものとする。   FIG. 3A shows an initial menu image (an operation menu image to be projected first). The initial menu image in FIG. 3A includes an icon 171 for selecting the electronic device 80 to be operated, an icon 172 for enlarging / reducing the image, and the end of projection (meaning “return”). An icon 173 is included. In FIG. 3A, as icons 171 for selecting the electronic device 80, icons of lighting devices, air conditioners, and televisions corresponding to the devices arranged in the living room of FIG. 1 are displayed. In FIG. 3A, icons are displayed according to the room layout (vertical relationship) so that the user can select the electronic device 80 intuitively. Specifically, the lighting device 230 is displayed at the top, then the air conditioner 220, and the icon of the television 210 is displayed at the bottom. In this case, when the position of the electronic device 80 can be identified from a general layout (a layout in which lighting is often at the top, an air conditioner is below the lighting, a television is near the floor, etc.) And sometimes cannot be identified. If the position of the electronic device 80 cannot be specified, the position of each electronic device 80 may be registered in the flash memory 50 in advance. Further, as described later, the position may be specified from the result of communication with the electronic device 80. Note that the CPU 70 sets the icon arrangement and the like.

図3(b)は、図3(a)の初期メニュー画像において照明機器のアイコンを選択した場合に表示される操作メニュー画像である。この図3(b)の操作メニュー画像には、照明機器の表示とともに、拡大・縮小のアイコン181、ON、OFFスイッチのアイコン182、アップダウンスイッチのアイコン183、戻ることを示すアイコン184が含まれている。なお、アップダウンスイッチのアイコン183は、照明機器230の照度を調整するためのアイコンである。   FIG. 3B is an operation menu image displayed when the icon of the lighting device is selected in the initial menu image of FIG. The operation menu image of FIG. 3B includes a display of lighting equipment, an enlargement / reduction icon 181, an ON / OFF switch icon 182, an up / down switch icon 183, and a back icon 184. ing. The up / down switch icon 183 is an icon for adjusting the illuminance of the lighting device 230.

図3(c)は、エアコンを選択した場合に表示される操作メニュー画像である。この図3(c)の操作メニュー画像には、エアコンの表示、拡大・縮小のアイコン191、ON、OFFスイッチのアイコン192、アップダウンスイッチのアイコン193、戻ることを示すアイコン194、モード切換え(冷房、暖房、除湿など)を示すアイコン195が含まれている。アップダウンスイッチのアイコン193は、設定されたモードに応じた調整(設定温度、設定湿度の変更など)を行うためのアイコンである。   FIG. 3C is an operation menu image displayed when an air conditioner is selected. The operation menu image in FIG. 3C includes an air conditioner display, an enlargement / reduction icon 191, an ON / OFF switch icon 192, an up / down switch icon 193, a return icon 194, a mode change (cooling) , Heating, dehumidifying, etc.) icons 195 are included. The up / down switch icon 193 is an icon for performing adjustment (change of set temperature, set humidity, etc.) according to the set mode.

図3(d)は、テレビを選択した場合に表示される操作メニュー画像である。この図3(d)に示す操作メニュー画像には、テレビの表示、拡大・縮小のアイコン161、ON、OFFスイッチのアイコン162、アップダウンスイッチのアイコン163、戻ることを示すアイコン164、モード切換え(チャンネル、音量など)を示すアイコン165が含まれている。アップダウンスイッチのアイコン163は、設定されたモードに応じた調整(チャンネル変更、音量設定など)を行うためのアイコンである。   FIG. 3D is an operation menu image displayed when the television is selected. The operation menu image shown in FIG. 3D includes a television display, an enlargement / reduction icon 161, an ON / OFF switch icon 162, an up / down switch icon 163, a return icon 164, a mode change ( An icon 165 indicating the channel, volume, etc.) is included. The up / down switch icon 163 is an icon for performing adjustment (channel change, volume setting, etc.) according to the set mode.

図3(b)〜図3(d)に示すように、メニュー表示部16が表示する各電子機器80の操作メニュー画像は、その一部(例えば、拡大・縮小のアイコン、ON、OFFスイッチのアイコン、アップダウンスイッチのアイコン、戻ることを示すアイコン)が共通となっている。これにより、ユーザは、選択された電子機器80の種類が異なる場合にも違和感なく操作することが可能である。   As shown in FIGS. 3B to 3D, the operation menu image of each electronic device 80 displayed by the menu display unit 16 is a part of the operation menu image (for example, an enlargement / reduction icon, an ON / OFF switch, etc.). Icon, up / down switch icon, and icon indicating return). Thus, the user can operate without a sense of discomfort even when the type of the selected electronic device 80 is different.

(画像システム部20)
図2に戻り、画像システム部20は、リビング内のユーザが操作メニュー画像の投影を要求しているかどうかを認識したり、投影部10による操作メニュー画像17の投影に先立ち、リビング内を撮像して操作メニュー画像17を投影すべき場所を決定したりするものである。画像システム部20は、図2に示すように、撮像部21と、画像比較部22と、を有する。
(Image system unit 20)
Returning to FIG. 2, the image system unit 20 recognizes whether or not the user in the living room requests the projection of the operation menu image, or images the inside of the living room before the projection unit 10 projects the operation menu image 17. The location where the operation menu image 17 should be projected is determined. As shown in FIG. 2, the image system unit 20 includes an imaging unit 21 and an image comparison unit 22.

撮像部21は、撮影レンズと撮像素子とを含み、リビングの天井からリビング内の構造物およびユーザを撮像する。撮影レンズとしてはリビングの大きさに応じた広角レンズ(例えば、リビング全体を撮像可能な広角レンズ)を用いればよい。なお、撮像部21の数は1つに限らず、リビングの大きさに応じた数(複数)としてもよい。また、撮像部21を不図示のアクチュエータにより2次元に駆動することによりリビング内を撮像してもよい。撮像素子としては、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)を採用することができる。撮像素子は、RGB3原色がベイヤー配列されたカラーフィルタを有しており、各色それぞれに対応した色信号を得ることができる。なお、画像システム部20による撮像は静止画でも動画でもその組み合わせでもよい。   The imaging unit 21 includes a photographic lens and an imaging device, and images structures and users in the living room from the ceiling of the living room. A wide-angle lens corresponding to the size of the living room (for example, a wide-angle lens capable of imaging the entire living room) may be used as the photographing lens. Note that the number of the imaging units 21 is not limited to one, and may be a number (plural) according to the size of the living room. Moreover, you may image the inside of a living room by driving the imaging part 21 two-dimensionally with an actuator not shown. As the imaging device, a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) can be employed. The image sensor has a color filter in which RGB three primary colors are arranged in a Bayer array, and can obtain color signals corresponding to the respective colors. The imaging by the image system unit 20 may be a still image, a moving image, or a combination thereof.

なお、撮像部21は、投影部10と一体的に設けてもよいし、独立して設けてもよい。いずれの場合であっても、撮像部21と投影部10との機械的な位置関係がわかっていればよく、当該位置関係は、フラッシュメモリ50等にシステム定数として記憶しておけばよい。   The imaging unit 21 may be provided integrally with the projection unit 10 or may be provided independently. In any case, it is only necessary to know the mechanical positional relationship between the imaging unit 21 and the projection unit 10, and the positional relationship may be stored as a system constant in the flash memory 50 or the like.

画像比較部22は、リビングのリファレンス画像(図4(a)参照)と、撮像部21が撮像した画像(図4(b)参照)とを比較するものである。リビングのリファレンス画像は、フラッシュメモリ50に記憶されている画像であり、例えばリビング内全体が撮像された画像である。なお、レイアウトの変更や、季節の模様替えに応じてリファレンス画像を変更することとしてもよい。この場合、ユーザの指示の下、リファレンス画像を変更してもよいし、例えば、エアコンの設定変更(暖房と冷房の切り替え)に基づいて季節の変わり目が検出された場合に、リファレンス画像を自動で更新するようにしてもよい。なお、フラッシュメモリ50には、危険物(カッターや包丁、ポットややかんなど)の各種画像も記憶されているものとする。   The image comparison unit 22 compares the living reference image (see FIG. 4A) with the image captured by the imaging unit 21 (see FIG. 4B). The living reference image is an image stored in the flash memory 50, for example, an image of the entire living room. It should be noted that the reference image may be changed in accordance with the layout change or seasonal pattern change. In this case, the reference image may be changed under the user's instruction. For example, when a change in season is detected based on a change in air conditioner settings (switching between heating and cooling), the reference image is automatically changed. You may make it update. The flash memory 50 also stores various images of dangerous objects (cutters, knives, pots, kettles, etc.).

画像比較部22は、撮像部21が撮像した画像と、リファレンス画像とを比較し、撮像部21が撮像した画像がリファレンス画像と同じかどうかを判定する。また、画像比較部22は、撮像部21が撮像した画像と、危険物の各種画像とを比較し、撮像した画像に危険物の画像が含まれているか否か、及びどこに危険物があるかを判定する。   The image comparison unit 22 compares the image captured by the imaging unit 21 with the reference image, and determines whether the image captured by the imaging unit 21 is the same as the reference image. In addition, the image comparison unit 22 compares the image captured by the imaging unit 21 with various images of dangerous materials, and whether or not the captured image includes a dangerous material image and where is the dangerous material. Determine.

なお、撮像部21が撮像したユーザの位置に基づいて、投影部10が操作メニュー画像17を投影する場合、ユーザが立っているか座っているかにより、投影する場所を床にすべきかテーブルにすべきかが異なる。このような場合に対応するため、CPU70は、特開2011−141730号に記載されているように、撮像画像中の頭の大きさ(撮像部21とユーザの頭との距離に応じて変化)に基づいて、ユーザが立っているか座っているかを判断することとしてもよい。具体的には、ユーザが立っている場合には、撮像部21とユーザの頭との距離は近づくのでユーザの頭は大きく撮像される。一方、ユーザが座っている場合には立っている場合に比べて、撮像部21とユーザの頭との距離は離れるのでユーザの頭は小さく撮像される。したがって、CPU70は、撮像部21が撮像した頭の大きさに応じてユーザの姿勢を判断し、投影部10は、当該判断結果に基づいて、床とテーブルのいずれかに操作メニュー画像17を投影するようにすればよい。なお、ユーザの身長や頭の大きさなどの情報をフラッシュメモリ50に記憶しておき、これらの情報を用いて、ユーザが立っているか座っているかをCPU70が判断することとしてもよい。なお、CPU70は、頭の大きさに代えて、撮像画像中のユーザの肩幅の広さに基づいて、ユーザが立っているか座っているかを判断することとしてもよい。   When the projection unit 10 projects the operation menu image 17 based on the position of the user imaged by the imaging unit 21, whether the projection location should be a floor or a table depending on whether the user is standing or sitting. Is different. In order to cope with such a case, as described in JP 2011-141730 A, the CPU 70 has the size of the head in the captured image (changes according to the distance between the imaging unit 21 and the user's head). Based on the above, it may be determined whether the user is standing or sitting. Specifically, when the user is standing, the distance between the imaging unit 21 and the user's head is closer, so the user's head is imaged larger. On the other hand, when the user is sitting, the distance between the imaging unit 21 and the user's head is greater than when the user is standing. Therefore, the CPU 70 determines the posture of the user according to the size of the head imaged by the imaging unit 21, and the projection unit 10 projects the operation menu image 17 on either the floor or the table based on the determination result. You just have to do it. Note that information such as the user's height and head size may be stored in the flash memory 50, and the CPU 70 may determine whether the user is standing or sitting using the information. Note that the CPU 70 may determine whether the user is standing or sitting based on the width of the shoulder width of the user in the captured image instead of the size of the head.

(センサ部30)
センサ部30は、図2に示すように、温度(熱量)検出部31及び距離センサ32を有している。
(Sensor part 30)
As shown in FIG. 2, the sensor unit 30 includes a temperature (heat amount) detection unit 31 and a distance sensor 32.

温度検出部31は、赤外線センサと、リビングの所定領域の温度(熱量)を赤外線センサにより検出するために赤外線センサを例えば2次元に駆動するアクチュエータと、赤外線センサが検出した温度のうち所定以上の温度(たとえば40度以上)を検出する設定温度検出部とを備えている。本第1の実施形態において、温度検出部31によりリビング内の所定以上の温度を検出するのは、例えばテーブルに高温の鍋が置かれている場合に、投影部10が、その高温部分およびその近傍に操作メニュー画像17を投影してしまうのを防止するためである。   The temperature detection unit 31 includes, for example, an infrared sensor, an actuator that drives the infrared sensor in a two-dimensional manner to detect a temperature (amount of heat) in a predetermined area of the living room, and a temperature that is greater than or equal to a predetermined value among the temperatures detected by the infrared sensor And a set temperature detection unit for detecting temperature (for example, 40 degrees or more). In the first embodiment, the temperature detection unit 31 detects a temperature higher than a predetermined temperature in the living room, for example, when a high-temperature pan is placed on a table, This is to prevent the operation menu image 17 from being projected in the vicinity.

なお、温度検出部31により人間の表面温度を検出してユーザがいる場所を検出するようにしてもよい。この場合、リビングにユーザがいることを検出した時点から投影・機器制御システム100を起動するようにしてもよい。ただし、このような起動制御を行う場合には、リビングの扉の開閉動作に応じて赤外線センサオンにするか、赤外線センサを常時駆動しておく必要がある。   Note that the temperature detection unit 31 may detect a human surface temperature to detect a place where the user is present. In this case, the projection / apparatus control system 100 may be activated from the time when it is detected that the user is in the living room. However, when such activation control is performed, it is necessary to turn on the infrared sensor according to the opening / closing operation of the living room door or to always drive the infrared sensor.

距離センサ32は、例えば超音波センサを含んでおり、床やテーブルの上に小型の携帯機器や玩具などといった段差を生じるものが置かれているかどうかを検出するものである。本第1の実施形態において段差検出を行うこととしているのは、投影部10が、段差がある部分に操作メニュー画像を投影してしまうのを防止するためである。   The distance sensor 32 includes, for example, an ultrasonic sensor, and detects whether or not an object such as a small portable device or a toy is placed on the floor or table. The reason why the step detection is performed in the first embodiment is to prevent the projection unit 10 from projecting the operation menu image on a portion having a step.

なお、前述した画像比較部22が、リファレンス画像(段差のない画像)と、撮像部21が撮像した画像とを比較して段差検出を行ってもよい。ただし、テーブル200の上のテーブルクロスを交換した場合などにおいては、段差がほとんどない部分であっても段差として検出してしまう可能性がある。このため、本第1の実施形態では、撮像部21が撮像した画像とリファレンス画像との差異がある部分を検出し、当該差異の部分に段差があるか否かを距離センサ32により検出することとする。なお、検出する段差の高さとしては、5mm以上あるいは10mm以上など、種々の高さを採用することができる。   Note that the above-described image comparison unit 22 may detect the level difference by comparing the reference image (an image without a level difference) with the image captured by the imaging unit 21. However, when the table cloth on the table 200 is replaced, even a portion having almost no step may be detected as a step. For this reason, in the first embodiment, a portion where there is a difference between the image captured by the imaging unit 21 and the reference image is detected, and the distance sensor 32 detects whether there is a step in the difference portion. And In addition, various heights, such as 5 mm or more or 10 mm or more, can be employ | adopted as the height of the level | step difference to detect.

(ジェスチャー認識部40)
ジェスチャー認識部40は、撮像部21と協働して、ユーザのジェスチャーを認識するものである。ジェスチャー認識部40は、ユーザが操作メニュー画像の投影を要求しているか否かを認識するとともに、操作メニュー画像17上でのユーザの操作状況を認識する。
(Gesture recognition unit 40)
The gesture recognition unit 40 recognizes a user's gesture in cooperation with the imaging unit 21. The gesture recognizing unit 40 recognizes whether or not the user requests projection of the operation menu image, and recognizes the operation state of the user on the operation menu image 17.

ジェスチャー認識部40は、例えば、撮像部21によって撮像された画像を取得し、当該画像中においてユーザの顔を検出した場合に、操作メニュー画像の投影を要求していると判断する。このような判断が可能であるのは、前述のように撮像部21は天井に設けられているため、撮像部21は、通常、ユーザの頭を撮像することができる一方、顔を撮像することができないからである。なお、ジェスチャー認識部40は、ユーザが撮像部21を指差しする動作を行った場合に、ユーザが操作メニューの投影を要求していると認識してもよい。また、ジェスチャー認識部40は、上記顔検出と指差し動作との組み合わせによりユーザが操作メニューの投影を要求していると認識してもよい。   For example, when the gesture recognition unit 40 acquires an image captured by the imaging unit 21 and detects the user's face in the image, the gesture recognition unit 40 determines that the operation menu image is requested to be projected. Such a determination can be made because the imaging unit 21 is provided on the ceiling as described above, and thus the imaging unit 21 can usually capture the face of the user while imaging the face of the user. It is because it is not possible. The gesture recognizing unit 40 may recognize that the user is requesting the projection of the operation menu when the user performs an operation of pointing the image capturing unit 21. The gesture recognizing unit 40 may recognize that the user requests the projection of the operation menu by a combination of the face detection and the pointing operation.

一方、ジェスチャー認識部40は、撮像部21の撮像した画像を取得し、当該画像中の色認識(肌色認識等)により、操作メニュー画像上にユーザの手や指が所定時間(例えば1秒から5秒)位置している場合に、操作メニュー画像17上でのユーザの操作を認識する。また、操作メニュー画像にユーザの手や指が位置してから動画を撮像したり静止画の連続撮像を行い、手や指の位置の変化(軌跡)からユーザのジェスチャーを認識するようにしてもよい。なお、ユーザの手や指は操作メニュー画像に直接触れていてもよいが、操作メニュー画像の投影領域にユーザの体の一部があれば操作していると認識されるため、操作メニューに直接接触していなくてもよい。   On the other hand, the gesture recognizing unit 40 acquires an image captured by the image capturing unit 21, and a user's hand or finger is placed on the operation menu image for a predetermined time (for example, from 1 second) by color recognition (skin color recognition or the like) in the image. 5 seconds), the user's operation on the operation menu image 17 is recognized. In addition, a moving image is captured after the user's hand or finger is positioned on the operation menu image or a still image is continuously captured, and the user's gesture is recognized from the change (trajectory) of the position of the hand or finger. Good. Note that the user's hand or finger may directly touch the operation menu image, but if there is a part of the user's body in the projection area of the operation menu image, it is recognized that the user is operating. It may not be in contact.

なお、フラッシュメモリ50にユーザの手の画像を記憶しておくこととしてもよい。ジェスチャー認識部40は、当該ユーザの手の画像を用いて、ユーザの手の位置を認識してもよい。   An image of the user's hand may be stored in the flash memory 50. The gesture recognition unit 40 may recognize the position of the user's hand using the image of the user's hand.

なお、ジェスチャー認識部40では、図3(b)〜図3(d)に示すアップダウンスイッチのアイコン183,193,163の操作量を、アイコン上のユーザの指の数に応じて決定することとしてもよい。例えば、図3(d)に示すテレビの操作において、モードが音量設定になっているとする。この場合、アップスイッチのアイコン上に3本の指が乗っていた場合には、ジェスチャー認識部40は、音量を3段階上げる操作であると認識すればよい。   The gesture recognition unit 40 determines the amount of operation of the up / down switch icons 183, 193, and 163 shown in FIGS. 3B to 3D according to the number of fingers of the user on the icons. It is good. For example, assume that the mode is set to volume in the television operation shown in FIG. In this case, if three fingers are on the up switch icon, the gesture recognizing unit 40 may recognize that the operation is to increase the volume by three levels.

(フラッシュメモリ50)
フラッシュメモリ50は、不揮発性メモリであり、CPU70が実行するプログラムや、リビングのレイアウトに関する情報、撮像部21と投影部10との機械的な位置関係などのシステム定数、リファレンス画像や危険物などの各種画像のデータ、ユーザ情報、通信部60と通信を行う電子機器80(照明機器、テレビ、エアコンなど)の情報等が記憶されている。
(Flash memory 50)
The flash memory 50 is a non-volatile memory, such as a program executed by the CPU 70, information on the layout of the living room, system constants such as a mechanical positional relationship between the imaging unit 21 and the projection unit 10, reference images, dangerous objects, and the like. Various image data, user information, information on electronic devices 80 (such as lighting devices, televisions, and air conditioners) that communicate with the communication unit 60 are stored.

(通信部60)
通信部60は、電子機器80(テレビ210、エアコン220、照明機器230など)と通信するための無線の通信ユニットを備え、ジェスチャー認識部40が認識したユーザのジェスチャーに応じて、電子機器80に対して各種制御指令を送信する。通信ユニットは、無線モジュールと、アンテナとを有している。なお、アンテナは、不図示のアクチュエータにより、回転・チルト動作が可能であるものとする。アンテナを回転・チルト可能としたことにより、回転・チルトさせたアンテナで受信される各電子機器80からの電波強度に基づいて、各電子機器80のおおよその位置を認識することができるようになっている。例えば、新しい電子機器80がリビングに設置された場合には、当該新しい電子機器80の位置を認識することができる。なお、アンテナを回転する代わりに複数のアンテナを設けておき、当該複数のアンテナの電波強度に基づいて各電子機器80のおおよその位置を認識するようにしてもよい。
(Communication unit 60)
The communication unit 60 includes a wireless communication unit for communicating with the electronic device 80 (the television 210, the air conditioner 220, the lighting device 230, and the like), and the electronic device 80 receives the gesture recognized by the gesture recognition unit 40. Various control commands are sent to it. The communication unit has a wireless module and an antenna. It is assumed that the antenna can be rotated and tilted by an actuator (not shown). Since the antenna can be rotated and tilted, the approximate position of each electronic device 80 can be recognized based on the radio wave intensity from each electronic device 80 received by the rotated and tilted antenna. ing. For example, when a new electronic device 80 is installed in a living room, the position of the new electronic device 80 can be recognized. Instead of rotating the antennas, a plurality of antennas may be provided, and the approximate position of each electronic device 80 may be recognized based on the radio field intensity of the plurality of antennas.

(CPU70)
CPU70は、投影・機器制御システム100に加えて、電子機器80を統括的に制御するものであり、本第1の実施形態においては、操作メニュー画像の投影や、操作メニュー画像に対するユーザのジェスチャー認識、ジェスチャーに対応する電子機器80の制御を行う。
(CPU 70)
The CPU 70 comprehensively controls the electronic apparatus 80 in addition to the projection / apparatus control system 100. In the first embodiment, the operation menu image is projected and the user recognizes the gesture on the operation menu image. The electronic device 80 corresponding to the gesture is controlled.

電子機器80は、図1に示すように、テレビ210、エアコン220、照明機器230などであり、各電子機器80の構成は様々であるが、図2に示すように、各機器は、通信部60と通信するための通信部81と、通信部81の通信結果に応じて電子機器80を制御するCPU82と、CPU82により制御される被制御部83と、を有している。なお、通信部81、CPU82、被制御部83は、各電子機器80(テレビ210、エアコン220、照明機器230)に応じて適宜好適な構成が採用されている。   As shown in FIG. 1, the electronic device 80 is a television 210, an air conditioner 220, a lighting device 230, and the like. The configuration of each electronic device 80 is various, but as shown in FIG. 60, a communication unit 81 for communicating with 60, a CPU 82 that controls the electronic device 80 according to a communication result of the communication unit 81, and a controlled unit 83 that is controlled by the CPU 82. Note that the communication unit 81, the CPU 82, and the controlled unit 83 are appropriately configured according to each electronic device 80 (the TV 210, the air conditioner 220, and the lighting device 230).

以下、上記のように構成される投影・機器制御システム100のCPU70による制御について、図5のフローチャートに沿って詳細に説明する。図5は、CPU70の制御による投影・機器制御システム100の各部の動作が示されている。   Hereinafter, control by the CPU 70 of the projection / device control system 100 configured as described above will be described in detail with reference to the flowchart of FIG. FIG. 5 shows the operation of each part of the projection / apparatus control system 100 under the control of the CPU 70.

図5のステップS10では、CPU70が、温度検出部31の出力に基づいてリビングにユーザがいるか否かを判断する。ここでの判断が肯定されると、ステップS12に移行する。   In step S <b> 10 of FIG. 5, the CPU 70 determines whether there is a user in the living room based on the output of the temperature detection unit 31. If the determination here is affirmed, the process proceeds to step S12.

ステップS12に移行すると、CPU70は、撮像部21を制御して、ユーザの撮像を開始する。なお、撮像部21による撮像が静止画による撮像である場合、リビングにユーザが存在し続けている間はほぼ連続して撮像を行ってもよいし、所定間隔(2−3秒)毎に撮像を行ってもよい。一方、投影部10により操作メニュー画像が投影されている場合には、ほぼ連続して撮像するか、あるいは所定間隔を短くして撮像することが望ましい。同様に、動画による撮像の場合は、操作メニューが投影されているときのフレームレートを上げることが望ましい。   If transfering it to step S12, CPU70 will control the imaging part 21 and will start a user's imaging. In addition, when the image pick-up by the image pick-up part 21 is image pick-up with a still image, as long as the user continues to exist in the living room, the image may be picked up almost continuously, or picked up at predetermined intervals (2-3 seconds). May be performed. On the other hand, when the operation menu image is projected by the projection unit 10, it is desirable to capture images almost continuously or at a predetermined interval. Similarly, in the case of imaging by moving images, it is desirable to increase the frame rate when the operation menu is projected.

次いで、ステップS14では、CPU70が、ユーザによる操作メニュー画像の投影リクエストがあったかどうかを判断する。CPU70は、ジェスチャー認識部40に指示を出し、撮像部21が撮像した画像から、ユーザが特定の動作を行ったかどうかを認識させる。そして、CPU70は、ジェスチャー認識部40が特定の動作を認識した場合に投影リクエストがあったものと判断する。なお、特定の動作としては、前述のように、天井を見る動作、指差しする動作、あるいはこれら動作の組み合わせなどが挙げられる。   Next, in step S14, the CPU 70 determines whether or not there has been a projection request for an operation menu image by the user. The CPU 70 instructs the gesture recognizing unit 40 to recognize whether the user has performed a specific operation from the image captured by the image capturing unit 21. Then, the CPU 70 determines that there is a projection request when the gesture recognition unit 40 recognizes a specific operation. As described above, the specific operation includes an operation of looking at the ceiling, an operation of pointing, or a combination of these operations.

なお、ステップS14の判断を行うと同時に、CPU70は、撮像部21が撮像した画像に基づいてユーザの位置や姿勢を確認することができる。なお、CPU70は、ユーザの姿勢を前述したように画像内の頭の大きさから確認することができる。本第1の実施形態では、ユーザが椅子に座っており、テーブル付近に存在していたものとする。   At the same time as the determination in step S14, the CPU 70 can confirm the position and orientation of the user based on the image captured by the imaging unit 21. The CPU 70 can confirm the user's posture from the size of the head in the image as described above. In the first embodiment, it is assumed that the user is sitting on a chair and is present near the table.

ステップS14の判断が否定された場合、すなわち、ユーザからのリクエストが無かった場合には、ステップS14を繰返し実行するが、ユーザからのリクエストがあり、ステップS14の判断が肯定された場合には、ステップS16に移行する。   If the determination in step S14 is negative, that is, if there is no request from the user, step S14 is repeated, but if there is a request from the user and the determination in step S14 is positive, Control goes to step S16.

ステップS16に移行すると、CPU70は、センサ部30からユーザが位置する付近の情報を取得する。この場合、CPU70は、温度検出部31の検出結果を取得し、テーブル200付近に温度が40℃を超える領域があるかどうかを検出する。また、CPU70は、撮像部21が撮像した画像と、フラッシュメモリ50に格納されているリファレンス画像とを比較して差異がある場合に、当該差異がある部分に段差があるかどうか、すなわち、テーブル200上に皿などがあるか無いかを、距離センサ32の検出結果から判断する。更に、CPU70は、撮像部21が撮像した画像と、フラッシュメモリ50に格納されている危険物の各種画像とを比較して、テーブル200上にフォークやナイフ、カッターナイフ、はさみ、包丁などの危険物があるか無いかを判断する。   If transfering it to step S16, CPU70 will acquire the information of the vicinity where a user is located from the sensor part 30. FIG. In this case, the CPU 70 acquires the detection result of the temperature detection unit 31 and detects whether there is a region where the temperature exceeds 40 ° C. near the table 200. In addition, when there is a difference between the image captured by the imaging unit 21 and the reference image stored in the flash memory 50, the CPU 70 determines whether there is a step in the difference, that is, a table. Whether there is a dish or the like on 200 is determined from the detection result of the distance sensor 32. Furthermore, the CPU 70 compares the image captured by the image capturing unit 21 with various images of dangerous objects stored in the flash memory 50, and creates a risk such as a fork, knife, cutter knife, scissors, knife, etc. on the table 200. Determine if there is something.

次いで、ステップS18では、CPU70が、投影部10による操作メニュー画像の投影条件を決定する。この場合、CPU70は、ステップS16で検出した情報から操作メニューを投影する領域の候補を抽出する。ここでは、テーブル付近に危険物や段差がなく、テーブルのどこでも操作メニューが表示できると判断されたものとして、説明する。   Next, in step S <b> 18, the CPU 70 determines the projection condition of the operation menu image by the projection unit 10. In this case, the CPU 70 extracts a candidate area for projecting the operation menu from the information detected in step S16. Here, description will be made assuming that it is determined that there is no dangerous object or step near the table and that the operation menu can be displayed anywhere on the table.

ここで、操作メニューを表示することができる領域が複数ある場合には、CPU70は、ユーザの正面や右側の領域を優先して操作メニュー画像を表示するようにする。これは、多くのユーザが右利きであるため、ユーザの正面や右側に操作メニューを表示することで、操作がしやすくなるためである。なお、ジェスチャー認識部40が、ユーザが左手での操作を頻繁に行う(左利きである)ことを認識した場合には、CPU70は、操作メニュー画像をユーザの左側に投影するようにしてもよい。なお、ユーザが左利きであることが認識された場合には、ユーザ毎に、頭の大きさや肩幅、左利きであることを示す情報、を対応させてフラッシュメモリ50に記憶させておいてもよい。この場合、CPU70は、撮像部21が撮像した画像から検出される頭の大きさや肩幅と、フラッシュメモリ50に記憶されている情報とから、画像中のユーザが左利きであるか否かを判別してもよい。   Here, when there are a plurality of areas where the operation menu can be displayed, the CPU 70 gives priority to the area on the front or right side of the user to display the operation menu image. This is because many users are right-handed, and thus the operation menu is displayed on the front or right side of the user, thereby facilitating the operation. If the gesture recognition unit 40 recognizes that the user frequently performs left-handed operations (left-handed), the CPU 70 may project the operation menu image on the left side of the user. When it is recognized that the user is left-handed, the size of the head, the shoulder width, and information indicating that the user is left-handed may be stored in the flash memory 50 in association with each other. In this case, the CPU 70 determines whether or not the user in the image is left-handed from the size and width of the head detected from the image captured by the imaging unit 21 and the information stored in the flash memory 50. May be.

ここで、ユーザの向きは、撮像部21により撮像した画像から判断してもよく、椅子に座っている場合は、椅子の背もたれとは反対側の方向をユーザの正面と判断することとしてもよい。また、ユーザがテレビ付近にいる場合には、通常、テレビに正対することから、ユーザから見てテレビの存在する方向をユーザの向きと判断してもよい。なお、ユーザが移動している場合には、その移動方向をユーザの向きと判断することもできる。   Here, the orientation of the user may be determined from an image captured by the imaging unit 21, and when sitting on a chair, the direction opposite to the backrest of the chair may be determined as the front of the user. . When the user is in the vicinity of the television, the user is normally facing the television, so the direction in which the television is present as viewed from the user may be determined as the user's orientation. If the user is moving, the moving direction can be determined as the user's direction.

なお、投影画像調整部15は、操作メニュー画像17が、デフォルトで150mm×150mmもしくは100mm×200mm程度の大きさでテーブル200に投影されるように、投射光学系14のズームレンズを調節する。この場合、投射光学系14から投影面までの距離は、距離センサ32により検出するようにすればよい。   The projection image adjustment unit 15 adjusts the zoom lens of the projection optical system 14 so that the operation menu image 17 is projected on the table 200 with a size of about 150 mm × 150 mm or 100 mm × 200 mm by default. In this case, the distance from the projection optical system 14 to the projection surface may be detected by the distance sensor 32.

また、投影画像調整部15は、撮像部21の撮像素子からの色信号に応じて、操作メニュー画像の色を調整する。この場合、操作メニュー画像の外縁部を暗い色にすることで、操作メニュー画像の視認性を向上させても良い。なお、これに代えて、CPU70は、操作メニュー画像を投影する領域の候補が複数ある場合には、撮像素子からの色信号に応じて白色系(例えば白いテーブルクロス)や無彩色系(例えば無彩色のカーペット)の領域を投影領域と決定してもよい。これによっても、操作メニューの視認性を向上することができる。   In addition, the projection image adjustment unit 15 adjusts the color of the operation menu image according to the color signal from the image sensor of the imaging unit 21. In this case, the visibility of the operation menu image may be improved by making the outer edge of the operation menu image darker. Instead of this, when there are a plurality of candidate areas for projecting the operation menu image, the CPU 70 selects a white system (for example, a white table cloth) or an achromatic system (for example, an achromatic system) according to the color signal from the image sensor. The area of the colored carpet) may be determined as the projection area. This also improves the visibility of the operation menu.

また、投影画像調整部15は、時刻や、照明機器の照度に応じて光源11の輝度を調整して操作メニューの視認性を向上させてもよい。また、これに代えて、リビング内に照度計を設け、照度計の検出結果に応じて光源11の輝度を調整したり、照明機器230の照度を調整するようにしてもよい。また、これとは逆に、投影部10により操作メニュー画像17を投影する場合には、操作メニュー画像を投影する部分の照明を暗くして操作メニューの視認性を向上させてもよい。   The projected image adjustment unit 15 may improve the visibility of the operation menu by adjusting the luminance of the light source 11 according to the time or the illuminance of the lighting device. Alternatively, an illuminometer may be provided in the living room, and the luminance of the light source 11 may be adjusted according to the detection result of the illuminometer, or the illuminance of the lighting device 230 may be adjusted. On the contrary, when the operation menu image 17 is projected by the projection unit 10, the visibility of the operation menu may be improved by dimming the illumination of the portion where the operation menu image is projected.

また、操作メニュー画像を投影する領域に危険物や段差がある場合には、投影画像調整部15は、危険物の位置や段差に基づき操作メニュー画像の大きさを調節するとともに、操作メニュー画像の拡大を受け付けないようにする。例えば図4(b)の場合には、危険物である鍋132や、段差を形成する箱136を避けるように操作メニュー画像を調整し、テーブルクロス134(危険物でなく、段差も形成しない)については操作メニュー画像の調整において考慮しないこととする。   When there is a dangerous object or a step in the region where the operation menu image is projected, the projection image adjustment unit 15 adjusts the size of the operation menu image based on the position or step of the dangerous object, and Do not accept expansion. For example, in the case of FIG. 4B, the operation menu image is adjusted so as to avoid the pan 132 which is a dangerous material and the box 136 which forms a step, and the table cloth 134 (not a dangerous material and no step is formed). Is not considered in the adjustment of the operation menu image.

図5のステップS18の処理が上記のように行われた後は、ステップS20に移行し、CPU70が、ステップS18で決定した投影条件に基づいて、投影部10に指示を出す。そして、投影部10は、当該指示に応じて操作メニュー画像をテーブル200上に投影する。ここでは、初期の操作メニュー画像として図3(a)の操作メニュー画像(初期メニュー画像)がテーブル200上に投影されたものとする。なお、CPU70は、ユーザに操作メニュー画像を投影したことを報知するために、不図示のスピーカにより“操作メニュー画面を投影しました”などの音声を発生するようにしてもよい。   After the process of step S18 of FIG. 5 is performed as described above, the process proceeds to step S20, and the CPU 70 instructs the projection unit 10 based on the projection condition determined in step S18. Then, the projection unit 10 projects an operation menu image on the table 200 according to the instruction. Here, it is assumed that the operation menu image (initial menu image) of FIG. 3A is projected on the table 200 as the initial operation menu image. The CPU 70 may generate a sound such as “projected operation menu screen” from a speaker (not shown) in order to notify the user that the operation menu image has been projected.

次いで、ステップS22では、CPU70が、投影部10により操作メニュー画像を投影している時間を計測するために計時を開始する。   Next, in step S <b> 22, the CPU 70 starts measuring time to measure the time during which the operation menu image is projected by the projection unit 10.

次いで、ステップS24では、CPU70が、ユーザによるジェスチャー(操作メニュー画像による操作)があったかどうかを判断する。ここでの判断が肯定された場合には、ステップS30に移行するが、否定された場合には、ステップS26に移行する。   Next, in step S24, the CPU 70 determines whether or not there has been a gesture by the user (operation by the operation menu image). If the determination here is affirmed, the process proceeds to step S30. If the determination is negative, the process proceeds to step S26.

ステップS26に移行した場合、操作メニュー画像を投影してから(計時を開始してから)所定時間(ジェスチャーの受付待ち時間(例えば10秒))が経過したか否かを判断する。ここでの判断が否定された場合には、ステップS24に戻る。一方、ステップS26の判断が肯定された場合、すなわち、ユーザのジェスチャーが10秒以上無い場合には、ステップS28に移行し、ユーザがメニュー操作を行う意思がないとして操作メニュー画像の投影を終了して図5の全処理を終了する。なお、ステップS26のジェスチャーの受付待ち時間は10秒に限らず、適宜設定することができる。   When the process proceeds to step S26, it is determined whether or not a predetermined time (gesture reception waiting time (for example, 10 seconds)) has elapsed since the operation menu image was projected (after the start of timing). When judgment here is denied, it returns to step S24. On the other hand, if the determination in step S26 is affirmative, that is, if there is no user gesture for 10 seconds or more, the process proceeds to step S28, and the projection of the operation menu image is terminated because the user does not intend to perform the menu operation. Then, the entire process of FIG. The waiting time for accepting the gesture in step S26 is not limited to 10 seconds, and can be set as appropriate.

一方、ユーザによるジェスチャー(操作メニュー画像による操作)が行われ、ステップS24の判断が肯定された場合には、ステップS30において、CPU70が、ジェスチャー認識部40に指示を出し、ジェスチャー認識部40にユーザが行ったジェスチャーを認識させる。ここでは、前述したように図3(a)の操作メニュー画像が投影部10により投影されているので、ジェスチャー認識部40は、図3(a)の操作メニュー画像のどのアイコンにユーザの指(又は体の一部)が置かれているかを認識する。例えば、撮像部21によって図3(a)のテレビのアイコンにユーザの手が置かれた状態が撮像された場合には、ジェスチャー認識部40は、ユーザがテレビの操作を選択したと認識する。なお、ジェスチャー認識部40は、撮像部21が所定枚数(2〜5枚)または所定時間(1〜3秒)同一のアイコン上の指を撮像した段階で、ユーザがジェスチャーを行ったと認識すればよい。   On the other hand, when a gesture by the user (operation by the operation menu image) is performed and the determination in step S24 is affirmed, in step S30, the CPU 70 issues an instruction to the gesture recognition unit 40, and the gesture recognition unit 40 is instructed by the user. Recognize gestures made by. Here, as described above, since the operation menu image of FIG. 3A is projected by the projection unit 10, the gesture recognition unit 40 determines which icon of the operation menu image of FIG. Or part of the body). For example, when the imaging unit 21 captures an image of a state in which the user's hand is placed on the television icon in FIG. 3A, the gesture recognition unit 40 recognizes that the user has selected an operation on the television. The gesture recognizing unit 40 recognizes that the user has made a gesture when the imaging unit 21 has captured a finger on the same icon for a predetermined number (2 to 5) or a predetermined time (1 to 3 seconds). Good.

次いで、ステップS32では、CPU70は、ステップS22で開始した計時を終了する。次いで、ステップS34では、CPU70は、次の操作メニュー画像の表示が必要かどうかを判断する。ここでは、初期メニュー画像からテレビが選択された段階であるので、CPU70は、次の操作メニュー画像の表示が必要と判断して、ステップS20に戻る。以下、CPU70は、テレビに対する操作が決定するまでステップS20からステップS34を繰り返し、テレビに対する操作が決定した段階(ステップS34の判断が否定された段階)でステップS36に移行する。   Next, in step S32, the CPU 70 ends the timing started in step S22. Next, in step S34, the CPU 70 determines whether it is necessary to display the next operation menu image. Here, since the television is selected from the initial menu image, the CPU 70 determines that the next operation menu image needs to be displayed, and returns to step S20. Thereafter, the CPU 70 repeats steps S20 to S34 until the operation on the television is determined, and proceeds to step S36 when the operation on the television is determined (the determination in step S34 is negative).

そして、ステップS36では、CPU70が、操作メニュー画像により選択されたテレビの操作(例えば、チャンネルを変更する)に基づき、その操作の指令を通信部60により、テレビ210の通信部81に通信する。テレビ210のCPU82は、通信部81が受信した操作の指令に基づいてテレビ210の制御を行う。   In step S 36, the CPU 70 communicates the operation command to the communication unit 81 of the television 210 through the communication unit 60 based on the television operation (for example, changing the channel) selected from the operation menu image. The CPU 82 of the television 210 controls the television 210 based on the operation command received by the communication unit 81.

その後は、CPU70は、ステップS24に戻り、引続きユーザのジェスチャーがある場合には、当該ジェスチャーに応じた処理を実行し、ジェスチャーによる処理が終了した場合(ステップS26の判断が肯定された場合)には、ステップS28を経て、図5の全処理を終了する。   After that, the CPU 70 returns to step S24, and when there is a user gesture, the CPU 70 executes a process according to the gesture, and when the process by the gesture is finished (when the determination at step S26 is affirmed). After step S28, all the processes in FIG.

なお、上記ステップS18においては、投影した操作メニュー画像を撮像部21が撮像できるか否かの観点から、操作メニュー画像の投影位置を決定することとしてもよい。図6には、テーブル200上に物体(ボトル)110が置かれている状態を示す図である。この場合、リファレンス画像(図4(a)参照)には物体(ボトル)110がないため、距離センサ32により物体までの距離を検出することになる。
ここで、図6の場合、物体(ボトル)110の左右に操作メニュー画像を投影可能な領域があるとする。しかるに、投影・機器制御システム100に含まれる撮像部21と物体(ボトル)110との位置関係や物体(ボトル)110の高さによっては、物体(ボトル)110の右側に操作メニュー画像を投影すると撮像部21により操作メニュー画像を撮像できない場合がある。
In step S18, the projection position of the operation menu image may be determined from the viewpoint of whether the imaging unit 21 can capture the projected operation menu image. FIG. 6 is a diagram showing a state in which an object (bottle) 110 is placed on the table 200. In this case, since there is no object (bottle) 110 in the reference image (see FIG. 4A), the distance to the object is detected by the distance sensor 32.
Here, in the case of FIG. 6, it is assumed that there are regions where an operation menu image can be projected on the left and right of the object (bottle) 110. However, depending on the positional relationship between the imaging unit 21 and the object (bottle) 110 included in the projection / device control system 100 and the height of the object (bottle) 110, the operation menu image is projected on the right side of the object (bottle) 110. In some cases, the imaging unit 21 cannot capture an operation menu image.

このような場合、CPU70は、撮像部21と物体(ボトル)110の位置関係に基づいて、物体(ボトル)110の左側の領域に操作メニュー画像を投影することとする。なお、物体の高さが低く、撮像部21による操作メニュー画像の撮像が可能な場合には、物体の右側に操作メニューを投影してもよい。この場合、CPU70は、距離センサ32が検出した物体のテーブル面からの高さと、撮像部21の取り付け位置と画角とから、撮像部21による操作メニュー画像の撮像が可能かどうか判断してもよく、実際に投影部10により物体の右側に操作メニュー画像を投影して、撮像部21による操作メニュー画像の撮像ができるかどうかを試してみてもよい。また、撮像部21により操作メニュー画像が撮像できない場合には、画像システム部20に撮像部21を駆動するアクチュエータを予め設けておき、当該アクチュエータにより撮像部21の位置や姿勢を調整して、操作メニュー画像を撮像できるかどうか試してもよい。   In such a case, the CPU 70 projects an operation menu image on an area on the left side of the object (bottle) 110 based on the positional relationship between the imaging unit 21 and the object (bottle) 110. In addition, when the height of the object is low and the operation menu image can be captured by the imaging unit 21, the operation menu may be projected on the right side of the object. In this case, the CPU 70 may determine whether the operation menu image can be captured by the imaging unit 21 from the height of the object detected by the distance sensor 32 from the table surface, the mounting position and the angle of view of the imaging unit 21. It is also possible to actually project the operation menu image on the right side of the object by the projection unit 10 and test whether the operation menu image can be captured by the imaging unit 21. When the operation menu image cannot be captured by the image capturing unit 21, an actuator that drives the image capturing unit 21 is provided in the image system unit 20 in advance, and the position and orientation of the image capturing unit 21 are adjusted by the actuator to perform the operation. You may test whether you can capture a menu image.

なお、CPU70は、次のステップS20において、投影した操作メニュー画像を撮像部21により撮像できるかどうか確認するようにしてもよい。CPU70は、撮像部21により操作メニューを撮像できる場合には次のステップS22に進み、一部(10%〜25%程度)が撮像できない場合は、投影部10による投影位置を調整し、例えば操作メニューの半分以上が撮像できない場合はステップS18に戻るようにしてもよい。   The CPU 70 may confirm whether or not the projected operation menu image can be captured by the imaging unit 21 in the next step S20. When the operation menu can be imaged by the imaging unit 21, the CPU 70 proceeds to the next step S22, and when a part (about 10% to 25%) cannot be imaged, the projection position by the projection unit 10 is adjusted, for example, the operation If more than half of the menu cannot be imaged, the process may return to step S18.

なお、図5のフローチャートでは説明を省略したが、ユーザが操作メニュー画像17の拡大・縮小のアイコンを操作した場合には、投影画像調整部15は、ステップS30において、ユーザの操作に応じて、操作メニュー画像17の大きさを変更するものとする。   Although not described in the flowchart of FIG. 5, when the user operates the enlargement / reduction icon of the operation menu image 17, the projection image adjustment unit 15 determines in step S <b> 30 according to the user's operation. It is assumed that the size of the operation menu image 17 is changed.

以上、詳細に説明したように、本第1の実施形態によると、投影部10が、ユーザの位置に応じた領域に操作メニュー画像17を投影するものであり、CPU70は、ユーザの位置に応じた領域に操作メニュー画像17の投影が可能かどうかを判断するので、ユーザの位置に応じた投影に適した位置に操作メニュー画像を投影することができる。これにより、操作メニュー画像の使い勝手が良好となる。   As described above in detail, according to the first embodiment, the projection unit 10 projects the operation menu image 17 in an area corresponding to the position of the user, and the CPU 70 responds to the position of the user. Since it is determined whether or not the operation menu image 17 can be projected onto the area, the operation menu image can be projected at a position suitable for projection according to the position of the user. Thereby, the usability of the operation menu image is improved.

また、本第1の実施形態では、CPU70は、リビングの所定領域の温度(熱量)を検出するための温度検出部31の検出結果に基づいて、操作メニュー画像17を投影できるかどうかを判断するので、温度の高い物体に操作メニュー画像が投影されるのを防止することができる。これにより、操作メニュー画像を安全な位置に投影することができる。   In the first embodiment, the CPU 70 determines whether or not the operation menu image 17 can be projected based on the detection result of the temperature detection unit 31 for detecting the temperature (heat amount) of a predetermined area in the living room. Therefore, it is possible to prevent the operation menu image from being projected on an object having a high temperature. Thereby, an operation menu image can be projected on a safe position.

また、本第1の実施形態では、CPU70は、領域の段差を検出する距離センサ32の検出結果に基づいて、操作メニュー画像17を投影できるかどうかを判断するので、段差のある領域に操作メニュー画像17を投影するのを防止することができる。これにより、使い勝手の良い位置に操作メニュー画像17を投影することができる。   In the first embodiment, the CPU 70 determines whether or not the operation menu image 17 can be projected based on the detection result of the distance sensor 32 that detects the step of the region. It is possible to prevent the image 17 from being projected. As a result, the operation menu image 17 can be projected at a convenient position.

また、本第1の実施形態では、画像比較部22が、撮像部21の撮像結果に基づいて、危険物の有無を検出し、CPU70は、当該検出結果に基づいて、操作メニュー画像17を投影できるかどうかを判断するので、危険物に対して操作メニュー画像を投影するのを防止することができる。これにより、操作メニュー画像を安全な位置に投影することが可能となる。   In the first embodiment, the image comparison unit 22 detects the presence / absence of a dangerous substance based on the imaging result of the imaging unit 21, and the CPU 70 projects the operation menu image 17 based on the detection result. Since it is determined whether or not it can be performed, it is possible to prevent the operation menu image from being projected onto the dangerous object. As a result, the operation menu image can be projected to a safe position.

また、本第1の実施形態では、投影画像調整部15が、撮像部21の撮像結果に基づいて投射光学系14の調整を行うので、適切な位置、大きさ、輝度で操作メニュー画像を投影することができる。   In the first embodiment, since the projection image adjustment unit 15 adjusts the projection optical system 14 based on the imaging result of the imaging unit 21, the operation menu image is projected at an appropriate position, size, and luminance. can do.

また、本第1の実施形態では、投影部10は、複数の電子機器80の操作メニュー画像を投影するので、当該操作メニュー画像を用いた複数の電子機器80の操作を行うことが可能である。   In the first embodiment, since the projection unit 10 projects the operation menu images of the plurality of electronic devices 80, it is possible to operate the plurality of electronic devices 80 using the operation menu images. .

また、本第1の実施形態では、複数の電子機器80と通信可能な通信部60を有しており、メニュー表示部16は、複数の電子機器80との通信状態に応じて電子機器の配置を検出し、当該配置を反映させた操作メニュー画像を投影部に投影させる。これにより、複数の電子機器80の配置を通信状態に応じて自動で検出することができるとともに、当該配置を反映させた操作メニュー画像を投影することで、ユーザの使い勝手を良好にすることが可能となる。   In the first embodiment, the communication unit 60 that can communicate with the plurality of electronic devices 80 is provided, and the menu display unit 16 is arranged according to the communication state with the plurality of electronic devices 80. And the operation menu image reflecting the arrangement is projected on the projection unit. Thereby, it is possible to automatically detect the arrangement of the plurality of electronic devices 80 according to the communication state, and it is possible to improve the usability of the user by projecting the operation menu image reflecting the arrangement. It becomes.

また、本第1の実施形態では、CPU70は、投影部10が投影した操作メニュー画像を撮像部21により撮像可能かどうかを判断するので、操作メニュー画像を適切な位置(ユーザの操作(ジェスチャー)を認識できる位置)に投影することが可能となる。   In the first embodiment, the CPU 70 determines whether the operation menu image projected by the projection unit 10 can be captured by the imaging unit 21, so that the operation menu image is displayed at an appropriate position (user operation (gesture)). Can be projected to a position where the image can be recognized.

また、本第1の実施形態では、CPU70が、距離センサ32と画像システム部20(画像比較部22)とを用いて、撮像部21による操作メニュー画像の撮像を遮る物体があるかどうかを検出する。これにより、操作メニュー画像の投影前に、撮像部21により操作メニュー画像が撮影できる領域を定め、当該領域に操作メニュー画像を投影することが可能となる。   In the first embodiment, the CPU 70 uses the distance sensor 32 and the image system unit 20 (image comparison unit 22) to detect whether there is an object that blocks the imaging of the operation menu image by the imaging unit 21. To do. Thus, before the operation menu image is projected, an area where the operation menu image can be captured by the imaging unit 21 can be determined, and the operation menu image can be projected onto the area.

また、本第1の実施形態では、撮像部21は、ユーザと、テーブル200やテレビ210などの構造物とを撮像し、CPU70は、テーブル200やテレビ210の撮像結果に基づいて、ユーザの向きを判断することとしている。これにより、ユーザの体の形状などを確認せずに、ユーザの向きを判断することが可能である。   In the first embodiment, the imaging unit 21 images the user and a structure such as the table 200 and the television 210, and the CPU 70 determines the orientation of the user based on the imaging results of the table 200 and the television 210. Is going to judge. Thereby, it is possible to determine the orientation of the user without confirming the shape of the user's body.

また、本第1の実施形態では、撮像部21は、ユーザの上方からユーザを撮像するので、ユーザのプライバシーを保護しつつ、撮像部21の撮像結果を用いた各種制御を行うことが可能である。   In the first embodiment, since the imaging unit 21 captures the user from above the user, various controls using the imaging result of the imaging unit 21 can be performed while protecting the user's privacy. is there.

また、本第1の実施形態では、CPU70は、ユーザを上方から撮像する撮像部21の撮像結果からユーザの姿勢を検出し、投影部10は、ユーザの姿勢に応じて、ユーザの近傍に操作メニュー画像17を投影するので、ユーザにとって使い勝手の良い位置に操作メニュー画像17を投影することができる。また、本第1の実施形態では、投影部10が、ユーザの位置に応じて、複数の電子機器80の操作メニュー画像17を投影するので、ユーザにとって使い勝手の良い位置に複数の電子機器80の操作メニュー画像17を投影することができる。   In the first embodiment, the CPU 70 detects the user's posture from the imaging result of the imaging unit 21 that images the user from above, and the projection unit 10 operates in the vicinity of the user according to the user's posture. Since the menu image 17 is projected, the operation menu image 17 can be projected at a position convenient for the user. Further, in the first embodiment, the projection unit 10 projects the operation menu images 17 of the plurality of electronic devices 80 according to the user's position, so that the plurality of electronic devices 80 are located at positions that are convenient for the user. The operation menu image 17 can be projected.

なお、上記第1の実施形態では、CPU70が、ステップS14においてユーザが操作メニュー画像の投影リクエストをしていることを、顔や手の動きに基づいて判断する場合について説明した。しかしながら、これに限られるものではなく、CPU70は、マイクに対してユーザから特定の音声が入力された場合に、投影リクエストがあったものと判断してもよい。   In the first embodiment, a case has been described in which the CPU 70 determines based on the movement of the face or hand that the user has requested the operation menu image projection in step S14. However, the present invention is not limited to this, and the CPU 70 may determine that there is a projection request when a specific sound is input from the user to the microphone.

なお、上記第1の実施形態では、リビングに複数の人が存在している場合に、当該複数の人が操作メニュー画像を操作できるように、操作メニュー画像を大きく表示するようにしてもよい。この場合、投影リクエストを行った人の正面又は右側に操作メニュー画像を表示するようにすればよい。なお、操作メニュー画像の操作は、全員が行えるようにしてもよいし、特定の人(例えば投影リクエストをした人)のみが行えるようにしてもよい。投影リクエストをした人のみが操作できるようにする場合には、CPU70は、手の向きや指をさす方向から、投影リクエストをした人の手か否かを判別すればよい。なお、上記第1の実施形態では、子供が操作メニュー画像による操作を行うのを制限することとしてもよい。この場合、CPU70は、手の大きさや形状などから、子供の手か否かを判別することとすればよい。   In the first embodiment, when there are a plurality of people in the living room, the operation menu image may be displayed in a large size so that the plurality of people can operate the operation menu image. In this case, the operation menu image may be displayed on the front or right side of the person who made the projection request. It should be noted that the operation menu image may be operated by all or only a specific person (for example, the person who requested the projection). When only the person who has made the projection request can perform the operation, the CPU 70 may determine whether or not it is the hand of the person who has requested the projection from the direction of the hand or the direction in which the finger is pointed. In the first embodiment, the child may be restricted from performing an operation using the operation menu image. In this case, the CPU 70 may determine whether or not it is a child's hand from the size and shape of the hand.

なお、上記第1の実施形態では、電子機器80がリビング内の機器(テレビ210、エアコン220、照明機器230など)である場合について説明したが、これに限らず、通信部60との通信が可能であれば、電子機器80は、リビングとは異なる部屋に配置されているものであっても構わない。このようにすることで、リビングに居ながら隣の部屋の照明機器をオフにするなどの操作を行うことも可能となる。   In the first embodiment, the case where the electronic device 80 is a device in the living room (such as the television 210, the air conditioner 220, and the lighting device 230) has been described. However, the present invention is not limited to this, and communication with the communication unit 60 is performed. If possible, the electronic device 80 may be arranged in a room different from the living room. In this way, it is possible to perform operations such as turning off the lighting device in the adjacent room while in the living room.

なお、上記実施形態では、リビングにおいて投影・機器制御システム100を適用した場合について説明したが、これに限られるものではない。例えば、商業施設において、投影・機器制御システム100を適用することもできる。例えば、レストランに投影・機器制御システム100を設けた場合には、客が着席したタイミングや、ジェスチャーによるリクエストのあったときにメニューをテーブルに投影するようにしてもよい。また、客が選択した商品を、POSシステムなどに登録するようにしてもよい。   In the above-described embodiment, the case where the projection / device control system 100 is applied in the living room has been described. However, the present invention is not limited to this. For example, the projection / apparatus control system 100 can be applied in a commercial facility. For example, when the projection / equipment control system 100 is provided in a restaurant, the menu may be projected onto the table when a customer is seated or when a request is made by a gesture. Further, the product selected by the customer may be registered in a POS system or the like.

《第2の実施形態》
次に、第2の実施形態に係る投影・機器制御システム100’について、図7〜図10に基づいて説明する。本第2の実施形態の投影・機器制御システム100’は、電話機を使用するユーザに対して、ユーザをサポートするためのメニュー画像を投影し、ユーザによるメニュー画像に対する動作(ジェスチャー)に基づいて電子機器を制御するものである。
<< Second Embodiment >>
Next, a projection / apparatus control system 100 ′ according to the second embodiment will be described with reference to FIGS. The projection / device control system 100 ′ of the second embodiment projects a menu image for supporting the user to the user who uses the telephone, and electronically operates based on an operation (gesture) on the menu image by the user. It controls equipment.

図7は、本第2の実施形態に係る投影・機器制御システム100’の概略構成を示す図である。図7には、投影・機器制御システム100’のほか、顔撮像部94が設けられた電話機90が図示されている。   FIG. 7 is a diagram showing a schematic configuration of a projection / apparatus control system 100 ′ according to the second embodiment. FIG. 7 shows a telephone 90 provided with a face imaging unit 94 in addition to the projection / device control system 100 ′.

図8は、投影・機器制御システム100’と電話機90のブロック図である。なお、以下においては、第1の実施形態にかかる投影・機器制御システム100(図2)と異なる部分を中心に説明する。なお、図2のブロック図と同一又は同等の構成には同一の符号を付し、その説明を省略するものとする。   FIG. 8 is a block diagram of the projection / device control system 100 ′ and the telephone 90. In the following, description will be made centering on differences from the projection / apparatus control system 100 (FIG. 2) according to the first embodiment. In addition, the same code | symbol is attached | subjected to the same or equivalent structure as the block diagram of FIG. 2, and the description shall be abbreviate | omitted.

図8に示すように、本第2の実施形態では、投影・機器制御システム100’に対して電話機90が通信可能とされているとともに、投影・機器制御システム100’が、音声解析部71と、表情検出部72と、を有している。また、投影・機器制御システム100’が制御する対象である電子機器80が、ドアホン85、ガスコンロ86、レコーダ87となっている。   As shown in FIG. 8, in the second embodiment, the telephone 90 can communicate with the projection / apparatus control system 100 ′, and the projection / apparatus control system 100 ′ A facial expression detection unit 72. In addition, the electronic device 80 that is a target to be controlled by the projection / device control system 100 ′ is a door phone 85, a gas stove 86, and a recorder 87.

(電話機90)
電話機90は、電話機能部91と、留守番機能部92と、インタフェース部93と、顔撮像部94と、通信部95と、を有する。
(Telephone 90)
The telephone 90 includes a telephone function unit 91, an answering machine function unit 92, an interface unit 93, a face imaging unit 94, and a communication unit 95.

電話機能部91は、発信・着信機能や、マイク、スピーカ機能など、一般的な電話機が有すべき機能を実現するものである。本第2の実施形態では、マイクに入力されたユーザの音声が通信部95を介して投影・機器制御システム100’に送信される。   The telephone function unit 91 realizes functions that a general telephone should have, such as an outgoing / incoming function, a microphone, and a speaker function. In the second embodiment, the user's voice input to the microphone is transmitted to the projection / apparatus control system 100 ′ via the communication unit 95.

留守番機能部92は、留守番機能の起動と停止とを制御するとともに、伝言機能を有する。また、留守番機能部92は、後述するように投影・機器制御システム100’により投影された留守番機能のアイコンをユーザが選択することにより、通話中であっても留守番機能に移行したり、お断りの伝言を送信したりする。   The answering machine function unit 92 controls starting and stopping of the answering machine function and has a message function. Further, the answering machine function unit 92 shifts to the answering machine function even during a call by the user selecting an icon of the answering machine function projected by the projection / device control system 100 ′ as will be described later. Or send a message.

インタフェース部93は、電話機90の各種スイッチ、ボタンと連携して、音声入出力、LED点灯、各種表示を行うためのインタフェースである。   The interface unit 93 is an interface for performing voice input / output, LED lighting, and various displays in cooperation with various switches and buttons of the telephone 90.

顔撮像部94は、ユーザの表情を撮像するための撮像部である。図1では、顔撮像部94はユーザの表情を撮像しやすいように電話機90に搭載されているが、これに限らずユーザの表情を撮像できる位置であれば電話機以外の場所に配置してもよい。また、顔撮像部94を複数配置してもよい。   The face imaging unit 94 is an imaging unit for imaging a user's facial expression. In FIG. 1, the face imaging unit 94 is mounted on the telephone 90 so that the user's facial expression can be easily imaged. However, the face imaging unit 94 is not limited to this and may be arranged at a location other than the telephone if it can capture the user's facial expression. Good. A plurality of face imaging units 94 may be arranged.

通信部95は、有線、無線など各種の通信方式を採用することができ、投影・機器制御システム100’の通信部60と双方向の通信を行うものである。通信部95は、電話機能部91のマイクに入力されたユーザの音声と、顔撮像部94が撮像したユーザの表情を投影・機器制御システム100’に対して送信する。   The communication unit 95 can employ various communication methods such as wired and wireless, and performs two-way communication with the communication unit 60 of the projection / device control system 100 ′. The communication unit 95 transmits the user's voice input to the microphone of the telephone function unit 91 and the user's facial expression captured by the face imaging unit 94 to the projection / device control system 100 ′.

(音声解析部71)
音声解析部71は、電話機能部91のマイクに入力されるユーザの音声を解析するものである。音声解析部71は、音声認識辞書を有しており、入力した音声が、敬語、丁寧語、謙譲語であるか、日常語(平語)であるか、それ以外の砕けた言葉遣いであるかを分類する。なお、本実施形態では、音声解析部71を投影・機器制御システム100’側に設けたが、電話機90側に設けるようにしてもよい。
(Speech analysis unit 71)
The voice analysis unit 71 analyzes the user's voice input to the microphone of the telephone function unit 91. The speech analysis unit 71 has a speech recognition dictionary, and the input speech is honorific, polite, humility, everyday language (plain language), or other broken words. Classify. In the present embodiment, the voice analysis unit 71 is provided on the projection / device control system 100 ′ side, but may be provided on the telephone 90 side.

(表情検出部72)
表情検出部72は、顔撮像部94が撮像したユーザの表情を検出するものであり、眉間に皺がある表情や、笑顔ではなく目を細めている表情を検出し、ユーザが困惑しているかどうかを判別する。
(Facial expression detection unit 72)
The facial expression detection unit 72 detects the facial expression of the user imaged by the facial imaging unit 94, and detects a facial expression with a eyelid between the eyebrows or a facial expression with a narrowed eye rather than a smile, and is the user confused? Determine if.

ここで、表情検出部72は、眉間に皺のある画像をリファレンス画像としてフラッシュメモリ50に記憶させておき、当該リファレンス画像と撮像画像とのパターンマッチングを行うことで、眉間の皺を検出することができる。また、表情検出部72は、左目と右目との間の部分の陰影分布から、眉間の皺を検出することとしてもよい。なお、眉間の皺の検出については、米国特許出願公開第2008−292148号にも開示されている。   Here, the facial expression detection unit 72 stores an image with a eyelid between the eyebrows in the flash memory 50 as a reference image, and detects the eyelid between the eyebrows by performing pattern matching between the reference image and the captured image. Can do. Further, the facial expression detection unit 72 may detect the eyebrows between the eyebrows from the shadow distribution of the portion between the left eye and the right eye. Note that detection of eyelids between eyebrows is also disclosed in US Patent Application Publication No. 2008-292148.

また、表情検出部72は、顔撮像部94により撮像される平均的な目の大きさをフラッシュメモリ50に記憶させておき、この記憶された目の大きさに対して顔撮像部94により撮像された目の大きさを比較することにより、目を細めている表情を検出することができる。   The facial expression detection unit 72 stores an average eye size captured by the face imaging unit 94 in the flash memory 50, and the face imaging unit 94 captures an image of the stored eye size. By comparing the sizes of the eyes, it is possible to detect facial expressions that narrow the eyes.

なお、特開2002−258682号公報に記載されているように、ユーザの動画像中における顔構成要素の特徴点座標変化から顔面筋の収縮量を検出して、ユーザが困惑しているかどうかを判別してもよい。   Note that, as described in Japanese Patent Laid-Open No. 2002-258682, whether or not the user is confused by detecting the amount of facial muscle contraction from the feature point coordinate change of the facial component in the user's moving image. It may be determined.

(電子機器80)
ドアホン85は、不図示の通信部により投影・機器制御システム100’との通信が可能されている。ドアホン85は、投影・機器制御システム100’のCPU70の指示に応じて、擬似的なチャイムの音を発生させる機能を有している。
(Electronic device 80)
The door phone 85 can communicate with the projection / apparatus control system 100 ′ by a communication unit (not shown). The door phone 85 has a function of generating a pseudo chime sound in response to an instruction from the CPU 70 of the projection / device control system 100 ′.

ガスコンロ86は、不図示の通信部により投影・機器制御システム100’との通信が可能とされている。ガスコンロ86は、投影・機器制御システム100’のCPU70の指示に応じて、不図示のスイッチをオフにしたり、火力を弱めたりする機能を有している。   The gas stove 86 can communicate with the projection / device control system 100 ′ by a communication unit (not shown). The gas stove 86 has a function of turning off a switch (not shown) or weakening the thermal power in accordance with an instruction from the CPU 70 of the projection / device control system 100 ′.

レコーダ87は、不図示の通信部により投影・機器制御システム100’との通信が可能とされている。レコーダ87は、投影・機器制御システム100’のCPU70の指示に応じて、テレビ画面に映っている番組の録画を行う機能を有している。   The recorder 87 can communicate with the projection / device control system 100 ′ by a communication unit (not shown). The recorder 87 has a function of recording a program shown on the television screen in accordance with an instruction from the CPU 70 of the projection / device control system 100 ′.

図9(a)、図9(b)は、第2の実施形態においてメニュー表示部16が表示する操作メニュー画像17a,17bを示している。図9(a)の操作メニュー画像17aでは、ドアホン、ガスコンロ、レコーダのアイコンが表示されており、図9(b)の操作メニュー画像17bでは、ドアホン、ガスコンロ、レコーダのアイコンに加えて留守番電話のアイコンが表示されている。本第2の実施形態では、メニュー表示部16は、ユーザの言葉遣いに応じて、図9(a)、図9(b)の操作メニュー画像のいずれかを、投射光学系14を介して投影する。   FIGS. 9A and 9B show operation menu images 17a and 17b displayed by the menu display unit 16 in the second embodiment. The operation menu image 17a in FIG. 9A displays doorphone, gas stove, and recorder icons. In the operation menu image 17b in FIG. 9B, in addition to the doorphone, gas stove, and recorder icons, An icon is displayed. In the second embodiment, the menu display unit 16 projects one of the operation menu images shown in FIGS. 9A and 9B through the projection optical system 14 according to the user's wording. To do.

以下、図10のフローチャートに沿って、CPU70の制御による図2の各部の動作について、詳細に説明する。図10のフローチャートは、ユーザが電話を受けた段階から開始される。   Hereinafter, the operation of each unit in FIG. 2 under the control of the CPU 70 will be described in detail with reference to the flowchart in FIG. 10. The flowchart of FIG. 10 starts from the stage where the user receives a call.

図10では、ステップS50において、CPU70が、通話時間を計測するための計時を開始する。次いで、ステップS52では、CPU70は、撮像部21及び顔撮像部94による撮像を開始する。撮像部21は、電話機90を使用しているユーザの上半身を含む領域を撮像する。顔撮像部94は、前述したようにユーザの表情を撮像する。なお、顔撮像部94が撮像した画像は、表情検出部72に送られる。そして、表情検出部72では、当該画像に基づきユーザの表情を検出し、ユーザが困惑しているかどうかを判別する。   In FIG. 10, in step S <b> 50, the CPU 70 starts measuring time for measuring the call time. Next, in step S <b> 52, the CPU 70 starts imaging by the imaging unit 21 and the face imaging unit 94. The imaging unit 21 captures an area including the upper half of the user who is using the telephone 90. The face imaging unit 94 images the user's facial expression as described above. The image captured by the face imaging unit 94 is sent to the facial expression detection unit 72. Then, the facial expression detection unit 72 detects the user's facial expression based on the image and determines whether or not the user is confused.

次いで、ステップS54では、CPU70が、ステップS52の撮像結果に基づいて、ユーザからジェスチャー入力があったかどうかを判断する。ここでは、ジェスチャー認識部40が、撮像部21により撮像されたユーザが意識的に所定のジェスチャーを行っていると認識した場合、あるいは、表情検出部72がユーザが困惑していると判別した場合に、ユーザからジェスチャー入力があったと判断する。なお、ジェスチャー認識部40は、受けた電話が迷惑電話であったときにユーザが行うジェスチャーのリファレンス画像(フラッシュメモリ50に予め記憶されているものとする)に基づいて、ユーザのジェスチャーを認識する。なお、迷惑電話であったときにユーザが行うジェスチャーには、親指を下げる、手のひらを撮像部21に向ける、両方の人差し指でバッテンマークを作るなどのジェスチャーが含まれる。   Next, in step S54, the CPU 70 determines whether or not there is a gesture input from the user based on the imaging result of step S52. Here, when the gesture recognition unit 40 recognizes that the user imaged by the imaging unit 21 is consciously performing a predetermined gesture, or when the facial expression detection unit 72 determines that the user is confused Then, it is determined that there is a gesture input from the user. Note that the gesture recognition unit 40 recognizes the user's gesture based on a reference image of a gesture performed by the user when the received call is a nuisance call (assumed to be stored in advance in the flash memory 50). . Note that gestures performed by the user when the call is a nuisance call include gestures such as lowering the thumb, pointing the palm toward the imaging unit 21, and creating a batten mark with both index fingers.

ステップS54の判断が否定された場合には、ステップS56に移行し、CPU70は、ステップS50で開始した計時が所定時間(例えば10分以上)経過したかどうかを判断し、所定時間が経過していればステップS58に移行し、所定時間が経過していなければステップS52に戻る。なお、所定時間が経過した場合にステップS58に移行するのは、ユーザによっては迷惑電話に困惑しながらも表情に出ない場合があるからである。なお、表情検出部72がユーザの笑顔を検出した場合には、ステップS58に移行せずにステップS52に戻るようにしてもよい。笑顔検出については、例えば、特許第4,453,721号などに開示されている。   If the determination in step S54 is negative, the process proceeds to step S56, and the CPU 70 determines whether a predetermined time (for example, 10 minutes or more) has elapsed from the time started in step S50, and the predetermined time has elapsed. If so, the process proceeds to step S58, and if the predetermined time has not elapsed, the process returns to step S52. Note that the reason for shifting to step S58 when the predetermined time has elapsed is that some users may be embarrassed with the nuisance call but may not appear in their facial expressions. Note that when the facial expression detection unit 72 detects the smile of the user, the process may return to step S52 without proceeding to step S58. Smile detection is disclosed in, for example, Japanese Patent No. 4,453,721.

一方、ステップS54又はステップS56の判断が肯定され(ジェスチャー入力があった場合又は所定時間が経過した場合)、ステップS58に移行すると、CPU70は、ユーザの話し方に応じた投影メニューの選択を行う。   On the other hand, when the determination in step S54 or step S56 is affirmed (when a gesture is input or when a predetermined time elapses) and the process proceeds to step S58, the CPU 70 selects a projection menu according to the user's way of speaking.

例えば、音声解析部71が、ユーザが“です”、“ます”などの丁寧な口調で話している、あるいは“おっしゃる”、“お持ちですか”などの敬語を用いていると解析したとする。この場合、CPU70は、目上の人からの長電話(迷惑電話)であると判断し、投影するメニューとして、図9(a)の操作メニュー画像17aを選択する。一方、音声解析部71が、ユーザが丁寧な言葉で話していない(日常語(平語)で話している)と解析したとする。この場合、CPU70は、売り込みなどの迷惑電話であると判断し、投影するメニューとして、図9(b)の操作メニュー画像17bを選択する。なお、ユーザが砕けた言葉で話している場合には、CPU70は、図9(a)の操作メニュー画像17aを選択してもよいし、友達との長電話であると判断して、図10の全処理を終了することとしてもよい。   For example, it is assumed that the voice analysis unit 71 analyzes that the user is speaking in a polite tone such as “is” or “masu”, or using an honorific such as “speak” or “have you”? . In this case, the CPU 70 determines that the call is a long call (nuisance call) from a superior person, and selects the operation menu image 17a of FIG. 9A as a menu to be projected. On the other hand, it is assumed that the voice analysis unit 71 analyzes that the user is not speaking in polite language (speaking in everyday language (plain language)). In this case, the CPU 70 determines that the call is a nuisance call such as sales, and selects the operation menu image 17b of FIG. 9B as a menu to be projected. When the user is speaking in broken words, the CPU 70 may select the operation menu image 17a in FIG. 9A, or may determine that the operation is a long phone call with a friend. It is good also as complete | finishing all the processes.

次いで、ステップS60では、CPU70が、ステップS58の選択結果に基づいて、電話機90の近傍に操作メニュー画像17a又は17bを投影する。この場合、CPU70は、第1の実施形態と同様、センサ部30の検出結果や撮像部21の撮像結果に基づいて投影領域を決定すればよい。   Next, in step S60, the CPU 70 projects the operation menu image 17a or 17b in the vicinity of the telephone 90 based on the selection result in step S58. In this case, the CPU 70 may determine the projection region based on the detection result of the sensor unit 30 and the imaging result of the imaging unit 21 as in the first embodiment.

次いで、ステップS62では、CPU70が、操作メニュー画像17a又は17bを投影している時間を計測するための計時を開始する。   Next, in step S62, the CPU 70 starts measuring time for measuring the time during which the operation menu image 17a or 17b is projected.

次いで、ステップS64では、CPU70は、ステップS60において投影された操作メニュー画像に対して、ユーザのジェスチャー入力があったかどうかを判断する。ここでの判断が肯定された場合には、ステップS66に移行し、否定された場合には、ステップS70に移行する。   Next, in step S64, the CPU 70 determines whether or not a user's gesture input has been made on the operation menu image projected in step S60. If the determination here is affirmed, the process proceeds to step S66, and if the determination is negative, the process proceeds to step S70.

ステップS70に移行した場合には、CPU70は、所定時間(例えば10秒)経過したかどうかを判断し、判断が肯定された場合には、ステップS72に移行し、判断が否定された場合には、ステップS64に戻る。なお、ステップS72に移行した場合には、CPU70は、操作メニュー画像の投影を終了し、図10の全処理を終了する。   When the process proceeds to step S70, the CPU 70 determines whether or not a predetermined time (for example, 10 seconds) has elapsed. When the determination is affirmed, the process proceeds to step S72, and when the determination is denied. Return to step S64. When the process proceeds to step S72, the CPU 70 ends the projection of the operation menu image and ends all the processes in FIG.

一方、ステップS64の判断が肯定されてステップS66に移行した場合には、CPU70は、ユーザのジェスチャー入力に基づき、ドアホン85、ガスコンロ86、レコーダ87、或いは留守番機能部92の制御を行う。   On the other hand, when the determination in step S64 is affirmed and the process proceeds to step S66, the CPU 70 controls the door phone 85, the gas stove 86, the recorder 87, or the answering function unit 92 based on the gesture input of the user.

例えば、ユーザが電話を切る口実が思い浮かばない場合に、ユーザが、操作メニュー画像17a又は17bのドアホンのアイコンに触れたとする。この場合、CPU70は、ドアホン85に指示を出し、ドアホン85に擬似的なチャイムを鳴らさせる。これにより、ユーザは、ドアホン85に対する対応を行わなければならないことを口実に電話を切ることができる。   For example, suppose that the user touches the doorphone icon in the operation menu image 17a or 17b when the user does not come up with an excuse to hang up the phone. In this case, the CPU 70 instructs the door phone 85 to cause the door phone 85 to sound a pseudo chime. As a result, the user can hang up on the pretext that the door phone 85 must be handled.

また、売り込みなどの電話の場合があった場合に、ユーザが留守番電話のアイコンに触れたとする。この場合、CPU70は、強制的に留守録機能をオンにして通話を終了させたり、お断りの伝言を再生したりする。これにより、ユーザは、売り込みなどの電話を強制的に切ることができる。   Further, it is assumed that the user touches the icon of the answering machine when there is a case such as sales. In this case, the CPU 70 forcibly turns on the answering machine function to end the call or reproduce the message that is refused. As a result, the user can forcibly hang up the phone for sales or the like.

また、ユーザが通話を続けたいもののガスコンロ86が点火していたり、見たいテレビなどがある場合に、ユーザが、ガスコンロやレコーダのアイコンに触れたとする。この場合、CPU70は、ガスコンロ86の火を止めたり、テレビに映されている番組のレコーダ87による録画を開始したりする。これにより、ユーザは、ガスコンロ86の安全を確保したり、視聴していた番組を録画することができるようになる。なお、ユーザがガスコンロ86やレコーダ87のアイコンに触れた場合には、第1の実施形態のように、階層的なメニューを表示することで、ガスコンロ86やレコーダ87の細かい操作を実現するようにしても良い。   Further, it is assumed that the user touches the icon of the gas stove or the recorder when the user wants to continue the call but the gas stove 86 is lit or there is a television to watch. In this case, the CPU 70 stops the gas stove 86 or starts recording the program shown on the television by the recorder 87. As a result, the user can ensure the safety of the gas stove 86 or record the program being viewed. When the user touches the icon of the gas stove 86 or the recorder 87, a detailed operation of the gas stove 86 or the recorder 87 is realized by displaying a hierarchical menu as in the first embodiment. May be.

以上のようにして、ステップS66の処理が終了すると、ステップS72に移行する。ステップS72では、CPU70は、操作メニュー画像の投影を終了する。そして、その後は、図10の全処理を終了する。   As described above, when the process of step S66 ends, the process proceeds to step S72. In step S72, the CPU 70 ends the projection of the operation menu image. After that, all the processes in FIG. 10 are finished.

以上、詳細に説明したように、本第2の実施形態によると、電話機90を使用しているユーザを撮像可能な顔撮像部94と、顔撮像部94の撮像結果に基づいて、電話機90とは異なる電子機器80の操作メニュー画像17a,17bを投影する投影部10とを備えている。これにより、電話機90を使用しているユーザの顔の表情に基づいて適切なタイミングで電子機器80の操作メニュー画像を投影することができ、ユーザの使い勝手を良好にすることができる。また、顔の表情に基づいた投影を行うことで、ユーザが所定のジェスチャーを行わなくても、適切なタイミングで操作メニュー画像を投影することができる。すなわち、ユーザはジェスチャーを覚えたりしなくてもよいので、この点からも、ユーザの使い勝手を向上することができる。   As described above in detail, according to the second embodiment, the face imaging unit 94 capable of imaging the user who is using the telephone 90, and the telephone 90 based on the imaging result of the face imaging unit 94. Includes a projection unit 10 that projects operation menu images 17a and 17b of different electronic devices 80. Thereby, the operation menu image of the electronic device 80 can be projected at an appropriate timing based on the facial expression of the user who is using the telephone 90, and user convenience can be improved. Further, by performing the projection based on the facial expression, the operation menu image can be projected at an appropriate timing without the user performing a predetermined gesture. That is, since the user does not have to remember the gesture, the usability of the user can be improved from this point.

また、本第2の実施形態によると、音声解析部71が、電話機90を使用しているユーザの音声に関する情報を検出し、投影部10は、音声解析部71の解析結果に基づいて、操作メニュー画像を投影するので、電話機90を使用しているユーザの音声に基づいて適切な操作メニュー画像を投影することができる。   According to the second embodiment, the voice analysis unit 71 detects information related to the voice of the user who is using the telephone 90, and the projection unit 10 operates based on the analysis result of the voice analysis unit 71. Since the menu image is projected, an appropriate operation menu image can be projected based on the voice of the user using the telephone 90.

また、本第2の実施形態によると、前記音声解析部71は、ユーザの音声の言葉遣いを解析するので、電話におけるユーザの言葉遣いに応じた適切な操作メニューを投影することができる。   In addition, according to the second embodiment, the voice analysis unit 71 analyzes the wording of the user's voice, and therefore can project an appropriate operation menu according to the wording of the user on the telephone.

また、本第2の実施形態では、撮像部21が、投影部10により投影された操作メニューに対するユーザの手の状態を撮像し、CPU70が、当該撮像結果に基づいて電子機器80を制御するので、電話中のユーザは、操作メニュー画像に対して手を動作させることで、電子機器80を操作することが可能となる。   In the second embodiment, the imaging unit 21 captures the state of the user's hand with respect to the operation menu projected by the projection unit 10, and the CPU 70 controls the electronic device 80 based on the imaging result. The user who is on the phone can operate the electronic device 80 by moving his / her hand on the operation menu image.

また、本第2の実施形態では、投影部10は、操作メニュー画像を投影した後、所定時間の間、通信部60が電子機器80と通信を行わなかった(電子機器80をCPU70が制御しなかった)場合に、操作メニュー画像の投影を終了する(ステップS70:否定)ので、操作メニュー画像をユーザが使用しないにもかかわらず、長時間操作メニュー画像が投影され続けられるという事態の発生を抑制することができる。   Further, in the second embodiment, after projecting the operation menu image, the projecting unit 10 does not communicate with the electronic device 80 for a predetermined time (the CPU 70 controls the electronic device 80). When the operation menu image is not projected (step S70: No), the operation menu image can continue to be projected for a long time even though the user does not use the operation menu image. Can be suppressed.

また、本第2の実施形態では、CPU70が、ユーザが電話機90を使用している時間を計測し、投影部10は、計測時間に基づいて操作メニュー画像を投影する(S56)。したがって、長電話の場合に、適切なタイミングで操作メニュー画像を投影することが可能である。   In the second embodiment, the CPU 70 measures the time during which the user is using the telephone 90, and the projection unit 10 projects an operation menu image based on the measurement time (S56). Therefore, in the case of a long phone call, it is possible to project an operation menu image at an appropriate timing.

また、本第2の実施形態では、操作メニュー画像に電話機90の操作に関するアイコンも含まれている(図9(b))ので、ユーザは、操作メニュー画像内で、電話機90と電話機以外の電子機器80の操作を行うことが可能となる。   In the second embodiment, since the operation menu image also includes an icon related to the operation of the telephone 90 (FIG. 9B), the user can select an electronic device other than the telephone 90 and the telephone in the operation menu image. The device 80 can be operated.

また、本第2の実施形態では、電話機90を使用しているユーザの状態に応じて、投影部10が、電話機90や電子機器80に関する情報を投影するので、ユーザの状態(困惑しているなど)に応じた情報の提供が可能である。   In the second embodiment, the projection unit 10 projects information related to the telephone 90 and the electronic device 80 according to the state of the user who is using the telephone 90. Etc.) can be provided.

なお、上記第2の実施形態では、電子機器80として、赤ちゃんの声や笛吹きやかんの音を録音した録音・再生装置を採用してもよい。この場合にも、迷惑電話の際に、ユーザが操作メニュー画像を介して録音・再生装置を操作することで、電話を切る口実を作ることが可能となる。   In the second embodiment, a recording / reproducing apparatus that records a baby voice or a whistling kettle sound may be employed as the electronic device 80. Also in this case, when making a nuisance call, the user can make an excuse to hang up the telephone by operating the recording / playback device via the operation menu image.

なお、上記第2の実施形態では、操作メニュー画像に含まれるアイコンが、図9(a)や図9(b)に示すように予め定められている場合について説明したが、これに限られるものではない。例えば、ユーザが電話に出る前から使用されている機器のみを表示することとしてもよい。この場合、電話機90が使用されている際に通信部60と通信可能な電子機器80のみを表示することとすればよい。例えば、電話機90を私用している際にガスコンロが使用されていない場合には、図9(a)や図9(b)のメニューからガスコンロのアイコンを除いてもよい。   In the second embodiment, the case where the icons included in the operation menu image are predetermined as shown in FIGS. 9A and 9B has been described. However, the present invention is not limited to this. is not. For example, only devices that have been used before the user answers the phone may be displayed. In this case, only the electronic device 80 that can communicate with the communication unit 60 may be displayed when the telephone 90 is being used. For example, if the gas stove is not used when the telephone 90 is used privately, the gas stove icon may be removed from the menus of FIGS. 9A and 9B.

なお、上記第2の実施形態では、CPU70は、音声解析部71の解析結果として会話の内容を取得できる場合には、当該会話の内容に基づいた情報を投影部10を介して投影してもよい。例えば、CPU70は、会話の内容を要約して投影したり、あるいは、会話において日付に関する内容が出た場合にカレンダの画像を投影するなどしてもよい。   In the second embodiment, when the content of the conversation can be acquired as the analysis result of the voice analysis unit 71, the CPU 70 may project information based on the content of the conversation via the projection unit 10. Good. For example, the CPU 70 may summarize and project the content of the conversation, or may project a calendar image when content related to the date appears in the conversation.

なお、上記第2の実施形態では、言葉遣いに基づいて、投影する操作メニュー画像を選択する場合について説明したが、言葉遣いとともに着信番号に基づいて、投影する操作メニュー画像を選択することとしてもよい。   In the second embodiment, the operation menu image to be projected is selected based on the wording. However, the operation menu image to be projected may be selected based on the incoming call number together with the wording. Good.

なお、上記第2の実施形態では、状況に応じて、図9(a)、図9(b)の操作メニュー画像を選択し、投影する場合について説明したが、これに限られるものではない。例えば、常に、図9(a)又は図9(b)の操作メニュー画像を投影するようにしてもよい。   In the second embodiment, the operation menu images in FIGS. 9A and 9B are selected and projected according to the situation. However, the present invention is not limited to this. For example, the operation menu image shown in FIG. 9A or 9B may be always projected.

なお、上記第2の実施形態においては、ユーザが使用する機器が電話機90である場合を例に採り説明したが、これに限られるものではない。例えば、ユーザが使用する機器がドアホンであってもよい。この場合、ドアホン85による売り込みがあった場合に操作メニュー画像を投影するようにする。これにより、例えば、操作メニュー画像を用いた操作により擬似的な電話のコールを発生させるなどすることで、売り込みを断る口実を作ることが可能となる。   In the second embodiment, the case where the device used by the user is the telephone 90 has been described as an example. However, the present invention is not limited to this. For example, the device used by the user may be a door phone. In this case, the operation menu image is projected when the doorphone 85 is sold. Thereby, for example, it is possible to make an excuse to refuse to sell by generating a pseudo telephone call by an operation using an operation menu image.

なお、上記各実施形態では、CPU70は、操作メニュー画像17,17a,17bに対する手の状態に基づいて、電子機器80を制御する場合について説明したが、これに限られるものではない。すなわち、CPU70は、操作メニュー画像17,17a,17bに対する体の一部(足など、身に着けている服等を含む)の状態に基づいて、電子機器80を制御することとしてもよい。   In each of the above embodiments, the CPU 70 controls the electronic device 80 based on the hand state with respect to the operation menu images 17, 17a, and 17b. However, the present invention is not limited to this. That is, the CPU 70 may control the electronic device 80 based on the state of a part of the body (including clothes worn by the feet, etc.) with respect to the operation menu images 17, 17a, 17b.

上述した各実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。   Each embodiment mentioned above is an example of suitable implementation of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.

10 投影部
15 投影画像調整部
16 メニュー表示部
20 画像システム部
21 撮像部
22 画像比較部
31 温度検出部
32 距離センサ
60 通信部
70 CPU
71 音声解析部
80 電子機器
90 電話機
94 顔撮像部
100、100’ 投影・機器制御システム
DESCRIPTION OF SYMBOLS 10 Projection part 15 Projection image adjustment part 16 Menu display part 20 Image system part 21 Imaging part 22 Image comparison part 31 Temperature detection part 32 Distance sensor 60 Communication part 70 CPU
71 Voice analysis unit 80 Electronic device 90 Telephone 94 Face imaging unit 100, 100 'Projection / device control system

Claims (12)

第1機器を使用しているユーザを撮像可能な撮像部と、
前記撮像部の撮像結果に基づいて、前記第1機器とは異なる第2機器に関する情報を投影する投影部と、を備えたことを特徴とする投影装置。
An imaging unit capable of imaging a user using the first device;
A projection apparatus comprising: a projection unit that projects information related to a second device different from the first device based on an imaging result of the imaging unit.
前記第1機器を使用している前記ユーザの音声に関する情報を検出する音声検出部を備え、
前記投影部は、前記音声検出部の検出結果に基づいて、前記第2機器に関する情報を投影することを特徴とする請求項1記載の投影装置。
A voice detection unit that detects information related to the voice of the user using the first device;
The projection device according to claim 1, wherein the projection unit projects information on the second device based on a detection result of the voice detection unit.
前記音声検出部は、音声の言葉遣いに関する情報を検出することを特徴とする請求項1又は2記載の投影装置。   The projection apparatus according to claim 1, wherein the voice detection unit detects information related to voice wording. 前記撮像部は、前記投影部により投影された前記第2機器に関する情報に対するユーザの手または足を撮像することを特徴とする請求項1〜3のいずれか一項に記載の投影装置。   The projection apparatus according to claim 1, wherein the imaging unit images a user's hand or foot with respect to information on the second device projected by the projection unit. 前記撮像部の撮像結果に基づいて前記第2機器と通信する通信部を備えたことを特徴とする請求項4記載の投影装置。   The projection apparatus according to claim 4, further comprising a communication unit that communicates with the second device based on an imaging result of the imaging unit. 前記投影部は、前記第2機器に関する情報を投影した後、前記通信部が前記第2機器と所定時間通信を行わなかった場合に、前記第2機器に関する情報の投影を終了することを特徴とする請求項5記載の投影装置。   The projection unit finishes projecting information on the second device when the communication unit does not communicate with the second device for a predetermined time after projecting information on the second device. The projection apparatus according to claim 5. 前記撮像部は、前記ユーザの顔を撮像し、
前記投影部は、前記顔の撮像結果に基づいて、前記第2機器に関する情報を投影することを特徴とする請求項1〜6のいずれか一項に記載の投影装置。
The imaging unit images the user's face,
The projection device according to claim 1, wherein the projection unit projects information on the second device based on the imaging result of the face.
前記ユーザが前記第1機器を使用している時間を計測する計測部を備え、
前記投影部は、前記計測部の計測結果に基づいて、前記第2機器に関する情報を投影することを特徴とする請求項1〜7のいずれか一項に記載の投影装置。
A measuring unit that measures the time that the user is using the first device;
The projection device according to claim 1, wherein the projection unit projects information on the second device based on a measurement result of the measurement unit.
前記投影部は、前記第2機器に関する情報に加えて、前記第1機器に関する情報を投影することを特徴とする請求項1〜8のいずれか一項に記載の投影装置。   The projection device according to claim 1, wherein the projection unit projects information related to the first device in addition to information related to the second device. 前記第1機器が使用されている際に駆動している機器を検出する検出部を備えたことを特徴とする請求項1〜9のいずれか一項に記載の投影装置。   The projection apparatus according to claim 1, further comprising a detection unit configured to detect a device that is being driven when the first device is being used. 前記音声検出部は、前記第1機器を使用しているユーザの会話内容に関する情報を検出し、
前記投影部は、前記会話内容に関する情報に応じた情報を投影することを特徴とする請求項1〜10のいずれか一項に記載の投影装置。
The voice detection unit detects information related to a conversation content of a user using the first device,
The projection device according to claim 1, wherein the projection unit projects information according to information regarding the conversation content.
第1機器を使用しているユーザの状態を検出する検出部と、
前記検出部の検出結果に応じて、少なくとも前記第1機器とは異なる第2機器に関する情報を投影する投影部と、を備えたことを特徴とする投影装置。
A detection unit for detecting a state of a user using the first device;
A projection apparatus comprising: a projection unit that projects at least information related to a second device different from the first device according to a detection result of the detection unit.
JP2011289291A 2011-12-28 2011-12-28 Projector Pending JP2013137472A (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2011289291A JP2013137472A (en) 2011-12-28 2011-12-28 Projector
PCT/JP2012/076468 WO2013099407A1 (en) 2011-12-28 2012-10-12 Display device and projection device
US14/367,163 US9927878B2 (en) 2011-12-28 2012-10-12 Display device and projection device
CN201710930574.2A CN107610627A (en) 2011-12-28 2012-10-12 Display device and projection arrangement
CN201280070259.2A CN104137173B (en) 2011-12-28 2012-10-12 Display device and projection arrangement
US15/890,862 US10409386B2 (en) 2011-12-28 2018-02-07 Display device and projection device
US16/523,089 US11086405B2 (en) 2011-12-28 2019-07-26 Display device and projection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011289291A JP2013137472A (en) 2011-12-28 2011-12-28 Projector

Publications (1)

Publication Number Publication Date
JP2013137472A true JP2013137472A (en) 2013-07-11

Family

ID=48913240

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011289291A Pending JP2013137472A (en) 2011-12-28 2011-12-28 Projector

Country Status (1)

Country Link
JP (1) JP2013137472A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6257825B1 (en) * 2017-05-26 2018-01-10 株式会社コロプラ Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069366A (en) * 1996-08-29 1998-03-10 Kobe Nippon Denki Software Kk Automatic unnecessary window end system
JP2000330684A (en) * 1999-05-18 2000-11-30 Nec Corp Multi-window display system and window displaying and deleting method
WO2004107071A1 (en) * 2003-05-29 2004-12-09 Matsushita Electric Industrial Co., Ltd. Abnormality processing system
JP2005215726A (en) * 2004-01-27 2005-08-11 Advanced Media Inc Information presenting system for speaker, and program
JP2007235470A (en) * 2006-02-28 2007-09-13 Brother Ind Ltd Graphic display device
WO2010035477A1 (en) * 2008-09-29 2010-04-01 パナソニック株式会社 User interface device, user interface method, and recording medium
JP2011209579A (en) * 2010-03-30 2011-10-20 Canon Inc Image display system and control method thereof
JP2011242699A (en) * 2010-05-20 2011-12-01 Canon Inc Information presentation system and its control method, and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069366A (en) * 1996-08-29 1998-03-10 Kobe Nippon Denki Software Kk Automatic unnecessary window end system
JP2000330684A (en) * 1999-05-18 2000-11-30 Nec Corp Multi-window display system and window displaying and deleting method
WO2004107071A1 (en) * 2003-05-29 2004-12-09 Matsushita Electric Industrial Co., Ltd. Abnormality processing system
JP2005215726A (en) * 2004-01-27 2005-08-11 Advanced Media Inc Information presenting system for speaker, and program
JP2007235470A (en) * 2006-02-28 2007-09-13 Brother Ind Ltd Graphic display device
WO2010035477A1 (en) * 2008-09-29 2010-04-01 パナソニック株式会社 User interface device, user interface method, and recording medium
JP2011209579A (en) * 2010-03-30 2011-10-20 Canon Inc Image display system and control method thereof
JP2011242699A (en) * 2010-05-20 2011-12-01 Canon Inc Information presentation system and its control method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6257825B1 (en) * 2017-05-26 2018-01-10 株式会社コロプラ Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program
JP2018200568A (en) * 2017-05-26 2018-12-20 株式会社コロプラ Method for communicating via virtual space, program for implementing that method in computer, and information processing apparatus for executing that program

Similar Documents

Publication Publication Date Title
JP6617755B2 (en) Display device and electronic device
WO2013099407A1 (en) Display device and projection device
JP7018099B2 (en) Lighting equipment
US11946650B2 (en) Range hood and method for controlling the range hood
US20210003977A1 (en) Systems and methods of gestural interaction in a pervasive computing environment
WO2014045683A1 (en) Control device and recording medium
US20160070410A1 (en) Display apparatus, electronic apparatus, hand-wearing apparatus and control system
JP2006146803A (en) Operation device, and remote operation system
JP2015228097A (en) Electronic device, electronic device system and program
WO2019220729A1 (en) Information processing device, information processing method, and storage medium
JP2017073255A (en) Illumination control device and illumination system
JP6350175B2 (en) POSITION DETECTION DEVICE, PROJECTOR, AND POSITION DETECTION METHOD
KR102333931B1 (en) Video projector and operating method thereof
JP2013137472A (en) Projector
CN114390167A (en) Electronic device, control method thereof, and recording medium
US10310676B2 (en) Image projection apparatus and operation method thereof
JP6439398B2 (en) Projector and projector control method
KR20070115510A (en) Device capable of non-contact function selection and method thereof
JP2021071894A (en) Operation device, operation method, and program
JP2019152815A (en) Projection system and control method therefor, and program
CN111492339A (en) Information processing apparatus, information processing method, and recording medium
JP2016186525A (en) Display device and display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160614