JP5593802B2 - POSITION DETECTION SYSTEM, ITS CONTROL METHOD, AND PROGRAM - Google Patents

POSITION DETECTION SYSTEM, ITS CONTROL METHOD, AND PROGRAM Download PDF

Info

Publication number
JP5593802B2
JP5593802B2 JP2010094771A JP2010094771A JP5593802B2 JP 5593802 B2 JP5593802 B2 JP 5593802B2 JP 2010094771 A JP2010094771 A JP 2010094771A JP 2010094771 A JP2010094771 A JP 2010094771A JP 5593802 B2 JP5593802 B2 JP 5593802B2
Authority
JP
Japan
Prior art keywords
calibration
image
projected
imaging device
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010094771A
Other languages
Japanese (ja)
Other versions
JP2011227600A (en
Inventor
慎二 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2010094771A priority Critical patent/JP5593802B2/en
Publication of JP2011227600A publication Critical patent/JP2011227600A/en
Application granted granted Critical
Publication of JP5593802B2 publication Critical patent/JP5593802B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Description

本発明は、プロジェクターから投写された画像内において所定の操作がなされた位置を検出するための位置検出システム及びその制御方法、並びにプログラムに関する。   The present invention relates to a position detection system for detecting a position where a predetermined operation is performed in an image projected from a projector, a control method therefor, and a program.

近年、コンピューターから出力される画像を、プロジェクターによってホワイトボード等に投写するとともに、投写された画像（投写画像）を撮像装置（カメラ）で撮像して、投写画像に対して行ったユーザーの操作をコンピューターで認識するシステムが提案されている（例えば、特許文献１参照）。このようなシステムでは、例えば、ペン先から赤外光を発する発光ペンやレーザーポインター等を用いてユーザーが投写画像の任意の位置をポイント（指示）すると、撮像装置によって撮像された画像（撮像画像）に基づいて、ポイントされた位置が検出される。そして、コンピューターが、検出された位置にカーソルやポインターを移動させたり、その位置でクリックがなされたものとみなしたりすることにより、ユーザーは、投写画像に対してタッチパネルのような操作感覚で操作を行うことが可能となる。   In recent years, an image output from a computer is projected onto a whiteboard or the like by a projector, and the projected image (projected image) is imaged by an imaging device (camera), and a user operation performed on the projected image is performed. A system that recognizes with a computer has been proposed (see, for example, Patent Document 1). In such a system, for example, when a user points (instructs) an arbitrary position of a projected image using a light emitting pen or a laser pointer that emits infrared light from a pen tip, an image (captured image) captured by an imaging device is used. ) To detect the pointed position. When the computer moves the cursor or pointer to the detected position or assumes that a click has been made at that position, the user can operate the projected image as if it were a touch panel. Can be done.

上記のようなシステムで正確な操作を実現するためには、プロジェクター及び撮像装置を設置した後に、投写画像と撮像画像との位置の対応付けを行うための手続き（キャリブレーション）を実施する必要がある。特に、必要な場所に持ち運んで使用する可搬型の位置検出システムの場合には、場所を変える度にキャリブレーションを実施しなければならない。特許文献１に記載のシステムでは、プロジェクターから所定のパターン（チェッカーパターン等）の画像を投写して、この画像を撮像装置で撮像してキャリブレーション（アラインメント）を実施している。また、撮像装置で投写画像を撮像しつつ投写画像内の所定の位置をユーザーにポイントさせてキャリブレーションを実施する態様も知られている。   In order to realize an accurate operation in the system as described above, it is necessary to perform a procedure (calibration) for associating the positions of the projected image and the captured image after installing the projector and the imaging device. is there. In particular, in the case of a portable position detection system that is carried and used where necessary, calibration must be performed every time the place is changed. In the system described in Patent Document 1, an image of a predetermined pattern (checker pattern or the like) is projected from a projector, and this image is captured by an imaging device to perform calibration (alignment). There is also known a mode in which calibration is performed by pointing a user to a predetermined position in a projected image while capturing the projected image with an imaging device.

特開２００５−３５３０７１号公報JP 2005-353071 A

しかしながら、プロジェクターから投写された所定のパターンの画像を撮像してキャリブレーションを行う態様では、周辺の環境等がキャリブレーションに影響を与えてしまう場合がある。例えば、周囲が明るい環境下では、投写画像のコントラストが低下してしまうため、撮像装置が投写画像を鮮明に撮像することができず、キャリブレーションに長い時間を要したり、位置精度が低下してしまったりする場合がある。一方、投写画像内の所定の位置をユーザーにポイントさせる態様では、赤外光やレーザー光を認識できればよいため、投写画像を鮮明に撮像できる必要はなく、周辺環境の影響を受けにくい。しかしながら、高い位置精度でキャリブレーションを行うためには、多くの位置をユーザーにポイントさせる必要があり、ユーザーに煩雑な作業を強いてしまうことになる。   However, in an aspect in which calibration is performed by capturing an image of a predetermined pattern projected from a projector, the surrounding environment or the like may affect the calibration. For example, in a bright environment, the contrast of the projected image decreases, so the imaging device cannot capture the projected image clearly, and it takes a long time for calibration or the position accuracy decreases. Sometimes On the other hand, in an aspect in which the user points to a predetermined position in the projected image, it is only necessary to be able to recognize infrared light or laser light, and thus it is not necessary to capture the projected image clearly and is not easily affected by the surrounding environment. However, in order to perform calibration with high position accuracy, it is necessary to point the user to many positions, which complicates the user for complicated operations.

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。   SUMMARY An advantage of some aspects of the invention is to solve at least a part of the problems described above, and the invention can be implemented as the following forms or application examples.

［適用例１］本適用例に係る位置検出システムは、画像を投写するプロジェクターと、前記プロジェクターから投写された投写画像を含む範囲を撮像して撮像画像を生成する撮像装置と、前記撮像装置が生成した前記撮像画像に基づいて、前記投写画像内において所定の操作がなされた位置を検出する検出装置と、を有する位置検出システムであって、前記投写画像と前記撮像画像との間で位置の対応付けを行うためのキャリブレーションを実施する制御装置を備え、前記制御装置は、前記プロジェクターから第１の画像を投写させるとともに、前記撮像装置が前記第１の画像を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第１のキャリブレーションと、前記プロジェクターから第２の画像を投写させて、前記第２の画像内の所定の位置で前記所定の操作を行わせるとともに、前記撮像装置が前記所定の操作を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第２のキャリブレーションとを選択的に実施することを特徴とする。   Application Example 1 A position detection system according to this application example includes a projector that projects an image, an imaging device that captures a range including a projection image projected from the projector, and generates a captured image, and the imaging device includes: A position detection system having a detection device that detects a position where a predetermined operation is performed in the projection image based on the generated captured image, wherein the position of the position is determined between the projection image and the captured image. A control device that performs calibration for associating, the control device projects a first image from the projector, and the captured image that the image capturing device captures and generates the first image A first calibration for performing the calibration based on the projector, and projecting a second image from the projector, And a second calibration that performs the predetermined operation at a predetermined position in the image and performs the calibration based on a captured image that is generated by the imaging device imaging the predetermined operation. It is characterized by carrying out.

この位置検出システムによれば、第１のキャリブレーションと、第２のキャリブレーションとを、制御装置が選択的に実施するため、周辺の状況等に応じて適切なキャリブレーションを行うことが可能となる。   According to this position detection system, since the control apparatus selectively performs the first calibration and the second calibration, it is possible to perform appropriate calibration according to the surrounding situation and the like. Become.

［適用例２］上記適用例に係る位置検出システムにおいて、前記制御装置は、前記キャリブレーションに適した状況であるか否かを判断し、前記キャリブレーションに適した状況である場合に、前記第１のキャリブレーション又は前記第２のキャリブレーションを実施することが望ましい。   Application Example 2 In the position detection system according to the application example described above, the control device determines whether or not the situation is suitable for the calibration, and when the situation is suitable for the calibration, It is desirable to perform one calibration or the second calibration.

この位置検出システムによれば、制御装置は、キャリブレーションに適した状況であるか否かを判断し、キャリブレーションに適した状況である場合に、キャリブレーションを実施するため、不適切な状況下でキャリブレーションが行われてしまうことが抑制される。この結果、キャリブレーションが完了するまでに長い時間を要したり、不正確なキャリブレーションがなされてしまったりすることが抑制される。   According to this position detection system, the control device determines whether or not the situation is suitable for calibration, and performs calibration when the situation is suitable for calibration. This prevents the calibration from being performed. As a result, it is suppressed that it takes a long time to complete the calibration or an incorrect calibration is performed.

［適用例３］上記適用例に係る位置検出システムにおいて、前記制御装置は、前記第１のキャリブレーションに適した状況であるか否かを判断し、前記第１のキャリブレーションに適した状況である場合には、前記第１のキャリブレーションを実施し、前記第１のキャリブレーションに適した状況でない場合には、前記第２のキャリブレーションを実施することが望ましい。   Application Example 3 In the position detection system according to the application example, the control device determines whether or not the situation is suitable for the first calibration, and determines whether or not the situation is suitable for the first calibration. In some cases, it is desirable to perform the first calibration, and to perform the second calibration when the situation is not suitable for the first calibration.

この位置検出システムによれば、制御装置は、第１のキャリブレーションに適した状況である場合には、第１のキャリブレーションを実施し、第１のキャリブレーションに適した状況でない場合には、第２のキャリブレーションを実施する。つまり、第１のキャリブレーションに適した状況では、ユーザーが操作を行う必要がある第２のキャリブレーションを行わないため、ユーザーの利便性が向上する。また、第１のキャリブレーションに適した状況ではない場合であっても、第２のキャリブレーションによってキャリブレーションが可能であるため、正確な位置の検出を行うことが可能となる。   According to this position detection system, the control device performs the first calibration when the situation is suitable for the first calibration, and when the situation is not the situation suitable for the first calibration, A second calibration is performed. In other words, in a situation suitable for the first calibration, the second calibration that the user needs to perform is not performed, so that the convenience for the user is improved. Even if the situation is not suitable for the first calibration, the calibration can be performed by the second calibration, so that an accurate position can be detected.

［適用例４］本適用例に係る位置検出システムの制御方法は、画像を投写するプロジェクターと、前記プロジェクターから投写された投写画像を含む範囲を撮像して撮像画像を生成する撮像装置と、前記撮像装置が生成した前記撮像画像に基づいて、前記投写画像内において所定の操作がなされた位置を検出する検出装置と、を有する位置検出システムの制御方法であって、前記投写画像と前記撮像画像との間で位置の対応付けを行うためのキャリブレーションを実施するキャリブレーションステップを備え、前記キャリブレーションステップでは、前記プロジェクターから第１の画像を投写させるとともに、前記撮像装置が前記第１の画像を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第１のキャリブレーションと、前記プロジェクターから第２の画像を投写させて、前記第２の画像内の所定の位置で前記所定の操作を行わせるとともに、前記撮像装置が前記所定の操作を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第２のキャリブレーションとを選択的に実施することを特徴とする。   Application Example 4 A control method of a position detection system according to this application example includes a projector that projects an image, an imaging device that captures a range including a projected image projected from the projector, and generates a captured image, A detection method for detecting a position where a predetermined operation is performed in the projection image based on the captured image generated by the imaging device, the method for controlling the position detection system, the projection image and the captured image A calibration step for performing calibration for associating a position with each other, wherein the calibration step projects a first image from the projector, and the imaging device causes the first image to be projected. A first calibration for performing the calibration based on a captured image generated by imaging A second image is projected from the projector to cause the predetermined operation to be performed at a predetermined position in the second image, and based on a captured image generated by the imaging device imaging the predetermined operation. The second calibration for performing the calibration is selectively performed.

この位置検出システムの制御方法によれば、第１のキャリブレーションと、第２のキャリブレーションとを選択的に実施するため、周辺の状況等に応じて適切なキャリブレーションを行うことが可能となる。   According to the control method of the position detection system, the first calibration and the second calibration are selectively performed, so that appropriate calibration can be performed according to the surrounding situation and the like. .

［適用例５］上記適用例に係る位置検出システムの制御方法において、前記キャリブレーションに適した状況であるか否かを判断する第１の判断ステップをさらに備え、前記キャリブレーションステップでは、前記第１の判断ステップにおいて前記キャリブレーションに適した状況であると判断された場合に、前記第１のキャリブレーション又は前記第２のキャリブレーションを実施することが望ましい。   Application Example 5 In the control method of the position detection system according to the application example described above, the method further includes a first determination step of determining whether or not the situation is suitable for the calibration. When it is determined in the first determination step that the situation is suitable for the calibration, it is desirable to perform the first calibration or the second calibration.

この位置検出システムの制御方法によれば、キャリブレーションに適した状況であるか否かを判断し、キャリブレーションに適した状況である場合に、キャリブレーションを実施するため、不適切な状況下でキャリブレーションが行われてしまうことが抑制される。この結果、キャリブレーションが完了するまでに長い時間を要したり、不正確なキャリブレーションがなされてしまったりすることが抑制される。   According to the control method of the position detection system, it is determined whether or not the situation is suitable for calibration. When the situation is suitable for calibration, the calibration is performed. It is suppressed that calibration is performed. As a result, it is suppressed that it takes a long time to complete the calibration or an incorrect calibration is performed.

［適用例６］上記適用例に係る位置検出システムの制御方法において、前記第１のキャリブレーションに適した状況であるか否かを判断する第２の判断ステップをさらに備え、前記キャリブレーションステップでは、前記第２の判断ステップにおいて前記第１のキャリブレーションに適した状況であると判断された場合には、前記第１のキャリブレーションを実施し、前記第１のキャリブレーションに適した状況ではないと判断された場合には、前記第２のキャリブレーションを実施することが望ましい。   Application Example 6 In the control method of the position detection system according to the application example, the method further includes a second determination step of determining whether or not the situation is suitable for the first calibration. When it is determined in the second determination step that the situation is suitable for the first calibration, the first calibration is performed, and the situation is not suitable for the first calibration. If it is determined that the second calibration is performed, it is desirable to perform the second calibration.

この位置検出システムの制御方法によれば、第１のキャリブレーションに適した状況である場合には、第１のキャリブレーションを実施し、第１のキャリブレーションに適した状況でない場合には、第２のキャリブレーションを実施する。つまり、第１のキャリブレーションに適した状況では、ユーザーが操作を行う必要がある第２のキャリブレーションを行わないため、ユーザーの利便性が向上する。また、第１のキャリブレーションに適した状況ではない場合であっても、第２のキャリブレーションによってキャリブレーションが可能であるため、正確な位置の検出を行うことが可能となる。   According to the control method of the position detection system, when the situation is suitable for the first calibration, the first calibration is performed, and when the situation is not suitable for the first calibration, the first calibration is performed. Perform the calibration of 2. In other words, in a situation suitable for the first calibration, the second calibration that the user needs to perform is not performed, so that the convenience for the user is improved. Even if the situation is not suitable for the first calibration, the calibration can be performed by the second calibration, so that an accurate position can be detected.

［適用例７］本適用例に係るプログラムは、画像を投写するプロジェクターと、前記プロジェクターから投写された投写画像を含む範囲を撮像して撮像画像を生成する撮像装置と、前記撮像装置が生成した前記撮像画像に基づいて、前記投写画像内において所定の操作がなされた位置を検出するコンピューターと、を有する位置検出システムの前記コンピューターに、前記投写画像と前記撮像画像との間で位置の対応付けを行うためのキャリブレーションを実施するキャリブレーションステップを実行させるプログラムであって、前記キャリブレーションステップでは、前記プロジェクターから第１の画像を投写させるとともに、前記撮像装置が前記第１の画像を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第１のキャリブレーションと、前記プロジェクターから第２の画像を投写させて、前記第２の画像内の所定の位置で前記所定の操作を行わせるとともに、前記撮像装置が前記所定の操作を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第２のキャリブレーションとを選択的に実施することを特徴とする。   Application Example 7 A program according to this application example is generated by a projector that projects an image, an imaging device that captures a range including a projected image projected from the projector and generates a captured image, and the imaging device A computer that detects a position where a predetermined operation is performed in the projection image based on the captured image, and the computer of the position detection system includes the correspondence between the projection image and the captured image. A program for executing a calibration step for performing calibration for performing a calibration, wherein in the calibration step, a first image is projected from the projector, and the imaging device captures the first image. A first key for performing the calibration based on the captured image generated by Rebirth and projecting a second image from the projector to cause the predetermined operation to be performed at a predetermined position in the second image, and the imaging device captures and generates the predetermined operation The second calibration for performing the calibration based on the captured image is selectively performed.

このプログラムによれば、第１のキャリブレーションと、第２のキャリブレーションとを選択的に実施するため、周辺の状況等に応じて適切なキャリブレーションを行うことが可能となる。   According to this program, since the first calibration and the second calibration are selectively performed, it is possible to perform appropriate calibration according to the surrounding situation and the like.

［適用例８］上記適用例に係るプログラムにおいて、前記コンピューターに、前記キャリブレーションに適した状況であるか否かを判断する第１の判断ステップをさらに実行させ、前記キャリブレーションステップでは、前記第１の判断ステップにおいて前記キャリブレーションに適した状況であると判断された場合に、前記第１のキャリブレーション又は前記第２のキャリブレーションを実施することが望ましい。   Application Example 8 In the program according to the application example described above, the computer further causes the computer to execute a first determination step of determining whether or not the situation is suitable for the calibration. When it is determined in the first determination step that the situation is suitable for the calibration, it is desirable to perform the first calibration or the second calibration.

このプログラムによれば、キャリブレーションに適した状況であるか否かを判断し、キャリブレーションに適した状況である場合に、キャリブレーションを実施するため、不適切な状況下でキャリブレーションが行われてしまうことが抑制される。この結果、キャリブレーションが完了するまでに長い時間を要したり、不正確なキャリブレーションがなされてしまったりすることが抑制される。   According to this program, it is determined whether or not the situation is suitable for calibration. When the situation is suitable for calibration, calibration is performed under an inappropriate situation in order to perform calibration. Is suppressed. As a result, it is suppressed that it takes a long time to complete the calibration or an incorrect calibration is performed.

［適用例９］上記適用例に係るプログラムにおいて、前記コンピューターに、前記第１のキャリブレーションに適した状況であるか否かを判断する第２の判断ステップをさらに実行させ、前記キャリブレーションステップでは、前記第２の判断ステップにおいて前記第１のキャリブレーションに適した状況であると判断された場合には、前記第１のキャリブレーションを実施し、前記第１のキャリブレーションに適した状況ではないと判断された場合には、前記第２のキャリブレーションを実施することが望ましい。   Application Example 9 In the program according to the application example, the computer further causes the computer to execute a second determination step of determining whether or not the situation is suitable for the first calibration. When it is determined in the second determination step that the situation is suitable for the first calibration, the first calibration is performed, and the situation is not suitable for the first calibration. If it is determined that the second calibration is performed, it is desirable to perform the second calibration.

このプログラムによれば、第１のキャリブレーションに適した状況である場合には、第１のキャリブレーションを実施し、第１のキャリブレーションに適した状況でない場合には、第２のキャリブレーションを実施する。つまり、第１のキャリブレーションに適した状況では、ユーザーが操作を行う必要がある第２のキャリブレーションを行わないため、ユーザーの利便性が向上する。また、第１のキャリブレーションに適した状況ではない場合であっても、第２のキャリブレーションによってキャリブレーションが可能であるため、正確な位置の検出を行うことが可能となる。   According to this program, when the situation is suitable for the first calibration, the first calibration is performed, and when the situation is not suitable for the first calibration, the second calibration is performed. carry out. In other words, in a situation suitable for the first calibration, the second calibration that the user needs to perform is not performed, so that the convenience for the user is improved. Even if the situation is not suitable for the first calibration, the calibration can be performed by the second calibration, so that an accurate position can be detected.

位置検出システムの概略構成を示す構成図。The block diagram which shows schematic structure of a position detection system. キャリブレーションを行う際のコンピューターの動作を説明するフローチャート。The flowchart explaining operation | movement of the computer at the time of performing calibration. オートキャリブレーション用の第１キャリブレーション画像を示す図。The figure which shows the 1st calibration image for auto-calibration. マニュアルキャリブレーション用の第２キャリブレーション画像を示す図。The figure which shows the 2nd calibration image for manual calibration.

以下、本実施形態の位置検出システムについて、図面を参照して説明する。
図１は、位置検出システムの概略構成を示す構成図である。
位置検出システム１００は、プロジェクターから投写された画像内において所定の操作がなされた位置を検出するためのシステムであり、図１に示すように、コンピューター１と、プロジェクター２と、撮像装置３と、発光ペン４とを備えて構成されている。 Hereinafter, the position detection system of this embodiment will be described with reference to the drawings.
FIG. 1 is a configuration diagram showing a schematic configuration of a position detection system.
The position detection system 100 is a system for detecting a position where a predetermined operation is performed in an image projected from a projector. As shown in FIG. 1, a computer 1, a projector 2, an imaging device 3, The light emitting pen 4 is provided.

コンピューター１は、ＣＰＵ（Central Processing Unit）１０ａやＲＡＭ（Random Access Memory）１０ｂ等からなる制御装置１０、ハードディスクドライブやフラッシュメモリー等の記憶装置１１、液晶ディスプレイ等の表示装置１２、キーボード等の入力装置１３、マウスやタッチパッド等のポインティングデバイス１４を備えている。コンピューター１としては、例えば、ノート型のパーソナルコンピューターを用いることが可能であり、この場合には、コンピューター１は、表示装置１２、入力装置１３、及びポインティングデバイス１４を一体的に備えて構成される。   The computer 1 includes a control device 10 including a CPU (Central Processing Unit) 10a and a RAM (Random Access Memory) 10b, a storage device 11 such as a hard disk drive and a flash memory, a display device 12 such as a liquid crystal display, and an input device such as a keyboard. 13. A pointing device 14 such as a mouse or a touch pad is provided. For example, a notebook personal computer can be used as the computer 1. In this case, the computer 1 is configured by integrally including a display device 12, an input device 13, and a pointing device 14. .

制御装置１０は、記憶装置１１に記憶されているＯＳ（Operating System）やアプリケーションプログラム等に従って動作し、入力装置１３等を用いてなされるユーザーの指示に応じて様々な処理を行い、処理結果等を表示装置１２に表示させる。ここで、本実施形態のコンピューター１に採用されているＯＳは、ＧＵＩ（Graphical User Interface）を備えたものであり、ユーザーは、表示装置１２に表示されるポインター（図示せず）を、ポインティングデバイス１４を用いて操作することによってコンピューター１に各種指示を与えることもできる。また、コンピューター１は、表示装置１２に表示される画像の画像情報を外部にも出力可能になっており、本実施形態では、プロジェクター２に画像情報を出力する。   The control device 10 operates in accordance with an OS (Operating System) and application programs stored in the storage device 11, performs various processes in accordance with user instructions made using the input device 13 and the like, and processes results and the like. Is displayed on the display device 12. Here, the OS employed in the computer 1 according to the present embodiment is provided with a GUI (Graphical User Interface), and the user uses a pointer (not shown) displayed on the display device 12 as a pointing device. Various instructions can also be given to the computer 1 by operating using the control unit 14. Further, the computer 1 can output image information of an image displayed on the display device 12 to the outside, and outputs image information to the projector 2 in the present embodiment.

プロジェクター２は、光源（図示せず）、及び光源から射出された光を変調して画像を形成する画像形成装置（図示せず）等を有しており、形成した画像を投写レンズ２ａによって外部に投写する。プロジェクター２は、コンピューター１から入力される画像情報に基づいて、この画像情報に基づく画像、即ちコンピューター１の表示装置１２に表示されている画像を形成し、ホワイトボードや壁面、スクリーン等の表面（以降、「投写面Ｓ」とも呼ぶ。）に拡大して投写する。プロジェクター２は、所定の投写面Ｓに画像が投写されるように配置される。   The projector 2 includes a light source (not shown), an image forming apparatus (not shown) that modulates light emitted from the light source to form an image, and the like. Project to. Based on the image information input from the computer 1, the projector 2 forms an image based on this image information, that is, an image displayed on the display device 12 of the computer 1, and a surface such as a whiteboard, a wall surface, or a screen ( Hereinafter, the image is enlarged and projected to “projection plane S”. The projector 2 is arranged so that an image is projected onto a predetermined projection plane S.

撮像装置３は、ＣＣＤ（Charge Coupled Device）センサー、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等からなる撮像素子等（図示せず）と、撮像対象から発せられた光を撮像素子上に結像させるための撮像レンズ３ａを備えている。撮像装置３は、プロジェクター２の近傍に配置され、投写面Ｓに投写された画像（以降、「投写画像」とも呼ぶ。）を含む範囲を所定のフレームレートで撮像する。そして、撮像装置３は、撮像した画像（以降、「撮像画像」とも呼ぶ。）を表す画像情報を順次生成し、コンピューター１に出力する。   The imaging device 3 forms an image of light emitted from an imaging target and an imaging element (not shown) such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor on the imaging element. An imaging lens 3a is provided. The imaging device 3 is arranged in the vicinity of the projector 2 and images a range including an image projected on the projection surface S (hereinafter also referred to as “projected image”) at a predetermined frame rate. Then, the imaging device 3 sequentially generates image information representing captured images (hereinafter also referred to as “captured images”) and outputs the image information to the computer 1.

発光ペン４は、ペン状の本体の先端部（ペン先）に、押圧スイッチと、赤外光を発する発光ダイオードとを備えている。そして、ユーザーが発光ペン４のペン先を投写面Ｓに押し付ける操作（押圧操作）を行って、押圧スイッチを押圧すると、発光ダイオードが発光するようになっている。   The light-emitting pen 4 includes a pressing switch and a light-emitting diode that emits infrared light at the tip (pen tip) of a pen-shaped main body. When the user performs an operation (pressing operation) of pressing the pen tip of the light emitting pen 4 against the projection surface S and presses the pressing switch, the light emitting diode emits light.

コンピューター１の記憶装置１１には、発光ペン４をポインティングデバイス１４のように利用するためのソフトウェア（デバイスドライバー）が記憶されている。そして、このソフトウェアが起動した状態では、制御装置１０は、撮像装置３から入力される画像情報に基づいて、投写画像内で発光ペン４が発光したか否かを判別する。そして、発光があった場合には、発光した位置、即ち投写画像内において押圧操作がなされた位置を検出する。制御装置１０は、発光した位置を検出すると、この位置でポインティングデバイス１４によるクリック操作がなされた場合と同一の処理を行う。つまり、ユーザーは、投写画像内において発光ペン４で押圧操作を行うことにより、コンピューター１に対して、ポインティングデバイス１４で行う指示と同一の指示を行うことができる。   The storage device 11 of the computer 1 stores software (device driver) for using the light-emitting pen 4 like the pointing device 14. Then, in a state where this software is activated, the control device 10 determines whether or not the light-emitting pen 4 has emitted light within the projected image based on the image information input from the imaging device 3. When light is emitted, the position where the light is emitted, that is, the position where the pressing operation is performed in the projected image is detected. When the control device 10 detects the light emission position, the control device 10 performs the same processing as when the pointing device 14 is clicked at this position. That is, the user can give the same instruction as the instruction performed by the pointing device 14 to the computer 1 by performing a pressing operation with the light emitting pen 4 in the projected image.

このような位置検出システム１００において、撮像画像内における投写画像の位置や形状は、プロジェクター２と撮像装置３の位置関係が変わる度に変化する。このため、投写画像内において押圧操作がなされた位置を正確に検出するためには、プロジェクター２及び撮像装置３を設置した後に、投写画像と撮像画像との間で位置の対応付けを行うための手続き（キャリブレーション）を実施する必要がある。そして、制御装置１０が、このキャリブレーションの結果に基づいて、検出した位置を補正することにより、正確な位置検出が可能となる。記憶装置１１には、キャリブレーションを行うためのプログラム（キャリブレーションプログラム）が記憶されており、ユーザーは、コンピューター１にこのプログラムの起動を指示することにより、位置検出システム１００のキャリブレーションを行うことができる。ここで、本実施形態のキャリブレーションプログラムは、ユーザーの操作に基づいてキャリブレーションを行うマニュアルキャリブレーションと、ユーザーの操作が不要で撮像装置３の撮像結果に基づいてキャリブレーションを行うオートキャリブレーションの２つの方法でキャリブレーションを行うことが可能になっており、制御装置１０は、いずれか１つのキャリブレーションを選択的に実施する。   In such a position detection system 100, the position and shape of the projected image in the captured image change each time the positional relationship between the projector 2 and the imaging device 3 changes. For this reason, in order to accurately detect the position where the pressing operation is performed in the projected image, after the projector 2 and the imaging device 3 are installed, the position is associated between the projected image and the captured image. Procedure (calibration) needs to be performed. And the control apparatus 10 correct | amends the detected position based on the result of this calibration, and an exact position detection is attained. The storage device 11 stores a program for performing calibration (calibration program), and the user calibrates the position detection system 100 by instructing the computer 1 to start the program. Can do. Here, the calibration program according to the present embodiment includes manual calibration that performs calibration based on a user's operation and auto-calibration that performs calibration based on the imaging result of the imaging apparatus 3 that does not require the user's operation. Calibration can be performed by two methods, and the control apparatus 10 selectively performs one of the calibrations.

図２は、キャリブレーションを行う際のコンピューター１の動作を説明するフローチャートである。ユーザーの指示に応じてキャリブレーションプログラムが起動すると、コンピューター１の制御装置１０は、図２に示すフローに従って動作する。また、図３及び図４は、キャリブレーションを行う際に表示される画像を示す図であり、図３は、オートキャリブレーション用の第１キャリブレーション画像を示す図、図４は、マニュアルキャリブレーション用の第２キャリブレーション画像を示す図である。なお、第１キャリブレーション画像及び第２キャリブレーション画像は、キャリブレーションプログラム内に画像情報として包含されている。   FIG. 2 is a flowchart for explaining the operation of the computer 1 when performing calibration. When the calibration program is activated in accordance with a user instruction, the control device 10 of the computer 1 operates according to the flow shown in FIG. 3 and 4 are diagrams showing images displayed when calibration is performed, FIG. 3 is a diagram showing a first calibration image for auto-calibration, and FIG. 4 is manual calibration. It is a figure which shows the 2nd calibration image for use. The first calibration image and the second calibration image are included as image information in the calibration program.

図２に示すように、まず、ステップＳ１０１では、制御装置１０は、撮像装置３の撮像画像を、動画像として表示装置１２及び投写面Ｓに表示する。具体的には、制御装置１０は、撮像装置３から順次入力される画像情報に基づいて、表示装置１２に撮像画像を表示させるための画像情報を順次生成し、表示装置１２及びプロジェクター２に出力する。つまり、制御装置１０は、表示装置１２及び投写面Ｓに撮像画像をモニター表示させる。ユーザーは、この撮像画像を見ながら、投写画像の全体が撮像画像（撮像範囲）に含まれるように、プロジェクター２及び撮像装置３の設置状態（位置や向き）を調整することができる。そして、ユーザーは、入力装置１３に対して所定の操作を行うことにより、設置状態の調整が完了した旨をコンピューター１に通知することができる。   As shown in FIG. 2, first, in step S101, the control device 10 displays a captured image of the imaging device 3 on the display device 12 and the projection plane S as a moving image. Specifically, the control device 10 sequentially generates image information for displaying the captured image on the display device 12 based on the image information sequentially input from the imaging device 3 and outputs the image information to the display device 12 and the projector 2. To do. In other words, the control device 10 displays the captured image on the display device 12 and the projection surface S on the monitor. The user can adjust the installation state (position and orientation) of the projector 2 and the imaging device 3 so that the entire projected image is included in the captured image (imaging range) while viewing the captured image. Then, the user can notify the computer 1 that the adjustment of the installation state is completed by performing a predetermined operation on the input device 13.

ステップＳ１０２では、制御装置１０は、上記の所定の操作、即ち設置状態の調整が完了したことを示す操作が入力装置１３に対して行われたか否かを判断する。そして、この所定の操作が行われた場合にはステップＳ１０３に移行し、行われていない場合には本ステップを繰り返す。   In step S <b> 102, the control device 10 determines whether or not the above-described predetermined operation, that is, an operation indicating that the installation state adjustment has been completed is performed on the input device 13. When this predetermined operation is performed, the process proceeds to step S103, and when this predetermined operation is not performed, this step is repeated.

ステップＳ１０３では、制御装置１０は、第１キャリブレーション画像Ｃ１（図３参照）を表示装置１２に表示するための画像情報を生成し、表示装置１２及びプロジェクター２に出力する。つまり、制御装置１０は、表示装置１２及び投写面Ｓに第１キャリブレーション画像Ｃ１を表示（投写）させる。そして、投写面Ｓに投写された第１キャリブレーション画像Ｃ１は、撮像装置３によって撮像される。図３に示すように、第１キャリブレーション画像Ｃ１としては、例えば、矩形の明色部Ｂと矩形の暗色部Ｄとが上下左右に交互に配列された市松模様（チェッカーパターン）を含む画像を採用することができる。   In step S103, the control device 10 generates image information for displaying the first calibration image C1 (see FIG. 3) on the display device 12, and outputs the image information to the display device 12 and the projector 2. That is, the control device 10 displays (projects) the first calibration image C1 on the display device 12 and the projection surface S. Then, the first calibration image C1 projected on the projection surface S is captured by the imaging device 3. As shown in FIG. 3, as the first calibration image C1, for example, an image including a checkered pattern (checker pattern) in which rectangular light-colored portions B and rectangular dark-colored portions D are alternately arranged vertically and horizontally. Can be adopted.

ステップＳ１０４では、制御装置１０は、位置検出システム１００の各種状況（周辺環境、設置状況、動作状況等）がキャリブレーション（オートキャリブレーション又はマニュアルキャリブレーション）に適した状況であるか否かを判断する。例えば、プロジェクター２と投写面Ｓとの間、又は撮像装置３と投写面Ｓとの間に障害物がある場合や、設置状態の不備により撮像装置３が投写画像（第１キャリブレーション画像Ｃ１）の全体を撮像できるように設置されていない場合、或いは第１キャリブレーション画像Ｃ１上に他のプログラムの表示画像（例えば、日本語入力システムのタスクバー等）が重畳されている場合等には、正確なキャリブレーションができない恐れがある。制御装置１０は、撮像装置３から入力される撮像画像、即ち第１キャリブレーション画像Ｃ１を撮像した撮像画像を分析する。そして、例えば、撮像画像に含まれる暗色部Ｄと明色部Ｂの数等に基づいて、設置状態の不備や障害物の有無を判断する。また、制御装置１０は、例えば、ＯＳが管理する表示装置１２の表示状態に基づいて、第１キャリブレーション画像Ｃ１上に他のプログラムの表示画像が重畳されているか否かを判断する。そして、制御装置１０は、キャリブレーションに適した状況であると判断した場合、即ち設置状態の不備や障害物がなく、第１キャリブレーション画像Ｃ１上に他のプログラムの表示画像が重畳されていない場合には、ステップＳ１０７に移行する。一方、キャリブレーションに適した状況ではないと判断した場合、即ち、設置状態の不備や障害物がある場合、或いは第１キャリブレーション画像Ｃ１上に他のプログラムの表示画像が重畳されている場合には、ステップＳ１０５に移行する。   In step S <b> 104, the control device 10 determines whether or not various situations (neighboring environment, installation situation, operation situation, etc.) of the position detection system 100 are situations suitable for calibration (auto calibration or manual calibration). To do. For example, when there is an obstacle between the projector 2 and the projection surface S, or between the imaging device 3 and the projection surface S, or when the imaging device 3 projects the projection image (first calibration image C1) due to incomplete installation. Is not installed so that the entire image can be captured, or when a display image of another program (for example, a task bar of a Japanese input system) is superimposed on the first calibration image C1, etc. Calibration may not be possible. The control device 10 analyzes a captured image input from the imaging device 3, that is, a captured image obtained by capturing the first calibration image C1. Then, for example, based on the number of dark color portions D and light color portions B included in the captured image, it is determined whether there is an incomplete installation state or an obstacle. Further, for example, based on the display state of the display device 12 managed by the OS, the control device 10 determines whether a display image of another program is superimposed on the first calibration image C1. When the control device 10 determines that the situation is suitable for calibration, that is, there is no incomplete installation or obstacle, and the display image of another program is not superimposed on the first calibration image C1. In the case, the process proceeds to step S107. On the other hand, when it is determined that the situation is not suitable for calibration, that is, when there is an incomplete installation or an obstacle, or when a display image of another program is superimposed on the first calibration image C1. Moves to step S105.

キャリブレーションに適した状況ではないと判断してステップＳ１０５に移行した場合には、制御装置１０は、キャリブレーションができない旨を報知するエラーメッセージ（図示せず）を表示装置１２及び投写面Ｓに表示させる。ユーザーは、このエラーメッセージが表示されると、キャリブレーションができない原因を解消した後で、入力装置１３に対して所定の操作を行うことにより、再度キャリブレーションを試みることができる。   If it is determined that the situation is not suitable for calibration and the process proceeds to step S105, the control device 10 displays an error message (not shown) notifying that calibration cannot be performed on the display device 12 and the projection surface S. Display. When this error message is displayed, the user can try calibration again by performing a predetermined operation on the input device 13 after eliminating the cause of the calibration failure.

ステップＳ１０６では、制御装置１０は、上記の所定の操作が入力装置１３に対して行われたか否かを判断する。そして、この所定の操作が行われた場合にはステップＳ１０４に戻り、キャリブレーションに適した状況であるか否かを再度判断する。一方、所定の操作が行われていない場合には本ステップを繰り返す。   In step S <b> 106, the control device 10 determines whether or not the predetermined operation has been performed on the input device 13. When this predetermined operation is performed, the process returns to step S104, and it is determined again whether or not the situation is suitable for calibration. On the other hand, if the predetermined operation is not performed, this step is repeated.

ステップＳ１０４においてキャリブレーションに適した状況であると判断してステップＳ１０７に移行した場合には、制御装置１０は、位置検出システム１００の各種状況が、オートキャリブレーションに適した状況であるか否かを判断する。例えば、周囲が非常に明るい環境下では、第１キャリブレーション画像Ｃ１のコントラストが低下するため、オートキャリブレーションでは正確なキャリブレーションができない恐れがある。また、投写面Ｓ上にホットスポット（局所的に反射率が著しく高くなる部位）が生じている場合等にも、正確なキャリブレーションができない恐れがある。制御装置１０は、撮像装置３から入力される撮像画像、即ち第１キャリブレーション画像Ｃ１を撮像した撮像画像を分析し、オートキャリブレーションに適した状況であるか否かを判断する。そして、オートキャリブレーションに適した状況であると判断した場合にはステップＳ１０８に移行する。一方、オートキャリブレーションに適した状況ではないと判断した場合にはステップＳ１１０に移行する。   When it is determined in step S104 that the situation is suitable for calibration and the process proceeds to step S107, the control device 10 determines whether the various situations of the position detection system 100 are situations suitable for auto-calibration. Judging. For example, in an environment where the surroundings are very bright, the contrast of the first calibration image C1 is lowered, and thus there is a possibility that accurate calibration cannot be performed by auto calibration. Also, when a hot spot (a part where the reflectance is remarkably increased) is generated on the projection surface S, accurate calibration may not be performed. The control device 10 analyzes the captured image input from the imaging device 3, that is, the captured image obtained by capturing the first calibration image C1, and determines whether or not the situation is suitable for auto calibration. If it is determined that the situation is suitable for auto calibration, the process proceeds to step S108. On the other hand, if it is determined that the situation is not suitable for auto calibration, the process proceeds to step S110.

オートキャリブレーションに適した状況であると判断してステップＳ１０８に移行した場合には、制御装置１０は、オートキャリブレーションを実施する。オートキャリブレーションは、撮像装置３が投写面Ｓに投写された第１キャリブレーション画像Ｃ１を撮像して生成する撮像画像に基づいて行うキャリブレーションであり、例えば、制御装置１０は、撮像装置３が撮像した第１キャリブレーション画像Ｃ１内の多数の交点（暗色部Ｄ同士が接する位置）の座標を導出する。一方、本来の第１キャリブレーション画像Ｃ１における各交点の座標は、プログラム内に予め登録されており、制御装置１０は、双方の座標の対応関係に基づいて、撮像画像上の位置から投写画像上の位置を特定するための補正情報を導く。   If it is determined that the situation is suitable for auto calibration and the process proceeds to step S108, the control device 10 performs auto calibration. Auto-calibration is calibration performed based on a captured image generated by imaging the first calibration image C1 projected on the projection plane S by the imaging device 3, and for example, the control device 10 includes The coordinates of a number of intersections (positions where the dark color portions D are in contact with each other) in the captured first calibration image C1 are derived. On the other hand, the coordinates of each intersection in the original first calibration image C1 are registered in advance in the program, and the control device 10 determines the position on the projected image from the position on the captured image based on the correspondence between the two coordinates. The correction information for specifying the position of is derived.

ステップＳ１０９では、制御装置１０は、キャリブレーション結果、即ち導出した補正情報を記憶装置１１に記憶してフローを終了する。そして、これ以降、制御装置１０は、発光ペン４が発光した位置、即ち投写画像内において押圧操作がなされた位置を検出する際には、新たに導出した補正情報に基づいて位置補正を行う。   In step S109, the control device 10 stores the calibration result, that is, the derived correction information in the storage device 11, and ends the flow. Thereafter, when detecting the position where the light-emitting pen 4 emits light, that is, the position where the pressing operation is performed in the projected image, the control device 10 performs position correction based on the newly derived correction information.

一方、ステップＳ１０７においてオートキャリブレーションに適した状況ではないと判断してステップＳ１１０に移行した場合には、制御装置１０は、第２キャリブレーション画像Ｃ２（図４参照）を表示装置１２に表示するための画像情報を生成し、表示装置１２及びプロジェクター２に出力する。つまり、制御装置１０は、表示装置１２及び投写面Ｓに第２キャリブレーション画像Ｃ２を表示させる。   On the other hand, if it is determined in step S107 that the situation is not suitable for auto-calibration and the process proceeds to step S110, the control device 10 displays the second calibration image C2 (see FIG. 4) on the display device 12. Image information is generated and output to the display device 12 and the projector 2. That is, the control device 10 displays the second calibration image C2 on the display device 12 and the projection surface S.

そして、ステップＳ１１１では、制御装置１０は、マニュアルキャリブレーションを実施する。図４に示すように、第２キャリブレーション画像Ｃ２は、複数の位置に所定のマークＭが付された画像であり、制御装置１０は、この第２キャリブレーション画像Ｃ２を投写面Ｓに表示することにより、マークＭが付された複数の位置で発光ペン４による押圧操作をユーザーに行わせる。そして、投写面Ｓに表示された第２キャリブレーション画像Ｃ２上で行うユーザーの押圧操作は、撮像装置３によって撮像される。マニュアルキャリブレーションは、撮像装置３がユーザーの押圧操作を撮像して生成する撮像画像に基づいて行うキャリブレーションであり、具体的には、制御装置１０は、撮像装置３が撮像した撮像画像内で発光ペン４が発光した位置、即ち各マークＭに対応する位置の座標を導出する。一方、本来の第２キャリブレーション画像Ｃ２における複数のマークＭの位置の座標は、プログラム内に予め登録されており、制御装置１０は、双方の座標の対応関係に基づいて、撮像画像上の位置から投写画像上の位置を特定するための補正情報を導く。なお、マニュアルキャリブレーションでは、発光ペン４が発光する赤外光を撮像できればよく、第２キャリブレーション画像Ｃ２（マークＭ）を鮮明に撮像する必要がないため、比較的周囲が明るい環境下であっても適正なキャリブレーションを行うことができる。   In step S111, the control device 10 performs manual calibration. As shown in FIG. 4, the second calibration image C2 is an image in which predetermined marks M are added at a plurality of positions, and the control device 10 displays the second calibration image C2 on the projection plane S. This allows the user to perform a pressing operation with the light emitting pen 4 at a plurality of positions to which the mark M is attached. The user's pressing operation performed on the second calibration image C <b> 2 displayed on the projection plane S is imaged by the imaging device 3. Manual calibration is calibration performed based on a captured image generated by the imaging device 3 capturing and pressing a user's pressing operation. Specifically, the control device 10 includes a captured image captured by the imaging device 3. The coordinates of the position where the light emitting pen 4 emits light, that is, the position corresponding to each mark M are derived. On the other hand, the coordinates of the positions of the plurality of marks M in the original second calibration image C2 are registered in advance in the program, and the control device 10 determines the position on the captured image based on the correspondence relationship between the two coordinates. The correction information for specifying the position on the projected image is derived from the above. In manual calibration, it is only necessary to capture the infrared light emitted from the light-emitting pen 4, and it is not necessary to capture the second calibration image C2 (mark M) clearly. However, proper calibration can be performed.

その後、制御装置１０は、ステップＳ１０９に移行して、キャリブレーション結果、即ち導出した補正情報を記憶装置１１に記憶してフローを終了する。そして、これ以降、制御装置１０は、発光ペン４が発光した位置、即ち投写画像内において押圧操作がなされた位置を検出する際には、新たに導出した補正情報に基づいて位置補正を行う。   Thereafter, the control device 10 proceeds to step S109, stores the calibration result, that is, the derived correction information in the storage device 11, and ends the flow. Thereafter, when detecting the position where the light-emitting pen 4 emits light, that is, the position where the pressing operation is performed in the projected image, the control device 10 performs position correction based on the newly derived correction information.

以上説明したように、本実施形態の位置検出システム１００によれば、以下の効果を得ることが可能となる。   As described above, according to the position detection system 100 of the present embodiment, the following effects can be obtained.

（１）本実施形態の位置検出システム１００によれば、制御装置１０は、オートキャリブレーション及びマニュアルキャリブレーションの一方を選択的に実施するため、周辺の状況等に応じて適切なキャリブレーションを行うことが可能となる。   (1) According to the position detection system 100 of the present embodiment, the control device 10 performs appropriate calibration according to the surrounding situation and the like in order to selectively perform one of auto calibration and manual calibration. It becomes possible.

（２）本実施形態の位置検出システム１００によれば、制御装置１０は、キャリブレーションに適した状況であるか否かを判断し、キャリブレーションに適した状況である場合に、キャリブレーションを実施するため、不適切な状況下でキャリブレーションが行われてしまうことが抑制される。この結果、キャリブレーションが完了するまでに長い時間を要したり、不正確なキャリブレーションがなされてしまったりすることが抑制される。   (2) According to the position detection system 100 of the present embodiment, the control device 10 determines whether or not the situation is suitable for calibration, and performs calibration when the situation is suitable for calibration. Therefore, the calibration is suppressed from being performed under an inappropriate situation. As a result, it is suppressed that it takes a long time to complete the calibration or an incorrect calibration is performed.

（３）本実施形態の位置検出システム１００によれば、制御装置１０は、オートキャリブレーションに適した状況である場合には、オートキャリブレーションを実施し、オートキャリブレーションに適した状況でない場合には、マニュアルキャリブレーションを実施する。つまり、オートキャリブレーションに適した状況では、ユーザーが操作を行う必要があるマニュアルキャリブレーションを行わないため、ユーザーの利便性が向上する。また、オートキャリブレーションに適した状況ではない場合であっても、マニュアルキャリブレーションによってキャリブレーションが可能であるため、正確な位置の検出を行うことが可能となる。   (3) According to the position detection system 100 of the present embodiment, the control device 10 performs auto-calibration when the situation is suitable for auto-calibration, and when the situation is not suitable for auto-calibration. Perform manual calibration. In other words, in a situation suitable for auto calibration, manual calibration that the user needs to perform is not performed, so that convenience for the user is improved. Even if the situation is not suitable for auto-calibration, calibration can be performed by manual calibration, so that accurate position detection can be performed.

なお、本実施形態では、コンピューター１の制御装置１０が検出装置及び制御装置の双方に相当する。また、オートキャリブレーションが第１のキャリブレーションに相当し、マニュアルキャリブレーションが第２のキャリブレーションに相当する。また、第１キャリブレーション画像Ｃ１が第１の画像に相当し、第２キャリブレーション画像Ｃ２が第２の画像に相当する。また、ステップＳ１０８及びステップＳ１１１がキャリブレーションステップに相当し、ステップＳ１０４が第１の判断ステップに相当し、ステップＳ１０７が第２の判断ステップに相当する。   In the present embodiment, the control device 10 of the computer 1 corresponds to both the detection device and the control device. Also, auto calibration corresponds to the first calibration, and manual calibration corresponds to the second calibration. The first calibration image C1 corresponds to the first image, and the second calibration image C2 corresponds to the second image. Step S108 and step S111 correspond to the calibration step, step S104 corresponds to the first determination step, and step S107 corresponds to the second determination step.

（変形例）
上記実施形態は、以下のように変更してもよい。 (Modification)
The above embodiment may be modified as follows.

上記実施形態において、第１キャリブレーション画像Ｃ１及び第２キャリブレーション画像Ｃ２は、それぞれ図３及び図４に示した画像に限定されず、様々なパターンの画像を採用することができる。   In the above embodiment, the first calibration image C1 and the second calibration image C2 are not limited to the images shown in FIGS. 3 and 4, respectively, and various patterns of images can be employed.

上記実施形態では、投写画像に対して、赤外光を発光する発光ペン４を用いて操作を行う態様を示したが、この態様に限定されず、例えば、レーザーポインターで操作を行う態様としてもよい。   In the said embodiment, although the aspect which operates using the light emitting pen 4 which light-emits infrared light with respect to the projection image was shown, it is not limited to this aspect, For example, as an aspect which operates with a laser pointer, Good.

上記実施形態では、コンピューター１が、ノート型のパーソナルコンピューターの場合を示したが、コンピューター１は、ノート型のパーソナルコンピューターに限定されない。例えば、デスクトップ型のパーソナルコンピューターのように、表示装置１２、入力装置１３、ポインティングデバイス１４の全部又は一部が外付けで接続される構成のコンピューターであってもよいし、ＰＤＡ（Personal Digital Assistant）等の携帯型情報機器であってもよい。また、コンピューター１は、少なくとも制御装置１０を備えた構成であればよく、記憶装置１１、表示装置１２、入力装置１３及びポインティングデバイス１４は、必ずしも必須ではない。   Although the case where the computer 1 is a notebook personal computer has been described in the above embodiment, the computer 1 is not limited to a notebook personal computer. For example, a computer having a configuration in which all or part of the display device 12, the input device 13, and the pointing device 14 are externally connected, such as a desktop personal computer, or a PDA (Personal Digital Assistant) may be used. Such a portable information device may be used. Moreover, the computer 1 should just be the structure provided with the control apparatus 10 at least, and the memory | storage device 11, the display apparatus 12, the input device 13, and the pointing device 14 are not necessarily essential.

１…コンピューター、２…プロジェクター、２ａ…投写レンズ、３…撮像装置、３ａ…撮像レンズ、４…発光ペン、１０…制御装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１１…記憶装置、１２…表示装置、１３…入力装置、１４…ポインティングデバイス、１００…位置検出システム、Ｃ１…第１キャリブレーション画像、Ｃ２…第２キャリブレーション画像、Ｂ…明色部、Ｄ…暗色部、Ｍ…マーク、Ｓ…投写面。   DESCRIPTION OF SYMBOLS 1 ... Computer, 2 ... Projector, 2a ... Projection lens, 3 ... Imaging device, 3a ... Imaging lens, 4 ... Light-emitting pen, 10 ... Control device, 10a ... CPU, 10b ... RAM, 11 ... Memory | storage device, 12 ... Display device , 13 ... input device, 14 ... pointing device, 100 ... position detection system, C1 ... first calibration image, C2 ... second calibration image, B ... light color part, D ... dark color part, M ... mark, S ... Projection plane.

Claims (6)

画像を投写するプロジェクターと、前記プロジェクターから投写された投写画像を含む範囲を撮像して撮像画像を生成する撮像装置と、前記撮像装置が生成した前記撮像画像に基づいて、前記投写画像内において所定の操作がなされた位置を検出する検出装置と、を有する位置検出システムであって、
前記投写画像と前記撮像画像との間で位置の対応付けを行うためのキャリブレーションを実施する制御装置であって、前記プロジェクターから第１の画像を投写させ、前記撮像装置が前記第１の画像を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第１のキャリブレーションと、前記プロジェクターから第２の画像を投写させて、前記第２の画像内の所定の位置で前記所定の操作を行わせ、前記撮像装置が前記所定の操作を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第２のキャリブレーションとを選択的に実施する前記制御装置を備え、
前記制御装置は、周囲の環境が所定の明るさ以上か否かを判断して、周囲の環境が前記所定の明るさに満たない場合に前記第１のキャリブレーションを実施し、周囲の環境が前記所定の明るさ以上の場合に前記第２のキャリブレーションを実施することを特徴とする位置検出システム。 A projector that projects an image, an imaging device that captures a range including a projected image projected from the projector and generates a captured image, and a predetermined image in the projected image based on the captured image generated by the imaging device. A position detecting system having a detecting device for detecting a position where the operation is performed,
A control device that performs calibration for associating a position between the projected image and the captured image, wherein the first image is projected from the projector, and the imaging device causes the first image to be projected. A first calibration for performing the calibration based on a captured image generated by capturing the image and a second image projected from the projector, and the predetermined operation at a predetermined position in the second image. The control device selectively performing a second calibration for performing the calibration based on a captured image generated by the imaging device imaging the predetermined operation.
Said control device, the surrounding environment to determine whether more than a predetermined brightness, performing the first calibration when the surrounding environment is less than the predetermined brightness, the surrounding environment The position detection system, wherein the second calibration is performed when the brightness is not less than the predetermined brightness. 請求項１に記載の位置検出システムであって、
前記制御装置は、前記撮像装置が生成した前記撮像画像に基づいて前記キャリブレーションに適した状況であるか否かを判断し、前記キャリブレーションに適した状況である場合に、前記第１のキャリブレーション又は前記第２のキャリブレーションを実施することを特徴とする位置検出システム。 The position detection system according to claim 1,
The control device determines whether or not the situation is suitable for the calibration based on the captured image generated by the imaging device, and when the situation is suitable for the calibration, the first calibration is performed. Or a position detection system that performs the second calibration. 請求項２に記載の位置検出システムであって、
前記制御装置は、前記撮像装置が生成した前記撮像画像に基づいて、前記投写画像が投写される投写面と前記プロジェクターとの間、又は前記投写面と前記撮像装置との間に障害物があるか否かを判断し、前記障害物がない場合に、前記第１のキャリブレーション又は前記第２のキャリブレーションを実施することを特徴とする位置検出システム。 The position detection system according to claim 2,
The control device has an obstacle between the projection surface on which the projection image is projected and the projector, or between the projection surface and the imaging device, based on the captured image generated by the imaging device. Whether the obstacle is present or not, and the first calibration or the second calibration is performed. 請求項２又は３に記載の位置検出システムであって、
前記制御装置は、前記撮像装置が生成した前記撮像画像に基づいて、前記撮像装置が前記投写画像の全体を撮像できるように設置されているか否かを判断し、前記投写画像の全体を撮像できるように設置されている場合に、前記第１のキャリブレーション又は前記第２のキャリブレーションを実施することを特徴とする位置検出システム。 The position detection system according to claim 2 or 3,
The control device can determine whether or not the imaging device is installed so as to capture the entire projection image based on the captured image generated by the imaging device, and can capture the entire projection image. The position detection system is characterized in that the first calibration or the second calibration is performed when installed in such a manner. 画像を投写するプロジェクターと、前記プロジェクターから投写された投写画像を含む範囲を撮像して撮像画像を生成する撮像装置と、前記撮像装置が生成した前記撮像画像に基づいて、前記投写画像内において所定の操作がなされた位置を検出する検出装置と、制御装置と、を有する位置検出システムの制御方法であって、
前記投写画像と前記撮像画像との間で位置の対応付けを行うためのキャリブレーションを前記制御装置が実施するキャリブレーションステップであって、前記プロジェクターから第１の画像を投写させ、前記撮像装置が前記第１の画像を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第１のキャリブレーションと、前記プロジェクターから第２の画像を投写させて、前記第２の画像内の所定の位置で前記所定の操作を行わせ、前記撮像装置が前記所定の操作を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第２のキャリブレーションとを前記制御装置が選択的に実施する前記キャリブレーションステップを備え、
前記キャリブレーションステップにおいて、前記制御装置は、周囲の環境が所定の明るさ以上か否かを判断して、周囲の環境が前記所定の明るさに満たない場合に前記第１のキャリブレーションを実施し、周囲の環境が前記所定の明るさ以上の場合に前記第２のキャリブレーションを実施することを特徴とする位置検出システムの制御方法。 A projector that projects an image, an imaging device that captures a range including a projected image projected from the projector and generates a captured image, and a predetermined image in the projected image based on the captured image generated by the imaging device. A control method for a position detection system , comprising: a detection device that detects a position where the operation is performed; and a control device ,
A calibration step in which the control device performs calibration for associating a position between the projected image and the captured image, wherein the projector projects a first image, and the imaging device A first calibration for performing the calibration based on a captured image generated by capturing the first image, and a second image projected from the projector, and a predetermined position in the second image. The control device selectively performs the second calibration in which the calibration is performed based on a captured image generated by the imaging device imaging the predetermined operation. A calibration step,
In the calibration step, the control device, the surrounding environment to determine whether more than a predetermined brightness, performing the first calibration when the surrounding environment is less than the predetermined brightness Then, the control method of the position detection system, wherein the second calibration is performed when the surrounding environment is not less than the predetermined brightness. 画像を投写するプロジェクターと、前記プロジェクターから投写された投写画像を含む範囲を撮像して撮像画像を生成する撮像装置と、前記撮像装置が生成した前記撮像画像に基づいて、前記投写画像内において所定の操作がなされた位置を検出するコンピューターと、を有する位置検出システムの前記コンピューターに、
前記投写画像と前記撮像画像との間で位置の対応付けを行うためのキャリブレーションを実施するキャリブレーションステップであって、前記プロジェクターから第１の画像を投写させ、前記撮像装置が前記第１の画像を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第１のキャリブレーションと、前記プロジェクターから第２の画像を投写させて、前記第２の画像内の所定の位置で前記所定の操作を行わせ、前記撮像装置が前記所定の操作を撮像して生成する撮像画像に基づいて前記キャリブレーションを行う第２のキャリブレーションとを選択的に実施する前記キャリブレーションステップを実行させるプログラムであって、
前記キャリブレーションステップでは、前記コンピューターに、周囲の環境が所定の明るさ以上か否かを判断させて、周囲の環境が前記所定の明るさに満たない場合に前記第１のキャリブレーションを実施させ、周囲の環境が前記所定の明るさ以上の場合に前記第２のキャリブレーションを実施させることを特徴とするプログラム。 A projector that projects an image, an imaging device that captures a range including a projected image projected from the projector and generates a captured image, and a predetermined image in the projected image based on the captured image generated by the imaging device. A computer for detecting the position where the operation is performed, and the computer of the position detection system,
A calibration step for performing calibration for associating a position between the projected image and the captured image, wherein the first image is projected from the projector, and the imaging device A first calibration that performs the calibration based on a captured image that is generated by capturing an image, and a second image that is projected from the projector, the predetermined image at a predetermined position in the second image. A program for executing the calibration step for performing the operation and selectively performing the second calibration for performing the calibration based on a captured image generated by imaging the predetermined operation by the imaging device. There,
Wherein in the calibration step, the computer, the surrounding environment by determining whether more than a predetermined brightness, to implement the first calibration when the surrounding environment is less than the predetermined brightness , program characterized Rukoto to implement the second calibration when the ambient environment is more than the predetermined brightness.
JP2010094771A 2010-04-16 2010-04-16 POSITION DETECTION SYSTEM, ITS CONTROL METHOD, AND PROGRAM Active JP5593802B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010094771A JP5593802B2 (en) 2010-04-16 2010-04-16 POSITION DETECTION SYSTEM, ITS CONTROL METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010094771A JP5593802B2 (en) 2010-04-16 2010-04-16 POSITION DETECTION SYSTEM, ITS CONTROL METHOD, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2011227600A JP2011227600A (en) 2011-11-10
JP5593802B2 true JP5593802B2 (en) 2014-09-24

Family

ID=45042891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010094771A Active JP5593802B2 (en) 2010-04-16 2010-04-16 POSITION DETECTION SYSTEM, ITS CONTROL METHOD, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP5593802B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5973849B2 (en) * 2012-03-08 2016-08-23 キヤノン株式会社 Coordinate input device and sensor bar used for coordinate input device
JP6304029B2 (en) * 2012-06-08 2018-04-04 日本電気株式会社 Apparatus, system, method, and program for outputting angle of view of imaging apparatus
JP6387644B2 (en) 2014-01-21 2018-09-12 セイコーエプソン株式会社 Position detection device, position detection system, and position detection method
JP6349838B2 (en) * 2014-01-21 2018-07-04 セイコーエプソン株式会社 POSITION DETECTION DEVICE, POSITION DETECTION SYSTEM, AND POSITION DETECTION DEVICE CONTROL METHOD
JP6417690B2 (en) * 2014-01-21 2018-11-07 セイコーエプソン株式会社 Projector, display device, and projector control method
JP6326895B2 (en) 2014-01-21 2018-05-23 セイコーエプソン株式会社 POSITION DETECTION DEVICE, POSITION DETECTION SYSTEM, AND POSITION DETECTION DEVICE CONTROL METHOD
US9733728B2 (en) 2014-03-03 2017-08-15 Seiko Epson Corporation Position detecting device and position detecting method
JP6459705B2 (en) * 2015-03-27 2019-01-30 セイコーエプソン株式会社 Interactive projector, interactive projection system, and interactive projector control method
JP6631280B2 (en) * 2016-02-03 2020-01-15 セイコーエプソン株式会社 Position detecting device, position detecting system, and position detecting method
JP6809292B2 (en) * 2017-03-01 2021-01-06 セイコーエプソン株式会社 Projector and projector control method
JP7286614B2 (en) 2018-02-19 2023-06-05 株式会社村上開明堂 Reference position setting method and virtual image display device

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181015A (en) * 1989-11-07 1993-01-19 Proxima Corporation Method and apparatus for calibrating an optical computer input system
JPH08272514A (en) * 1995-04-04 1996-10-18 Ricoh Co Ltd Analog touch pannel controller
JPH0980372A (en) * 1995-09-07 1997-03-28 Toshiba Corp Projection type display device
WO1999040562A1 (en) * 1998-02-09 1999-08-12 Joseph Lev Video camera computer touch screen system
JP4251466B2 (en) * 1998-12-04 2009-04-08 富士通株式会社 Automation level adjusting device, automation level adjusting method, and automation level adjusting program recording medium
AU2001275308A1 (en) * 2000-06-06 2001-12-17 Frauenhofer Institut Fuer Graphische Datenverarbeitung The extended virtual table: an optical extension for table-like projection systems
JP2004265185A (en) * 2003-03-03 2004-09-24 Canon Inc Image projecting device with camera/with digitizer
JP4272904B2 (en) * 2003-03-06 2009-06-03 キヤノン株式会社 Display device and display device control method
TWI291122B (en) * 2004-06-11 2007-12-11 Micro Nits Co Ltd Array type optical sensor pointing system and its method
US7432917B2 (en) * 2004-06-16 2008-10-07 Microsoft Corporation Calibration of an interactive display system
JP2008158540A (en) * 2004-11-11 2008-07-10 Casio Comput Co Ltd Projector device, projecting method and projection control program
JP2008152622A (en) * 2006-12-19 2008-07-03 Mitsubishi Electric Corp Pointing device

Also Published As

Publication number Publication date
JP2011227600A (en) 2011-11-10

Similar Documents

Publication Publication Date Title
JP5593802B2 (en) POSITION DETECTION SYSTEM, ITS CONTROL METHOD, AND PROGRAM
JP4927021B2 (en) Cursor control device and control method for image display device, and image system
JP5428600B2 (en) Projector, image projection system, and image projection method
US8360585B2 (en) Method of measuring zoom ratio of projection optical system, method of correcting projection image using the method, and projector executing the correction method
JP2008165800A (en) Cursor control method and device
US10379675B2 (en) Interactive projection apparatus and touch position determining method thereof
CN105938413B (en) Display device and display control method
US20090027694A1 (en) Coordinate detection apparatus and method, and computer program
JP2012198858A (en) Optical signal output device, signal processing device, signal processing method, imaging device, projector, and program
JP6477130B2 (en) Interactive projector and interactive projection system
US20200264729A1 (en) Display method, display device, and interactive projector
JP2012194915A (en) Image display system
US20110193969A1 (en) Object-detecting system and method by use of non-coincident fields of light
KR101430334B1 (en) Display system
JP6459706B2 (en) Interactive projector and interactive projection system
JP2012027769A (en) Interactive white board device, image display device and calibration method
US11099662B2 (en) Pointing element, display system, and method of controlling pointing element
JP6137247B2 (en) Projector device and projector system
JP5664725B2 (en) Projector, image projection system, and image projection method
CN103870009B (en) Optical navigator and optical navigation method
JP2010211637A (en) Projection type input/output system and its program
JP6547366B2 (en) Interactive projector
JP2015053734A (en) Projector, image projection system, and image projection method
JP4665808B2 (en) Detection device
US11983393B2 (en) Image processing method and image processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140721

R150 Certificate of patent or registration of utility model

Ref document number: 5593802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350