JP5924295B2 - Parameter estimation apparatus, parameter estimation program, device determination system, and device determination program - Google Patents
Parameter estimation apparatus, parameter estimation program, device determination system, and device determination program Download PDFInfo
- Publication number
- JP5924295B2 JP5924295B2 JP2013049093A JP2013049093A JP5924295B2 JP 5924295 B2 JP5924295 B2 JP 5924295B2 JP 2013049093 A JP2013049093 A JP 2013049093A JP 2013049093 A JP2013049093 A JP 2013049093A JP 5924295 B2 JP5924295 B2 JP 5924295B2
- Authority
- JP
- Japan
- Prior art keywords
- microphone
- camera
- information
- coordinate system
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
本発明は、パラメータ推定装置、パラメータ推定プログラム、機器決定システム及び機器決定プログラムに関し、例えば、空間的に配置された撮像機器や収音機器のパラメータをキャリブレーションするシステム及び方法に適用し得るものである。 The present invention, parameter estimation device, parameter estimation program relates appliance determination system and device determination program, for example, may apply the parameters of the imaging device or sound receiving device that is spatially arranged in a system and method for calibration Li ablation Is.
例えば、空間的に複数のカメラや複数のマイク等が任意に配置され、カメラが撮像した映像（以下、静止画像、動画像等を含むものを映像と呼ぶ）の情報や、マイクが収音した音響（以下、音、音声、音響を含むものを音響と呼ぶ）等の情報を用いて、その空間状況を認識する技術がある。 For example, spatially a plurality of cameras, microphones, etc. are arbitrarily arranged, and information of video captured by the camera (hereinafter referred to as video including still images, moving images, etc.) and microphones have collected sound. There is a technique for recognizing the spatial state using information such as sound (hereinafter, sound, voice, and sound including sound are referred to as sound).
空間内における任意の場所（位置座標）の状況を知るためには、その場所を撮像するカメラやその場所の音響を収音するマイクを指定することが必要となる。しかし、任意に配置されているカメラやマイク等の機器の位置（位置座標）や向きを認識することは極めて難しい。従来、空間内の指定した位置（位置座標）の状況を認識するために、特許文献１〜特許文献３、非特許文献１等のような技術がある。 In order to know the situation at an arbitrary place (positional coordinate) in the space, it is necessary to designate a camera that picks up the place and a microphone that picks up the sound at that place. However, it is extremely difficult to recognize the position (positional coordinates) and orientation of devices such as cameras and microphones that are arbitrarily arranged. Conventionally, there are techniques such as Patent Document 1 to Patent Document 3, Non-Patent Document 1 and the like for recognizing the situation of a designated position (position coordinates) in a space.
特許文献１では、例えば、遠隔地において、所定の画像を表示するディスプレイをカメラで撮影し、そのカメラで撮影した画像において被制御装置の表示領域を同定するなど技術が記載されており、同定された位置を指定することで、指定した位置の装置を指示できるというものである。 In Patent Document 1, for example, in a remote place, a technique is described in which a display that displays a predetermined image is captured by a camera, and a display area of a controlled device is identified in the image captured by the camera. By specifying the specified position, the device at the specified position can be indicated.
特許文献２の記載技術は、あらかじめ設置位置や向き等のカメラパラメータが設定された複数のカメラを遠隔地に配置しておき、その遠隔地の様子を表示する地図上の１点を指定すると、その指定点を撮影しているカメラが選択され、そのカメラが写し出す映像を見ることができるというものである。
In the technology described in
特許文献３では、カメラの相互の位置や向きの相対関係を自動的に決定する技術が記載されている。 Patent Document 3 describes a technique for automatically determining the relative positions and orientations of cameras.
しかしながら、上述した従来技術は、以下のような問題が生じ得る。 However, the above-described conventional technology may cause the following problems.
特許文献１の記載技術により位置が指定できるのは、キャリブレーションされた限定的な対象物である。それら限定的な対象物は、特許文献１では被制御装置と呼ばれている。被制御装置は、再帰性反射素材を用いて外部からの光を反射するもの、所定の光や音や電磁波のうちの少なくともいずれかを発するもの、あらかじめ形状がわかっているもの、所定の画像を表示するもの等のように、その性質があらかじめ判っている必要がある。 The position can be designated by the technique described in Patent Document 1 is a calibrated limited object. These limited objects are called controlled devices in Patent Document 1. The controlled device uses a retroreflective material to reflect light from the outside, emits at least one of predetermined light, sound, and electromagnetic waves, has a known shape, and displays a predetermined image. It must be known in advance, such as what is displayed.
しかし、特許文献１に記載の方法で指定可能な場所は、上述の被制御装置の同定された場所に限られ、遠隔地の任意の場所（位置座標）を指定して、その場所に関する情報を取得することができないという問題がある。 However, the location that can be specified by the method described in Patent Document 1 is limited to the identified location of the controlled device described above, and an arbitrary location (positional coordinate) in a remote location is designated and information regarding the location is obtained. There is a problem that it cannot be acquired.
特許文献２の記載技術は、複数のカメラ毎にカメラの位置座標及びカメラの向きをテーブルにあらかじめ設定しておく必要がある。また、特許文献２の記載技術は、遠隔地の映像情報を取得することはできるが、音響情報を取得することはできない。音響情報も取得するためには、遠隔地にカメラだけでなく、複数のマイクを配置し、そのマイクの配置位置や収音範囲などの情報をあらかじめ設定し、カメラやマイクの配置情報を事前に用意することで、地図上の座標指定に基づき、必要なカメラやマイクを選択し、カメラやマイクからの情報に基づいて指定した場所に関する情報を取得するシステムを考えられる。このような方法によれば、遠隔地の任意の場所の座標を指定し、その場所を撮影しているカメラや、その場所の音響を収音しているマイクを選択することが可能となり得る。
The technique described in
しかし、特許文献２の記載技術を適用するために、カメラやマイクが遠隔地のどの場所に設置されているか、またどの向きに設置されているかといった設置の位置座標と向きに関する情報が予め判っている必要がある。これらカメラやマイクの設置に係る位置座標及び向きの情報は、例えば、カメラやマイクを遠隔地に設置する際に、全部の機器の設置場所の座標を物差しで計り、またその方向を分度器などで測定することで取得するという方法が考えられる。このような作業は非常に煩雑であり、また、手作業で行うため、作業に誤りが生じ得るという問題がある。特に、遠隔地の複数の場所から情報を取得するために、それぞれの場所に多数の機器を配置する場合には、手作業による誤りの入る可能性が高くなり、実用的では無い。
However, in order to apply the technology described in
また、特許文献２の記載技術は、遠隔地におけるカメラの配置に関して、あらかじめ定めた情報を用いるか、又は位置のわかっているカメラの撮影している映像を見ながらひとつずつ遠隔操作で向きだけを変えて、適切な向きになった時点でその向きの情報を設定情報として記憶させるということを述べている。この場合、カメラの個数が非常に多くなると操作が非常に煩雑になる。
In addition, the technology described in
特許文献３の記載技術によれば、例えば２個のカメラのうち、一方のカメラの位置座標や向きがわかっていれば、他方のカメラの位置座標や向きを自動的に求めることができる。多数のカメラが配置されている場合でも、上記の操作を他のカメラについて繰り返し行うことで、すべてのカメラの位置座標や向きを求めることができる。そのため、カメラの位置座標や向きを収集するための煩雑さが低減し、誤りも少なくなると考えられる。 According to the technique described in Patent Document 3, for example, if the position coordinates and orientation of one of two cameras are known, the position coordinates and orientation of the other camera can be automatically obtained. Even when a large number of cameras are arranged, the position coordinates and orientations of all the cameras can be obtained by repeating the above operation for other cameras. Therefore, it is considered that the complexity for collecting the position coordinates and orientation of the camera is reduced and errors are reduced.
しかし、特許文献３の記載技術は、マイクの絶対的な位置座標や向きの収集する手段若しくはカメラとマイクとの間の相対関係を決定する手段については言及されていないため、マイクの位置や方向の情報を取得するのは人手に頼る必要があり、非常に煩雑かつ誤りが生じ得る。 However, since the technique described in Patent Document 3 does not mention a means for collecting the absolute position coordinates and orientation of the microphone or a means for determining a relative relationship between the camera and the microphone, the position and direction of the microphone are not described. It is necessary to rely on human resources to obtain the information, which can be very complicated and error-prone.
そのため、空間的に配置されるカメラやマイクのグローバル座標上の位置や向きを調べる際に、その作業の煩雑さや手作業による誤りを回避することができるパラメータ推定装置、パラメータ推定プログラム、機器決定システム及び機器決定プログラムが求められている。 Therefore, a parameter estimation device, a parameter estimation program, and a device determination system that can avoid complicated operations and errors due to manual operations when checking the position and orientation of spatially arranged cameras and microphones on global coordinates And a device determination program is needed.
かかる課題を解決するために、第１の本発明は、複数のカメラによって撮像された、空間配置された位置較正器を含む映像情報を用いて、グローバル座標系における１又は複数のマイクロホンの位置情報及び向きに関するパラメータを推定するパラメータ推定装置であって、（１）グローバル座標系における複数のカメラの位置情報及び向きと、複数のカメラによって撮像された位置較正器を含む映像情報とに基づいて、グローバル座標系における位置較正器の位置情報を測定する基準点測定手段と、（２）グローバル座標系において基準点とする位置較正器の位置情報と、音源とする位置較正器から発せられた音響の１又は複数のマイクロホンのそれぞれにおける相対的な到来方向を示す到来方向情報とを取得する情報取得手段と、（３）グローバル座標系での音源としての位置較正器の位置情報と、各マイクロホンにおける到来方向情報とに基づいて、各マイクロホンの相対的な位置情報及び向きに関するパラメータを推定するパラメータ推定手段とを備えることを特徴とするパラメータ推定装置である。 In order to solve such a problem, the first aspect of the present invention provides position information of one or a plurality of microphones in a global coordinate system using image information including a position calibrator arranged in space, which is imaged by a plurality of cameras. And a parameter estimation device for estimating a parameter related to an orientation, (1) based on position information and orientation of a plurality of cameras in a global coordinate system and video information including a position calibrator imaged by the plurality of cameras, a reference point measuring unit for measuring the position information of the position calibrator in the global coordinate system, (2) and the position information of the position calibrator as a reference point in the global coordinate system, sound emitted from a position calibrator to the sound source information acquisition means for acquiring the arrival direction information indicating a relative arrival direction of each of the one or more microphones, (3 ) Provided with parameter estimation means for estimating parameters related to the relative position information and direction of each microphone based on the position information of the position calibrator as a sound source in the global coordinate system and the arrival direction information of each microphone. Is a parameter estimation device characterized by
第２の本発明は、複数のカメラによって撮像された、空間配置された位置較正器を含む映像情報を用いて、グローバル座標系における１又は複数のマイクロホンの位置情報及び向きに関するパラメータを推定するパラメータ推定プログラムであって、コンピュータを、（１）グローバル座標系における複数のカメラの位置情報及び向きと、複数のカメラによって撮像された位置較正器を含む映像情報とに基づいて、グローバル座標系における位置較正器の位置情報を測定する基準点測定手段、（２）グローバル座標系において基準点とする位置較正器の位置情報と、音源とする位置較正器から発せられた音響の１又は複数のマイクロホンのそれぞれにおける相対的な到来方向を示す到来方向情報とを取得する情報取得手段、（３）グローバル座標系での音源としての位置較正器の位置情報と、各マイクロホンにおける到来方向情報とに基づいて、各マイクロホンのグローバル座標系での位置情報及び向きに関するパラメータを推定するパラメータ推定手段として機能させることを特徴とするパラメータ推定プログラムである。 The second aspect of the present invention is a parameter for estimating parameters related to position information and orientation of one or a plurality of microphones in a global coordinate system using image information including a position calibrator arranged in a space and captured by a plurality of cameras. An estimation program comprising: (1) a position in a global coordinate system based on (1) position information and orientation of a plurality of cameras in the global coordinate system and video information including a position calibrator imaged by the plurality of cameras; reference point measuring unit for measuring the position information of the calibrator, (2) and the position information of the position calibrator as a reference point in the global coordinate system, the sound emitted from a position calibrator to the sound source 1 or more microphones information obtaining means for obtaining an arrival direction information indicating a relative DOA in each, (3) glow The position information of the position calibrator serving as the sound source of Le coordinate system, based on the arrival direction information at each microphone to function as a parameter estimation means for estimating parameters related to the position information and orientation in the global coordinate system of each microphone This is a parameter estimation program.
第３の本発明は、（１）第１の本発明に係るパラメータ推定装置としてのマイクパラメータ推定手段と、（２）少なくとも、マイクパラメータ推定手段により推定された１又は複数のマイクロホンの位置情報及び向きに関するパラメータを保持するマイクパラメータ保持手段と、（３）グローバル座標系で指定された位置情報を、各マイクロホンのマイク座標系における位置情報に変換して、指定された位置の情報を収集するマイクロホンを選択するマイクロホン選択手段とを備えることを特徴とする機器決定システムである。 According to a third aspect of the present invention, (1) microphone parameter estimation means as a parameter estimation apparatus according to the first aspect of the present invention, and (2) position information of one or more microphones estimated by at least the microphone parameter estimation means, and A microphone parameter holding means for holding a parameter relating to the orientation; and (3) a microphone that converts position information specified in the global coordinate system into position information in the microphone coordinate system of each microphone and collects information on the specified position. A device selection system comprising: a microphone selection means for selecting
第４の本発明は、コンピュータを、（１）第２の本発明に係るパラメータ推定プログラムとして機能させるマイクパラメータ推定手段、（２）少なくとも、マイクパラメータ推定手段により推定された１又は複数のマイクロホンの位置及び向きに関するパラメータを保持するマイクパラメータ保持手段、（３）グローバル座標系で指定された位置情報を、各マイクロホンのマイク座標系における位置情報に変換して、指定された位置の情報を収集するマイクロホンを選択するマイクロホン選択手段として機能させることを特徴とする機器決定プログラムである。 According to a fourth aspect of the present invention, there is provided: (1) a microphone parameter estimation unit that causes a computer to function as a parameter estimation program according to the second aspect of the present invention; (2) at least one or more microphones estimated by the microphone parameter estimation unit; Microphone parameter holding means for holding parameters relating to position and orientation, (3) converting the position information specified in the global coordinate system into position information in the microphone coordinate system of each microphone, and collecting information on the specified position A device determination program that functions as a microphone selection unit that selects a microphone.
本発明によれば、空間的に配置されるカメラやマイクのグローバル座標上の位置や向きを調べる際に、その作業の煩雑さや手作業による誤りを回避することができる。 According to the present invention, it is possible to avoid complicated operations and errors due to manual work when examining the positions and orientations of spatially arranged cameras and microphones on global coordinates.
（Ａ）主たる実施形態
以下では、本発明のパラメータ推定装置、パラメータ推定プログラム、機器決定システム及び機器決定プログラムの主たる実施形態を、図面を参照しながら詳細に説明する。
(A) Main Embodiments Hereinafter, main embodiments of a parameter estimation device, a parameter estimation program, a device determination system, and a device determination program according to the present invention will be described in detail with reference to the drawings.
（Ａ−１）実施形態の構成
図１は、実施形態に係るキャリブレーションシステム１００の全体構成を示す構成図である。
(A-1) Configuration of Embodiment FIG. 1 is a configuration diagram illustrating an overall configuration of a
図１において、実施形態に係るキャリブレーションシステム１００は、複数のカメラ１０１−１〜１０１−ｎ（ｎは整数）、複数のマイクロホン（以下、マイクと呼ぶ）１０２−１〜１０２−ｍ（ｍは整数）、パラメータ推定器１０３、パラメータ保持器１０４、視聴点指示器１０５を有する。
In FIG. 1, a
キャリブレーションシステム１００は、音・映像位置較正器２００を利用して、空間上の座標系（以下、グローバル座標系と呼ぶ）でのカメラ１０１−ｉ（１≦ｉ≦ｎ）及びマイク１０２−ｊ（１≦ｊ≦ｍ）の位置座標及び向きに関する情報（パラメータ）を推定して保持しておき、空間内の任意の場所を指定し、その指定された場所を撮像するカメラ１０１−ｉ及びその指定された場所の音響を収音するマイク１０２−ｊを決定して、その指定された場所の画像及び音響を取得するものである。
The
カメラ１０１−ｉは、空間内において任意の位置に配置されるものであり、撮像した撮像した撮像画像情報を、接続しているパラメータ推定器１０３に与えるものである。後述するパラメータ推定部１０３が、グローバル座標系におけるカメラ１０１−ｉの位置座標及び向きに関する情報を推定する際、カメラ１０１−ｉは、カメラ座標系で撮像した音・映像位置推定器２００を含む撮像画像情報をパラメータ推定器１０３に与える。
The camera 101-i is arranged at an arbitrary position in the space, and gives captured image information to the
マイク１０２−ｊは、空間内において任意の位置に配置されるものであり、収音した音響情報を、接続しているパラメータ推定部１０３に与えるものである。
The microphone 102-j is arranged at an arbitrary position in the space, and gives the collected sound information to the connected
また、マイク１０２−ｊは、例えばマイクロホンアレーなどのように、音源の到来方向を特定する機能を有するものである。なお、後述するパラメータ推定部１０３が、グローバル座標系におけるマイク１０２−ｉの位置座標及び向きに関する情報を推定する際、マイク１０２−ｉは、後述する音・映像位置推定器２００が発した音響を収音し、マイク座標系での音源の座標を含む音響情報をパラメータ推定器１０３に与える。
The microphone 102-j has a function of specifying the direction of arrival of a sound source, such as a microphone array. Note that when the
パラメータ推定器１０３は、グローバル座標系におけるカメラ１０１−ｉの位置座標及び向きに関する情報を、他のカメラ１０１−ｉとの相対的な位置関係に基づいて推定するものである。また、パラメータ推定器１０３は、グローバル座標系におけるマイク１０２−ｊの位置座標及び向きに関する情報を、他のマイク１０２−ｊとの相対的な位置関係に基づいて推定するものである。パラメータ推定器１０３は、推定したグローバル座標系でのカメラ１０１−ｉ及びマイク１０２−ｊの位置座標及び向きに関する情報をパラメータ保持器１０４に保存するものである。
The
図２は、パラメータ推定器１０３の内部構成を示す内部構成図である。パラメータ推定器１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、入出力インタフェース等を有するものであり、ＣＰＵがＲＯＭに格納される処理プログラムを実行することにより、所定の処理を実現することができる。
FIG. 2 is an internal configuration diagram showing an internal configuration of the
図２において、パラメータ推定器１０３は、大別して、カメラパラメータ推定部３１０と、マイクパラメータ推定部３２０とを有する。
In FIG. 2, the
カメラパラメータ推定部３１０は、カメラ１０１−ｉからカメラ座標系での音・映像位置較正器２００を含む撮像画像情報を取得し、各カメラ１０１−ｉの撮像画像情報に基づいて、複数のカメラ１０１−ｉの相対的な関係から各カメラ１０１−ｉの位置座標及び向きに関する情報を推定するものである。カメラパラメータ推定部３１０は、その機能部として、カメラ位置座標・向き情報推定部３１１、カメラ撮影範囲情報取得部３１２、カメラパラメータ保存部３１３を有する。なお、カメラパラメータ推定部３１０によるカメラ１０１−ｉの位置座標及び向きの推定処理の詳細な説明は動作の項で説明する。
The camera
マイクパラメータ推定部３２０は、マイク１０２−ｊからマイク座標系での音・映像位置較正器２００の位置座標を含む音響情報を取得し、各カメラ１０１−ｉの撮像画像情報とパラメータ保持器１０４に保存されているカメラパラメータからグローバル座標系での音・映像位置較正器２００の位置座標を取得し、取得したマイク座標系での音・映像位置較正器２００の位置座標を含む音響情報と取得したグローバル座標系での音・映像位置較正器２００の位置座標から、グローバル座標系での各マイク１０２−ｊの位置座標及び向きに関する情報を推定するものである。マイクパラメータ推定部３２０は、その機能部として、マイク位置座標・向き情報推定部３２１、マイク収音範囲情報取得部３２２、マイクパラメータ保存部３２３を有する。なお、マイクパラメータ推定部３２０によるマイク１０２−ｊの位置座標及ぶ向きの推定処理の詳細な説明は動作の項で説明する。
The microphone
パラメータ保持器１０４は、パラメータ推定器１０３により推定されたカメラ１０１−ｉのカメラパラメータ及びマイク１０２−ｊのマイクパラメータを保持するものである。
The
視聴点指示器１０５は、カメラ１０１−ｉ及びマイク１０２−ｊが配置されている空間において指定された場所（位置座標）の映像を撮像するカメラ１０１−ｉ及び音響を収音するマイク１０２−ｊを選定するものである。
The
図３は、視聴点指示器１０５の内部構成を示す内部構成図である。視聴点指示器１０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、入出力インタフェース等を有するものであり、ＣＰＵがＲＯＭに格納される処理プログラムを実行することにより、所定の処理を実現することができる。
FIG. 3 is an internal configuration diagram showing an internal configuration of the
図３において、視聴点指示器１０５は、視聴点指定取得部４０１、カメラ選定部４０２、マイク選定部４０３を有する。なお、視聴点指示器１０５によるカメラ１０１−ｉ及びマイク１０２−ｊの選定方法の詳細な説明は動作の項で詳細に説明する。
In FIG. 3, the
音・映像位置較正器２００は、カメラ１０１−ｉ及びマイク１０２−ｊのグローバル座標系での位置座標及び向きに関する情報を推定する際に、その基準マーク又は音源とするものである。
The sound /
図４は、音・映像位置較正器２００の外観構成を示す外観図である。図４に示すように、音・映像位置較正器２００は、映像提示部２０１と、音響発生部２０２とを有する。
FIG. 4 is an external view showing an external configuration of the sound /
映像提示部２０１は、例えば、予め決められた映像を表示したり、又は光の点灯又は光の点滅をしたりするものである。映像提示部２０１が提示した映像や光の明滅等をカメラ１０１−ｉが撮像し、その撮像画像情報がパラメータ推定器１０３に与えられる。
The
音響発生部２０２は、例えば、予め決められた周波数の音の出力、予め決められた音階パターンの出力等を行うものである。音響発生部２０２が発した音響をマイク１０２−ｊが収音する。
The
（Ａ−２）実施形態の動作
次に、実施形態に係るキャリブレーションシステム１００における処理の動作を、図面を参照しながら詳細に説明する。
(A-2) Operation of Embodiment Next, a processing operation in the
（Ａ−２−１）カメラ位置座標及び向きに関する情報の説明
まず、パラメータ推定器１０３のカメラパラメータ推定部３１０によるカメラの位置座標及び向きに関する情報について説明する。なおカメラパラメータ推定部３１０においてカメラパラメータをパラメータ保持器１０４に保持する動作はカメラパラメータ保存部３１３によって行われる。
(A-2-1) Description of Information on Camera Position Coordinate and Orientation First, information on the camera position coordinate and orientation by the camera
ここでは、グローバル座標系の基準点Ｖが、カメラ１０１−ｉに撮像素子上の画素位置に映っている状況を考える。 Here, a situation is considered in which the reference point V of the global coordinate system is reflected by the camera 101-i at the pixel position on the image sensor.
基準点Ｖのグローバル座標系での位置座標が（ｇＸ，ｇＹ，ｇＺ）Ｔであるとし、カメラ１０１−ｉの撮像素子上の画素位置が（ＣＰ＿ｉｕ，ＣＰ＿ｉν）であるとする。 Assume that the position coordinate of the reference point V in the global coordinate system is (gX, gY, gZ) T, and the pixel position on the image sensor of the camera 101-i is (CP_iu, CP_iv).
グローバル座標系の基準点Ｖの位置座標とカメラ座標系の基準点Ｖの位置座標との関係は、一般に射影変換で表すことができ、式（１）のような関係にある。
ここで、ｗは媒介変数である。Ｃ＿ｉＲｇはカメラ１０１−ｉについて空間での回転を表す３×３行列である。なお、表記上の制限のため、Ｒ、Ａの表記は式（１）の表記と異なる点に留意されたい。 Here, w is a parameter. C_iRg is a 3 × 3 matrix representing rotation in space for the camera 101-i. It should be noted that the notation of R and A is different from the notation of formula (1) due to restrictions on notation.
Ｃ＿ｉＴは、カメラ１０１−ｉについての空間内での平行移動を表す３次元ベクトルである。（Ｃ＿ｉＲｇ｜Ｃ＿ｉＴ）は、３行×４列の行列となる。 C_iT is a three-dimensional vector that represents translation in space for the camera 101-i. (C_iRg | C_iT) is a 3 × 4 matrix.
ここで、ＣＰ＿ｉＡＣ＿ｉ（Ｃ＿ｉＲｇ｜Ｃ＿ｉＴ）は、カメラ１０１−ｉのカメラパラメータと呼ばれるものである。ＣＰ＿ｉＡＣ＿ｉは、カメラ１０１−ｉの内部パラメータと呼ばれ、カメラ１０１−ｉ自体の光学系の特性を表すものである。（Ｃ＿ｉＲｇ｜Ｃ＿ｉＴ）は、カメラ１０１−ｉの外部パラメータと呼ばれるものである。特に、Ｃ＿ｉＲｇはグローバル座標系でのカメラ１０１−ｉの向きを表し、Ｃ＿ｉＴはカメラ１０１−ｉの位置座標を表すものである。 Here, CP_iAC_i (C_iRg | C_iT) is called a camera parameter of the camera 101-i. CP_iAC_i is called an internal parameter of the camera 101-i and represents the characteristic of the optical system of the camera 101-i itself. (C_iRg | C_iT) is called an external parameter of the camera 101-i. In particular, C_iRg represents the orientation of the camera 101-i in the global coordinate system, and C_iT represents the position coordinate of the camera 101-i.
グローバル座標系の基準点Ｖとそれに対応する撮像素子上の画素位置との組が複数個ある場合、カメラパラメータＣＰ＿ｉＡＣ＿ｉ，Ｃ＿ｉＲｇ，Ｃ＿ｉＴ，を推定する問題は、ＰｎＰ（Perspective n−Point Problem）問題と呼ばれている。一般的にＰｎＰ問題は、６点以上の基準点とそれに対応する画素位置が分かれば、最小二乗法によってカメラパラメータを推定することができる（非特許文献１参照）。 When there are a plurality of pairs of the reference point V of the global coordinate system and the corresponding pixel position on the image sensor, the problem of estimating the camera parameters CP_iAC_i, C_iRg, C_iT is a PnP (Perspective n-Point Problem) problem. being called. Generally, in the PnP problem, if six or more reference points and corresponding pixel positions are known, camera parameters can be estimated by the least square method (see Non-Patent Document 1).
なお、カメラ１０１−ｉのレンズが無歪であれば、カメラパラメータＣＰ＿ｉＡＣ＿ｉは、式（２）と表すことができる。
ここで、（Ｃｘ，Ｃｙ）Ｔは、撮影画像の画像中心座標である。ｆｘはｘ軸方向のスケール変換を表し、ｆｙはｙ軸方向のスケール変換を表す。 Here, (Cx, Cy) T is the image center coordinates of the captured image. fx represents scale conversion in the x-axis direction, and fy represents scale conversion in the y-axis direction.
（Ａ−２−２）カメラ及びマイクの位置座標及び向きの推定手順
図５は、パラメータ推定器１０３によるカメラ１０１−ｉ及びマイク１０２−ｊの位置座標及び向きの推定処理を示すフローチャートである。
(A-2-2) Camera and Microphone Position Coordinate and Orientation Estimation Procedure FIG. 5 is a flowchart showing the position coordinate and orientation estimation processing of the camera 101-i and microphone 102-j by the
図５において、パラメータ推定器１０３は、グローバル座標系におけるカメラ１０１−ｉの位置座標及び向きを推定し（Ｓ１００）、次に、グローバル座標系におけるマイク１０２−ｊの位置座標及び向きを推定する（Ｓ２００）。
In FIG. 5, the
（Ａ−２−３）カメラの位置座標及び向きの推定手順
図６は、パラメータ推定器１０３のカメラパラメータ推定部３１０によるカメラ１０１−ｉの位置座標及び向きの推定処理を説明するフローチャートである。
(A-2-3) Camera Position Coordinate and Orientation Estimation Procedure FIG. 6 is a flowchart for explaining the position coordinate and orientation estimation processing of the camera 101-i by the camera
カメラパラメータ推定部３１０は、カメラ位置座標・向き情報推定部３１１によって、空間におけるカメラ１０１−ｉの位置座標及び向きを推定する。この推定方法は、種々の方法を広く適用することができるが、例えば、複数のカメラ１０１−ｉの間の相対的な関係に基づいてそれぞれの位置情報及び向きを推定する方法を適用することができる。例えば、この相対的な関係に基づいてカメラ１０１−ｉの位置情報及び向きを推定する方法の一例としては、特許文献３に記載される技術を適用することができる。
The camera
図６を用いて、カメラ位置座標・向き情報推定部３１１によるカメラ１０１−ｉの位置座標及び向きを推定する詳細な手順を説明する。
A detailed procedure for estimating the position coordinates and orientation of the camera 101-i by the camera position coordinate / orientation
まず、空間に配置されるカメラ１０１−１〜１０１−ｎのうち、少なくとも１台のカメラ１０１−ｉのグローバル座標系での位置座標及び向きを測定しておく。すなわち、少なくとも１台のカメラ１０１−ｉの位置座標及び向きに関する情報として、当該カメラ１０１−ｉの外部パラメータＣ＿ｉＲｇおよびＣ＿ｉＴを測定しておく。 First, the position coordinate and direction in the global coordinate system of at least one camera 101-i among the cameras 101-1 to 101-n arranged in the space are measured in advance. That is, the external parameters C_iRg and C_iT of the camera 101-i are measured as information regarding the position coordinates and orientation of at least one camera 101-i.
なお、ここでは、カメラ１０１−ｉの内部パラメータＣＰ＿ｉＡＣ＿ｉは、予め分かっているものとし、例えばパラメータ保持器１０４に保存されているものとする。
The internal parameters CP_iAC_i this Kodewa, camera 101-i is assumed known in advance, for example, assumed to be stored in the
カメラ位置座標・向き情報推定部３１１は、グローバル座標系で既に位置座標及び向きが推定されているカメラ（ここでは、カメラＡと呼ぶ）を選択する（Ｓ１０１）。
The camera position coordinate / orientation
次に、カメラ位置情報・向き情報推定部３１１は、位置座標及び向きが推定されていないカメラ（ここでは、カメラＢと呼ぶ）を選択する（Ｓ１０２）。つまり、カメラ位置情報・向き情報推定部３１１は、既に位置座標及び向きが推定されているカメラＡと、未推定のカメラＢとを選択する。
Next, the camera position information / orientation
カメラ位置情報・向き情報推定部３１１は、カメラＡとカメラＢとの相対的な関係に基づいて、カメラＢの位置座標及び向きを推定する（Ｓ１０３）。
The camera position information / orientation
つまり、カメラ位置情報・向き情報推定部３１１は、例えば特許文献３に記載される技術を利用する。詳細な技術的な内容は省略するが、パラメータ推定器３は、カメラＡの撮像画面における基準点（特徴的な画像）の位置座標及び向きと、カメラＢの撮像画面における基準点（カメラＡが撮影した基準点と同一又は類似する特徴的な画像）の位置座標及び向きとを抽出する。例えば、カメラＡ及びカメラＢの撮像画面における基準点は、音・映像位置較正器２００の映像とすることができる。
That is, the camera position information / orientation
次に、カメラ位置情報・向き情報推定部３１１は、カメラＡの撮像画像における基準点の位置座標及び向きを逆投影変換して、当該基準点のグローバル座標系の位置座標及び向きを求める。そして、カメラ位置情報・向き情報推定部３１１は、当該基準点のグローバル座標系の位置座標と、カメラＢの撮像画面における基準点の位置座標とを用いて、式（１）よりカメラＢの外部パラメータＣ＿ｉＲｇおよびＣ＿ｉＴを推定する。すなわち、これにより、カメラＡとカメラＢとの間の相対的な位置関係を推定できる。
Next, the camera position information / orientation
カメラＡの位置と向きがグローバル座標系で既知であるため、相対的な位置関係のわかったカメラＢのグローバル座標系での位置も一意に定まる。相対的な位置関係がわかったというのは、カメラＡとカメラＢとの間の位置ベクトルＰＡＢが求まったことになる。カメラＡのグローバル座標系での位置ベクトルをＰＯＳＡとし、カメラＢのカメラＡに対する位置ベクトルをＰＯＳＡＢとすると、カメラＢのグローバル座標系での位置ベクトルＰＯＳＢは、ＰｏｓＡ＋ＰＯＳＡＢになる。 Since the position and orientation of the camera A are known in the global coordinate system, the position of the camera B whose relative positional relationship is known in the global coordinate system is also uniquely determined. When the relative positional relationship is known, the position vector PAB between the camera A and the camera B is obtained. If the position vector of the camera A in the global coordinate system is POSA and the position vector of the camera B with respect to the camera A is POSAB, the position vector POSB of the camera B in the global coordinate system is PosA + POSAB.
同様に、カメラＡのグローバル座標系での向きを表すベクトルをＤｉｒＡとし、カメラＢのカメラＡに対する相対的な向きを表すベクトルをＤｉｒＡＢとすると、グローバル座標系でのカメラＢの向きＤｉｒＢはＤｉｒＡ＋ＤｉｒＡＢとなる。 Similarly, if the vector representing the orientation of the camera A in the global coordinate system is DirA and the vector representing the relative orientation of the camera B with respect to the camera A is DirAB, the orientation DirB of the camera B in the global coordinate system is DirA + DirAB. Become.
カメラ位置情報・向き情報推定部３１１は、全てのカメラ１０１−１〜１０１−ｎについて位置座標及び向きを推定したか否かを判断し、全てのカメラ１０１−１〜１０１−ｎの位置座標及び向きを推定するまで、Ｓ１０１〜Ｓ１０３の処理を繰り返し行う。そして、全てカメラ１０１−１〜１０１−ｊの位置座標及び向きが推定されると、パラメータ推定部１０３は処理を終了する。
The camera position information / orientation
（Ａ−２−４）マイクの位置座標及び向きの推定手順
図７は、パラメータ推定器１０３のマイクパラメータ推定部３２０によるマイク１０２−ｉの位置座標及び向きの推定処理を説明するフローチャートである。なおマイクパラメータ推定部３２０においてマイクパラメータをパラメータ保持器１０４に保持する動作はマイクパラメータ保存部３２３によって行われる。
(A-2-4) Microphone Position Coordinate and Orientation Estimation Procedure FIG. 7 is a flowchart for explaining the process of estimating the position coordinate and orientation of the microphone 102-i by the microphone
マイクパラメータ推定部のマイク位置座標・向き情報推定部３２１は、空間におけるマイク１０２−ｉの位置座標及び向きを推定する。
The microphone position coordinate / orientation
まず、マイク位置座標・向き情報推定部３２１では、空間において音・映像位置較正器２００を適切な位置に固定した状態で（Ｓ２０１）、音・映像位置較正器２００のグローバル座標系での位置座標を測定する（Ｓ２０２）。
First, the microphone position coordinate / orientation
音・映像位置較正器２００のグローバル座標系での位置座標の測定方法は、種々の方法を適用できるが、例えば以下のような方法を適用することができる。
Various methods can be applied to the position coordinate measurement method in the global coordinate system of the sound /
例えば、カメラ１０１−１〜１０１−ｎのうち少なくとも２台のカメラが音・映像位置較正器２００を撮影できる位置に動かし、音・映像位置較正器２００を固定する。このとき、音・映像位置較正器２００は、映像提示部２０１が所定の映像情報を提示するようにしておく。
For example, at least two of the cameras 101-1 to 101-n are moved to positions where the sound /
そして、マイク位置座標・向き情報推定部３２１は、少なくとも２台のカメラが音・映像位置較正器２００を撮像した撮像映像情報を取得し、少なくとも２台のカメラの撮像映像情報と、少なくとも２台のカメラのグローバル座標系での位置座標及び向きとに基づいて、光線交差法を用いて、音・映像位置較正器２００の位置座標を測定する。
The microphone position coordinate / orientation
マイク位置座標・向き情報推定部３２１が、光線交差法を用いて、音・映像位置較正器２００のグローバル座標系での位置座標を測定する方法を図８を用いて説明する。
A method in which the microphone position coordinate / orientation
図８において、２個のカメラをカメラＣＸ６０１、カメラＣＹ６０２とする。図８において、カメラＣＸ６０１、カメラＣＹ６０２はグローバル座標系での位置座標及び向きが分かっている。そのため、カメラＣＸ６０１及びカメラＣＹ６０２の撮像画像に写っている物体（音・映像位置較正器２００）が、それぞれのカメラＣＸ６０１及びカメラＣＹ６０２から見てどの方向にあるかがわかる。これは、グローバル座標系でカメラＣＸ６０１、カメラＣＹ６０２と、その物体（音・映像位置較正器２００）とを通る直線が決定できるということである。光線交差法は、それぞれのカメラＣＸ６０１、カメラＣＹ６０２から、その写っている物体（音・映像位置較正器２００）に伸ばした直線が交差する点に物体（音・映像位置較正器２００）があると判断するものである。
In FIG. 8, two cameras are referred to as a
従って、マイク位置座標・向き情報推定部３２１は、カメラＣＸ６０１及びカメラＣＹ６０２のグローバル座標系での位置座標と、カメラＣＸ６０１及びカメラＣＹ６０２のグローバル座標系での向きとに基づき、それぞれのカメラＣＸ６０１及びカメラＣＹ６０２からの直線が交差する点を、音・映像位置較正器２００のグローバル座標系での位置座標とする。
Therefore, the microphone position coordinate / orientation
次に、手順Ｓ２０２で、グローバル座標上の位置座標を測定した音・映像位置較正器２００を音源とする。このとき、音・映像位置較正器２００は、音響発生器２０２が所定の音響を発する。
Next, in step S202, the sound /
マイク１０２−１〜１０２−ｍは、マイクに対して相対的にどの方向から音響が到来しているかを推定できる機能を有しており、この音響の到来方向を含む音響情報をマイク位置座標・向き情報推定部３２１に与える。
The microphones 102-1 to 102-m have a function of estimating from which direction the sound is coming relative to the microphone, and the acoustic information including the direction of arrival of the sound is represented by the microphone position coordinates / The direction
マイク位置座標・向き情報推定部３２１は、マイク１０２−１〜１０２−ｍからの音響情報を取得し、マイク１０２−ｉのグローバル座標系での位置座標及び向きを推定する（Ｓ２０３）。
The microphone position coordinate / orientation
ここで、マイク１０２−ｊの向きと位置座標が、カメラ１０１−ｉのＰｎＰ問題と同等に取り扱えることに関して説明する。 Here, description will be made regarding that the direction and position coordinates of the microphone 102-j can be handled in the same way as the PnP problem of the camera 101-i.
音源の位置座標をグローバル座標系で（ｇＸ，ｇＹ，ｇＺ）Ｔとする。また、マイク１０２−ｊのマイク座標系での同じ音源の座標を（Ｍ＿ｊｘ，Ｍ＿ｊｙ，Ｍ＿ｊｚ）とする。 The position coordinates of the sound source are (gX, gY, gZ) T in the global coordinate system. Further, the coordinates of the same sound source in the microphone coordinate system of the microphone 102-j are assumed to be (M_jx, M_ji, M_jz).
マイク１０２−ｊは音源の方向が分かっている。つまり、これは、図９に示すように、平面状のマイク１０２−ｊを考えたときに、マイク１０２−ｊの平面の水平方向にＸｍ軸、Ｙｍ軸をとり、マイク１０２−ｊの平面の垂直方向にＺｍ軸をとる。このとき、Ｚｍ軸と原点Ｏとベクトル（Ｍ＿ｊｘ，０，Ｍ＿ｊｚ）のなす角角度θと、Ｚｍ軸と原点Ｏとベクトル（０，Ｍ＿ｊｙ，Ｍ＿ｊｚ）のなす角度δが判る。従って、角度θは式（３）の関係にあり、角度δは式（４）の関係にある。 The microphone 102-j knows the direction of the sound source. That is, as shown in FIG. 9, when a planar microphone 102-j is considered, the Xm axis and Ym axis are taken in the horizontal direction of the plane of the microphone 102-j, and the plane of the microphone 102-j taking Z m axis in the vertical direction. At this time, the angle θ formed by the Zm axis and the origin O and the vector (M_jx, 0, M_jz) and the angle δ formed by the Zm axis and the origin O and the vector (0, M_jy, M_jz) are known. Therefore, the angle θ is in the relationship of the equation (3), and the angle δ is in the relationship of the equation (4).
一方、音源のグローバル座標系の位置座標（ｇＸ，ｇＹ，ｇＺ）Ｔと、マイク１０２−ｊのマイク座標系での位置座標（Ｍ＿ｊｘ，Ｍ＿ｊｙ，Ｍ＿ｊｚ）との間には、空間の回転行列Ｍ＿ｊＲｇと平行移動を表すベクトルＭ＿ｊＴとを用いると、式（５）と表す関係がある。
ここで、図１０に示すように、マイク座標系のＸｍ−Ｙｍ平面に平行な平面Ｆを考える（図８）。平面Ｆはマイク座標系のＺｍ軸とＺｍ＝ｆで交わるものとする。ｆの値は任意とする。この平面Ｆと、マイク座標系の原点と音源とを結ぶ直線の交わる点を点Ｑとし、点Ｑの平面Ｆ上の座標を（ｘｑ，ｙｑ）とする。 Here, as shown in FIG. 10, a plane F parallel to the Xm-Ym plane of the microphone coordinate system is considered (FIG. 8). The plane F intersects with the Zm axis of the microphone coordinate system at Zm = f. The value of f is arbitrary. A point where a straight line connecting the plane F and the origin of the microphone coordinate system and the sound source intersects is a point Q, and the coordinates of the point Q on the plane F are (xq, yq).
そうすると、平面Ｆ上の座標（ｘｑ，ｙｑ）と、音源のグローバル座標系の位置座標（ｇＸ，ｇＹ，ｇＺ）Ｔとの間には、式（６）及び式（７）の関係にある
一方、図１０において、マイク１０２−ｊの代わりに仮想的にカメラｓを置いたと仮定する。そして、音源位置を基準点とする。カメラｓの光軸をＺｍ軸とした場合に、撮影された画像上の位置（ＣＰ＿Ｓｕ，ＣＰ＿Ｓν）Ｔに基準点が写るものとする。 On the other hand, in FIG. 10, it is assumed that the camera s is virtually placed instead of the microphone 102-j. The sound source position is set as a reference point. When the optical axis of the camera s is the Zm axis, it is assumed that the reference point appears at a position (CP_Su, CP_Sν) T on the photographed image.
そのとき、（ＣＰ＿Ｓｕ，ＣＰ＿Ｓν）Ｔと、音源のグローバル座標系の位置座標（ｇＸ，ｇＹ，ｇＺ）Ｔとの関係は、ＣＰ＿ＳＡＣ＿Ｓを仮想的なカメラｓの内部パラメータとすると、式（１）と式（２）より、式（８）及び式（９）と表すことができる。
式（９）のＣＰ＿ＳＡＣ＿Ｓは、式（１０）としたものが、式（６）のＭＰ＿ｊＡｍＭ＿ｊである。
つまり、マイク１０２−ｊは内部パラメータがＭＰ＿ｊＡｍＭ＿ｊであるカメラであるとみなすことができる。カメラであれば、ＰｎＰ問題としてそのカメラパラ
メータを求めることができる。すなわち、グローバル座標系で位置のわかっている基準点として音源を用い、それに対応する（ｘｑ，ｙｑ）が取得でき、前述したように、これらが６組以上収集できれば、ＰｎＰ問題を解くことで、変換行列Ｍ＿ｊＲｇ、Ｍ＿ｊＴを求めることができる。
That is, the microphone 102-j can be regarded as a camera whose internal parameter is MP_jAMm_j. If it is a camera, its camera parameters can be obtained as a PnP problem. That is, a sound source is used as a reference point whose position is known in the global coordinate system, and (xq, yq) corresponding to the sound source can be acquired. As described above, if six or more of these can be collected, solving the PnP problem, Conversion matrices M_jRg and M_jT can be obtained.
ところで、図１０において、明らかに、角度θ及び角度δは、式（１１）及び式（１２）の関係にある。ここで、ｆは任意でよいため、ｆ＝１とすると、角度θ及び角度δは式（１３）及び式（１４）の関係にある。
従って、マイク上で音源からの音響の到来方向（θ，δ）が判っていれば、（ｘｑ，ｙｑ）が判ることになる。すなわち、変換行列Ｍ＿ｊＲｇ、Ｍ＿ｊＴを求めるためには、基準点となる音源のグローバル座標系の位置座標（ｇＸ，ｇＹ，ｇＺ）Ｔとその音源のマイク上での到来方向（θ，δ）の組が６組以上あればよい。 Therefore, if the sound arrival direction (θ, δ) from the sound source is known on the microphone, (xq, yq) is known. That is, in order to obtain the transformation matrices M_jRg and M_jT, a set of the position coordinates (gX, gY, gZ) T of the sound source serving as the reference point and the arrival direction (θ, δ) of the sound source on the microphone There should be more than 6 pairs.
つまり、各マイク１０２−ｊは、音・映像位置較正器２００を音源として、その音響の到来方向を測定する（Ｓ２０３）。そして、各マイク１０２−ｊは、音響の到来方向（θ、δ）とそのときの音源の位置（Ｘ，Ｙ，Ｚ）とを含む音響情報をマイク位置座標・向き情報推定部３２１に与える。マイク位置座標・向き情報推定部３２１は、各マイク１０２−ｊから取得した音響の到来方向（θ、δ）とそのときの音源の位置座標（Ｘ，Ｙ，Ｚ）との組をマイク１０２−ｊ毎にパラメータ保持器１０４に保存する。
That is, each microphone 102-j uses the sound /
次に、マイク位置座標・向き情報推定部３２１は、それぞれのマイク１０２−ｊについて、音響の到来方向と音源の位置座標との組が６個以上あるか否かを判断し、マイク位置座標と向きを推定することができるマイクがあるか否かを判断する（Ｓ２０４）。
Next, the microphone position coordinate / orientation
そして、音響の到来方向と音源の位置座標との組が６個以上ある場合、マイク位置座標・向き情報推定部３２１は、処理をＳ２０５に移行させ、マイク１０２−ｊの位置座標及び向きを推定する（Ｓ２０５）。そして、マイク位置座標・向き情報推定部３２１は、６個以上の音響の到来方向と音源の位置座標との組で求めた変換行列Ｍ＿ｊＲｇ、Ｍ＿ｊＴをマイク１０２−ｊ毎にパラメータ保持器１０４に保存する。
If there are six or more pairs of the sound arrival direction and the sound source position coordinates, the microphone position coordinate / orientation
次に、マイク位置座標・向き情報推定部３２１は、全てのマイク１０２−１〜１０２−ｍについて位置座標及び向きを推定したか否かを判断する（Ｓ２０６）。そして、全てのマイク１０２−１〜１０２−ｍの位置座標及び向きが推定済みであれば、マイク位置座標・向き情報推定部３２１は処理を終了する。
Next, the microphone position coordinate / orientation
なお、マイク位置座標・向き情報推定部３２１が、全てのマイク１０２−１〜１０２−ｍについて位置座標及び向きの推定ができていない場合には、音・映像位置較正器２００の位置を移動させて（Ｓ２０７）、マイク位置座標・向き情報推定部３２１は、全てのマイク１０２−１〜１０２−ｍの位置座標及び向きを推定するまで、Ｓ２０１〜Ｓ２０６の処理を繰り返し行う。
When the microphone position coordinate / orientation
なお、Ｓ１００で求めたグローバル座標系でのカメラ１０１−ｉの位置座標及び向きについても、マイク１０２−ｊの位置情報及び向きを表す変換行列Ｍ＿ｊＲｇ、Ｍ＿ｊＴと同じ形式（すなわち、変換行列Ｃ＿ｊＲｇ、Ｃ＿ｊＴ）でパラメータ保持器１０４に保存する。
Note that the position coordinates and orientation of the camera 101-i in the global coordinate system obtained in S100 are also in the same format as the transformation matrices M_jRg and M_jT representing the positional information and orientation of the microphone 102-j (that is, the transformation matrices C_jRg and C_jT). ) To the
（Ａ−２−５）パラメータ保持器１０４に保存される各種パラメータの説明
図１１は、パラメータ保持器１０４に保存されるカメラ１０１−ｉの各種パラメータを説明する説明図である。
(A-2-5) Explanation of Various Parameters Saved in
パラメータ保持器１０４には、全てのカメラ１０１−１〜１０１−ｎの各種パラメータがカメラ１０１−ｉ毎に保存される。なお、図１１では、カメラ１０１−ｉの各種パラメータを保存する要素を示す。
The
図１１に示すように、変換行列ＡはＣＰ＿ｉＡＣ＿ｉ、外部パラメータＲ及びＴは、Ｃ＿ｉＲｇ及びＣ＿ｉＴとして保存される。 As shown in FIG. 11, the transformation matrix A is stored as CP_iAC_i, and the external parameters R and T are stored as C_iRg and C_iT.
また、図１１に示すように、角度範囲はα及びβはＣ＿ｉα及びＣ＿ｉβとして保存される。パン・チルト有無は、「有」若しくは「無」として保存される。また、パン角度及びチルト角度（図１１ではパンチルト角度と表記）ζ及びηはＣ＿ｉζ及びＣ＿ｉηとして保存され、距離範囲ＬはＣ＿ｉＬとして保存される。 Also, as shown in FIG. 11, the angle ranges α and β are stored as C_iα and C_iβ. The presence / absence of pan / tilt is stored as “present” or “not present”. Further, the pan angle and tilt angle (denoted as pan tilt angle in FIG. 11) ζ and η are stored as C_iζ and C_iη, and the distance range L is stored as C_iL.
図１２は、パラメータ保持器１０４に保存されるマイク１０２−ｉの各種パラメータを説明する説明図である。
FIG. 12 is an explanatory diagram for explaining various parameters of the microphone 102-i stored in the
パラメータ保持器１０４には、全てのマイク１０２−１〜１０２−ｎの各種パラメータがマイク１０２−ｉ毎に保存される。なお、図１２では、マイク１０２−ｉの各種パラメータを保存する要素を示す。
Various parameters of all the microphones 102-1 to 102-n are stored in the
図１２に示すように、パラメータＲ及びＴは、Ｍ＿ｊＲｇ及びＭ＿ｊＴｇとして保存される。角度範囲α及びβはＭ＿ｊα及びＭ＿ｊβとして保存される。距離範囲ＬはＭ＿ｊＬとして保存される。 As shown in FIG. 12, parameters R and T are stored as M_jRg and M_jTg. Angle range α and β are stored as M_jα and M_jeibeta. The distance range L is stored as M_jL.
（Ａ−２−６）撮影範囲、収音範囲の保存方法
次に、カメラ１０１−ｉの撮影範囲や、マイク１０２−ｊの収音範囲について、パラメータ推定器１０３がどのような情報を求めて、パラメータ保持器１０４に保存するかを図１３〜図１５、図１６〜図１８を用いて説明する。
(A-2-6) Method for Saving Shooting Range and Sound Collection Range Next, the
ここでは、カメラ１０１−ｉの撮影範囲や、マイク１０２−ｊの収音範囲を、情報収集範囲と呼ぶ。 Here, the shooting range of the camera 101-i and the sound collection range of the microphone 102-j are referred to as an information collection range.
なお、カメラ１０１−ｉの情報収集範囲は、角度範囲α及びβ、パン角度ζ及びチルト角度η、距離範囲Ｌを含むものである。また、マイク１０２−ｊの情報収集範囲は、角度範囲α及びβ、距離範囲Ｌを含むものとする。 Note that the information collection range of the camera 101-i includes the angle ranges α and β, the pan angle ζ and the tilt angle η, and the distance range L. Further, the information collection range of the microphone 102-j includes angle ranges α and β and a distance range L.
図１３〜図１５は、カメラ１０１−ｉ及びマイク１０２−ｊの情報収集範囲を説明する説明図である。 13 to 15 are explanatory diagrams for explaining the information collection ranges of the camera 101-i and the microphone 102-j.
図１３では、情報収集範囲が四角錐形で表している。なお、カメラ１０１−ｉの撮影範囲の場合、図１３のＸｍ−Ｙｍ−Ｚｍ座標の原点にカメラ１０１−ｉが位置しており、カメラ１０１−ｉがＺｍ軸方向を撮影画面の中心として撮影する場合とする。また、マイク１０２−ｊの収音範囲は、Ｘｍ−Ｙｍ−Ｚｍ座標の原点にマイク１０２−ｉが位置しており、マイク１０２−ｊがＺｍ軸方向を正面方向として収音する場合とする
図１３〜図１５において、情報収集範囲は、Ｚｍ軸を中心に角度±α及び角度±βの範囲、かつ、原点からＺｍ軸上の距離Ｌまでの範囲としてモデル化する。Ｚｍ軸は、カメラ１０１−ｉの撮像画面の中心を通る。
In FIG. 13, the information collection range is represented by a quadrangular pyramid. In the case of the shooting range of the camera 101-i, the camera 101-i is located at the origin of the Xm-Ym-Zm coordinates in FIG. 13, and the camera 101-i takes a picture with the Zm-axis direction as the center of the shooting screen. Suppose. The sound collection range of the microphone 102-j is a case where the microphone 102-i is located at the origin of the Xm-Ym-Zm coordinates and the microphone 102-j collects sound with the Zm-axis direction as the front direction. 13 to 15, the information collection range is modeled as a range of angles ± α and ± β around the Zm axis and a range from the origin to a distance L on the Zm axis. The Zm axis passes through the center of the imaging screen of the camera 101-i.
この情報収集範囲は、カメラ１０１−ｉ毎やマイク１０２−ｊ毎に異なっていても良い。カメラパラメータ推定部３１０では、カメラ撮影範囲情報取得部３２１が、すべてのカメラ１０１−ｉの情報収集範囲を取得し、カメラパラメータ保存部３１３によって、カメラ１０１−ｉ毎にパラメータ保持器１０４に保持する。マイクパラメータ推定部３２０では、マイク収音範囲情報取得部３２２がマイク１０２−ｊの情報収集範囲を取得し、マイクパラメータ保存部３２３によって、マイク１０２−ｊ毎にパラメータ保持部１０４に保持する。α、βについては、カメラ１０１−ｉの情報収集範囲をＣ＿ｉα、Ｃ＿ｉβと表記し、マイク１０２−ｊの情報収集範囲をＭ＿ｊα、Ｍ＿ｊβと表記することにする。
This information collection range may be different for each camera 101-i and each microphone 102-j. In the camera
パン・チルトの機能に関する情報をどのような形式で保存するかを図１６〜図１８を用いて説明する。 The format in which information related to the pan / tilt function is stored will be described with reference to FIGS.
Ｙｍ−Ｚｍ平面内でのカメラ１０１−ｉ（若しくはマイク１０２−ｊ）の傾きをパンとし、パン可能な最大角を±ζとする（図１７参照）。 The tilt of the camera 101-i (or microphone 102-j) in the Ym-Zm plane is defined as pan, and the maximum panable angle is defined as ± ζ (see FIG. 17).
Ｘｍ−Ｚｍ平面内でのカメラ１０１−ｉ（若しくはマイク１０２−ｊ）の傾きをチルトとし、チルト可能な最大角を±ηとする（図１８参照）。 The tilt of the camera 101-i (or microphone 102-j) in the Xm-Zm plane is defined as tilt, and the maximum tiltable angle is defined as ± η (see FIG. 18).
パンやチルトが可能なカメラ１０１−ｉおよびマイク１０２−ｊについて、パラメータ推定器１０３が、それが可能であるというフラグと共に、パン角度最大値ζおよびチルト角度の最大値ηを、カメラ１０１−ｉ及びマイク１０２−ｊ毎にパラメータ保持器１０４に保存する。なお、以降の説明ではカメラのみパン・チルト機能を備えるとして説明をするが、マイクにパン・チルト機能を備える場合も同様に扱える。パン角度ζ及びチルト角度ηは、カメラ１０１−ｉのパン可能な角度をＣ＿ｉζ及びＣ＿ｉηと表記する。
For the camera 101-i and the microphone 102-j capable of panning and tilting, the
（Ａ−２−７）指定位置の情報を収集可能なカメラとマイクの選択方法
次に、視聴点指示器１０５による指定位置の情報を収集可能なカメラ１０１−ｉ及びマイク１０２−ｊの選択処理の動作を、図面を参照しながら詳細に説明する。
(A-2-7) Camera and microphone selection method capable of collecting designated position information Next, the selection process of the camera 101-i and microphone 102-j capable of collecting designated position information by the
図１９は、視聴点指示器１０５による指定位置の情報を収集可能なカメラ１０１−ｉ及びマイク１０２−ｊの選択処理の全体的な手順を示すフローチャートである。
FIG. 19 is a flowchart showing an overall procedure of selection processing of the camera 101-i and the microphone 102-j that can collect information on the designated position by the
まず、視聴点指示器１０５がカメラ１０１−ｉ及びマイク１０２−ｊの処理を開始すると（Ｓ３００）、視聴点指示器１０５は、視聴点指定取得部４０１よりグローバル座標系における指定座標位置の入力を受け受け、指定座標位置を取得する（Ｓ３０１）。
First, when the
視聴点指示器１０５が指定座標位置を取得すると、視聴点指示器１０５は、後述するように、パラメータ保持器１０４に保存される各カメラ１０１−ｉのパラメータを参照して、指定された位置の映像を撮像するカメラ１０１−ｉを選択する（Ｓ４００）。
When the
次に、視聴点指示器１０５は、後述するように、パラメータ保持器１０４に保存される各マイク１０２−ｉのパラメータを参照して、指定された位置の音響を収音するマイク１０２−ｊを選択する（Ｓ５００）。
Next, as will be described later, the
（Ａ−２−８）カメラの選択処理
図２０は、視聴点指示器１０５によるカメラ１０１−ｉの選択処理を説明するフローチャートである。
(A-2-8) Camera Selection Processing FIG. 20 is a flowchart for describing the camera 101-i selection processing by the
視聴点指示器１０５のカメラ選択部４０２は、パラメータ保持器１０４に保存される複数のカメラ１０１−１〜１０１−ｎのうち１台を選択し、その選択したカメラ１０１−ｉに関するパラメータをパラメータ保持器１０４から取得する（Ｓ４０１）。
The
カメラ選択部４０２は、グローバル座標系の指定位置座標を、選択したカメラ１０１−ｉのカメラ座標系に変換する（Ｓ４０２）。
The
このとき、カメラ選択部４０２は、選択されたカメラ１０１−ｉのパラメータＣ＿ｉＲｇ、Ｃ＿ｉＴを用いて、式（１５）に従って、グローバル座標系を当該カメラ１０１−ｉのカメラ座標系に変換する変換行列Ｃ＿ｉＭｇを求める。そして、カメラ選択部４０２は、式（１６）に従って、指定位置Ｖのグローバル座標系の位置座標（ｇｘｖ，ｇｙｖ，ｇｚｖ）Ｔに基づいて、当該カメラ１０１−ｉのカメラ座標系での対応点（Ｃ＿ｉｘｖ，Ｃ＿ｉｙｖ，Ｃ＿ｉｚｖ）Ｔを求める。
次に、カメラ選択部４０２は、カメラ１０１−ｉの撮影範囲に指定した位置座標（当該カメラ１０１−ｉのカメラ座標系の位置座標）が含まれているか否かを判断する。つまり、カメラ選択部４０２は、カメラ１０１−ｉのカメラ座標系での指定位置座標（Ｃ＿ｉｘｖ，Ｃ＿ｉｙｖ，Ｃ＿ｉｚｖ）Ｔがカメラ１０１−ｉで撮影可能範囲にあるか否かを判断する。
Next, the
まず、カメラ選択部４０２は、指定位置座標がカメラ１０１−ｉの画角内にあるか否かを判断する（Ｓ４０３）。そして、指定位置座標が画角内にある場合、カメラ選択部４０２は処理をＳ４０５に移行させ、指定位置座標が画角内にない場合、カメラ選択部４０２は処理をＳ４０４に移行させる。
First, the
カメラ選択部４０２は、パラメータ保持器１０４からカメラ１０１−ｉのパラメータを取得し、カメラ１０１−ｉの撮影可能な範囲として、左右角を±Ｃ＿ｉαとし、上下角を±Ｃ＿ｉβとする。また、カメラ１０１−ｉから指定位置Ｖを見たときの角度は左右角をＣ＿ｉδｖ、上下角をＣ＿ｉθｖとする。
The
このとき、カメラ選択部４０２は、式（１７）及び式（１８）の条件に従って、カメラ１０１−ｉの画角内に指定した位置座標が含まれるか否かを判断する。
ここで、カメラ１０１−ｉから指定位置Ｖを見たときの左右角Ｃ＿ｉδｖ、上下角Ｃ＿ｉθｖは、式（１９）及び式（２０）の関係がある。従って、カメラ選択部４０２は、式（２１）及び式（２２）の条件が成立するか否かを判断し、式（２１）及び式（２２）の条件が成立する場合、当該カメラ１０１−ｉは撮影可能な画角内にあると判断する。
次に、カメラ選択部４０２は、当該カメラ１０１−ｉがパン・チルト可能なカメラであるか否かを判断する。そして、当該カメラ１０１−ｉがパン・チルト可能である場合、パン・チルトした場合に指定位置Ｖを撮影可能か否か判断する（Ｓ４０４）。そして、撮影可能な場合、カメラ選択部４０２は処理をＳ４０５に移行させ、撮影不可能な場合、カメラ選択部４０２は処理をＳ４０７に移行させる。
Next, the
ここで、撮影可能とは、当該カメラ１０１−ｉがパン・チルトをすることで指定された位置Ｖを画面の中央部分に映すことができる場合とする。図１６〜図１８に示すように、カメラ１０１−ｉのパン・チルトの角度範囲を示す。パンは水平方向に±ζ、チルトは垂直方向に±ηの範囲で撮影可能とする。 Here, “capable of photographing” means a case where the camera 101-i can project the position V designated by panning / tilting in the center portion of the screen. As shown in FIGS. 16 to 18, the pan / tilt angle range of the camera 101-i is shown. Pan can be photographed in the range of ± ζ in the horizontal direction and tilt in the range of ± η in the vertical direction.
視聴指示器１０５は、カメラ１０１−ｉのパン角度Ｃ＿ｉζ、チルト角度Ｃ＿ｉηをパラメータ保持器１０４から取得し、パン・チルトした位置Ｖが撮影可能か否かの条件である式（２３）及び式（２４）を満たすか否かを判断する。
ここで、式（１９）、式（２０）、式（２３）、式（２４）から、カメラ選択部４０２は、式（２５）及び式（２６）の条件を満たすか否かを判断して、式（２５）及び式（２６）の条件を満たす場合、撮影可能であると判断する。
Ｓ４０５では、カメラ選択部４０２が、指定された位置Ｖがカメラ１０１−ｉで撮影可能な距離にあるか否かを判断する（Ｓ４０５）。
In S405, the
指定された位置Ｖのカメラ１０１−ｉからの距離は、｛（Ｃ＿ｉｘｖ）２＋（Ｃ＿ｉｙｖ）２＋（Ｃ＿ｉｚｖ）２｝１／２で表され、カメラ１０１−ｉの撮影可能範囲は、カメラ１０１−ｉの原点からＣ＿ｉＬである。従って、撮影可能か否かの条件は式（２７）となる。
カメラ選択部４０２は、式（２７）の条件を満たすか否かを判断し、この条件を満たす場合に、当該カメラ１０１−ｉは撮影可能なものであると判断し、カメラ選択部４０２は、当該カメラ１０１−ｉを撮影可能なもののリストに追加する（Ｓ４０６）。
The
一方、この条件を満たさない場合に、カメラ選択部４０２は、当該カメラ１０１−ｉは撮影可能なものでないと判断して、処理をＳ４０７に移行させる。
On the other hand, when this condition is not satisfied, the
カメラ選択部４０２は、全てのカメラ１０１−ｉについて撮影可能か否かの判断をしたか否かを確認し、全てのカメラ１０１−ｉについての判断を行っていない場合には、処理をＳ４０１に移行し、次のカメラ１０１−ｉを選択して処理を繰り返し行う（Ｓ４０７）。
The
このようにして、指定の位置Ｖの映像を撮影可能なカメラ１０１−ｉは、リストに登録されるため、そのリストから任意に選択又はどのカメラ１０１−ｉを選択するかの指示をさせることができる。 In this way, since the camera 101-i capable of shooting the video at the designated position V is registered in the list, it is possible to arbitrarily select from the list or to instruct which camera 101-i to select. it can.
（Ａ−２−９）マイクの選択処理
図２１は、視聴点指示器１０５のマイク選択部４０３によるマイク１０２−ｉの選択処理を説明するフローチャートである。
(A-2-9) Microphone Selection Processing FIG. 21 is a flowchart illustrating the microphone 102-i selection processing by the
マイク選択部４０３は、パラメータ保持器１０４に保存される複数のマイク１０２−１〜１０２−ｍのうち１台を選択し、その選択したマイク１０２−ｊに関するパラメータをパラメータ保持器１０４から取得する（Ｓ５０１）。
The
マイク選択部４０３は、グローバル座標系で指定された位置座標を、当該マイク１０２−ｊのマイク座標系に変換する（Ｓ５０２）。
The
ここで、マイク選択部４０３による指定位置座標のグローバル座標系からマイク座標系への変換方法を説明する。
Here, a method for converting the designated position coordinates from the global coordinate system to the microphone coordinate system by the
選択されたマイク１０２−ｊのパラメータＭ＿ｊＲｇ、Ｍ＿ｊＴｇが、パラメータ保持器１０４に保存されているため、視聴点指示器１０５は、当該マイク１０２−ｊのパラメータを読み出す。
Since the parameters M_jRg and M_jTg of the selected microphone 102-j are stored in the
このとき、視聴点指示器１０５は、選択されたマイク１０２−ｊのパラメータＭ＿ｊＲｇ、Ｍ＿ｊＴｇを用いて、式（２８）に従って、グローバル座標系を当該マイク１０２−ｊのマイク座標系に変換する変換行列Ｍ＿ｉＭｇを求める。
At this time, the
そして、マイク選択部４０３は、式（２９）に従って、指定位置Ｖのグローバル座標系の位置座標（ｇｘｖ，ｇｙｖ，ｇｚｖ）Ｔに基づいて、当該マイク１０２−ｊのマイク座標系での対応点（Ｍ＿ｊｘｖ，Ｍ＿ｊｙｖ，Ｍ＿ｊｚｖ）Ｔを求める。
次に、マイク選択部４０３は、指定された位置Ｖの音源がマイク１０２−ｊの収音可能な角度の範囲にあるか否かを判断する（Ｓ５０３）。そして、位置座標Ｖの音源がマイク１０２−ｊが収音可能は角度の範囲にある場合、マイク選択部４０３は処理をＳ５０４に移行させ、そうでない場合、マイク選択部４０３は処理をＳ５０６に移行させる。
Next, the
ここで、マイク１０２−ｊの収音可能な範囲の左右角をＭ＿ｊα、上下角をＭ＿ｊβとすると、指定位置のマイク１０２−ｊから見たときの角度について左右角をＭ＿ｊδＶ、上下角をＭ＿ｊθＶとする。指定位置座標Ｖの音源がマイク１０２−ｊの収音可能な角度内にあるか否かは、マイク１０２−ｊの収音可能範囲内に指定した座標Ｖが含まれているかどうかを判断すればよい。 Here, if the left and right corners of the range in which sound can be collected by the microphone 102-j is M_jα and the top and bottom angles are M_jβ, the left and right angles are M_jδV and the top and bottom angles M_jθV when viewed from the microphone 102-j at the specified position. To do. Whether or not the sound source of the designated position coordinate V is within the angle at which the microphone 102-j can collect sound is determined by determining whether or not the specified coordinate V is included within the sound collection possible range of the microphone 102-j. Good.
つまり、マイク１０２−ｊの収音可能な範囲は、左右方向について式（３０）の関係にあり、上下方向について式（３１）の関係にある。また、指定位置座標Ｖの音源の位置座標は、式（３２）及び式(３３)の関係にあるため、マイク１０２−ｊの収音可能な左右方向の関係式（３０）は式（３４）となり、上下方向の関係式（３１）は式（３５）となる。 That is, the range in which sound can be collected by the microphone 102-j is in the relationship of Expression (30) in the left-right direction and in the relationship of Expression (31) in the up-down direction. Further, since the position coordinates of the sound source of the designated position coordinate V are in the relationship of Expression (32) and Expression (33), the relational expression (30) in the left-right direction that can be picked up by the microphone 102-j is Expression (34). Thus, the relational expression (31) in the vertical direction becomes the expression (35).
従って、マイク選択部４０３は、式（３４）及び式（３５）の条件が成立するか否かを判断し、式（３４）及び式（３５）の条件が成立する場合、当該マイク１０２−ｊは収音可能な画角内にあると判断する。
次に、マイク選択部４０３は、指定された位置座標Ｖがマイク１０２−ｊからの収音可能な距離にあるか否かを判断する（Ｓ５０４）。
Next, the
指定された位置座標Ｖのマイク１０２−ｊからの距離は、｛（Ｍ＿ｊｘｖ）２＋（Ｍ＿ｊｙｖ）２＋（Ｍ＿ｊｚｖ）２｝１／２で表され、マイク１０２−ｊの収音可能範囲は、マイク１０２−ｊの原点からＭ＿ｊＬである。従って、収音可能か否かの条件は式（３６）となる。
マイク選択部４０３は、式（３６）の条件を満たすか否かを判断し、この条件を満たす場合に、当該マイク１０２−ｊは収音可能なものとしてリストに追加する（Ｓ５０４）。
The
一方、この条件を満たさない場合に、マイク選択部４０３は、当該マイク１０２−ｊは撮影可能なものでないと判断して、処理をＳ５０６に移行させる。
On the other hand, when this condition is not satisfied, the
マイク選択部４０３は、全てのマイク１０２−ｊについて撮影可能か否かの判断をしたか否かを確認し、全てのマイク１０２−ｊについての判断を行っていない場合には、処理をＳ５０１に移行し、次のマイク１０２−ｊを選択して処理を繰り返し行う（Ｓ５０６）。
The
このようにして、指定の位置Ｖの映像を撮影可能なマイク１０２−ｊは、リストに登録されるため、そのリストから任意に選択又は指定を受けることができる。 In this way, the microphone 102-j capable of shooting the video at the designated position V is registered in the list, and can be arbitrarily selected or designated from the list.
（Ａ−３）実施形態の効果
以上のように、実施形態によれば、カメラやマイクのグローバル座標系の位置座標や向きを、従来よりも簡単かつ間違いなく推定することができる。
(A-3) Effect of Embodiment As described above, according to the embodiment, the position coordinates and orientation of the global coordinate system of the camera and microphone can be estimated more easily and definitely than before.
（Ｂ）他の実施形態
上述した実施形態においても本発明の種々の変形実施形態を説明したが、本発明は、以下の変形実施形態にも広く適用することができる。
(B) Other Embodiments Although various modified embodiments of the present invention have been described in the above-described embodiments, the present invention can be widely applied to the following modified embodiments.
（Ｂ−１）上述した実施形態では、図５のＳ１００でカメラ１０１−ｉのグローバル座標系での位置座標及び向きを推定する場合を例示した。しかし、カメラ１０１−ｉの取り付け位置や向きが予め定まっている場合には、カメラ１０１−ｉのグローバル座標系での位置座標及び向きの推定処理を省略するようにしても良い。この場合、予めカメラ１０１−ｉのグローバル座標系での位置座標及び向きが判っているから、各カメラ１０１−ｉのグローバル座標系での位置座標及び向きをパラメータ保持器１０４に保存しておくことで、上述した実施形態の動作と同様の効果を得ることができる。
(B-1) In the above-described embodiment, the case where the position coordinates and orientation of the camera 101-i in the global coordinate system are estimated in S100 of FIG. However, when the attachment position and orientation of the camera 101-i are determined in advance, the position coordinate and orientation estimation processing in the global coordinate system of the camera 101-i may be omitted. In this case, since the position coordinates and orientation of the camera 101-i in the global coordinate system are known in advance, the position coordinates and orientation of each camera 101-i in the global coordinate system are stored in the
（Ｂ−２）上述した実施形態では、カメラやマイクが複数台ある場合を例示したが、カメラやマイクはそれぞれ１台の場合であっても適用できる。本発明は、相対的な位置関係に基づいて、カメラやマイクのグローバル座標系での位置座標や向きを推定するものであるが、カメラやマイクが１台の場合、予め位置や向きが明らかなものを基準とすることで実現することができる。 (B-2) In the above-described embodiment, the case where there are a plurality of cameras and microphones has been illustrated, but the present invention can be applied even when there is only one camera and microphone. The present invention estimates the position coordinates and orientation of the camera and microphone in the global coordinate system based on the relative positional relationship. However, when there is one camera or microphone, the position and orientation are clear in advance. It can be realized by using things as standards.
（Ｂ−３）音・映像位置較正器２００が提示する映像情報は、あらかじめ決められた映像や、光の明滅パターンなどカメラから見てその場所が明らかに識別できるものであればなんでもよい。また、音・映像位置較正器２００が発する音響情報は、あらかじめ決められた周波数の音や、決められた音階パターンの再生など、などマイクから見て他の音と明らかに識別できるものであればなんでもよい。
(B-3) The video information presented by the sound /
１００…キャリブレーションシステム、１０１−１〜１０１−ｎ…カメラ、１０２−１〜１０２−ｍ…マイク、１０３…パラメータ推定器、１０４…パラメータ保持器、１０５…視聴点指示器、２００…音・映像位置較正器。
DESCRIPTION OF
Claims (8)
グローバル座標系における複数のカメラの位置情報及び向きと、上記複数のカメラによって撮像された上記位置較正器を含む映像情報とに基づいて、グローバル座標系における上記位置較正器の位置情報を測定する基準点測定手段と、
グローバル座標系において基準点とする上記位置較正器の位置情報と、音源とする上記位置較正器から発せられた音響の１又は複数のマイクロホンのそれぞれにおける相対的な到来方向を示す到来方向情報とを取得する情報取得手段と、
上記グローバル座標系での音源としての上記位置較正器の位置情報と、上記各マイクロホンにおける上記到来方向情報とに基づいて、上記各マイクロホンのグローバル座標系での位置情報及び向きに関するパラメータを推定するパラメータ推定手段と
を備えること特徴とするパラメータ推定装置。 A parameter estimation device for estimating parameters related to position information and orientation of one or more microphones in a global coordinate system using image information including a position calibrator arranged in space, which is imaged by a plurality of cameras,
A reference for measuring position information of the position calibrator in the global coordinate system based on position information and orientations of the plurality of cameras in the global coordinate system and video information including the position calibrator imaged by the plurality of cameras. Point measuring means;
Position information of the position calibrator serving as a reference point in the global coordinate system, and direction-of-arrival information indicating a relative direction of arrival at each of one or a plurality of microphones of sound emitted from the position calibrator serving as a sound source. Information acquisition means to acquire;
A parameter for estimating parameters related to position information and orientation of each microphone in the global coordinate system based on position information of the position calibrator as a sound source in the global coordinate system and the arrival direction information in each microphone A parameter estimation device comprising: estimation means.
上記グローバル座標系の音源の位置情報と、上記各マイクロホンにおける上記到来方向情報とに基づいて、各マイクロホンのマイク座標系での音源の位置情報を任意の投影面に投影した対応点の位置情報を求め、複数のマイクロホンにおける上記対応点の位置情報を用いて、上記各マイクロホンの位置情報及び向きに関するパラメータを推定するものである
ことを特徴とする請求項１に記載のパラメータ推定装置。 The parameter estimation means is
Based on the position information of the sound source in the global coordinate system and the direction of arrival information in each microphone, the position information of the corresponding point obtained by projecting the position information of the sound source in the microphone coordinate system of each microphone on an arbitrary projection plane is obtained. The parameter estimation device according to claim 1, wherein the parameter regarding the position information and the direction of each microphone is estimated using the position information of the corresponding points in a plurality of microphones.
コンピュータを、
グローバル座標系における複数のカメラの位置情報及び向きと、上記複数のカメラによって撮像された上記位置較正器を含む映像情報とに基づいて、グローバル座標系における上記位置較正器の位置情報を測定する基準点測定手段、
グローバル座標系において基準点とする上記位置較正器の位置情報と、音源とする上記位置較正器から発せられた音響の１又は複数のマイクロホンのそれぞれにおける相対的な到来方向を示す到来方向情報とを取得する情報取得手段、
上記グローバル座標系での音源としての上記位置較正器の位置情報と、上記各マイクロホンにおける上記到来方向情報とに基づいて、上記各マイクロホンのグローバル座標系での位置情報及び向きに関するパラメータを推定するパラメータ推定手段
として機能させることを特徴とするパラメータ推定プログラム。 A parameter estimation program for estimating parameters related to position information and orientation of one or a plurality of microphones in a global coordinate system using image information including a position calibrator arranged in space, which is imaged by a plurality of cameras,
Computer
A reference for measuring position information of the position calibrator in the global coordinate system based on position information and orientations of the plurality of cameras in the global coordinate system and video information including the position calibrator imaged by the plurality of cameras. Point measuring means,
Position information of the position calibrator serving as a reference point in the global coordinate system, and direction-of-arrival information indicating a relative direction of arrival at each of one or a plurality of microphones of sound emitted from the position calibrator serving as a sound source. Information acquisition means to acquire,
A parameter for estimating parameters related to position information and orientation of each microphone in the global coordinate system based on position information of the position calibrator as a sound source in the global coordinate system and the arrival direction information in each microphone A parameter estimation program that functions as an estimation means.
少なくとも、上記マイクパラメータ推定手段により推定された１又は複数のマイクロホンの位置情報及び向きに関するパラメータを保持するマイクパラメータ保持手段と、
グローバル座標系で指定された位置情報を、上記各マイクロホンのマイク座標系における位置情報に変換して、指定された位置の情報を収集するマイクロホンを選択するマイクロホン選択手段と
を備えることを特徴とする機器決定システム。 Microphone parameter estimation means as the parameter estimation device according to any one of claims 1 to 3,
Microphone parameter holding means for holding at least parameters related to position information and orientation of one or more microphones estimated by the microphone parameter estimation means;
A microphone selection unit that converts position information specified in the global coordinate system into position information in the microphone coordinate system of each microphone and selects a microphone that collects information on the specified position; Equipment decision system.
グローバル座標系で指定された位置情報を、上記各カメラのカメラ座標系における位置情報に変換して、指定された位置の情報を収集するカメラを選択するカメラ選択手段と
を備えることを特徴とする請求項５に記載の機器決定システム。 Camera parameter holding means for holding camera parameters for one or more cameras for each camera;
Camera position selection means for converting the position information specified in the global coordinate system into position information in the camera coordinate system of each of the cameras, and selecting a camera that collects the information of the specified position. The device determination system according to claim 5.
上記マイクロホン選択手段が、上記各マイクロホンの情報収集範囲とする角度内に上記マイク座標系における指定位置が含まれており、上記各マイクロホンの情報収集範囲とする収音可能距離内に上記マイク座標系における指定位置があるか否かを判断して、情報収集可能なマイクロホンを選択するものである
ことを特徴とする請求項５又は６に記載の機器決定システム。 The microphone parameter holding means holds the information collection range of one or a plurality of microphones,
The microphone selection means includes a designated position in the microphone coordinate system within an angle that is an information collection range of each microphone, and the microphone coordinate system is within a sound collection possible distance that is an information collection range of each microphone. The device determination system according to claim 5 or 6, wherein a microphone capable of collecting information is selected by determining whether or not there is a designated position.
請求項４に記載のパラメータ推定プログラムとして機能させるマイクパラメータ推定手段、
少なくとも、上記マイクパラメータ推定手段により推定された１又は複数のマイクロホンの位置情報及び向きに関するパラメータを保持するマイクパラメータ保持手段、
グローバル座標系で指定された位置情報を、上記各マイクロホンのマイク座標系における位置情報に変換して、指定された位置の情報を収集するマイクロホンを選択するマイクロホン選択手段
として機能させることを特徴とする機器決定プログラム。 Computer
Microphone parameter estimation means that functions as the parameter estimation program according to claim 4;
Microphone parameter holding means for holding at least parameters relating to position information and orientation of one or more microphones estimated by the microphone parameter estimating means;
The position information specified in the global coordinate system is converted into the position information in the microphone coordinate system of each of the microphones so as to function as a microphone selection unit that selects a microphone that collects information on the specified position. Equipment decision program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013049093A JP5924295B2 (en) | 2013-03-12 | 2013-03-12 | Parameter estimation apparatus, parameter estimation program, device determination system, and device determination program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013049093A JP5924295B2 (en) | 2013-03-12 | 2013-03-12 | Parameter estimation apparatus, parameter estimation program, device determination system, and device determination program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014175996A JP2014175996A (en) | 2014-09-22 |
| JP5924295B2 true JP5924295B2 (en) | 2016-05-25 |
Family
ID=51696809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013049093A Active JP5924295B2 (en) | 2013-03-12 | 2013-03-12 | Parameter estimation apparatus, parameter estimation program, device determination system, and device determination program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5924295B2 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6841277B2 (en) * | 2016-03-30 | 2021-03-10 | 日本電気株式会社 | Monitoring equipment, monitoring methods, and programs |
| JP6758956B2 (en) | 2016-06-30 | 2020-09-23 | キヤノン株式会社 | Controls, control methods and programs |
| US10547961B2 (en) | 2016-10-25 | 2020-01-28 | Canon Kabushiki Kaisha | Signal processing apparatus, signal processing method, and storage medium |
| KR102354299B1 (en) * | 2017-03-16 | 2022-01-24 | 한국전자통신연구원 | Camera calibration method using single image and apparatus therefor |
| JP6983583B2 (en) * | 2017-08-30 | 2021-12-17 | キヤノン株式会社 | Sound processing equipment, sound processing systems, sound processing methods, and programs |
| JP6943183B2 (en) * | 2018-01-05 | 2021-09-29 | オムロン株式会社 | Positioning device, position identification method, position identification program and camera device |
| KR102559203B1 (en) * | 2018-10-01 | 2023-07-25 | 삼성전자주식회사 | Method and apparatus of outputting pose information |
| KR102151250B1 (en) * | 2018-12-12 | 2020-09-02 | 서울과학기술대학교 산학협력단 | Device and method for deriving object coordinate |
| CN113218392A (en) * | 2020-01-21 | 2021-08-06 | 富华科精密工业（深圳）有限公司 | Indoor positioning navigation method and navigation device |
| CN112255507B (en) * | 2020-09-10 | 2022-07-22 | 深圳供电局有限公司 | Partial discharge positioning method and device, computer equipment and storage medium |
| WO2023173337A1 (en) * | 2022-03-16 | 2023-09-21 | 北京小米移动软件有限公司 | Method and apparatus for acquiring vehicle-mounted audio signals |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002314994A (en) * | 2001-04-13 | 2002-10-25 | Matsushita Electric Ind Co Ltd | System and method for estimating camera position |
| JP2005136774A (en) * | 2003-10-31 | 2005-05-26 | Casio Comput Co Ltd | Camera surveillance system and program |
| JP2005159731A (en) * | 2003-11-26 | 2005-06-16 | Canon Inc | Imaging apparatus |
| JP2007263614A (en) * | 2006-03-27 | 2007-10-11 | Oki Electric Ind Co Ltd | Device and method for calibrating echo sounder receiver position |
| JP5564873B2 (en) * | 2009-09-25 | 2014-08-06 | 富士通株式会社 | Sound collection processing device, sound collection processing method, and program |
| JP5452158B2 (en) * | 2009-10-07 | 2014-03-26 | 株式会社日立製作所 | Acoustic monitoring system and sound collection system |
-
2013
- 2013-03-12 JP JP2013049093A patent/JP5924295B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014175996A (en) | 2014-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5924295B2 (en) | Parameter estimation apparatus, parameter estimation program, device determination system, and device determination program | |
| JP5624394B2 (en) | Position / orientation measurement apparatus, measurement processing method thereof, and program | |
| JP5538667B2 (en) | Position / orientation measuring apparatus and control method thereof | |
| JP5999615B2 (en) | Camera calibration information generating apparatus, camera calibration information generating method, and camera calibration information generating program | |
| JP6222898B2 (en) | Three-dimensional measuring device and robot device | |
| WO2013125099A1 (en) | Augmented reality image processing device and method | |
| JP6721112B2 (en) | Camera parameter estimation device, method and program | |
| JP2009042162A (en) | Calibration device and method therefor | |
| JP2013042411A (en) | Image processing apparatus, projector and projector system comprising the image processing apparatus, image processing method, program thereof, and recording medium having the program recorded thereon | |
| JP5959311B2 (en) | Data deriving apparatus and data deriving method | |
| JP2017129567A (en) | Information processing apparatus, information processing method, and program | |
| JP2015031601A (en) | Three-dimensional measurement instrument, method, and program | |
| JP2019020778A (en) | Information processing device and information processing method | |
| JP2013036831A (en) | Calibration apparatus and distortion error calculation method | |
| JP2017135495A (en) | Stereoscopic camera and imaging system | |
| JP2017092756A (en) | Image processing system, image processing method, image projecting system and program | |
| JP2014173942A (en) | Radio wave emission source detector and radio wave emission source detection method | |
| JP2017017674A (en) | Vertical axis calibration device, method, and program | |
| CN112969963B (en) | Information processing apparatus, control method thereof, and storage medium | |
| JP5514062B2 (en) | Electronic device, imaging screen display method with information, and program | |
| JP2015038699A (en) | Augmented reality image generation system, three-dimensional shape data generation device, augmented reality presentation device, augmented reality image generation method, and program | |
| JP2018004554A (en) | Device and method for calculating three-dimensional coordinate of a characteristic point of object | |
| JP5901379B2 (en) | Imaging apparatus calibration method and image composition apparatus | |
| JP5638578B2 (en) | Observation support device, observation support method and program | |
| JP7535412B2 (en) | Three-dimensional measurement device, three-dimensional measurement system, and three-dimensional measurement method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150406 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160404 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5924295 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |