JP7104296B2 - 測距カメラ - Google Patents

測距カメラ Download PDF

Info

Publication number
JP7104296B2
JP7104296B2 JP2018010035A JP2018010035A JP7104296B2 JP 7104296 B2 JP7104296 B2 JP 7104296B2 JP 2018010035 A JP2018010035 A JP 2018010035A JP 2018010035 A JP2018010035 A JP 2018010035A JP 7104296 B2 JP7104296 B2 JP 7104296B2
Authority
JP
Japan
Prior art keywords
subject
optical system
image
distance
magnification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018010035A
Other languages
English (en)
Other versions
JP2019032295A (ja
Inventor
覚 須藤
隆志 松本
正人 江原
賢 安食
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsumi Electric Co Ltd
Original Assignee
Mitsumi Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsumi Electric Co Ltd filed Critical Mitsumi Electric Co Ltd
Priority to EP18710924.4A priority Critical patent/EP3665435A1/en
Priority to CN201880051058.5A priority patent/CN110998228A/zh
Priority to PCT/JP2018/006817 priority patent/WO2019030957A1/en
Priority to US16/636,275 priority patent/US11525676B2/en
Publication of JP2019032295A publication Critical patent/JP2019032295A/ja
Priority to JP2022108208A priority patent/JP7288226B2/ja
Application granted granted Critical
Publication of JP7104296B2 publication Critical patent/JP7104296B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/32Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18Focusing aids
    • G03B13/20Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046Movement of one or more optical elements for zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Cameras In General (AREA)

Description

本発明は、一般に、被写体までの距離を測定するための測距カメラに関し、より具体的には、被写体までの距離に応じた被写体像の倍率の変化が互いに異なる少なくとも2つの光学系によって形成された少なくとも2つの被写体像の像倍比に基づいて、被写体までの距離を測定する測距カメラに関する。
近年、被写体を撮像することにより、被写体までの距離を測定する測距カメラが提案されている。このような測距カメラとしては、被写体からの光を結像するための光学系と、該光学系によって結像された被写体像を画像信号に変換するための撮像素子とを2対以上備えるステレオカメラ方式の測距カメラや、被写体に対して一定パターン(例えば、格子パターン)の光を照射するためのプロジェクターと、一定パターンの光が照射された被写体を撮像するための撮像系とを備えるパターン照射式の測距カメラが知られている(例えば、特許文献1参照)。
ステレオカメラ方式の測距カメラでは、光学系と撮像素子の組み合わせを2対以上用いることにより、異なる並進視差を有する複数の画像を取得し、取得した複数の画像間の並進視差に基づいて、被写体までの距離を算出する。複数の画像間の並進視差に基づいて被写体までの距離を正確に算出するためには、大きな並進視差を取得する必要がある。そのため、1つの測距カメラ内において、2つ以上の光学系をそれぞれ大きく離間して配置する必要があり、測距カメラのサイズが増大してしまう。
パターン照射方式の測距カメラでは、被写体に対して一定パターンの光を照射し、被写体に投影された一定パターンの歪みを解析することにより被写体までの距離を測定している。そのため、パターン照射方式の測距カメラでは、被写体に対して一定パターンの光を照射するためのプロジェクターが必要となり、測距カメラの構成が大規模になってしまう。
特開2013-190394号公報
本発明は、上記従来の問題点を鑑みたものであり、その目的は、複数の画像間の並進視差を用いず、かつ、被写体への一定パターンの照射を行わずに、被写体までの距離を算出することが可能な測距カメラを提供することにある。
このような目的は、以下の(1)~()の本発明により達成される。
(1)被写体からの光を集光し、第1の被写体像を形成するための第1の光学系と、
前記被写体からの前記光を集光し、第2の被写体像を形成するための第2の光学系と、
前記第1の光学系によって形成された前記第1の被写体像および前記第2の光学系によって形成された前記第2の被写体像を撮像するための撮像部と、
前記撮像部によって撮像された前記第1の被写体像および前記第2の被写体像に基づいて、前記被写体までの距離を算出するための距離算出部と、
前記第1の光学系のフォーカス動作を実行するための第1のレンズ駆動部と、
前記第2の光学系のフォーカス動作を実行するための第2のレンズ駆動部と、を備え、
前記第1の光学系および前記第2の光学系は、前記被写体までの前記距離に応じた前記第1の被写体像の倍率の変化が、前記被写体までの前記距離に応じた前記第2の被写体像の倍率の変化と異なるように構成されており、
前記距離算出部は、前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との像倍比に基づいて、前記被写体までの前記距離を算出し、
前記第1の光学系、前記第2の光学系、および前記撮像部は、前記第1のレンズ駆動部および前記第2のレンズ駆動部が前記フォーカス動作を実行していない初期状態において、無限遠にピントが合うように配置されており、
前記初期状態における前記第1の光学系の前側主点と、前記初期状態における前記第2の光学系の前側主点との間に光軸方向の奥行視差が存在し、これにより、前記被写体までの前記距離に応じた前記第1の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第2の被写体像の前記倍率の前記変化と異なるようになっていることを特徴とする測距カメラ。
(2)前記第1の光学系および前記第2の光学系は、前記第1の光学系の焦点距離と、前記第2の光学系の焦点距離とが、互いに異なるよう構成されており、これにより、前記被写体までの前記距離に応じた前記第1の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第2の被写体像の前記倍率の前記変化と異なるようになっている上記(1)に記載の測距カメラ。
(3)前記第1の光学系および前記第2の光学系の少なくとも一方は、前記被写体からの前記光を集光するための凸レンズと、前記被写体からの前記光を拡散させるための凹レンズとを含む上記(2)に記載の測距カメラ。
(4)前記第1の光学系および前記第2の光学系のそれぞれが前記凸レンズと前記凹レンズを含む場合、前記第1の光学系および前記第2の光学系のそれぞれに含まれる前記凹レンズの数、位置、および焦点距離を調整することにより、前記第1の光学系の前記焦点距離と、前記第2の光学系の前記焦点距離とが、互いに異なるようになっている上記(3)に記載の測距カメラ。
)前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比と、前記被写体までの前記距離とを関連付ける関連付情報を記憶している関連付情報記憶部をさらに備え、
前記距離算出部は、前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比と、前記関連付情報記憶部内の前記関連付情報とに基づいて、前記被写体までの前記距離を算出する上記(1)ないし()のいずれかに記載の測距カメラ。
)前記距離算出部は、前記第1の被写体像のサイズと前記第2の被写体像のサイズとの比を、前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比として算出する上記(1)ないし()のいずれかに記載の測距カメラ。
)前記第1の光学系によって集光される前記被写体からの前記光のうち、特定の波長帯域の光のみを通過させる第1のバンドパスフィルターと、前記第2の光学系によって集光される前記被写体からの前記光のうち、特定の波長帯域の光のみを通過させる第2のバンドパスフィルターと、をさらに備え、
前記第1のバンドパスフィルターが通過させる前記光の前記特定の波長帯域と、前記第2のバンドパスフィルターが通過させる前記光の前記特定の波長帯域とは異なっている上記(1)ないし()のいずれかに記載の測距カメラ。
)前記撮像部は、前記第1の被写体像を撮像するための第1の撮像素子と、前記第2の被写体像を撮像するための第2の撮像素子とを含む上記(1)ないし()のいずれかに記載の測距カメラ。
)前記撮像部は、前記第1の被写体像および前記第2の被写体像の双方を撮像する単一の撮像素子である上記(1)ないし()のいずれかに記載の測距カメラ。
本発明の測距カメラでは、被写体までの距離に応じた被写体像の倍率の変化が互いに異なるよう構成された2つの光学系を用い、該2つの光学系によってそれぞれ形成された2つの被写体像の像倍比(倍率の比)に基づいて、被写体までの距離を測定することができる。そのため、本発明の測距カメラでは、従来の複数の画像間の並進視差を用いたステレオカメラ方式の測距カメラと異なり、大きな並進視差を確保する必要がないため、2つの光学系を近接して配置しても、被写体までの距離を正確に算出することができる。これにより、従来のステレオカメラ方式の測距カメラと比較して、測距カメラの小型化を実現することができる。また、本発明によれば、並進視差を考慮して測距カメラを設計する必要がなくなるため、測距カメラの設計の自由度を増大させることができる。
また、本発明の測距カメラでは、従来のパターン照射方式の測距カメラと異なり、一定パターンの光を被写体に照射するプロジェクター等の特殊な光源を用いる必要がない。そのため、測距カメラのシステム構成をシンプルにすることができる。これにより、従来のパターン照射方式の測距カメラと比較して、測距カメラの小型化、低消費電力化、および低コスト化を実現することができる。
本発明の測距カメラの測距原理を説明するための図である。 図1に示す第1の光学系によって形成される第1の被写体像の倍率と、図1に示す第2の光学系によって形成される第2の被写体像の倍率との像倍比が被写体までの距離に応じて変化することを説明するためのグラフである。 第1の被写体像の倍率と第2の被写体像の倍率との像倍比が、被写体までの距離に応じて変化しないケースを説明するためのグラフである。 本発明の第1実施形態に係る測距カメラを概略的に示すブロック図である。 図4に示す第1の光学系と第2の光学系の構成例を概略的に示す図である。 本発明の第2実施形態に係る測距カメラを概略的に示すブロック図である。 本発明の第3実施形態に係る測距カメラを概略的に示すブロック図である。 本発明の第4実施形態に係る測距カメラを概略的に示すブロック図である。 本発明の第5実施形態に係る測距カメラを概略的に示すブロック図である。 本発明の第6実施形態に係る測距カメラを概略的に示すブロック図である。 本発明の第7実施形態に係る測距カメラを概略的に示すブロック図である。 本発明の第8実施形態に係る測距カメラを概略的に示すブロック図である。 本発明の測距カメラによって実行される測距方法を説明するためのフローチャートである。
最初に、本発明の測距カメラにおいて用いられている、被写体までの距離を算出するための原理について説明する。
よく知られているように、光学系によって形成される被写体像の倍率mは、光学系の前側主点(前側主面)から被写体までの距離(被写体距離)a、光学系の後側主点(後側主面)から被写体像の結像位置までの距離b、および光学系の焦点距離fによって、下記式(1)および(2)によって算出することができる。
Figure 0007104296000001
Figure 0007104296000002
被写体像の結像位置に撮像素子の撮像面がある場合(すなわち、ベストピントの場合)、上記式(2)から明らかなように、光学系によって撮像素子の撮像面上に形成される被写体像の倍率mは、光学系の前側主点から被写体までの距離aと、光学系の焦点距離fとの関数である。光学系の焦点距離fを一定とした場合、被写体像の倍率mは、被写体までの距離aに応じて変化することになる。
ここで、図1に示すように、同じ被写体100を、2つの撮像系IS1、IS2を用いて撮像する場合を想定する。第1の撮像系IS1は、被写体100からの光を集光し、第1の被写体像を形成する第1の光学系OS1と、第1の光学系OS1を構成するレンズの少なくとも1つ(例えば、フォーカスレンズ)を駆動することにより、第1の光学系OS1のフォーカス動作(または、オートフォーカス動作)を実行するための第1のレンズ駆動部AF1と、第1の光学系OS1によって形成された第1の被写体像を撮像するための第1の撮像素子S1とを備えている。第2の撮像系IS2は、被写体100からの光を集光し、第2の被写体像を形成する第2の光学系OS2と、第2の光学系OS2を構成するレンズの少なくとも1つ(例えば、フォーカスレンズ)を駆動することにより、第2の光学系OS2のフォーカス動作(または、オートフォーカス動作)を実現するための第2のレンズ駆動部AF2と、第2の光学系OS2によって形成された第2の被写体像を撮像するための第2の撮像素子S2とを備えている。また、図1から明らかなように、第1の撮像素子S1の第1の光学系OS1の光軸と、第2の撮像素子S2の第2の光学系OS2の光軸は、平行であるが、一致していない。なお、図示の形態では、説明の簡略化のため、、第1の光学系OS1は、第1の光学系OS1の前側主点および後側主点が、第1の光学系OS1の中心位置にあるものとして概略的に示されており、同様に、第2の光学系OS2は、第2の光学系OS2の前側主点および後側主点が、第2の光学系OS2の中心位置にあるものとして概略的に示されている。
第1の光学系OS1および第2の光学系OS2は、それぞれ異なる焦点距離f、fを有するよう構成されている。また、第1の光学系OS1および第1の撮像素子S1は、第1のレンズ駆動部AF1が第1の光学系OS1を構成するレンズの少なくとも1つを駆動する(繰り出す)ことによるフォーカス動作を実行していない初期状態において、無限遠にピントが合うように配置されている。すなわち、図1中において、第1の光学系OS1が点線で表されている初期状態において、第1の光学系OS1の後側主点から、第1の撮像素子S1の撮像面までの距離は、第1の光学系OS1の焦点距離fに等しい。
同様に、第2の光学系OS2および第2の撮像素子S2は、第2のレンズ駆動部AF2が第2の光学系OS2を構成するレンズの少なくとも1つを駆動する(繰り出す)ことによるフォーカス動作を実行していない初期状態において、無限遠にピントが合うように配置されている。すなわち、図1中において、第2の光学系OS2が点線で表されている初期状態において、第2の光学系OS2から、第2の撮像素子S2の撮像面までの距離は、第2の光学系OS2の焦点距離fに等しい。
また、第1の光学系OS1および第2の光学系OS2は、初期状態における第1の撮像系IS1の第1の光学系OS1の前側主点と、初期状態における第2の撮像系IS2の第2の光学系OS2の前側主点との間に、光軸方向の奥行視差Dが存在するように配置されている。
第1の撮像系IS1により被写体100を撮像する際に、任意の距離に被写体100が位置する場合、初期状態では被写体100にピントが合っていないため(デフォーカスが存在するため)、第1のレンズ駆動部AF1により、第1の光学系OS1のフォーカス動作が実行される。この際、第1のレンズ駆動部AF1により、第1の光学系OS1を構成するレンズの少なくとも1つ(例えば、フォーカスレンズ)が繰り出され、第1の光学系OS1の前側主点および後側主点の位置が変化する。ここで、フォーカス動作による第1の光学系OS1の前側主点および後側主点のシフト量をΔbとする。また、フォーカス動作後の、第1の光学系OS1の前側主点から被写体100までの距離をaとする。
同様に、第2の撮像系IS2により被写体100を撮像する際に、任意の距離に被写体100が位置する場合、初期状態では被写体100にピントが合っていないため(デフォーカスが存在するため)、第2のレンズ駆動部AF2により、第2の光学系OS2のフォーカス動作が実行される。この際、第2のレンズ駆動部AF2により、第2の光学系OS2を構成するレンズの少なくとも1つ(例えば、フォーカスレンズ)が繰り出され、第2の光学系OS2の前側主点および後側主点の位置が変化する。フォーカス動作による第2の光学系OS2の前側主点および後側主点のシフト量をΔbとする。また、フォーカス動作後の、第2の光学系OS2の前側主点から被写体100までの距離をAとする。
ここで、図1から明らかなように、第2の光学系OS2の前側主点から被写体100までの距離Aは、第1の光学系OS1の前側主点から被写体100までの距離aを用いて、下記式(3)で表すことができる。
Figure 0007104296000003
ここで、第1の光学系OS1の前側主点から距離aだけ離れて位置する被写体100にピントを合わせている状態において、第1の光学系OS1の後側主点から第1の撮像素子S1の撮像面までの距離bは、レンズの公式から、1/f-1/aに等しくなる。そのため、第1の光学系OS1の前側主点および後側主点のシフト量Δbは、距離bと、無限遠にピントを合わせている状態の第1の光学系OS1の後側主点から第1の撮像素子S1の撮像面までの距離(すなわち、第1の光学系OS1の焦点距離f)との差により、下記式(4)で表すことができる。
Figure 0007104296000004
同様に、第2の光学系OS2の前側主点から距離Aだけ離れて位置する被写体100にピントを合わせている状態において、第2の光学系OS2の後側主点から第2の撮像素子S2の撮像面までの距離bは、レンズの公式から、1/f-1/Aに等しくなる。そのため、第2の光学系OS2の前側主点および後側主点のシフト量Δbは、距離bと、無限遠にピントを合わせている状態の第2の光学系OS2の後側主点から第2の撮像素子S2の撮像面までの距離(すなわち、第2の光学系OS2の焦点距離f)との差により、下記式(5)で表すことができる。
Figure 0007104296000005
また、第1の光学系OS1により第1の撮像素子S1の撮像面上に形成される第1の被写体像の倍率mおよび第2の光学系OS2により第2の撮像素子S2の撮像面上に形成される第2の被写体像の倍率mは、上記式(2)を用いて、それぞれ、下記式(6)および(7)で表すことができる。
Figure 0007104296000006
Figure 0007104296000007
したがって、第1の光学系OS1によって第1の撮像素子S1の撮像面上に形成される第1の被写体像の倍率mと、第2の光学系OS2によって第2の撮像素子S2の撮像面上に形成される第2の被写体像の倍率mとの像倍比MRは、上記式(6)および(7)から、下記式(8)で表すことができる。
Figure 0007104296000008
また、上記式(3)および(5)により、Δbについてまとめると、下記式(9)のようなΔbについての二次方程式を得ることができる。
Figure 0007104296000009
上記式(9)中では、式の簡略化のため、X=a+D+Δbが用いられている。Xは、上記式(4)を用いて、下記式(10)で表すことができる。また、下記式(10)中のPは、f-Dである。
Figure 0007104296000010
上記式(9)のΔbについての二次方程式を解くと、下記式(11)を得ることができる。
Figure 0007104296000011
Xに関する上記式(10)およびΔbに関する上記式(11)を用いて、Aに関する上記式(3)を変形すると、下記式(12)を得ることができる。
Figure 0007104296000012
像倍比MRに関する上記式(8)に、Aに関する上記式(12)を代入して、像倍比MRを簡略化すると、下記式(13)が得られる。また、下記式(13)中のKは、f/fである。
Figure 0007104296000013
像倍比MRに関する上記式(13)に、Xに関する上記式(10)を代入およびK=f/fを用いることにより、距離aについて整理すると、下記式(14)で表される二次方程式が得られる。また、下記式(14)中のLは、2f/(MR・f)である。
Figure 0007104296000014
上記式(14)の二次方程式を解き、上記のP=f-D、および、L=2f/(MR・f)の関係を用いると、下記一般式(15)および(16)で表される距離aについての2つの解が得られる。
Figure 0007104296000015
Figure 0007104296000016
上記一般式(15)および(16)によって表される距離aについての2つの解のうち、いずれの解が距離aとして適当であるかは、第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fとの間の関係に応じて変化する。すなわち、以下の(1)~(3)の条件分けに基づいて、上記一般式(15)および(16)によって表される2つの解のうち、いずれの解が距離aとして適当であるかが判断される。
(1)f≦fの場合
第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fとの間の関係が、f≦fである場合、上記一般式(15)によって表される解が距離aとして適当となる。
(2)f≧f+Dの場合
第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fとの間の関係が、f≧f+Dである場合、上記一般式(16)によって表される解が距離aとして適当となる。
(3)f<f<f+Dの場合
第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fとの間の関係が、f<f<f+Dである場合には、さらなる条件分けが必要となる。すなわち、f<f<f+Dの条件が満たされる場合、さらに、以下の(3-1)~(3-3)の条件分けに基づいて、上記一般式(15)および(16)によって表される2つの解のうち、いずれの解が距離aとして適当であるかが変化する。
(3-1)L-2L≦0の場合
上記式(14)のaの項の係数であるL-2Lが0以下の場合、上記一般式(16)によって表される解が距離aとして適当となる。
一方、上記式(14)のaの項の係数であるL-2Lが0より大きい場合(L-2L>0の場合)、距離aの関数であり、上記式(14)によって表される2次曲線の軸の位置g(a)の微分値g´(a)に応じて、上記一般式(15)および(16)によって表される2つの解のうち、いずれの解が距離aとして適当であるかが変化する。なお、上記式(14)によって表される2次曲線の軸の位置g(a)は、下記式(17)で表される。
Figure 0007104296000017
(3-2)L-2L>0、かつ、g´(a)≦0の場合
上記式(14)のaの項の係数であるL-2Lが0より大きく、かつ、上記式(14)によって表される2次曲線の軸の位置g(a)の微分値g´(a)が0以下の場合、上記一般式(16)によって表される解が距離aとして適当となる。
(3-3)L-2L>0、かつ、g´(a)>0の場合
上記式(14)のaの項の係数であるL-2Lが0より大きく、かつ、上記式(14)によって表される2次曲線の軸の位置g(a)の微分値g´(a)が0より大きい場合、上記一般式(15)によって表される解が距離aとして適当となる。
上記一般式(15)および(16)内において、第1の光学系OS1の焦点距離f、第2の光学系OS2の焦点距離f、および初期状態における第1の光学系OS1の前側主点と、初期状態における第2の光学系OS2の前側主点との間の奥行視差Dは、第1の光学系OS1および第2の光学系OS2を構成および配置する際に決定される固定値である。そのため、像倍比MRを得ることができれば、上述の条件分けに従い、上記一般式(15)または(16)を用いることにより、第1の光学系OS1の前側主点から被写体100までの距離aを一意に算出することができる。
図2には、上記一般式(15)または(16)に基づいて算出された、第1の光学系OS1によって第1の撮像素子S1の撮像面上に形成される第1の被写体像の倍率mと、第2の光学系OS2によって第2の撮像素子S2の撮像面上に形成される第2の被写体像の倍率mとの像倍比MRと、被写体100までの距離aとの関係の1例が示されている。図2から明らかなように、像倍比MRの値から、被写体100までの距離aを特定することができる。
一方、像倍比MRは、下記式(18)によって、算出することができる。下記式(18)中において、szは、被写体100の実際のサイズ(高さまたは幅)、Yは、第1の光学系OS1によって第1の撮像素子S1の撮像面上に形成される第1の被写体像のサイズ(像高または像幅)、Yは、第2の光学系OS2によって第2の撮像素子S2の撮像面上に形成される第2の被写体像のサイズ(像高または像幅)である。
Figure 0007104296000018
第1の被写体像のサイズYおよび第2の被写体像のサイズYは、第1の撮像素子S1および第2の撮像素子S2が第1の被写体像および第2の被写体像を撮像することにより取得される、第1の被写体像の画像信号および第2の被写体像の画像信号から算出することができる。そのため、実際に被写体100を第1の撮像系IS1および第2の撮像系IS2を用いて撮像することにより得られた第1の被写体像の画像信号および第2の被写体像の画像信号から、第1の被写体像のサイズYおよび第2の被写体像のサイズYを実測し、それに基づいて、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを得ることができる。
本発明の測距カメラは、上述の原理により、実測される第1の被写体像のサイズYおよび第2の被写体像のサイズYに基づいて、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを算出し、さらに、算出した像倍比MRを用いて、第1の光学系OS1の前側主点から被写体100までの距離aを算出する。
なお、像倍比MRに関する上記式(13)から明らかなように、第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fが等しく(f=f=f)、かつ、初期状態における第1の光学系OS1の前側主点と、初期状態における第2の光学系OS2の前側主点との間に奥行視差Dが存在しない場合(D=0、すなわち、a=A)には、像倍比MRが距離aの関数として成立せず、定数となる。この場合、図3に示すように、被写体100までの距離aに応じた第1の被写体像の倍率mの変化が、被写体100までの距離aに応じた第2の被写体像の倍率mの変化と同一になってしまい、像倍比MRに基づいて被写体100までの距離aを算出することが不可能となる。
したがって、本発明の測距カメラでは、以下の2つの条件の少なくとも1つが満たされるよう、第1の光学系OS1および第2の光学系OS2が構成および配置され、これにより、被写体100までの距離aに応じた第1の被写体像の倍率mの変化が、被写体100までの距離aに応じた第2の被写体像の倍率mの変化と異なるようになっている。
(第1の条件)第1の光学系OS1の焦点距離fと、第2の光学系OS2の焦点距離fとが、互いに異なる(f≠f
(第2の条件)第1のレンズ駆動部AF1がフォーカス動作を実行していない初期状態における第1の光学系OS1の前側主点と、第2のレンズ駆動部AF2がフォーカス動作を実行していない初期状態における第2の光学系OS2の前側主点との間の奥行視差Dが存在している(D≠0)
加えて、上記第1の条件および第2の条件の少なくとも1つを満たしていたとしても、上記一般式(15)または(16)を用いて、被写体100までの距離aを算出するためには、第1の光学系OS1および第2の光学系OS2が、下記式(19)および(20)で表される条件を満たすよう構成および配置されている必要がある。以下、下記式(19)の条件を第3の条件といい、下記式(20)の条件を第4の条件という。
Figure 0007104296000019
Figure 0007104296000020
上記式(19)の条件(第3の条件)が満たされない場合(すなわち、MR=f/fの場合)には、上記一般式(15)または(16)の分母がゼロとなってしまい、像倍比MRに基づいて、被写体100までの距離aを算出することができなくなる。一方、上記式(20)の条件(第4の条件)が満たされない場合(すなわち、上記式(20)の左辺が負になる場合)には、被写体100までの距離aが虚数を含んでしまうため、不適当である。
したがって、像倍比MRに基づいて、被写体100までの距離aを算出するために、本発明の測距カメラは、上述の第1の条件および第2の条件の少なくとも1つ、第3の条件、および第4の条件を満たすよう構成されている。そのため、本発明の測距カメラを用いて取得された第1の被写体像の画像信号および第2の被写体像の画像信号から実測される第1の被写体像のサイズYおよび第2の被写体像のサイズYから像倍比MRを算出することにより、第1の光学系OS1の前側主点から被写体100までの距離aを算出することができる。
以下、上述の原理を利用して、被写体までの距離を算出する本発明の測距カメラを、添付図面に示す好適な実施形態に基づいて説明する。
<第1実施形態>
最初に図4~図5を参照して、本発明の第1実施形態に係る測距カメラを詳述する。図4は、本発明の第1実施形態に係る測距カメラを概略的に示すブロック図である。図5は、図4に示す第1の光学系と第2の光学系の構成例を概略的に示す図である。
図4に示す測距カメラ1は、測距カメラ1の制御を行う制御部2と、被写体100からの光を集光し、第1の被写体像を形成するための第1の光学系OS1と、第1の光学系OS1のフォーカス動作(または、オートフォーカス動作)を実行するための第1のレンズ駆動部AF1と、被写体100からの光を集光し、第2の被写体像を形成するための第2の光学系OS2と、第2の光学系OS2のフォーカス動作(または、オートフォーカス動作)を実行するための第2のレンズ駆動部AF2と、第1の光学系OS1によって形成された第1の被写体像および第2の光学系OS2によって形成された第2の被写体像を撮像するための撮像部Sと、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRと、被写体100までの距離aとを関連付ける関連付情報を記憶している関連付情報記憶部3と、関連付情報記憶部3内の関連付情報と、撮像部Sによって撮像された第1の被写体像および第2の被写体像とに基づいて、被写体100までの距離aを算出するための距離算出部4と、撮像部Sが取得した第1の被写体像または第2の被写体像と、距離算出部4によって算出された被写体100までの距離aとに基づいて、被写体100の3次元画像を生成するための3次元画像生成部5と、液晶パネル等の任意の情報を表示するための表示部6と、使用者による操作を入力するための操作部7と、外部デバイスとの通信を実行するための通信部8と、測距カメラ1の各コンポーネント間のデータの授受を実行するためのデータバス9と、を備えている。
なお、本実施形態における第1の光学系OS1の構成および第2の光学系OS2の構成は、説明のための1例にすぎず、本発明はこれに限られない。第1の光学系OS1および第2の光学系OS2のそれぞれは、上述の第1の条件および第2の条件の少なくとも1つ、第3の条件、および第4の条件を満たし、被写体100までの距離に対する第1の被写体像の倍率mの変化が、被写体100までの距離に対する第2の被写体像の倍率mの変化と異なっていれば如何なる態様であってもよい。しかしながら、本実施形態の測距カメラ1は、像倍比MRに基づいて被写体100までの距離aを算出するために要求される上述の第1の条件および第2の条件のうち、第1の光学系OS1の焦点距離fと、第2の光学系OS2の焦点距離fとが、互いに異なる(f≠f)という第1の条件が満たされるよう、第1の光学系OS1および第2の光学系OS2が構成されていることを特徴とする。一方、本実施形態では、第1の光学系OS1および第2の光学系OS2は、上述の第2の条件(D≠0)を満たすように構成および配置されていない。さらに、本実施形態の測距カメラ1では、第1の光学系OS1および第2の光学系OS2が、上述の第3の条件および第4の条件が満たされるよう構成されている。
そのため、像倍比MRを用いて、被写体100までの距離aを算出するための上記一般式(15)および(16)は、D=0の条件により単純化され、それぞれ、下記式(21)および(22)で表すことができる。
Figure 0007104296000021
Figure 0007104296000022
本実施形態では、D=0なので、上記(3)の条件分けを考慮する必要がない。第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fとの間の関係が、上記(1)の条件分けであるf<fに当てはまる場合、上記式(21)によって表される解が距離aとして適当となり、被写体100までの距離aとして用いられる。一方、第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fとの間の関係が、上記(2)の条件であるf>fに当てはまる場合、上記式(22)によって表される解が距離aとして適当となり、被写体100までの距離aとして用いられる。
本実施形態の測距カメラ1は、撮像部Sによって被写体100を撮像することにより第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを算出し、さらに、上記式(21)または(22)を用いて、被写体100までの距離aを算出する。
以下、測距カメラ1の各コンポーネントについて詳述する。制御部2は、データバス9を介して、各コンポーネントとの間の各種データや各種指示の授受を行い、測距カメラ1の制御を実行する。制御部2は、演算処理を実行するためのプロセッサーと、測距カメラ1の制御を行うために必要なデータ、プログラム、モジュール等を保存しているメモリーとを備えており、制御部2のプロセッサーは、メモリー内に保存されているデータ、プログラム、モジュール等を用いることにより、測距カメラ1の制御を実行する。また、制御部2のプロセッサーは、測距カメラ1の各コンポーネントを用いることにより、所望の機能を提供することができる。例えば、制御部2のプロセッサーは、距離算出部4を用いることにより、撮像部Sによって撮像された第1の被写体像および第2の被写体像に基づいて、被写体100までの距離aを算出するための処理を実行することができる。
制御部2のプロセッサーは、例えば、1つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー(DSP)、中央演算処理装置(CPU)、メモリーコントロールユニット(MCU)、画像処理用演算処理装置(GPU)、状態機械、論理回路、特定用途向け集積回路(ASIC)、またはこれらの組み合わせ等のコンピューター可読命令に基づいて信号操作等の演算処理を実行する演算ユニットである。特に、制御部2のプロセッサーは、制御部2のメモリー内に保存されているコンピューター可読命令(例えば、データ、プログラム、モジュール等)をフェッチし、信号操作および制御を実行するよう構成されている。
制御部2のメモリーは、揮発性記憶媒体(例えば、RAM、SRAM、DRAM)、不揮発性記憶媒体(例えば、ROM、EPROM、EEPROM、フラッシュメモリー、ハードディスク、光ディスク、CD-ROM、デジタル多用途ディスク(DVD)、磁気カセット、磁気テープ、磁気ディスク)、またはこれらの組み合わせを含む着脱式または非着脱式のコンピューター可読媒体である。
第1の光学系OS1は、被写体100からの光を集光し、撮像部Sの第1の撮像素子S1の撮像面上に第1の被写体像を形成する機能を有する。第2の光学系OS2は、被写体100からの光を集光し、撮像部Sの第2の撮像素子S2の撮像面上に第2の被写体像を形成するための機能を有する。第1の光学系OS1および第2の光学系OS2は、1つ以上のレンズと絞り等の光学素子から構成されている。また、図示のように、第1の光学系OS1の光軸と、第2の光学系OS2の光軸は、平行であるが、一致してない。
上述のように、第1の光学系OS1および第2の光学系OS2は、第1の光学系OS1の焦点距離fと、第2の光学系OS2の焦点距離fとが、互いに異なるよう(f≠f)、構成されている。これにより、第1の光学系OS1によって形成される第1の被写体像の倍率mの被写体100までの距離aに応じた変化が、第2の光学系OS2によって形成される第2の被写体像の倍率mの被写体100までの距離aに応じた変化と異なるように構成されている。
例えば、図5に示すように、第1の光学系OS1は、凸レンズ(実像光学部品)から構成されており、第2の光学系OS2は、第1の光学系OS1を構成する凸レンズと同じ焦点距離を有する凸レンズ(実像光学部品)L1と、凸レンズL1と同一軸上であって、凸レンズL1から被写体100側に距離dだけ離間して配置された凹レンズ(虚像光学部品)L2と、から構成されている。この場合、第2の光学系OS2の焦点距離fは、凹レンズL2の効果により、第1の光学系OS1を構成する凸レンズの焦点距離fと異なったものとなる。このように、第1の光学系OS1と第2の光学系OS2の構成を互いに異なったものとすることにより、第1の光学系OS1の焦点距離fと、第2の光学系OS2の焦点距離fとを、互いに異なるものとすることができる。なお、図5に示す第1の光学系OS1および第2の光学系OS2の態様は例示に過ぎず、第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fとが異なっていれば、本発明はこれに限られない。
第2の光学系OS2のみが凹レンズL2を含んでおり、第1の光学系OS1が凹レンズを含んでいない図5に示す態様を例に挙げて、第1の光学系OS1および第2の光学系OS2の構成を説明したが、本発明はこれに限られない。第1の光学系OS1と第2の光学系OS2のそれぞれが凹レンズを備えているような態様もまた本発明の範囲内である。この場合、第1の光学系OS1および第2の光学系OS2のそれぞれに含まれる凹レンズの数、配置(例えば、他のレンズからの離間距離)、および焦点距離を調整することにより、第1の光学系OS1の焦点距離fと、第2の光学系OS2の焦点距離fとが互いに異なったものとなっている。これにより、被写体100までの距離aに対する第1の被写体像の倍率mの変化が、被写体100までの距離aに対する第2の被写体像の倍率mの変化と異なるようになっている。
このように、本実施形態における第1の光学系OS1および第2の光学系OS2の構成および配置は、上述の第1の条件(f≠f)が満たされており、それにより、被写体100までの距離aに対する第1の被写体像の倍率mの変化と、被写体100までの距離aに対する第2の被写体像の倍率mの変化とが、互いに異なるようになっていれば、如何なる態様であってもよい。
図4に戻り、第1のレンズ駆動部AF1は、制御部2のプロセッサーからの制御に応じて、第1の光学系OS1を構成するレンズの少なくとも1つ(例えば、フォーカスレンズ)を光軸方向に駆動させ(繰り出し)、第1の光学系OS1のフォーカス動作(または、オートフォーカス動作)を実行する機能を有している。同様に、第2のレンズ駆動部AF2は、制御部2のプロセッサーからの制御に応じて、第2の光学系OS2を構成するレンズの少なくとも1つ(例えば、フォーカスレンズ)を光軸方向に駆動させ(繰り出し)、第2の光学系OS2のフォーカス動作(または、オートフォーカス動作)を実行する機能を有している。第1のレンズ駆動部AF1および第2のレンズ駆動部AF2のそれぞれは、制御部2のプロセッサーからの制御に応じて、第1の光学系OS1または第2の光学系OS2のフォーカス動作を実行できれば特に限定されず、例えば、DCモーター、ステッピングモーター、ボイスコイルモーター等のアクチュエーターにより構成することができる。
なお、制御部2のプロセッサーは、コントラストオートフォーカス技術や位相差オートフォーカス技術等の任意のオートフォーカス技術を用いて、第1のレンズ駆動部AF1および第2のレンズ駆動部AF2を駆動し、第1の光学系OS1および第2の光学系OS2のフォーカス動作を実現する。
撮像部Sは、第1の光学系OS1によって形成された第1の被写体像および第2の光学系OS2によって形成された第2の被写体像を撮像し、第1の被写体像の画像信号および第2の被写体像の画像信号を取得する機能を有している。本実施形態では、撮像部Sは、第1の被写体像を撮像し、第1の被写体像の画像信号を取得するための第1の撮像素子S1と、第2の被写体像を撮像し、第2の被写体像の画像信号を取得するための第2の撮像素子S2と、を備えている。
第1の光学系OS1の後側主点から第1の撮像素子S1の撮像面までの離間距離は、第1のレンズ駆動部AF1による第1の光学系OS1のフォーカス動作が実行されていない初期状態(図4中において、第1の光学系OS1が点線で示されている状態)において、無限遠に位置する被写体100の第1の被写体像が、第1の撮像素子S1の撮像面上に形成されるよう設定されている。換言すれば、第1のレンズ駆動部AF1による第1の光学系OS1のフォーカス動作が実行されていない初期状態において、無限遠にピントが合うように、第1の光学系OS1および第1の撮像素子S1が配置されている。したがって、初期状態において、第1の光学系OS1の後側主点から第1の撮像素子S1の撮像面までの離間距離は、第1の光学系OS1の焦点距離fと等しい。そのため、任意の距離aに被写体100が位置する場合には、制御部2のプロセッサーからの制御に応じて、第1の光学系OS1を構成するレンズの少なくとも1つ(例えば、フォーカスレンズ)が繰り出され、第1の光学系OS1の前側主点および後側主点がΔbだけ、被写体100側にシフトし、任意の距離aに位置する被写体100にピントが合う。
同様に、第2の光学系OS2の後側主点から第2の撮像素子S2の撮像面までの離間距離は、第2のレンズ駆動部AF2による第2の光学系OS2のフォーカス動作が実行されていない初期状態(図4中において、第2の光学系OS2が点線で示されている状態)において、無限遠に位置する被写体100の第2の被写体像が、第2の撮像素子S2の撮像面上に形成されるよう設定されている。換言すれば、第2のレンズ駆動部AF2による第2の光学系OS2のフォーカス動作が実行されていない初期状態において、無限遠にピントが合うように、第2の光学系OS2および第2の撮像素子S2が配置されている。したがって、初期状態において、第2の光学系OS2の後側主点から第2の撮像素子S2の撮像面までの離間距離は、第2の光学系OS2の焦点距離fと等しい。そのため、任意の距離aに被写体100が位置する場合には、制御部2のプロセッサーからの制御に応じて、第2の光学系OS2を構成するレンズの少なくとも1つ(例えば、フォーカスレンズ)が繰り出され、第2の光学系OS2の前側主点および後側主点がΔbだけ、被写体100側にシフトし、任意の距離aに位置する被写体100にピントが合う。
なお、図示の形態では、第1の撮像素子S1、第1のレンズ駆動部AF1、および第1の光学系OS1が、同一の筐体内に設けられており、第2の撮像素子S2、第2のレンズ駆動部AF2、および第2の光学系OS2が、別の同一の筐体内に設けられているが、本発明はこれに限られない。第1の光学系OS1、第2の光学系OS2、第1のレンズ駆動部AF1、第2のレンズ駆動部AF2、第1の撮像素子S1、および第2の撮像素子S2がすべて同一の筐体内に設けられているような態様も、本発明の範囲内である。
第1の撮像素子S1および第2の撮像素子S2は、ベイヤー配列等の任意のパターンで配列されたRGB原色系カラーフィルターやCMY補色系カラーフィルターのようなカラーフィルターを有するカラー撮像素子であってもよいし、そのようなカラーフィルターを有さない白黒撮像素子であってもよい。
第1の光学系OS1によって、第1の撮像素子S1の撮像面上に第1の被写体像が形成され、第1の撮像素子S1によって第1の被写体像のカラーまたは白黒の画像信号が取得される。取得された第1の被写体像の画像信号は、データバス9を介して、制御部2や距離算出部4に送られる。同様に、第2の光学系OS2によって、第2の撮像素子S2の撮像面上に第2の被写体像が形成され、第2の撮像素子S2によって第2の被写体像のカラーまたは白黒の画像信号が取得される。取得された第2の被写体像の画像信号は、データバス9を介して、制御部2や距離算出部4に送られる。距離算出部4に送られた第1の被写体像の画像信号および第2の被写体像の画像信号は、被写体100までの距離aを算出するために用いられる。一方、制御部2に送られた第1の被写体像の画像信号および第2の被写体像の画像信号は、表示部6による画像表示や通信部8による画像信号の通信のために用いられる。
関連付情報記憶部3は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)と、第1の光学系OS1の前側主点から被写体100までの距離aとを関連付ける関連付情報を記憶するための任意の不揮発性記録媒体(例えば、ハードディスク、フラッシュメモリー)である。
関連付情報記憶部3に保存されている関連付情報は、第1の被写体像の倍率mと第2の被写体像の倍率との像倍比MR(m/m)から、第1の光学系OS1の前側主点から被写体100までの距離aを算出するための情報である。
典型的には、関連付情報記憶部3に保存されている関連付情報は、像倍比MRに基づいて被写体100までの距離aを算出するための上記式(21)および(22)(または、一般式(15)および(16))、並びに、該式中の第1の光学系OS1および第2の光学系OS2の構成および配置によって決定される上述の固定値である(上記式(21)および(22)用であれば、固定値であるfおよびf)。代替的に、関連付情報記憶部3に保存されている関連付情報は、像倍比MRと被写体100までの距離aとを一意に対応づけたルックアップテーブルであってもよい。関連付情報記憶部3に保存されているこのような関連付情報を参照することにより、像倍比MRに基づいて被写体100までの距離aを算出することが可能となる。
距離算出部4は、撮像部Sによって撮像された第1の被写体像および第2の被写体像に基づいて、被写体100までの距離aを算出する機能を有している。距離算出部4は、撮像部Sの第1の撮像素子S1から第1の被写体像の画像信号を受信し、さらに、撮像部Sの第2の撮像素子S2から第2の被写体像の画像信号を受信する。
その後、距離算出部4は、第1の被写体像の画像信号および第2の被写体像の画像信号に対して、Cannyのようなフィルター処理を施し、第1の被写体像の画像信号内における第1の被写体像のエッジ部および第2の被写体像の画像信号内における第2の被写体像のエッジ部を抽出する。距離算出部4は、抽出した第1の被写体像のエッジ部に基づいて、第1の被写体像のサイズ(像幅または像高)Yを算出し、さらに、抽出した第2の被写体像のエッジ部に基づいて、第2の被写体像のサイズ(像幅または像高)Yを算出する。
距離算出部4が、抽出した第1の被写体像のエッジ部および第2の被写体像のエッジ部に基づいて、第1の被写体像のサイズYおよび第2の被写体像のサイズYを算出する方法は特に限定されないが、例えば、各画像信号中において、被写体像のエッジ部の最も上側にある部分と最も下側にある部分との離間距離を被写体像の像高としてもよいし、被写体像のエッジ部の最も左側にある部分と最も右側にある部分との離間距離を被写体像の像幅としてもよい。
その後、距離算出部4は、算出した第1の被写体像のサイズYおよび第2の被写体像のサイズYに基づき、上記式(18)MR=Y/Yによって、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを算出する。像倍比MRが算出されると、距離算出部4は、関連付情報記憶部3に保存されている関連付情報を参照し、像倍比MRに基づいて、被写体100までの距離aを算出(特定)する。
3次元画像生成部5は、距離算出部4によって算出された被写体100までの距離aおよび撮像部Sが取得した被写体100の2次元画像(第1の被写体像の画像信号または第2の被写体像の画像信号)に基づいて、被写体100の3次元画像を生成する機能を有している。ここで言う「被写体100の3次元画像」とは、通常の被写体100のカラーまたは白黒の2次元画像のピクセルに対して、算出された被写体100の距離aが関連付けられているデータを意味する。
表示部6は、液晶表示部等のパネル型表示部であり、制御部2のプロセッサーからの信号に応じて、撮像部Sによって取得された被写体100の2次元画像(第1の被写体像の画像信号または第2の被写体像の画像信号)、距離算出部4によって生成された被写体100までの距離a、3次元画像生成部5によって生成された被写体100の3次元画像のような画像、測距カメラ1を操作するための情報等が文字または画像の様態で表示部6に表示される。
操作部7は、測距カメラ1の使用者が操作を実行するために用いられる。操作部7は、測距カメラ1の使用者が操作を実行することができれば特に限定されず、例えば、マウス、キーボード、テンキー、ボタン、ダイヤル、レバー、タッチパネル等を操作部7として用いることができる。操作部7は、測距カメラ1の使用者による操作に応じた信号を制御部2のプロセッサーに送信する。
通信部8は、測距カメラ1に対するデータの入力または測距カメラ1から外部デバイスへのデータの出力を行う機能を有している。通信部8は、インターネットのようなネットワークに接続されていてもよい。この場合、測距カメラ1は、通信部8を用いることにより、外部に設けられたウェブサーバーやデータサーバーのような外部デバイスと通信を行うことができる。
このように、本実施形態の測距カメラ1では、第1の光学系OS1および第2の光学系OS2が、第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fとが、互いに異なるよう(f≠f)、構成されており、これにより、被写体100までの距離aに対する第1の被写体像の倍率mの変化と、被写体100までの距離aに対する第2の被写体像の倍率mの変化とが、互いに異なるようになっている。そのため、本発明の測距カメラ1は、複数の画像間の並進視差を用いず、かつ、被写体への一定パターンの照射を行わずに、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)に基づいて、被写体100までの距離aを一意に算出(特定)することができる。
また、本実施形態では、第1の光学系OS1および第2の光学系OS2は、第1の光学系OS1の焦点距離fと、第2の光学系OS2の焦点距離fとが異なるように、構成されているため、撮像部Sの第1の撮像素子S1によって取得される第1の被写体像の画像信号の画角と倍率は、撮像部Sの第2の撮像素子S2によって取得される第2の被写体像の画像信号の画角と倍率と異なる。よって、本実施形態の測距カメラ1では、簡易に異なる画角および倍率の2つの画像信号(第1の被写体像の画像信号と第2の被写体像の画像信号)を同時に取得することができる。このように画角や倍率が異なる複数の画像信号は、様々な用途に利用することができる。
例えば、本実施形態の測距カメラ1は、画角や倍率が異なる複数の画像信号を取得することができるので、虹彩認証システムにおいて、本実施形態の測距カメラ1を好適に用いることができる。本実施形態の測距カメラ1を虹彩認証システムにおいて用いた場合、広画角および低倍率の認証対象者の顔画像(または全身画像)と狭画角および高倍率の認証対象者の両眼画像を同時に取得することができる。そのため、本実施形態の測距カメラ1を用いることにより、ズーム機能を有するカメラを用いなくとも、両眼の虹彩認証を実行することができ、虹彩認証システムを小型化および低コスト化することができる。
また、本実施形態の測距カメラ1は、精密機器の組み立てや検査のために用いられるハンドラーロボットにおいて好適に利用することができる。ハンドラーロボットを駆動する際には、組み立て対象の部品までの距離を算出する必要があるとともに、部品のおおまかな位置を特定するための広画角および低倍率の画像と、部品の組み立ての際にハンドラーロボットのハンドを精密に制御するための狭画角および高倍率の画像とが必要とされる。本実施形態の測距カメラ1は、部品(被写体)までの距離を算出することができるとともに、広画角および低倍率の画像と、狭画角および高倍率の画像とを同時取得することができるため、ハンドラーロボットにおいて特に有用である。本実施形態の測距カメラ1は、部品までの距離の測定、広画角および低倍率の画像の取得、および狭画角および高倍率の画像の取得という3つの機能を提供することができるため、本実施形態の測距カメラ1をハンドラーロボットにおいて用いることにより、ハンドラーロボットにおいて用いられるカメラの数を減らすことができる。そのため、ハンドラーロボットを小型化および低コスト化することができる。
また、本実施形態の測距カメラ1は、車両乗員検知用途において好適に利用することができる。本実施形態の測距カメラ1によって広画角および低倍率の画像を取得することにより、追加的なカメラを用いずとも、車両内の広範な乗員検知を実現することができる。そのため、車両乗員検知システムを小型化および低コスト化することができる。
<第2実施形態>
次に、図6を参照して、本発明の第2実施形態に係る測距カメラ1について詳述する。図6は、本発明の第2実施形態に係る測距カメラを概略的に示すブロック図である。
以下、第2実施形態の測距カメラ1について、第1実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。第2実施形態の測距カメラ1では、第1の光学系OS1によって撮像部Sの第1の撮像素子S1の撮像面上に集光される光の光路上に第1のバンドパスフィルター10aが配置され、さらに、第2の光学系OS2によって撮像部Sの第2の撮像素子S2の撮像面上に集光される光の光路上に第2のバンドパスフィルター10bが配置されている点を除き、第1実施形態の測距カメラ1と同様である。
なお、図示の形態では、第1のバンドパスフィルター10aが第1の光学系OS1の前面側(被写体100側)に配置され、第2のバンドパスフィルター10bが第2の光学系OS2の前面側(被写体100側)に配置されているが本発明はこれに限られない。例えば、第1のバンドパスフィルター10aが第1の光学系OS1の後面側(第1の撮像素子S1側)に配置され、第2のバンドパスフィルター10bが第2の光学系OS2の後面側(第2の撮像素子S2側)に配置されている態様も本発明の範囲内である。
第1のバンドパスフィルター10aは、第1の光学系OS1によって第1の撮像素子S1の撮像面上に集光される被写体100からの光のうち、特定の波長帯域の光のみを通過させる。第2のバンドパスフィルター10bは、第2の光学系OS2によって第2の撮像素子S2の撮像面上に集光される被写体100からの光のうち、特定の波長帯域の光のみを通過させる。第1のバンドパスフィルター10aが通過させる光の波長帯域は、第2のバンドパスフィルター10bが通過させる光の波長帯域とは異なっている。そのため、第1の撮像素子S1および第2の撮像素子S2は、それぞれ異なる波長帯域の光を受光することができる。
なお、第1の撮像素子S1および第2の撮像素子S2のそれぞれは、ベイヤー配列等の任意のパターンで配列されたRGB原色系カラーフィルターやCMY補色系カラーフィルターのようなカラーフィルターを有するカラー撮像素子であってもよいし、カラーフィルターを有さない白黒撮像素子であってもよいが、白黒撮像素子であることが好ましい。白黒撮像素子を第1の撮像素子S1および第2の撮像素子S2として用いることにより、第1のバンドパスフィルター10aまたは第2のバンドパスフィルター10bを通過した特定の波長帯域の光の光量がカラー撮像素子のカラーフィルターによってさらに減少してしまうことを防止することができる。
このように、本実施形態では、第1の撮像素子S1および第2の撮像素子S2は、それぞれ異なる波長帯域の光を受光することができるので、異なる波長帯域の光によって形成された2つの画像信号(第1の被写体像の画像信号と第2の被写体像の画像信号)を同時取得することができる。そのため、異なる波長帯域の光によって形成された複数の画像信号を用いることが有用な用途、例えば、虹彩認証システムや車載カメラの暗視野乗員状態検知システムに測距カメラ1を用いることができる。
また、本実施形態の測距カメラ1では、異なる波長帯域の光によって形成された2つの画像信号を取得するために、異なる波長帯域の光を発する複数の光源を用いる必要がない。そのため、上述のような異なる波長帯域の光によって形成された複数の画像信号を用いることが有用な用途で測距カメラ1を用いる場合でも、測距カメラ1の小型化および低コスト化が可能である。
<第3実施形態>
次に、図7を参照して、本発明の第3実施形態に係る測距カメラ1について詳述する。図7は、本発明の第3実施形態に係る測距カメラを概略的に示すブロック図である。
以下、第3実施形態の測距カメラ1について、第2実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。第3実施形態の測距カメラ1では、撮像部Sが第1の撮像素子S1のみから構成されている点、第1の光学系OS1、第2の光学系OS2、第1のレンズ駆動部AF1、第2のレンズ駆動部AF2、第1のバンドパスフィルター10a、第2のバンドパスフィルター10b、および第1の撮像素子S1が同一の筐体内に設けられている点、該筐体内にミラー11とプリズム12が設けられている点、および第1の撮像素子S1がカラー撮像素子に限定される点を除き、第2実施形態の測距カメラ1と同様である。
図7に示すように、本実施形態では、第1の光学系OS1、第2の光学系OS2、第1のレンズ駆動部AF1、第2のレンズ駆動部AF2、第1のバンドパスフィルター10a、第2のバンドパスフィルター10b、および第1の撮像素子S1が同一の筐体内に設けられている。また、第2の光学系OS2によって集光される光の光路上には、ミラー11およびプリズム12が配置されている。第2のバンドパスフィルター10bを通過し、第2の光学系OS2によって集光された光は、ミラー11およびプリズム12を通過し、第1の撮像素子S1の撮像面上で結像する。これにより、第2の被写体像が、第1の撮像素子S1の撮像面上に形成される。
したがって、本実施形態においては、第1の光学系OS1によって形成される第1の被写体像および第2の光学系OS2によって形成される第2の被写体像の双方が、第1の撮像素子S1の撮像面上に形成される。
また、本実施形態において、第1の撮像素子S1は、ベイヤー配列のような任意のパターンで配列されたRGB原色系カラーフィルターやCMY補色系カラーフィルターのようなカラーフィルターを有するカラー撮像素子である。第1のバンドパスフィルター10aが通過させる光の波長帯域は、第1の撮像素子S1が有する複数のカラーフィルターのいずれか1つに対応しており、第2のバンドパスフィルター10bが通過させる光の波長帯域は、第1の撮像素子S1が有する複数のカラーフィルターの異なる1つに対応している。
これにより、第1の撮像素子S1によって取得される各カラーフィルターに対応する画像信号(例えば、赤色画像信号、緑色画像信号、および青色画像信号)のいずれか1つが、第1の被写体像の画像信号に対応し、異なる1つが第2の被写体像の画像信号に対応する。そのため、第1の撮像素子S1は、第1の被写体像の画像信号と第2の被写体像の画像信号を分離して同時取得することができる。
例えば、第1のバンドパスフィルター10aが通過させる光の波長帯域が、第1の撮像素子S1が有する複数のカラーフィルターの赤カラーフィルターの透過波長帯域に対応している場合、第1の撮像素子S1によって取得される赤色画像信号が、第1の被写体像の画像信号となる。一方、第2のバンドパスフィルター10bが通過させる光の波長帯域が、第1の撮像素子S1が有する複数のカラーフィルターの緑カラーフィルターの透過波長帯域に対応している場合、第1の撮像素子S1によって取得される緑色画像信号が、第2の被写体像の画像信号となる。
このような態様により、撮像部Sを、第1の光学系OS1によって形成される第1の被写体像および第2の光学系OS2によって形成される第2の被写体像の双方を撮像する単一のカラー撮像素子(第1の撮像素子S1)で構成することができる。そのため、測距カメラ1の小型化および低コスト化を実現することができる。
<第4実施形態>
次に、図8を参照して、本発明の第4実施形態に係る測距カメラ1について詳述する。図8は、本発明の第4実施形態に係る測距カメラを概略的に示すブロック図である。
以下、第4実施形態の測距カメラ1について、第3実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。第4実施形態の測距カメラ1では、第1のバンドパスフィルター10aおよび第2のバンドパスフィルター10bが省略されている点、第1のシャッター13aおよび第2のシャッター13bが筐体内に設けられている点、および第1の撮像素子S1がカラー撮像素子に限定されない点を除き、第3実施形態の測距カメラ1と同様である。
図8に示すように、本実施形態では、第1の光学系OS1への被写体100からの光の入射を遮断する第1のシャッター13aおよび第2の光学系OS2への被写体100からの光の入射を遮断する第2のシャッター13bが筐体内に設けられている。第1のシャッター13aおよび第2のシャッター13bは、制御部2のプロセッサーによって制御され、制御部2のプロセッサーからの信号に応じて開閉する。第1のシャッター13aおよび第2のシャッター13bは、双方のいずれか一方のみが開かれるように制御され、同時に開かれることはない。
第1のシャッター13aが開かれると、被写体100からの光が第1の光学系OS1へ入射し、第1の撮像素子S1の撮像面上に第1の被写体像が形成される。この際、第1の撮像素子S1は、第1の被写体像の画像信号を取得し、制御部2や距離算出部4に第1の被写体像の画像信号を送る。
一方、第2のシャッター13bが開かれると、被写体100からの光が第2の光学系OS2へ入射し、ミラー11やプリズム12を介して、第1の撮像素子S1の撮像面上に第2の被写体像が形成される。この際、第1の撮像素子S1は、第2の被写体像の画像信号を取得し、制御部2や距離算出部4に第2の被写体像の画像信号を送る。
このように、本実施形態においては、制御部2のプロセッサーによる制御によって、第1のシャッター13aおよび第2のシャッター13bのいずれか一方が開かれる。このような制御によって、測距カメラ1は、第1の被写体像の画像信号および第2の被写体像の画像信号を分離して取得することができる。
また、本実施形態では、撮像部Sを、第1の光学系OS1によって形成される第1の被写体像および第2の光学系OS2によって形成される第2の被写体像の双方を撮像する単一の撮像素子(第1の撮像素子S1)で構成することができる。そのため、測距カメラ1の小型化および低コスト化を実現することができる。
また、本実施形態では、前述の第3実施形態と異なり、第1の撮像素子S1は、白黒撮像素子であってもよい。白黒撮像素子を第1の撮像素子S1として用いることにより、測距カメラ1をより低コスト化することができる。
<第5実施形態>
次に、図9を参照して、本発明の第5実施形態に係る測距カメラ1について詳述する。図9は、本発明の第5実施形態に係る測距カメラを概略的に示すブロック図である。
以下、第5実施形態の測距カメラ1について、第1実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ1は、第1の光学系OS1および第2の光学系OS2の構成および配置が変更されている点を除き、第1実施形態の測距カメラ1と同様である。
図9に示すように、本実施形態の測距カメラ1は、像倍比MRに基づいて被写体100までの距離aを算出するために要求される上述の第1の条件および第2の条件の内、第1のレンズ駆動部AF1がフォーカス動作を実行していない初期状態における第1の光学系OS1の前側主点と、第2のレンズ駆動部AF2がフォーカス動作を実行していない初期状態における第2の光学系OS2の前側主点との間の奥行視差Dが存在している(D≠0)という第2の条件が満たされるよう、第1の光学系OS1および第2の光学系OS2が構成および配置されていることを特徴とする。一方、本実施形態では、第1の光学系OS1および第2の光学系OS2は、上述の第1の条件(f≠f)を満たすように構成されていない。さらに、本実施形態の測距カメラ1では、第1の光学系OS1および第2の光学系OS2が、上述の第3の条件および第4の条件が満たされるよう構成されている。
そのため、像倍比MRを用いて、第1の光学系OS1の前側主点から被写体100までの距離aを算出するための上記一般式(15)および(16)は、f=f=fの条件により単純化され、それぞれ、下記式(23)および(24)で表すことができる。
Figure 0007104296000023
Figure 0007104296000024
なお、本実施形態では、f=f=fの条件から、第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fとの間の関係が、上記(1)の条件分けであるf≦fを必然的に満たすので、上記式(23)で表される解が距離aとして適当となる。そのため、上記式(23)で表される解が被写体100までの距離aとして用いられる。
このように、本実施形態の測距カメラ1では、第1のレンズ駆動部AF1がフォーカス動作を実行していない初期状態における第1の光学系OS1の前側主点と、第2のレンズ駆動部AF2がフォーカス動作を実行していない初期状態における第2の光学系OS2の前側主点との間の奥行視差Dが存在するよう(D≠0)、構成および配置されており、これにより、被写体100までの距離aに対する第1の被写体像の倍率mの変化と、被写体100までの距離aに対する第2の被写体像の倍率mの変化とが、互いに異なるようになっている。そのため、本実施形態の測距カメラ1は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)に基づいて、被写体100までの距離aを一意に算出することができる。
本実施形態によっても、上述の第1実施形態と同様の効果を発揮することができる。なお、本実施形態における第1の光学系OS1の構成および第2の光学系OS2の構成および配置は、上述の第2の条件が満たされており、それにより、被写体100までの距離aに対する第1の被写体像の倍率mの変化と、被写体100までの距離aに対する第2の被写体像の倍率mの変化とが、互いに異なるようになっていれば、如何なる態様であってもよい。
<第6実施形態>
次に、図10を参照して、本発明の第6実施形態に係る測距カメラ1について詳述する。図10は、本発明の第6実施形態に係る測距カメラを概略的に示すブロック図である。
以下、第6実施形態の測距カメラ1について、第5実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ1と第5実施形態の測距カメラ1との相違点は、上述した第2実施形態の測距カメラ1と第1実施形態の測距カメラ1との相違点と同様である。すなわち、第6実施形態の測距カメラ1では、第1の光学系OS1によって撮像部Sの第1の撮像素子S1の撮像面上に集光される光の光路上に第1のバンドパスフィルター10aが配置され、さらに、第2の光学系OS2によって撮像部Sの第2の撮像素子S2の撮像面上に集光される光の光路上に第2のバンドパスフィルター10bが配置されている点を除き、第5実施形態の測距カメラ1と同様である。
図10に示すように、第2実施形態と同様に、第1のバンドパスフィルター10aは、第1の光学系OS1によって第1の撮像素子S1の撮像面上に集光される被写体100からの光のうち、特定の波長帯域の光のみを通過させる。第2のバンドパスフィルター10bは、第2の光学系OS2によって第2の撮像素子S2の撮像面上に集光される被写体100からの光のうち、特定の波長帯域の光のみを通過させる。また、第1のバンドパスフィルター10aが通過させる光の波長帯域は、第2のバンドパスフィルター10bが通過させる光の波長帯域とは異なっている。そのため、第1の撮像素子S1および第2の撮像素子S2は、それぞれ異なる波長帯域の光を受光することができる。
このように、第2実施形態と同様に、本実施形態では、第1の撮像素子S1および第2の撮像素子S2は、それぞれ異なる波長帯域の光を受光することができるので、異なる波長帯域の光によって形成された2つの画像信号(第1の被写体像の画像信号と第2の被写体像の画像信号)を同時取得することができる。そのため、異なる波長帯域の光によって形成された複数の画像信号を用いることが有用な用途、例えば、虹彩認証システムや車載カメラの暗視野乗員状態検知システムに測距カメラ1を用いることができる。
また、第2実施形態と同様に、本実施形態では、異なる波長帯域の光によって形成された2つの画像信号を取得するために、異なる波長帯域の光を発する複数の光源を用いる必要がない。そのため、上述のような異なる波長帯域の光によって形成された複数の画像信号を用いることが有用な用途で測距カメラ1を用いる場合でも、測距カメラ1の小型化および低コスト化が可能である。
<第7実施形態>
次に、図11を参照して、本発明の第7実施形態に係る測距カメラ1について詳述する。図11は、本発明の第7実施形態に係る測距カメラを概略的に示すブロック図である。
以下、第7実施形態の測距カメラ1について、第6実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ1と第6実施形態の測距カメラ1との相違点は、上述した第3実施形態の測距カメラ1と第2実施形態の測距カメラ1との相違点と同様である。すなわち、第7実施形態の測距カメラ1では、撮像部Sが第1の撮像素子S1のみから構成されている点、第1の光学系OS1、第2の光学系OS2、第1のレンズ駆動部AF1、第2のレンズ駆動部AF2、第1のバンドパスフィルター10a、第2のバンドパスフィルター10b、および第1の撮像素子S1が同一の筐体内に設けられている点、該筐体内にミラー11とプリズム12が設けられている点、および第1の撮像素子S1がカラー撮像素子に限定される点を除き、第6実施形態の測距カメラ1と同様である。
図11に示すように、第3実施形態と同様に、第1の光学系OS1、第2の光学系OS2、第1のレンズ駆動部AF1、第2のレンズ駆動部AF2、第1のバンドパスフィルター10a、第2のバンドパスフィルター10b、および第1の撮像素子S1が同一の筐体内に設けられている。また、第2の光学系OS2によって集光される光の光路上には、ミラー11およびプリズム12が配置されている。第2のバンドパスフィルター10bを通過し、第2の光学系OS2によって集光された光は、ミラー11およびプリズム12を通過し、第1の撮像素子S1の撮像面上で結像する。これにより、第2の被写体像が、第1の撮像素子S1の撮像面上に形成される。
また、第3実施形態と同様に、第1の撮像素子S1は、ベイヤー配列のような任意のパターンで配列されたRGB原色系カラーフィルターやCMY補色系カラーフィルターのようなカラーフィルターを有するカラー撮像素子である。第1のバンドパスフィルター10aが通過させる光の波長帯域は、第1の撮像素子S1が有する複数のカラーフィルターのいずれか1つに対応しており、第2のバンドパスフィルター10bが通過させる光の波長帯域は、第1の撮像素子S1が有する複数のカラーフィルターの異なる1つに対応している。
これにより、第1の撮像素子S1によって取得される各カラーフィルターに対応する画像信号(例えば、赤色画像信号、緑色画像信号、および青色画像信号)のいずれか1つが、第1の被写体像の画像信号に対応し、異なる1つが第2の被写体像の画像信号に対応する。そのため、第1の撮像素子S1は、第1の被写体像の画像信号と第2の被写体像の画像信号を分離して同時取得することができる。
<第8実施形態>
次に、図12を参照して、本発明の第8実施形態に係る測距カメラ1について詳述する。図12は、本発明の第8実施形態に係る測距カメラを概略的に示すブロック図である。
以下、第8実施形態の測距カメラ1について、第7実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ1と第7実施形態の測距カメラ1との相違点は、上述した第4実施形態の測距カメラ1と第3実施形態の測距カメラ1との相違点と同様である。すなわち、第8実施形態の測距カメラ1では、第1のバンドパスフィルター10aおよび第2のバンドパスフィルター10bが省略されている点、第1のシャッター13aおよび第2のシャッター13bが筐体内に設けられている点、および第1の撮像素子S1がカラー撮像素子に限定されない点を除き、第7実施形態の測距カメラ1と同様である。
図12に示すように、第4実施形態と同様に、本実施形態の測距カメラ1では、第1の光学系OS1の前面側(被写体100側)に、第1の光学系OS1への被写体100からの光の入射を遮断する第1のシャッター13aが配置され、第2の光学系OS2の前面側に、第2の光学系OS2への被写体100からの光の入射を遮断する第2のシャッター13bが配置されている。
第1のシャッター13aおよび第2のシャッター13bは、上述した第4実施形態と同様の動作を行うので、測距カメラ1は、単一の撮像素子(第1の撮像素子S1)のみを用いて、第1の被写体像の画像信号および第2の被写体像の画像信号を分離して取得することができる。
このように、第4実施形態と同様に、本実施形態では、撮像部Sを、第1の光学系OS1によって形成される第1の被写体像および第2の光学系OS2によって形成される第2の被写体像の双方を撮像する単一の撮像素子(第1の撮像素子S1)で構成することができる。そのため、測距カメラ1の小型化および低コスト化を実現することができる。
ここまで各実施形態を参照して詳述したように、本発明の測距カメラ1は、複数の画像間の並進視差を用いず、かつ、被写体への一定パターンの照射を行わずに、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)に基づいて、被写体100までの距離aを一意に算出することができる。
そのため、本発明の測距カメラ1では、従来の複数の画像間の並進視差を用いたステレオカメラ方式の測距カメラと異なり、大きな並進視差を確保する必要がないため、第1の光学系OS1および第2の光学系OS2を近接して配置しても、被写体100までの距離aを正確に算出することができる。これにより、従来のステレオカメラ方式の測距カメラと比較して、測距カメラ1の小型化を実現することができる。また、並進視差を考慮して測距カメラ1を設計する必要がなくなるため、測距カメラ1の設計の自由度を増大させることができる。
また、本発明の測距カメラ1では、パターン照射方式の測距カメラと異なり、一定パターンの光を被写体に照射するプロジェクター等の特殊な光源を用いる必要がない。そのため、測距カメラ1のシステム構成をシンプルにすることができる。これにより、従来のパターン照射方式の測距カメラと比較して、測距カメラ1の小型化、低消費電力化、および低コスト化を実現することができる。
なお、上記各実施形態では、第1の光学系OS1および第2の光学系OS2の2つの光学系が用いられているが、用いられる光学系の数はこれに限られない。例えば、第1の光学系OS1および第2の光学系OS2に加え、追加的な光学系をさらに備えるような態様もまた本発明の範囲内である。この場合、追加的な光学系は、追加的な光学系によって形成される被写体像の倍率の被写体100までの距離aに対する変化は、第1の被写体像の倍率mの被写体までの距離aに対する変化および第2の被写体像の倍率mの被写体までの距離aに対する変化と異なるように構成および配置されている。
また、上述した各実施形態は、像倍比MRに基づいて被写体100までの距離aを算出するために要求される上述の第1の条件および第2の条件の内のいずれか1つ、第3の条件、および第4の条件を満たすよう第1の光学系OS1および第2の光学系OS2が構成および配置されているが、上述の第1の条件~第4の条件の全てが満たされるように、第1の光学系OS1および第2の光学系OS2が構成および配置されている態様(例えば、図1に示すような第1の光学系OS1および第2の光学系OS2の構成および配置)も、本発明の範囲内である。
<測距方法>
次に図13を参照して、本発明の測距カメラ1によって実行される測距方法について説明する。図13は、本発明の測距カメラによって実行される測距方法を説明するためのフローチャートである。なお、以下に詳述する測距方法は、上述した本発明の第1~第8実施形態に係る測距カメラ1および測距カメラ1と同等の機能を有する任意の装置を用いて実行することができるが、説明のため、第1実施形態に係る測距カメラ1を用いて実行されるものとして説明する。
図13に示す測距方法S100は、測距カメラ1の使用者が操作部7を用いて、被写体100までの距離aを測定するための操作を実行することにより開始される。工程S110において、制御部2のプロセッサーからの制御に応じて、第1のレンズ駆動部AF1が駆動され、被写体100に対してピントを合わせるための第1の光学系OS1のフォーカス動作が実行される。その後、撮像部Sの第1の撮像素子S1によって、第1の光学系OS1によって形成された第1の被写体像が撮像され、第1の被写体像の画像信号が取得される。第1の被写体像の画像信号は、データバス9を介して、制御部2や距離算出部4に送られる。工程S120において、距離算出部4は、受信した第1の被写体像の画像信号から、第1の被写体像のサイズ(像高または像幅)Yを算出する。
一方、工程S130において、制御部2のプロセッサーからの制御に応じて、第2のレンズ駆動部AF2が駆動され、被写体100に対してピントを合わせるための第2の光学系OS2のフォーカス動作が実行される。その後、撮像部Sの第2の撮像素子S2によって、第2の光学系OS2によって形成された第2の被写体像が撮像され、第2の被写体像の画像信号が取得される。第2の被写体像の画像信号は、データバス9を介して、制御部2や距離算出部4に送られる。工程S140において、距離算出部4は、受信した第2の被写体像の画像信号から、第2の被写体像のサイズ(像高または像幅)Yを算出する。
なお、工程S110および工程S120における第1の被写体像の画像信号の取得と第1の被写体像のサイズYの算出は、工程S130および工程S140における第2の被写体像の画像信号の取得と第2の被写体像のサイズYの算出と同時に実行されてもよいし、別々に実行されてもよい。
第1の被写体像のサイズYおよび第2の被写体像のサイズYの双方が算出されると、処理は、工程S150に移行する。工程S150において、距離算出部4は、第1の被写体像のサイズYおよび第2の被写体像のサイズYから、上記式(18)MR=Y/Yに基づいて、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを算出する。
次に、工程S160において、距離算出部4は、関連付情報記憶部3に保存されている関連付情報を参照し、算出した像倍比MRに基づいて、被写体100までの距離aを算出(特定)する。工程S160において被写体100までの距離aが算出されると、処理は、工程S170に移行する。
工程S170において、3次元画像生成部5が、距離算出部4によって算出された被写体100までの距離aおよび撮像部Sが取得した被写体100の2次元画像(第1の被写体像の画像信号または第2の被写体像の画像信号)に基づいて、被写体100の3次元画像を生成する。その後、ここまでの工程において取得された被写体100の2次元画像、被写体100までの距離a、および/または被写体100の3次元画像が、表示部6に表示され、または通信部8によって外部デバイスに送信され、測距方法S100は終了する。
以上、本発明の測距カメラを図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではない。本発明の各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、本発明の各構成に任意の構成のものを付加することができる。
本発明の属する分野および技術における当業者であれば、本発明の原理、考え方、および範囲から有意に逸脱することなく、記述された本発明の測距カメラの構成の変更を実行可能であろうし、変更された構成を有する測距カメラもまた、本発明の範囲内である。
例えば、図4および図6~図12に示された測距カメラ1のコンポーネントの数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意のコンポーネントが追加若しくは組み合わされ、または任意のコンポーネントが削除された態様も、本発明の範囲内である。また、測距カメラ1の各コンポーネントは、ハードウェア的に実現されていてもよいし、ソフトウェア的に実現されていてもよいし、これらの組み合わせによって実現されていてもよい。
また、図13に示された測距方法S100の工程の数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意の工程が、任意の目的で追加若しくは組み合され、または、任意の工程が削除される態様も、本発明の範囲内である。
<利用例>
本発明の測距カメラ1の利用例は特に限定されないが、例えば、被写体のポートレートを撮像するとともに、被写体の顔の3次元画像を取得するために、測距カメラ1を用いることができる。このような利用形態では、本発明の測距カメラ1をスマートフォンや携帯電話等のモバイルデバイス内に組み込むことが好ましい。
また、本発明の測距カメラ1は、精密機器の組み立てや検査のために用いられるハンドラーロボットにおいて利用することができる。測距カメラ1によれば、精密機器を組み立てる際に、ハンドラーロボット本体またはハンドラーロボットのアームから、精密機器または精密機器の部品までの距離を測定することができることから、ハンドラーロボットの把持部によって正確に部品を把持することができる。
また、本発明の測距カメラ1によれば、被写体までの距離を測定することができることから、被写体の3次元情報を取得することができる。このような被写体の3次元情報は、3Dプリンターによる3次元構造体の作製に用いることができる。
また、自動車内において、本発明の測距カメラ1を利用することにより、自動車から歩行者や障害物等の任意の物体までの距離を測定することができる。算出された任意の物体までの距離に関する情報は、自動車の自動ブレーキシステムや自動運転に用いることができる。
1…測距カメラ 2…制御部 3…関連付情報記憶部 4…距離算出部 5…3次元画像生成部 6…表示部 7…操作部 8…通信部 9…データバス 10a…第1のバンドパスフィルター 10b…第2のバンドパスフィルター 11…ミラー 12…プリズム 13a…第1のシャッター 13b…第2のシャッター a…距離 A…距離 d…離間距離 D…奥行視差 f、f、f…焦点距離 m、m…倍率 OS1…第1の光学系 OS2…第2の光学系 L1…凸レンズ L2…凹レンズ S…撮像部 S1…第1の撮像素子 S2…第2の撮像素子 S100…測距方法 S110、S120、S130、S140、S150、S160、S170…工程 Δb、Δb…シフト量 100…被写体 AF1…第1のレンズ駆動部 AF2…第2のレンズ駆動部 IS1、IS2…撮像系

Claims (9)

  1. 被写体からの光を集光し、第1の被写体像を形成するための第1の光学系と、
    前記被写体からの前記光を集光し、第2の被写体像を形成するための第2の光学系と、
    前記第1の光学系によって形成された前記第1の被写体像および前記第2の光学系によって形成された前記第2の被写体像を撮像するための撮像部と、
    前記撮像部によって撮像された前記第1の被写体像および前記第2の被写体像に基づいて、前記被写体までの距離を算出するための距離算出部と、
    前記第1の光学系のフォーカス動作を実行するための第1のレンズ駆動部と、
    前記第2の光学系のフォーカス動作を実行するための第2のレンズ駆動部と、 を備え、
    前記第1の光学系および前記第2の光学系は、前記被写体までの前記距離に応じた前記第1の被写体像の倍率の変化が、前記被写体までの前記距離に応じた前記第2の被写体像の倍率の変化と異なるように構成されており、
    前記距離算出部は、前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との像倍比に基づいて、前記被写体までの前記距離を算出し、
    前記第1の光学系、前記第2の光学系、および前記撮像部は、前記第1のレンズ駆動部および前記第2のレンズ駆動部が前記フォーカス動作を実行していない初期状態において、無限遠にピントが合うように配置されており、
    前記初期状態における前記第1の光学系の前側主点と、前記初期状態における前記第2の光学系の前側主点との間に光軸方向の奥行視差が存在し、これにより、前記被写体までの前記距離に応じた前記第1の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第2の被写体像の前記倍率の前記変化と異なるようになっている ことを特徴とする測距カメラ。
  2. 前記第1の光学系および前記第2の光学系は、前記第1の光学系の焦点距離と、前記第2の光学系の焦点距離とが、互いに異なるよう構成されており、これにより、前記被写体までの前記距離に応じた前記第1の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第2の被写体像の前記倍率の前記変化と異なるようになっている請求項1に記載の測距カメラ。
  3. 前記第1の光学系および前記第2の光学系の少なくとも一方は、前記被写体からの前記光を集光するための凸レンズと、前記被写体からの前記光を拡散させるための凹レンズとを含む請求項2に記載の測距カメラ。
  4. 前記第1の光学系および前記第2の光学系のそれぞれが前記凸レンズと前記凹レンズを含む場合、前記第1の光学系および前記第2の光学系のそれぞれに含まれる前記凹レンズの数、位置、および焦点距離を調整することにより、前記第1の光学系の前記焦点距離と、前記第2の光学系の前記焦点距離とが、互いに異なるようになっている請求項3に記載の測距カメラ。
  5. 前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比と、前記被写体までの前記距離とを関連付ける関連付情報を記憶している関連付情報記憶部をさらに備え、
    前記距離算出部は、前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比と、前記関連付情報記憶部内の前記関連付情報とに基づいて、前記被写体までの前記距離を算出する請求項1ないしのいずれかに記載の測距カメラ。
  6. 前記距離算出部は、前記第1の被写体像のサイズと前記第2の被写体像のサイズとの比を、前記第1の被写体像の前記倍率と前記第2の被写体像の前記倍率との前記像倍比として算出する請求項1ないしのいずれかに記載の測距カメラ。
  7. 前記第1の光学系によって集光される前記被写体からの前記光のうち、特定の波長帯域の光のみを通過させる第1のバンドパスフィルターと、前記第2の光学系によって集光される前記被写体からの前記光のうち、特定の波長帯域の光のみを通過させる第2のバンドパスフィルターと、をさらに備え、
    前記第1のバンドパスフィルターが通過させる前記光の前記特定の波長帯域と、前記第2のバンドパスフィルターが通過させる前記光の前記特定の波長帯域とは異なっている請求項1ないしのいずれかに記載の測距カメラ。
  8. 前記撮像部は、前記第1の被写体像を撮像するための第1の撮像素子と、前記第2の被写体像を撮像するための第2の撮像素子とを含む請求項1ないしのいずれかに記載の測距カメラ。
  9. 前記撮像部は、前記第1の被写体像および前記第2の被写体像の双方を撮像する単一の撮像素子である請求項1ないしのいずれかに記載の測距カメラ。
JP2018010035A 2017-08-09 2018-01-24 測距カメラ Active JP7104296B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP18710924.4A EP3665435A1 (en) 2017-08-09 2018-02-23 Distance measuring camera
CN201880051058.5A CN110998228A (zh) 2017-08-09 2018-02-23 测距照相机
PCT/JP2018/006817 WO2019030957A1 (en) 2017-08-09 2018-02-23 DISTANCE MEASUREMENT CAMERA
US16/636,275 US11525676B2 (en) 2017-08-09 2018-02-23 Distance measuring camera
JP2022108208A JP7288226B2 (ja) 2017-08-09 2022-07-05 測距カメラ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017154278 2017-08-09
JP2017154278 2017-08-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022108208A Division JP7288226B2 (ja) 2017-08-09 2022-07-05 測距カメラ

Publications (2)

Publication Number Publication Date
JP2019032295A JP2019032295A (ja) 2019-02-28
JP7104296B2 true JP7104296B2 (ja) 2022-07-21

Family

ID=65523244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018010035A Active JP7104296B2 (ja) 2017-08-09 2018-01-24 測距カメラ

Country Status (4)

Country Link
US (1) US11525676B2 (ja)
EP (1) EP3665435A1 (ja)
JP (1) JP7104296B2 (ja)
CN (1) CN110998228A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7104294B2 (ja) 2017-12-18 2022-07-21 ミツミ電機株式会社 測距カメラ
JP7104301B2 (ja) * 2018-03-19 2022-07-21 ミツミ電機株式会社 測距カメラ
WO2019220890A1 (ja) * 2018-05-15 2019-11-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP7256368B2 (ja) 2019-02-06 2023-04-12 ミツミ電機株式会社 測距カメラ
SG10201902889VA (en) * 2019-03-29 2020-10-29 Nec Corp System and Method for Adaptively Constructing a Three-Dimensional Facial Model Based on Two or More Inputs of a Two- Dimensional Facial Image
US11968353B2 (en) * 2021-04-05 2024-04-23 Acumera, Inc. Camera health determination based on local analysis of scene information content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141422A (ja) 1999-11-10 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
RU2340872C1 (ru) 2007-05-02 2008-12-10 Институт мониторинга климатических и экологических систем Моностатический способ определения расстояния до объекта, его направления и скорости движения

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03200007A (ja) * 1989-12-28 1991-09-02 Nippon Telegr & Teleph Corp <Ntt> ステレオ計測装置
RU2095756C1 (ru) 1992-04-16 1997-11-10 Сергей Александрович Елманов Способ определения расстояния до объекта при помощи оптического прибора
CN1197222A (zh) * 1997-04-18 1998-10-28 株式会社尼康 变焦距透镜镜筒和可变放大率光学系统
JP4802658B2 (ja) * 2005-10-25 2011-10-26 コニカミノルタオプト株式会社 変倍光学系、撮像レンズ装置及びデジタル機器
JP5295875B2 (ja) * 2008-11-06 2013-09-18 シャープ株式会社 カメラモジュールおよびそれを備えた電子機器、並びにカメラモジュールのレンズ位置決め方法
JP5489897B2 (ja) * 2010-07-22 2014-05-14 パナソニック株式会社 ステレオ測距装置及びステレオ測距方法
JP5582918B2 (ja) * 2010-08-20 2014-09-03 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
JP2013109034A (ja) * 2011-11-17 2013-06-06 Sony Corp 撮像装置と撮像制御方法およびプログラム
TW201329422A (zh) * 2012-01-12 2013-07-16 Asia Optical Co Inc 測距裝置
JP5966467B2 (ja) 2012-03-15 2016-08-10 株式会社リコー 測距装置
TWI542857B (zh) * 2012-05-30 2016-07-21 鴻海精密工業股份有限公司 具有測距功能的電子裝置及測距方法
WO2014112176A1 (ja) * 2013-01-15 2014-07-24 株式会社ニコン 変倍光学系、光学装置、変倍光学系の製造方法
CA2943502C (en) * 2014-03-21 2022-05-31 Hypermed Imaging, Inc. Compact light sensor
JP6506531B2 (ja) * 2014-10-24 2019-04-24 株式会社ニコン・トリンブル 測量機及びプログラム
JP6623044B2 (ja) * 2015-11-25 2019-12-18 日立オートモティブシステムズ株式会社 ステレオカメラ装置
US10277889B2 (en) * 2016-12-27 2019-04-30 Qualcomm Incorporated Method and system for depth estimation based upon object magnification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141422A (ja) 1999-11-10 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
RU2340872C1 (ru) 2007-05-02 2008-12-10 Институт мониторинга климатических и экологических систем Моностатический способ определения расстояния до объекта, его направления и скорости движения

Also Published As

Publication number Publication date
US20200378759A1 (en) 2020-12-03
CN110998228A (zh) 2020-04-10
US11525676B2 (en) 2022-12-13
JP2019032295A (ja) 2019-02-28
EP3665435A1 (en) 2020-06-17

Similar Documents

Publication Publication Date Title
JP7104296B2 (ja) 測距カメラ
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
KR101233013B1 (ko) 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법
JP7104294B2 (ja) 測距カメラ
JP6585006B2 (ja) 撮影装置および車両
JP5869883B2 (ja) 画像処理装置
JP7288226B2 (ja) 測距カメラ
US8934730B2 (en) Image editing method and associated method for establishing blur parameter
CN111868474B (zh) 测距摄像机
JP2020174331A (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
WO2020008832A1 (ja) 測距カメラ
WO2013069279A1 (ja) 撮像装置
JP2022173069A (ja) 画像処理装置及び方法、及び、撮像装置及びその制御方法、プログラム、記憶媒体
JP7288227B2 (ja) 測距カメラ
JP7328589B2 (ja) 測距カメラ
CN113424020B (zh) 测距摄像机
WO2018235709A1 (ja) 測距カメラおよび測距方法
JP2017228899A (ja) 撮像装置、撮像装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R150 Certificate of patent or registration of utility model

Ref document number: 7104296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150